JP2015036710A - 音響信号のアライメント装置 - Google Patents

音響信号のアライメント装置 Download PDF

Info

Publication number
JP2015036710A
JP2015036710A JP2013167435A JP2013167435A JP2015036710A JP 2015036710 A JP2015036710 A JP 2015036710A JP 2013167435 A JP2013167435 A JP 2013167435A JP 2013167435 A JP2013167435 A JP 2013167435A JP 2015036710 A JP2015036710 A JP 2015036710A
Authority
JP
Japan
Prior art keywords
states
alignment
performance
bases
performances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013167435A
Other languages
English (en)
Other versions
JP6296221B2 (ja
JP2015036710A5 (ja
Inventor
陽 前澤
Akira Maezawa
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2013167435A priority Critical patent/JP6296221B2/ja
Publication of JP2015036710A publication Critical patent/JP2015036710A/ja
Publication of JP2015036710A5 publication Critical patent/JP2015036710A5/ja
Application granted granted Critical
Publication of JP6296221B2 publication Critical patent/JP6296221B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Auxiliary Devices For Music (AREA)

Abstract

【課題】楽譜データを用いることなく複数の演奏のアライメントを計算可能なアライメント装置であって、前記複数の演奏を音響信号として評価したときの差が大きくても良好な分析結果が得られるアライメント装置を提供する。【解決手段】アライメント装置は、複数の演奏の構成要素としての複数の楽音のスペクトルにそれぞれ相当する複数の基底、楽曲において同時に発音される楽音の組み合わせに対応する前記基底の組み合わせによって分類された複数の状態、前記複数の状態をそれぞれ構成する前記基底が属する前記演奏、及び前記複数の状態の時系列を推定する推定手段と、前記推定された前記複数の状態の時系列を用いて前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント計算手段と、を備える。【選択図】図4

Description

本発明は、楽曲を構成する複数の演奏パートのうちの一部の演奏パート又は全部の演奏パートをそれぞれ演奏した複数の演奏であって、前記複数の演奏パートのうちの少なくとも一つの共通する演奏パートをそれぞれ含む複数の演奏を表わす音響信号をそれぞれ記録した複数の音響データを分析して、前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント装置に関する。なお、以下の説明において、複数の演奏をそれぞれ構成する各楽音の発音タイミングの対応関係を単にアライメントと呼ぶ。
従来から、例えば、下記非特許文献1及び2に示されているように、音響信号のアライメント装置は知られている。非特許文献1に記載のアライメント装置では、まず、分析対象の楽曲の楽譜を表わす楽譜データ(例えば、Standard MIDI File)を構成する各発音情報(例えば、ノートオンデータ及びノートオフデータ)と、分析対象の第1の演奏及び第2の演奏をそれぞれ構成する各楽音とを対応づける。そして、楽譜データの発音情報と第1の演奏の各楽音との対応情報、及び楽譜データの発音情報と第2の演奏の各楽音との対応情報を用いて、第1の演奏と第2の演奏のアライメントを計算している。
また、非特許文献2に記載のアライメント装置では、動的時間伸縮法(Dynamic Time Warping)を用いて第1の演奏と第2の演奏のアライメントを計算している。
Sebastian Ewert,Meinard Muller,Peter Grosche、「HIGH RESOLUTION AUDIO SYNCLONIZATION USING CHROMA ONSET FEATURES」、Acoustics,Speech and Signal Processing 2009,ICASSP 2009,IEEE International Conference on、p.1869−p.1872 Simon Dixon,Gerhard Widner、「MATCH: A MUSIC ALIGNMENT TOOL CHEST」、ISMIR2005,6th International Conference on Music Information Retrieval、p.492−p.497
上記非特許文献1のアライメント装置によれば、分析対象の楽曲を表わす楽譜データが必要である。したがって、楽譜データが存在しない楽曲のアライメントを計算することができない。また、分析の第1段階として、楽譜データを構成する発音情報と分析対象の第1の演奏及び第2の演奏を構成する各楽音とが対応づけられる。そして、分析の第2段階において、前記第1段階の分析結果を用いて、第1の演奏と第2の演奏のアライメントが計算される。そのため、各分析段階の誤差が蓄積することによって分析精度が低下する虞がある。
また、上記非特許文献2のアライメント装置は、第1の演奏と第2の演奏とがある程度似ていることを想定している。例えば、第1の演奏に含まれる演奏パート数と第2の演奏に含まれる演奏パート数がほぼ同じである場合には良好な分析結果が得られる。しかし、例えば所定の交響曲の全演奏パートの演奏と、前記全演奏パートのうちの一部の演奏パートのみの演奏とのアライメントを上記非特許文献2のアライメント装置を用いて計算した場合、各演奏を音響信号としてそれぞれ評価したときの両者の差が大きいので、良好な分析結果を得られない(図9参照)。
本発明は上記問題に対処するためになされたもので、その目的は、楽譜データを用いることなく複数の演奏のアライメントを計算可能なアライメント装置であって、前記複数の演奏を音響信号として評価したときの差が大きくても良好な分析結果が得られるアライメント装置を提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。
上記目的を達成するために、本発明の特徴は、楽曲を構成する複数の演奏パートのうちの一部の演奏パート又は全部の演奏パートをそれぞれ演奏した複数の演奏であって、前記複数の演奏パートのうちの少なくとも一つの共通する演奏パートをそれぞれ含む複数の演奏を表わす音響信号をそれぞれ記録した複数の音響データ(d)を分析して、前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント装置(10)であって、前記複数の演奏の構成要素としての複数の楽音のスペクトルにそれぞれ相当する複数の基底、前記楽曲において同時に発音される楽音の組み合わせに対応する前記基底の組み合わせによって分類された複数の状態、前記複数の状態をそれぞれ構成する前記基底が属する前記演奏、及び前記複数の状態の時系列を推定する推定手段(S12〜S14)と、前記推定された前記複数の状態の時系列を用いて前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント計算手段(S15、S16)と、を備えたアライメント装置としたことにある。なお、上記の「各楽音の発音タイミングを対応付ける」とは、前記複数の音響データを用いて前記複数の演奏を同時に再生する際に前記複数の演奏を同期させることができるように、各楽音の発音タイミングを対応付けることを意味する。
この場合、前記推定手段は、前記複数の基底を確率的に生成する第1モデルと、前記複数の基底の組み合わせとしての前記複数の状態を確率的に生成する第2モデルと、前記複数の状態をそれぞれ構成する前記基底がそれぞれ属する前記演奏を確率的に決定する第3モデルと、前記複数の状態の時系列を確率的に決定する第4モデルと、前記各演奏の各時間帯における楽音のスペクトルをそれぞれ表わす複数の観測スペクトルの各周波数成分の構成要素がいずれの前記基底の構成要素に対応するかを表す前記観測スペクトルの構成態様を確率的に決定する第5モデルと、から構成される階層ベイズモデル(HBM)の事後分布を計算する事後分布計算手段(S12、S13)を備え、前記アライメント計算手段は、前記計算された事後分布を用いて、前記複数の状態の時系列の最大事後確率推定値を前記演奏ごとに計算する最大事後確率推定手段(S15)と、前記最大事後確率推定値を用いて、任意の前記状態になる最初の時刻を前記演奏ごとに計算することにより、前記複数の演奏を構成する各楽音の発音タイミングを対応付ける強制アライメント手段(S16)と、を備えるとよい。なお、「前記複数の状態をそれぞれ構成する前記基底がそれぞれ属する前記演奏を確率的に決定する」とは、各状態を構成する各基底がいずれの演奏に属するかを確率的に決定することを意味する。
また、この場合、前記事後分布計算手段は、前記複数の観測スペクトルと、前記複数の基底と、前記各状態の構成態様とが既知であるという条件のもとで、前記複数の観測スペクトルの構成態様をそれぞれ推定する第1推定と、前記複数の観測スペクトルの構成態様が既知であるという条件のもとで,前記複数の基底、及び前記複数の演奏において各基底が励起される頻度を推定する第2推定と、前記複数の観測スペクトルの構成態様と、前記複数の状態とが既知であるという条件のもとで、前記複数の状態の時系列を推定する第3推定と、前記複数の観測スペクトルの構成態様と、前記複数の状態の時系列とが既知であるという条件のもとで、前記複数の状態をそれぞれ構成する1つの基底又は複数の基底の組み合わせを推定する第4推定と、前記複数の観測スペクトルの構成態様と、前記複数の状態の時系列と、前記複数の状態をそれぞれ構成する1つの基底又は複数の基底の組み合わせとが既知であるという条件のもとで、前記複数の状態をそれぞれ構成する各楽音が属する前記演奏を推定する第5推定と、を同時に実行して前記階層ベイズモデルの事後分布を近似的に計算するとよい。
上記のように構成されたアライメント装置によれば、前記複数の演奏の構成要素としての複数の楽音のスペクトルにそれぞれ相当する複数の基底、前記楽曲において同時に発音される楽音の組み合わせに対応する前記基底の組み合わせによって分類された複数の状態、前記複数の状態をそれぞれ構成する前記基底が属する前記演奏、及び前記複数の状態の時系列が、同時に(一体的に)推定される。つまり、前記共通する演奏パートの演奏に着目してアライメントが計算される。したがって、分析対象の各演奏を音響信号として評価したときの互いの距離が大きくても、アライメントの誤差を小さくすることができる。
また、本発明の他の特徴は、前記複数の基底の分布が、所定の集中度(α)及び所定の基底測度(H)によって規定されるディリクレ過程に従うように構成されていることにある。この場合、前記所定の基底測度は所定のディリクレ分布であるとよい。これによれば、前記複数の音響信号のモデル化にあたりディリクレ過程を用いたので、楽曲の複雑さによらず、分析精度を高く保つことができる。
分析対象の音響信号(音響データ)の構成を示す概念図である。 本発明の一実施形態に係るアライメント装置の構成を示すブロック図である。 本実施形態で用いる数理モデルの階層構造を示す概念図である。 分析対象の音響信号のグラフィカルモデルである。 離散化されたスペクトログラムの概念図である。 アライメントの計算手順を示すフローチャートである。 各種パラメータの具体的数値を示す表である。 分析対象の2つの音響データの内容をそれぞれ表わすスペクトログラムである。 計算されたアライメントに基づいて各楽音の発音タイミングを揃えた状態の2つの音響データの内容をそれぞれ表わすスペクトログラムである。 アライメントの計算結果(累計絶対値誤差)を示す表である。
本発明の一実施形態に係る音響信号のアライメント装置10について説明する。アライメント装置10は、以下説明するように、楽曲の演奏をそれぞれ表わす複数(例えばD個)の音響データd(d=1,2,・・・,D)を用いて各演奏を再生する際にそれらを同期させることができるように、各演奏を構成する各楽音の再生タイミングを対応づける。なお、「d」は、D個の音響データのうちの1つを特定するインデックスである。また、複数の音響データdは、同一の楽譜に記載された1つ又は複数の演奏パートを演奏することにより発生された音をそれぞれ表わす音響信号をディジタルデータとしてそれぞれ記録したものである。ただし、複数の音響データdは、共通する少なくとも1つの演奏パートの演奏を含む(図1参照)。図1の例では、分析対象とする1番目の音響データ(つまり、d=1)及び2番目の音響データ(つまり、d=2)のうち、1番目の音響データは、所定の楽曲のバイオリンの演奏パートとチェロの演奏パートを含み、2番目の音響データは、前記所定の楽曲のバイオリンの演奏パートとビオラの演奏パートを含む。アライメント装置10は、前記共通する少なくとも1つの演奏パート(図1の例ではバイオリン)の演奏に着目して、アライメントを計算する。つまり、両音響データを同時に再生した際に両演奏を同期させることができるように、各演奏パートの楽音の発音タイミングを対応付ける。なお、図1においてはバイオリンで演奏される音符が黒く塗りつぶされている。
アライメント装置10は、図2に示すように、入力操作子11、コンピュータ部12、表示器13、記憶装置14、外部インターフェース回路15及びサウンドシステム16を備えており、これらがバスBSを介して接続されている。
入力操作子11は、オン・オフ操作に対応したスイッチ(例えば数値を入力するためのテンキー)、回転操作に対応したボリューム又はロータリーエンコーダ、スライド操作に対応したボリューム又はリニアエンコーダ、マウス、タッチパネルなどから構成される。これらの操作子は、演奏者の手によって操作されて、分析対象の音響データの選択、音響データの分析開始又は停止、選択した音響データを用いた演奏の再生又は停止(後述するサウンドシステム16からの出力又は停止)、音響信号の分析に関する各種パラメータの設定などに用いられる。入力操作子11を操作すると、その操作内容を表す操作情報が、バスBSを介して、後述するコンピュータ部12に供給される。
コンピュータ部12は、バスBSにそれぞれ接続されたCPU12a、ROM12b及びRAM12cからなる。CPU12aは、後述するアライメントの計算手順を表わしたプログラムをROM12bから読み出して実行する。ROM12bには、前記プログラムに加えて、初期設定パラメータ、表示器13に表示される画像を表わす表示データを生成するための図形データ及び文字データなどの各種データが記憶されている。RAM12cには、前記プログラムの実行時に必要なデータが一時的に記憶される。
表示器13は、液晶ディスプレイ(LCD)によって構成される。コンピュータ部12は、図形データ、文字データなどを用いて表示すべき内容を表わす表示データを生成して表示器13に供給する。表示器13は、コンピュータ部12から供給された表示データに基づいて画像を表示する。例えば分析対象の音響データを選択する際には、選択可能な音響データのリストが表示器13に表示される。
また、記憶装置14は、HDD、FDD、CD、DVDなどの大容量の不揮発性記録媒体と、同各記録媒体に対応するドライブユニットから構成されている。記憶装置14には、複数の音響データdが記憶されている。複数の音響データdは、前記所定の楽曲の演奏を所定のサンプリング周期(例えば1/44100sec)でサンプリングして得られた複数のサンプル値からそれぞれなり、各サンプル値が記憶装置14における連続するアドレスに順に記録されている。各音響データdには、データを識別するためのタイトル情報、容量を表わすデータサイズ情報なども含まれている。複数の音響データdは予め記憶装置14に記憶されていてもよいし、後述する外部インターフェース回路15を介して外部から取り込んでもよい。
外部インターフェース回路15は、アライメント装置10を電子音楽装置、パーソナルコンピュータなどの外部機器に接続可能とする接続端子を備えている。アライメント装置10は、外部インターフェース回路15を介して、LAN(Local Area Network)、インターネットなどの通信ネットワークにも接続可能である。
サウンドシステム16は、音響データdをアナログ音信号に変換するD/A変換器、変換したアナログ音信号を増幅するアンプ、及び増幅されたアナログ音信号を音響信号に変換して出力する左右一対のスピーカを備えている。ユーザが入力操作子11を用いて、音響データdに対応する演奏の再生を指示すると、CPU12aは、音響データdをサウンドシステム16に供給する。これにより、ユーザは分析対象の演奏を試聴できる。
つぎに、上記のように構成したアライメント装置10の動作(アライメントの計算手順)について説明する。本実施形態では、図3及び図4に示すように、D個の音響信号が階層ベイズモデルHBMとして記述される。この階層ベイズモデルHBMの最上位の階層(グローバルレベルと呼ぶ)では、前記D個の音響信号の核となるグローバル基底が推定される。具体的には、各音響データdによって表わされる各音響信号をスペクトログラムとして記述したとき、前記スペクトログラムを構成する振幅スペクトルの一部又は全部を構成するスペクトルであって、1つの演奏パートの1つの演奏音に対応するスペクトルが上記のグローバル基底である。また、中間層(状態レベルと呼ぶ)では、同時に励起されるグローバル基底の組み合わせによって分類された複数の状態s、及び複数の状態sの時系列が推定される。以下の説明において、同時に励起されるグローバル基底の組み合わせを和音と呼ぶ。つまり、状態レベルにおいては、同時に発音される楽音に対応するグローバル基底の組み合わせによって分類された複数の状態s、及び複数の状態sの時系列が推定される。前記複数の状態sの時系列は、いわゆるLeft−to−Right型の隠れマルコフモデルとして記述される。この隠れマルコフモデルは、S個の状態sから構成される。すなわち、「s」は、S個の状態のうちの1つを特定するインデックスである。また、最下位の階層(ドキュメントレベルと呼ぶ)では、上記の状態レベルにおける各状態sを構成するグローバル基底のうち、音響データdによって表わされる音響信号から励起されるグローバル基底の組み合わせが推定される。言い換えれば、複数の状態sをそれぞれ構成するグローバル基底が属する音響データd(演奏)が推定される。つまり、各状態sの構成態様(状態sを構成する各グローバル基底がいずれの音響データに属するか)が推定される。状態sを構成するグローバル基底のうち、音響データdによって表わされる音響信号から励起されるグローバル基底の組み合わせをドキュメント単位の基底と呼ぶ。そして、ドキュメント単位の基底の時系列をドキュメントDOCと呼ぶ。なお、図3においては、図を簡略化するためにグローバル基底を音符として記載している。また、グローバルレベルにおけるグローバル基底の数、和音を構成するグローバル基底の数、及びドキュメント単位の基底の数は定められていない。
以下の説明では、音響データdで表される音響信号の時刻t(=1,2,・・・,T)における振幅スペクトルがF個の周波数ビンfから構成されているものとする。なお、「f」は、F個の周波数ビンのうちの1つを特定するインデックスである。そして、音響データdで表される音響信号の時刻tにおける周波数ビンfの振幅X(d,f,t)を、ドキュメントDOCの時刻tにおいて周波数ビンfが観測された回数であるとみなす(図5参照)。ここで観測C(d,c,f,t)という変数を導入する。観測Cは、図5に示すようにドキュメントDOCの時刻tにおける周波数ビンfを離散化したとき、c軸方向におけるc番目の観測値が存在するか否かを表わす2値変数である。つまり、観測Cの値は、c≦X(d,f,t)のとき「1」であり、c>X(d,f,t)のとき「0」である。
階層ベイズモデルHBMは、次の式(1)〜式(5)のように定式化される。
なお、式(1)のDP(α,H)は、集中度α、基底測度Hのディリクレ過程を表わす。基底測度Hは、F次元のディリクレ分布である。上記のように、式(1)に基づいて、グローバル基底の集合Gが確率的に生成される(本発明の第1モデルに相当)。また、式(2)及び式(3)も式(1)と同様にディリクレ過程であることを表わす。式(2)のディリクレ過程の集中度の値は「β」である。また、式(2)のディリクレ過程の基底測度は、グローバル基底の集合Gである。また、式(3)のディリクレ過程の集中度の値は「γ」である。また、式(3)のディリクレ過程の基底測度は、同時に励起されるグローバル基底の組み合わせの集合Gである。つまり、式(2)に基づいて、同時に励起されるグローバル基底の組み合わせの集合Gが確率的に生成される(本発明の第2モデルに相当)。また、式(3)に基づいて、ドキュメント単位の基底の集合Gs,dが確率的に決定される(本発明の第3モデルに相当)。また、式(4)のLRHMM(π,τ)は、初期の状態が状態πであって、状態間の遷移確率の値が「τ」である、Left−to−Right型の隠れマルコフモデルを表わす。また、Z(d,t)は、時刻tにおけるドキュメントDOCの状態(つまり、グローバル基底の組み合わせ)を表わす。つまり、式(4)に基づいて、複数の状態sの時系列が確率的に決定される(本発明の第4モデルに相当)。また、式(5)に基づいて、観測スペクトルの構成態様(つまり、観測スペクトルの各周波数成分の構成要素がいずれのグローバル基底の構成要素(周波数成分)に対応するか)が確率的に決定される(本発明の第5モデルに相当)。
そして、以下説明するように、次の5つの問題が同時に(一体的に)解かれる。第1の問題(第1推定)は、複数の観測スペクトル(つまり、各時刻tにおける振幅スペクトル)と、複数のグローバル基底と、各状態sの構成態様とが既知であるという条件のもとで、複数の観測スペクトルの構成態様をそれぞれ推定するという問題である。第2の問題(第2推定)は、複数の観測スペクトルの構成態様が既知であるという条件のもとで,複数のグローバル基底、及び各演奏において各基底が励起される頻度を推定する問題である。第3の問題(第3推定)は、複数の観測スペクトルの構成態様と、複数の状態sとが既知であるという条件のもとで、複数の状態sの時系列を推定するという問題である。第4の問題(第4推定)は、複数の観測スペクトルの構成態様と、複数の状態sの時系列とが既知であるという条件のもとで、複数の状態sをそれぞれ構成する1つのグローバル基底又は複数のグローバル基底の組み合わせを推定するという問題である。第5の問題(第5推定)は、複数の観測スペクトルの構成態様と、複数の状態sの時系列と、複数の状態sをそれぞれ構成する1つのグローバル基底又は複数のグローバル基底の組み合わせとが既知であるという条件のもとで、複数の状態sをそれぞれ構成する各楽音が属する演奏を推定するという問題である。
具体的には、上記のように定式化された階層ベイズモデルHBMの事後分布を計算するために、上記階層ベイズモデルHBMを共役系に書き換えておき、前記書き換えられたモデルに対して変分ベイズ法を適用する。本実施形態では、階層ディリクレ過程をセスラマンの棒折り過程(Stick‐Breaking‐Construction)を用いて上記モデルを共役系に書き換える。
まず、I個(実際には個数は不定(増減され得る))のグローバル基底g(i)を生成するために、ディリクレ分布Dir(gf,0(i))に従う確率変数g(i)が生成されるとともに、棒折り過程SBP(α)から確率変数w(g)が生成される。なお、「i」は、生成されたI個のグローバル基底のうちの1つを特定するためのインデックスである。また、「gf,0(i)」は、「g(i)」の事前分布である。この棒折り過程SBP(α)では、まず、下記の式(6)に示すように、ベータ分布Beta(1,α)に従う確率変数ξ (g)が生成される。そして、確率変数w (g)は、確率変数ξ (g)を用いた下記の式(7)に基づいて生成される。
次に、各状態sに対し、所定のディリクレ過程を基底測度とするディリクレ過程からJ個(実際には個数は不定(増減され得る))のインジケータ変数Z(A)(s,j)が生成される。前記所定のディリクレ過程は、確率変数g(i)を基底測度とするディリクレ過程である。このインジケータ変数Z(A)(s,j)は、状態sにおける和音の(例えば低音側から数えて)j番目の構成要素(和音の構成音)に相当するグローバル基底を表わす。このインジケータ変数Z(A)(s,j)は、下記の式(8)に示すように多項分布Mult(w(A))に従う。なお、確率変数w(A)(s)は、下記の式(9)に示すように棒折り過程SBP(β)に従って生成される。
棒折り過程SBP(β)では、まず、下記の式(10)に示すように、ベータ分布Beta(1,β)に従う確率変数ξ (A)が生成される。そして、確率変数w (A)(s)は、確率変数ξ (A)を用いた下記の式(11)に基づいて生成される。
次に、K個(実際には個数は不定(増減され得る))のインジケータ変数Z(L)(d,s,k)が生成される。このインジケータ変数Z(L)(d,s,k)は、ドキュメントDOCにおけるK個のドキュメント単位の基底のうちのk番目の基底が、状態sにおける和音のどの構成音に対応するかを表わす。このインジケータ変数Z(L)(d,s,k)は、下記の式(12)に示すように多項分布Mult(w(L))に従う。なお、確率変数w(L)(d,s)は、下記の式(13)のように棒折り過程SBP(γ)に従って生成される。
棒折り過程SBP(γ)では、まず、下記の式(14)に示すように、ベータ分布Beta(1,γ)に従う確率変数ξ (L)(d,s)が生成される。そして、確率変数w (L)(d,s)は、確率変数ξ (L)(d,s)を用いた下記の式(15)に基づいて生成される。
次に、ドキュメントDOCのうちの状態sに相当する部分を表わすZ(S)(d,t)が与えられたという条件下で、K個のドキュメント単位の基底のうちの1つから観測C(d,c,f,t)が生起したとみなす。そこで、下記の式(16)に示す潜在変数Z(X)を導入する。
潜在変数Z(X)を用いて、観測Cの尤度を下記の式(17)に示すようにモデル化する。
次に、各ドキュメントDOCを表わすZ(S)(d,t)の系列をLeft−to―Right型の隠れマルコフモデルとしてモデル化する。このモデルは、具体的には、初期状態確率π及び状態sにおける状態遷移確率τを用いて、下記の式(18)及び式(19)のように表わされる。
このモデルはLeft−to―Right型の隠れマルコフモデルである。初期状態確率πは、最初のインデックス以外が「0」である超パラメータを持つディリクレ分布から生成される。また、状態遷移確率τは、「s」番目と「s+1」番目以外の要素が「0」である超パラメータを持つディリクレ分布から生成される。また、強制アライメント(N.Hu,R.B.Dannenberg,G.Tzanetakis、「Polyphonic Audio Matching and Alignment for Music Retrieval」、in WASPAA 2003、pp.185−188)を実行するためには、終端条件が既知である必要があるので、下記の式(20)のような制約が与えられる。
ここで、潜在変数及びインジケータ変数を、1対K符号化法を用いて二値変数に変換する。つまり、例えば、Z(S)(d,t)=s´は、Zs´ (S)(d,t)=1であって、それ以外の要素が「0」であるような変数として表記する。すると、完全対数尤度は、下記の式(21)のように与えられる。ただし、式(21)では、定数項が無視されている。
式(21)で表されるモデルは共役であるので、変分ベイズ法を用いて事後分布を近似的に計算することができる。特に、Z(S)の推定については、前向き後ろ向きアルゴリズムを用いることにより効率的に計算できる。
つぎに、真の事後分布の近似として、q(Z(X))q(Z(A))q(Z(L))q(Z(S))q(g)(w(L))q(w(A))q(w(g))q(π)q(τ)という因子分解された分布を仮定する。そして、変分ベイズ法を用いて、上記の因子分解された分布を真の事後分布に近づける。つまり、両者の間のKL(Kullback−Leibler)距離を小さくする。以下の説明における「Z」で始まる変数については、式(22)のように定義される。
ただし、〈f(x,y)〉q(x)は、分布q(x)の下でのf(x,y)の期待値を表わす。また、以下の説明においては、インデックスi以外に対するMの総和を(M)と表記する。したがって、例えば、次の式(23)が成立する。
変分ベイズ法を用いることで、Z(X)の事後分布を更新する下記の式(24)が導出される。
式(24)の右辺第2項は、k番目のドキュメント単位の基底をi番目のグローバル基底にマッピングすることに相当する。また、右辺第3項の「Φ(A)Φ(L)」は、直感的には、ドキュメント単位の基底のインデックスkをグローバル基底のインデックスiにマッピングしているものと考えることができる。特に、式(18)に着目すれば、グローバル基底のインデックスiは、状態レベルのインジケータ変数Z (A)(s、j)によって指定される。また、どの状態レベルのインジケータが用いられているかを表わすインデックスj自体は、インジケータ変数Z (L)(d,s,k)によって指定されている。よって、第2項は、インデックスkからインデックスiへのマッピングを、インデックスjに対して重みΦ(A)Φ(L)で周辺化することにより確率的に計算していることに相当する。
q(Z(A))及びq(Z(L))も、q(Z(X))と同様に、下記の式(25)及び式(26)に基づいて計算される。
次に、q(Z(S))を更新する。対数同時尤度(式(21))において、Z(S)のみに依存する項を集めると、式(27)に示すように、隠れマルコフモデルの形式と同様な形式となることが分かる。
したがって、前向き後ろ向きアルゴリズムを用いることによって、Z(S)の近似的な事後分布を計算することができる。後ろ向きアルゴリズムを実行する際には、最終フレームにおける後ろ向き変数を、S番目の状態を除いて「0」に設定し、S番目の状態において「1」に設定することにより、強制アライメントを実行する。なお、式(27)の下線部は、対数観測尤度とみなすことができる。この項は、時刻tに依存していないように見えるが、総和をとるインデックスcの上限がX(d,f,t)であるので、実際には時刻tに依存している。また、この項は、2つの項の和とみなすことができる。左側の項は、ドキュメント単位の基底のインデックスkをグローバル基底のインデックスiに変換することを表わしている。すなわち、ドキュメント単位の基底に対応するグローバル基底を選択することを表わしている。また、右側の項は、〈logw (L)(d,s)〉をドキュメント単位の基底のインデックスkが使われた回数に応じて重み付けしている。つまり、より頻繁に出現するインデックスkに対応するi番目のグローバル基底を、状態sの観測尤度のパラメータとして用いることを表わしている。
また、グローバル基底g(i)は下記の式(28)に基づいて更新される。
つまり、周波数ビンfがi番目のグローバル基底から励起された回数を超パラメータとして設定する。
次に、棒折り過程SBPの事後分布を更新するために、w(g)、w(A)及びw(L)を有限のオーダー、つまり、それぞれI、J及びKまで評価し、それ以降の出現確率を「0」とする。そして、下記の式(29)乃至(37)に示す量を定義する。
すると、棒折り過程SBPの事後分布の更新式は、下記の式(38)〜式(40)のように定式化される。
他のパラメータも、標準的な方法(例えば、Beal M.J.、「Variational Algorithms for Approximate Bayesian Inference」、PhD Thesis, University College London、2003)によって更新される。なお、上記の分布を更新するのに必要な期待値は、下記の式(41)〜式(44)に基づいて計算される。
ただし、式(42)〜式(44)におけるψ(x)はディガンマ関数である。棒折り過程SBPに関連する他の期待値も同じように計算される。これらの更新は、近似的な事後分布と真の事後分布のKL(Kullback−Leibler)距離が収束するまで繰り返し実行される。
近似的な事後分布が計算された後、ドキュメント間のアライメントが次のようにして計算される。まず、それぞれのドキュメントDOCに関する最大事後確率の推定値MAPが下記の式(45)に基づいて計算される。
すると、各ドキュメントDOCが任意の状態sになる最初の時刻を、全ての状態sについて計算することにより、各ドキュメント間のアライメントを計算する(つまり、強制アライメントを実行する)ことができる。
計算されたアライメントに基づいて音響データを加工することにより、各楽音の発音タイミングを揃えることができる。図8Aの上段及び下段のスペクトログラムは処理対象の音響信号を表わしており、図8Bの上段及び下段のスペクトログラムは、計算されたアライメントに基づいて、各楽音の発音タイミングを揃えた状態の音響信号を表わしている。このように、複数の演奏中の対応する楽音同士の発音タイミングを揃えるように音響データを加工しておき、前記加工した音響データを用いて前記複数の演奏を同時に再生開始すれば、前記複数の演奏を同期させることができる。
次に、本実施形態に係るアライメント装置10を用いたアライメントの計算結果と、従来のアライメント装置を用いたアライメントの計算結果を比較する。
まず、図9に示す各楽曲を、それらの楽譜データ(例えば、Standard MIDI File)に基づいてソフトウェアシンセサイザーを用いて演奏して、それぞれの音響信号を生成した。最初に、各楽曲の全演奏パートを原曲のテンポ(つまり、楽譜データに記録されているテンポ)で演奏して、音響信号(以下、完全オーディオfpと呼ぶ)を生成した。また、各楽曲の単一の演奏パートのみを、原曲のテンポに対して20%遅いテンポで演奏して、音響信号(以下、ソロオーディオssと呼ぶ)を生成した。特に、ピアノのパートは、右手(RH)で演奏するパートと左手(LH)で演奏するパートとを別のパートとして演奏してそれぞれのソロオーディオssを生成した。また、各楽曲の一部の演奏パート(混合パート)を、原曲のテンポに対して20%遅いテンポで演奏して、音響信号(以下、混合オーディオmsと呼ぶ)も生成した。
そして、これらの音響信号を所定のサンプリング周期(1/44100sec)でサンプリングして各音響データを作成するとともに、Bartlett−Hanning窓を適用し、フレーム長を8192サンプル、ホップサイズを4096サンプルとする振幅スペクトログラムを作成した。なお、これらのスペクトログラムにおいて、2kHzよりも高い周波数帯域の成分は削除されている。
アライメント装置10では、図6に示すように、ステップS10にて、アライメントの計算が開始される。次に、ステップS11にて、各種変数が初期化される。具体的には、全てのΦ(式(22)参照)が一様分布に設定され、事後分布のパラメータがランダム値又は事前分布の値に設定される。次に、ステップS12にて、上記の式(24)乃至(27)に基づいて潜在変数及びインジケータ変数の事後分布が更新される。次にステップS13にて、上記の式(28)乃至(40)に基づいて、パラメータの事後分布が更新される。次に、ステップS14にてKL距離が収束したか否かが判定される。具体的には、現在の事後分布の近似に関して式(21)の期待値を計算し、前記計算した期待値から現在の事後分布のエントロピーを減算した値を評価することにより、KL距離が収束したか否かが判定される。KL距離が収束していない場合、「No」と判定され、ステップS12に戻り、潜在変数及びインジケータ変数の事後分布が再び更新される。一方、KL距離が収束した場合、「Yes」と判定され、ステップS15にて、上記式(45)に基づいてドキュメントDOCに関する最大事後確率の推定値MAPが計算される。次に、ステップS16にて、推定値MAPを用いて各ドキュメント間のアライメントが計算され、ステップS17にてアライメントの計算を終了する。なお、アライメント装置10のパラメータの具体的数値は図7に示す通りである。一方、アライメント装置10の比較対象とする従来のアライメント装置では、動的時間伸縮法に基づいてアライメントが計算される。具体的には、スペクトル間のコサイン距離に基づいてアライメントが計算される。ただし、分析対象の2つの音響信号のうちの短い方の音響信号の時間軸方向には留まるか1フレームだけ進むことができるが、前記2つの音響信号のうちの長い方の音響信号の時間軸方向には常に1フレームずつ進むというように、状態経路が制限されている。
上記のアライメント装置10及び従来のアライメント装置によって計算されたアライメントの累計絶対値誤差を図9に示す。なお、累計絶対値誤差は、分析対象の音響信号のアライメントが完全である場合(つまり分析対象の複数の音響データを再生したときにそれらが完全に同期可能なようにアライメントが計算された場合)に対する各構成音の発音タイミングにおける誤差(つまり、各構成音の発音タイミングのずれ)の累計を楽曲の全体の長さで除した値に相当する。つまり、例えば、誤差が1秒以内である時間の累計が楽曲全体の80%である場合には、図9における「誤差<1.0s」の欄に「80%」と記載される。また、図9における「Proposed」は、アライメント装置10を用いた場合のアライメントであることを表わし、「cosine−DTW」は従来のアライメント装置を用いた場合のアライメントであることを表わす。
また、「ss−to−fp」は、ソロオーディオssと完全オーディオfpとのアライメントであることを表わす。また、「ave.ms−to−fp」は、混合オーディオmsと完全オーディオfpとのアライメントの平均値であることを表わす。この平均値は次のようにして計算される。まず、演奏パートの組み合わせが互いに異なる複数の混合オーディオのうちの1つを選択し、前記選択した混合オーディオと完全演奏オーディオとのアライメントを計算する。次に、前記選択した混合オーディオとは異なる混合オーディオを新たに選択して、前記新たに選択した混合オーディオと完全オーディオとのアライメントを計算する。上記のようにして、全ての混合オーディオに関して完全オーディオとのアライメントを計算しておき、それらの平均値を計算する。
また、「ave.ms−to−ms」は、2つの混合オーディオのアライメントの平均値であることを表わす。この平均値は次のようにして計算される。まず、演奏パートの組み合わせが異なる複数の混合オーディオのうちの2つの混合オーディオを選択し、前記選択した2つの混合オーディオのアライメントを計算する。次に、前記選択した2つの混合オーディオの組み合わせとは異なる組み合わせになるように2つの混合オーディオを新たに選択して、前記新たに選択した2つの混合オーディオのアライメントを計算する。上記のようにして全ての組み合わせについてアライメントをそれぞれ計算しておき、それらの平均値を計算する。ただし、前記選択される2つの混合オーディオmsは、少なくとも1つの共通する演奏パートの演奏を含む。
図9によれば、混合オーディオmsと完全オーディオfpとのアライメント、ソロオーディオssと完全オーディオfpとのアライメント、及び混合オーディオms同士のアライメントにおいては、アライメント装置10によって計算されたアライメントの誤差は、従来のアライメント装置によって計算されたアライメントの誤差よりも少ない。特に、2秒以上の誤差が、従来のアライメント装置よりも少ない。従来のアライメント装置においては、分析対象の2つの音響信号の間のコサイン距離を用いてアライメントを計算しているが、この手法は、前記2つの音響信号がある程度似ている場合には有効である。しかし、例えばバイオリンソロとオーケストラのように、両者の音響信号(スペクトログラム)が大きく異なる場合には適さないことが分かる。一方、アライメント装置10によれば、前記2つの音響信号における共通する部分に着目してアライメントが計算されるので、分析対象の音響信号同士の距離が大きくても、アライメントの誤差を小さくすることができる。また、音響信号のモデル化にあたりディリクレ過程を用いたので、楽曲の複雑さによらず、分析精度を高く保つことができる。
なお、アライメント装置10を用いて、例えばバイオリンソロの音響信号とオーケストラの音響信号のアライメントを計算しておけば、既存の手法(例えば、糸山克寿,後藤真孝,駒谷和範,尾形哲也,奥乃博、「楽譜情報を援用した多重奏音楽音響信号の音源分離と調波・非調波統合モデルの制約付きパラメータ推定の同時実現」、情報処理学会論文誌,Vol.49,No.3,pp.1465−1479,March 2008)により、オーケストラの音響信号からバイオリンソロの演奏パートの音響信号のみを削除して、バイオリンソロパートを練習するための音響データ(カラオケ)を作成することができる。
さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。
例えば、上記実施形態では、基底測度HはF次元のディリクレ分布であるが、これに代えて、無限潜在的調波配分法を用いても良い。また、上記実施形態で用いたディリクレ過程に代えて、Pitman−Yor過程を用いても良い。この場合、各階層にて励起されるグローバル基底がべき乗則に従うことを意味する。楽曲における同一音符の出現頻度はべき乗則に従うと考えられる。そのため、Pitman−Yor過程を用いた場合には、各階層にて励起されるグローバル基底をより適切に推定できる可能性がある。
また、ディリクレ過程に代えて、有限次元(例えばN次元)のディリクレ分布を生成し、N個のパラメータを基底測度Hから生成しても良い。ただし、この場合、生成される分布の数が予め定められているので、楽曲の音響的な性質とパラメータの数とが適合していないと、適切なアライメントの計算結果が得られない可能性がある。
また、上記実施形態では、変分ベイズ法を用いてアライメントを計算しているが、他の方法(例えばサンプリング法)を用いてアライメントを計算しても良い。
また、上記実施形態では、KL距離が収束するまで更新処理(図6のステップS12及びS13)を繰り返しているが、所定の回数(例えば、5回)だけ更新処理を繰り返すように構成しても良い。
10・・・アライメント装置、12・・・コンピュータ部、d・・・音響データ、HBM・・・階層ベイズモデル、MAP・・・推定値、s・・・状態、t・・・時刻

Claims (5)

  1. 楽曲を構成する複数の演奏パートのうちの一部の演奏パート又は全部の演奏パートをそれぞれ演奏した複数の演奏であって、前記複数の演奏パートのうちの少なくとも一つの共通する演奏パートをそれぞれ含む複数の演奏を表わす音響信号をそれぞれ記録した複数の音響データを分析して、前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント装置であって、
    前記複数の演奏の構成要素としての複数の楽音のスペクトルにそれぞれ相当する複数の基底、前記楽曲において同時に発音される楽音の組み合わせに対応する前記基底の組み合わせによって分類された複数の状態、前記複数の状態をそれぞれ構成する前記基底が属する前記演奏、及び前記複数の状態の時系列を推定する推定手段と、
    前記推定された前記複数の状態の時系列を用いて前記複数の演奏を構成する各楽音の発音タイミングを対応付けるアライメント計算手段と、
    を備えたことを特徴とするアライメント装置。
  2. 請求項1に記載のアライメント装置において、
    前記推定手段は、
    前記複数の基底を確率的に生成する第1モデルと、
    前記複数の基底の組み合わせとしての前記複数の状態を確率的に生成する第2モデルと、
    前記複数の状態をそれぞれ構成する前記基底がそれぞれ属する前記演奏を確率的に決定する第3モデルと、
    前記複数の状態の時系列を確率的に決定する第4モデルと、
    前記各演奏の各時間帯における楽音のスペクトルをそれぞれ表わす複数の観測スペクトルの各周波数成分の構成要素がいずれの前記基底の構成要素に対応するかを表す前記観測スペクトルの構成態様を確率的に決定する第5モデルと、
    から構成される階層ベイズモデルの事後分布を計算する事後分布計算手段を備え、
    前記アライメント計算手段は、
    前記計算された事後分布を用いて、前記複数の状態の時系列の最大事後確率推定値を前記演奏ごとに計算する最大事後確率推定手段と、
    前記最大事後確率推定値を用いて、任意の前記状態になる最初の時刻を前記演奏ごとに計算することにより、前記複数の演奏を構成する各楽音の発音タイミングを対応付ける強制アライメント手段と、
    を備えたことを特徴とするアライメント装置。
  3. 請求項2に記載のアライメント装置において、
    前記事後分布計算手段は、
    前記複数の観測スペクトルと、前記複数の基底と、前記各状態の構成態様とが既知であるという条件のもとで、前記複数の観測スペクトルの構成態様をそれぞれ推定する第1推定と、
    前記複数の観測スペクトルの構成態様が既知であるという条件のもとで,前記複数の基底、及び前記複数の演奏において各基底が励起される頻度を推定する第2推定と、
    前記複数の観測スペクトルの構成態様と、前記複数の状態とが既知であるという条件のもとで、前記複数の状態の時系列を推定する第3推定と、
    前記複数の観測スペクトルの構成態様と、前記複数の状態の時系列とが既知であるという条件のもとで、前記複数の状態をそれぞれ構成する1つの基底又は複数の基底の組み合わせを推定する第4推定と、
    前記複数の観測スペクトルの構成態様と、前記複数の状態の時系列と、前記複数の状態をそれぞれ構成する1つの基底又は複数の基底の組み合わせとが既知であるという条件のもとで、前記複数の状態をそれぞれ構成する各楽音が属する前記演奏を推定する第5推定と、
    を同時に実行して前記階層ベイズモデルの事後分布を近似的に計算することを特徴とするアライメント装置。
  4. 請求項2又は3に記載のアライメント装置において、
    前記複数の基底の分布が、所定の集中度及び所定の基底測度によって規定されるディリクレ過程に従うことを特徴とするアライメント装置。
  5. 請求項4に記載のアライメント装置において、
    前記所定の基底測度は所定のディリクレ分布であることを特徴とするアライメント装置。
JP2013167435A 2013-08-12 2013-08-12 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム Expired - Fee Related JP6296221B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013167435A JP6296221B2 (ja) 2013-08-12 2013-08-12 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013167435A JP6296221B2 (ja) 2013-08-12 2013-08-12 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2015036710A true JP2015036710A (ja) 2015-02-23
JP2015036710A5 JP2015036710A5 (ja) 2017-03-30
JP6296221B2 JP6296221B2 (ja) 2018-03-20

Family

ID=52687240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013167435A Expired - Fee Related JP6296221B2 (ja) 2013-08-12 2013-08-12 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6296221B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219304A (ja) * 2014-05-15 2015-12-07 ヤマハ株式会社 音響解析装置
WO2017195310A1 (ja) * 2016-05-12 2017-11-16 Pioneer DJ株式会社 照明制御装置、照明制御方法および照明制御プログラム
JP2018106212A (ja) * 2018-04-10 2018-07-05 ヤマハ株式会社 音響解析方法および音響解析装置
US10665216B2 (en) 2016-07-22 2020-05-26 Yamaha Corporation Control method and controller

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040259A (ja) * 2006-08-08 2008-02-21 Yamaha Corp 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2008197268A (ja) * 2007-02-09 2008-08-28 Yamaha Corp データ再生装置、データ再生方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040259A (ja) * 2006-08-08 2008-02-21 Yamaha Corp 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2008197268A (ja) * 2007-02-09 2008-08-28 Yamaha Corp データ再生装置、データ再生方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大石康智 他: "ノンパラメトリックベイズアプローチに基づく音響イベント検出", 電子情報通信学会技術研究報告, vol. 112, no. 111, JPN6017027094, 22 June 2012 (2012-06-22), pages 37 - 42 *
秋本真治 他: "ガウス過程に基づくノンパラメトリックベイズ時系列整列", 電子情報通信学会論文誌D, vol. Vol.J96-D,No.3, JPN6017027095, 1 March 2013 (2013-03-01), pages 587 - 595 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219304A (ja) * 2014-05-15 2015-12-07 ヤマハ株式会社 音響解析装置
WO2017195310A1 (ja) * 2016-05-12 2017-11-16 Pioneer DJ株式会社 照明制御装置、照明制御方法および照明制御プログラム
JPWO2017195310A1 (ja) * 2016-05-12 2019-03-07 Pioneer DJ株式会社 照明制御装置、照明制御方法および照明制御プログラム
US10923151B2 (en) 2016-05-12 2021-02-16 Alphatheta Corporation Illumination control device, illumination control method and illumination control program
US10665216B2 (en) 2016-07-22 2020-05-26 Yamaha Corporation Control method and controller
JP2018106212A (ja) * 2018-04-10 2018-07-05 ヤマハ株式会社 音響解析方法および音響解析装置

Also Published As

Publication number Publication date
JP6296221B2 (ja) 2018-03-20

Similar Documents

Publication Publication Date Title
JP6187132B2 (ja) スコアアライメント装置及びスコアアライメントプログラム
CN104040618B (zh) 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的系统和方法
CN106095925B (zh) 一种基于声乐特征的个性化歌曲推荐方法
JP6179140B2 (ja) 音響信号分析装置及び音響信号分析プログラム
JP5228432B2 (ja) 素片検索装置およびプログラム
US8158871B2 (en) Audio recording analysis and rating
JP2012103603A (ja) 情報処理装置、楽曲区間抽出方法、及びプログラム
CN103959372A (zh) 用于使用呈现高速缓存针对所请求的音符提供音频的系统和方法
JP6296221B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
JP6252147B2 (ja) 音響信号分析装置及び音響信号分析プログラム
Jonason The control-synthesis approach for making expressive and controllable neural music synthesizers
WO2006137271A1 (ja) 楽曲検索装置、楽曲検索方法および楽曲検索プログラム
JP2012506061A (ja) デジタル音楽音響信号の分析方法
JP6295794B2 (ja) 音響信号分析装置及び音響信号分析プログラム
JP6123574B2 (ja) コード抽出装置、方法、およびプログラム
JP6281211B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
Lerch Software-based extraction of objective parameters from music performances
JP5790496B2 (ja) 音響処理装置
JP2005202354A (ja) 信号解析方法
JP2008216486A (ja) 音楽再生システム
JP5092589B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP6232916B2 (ja) コードパワー算出装置、方法及びプログラム、並びにコード決定装置
JP3879524B2 (ja) 波形生成方法、演奏データ処理方法および波形選択装置
JP2007240552A (ja) 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法
JP6554826B2 (ja) 音楽データ検索装置及び音楽データ検索プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180206

R151 Written notification of patent or utility model registration

Ref document number: 6296221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees