JP2015045731A5 - 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム - Google Patents

Description

本発明は上記問題に対処するためになされたもので、その目的は、楽譜データを用いることなく複数の演奏のアライメントを計算可能なアライメント装置、アライメント方法及びコンピュータプログラムであって、前記複数の演奏を音響信号として評価したときの差が大きくても高精度にアライメントを計算できるアライメント装置、アライメント方法及びコンピュータプログラムを提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。

Claims (6)

1. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント装置であって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算手段と、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算手段と、
   を備えたことを特徴とするアライメント装置。
2. 請求項１に記載のアライメント装置において、
   前記評価値計算手段は、
   前記一組のスペクトルのうちの第１の演奏のスペクトル及び第２の演奏のスペクトルのうちの一方の各周波数成分を他方の各周波数成分に対して相対的に周波数軸方向にシフトさせるピッチシフト手段と、
   前記各周波数成分のシフト量に応じた評価値を前記一組のスペクトルの類似性に関する評価値に加算する加算手段と、をさらに備えたことを特徴とするアライメント装置。
3. 請求項１又は２に記載のアライメント装置において、
   前記一組のスペクトルの類似性に関する評価値は、前記一組のスペクトルの距離であり、
   前記尺度は、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも大きくなり、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも小さくなる非対称の距離尺度であり、
   前記一組のスペクトルの系列の評価値は、前記距離の総和であることを特徴とするアライメント装置。
4. 請求項１又は２に記載のアライメント装置において、
   前記一組のスペクトルの類似性に関する評価値は、前記尺度に対応する確率分布における前記第２の演奏のスペクトルの観測尤度であり、
   前記一組のスペクトルの系列の評価値は、前記第１の演奏のスペクトルと前記第２の演奏のスペクトルの組み合わせによって分類された状態の系列として記述された確率モデルの尤度であることを特徴とするアライメント装置。
5. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント方法であって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算ステップと、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算ステップと、
   を含むことを特徴とするアライメント方法。
6. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント処理をコンピュータに実行させるコンピュータプログラムであって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算ステップと、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算ステップと、
   を含むことを特徴とするコンピュータプログラム。