JP2011180417A - 音楽音響信号のピッチ推定装置及び方法 - Google Patents

Abstract

【課題】伴奏や背景音を伴う音声からでも安定したピッチ推定を行える音楽音響信号のピッチ推定方法を提供する。
【解決手段】ケプストラム分析部４は、音楽音響信号３を入力し、入力信号に対するケプストラム分析を行い、第１のケプストラム系列５を出力する。２次元フィルタ処理部６は、第１のケプストラム系列５中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列７を求める。ピッチ抽出部８は、第２のケプストラム系列７を用いてピッチ周波数を推定する。
【選択図】図１

Description

本発明は、主旋律のピッチに基づいて楽曲を検索するため、音楽音響信号中の主旋律のピッチ周波数の推定する方法に関し、特に、伴奏を伴う歌唱曲の主旋律のメロディーを推定するために、歌手のボーカル成分のピッチ周波数を推定する音楽音響信号のピッチ推定装置及び方法に関する。

従来から、人間の発する音声のピッチ周波数を推定する方法として、ケプストラム法によるピッチ推定法が知られている。音声の対数スペクトルは、基本周波数の高調波成分に対応する周期的な微細構造を有するが、これを逆フーリエ変換したケプストラムでは、基本周期に対応する位置に鋭いピークとなって現れるため、ケプストラムのピークを検出することでピッチ周期を求めることが出来る。すなわち、ケプストラム法では、入力した音声波形を一定の時間間隔で切り出し、フーリエ変換を行って対数を取ることにより対数スペクトルを求め、更に逆フーリエ変換を行うことによりケプストラム係数を求め、求められたケプストラム係数のうちで、所望するピッチ探索範囲とサンプリング周波数に基づいて決定されるケプストラム次数におけるケプストラム係数の最大値を探索し、最大値を与える次数に基づいてピッチ周波数を求める。

ケプストラムを用いる従来の技術として、次のものが知られている。
例えば特許文献１に示された装置では、雑音下で雑音区間のケプストラムを求め、雑音下ケプストラムで正規化されたケプストラムを用いてピッチ情報（周波数、強度）を求めていた。また、特許文献２に示された装置では、入力された音響信号から、時間−スペクトルパターンを離散コサイン変換してケプストラムの時間軸方向の変化を示す時間−ケプストラムパターンを生成し、このように生成された時間−ケプストラムパターンの周辺部が持つ特徴を周辺特徴パターンとして抽出していた。更に、特許文献３に示された装置では、Ｎ乗根スペクトルをフーリエ逆変換してＮ乗根ケプストラムを求め、公知のケプストラム法を用いて音源情報を抽出していた。

特開２０００−２０００９０号公報 特開２００２−２７８５８０号公報 特開２００７−４７４２２号公報

従来のケプストラム法は、伴奏や背景音を伴わない歌声の音声からピッチ情報を抽出する場合には極めて効果的である。しかしながら、一般に、音楽音響信号には歌声とともに伴奏が存在するため、音楽音響信号のケプストラムには、歌声のピークとともに、伴奏の楽器音によるピーク、歌声成分と楽器音成分の干渉によるピークなど複数のピークを含む。このため、音楽音響信号中の歌声のピッチ情報の抽出が不安定になるという課題があった。

本発明は上記のような問題点を解決するためなされたもので、伴奏や背景音を伴う音声からでも安定したピッチ推定を行える音楽音響信号のピッチ推定方法を提供することを目的とする。

この発明に係る音楽音響信号のピッチ推定装置は、入力信号に対するケプストラム分析により第１のケプストラム系列を求めるケプストラム分析部と、第１のケプストラム係数に対して、第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求める２次元フィルタ処理部と、第２のケプストラム系列中に分布するケプストラム成分に基づいてピッチ周波数を推定するピッチ抽出部とを備えたものである。

この発明の音楽音響信号のピッチ推定装置は、第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求めるようにしたので、伴奏や背景音を伴う音声からでも安定したピッチ推定を行うことができる。

この発明の実施の形態１による音楽音響信号のピッチ推定装置を示す構成図である。 この発明の実施の形態１の音楽音響信号のピッチ推定装置による２次元平面上に展開される第１のケプストラム系列を示す説明図である。 この発明の実施の形態１の音楽音響信号のピッチ推定装置による２次元フィルタ処理を示す説明図である。 この発明の実施の形態２の音楽音響信号のピッチ推定装置によるフィルタ係数を示す説明図である。 この発明の実施の形態３の音楽音響信号のピッチ推定装置による分析例を示す説明図である。 この発明の実施の形態４による音楽音響信号のピッチ推定装置を示す構成図である。

実施の形態１．
図１は、この発明の実施の形態１による音楽音響信号のピッチ推定装置を示す構成図である。
図示の装置は、伴奏抑圧部２、ケプストラム分析部４、２次元フィルタ処理部６、ピッチ抽出部８を備えている。伴奏抑圧部２は、左右のチャンネルの信号からなりステレオ録音された楽曲の音楽音響信号１を入力する。そして、入力されたステレオの音楽音響信号１から左右のチャンネルの中央に定位する信号成分を残し伴奏の楽器成分を抑圧した上でモノラル信号に変換する機能を有している。音楽音響信号３は、この伴奏抑圧部２の出力としてのモノラルの音楽音響信号である。ケプストラム分析部４は、モノラルの音楽音響信号３を分析して第１のケプストラムの系列を生成する機能部であり、第１のケプストラム系列５は、ケプストラム分析部４の出力である。２次元フィルタ処理部６は、第１のケプストラム系列５を入力として２次元のフィルタを掛け、目的のケプストラム成分を強調し、第２のケプストラム系列を出力する機能部であり、第２のケプストラム系列７はその出力である。ピッチ抽出部８は、第２のケプストラム系列７中のピッチのピークを追跡してピッチ情報を出力する機能部であり、ピッチ情報９は、ピッチ抽出部８が出力するピッチ情報である。

次に、実施の形態１の動作を説明する。
音楽音響信号１は４４．１ｋＨｚでサンプリングされたＰＣＭのステレオ信号である。伴奏抑圧部２は、中央定位しているボーカル成分を強調するために、例えば、電子情報通信学会２００９年総合大会講演論文集１９９頁「Ａ−１０−４ ステレオ音楽音響信号からのボーカルピッチ抽出の検討」といった文献に記載された技術に従い、短時間周波数スペクトル上で左右の音量比とローカルピークの一致性に基づいて，中央定位しているボーカル成分を強調したモノラル音響信号を生成することによりボーカル成分を強調した音楽音響信号３を生成する。

ケプストラム分析部４は、音楽音響信号３に対して、アンチエイリアスのためのＬＰＦを掛け、ダウンサンプリングを行い、サンプリング周波数を１／４の１１．０１２５ｋＨｚの信号に変換する。そして、プリエンファシスを行った後、ハミングの時間窓を一定のフレーム周期で移動させてフレームを切り出し、各フレームに対してフーリエ変換を行いスペクトルを求め、その対数をとり対数スペクトルに変換する。さらに、逆フーリエ変換によりケプストラム係数に変換し、第１のケプストラム系列５として出力する。
ここで、第１のケプストラム系列５は、フレーム方向とケプストラムの次数方向（すなわちケフレンシ方向）からなる２次元の平面上にケプストラムが分布したものと捉えることができる。図２に２次元平面として捉えなおしたケプストラム系列を示す。

２次元フィルタ処理部６は、２次元平面に分布するケプストラム係数に対して、所定の重み係数をもつ２次元フィルタを掛ける。図３は２次元フィルタの係数の与え方を示す。所望の座標点６１の値を求めるための２次元フィルタの係数は、座標点６１自身の係数と、座標点６１と同一フレームにあり、かつ座標点６１のケフレンシの整数倍（ここでは２倍）の位置にある座標点６２に対する係数と、この座標点６２の周辺の上下左右にある座標点６３〜６６に対する係数を有する。具体的には、所望の座標点６１のフレーム方向の座標をｉ、ケフレンシ方向の座標をｊとすると、２次元フィルタの係数は、図３の場合、以下の式（１）〜（８）で与えられる。

Ｗ（ｉ，ｊ）＝Ｂ（１）＊Ｖ（０）＊Ｈ（０） （１）
Ｗ（ｉ，ｊ＊２）＝Ｂ（２）＊Ｖ（０）＊Ｈ（０） （２）
Ｗ（ｉ，ｊ＊２＋１）＝Ｂ（２）＊Ｖ（１）＊Ｈ（０） （３）
Ｗ（ｉ−１，ｊ＊２）＝Ｂ（２）＊Ｖ（０）＊Ｈ（−１） （４）
Ｗ（ｉ，ｊ＊２−１）＝Ｂ（２）＊Ｖ（−１）＊Ｈ（０） （５）
Ｗ（ｉ＋１，ｊ＊２）＝Ｂ（２）＊Ｖ（０）＊Ｈ（＋１） （６）
Ｐ（ｉ，ｊ）＝Ｗ（ｉ，ｊ）／Σ｛ｉ，ｊ｝ Ｗ（ｉ，ｊ）（上記のｉ，ｊ） （７）
Ｐ（ｉ，ｊ）＝０（上記以外のｉ，ｊ） （８）

ここで、Ｐ（ｉ，ｊ）がフィルタ係数であり、Ｗ（ｉ，ｊ）は座標（ｉ，ｊ）にある座標点に対する重み係数である。上記（ｉ，ｊ）以外の係数Ｐ（ｉ，ｊ）は０である。また、Σ｛ｉ，ｊ｝ Ｗ（ｉ，ｊ）は上記（ｉ，ｊ）に関するＷ（ｉ，ｊ）の総和を表す。また、Ｂ（ｎ）はケフレンシの倍数ｎの増大とともに小さくなる重み関数、Ｖ（ｙ）はケフレンシ方向の座標のずれ量｜ｙ｜（記号｜ｘ｜はｘの絶対値を表す）とともに減少する重み関数、Ｈ（ｘ）はフレーム方向の座標のずれ量｜ｘ｜とともに減少する重み関数である。重み関数のＢ，Ｖ，Ｈの関数形はそれぞれ以下の式（９）〜（１２）で示される。ここで、σはケフレンシ方向の分布の広がりのパラメータで例えば０．９、Ｌはフレーム方向の分布の広がりのパラメータで例えば５である。

Ｂ（ｎ）＝１／ｎ （９）
Ｖ（ｙ）＝ｅｘｐ（−｜ｙ｜^２／σ^２） （１０）
Ｈ（ｘ）＝１＋ｃｏｓ（π｜ｘ｜／Ｌ）（｜ｘ｜≦Ｌのとき） （１１）
Ｈ（ｘ）＝０ （｜ｘ｜＞Ｌのとき） （１２）

上記のフィルタ係数を第１のケプストラム系列５中のピッチ周期の存在範囲についてフィルタ演算を行いフィルタ処理結果を得る。例えば、所望の座標点（ｉ，ｊ）のフィルタ演算は式（１３）のように行う。ここで、総和演算Σの範囲｛ｘ，ｙ｝は式（１）〜（６）のＷの係数の存在範囲について行う。ここで、Ａ（ｉ，ｊ）は所望の座標点（ｉ，ｊ）における第２のケプストラム係数である。
Ａ（ｉ，ｊ）＝Σ｛ｘ，ｙ｝ Ｃ（ｉ＋ｘ，ｊ＋ｙ）＊Ｐ（ｉ＋ｘ，ｊ＋ｙ）
（１３）
２次元フィルタ処理部６は、以上のようにして、第２のケプストラム中のピッチ周期の探索範囲の座標点７１の範囲についてフィルタ演算を行う。

最後に、ピッチ抽出部８は、第２のケプストラム系列７をフレーム方向に探索し、各フレームにおけるケプストラムについて、ケフレンシ方向にケプストラム係数の最大のピークを探索し、このピークの値とこのピークの存在するケフレンシを求め、ケフレンシの逆数として、ピッチ周波数を決定する。もし、ピークの値が所定の閾値より小さいときは、無声音であると判定し、ピッチを０として出力する。ピッチ抽出処理は、式（１４）の演算により行う。ここで、式（１４）〜（１７）中、ｉはフレーム番号、ｇ（ｉ）はピークの値（最大値）、ｑ（ｉ）はピークのケフレンシ、ｆ（ｉ）はピッチ周波数、Θは閾値である。また、ｍａｘ｛ｙ｝は、添え字ｙに関する最大値演算を表す。また、ａｒｇｍａｘ｛ｙ｝は、最大値演算（ｍａｘ｛ｙ｝）において最大値を与える添え字ｙを求める演算を表す。

ｇ（ｉ）＝ｍａｘ｛ｙ｝ Ａ（ｉ，ｙ） （１４）
ｑ（ｉ）＝ａｒｇｍａｘ｛ｙ｝ Ａ（ｉ，ｙ） （１５）
ｆ（ｉ）＝１／ｑ（ｉ） （ｇ（ｉ）＞Θのとき） （１６）
ｆ（ｉ）＝０ （ｇ（ｉ）≦Θのとき） （１７）

以上のように、実施の形態１の音楽音響信号のピッチ推定装置によれば、入力信号に対するケプストラム分析により第１のケプストラム系列を求めるケプストラム分析部と、第１のケプストラム係数に対して、第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求める２次元フィルタ処理部と、第２のケプストラム系列中に分布するケプストラム成分に基づいてピッチ周波数を推定するピッチ抽出部とを備えたので、伴奏や背景音を伴う音声からでも安定したピッチ推定を行うことができる。

また、実施の形態１の音楽音響信号のピッチ推定装置によれば、２次元フィルタの係数は、少なくとも所望の座標点の周期の整数倍の周期の座標またはその周辺の座標にある第１のケプストラム系列中の成分を集約する係数であるようにしたので、より安定したピッチ推定を行うことができる。

また、実施の形態１の音楽音響信号のピッチ推定装置によれば、２次元フィルタの係数は、少なくとも所望の座標点の前後のフレームの座標点またはその周辺の座標にある第１のケプストラム系列中の成分を集約する係数であるようにしたので、より安定したピッチ推定を行うことができる。

また、実施の形態１の音楽音響信号のピッチ推定方法によれば、実施の形態１に記載の音楽音響信号のピッチ推定装置を用いて入力信号からピッチ周波数を推定する音楽音響信号のピッチ推定方法であって、入力信号に対するケプストラム分析により第１のケプストラム系列を求めるケプストラム分析過程と、第１のケプストラム係数に対して、第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求めるフィルタ過程と、第２のケプストラム系列中に分布するケプストラム成分に基づいてピッチ周波数を推定するピッチ抽出過程とを備えたので、伴奏や背景音を伴う音声からでも安定したピッチ推定を行うことができる。

実施の形態２．
実施の形態２では、２次元フィルタ処理部における２次元フィルタ係数として、フレーム方向に離れるほどケフレンシ方向に広がりを持たせたものである。図面上の構成及び２次元フィルタ係数以外の構成は図１に示した実施の形態１と同様であるため、その他の構成についての説明は省略する。
図４は、実施の形態２のフィルタ係数を示す説明図である。図示のように、２次元フィルタ係数として、フレーム方向に離れるほどケフレンシ方向に広がりを持たせている。これにより、フレーム方向にピッチが揺らぐ場合でもピッチ成分を集約することができる。

実施の形態３．
実施の形態３において、図面上の構成は実施の形態１の図１と同様であるため、図１を用いて説明する。本実施の形態では、２次元フィルタ処理部６における２次元フィルタの出力は、ケプストラムの総和で正規化して、第２のケプストラム系列７の値に確率分布としての形状を持たせている。これにより、第２のケプストラム系列７中の相互の値どうしを直接比較が可能となっている。そして、これにより、ピッチ抽出部８におけるピッチに対応するピークの探索処理が最大値を求める処理で可能となっている。

以上の処理を音楽音響処理に適用したときの例を図５に示す。
（ａ）は音楽音響信号３の対数スペクトル系列（スペクトログラム）を示す図である。
（ｂ）は第１のケプストラム系列５を２次元平面上に濃淡表示した図である。図中、黒丸が所望の座標点であり、矩形枠がフィルタの重み係数を示している。２次元フィルタ処理部６では、第１のケプストラム系列５に対して、フレーム間の連続性と周期の倍数関係を強調するフィルタを用いてピッチ成分を強調する。
（ｃ）は、このようなフィルタ処理を行った第２のケプストラム系列７を２次元平面上に濃淡表示した図である。
（ｄ）は第２のケプストラム系列７から抽出された本実施の形態によるピッチ周波数のグラフであり、実線が結果を、破線が正解を示している。
（ｅ）は第１のケプストラム系列５から抽出された従来のケプストラム法によるピッチ周波数のグラフであり、実線が結果を、破線が正解を示している。

図５において、（ｂ）と（ｃ）を比較するとピッチに対応するピークが強調されていることがわかる。また、（ｄ）と（ｅ）を比較するとピッチが安定して抽出されていることが分かる。

以上のように、実施の形態３の音楽音響信号のピッチ推定装置によれば、２次元フィルタ処理部６の出力は、ケプストラムの総和で正規化して、第２のケプストラム系列の値に確率分布としての形状を持たせたものとしたので、ピッチを安定して抽出することが出来る。

実施の形態４．
図６は、実施の形態４の音楽音響信号のピッチ推定装置を示す構成図である。
図示の装置は、伴奏抑圧部２、ケプストラム分析部４、２次元フィルタ処理部６ａ，６ｂ、ピッチ抽出部８１を備えている。本実施の形態では、ケフレンシ方向に係数の幅の大きいフィルタを有する２次元フィルタ処理部６ａ（ボーカル成分の検出用）と、ケフレンシ方向に係数の幅の小さいフィルタを有する２次元フィルタ処理部６ｂ（楽器音成分の検出用）とを備えている。これら２次元フィルタ処理部６ａ，６ｂにより、それぞれのフィルタ出力からなる第２のケプストラム７ａ，７ｂを求め、ピッチ抽出部８１では、それぞれの第２のケプストラム７ａ，７ｂ中のケプストラム係数の最大のピークの大きさを求め、両者を比較し、第２のケプストラム７ａ（ボーカル成分の検出用）によるピークのほうが第２のケプストラム７ｂ（楽器音成分の検出用）によるピークよりも大きい区間（すなわち基本周波数の揺らぎの大きい区間）をボーカルに対応したピッチ区間として抽出する。これにより、高調波成分が主体となる楽器音によるピッチのピークを抑圧することができる。

以上のように、実施の形態４の音楽音響信号のピッチ推定装置によれば、２次元フィルタ処理部６ａ，６ｂは、それぞれケフレンシ方向に係数の幅の異なる２つのフィルタを備え、それぞれのフィルタ出力として第２のケプストラム系列を出力し、ピッチ抽出部８は、これら２つの第２のケプストラム系列に基づいて、基本周波数の揺らぎの大きい区間をボーカルに対応したピッチ区間として抽出するようにしたので、高調波成分が主体となる楽器音によるピッチのピークを抑圧することができる。

１ 音楽音響信号（ステレオ）、２ 伴奏抑圧部、３ 音楽音響信号（モノラル）、４ ケプストラム分析部、５ 第１のケプストラム系列、６，６ａ，６ｂ ２次元フィルタ処理部、７，７ａ，７ｂ 第２のケプストラム系列、８，８１ ピッチ抽出部、９ ピッチ情報。

Claims (6)

1. 入力信号に対するケプストラム分析により第１のケプストラム系列を求めるケプストラム分析部と、
   前記第１のケプストラム係数に対して、当該第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求める２次元フィルタ処理部と、
   前記第２のケプストラム系列中に分布するケプストラム成分に基づいてピッチ周波数を推定するピッチ抽出部とを備えたことを特徴とする音楽音響信号のピッチ推定装置。
2. ２次元フィルタの係数は、少なくとも所望の座標点の周期の整数倍の周期の座標またはその周辺の座標にある第１のケプストラム系列中の成分を集約する係数であることを特徴とする請求項１記載の音楽音響信号のピッチ推定装置。
3. ２次元フィルタの係数は、少なくとも所望の座標点の前後のフレームの座標点またはその周辺の座標にある第１のケプストラム系列中の成分を集約する係数であることを特徴とする請求項１または請求項２に記載の音楽音響信号のピッチ推定装置。
4. ２次元フィルタ処理部の出力は、ケプストラムの総和で正規化して、第２のケプストラム系列の値に確率分布としての形状を持たせたものであることを特徴とする請求項１から請求項３のうちのいずれか１項記載の音楽音響信号のピッチ推定装置。
5. ２次元フィルタ処理部は、それぞれケフレンシ方向に係数の幅の異なる２つのフィルタを備え、それぞれのフィルタ出力として第２のケプストラム系列を出力し、ピッチ抽出部は、これら２つの第２のケプストラム系列に基づいて、基本周波数の揺らぎの大きい区間をボーカルに対応したピッチ区間として抽出することを特徴とする請求項１から請求項４のうちのいずれか１項記載の音楽音響信号のピッチ推定装置。
6. 請求項１に記載の音楽音響信号のピッチ推定装置を用いて入力信号からピッチ周波数を推定する音楽音響信号のピッチ推定方法であって、
   入力信号に対するケプストラム分析により第１のケプストラム系列を求めるケプストラム分析過程と、
   前記第１のケプストラム係数に対して、当該第１のケプストラム系列中に分布するケプストラム成分を所望の座標点に統合するための係数を有する２次元フィルタを用いて、第２のケプストラム系列を求めるフィルタ過程と、
   前記第２のケプストラム系列中に分布するケプストラム成分に基づいてピッチ周波数を推定するピッチ抽出過程とを備えたことを特徴とする音楽音響信号のピッチ推定方法。

Images