JP2008209548A - 音高推定装置、音高推定方法およびプログラム - Google Patents

Abstract

【課題】特徴量の瞬間的な変動が対象音の音高の推定に与える影響を低減する。
【解決手段】関数推定部２２は、音響信号Ｖを区分した複数のフレームの各々について基本周波数の確率密度関数Ｐを推定する。確率密度関数Ｐは、高調波構造をモデル化する複数の音モデルの混合分布として各フレームの音響信号Ｖをモデル化したときの音モデルの重み値を示す。平滑化部２４Aは、複数のフレームにわたる確率密度関数Ｐの平均を算定することで確率密度関数Ｐの関数値の時間的な変動を抑制する。音高特定部２６は、平滑化部２４による処理後の確率密度関数Ｐから音響信号Ｖの基本周波数Ｆ0を推定する。
【選択図】図１

Description

本発明は、音高（基本周波数）を推定する技術に関する。

特許文献１には、複数の音の混合音など様々な音（以下「対象音」という）を構成するひとつの音の基本周波数を推定する技術が開示されている。この技術においては、対象音を区分した各フレームの振幅スペクトルを複数の音モデル（高調波構造をモデル化した確率密度関数）の混合分布でモデル化したときの各音モデルの重み値を基本周波数の確率密度関数として算定し、確率密度関数において優勢なピークが現れる周波数を所望の音の基本周波数として推定する。
特許第３４１３６３４号公報

しかし、以上の技術においてフレームごとに算定される各種の数値（以下「特徴量」という）は、様々な原因によって瞬間的に変動し得る。例えば、弦楽器の演奏音の音高が推定される場合を想定する。各弦の演奏音が干渉によって相互に打消し合うと、本来ならば対象音に含まれるべき楽音の振幅が瞬間的に低減される可能性がある。この場合には、基本周波数の確率密度関数において本来ならば複数のフレームにわたって連続すべきピークが瞬間的に消失する場合があるから、実際の演奏に対応した所期の基本周波数を推定することはできない。例えば、実際の演奏では対象音の音高の軌跡が連続していたにも拘わらず、推定の結果では音高の軌跡が不安定に途切れる場合がある。

また、対象音にはノイズが重畳される場合がある。例えば、弦楽器における各弦の摩擦音や演奏者の身体が楽器の本体に接触する音や演奏時の周囲の騒音など様々なノイズが対象音には重畳され得る。さらに、音響信号に電気的なノイズが重畳される場合もある。対象音の音響信号にノイズが発生すると、実際には対象音に含まれない音に対応した偽のピークが基本周波数の確率密度関数に発生する場合がある。

以上のように、特徴量が瞬間的に変動すると基本周波数の確率密度関数に偽のピークの発生やピークの消失が生じ得るから、対象音の音高を高精度に推定したうえで音高の軌跡を安定させることは困難である。このような事情に鑑みて、本発明は、特徴量の瞬間的な変動が対象音の音高の推定に与える影響を低減するという課題の解決を目的としている。

以上の課題を解決するために、本発明に係る音高推定装置は、音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定手段と、各確率密度関数から音響信号の基本周波数を推定する音高特定手段と、関数推定手段または音高特定手段による処理に際してフレームごとに算定される特徴量の時間的な変動を抑制する平滑化手段とを具備する。以上の構成においては、フレームごとに算定される特徴量の時間的な変動が抑制される（平滑化される）から、特徴量の瞬間的な変動が対象音の音高の推定に与える影響を低減することができる。

本発明の好適な態様において、平滑化手段は、関数推定手段が推定する確率密度関数の関数値の時間的な変動を抑制する。本態様によれば、確率密度関数の関数値の時間的な変動が抑制されるから、確率密度関数から安定して基本周波数を推定することが可能となる。なお、本態様の具体例は第１実施形態として後述される。

本発明の好適な態様において、平滑化手段は、音高特定手段が特定する基本周波数の時間的な変動を抑制する。本態様によれば、基本周波数の時間的な変動が抑制されるから、ノイズなどの偶発的な要因が基本周波数の推定に与える影響を低減することが可能となる。なお、本態様の具体例は第２実施形態として後述される。

本発明の好適な態様に係る音高推定装置は、音響信号を区分した各フレームについて振幅スペクトルを生成する周波数分析手段を具備し、関数推定手段は、各振幅スペクトルに基づいて確率密度関数を推定し、平滑化手段は、振幅スペクトルの強度の時間的な変動を抑制する。以上の態様によれば、振幅スペクトルの時間的な変動が抑制されるから、関数推定手段による確率密度関数の推定や音高特定手段による基本周波数の特定を安定的に実行することが可能である。

本発明の好適な態様において、平滑化手段は、フレームごとに順次に算定される特徴量の複数個を記憶する記憶手段と、記憶手段に記憶された複数個の特徴量から選択した所定数の特徴量の平均値を平滑化後の特徴量として算定する平均算定手段と、平均算定手段が選択する特徴量の個数を制御する制御手段とを具備する。本態様においては、平滑化に使用される特徴量の個数が所定数の特徴量に基づいて制御されるから、例えば、特徴量の変動が大きい場合に個数を減少させることで、特徴量の適正な変動を平滑化後の特徴量に迅速に反映させることが可能となる。なお、本態様の具体例は第３実施形態として後述される。

本発明の別の態様に係る音高推定装置は、発音の始点または終点を音響信号から検出する検出手段を具備し、平滑化手段は、検出手段が検出した始点または終点に対応した時機の特徴量をそのまま出力する。本態様においては、発音の始点または終点に対応した時機の特徴量がそのまま（平滑化されずに）出力されるから、音の立ち上がりや立ち下がりを忠実に反映して基本周波数を推定することが可能である。なお、本態様の具体例は第５実施形態として後述される。

本発明は、音響信号の基本周波数を推定する方法としても特定される。本発明の音高推定方法は、音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定し、各確率密度関数から音響信号の基本周波数を推定する一方、確率密度関数の推定または基本周波数の推定に際してフレームごとに算定される特徴量の時間的な変動を抑制することを特徴としている。以上の方法によれば、本発明の音高推定装置と同様の作用および効果が奏される。

本発明に係る音高推定装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定処理と、各確率密度関数から音響信号の基本周波数を推定する音高特定処理と、関数推定処理または音高特定処理に際してフレームごとに算定される特徴量の時間的な変動を抑制する平滑化処理とをコンピュータに実行させる内容である。以上のプログラムによっても、本発明に係る音高推定装置と同様の作用および効果が奏される。なお、本発明のプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音高推定装置の機能的な構成を示すブロック図である。音高推定装置Ｄは、図１に示すように、周波数分析部１２とＢＰＦ（Band Pass Filter）１４と音高推定部２０と記憶部３０とを含む。図１に図示された各部は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現されてもよいし、基本周波数Ｆ0の推定に専用されるＤＳＰなどのハードウェアによって実現されてもよい。

周波数分析部１２には、対象音の時間波形を示す音響信号Ｖが入力される。本実施形態の音響信号Ｖが示す対象音は、各々の音高や音源が相違する複数の音の混合音である。周波数分析部１２は、所定の窓関数を利用して音響信号Ｖを複数のフレームに分割し、ＦＦＴ（Fast Fourier Transform）処理を含む周波数分析を各フレームの音響信号Ｖに実行することで対象音の振幅スペクトルを特定する。各フレームは時間軸上で相互に重なり合うように設定される。

ＢＰＦ１４は、周波数分析部１２がフレームごとに特定した振幅スペクトルのうち特定の周波数帯域に属する成分を選択的に通過させる。ＢＰＦ１４の通過帯域は、対象音を構成する複数の音のうち音高を推定すべき各音の基本周波数成分や高調波成分の多くが通過し、かつ、他の音の基本周波数成分や高調波成分が所望の音よりも優勢となる周波数帯域が遮断されるように、統計的または実験的に予め選定される。ＢＰＦ１４を通過した各フレームの振幅スペクトルＳは音高推定部２０に出力される。

音高推定部２０は、対象音を構成する各音の基本周波数Ｆ0（音高）を推定する手段であり、関数推定部２２と平滑化部２４Aと音高特定部２６とを含む。関数推定部２２は、基本周波数の確率密度関数Ｐを振幅スペクトルＳに基づいてフレームごとに推定する。ひとつのフレームについて推定される確率密度関数Ｐは、当該フレームの振幅スペクトルＳを多数の音モデルの混合分布（複数の音モデルの重み付き和）としてモデル化したときの各音モデルの重み値ω[F]の分布を表現する関数である。音モデルは、対象音を構成する各音の基本周波数Ｆ0の候補となる基本周波数Ｆごとに用意される。例えば基本周波数Ｆaの音モデルは、基本周波数Ｆaに対応した高調波構造（基本周波数Ｆaの基音成分とその整数倍の周波数の倍音成分との周波数軸上における分布）をモデル化する関数である。したがって、基本周波数Ｆaに対応する重み値ω[Fa]は、基本周波数Ｆaの音モデルが振幅スペクトルＳの高調波構造をどのくらい優勢に支持するかを示す。以上の定義から理解されるように、各フレームの確率密度関数Ｐにおいて優勢なピークが現れるひとつまたは複数の基本周波数Ｆは、対象音のうち当該フレームに属する成分を構成する各音の基本周波数Ｆ0（音高）である可能性が高い。

本実施形態の関数推定部２２は、最尤推定アルゴリズムのひとつであるＥＭ（Expectation-Maximization）アルゴリズムに基づいて重み値ω[F]を反復的に更新することでひとつのフレームの確率密度関数Ｐを特定する。すなわち、関数推定部２２は、Ｅ（Expectation）ステップとＭ（Maximization）ステップとから構成される処理（以下「単位処理」という）を複数回にわたって反復する。各単位処理は、前回の単位処理で算定された重み値ω[F]（第１回目の単位処理においては重み値ω[F]の初期値）に基づいて新たな重み値ω[F]を算定する処理である。重み値ω[F]は、単位処理のたびに、複数の音モデルの混合分布によって振幅スペクトルＳがモデル化されるときの重み値ω[F]（尤度が高い数値）に近づいていく。

ひとつのフレームの振幅スペクトルＳについて処理を開始してから単位処理が所定の回数にわたって実行された段階で算定されている重み値ω[F]が当該フレームの確率密度関数Ｐとして平滑化部２４Aに出力される。平滑化部２４Aは、確率密度関数Ｐの関数値（確率）の時間的な変動を抑制する手段である。本実施形態の平滑化部２４Aは、最新のフレームを含む所定個のフレームにわたる確率密度関数Ｐの平均値（移動平均）を当該最新のフレームの確率密度関数Ｐとして出力する。

記憶部３０は、音高推定部２０による処理に使用される各種の情報を記憶する手段（磁気記憶装置や半導体記憶装置）である。例えば各回の単位処理で算定された重み値ω[F]やその算定に使用される音モデルが記憶部３０に記憶される。

音高特定部２６は、平滑化部２４Aによる処理後の確率密度関数Ｐに優勢なピークが現れるひとつまたは複数の基本周波数Ｆを対象音の各音の基本周波数Ｆ0として特定する手段である。本実施形態の音高特定部２６は、各フレームの確率密度関数Ｐに現れるピークの時間的な変動をマルチエージェントモデルによって追跡することで所望の各音の基本周波数Ｆ0の軌跡を特定する。すなわち、複数の自律的なエージェントの各々に確率密度関数Ｐの別個のピークを割当てたうえで複数のフレームにわたる各ピークの変遷を追跡させ、複数のエージェントのうち信頼度が高い順番に選択した所定数のエージェントの各ピークが現れる周波数を基本周波数Ｆ0として出力する。なお、各エージェントの具体的な挙動については特許文献１に開示されている。

次に、図２は、関数推定部２２から出力された直後（平滑化部２４Aによる処理前）の確率密度関数Ｐの時間的な変遷を示す概念図である。同図においては、フレームＦn-2からフレームＦn+2までの計５個のフレームについて推定された確率密度関数Ｐ（Ｐn-2〜Ｐn+2）が図示されている。

同図に示すように、確率密度関数Ｐには、複数のフレームにわたって連続して略同一の基本周波数Ｆにピークが現れ易いという傾向がある。しかし、例えば対象音を構成する各音が相互の干渉によって打ち消し合うと、本来ならば対象音に含められるべき楽音の振幅が瞬間的に低減されるから、複数のフレームの確率密度関数Ｐにて連続的に発生していたピークが少数のフレームにて瞬間的に消失する場合がある。例えば、図２の基本周波数Ｆaに着目すると、確率密度関数Ｐn-2および確率密度関数Ｐn〜Ｐn+2にはピークが現れるのに対し、同図に符号ａで指示されるように確率密度関数Ｐn-1においては瞬間的にピークが消失している。

また、対象音や音響信号Ｖにノイズが含まれると、複数のフレームの確率密度関数Ｐにわたってピークが存在していなかった基本周波数Ｆに少数のフレームにて突発的にピークが発生する場合がある。例えば、図２の基本周波数Ｆbに着目すると、確率密度関数Ｐn-2〜Ｐnおよび確率密度関数Ｐn+2にはピークが現れないのに対し、同図の符号ｂで指示されるように確率密度関数Ｐn+1には瞬間的にピークが発生している。

次に、図３は、平滑化部２４Aによる処理後の確率密度関数Ｐの時間的な変遷を示す概念図である。平滑化部２４Aは確率密度関数Ｐの関数値の時間的な変動を平滑化する。したがって、図３に符号ａで示されるように、平滑化前にピークが瞬間的に消失していた確率密度関数Ｐn-1には、過去にわたる所定個のフレーム（Ｆn-2，Ｆn-3，……）のピークと略同じ基本周波数Ｆaにピークが現れる。また、図３に符号ｂで示されるように、確率密度関数Ｐn+1にて基本周波数Ｆbに突発的に発生していたピークは抑制される。音高特定部２６は、平滑化部２４Aによる処理後の確率密度関数Ｐから基本周波数Ｆ0を特定するから、本実施形態によれば、確率密度関数Ｐの関数値の瞬間的な変動が音高の推定に与える影響が低減され、基本周波数Ｆ0を高精度かつ安定的に（例えば基本周波数Ｆ0の時間的な軌跡を途切れさせずに）推定することが可能となる。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態においては、構成や機能が第１実施形態と共通する要素に同じ符号を付して、各々の詳細な説明を適宜に省略する。

図４は、本実施形態に係る音高推定装置Ｄの構成を示すブロック図である。同図に示すように、本実施形態においては、第１実施形態における関数推定部２２の後段の平滑化部２４Aに代えて、音高特定部２６の後段に平滑化部２４Bが配置される。関数推定部２２からフレームごとに出力される確率密度関数Ｐは順次に音高特定部２６に供給される。音高特定部２６は、確率密度関数Ｐに優勢なピークが現れる所定数（本実施形態では３個）の周波数を対象音の各音の基本周波数Ｆ0（Ｆ0[1]〜Ｆ0[3]）としてフレームごとに特定したうえで出力する。確率密度関数Ｐから基本周波数Ｆ0を特定する処理には、第１実施形態と同様にマルチエージェントモデルが好適に採用される。

図４の平滑化部２４Bは、音高特定部２６が特定する基本周波数Ｆ0[1]〜Ｆ0[3]の各々の時間的な変動を抑制する手段である。基本周波数Ｆ0[1]は基本周波数Ｆ0[2]よりも低い周波数であり、基本周波数Ｆ0[3]は基本周波数Ｆ0[2]よりも高い周波数である。平滑化部２４Bは、最新のフレームを含む所定個のフレームにわたる基本周波数Ｆ0[i]（ｉ＝1,2,3）の平均値（移動平均）を当該最新のフレームの基本周波数Ｆ0[i]として出力する。例えば、平滑化部２４Bが出力する基本周波数Ｆ0[1]は、所定個のフレームにわたる基本周波数Ｆ0[1]の平均値である。

図５は、音高特定部２６が特定した基本周波数Ｆ0[1]〜Ｆ0[3]の各々の軌跡を示す概念図である。同図に示すように、基本周波数Ｆ0[1]は長時間にわたってほぼ周波数Ｆaを維持する。同様に、基本周波数Ｆ0[2]は長時間にわたって周波数Ｆbを維持する。これに対し、基本周波数Ｆ0[3]は、時刻ｔ1以前の期間と時刻ｔ2以後の期間とにわたって周波数Ｆcを維持するが、時刻ｔ1と時刻ｔ2との間の期間Δｔにおいては周波数Ｆdに変化する。以上のように基本周波数Ｆ0に瞬間的な変動が発生するのは、対象音に実際には含まれない基本周波数Ｆに確率密度関数Ｐのピーク（例えば図２の符号ｂ）が現れた場合に、音高特定部２６が当該ピークの周波数を基本周波数Ｆ0と誤認するからである。

図６は、平滑化部２４Bによる処理後の基本周波数Ｆ0[1]〜Ｆ0[3]の各々の軌跡を示す概念図である。平滑化部２４Bは、基本周波数Ｆ0[1]〜Ｆ0[3]の各々の急激な変動を抑制する。したがって、平滑化部２４Bによる処理後における期間Δｔ内の基本周波数Ｆ0[3]は、時刻ｔ1以前の期間や時刻ｔ2以後の期間における周波数Ｆcに近い数値（理想的には周波数Ｆc）に修正される。なお、基本周波数Ｆ0[1]およびＦ0[2]は平滑化前から略一定の周波数に維持されるから、平滑化の前後において各々の軌跡は殆ど変化しない。

以上に説明したように、本実施形態においては、確率密度関数Ｐの瞬間的な変動が基本周波数Ｆ0に与える影響が低減され、実際に対象音に含まれる各音の基本周波数Ｆ0を高精度かつ安定的に推定することが可能となる。

＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態について説明する。以上の各形態においては、確率密度関数Ｐの関数値や基本周波数Ｆ0などフレームごとに算定される特徴量について平均値が算定される構成を例示した。平均値の算定の対象となる特徴量の個数（サンプル数）を固定値とした場合、ノイズなどに起因した特徴量の偶発的な変動は確かに抑制されるが、対象音の実際の特性が急峻に変化した場合であっても特徴量が緩慢にしか変動しない（すなわち特徴量が実際の対象音の特性を忠実に反映しない）という問題がある。そこで、対象音の特性に応じて特徴量を急峻に変化させ得る平滑化部２４（２４A，２４B）の具体例を以下に説明する。

図７は、本実施形態に係る平滑化部２４の構成を示すブロック図である。同図の平滑化部２４は、第１実施形態の平滑化部２４Aや第２実施形態の平滑化部２４Bとして利用される要素であり、記憶部２４１と平均算定部２４２と制御部２４３とを含む。記憶部２４１は、フレームごとに供給される特徴量ＥのＮ個（Ｎは２以上の自然数）を順番に記憶する手段である。平滑化部２４が第１実施形態の平滑化部２４Aとして利用される場合、特徴量Ｅは、前段の関数推定部２２が出力する確率密度関数Ｐの関数値（確率）である。また、平滑化部２４が第２実施形態の平滑化部２４Bとして利用される場合、特徴量Ｅは、前段の音高特定部２６が出力する基本周波数Ｆ0の各々である。Ｎ個の特徴量Ｅ（Ｅ1〜ＥN）のうち特徴量Ｅ1が最も新しく、特徴量ＥNが最も古い。

平均算定部２４２は、記憶部２４１に記憶されたＮ個の特徴量Ｅ1〜ＥNのうち最新の特徴量Ｅ1から特徴量ＥLまでの計Ｌ個（Ｌは１≦Ｌ≦Ｎを満たす整数）の平均値を算定したうえで平滑化後の特徴量ＥAとして出力する手段である。平滑化部２４が第１実施形態の平滑化部２４Aとして利用される場合、特徴量ＥAは図３に示した確率密度関数Ｐの関数値に相当し、平滑化部２４が第２実施形態の平滑化部２４Bとして利用される場合、特徴量ＥAは図６に示した各基本周波数Ｆ0に相当する。以上のように記憶部２４１と平均算定部２４２とはＦＩＲ（Finite Impulse Response）フィルタを構成する。

制御部２４３は、平均算定部２４２が特徴量ＥAの算定のために選択する特徴量Ｅの個数Ｌを制御する手段である。図７の記憶部４２は、フレームごとに供給される特徴量ＥのＭ個（Ｍは２以上の自然数）を順番に記憶する手段である。演算部４４は、記憶部４２に記憶されたＭ個の特徴量Ｅについて自乗和Ｘ（Ｘ＝Ｅ1²＋Ｅ2²＋……＋ＥM²）を算定する。自乗和Ｘの算定は、記憶部４２に新たな特徴量Ｅが格納されるたび（すなわちフレームごと）に実行される。記憶部４５は、演算部４４が算定した最新の自乗和Ｘを記憶する。変化度算定部４６は、演算部４４が新たに算定した自乗和Ｘと直前に算定した自乗和Ｘ（すなわち記憶部４５に格納された自乗和Ｘ）との差分値Ｄの絶対値を変化度|Ｄ|として算定する。以上の構成から理解されるように、変化度|Ｄ|は、平滑化部２４に新たに供給された特徴量Ｅが、その直前のＭ個の特徴量Ｅ1〜ＥMから変化した程度の指標となる数値である。

係数制御部４８は、平均算定部２４２による選択の個数Ｌを変化度|Ｄ|に基づいて変化させる手段である。本実施形態の係数制御部４８は、変化度|Ｄ|が大きいほど個数Ｌが小さくなるように平均算定部２４２を制御する。例えば、図８に示すように、「Ｎ／|Ｄ|＋１」と「１」のうち大きい方が個数Ｌとして平均算定部２４２に指示される。したがって、変化度|Ｄ|が図８の閾値ＴＨを下回る範囲においては変化度|Ｄ|が小さいほど個数Ｌは大きくなる。例えば、変化度|Ｄ|がゼロである場合（すなわちＭ個の特徴量Ｅの自乗和Ｘに変化がない場合）には、記憶部２４１に格納された全部（Ｎ個）の特徴量Ｅ1〜ＥNが特徴量ＥAの算定のために選択される。一方、変化度|Ｄ|が閾値ＴＨを上回る範囲においては変化度|Ｄ|に拘わらず個数Ｌは「１」となる。したがって、記憶部２４１に新たに格納された特徴量Ｅ1がそのまま特徴量ＥAとして出力される。

以上に説明したように、本実施形態においては、特徴量ＥAの算定に利用される特徴量Ｅの個数Ｌが、Ｍ個の特徴量Ｅ1〜ＥMの自乗和Ｘの変化度|Ｄ|に応じて変化する。以上の構成によれば、変化度|Ｄ|を自乗和Ｘの差分として算定することで第１実施形態や第２実施形態と同様に特徴量Ｅの偶発的な変動が抑制される一方、自乗和Ｘが大きく変動した場合には、個数Ｌを減少させることで特徴量Ｅの変動を迅速かつ忠実に反映した特徴量ＥAが生成される。すなわち、ノイズなど偶発的な要因によらず対象音の特性が急峻に変化した場合に、特徴量ＥAを対象音に応じて急峻に変化させることが可能となる。

＜Ｄ：第４実施形態＞
次に、本発明の第４実施形態について説明する。第３実施形態においては、ＦＩＲフィルタを平滑化部２４に適用した構成を例示したが、本実施形態においてはＩＩＲ（Infinite Impulse Response）フィルタが平滑化部２４として利用される。

図９は、平滑化部２４の構成を示すブロック図である。同図に示すように、本実施形態の平滑化部２４は、ＩＩＲフィルタを構成する各要素（乗算器２４４・加算器２４５・記憶部２４６・乗算器２４７）と図７と同様の構成の制御部２４３とを含む。

乗算器２４４は、前段の要素から供給される特徴量Ｅに係数（1-k）を乗算する。加算器２４５は、乗算器２４４からの出力と乗算器２４７からの出力とを加算する。加算器２４５による加算の結果は、平滑化後の特徴量ＥAとして平滑化部２４から出力されるとともに記憶部２４６に格納される。記憶部２４６に格納された特徴量ＥAは、各フレームの特徴量Ｅが平滑化部２４に供給される周期に相当する時間長だけ遅延した時機に読み出される。乗算器２４７は、記憶部２４６から読み出された特徴量ＥAに係数ｋを乗算する。したがって、加算器２４５から出力される特徴量ＥAは、過去の多数のフレームの特徴量Ｅに基づいて新たな特徴量Ｅを時間的に平滑化した数値となる。

本実施形態の係数制御部４８は、変化度算定部４６が第１実施形態と同様の手順で算定した変化度|Ｄ|に基づいて係数ｋを算定し、乗算器２４７に当該係数ｋを指定するとともに乗算器２４４に係数（1-k）を指定する。係数制御部４８が算定する係数ｋは例えば以下の式で表現される。ただし、「ａ」は、例えば平滑化部２４に入力される特徴量Ｅの変動に応じて設定される定数である。
ｋ＝１／（ａ・|Ｄ|²＋１）
すなわち、変化度|Ｄ|が小さいほど係数ｋは増加する（係数（1-k）は減少する）から、特徴量Ｅの平滑化の度合は大きくなる。一方、変化度|Ｄ|が大きい（すなわち自乗和Ｘの変動が大きい）ほど係数ｋは減少するから、新たに供給された特徴量Ｅが平滑化後の特徴量ＥAに与える影響は増大する。したがって、第３実施形態と同様に、ノイズなど偶発的な要因によらず対象音の特性が急峻に変化した場合に、特徴量ＥAを対象音に応じて急峻に変化させることが可能となる。

＜Ｅ：第５実施形態＞
第１実施形態や第２実施形態のように特徴量（確率密度関数Ｐの関数値や基本周波数Ｆ0）が複数のフレームにわたる平均値に変換される構成においては、対象音を構成する各音の発音または消音を基本周波数Ｆ0の出力に迅速に反映させることが困難であるという問題がある。すなわち、対象音を構成する各音の発音の開始点から実際に当該音の基本周波数Ｆ0が出力され始める時点までに遅延が発生する場合や、発音の終了点から実際に当該音の基本周波数Ｆ0が出力され終える時点までに遅延が発生する場合がある。本発明の第４実施形態は、対象音を構成する各音の発音や消音を基本周波数Ｆ0に迅速に反映させるための形態である。

図１０は、音高推定装置Ｄの構成を示すブロック図である。同図に示すように、本実施形態の音高推定装置Ｄは、第１実施形態の各要素に加えて検出部５０を具備する。検出部５０は、音響信号Ｖが示す対象音を構成する各音の開始点（音響信号Ｖの振幅が急峻に立ち上がる時点）および終了点（音響信号Ｖの振幅が急峻に立ち下がる時点）を検出する手段である。発音の開始点および終了点の検出には公知の様々な技術が利用され得る。

平滑化部２４Aは、第１実施形態と同様に過去の複数のフレームにわたる確率密度関数Ｐの関数値の平均値を出力する。さらに、本実施形態の平滑化部２４Aは、検出部５０が発音の開始点または終了点を検出すると、過去のフレームにおける確率密度関数Ｐに拘わらず、その検出の直後に関数推定部２２から供給される確率密度関数Ｐ（すなわち発音が開始または終了した直後の音から推定された確率密度関数Ｐ）をそのまま出力する。

例えば、図７の平滑化部２４を採用した構成において、記憶部２４１に格納されているＮ個の特徴量Ｅ1〜ＥNの総ては、関数推定部２２が検出部５０による検出の直後に出力する確率密度関数Ｐの関数値に置換される。また、図９の平滑化部２４を採用した構成においては、発音の開始または終了の直後に制御部２４３が変数ｋをゼロに変更する。以上の処理によって平滑化部２４（図７の平均算定部２４２や図９の加算器２４５）からの出力は、発音が開始または終了した直後の音に対応した確率密度関数Ｐとなる。

以上に説明したように、本実施形態においては、対象音の各音の開始または終了が検出された直後の確率密度関数Ｐが平滑化を経ずに出力される。したがって、発音の開始や終了に拘わらず確率密度関数Ｐが時間的に平滑化される構成と比較して、発音の開始点から実際に当該音の基本周波数Ｆ0が出力され始めるまでの時間や、発音の終了点から実際に当該音の基本周波数Ｆ0が出力され終えるまでの時間が短縮される。すなわち、本実施形態によれば、対象音の各音の立ち上がりや立ち下がりを迅速かつ忠実に反映した基本周波数Ｆ0を特定することが可能となる。

＜Ｆ：変形例＞
以上の各形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。

（１）変形例１
平滑化の対象となる特徴量Ｅは確率密度関数Ｐの関数値や基本周波数Ｆ0に限定されない。例えば、周波数分析部１２やＢＰＦ１４から出力された振幅スペクトルの強度を複数のフレームにわたって時間的に平滑化してもよい。また、以上の各形態のように音高特定部２６にマルチエージェントモデルを採用した場合には、例えば各エージェントの信頼度（得点）を複数のフレームにわたって平滑化してもよい。すなわち、本発明の具体的な態様においては、フレームごとに算定される特徴量の時間的な変動を抑制する態様が特に好適に採用されるが、特徴量の具体的な意義やその算定の方法の如何は不問である。

（２）変形例２
以上の各形態を適宜に組み合わせてもよい。例えば、第１実施形態と第２実施形態とを組み合わせ、関数推定部２２と音高特定部２６との間に平滑化部２４Aが介在するとともに音高特定部２６の後段に平滑化部２４Bが配置された構成としてもよい。また、第５実施形態においては、第１実施形態に検出部５０を追加した構成を例示したが、第２実施形態に検出部５０を追加した構成も当然に採用される。

（３）変形例３
第３実施形態においてはＮ個の特徴量Ｅ1〜ＥNの相加平均が特徴量ＥAとして算定される構成を例示したが、平均算定部２４２が特徴量ＥAを算定する方法は適宜に変更される。例えば、特徴量Ｅ1〜ＥNの加重平均が特徴量ＥAとして算定される構成としてもよい。特徴量Ｅ1〜ＥNの各々に乗算される係数（重み値）は、例えば新しい特徴量Ｅの係数ほど大きくなるように設定される。また、特徴量Ｅ1〜ＥNの時間的な変動を抑制するための処理は、特徴量Ｅ1〜ＥNの平均値の算定に限定されない。例えば最頻値（モード）、中央値（メディアン）、ＬＰＣまたは残差の演算など、特徴量Ｅ1〜ＥNの突発的な変動を平滑化し得る総ての処理を採用することが可能である。さらに、図７や図９の記憶部４２および演算部４４を、ＩＩＲフィルタの構造に変更してもよい。

（４）変形例４
以上の各形態においては音高特定部２６にマルチエージェントモデルを使用した構成を例示したが、確率密度関数Ｐから基本周波数Ｆ0を特定する方法は任意である。例えば、確率密度関数Ｐのうち関数値が大きいほうから計数して所定数のピークの周波数を基本周波数Ｆ0として算定してもよい。

第１実施形態に係る音高推定装置の機能的な構成を示すブロック図である。 平滑化前の確率密度関数Ｐの時間的な変化を示す概念図である。 平滑化後の確率密度関数Ｐの時間的な変化を示す概念図である。 第２実施形態に係る音高推定装置の機能的な構成を示すブロック図である。 平滑化前の各基本周波数Ｆ0の時間的な変化を示す概念図である。 平滑化後の各基本周波数Ｆ0の時間的な変化を示す概念図である。 第３実施形態に係る平滑化部の機能的な構成を示すブロック図である。 平均値の算定に利用される特徴量の個数Ｌと変化度|Ｄ|との関係を示すグラフである。 第４実施形態に係る平滑化部の構成を示すブロック図である。 第５実施形態に係る音高推定装置の機能的な構成を示すブロック図である。

符号の説明

Ｄ……音高推定装置、１２……周波数分析部、１４……ＢＰＦ、２０……音高推定部、２２……関数推定部、２４，２４A，２４B……平滑化部、２６……音高特定部、２４１，２４６，４２，４５……記憶部、２４２……平均算定部、２４３……制御部、２４４，２４７……乗算器、２４５……加算器、４４……演算部、４６……変化度算定部、４８……係数制御部、Ｖ……音響信号、Ｓ……振幅スペクトル、Ｐ……基本周波数の確率密度関数、Ｆ0……対象音を構成する各音の基本周波数。

Claims (8)

1. 音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定手段と、
   前記各確率密度関数から音響信号の基本周波数を推定する音高特定手段と、
   前記関数推定手段または前記音高特定手段による処理に際してフレームごとに算定される特徴量の時間的な変動を抑制する平滑化手段と
   を具備する音高推定装置。
2. 前記平滑化手段は、前記関数推定手段が推定する確率密度関数の関数値の時間的な変動を抑制する
   請求項１に記載の音高推定装置。
3. 前記平滑化手段は、前記音高特定手段が特定する基本周波数の時間的な変動を抑制する
   請求項１または請求項２に記載の音高推定装置。
4. 音響信号を区分した各フレームについて振幅スペクトルを生成する周波数分析手段を具備し、
   前記関数推定手段は、前記各振幅スペクトルに基づいて確率密度関数を推定し、
   前記平滑化手段は、前記振幅スペクトルの強度の時間的な変動を抑制する
   請求項１から請求項３の何れかに記載の音高推定装置。
5. 前記平滑化手段は、
   前記フレームごとに順次に算定される特徴量の複数個を記憶する記憶手段と、
   前記記憶手段に記憶された複数個の特徴量から選択した所定数の特徴量の平均値を平滑化後の特徴量として算定する平均算定手段と、
   前記平均算定手段が選択する特徴量の個数を制御する制御手段と
   を具備する請求項１から請求項４の何れかに記載の音高推定装置。
6. 発音の始点または終点を音響信号から検出する検出手段を具備し、
   前記平滑化手段は、前記検出手段が検出した始点または終点に対応した時機の特徴量をそのまま出力する
   請求項１から請求項５の何れかに記載の音高推定装置。
7. 音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定し、
   前記各確率密度関数から音響信号の基本周波数を推定する一方、
   前記確率密度関数の推定または前記基本周波数の推定に際してフレームごとに算定される特徴量の時間的な変動を抑制する
   音高推定方法。
8. 音響信号を区分した複数のフレームの各々について、高調波構造をモデル化する複数の音モデルの混合分布として当該フレームの音響信号をモデル化したときの音モデルの重み値を示す基本周波数の確率密度関数を推定する関数推定処理と、
   前記各確率密度関数から音響信号の基本周波数を推定する音高特定処理と、
   前記関数推定処理または前記音高特定処理に際してフレームごとに算定される特徴量の時間的な変動を抑制する平滑化処理と
   をコンピュータに実行させるプログラム。

Images