JP2013120358A - 雑音抑圧装置、雑音抑圧方法、および雑音抑圧プログラム - Google Patents

Abstract

【課題】雑音混入音声から雑音を推定して雑音抑圧音声を得る方法および装置において、雑音抑圧音声の品質を高める。
【解決手段】付加雑音推定部が、周波数領域の音声データに基づき付加雑音を推定する。駆動音源推定部が、周波数領域の音声データと、付加雑音推定部によって推定された付加雑音とに基づき駆動音源の周波数領域における統計情報を推定する。そして、フィルター処理部は、周波数領域の音声データと、付加雑音推定部によって推定された付加雑音と、駆動音源推定部によって推定された駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出する。
【選択図】図１

Description

本発明は、音声に付加された雑音成分を抑圧する雑音抑圧装置、雑音抑圧方法、および雑音抑圧プログラムに関する。

テレビやラジオなど放送用の音声の収録は、必ずしも音声素材の収録に適した環境で行われるとは限らない。生中継の場合を含み、特に緊急報道の現場等からの中継では、自家発電機を用いて中継用機器類に供給する電力を用意しなければならない場合もあり、音声の収録時に、さまざまな雑音の混入が避けられない。そのような中でも放送に耐えうる明瞭な音声を得るには、混入した雑音を高品質に抑圧する技術が必要である。

例えば、非特許文献１には、時間領域でカルマンフィルターを用いて雑音を抑圧する技術が記載されている。

また、特許文献１には、ＡＲ係数の推定を必要とせずに雑音を抑圧する技術が記載されている。

また、非特許文献２には、周波数領域でカルマンフィルターを用いて雑音を抑圧する技術が記載されている。

特開２００８−２３６２７０号公報

K. K. Paliwal，A. Basu，"A speech enhancement method based on Kalman filtering", Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) ，Vol.12，ｐｐ．１７７−１８０, １９８７年 S. So，K. K. Paliwal, ，"Modulation-domain Kalman filtering for single-channel speech enhancement" ，Speech Communication，Vol.53，Issue 6 ，ｐｐ．８１８−８２９，２０１１年７月

しかしながら、上記の背景技術には、それぞれ次のような問題がある。
非特許文献１および非特許文献２に記載された技術では、ＡＲ過程のモデルを仮定しているため、雑音混入音声からＡＲ係数および駆動雑音を求める必要があるため、雑音抑圧音声の品質はそれらの推定精度に依存する。つまり、雑音混入音声からＡＲ係数および駆動雑音を正確に算出できなければ、雑音抑圧音声の品質が劣化する。また更に、ＡＲ係数および駆動雑音の算出に計算コストがかかるという問題もある。
また、非特許文献１および特許文献１のように時間領域でカルマンフィルターを用いる雑音抑圧技術では、雑音混入音声に音声が含まれている場合には音声の状態ベクトルの推定値に雑音混入音声の観測値が含まれるため、原理的に雑音抑圧効果に限界がある。
以上のように、従来技術によるいずれの方法でも、高品質に雑音抑圧音声を得ることができず、この問題を解決する方法はなかった。

本発明は、このような事情を考慮してなされたものであり、高品質に雑音抑圧音声を得ることのできる、雑音抑圧装置、雑音抑圧方法、および雑音抑圧プログラムを提供するものである。

［１］上記の課題を解決するため、本発明の一態様による雑音抑圧装置は、時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換部と、前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定部と、前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定部と、前記周波数領域の音声データと、前記付加雑音推定部によって推定された付加雑音と、前記駆動音源推定部によって推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理部と、前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換部とを具備する。

ここで、付加雑音推定部が周波数領域の音声データに基づき付加雑音を推定する処理の一例は、周波数領域の音声データ（振幅スペクトル）における周波数ごとに、時間方向の平均を取ることにより付加雑音を推定する処理である。
また、駆動音源推定部が推定する統計情報の一例は、駆動音源の周波数領域での分散値である。そして、駆動音源推定部が周波数領域の音声データと推定された前記付加雑音とに基づいて有色性駆動音源の周波数領域における統計情報を推定する処理の一例は、周波数ごとに、周波数領域の音声データ（振幅スペクトル）の分散値から、推定された付加雑音の分散値を減じることによって、駆動音源の周波数領域における分散値を推定する処理である。
また、フィルター処理部が周波数領域の音声データと、付加雑音推定部によって推定された付加雑音と、駆動音源推定部によって推定された有色性駆動音源の周波数領域における統計情報とに基づいて周波数領域の雑音抑圧音声データを算出する処理の一例は次の通りである。即ち、フィルター処理部は、時系列による雑音混入音声の振幅スペクトルのデータを読み出し、周波数ごとの有色性駆動音源の分散値と周波数ごとの付加雑音の分散値をも用いて、音声の振幅スペクトルの状態ベクトルの推定誤差およびカルマンゲインを含む状態空間モデルによるフィルター処理で、音声の振幅スペクトルの状態ベクトルの推定値を求める。そして、フィルター処理部は、音声の振幅スペクトルの状態ベクトルの推定値から、雑音抑圧音声の振幅スペクトルの推定値を求める。

［２］また、本発明の一態様は、上記の雑音抑圧装置において、前記フィルター処理部は、カルマンフィルターにより前記フィルター処理を行い、前記カルマンフィルターは状態空間モデルの状態方程式において自己回帰モデルの係数を使用しないように構成される。

［３］また、本発明の一態様は、上記の雑音抑圧装置において、前記付加雑音推定部が推定した前記付加雑音の情報を更新する更新部、をさらに具備し、前記駆動音源推定部は、前記更新部によって更新された前記付加雑音の情報に基づき前記有色性駆動音源の周波数領域における統計情報を推定し、前記フィルター処理部は、前記更新部によって更新された前記付加雑音の情報に基づき前記周波数領域の雑音抑圧音声データを算出する。

［４］また、本発明の一態様は、時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換過程と、前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定過程と、前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定過程と、前記周波数領域の音声データと、前記付加雑音推定過程において推定された付加雑音と、前記駆動音源推定過程において推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理過程と、前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換過程とを含む雑音抑圧方法である。
［５］また、本発明の一態様は、時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換部と、前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定部と、前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定部と、前記周波数領域の音声データと、前記付加雑音推定部によって推定された付加雑音と、前記駆動音源推定部によって推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理部と、前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換部とを具備する雑音抑圧装置としてコンピューターを機能させるためのプログラムである。

本発明によれば、周波数領域でカルマンフィルターを用いる雑音抑圧法を用いる。また、この雑音抑圧法において、ＡＲ係数を用いない状態空間モデルと、有色性駆動音源とを導入する。つまり、白色性を前提としたカルマンフィルターを用いるわけではない。
周波数領域でカルマンフィルターを用いることより、時間領域での雑音抑圧よりも良好な結果が得られる。また、ＡＲ係数を用いない状態空間モデルと、有色性駆動音源とを導入していることにより、雑音混入音声からＡＲ係数や白色性の駆動雑音を求めることがない。このため、雑音抑圧音声の音質がＡＲ係数の推定精度に影響されることがない。また、ＡＲ係数および白色性の駆動雑音を求める計算コストがかからない。

本発明の第１の実施形態による雑音抑圧装置の機能構成を示すブロック図である。 本発明の第２の実施形態による雑音抑圧装置の機能構成を示すブロック図である。 参考例１の方法により雑音抑圧を行った場合の結果として得られる音声波形を示すグラフである。 参考例１の方法により雑音抑圧を行った場合の結果として得られるスペクトルの時間変化を示すグラフである。 参考例２の方法により雑音抑圧を行った場合の結果として得られる音声波形を示すグラフである。 参考例２の方法により雑音抑圧を行った場合の結果として得られるスペクトルの時間変化を示すグラフである。 参考例３の方法により雑音抑圧を行った場合の結果として得られる音声波形を示すグラフである。 参考例３の方法により雑音抑圧を行った場合の結果として得られるスペクトルの時間変化を示すグラフである。 本発明の実施形態の方法により雑音抑圧を行った場合の音声波形を示すグラフである。 本発明の実施形態の方法により雑音抑圧を行った場合のスペクトルの時間変化を示すグラフである。

次に、図面を参照しながら本発明の一実施形態について説明する。なお、以下において数式に言及するとき、文字の後にハット「＾」を付した表現は、上に「＾」が付された文字であることを表わす（例：「Ｖ＾」、「Ｘ＾」等）。また、「（ボールド）」という括弧書きは、文字がボールド体であることを表わす。

［第１の実施形態］
図１は、同実施形態による雑音抑圧装置の機能構成を示すブロック図である。図示するように、雑音抑圧装置１は、音声波形切出し部１０と、フーリエ変換部２０と、位相スペクトル記憶部３０と、振幅スペクトル記憶部４０と、非音声区間検出部５０と、付加雑音推定部６０と、分散算出部７０と、駆動音源分散推定部（駆動音源推定部）８０と、カルマンフィルター部（フィルター処理部）９０と、雑音抑圧振幅スペクトル記憶部１００と、逆フーリエ変換部１１０と、音声波形重ね合わせ部１２０とを含んで構成される。

雑音抑圧装置１は、雑音が混入された雑音混入音声ｙ（ｎ）を入力し、このｙ（ｎ）を元に雑音を推定し、雑音を抑圧する処理を行い、雑音抑圧音声ｘ＾（ｎ）を出力する。

音声波形切出し部１０は、入力される雑音混入音声ｙ（ｎ）を取得し、音声波形をフレームごとに切り出す。ここで、ｎは時系列のサンプル番号である。また、雑音混入音声ｙ（ｎ）は、サンプリングされ、ＡＤ変換（アナログ−デジタル変換）された音声データである。一例としては、サンプリング周波数が１６ｋＨｚ（キロヘルツ）で、量子化ビット数は１６ビットである。また、切り出される分析フレームの長さＮはサンプル数であり、例えば、２５６サンプルとする。このフレーム長Ｎは、１／６４秒（約１６ミリ秒）に相当する。また、分析窓のシフト幅を、例えば、Ｎ／２に相当する１２８サンプルとする。このシフト幅Ｎ／２は、１／１２８秒（約８ミリ秒）に相当する。音声波形切出し部１０は、音声波形を切り出す際に、音声データに適切な窓関数を乗じる。窓関数の例は、下の式（１）で表される窓関数である。

なお、式（１）において、１≦ｎ≦２５６（＝Ｎ）である。そして、切り出されたｍ番目のフレームの、ｎ番目のサンプルのデータをｙ（ｍ，ｎ）で表わす。

フーリエ変換部２０は、時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換する。つまり、フーリエ変換部２０は、窓関数を乗じた上記のデータｙ（ｍ，ｎ）に高速離散フーリエ変換（ＦＦＴ，Fast Fourier Transform）を施し周波数特性Ｙ（m，ｋ）を算出する。ここで、ｋは離散周波数である。また、ＦＦＴのポイント数Ｋを５１２とする。この周波数特性Ｙ（m，ｋ）は、下の式（２）で表わされる。

式（２）において、Ｙ_Ｒ（m，ｋ）はＹ（m，ｋ）の実部であり、Ｙ_Ｉ（m，ｋ）はＹ（m，ｋ）の虚部である。また、∠Y（m，ｋ）は、Y（m，ｋ）の偏角である。
なお、Y（m，ｋ）の絶対値（振幅スペクトル）は、下の式（３）で表わされ、Y（m，ｋ）の偏角（振幅スペクトル）は下の式（４）で表わされる。

フーリエ変換部２０は、上記の振幅スペクトルを振幅スペクトル記憶部４０に一時的に書き込み、上記の位相スペクトルを位相スペクトル記憶部３０に一時的に書き込む。

位相スペクトル記憶部３０は、周波数特性の位相スペクトルのデータを記憶する。
振幅スペクトル記憶部４０は、周波数特性の振幅スペクトルのデータを記憶する。

非音声区間検出部５０は、一般的な音声区間検出手法を利用して、入力された雑音混入音声ｙ（ｎ）の非音声区間を検出する。音声区間検出手法自体としては、様々な既存技術を利用することができる。例えば、一つの方法としては、特定の周波数領域のパワーが所定の閾値を超えたか否かに応じて音声区間を検出する。この場合、超えた場合には音声区間であり、超えない場合には非音声区間であると判断する。また、他の方法としては、時間領域の音声信号の振幅と零交差数を用いて音声区間を検出する。この場合、ある閾値レベルを超える振幅について零交差数が所定数を超えたときに音声区間の開始であると判断し、その所定数以下になったときに非音声区間の開始であると判断する。更に他の方法としては、音声認識を利用する。この場合、所定の閾値を超える尤度の認識結果候補が得られるときに音声区間であると判断し、その他のときに非音声区間であると判断する。いずれも音声波形を切り出したフレーム単位で音声区間であるか非音声区間であるかを判定する。

付加雑音推定部６０は、周波数領域の音声データに基づき付加雑音を推定する。具体的には、付加雑音推定部６０は、周波数領域の音声データ（振幅スペクトル）における周波数ごとに、時間方向の平均を取ることにより付加雑音を推定する。具体的には、付加雑音推定部６０は、非音声区間検出部５０によって検出された非音声区間について、雑音混入音声の振幅スペクトル｜Ｙ（ｌ，ｋ）｜のデータを読み出す。そして、付加雑音推定部６０は、離散周波数ｋごとに、下の式（５）のように振幅スペクトル｜Ｙ（ｌ，ｋ）｜の平均を取ることにより、付加雑音の振幅スペクトルの推定値｜Ｖ＾（ｍ，ｋ）｜を求める。

式（５）において、Ｍ（ボールド）_ｍ，ｋは、離散周波数ｋにおける非音声区間に相当するフレーム番号の集合である。また、Ｍ_ｍ，ｋは、離散周波数ｋにおける非音声区間に相当するフレーム数である。
本実施形態における雑音抑圧装置１は、ある時点において式（５）を用いて推定された雑音の振幅スペクトルの推定値を、記憶しておき、使い続ける。

分散算出部７０は、付加雑音推定部６０によって推定された付加雑音の振幅スペクトルの推定値｜Ｖ＾（ｍ，ｋ）｜を元に、離散周波数ｋごとに、その分散値σ_{Ｖ＾（ｋ）} ^２を算出する。この分散値の算出は、下の式（６）により行なわれる。

式（６）において、Ｌは、適宜定められる区間に相当するフレーム数である。なお、推定された付加雑音の振幅スペクトルの推定値｜Ｖ＾（ｍ，ｋ）｜の離散周波数ｋごとの平均をゼロと仮定した。

駆動音源分散推定部８０は、周波数領域の音声データと、付加雑音推定部６０によって推定された付加雑音に基づき有色性駆動音源の周波数領域における分散値（統計情報）を推定する。具体的には、駆動音源分散推定部８０は、周波数ごとに、周波数領域の音声データ（振幅スペクトル）の分散値から、分散算出部７０によって推定された付加雑音の分散値を減じて、駆動音源の周波数領域における分散値を推定する。さらに具体的には、駆動音源分散推定部８０は、振幅スペクトル記憶部４０から取得される振幅スペクトルのデータと、分散算出部７０によって算出された付加雑音の分散値とを元に、駆動音源の分散値σ_{Ｘ＾（ｋ）} ^２を推定する。この駆動音源の分散値の算出は、下の式（７）により行なわれる。

式（７）におけるＬは、式（６）におけるＬと同様のフレーム数である。なお、雑音混入音声の振幅スペクトル｜Ｙ（ｌ，ｋ）｜の離散周波数ｋごとの平均をゼロと仮定した。

カルマンフィルター部９０は、周波数領域の音声データと、付加雑音推定部６０によって推定された付加雑音と、駆動音源分散推定部８０によって推定された駆動音源の分散値とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出する。具体的には、カルマンフィルター部９０は、時系列による雑音混入音声の振幅スペクトルのデータを読み出し、周波数ごとの駆動音源の分散値と周波数ごとの付加雑音の分散値をも用いて、音声の振幅スペクトルの状態ベクトルの推定誤差およびカルマンゲインを含む状態空間モデルによるフィルター処理で、音声の振幅スペクトルの状態ベクトルの推定値を求める。そして、カルマンフィルター部９０は、音声の振幅スペクトルの状態ベクトルの推定値から、雑音抑圧音声の振幅スペクトルの推定値を求める。
ここで特に、カルマンフィルター部９０は、状態空間モデルの状態方程式において自己回帰モデルの係数を使用しないように構成される。このカルマンフィルターの状態空間モデルは、下の式（８）の通りである。

式（８）におけるＸ（ボールド）（m，ｋ）は、ｐ×１×Ｋ次のベクトルであり、音声の振幅スペクトルの状態ベクトルである。なお、Ｋは離散周波数（ＦＦＴ）のポイント数である。このＸ（ボールド）（m，ｋ）は、下の式（９）のように表わされる。

なお、式（９）における「Ｔ」は転置を表わし、以下においても同様である。
式（８）におけるｇ（ボールド）およびｈ（ボールド）は、ｐ×１次の観測ベクトルであり、それぞれ式（１０）および式（１１）に表わすとおりである。

式（８）におけるＦ（ボールド）（ｋ）は、ｐ×ｐ×Ｋ次の遷移行列であり、下の式（１２）のように表わされる。当然ながら、この遷移行列のいずれの要素もＡＲ係数（自己回帰モデルの係数）を含まない。

カルマンフィルター部９０は、時刻１からｍまでの時系列による雑音混入音声の振幅スペクトルのデータ｜Ｙ（１，ｋ）｜，｜Ｙ（２，ｋ）｜，・・・，｜Ｙ（m，ｋ）｜を振幅スペクトル記憶部４０から読み出し、下の式（１３）により、音声の振幅スペクトルの状態ベクトルの推定値Ｘ（ボールド）＾（ｍ｜ｍ，ｋ）を算出する。

式（１３）において、Ｘ（ボールド）＾（ｍ｜ｍ，ｋ）は、ｐ×１×Ｋ次のベクトルであり、雑音混入音声の振幅スペクトルのデータ｜Ｙ（１，ｋ）｜，｜Ｙ（２，ｋ）｜，・・・，｜Ｙ（m，ｋ）｜が与えられたときの、音声の振幅スペクトル｜Ｘ（m，ｋ）｜の推定値である。
同様に、Ｘ（ボールド）＾（ｍ｜ｍ−１，ｋ）は、ｐ×１×Ｋ次のベクトルであり、雑音混入音声の振幅スペクトルのデータ｜Ｙ（１，ｋ）｜，｜Ｙ（２，ｋ）｜，・・・，｜Ｙ（ｍ−１，ｋ）｜が与えられたときの、音声の振幅スペクトル｜Ｘ（m，ｋ）｜の推定値である。

また、式（１３）において、Ｐ（ボールド）（ｍ｜ｍ，ｋ）およびＰ（ボールド）（ｍ｜ｍ−１，ｋ）は、ｐ×１×Ｋ次のベクトルであり、それぞれ、Ｘ（ボールド）＾（ｍ｜ｍ，ｋ）およびＸ（ボールド）＾（ｍ｜ｍ−１，ｋ）の推定誤差の共分散行列である。
また、Ｋ（ボールド）（m，ｋ）は、ｐ×１×Ｋ次のベクトルであり、カルマンゲインを表わす。

上で算出されたＸ（ボールド）＾（ｍ｜ｍ，ｋ）を用いて、カルマンフィルター部９０は、下の式（１４）により、雑音抑圧音声の振幅スペクトルの推定値｜Ｘ＾（ｍ，ｋ）｜を算出する。

雑音抑圧振幅スペクトル記憶部１００は、カルマンフィルター部９０で算出された雑音抑圧音声の振幅スペクトルの推定値｜Ｘ＾（ｍ｜ｍ，ｋ）｜を、一時的に記憶する。

逆フーリエ変換部１１０は、カルマンフィルター部９０によって算出された周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する。具体的には、逆フーリエ変換部１１０は、雑音抑圧振幅スペクトル記憶部１００から読み出した雑音抑圧音声の振幅スペクトル｜Ｘ＾（ｍ｜ｍ，ｋ）｜と、位相スペクトル記憶部３０から読み出した雑音混入音声の位相スペクトル∠Ｙ（m，ｋ）から、雑音抑圧音声の周波数特性を求める。雑音抑圧音声の周波数特性Ｘ＾（m，ｋ）は、下の式（１５）で表わされる。

そして逆フーリエ変換部１１０は、この周波数特性Ｘ＾（m，ｋ）を元に逆フーリエ変換（ＩＦＦＴ，Inverse FFT）の処理を行うことにより、フレームごとの音声の時間波形ｘ＾（ｍ，ｎ）を得る。この時間波形ｘ＾（ｍ，ｎ）、雑音抑圧された音声の波形である。ここで、ｍはフレームのインデックスを表わし、ｎはフレーム内のサンプルのインデックスを表わす。

音声波形重ね合わせ部１２０は、逆フーリエ変換部１１０の処理によって得られた時間波形ｘ＾（ｍ，ｎ）を、式（１）で示したハミング窓ｗ_ｈａｍｍ（ｎ）で除して、適切な窓関数を（たとえばハニング窓（ハン窓））を乗じる。ハニング窓ｗ_ｈａｎｎ（ｎ）は、下の式（１６）の通りである。

そして音声波形重ね合わせ部１２０は、窓関数を乗じたデータをフレームごとにシフト幅分ずらして重ね合わせることにより、雑音抑圧音声ｘ＾（ｎ）を求める。

［第２の実施形態］
次に、第２の実施形態について説明する。なおここでは、第１の実施形態と共通の事項についての説明を省略し、第２の実施形態に特有の事項のみを述べる。

図２は、第２の実施形態による雑音抑圧装置の機能構成を示すブロック図である。図示する通り、雑音抑圧装置２は、分散更新部２００（更新部）を備える。雑音抑圧装置２において、分散算出部７０は、所定の時間間隔でその時点での最新のデータに基づき付加雑音の分散値σ_{Ｖ＾（ｋ）} ^２を算出する。そして、分散更新部２００は、付加雑音推定部６０が推定した付加雑音の情報を更新する。具体的には、分散更新部２００は、所定の時間間隔で分散算出部７０によって算出された最新の分散値σ_{Ｖ＾（ｋ）} ^２を出力する。駆動音源分散推定部８０は、分散更新部２００から出力された上記分散値を用いて、駆動音源の分散を推定する。カルマンフィルター部９０は、分散更新部２００から出力された上記分散値を用いて、雑音抑圧音声の振幅スペクトルの推定値｜Ｘ＾（ｍ，ｋ）｜を算出する。以上の点を除き、雑音抑圧装置２の構成は、第１の実施形態における雑音抑圧装置１と同様である。

上記のように、この雑音抑圧装置２は、所定の時間間隔で付加雑音を推定し、推定された最新の付加雑音のデータに基づいて雑音抑圧を行なう。従って、時間経過につれて雑音の振幅スペクトルが変化した場合にも、その変化を追従し、精度良く雑音抑圧を行なうことができる。

なお、上述したそれぞれの実施形態における雑音抑圧装置の機能をコンピューターで実現するようにしても良い。その場合、この雑音抑圧装置の機能をＣＰＵに実行させる手順を表わしたプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

＜変形例等について＞
以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。

上記実施形態においては、非音声区間検出部５０は、周波数に依らず、音声区間であるか非音声区間であるかを判定し、非音声区間を検出した。代わりに、非音声区間検出部５０が、離散周波数ｋごとに音声区間であるか非音声区間であるかを判定し、非音声区間を検出するようにしても良い。この場合、付加雑音推定部６０は、離散周波数ｋに応じて、非音声区間検出部５０が検出した非音声区間の振幅スペクトル｜Ｙ（ｍ，ｋ）｜を用いて、付加雑音の推定を行なう。

また、上記実施形態においては、過去のフレームにおけるスペクトルから得られた値のみを用いて音声の推定（雑音抑圧）を行なっている。しかし、カルマンフィルター部９０が音声の推定を行なう際に、推定対象の時点よりも後のフレームの値を併用するようにしても良い。但しこの場合、推定精度の向上が期待される一方で、推定結果を得るためのリアルタイム性がやや損なわれる。

また、上記実施形態においては、付加雑音の分散値および駆動音源の分散値を用いて、雑音抑圧振幅スペクトルを算出した。分散値は、平均値からの乖離の２乗の平均として算出される値であるが、この分散値に限らず、付加雑音および駆動音源それぞれにおけるスペクトル値の分布状況を表わす統計情報に基づいて、雑音抑圧振幅スペクトルを算出するようにしても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

＜シミュレーションによる参考例との比較・評価＞
次に、本発明の効果を明確にするため、本発明の実施形態と参考実施例との間で、雑音抑圧のシミュレーション結果を比較する。

（参考例１）
参考例１は、先行技術文献の一つとしてあげた非特許文献１に記載された方法である。本例は、時間領域でカルマンフィルターを用いて雑音抑圧を図る。

本例では、雑音混入音声が、音声と加法性雑音により構成されるものとする。そして、音声にＡＲ（自己回帰）過程のモデルを仮定する。また、加法性雑音は、平均が０で、所定の分散値を有するガウス性白色雑音である。この雑音を考慮した状態空間モデルに基づき、遷移行列を用いて、音声の状態ベクトルの遷移を表わすことができる。なお、遷移行列の要素の一部に、ＡＲ係数が含まれる。カルマンフィルターは、離散時刻の時系列による雑音混入音声の時間変化を用いて、音声の状態ベクトルの推定値を算出する。
本例による方法では、雑音混入音声からＡＲ係数および駆動雑音を求める必要があるため、雑音抑圧音声の品質はそれらの推定精度に依存する。

図３は、参考例１の方法によって雑音抑圧した音声波形の例を示すグラフである。同図において、横軸は時刻（単位は秒）であり、縦軸は振幅である。同図（ａ）は、クリーンスピーチの音声波形を示す。同図（ｂ）は、付加雑音の音声波形を示す。同図（ｃ）は、雑音混入音声（ＳＮＲ＝０ｄＢ（デシベル））を示す。同図（ｄ）は、（ａ）のクリーンスピーチを元にＡＲ係数および駆動雑音の分散値を求めたときの、理想的な状況における雑音抑圧音声の音声波形を示す。同図（ｅ）は、（ｃ）の雑音混入音声を元にＡＲ係数および駆動雑音の分散値を求めたときの、雑音抑圧音声の音声波形を示す。なお、ここでは、付加雑音の分散値を既知としている。

図４は、図３に対応し、参考例１の方法によって雑音抑圧した場合のスペクトルを示すグラフである。同図において、横軸は時刻であり、縦軸は周波数である。またこのグラフにおいて、グレースケールの濃さは該当する時刻における該当する周波数のパワーを表わす。なお、図４の（ａ）から（ｅ）までは、それぞれ、図３の（ａ）から（ｅ）までに対応する。

図３および図４からわかるように、参考例１における（ｅ）の雑音抑圧音声では、音声が存在しない部分（非音声区間）を中心に、雑音混入音声から推定したＡＲ係数による品質劣化が見られる。また、参考例１における（ｄ）は原理的に性能の上限にあたる理想的な状況における雑音抑圧音声であるが、この（ｄ）においてさえ音声が存在する部分（音声区間）の雑音を抑圧しきれていなことのがわかる。

（参考例２）
参考例２は、先行技術文献の一つとしてあげた特許文献１に記載された方法である。本例は、時間領域の信号に対して、ＡＲ係数の推定を必要とせずに雑音抑圧を行なう方法である。

本例では、参考例１と同様に加法性雑音モデルを仮定し、状態空間モデルを構成する。但し本例では、加法性雑音は、白色性駆動雑音ではなく、有色性駆動音源である。本例の遷移行列は、要素としてＡＲ係数を含まない。本例の遷移行列は、参考例１の遷移行列におけるＡＲ係数の要素を０で置き換えたものである。すると、カルマンフィルターは参考例１と同様に、音声の状態ベクトルの推定値を算出し、そして音声の推定値が得られる。

図５は、参考例２の方法によって雑音抑圧した音声波形の例を示すグラフである。同図（ａ）はクリーンスピーチの音声波形を示す。同図（ｂ）は付加雑音の波形を示す。同図（ｃ）は雑音混入音声の波形を示す。同図（ｄ）は、（ａ）のクリーンスピーチから駆動音源の分散値を求めるとともに、（ｂ）から付加雑音の分散値を求めたときの、理想的な状況における雑音抑圧音声の波形を示す。同図（ｅ）は、（ｃ）の雑音混入音声から駆動雑音の分散値および付加雑音の分散値を求めたときの雑音抑圧音声の波形を示す。なお、ここでは付加雑音の分散値を既知としている。

図６は、図５に対応し、参考例２の方法によって雑音抑圧した場合のスペクトルを示すグラフである。なお、図６の（ａ）から（ｅ）までは、それぞれ、図５の（ａ）から（ｅ）までに対応する。

図５および図６からわかるように、参考例２における（ｅ）の雑音抑圧音声では、参考例１の方法によるものと比べて、音声が存在しない部分（非音声区間）を中心に品質の改善が見られる。しかしながら、参考例２における（ｄ）は原理的に性能の上限にあたる理想的な状況における雑音抑圧音声であるが、この（ｄ）においてさえ、音声が存在する部分（音声区間）の雑音が抑圧しきれていないことがわかる。

本例では、雑音混入音声に音声が含まれていない雑音のみの場合は、音声の状態ベクトルの推定値に雑音混入音声の観測値は含まれない。一方、雑音混入音声に音声が含まれている場合は、音声の状態ベクトルの推定値に雑音混入音声の観測値が含まれる。よって、本例による雑音抑圧法では、原理的に雑音抑圧効果に限界がある。

（参考例３）
参考例３は、先行技術文献の一つとしてあげた非特許文献２に記載された方法である。本例は、周波数領域でカルマンフィルターを用いる雑音抑圧法である。

参考例１と同様に加法性雑音モデルを仮定したとき、その離散フーリエ変換による周波数表現により、雑音混入音声のスペクトルは、音声のスペクトルと雑音のスペクトルの和で表わされる。また、雑音混入音声のスペクトルは、振幅スペクトルと位相スペクトルに分離できる。そして、雑音混入音声の振幅スペクトルは、音声の振幅スペクトルと雑音の振幅スペクトルの和であると仮定する。なお、雑音の振幅スペクトルは、所定の分散によるガウス性白色雑音である。さらに、音声の振幅スペクトルの時間変化にＡＲ過程のモデルを仮定する。離散周波数ごとの音声の振幅スペクトルの時間変化は、ＡＲ係数を伴う自己回帰で表わされ、ガウス性白色雑音が付加される。すると状態空間モデルとして、遷移行列を用いて、音声の状態ベクトルの遷移を表わすことができる。遷移行列の要素の一部には、ＡＲ係数が含まれる。カルマンフィルターは、離散時刻の時系列による雑音混入音声の振幅スペクトルの時間変化を用いて、音声の振幅スペクトルの状態ベクトルの推定値を算出する。

図７は、参考例３の方法によって雑音抑圧した音声波形の例を示すグラフである。同図（ａ）はクリーンスピーチの音声波形を示す。同図（ｂ）は付加雑音の波形を示す。同図（ｃ）は雑音混入音声の波形を示す。同図（ｄ）は、（ａ）のクリーンスピーチから駆動音源の分散値を求めるとともに、（ｂ）から付加雑音の分散値を求めたときの、理想的な状況における雑音抑圧音声の波形を示す。同図（ｅ）は、（ｃ）の雑音混入音声から駆動雑音の分散値および付加雑音の分散値を求めたときの雑音抑圧音声の波形を示す。なお、ここでは付加雑音の分散値を既知としている。

図８は、図７に対応し、参考例２の方法によって雑音抑圧した場合のスペクトルを示すグラフである。なお、図８の（ａ）から（ｅ）までは、それぞれ、図７の（ａ）から（ｅ）までに対応する。

図７および図８からわかるように、参考例３における（ｅ）の雑音抑圧音声では、全体的に品質の劣化が見られる。しかしながら、参考例３における（ｄ）は、原理的に性能の上限にあたる理想的な状況での雑音抑圧音声であり、音声が存在する部分（音声区間）の雑音が抑圧されているのがわかる。

雑音混入音声に音声が含まれている場合は、音声の振幅スペクトルの状態ベクトルの推定値に雑音混入音声の観測値が含まれる。従って、周波数領域でカルマンフィルターを用いた雑音抑圧法でも、原理的に雑音抑圧効果に限界がある。が、図８(d)の理想的な状況では図４(d)、図６(d)に比べて、音声が存在する部分で改善がみられる。これは、ＡＲ係数の推定精度が時間領域に比べて、周波数領域の方が高い効果を得られるためであると考えられる。

（第１および第２の実施形態）
次に、本発明の実施形態において説明した方法で雑音を抑圧した場合について、グラフを参照しながら説明する。
図９は、同実施形態によるの方法で雑音抑圧した音声波形の例を示すグラフである。同図（ａ）はクリーンスピーチの音声波形を示す。同図（ｂ）は付加雑音の波形を示す。同図（ｃ）は雑音混入音声の波形を示す。同図（ｄ）は、（ａ）のクリーンスピーチから駆動音源の分散値を求めるとともに、（ｂ）から付加雑音の分散値を求めたときの、理想的な状況における雑音抑圧音声の波形を示す。同図（ｅ）は、（ｃ）の雑音混入音声から駆動雑音の分散値および付加雑音の分散値を求めたときの雑音抑圧音声の波形を示す。なお、ここでは付加雑音の分散値を既知としている。

図１０は、図９に対応し、同実施形態の方法によって雑音抑圧した場合のスペクトルを示すグラフである。なお、図１０の（ａ）から（ｅ）までは、それぞれ、図９の（ａ）から（ｅ）までに対応する。

図９および図１０を見ればわかるように、参考例１〜３の方法に比べて、原理的に性能の上限にあたる理想的な状況である（ｄ）において雑音が抑圧されていることがわかる。また、（ｅ）においても音声が存在する部分（音声区間）の雑音がよく抑圧されていることがわかる。

さらに詳細に、図１０（ｅ）が示す雑音抑圧音声のスペクトルのグラフを検討する。
図１０（ｅ）のスペクトルは、図４（ｅ）が示す参考例１の雑音抑圧音声のスペクトルと比べて、非音声区間（即ち、クリーンスピーチの音声波形の振幅がほぼゼロである区間）において、明らかに雑音付加前のスペクトルに近い。また、図１０（ｅ）のスペクトルは、図４（ｅ）が示す参考例１の雑音抑圧音声のスペクトルと比べて、音声区間においても、雑音付加前のスペクトルにより近い。
また、図１０（ｅ）のスペクトルは、図６（ｅ）が示す参考例２の雑音抑圧音声のスペクトルと比べて、非音声区間において、明らかに雑音付加前のスペクトルに近い。また、図１０（ｅ）のスペクトルは、図６（ｅ）が示す参考例１の雑音抑圧音声のスペクトルと比べて、音声区間においても、雑音付加前のスペクトルにより近い。
また、図１０（ｅ）のスペクトルは、図８（ｅ）が示す参考例３の雑音抑圧音声のスペクトルと比べて、非音声区間において、明らかに雑音付加前のスペクトルに近い。また、図１０（ｅ）のスペクトルは、図６（ｅ）が示す参考例１の雑音抑圧音声のスペクトルと比べて、音声区間においても、雑音付加前のスペクトルにより近い。

上記のうち、参考例２の方法による雑音抑圧音声のスペクトル（図６（ｅ））は、参考例１および３の方法によるそれらと比べても、比較的良好な抑圧結果を示していると言える。しかしながら、そのような参考例２の方法と比べてもなお、図１０（ｅ）のスペクトルは、一層良好な雑音抑圧音声が得られていることを示している。つまり、前記の実施形態による雑音抑圧法は、参考例１〜３にはない、特有の効果を生じさせるものである。

つまり、この実施形態による雑音抑圧法は、周波数領域でカルマンフィルターを用いるとともに、ＡＲ係数を用いない状態空間モデルと、有色性駆動音源を導入している。これにより、雑音混入音声からＡＲ係数および白色性の駆動雑音を求めることがないため、雑音抑圧音声の音質がＡＲ係数の推定精度に影響されることなく、高品質に雑音抑圧音声を得ることができる。また、ＡＲ係数および白色性の駆動雑音を求める計算コストがかからないという利点も同時にある。

本発明は、音響装置において利用することができる。特に、雑音を有する環境で放送等に用いる音声を収録するための音響装置に利用することができる。

１，２ 音声抑圧装置
１０ 音声波形切出し部
２０ フーリエ変換部
３０ 位相スペクトル記憶部
４０ 振幅スペクトル記憶部
５０ 非音声区間検出部
６０ 付加雑音推定部
７０ 分散算出部
８０ 駆動音源分散推定部（駆動音源推定部）
９０ カルマンフィルター部（フィルター処理部）
１００ 雑音抑圧振幅スペクトル記憶部
１１０ 逆フーリエ変換部
１２０ 音声波形重ね合わせ部
２００ 分散更新部（更新部）

Claims (5)

1. 時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換部と、
   前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定部と、
   前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定部と、
   前記周波数領域の音声データと、前記付加雑音推定部によって推定された付加雑音と、前記駆動音源推定部によって推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理部と、
   前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換部と、
   を具備することを特徴とする雑音抑圧装置。
2. 前記フィルター処理部は、カルマンフィルターにより前記フィルター処理を行い、前記カルマンフィルターは状態空間モデルの状態方程式において自己回帰モデルの係数を使用しないように構成される、
   ことを特徴とする請求項１に記載の雑音抑圧装置。
3. 前記付加雑音推定部が推定した前記付加雑音の情報を更新する更新部、をさらに具備し、
   前記駆動音源推定部は、前記更新部によって更新された前記付加雑音の情報に基づき前記有色性駆動音源の周波数領域における統計情報を推定し、
   前記フィルター処理部は、前記更新部によって更新された前記付加雑音の情報に基づき前記周波数領域の雑音抑圧音声データを算出する、
   ことを特徴とする請求項１または請求項２に記載の雑音抑圧装置。
4. 時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換過程と、
   前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定過程と、
   前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定過程と、
   前記周波数領域の音声データと、前記付加雑音推定過程において推定された付加雑音と、前記駆動音源推定過程において推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理過程と、
   前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換過程と、
   を含む雑音抑圧方法。
5. 時間領域の入力音声波形データをフーリエ変換して周波数領域の音声データに変換するフーリエ変換部と、
   前記周波数領域の音声データに基づき付加雑音を推定する付加雑音推定部と、
   前記周波数領域の音声データと、前記付加雑音推定部によって推定された前記付加雑音とに基づき有色性駆動音源の周波数領域における統計情報を推定する駆動音源推定部と、
   前記周波数領域の音声データと、前記付加雑音推定部によって推定された付加雑音と、前記駆動音源推定部によって推定された前記有色性駆動音源の周波数領域における統計情報とに基づき、フィルター処理によって周波数領域の雑音抑圧音声データを算出するフィルター処理部と、
   前記フィルター処理部によって算出された前記周波数領域の雑音抑圧音声データを元に逆フーリエ変換処理を行うことにより、時間領域の雑音抑圧音声データを出力する逆フーリエ変換部と、
   を具備する雑音抑圧装置としてコンピューターを機能させるためのプログラム。