JP2005257817A - 雑音除去装置、方法、及びプログラム - Google Patents

Abstract

【課題】ＳＳ法による雑音除去に際し、ミュージカル・ノイズの発生を支障なく低減させる。
【解決手段】周波数スペクトルの時間変化を示す観測信号Ｘ（ｆ，ｔ）の雑音区間において時間軸及び周波数軸方向の所定の大きさを有する第１の領域に含まれる各要素について、その値による順位を算出する第１の順位算出手段１４と、観測信号における時間軸及び周波数軸方向の所定の大きさを有する第２の領域に含まれる各要素について、その値による順位を算出する第２の順位算出手段１６と、第２領域の各要素の値から、その要素と順位が対応する第１領域中の要素の値に基づく値を減算する減算手段１７、１８とにより雑音除去装置を構成する。
【選択図】図１

Description

本発明は、スペクトルサブトラクション法により観測信号中の雑音成分を除去する雑音除去装置、雑音除去方法、及び雑音除去プログラムであって、ミュージカル・ノイズの発生を抑制するようにしたものに関する。

従来、雑音が重畳された音声に基づく観測信号において雑音成分を抑圧する技術としてスペクトルサブトラクション法（以下、「ＳＳ法」という。）、ウィーナーフィルタ法、ＭＭＳＥ法（最小２乗平均誤差法）等が知られている。

ＳＳ法においては、定常雑音の存在を前提としており、非音声区間である雑音区間において、周波数毎の雑音成分の平均パワーを学習し、音声区間における観測信号のパワーから雑音信号の平均パワーを周波数毎に減算するようにしている（例えば、非特許文献１参照）。減算の際には、通常、雑音成分の平均パワーに対して過剰な減算重み１．０〜４．０を乗じ、減算結果としての出力が元の音声信号の０．０１〜０．５倍以下に低下した場合には、減算結果を、元の音声信号にフロアリング係数を乗じた値に置き換える処理、すなわちフロアリングが併用される。

大きめの減算重みを適用すればミュージカル・ノイズは低減するが、音声区間における情報の欠落と音声の歪みが顕著になるので、それを補うために大きめのフロアリング係数が必要になる。しかし、大きめのフロアリング係数を適用すると、雑音信号のパワーは十分には低下しない。したがって、小さめの減算重み１．０〜１．５を用いる場合でも、ミュージカル・ノイズが発生しないようにするための改善策があれば、減算後の音声の欠落や歪みは最小限に抑えることができるとともに、小さめのフロアリング係数０．０１〜０．１を採用することができるので、雑音信号のパワーを十分に低減させることができると考えられる。

ＳＳ法には複数の派生方式があり、ＳＮＲ（信号対雑音比）に応じて周波数毎の減算重みを調整する非線形ＳＳ（ＮＳＳ）法や（例えば非特許文献２参照）、雑音区間及び音声区間の区別をせずに時々刻々のローカルな平均パワーを減算する連続ＳＳ（ＣＳＳ）法がある（例えば非特許文献３参照）。これらの方法においても、程度の差こそあれ、ミュージカル・ノイズは発生する。

ＳＳ処理後の出力を観察し、ミュージカル・ノイズらしきものを見つけたら除去していくという事後処理も提案されている。具体的には、周波数と時間の軸上でスペクトルのパワーを観察し、孤立した島のように見える部分を消去したり（例えば非特許文献４参照）、メディアン・フィルタにより除去したりする。また、隣り合う数フレーム分のパワーを平均化するスペクトル・スムージング法がある。しかし、これらの方式によれば、限界があり、ミュージカル・ノイズの除去性能は不十分である。

そもそも、ミュージカル・ノイズは「減算」処理に起因する。「減算」ではなく、「乗算」によって雑音成分除去後の音声信号を作成すれば、ミュージカル・ノイズは発生しないと考えられる。

ウィーナーフィルタ法によれば、クリーンな音声を何らかの方法で推定し、それと一致するようにウィーナーフィルタの伝達関数を決めるようにしている。ここで、クリーンな音声というのはもともと不明なので、その音声についての推定値が用いられるが、その推定値の推定方法により、実装するウィーナーフィルタの性質は大きく変わる。一般にこの方式によっても、残留ノイズの低減と音声歪みの最小化の両立は困難である。

ＭＭＳＥ法では、雑音及び音声において独立したパワー分布が存在すると仮定し、最小２乗法により、周波数毎の乗算係数を調整するようにしている（例えば非特許文献５参照）。「乗算」を行うので、ミュージカル・ノイズは発生しない。しかしＭＭＳＥ法の処理音声は音声歪みが大きく、特に音声認識で広く用いられているメル・ケプストラムの尺度で測定した場合にそれが顕著であるため、音声認識への応用に向いていない。
S.Boll, "Suppression of AcousticNoise in Speech Using Spectral Subtraction", IEEE Trans. on ASSP, Vol.ASSP-27, pp.113-120, April 1979 LOCKWOOD, P., BOUDY, J., "ExperimentsWith a Nonlinear Spectral Subtractor (NSS), Hidden Markov Models andProjection, For Robust Recognition in Car", Speech Commun., vol. 11, pp. 215-228, June 1992. J.A.Nolazco Flores, S.J.Young, "Continuous speech recognition in noise using spectral subtractionand HMM adaptation",Proc. of ICASSP, 1994,vol.I, pp. 409-412 Gary Whipple, "Low Residual Noisespeech enhancement utilizing time-frequency filtering", ICASSP94 Y.Ephraim, D.Malah, "Speech enhancementusing a minimum mean-square error short-time spectral amplitude estimator", IEEE Trans. on ASSP, Vol.ASSP-32, pp1109-1121

高速道路の非常電話等の過酷な雑音環境下において、明瞭な音声通話を実現することが求められている。また、聴覚障害者のための補聴器の分野では、明瞭度の高い音声強調手法が求められている。

定常雑音が重畳された音声に基づく観測信号から雑音成分を除去して音声成分を強調するには、雑音成分の平均スペクトルを観測信号から減算するＳＳ法が有効である。しかしながら、従来のＳＳ法によれば、副作用として耳障りなミュージカル・ノイズが発生するのを避けることができない。

すなわち、現状のＳＳ法の枠組みでは、音声の明瞭さと音声認識性能は、必ずしも両立しない。音声の歪みを最小限に抑えるためには小さめの減算重みを採用したいが、減算重みを小さくすると、雑音の引き残しが多く発生し、騒音環境下での音声認識性能は低下する。非音声区間を含めた総合的な雑音パワーを低くするためには、小さめのフロアリング係数を採用したいが、フロアリング係数を小さくすると、ミュージカル・ノイズが顕著になり、短い単語についての湧き出しエラーの発生につながる。したがって、音声認識性能を優先すれば、音声の聴覚上の明瞭さが犠牲になることがある。

また、これと同じ理由で、従来のＳＳ法によれば、雑音除去後の観測信号による音声認識の性能が、減算重みとフロアリング係数という２つのパラメータによる影響を受けやすい。最適なパラメータ値は、雑音の量（Ｓ／Ｎ）や性質、さらには音声認識のタスクによっても変化するため、実環境ではやや扱いにくい。よりロバストな音声認識を実現するためには、パラメータの変化に鋭敏でない雑音の除去手法が求められている。

本発明の目的は、かかる従来技術の問題点に鑑み、ＳＳ法による雑音除去に際し、ミュージカル・ノイズの発生を、支障なく、効果的に低減させることにある。

この目的を達成するため、本発明に係る雑音除去装置は、周波数スペクトルの時間変化を示す観測信号の雑音区間において時間軸及び周波数軸方向の所定の大きさを有する第１の領域に含まれる各要素について、その値による順位を算出する第１の順位算出手段と、前記観測信号における時間軸及び周波数軸方向の所定の大きさを有する第２の領域に含まれる各要素について、その値による順位を算出する第２の順位算出手段と、前記第２領域の各要素の値から、その要素と前記順位が対応する前記第１領域中の要素の値に基づく値を減算する減算手段とを具備することを特徴とする。

また、本発明に係る雑音除去方法は、周波数スペクトルの時間変化を示す観測信号の雑音区間において時間軸及び周波数軸方向の所定の大きさを有する第１の領域に含まれる各要素について、その値による順位を算出する第１の順位算出手順と、観測信号における時間軸及び周波数軸方向の所定の大きさを有する第２の領域に含まれる各要素について、その値による順位を算出する第２の順位算出手順と、第２領域の各要素の値から、その要素と順位が対応する第１領域中の要素の値に基づく値を減算する減算手順とを具備することを特徴とする。

ここで、観測データとしては例えば、雑音成分が重畳された音声信号を所定のフレーム長及びフレーム周期で短時間スペクトルの時系列に変換したものが該当する。各要素の値としては、例えば、振幅や強度が該当する。減算に際しては、従来のＳＳ法の場合と同様に、減算される値に対して減算係数を乗じたり、減算結果の値が観測データにフロアリング係数を乗じた値以下となる場合に、減算結果を、観測データにフロアリング係数を乗じた値に置き換えるフロアリングを行うようにしたりしてもよい。なお、観測データの雑音区間とは、観測信号中に雑音成分のみが含まれる時間的区間を意味する。

この構成において、観測信号における各要素の値から、観測信号の雑音区間における各要素の値を減算することにより、観測信号から雑音成分が除去される。しかし従来、かかるスペクトル減算に際し、観測信号の雑音区間における各要素の値の平均値を、観測信号における各要素の値から減算するようにしていたため、雑音値の分布の不均一さに応じた値の引き過ぎや引き残しが発生し、これによってミュージカル・ノイズが発生するという問題があった。

これに対し本発明によれば、観測信号の雑音区間における第１領域に含まれる各要素、及び観測信号における第２領域に含まれる各要素について、要素の値による順位を算出し、第２領域の各要素の値から、その要素の順位に対応する順位を有する第１領域の要素の値に基づく値を減算するようにしている。このため、第２領域中の、雑音成分が多く含まれると考えられる順位が高い要素からは、第１領域中の順位が高い要素の大きい雑音値が減算されるとともに、第２領域中の、雑音成分が少ないと考えられる順位が低い要素からは、第１領域中の順位が低い要素の小さな雑音値が減算される。したがって、第２領域において、雑音値の引き過ぎや引き残しが解消され、ミュージカル・ノイズの発生が抑制される。

本発明の好ましい態様においては、第１及び第２領域は周波数軸方向において所定の周波数増分毎に複数設定され、第１領域の設定位置は、時間軸方向における所定のタイミング位置となるように、順次更新されるとともに、第２領域の設定位置は、所定の時間位置間隔で順次変化するように、順次更新される。

第１及び第２領域を周波数軸方向において所定の周波数増分毎に複数設定するとともに、その際、第１及び第２領域の大きさを、周波数軸方向についての雑音成分の分布状況に応じて変化させるようにしてもよい。また、観測信号に周期性雑音の成分が含まれている場合には、第１及び第２領域の時間軸方向の大きさを、周期性雑音の周期と同じ、又はそれよりも大きく設定するようにしてもよい。また、本発明における、第２領域の要素と順位が対応する第１領域中の要素としては、例えば、第２領域の要素と相対的な順位が対応する第１領域中の要素が該当する。

また、第１及び第２領域中の各要素の順位を、複数の順位の範囲に区分し、第１及び第２領域の各区分を順位の低いものの方から順に相互に対応させ、対応する第１領域側の区分と第２領域側の区分とは相対的な順位の範囲が異なるようにすることができる。この場合、上述の、第２領域の要素と順位が対応する第１領域中の要素としては、該第２領域の要素が属する区分に対応する第１領域の区分に属する要素であって、その第１領域の区分における順位が、該第２領域の区分における該第２領域の要素の順位と相対的に一致する要素を採用することができる。

この場合、例えば、第１領域中の各要素の順位を、全順位の中央値を境界として２つの順位範囲に区分し、第２領域中の各要素の順位を、前記中央値における値と同一の値を有する、第２領域中の要素の順位を境界として２つの順位範囲に区分するようにしてもよい。

観測信号としては、例えば、雑音成分が重畳された音声信号を所定のフレーム長及びフレーム周期で短時間スペクトルの時系列に変換したものを用いることができるが、その場合、各要素は各フレームにおいて周波数サブバンド毎のものとして存在し、第１領域は所定のフレーム数に所定の周波数サブバンド数を乗じた大きさを有し、第２領域は所定のフレーム数に第１領域と同一の周波数サブバンド数を乗じた大きさを有するように設定することができる。

本発明によれば、ミュージカル・ノイズの発生を効果的に抑制することができる。また減算係数やフロアリング係数の値を好ましい値に維持することによって音声歪を抑制しながら、ミュージカル・ノイズの発生を効果的に低減させることができる。

まず、ミュージカル・ノイズの発生メカニズムについて説明する。図４は、男性による発声音「十五日」に対してホワイトノイズを重畳したテスト音声のスペクトログラムである。図中のＢｌｏｃｋ１は、１５０×１０（フレーム数×周波数サブバンド数）のサイズを有する検査領域（以下、「ブロック１」という。）であり、各フレームにおける周波数サブバンド毎の要素により構成されている。ブロック１は２１５［Ｈｚ］の中心周波数を有し、この中心周波数における雑音のパワー分布を検査するために、雑音区間において設定されている。Ｂｌｏｃｋ２は２０×１０（フレーム数×周波数サブバンド数）のサイズを有する検査領域（以下、「ブロック２」という。）であり、各フレームにおける周波数サブバンド毎の要素により構成されている。ブロック２の中心周波数は２１５Ｈｚであり、中心フレームは１．９秒に位置する。ブロック２はこの中心周波数及び中心フレームにおける音声のパワー分布を検査するために設定されている。Ｂｌｏｃｋ３は、ブロック２とは中心フレームのみが異なる、雑音区間における検査領域（以下、「ブロック３」という。）である。

図５はブロック１に含まれる１５００の全要素についての音声パワーを、値の小さいものから大きいものへ順位付けし、その結果を、横軸を順位、縦軸をパワーとして示すグラフである。同図からわかるように、定常のホワイトノイズとはいっても、局所的に見れば決して定常ではなく、パワーの最小値と最大値との間には、１０の４乗倍以上の差がある。したがって、従来のＳＳ法のように、雑音パワーの平均値にのみ注目し、その平均値を各要素の音声パワーから減算すると、多くの要素について、雑音パワーの引き残しと引き過ぎが発生することがわかる。この、引き残した分と引き過ぎた分のパワーがミュージカル・ノイズとなる。

図６は、図４の音声の、従来のＳＳ法によりスペクトル減算を行った後のスペクトログラムである。使用した減算重みは１．５、フロアリング係数は０．０である。従来のＳＳ法によれば、図６に示されるようなミュージカル・ノイズが発生する。

次に、本発明に従ったミュージカル・ノイズの低減方法について説明する。この方法は、イメージ的には、周波数―時間（フレーム）平面における雑音スペクトルをテキスチャ（地模様）として考え、図４のブロック２や３のような平面内の小ブロック毎にテキスチャの一致する模様部分を削除しようとする試みとして理解することができる。テキスチャは微視的にはランダムであるため、雑音区間においてさえテキスチャが完全に一致するブロックは存在しない。このため、単純な減算によってはテキスチャを削除することはできない。しかし、ブロックサイズをやや大きめに設定した場合、雑音区間におけるブロックの単位で考えれば、各ブロック内では、図５のようなパワーの分布がほぼ同一であると考えられる。

すなわち、図４のブロック１で学習した図５のパワー分布と同様のパワー分布を、図４中のブロック３も有していると考えることができる。したがって、ブロック３内の各要素において減算すべき雑音パワーは、ブロック３内の各要素について、パワー値による順位（ランク）を求め、図５の学習済みパワー分布の中でその順位と相対的な順位が一致する要素のパワー値を取得することにより求めることができる。このようにしてブロック３内の各要素について求められるパワー値を、各要素のパワーから減算することにより、各要素における雑音パワーの引き残しや引き過ぎを最小限に抑えることができる。この原理による雑音除去法をランクベース・スペクトル・サブトラクション法（以下、「ＲＢＳＳ法」という。）と呼ぶ。図４中のブロック２のように音声が存在する区間においてもＲＢＳＳ法を適用することができる。

図７は、図４のブロック２及びブロック１のそれぞれにおける図５と同様のパワー分布を示す。図７中の７１は、ブロック１のパワー分布を示す点列であり、７２はブロック２のパワー分布を示す点列である。ブロック２における音声成分が重畳されている要素は極めてパワーが高いので、高順位に序列される。ＲＢＳＳ法によれば、ブロック２の要素について、相対的な順位が一致するブロック１の要素の雑音パワーが参照されるため、ブロック１における雑音パワーの高い要素は、主にブロック２の音声重畳部分の要素に対して集中的に割り当てられることになる。

このことは、一見、音声信号の劣化要因となるように見える。しかし図７のように、音声パワーと雑音パワーとの間に１０の２乗倍もの差があるような状況では、対応する要素において音声パワーから雑音パワーを減算したとしても、音声パワー及び雑音パワーのオーダが異なるので、大きな影響を与えることはない。そうでないような状況、すなわち音声パワーと雑音パワーが拮抗するような状況では、もともとＳＳ法の枠組みが音声パワーをあぶりだすようにはできていないので、従来法と比較して、ＲＢＳＳ法が著しく不利ということはない。なお、雑音パワーの減算に際しては、通常のＳＳ法の場合と同様に、雑音パワーに減算重みを乗じてから減算を行う。

以上のようにして、図４のブロック１のような学習用のブロックと、これに対応するブロック２や３のような減算用ブロックとの間でのパワー分布の順位によるマッピングを考慮した雑音パワーの減算を、時間軸及び周波数軸方向の各位置において行うことにより、クリーンな音声パワーの推定値を求めることができる。ただし、図８に示すブロック８１〜８３のように、各ブロックの領域が互いに重なり合うように、それらの周波数軸及び時間軸方向の位置（ω，Ｔ）、（ω＋Δω，Ｔ）及び（ω，Ｔ＋ΔＴ）並びにサイズを設定することができるので、あるフレーム及び周波数サブバンドの要素について複数の推定値が得られる場合がありうる。その場合には、複数の推定値の平均値をその要素についての最終的な推定値とする。最終的な推定値が得られたら、通常のＳＳ法の場合と同様にフロアリングを行い、その結果として得られる値を出力する。

以上のＲＢＳＳ法による処理を次式により示す。

ここで、ｆ，ｔは各要素の周波数サブバンド番号及びフレーム番号、Ｘ（ｆ，ｔ）は要素（ｆ，ｔ）の観測値、Ｆ，Ｔは減算用ブロックを識別するための周波数軸方向及び時間軸方向のインデックス、ｒａｎｋ_F,Tは減算用ブロック（Ｆ，Ｔ）内でのＸ（ｆ，ｔ）の順位Ｒ_F,T（ｆ，ｔ）を出力する関数、Ｆは学習用ブロックを識別するための周波数軸方向のインデックス、Ｎ_F（Ｒ_F,T（ｆ，ｔ））は順位Ｒ_F,T（ｆ，ｔ）に対応する順位を有する学習用ブロック（Ｆ）中の要素の雑音パワー、ａは減算係数、ｂはフロアリング係数、Ｍ_f,tは要素（ｆ，ｔ）が属する減算用ブロックの数、Ｙ（ｆ，ｔ）は観測値Ｘ（ｆ，ｔ）についての雑音除去後の出力である。学習用ブロックと減算用ブロックとはインデックスＦが同一のもの同士が対応しており、対応する学習用ブロック及び減算用ブロックは周波数軸方向の大きさ及び位置が等しい。

ある１つの要素（ｆ，ｔ）の観測値Ｘ（ｆ，ｔ）についての雑音除去処理に際しては、まず、式（１）により、要素（ｆ，ｔ）が属する各小ブロック（Ｆ，Ｔ）における要素（ｆ，ｔ）についての順位Ｒ_F,T（ｆ，ｔ）を求める。次に、式（２）により、各順位Ｒ_F,T（ｆ，ｔ）に対応する順位を有する、対応する各学習用ブロック（Ｆ）中の要素の雑音パワーＮ_F（Ｒ_F,T（ｆ，ｔ））に減算重みａを乗じた値を、観測値Ｘ（ｆ，ｔ）から減算し、Ｓ_F,T（ｆ，ｔ）を求める。そして、式（３）により、各順位Ｒ_F,T（ｆ，ｔ）についての値Ｓ_F,T（ｆ，ｔ）の平均値、及び観測値Ｘ（ｆ，ｔ）にフロアリング係数ｂを乗じた値のうち大きい方の値を、雑音除去済みの音声パワーＹ（ｆ，ｔ）とする。

図９は、このようなＲＢＳＳ法により各観測値Ｘ（ｆ，ｔ）について雑音除去処理を行った後の音声信号のスペクトログラムである。ただし、雑音除去処理において使用した減算重みａは１．５ 、フロアリング係数ｂは０．０、減算用ブロックのサイズは２０×２０（フレーム数×周波数サブバンド数）である。同図から、ＲＢＳＳ法によれば、図６に示されるようなミュージカル・ノイズを除去することができることがわかる。

図１は本発明の一実施形態に係る雑音除去装置を示すシステム構成図である。この装置は、上述のＲＢＳＳ法を実施すべく、コンピュータとソフトウェアにより構成されるものである。同図に示すようにこの装置は、音声成分及び雑音成分を含む入力信号に基づき、観測値Ｘ（ｆ，ｔ）を出力するＦＦＴ部１１、観測値Ｘ（ｆ，ｔ）の各フレームが雑音区間に属するか否かを判定する区間判定部１２、観測値Ｘ（ｆ，ｔ）の雑音区間において学習用ブロックを設定する学習用ブロック設定部１３、学習用ブロックにおける各要素についてパワーによる順位を算出する雑音パワー順位算出部１４、観測値Ｘ（ｆ，ｔ）において減算用ブロックを設定する減算用ブロック設定部１５、減算用ブロックにおける各要素についてパワーによる順位Ｒ_F,T（ｆ，ｔ）を算出する音声パワー順位算出部１６、各順位算出部１４及び１６による順位算出結果に基づき、減算用ブロック内の各要素について、観測値Ｘ（ｆ，ｔ）から減算すべき雑音パワーを算出する雑音パワー算出部１７、算出された雑音パワーを観測値Ｘ（ｆ，ｔ）から減算して雑音パワーが除去された信号Ｙ（ｆ，ｔ）を出力する減算部１８を備える。

ＦＦＴ部１１は入力信号を、所定のフレーム長及びフレーム周期で高速フーリエ変換することにより、短時間スペクトルの時系列としての観測値Ｘ（ｆ，ｔ）を出力する。区間判定部１２は、各フレーム（ｔ）のパワー値に基づき、そのフレームが雑音区間に属するかどうかを判定する。

学習用ブロック設定部１３は、学習用ブロックを周波数軸方向において、図８に示すような周波数増分Δω毎に多数設定するとともに、その時間軸方向の設定位置を、所定のタイミング位置となるように順次更新する。このタイミング位置としては、例えば、学習用ブロックが音声区間の直前の位置となるようなタイミング位置を採用することができる。雑音パワー順位算出部１４は、各学習用ブロックについて、各要素のパワーによる順位を、前記設定位置の更新毎に算出する。

小ブロック設定部１５は、小ブロックを周波数軸方向において、図８に示すような周波数増分Δω毎に多数設定するとともに、その設定位置を、所定の時間位置間隔で順次変化するように、順次更新する。音声パワー順位算出部１６は、各減算用ブロックについて、各要素のパワーによる順位を、前記設定位置の更新毎に算出する。

雑音パワー算出部１７は、減算用ブロックの設定位置の更新毎に、各減算用ブロックについて、各要素と相対的順位が一致する、対応学習用ブロック中の要素のパワー値を、雑音パワー値として取得する。減算部１８は、減算用ブロックの設定位置の更新毎に、減算用ブロックについて、各要素のパワー値から、対応する雑音パワー値を減算し、得られる値を、雑音が除去された音声パワー値として出力する。

図２は図１の装置を構成するコンピュータを示すブロック図である。このコンピュータは、プログラムに基づくデータ処理や各部の制御を行う中央処理装置２１、中央処理装置２１が実行中のプログラムや関連するデータを高速にアクセスできるように記憶する主記憶装置２２、プログラムやデータを記憶する補助記憶装置２３、データや指令を入力するための入力装置２４、中央処理装置２１による処理結果の出力や、入力装置２４との協働によるＧＵＩ機能を行うための出力装置２５等を備える。図中の実線はデータの流れ、破線は制御信号の流れを示している。このコンピュータには、コンピュータに図１の装置における各部の機能を実行させるための雑音除去プログラムがインストールされている。また、入力装置２４には、図１のＦＦＴ部１１に供給される入力信号を生成するためのマイクロホンが含まれている。

図３は図１の装置における雑音処理プログラムに従った処理の手順を示すフローチャートである。ただしこの処理において、学習用ブロックのサイズをＮ×ｍ（フレーム数×周波数サブバンド数）とし、減算用ブロックのサイズをｎ×ｍ（フレーム数×周波数サブバンド数）とし、学習用ブロック及び小ブロックの周波数軸方向の設定数をｋとし、図８に示すようなブロックの重なりはないものとする。

処理を開始すると、まず、ステップ３１において、ＦＦＴ部１１により１フレーム分の観測値Ｘ（ｆ，ｔ）を取得する。次に、ステップ３２において、区間判定部１２により、取得した観測値Ｘ（ｆ，ｔ）に基づき、該フレームが雑音区間に属するかどうかを判定する。雑音区間に属すると判した場合、ステップ３３において、学習用ブロック設定部１３により、取得した観測値Ｘ（ｆ，ｔ）を学習用バッファに追加し、ステップ３７に進む。したがって、学習用バッファには、雑音区間が継続する限りにおいて、フレーム毎に観測値Ｘ（ｆ，ｔ）が蓄積されてゆく。

ステップ３２において該フレームが雑音区間のものでないと判定した場合には、ステップ３４において、雑音パワー分布の更新登録、すなわち学習用ブロックの設定位置の更新を行うか否かを判定する。更新を行う旨の判定は、学習用ブロックを構成するに足る連続したＮフレームについての観測値Ｘ（ｆ，ｔ）が蓄積されている場合に行われる。雑音パワー分布の更新登録を行うと判定した場合には、ステップ３５において、蓄積されている最新のＮフレーム分の観測値Ｘ（ｆ，ｔ）に基づき、それにより構成される各学習用ブロックについて、各要素のパワーによる順位を算出し、その結果を、新たなパワー分布として登録する。これにより雑音パワーの分布に関する１回の学習が完了する。この学習が、学習ブロックの設定位置の更新に相当する。この後、ステップ３６において学習用バッファをクリアしてから、ステップ３７へ進む。ステップ３４において雑音パワー分布の更新登録をしないと判定した場合は、そのままステップ３７へ進む。

ステップ３７では、ステップ３１で取得した最新の１フレーム分の観測値Ｘ（ｆ，ｔ）を、減算用バッファに追加する。次に、ステップ３８において、減算用バッファに、減算用ブロックの時間軸方向サイズに相当するｎフレーム分の観測値Ｘ（ｆ，ｔ）が蓄積されたか否かを判定する。蓄積されていないと判定した場合はステップ３１に戻る。

ステップ３８においてｎフレーム分の観測値が蓄積されたと判定した場合は、ステップ３９において、減算用バッファ中のｎフレーム分の観測値で構成される各減算用ブロックについて、上述の式（１）により各要素の順位Ｒ_F,T（ｆ，ｔ）を算出するとともに、登録されている雑音パワー分布を参照して雑音パワーＮ_F（Ｒ_F,T（ｆ，ｔ））を取得し、さらに上述の式（２）及び（３）を用いて、雑音が除去されたパワー値Ｙ（ｆ，ｔ）を算出し、出力する。

次にステップ４０において、減算用バッファをクリアする。そして、ステップ４１において所定の理由により処理を終了すると判断されない限り、ステップ３１に戻り、上述の各処理を繰り返す。このようにして、減算用バッファにｎフレーム分の観測値が蓄積される毎にそのｎフレーム分の観測値についての雑音が除去されたパワー値Ｙ（ｆ，ｔ）が出力される。すなわち、ｎフレーム毎に減算用ブロックの時間軸方向位置が順次更新されることになる。

なお、この処理手順では、学習用ブロック及び減算用ブロックのそれぞれについて、図８に示すような重なりがないことを前提としているが、重なりがある場合は、ブロック単位ではなく、隣接ブロックを含む単位で雑音パワーを計算し、上述式（３）における平均化を行うようにすればよい。

図１０は本発明の別の実施形態に係る雑音除去装置における雑音パワーの算出方法を示す。この装置は図１の装置の場合と同様のシステム構成を有するが、図１の装置とは雑音パワー算出部１７における処理のみが異なる。これによれば、次のようにして、ＲＢＳＳ法における雑音パワーの推定精度をさらに向上させることができる。

図１０中の左のグラフは図５と同様の雑音パワーの分布を示すものであり、右のグラフは雑音パワーに対して音声パワーが合成された場合のパワー分布を示す。例えば、図４におけるブロック２のように、雑音区間から音声区間へ移行する途中の減算用ブロック内において、雑音パワーに対し音声パワーが合成されるとき、音声パワーは相対的に大きいので、図１０において矢印１０１で示されるように、主に高順位の位置に合成され、これにより同図右のグラフのような音声区間におけるパワー分布が生成されたと考えられる。この場合、音声区間のパワー分布と雑音区間のパワー分布は、相対的順位の直接的な一致により対応させる場合に比べて、図１０のように、順位軸を適当な大きさの区分に分割し、雑音区間のパワー分布における低順位側の区分は、音声区間のパワー分布における低順位側のより小さな区分に対応させるとともに、雑音区間のパワー分布における高順位側の区分は、音声区間のパワー分布における高順位側のより大きな区分に対応させるのがより正確である。

このように順位軸を分割し、大きさの異なる区分同士を対応させる方法としては、種々の方法が考えられるが、図１０ではその一例が示されている。すなわち、まず、雑音区間のパワー分布における順位の中央値の左側を区分Ａとし、右側を区分Ｂとする。次に、順位の中央値におけるパワーと同一のパワーとなる順位を、音声区間のパワー分布において求め、その順位の左側を音声区間における区分Ａとし、右側を区分Ｂとする。そして、両パワー分布の区分Ａ同士、区分Ｂ同士をそれぞれ対応させる。

この場合、雑音パワー算出部１７における雑音パワーの算出は、対応する各区分における相対的順位の一致に基づいて行う。すなわち、対象となる観測値Ｘ（ｆ，ｔ）の順位が区分Ｂに属しているとすれば、その区分Ｂにおける相対的順位が一致する、雑音パワー分布の区分Ｂにおける相対的順位の雑音パワーが、求める雑音パワーとなる。

次に、上述の図１０の実施形態に係る雑音除去装置により雑音除去を実施した結果を、雑音除去前、及び従来のＳＳ法による場合と対比させて、図１１〜図１４に示す。観測信号としては、高速走行中の車両の車室内における女性話者の発声による「国際」の発話音に基づくものを用いている。また、車の走行雑音は低域に集中しているので、小ブロックのサイズを、周波数方向に狭く設定し、５０×４（フレーム数×周波数サブバンド数）としている。

図１１は雑音除去前の音声のスペクトログラムであり、図１２及び図１３は従来のＳＳ法により減算を行った音声のスペクトログラムである。ただし図１２の結果は、減算重みを１．５とし、フロアリング係数を０．０とした場合のものであり、図１３の結果は図９の場合に比べ、減算重みを２．５に増やした場合のものである。従来のＳＳ法によれば、減算重みを２．５に増やしても、ミュージカル・ノイズが顕著に発生することがわかる。

図１４は図１０の形態によるＲＢＳＳ法に従って雑音除去を行った後の音声のスペクトログラムである。ただし、使用した減算重みは１．５、フロアリング係数は０．０である。従来のＳＳ法に比べ、ミュージカル・ノイズの発生が格段に少ないことがわかる。

次に、上述の各実施形態に係る雑音除去装置を音声認識に適用した場合の性能を実験により検証した結果を示す。実験は、エンジン停止状態の自動車内で、８名の話者（男性４名、女性4名）に、４０文ずつ発話してもらい、サンバイザに設置したマイクロホンにより収録した入力信号に基づいて行った。発話内容は、１文につき１個から１１個までのデジット（digits；桁なし連続数字）である。総単語数は２５３８語である。また、前記入力信号に対し、時速１００ｋｍの走行時に収録した走行雑音を重畳することにより、走行時の発声を人工的に模擬した入力信号を用いた実験も行った。実験に際しては、収録のサンプリング周波数を２２ＫＨｚとし、ＩＢＭ社製の音声認識プログラムであるデスクトップ版ＶｉａＶｏｉｃｅに含まれるクリーンな音響モデルにより、音声認識を行った。

図１５はエンジン停止時の入力信号に基づく音声認識結果を示すグラフであり、図１６は時速１００ｋｍで走行中の場合の入力信号に基づく音声認識結果を示すグラフである。縦軸のＷＥＲ（％）は単語誤り率である。図中の「オリジナル」は、未処理の原音声を使用した場合の結果、「ＳＳ」は、従来のＳＳ法による結果、「ＲＢＳＳ」はＲＢＳＳに従った図１の装置による結果、「ＲＢＳＳ−ｆｉｔ」は図１０の実施形態による結果である。「ａ」は減算重み、「ｂ」はフロアリング係数である。

図１５及び図１６から、エンジン停止時及び１００ｋｍ走行時のいずれの場合においても、従来のＳＳ法によれば、減算重みａが小さい場合や、フロアリング係数ｂが小さい場合には顕著に認識誤り率が増大することがわかる。これに対し、ＲＢＳＳ法によれば、それらのパラメータａやｂの変化による影響を受けにくいことがわかる。例えば、フロアリング係数ｂを０．１に固定して考えた場合、減算重みａが１．５〜３．５の間で変化しても、認識誤り率はあまり変化せず、常にベストに近い認識率を保持している。

さらに、時速１００ｋｍ走行時のケースでは、フロアリング係数が、小さい方の０．０１の場合でも、同様に、ベストに近い認識率を保持している。エンジン停止時のケースにおいては、フロアリング係数が小さい方の０．０１とした場合には認識誤り率は増えているが、その増え方は従来のＳＳ法に比べるとはるかに穏やかである。図１０の形態のＲＢＳＳ法によれば、時速１００ｋｍ走行時のケースにおいて、パラメータａ、ｂとして種々の値を選択した場合において、図１の装置によるＲＢＳＳ法による場合よりも良い結果を示している。

次に、周期性雑音が入力信号に重畳されている場合についても上述各実施形態による雑音除去装置が有効であることを示す。図１７は女性による「７５１８」の発話音に対し、周期性雑音が重畳した音声のスペクトログラムである。図１８はこの音声についての、従来のＳＳ法により、減算重みを１．５、フロアリング係数を０．０として処理した場合のスペクトログラムである。従来のＳＳ法によれば、雑音パワーの平均値を一様に減算するようにしているため、処理後の音声においても、周期性雑音は消えることはない。

図１９は従来のＳＳ法により、図１８の場合に比べ、減算重みを増やして３．５として処理した場合の、図１７の音声についてのスペクトログラムである。図１８及び図１９から、従来のＳＳ法によれば、減算重みを増やしても周期性雑音は消えないことがわかる。

図２０は図１の雑音除去装置により図１７の音声を処理して得た音声信号のスペクトログラムである。使用した減算重みは１．５、フロアリング係数は０．０、減算用ブロックのサイズは１０×１０である。ＲＢＳＳ法によれば、雑音成分は減算用ブロック単位のテキスチャパターンとして消去されるので、小ブロックを周期性雑音の周期以上の大きさに設定することにより、図２０に示すように、周期性雑音をほとんど消去することができる。

なお、本発明は上述実施形態に限定されることなく、適宜変形して実施することができる。例えば、上述においては、学習用ブロック及び減算用ブロックのサイズを一定としているが、この代わりに、雑音成分の性質に応じて、周波数ごとにサイズを変えるようにしてもよい。例えば、ある周波数帯域においてノイズが集中していることが予めわかっている場合には、その帯域においては周波数軸方向が小さく、時間軸方向に長いブロックを設定するようにしてもよい。また、雑音成分が、全周波数領域にわたって一様な雑音であるホワイトノイズの場合には、各ブロックの周波数軸方向のサイズを大きめに設定するようにしてもよい。

本発明の一実施形態に係る雑音除去装置を示すシステム構成図である。 図１の装置を構成するコンピュータの構成を示すブロック図である。 図１の装置における雑音処理プログラムに従った処理の手順を示すフローチャートである。 男性による発声「十五日」に対してホワイトノイズを重畳したテスト音声のスペクトログラムである。 雑音区間の学習用ブロック含まれる全要素について、雑音パワーを、パワー値によって順位付けした結果を示すグラフである。 従来のＳＳ法によりスペクトル減算を行った後の音声のスペクトログラムである。 図４のブロック２及びブロック１のそれぞれにおけるパワー分布を示すグラフである。 小ブロックの重なりを示す図である。 本発明に従ったＲＢＳＳ法により各観測値について雑音除去処理を行った後の音声信号のスペクトログラムである。 本発明の別の実施形態に係る雑音除去装置における雑音パワーの算出原理を示す図である。 雑音除去前の音声のスペクトログラムである。 従来のＳＳ法により減算を行った音声のスペクトログラムである。 従来のＳＳ法により減算を行った音声の別のスペクトログラムである。 図１０の形態によるＲＢＳＳ法に従って雑音除去を行った後の音声のスペクトログラムである。 本発明の効果を示すための、エンジン停止時の入力信号に基づく音声認識結果を示すグラフである。 本発明の効果を示すための、時速１００ｋｍで走行中の場合の入力信号に基づく音声認識結果を示すグラフである。 女性による発話音に対し、周期性雑音が重畳した音声のスペクトログラムである。 従来のＳＳ法により処理した場合の、図１７の音声のスペクトログラムである。 従来のＳＳ法により減算重みを増やして処理した場合の、図１７の音声のスペクトログラムである。 図１の雑音除去装置により処理した場合の、図１７の音声のスペクトログラムである。

符号の説明

１１：ＦＦＴ部、１２：区間判定部、１３：学習用ブロック設定部、１４：雑音パワー順位算出部、１５：減算用ブロック設定部、１６：観測パワー順位算出部、１７：雑音パワー算出部、１８：減算部、２１：中央処理装置、２２：主記憶装置、２３：補助記憶装置、２４：入力装置、２５：出力装置、７１，７２：点列、８１〜８３：ブロック。

Claims (17)

1. 周波数スペクトルの時間変化を示す観測信号の雑音区間において時間軸及び周波数軸方向の所定の大きさを有する第１の領域に含まれる各要素について、その値による順位を算出する第１の順位算出手段と、
   前記観測信号における時間軸及び周波数軸方向の所定の大きさを有する第２の領域に含まれる各要素について、その値による順位を算出する第２の順位算出手段と、
   前記第２領域の各要素の値から、その要素と前記順位が対応する前記第１領域中の要素の値に基づく値を減算する減算手段とを具備することを特徴とする雑音除去装置。
2. 前記第１及び第２領域を周波数軸方向において所定の周波数増分毎に複数設定し、前記第１領域の設定位置を、時間軸方向における所定のタイミング位置となるように、順次更新するとともに、前記第２領域の設定位置を、所定の時間位置間隔で順次変化するように、順次更新する領域設定手段を有することを特徴とする請求項１に記載の雑音除去装置。
3. 前記第１及び第２領域を周波数軸方向において所定の周波数増分毎に複数設定するとともに、その際、各第１及び第２領域の大きさを、周波数軸方向についての雑音成分の分布状況に応じて変化させる領域設定手段を有することを特徴とする請求項１に記載の雑音除去装置。
4. 前記観測信号に周期性雑音の成分が含まれている場合、前記第１及び第２領域の時間軸方向の大きさを、該周期性雑音の周期と同じ、又はそれよりも大きく設定する領域設定手段を有することを特徴とする請求項１に記載の雑音除去装置。
5. 前記第２領域の要素と順位が対応する第１領域中の要素とは、前記第２領域の要素と相対的な順位が対応する第１領域中の要素であることを特徴とする請求項１に記載の雑音除去装置。
6. 前記第１及び第２領域中の各要素の順位は、複数の順位の範囲に区分されており、前記第１及び第２領域の各区分は低順位側のものから順に相互に対応しており、対応する第１領域側の区分と第２領域側の区分とは相対的な順位の範囲が異なっており、
   前記第２領域の要素と順位が対応する第１領域中の要素とは、該第２領域の要素が属する区分に対応する前記第１領域の区分に属する要素であって、その第１領域の区分における順位が、該第２領域の区分における該第２領域の要素の順位と相対的に一致する要素であることを特徴とする請求項１に記載の雑音除去装置。
7. 前記第１領域中の各要素の順位は、全順位の中央値を境界として２つの順位範囲に区分されており、前記第２領域中の各要素の順位は、前記中央値における値と同一の値を有する、前記第２領域中の要素の順位を境界として２つの順位範囲に区分されていることを特徴とする請求項６に記載の雑音除去装置。
8. 前記観測信号は雑音成分が重畳された音声信号を所定のフレーム長及びフレーム周期で短時間スペクトルの時系列に変換したものであり、前記要素は各フレームにおいて周波数サブバンド毎に存在し、前記第１領域は所定のフレーム数に所定の周波数サブバンド数を乗じた大きさを有し、前記第２領域は所定のフレーム数に前記第１領域と同一の周波数サブバンド数を乗じた大きさを有することを特徴とする請求項１に記載の雑音除去装置。
9. 周波数スペクトルの時間変化を示す観測信号の雑音区間において時間軸及び周波数軸方向の所定の大きさを有する第１の領域に含まれる各要素について、その値による順位を算出する第１の順位算出手順と、
   前記観測信号における時間軸及び周波数軸方向の所定の大きさを有する第２の領域に含まれる各要素について、その値による順位を算出する第２の順位算出手順と、
   前記第２領域の各要素の値から、その要素と前記順位が対応する前記第１領域中の要素の値に基づく値を減算する減算手順とを具備することを特徴とする雑音除去方法。
10. 前記第１及び第２領域を周波数軸方向において所定の周波数増分毎に複数設定し、前記第１領域の設定位置を、時間軸方向における所定のタイミング位置となるように、順次更新するとともに、前記第２領域の設定位置を、所定の時間位置間隔で順次変化するように、順次更新する領域設定手順を有することを特徴とする請求項９に記載の雑音除去方法。
11. 前記第１及び第２領域を周波数軸方向において所定の周波数増分毎に複数設定するとともに、その際、各第１及び第２領域の大きさを、周波数軸方向についての雑音成分の分布状況に応じて変化させる領域設定手順を有することを特徴とする請求項９に記載の雑音除去方法。
12. 前記観測信号に周期性雑音の成分が含まれている場合、前記第１及び第２領域の時間軸方向の大きさを、該周期性雑音の周期と同じ、又はそれよりも大きく設定する領域設定手順を有することを特徴とする請求項９に記載の雑音除去方法。
13. 前記第２領域の要素と順位が対応する第１領域中の要素とは、前記第２領域の要素と相対的な順位が対応する第１領域中の要素であることを特徴とする請求項９に記載の雑音除去方法。
14. 前記第１及び第２領域中の各要素の順位は、複数の順位の範囲に区分されており、前記第１及び第２領域の各区分は低順位側のものから順に相互に対応しており、対応する第１領域側の区分と第２領域側の区分とは相対的な順位の範囲が異なっており、
    前記第２領域の要素と順位が対応する第１領域中の要素とは、該第２領域の要素が属する区分に対応する前記第１領域の区分に属する要素であって、その第１領域の区分における順位が、該第２領域の区分における該第２領域の要素の順位と相対的に一致する要素であることを特徴とする請求項９に記載の雑音除去方法。
15. 前記第１領域中の各要素の順位は、全順位の中央値を境界として２つの順位範囲に区分されており、前記第２領域中の各要素の順位は、前記中央値における値と同一の値を有する、前記第２領域中の要素の順位を境界として２つの順位範囲に区分されていることを特徴とする請求項１４に記載の雑音除去方法。
16. 前記観測信号は雑音成分が重畳された音声信号を所定のフレーム長及びフレーム周期で短時間スペクトルの時系列に変換したものであり、前記要素は各フレームにおいて周波数サブバンド毎に存在し、前記第１領域は所定のフレーム数に所定の周波数サブバンド数を乗じた大きさを有し、前記第２領域は所定のフレーム数に前記第１領域と同一の周波数サブバンド数を乗じた大きさを有することを特徴とする請求項９に記載の雑音除去方法。
17. コンピュータに、請求項９の雑音除去方法における各手順を実行させることを特徴とする雑音除去プログラム。