JP2006234888A - 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体 - Google Patents

Abstract

【課題】従来の残響除去方法では、少ないセンサ数、事前の伝達関数の測定が不要、かつ少量の学習データで、いたるところから到来する残響除去を行うことはできなかった。
【解決手段】本発明では、まず少量の逆フィルタ学習データを用いて調波構造に基づく残響除去法によって残響除去を施し、得られた信号に加法的な雑音を除去する手法を適応し、明瞭性の良い音声を得る。次に、その得られた信号を逆フィルタの参照信号として、正確な逆フィルタを推定し、少量の逆フィルタ学習データで残響除去を行う。
また、本発明では独立な複数のフレームから得られた逆伝達関数の平均をとることにより、より正確な逆伝達関数を得る。
【選択図】図８

Description

本発明は、残響を伴う音響信号から残響を除去する技術に係わり、特に、音響信号の調波構造を利用し残響を除去する技術に関する。

音声信号は残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。この重畳した残響成分により明瞭性の低下した音声は、本来の音声信号の性質を抽出することが困難となり、音声の明瞭性が低下し、自動音声認識（以下、音声認識）システムの認識率も著しく低下する。残響除去処理は、重畳した残響を取り除くことで、本来の音質に戻し、音声信号の明瞭性を回復することができる。よって、残響除去処理を自動音声認識システムに適用することで、音声認識率を改善することができる。このように残響除去技術は、他の音響信号処理システムの要素技術として用いることで、そのシステム全体の性能向上につながる技術である。発話された音声信号の残響除去処理が要素技術として性能向上に寄与できるような音響信号認識システムには、例えば（１）残響環境での音声認識システム、（２）人が歌ったり、楽器で演奏したり、またはスピーカで演奏された音楽の残響を除去して、楽曲を検索したり、採譜したりする音楽情報処理システム、（３）人が発した音に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置、（４）残響環境下で残響を除去することで聞き取り易さを向上させる補聴器、（５）残響除去により音声の明瞭度を向上させるTV 会議システムなどの通信システムなどがある。これらのシステムや装置は、実環境で収録された音声に常に含まれる残響（反射音）を想定した例である。

残響除去法の従来技術（非特許文献１）を用いた残響除去装置９１０の機能構成例を図１に示す。この技術は、複数のセンサで測定された観測信号を入力として、本来の音源の方向から来る音の位置を目的音源位置推定部９１１で推定し、壁などから反射してきた音（残響）などの位置を残響反射位置推定部９１３で推定する。目的音源位置推定部９１１と残響反射位置推定部９１３の推定結果から、死角型指向性形成部９１２で目的音は通過させ、残響音には死角を向けるような指向特性を形成することで残響の除去を行う。しかし、ディジタル信号処理により形成する死角の数をｎとすると、原理的にｎ＋１個以上のセンサが必要になり、反射音が周囲のいたるところからから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。

残響除去法の従来技術（非特許文献２）を用いた残響除去装置９２０の機能構成例を図２に示す。この技術は、あらかじめ音源からセンサまでの伝達関数を逆伝達関数データ９２２として測定しておいて、観測信号に対してはその逆関数（逆フィルタ）を逆フィルタ乗算部９２１で適用することにより、残響除去を行う。この手法では、少数のセンサによる観測音で、いたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。
図３に示すブラインド残響除去法（特許文献１）を用いた残響除去装置９３０では、調波構造に基づく残響除去法を用いて、音源からセンサまでの伝達関数の逆フィルタを推定し、観測信号に対してその逆フィルタを適用することで残響除去を行う。これにより、事前に伝達関数を推定することなく、１つのセンサで、いたるところから到来する残響を除去することが可能となる。

図４は、残響が付加される場合のモデルを示す図である。時間フレームτのクリーン音声の短時間フーリエ変換後の信号をＳ（τ，ｆ）とし、伝達関数をＨ（τ）とした場合、残響の付加された音声Ｙ（τ，ｆ）は、Ｙ（τ，ｆ）＝Ｈ（τ）Ｓ（τ，ｆ）と表す事ができる。ここで、もしクリーン音声を既知だとすると、真の逆フィルタＷ_ｔは以下のように求めることができる。

ただし、Ｅ{・}はフレーム間の平均値を算出する関数である。
そして、このフィルタを用いると、Ｚ（τ，ｆ）＝Ｗ_ｔＹ（τ，ｆ）＝Ｓ（τ，ｆ）のように原音声を回復することができる。
しかし、ブラインド残響除去法（特許文献１）ではクリーン音声であるＳ（τ，ｆ）をあらかじめ手にすることができないため、逆伝達関数Ｈ（τ）を求めることができない。そこで、逆フィルタＷ_ｂｄ（ｆ）を

と設計する。ここで、Ｓ’（τ，ｆ）を逆フィルタの参照信号と呼ぶ。
図５に残響除去部９３０の機能構成を示す。残響を含む信号（図中、観測音）が入力されると、入力信号は分析窓切出し部９３１によって短時間の信号区間（フレーム）に分割される。基本周波数推定部９３２では、それぞれのフレーム内で、基本周波数Ｆ０と調波構造が含まれたフレーム（調波構造区間）を推定する。次に、調波構造抽出部９３３では、求められた基本周波数Ｆ０と調波構造区間をもとに、調波成分を抽出する。逆伝達関数推定部９３４で逆伝達関数を推定し、逆伝達関数適用部でその逆伝達関数を適用し、残響を除去した出力信号を得る。また、逆伝達関数推定の精度を上げるために、出力信号をもとにさらに基本周波数Ｆ０を推定し、図５の処理を複数回繰り返すことも可能である。

この方法では、参照信号Ｓ’（τ，ｆ）がクリーン音声Ｓ（τ，ｆ）に近いほど、フレームごとに求まるＷ_ｂｄ（ｆ）は真値であるＷ_ｔ（ｆ）に近くなり、より少ないフレームの平均で十分にＷ_ｔ（ｆ）に近いＷ_ｂｄ（ｆ）を得る事ができる。そのため、ブラインド残響除去法では、できるだけＳ（τ，ｆ）に近いＳ’（τ，ｆ）を参照信号として用いることが重要である。しかし、高精度な残響除去を達成するためには、逆フィルタ学習のために約１時間程度の大量のデータを必要としていた。そのため、音源の位置や気温が時々刻々と変化し、音響特性がそれに連れて変化するような実環境での残響除去は困難であった。また、この調波構造に基づく残響除去法では、少量のデータを用いて逆フィルタを推定した場合、音質の悪い残響除去音声しか得ることができず、また音声認識率の改善に寄与することもできなかった。
特開２００４−１０９７４２号公報 J.L. Flanagan, "Computer-steered Microphone Arrays for Sound Transduction in Large Rooms," Journal of Acoustical Society of America, 78(11), pp. 1508-1518, Nov., 1985. M. Miyoshi and Y. Kaneda, "Inverse filtering of room acoustics," IEEE Trans. on Acoustics, Speech and Signal Processing, 36(2), pp.145-152, 1988.

従来の残響除去方法では、少ないセンサ数、事前の伝達関数の測定が不要、かつ少量の学習データ（短時間の学習）で、いたるところから到来する残響除去を行うことはできなかった。本発明の目的は、少量の学習データを用いて短時間で残響除去を行い、音声の明瞭性を向上させ、かつ音声認識の前処理として音声認識率改善に寄与することである。

本発明では、特許文献１の調波構造に基づく残響除去法が、なぜ約１時間程度の大量のデータを必要とするのか、少量のデータを用いて逆フィルタを推定したのでは音質の悪い残響除去音声しか得ることができないのかの分析を行った。
図６Ａにクリーン音声、Ｂに残響の付加された音声、Ｃに少量の逆フィルタ学習データを用いて調波構造に基づく残響除去法により残響除去を施した音声を示す。図に示されるとおり、少ない学習データで学習した逆フィルタを用いて残響除去を行うと、残響除去後の音声には雑音が残る。また、音声波形の無音区間にも雑音が残っていることが分かる。そのため、残響除去後も音声の明瞭性が改善していない。

次に、図７に残響除去前と残響除去後のインパルス応答のパワー時系列を示す。図中の細線が残響除去前のパワー時系列を示しており、太線が残響除去後のパワー時系列を示している。図７に示すように、残響除去後のインパルス応答は、その一部では元のインパルス応答よりも少ないエネルギーを有しており、残響除去の効果があらわれていることが分かる。インパルス応答の直接音直後のエネルギーは、聴感上の残響感にもっとも影響を与える部分と言われており、その部分に関しては残響除去がなされている。しかし、インパルス応答の後半部分のエネルギーは、逆に増幅されている。インパルス応答の後半部分は、白色性のノイズであると一般的に仮定され、音声に畳み込まれると、白色性のノイズとして現れる特徴を持っている。そのため、残響除去後の音声には定常的な雑音（加法性の雑音）が残留していると考えられる。したがって、残響除去のあとに残った定常的な雑音（加法性の雑音）を雑音除去手法により除去すれば、明瞭性の良い音声を得ることができると考えられる。

そこで、本発明では、まず少量の逆フィルタ学習データを用いて調波構造に基づく残響除去法によって残響除去を施し、得られた信号に加法的な雑音を除去する手法を適用し、明瞭性の良い音声を得る。次に、その得られた信号を逆フィルタの参照信号として、正確な逆フィルタを推定し、少量の逆フィルタ学習データで残響除去を行う。
また、さらに良い残響除去を行うために、本発明では、単一フレームから得た逆伝達関数を用いるのではなく、複数のフレームから得られた逆伝達関数の平均をとることにより、より正確な逆伝達関数を得る。

本発明によれば、少量の逆フィルタ学習データを用いた調波構造に基づく残響除去でインパルス応答中の直接音に近い成分を除去し、加法性雑音除去手法でインパルス応答中の直接音から遠い成分を除去するので、１つのセンサ、事前の伝達関数の測定が不要、かつ少量の学習データ（短時間の学習）で、いたるところから到来する残響除去を行うことが可能となる。

［第１実施形態］
図８に残響除去装置１００の機能構成例を、図９に処理フローを示す。音響除去装置１００は、残響除去部９３０、残留雑音抑制部１１０、周波数領域変換部１２０、逆フィルタ生成部１３０、逆フィルタ処理部１４０、時間領域変換部１５０から構成される。残響除去部９３０は、図５に示したように、残響が重畳した音響信号が入力されると調波構造に基づく残響除去法により残響を除去し、残響除去信号を出力する（Ｓ９３０）。
残留雑音抑制部１１０は、残響除去信号が入力されると残留している雑音を抑制し、雑音抑制信号を出力する（Ｓ１１０）。なお、具体的な残留雑音の抑圧方法としては、Spectral Subtraction（S. F. Boll, “Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans. on Acoustics, Speech and Signal Processing, 27(2), pp. 113-120, 1979.）、Kalman Filter（J. D. Gibson, B. Koo and S. D. Gray, “Filtering of colored noise for speech enhancement and coding,” IEEE Trans. on Signal Processing, 39 (8), pp. 1732-1741, August 1991.）、その他の種々の雑音除去手法を用いることができる。例えば、Minimum Statistics に基づくSpectral Subtraction（R. Martin, “Spectral subtraction based on minimum statistics,” Proc. of European Association for Signal Processing, pp. 1182-1185, 1994.）を用いる方法は、音声区間・非音声区間の区別なく背景雑音レベルを推定し、除去することができる。残響除去信号に含まれる雑音は、フレーム内の入力音声の平均パワーに応じて変化すると考えられるため、この方法を用いることで、常に変化する雑音を推定・除去できる。

周波数領域変換部１２０では、雑音が重畳した音響信号と雑音抑制信号とを周波数領域の信号である周波数領域音響信号と周波数領域雑音抑制信号とに変換する（Ｓ１２０）。
逆フィルタ生成部１３０は、周波数領域音響信号と周波数領域雑音抑制信号とが入力されると、周波数領域音響信号を入力信号Ｙ（τ，ｆ）、周波数領域雑音抑制信号を参照信号Ｓ’（τ，ｆ）として、次式により逆フィルタ処理に用いる逆伝達関数Ｗ_ｂｄ（τ，ｆ）を作成する。

次に、フレームごとに算出した逆フィルタの第一近似値を用いて、次式のように一つの逆伝達関数Ｗ_ｂｄ（ｆ）を推定する（Ｓ１３０）。

伝達関数が変化しない環境下では、このように独立な複数のフレームから得られた逆伝達関数の平均をとることにより、より正確な逆伝達関数Ｗ_ｂｄ（ｆ）を得ることができる。なお、伝達関数が大きく変化した場合には、平均化処理を中止し、今まで使用してきた逆伝達関数を廃棄し、改めて平均化処理を開始する。
逆フィルタ処理部１４０には、周波数領域音響信号と逆伝達関数Ｗ_ｂｄ（ｆ）とが入力され、フィルタリングを行うことで周波数領域出力信号を得る（Ｓ１４０）。なお、フィルタリングを行う対象の周波数領域音響信号は、逆伝達関数Ｗ_ｂｄ（ｆ）を求める際に使用したフレームの周波数領域音響信号である。

時間領域変換部１５０は、周波数領域出力信号を時間領域の出力信号に変換する（Ｓ１５０）。
［変形例］
第１実施形態の逆フィルタ処理部１４０では、より明瞭度の高い出力を得るため、フィルタリングを行う対象の周波数領域音響信号を、逆伝達関数Ｗ_ｂｄ（ｆ）を求める際に使用したフレームの周波数領域音響信号とした。したがって、記録装置に音響信号を記録した上で記録内容を聞きなおす場合（インタビューの記録などを書き取る場合など）には有効である。しかし、逆伝達関数Ｗ_ｂｄ（ｆ）を求めるまでの時間が必要なため、リアルタイムでの残響除去はできない。

そこで、本発明では逆フィルタ生成部１３０での逆伝達関数Ｗ_ｂｄ（ｆ）の推定と、逆フィルタ処理部１４０でのフィルタリングとを独立に設定する。つまり、過去のフレームの周波数領域音響信号と周波数領域雑音抑制信号から推定された逆伝達関数Ｗ_ｂｄ（ｆ）を用いて現在のフレームの周波数領域音響信号をフィルタリングする。
この方法の場合、正確な逆伝達関数が推定されるまでの時間（約１分間）は、明瞭ではない出力となるが、その後は伝達関数が大きく変化しない限り、リアルタイムに残響を除去することができる。

この方法の処理フローを図１０に示す。図９との違いは、リアルタイムで処理をするために音響信号の周波数領域への変換を、音響信号が入力されるとすぐに行うステップＳ１２１を設けたことと、逆フィルタ処理（Ｓ１４１）で、過去のフレームから推定された逆伝達関数を用いてフィルタリングすることである。
［実験例］
連続発話データセットから女声と男声の発話を取り出し、予め測定しておいた残響時間1.0、0.5、0.2、0.1秒のインパルス応答と畳み込み残響環境をシミュレートした。図１１にスペクトログラムと音声波形とを示す。図１１Ａはクリーン音声、Ｂは残響の付加された音声（残響時間１秒）、Ｃは第１実施形態の残留抑制信号、Ｄは第１実施形態の出力信号である。図６Ｃでは残留していた雑音が、図１１Ｃの波形では雑音除去法により取り除かれていることが分かる。図１１Ｃのスペクトログラムを見ると、雑音を除去すると共に音声の一部も除去されてしまっているが、一般的に人間は、このような音声の欠如には鈍感であり、このような音声も明瞭性の良い音声として聴取される。

次に、図１１Ｄの出力信号での音声認識結果を図１２に示す。横軸は残響時間、縦軸は認識率である。音響モデルは、マルチコンディションモデル（K. Kinoshita, T. Nakatani, M. Miyoshi, “Improving automatic speech recognition performance and speech intelligibility with harmonicity based dereverberation," 8^th International Conference on Spoken Language Processing (ICSLP), Oct.2004.）を用いた。図１２のベースラインは、このシステムの限界性能を示しており、クリーン音声を認識した場合の認識率である。特許文献１の方法では、６０分の逆フィルタ学習データを用いた場合、高い認識率を保持しているが、１分の逆フィルタ学習データを用いると、認識率は処理なしの場合よりも悪くなってしまう。しかし、同じ１分の逆フィルタ学習データを用いて、提案法の残響除去を適用すると、ベースラインに非常に近い値まで音声認識率が改善したことが分かる。

従来技術（非特許文献１）を用いた残響除去装置９１０の機能構成例を示す図。 従来技術（非特許文献２）を用いた残響除去装置９２０の機能構成例を示す図。 ブラインド残響除去法（特許文献１）を用いた残響除去を示す図。 残響が付加される場合のモデルを示す図。 残響除去部９３０の機能構成を示す図。 クリーン音声、残響の付加された音声、および少量の逆フィルタ学習データを用いて調波構造に基づく残響除去法により残響除去を施した音声の音声信号を示す図。 残響除去前と残響除去後のインパルス応答のパワー時系列を示す図。 残響除去装置１００の機能構成例を示す図。 残響除去装置１００の処理フローを示す図。 変形例での残響除去装置１００の処理フローを示す図。 実験結果のスペクトログラムと音声波形とを示す図。 音声認識結果を示す図。

符号の説明

１００ 残響除去装置
９３０ 残響除去部
１１０ 残留雑音抑制部
１２０ 周波数領域変換部
１３０ 逆フィルタ生成部
１４０ 逆フィルタ処理部
１５０ 時間領域変換部

Claims (12)

1. 残響を含む音響信号から残響を除去する残響除去装置であって、
   前記音響信号の調波構造を用いて当該音響信号から残響を除去した残響除去信号を出力する残響除去手段と、
   前記残響除去信号に残留する雑音を抑制した雑音抑制信号を出力する残留雑音抑制手段と、
   前記音響信号および前記雑音抑制信号を周波数領域に変換し、周波数領域音響信号および周波数領域雑音抑制信号を出力する周波数領域変換手段と、
   前記周波数領域音響信号と前記周波数領域雑音抑制信号を用いて、逆フィルタを生成する逆フィルタ生成手段と、
   周波数領域音響信号に、前記逆フィルタによる処理を行う逆フィルタ処理手段と、
   前記逆フィルタ処理手段の出力信号を時間領域に変換する時間領域変換手段と、
   を備える残響除去装置。
2. 請求項1記載の残響除去装置であって、
   前記逆フィルタ生成手段で逆フィルタ生成に使用した周波数領域音響信号に、当該逆フィルタによる処理を行う前記逆フィルタ処理手段
   を備える残響除去装置。
3. 請求項1記載の残響除去装置であって、
   入力された周波数領域音響信号に対して、過去の周波数領域音響信号を用いて生成した逆フィルタによる処理を行う前記逆フィルタ処理手段
   を備える残響除去装置。
4. 請求項１〜３のいずれかに記載の残響除去装置であって、
   フレームごとに逆フィルタを生成し、逆フィルタを更新する前記逆フィルタ生成手段
   を備える残響除去装置。
5. 請求項１〜４のいずれかに記載の残響除去装置であって、
   前記周波数領域変換手段で短時間フーリエ変換により求められたフレームτの前記周波数領域雑音抑制信号と前記周波数領域音響信号とを、Ｓ’（τ，ｆ）とＹ（τ，ｆ）とし、Ｅ{}をフレーム間の平均を算出する関数とした場合に、
   

   

   を逆フィルタとする前記逆フィルタ生成手段
   を備える残響除去装置。
6. 残響を含む音響信号から残響を除去する残響除去方法であって、
   残響除去手段で、前記音響信号の調波構造を用いて当該音響信号から残響を除去した残響除去信号を生成し、
   残留雑音抑制手段で、前記残響除去信号に残留する雑音を抑制した雑音抑制信号を生成し、
   周波数領域変換手段で、前記音響信号および前記雑音抑制信号を、周波数領域の信号である周波数領域音響信号および周波数領域雑音抑制信号に変換し、
   逆フィルタ生成手段で、前記周波数領域音響信号と前記周波数領域雑音抑制信号を用いて逆フィルタを生成し、
   逆フィルタ処理手段で、前記周波数領域音響信号に、前記逆フィルタによる処理を行い、
   時間領域変換手段で、前記逆フィルタ処理手段の出力信号を時間領域に変換する
   ことを特徴とする残響除去方法。
7. 請求項６記載の残響除去方法であって、
   前記逆フィルタ処理手段で、前記逆フィルタ生成手段で逆フィルタ生成に使用した周波数領域音響信号に当該逆フィルタによる処理を行う
   ことを特徴とする残響除去方法。
8. 請求項６記載の残響除去方法であって、
   前記逆フィルタ処理手段で、入力された周波数領域音響信号に対して、過去の周波数領域音響信号を用いて生成した逆フィルタによる処理を行う
   ことを特徴とする残響除去方法。
9. 請求項６〜８のいずれかに記載の残響除去方法であって、
   前記逆フィルタ生成手段で、フレームごとに逆フィルタを生成し、逆フィルタを更新する
   ことを特徴とする残響除去方法。
10. 請求項６〜９のいずれかに記載の残響除去方法であって、
    前記周波数領域変換手段で短時間フーリエ変換により求められたフレームτの前記周波数領域雑音抑制信号と前記周波数領域音響信号とを、Ｓ’（τ，ｆ）とＹ（τ，ｆ）とし、Ｅ{}をフレーム間の平均を算出する関数とした場合に、前記逆フィルタ生成手段で、
    

    

    を逆フィルタとする
    ことを特徴とする残響除去方法。
11. 請求項１〜５のいずれかに記載の残響除去装置をコンピュータにより実現する残響除去プログラム。
12. 請求項１１記載の残響除去プログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images