JP2015037238A - 残響抑圧装置とその方法と、プログラムとその記録媒体 - Google Patents

Abstract

【課題】演算量を削減した残響抑圧装置を提供する。
【解決手段】パワー計算は周波数領域収音信号のパワーを周波数ごとに計算したパワースペクトルを出力し、遅延部はそのパワースペクトルを所定の遅延量だけ遅延させた遅延パワースペクトルを出力し、減算部はパワースペクトルから、上記遅延パワースペクトルにフィルタ係数を乗じたフィルタ後信号を減算して誤差信号を求め、適応アルゴリズム部は遅延パワースペクトルと上記誤差信号を入力として、当該誤差信号を最小化するようにフィルタ係数を更新し、周波数領域フィルタ部は遅延パワースペクトルに上記フィルタ係数を乗じてフィルタリングしたフィルタ後信号を出力し、残響抑圧ゲイン計算部はパワースペクトルと上記誤差信号を入力として、残響を抑圧するための残響抑圧ゲインを計算し、乗算部は上記周波数領域収音信号に上記残響抑圧ゲインを乗じて残響除去信号を出力する。
【選択図】図１

Description

本発明は、マイクロホンで収音した信号から部屋の残響による成分を抑圧する残響抑圧装置とその方法と、プログラムとその記録媒体に関する。

室内で音声を収音した場合、壁や床などで反射した残響音成分が直接音と同時に収音され音声が劣化する。例えば、広い会議室でのハンズフリーによる音声会議や、残響の多い場所での携帯端末による通話では、残響の影響により聞き取り難い音声となってしまう。

そこで、従来から、このような残響による音質劣化を軽減する目的の残響成分を抑圧する方法が提案されている。例えば、非特許文献１に開示されたマルチステップ線形予測を用いた残響抑圧装置９００が知られている。

図１７に、残響抑圧装置９００の機能構成を示してその動作を簡単に説明する。残響抑圧装置９００は、白色化部９１０、マルチステップ線形予測部９２０、残響計算部９３０、ＦＦＴ９４０、ＦＦＴ部９５０、スペクトルサブトラクション部９６０、逆ＦＦＴ部９７０、を具備する。白色化部９２０は、時間領域の収音信号を、短いタップ長の線形予測を用いて音声の自己相関に起因する周波数特性を取り除き白色化する。マルチステップ線形予測部９３０は、白色化された時間領域の収音信号に対して、長いタップ長のマルチステップ線形予測を行い残響成分を予測するフィルタ係数を算出する。長いタップ長とは、サンプリング周波数を例えば８ｋＨｚと仮定すると、６００〜７００ｍｓの残響時間に相当する５〜６千点程度の長さである。残響計算部９４０は、算出されたフィルタ係数で時間領域の収音信号をフィルタリングすることで残響成分を予測する。

ＦＦＴ部９４０は、予測された残響成分を短時間フーリエ変換によって周波数領域の信号である周波数領域残響成分に変換する。ＦＦＴ９５０は、時間領域の収音信号を短時間フーリエ変換によって周波数領域の信号である周波数領域収音信号に変換する。

スペクトルサブトラクション部９６０は、周波数領域残響成分の周波数ごとのパワーと、周波数領域収音信号の周波数ごとのパワーから残響を抑圧するゲインを計算し、周波数領域収音信号に当該ゲインを乗算することで残響を抑圧した残響抑圧信号を出力する。残響抑圧信号は、逆フーリエ変換によって時間領域の残響抑圧信号に変換される。

Keisuke Kinoshita, Marc Delcroix, Tomohiro Nakaatani, and Masato Miyoshi, "Suppression of Late Reverberation Effect on Speech Signal Using Long-Term Multiple-step Linear Prediction," IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL. 17, No. 4, MAY 2009.

しかし、従来の残響抑圧装置９００では、長いタップ長の線形予測を用いることから、演算量が膨大になる課題があった。レビンソン・ダービンアルゴリズムによる線形予測であれば、演算量はタップ長の２乗のオーダーとなる。上記した例では６×１０⁶オーダーの計算量が必要となる。

本発明は、この課題に鑑みてなされたものであり、低演算量で残響を抑圧する残響抑圧装置とその方法と、プログラムとその記録媒体を提供することを目的とする。

本発明の残響抑圧装置は、ＦＦＴ部と、パワー計算部と、遅延部と、減算部と、適応アルゴリズム部と、周波数領域フィルタ部と、残響抑圧ゲイン計算部と、乗算部と、逆ＦＦＴ部と、を具備する。ＦＦＴ部は、収音信号を周波数領域の周波数領域収音信号に変換する。パワー計算部は、ＦＦＴ部が出力する周波数領域収音信号のパワーを周波数ごとに計算したパワースペクトルを出力する。遅延部は、パワー計算部が出力するパワースペクトルを所定の遅延量だけ遅延させた遅延パワースペクトルを出力する。減算部は、パワー計算部が出力するパワースペクトルから、遅延部が出力する遅延パワースペクトルにフィルタ係数を乗じたフィルタ後信号を減算して直接音の推定パワーを求める。適応アルゴリズム部は、遅延部が出力する遅延パワースペクトルと上記直接音の推定パワーを入力として、当該直接音の推定パワーを最小化するようにフィルタ係数を更新する。周波数領域フィルタ部は、遅延部が出力する遅延パワースペクトルに上記フィルタ係数を乗じてフィルタリングしたフィルタ後信号を出力する。残響抑圧ゲイン計算部は、パワー計算部が出力するパワースペクトルと減算部が出力する直接音の推定パワーを入力として、残響音を抑圧するための残響抑圧ゲインを計算する。乗算部は、周波数領域収音信号に残響抑圧ゲインを乗じて残響抑圧信号を出力する。逆ＦＦＴ部は、乗算部が出力する残響抑圧信号を時間領域の残響抑圧信号に変換する。

本発明の残響抑圧装置によれば、減算部の出力信号である直接音の推定パワーを最小化するように適応アルゴリズムを用いてフィルタ係数をパワースペクトルの領域で更新するので、フィルタのタップ長の１乗のオーダーの演算量で残響抑圧を行うことができる。具体的な効果については後述するが、従来法と比較して演算量を大幅に削減することが可能である。

本発明の残響抑圧装置１００の機能構成例を示す図。 残響抑圧装置１００の動作フローを示す図。 周波数領域フィルタ部１６０の機能構成例を示す図。 適応アルゴリズム部１５０の機能構成例を示す図。 残響抑圧ゲイン計算部１７０の機能構成例を示す図。 本発明の残響抑圧装置２００の適応アルゴリズム部２５０の機能構成例を示す図。 適応アルゴリズム部２５０の動作フローを示す図。 本発明の残響抑圧装置３００の適応アルゴリズム部３５０の機能構成例を示す図。 適応アルゴリズム部３５０の動作フローを示す図。 本発明の残響抑圧装置４００の残響抑圧ゲイン計算部４７０の機能構成例を示す図。 残響抑圧ゲイン計算部４７０の前半の動作フローを示す図。 残響抑圧ゲイン計算部４７０の後半の動作フローを示す図。 本発明の残響抑圧装置５００の機能構成例を示す図。 本発明の残響抑圧装置６００の機能構成例を示す図。 本発明の残響抑圧装置７００の機能構成例を示す図。 評価実験の結果を示す図。 従来の残響抑圧装置９００の機能構成を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明の残響抑圧装置１００の機能構成例を示す。その動作フローを図２に示す。残響抑圧装置１００は、ＦＦＴ部１１０と、パワー計算部１２０と、遅延部１３０と、減算部１４０と、適応アルゴリズム部１５０と、周波数領域フィルタ部１６０と、残響抑圧ゲイン計算部１７０と、乗算部１８０と、逆ＦＦＴ部１９０と、制御部１９５と、を具備する。残響抑圧装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以下説明する各装置についても同じである。

ＦＦＴ部１１０は、収音信号を周波数領域の周波数領域収音信号に変換する（ステップＳ１１０）。収音信号は、図示しないマイクロホンで収音した直接音と室内の壁や床などで反射した残響音とからなる信号である。収音信号は、例えばサンプリング周波数８ｋＨｚで離散値化されたディジタル信号である。図１において、収音信号をディジタル化するＡ/Ｄ変換器や、ディジタル信号を連続値化するＤ/Ａ変換器の表記は省略している。ＦＦＴ部１１０は、短時間フーリエ変換によって離散値化した収音信号を、例えば１２８個集めたフレーム単位（ｔ＝１６ｍｓ）の間隔、ウィンドウサイズ３２ｍｓで周波数領域収音信号に変換する。ウィンドウはハニングウィンドウの平方根を取ったものなどを用いる。

パワー計算部１２０は、ＦＦＴ部１１０が出力する周波数領域収音信号を入力として、当該周波数領域収音信号のパワースペクトルを計算して出力する（ステップＳ１２０）。遅延部１３０は、パワー計算部１２０が出力するパワースペクトルを所定の遅延量だけ遅延させた遅延パワースペクトルを出力する（ステップＳ１３０）。所定の遅延量とは、例えば数１０〜１００ｍｓ程度の遅延時間である。

減算部１４０は、パワー計算部１２０が出力するパワースペクトルから、遅延パワースペクトルに適応アルゴリズム部１５０で求めたフィルタ係数を乗じたフィルタ後信号を減算して直接音の推定パワーを求める（ステップＳ１４０）。適応アルゴリズム部１５０は、遅延パワースペクトルと直接音の推定パワーを入力として、当該直接音の推定パワーを最小化するようにフィルタ係数を更新する（ステップＳ１５０）。

周波数領域フィルタ部１６０は、遅延パワースペクトルにフィルタ係数を乗じてフィルタリングしたフィルタ後信号を出力する（ステップＳ１６０）。残響抑圧ゲイン計算部１７０は、パワースペクトルと直接音の推定パワーを入力として、残響音を抑圧するための残響抑圧ゲインを計算する（ステップＳ１７０）。

乗算部１８０は、周波数領域収音信号に残響抑圧ゲインを乗じて残響抑圧信号を出力する（ステップＳ１８０）。逆ＦＦＴ部１９０は、残響抑圧信号を、ＦＦＴ部１１０と同じ間隔同じ点数で逆フーリエ変換し、その出力にウィンドウを乗算してオーバラップ加算して時間領域の残響抑圧信号に変換する（ステップＳ１９０）。以上説明したステップＳ１１０〜ステップＳ１９０の処理は、フレームを更新しながら（ステップＳ１９６）動作を停止するまで繰り返される（ステップＳ１９５のＮｏ）。この繰り返し処理の制御は制御部１９５が行う。制御部１９５は、残響抑圧装置１００の時系列動作を制御するものであり、特別なものではない。

残響抑圧装置１００では、減算部１４０の出力する誤差信号（直接音の推定パワー）を最小化するように適応アルゴリズムを用いてフィルタ係数を更新することで、遅延部１３０で遅延させた遅延パワースペクトルから遅延前のパワースペクトルを予測している。すなわち、減算部１４０の出力する誤差信号は、予測できなかった信号成分ということになり、減算部１４０で減算された成分は予測できた信号成分ということになる。

一方、部屋の残響は、音源からマイクロホンまでに音が到達するときに、壁などで反射した音が、直接音から遅れてマイクロホンに到達する現象である。反射音は、必ず直接音よりも遅く到達するので、残響成分は、過去にマイクロホンに到達した音から予測可能である。これに対して、直接音は、最も早く到達するので過去の到達音からは完全には予測できない。よって、過去の信号から予測できない成分である減算部１４０の出力する誤差信号は、直接音の推定パワーとなる。

したがって、直接音の推定パワーを入力信号のパワーで除算した値をゲインとして周波数領域収音信号に乗じれば、入力信号（収音信号）のパワースペクトルが直接音の成分のパワースペクトルに変形されるので、残響音を抑圧することができる。このように残響抑圧装置１００は、パワースペクトルの領域での適応アルゴリズムを用いて残響音を抑圧できる。適応アルゴリズムを用いることで周波数領域フィルタ部１６０のタップ長の１乗のオーダーの演算量で、残響抑圧を実現することができる。

以降では、各部のより具体的な機能構成例を示して、更に詳しく残響抑圧装置１００の動作を説明する。

〔周波数領域フィルタ部〕
図３に、周波数領域フィルタ部１６０の機能構成例を示す。周波数領域フィルタ部１６０は、信号バッファ手段１６１と、畳み込み計算手段１６２と、を備える。

信号バッファ手段１６１は、遅延部１３０が出力する遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２の過去Ｍ個分を保存する。但し、ｔはフレーム番号、ωは周波数、Ｄは遅延部で与えられる遅延量、Ｘ（ω，ｔ）はＦＦＴ部１１０が出力する周波数領域収音信号である。

畳み込み計算手段１６２は、適応アルゴリズム部１５０で保持されているＭタップのフィルタ係数Ｆ（ω，ｍ，ｔ），ｍ＝０，…，Ｍ−１を、周波数ごとに遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２と畳み込み演算し、次式でフィルタ後信号｜Ｙ（ω，ｔ−Ｄ）｜^２を計算して減算部１４０に出力する。

〔適応アルゴリズム部〕
図４に、適応アルゴリズム部１５０の機能構成例を示す。適応アルゴリズム部１５０は、更新ベクトル計算手段１５１と、ステップサイズ乗算手段１５２と、加算手段１５３と、フィルタ係数保持手段１５４と、を備える。

更新ベクトル計算手段１５１は、遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２と減算部１４０の出力信号Ｅ（ω，ｔ）を入力として、適応アルゴリズムを用いて更新ベクトルＵ（ω，ｍ，ｔ）を計算する。減算部１４０の出力信号Ｅ（ω，ｔ）は、次式に示すようにパワースペクトル｜Ｘ（ω，ｔ）｜^２からフィルタ後信号｜Ｙ（ω，ｔ−Ｄ）｜^２を減算した誤差信号である。減算部１４０の出力信号Ｅ（ω，ｔ）は、過去の信号から予測できなかった信号成分であり、直接音の推定パワーとなる。

適応アルゴリズムは例えばＮＬＭＳ法（参考文献１：Simon Haykin, Adaptive filter theory. Prentice-Hall, 1986.）を用いる。更新ベクトル計算手段１５１は、次式で更新ベクトルＵ（ω，ｍ，ｔ）を計算する。

ここでｎはフィルタ係数の番号である。

ステップサイズ乗算部１５２は、更新ベクトルＵ（ω，ｍ，ｔ）に、予め設定した０〜２の範囲のステップサイズαを乗じたフィルタ係数を出力する。加算手段１５３は、ステップサイズ乗算部１５２が出力するフィルタ係数に、フィルタ係数保持手段１５４に保持されている１フレーム前のフィルタ係数を加算して次のフレームのフィルタ係数Ｆ（ω，ｍ，ｔ＋１）として出力する。

ＮＬＭＳ法などの適応アルゴリズムは、減算部１４０が出力する誤差信号Ｅ（ω，ｔ）の２乗平均を最小化するように動作する。よって、Ｄだけ過去の遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２から、現在の周波数領域収音信号Ｘ（ω，ｔ）を出来る限り予測し、予測できた成分を取り除いた信号が誤差信号Ｅ（ω，ｔ）となる。したがって、過去の信号から予測できない成分のみが残り、誤差信号Ｅ（ω，ｔ）が直接音の推定パワーとなる。

〔残響抑圧ゲイン計算部〕
図５に、残響抑圧ゲイン計算部１７０の機能構成例を示す。残響抑圧ゲイン計算部１７０は、除算手段１７１と、最大値制限手段１７２と、時間平滑化手段１７３と、を備える。

除算手段１７１は、パワースペクトル｜Ｘ（ω，ｔ）｜^２と直接音の推定パワーＥ（ω，ｔ）を入力として、両者の比を計算し、その比をβ乗してゲインＧ′（ω，ｔ）を計算する（式（５））。

ここでβは、予め設定した定数であり、大きい値に設定するほど残響の抑圧量が強くなる。βは、おおよそ０.５〜１.０の間で設定される。

最大値制限手段１７２は、除算手段１７１が出力するゲインＧ′（ω，ｔ）の値を１を上限として、式（６）と式（７）に示すように制限する。

時間平滑化手段１７３は、最大値制限手段１７２の出力する制限されたゲインＧ″（ω，ｔ）を時間平滑化して、残響抑圧ゲインＧ（ω，ｔ）を出力する。時間平滑化は、例えば次式で実現される。

ここでγは平滑化係数であり、予め設定される。γは０〜１の範囲の値を取り、１に近いほど長い時定数での平滑化となる。

残響抑圧ゲイン計算部１７０が出力する残響抑圧ゲインＧ（ω，ｔ）は、推定した直接音の推定パワー（誤差信号）を、収音信号のパワーで除算した値を基に計算されるので、この残響抑圧ゲインＧ（ω，ｔ）を周波数領域収音信号Ｘ（ω，ｔ）に乗算することで、残響成分を抑圧した出力を得ることができる。

残響抑圧装置１００は、ＦＦＴと逆ＦＦＴを用いて収音信号を周波数領域の信号に変換して、適応アルゴリズムによって直接音のパワー成分の推定を実現しているので、周波数領域フィルタ部１６０のタップ長の１乗のオーダーの低演算量で残響音を抑圧することができる。

図６に、この発明の残響抑圧装置２００の適応アルゴリズム部２５０の機能構成例を示す。その動作フローを図７に示す。残響抑圧装置２００は、残響抑圧装置１００の適応アルゴリズム部１５０が、適応アルゴリズム部２５０に代わったのみの構成であるので、その全体の機能構成例は省略する。

適応アルゴリズム部２５０は、上記した適応アルゴリズム部１５０（図４）に対して、ステップサイズ設定手段２５５を備える点で異なる。ステップサイズ設定手段２５５は、更新ベクトル計算手段１５１の出力する更新ベクトルＵ（ω，ｍ，ｔ）の値に応じて、ステップサイズαを更新する。例えば、更新ベクトルＵ（ω，ｍ，ｔ）が正の値を取る場合（ステップＳ２５５１のＹｅｓ）に予め設定した小さい値のステップサイズα_１を設定（式（９））（ステップＳ２５５２）し、更新ベクトルＵ（ω，ｍ，ｔ）が負の値を取る場合（ステップＳ２５５１のＮｏ）に予め設定した大きい値のステップサイズα_２を設定（式（１０））する（ステップＳ２５５３）。

このようにステップサイズを設定することで、直接音の推定誤差を制御することができる。ステップサイズを制御しない場合は、推定誤差はプラスマイナスに均等に出るが、上記したように制御することで、直接音の推定誤差を正の方向に多く出るように制御することができる。すなわち、直接音のパワーを小さく推定してしまうことを防ぎ、音質の劣化を抑えることができる。

このように残響抑圧装置２００によれば、残響抑圧装置１００で得られる演算量を削減する効果に加えて、高品質な残響抑圧音を出力する効果も奏することができる。

図８に、この発明の残響抑圧装置３００の適応アルゴリズム部３５０の機能構成例を示す。その動作フローを図９に示す。残響抑圧装置３００は、残響抑圧装置１００，２００に対して、適応アルゴリズム部３５０が非負拘束手段３５６を具備する点で異なる。

非負拘束手段３５６は、加算手段１５３の出力する更新後のフィルタ係数Ｆ（ω，ｍ，ｔ＋１）が負の値となった場合に、その値を０に置き換える（ステップＳ３５６２）ことで、フィルタ係数Ｆ（ω，ｍ，ｔ＋１）が負の値にならないように制御する。

この発明では、正の値しか持たない信号のパワーに着目して残響成分の推定を行っているので、フィルタ係数は正の値を取るのが正しい解である。フィルタ係数Ｆ（ω，ｍ，ｔ＋１）が負の値を取るということは、推定誤差であるので、その値を０に置き換えることで、より正確なフィルタ係数に修正することができる。このように、残響抑圧装置３００によれば、残響抑圧装置１００，２００に対して正確にフィルタ係数を求めることができ、高品質な残響抑圧を行うことができる。

図１０に、この発明の残響抑圧装置４００の残響抑圧ゲイン計算部４７０の機能構成例を示す。その動作フローを図１１と図１２に示す。残響抑圧装置４００は、残響抑圧装置１００，２００，３００の残響抑圧ゲイン計算部１７０が、残響抑圧ゲイン計算部４７０に代わったのみの構成であるので、その全体の機能構成例は省略する。

残響抑圧ゲイン計算部４７０は、残響抑圧ゲイン計算部１７０（図５）に対して、更に、マスキングレベル計算手段４７４と最大値選択手段４７５と、を具備する点で異なる。マスキングレベル計算手段４７４は、減算部１４０が出力する直接音の推定パワーＥ（ω，ｔ）から、聴覚マスキングレベルＱ（ω，ｔ）を求める。聴覚マスキングとは、周波数ＫのパワーがＰ（Ｋ）であった場合に、Ｐ（Ｋ）の関数として計算できる聴覚マスキングレベルを下回る音の成分は、人間の聴覚では聞き取れないという現象である。

聴覚マスキングレベルＱ（ω，ｔ）は、例えば次のようにして求めることができる。ある周波数ωの聴覚マスキングレベルＱ（ω，ｔ）を求める際に、その周波数の直接音の推定パワーＥ（ω，ｔ）と、その１つ下の周波数の仮の聴覚マスキングレベルＱ′（ω−１，ｔ）にそれぞれ係数ａ，ｂを乗じた値を比較（ステップＳ４７４４）し、大きい値を仮の聴覚マスキングレベルＱ′（ω，ｔ）とする（ステップＳ４７４５，Ｓ４７４６）。これを周波数ωの最小値から順に、ω＝最大値になるまで繰り返し実施する（ステップＳ４７４７のＮｏのループ）。係数ａ，ｂは聴覚マスキングの特性に基づいて予め設定される１未満、０以上の定数である。なお、係数ａ，ｂは周波数ωに応じて異なる値に設定しても良い。

周波数ω＝最大値になると（ステップＳ４７４７のＹｅｓ、結合子Ａ）、次に周波数ωの最大値から順に、その周波数ωの仮の聴覚マスキングレベルＱ′（ω，ｔ）と、１つ上の周波数の仮の聴覚マスキングレベルＱ′（ω＋１，ｔ）に係数ｃを乗じた値を比較（ステップＳ４７５１）し、大きい値を聴覚マスキングレベルＱ（ω，ｔ）とする（ステップＳ４７５２，Ｓ４７５３）。係数ｃは、聴覚マスキングの特性に基づいて予め設定される１未満０以上の定数である。また、係数ｃは周波数ωに応じて異なる値に設定しても良い。

以上の方法により聴覚マスキングレベルＱ（ω，ｔ）を求めることができる。

最大値選択手段４７５は、減算部１４０が出力する誤差信号Ｅ（ω，ｔ）と、聴覚マスキングレベルＱ（ω，ｔ）を比較（ステップＳ４７６１）し、大きい方の値を、新たな直接音の推定パワー（誤差信号Ｅ（ω，ｔ））として除算手段１７１に出力する。

以上の方法により、残響抑圧装置４００は、聴覚マスキング特性を利用して、聴感上聞こえない残響成分を抑圧しないようにすることができる。したがって、残響抑圧装置４００は、残響音の不要な抑圧をしないようにすることができ、直接音の劣化を少なくする効果を奏する。

図１３に、この発明の残響抑圧装置５００の機能構成例を示す。残響抑圧装置５００は、残響抑圧装置１００に、適応区間検出部５１１の構成を追加したものである。

適応区間検出部５１１は、遅延部１３０の出力する遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２の大きさと、予め設定した閾値を比較し、遅延パワースペクトルの大きさが閾値を超えた場合にのみ、適応アルゴリズム部１５０によるフィルタ係数の更新が行われるように制御する。

この制御を付加することで、収音信号の信号レベルが小さく、周囲雑音の影響を受け易い区間での、フィルタ係数の更新を停止させることができるので、より高精度に残響を抑圧するためのフィルタ係数を求めることができる。

なお、残響抑圧装置５００を、残響抑圧装置１００に適応区間検出部５１１を追加した構成で説明を行ったが、上記した残響抑圧装置２００，３００，４００の何れにも適応区間検出部５１１の構成を追加することで、同様の効果を得ることができる。

図１４に、この発明の残響抑圧装置６００の機能構成例を示す。残響抑圧装置６００は、残響抑圧装置１００に、帯域集約部６１１と帯域展開部６１２の構成を追加したものである。

帯域集約部６１１は、パワー計算部１２０が出力するパワースペクトル｜Ｘ（ω，ｔ）｜^２の周波数ωを集約し、より少ない周波数分割数になる周波数ω′に変換する。周波数ωを複数のグループに分け、そのグループ単位で、パワー計算部１２０の出力するパワースペクトル｜Ｘ（ω，ｔ）｜^２の総和を取り、その値を新たな周波数ω′のパワースペクトル｜Ｘ′（ω′，ｔ）｜^２として出力する（式（１６））。

ここでΩ（ω′）は、ω′のグループに属する周波数ωの集合である。

帯域集約部６１１の出力する周波数ωを集約したパワースペクトル｜Ｘ′（ω′，ｔ）｜^２は、遅延部１３０、残響抑圧ゲイン計算部１７０、減算部１４０、にそれぞれ供給され、残響抑圧ゲインは周波数ω′の単位で処理される。

帯域展開部６１２は、残響抑圧ゲイン計算部１７０で求められた残響抑圧ゲインＧ′（ω′，ｔ）の周波数ω′を、ＦＦＴ部１１０の周波数分割数になる周波数ωに変換する。ＦＦＴ部１１０の周波数ωが属する集約後の周波数ω′の残響抑圧ゲインを、周波数ωの残響抑圧ゲインにコピーすることで周波数ωに展開する（式（１７））。

このように周波数ωを集約して残響抑圧ゲインを演算することにより、演算量を減らすことができる。なお、聴覚特性は周波数に対して対数的な感度を有しているので、高い周波数ほど周波数の集約数を大きくしても聴感上の劣化は少ないので、周波数帯域によって集約する周波数ω′の大きさを変えるようにして良い。

なお、残響抑圧装置６００を、残響抑圧装置１００に帯域集約部６１１と帯域展開部６１２を追加した構成で説明を行ったが、上記した残響抑圧装置２００，３００，４００，５００の何れにも帯域集約部６１１と帯域展開部６１２の構成を追加することで、同様の効果を得ることができる。

図１５に、この発明の残響抑圧装置７００の機能構成例を示す。残響抑圧装置７００は、残響抑圧装置１００に、係数乗算部７１１と第２周波数領域フィルタ部７１２と減算部７１３の構成を追加したものである。

係数乗算部７１１は、適応アルゴリズム部１５０が出力するフィルタ係数Ｆ（ω，ｍ，ｔ）の各々に、予め設定した係数Ｈ（ｍ）を乗算し、変換後のフィルタ係数Ｆ′（ω，ｍ，ｔ）を出力する（式（１８））。

係数Ｈ（ｍ）の内、ｍが小さい部分の係数を１よりも小さく設定することで、人の口腔内の反響特性を残響成分として誤推定してしまうことを減らすことができる。人の口腔内の反響特性は、部屋の残響と比べ、短時間の応答であるため、ｍが小さい部分のフィルタ係数に大きく影響する。ｍが小さい部分のフィルタ係数に１よりも小さい係数Ｈ（ｍ）を乗算することで、その影響を軽減することができる。

第２周波数領域フィルタ部７１２は、係数Ｈ（ｍ）を乗算した後のフィルタ係数を遅延部１３０の出力する遅延パワースペクトル｜Ｘ（ω，ｔ−Ｄ）｜^２に乗算する。減算部７１３は、パワー計算部１２０が出力するパワースペクトルから、第２周波数領域フィルタ部７１２の出力信号を減算する。減算部７１３の出力は、残響抑圧ゲイン計算部１７０に誤差信号の代わりに入力される。

残響抑圧装置７００によれば、人の口腔内の反響特性を残響成分として誤推定してしまうことを減らすことができる。なお、残響抑圧装置７００を、残響抑圧装置１００に係数乗算部７１１と第２周波数領域フィルタ部７１２と減算部７１３を追加した構成で説明を行ったが、上記した残響抑圧装置２００，３００，４００，５００，６００の何れにも同じ機能構成部を追加することで、同様の効果を得ることができる。

〔評価実験〕
本発明の効果を確認する目的で、残響抑圧性能を従来法と比較する評価実験を行った。評価実験は、鏡像法を用いた計算機シミュレーションにより疑似的に残響の付いた音声を生成し、その音声を残響抑圧処理した結果を、従来法とこの発明の方法を比較することで行った。評価はＰＥＳＱ（Perceptual Speech Quality Measure）により実施した。
残響音声の生成の条件は次の通りである。６ｍ×１０ｍ×３ｍの部屋で無指向性の音源と無指向性のマイクロホンが１ｍの距離で配置されているとし、壁面の反射係数を変化させてマイクロホン受音信号を生成した。音源信号には８ｋＨｚサンプリングの音声（女声１０ｓ，男声１０ｓ）を用いた。

図１６に、原音と比べた時のＰＥＳＱを示す。横軸は残響時間（ｍｓ）、縦軸はＰＥＳＱ値である。残響時間が増えるに従い、処理前の信号はＰＥＳＱ値が低下する。従来法、この発明の方法ともに、残響時間の長いデータにおいて、低下したＰＥＳＱ値を０.１程度改善している。改善量は、従来法とこの発明の方法で同程度である。

一方、演算時間を比較すると、従来法では２０ｓの音声を処理するのに約６ｓの時間を要した。演算時間は、Ｃｏｒｅ−ｉ７，３.４ＧＨｚの条件で処理した時間である。この発明の方法では、同じ２０ｓの音声を処理するのに約１００ｍｓの時間で演算を終了した。このように同程度のＰＥＳＱを、大幅に短い演算時間である従来法の約１/６０の演算量で得られることが確認できた。

このように、室内インパルス応答をパワースペクトルの領域で近似し、適応フィルタによる逐次学習を用いることで、少ない演算量で従来法と変わらない残響抑圧性能を実現することが可能となった。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (16)

1. 収音信号を周波数領域の周波数領域収音信号に変換するＦＦＴ部と、
   上記周波数領域収音信号を入力として、当該周波数領域収音信号の周波数ごとのパワースペクトルを計算して出力するパワー計算部と、
   上記パワースペクトルを所定の遅延量だけ遅延させた遅延パワースペクトルを出力する遅延部と、
   上記パワースペクトルから、上記遅延パワースペクトルにフィルタ係数を乗じたフィルタ後信号を減算して直接音の推定パワーを求める減算部と、
   上記遅延パワースペクトルと上記直接音の推定パワーを入力として、当該直接音の推定パワーを最小化するようにフィルタ係数を更新する適応アルゴリズム部と、
   上記遅延パワースペクトルに上記フィルタ係数を乗じてフィルタリングしたフィルタ後信号を出力する周波数領域フィルタ部と、
   上記パワースペクトルと上記直接音の推定パワーを入力として、残響音を抑圧するための残響抑圧ゲインを計算する残響抑圧ゲイン計算部と、
   上記周波数領域収音信号に上記残響抑圧ゲインを乗じて残響抑圧信号を出力する乗算部と、
   上記残響抑圧信号を時間領域の残響抑圧信号に変換する逆ＦＦＴ部と、
   を具備する残響抑圧装置。
2. 請求項１に記載した残響抑圧装置において、
   上記適応アルゴリズム部は、
   遅延パワースペクトルと直接音の推定パワーを入力として、適応アルゴリズムを用いて更新ベクトルを計算する更新ベクトル計算手段と、
   上記更新ベクトルの値に応じてステップサイズを変更するステップサイズ設定手段と、
   上記更新ベクトルに、上記ステップサイズを乗算したフィルタ係数を出力する乗算手段と、
   上記乗算手段の出力するフィルタ係数に、１フレーム前のフィルタ係数を加算する加算
   手段と、
   上記加算手段の出力を、次のフレームのフィルタ係数として保持するフィルタ係数保持手段と、
   を備えることを特徴とする残響抑圧装置。
3. 請求項１に記載した残響抑圧装置において、
   上記適応アルゴリズム部は、
   遅延パワースペクトルと直接音の推定パワーを入力として、適応アルゴリズムを用いて更新ベクトルを計算する更新ベクトル計算手段と、
   上記更新ベクトルに、上記ステップサイズを乗算したフィルタ係数を出力する乗算手段と、
   上記乗算手段の出力するフィルタ係数に、１フレーム前のフィルタ係数を加算する加算
   手段と、
   上記加算手段の出力を、次のフレームのフィルタ係数として保持するフィルタ係数保持手段と、
   を備えることを特徴とする残響抑圧装置。
4. 請求項１乃至３の何れかに記載した残響抑圧装置において、
   上記残響抑圧ゲイン計算部は、
   上記直接音の推定パワーから聴覚マスキングレベルＱ（ω，ｔ）を計算するマスキングレベル計算手段と、
   上記直接音の推定パワーと上記聴覚マスキングレベルＱ（ω，ｔ）を比較し、大きい方の値を、新たな直接音のパワースペクトルとして上記残響抑圧ゲインの計算に選択する最大値選択手段と、
   を含むことを特徴とする残響抑圧装置。
5. 請求項１乃至４の何れかに記載した残響抑圧装置において、
   更に、
   上記遅延パワースペクトルの大きさと、予め設定した閾値を比較し、当該遅延パワースペクトルの大きさが上記閾値を超えた場合のみ、上記適応アリゴリズム部によるフィルタ係数の更新が行われるように制御する適応区間検出部を、備えることを特徴とする残響抑圧装置。
6. 請求項１乃至５の何れかに記載した残響抑圧装置において、
   更に、
   上記パワースペクトルの周波数分割ωを集約し、次式に示すようにより少ない周波数分割ω′に変換する帯域集約部と、
   

   

   
   ここでΩ（ω′）はω′のグループに属する周波数ωの集合、
   上記残響抑圧ゲインの周波数分割ω′を、次式に示すように上記ＦＦＴ部の周波数分割ωに変換する帯域展開部と、
   

   

   
   を具備することを特徴とする残響抑圧装置。
7. 請求項１乃至６の何れかに記載した残響抑圧装置において、
   更に、
   上記フィルタ係数Ｆ（ω，ｍ，ｔ）の各々に、予め設定した係数Ｈ（ｍ）を乗算し、変換後のフィルタ係数Ｆ′（ω，ｍ，ｔ）を出力する係数乗算部と、
   上記変換後のフィルタ係数Ｆ′（ω，ｍ，ｔ）を、上記遅延パワースペクトルに乗算する第２周波数領域フィルタ部と、
   上記パワースペクトルから上記第２周波数領域フィルタ部の出力信号を減算した信号を上記直接音の推定パワーの代わりに上記残響抑圧ゲイン計算部に出力する第２減算部と、
   を具備することを特徴とする残響抑圧装置。
8. 収音信号を周波数領域の周波数領域収音信号に変換するＦＦＴ過程と、
   上記周波数領域収音信号を入力として、当該周波数領域収音信号の周波数ごとのパワースペクトルを計算して出力するパワー計算過程と、
   上記パワースペクトルを所定の遅延量だけ遅延させた遅延パワースペクトルを出力する遅延過程と、
   上記パワースペクトルから、上記遅延パワースペクトルにフィルタ係数を乗じたフィルタ後信号を減算して直接音の推定パワーを求める減算過程と、
   上記遅延パワースペクトルと上記直接音の推定パワーを入力として、当該直接音の推定パワーを最小化するようにフィルタ係数を更新する適応アルゴリズム過程と、
   上記遅延パワースペクトルに上記フィルタ係数を乗じてフィルタリングしたフィルタ後信号を出力する周波数領域フィルタ過程と、
   上記パワースペクトルと上記直接音の推定パワーを入力として、残響音を抑圧するための残響抑圧ゲインを計算する残響抑圧ゲイン計算過程と、
   上記周波数領域収音信号に上記残響抑圧ゲインを乗じて残響抑圧信号を出力する乗算過程と、
   上記残響抑圧信号を時間領域の残響抑圧信号に変換する逆ＦＦＴ過程と、
   を備える残響抑圧方法。
9. 請求項８に記載した残響抑圧方法において、
   上記適応アルゴリズム過程は、
   遅延パワースペクトルと直接音の推定パワーを入力として、適応アルゴリズムを用いて更新ベクトルを計算する更新ベクトル計算ステップと、
   上記更新ベクトルの値に応じてステップサイズを変更するステップサイズ設定ステップ
   と、
   上記更新ベクトルに、上記ステップサイズを乗算したフィルタ係数を出力する乗算ステップと、
   上記乗算ステップで出力するフィルタ係数に、１フレーム前のフィルタ係数を加算する
   加算ステップと、
   上記加算ステップの出力を、次のフレームのフィルタ係数として保持するフィルタ係数保持ステップと、
   を含むことを特徴とする残響抑圧方法。
10. 請求項８に記載した残響抑圧方法において、
    上記適応アルゴリズム過程は、
    遅延パワースペクトルと直接音の推定パワーを入力として、適応アルゴリズムを用いて更新ベクトルを計算する更新ベクトル計算ステップと、
    上記更新ベクトルの値に応じてステップサイズを変更するステップサイズ設定ステップと、
    上記更新ベクトルに、上記ステップサイズを乗算したフィルタ係数を出力する乗算ステップと、
    上記乗算手段の出力するフィルタ係数に、１フレーム前のフィルタ係数を加算する加算
    ステップと、
    上記加算ステップの出力を、次のフレームのフィルタ係数として保持するフィルタ係数保持ステップと、
    を含むことを特徴とする残響抑圧方法。
11. 請求項８乃至１０の何れかに記載した残響抑圧方法において、
    上記残響抑圧ゲイン計算過程は、
    上記直接音の推定パワーから聴覚マスキングレベルＱ（ω，ｔ）を計算するマスキングレベル計算ステップと、
    上記直接音の推定パワーと上記聴覚マスキングレベルＱ（ω，ｔ）を比較し、大きい方の値を、新たな直接音のパワースペクトルとして上記残響抑圧ゲインの計算に選択する最大値選択ステップと、
    を含むことを特徴とする残響抑圧方法。
12. 請求項８乃至１１の何れかに記載した残響抑圧方法において、
    更に、
    上記遅延パワースペクトルの大きさと、予め設定した閾値を比較し、当該遅延パワースペクトルの大きさが上記閾値を超えた場合のみ、上記適応アリゴリズム部によるフィルタ係数の更新が行われるように制御する適応区間検出過程を、備えることを特徴とする残響抑圧方法。
13. 請求項８乃至１２の何れかに記載した残響抑圧方法において、
    更に、
    上記パワースペクトルの周波数分割ωを集約し、次式に示すようにより少ない周波数分割ω′に変換する帯域集約過程と、
    

    

    
    ここでΩ（ω′）はω′のグループに属する周波数ωの集合、
    上記残響抑圧ゲインの周波数分割ω′を、次式に示すように上記ＦＦＴ部の周波数分割ωに変換する帯域展開過程と、
    

    

    
    を備えることを特徴とする残響抑圧方法。
14. 請求項８乃至１３の何れかに記載した残響抑圧方法において、
    更に、
    上記フィルタ係数Ｆ（ω，ｍ，ｔ）の各々に、予め設定した係数Ｈ（ｍ）を乗算し、変換後のフィルタ係数Ｆ′（ω，ｍ，ｔ）を出力する係数乗算過程と、
    上記変換後のフィルタ係数Ｆ′（ω，ｍ，ｔ）を、上記遅延パワースペクトルに乗算する第２周波数領域フィルタ過程と、
    上記パワースペクトルから上記第２周波数領域フィルタ部の出力信号を減算した信号を上記直接音の推定パワーの代わりに上記残響抑圧ゲイン計算部に出力する第２減算過程と、
    を備えることを特徴とする残響抑圧方法。
15. 請求項１乃至７の何れかに記載した残響抑圧装置としてコンピュータを機能させるためのプログラム。
16. 請求項１５に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images