JP2013068809A - 残響抑制装置および残響抑制方法並びに残響抑制プログラム - Google Patents

Abstract

【課題】雑音成分の大きさにかかわらず、音声を歪ませることなく残響成分のみを正確に抑制する。
【解決手段】音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求める解析部と、前記解析部による解析結果に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する抑制制御部とを備える。また、音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求め、前記残響区間における前記入力信号の電力の単位時間当たりの減少量に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する処理をコンピュータに実行させる。
【選択図】 図１

Description

本件開示は、携帯端末などに設けられたマイクロホンに入力される音声について残響を抑制する残響抑制装置および残響抑制方法並びに残響抑制プログラムに関する。

室内において携帯端末が利用される際に、利用者が発した音声は、携帯端末のマイクロホンに直接的に到達する他に、周囲の壁や天井などで反射した後にもマイクロホンに到達する。以下の説明では、マイクロホンに直接的に到達する音声を直接音と称し、周囲の壁や天井などで反射した後にマイクロホンに到達する音声を残響音と称する。また、音声の到達に応じてマイクロホンによって得られる信号を入力信号と称する。

例えば、浴室のような比較的狭い室内では、居間などの他の場所に比べて、周囲から反射された残響音が大きい。このため、浴室などで携帯端末の通話機能を利用する場合には、直接音に重畳された残響音のために、マイクロホンで得られる入力信号から明瞭な音声を再生することが困難になる場合がある。

マイクロホンで得られる入力信号に含まれる残響音成分を抑制する技術として、過去フレームのパワースペクトルから推定した残響パワースペクトルを、現フレームのパワースペクトルから減算する技術が提案されている(特許文献１参照)。この技法は、入力信号の時間変化に基づいて推定した発話末尾の残響区間での残差音声パワーおよび発話区間での減算パワーの重みつき総和を最小化するようにフィルタ係数を決定することにより、残響抑制を図っている。

特開２００８−５８９００号公報

ところで、上述した特許文献１の技法は、残響の大きさにかかわらず、発話末尾の残響区間を推定している。このため、上述した技法を背景騒音が大きい環境での残響抑制に用いると、発話末尾の残響区間に、入力信号パワーに含まれる雑音成分が残響成分よりも大きい区間が含まれてしまう可能性がある。このような区間を残響成分が雑音成分よりも大きい区間と区別せずにフィルタ係数の学習を行うと、雑音成分を打ち消すようにフィルタ係数が更新されてしまう。このため、学習結果として得られたフィルタの特性と、本来除去すべき残響成分の特性を反映したフィルタ特性との誤差が大きくなる可能性がある。このようなフィルタは、以降の発話区間において、入力信号を過剰に抑制してしまうために、音声を歪ませてしまうおそれがある。

本件開示の残響抑制装置および残響抑制方法並びに残響抑制プログラムは、雑音成分の大きさにかかわらず、音声を歪ませることなく残響成分のみを正確に抑制することを目的とする。

一つの観点による残響抑制装置は、音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求める解析部と、前記解析部による解析結果に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する抑制制御部とを備える。

また、別の観点による残響抑制方法は、音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求め、前記残響区間における前記入力信号の電力の単位時間当たりの減少量に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する。

更に別の観点による残響抑制プログラムは、音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求め、前記残響区間における前記入力信号の電力の単位時間当たりの減少量に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する処理をコンピュータに実行させる。

本件開示の残響抑制装置および残響抑制方法並びに残響抑制プログラムによれば、雑音成分の大きさにかかわらず、音声を歪ませることなく残響成分のみを正確に抑制することができる。

残響抑制装置の一実施形態を示す図である。 入力信号の電力の時間変化の一例を示す図である。 残響抑制処理のフローチャートである。 入力信号の時間変化を解析する処理の一例を説明する図である。 残響区間における入力信号の単位時間当たりの減少量の環境による違いを説明する図である。 残響特性を説明する図である。 基準抑制ゲインを算出する処理の一例を説明する図である。 携帯端末のハードウェア構成の一例を示す図である。 入力信号の時間変化を解析する処理の一例のフローチャートである。 抑制ゲインを決定する処理の一例フローチャートである。 残響抑制装置の別実施形態を示す図である。 指標算出部の処理の別例を説明する図である。 入力信号の時間変化を解析する処理の別例のフローチャートである。 抑制ゲインを決定する処理の別例フローチャートである。

以下、図面に基づいて、本件開示の残響抑制装置および残響抑制方法並びに残響抑制プログラムの実施形態について詳細に説明する。

図１は、残響抑制装置１００の一実施形態を示す図である。図１に例示した残響抑制装置１００は、例えば、携帯電話などの通話機能を持つ携帯端末に搭載されたマイクロホン１０１によって得られた入力信号ｘ(ｔ)に含まれる残響成分を抑制することにより、出力信号ｙ(ｔ)を生成する。この出力信号ｙ(ｔ)は、出力端子Ｐｏｕｔを介して出力される。

なお、本件開示の残響抑制装置１００は、通話機能を持つ携帯型の情報端末や電話機の子機および携帯ゲーム機を含む様々な電子機器に搭載されたマイクロホン１０１で得られる入力信号の残響抑制に適用することができる。

図１に例示した残響抑制装置１００は、変換部１０２と、解析部１１０と、抑制制御部１２０と、抑制適用部１０３と、逆変換部１０４とを含んでいる。変換部１０２は、例えば、入力信号ｘ(ｔ)をフレームごとに高速フーリエ変換処理することにより、各フレームの入力信号ｘ(ｎ，ｔ)に対応する入力信号スペクトルＸ(ｎ，ｆ)を得る。さらに、変換部１０２は、入力信号スペクトルＸ(ｎ，ｆ)を用いて、式(１)のように常用対数を用いて表される入力パワースペクトルＳ(ｎ，ｆ)を算出してもよい。そして、この入力パワースペクトルＳ(ｎ，ｆ)を解析部１１０に入力してもよい。ここで、フレームは、フーリエ変換処理の分析の単位である。また、符号ｎはフレーム番号を示し、符号ｆは周波数番号を示す。

解析部１１０は、各フレームの入力信号スペクトルＸ(ｎ，ｆ)あるいは入力パワースペクトルＳ(ｎ，ｆ)に基づいて、後述するようにして、音声が発声されている区間の末尾に続く残響区間における入力信号ｘ(ｔ)の時間変化の特徴を解析する。抑制制御部１２０は、解析部１１０による解析結果に基づいて、入力信号スペクトルＸ(ｎ，ｆ)に含まれる残響成分を抑制するために、ゲイン適用部１０３が入力信号スペクトルＸ(ｎ，ｆ)に適用する減衰率を示す抑制ゲインＧ(ｎ，ｆ)を制御する。そして、抑制適用部１０３は、この抑制ゲインＧ(ｎ，ｆ)を入力信号スペクトルＸ(ｎ，ｆ)に適用することにより、残響成分が過不足なく抑制された出力信号スペクトルＹ(ｎ，ｆ)を生成する。逆変換部１０４は、抑制適用部１０３によって生成された出力信号スペクトルＹ(ｎ，ｆ)に対して、例えば、高速フーリエ逆変換処理を適用することにより、出力信号ｙ(ｔ)を生成する。

次に、解析部１１０により、残響区間における入力信号ｘ(ｔ)の時間変化の特徴を解析する手法について説明する。

図２(Ａ)，(Ｂ)は、入力信号ｘ(ｔ)の時間変化の一例を示す図である。図２(Ａ)，(Ｂ)にそれぞれ示した入力信号ｘ(ｔ)は、いずれも同一の室内で、背景雑音の大きさを変えて取得されたものである。なお、図２は、図２(Ｂ)に示した入力信号ｘ(ｔ)を取得した際の平均的な背景雑音レベルの方が、図２(Ａ)に示した入力信号ｘ(ｔ)を取得した際の平均的な背景雑音レベルよりも大きい例である。

図２(Ａ)において符号Ｔａ１，Ｔａ３で示した区間および図２(Ｂ)において符号Ｔｂ１，Ｔｂ３で示した区間は、音声が発生している区間である。一方、図２(Ａ)において符号Ｔａ２，Ｔａ４で示した区間および図２(Ｂ)において符号Ｔｂ２，Ｔｂ４で示した区間は、音声が発生している区間に続く残響区間である。

図２(Ａ)に示した入力信号ｘ(ｔ)に現れた残響区間Ｔａ２，Ｔａ４に比べると、図２(Ｂ)に示した入力信号ｘ(ｔ)に現れた残響区間Ｔｂ２，Ｔｂ４は、残響成分が早い段階で背景雑音に埋もれてしまうために短くなっている。

しかし、図２(Ａ)に示した残響区間Ｔａ２，Ｔａ４における入力信号ｘ(ｔ)の単位時間当たりの減少量と、図２(Ｂ)に示した残響区間Ｔｂ２，Ｔｂ４における入力信号ｘ(ｔ)の単位時間当たりの減少量はほぼ同等である。

なぜなら、残響成分は、それに先立って入力された音声に相関を持ち、室内の残響特性に応じて減衰していくので、残響区間での入力信号ｘ(ｔ)の単位時間当たりの減少量は、残響成分が残響特性に応じて減衰していく比率を示すからである。つまり、背景雑音に埋もれない範囲では、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量に基づいて、残響成分が残響特性に応じて減衰していく比率を知ることができる。

したがって、図１に例示した解析部１１０により、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量を求めることにより、背景雑音の大きさにかかわらず、マイクロホン１０１が配置された環境における残響成分の減衰しやすさを知ることができる。

例えば、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が小さい場合には、マイクロホン１０１が配置された環境において残響成分の減衰が遅いことを示している。逆に、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が大きい場合には、マイクロホン１０１が配置された環境において残響成分が速やかに減衰することを示している。このように、解析部１１０による解析結果として得られる残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量は、マイクロホン１０１が配置された環境において、残響成分が減衰していく比率を示している。

したがって、この解析結果に基づいて、図１に例示した抑制制御部１２０が抑制ゲインＧ(ｎ，ｆ)を制御することにより、マイクロホン１０１が配置された環境に適合する抑制ゲインＧ(ｎ，ｆ)を適用した残響抑制を実現することができる。

抑制制御部１２０は、例えば、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量が大きい旨の解析結果が解析部１１０で得られた場合に、入力信号スペクトルＸ(ｎ，ｆ)に適用する抑制ゲインＧ(ｎ，ｆ)を小さくする制御を行ってもよい。抑制制御部１２０が、このような制御を行うことにより、残響成分が速やかに減衰する環境に配置されたマイクロホン１０１によって得られる入力信号ｘ(ｔ)への過剰な抑制を防ぐことができる。

図３は、図１に例示した残響抑制装置１００による残響抑制処理のフローチャートの一例である。図３に例示したステップＳ３０１〜ステップＳ３０４は、残響抑制装置１００が、入力信号ｘ(ｔ)をサンプリングして得られる第ｎフレームの入力信号ｘ(ｎ，ｔ)の入力に応じて実行する処理である。

ステップＳ３０１で、図１に例示した解析部１１０は、変換部１０２を介して、第ｎフレームの入力信号ｘ(ｎ，ｔ)に対応する入力信号スペクトルＸ(ｎ，ｆ)あるいは入力パワースペクトルＳ(ｎ，ｆ)を受け取る。なお、以下では、解析部１１０が、入力パワースペクトルＳ(ｎ，ｆ)を用いて、入力信号ｘ(ｔ)の時間変化を解析する場合を説明する。

次いで、解析部１１０は、それまでに受け取った各フレームの入力パワースペクトルＳ(ｊ，ｆ)(ｊ＝１〜ｎ)に基づいて、入力信号ｘ(ｔ)の時間変化を解析する処理を行う(ステップＳ３０２)。ステップＳ３０２において、解析部１１０は、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標を求めてもよい。そして、解析部１１０は、求めた指標を、解析結果として出力してもよい。なお、解析部１１０は、第ｎフレームまでの入力信号(ｊ，ｔ)(ｊ＝１〜ｎ)そのものの時間変化に基づいて、残響区間における入力信号ｘ(ｔ)の時間変化の特徴を抽出してもよい。

ステップＳ３０２の処理で得られた解析結果に基づいて、図１に例示した抑制制御部１２０は、現フレームの入力信号スペクトルＸ(ｎ，ｆ)に適用する抑制ゲインＧ(ｎ，ｆ)を決定する(ステップＳ３０３)。抑制制御部１２０は、例えば、解析部１１０による解析結果で示された残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量に応じて、基準となる抑制ゲインを補正することによって抑制ゲインＧ(ｎ、ｆ)を求めてもよい。

次いで、図１に例示した抑制適用部１０３と逆変換部１０４は、上述したようにして求められた抑制ゲインＧ(ｎ，ｆ)を用いて、第ｎフレームの入力信号ｘ(ｎ，ｔ)に含まれる残響成分が抑制された出力信号ｙ(ｎ，ｔ)を生成する(ステップＳ３０４)。抑制適用部１０３は、例えば、第ｎフレームの入力信号スペクトルＸ(ｎ，ｆ)に抑制ゲインＧ(ｎ，ｆ)を適用することにより、残響成分が抑制された出力信号スペクトルＹ(ｎ，ｆ)を生成してもよい。そして、この出力信号スペクトルＹ(ｎ，ｆ)を、逆変換部１０４が高速フーリエ逆変換することにより、時間領域の出力信号ｙ(ｎ，ｔ)を生成してもよい。

上述したように、解析部１１０による解析結果は、背景雑音の大きさにかかわらず、室内環境における残響成分の減衰しやすさを示している。この解析結果に基づいて、抑制制御部１２０がフレームごとに決定する抑制ゲインＧ(ｎ，ｆ)は、背景雑音の大きさにかかわらず、入力信号ｘ(ｔ)に含まれる残響成分を抑制する上で適正な値となっている。

したがって、各フレームの入力信号ｘ(ｎ，ｔ)について、上述したステップＳ３０１〜ステップＳ３０４の処理を実行することにより、背景雑音の大きさにかかわらず、残響成分のみが正確に抑制された出力信号ｙ(ｔ)を得ることができる。このようにして得られた出力信号ｙ(ｔ)には、入力信号ｘ(ｔ)に含まれる音声を表す成分が忠実に再現されているので、この出力信号ｙ(ｔ)に基づいて、元の音声を少ない歪みで再現することが可能である。

次に、図１に例示した解析部１１０について、更に説明する。図１に例示した解析部１１０は、変化量算出部１１１と、指標算出部１１２とを含んでいる。また、図１に例示した指標算出部１１２は、選択部１１３と、平均化部１１４とを含んでいる。

変化量算出部１１１は、変換部１０２から受け取った第ｎフレームの入力パワースペクトルＳ(ｎ，ｆ)と第ｎ−１フレームの入力パワースペクトルＳ(ｎ−１，ｆ)との差に基づいて、変化量Ｄ(ｎ)を算出する。

変化量算出部１１１は、変化量Ｄ(ｎ)を、例えば、式(２)のように、各周波数番号についての入力パワースペクトルＳ(ｎ，ｆ)と第ｎ−１フレームの入力パワースペクトルＳ(ｎ−１，ｆ)との差の総和として算出してもよい。

図４は、入力信号ｘ(t)の時間変化を解析する処理の一例を説明する図である。図４において、変換部１０２によるフーリエ解析処理の単位となる各フレームを、符号Ｆとフレーム番号との組み合わせで示した。つまり、図４において、符号Ｆ(ｎ−４)からＦ(ｎ＋７)で示した各区間は、それぞれ第ｎ−４フレーム〜第ｎ＋７フレームを示す。

図４に示した入力信号ｘ(ｔ)の例では、第ｎ−２フレームから第ｎ＋１フレームまでの区間が、第ｎ−３フレームまでの区間で発生されていた音声に対応する残響区間である。この残響区間に含まれる各フレームの入力信号ｘ(ｊ，ｔ)(ｊ＝ｎ−２〜ｎ＋１)に対応して、変化量算出部１１１が、上述した式(１)を用いて算出した入力パワースペクトルＳ(ｊ，ｆ)は、入力信号ｘ(ｊ，ｔ)の減衰に相関を持って単調に減少する。

したがって、この区間に含まれる各フレームについて上述した式(２)を用いて算出される変化量Ｄ(ｊ)(ｊ＝ｎ−２〜ｎ＋１)は、入力信号ｘ(ｔ)が時間の経過に伴って減衰する比率を反映した値となる。つまり、変化量算出部１１１は、図４に示した第ｎ−２フレームから第ｎ＋１フレームまでの区間の入力信号ｘ(ｔ)の変化を近似した直線Ｌの傾きを反映した値を、変化量Ｄ(ｊ)(ｊ＝ｎ−２〜ｎ＋１)として求めることができる。そして、各フレームについて得られた変化量Ｄ(ｊ)(ｊ＝ｎ−２〜ｎ＋１)の平均値を求めることにより、この区間において、入力信号ｘ(ｔ)が減衰していく比率を示す指標を算出することができる。

なお、変化量算出部１１１は、変化量Ｄ(ｎ)を求める際に、入力信号ｘ(ｔ)に含まれる背景雑音成分の影響を抑制するような重み付けを適用してもよい。このような背景雑音成分の抑制を行うことにより、変化量算出部１１１は、入力信号ｘ(ｔ)の第ｎフレームにおける時間変化の傾向をより忠実に反映した変化量Ｄ(ｎ)を求めることができる。

このようにして求められた変化量Ｄ(ｎ)は、図１に例示した選択部１１３を介して平均化部１１４に渡される。そして、平均化部１１４は、選択部１１３を介して受け取った変化量Ｄ(ｎ)について後述する平均化処理を行うことにより、平均変化量Ｄａｖ(ｎ)を算出する。

ここで、残響区間は、室内において発生した音声の消失に対応して入力信号ｘ(ｔ)が減衰していく区間である。したがって、変化量算出部１１１で得られた変化量Ｄ(ｎ)のうち、負の値を持つ変化量Ｄ(ｎ)は、残響区間において、入力信号ｘ(ｔ)が減衰していく比率を反映している。

つまり、選択部１１３が、負の値を持つ変化量Ｄ(ｎ)を選択的に平均化部１１４に渡すことにより、平均化部１１４に、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量を示す平均変化量Ｄａｖ(ｎ)を算出させることができる。

選択部１１３は、例えば、いずれも負の値を持つ所定の定数ｄ１、ｄ２で示される範囲に含まれる変化量Ｄ(ｎ)を選択的に平均化部１１４に渡せばよい。また、平均化部１１４は、第ｎフレームの変化量Ｄ(ｎ)と第ｎ−１フレームまでの平均変化量Ｄａｖ(ｎ−１)とに所定の係数αを用いて表される重みをつけて加算することによって、第ｎフレームの平均変化量Ｄａｖ(ｎ)を求めてもよい。このような平均化部１１４によって算出される平均変化量Ｄａｖ(ｎ)は、式(３)のように表すことができる。

なお、定数ｄ２の値は、例えば、想定される最も残響成分が減衰しにくい環境において入力信号ｘ(ｔ)が減衰していく比率に基づいて決定してもよい。また、平均変化量Ｄａｖ(ｎ)の算出に利用する変化量Ｄ(ｎ)の最小値を定数ｄ１によって制限することにより、例えば、突発的なノイズによる影響を除去することができる。また、係数αの値は、変化量Ｄ(ｎ)の値および第ｎ−１フレームまでの平均変化量Ｄａｖ(ｎ−１)が、それぞれ適正な割合で平均変化量Ｄａｖ(ｎ)の値に反映されるように設定することができる。

このようにして算出された平均変化量Ｄａｖ(ｎ)には、入力信号ｘ(ｔ)が取得された環境において残響成分が減衰していく比率が反映されている。したがって、この平均変化量Ｄａｖ(ｎ)に基づいて、マイクロホン１０１が配置されている環境において、入力信号ｘ(ｔ)に対する残響抑制処理の必要性の有無を判断することが可能である。

図５は、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量の環境による違いを説明する図である。図５において、実線で示したグラフは、浴室のように残響が比較的大きい室内における入力信号ｘ１(ｔ)の時間変化の例である。また、図５において、破線で示したグラフは、居間のように残響が小さい室内における入力信号ｘ２(ｔ)の時間変化の例である。

図５に示した入力信号ｘ１(ｔ)と入力信号ｘ２(ｔ)の比較すると、残響が大きい室内で取得された入力信号ｘ１(ｔ)の残響区間における単位時間当たりの減少量と、入力信号ｘ１(ｔ)の残響区間における単位時間当たりの減少量とに明らかな違いがある。そして、入力信号ｘ２(ｔ)に対する残響抑制処理が不要であるのに対して、入力信号ｘ１(ｔ)に対する残響抑制処理が不可欠であることを考えれば、両者の残響区間における単位時間当たりの減少量の中間に設けた閾値により残響抑制処理の要否を判断できる。

このような閾値を示す第１閾値Ｔｈ１を予め決定しておけば、図１に例示した抑制制御部１２０による抑制ゲインを制御する処理に利用することができる。

上述した第１閾値Ｔｈ１は、図５に例示した入力信号ｘ２(ｔ)のように、残響抑制処理が不要であるような入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量に基づいて決定してもよい。また、第１閾値Ｔｈ１は、それぞれの残響区間において入力信号ｘ１(ｔ)が減衰する比率と入力信号ｘ２(ｔ)が減衰する比率との中間の比率で減衰する直線の傾きとして設定されてもよい。例えば、第１閾値Ｔｈ１は、居間のような残響の影響が少ない環境で取得される入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量よりもわずかに少ない単位時間当たりの減少量を示すように設定してもよい。なお、図５において符号Ｔｈ１で示した直線は、第１閾値Ｔｈ１を傾きとして持つ直線である。

次に、図１に例示した抑制制御部１２０について、更に説明する。図１に例示した抑制制御部１２０は、残響特性保持部１２１と、推定部１２２と、ゲイン算出部１２３と、ゲイン補正部１２４と閾値保持部１２５とを含んでいる。

図１に例示した閾値保持部１２５は、上述したようにして予め決定された第１閾値Ｔｈ１を保持している。また、残響特性保持部１２１は、残響抑制装置１００による残響抑制の対象となる室内における測定などによって予め特定された残響特性γ(ｆ)を保持している。この残響特性γ(ｆ)は、例えば、残響音成分スペクトルＸｒ(ｆ)と入力信号スペクトルＸ(ｆ)との関係を示す関数である。以下に、残響特性γ(ｆ)を特定する方法の概略について説明する。

図６は、残響特性γ(ｆ)を説明する図である。図６において、符号Ｓｏで示した音源で発生した音声は、直接にマイクロホン１０１に至る経路Ｐｄの他に、符号Ｐｒ１，Ｐｒ２で示した経路のように、部屋Ｃの壁や天井で反射される経路を辿ってマイクロホンに至る。なお、経路Ｐｒ１，Ｐｒ２は、反射後にマイクロホン１０１に至る経路の一例である。

したがって、音源で発生した音声に応じて、マイクロホン１０１で観測される入力信号ｘ(ｔ)に対応する入力信号スペクトルＸ(ｆ)は、式(４)のように、直接音成分スペクトルＸｄ(ｆ)と残響音成分スペクトルＸｒ(ｆ)との和で表される。
Ｘ(ｆ)＝Ｘｄ(ｆ)＋Ｘｒ(ｆ) ・・・(４)
直接音成分スペクトルＸｄ(ｆ)は、音源Ｓｏによって発生した音声に対応する音声スペクトルφ(ｆ)と、音源Ｓｏからマイクロホン１０１に直接至る経路Ｐｄの伝達特性Ｈｄ(ｆ)とを用いて、式(５)のように表すことができる。同様に、残響音成分スペクトルＸｒ(ｆ)は、音声スペクトルφ(ｆ)と、部屋Ｃの壁や天井による反射を経てマイクロホン１０１に至る経路の伝達特性Ｈｒ(ｆ)とを用いて、式(６)のように表すことができる。
Ｘｄ(ｆ)＝Ｈｄ(ｆ)・φ(ｆ) ・・・(５)
Ｘｒ(ｆ)＝Ｈｒ(ｆ)・φ(ｆ) ・・・(６)
これらの式(４)〜(６)を変形することにより、残響音成分スペクトルＸｒ(ｆ)と入力信号スペクトルＸ(ｆ)との関係を示す式(７)が得られる。

つまり、残響特性γ(ｆ)は、音源Ｓｏからマイクロホン１０１に至る全ての経路による伝達にかかわる全体の伝達特性Ｈ(ｆ)と残響音の伝達にかかわる伝達特性Ｈｒ(ｆ)との比として得ることができる。そして、得られた残響特性γ(ｆ)を残響特性保持部１２１に保持させることができる。なお、伝達特性Ｈ(ｆ)および伝達特性Ｈｒ(ｆ)は、例えば、浴室など、残響抑制処理の適用が望ましい所望の室内において、インパルス応答の観測を行うなど、公知の手法によって求めることができる。残響特性γ(ｆ)を求める具体的な手法については、例えば、本出願人によって先に出願された特願２０１１−１６５２７４「残響抑制装置および残響抑制方法並びに残響抑制プログラム」を参照されたい。

推定部１２２は、残響特性保持部１２１に保持された残響特性γ(ｆ)を用いて、現フレームである第ｎフレームの入力信号スペクトルＸ(ｎ，ｆ)に含まれる残響成分を示す残響パワースペクトルＲ(ｎ，ｆ)を推定する。

推定部１２２は、例えば、式(８)に示すように、残響特性γ(ｆ)と現フレームに先立つ過去Ｍフレームの入力パワースペクトルＳ(ｎ−ｄ，ｆ)(ｄ＝１〜Ｍ)との畳み込みとして、残響パワースペクトルＲ(ｎ，ｆ)を求めてもよい。

図１に例示したゲイン算出部１２３は、推定部１２２で得られた残響パワースペクトルＲ(ｎ，ｆ)に基づいて、この残響パワースペクトルＲ(ｎ，ｆ)を除去するためのゲインを示す基準抑制ゲインＧｓ(ｎ，ｆ)を、基準となる抑制ゲインとして算出する。ゲイン算出部１２３は、例えば、第ｎフレームの入力パワースペクトルＳ(ｎ，ｆ)と推定された残響パワースペクトルＲ(ｎ，ｆ)との差で示される音声残響比ＳＲＲの増大に応じて、単調に減少するように基準抑制ゲインＧｓ(ｎ，ｆ)を算出してもよい。

図７は、基準抑制ゲインＧｓ(ｎ，ｆ)を算出する処理の一例を説明する図である。図６の横軸は、音声残響比ＳＲＲを示し、縦軸は、基準抑制ゲインＧｓ(ｎ，ｆ)の値を示す。

ゲイン算出部１２３は、図７に太い実線で示したような関数を用いて、第ｎフレームにおける周波数番号ｆについての音声残響比ＳＲＲ(ｎ，ｆ)に対応する基準抑制ゲインＧｓ(ｎ，ｆ)を算出してもよい。この関数を用いた場合に、ゲイン算出部１２３は、音声残響比ＳＲＲ(ｎ，ｆ)が所定の値ａ１未満である場合に、基準抑制ゲインＧｓ(ｎ，ｆ)として予め設定した上限値Ｇ０ｄＢを出力する。一方、音声残響比ＳＲＲ(ｎ，ｆ)が所定の値ａ２よりも大きい場合に、ゲイン算出部１２３は、基準抑制ゲインＧｓ(ｎ，ｆ)として所定値０ｄＢを出力する。そして、音声残響比ＳＲＲ(ｎ，ｆ)が上述した値ａ１〜ａ２で示される範囲に含まれる場合に、ゲイン算出部１２３は、音声残響比ＳＲＲ(ｎ，ｆ)の値に応じて単調に減少する値を基準抑制ゲインＧｓ(ｎ，ｆ)として出力する。なお、上述した値ａ１は、例えば、背景雑音レベルなどに基づいて決定してもよい。また、値ａ２は、例えば、音声が発生している区間における音声残響比ＳＲＲ(ｎ，ｆ)に基づいて決定してもよい。

ゲイン補正部１２４は、このようにしてゲイン算出部１２３で算出された基準抑制ゲインＧｓ(ｎ，ｆ)に対して、上述した解析部１１０によって得られた解析結果に基づく補正を適用することにより、抑制ゲインＧ(ｎ，ｆ)を求める。

ゲイン補正部１２４は、例えば、式(９)を用いて、解析部１１０による解析によって入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標として得られた平均変化量Ｄａｖ(ｎ)に基づいて、抑制ゲインＧ(ｎ，ｆ)を求めてもよい。式(９)によれば、平均変化量Ｄａｖ(ｎ)の値が上述した第１閾値Ｔｈ１よりも大きい場合に、ゲイン補正部１２４は、抑制ゲインＧ(ｎ，ｆ)を基準抑制ゲインＧｓ(ｎ，ｆ)とする。一方、平均変化量Ｄａｖ(ｎ)の値が上述した第１閾値Ｔｈ１よりも大きい場合に、ゲイン補正部１２４は、抑制ゲインＧ(ｎ，ｆ)を所定値０ｄＢとする。

ここで、平均変化量Ｄａｖ(ｎ)の値が上述した第１閾値Ｔｈ１よりも大きいことは、図５に例示した入力信号ｘ１(ｔ)と同様に、残響区間において入力信号ｘ(ｔ)が減衰していく比率が第１閾値Ｔｈ１に対応する比率より小さいことを示している。一方、平均変化量Ｄａｖ(ｎ)の値が上述した第１閾値Ｔｈ１よりも小さいことは、図５に例示した入力信号ｘ２(ｔ)と同様に、残響区間において入力信号ｘ(ｔ)が第１閾値Ｔｈ１に対応する比率よりも大きい比率で減衰することを示している。

つまり、平均変化量Ｄａｖ(ｎ)の値と上述した第１閾値Ｔｈ１との比較に基づいて、ゲイン補正部１２４は、入力信号ｘ１(ｔ)が取得された環境で残響成分が減衰しにくいか否か、すなわち、残響抑制が必要か否かを判断することができる。

ゲイン補正部１２４がこのようなゲイン補正を行うことにより、残響区間において入力信号ｘ(ｔ)が急峻に減衰する場合に、基準抑制ゲインＧｓ(ｎ，ｆ)の値にかかわらず、抑制ゲインＧ(ｎ，ｆ)を所定値０ｄＢとすることができる。つまり、残響成分が減衰しやすい環境と同程度な比率で入力信号ｘ(ｔ)が減衰する場合に、ゲイン補正部１２４は、抑制ゲインＧ(ｎ，ｆ)を所定値０ｄＢとすることにより、入力信号ｘ(ｔ)に対する残響抑制を停止させることができる。一方、平均変化量Ｄａｖ(ｎ)の値と上述した第１閾値Ｔｈ１との比較に基づいて、残響抑制が必要と判断された場合に、ゲイン補正部１２４による補正後の抑制ゲインＧ(ｎ，ｆ)は、残響特性γ(ｆ)に基づいて算出された基準抑制ゲインＧｓ(ｎ，ｆ)となる。なお、ゲイン補正部１２４は、上述した第１閾値Ｔｈ１よりも大きい場合に、基準抑制ゲインＧｓ(ｎ，ｆ)から平均変化量Ｄａｖ(ｎ)の値に応じた補正値を差し引くことにより、抑制ゲインＧ（ｎ，ｆ）を求めてもよい。例えば、ゲイン補正部１２４は、平均変化量Ｄａｖ(ｎ)の値が、残響特性γ(ｆ)を与える環境において残響区間における入力信号ｘ(ｔ)が示す単位時間当たりの減衰量に近いほど小さくなるように、上述した補正値を決めてもよい。

このように、解析部１１０による解析結果に応じて、ゲイン補正部１２４が抑制ゲインＧ(ｎ，ｆ)を求めることにより、図１に示したマイクロホン１０１が配置された環境に応じた抑制ゲインＧ(ｎ，ｆ)の制御を実現することができる。したがって、マイクロホン１０１が配置された環境にかかわらず、上述したように、残響が減衰しにくい環境について特定された残響特性γ(ｆ)を基づいて算出した基準抑制ゲインＧｓ(ｎ，ｆ)を抑制ゲインの基準として用いることができる。

このようにして求められた抑制ゲインＧ(ｎ，ｆ)を用いて、抑制適用部１０３は、残響成分が抑制された出力信号スペクトルＹ(ｎ，ｆ)を求める処理を実行する。

抑制適用部１０３は、例えば、式(１０)に示すようにして、第ｎフレームの入力パワースペクトルＳ(ｎ，ｆ)に抑制ゲインＧ(ｎ，ｆ)を適用することにより、出力信号スペクトルＹ(ｎ，ｆ)に対応する補正パワースペクトルＳ’(ｎ，ｆ)を求めてもよい。そして、この補正パワースペクトルＳ’(ｎ，ｆ)が、出力信号スペクトルＹ(ｎ，ｆ)を用いて式(１１)のように表されることを利用して、出力信号スペクトルＹ(ｎ，ｆ)を算出してもよい。
Ｓ’(ｎ，ｆ)＝Ｓ(ｎ，ｆ)−Ｇ(ｎ，ｆ) ・・・(１０)

このようにして算出された各フレームの出力信号スペクトルＹ(ｎ，ｆ)に対して、逆変換部１０４が高速フーリエ逆変換処理を適当することにより、出力信号ｙ(ｔ)を生成することができる。

上述したように、図１に例示した残響抑制装置１００によれば、背景雑音の大きさにかかわらず、残響区間における入力信号ｘ(ｔ)の時間変化の特徴に基づき、適正な抑制ゲインＧ(ｎ，ｆ)を用いた残響抑制を適用することができる。つまり、本件開示の残響抑制装置によれば、雑音成分の大きさにかかわらず、音声を歪ませることなく残響成分のみを正確に抑制することができる。

また、図１に例示した抑制制御部１２０は、解析部１１０による各フレームの入力信号ｘ(ｎ，ｔ)に応じた解析処理の結果を反映して、各フレームの抑制ゲインＧ(ｎ，ｆ)を算出する。したがって、入力信号ｘ(ｔ)が取得される環境の変化に応じて、解析部１１０による解析結果が変化すれば、その変化は抑制制御部１２０により抑制ゲインＧ(ｎ，ｆ)に反映される。例えば、マイクロホン１０１が入力信号ｘ(ｔ)を取得した環境が、浴室のような周囲からの反射が多い環境から、居間のように反射の少ない環境に変化した場合などに、この変化を抑制ゲインＧ(ｎ，ｆ)に反映することができる。したがって、居間から浴室に移動した場合などには、残響区間における入力信号ｘ(ｔ)についての解析結果の変化に応じて、以降の入力信号ｘ(ｔ)に対して、残響特性γ(ｆ)に基づいて求めた基準抑制ゲインＧｓ(ｆ)を適用させることも可能である。これにより、本件開示の残響抑制装置１００を有する携帯端末の利用者が浴室などに移動したことあるいは滞在していることを、通話中の相手に対して秘匿することも可能となる。

本件開示の残響抑制装置１００は、例えば、携帯端末のハードウェアを用いて実現することができる。

図８は、携帯端末１０のハードウェア構成の一例を示している。なお、図８に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示す。

携帯端末１０は、プロセッサ２１と、メモリ２２と、マイクロホン１０１と、通信処理部１０５と、スピーカ１０６とを含んでいる。また、携帯端末１０は、更に、記録処理部２４と、着脱自在のメモリカード２５と、表示制御部２６と、液晶表示部２７と、入力インタフェース(Ｉ／Ｆ：Interface)部２８と、操作パネル２９とを含んでいる。なお、図８に示した携帯端末１０において、残響抑制装置１００は、プロセッサ２１とメモリ２２とを含んでいる。

プロセッサ２１と、メモリ２２と、通信処理部１０５と、マイクロホン１０１と、スピーカ１０６と、記録処理部２４と、表示制御部２６と、入力Ｉ／Ｆ部２８とは、バスを介して互いに接続されている。記録処理部２４は、メモリカード２５からのデータの読出処理およびメモリカード２５へのデータの書込処理を行う。また、表示制御部２６は、液晶表示部２７による表示処理を制御する。入力Ｉ／Ｆ部２８は、操作パネル２９に対する操作を示す情報をプロセッサ２１に伝達する処理を行う。

メモリ２２は、携帯端末１０のオペレーティングシステムとともに、プロセッサ２１が上述した残響抑制処理を実行するためのアプリケーションプログラムを格納している。このアプリケーションプログラムは、本件開示の残響抑制方法に含まれる入力信号の時間変化を解析する処理および入力信号を補正する処理を実行するためのプログラムを含む。なお、上述した残響抑制処理を実行するためのアプリケーションプログラムは、例えば、メモリカード２５に記録して頒布することができる。そして、このメモリカードを記録処理部２４に装着して読み込み処理を行うことにより、残響抑制処理を実行するためのアプリケーションプログラムは、メモリ２２に格納される。また、インターネットなどのネットワークと通信処理部１０５を介して、残響抑制処理を実行するためのアプリケーションプログラムをメモリ２２に読み込ませることもできる。

また、上述したアプリケーションプログラムなどとともに、メモリ２２に、上述した残響特性γ(ｆ)を示す情報を格納しておくことにより、図１に例示した残響保持部１２１を実現してもよい。例えば、標準的な浴室において測定したインパルス応答に基づいて、本出願人によって先に出願された特願２０１１−１６５２７４の技法を用いて算出した残響特性γ(ｆ)を表す情報をメモリ２２に保持させておいてもよい。また、メモリ２２に、上述した第１閾値Ｔｈ１を示す情報を格納しておくことにより、図１に例示した閾値保持部１２５を実現してもよい。

また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる入力信号の時間変化を解析する処理のプログラムを実行することにより、図１に示した解析部１１０の機能を果たしてもよい。プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる入力信号を補正する処理のプログラムを実行することにより、図１に示した抑制制御部１２０および抑制適用部１０３の機能を果たしてもよい。また、メモリ２２に格納されたアプリケーションプログラムは、高速フーリエ変換処理および高速フーリエ逆変換処理をプロセッサ２１が実行するためのプログラムを含んでもよい。そして、プロセッサ２１が、これらのプログラムを実行することにより、それぞれ変換部１０２および逆変換部１０４の機能を果たしてもよい。このように、プロセッサ２１が、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に示した残響抑制装置１００に含まれる各機能を実現することができる。

図９は、入力信号の時間変化を解析する処理の一例のフローチャートである。図９に示したステップＳ３１１〜ステップＳ３１６の処理は、図３に示したステップＳ３０２の処理の一例である。図８に示したプロセッサ２１は、図９に示したフローチャートに含まれるステップＳ３１１〜ステップＳ３１６の処理を各部と協働して実行することにより、解析部１１０の機能を果たす。

プロセッサ２１は、ステップＳ３１１において、まず、第ｎフレームの入力信号ｘ(ｎ，ｔ)に高速フーリエ変換処理を適用して得られた入力信号スペクトルＸ(ｎ，ｆ)を受け取る。次いで、プロセッサ２１は、上述した式(１)を用いて、入力信号スペクトルＸ(ｎ，ｆ)の入力パワースペクトルＳ(ｎ，ｆ)を算出する(ステップＳ３１２)。

次に、プロセッサ２１は、第ｎフレームと第ｎ−１フレームの入力パワースペクトルＳ(ｎ，ｆ)、Ｓ(ｎ−１，ｆ)および式(２)を用いて、第ｎフレームにおける入力パワースペクトルＳ(ｎ，ｆ)の変化量Ｄ(ｎ)を算出する(ステップＳ３１３)。このように、プロセッサ２１が、ステップＳ３１３の処理を実行することにより、図１に例示した変化量算出部１１１の機能を果たすことができる。

次に、プロセッサ２１は、ステップＳ３１４〜ステップＳ３１６の処理を行うことにより、ステップＳ３１３で求めた変化量Ｄ(ｎ)と式(３)を用いて、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標となる平均変化量Ｄａｖ(ｎ)を算出する。まず、プロセッサ２１は、第ｎフレームにおける入力パワースペクトルＳ(ｎ，ｆ)の変化量Ｄ(ｎ)が値ｄ１、ｄ２で示される範囲に含まれているか否かを判定する(ステップＳ３１４)。ステップ３１４の肯定判定の場合に、プロセッサ２１は、第ｎ−１フレームまでの平均変化量Ｄａｖ(ｎ−１)と変化量Ｄ(ｎ)とに、それぞれ重みα、(１−α)を乗算して加算することにより、第ｎフレームまでの平均変化量Ｄａｖ(ｎ)を算出する(ステップＳ３１５)。一方、ステップ３１４の否定判定の場合に、プロセッサ２１は、第ｎ−１フレームまでの平均変化量Ｄａｖ(ｎ−１)の値をそのまま第ｎフレームまでの平均変化量Ｄａｖ(ｎ)として引き継ぐ(ステップＳ３１６)。このように、プロセッサ２１が、図９に符号Ｓ３２０を付して示した矩形で囲まれたステップＳ３１４〜Ｓ３１６の処理を実行することにより、図１に例示した選択部１１２と平均化部１１４とを含む指標算出部１１２の機能を果たすことができる。

図１０は、抑制ゲインを決定する処理の一例のフローチャートである。図１０に示したステップＳ３２１〜ステップＳ３２６の処理は、図３に示したステップＳ３０３の処理の一例である。図８に示したプロセッサ２１は、図１０に示したフローチャートに含まれるステップＳ３２１〜ステップＳ３２６の処理を各部と協働して実行することにより、抑制制御部１２０の機能を果たす。

まず、プロセッサ２１は、過去フレームの入力パワースペクトルＳ(ｎ−ｄ，ｆ)(ｄ＝1〜M)と残響特性γ(ｆ)とから、現フレームの入力パワースペクトルＳ(ｎ，ｆ)に含まれる残響パワースペクトルＲ(ｎ，ｆ)を推定する(ステップＳ３２１)。プロセッサ２１は、例えば、残響パワースペクトルＲ(ｎ，ｆ)の推定処理に、上述した式(８)とメモリ２２に保持された残響特性γ(ｆ)とを用いてもよい。このように、プロセッサ２１が、メモリ２２と協働してステップ３２１の処理を実行することにより、図１に例示した残響特性保持部１２１および推定部１２２の機能を果たすことができる。

次に、プロセッサ２１は、現フレームの入力パワースペクトルＳ(ｎ，ｆ)からステップＳ３２１で求めた残響パワースペクトルＲ(ｎ，ｆ)を差し引くことにより、音声残響比ＳＲＲ(ｎ，ｆ)を算出する(ステップＳ３２２)。次いで、プロセッサ２１は、ステップＳ３２２で算出した音声残響比ＳＲＲ(ｎ，ｆ)に基づいて、基準抑制ゲインＧｓ(ｎ，ｆ)を算出する(ステップＳ３２３)。プロセッサ２１は、例えば、図７に示した関数を用いて、音声残響比ＳＲＲ(ｎ，ｆ)の値に対応する基準抑制ゲインＧｓ(ｎ，ｆ)を決定してもよい。このように、プロセッサ２１が、ステップＳ３２２，Ｓ３２３の処理を実行することにより、図１に例示したゲイン算出部１２３の機能を果たすことができる。

その後、プロセッサ２１は、上述したステップＳ３０２の処理によって得られた平均変化量Ｄａｖ(ｎ)と第１閾値Ｔｈ１との比較に基づいて、入力信号ｘ(ｔ)に対する残響抑制処理の必要性を判定する(ステップＳ３２４)。平均変化量Ｄａｖ(ｎ)が第１閾値Ｔｈ１以下である場合に(ステップＳ３２４の肯定判定)、プロセッサ２１は、マイクロホン１０１が配置されている環境においては、残響音を抑制する必要性が小さいと判断する。この場合に、プロセッサ２１は、基準抑制ゲインＧｓ(ｎ，ｆ)を適用した場合よりも減衰率を小さくするように、抑制ゲインＧ(ｎ，ｆ)を求める(ステップＳ３２５)。ステップＳ３２５において、プロセッサ２１は、例えば、ステップＳ３２３で得られた基準抑制ゲインＧｓ(ｎ，ｆ)の値にかかわらず、抑制ゲインＧ(ｎ，ｆ)を一律に下限値０ｄＢとしてもよい。

一方、平均変化量Ｄａｖ(ｎ)が第１閾値Ｔｈ１よりも大きい場合に(ステップＳ３２４の否定判定)、プロセッサ２１は、マイクロホン１０１が配置されている環境は、残響音が比較的大きい環境であると判断する。この場合に、プロセッサ２１は、基準抑制ゲインＧｓ(ｎ，ｆ)をそのまま抑制ゲインＧ(ｎ，ｆ)としてもよい(ステップＳ３２６)。

このように、プロセッサ２１が、図１０に符号Ｓ３２７を付して示した矩形で囲まれたステップＳ３２４〜ステップＳ３２６の処理を実行することにより、図１に例示したゲイン補正部１２４の機能を果たすことができる。

そして、上述したようにして算出された抑制ゲインＧ(ｎ，ｆ)と入力パワースペクトルＳ(ｎ，ｆ)とに基づいて、プロセッサ２１は、残響成分が抑制された補正パワースペクトルＳ’(ｎ，ｆ)を算出する処理を行う。プロセッサ２１は、例えば、上述した式(１０)に示したように、第ｎフレームの入力パワースペクトルＳ(ｎ，ｆ)から抑制ゲインＧ(ｎ，ｆ)を減算することにより、出力信号スペクトルＹ(ｎ，ｆ)に対応する補正パワースペクトルＳ’(ｎ，ｆ)を求めてもよい。そして、このようにして得られた補正パワースペクトルＳ’(ｎ，ｆ)に基づいて、プロセッサ２１は、上述した式(１１)に基づいて、出力信号スペクトルＹ(ｎ，ｆ)を算出する処理を行う。これらの処理を実行することにより、プロセッサ２１は、図１に例示した抑制適用部１０３の機能を実現することができる。

このようにして算出された各フレームの出力信号スペクトルＹ(ｎ，ｆ)に対して、プロセッサ２１が高速フーリエ逆変換処理を適当することにより、出力信号ｙ(ｔ)を生成することができる。

このように、残響区間における入力信号ｘ(ｔ)の時間変化の傾向に基づいて抑制ゲインＧ(ｎ，ｆ)を決定する処理をプロセッサ２１が実行することにより、背景雑音の大きさにかかわらず、適正な残響抑制が適用された出力信号ｙ(ｔ)を得ることができる。そして、プロセッサ２１は、このようにして得られた出力信号ｙ(ｔ)を信号処理部１０５による信号処理に供することができる。

このように、図８に例示した残響抑制装置１００を含む携帯端末１０によれば、通信処理部１０５は、携帯端末１０が配置された環境に応じて適正な残響抑制が適用された出力信号ｙ(ｔ)を受け取ることができる。このとき、信号処理部１０５に渡される出力信号ｙ(ｔ)は、残響区間における入力信号ｘ(ｔ)の時間変化の傾向に反映される残響成分のみが正確に抑制された信号である。したがって、出力信号ｙ(ｔ)は、マイクロホン１０１に入力された音声を歪ませることなく、忠実に再現している。

つまり、残響抑制装置１００を有する携帯端末１０によれば、利用者が携帯端末１０を利用する環境にかかわらず、信号処理部１０５およびネットワークを介して、通話中の相手が利用する携帯端末などに、明瞭な音声を表す信号を送出することができる。したがって、本件開示の残響抑制装置１００を有する携帯端末１０の利用者が浴室などに移動したことあるいは滞在していることを、通話中の相手に対して秘匿することも可能である。

図１１は、残響抑制装置１００の別実施形態を示している。なお、図１１に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１１に例示した解析部１１０は、雑音推定部１１５を含んでいる。また、図１１に例示した解析部１１０の指標算出部１１２は、集計部１１６と、頻度算出部１１７とを含んでいる。また、図１１に例示した抑制制御部１２０は、図１に例示した各部に加えて、補正制御部１２６を含んでいる。

雑音推定部１１５は、変換部１０２で得られた入力信号スペクトルＸ(ｎ，ｆ)に基づいて、第ｎフレームの入力信号ｘ(ｔ)の信号雑音比(ＳＮＲ)θ(ｎ，ｆ)を推定する。雑音推定部１１５は、例えば、公知技術を用いて、入力信号スペクトルＸ(ｎ，ｆ)あるいは入力パワースペクトルＳ(ｎ，ｆ)に基づいて、雑音成分を示す雑音パワースペクトルＮ(ｎ，ｆ)を算出してもよい。そして、雑音推定部１１５は、式(１２)に示すように、この雑音パワースペクトルＮ(ｎ，ｆ)を第ｎフレームの入力パワースペクトルＳ(ｎ，ｆ)から減算することにより、信号雑音比θ(ｎ，ｆ)を求めてもよい。
θ(ｎ，ｆ)＝Ｓ(ｎ，ｆ)−Ｎ(ｎ，ｆ) ・・・(１２)
雑音推定部１１５は、このようにして求めた各フレームの信号雑音比θ(ｎ，ｆ)を、図１１に例示した指標算出部１１２に含まれる集計部１１６に入力する。集計部１１６は、信号雑音比θ(ｎ，ｆ)が正の値を持つ所定の定数θ１よりも大きい場合に、当該フレームについて変化量算出部１１１で得られた変化量Ｄ(ｎ)を集計対象として、後述する集計処理を行う。

なお、上述した定数θ１は、例えば、残響区間に含まれる数フレームについて信号雑音比θ(ｎ，ｆ)を求める実験の結果などに基づいて決定することができる。このような定数θ１よりも信号雑音比θ(ｎ，ｆ)が大きいフレームの入力信号スペクトルＸ(ｎ，ｆ)は、マイクロホン１０１に入力された残響を含む音声を忠実に反映している。

したがって、雑音推定部１１５で得られた信号雑音比θ(ｎ，ｆ)と上述した定数θ１との比較に基づいて、集計部１１６は、雑音成分の影響の少ないフレームで得られた信頼性の高い変化量Ｄ(ｎ)を集計対象とすることができる。

集計部１１６は、変化量Ｄ(ｎ)の値として考えられる最小値Ｄｍｉｎから最大値Ｄｍａｘまでの範囲をＮ分割して得られる各範囲対応するＮ個の階級Ｋ１〜ＫＮごとに、変化量Ｄ(ｎ)の出現度数を集計する。

集計部１１６は、例えば、集計対象の変化量Ｄ(ｎ)の値が、ｐ番目の階級Ｋｐに対応する範囲の上限Ｋｍａｘｐ未満であって下限Ｋｍｉｎｐ以上である場合に、この階級Ｋｐの度数を更新することにより、出現度数の集計を行う。

集計部１１６による上述した処理は、信号雑音比θ(ｎ，ｆ)と定数θ１との比較結果に応じて、第ｎ−１フレームまでの各階級Ｋｊ(ｊ＝１〜Ｎ)の度数を含む度数分布Ｈｉｓｔ(ｎ−１、ｊ)(ｊ＝１〜Ｎ)を更新する処理として、式(１３)のように表すこともできる。このように、現フレームの信号雑音比θ(ｎ，ｆ)が所定値θ１よりも大きいとされた場合に限って、変化量Ｄ(ｎ)を含む階級Ｋｐの度数を示すＨｉｓｔ(ｎ−１、ｐ)に値１を加算することによって度数分布Ｈｉｓｔ(ｎ、ｊ)(ｊ＝１〜Ｎ)を得ることができる。

このような集計処理を行うことにより、集計部１１６は、第ｎフレームまでに現れた信頼性の高い変化量Ｄ(ｎ)の度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)を求めることができる。このようにして得られた度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)に基づいて、頻度算出部１１７は、後述するようにして、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標を算出する。

図１２は、指標算出部１１２の処理の別例を説明する図である。図１２(Ａ)において、符号ｘ１(ｔ)で示したグラフは、浴室のように残響の影響が大きい環境で取得された入力信号ｘ１(ｔ)の時間変化の例を示す。また、図１２(Ａ)において、符号ｘ２(ｔ)で示したグラフは、居間のように残響の影響が小さい環境で取得された入力信号ｘ２(ｔ)の時間変化の例を示す。

なお、図１２(Ａ)において、符号Ｔで示した区間は、音声が発生している区間を示す。また、図１２(Ａ)において、符号Ｔｈ１で示した直線は、上述した第１閾値Ｔｈ１に対応する単位時間当たりの減少量で示される傾きを持つ直線である。

図１２(Ｂ)において、符号Ｈ１で示したグラフは、上述した入力信号ｘ１(ｔ)に応じて集計部１１６が変化量Ｄ(ｎ)を集計することによって得られる度数分布Ｈ１を示す。また、図１２(Ｂ)において、符号Ｈ２で示したグラフは、上述した入力信号ｘ２(ｔ)に応じて集計部１１６が変化量Ｄ(ｎ)を集計することによって得られる度数分布Ｈ２を示す。なお、図１２(Ｂ)において、符号Ｋ１で示した範囲は、上述した最小値Ｄｍｉｎを階級の下限値とする第１階級Ｋ１である。また、なお、図１２(Ｂ)において、符号ＫＮで示した範囲は、上述した最大値Ｄｍａｘを階級の上限値とする階級ＫＮである。

図１２(Ａ)に示した入力信号ｘ１(ｔ)は、音声が発生している区間Ｔに続く残響区間において、第１閾値Ｔｈ１を傾きとして持つ直線に比べて緩やかに減衰する。これに対して、図１２(Ａ)に示した入力信号ｘ２(ｔ)の残響区間における減衰は、第１閾値Ｔｈ１に対応する傾きとして持つ直線で示される減衰よりも急峻である。このような違いは、図１２(Ｂ)に示した度数分布Ｈ１，Ｈ２のピーク位置の違いとして現れる。

図１２(Ｂ)に示した度数分布Ｈ１において、符号Ｐ１は、入力信号ｘ１(ｔ)の残響区間における単位時間当たりの減少量に対応する度数のピークである。このように、残響区間における減衰が緩やかな入力信号ｘ１(ｔ)について得られる変化量Ｄ(ｎ)の度数分布Ｈ１のピークＰ１の位置は、第１閾値Ｔｈ１よりも、変化量０に近い位置となる。一方、図１２(Ｂ)に示した度数分布Ｈ２において、符号Ｐ２は、入力信号ｘ２(ｔ)の残響区間における単位時間当たりの減少量に対応する度数のピークである。このように、残響区間において急峻に減衰する入力信号ｘ１(ｔ)について得られる変化量の度数分布Ｈ２のピークＰ２は、上述した第１閾値Ｔｈ１よりも、変化量０から負の方向に遠い位置に現れる。なお、図１２(Ｂ)において、第１閾値Ｔｈ１が含まれる階級に対応する範囲を、符号Ｋｋを付して示した。

十分な数のフレームについて変化量Ｄ(ｎ)の度数分布を集計すれば、図１２(Ｂ)に示したように、残響区間における単位時間当たりの減少量に対応するピークが度数分布に現れる。そして、この度数分布のピークの位置と第１閾値Ｔｈ１との比較に基づいて、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量と第１閾値Ｔｈ１に対応する減少量とを比較することができる。例えば、度数分布のピークの位置が、第１閾値Ｔｈ１よりも変化量０に近い場合には、入力信号ｘ(ｔ)の残響区間における減衰率は比較的緩やかであることが分かる。一方、度数分布のピークの位置が、第１閾値Ｔｈ１よりも変化量０から負の方向に遠い位置にある場合には、入力信号ｘ(ｔ)は残響区間において急速に減衰することが分かる。

このような違いは、図１２(Ｂ)に示した度数分布Ｈ１，Ｈ２について、第１閾値Ｔｈ１よりも左側の範囲に分布する度数の和Ｓｈ１，Ｓｈ２が総和に占める割合を示す頻度δ１、δ２の違いにも反映される。例えば、図１２(Ｂ)の例から、残響区間において急峻な減衰が現れる入力信号ｘ２(ｔ)に対応する度数分布Ｈ２について得られた頻度δ２の方が、入力信号ｘ１(ｔ)に対応する度数分布Ｈ１について得られる頻度δ１よりも大きくなることが分かる。

上述した違いは、集計部１１６によって、図１２(Ｂ)に示したような明確なピークを持つ度数分布を得るために必要なフレーム数よりも少ない数のフレームについて変化量Ｄ(ｎ)を集計して得られる度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)にも現れる。

つまり、残響区間において入力信号ｘ(ｔ)の単位時間当たりの減少量が大きいほど、度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)において、単位時間当たりの減少量が所定値以上であることを示す変化量Ｄ(ｎ)の頻度δ(ｎ)が大きくなる。したがって、単位時間当たりの減少量が所定値以上であることを示す変化量Ｄ(ｎ)の頻度δ(ｎ)を、残響区間において入力信号ｘ(ｔ)の単位時間当たりの減少量を示す指標として用いることができる。

図１１に例示した頻度算出部１１７は、例えば、第ｎフレームまでの度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)について、式(１４)を用いることにより、第１閾値Ｔｈ１に対応する減少量よりも大きな減少量が現れた頻度δ(ｎ)を算出してもよい。式(１４)において、頻度δ(ｎ)は、例えば、階級Ｋ１〜階級Ｋｋまでの各階級に含まれる度数の和Ｓｈ(ｎ)と、全ての階級に含まれる度数の総和Ｓｈａ(ｎ)とを用いて表される。なお、階級Ｋｋは、第１閾値Ｔｈ１に対応する減少量を示す変化量が属する階級である。頻度算出部１１７は、例えば、図１１に例示した閾値保持部１２５に保持された第１閾値Ｔｈ１に基づいて、この第１閾値Ｔｈ１で示される減少量を含む階級Ｋｋを特定してもよい。

図１１に例示した指標算出部１１２は、上述したようにして頻度算出部１１７によって算出された頻度δ(ｎ)を、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標として、抑制制御部１２０に渡す。

このようにして得られた頻度δ(ｎ)は、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が、第１閾値Ｔｈ１で示される傾きに対応する減少量以上である可能性の高さを示している。そして、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が、第１閾値Ｔｈ１で示される傾きに対応する減少量以上である可能性が高い場合は、入力信号ｘ(ｔ)に対して残響抑制処理を適用する必要性は低い。逆に、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が、第１閾値Ｔｈ１で示される傾きに対応する減少量以上である可能性が低い場合は、入力信号ｘ(ｔ)に対して残響抑制処理を適用する必要性は高いと判断できる。したがって、上述した平均変化量Ｄａｖ(ｎ)と同様に、この頻度δ(ｎ)に基づいて、入力信号ｘ(ｔ)に対する残響抑制処理の要否を判断するための第２閾値Ｔｈ２を設定することができる。この第２閾値Ｔｈ２を、図１１に例示した閾値保持部１２５に保持することにより、抑制制御部１２０の処理に用いてもよい。

第２閾値Ｔｈ２の値は、例えば、残響区間に含まれる各フレームにおいて得られた変化量に対応するピークが第１閾値Ｔｈ１を含む階級Ｋｋに対応する範囲にあるような度数分布について、上述した式(１４)を用いて得られる頻度に基づいて決定してもよい。

上述した雑音推定部１１５、集計部１１６および頻度算出部１１７を含む解析部１１０は、図１に例示した解析部１１０と同様に、図８に示したプロセッサ２１とメモリ２２とが協働することによって実現することができる。

図１３は、入力信号ｘ(ｔ)の時間変化を解析する処理の別例のフローチャートである。

なお、図１３に示すステップのうち、図９に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図１３に示したステップＳ３１１〜ステップＳ３１３およびステップＳ３３１〜ステップＳ３３７の処理は、図３に示したステップＳ３０２の処理の一例である。図８に示したプロセッサ２１は、図１３に示したフローチャートに含まれる各ステップの処理を、図８に示した各部と協働して実行することにより、図１１に示した解析部１１０の機能を果たす。

プロセッサ２１は、ステップＳ３１３の処理に続いて、ステップＳ３１２で得られた入力パワースペクトルＳ(ｎ，ｆ)に基づいて、雑音パワースペクトルＮ(ｎ，ｆ)を算出する(ステップＳ３３１)。次いで、プロセッサ２１は、ステップＳ３３１で得られた雑音パワースペクトルＮ(ｎ，ｆ)および入力パワースペクトルＳ(ｎ，ｆ)と上述した式(１２)とに基づいて、信号雑音比θ(ｎ)を算出する(ステップＳ３３２)。このように、プロセッサ２１が、ステップＳ３３１〜ステップＳ３３２の処理を実行することにより、図１１に例示した雑音推定部１１５の機能を実現することができる。

次に、プロセッサ２１は、ステップＳ３３２で算出した信号雑音比θ(ｎ)が所定値θ１より大きいか否かを判定する(ステップＳ３３３)。ステップＳ３３３の判定結果に応じて、プロセッサ２１は、ステップＳ３３４〜ステップＳ３３６の処理を実行することにより、第ｎフレームまでの変化量Ｄ(ｎ)についての度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)の集計を行う。

例えば、プロセッサ２１は、ステップＳ３３３の肯定判定の場合に、まず、変化量Ｄ(ｎ)を含む階級Ｋｐを特定する(ステップＳ３３４)。そして、プロセッサ２１は、ステップＳ３３４で特定された階級Ｋｐに含まれる変化量Ｄ(ｎ)の出現に伴う度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)の更新処理を行う(ステップＳ３３５)。このとき、プロセッサ２１は、第ｎ−１フレームまでの度数分布Ｈｉｓｔ(ｎ−１，ｊ)(ｊ＝１〜Ｎ)で示される階級Ｋｐの度数に値１を加算するとともに、他の階級Ｋｊ(ｊ≠ｐ)の度数をそのまま度数分布Ｈｉｓｔ(ｎ、ｊ)(ｊ≠ｐ)として引き継いでもよい。一方、ステップＳ３３３の否定判定の場合に、プロセッサ２１は、度数分布Ｈｉｓｔ(ｎ−１、ｊ)(ｊ＝１〜Ｎ)で示される各階級ｊ(ｊ＝１〜Ｎ)の度数を、そのまま度数分布Ｈｉｓｔ(ｎ、ｊ)(ｊ＝１〜Ｎ)として引き継いでもよい(ステップＳ３３６)。このように、プロセッサ２１が、ステップＳ３３３の判定結果に応じて、Ｓ３３４〜Ｓ３３６の処理を行うことにより、図１１に例示した集計部１１６の機能を果たすことができる。

次いで、プロセッサ２１は、上述した式(１４)を用いて、第ｎフレームまでについての度数分布Ｈｉｓｔ(ｎ，ｊ)(ｊ＝１〜Ｎ)において、第１閾値Ｔｈ１よりも小さい値を持つ変化量Ｄ(ｎ)の頻度δ(ｎ)を算出する(ステップＳ３３７)。このように、プロセッサ２１が、ステップＳ３３７の処理を行うことにより、図１１に例示した頻度算出部１１７の機能を果たすことができる。

また、図１３に示したフローチャートにおいて、符号Ｓ３２０を付した矩形で囲まれた各ステップの処理をプロセッサ２１が実行することにより、図１１に例示した集計部１１６および頻度算出部１１７を含む指標算出部１１２の機能を実現することができる。

図１１に例示した残響抑制装置１００において、頻度算出部１１７は、上述したようにして得られた頻度δ(ｎ)を、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を示す指標として抑制制御部１２０に通知する。

図１１に例示した抑制制御部１２０に含まれる閾値保持部１２５は、上述した第１閾値Ｔｈ１および第２閾値Ｔｈ２を示す情報とともに後述する第３閾値Ｔｈ３を示す情報を保持している。また、図１１に例示した補正制御部１２６は、第ｎフレームより前に抑制適用部１０３に入力された抑制ゲインＧ(ｎ−ｊ，ｆ)(ｊ＝１〜ｍ)と第３閾値Ｔｈ３とに基づいて、ゲイン補正部１２４による抑制ゲインＧ(ｎ，ｆ)の算出を制御する。

図１１に例示したゲイン補正部１２４は、まず、解析部１１０によって得られた頻度δ(ｎ)に基づいて、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量を反映した補正ゲインＧ’(ｎ，ｆ)を算出する。ゲイン補正部１２４は、例えば、式(１５)に示すように、頻度δ(ｎ)と閾値保持部１２５に保持された情報で示される第２閾値Ｔｈ２との比較結果に応じて、補正ゲインＧ’(ｎ，ｆ)に基準抑制ゲインＧｓ（ｎ，ｆ）あるいは所定値０ｄＢを設定してもよい。つまり、残響区間における入力信号ｘ(ｔ)の単位時間当たりの減少量が第１閾値Ｔｈ１で示される傾きに対応する減少量以上である可能性が低い場合に、ゲイン補正部１２４は、補正ゲインＧ’(ｎ，ｆ)を基準抑制ゲインＧｓ(ｎ，ｆ)とする。一方、入力信号ｘ(ｔ)の残響区間における単位時間当たりの減少量が第１閾値Ｔｈ１で示される傾きに対応する減少量以上である可能性が高い場合に、ゲイン補正部１２４は、補正ゲインＧ’(ｎ，ｆ)＝０ｄＢとする。

このようにして、ゲイン補正部１２４によって得られた第ｎフレームの補正ゲインＧ’(ｎ，ｆ)と過去ｍフレームの抑制ゲインＧ(ｎ−ｊ，ｆ)(ｊ＝１〜ｍ)に基づいて、補正制御部１２６は、次のようにして、抑制ゲインＧ（ｎ，ｆ）の算出処理を制御する。

補正制御部１２６は、まず、過去ｍフレームの抑制ゲインＧ(ｎ−ｊ，ｆ)(ｊ＝１〜ｍ)と第ｎフレームの補正ゲインＧ’(ｎ，ｆ)とに基づいて、第ｎフレームまでの期間の抑制ゲインＧ(ｎ，ｆ)の大きさの傾向を示す指標を算出する。補正制御部１２６は、第ｎフレームまでの抑制ゲインＧ(ｎ，ｆ)の大きさの傾向を示す指標として、例えば、式(１６)で表される平均ゲインＧａｖ(ｎ，ｆ)を算出してもよい。
Ｇａｖ(ｎ，ｆ)＝βＧａｖ(ｎ−１、ｆ)＋(１−β)Ｇ’(ｎ，ｆ) ・・・(１６)
式(１６)によれば、第ｎフレームまでの平均ゲインＧａｖ(ｎ，ｆ)は、第ｎ−１フレームまでの平均ゲインＧａｖ(ｎ−１、ｆ)と第ｎフレームの補正ゲインＧ’(ｎ，ｆ)とに、所定の重み係数βで示される重みを適用して加算した結果である。この重み係数βの値を適切に調整することにより、式(１６)により、現フレームに先立つｍフレームにおいて適用された抑制ゲインＧ(ｎ−ｊ，ｆ)(ｊ=１〜ｍ)の大きさを反映した平均ゲインＧａｖ(ｎ，ｆ)を求めることができる。

そして、補正制御部１２６は、このようにして求めた平均ゲインＧａｖ(ｎ，ｆ)と所定の第３閾値Ｔｈ３との比較に基づいて、第ｎフレームの入力信号ｘ(ｎ，ｔ)についての残響抑制の必要性を判断してもよい。この第３閾値Ｔｈ３の値は、例えば、抑制適用部１０３によって抑制ゲインを適用したか否かが、出力信号ｙ(ｔ)から再生された音声の違いとして人間の聴覚で捉えられる最小の抑制ゲインに基づいて決定することができる。

補正制御部１２６は、例えば、平均ゲインＧａｖ(ｎ)が第３閾値Ｔｈ３以下である場合、すなわち、過去数フレームに渡る抑制作用が人間によって知覚されない程度に微小であるとされた場合に、残響抑制の必要性は低いと判断する。そして、この場合に、補正制御部１２６は、ゲイン補正部１２４に対して、補正ゲインＧ’(ｎ，ｆ)よりも小さい値を持つ抑制ゲインＧ(ｎ，ｆ)を求めさせる。一方、平均ゲインＧａｖ(ｎ)が第３閾値Ｔｈ３よりも大きい場合、すなわち、過去数フレームに渡る抑制作用が人間によって知覚される程度に大きいとされた場合に、補正制御部１２６は、残響抑制の必要性は高いと判断する。そして、この場合に、補正制御部１２６は、ゲイン補正部１２４に対して、例えば、式(１５)を用いて求めた補正ゲインＧ’(ｎ，ｆ)をそのまま抑制ゲインＧ(ｎ，ｆ)として出力させる。

したがって、図１１に例示したゲイン補正部１２４によって算出される抑制ゲインＧ(ｎ，ｆ)は、式(１７)に示すように、平均ゲインＧａｖ(ｎ，ｆ)が第３閾値Ｔｈ３より大きい場合に限って補正ゲインＧ’(ｎ，ｆ)となる。そして、他の場合に、ゲイン補正部１２４によって算出される抑制ゲインＧ(ｎ，ｆ)＝０ｄＢとなる。

補正制御部１２６が、このような制御を行うことにより、効果が微小であることが予想されるフレームの入力信号ｘ(ｎ，ｔ)を対象とする残響抑制作用を停止させ、出力信号ｙ(ｎ、ｔ)から再生される音声の歪みを低減することができる。

図１１に例示したゲイン補正部１２４および補正制御部１２６を含む抑制制御部１２０は、図１に例示した抑制制御部１２０と同様に、図８に示したプロセッサ２１とメモリ２２とが協働することによって実現することができる。

図１４は、抑制ゲインを決定する処理の別例のフローチャートである。なお、図１４に示すステップのうち、図１０に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図１４に示したステップＳ３２１〜ステップＳ３２３およびステップＳ３４１〜ステップＳ３４７の処理は、図３に示したステップＳ３０３の処理の一例である。図８に示したプロセッサ２１は、図１４に示したフローチャートに含まれる各ステップの処理を、図８に示した各部と協働して実行することにより、図１１に示した抑制制御部１２０の機能を果たす。

プロセッサ２１は、ステップＳ３２３の処理に続いて、上述したステップＳ３３７の処理によって得られた頻度δ(ｎ)と第２閾値Ｔｈ２との比較に基づいて、入力信号ｘ(ｔ)に対する残響抑制処理の必要性を判定する(ステップＳ３４１)。頻度δ(ｎ)が第２閾値Ｔｈ２よりも大きい場合に(ステップＳ３４１の肯定判定)、プロセッサ２１は、マイクロホン１０１が配置されている環境においては、残響音を抑制する必要性が小さいと判断する。この場合に、プロセッサ２１は、図１０に示したステップＳ３２５と同様にして、基準抑制ゲインＧｓ(ｎ，ｆ)よりも小さい値(例えば、値０ｄＢ)を持つ補正ゲインＧ’(ｎ，ｆ)を求める(ステップＳ３４２)。一方、頻度δ(ｎ)が第２閾値Ｔｈ２以下である場合に(ステップＳ３４１の否定判定)、プロセッサ２１は、図１０に示したステップＳ３２６と同様に、基準抑制ゲインＧｓ(ｎ，ｆ)をそのまま補正ゲインＧ’(ｎ，ｆ)とする(ステップＳ３４３)。

このように、プロセッサ２１が、ステップＳ３４１〜ステップＳ３４３の処理を実行することにより、上述した頻度δ(ｎ)と第２閾値Ｔｈ２との比較結果に基づいて補正ゲインＧ’(ｎ，ｆ)を算出するゲイン補正部１２４の機能を果たすことができる。

次に、プロセッサ２１は、上述した式(１６)を用いて、第ｎフレームまでの抑制ゲインＧ(ｎ，ｆ)の大きさの傾向を示す指標として、平均ゲインＧａｖ(ｎ，ｆ)を算出する(ステップＳ３４４)。次いで、プロセッサ２１は、ステップＳ３４４の処理で得られた平均ゲインＧａｖ(ｎ，ｆ)が第３閾値Ｔｈ３以下であるか否かを判定する(ステップＳ３４５)。そして、ステップＳ３４５の肯定判定の場合に、プロセッサ２１は、残響抑制の必要性は低いと判断する。この場合に、プロセッサ２１は、上述した補正ゲインＧ’(ｎ，ｆ)よりも小さい値(例えば、値０ｄＢ)を持つ抑制ゲインＧ(ｎ，ｆ)を求める(ステップＳ３４６)。一方、ステップＳ３４５の否定判定の場合に、プロセッサ２１は、残響抑制の必要性は高いと判断する。そして、この場合に、プロセッサ２１は、上述した補正ゲインＧ’(ｎ，ｆ)をそのまま抑制ゲインＧ(ｎ，ｆ)とする(ステップＳ３４７)。

このように、図１４において符号Ｓ３４８を付した矩形で囲まれた各ステップの処理をプロセッサ２１が実行することにより、図１１に例示した補正制御部１２６の制御の下でゲイン補正部１２４が抑制ゲインＧ(ｎ，ｆ)を算出する機能を実現することができる。

なお、図１および図１１に示した解析部１１０および抑制制御部１２０に含まれる各部は、図１および図１１に例示した組み合わせに限らず、様々な組み合わせで適用することができる。

例えば、図１１に例示した補正制御部１２６を、図１に示した抑制制御部１２０に適用してもよい。同様に、図１１に示した雑音推定部１１５によって推定された信号雑音比θ(ｎ，ｆ)が定数θ１以上であるか否かに応じて、図１に示した選択部１１３と平均化部１１４とを含む指標算出部１１２による指標算出処理を制御してもよい。

１００…残響抑制装置；１０１…マイクロホン；１０２…変換部；１０３…抑制適用部；１０４…逆変換部；１０５…通信処理部；１０６…スピーカ；１１０…解析部；１１１…変化量算出部；１１２…指標算出部；１１３…選択部；１１４…平均化部；１１５…雑音推定部；１１６…集計部；１１７…頻度算出部；１２０…抑制制御部；１２１…残響特性保持部；１２２…推定部；１２３…ゲイン算出部；１２４…ゲイン補正部；１２５…閾値保持部；１２６…補正制御部；１０…携帯端末；２１…プロセッサ；２２…メモリ；２４…記録処理部；２５…メモリカード；２６…表示制御部；２７…液晶表示部；２８…入力インタフェース(Ｉ／Ｆ)部；２９…操作パネル

Claims (15)

1. 音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求める解析部と、
   前記解析部による解析結果に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する抑制制御部と、
   を備えたことを特徴とする残響抑制装置。
2. 請求項１に記載の残響抑制装置において、
   前記解析部は、
   前記入力信号を周波数解析する単位であるフレームごとに、当該フレームの前記入力信号のスペクトルに含まれる各周波数成分と、当該フレームより前のフレームについて求めたスペクトルに含まれる各周波数成分との差分に基づいて、前記各フレームにおける前記入力信号の電力の変化量を算出する変化量算出部と、
   前記各フレームにおける前記入力信号の電力の変化量に基づいて、前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標を算出する指標算出部とを有する
   ことを特徴とする残響抑制装置。
3. 請求項２に記載の残響抑制装置において、
   前記解析部は、
   前記各フレームの信号雑音比を推定する雑音推定部を有し、
   前記指標算出部は、前記雑音推定部によって推定された信号雑音比が予め設定した所定値以下であるとされたフレームについて得られた前記変化量を用いて、前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標を算出する
   ことを特徴とする残響抑制装置。
4. 請求項２または請求項３に記載の残響抑制装置において、
   前記抑制制御部は、
   残響抑制の対象となる現フレームよりも前の複数フレームにおける前記入力信号のスペクトルと前記マイクロホンが配置された室内の残響特性とに基づいて、前記現フレームの前記入力信号のスペクトルに含まれる残響成分を推定する推定部と、
   前記推定部によって推定された残響成分を除去するために前記現フレームにおける前記入力信号のスペクトルを減衰させる比率に相当する基準抑制ゲインを算出するゲイン算出部と、
   前記解析部による解析結果として得られる前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標に基づいて、前記基準抑制ゲインを補正することにより、前記入力信号に適用する抑制ゲインを求めるゲイン補正部とを備える
   ことを特徴とする残響抑制装置。
5. 請求項４に記載の残響抑制装置において、
   前記指標算出部は、前記変化量算出部による算出結果のうち、前記残響区間における変化量として想定される所定の範囲に含まれる変化量を平均化することによって得られる平均変化量を、前記残響区間における前記入力信号の電力の前記単位時間当たりの減少量を示す指標として算出し、
   前記ゲイン補正部は、前記単位時間当たりの所定の減少量を示す所定の第１閾値よりも前記平均変化量が示す前記単位時間当たりの減少量が大きい場合に、前記現フレームの入力信号に適用する抑制ゲインを前記基準抑制ゲインよりも小さくする補正を行う
   ことを特徴とする残響抑制装置。
6. 請求項４に記載の残響抑制装置において、
   前記指標算出部は、
   前記変化量算出部で得られる前記変化量の出現度数を累積することにより求めた度数分布に基づいて、前記単位時間当たりの減少量が所定の減少量以上であることを示す変化量の頻度を、前記残響区間における前記入力信号の電力の前記単位時間当たりの減少量を示す指標として算出し、
   前記ゲイン補正部は、前記単位時間当たりの減少量が所定の減少量以上であることを示す変化量の頻度が、所定の第２閾値を超える場合に、前記現フレームの入力信号に適用する抑制ゲインを前記基準抑制ゲインよりも小さくする補正を行う
   ことを特徴とする残響抑制装置。
7. 請求項４に記載の残響抑制装置において、
   前記抑制制御部は、
   前記各フレームに適用された抑制ゲインを監視することにより、前記現フレームより前のフレームの入力信号に適用された抑制ゲインが所定の第３閾値よりも小さい傾向があることを検出した場合に、前記現フレームの入力信号に適用する抑制ゲインを小さくするように、前記ゲイン補正部を制御する補正制御部を有する
   ことを特徴とする残響抑制装置。
8. 音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求め、
   前記残響区間における前記入力信号の電力の単位時間当たりの減少量に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する、
   ことを特徴とする残響抑制方法。
9. 音声の入力に応じてマイクロホンから得られる入力信号の電力の時間変化を解析することにより、前記音声が発声されている区間の末尾に続く残響区間における前記入力信号の電力の単位時間当たりの減少量を求め、
   前記残響区間における前記入力信号の電力の単位時間当たりの減少量に基づいて、前記入力信号を減衰させる比率を示す抑制ゲインを制御する、
   処理をコンピュータに実行させる残響抑制プログラム。
10. 請求項９に記載の残響抑制プログラムにおいて、
    前記入力信号の電力の時間変化の特徴を解析する処理は、
    前記入力信号を周波数解析する単位であるフレームごとに、当該フレームの前記入力信号のスペクトルに含まれる各周波数成分と、当該フレームより前のフレームについて求めたスペクトルに含まれる各周波数成分との差分に基づいて、前記各フレームにおける前記入力信号の電力の変化量を算出する処理と、
    前記各フレームにおける前記入力信号の電力の変化量に基づいて、前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標を算出する処理とを含む、
    ことを特徴とする残響抑制プログラム。
11. 請求項１０に記載の残響抑制プログラムにおいて、
    前記入力信号の電力の時間変化の特徴を解析する処理は、
    前記各フレームの信号雑音比を推定する処理を含み、
    前記指標を算出する処理は、前記信号雑音比が予め設定した所定値以下であると判定されたフレームについて得られた前記変化量を用いて、前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標を算出する
    ことを特徴とする残響抑制プログラム。
12. 請求項１０又は請求項１１に記載の残響抑制プログラムにおいて、
    前記入力信号に適用する抑制ゲインを制御する処理は、
    残響抑制の対象となる現フレームよりも前の複数フレームにおける前記入力信号のスペクトルと前記マイクロホンが配置された室内の残響特性とに基づいて、前記現フレームの前記入力信号のスペクトルに含まれる残響成分を推定する処理と、
    推定された残響成分を除去するために前記現フレームにおける前記入力信号のスペクトルを減衰させる比率に相当する基準抑制ゲインを算出する処理と、
    前記残響区間における前記入力信号の電力の単位時間当たりの減少量を示す指標に基づいて、前記基準抑制ゲインを補正することにより、前記入力信号に適用する抑制ゲインを求める処理とを含む
    ことを特徴とする残響抑制プログラム。
13. 請求項１２に記載の残響抑制プログラムにおいて、
    前記残響区間における前記入力信号の電力の時間変化の特徴を示す指標を算出する処理は、
    前記残響区間における変化量として想定される所定の範囲に含まれる変化量を平均化することによって得られる平均変化量を、前記残響区間における前記入力信号の電力の前記単位時間当たりの減少量を示す指標として算出する処理を含み、
    前記抑制ゲインを求める処理は、
    前記単位時間当たりの所定の減少量を示す所定の第１閾値よりも前記平均変化量が示す前記単位時間当たりの減少量が大きい場合に、前記現フレームの入力信号に適用する抑制ゲインを前記基準抑制ゲインよりも小さくする補正を行う処理を含む
    ことを特徴とする残響抑制プログラム。
14. 請求項１２に記載の残響抑制プログラムにおいて、
    前記残響区間における前記入力信号の電力の時間変化の特徴を示す指標を算出する処理は、
    前記変化量の出現度数を累積することにより求めた度数分布に基づいて、前記単位時間当たりの減少量が所定の減少量以上であることを示す変化量の頻度を、前記残響区間における前記入力信号の電力の前記単位時間当たりの減少量を示す指標として算出する処理と、
    前記抑制ゲインを求める処理は、
    前記単位時間当たりの減少量が所定の減少量以上であることを示す変化量の頻度が、所定の第２閾値を超える場合に、前記現フレームの入力信号に適用する抑制ゲインを前記基準抑制ゲインよりも小さくする補正を行う処理とを含む
    ことを特徴とする残響抑制プログラム。
15. 請求項１２に記載の残響抑制プログラムにおいて、
    前記入力信号に適用する抑制ゲインを制御する処理は、
    前記各フレームに適用された抑制ゲインを監視することにより、前記現フレームより前のフレームの入力信号に適用された抑制ゲインが所定の第３閾値よりも小さい傾向があることを検出した場合に、前記現フレームの入力信号に適用する抑制ゲインを小さくするように、前記抑制ゲインを求める処理を制御する処理を含む
    ことを特徴とする残響抑制プログラム。

Images