JP2013150250A - 音声処理装置及び音声処理方法 - Google Patents

Abstract

【課題】スピーカ周囲の環境によらずに、スピーカから発する音から生じる残響を抑制可能な音声処理装置を提供する。
【解決手段】音声処理装置（６、６１）は、第１の音声信号と、音声出力部８により再生された第１の音声信号を音声入力部４により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定する残響特性推定部１１と、残響特性が大きい周波数ほど、第１の音声信号のその周波数の成分に対する減衰率を大きくするゲイン算出部１２と、周波数ごとに決定された減衰率に応じて第１の音声信号を減衰させる補正部１３とを有する。
【選択図】図３

Description

本発明は、例えば、スピーカから出力した音声信号による残響を抑制する音声処理装置及び音声処理方法に関する。

音を反射しやすい物体に囲まれた空間に配置されたスピーカから音を発すると、スピーカから直接リスナーに到達する音と、スピーカから発した音がその物体で１回以上反射されてから間接的にリスナーに到達する音がある。この間接的にリスナーに到達する音は残響音と呼ばれる。残響音がリスナーに達するタイミングは、スピーカからの音が直接リスナーに達するタイミングよりも遅いため、残響音が存在すると、直接リスナーに達した音と残響音とが重畳されて、リスナーにとってその重畳された音は聞き取り難くなる。特に近年、防水機能及びハンズフリー機能を備えた携帯電話機が利用可能となっている。このような携帯電話機が浴室といった残響が生じ易い空間で使用されると、その携帯電話機から発した音は残響音のために非常に聞き取り難くなるおそれがある。そこで、スピーカから発する音から生じる残響音を抑制する技術が研究されている（例えば、特許文献１を参照）。

例えば、特許文献１に開示された音響装置は、音響信号から変換されたデジタル信号に対して櫛型フィルタを用いてフィルタリングすることにより、特定の周波数帯域の周波数成分を減衰または無音化する。

特開２００９−５２７４号公報

しかしながら、残響特性は、スピーカの周囲の環境によって変動する。そのため、櫛型フィルタが減衰させる周波数帯域が、残響特性が相対的に大きい周波数帯域と一致しないことがある。このような場合、スピーカから出力しようとする音声信号が櫛型フィルタを用いてフィルタリングされても、残響が効率的に抑制されない。その結果として、スピーカから出力された音の音質が改善されないばかりか、逆にその音質が劣化してしまうおそれがあった。

そこで本明細書は、スピーカ周囲の環境によらずに、スピーカから発する音から生じる残響を抑制可能な音声処理装置を提供することを目的とする。

一つの実施形態によれば、音声処理装置が提供される。この音声処理装置は、第１の音声信号と、音声出力部により再生された第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定する残響特性推定部と、残響特性が大きい周波数ほど、第１の音声信号のその周波数の成分に対する減衰率を大きくするゲイン算出部と、周波数ごとに決定された減衰率に応じて第１の音声信号を減衰させる補正部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された音声処理装置は、スピーカ周囲の環境によらずに、スピーカから発する音から生じる残響を抑制できる。

第１の実施形態による音声処理装置が実装された携帯電話機の概略構成図である。 （ａ）は、スピーカ８から出力される再生音声信号についての直接音と残響音を表す模式図である。（ｂ）は、マイクロホンにより集音された音に基づいて推定された残響の周波数特性の一例を表す図である。（ｃ）は、スピーカから出力しようとする再生音声信号を補正するためのゲインの周波数特性の一例を示す図である。（ｄ）は、オリジナルの再生音声信号の周波数特性と補正された再生音声信号の周波数特性の一例を示す図である。 第１の実施形態による音声処理装置の概略構成図である。 第１の実施形態による音声処理の動作フローチャートである。 第２の実施形態による音声処理装置の概略構成図である。 ゲインと再生音声信号の音質の劣化との関係を示す模式図である。 第２の実施形態による音声処理の動作フローチャートである。 各実施形態またはその変形例による音声処理装置の各部の機能を実現するコンピュータプログラムが動作することにより、音声処理装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、様々な実施形態による音声処理装置について説明する。
この音声処理装置は、スピーカから出力される再生音をマイクロホンで集音した音に基づいて、音声処理装置が実装された音声再生装置周囲の残響特性を求める。そしてこの音声処理装置は、残響特性が大きい周波数ほど再生音声信号のその周波数成分を減衰させた後にスピーカから出力させることで、残響の抑制を図る。

図１は、第１の実施形態による音声処理装置が実装された携帯電話機の概略構成図である。図１に示されるように、携帯電話機１は、音声再生装置の一例であり、制御部２と、通信部３と、マイクロホン４と、アナログ／デジタル変換器５と、音声処理装置６と、デジタル／アナログ変換器７と、スピーカ８と、記憶部９とを有する。
このうち、制御部２、通信部３及び音声処理装置６は、それぞれ別個の回路として形成される。あるいはこれらの各部は、その各部に対応する回路が集積された一つの集積回路として携帯電話機１に実装されてもよい。さらに、これらの各部は、携帯電話機１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

制御部２は、少なくとも一つのプロセッサ、不揮発性のメモリ及び揮発性のメモリ及びその周辺回路を有する。制御部２は、携帯電話機１が有するキーパッドなどの操作部（図示せず）を介した操作により通話が開始されると、携帯電話機１と基地局装置（図示せず）との間における、無線接続、切断などの呼制御処理を携帯電話機１が準拠する通信規格に従って実行する。そして制御部２は、その呼制御処理の結果に応じて、通信部３に対して音声通話またはデータ通信の開始または終了を指示する。さらに、制御部２は、通信部３を介して基地局装置から受信したダウンリンク信号に含まれる符号化された音声信号またはオーディオ信号を取り出し、その音声信号またはオーディオ信号を復号する。そして制御部２は、ハンズフリー機能が利用される場合、すなわち、ユーザがスピーカ８から離れている場合、復号した音声信号またはオーディオ信号を、再生音声信号として音声処理装置６へ出力する。なお、ハンズフリー機能が利用されない場合には、制御部２は、復号した音声信号またはオーディオ信号を直接デジタル／アナログ変換器７へ出力してもよい。

また制御部２は、マイクロホン４を介して入力された入力音声信号を符号化し、その符号化された入力音声信号を含むアップリンク信号を生成する。そして制御部２は、そのアップリンク信号を通信部３へ渡す。なお、音声信号に対する符号化方式としては、例えば、Third Generation Partnership Project(3GPP)により標準化されたAdaptive Multi-Rate-NarrowBand(AMR-NB)方式、またはAdaptive Multi-Rate-WideBand(AMR-WB)方式などが用いられる。

あるいは、制御部２は、操作部を介したユーザの操作に応じて、記憶部９に記憶されている符号化されたオーディオ信号またはビデオ信号を読み出し、そのオーディオ信号またはビデオ信号を復号してもよい。そして制御部２は、復号されたオーディオ信号またはビデオ信号に含まれるオーディオ信号を、再生音声信号として音声処理装置６へ出力してもよい。この場合、オーディオ信号に対する符号化方式としては、例えば、Moving Picture Experts Group (MPEG)において規格が制定されたMPEG-4 Advanced Audio Coding (MPEG-4 AAC)あるいはHigh-Efficiency AAC (HE-AAC)方式などが用いられる。

通信部３は、基地局装置との間で無線通信する。そして通信部３は、基地局装置から無線信号を受信して、その無線信号をベースバンド周波数を持つダウンリンク信号に変換する。そして通信部３は、ダウンリンク信号に対して分離、復調、誤り訂正復号などの受信処理を行った後、そのダウンリンク信号を制御部２へ渡す。また通信部３は、制御部２から受け取ったアップリンク信号に対して誤り訂正符号化、変調及び多重化などの送信処理を行った後、そのアップリンク信号を無線周波数を持つ搬送波に重畳して基地局装置へ送信する。

マイクロホン４は、音声入力部の一例であり、携帯電話機１の周囲の音を集音し、その音の強度に応じたアナログ音声信号を生成する。マイクロホン４にて集音される音には、例えば、音源から直接マイクロホン４に達する直接音だけでなく、音源からの音声が携帯電話機１の周囲の壁などによって反射されてからマイクロホン４に間接的に達する残響音が含まれることがある。そしてマイクロホン４は、そのアナログ音声信号をアナログ／デジタル変換器５へ出力する。また、例えば、ハンズフリー機能を用いてユーザが通話する場合には、スピーカ８から出力される再生音、及びその再生音から生じる残響音も、マイクロホン４にて集音される。

アナログ／デジタル変換器５は、マイクロホン４から受け取ったアナログ音声信号を所定のサンプリングピッチでサンプリングすることによりデジタル化された入力音声信号を生成する。また、アナログ／デジタル変換器５は、増幅器を有し、アナログ音声信号を増幅した後にデジタル化してもよい。
アナログ／デジタル変換器５は、入力音声信号を音声処理装置６及び制御部２へ出力する。

音声処理装置６は、入力音声信号を解析することにより、携帯電話機１の周囲の残響特性を推定する。そして音声処理装置６は、推定した残響特性に応じて、残響特性が大きい周波数ほど再生音声信号のその周波数成分を減衰させることにより、再生音声信号を補正する。そして音声処理装置６は、補正された再生音声信号をデジタル／アナログ変換器７を介してスピーカ８へ出力する。なお、音声処理装置６の詳細については後述する。

デジタル／アナログ変換器７は、音声処理装置６から受け取った再生音声信号をデジタル−アナログ変換することでアナログ化する。なお、デジタル／アナログ変換器７は、増幅器を有し、その増幅器により、アナログ化された再生音声信号を増幅してもよい。そしてデジタル／アナログ変換器７は、アナログ化された再生音声信号をスピーカ８へ出力する。
スピーカ８は、音声出力部の一例であり、デジタル／アナログ変換器７から受け取った再生音声信号を再生する。

記憶部９は、例えば、不揮発性の半導体メモリを有し、携帯電話機１で使用される様々なデータ、例えば、ユーザの個人情報、メールの履歴情報、電話番号、またはオーディオ信号若しくはビデオ信号を記憶する。

以下、音声処理装置６の詳細について説明する。
図２（ａ）は、スピーカ８から出力される再生音声信号についての直接音と残響音を表す模式図である。図２（ａ）において、矢印２０１は、スピーカ８から出力されてユーザ２１０に直接達する直接音を表す。また矢印２０２は、スピーカ８から出力された後、スピーカ８の周囲に存在する壁面２１１などで１回以上反射されてからユーザ２１０に達する残響音を表す。直接音２０１の経路長と比較して、残響音２０２の経路長は非常に長い。そのため、直接音２０１と残響音２０２とは互いに異なるタイミングでユーザ２１０に達するので、残響音があるとユーザ２１０にとって聞き難い音になることがある。

図２（ｂ）は、マイクロホンにより集音された音に基づいて推定された残響特性の周波数スペクトルの一例を表す図である。図２（ｃ）は、スピーカから出力しようとする再生音声信号を減衰させる率を表すゲインの周波数スペクトルの一例を示す図である。図２（ｂ）において、横軸は周波数を表し、縦軸は残響の大きさを表す。そしてグラフ２２０は、残響特性の周波数スペクトルを表す。また図２（ｃ）において、横軸は周波数を表し、縦軸はゲインを表す。そしてグラフ２３０は、ゲインの周波数スペクトルを表す。なお、再生音声信号を減衰させる率が大きいほど、ゲインは小さくなるものとする。図２（ｂ）及び図２（ｃ）に示されるように、音声処理装置６は、推定した残響が大きい周波数ほど、再生音声信号のその周波数成分を減衰させるよう、ゲインを小さくする。例えば、周波数f₀にて残響が最大となる場合、音声処理装置６は、周波数f₀におけるゲインを最も小さくする。

図２（ｄ）は、オリジナルの再生音声信号から生じる残響音の周波数スペクトルと補正された再生音声信号から生じる残響音の周波数スペクトルの一例を示す図である。図２（ｄ）において、横軸は周波数を表し、縦軸は残響音の大きさを表す。そしてグラフ２４１はオリジナルの再生音声信号から生じる残響音の周波数スペクトルを表し、一方、グラフ２４２はグラフ２３０で示されたゲインを用いて補正された再生音声信号から生じる残響音の周波数スペクトルを表す。図２（ｄ）に示されるように、再生音声信号がスピーカ８から出力される前に、残響が大きい周波数ほど再生音声信号のその周波数成分を予め減衰させることで、スピーカ８から発した再生音から生じる残響も抑制される。

図３は、第１の実施形態による音声処理装置６の概略構成図である。音声処理装置６は、残響特性推定部１１と、ゲイン算出部１２と、補正部１３とを有する。
音声処理装置６が有するこれらの各部は、それぞれ、別個の回路として音声処理装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。

残響特性推定部１１は、再生音声信号と、その再生音声信号がスピーカ８により再生され、マイクロホン４により集音されることにより得られた入力音声信号とに基づいて、スピーカ８からマイクロホン４への経路を含む音の経路のインパルス応答を求める。そして残響特性推定部１１は、そのインパルス応答に応じて、スピーカ８から発した音に対する携帯電話機１の周囲の残響特性の周波数スペクトルを求める。
本実施形態では、残響特性推定部１１は、有限インパルス応答型の適応フィルタを用いて、音の経路のインパルス応答を算出する。インパルス応答を表す適応フィルタの係数を、最小二乗法を用いて更新する場合、インパルス応答は次式に従って算出される。

ここで、y(t)は、再生音声信号を表し、r(t)は、入力音声信号を表す。そしてw(t)は音の経路のインパルス応答を表す。またe(t)は、誤差信号を表す。さらに係数μは、インパルス応答w(t)の更新速度を決めるための収束係数であり、例えば、0.01〜0.1に設定される。演算子'*'は、畳み込み演算を表す。

残響特性推定部１１は、インパルス応答w(t)を周波数領域の信号に変換することにより、残響特性の周波数スペクトルW(f)を求める。周波数スペクトルW(f)は、周波数ごとの残響特性を表す。なお、w(t)を周波数領域の信号に変換する時間周波数変換として、残響特性推定部１１は、例えば、高速フーリエ変換(Fast Fourier Transform, FFT)または修正離散コサイン変換(Modified Discrete Cosine Transform, MDCT)を用いることができる。
また、マイクロホン４から出力された再生音がスピーカ８へ直接達する時間よりも、その再生音から生じた残響音がスピーカ８へ達する時間の方が遅い。そこで残響特性推定部１１は、インパルス応答w(t)のうち、所定の時間t₁以降の成分w₁(t)を周波数領域の信号に変換することにより残響特性の周波数スペクトルを算出してもよい。なお、時間t₁は、スピーカ８から出力された再生音から生じる残響音がマイクロホン４に達する時間、例えば、50msecに設定される。

残響特性推定部１１は、インパルス応答w(t)を更新する度に、残響特性の周波数スペクトルW(f)も更新する。そして残響特性推定部１１は、残響特性の周波数スペクトルW(f)をゲイン算出部１２へ出力する。

ゲイン算出部１２は、再生音声信号に対する周波数ごとの減衰率を、残響特性が大きい周波数ほど大きくする。本実施形態では、再生音声信号に対する周波数ごとの減衰率は、再生音声信号の周波数スペクトルに乗じるゲインにより表される。したがって、減衰率が大きいほど、ゲインは小さくなる。したがって、ゲイン算出部１２は、残響特性の周波数スペクトルW(f)に基づいて、残響が大きい周波数ほど、その周波数についてのゲインを小さくする。
例えば、ゲイン算出部１２は、次式に従ってゲインを算出する。

なお、fは周波数であり、G(f)は、周波数ごとに定められるゲインである。|W(f)|²は、残響のパワースペクトルである。

さらに、ゲイン算出部１２は、ゲインG(f)を、人の聴覚特性に合わせるために、例えば、次式に従って補正してもよい。

ここでA(f)は、人の聴覚特性を表すA特性である。またG'(f)は、A特性に基づいて補正されたゲインである。
ゲイン算出部１２は、補正されたゲインG'(f)を補正部１３へ出力する。

補正部１３は、周波数ごとに定められた減衰率に応じて、再生音声信号をスピーカ８へ出力する前に減衰させる。本実施形態では、補正部１３は、ゲイン算出部１２から受け取ったゲインG'(f)に基づいて、残響が大きい周波数ほど再生音声信号のその周波数成分を減衰させる。

そこで、補正部１３は、所定長を持つフレームごとに、制御部２から受け取った再生音声信号を周波数領域の再生音スペクトルに変換する。なお、フレームの長さは、例えば、10msec〜100msecに設定される。また、再生音スペクトルを算出するために、補正部１３は、例えば、FFTあるいはMDCTを用いることができる。

次に、補正部１３は、次式のように、再生音スペクトルにゲインG'(f)を乗じることにより、再生音スペクトルを補正する。

ここで、X(n,f)は、n番目のフレームについての再生音スペクトルであり、Y(n,f)は、補正された再生音スペクトルである。（４）式から明らかなように、ゲインG'(f)が小さいほど、補正された再生音スペクトルY(n,f)も小さくなる。そしてゲインG'(f)は、残響のパワースペクトルが大きいほど小さくなるので、結果として、残響が大きい周波数ほど、再生音スペクトルのその周波数成分も減衰される。

補正部１３は、補正された再生音スペクトルY(n,f)を、再生音スペクトルを算出する際に用いた時間周波数変換の逆変換を用いて時間領域の信号に変換することにより、補正された再生音声信号を得る。
そして補正部１３は、その補正された再生音声信号を携帯電話機１のデジタル／アナログ変換器７を介してスピーカ８へ出力する。

図４は、音声処理装置６により実行される音声処理の動作フローチャートである。
残響特性推定部１１は、再生音声信号と、スピーカ８で再生された再生音声信号をマイクロホン４により集音して得られた入力音声信号とから、適応フィルタを用いてスピーカ８からマイクロホン４の音の経路のインパルス応答w(t)を求める（ステップＳ１０１）。残響特性推定部１１は、インパルス応答w(t)を周波数領域の信号に変換することにより、残響特性の周波数スペクトルW(f)を算出する（ステップＳ１０２）。残響特性推定部１１は、残響特性の周波数スペクトルW(f)をゲイン算出部１２へ出力する。

ゲイン算出部１２は、残響のパワースペクトル|W(f)|²の逆数をゲインG(f)として求める（ステップＳ１０３）。さらにゲイン算出部１２は、そのゲインG(f)を人の聴覚特性に応じて補正することで補正されたゲインG'(f)を算出する（ステップＳ１０４）。ゲイン算出部１２は、補正されたゲインG'(f)を補正部１３へ出力する。

補正部１３は、再生音声信号を周波数領域の信号に変換することで再生音スペクトルを求め、その再生音スペクトルにゲインG'(f)を乗じることで、残響が大きい周波数ほど再生音スペクトルのその周波数成分を減衰させる（ステップＳ１０５）。そして補正部１３は、補正された再生音スペクトルを時間領域の信号に変換することで、補正された再生音声信号を算出する（ステップＳ１０６）。そして音声処理装置６は、その再生音声信号をデジタル／アナログ変換器７を介してスピーカ８へ出力し、音声信号処理を終了する。

以上に説明してきたように、この音声処理装置は、スピーカから発してマイクロホンにより集音された音に基づいて、スピーカ周囲の残響特性を推定し、その残響特性が大きい周波数ほど、再生音声信号のその周波数成分を減衰させる。そのため、この音声処理装置は、スピーカの周囲の環境によらず、スピーカからの再生音から生じる残響音を適切に抑制できる。

次に、第２の実施形態による音声処理装置について説明する。第２の実施形態による音声処理装置は、その音声処理装置が実装された音声再生装置の周囲のノイズのパワーと残響音のパワーとの比較結果、及び、残響量と歪み量の比較結果に応じてゲインを補正する。なお、第２の実施形態による音声処理装置も、図１に示された携帯電話機１に実装されるものとして、以下に説明する。

図５は、第２の実施形態による音声処理装置６１の概略構成図である。音声処理装置６１は、残響特性推定部１１と、ゲイン算出部１２と、補正部１３と、ノイズスペクトル推定部１４とを有する。

残響特性推定部１１は、第１の実施形態と同様に、再生音声信号と、スピーカ８により再生された再生音声信号をマイクロホン４により集音することで得られた入力音声信号とに基づいて、携帯電話機１の周囲の周波数ごとの残響特性を求める。
ただし、本実施形態では、残響特性推定部１１は、再生音声信号及び入力音声信号を周波数領域の信号に変換してから、残響特性を表す伝達関数を求める。さらに残響特性推定部１１は、その伝達関数に従って、スピーカ８により再生された再生音から生じた残響音のスペクトルを求める。

そこで残響特性推定部１１は、再生音声信号及び入力音声信号を、それぞれ、例えば、FFTまたはMDCTにより、所定長を持つフレーム単位で周波数領域の信号に変換する。なお、フレームの長さは、例えば、10msec〜100msecに設定される。そして残響特性推定部１１は、有限インパルス応答型の適応フィルタを用いて伝達関数を算出する。伝達関数を表す適応フィルタの係数を、最小二乗法を用いて更新する場合、その伝達関数は次式に従って算出される。

ここで、Y(n,f)は、フレームnにおける再生音声信号の周波数スペクトルを表し、R(n,f)は、フレームnにおける入力音声信号の周波数スペクトルを表す。そしてW(n,f)はフレームnについて算出された伝達関数である。またE(n,f)は、フレームnにおける誤差信号の周波数スペクトルを表す。さらに係数μは、伝達関数の更新速度を決めるための収束係数であり、例えば、0.01〜0.1に設定される。D1及びD2は、それぞれ、畳み込み演算に利用される期間に含まれる最初のフレームの位置及び最後のフレームの位置を表す。

さらに、残響特性推定部１１は、次式に従って、再生音声信号の周波数スペクトルを残響特性の伝達関数で加重加算することにより、残響音の周波数スペクトルを表す残響スペクトルを推定する。

ただし、Rv(n,f)は、フレームnにおける残響スペクトルである。残響特性推定部１１は、フレームごとに、残響の伝達関数W(n,f)及び残響スペクトルRv(n,f)をゲイン算出部１２へ出力する。

ノイズスペクトル推定部１４は、音声処理装置６１が実装された携帯電話機の周囲におけるノイズのスペクトルを推定する。本実施形態では、ノイズスペクトル推定部１４は、入力音声信号に基づいて定常雑音モデルを推定することにより、入力音声信号に含まれるノイズのスペクトルを推定する。

一般に、マイクロホン４からノイズの音源までの距離は、マイクロホン４からスピーカ８までの距離よりも遠い。そのため、ノイズのパワーは、スピーカ８から出力された再生音のパワーよりも小さい。そこでノイズスペクトル推定部１４は、音声処理装置６１に入力された入力音声信号についてのパワースペクトルが小さいフレームについて、各周波数帯域ごとのパワーの平均値を求めることにより、ノイズのスペクトルを推定する。
具体的には、ノイズスペクトル推定部１４は、入力音声信号をフレームごとに周波数領域の信号に変換して得られた入力音声の周波数スペクトルに基づいて、パワースペクトルの平均値pを次式に従って算出する。

ここでFは、周波数帯域の総数である。またR(n,f)は、フレームnにおける入力音声信号の周波数スペクトルである。

次に、ノイズスペクトル推定部１４は、最新のフレームのパワースペクトルの平均値pと、ノイズ成分のパワーの上限に相当する閾値Thrとを比較する。そしてノイズスペクトル推定部１４は、平均値pが閾値Thr未満である場合、各周波数帯域について次式に従ってパワースペクトルを時間方向に平均することにより、最新のフレームについての推定ノイズスペクトルを算出する。

ただし、N(n+1,f)及びN(n,f)は、それぞれ、フレーム(n+1)、nにおける推定ノイズスペクトルである。N(n,f)は、（８）式の計算が行われる際に、例えば、ノイズスペクトル推定部１４が有するバッファから読み込まれる。また、係数αは忘却係数であり、例えば、0.01〜0.1の何れかの値に設定される。一方、平均値pが閾値Thr以上である場合、最新のフレームには、ノイズ以外の成分が含まれると推定されるので、ノイズスペクトル推定部１４は推定ノイズスペクトルを更新しない。すなわち、N(n+1,f)=N(n,f)となる。

なお、ノイズスペクトル推定部１４は、パワースペクトルの平均値pを算出する代わりに、全ての周波数帯域のパワースペクトルのうちの最大値を求め、その最大値を閾値Thrと比較してもよい。
また、特に入力音声信号に含まれるノイズが白色ノイズである場合、フレーム間でのノイズのパワースペクトルの相関性が無い。そこでノイズスペクトル推定部１４は、最新のフレームと直前のフレーム間における、全ての周波数帯域にわたるパワースペクトルの相互相関値が所定の閾値以下である場合に限り、推定ノイズスペクトルを更新してもよい。なお、所定の閾値は、例えば、0.1とすることができる。

ノイズスペクトル推定部１４は、フレームごとに、推定したノイズスペクトルをゲイン算出部１２に出力するとともに、ノイズスペクトル推定部１４が有するバッファに記憶する。

ゲイン算出部１２は、第１の実施形態と同様に、残響が大きい周波数ほど、再生音声信号のその周波数成分を減衰させるように、周波数ごとのゲインを算出する。本実施形態では、ゲイン算出部１２は、残響特性のスペクトルが大きい周波数ほどゲインが小さくなるように、次式に従ってゲインを算出する。

G(n,f)は、フレームnにおける周波数fのゲインである。またMは、残響特性の周波数スペクトルの平均化に用いられるフレーム数であり、例えば、10〜20に設定される。

ここで、ゲインが小さいほど、再生音声信号にゲインを乗じることにより生じる再生音の歪み量が大きくなるので、その歪み量に起因して再生音声信号の音質も劣化する。

図６は、ゲインと再生音声信号の音質の劣化との関係を示す模式図である。図６において、横軸はゲインを表し、縦軸は音質の劣化度合いを表す。グラフ６００は、再生音声信号にゲインを乗じることにより生じる歪み量に起因する再生音声信号の音質の劣化度合いとゲインとの関係を表す。一方、グラフ６１０は、再生音声信号にゲインを乗じることにより抑制される残響に起因する再生音声信号の音質の劣化度合いとゲインとの関係を表す。グラフ６００に示されるように、ゲインが大きくなるにつれて、すなわち、再生音声信号に乗じる減衰率が小さくなるほど、歪み量も小さくなるので、歪み量に起因する音質の劣化度合いも低下する。一方、グラフ６１０に示されるように、ゲインが大きくなるほど、残響も抑制されなくなるので、残響に起因する音質の劣化度合いは大きくなる。そこで、例えば、グラフ６００とグラフ６１０が交差するときのゲインG₀を用いれば、歪み量に起因する音質劣化と残響に起因する音質劣化とのバランスがとれる。

そこで本実施形態では、ゲイン算出部１２は、再生音の歪み量が再生音声信号に対する残響音の大きさの比を表す残響量よりも大きいほど、再生音声信号の減衰率を小さくするようゲインを補正して、歪み量による劣化度と残響量による劣化度の総和を小さくする。

そのために、ゲイン算出部１２は、次式に従って、再生音声信号のスペクトルの和に対する残響音のスペクトルの和の比を、現在のフレームnの直前の所定数のフレームのそれぞれについて求め、その比を合計することによりフレームnにおける残響量を算出する。

RR(n)は、フレームnにおける残響量である。またLは、残響量の算出に用いられるフレーム数であり、例えば、10〜20に設定される。

さらにゲイン算出部１２は、次式に従って、現在のフレームnの直前の所定数のフレームのそれぞれにおける各周波数のゲインと1との差の総和を合計し、その合計をフレームnにおける歪み量として算出する。

D(n)は、フレームnにおける歪み量である。またLは、歪み量の算出に用いられるフレーム数であり、残響量の算出に用いられるフレーム数と等しいことが好ましい。

歪み量が残響量よりも大きい場合には、ゲインを再生音声信号に乗じることによる再生音声の歪みの方が、残響よりも再生音声の劣化に対する影響が大きいと推定される。逆に、残響量が歪み量よりも大きい場合には、残響の方が、ゲインを乗じることによる再生音声の歪みよりも再生音声の劣化に対する影響が大きいと推定される。そこでゲイン算出部１２は、歪み量に対する残響量の比(RR(n)/D(n))が大きいほど、再生音声信号をより減衰させて残響がより抑制されるように、ゲインを小さくする。逆に、ゲイン算出部１２は、歪み量に対する残響量の比が小さいほど、再生音声信号の減衰量が小さくなるように、ゲインを大きくする。例えば、ゲイン算出部１２は、次式に従って、ゲインを補正する。

ただし、G(n,f)は、フレームnにおける、周波数fについての補正前のゲインであり、G'(n,f)は、補正後のフレームnにおける周波数fについてのゲインである。

また、音声処理装置６１が実装された携帯電話機１の周囲のノイズの音量が大きいほど、残響音は聞こえ難くなる。そして残響が聞こえないなら、残響を抑制しても再生音の音質は殆ど改善されず、逆に残響の抑制による再生音の歪み量だけ再生音声信号の音質が劣化する。そこで、ノイズのスペクトルが大きいほど、ゲイン算出部１２は、再生音声信号の減衰量を小さくするように、ゲインを補正する。ゲイン算出部１２は、例えば次式に従って、ゲインを補正する。

G"(n,f)は、ノイズのスペクトルに基づいて補正された後のフレームnにおける周波数fについてのゲインである。
ゲイン算出部１２は、補正されたゲインG"(n,f)を補正部１３へ出力する。

補正部１３は、第１の実施形態による補正部１３と同様の処理を実行することにより、再生音声信号を補正する。ただし補正部１３は、（４）式において、G'(f)の代わりにゲイン算出部１２から受け取ったG"(n,f)を再生音声信号のスペクトルX(n,f)に乗じる。

図７は、第２の実施形態による音声処理装置６１により実行される音声処理の動作フローチャートである。
残響特性推定部１１は、再生音声信号と、スピーカ８で再生された再生音声信号をマイクロホン４により集音して得られた入力音声信号とから、適応フィルタを用いて残響特性を表す伝達関数W(n,f)を求める（ステップＳ２０１）。さらに残響特性推定部１１は、伝達関数W(n,f)を再生音声信号のスペクトルY(n,f)に乗じることにより残響スペクトルRv(n,f)を算出する（ステップＳ２０２）。残響特性推定部１１は、伝達関数W(n,f)及び残響スペクトルRv(n,f)を、フレームごとにゲイン算出部１２へ出力する。

またノイズスペクトル推定部１４は、入力音声信号に基づいて、フレームごとにノイズのスペクトルを推定する（ステップＳ２０３）。そしてノイズスペクトル推定部１４は、フレームごとに、ノイズのスペクトルをゲイン算出部１２へ出力する。

ゲイン算出部１２は、所定数のフレームの伝達関数W(n,f)の周波数ごとの平均値の逆数をゲインG(n,f)として求める（ステップＳ２０４）。さらにゲイン算出部１２は、そのゲインG(n,f)を、直前の所定数のフレームについてのゲインによる再生音声信号の歪み量と残響量との比に従って補正する（ステップＳ２０５）。ゲイン算出部１２は、歪み量と残響量との比によって補正されたゲインを、再生音声信号のスペクトルとノイズのスペクトルとの信号対雑音比(Signal to Noise Ratio, SNR)に従ってさらに補正する（ステップＳ２０６）。そしてゲイン算出部１２は、補正されたゲインG"(n,f)を補正部１３へ出力する。

補正部１３は、再生音声信号を周波数領域の信号に変換することで再生音スペクトルを求め、その再生音スペクトルにゲインG"(n,f)を乗じることで、推定された残響が大きい周波数ほど再生音スペクトルのその周波数成分を減衰させる（ステップＳ２０７）。そして補正部１３は、補正された再生音スペクトルを時間領域の信号に変換することで、補正された再生音声信号を算出する（ステップＳ２０８）。そして音声処理装置６１は、その再生音声信号をデジタル／アナログ変換器７を介してスピーカ８へ出力し、音声信号処理を終了する。なお、音声処理装置６１は、ステップＳ２０５の処理とステップＳ２０６の処理の順序を入れ替えてもよい。

以上に説明してきたように、第２の実施形態による音声処理装置は、再生音の歪み量と残響量の比に応じてゲインを補正する。そのため、この音声処理装置は、ゲインを乗じることにより生じる歪みによる再生音声信号の劣化と残響音による再生音声信号の劣化との総和が小さくなるように、再生音声信号を補正できる。またこの音声処理装置は、ノイズが大きく、残響音が聞き取り難い周波数については再生音声信号の減衰量を小さくするので、残響を抑制しつつ、再生音声の劣化を抑制できる。

なお、変形例によれば、ゲイン算出部１２は、ノイズのスペクトルに対する再生音声信号のスペクトルのSNRが所定の閾値より大きい周波数についてのみ、再生音声信号を減衰させ、その他の周波数については再生音声信号を減衰させないように、ゲインを決定してもよい。この場合には、ゲインは、例えば次式のように決定される。

ただしTh_SNRは、閾値であり、例えば、1〜1.2に設定される。

また他の変形例によれば、ゲイン算出部１２は、歪み量と残響量の比に基づいてのみ、ゲインを補正してもよい。この場合には、ゲイン算出部１２は、（１２）式に従って算出されたゲインG'(n,f)を補正部１３へ出力する。
さらに他の変形例によれば、ゲイン算出部１２は、歪み量と残響量の比を、ゲインを補正するために利用せず、ノイズスペクトルと再生音声信号のスペクトルとのSNRに基づいてのみ、ゲインを補正してもよい。この場合には、ゲイン算出部１２は、（９）式に従って算出したゲインG(n,f)で、（１３）式または（１４）式の右辺のG'(n,f)を置換することにより算出されるゲインG"(n,f)を補正部１３へ出力すればよい。

さらに他の変形例によれば、ゲイン算出部１２は、歪み量D(n)に起因する再生音声信号の音質劣化の度合いと残響量RR(n)に起因する再生音声信号の音質劣化の度合いとの差が小さくなるように、ゲインを補正してもよい。
この場合、ゲイン算出部１２は、歪み量D(n)に起因する再生音声信号の音質劣化の度合いDegsdを、予め定められた関係式に従って推定してもよい。同様に、ゲイン算出部１２は、残響量RR(n)に起因する再生音声信号の音質劣化の度合いDegrevを、予め定められた関係式に従って推定してもよい。これらの関係式を表すパラメータ、あるいは、歪み量D(n)と音質劣化度Degsdとの関係を表す参照テーブル及び残響量RR(n)と音質劣化度Degrevとの関係を表す参照テーブルは、例えば、ゲイン算出部１２が有する不揮発性の半導体メモリに予め記憶される。そしてゲイン算出部１２は、これらの参照テーブルを参照することにより、歪み量D(n)及び残響量RR(n)に対応する音質劣化度Degsd、Degrevを求める。
なお、音質劣化の度合いは、例えば、主観的あるいは客観的な音質の評価方法に基づいて求めた、各歪み量及び各残響量の音質を比較することにより予め決定される。例えば、客観的な音質の評価方法として、International Telecommunication Union Telecommunication Standardization Sector(ITU-T)により標準化されているpercceptual evaluation of speech quality(PESQ)またはperceived evaluation of audio quality(PEAQ)が利用できる。

この変形例では、ゲイン算出部１２は、（１２）式の代わりに、次式に従ってゲインを補正できる。

なお、Th_degは閾値であり、例えば、1.4〜1.6に設定される。

なお、上記の各実施形態またはその変形例による音声処理装置は、各種のオーディオ機器、またはパーソナルコンピュータなど、マイクロホン及びスピーカと接続可能な様々な音声再生装置に実装可能である。

さらに、上記の各実施形態またはその変形例による音声処理装置の各部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体あるいは光記録媒体といった、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

図８は、上記の実施形態またはその変形例による音声処理装置の各部の機能を実現するコンピュータプログラムが動作することにより、音声処理装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、オーディオインターフェース部１０２と、通信インターフェース部１０３と、記憶部１０４と、記憶媒体アクセス装置１０５と、プロセッサ１０６とを有する。プロセッサ１０６は、ユーザインターフェース部１０１、オーディオインターフェース部１０２、通信インターフェース部１０３、記憶部１０４及び記憶媒体アクセス装置１０５と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、音声処理を開始させる操作信号をプロセッサ１０６へ出力する。

オーディオインターフェース部１０２は、コンピュータ１００を、マイクロホン及びスピーカ（図示せず）と接続するためのインターフェース回路を有する。そしてオーディオインターフェース部１０２は、プロセッサ６から受け取った、残響を抑制すべく補正された際瀬員音声信号をスピーカへ出力する。あるいは、オーディオインターフェース部１０２は、マイクロホンから受け取った入力音声信号をプロセッサ１０６へ渡す。

通信インターフェース部１０３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１０３は、通信ネットワークに接続された他の機器から、再生音声信号を取得し、プロセッサ１０６へ渡す。また通信インターフェース部１０３は、プロセッサ１０６から受け取った、入力音声信号を通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０４は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０４は、プロセッサ１０６上で実行される、音声処理を実行するためのコンピュータプログラム、及び音声処理で利用される様々なデータを記憶する。

記憶媒体アクセス装置１０５は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０７にアクセスする装置である。記憶媒体アクセス装置１０５は、例えば、記憶媒体１０７に記憶された、プロセッサ１０６上で実行される音声処理用のコンピュータプログラムを読み込み、プロセッサ１０６に渡す。

プロセッサ１０６は、上記の各実施形態の何れかまたは変形例による音声処理用コンピュータプログラムを実行することにより、スピーカを介して出力しようとする再生音声信号を、残響が大きい周波数ほど減衰させる。そしてプロセッサ１０６は、補正された音声信号をオーディオインターフェース部１０２を介してスピーカへ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の音声信号と、音声出力部により再生された該第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定する残響特性推定部と、
前記残響特性が大きい周波数ほど、前記第１の音声信号の当該周波数の成分に対する減衰率を大きくするゲイン算出部と、
周波数ごとに前記減衰率に応じて前記第１の音声信号を減衰させる補正部と、
を有する音声処理装置。
（付記２）
前記ゲイン算出部は、前記減衰率を乗じることによる前記第１の音声信号の歪み量と、前記残響特性の大きさを示す残響量の比を算出し、当該比が大きいほど、前記減衰率を大きくする、付記１に記載の音声処理装置。
（付記３）
前記ゲイン算出部は、前記歪み量による前記第１の音声信号の音質の第１の劣化度と、前記残響量による前記第１の音声信号の音質の第２の劣化度とを推定し、前記第１の劣化度と前記第２の劣化度との総和を小さくするように前記残響特性に基づいて求められた前記減衰率を補正する、付記２に記載の音声処理装置。
（付記４）
前記ゲイン算出部は、前記第１の劣化度が前記第２の劣化度よりも大きい場合、前記残響特性に基づいて求められた前記減衰率を低下させ、一方、前記第１の劣化度が前記第２の劣化度よりも小さい場合、前記残響特性に基づいて求められた前記減衰率を増加させる、付記３に記載の音声処理装置。
（付記５）
前記第２の音声信号に含まれる、ノイズ成分の周波数スペクトルを推定するノイズスペクトル推定部をさらに有し、
前記ゲイン算出部は、前記ノイズ成分が大きい周波数ほど、前記残響特性に基づいて求められた前記減衰率を低下させる、付記１〜４の何れか一項に記載の音声処理装置。
（付記６）
前記第２の音声信号に含まれる、ノイズ成分の周波数スペクトルを推定するノイズスペクトル推定部をさらに有し、
前記ゲイン算出部は、前記第１の音声信号のスペクトルが前記ノイズ成分のスペクトルよりも大きい周波数における前記減衰率を、前記第１の音声信号のスペクトルが前記ノイズ成分のスペクトル以下の周波数における前記減衰率よりも大きくする、付記１〜４の何れか一項に記載の音声処理装置。
（付記７）
第１の音声信号と、音声出力部により再生された該第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定し、
前記残響特性が大きい周波数ほど、前記第１の音声信号の当該周波数の成分に対する減衰率を大きくし、
周波数ごとに前記減衰率に応じて前記第１の音声信号を減衰させる、
ことを含む音声処理方法。
（付記８）
第１の音声信号と、音声出力部により再生された該第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定し、
前記残響特性が大きい周波数ほど、前記第１の音声信号の当該周波数の成分に対する減衰率を大きくし、
周波数ごとに前記減衰率に応じて前記第１の音声信号を減衰させる、
ことをコンピュータに実行させる音声処理用コンピュータプログラム。

１ 携帯電話機
２ 制御部
３ 通信部
４ マイクロホン
５ アナログ／デジタル変換器
６、６１ 音声処理装置
７ デジタル／アナログ変換器
８ スピーカ
９ 記憶部
１１ 残響特性推定部
１２ ゲイン算出部
１３ 補正部
１４ ノイズスペクトル推定部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ オーディオインターフェース部
１０３ 通信インターフェース部
１０４ 記憶部
１０５ 記憶媒体アクセス装置
１０６ プロセッサ
１０７ 記憶媒体

Claims (6)

1. 第１の音声信号と、音声出力部により再生された該第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定する残響特性推定部と、
   前記残響特性が大きい周波数ほど、前記第１の音声信号の当該周波数の成分に対する減衰率を大きくするゲイン算出部と、
   周波数ごとに前記減衰率に応じて前記第１の音声信号を減衰させる補正部と、
   を有する音声処理装置。
2. 前記ゲイン算出部は、前記減衰率を乗じることによる前記第１の音声信号の歪み量と、前記残響特性の大きさを示す残響量の比を算出し、当該比が大きいほど、前記減衰率を大きくする、請求項１に記載の音声処理装置。
3. 前記ゲイン算出部は、前記歪み量による前記第１の音声信号の音質の第１の劣化度と、前記残響量による前記第１の音声信号の音質の第２の劣化度とを推定し、前記第１の劣化度と前記第２の劣化度との総和を小さくするように前記残響特性に基づいて求められた前記減衰率を補正する、請求項２に記載の音声処理装置。
4. 前記第２の音声信号に含まれる、ノイズ成分の周波数スペクトルを推定するノイズスペクトル推定部をさらに有し、
   前記ゲイン算出部は、前記ノイズ成分が大きい周波数ほど、前記残響特性に基づいて求められた前記減衰率を低下させる、請求項１〜３の何れか一項に記載の音声処理装置。
5. 前記第２の音声信号に含まれる、ノイズ成分の周波数スペクトルを推定するノイズスペクトル推定部をさらに有し、
   前記ゲイン算出部は、前記第１の音声信号のスペクトルが前記ノイズ成分のスペクトルよりも大きい周波数における前記減衰率を、前記第１の音声信号のスペクトルが前記ノイズ成分のスペクトル以下の周波数における前記減衰率よりも大きくする、請求項１〜３の何れか一項に記載の音声処理装置。
6. 第１の音声信号と、音声出力部により再生された該第１の音声信号を音声入力部により集音した音を表す第２の音声信号とから周波数ごとの残響特性を推定し、
   前記残響特性が大きい周波数ほど、前記第１の音声信号の当該周波数の成分に対する減衰率を大きくし、
   周波数ごとに前記減衰率に応じて前記第１の音声信号を減衰させる、
   ことを含む音声処理方法。

Images