JP2016042132A - 音声処理装置、音声処理方法、並びにプログラム - Google Patents

Abstract

【課題】雑音を適切に除去する。
【解決手段】音声を集音する集音部と、集音部により集音された音声信号を用いて、抽出対象となる音声を強調する音声強調部と、集音部により集音された音声信号を用いて、抽出対象となる音声を減衰する音声減衰部と、周囲の雑音環境を推定する雑音環境推定部と、音声強調部からの音声強調信号と音声減衰部からの音声減衰信号を用いたポストフィルタ処理を行うポストフィルタ部とを備え、ポストフィルタ部は、雑音環境推定部による雑音環境に応じて、雑音除去のための処理の強弱を設定する。本技術は、音声認識処理を行う装置、例えば、携帯電話機に適用できる。
【選択図】図３

Description

本技術は、音声処理装置、音声処理方法、並びにプログラムに関する。詳しくは、抽出したい音声を、適切に雑音を除去して抽出することができる音声処理装置、音声処理方法、並びにプログラムに関する。

近年、音声を使ったユーザインターフェースが普及しつつある。音声を使ったユーザインターフェースは、例えば、携帯電話機（スマートホンなどと称される機器）において、電話をかけるときや情報検索のときなどに用いられている。

しかしながら、雑音が多い環境下で用いられると、雑音の影響で、ユーザが発した音声が正確に解析できず、誤った処理が実行されてしまう可能性があった。そこで、特許文献１においては、雑音の影響を低減させ、所望の音声を抽出することが提案されている。

特開２００９−４９９９８号公報

特許文献1においては、ポストフィルタ手段が備えられ、このポストフィルタ手段は、MAP（最大事後確率）最適化を行い、このフィードバックループは、雑音がゼロになるように動作する構成とされている。このような構成の場合、例えば、複数点音源雑音（非点音源雑音）、拡散性雑音があると、出力信号にミュージカルノイズが発生する可能性が高い。

ミュージカルノイズが発生すると、聴感上の違和感が発生するだけでなく音声認識性能が劣化してしまう。点音源雑音、複数点音源雑音、拡散性雑音などの雑音の種類によらず、ミュージカルノイズなどが発生しないように、適切に雑音を除去できるようにすることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、適切に雑音を除去し、所望とされる音声を抽出することができるようにするものである。

本技術の一側面の音声処理装置は、音声を集音する集音部と、前記集音部により集音された音声信号を用いて、抽出対象となる音声を強調する音声強調部と、前記集音部により集音された音声信号を用いて、前記抽出対象となる音声を減衰する音声減衰部と、周囲の雑音環境を推定する雑音環境推定部と、前記音声強調部からの音声強調信号と前記音声減衰部からの音声減衰信号を用いたポストフィルタ処理を行うポストフィルタ部とを備え、前記ポストフィルタ部は、前記雑音環境推定部による前記雑音環境に応じて、雑音除去のための処理の強弱を設定する。

前記雑音環境推定部は、前記集音部により集音された前記音声を用いて、前記雑音環境を推定するようにすることができる。

前記集音部は、複数のマイクロホンを備え、前記雑音環境推定部は、前記複数のマイクロホンのぞれぞれで集音された信号同士の相関を求め、前記相関の値を前記雑音環境の推定結果とするようにすることができる。

前記雑音環境推定部は、前記音声強調信号と前記音声減衰信号を用いて、前記雑音環境を推定するようにすることができる。

前記音声強調信号の振幅スペクトルと前記音声減衰信号の振幅スペクトルの相関を算出し、前記相関の値を前記雑音環境の推定結果とするようにすることができる。

前記雑音環境推定部は、外部から入力される情報に基づき、前記雑音環境を推定するようにすることができる。

前記外部から入力される情報は、ユーザにより供給された周囲の雑音環境に関する情報、位置情報、時間情報の少なくとも１つの情報であるようにすることができる。

前記音声強調信号と前記音声減衰信号を用いて、発話区間を推定する発話区間推定部をさらに備え、前記発話区間推定部により、発話区間ではないと推定された区間において、前記雑音環境推定部は、前記雑音環境の推定を行うようにすることができる。

前記音声強調部は、加算型ビームフォーミング、Delay and Sumビームフォーミング、または適応型ビームフォーミングを用いて、前記音声強調信号を生成するようにすることができる。

前記音声減衰部は、減算型ビームフォーミング、Nullビームフォーミング、または適応型Nullビームフォーミングを用いて、前記音声減衰信号を生成するようにすることができる。

前記雑音環境推定部による推定結果に基づいて、前記集音部を構成するマイクロホンの本数、および前記音声強調部と前記音声減衰部に入力される本数を変更するようにすることができる。

前記変更は、起動時、または動作中に行われるようにすることができる。

本技術の一側面の音声処理方法は、集音部により音声を集音し、前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、周囲の雑音環境を推定し、前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行うステップを含み、前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む。

本技術の一側面のプログラムは、集音部により音声を集音し、前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、周囲の雑音環境を推定し、前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行うステップを含み、前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む処理をコンピュータに実行させる。

本技術の一側面の音声処理装置、音声処理方法、並びにプログラムにおいては、音声が集音され、集音された音声信号が用いられて、抽出対象となる音声が強調された音声強調信号が生成され、抽出対象となる音声が減衰された音声減衰信号が生成され、周囲の雑音環境が推定され、音声強調信号と音声減衰信号を用いたポストフィルタ処理が行われる。ポストフィルタ処理は、推定された雑音環境に応じて、雑音除去のための処理の強弱が設定される。

本技術の一側面によれば、適切に雑音を除去し、所望とされる音声を抽出することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術が適用される音声処理装置の一実施の形態の構成を示す図である。 音源について説明するための図である。 第１-１の音声処理装置の内部構成を示す図である。 第１-１の音声処理装置の動作について説明するためのフローチャートである。 第１-１の音声処理装置の動作について説明するためのフローチャートである。 時間周波数変換部の処理について説明するための図である。 音声強調部の処理について説明するための図である。 音声減衰部の処理について説明するための図である。 発話区間検出部の処理について説明するための図である。 雑音環境推定部の処理について説明するための図である。 ポストフィルタ部での補正について説明するための図である。 ポストフィルタ部での補正について説明するための図である。 ポストフィルタ部での補正について説明するための図である。 音声認識率が向上することについて説明するための図である。 第１-２の音声処理装置の内部構成を示す図である。 雑音環境推定部の構成について説明するための図である。 第１-２の音声処理装置の動作について説明するためのフローチャートである。 第１-２の音声処理装置の動作について説明するためのフローチャートである。 第１-３の音声処理装置の内部構成を示す図である。 第１-３の音声処理装置の動作について説明するためのフローチャートである。 第１-３の音声処理装置の動作について説明するためのフローチャートである。 第２-１の音声処理装置の内部構成を示す図である。 ポストフィルタ部の構成について説明するための図である。 第２-１の音声処理装置の動作について説明するためのフローチャートである。 第２-１の音声処理装置の動作について説明するためのフローチャートである。 第２-１の音声処理装置の他の動作について説明するためのフローチャートである。 第２-１の音声処理装置の他の動作について説明するためのフローチャートである。 第２-２の音声処理装置の内部構成を示す図である。 第２-２の音声処理装置の動作について説明するためのフローチャートである。 第２-２の音声処理装置の動作について説明するためのフローチャートである。 第２-２の音声処理装置の他の動作について説明するためのフローチャートである。 第２-２の音声処理装置の他の動作について説明するためのフローチャートである。 第２-３の音声処理装置の内部構成を示す図である。 第２-３の音声処理装置の動作について説明するためのフローチャートである。 第２-３の音声処理装置の動作について説明するためのフローチャートである。 第２-３の音声処理装置の他の動作について説明するためのフローチャートである。 第２-３の音声処理装置の他の動作について説明するためのフローチャートである。 第３-１の音声処理装置の内部構成を示す図である。 第３-１の音声処理装置の動作について説明するためのフローチャートである。 第３-１の音声処理装置の動作について説明するためのフローチャートである。 第３-１の音声処理装置の他の動作について説明するためのフローチャートである。 第３-１の音声処理装置の他の動作について説明するためのフローチャートである。 第３-２の音声処理装置の内部構成を示す図である。 第３-２の音声処理装置の動作について説明するためのフローチャートである。 第３-２の音声処理装置の動作について説明するためのフローチャートである。 第３-２の音声処理装置の他の動作について説明するためのフローチャートである。 第３-２の音声処理装置の他の動作について説明するためのフローチャートである。 第３-３の音声処理装置の内部構成を示す図である。 第３-３の音声処理装置の動作について説明するためのフローチャートである。 第３-３の音声処理装置の動作について説明するためのフローチャートである。 第３-３の音声処理装置の他の動作について説明するためのフローチャートである。 第３-３の音声処理装置の他の動作について説明するためのフローチャートである。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．音声処理装置の外観の構成
２．音源について
３．第１の音声処理装置の内部構成と動作（第１−１乃至第１−３の音声処理装置）
４．第２の音声処理装置の内部構成と動作（第２−１乃至第２−３の音声処理装置）
５．第３の音声処理装置の内部構成と動作（第３−１乃至第３−３の音声処理装置）
６．記録媒体について

＜音声処理装置の外観の構成＞
図１は、本技術が適用される音声処理装置の外観の構成を示す図である。本技術は、音声信号を処理する装置に適用できる。例えば、携帯電話機（スマートホンなどと称される機器も含む）、ゲーム機のマイクロホンからの信号を処理する部分、ノイズキャンセリングヘッドホンやイヤホンなどに適用できる。また、ハンズフリー通話、音声対話システム、音声コマンド入力、ボイスチャットなどを実現するアプリケーションを搭載した装置にも適用できる。

また本技術が適用される音声処理装置は、携帯端末であっても良いし、所定の位置に設置されて用いられる装置であっても良い。また、メガネ型の端末や、腕などに装着する端末であり、ウェアラブル機器などと称される機器にも適用できる。

ここでは、携帯電話機（スマートホン）を例に挙げて説明を続ける。図１は、携帯電話機１０の外観の構成を示す図である。携帯電話機１０の一面には、スピーカ２１、ディスプレイ２２、およびマイクロホン２３が備えられている。

スピーカ２１とマイクロホン２３は、音声通話を行うときに用いられる。ディスプレイ２２は、さまざまな情報を表示する。ディスプレイ２２は、タッチパネルであっても良い。

マイクロホン２３は、ユーザの発話した音声を集音する機能を有し、後述する処理の対象となる音声が入力される部分である。マイクロホン２３は、エレクトレットコンデンサマイクロホン、MEMSマイクロホンなどである。またマイクロホン２３のサンプリングは、例えば 16000Hz である。

また、図１では、マイクロホン２３は、１本だけ図示してあるが、後述するように、２本以上備えられる。図３以降では、複数のマイクロホン２３を集音部として記載する。集音部には、２本以上のマイクロホン２３が含まれる。

マイクロホン２３の携帯電話機１０上での設置位置は、一例であり、図１に示したような下部の中央部分に設置位置が限定されることを示すわけではない。例えば、図示はしないが、携帯電話機１０の下部の左右に、それぞれ１本ずつマイクロホン２３が設けられていたり、携帯電話機１０の側面など、ディスプレイ２２とは異なる面に設けられていたりしても良い。

マイクロホン２３の設置位置や、本数は、マイクロホン２３が設けられている機器により異なり、機器毎に適切な設置位置に設置されていれば良い。

＜音源について＞
図２を参照し、以下の説明で用いる“音源”という用語について説明を加える。図２Ａは、点音源を説明するための図である。中央部分にマイクロホン５１が位置する。このマイクロホン５１に集音される音を発生するのが、音源６１であるとする。

点音源とは、空間中にある音源であり、点として近似できる音源である。例えば、１人のユーザが話している音声、テレビジョン受像機やオーディオなどのスピーカから発せられる音などは、点音源からの音となる。

図２Ｂは、非点音源（複数点音源）を説明するための図である。図２Ａと同じく、中央部分にマイクロホン５１が位置し、音源６２から音が発せられている状態であるが、音源６２は点として近似できない音源である。非点音源は、例えば、車の走行音であり、車の走行音は、車の４本のタイヤからそれぞれ音が発せられる。このような音源は、点に近似できず、ある大きさを有する領域から音が発せられる音源である。

非点音源とは、空間中にある音源で、点として近似できない音源である。例えば、上記した車の走行音などの他に、空調、ファンノイズなどがある。

図２Ｃは、拡散性音源を説明するための図である。図２Ａと同じく、中央部分にマイクロホン５１が位置しているが、その周りに複数の音源６３がある。拡散性音源とは、音源が無数に存在している状況や、反射や残響により音源が無数に存在している状況と同じ状況になっているときであり、音の波面があらゆる方向に拡散している状態のときの音源である。

点音源から発せられる音が雑音である場合、点音源からの雑音を取り除き、所望とする音声を抽出するのは比較的容易であると考えられる。しかしながら、非点音源や拡散性音源から発せられる音が雑音である場合、それらの音源から全ての雑音を取り除き、所望とする音声を抽出するのは、点音源からの雑音を取り除く場合と比較して困難であると考えられる。

しかしながら、例えば、音声によるユーザインターフェースの場合、抽出したい音声に、点音源の雑音が混ざるとき、非点音源からの雑音が混ざるとき、拡散性音源の雑音が混ざるときなど、さまざまな状況が考えられ、それらさまざまな状況に対応できる必要がある。

換言すれば、点音源、非点音源、拡散性音源のいずれかの音源に特化した雑音の除去処理であると、特化していない音源に対する雑音除去の性能が劣化してしまうため、さまざまな雑音に対して適切に対応できる必要がある。そこで、以下に、さまざまな雑音に対して適切に対応できる音声処理装置について説明を加える。

＜第１の音声処理装置の内部構成と動作＞
＜第１−１の音声処理装置の内部構成と動作＞
図３は、第１−１の音声処理装置１００の構成を示す図である。音声処理装置１００は、携帯電話機１０の内部に備えられ、携帯電話機１０の一部を構成する。図３に示した音声処理装置１００は、集音部１０１、雑音環境推定部１０２、時間周波数変換部１０３、音声方位推定部１０４、音声強調部１０５、音声減衰部１０６、発話区間検出部１０７、ポストフィルタ部１０８、および時間周波数逆変換部１０９から構成されている。

なお、携帯電話機１０には、電話機として機能するための通信部や、ネットワークに接続する機能なども有しているが、ここでは、音声処理に係わる音声処理装置１００の構成を図示し、他の機能については、図示および説明を省略する。

集音部１０１は、複数のマイクロホン２３を備え、図３に示した例では、マイクロホン２３−１とマイクロホン２３−２を備えている。なおここでは、集音部１０１は、２本のマイクロホン２３を備えているとして説明を続けるが、集音部１０１には、２本以上のマイクロホン２３が備えられていても良い。

後述する第２、第３の音声処理装置は、２本以上のマイクロホン２３が備えられている例を挙げて説明を行う。また、２本以上のマイクロホン２３が備えられていると、後述するビームフォーミングなどの処理により得られる結果の精度を向上させることが可能である。

集音部１０１により集音された音声信号は、時間周波数変換部１０３と雑音環境推定部１０２に供給される。雑音環境推定部１０２には、発話区間検出部１０７からの情報も供給される。時間周波数変換部１０３は、供給された時間領域の信号を周波数領域の信号に変換し、音声方位推定部１０４、音声強調部１０５、および音声減衰部１０６にそれぞれ供給する。

音声方位推定部１０４は、音源の方向を推定する。音声方位推定部１０４は、ユーザが発話した音声が、集音部１０１に対してどの方向から来たのかを推定する。音声方位推定部１０４により推定された方位に関する情報は、音声強調部１０５と音声減衰部１０５に供給される。

音声強調部１０５は、時間周波数変換部１０３から供給されたマイクロホン２３−１の音声信号と、マイクロホン２３−２の音声信号、および音声方位推定部１０４により推定された方位の情報を用いて、ユーザが発話したと推定される音声が強調される処理を行う。

音声減衰部１０６は、時間周波数変換部１０３から供給されたマイクロホン２３−１の音声信号と、マイクロホン２３−２の音声信号、および音声方位推定部１０４により推定された方位の情報を用いて、ユーザが発話したと推定される音声が減衰される処理を行う。

音声強調部１０５と音声減衰部１０６からそれぞれ出力された音声データは、発話区間検出部１０７とポストフィルタ部１０８に供給される。発話区間検出部１０７は、供給された音声データから、ユーザが発話したと推定される区間を検出する。

ユーザが発話したとされる区間を発話区間とし、それ以外の区間を非発話区間とする。発話区間は、音声信号と雑音信号がある区間であり、非発話区間は、雑音信号がある区間となる。

発話区間検出部１０７からの情報は、ポストフィルタ部１０８と雑音環境推定部１０２に供給される。雑音環境推定部１０２は、非発話区間における集音部１０１からの音声信号を用いて、雑音の環境を推定する。雑音の環境とは、雑音の多い環境下であるのか否か、除去しやすい雑音のみの環境下であるか否かなどであり、例えば、図２を参照して説明した音源に関する情報とすることができる。

具体的には、雑音の環境とは、雑音を発しているのが点音源である環境、点音源ではない（非点音源または拡散性音源である）環境などである。後述するように、雑音環境推定部１０２は、音源数を具体的に推定するのではなく、どの程度雑音がある環境であるかの度合いを表す値を算出し、ポストフィルタ部１０８に供給する。

ポストフィルタ部１０８は、音声強調部１０５からの音声強調信号、音声減衰部１０６からの音声減衰信号、発話区間検出部１０７からの発話区間に関する情報、および雑音環境推定部１０２からの雑音環境に関する情報の供給を受け、これらの信号や情報を用いたポストフィルタ処理を行う。

後述するように、ポストフィルタ部１０８は、これらの信号や情報を用いて、雑音の環境に応じた適切なポストフィルタの処理を行うことができる。ポストフィルタ部１０８で処理された信号は、時間周波数逆変換部１０９に供給される。時間周波数逆変換部１０９では、供給された周波数帯域の信号を、時間領域の信号に変換し、図示していない後段の処理部に出力する。

図４，図５のフローチャートを参照し、図３に示した第１−１の音声処理装置１００の動作について説明する。

ステップＳ１０１において、集音部１０１のマイクロホン２３−１とマイクロホン２３−２のそれぞれにより、音声信号が集音される。なおここで集音される音声は、ユーザが発した音声、雑音、それらが混ざった音などである。

ステップＳ１０２において、入力された信号がフレーム毎に切り出される。切り出し時のサンプリングは、例えば、16000Hzで行われる。ここでは、マイクロホン２３−１から切り出されたフレームの信号を信号ｘ₁（ｎ）とし、マイクロホン２３−２から切り出されたフレームの信号を信号ｘ₂（ｎ）とする。

切り出された信号ｘ₁（ｎ）と信号ｘ₂（ｎ）は、それぞれ雑音環境推定部１０２と時間周波数変換部１０３にそれぞれ供給される。

ステップＳ１０３において、雑音環境推定部１０２は、供給された信号ｘ₁（ｎ）と信号ｘ₂（ｎ）を、バッファに保存する。雑音環境推定部１０２は、発話区間検出部１０７で、非発話区間と検出された区間において雑音環境を推定するため、発話区間検出部１０７による検出結果の供給を受け、その検出結果が、非発話区間であるとの判断がされるまで、供給された信号に対する処理を開始することができない。そのために、雑音環境推定部１０２に供給された信号ｘ₁（ｎ）と信号ｘ₂（ｎ）は、バッファに一旦保存される。

バッファは、図２には図示していが、雑音環境推定部１０２に含まれる構成とされていても良いし、雑音環境推定部１０２とは別に設けられ、他の部分と共用されるような構成としても良い。また、バッファに保存された信号ｘ₁（ｎ）と信号ｘ₂（ｎ）は、発話区間検出部１０７での検出結果が、発話区間である場合には、破棄されるようにすることで、バッファサイズを小さくすることができる。

ステップＳ１０４において、時間周波数変換部１０３は、供給された信号ｘ₁（ｎ）と信号ｘ₂（ｎ）を、それぞれ時間周波数信号に変換する。図６Ａを参照するに、時間周波数変換部１０３には、時間領域の信号ｘ₁（ｎ）と信号ｘ₂（ｎ）が入力される。信号ｘ₁（ｎ）と信号ｘ₂（ｎ）は、それぞれ別々に周波数領域の信号に変換される。

ここでは、時間領域の信号ｘ₁（ｎ）は、周波数領域の信号ｘ₁（ｆ，ｔ）に変換され、時間領域の信号ｘ₂（ｎ）は、周波数領域の信号ｘ₂（ｆ，ｔ）に変換されるとして説明を続ける。（ｆ，ｔ）のｆは、周波数帯域を示すインデックスであり、（ｆ，ｔ）のｔは、フレームインデックスである。

図６Ｂに示すように、時間周波数変換部１０３は、入力された時間領域の信号ｘ₁（ｎ）または信号ｘ₂（ｎ）（以下、信号ｘ₁（ｎ）を例に挙げて説明する）をフレームサイズＮサンプル毎にフレーム分割し、窓関数をかけ、ＦＦＴ（Fast Fourier Transform）によって周波数領域の信号に変換する。フレーム分割では、Ｎ／２サンプルずつ取り出す区間がシフトされる。

図６Ｂでは、フレームサイズＮを５１２とし、シフトサイズを２５６に設定したときを例に図示してある。すなわちこの場合、入力された信号ｘ₁（ｎ）は、５１２のフレームサイズＮでフレーム分割され、窓関数がかけられ、ＦＦＴ演算が実行されることで、周波数領域の信号に変換される。

図４のフローチャートの説明に戻り、ステップＳ１０４において、時間周波数変換部１０３により周波数領域の信号に変換された信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）は、音声方位推定部１０４、音声強調部１０５、音声減衰部１０６にそれぞれ供給される。

ステップＳ１０５において、音声方位推定部１０４は、時間周波数信号を用いて、音源方位推定を行う。音源方位の推定は、例えば、MUSIC（Multiple signal classification）法に基づいて行うことが可能である。MUSIC法に関しては、下記文献に記載がある方法を適用することができる。

R.O.Schmidt, “Multiple emitter location and signal parameter estimation,” IEEE Trans. Antennas Propagation,vol.AP-34,no.3,pp.276〜280,Mqrch 1986.

音声方位推定部１０４の推定結果を、Ｍ（ｆ，ｔ）とする。推定結果Ｍ（ｆ，ｔ）は、音声強調部１０５と音声減衰部１０６にそれぞれ供給される。

ステップＳ１０６において、音声強調部１０５は、音声強調処理を行う。またステップＳ１０７において、音声減衰部１０６は、音声減衰処理を行う。ここで、図７、図８を参照して、音声強調部１０５で行われる音声強調処理と、音声減衰部１０６で行われる音声減衰処理について説明する。音声強調処理と音声減衰処理は、それぞれ、ビームフォーミングを用いた処理により行うことができる。

ビームフォーミングとは、複数のマイクロホン（マイクアレー）を用いて集音し、各マイクロホンに入力された位相を調整して加算や減算を行う処理である。このビームフォーミングによれば、特定の方向の音を強調したり、減衰したりすることができる。

音声強調処理は、加算型ビームフォーミングで行うことができる。Delay and Sum（以下、ＤＳと記述する）は、加算型ビームフォーミングであり、目的とする音方位の利得を強調するビームフォーミングである。

音声減衰処理は、減衰型ビームフォーミングで行うことができる。Null Beam Forming（以下、ＮＢＦと記述する）は、減衰型ビームフォーミングであり、目的とする音方位の利得を減衰するビームフォーミングである。

まず、図７を参照し、音声強調部１０５で行われる音声強調処理について説明する。ここでは、加算型のビームフォーミングであるＤＳビームフォーミングを用いた場合を例に挙げて説明を続ける。図７Ａに示すように、音声強調部１０５は、時間周波数変換部１０３からの信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）を入力し、音声方位推定部１０４からの推定結果Ｍ（ｆ，ｔ）を入力する。そして、処理結果として、信号Ｄ（ｆ，ｔ）を発話区間検出部１０７とポストフィルタ部１０８に出力する。

音声強調部１０５が、ＤＳビームフォーミングに基づき音声強調処理を行う場合、図７Ｂに示すような構成を有する。音声強調部１０５は、遅延器１３１と加算器１３２を含む構成とされる。図７Ｂには、時間周波数変換部１０３の図示は省略してある。

マイクロホン２３−１からの音声信号は、加算器１３２に供給され、マイクロホン２３−２からの音声信号は、遅延器１３１により所定の時間だけ遅延された後、加算器１３２に供給される。マイクロホン２３−１とマイクロホン２３−２は、所定の距離だけ離されて設置されているため、経路差の分だけ、伝搬遅延時間が異なる信号として受信される。

ビームフォーミングでは、所定の方向から到来する信号に関する伝搬遅延を補償するように、一方のマイクロホン２３からの信号を遅延させる。その遅延を行うが、遅延器１３１である。図７Ｂに示したＤＳビームフォーミングにおいては、マイクロホン２３−２側に遅延器１３１が備えられている。

図７Ｂにおいて、マイクロホン２３−１側を−９０°、マイクロホン２３−２側を９０°、マイクロホン２３−１とマイクロホン２３−２を通る軸に対して垂直方向であり、マイクロホン２３の正面側を０°とする。また図７Ｂ中、マイクロホン２３に向かう矢印は、所定の音源から発せられた音の音波を表す。

図７Ｂに示したような方向から、音波が来た場合、マイクロホン２３に対して、０°から９０°の間に位置する音源から音波が来たことになる。このようなＤＳビームフォーミングによると、図７Ｃに示したような指向特性が得られる。指向特性とは、ビームフォーミングの出力利得を方位毎にプロットしたものである。

図７Ｂに示したＤＳビームフォーミングを行う音声強調部１０５において加算器１３２の入力では、所定の方向、この場合、０°から９０°の間にある方向から到来する信号の位相が一致し、その方向から到来した信号は強調される。一方、所定の方向以外の方向から到来した信号は、互いに位相が一致しないため、所定の方向から到来した信号ほど強調されることはない。

このようなことから、図７Ｃに示したように、音源が存在する方位のところで、利得が高くなる。音声強調部１０５から出力される信号Ｄ（ｆ，ｔ）は、図７Ｃに示したような指向特性となる。また、音声強調部１０５から出力される信号Ｄ（ｆ，ｔ）は、ユーザが発した音声であり、抽出したい音声（以下、適宜、目的音声と記述する）と、抑制したい雑音とが混じった信号である。

音声強調部１０５に入力される信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）に含まれる目的音声よりも、音声強調部１０５から出力される信号Ｄ（ｆ，ｔ）の目的音声は強調されたものとなる。また、音声強調部１０５に入力される信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）に含まれる雑音よりも、音声強調部１０５から出力される信号Ｄ（ｆ，ｔ）の雑音は低減されたものとなる。

さらに、音声強調処理について説明を加える。音声強調部１０５は、上記したように信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）を入力し、目的音声が強調された信号Ｄ（ｆ，ｔ）を出力する。ＤＳビームフォーミングにより音声強調処理が行われる場合、入力された信号と出力される信号との関係は、次式（１）で表すことができる。

式（１）において、Ｘ（ｆ）は、マイクロホン２３の数Ｌの入力信号ベクトルを表し、Ｗ（ｆ）は、ＤＳビームフォーミングのフィルタ係数ベクトルであり、上付の“．Ｔ”は、転置を表す。また式（１）におけるＸ（ｆ，ｔ）と、Ｗ（ｆ，ｔ）は、それぞれ次式（２）として表される。またＤＳビームフォーミングのフィルタ係数は、次式（３）により得ることができる

式（３）において、Ｌは、マイクロホンの本数、ｆ_Sは、サンプリング周波数、Ｎは、ＤＦＴ点数、ｄは、マイクロホンの間隔、ｃは、音速、をそれぞれ表す定数である。

音声強調部１０５は、式（１）乃至（３）に値を代入することで、音声強調処理を実行する。なお、ここでは、ＤＳビームフォーミングを例に挙げて説明したが、適応ビームフォーミング等、他のビームフォーミングや、ビームフォーミング以外の手法による音声強調処理でも、本技術に適用することはできる。

次に、図８を参照し、音声減衰部１０６で行われる音声減衰処理について説明する。ここでは、減算型のビームフォーミングであるＮＢＦ（Nullビームフォーミング）を用いた場合を例に挙げて説明を続ける。

図８Ａに示すように、音声減衰部１０６は、時間周波数変換部１０３からの信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）を入力し、音声方位推定部１０４からの推定結果Ｍ（ｆ，ｔ）を入力する。そして、処理結果として、信号Ｄ（ｆ，ｔ）を発話区間検出部１０７とポストフィルタ部１０８に出力する。

音声減衰部１０６が、NULLビームフォーミングに基づき音声減衰処理を行う場合、図８Ｂに示すような構成を有する。音声減衰部１０６は、遅延器１４１と減算器１４２を含む構成とされる。図８Ｂには、時間周波数変換部１０３の図示は省略してある。

マイクロホン２３−１からの音声信号は、減算器１４２に供給され、マイクロホン２３−２からの音声信号は、遅延器１４１により所定の時間だけ遅延された後、減算器１４２に供給される。Nullビームフォーミングを行う構成と、図７を参照して説明したＤＳビームフォーミングを行う構成は、基本的に同じであり、加算器１３２にて加算するか、減算器１４２にて減算するかの違いがあるだけである。よって、ここでは、構成に関する詳細な説明は省略する。また、図７と同一の部分に関する説明は適宜省略する。

図８Ｂに矢印で示したような方向から、音波が来た場合、マイクロホン２３に対して、０°から９０°の間に位置する音源から音波が来たことになる。このようなNULLビームフォーミングによると、図８Ｃに示したような指向特性が得られる。

図８Ｂに示したNULLビームフォーミングを行う音声減衰部１０６において減算器１４２の入力では、所定の方向、この場合、０°から９０°の間にある方向から到来する信号の位相が一致し、その方向から到来した信号は減衰される。理論的には、減衰された結果、０となる。一方、所定の方向以外の方向から到来した信号は、互いに位相が一致しないため、所定の方向から到来した信号ほど減衰されることはない。

このようなことから、図８Ｃに示したように、音源が存在する方位のところで、利得が低くなる。音声減衰部１０６から出力される信号Ｎ（ｆ，ｔ）は、図８Ｃに示したような指向特性となる。また、音声減衰部１０６から出力される信号Ｎ（ｆ，ｔ）は、目的音声がキャンセルされ、雑音が残った信号である。

音声減衰部１０６に入力される信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）に含まれる目的音声よりも、音声減衰部１０６から出力される信号Ｎ（ｆ，ｔ）の目的音声は減衰されたものとなる。また、音声減衰部１０６に入力される信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）に含まれる雑音は、音声減衰部１０６から出力される信号Ｎ（ｆ，ｔ）の雑音と同程度のレベルのものとなる。

さらに、音声減衰処理について説明を加える。音声減衰部１０６は、上記したように信号ｘ₁（ｆ，ｔ）と信号ｘ₂（ｆ，ｔ）を入力し、目的音声が減衰された信号Ｎ（ｆ，ｔ）を出力する。NULLビームフォーミングにより音声減衰処理が行われる場合、入力された信号と出力される信号との関係は、次式（４）で表すことができる。

式（４）において、Ｘ（ｆ）は、マイクロホン２３の数Ｌの入力信号ベクトルを表し、Ｆ（ｆ）は、NULLビームフォーミングのフィルタ係数ベクトルであり、上付の“．Ｔ”は、転置を表す。また式（１）におけるＸ（ｆ，ｔ）と、Ｆ（ｆ，ｔ）は、それぞれ次式（５）として表される。またNULLビームフォーミングのフィルタ係数は、次式（６）により得ることができる

式（６）において、Ｌは、マイクロホンの本数、ｆ_Sは、サンプリング周波数、Ｎは、ＤＦＴ点数、ｄは、マイクロホンの間隔、ｃは、音速、をそれぞれ表す定数である。

音声減衰部１０６は、式（４）乃至（６）に値を代入することで、音声減衰処理を実行する。なお、ここでは、NULLビームフォーミングを例に挙げて説明したが、適応Nullビームフォーミング等、他のビームフォーミングや、ビームフォーミング以外の手法による音声減衰処理でも、本技術に適用することはできる。

図４のフローチャートに説明を戻す。ステップＳ１０６において、音声強調部１０５において、音声強調処理が行われ、ステップＳ１０７において、音声減衰部１０６において、音声減衰処理が行われると、それらの結果は、発話区間検出部１０７とポストフィルタ部１０８に供給される。

ステップＳ１０８において、発話区間検出部１０７は、発話区間の検出（Voice Activity Detection : VAD）を行う。この検出について、図９を参照して説明する。図９Ａに示したように、発話区間検出部１０７には、音声強調部１０５からの音声強調信号Ｄ（ｆ，ｔ）と、音声減衰部１０６からの音声減衰信号Ｎ（ｆ，ｔ）が入力される。発話区間検出部１０７からは、検出結果Ｖ（ｔ）が出力される。

図９Ｂの上段は、入力信号の波形の一例を表し、中段は、音声強調信号Ｄ（ｆ，ｔ）の波形の一例を示し、下段は、音声減衰信号Ｎ（ｆ，ｔ）の波形の一例を示す。なお、図９Ｂに示した波形は、時間領域の波形を表しているが、上記したように、音声処理装置１００では、周波数領域の信号に変換してから処理しているため、実際の処理は、周波数領域で行われる。ここでは、説明のため、時間領域の波形を示し説明を続ける。

図９Ｂの上段に示した入力信号の波形は、例えば、マイクロホン２３−１により集音された音声の波形であるとする。中央部分において、波形が大きくなっている部分が、発話区間であり、その前後が非発話区間である。発話区間は、ユーザが発話している区間であり、非発話区間は、ユーザが発話していない区間である。

図９Ｂの中段に示した音声強調信号は、入力信号と比べて、発話区間では信号が大きくなり、非発話区間では信号が小さくなる。図９Ｂの下段に示した音声減衰信号は、入力信号と比べて、発話区間では、信号は小さくなり、非発話区間では信号は略同じとなる。

図９Ｂの中段に示した音声強調信号と下段に示した音声減衰信号とを、図中四角で囲った区間１７１と区間１７２において比較する。区間１７１は、非発話区間内の区間であるが、非発話区間で、音声強調信号と音声減衰信号を比較、例えば、差分を取ると、その差分は小さい。これに対して、区間１７２は、発話区間内の区間であるが、発話区間で、音声強調信号と音声減衰信号を比較、例えば、差分を取ると、その差分は大きい。

このことから、音声強調信号と音声減衰信号の差分から、発話区間であるか、非発話区間であるかを識別することができる。具体的には、以下の式（７）に基づく演算に基づき算出される値を、次式（８）に基づく判定で発話区間と非発話区間との検出結果を生成し、出力する。

式（７）において、ｆ_aとｆ_bは、それぞれ発話区間検出の計算に用いられる周波数帯域の下限と上限である。この周波数帯域として、音声成分が多く含まれる帯域を設定することで、良い性能が得られる。例えば、下限として、200Hz、上限として、2000Hzが設定される。

式（８）において、Thrは、閾値を表し、例えば、１０ｄｂ程度に設定される。式（８）に示したように、式（7）で算出された値ｖａｄの値が、閾値Ｔｈｒより小さい場合、検出結果Ｖ（ｔ）として０が出力され、値ｖａｄの値が、閾値Ｔｈｒより大きい場合、検出結果Ｖ（ｔ）として１が出力される。

検出結果Ｖ（ｔ）が０の場合、非発話区間（雑音信号のみ存在）であると判定されたことを示し、検出結果Ｖ（ｔ）が１の場合、発話区間（音声信号と雑音信号が存在）であると判定されたことを示すとする。

なお、ここでは、このように設定されているとして説明を続けるが、検出結果Ｖ（ｔ）として０または１が出力される場合に、本技術の適用範囲が限定されることを示す記載ではない。

図４のフローチャートの説明に戻り、ステップＳ１０８において、発話区間検出部１０７において、発話区間の検出が行われると、ステップＳ１０９（図５）に処理が進められる。ステップＳ１０９において、雑音環境推定部１０２は、現フレームは発話区間であるか否かを判定する。

この判定は、発話区間検出部１０７から供給される検出結果Ｖ（ｔ）を参照することで行われる。具体的には、検出結果Ｖ（ｔ）が“０”であれば、ステップＳ１０９において、発話区間ではないと判定され、“１”であれば、ステップＳ１０９において、発話区間であると判定される。

ステップＳ１０９において、現フレームは発話区間ではないと判定された場合、換言すれば、非発話区間であると判定された場合、ステップＳ１１０に処理が進められる。ステップＳ１１０において、雑音環境推定部１０２により、フレームで切り出された入力信号が用いられて、雑音環境が推定される。

図１０を参照し、雑音環境推定部１０２における雑音環境の推定について説明する。図１０Ａに示したように、雑音環境推定部１０２には、集音部１０１のマイクロホン２３−１で集音された音の信号ｘ₁（ｎ）と、マイクロホン２３−２で集音された音の信号ｘ₂（ｎ）が入力される。また、雑音環境推定部１０２には、発話区間検出部１０７から検出結果Ｖ（ｔ）が入力される。

雑音環境推定部１０２は、供給された検出結果Ｖ（ｔ）を参照して、非発話区間であると判定したとき、信号ｘ₁（ｎ）と信号ｘ₂（ｎ）を用いて、雑音環境を推定する。その推定結果は、相関係数Ｃ（ｔ）として、ポストフィルタ部１０８に供給される。相関係数Ｃ（ｔ）は、次式（９）で算出される。

式（９）において、Ｎはフレームサイズを表す。式（９）に基づく演算により、集音された信号の相関が算出される。式（９）により算出される相関係数Ｃ（ｔ）は、−１．０乃至１．０の値とされる。

相関係数Ｃ（ｔ）は、マイクロホン２３（集音部１０１）の周囲にある音源の数と関連がある。このことについて、図１０Ｂを参照して説明する。図１０Ｂに示したグラフは、横軸が音源数を表し、縦軸が相関係数を表す。

音源数が１の場合、相関係数は、１に近い値となる。音源数が５の場合、相関係数は、０．８に近い値となる。音源数が２０の場合、相関係数は、０．６に近い値となる。そして、音源数が無限、換言すれば、音源数が無数の雑音または拡散性雑音の場合、相関係数は、０に近い値となる。

このように、マイクロホンの周囲にある音源の数と、複数のマイクロホンから得られる信号同士の相関値には、関連がある。具体的には、図１０Ｂに示したように、音源数が増えると、相関係数が小さくなるという関連性がある。そのような関連性が用いられて、雑音環境が推定される。

ここでは、非発話区間において、このような相関係数が算出されるため、算出される相関係数は、雑音を出している音源数に関連している。よって、相関係数から、雑音を出している音源が多い環境であるか、少ない環境であるかを推定することができる。

そして、雑音を出している音源が多い環境の場合、そのような雑音を抑制するための処理を強くかけると、ミュージカルノイズなとど称されるノイズが発生する可能性が高くなる。よって、雑音を出している音源が多い環境であると判断される場合には、雑音を抑制するための処理を軽めにかけ、ミュージカルノイズなどが発生しないように制御される。

一方で、雑音を出している音源が少ない環境の場合、そのような雑音を抑制するための処理を強くかけても、ミュージカルノイズなとど称されるノイズが発生する可能性は低い。よって、雑音を出している音源が少ない環境であると判断される場合には、雑音を抑制するための処理を強めにかけ、雑音が抑制され、所望とする音声が抽出されるように制御される。

このような雑音環境に応じて雑音を抑制するための処理の強度を制御するために、ステップＳ１１１において、ポストフィルタで用いられる雑音補正係数が算出される。ここで、雑音補正係数について説明を加える。

図１１Ａは、非音声区間（雑音のみ存在する区間）の音声減衰信号のスペクトルと、音声強調信号のスペクトルを示したグラフである。図１１Ｂは、音声区間（音声と雑音が存在する区間）の音声減衰信号のスペクトルと、音声強調信号のスペクトルを示したグラフである。図１１Ａ、図１１Ｂに示したグラフは、横軸が周波数を表し、縦軸が利得を表す。

図１１Ｂにおいて、点線の楕円で囲んだ部分（周波数帯域）に、取得したい音声成分が存在している。図１１Ａに示した非音声区間のグラフから、周波数により、音声減衰信号と音声強調信号とには差があることがわかる。図１１Ｂを参照するに、取得したい音声成分がある部分では、音声強調信号の利得が高くなっていることがわかる。

このようなことから、音声強調信号から音声減衰信号を引き去ることで、取得したい音声成分を残すことができる。また単に音声強調信号から音声減衰信号を引き去るだけだと、図１１Ａに示したように、雑音のみが存在する区間であっても、音声強調信号と音声減衰信号には差があるため、その差分を考慮する必要がある。

また図１２を参照して説明するように、雑音の音源数、換言すれば、雑音環境も考慮する必要がある。図１２Ａは、雑音が点音源１個の場合の音声減衰信号と音声強調信号との指向特性を重ねて図示したグラフである。図１２Ｂは、雑音が拡散性音源（拡散性雑音環境下）の場合の音声減衰信号と音声強調信号との指向特性を重ねて図示したグラフである。

図１２Ａ、図１２Ｂともに、マイクロホン２３に対して真正面（０°）に抽出したい音源がある場合を示している。また図１２Ａ、図１２Ｂには、ノイズ（雑音）を出している音源の位置も示した。

図１２Ａを参照するに、音声減衰信号と音声強調信号とに含まれるノイズには、利得に差分ａが生じる。この差分ａを、後述する雑音補正係数により補正する。図１２Ａに示したように、雑音が点音源１個の場合、補正すべきポイントは、雑音がある部分となり、雑音補正係数も一意に設定することが可能であると考えられる。

図１２Ｂを参照するに、拡散性雑音環境下、または非点音源雑音環境下では、補正すべきポイントが多数存在し、さらにそれらが時々刻々と変化する可能性がある。図１２Ｂに示した例では、ノイズの音源が４箇所有り、それぞれの箇所での差分ｂ、差分ｃ、差分ｄ、差分ｅをそれぞれ補正する補正係数が必要となり、一意に決定することは困難である。また、これらの差分ｂ乃至ｅは、時々刻々に変化する可能性があるため、さらに、一意に決定することは困難である。

本技術においては、雑音環境を推定し、雑音環境に応じて雑音補正係数自体を補正するため、雑音環境に適した補正を行うことが可能となる。すなわちポストフィルタ部１０８では、以下に説明するように補正（雑音の抑制）を行う。

図１３Ａを参照するに、ポストフィルタ部１０８には、音声強調部１０５から音声強調信号Ｄ（ｆ，ｔ）と。音声減衰部１０６から音声減衰信号Ｎ（ｆ，ｔ）が供給される。また、ポストフィルタ部１０８には、発話区間検出部１０７から、発話区間検出結果Ｖ（ｔ）と、雑音環境推定部１０２から雑音環境の推定結果Ｃ（ｔ）（相関係数Ｃ（ｔ））が供給される。

ポストフィルタ部１０８は、これら供給された信号や情報を用いて、ポストフィルタ処理を実行し、その結果として、推定音声スペクトルＹ（ｆ，ｔ）を出力する。この推定音声スペクトルＹ（ｆ，ｔ）は、雑音が除去された音声となっている。

ポストフィルタ部１０８が行うポストフィルタ処理は、例えば、スペクトルサブトラクション法やMMSE-STSA法などを適用することができる。スペクトルサブトラクション法については、以下の文献に記載があり、本技術に適用することができる。

S.F.Boll, “Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans.Acoustics,Speech, and Signal Processing,vol.27.no,2,pp.113〜120,1979.

また、MMSE-STSA法については、以下の文献に記載があり、本技術に適用することができる。
Y.Ephraim and D.Malah, “Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator.”IEEE Trans.Acoustics,Speech.,end Signal Processing, vol.32,no.6,pp.1109〜1121,1984.

ここでは、スペクトルサブトラクション法をベースとしたポストフィルタ処理を適用した場合を例に挙げて説明する。単純なスペクトルサブトランクション法では、音声強調信号Ｄ（ｆ，ｔ）の振幅スペクトルから、音声減衰信号Ｎ（f，t）の振幅スペクトルを減算する。しかしながら、図１１、図１２を参照して説明したように、音声強調信号Ｄ（ｆ，ｔ）の振幅スペクトルと音声減衰信号Ｎ（f，t）の振幅スペクトルには、誤差があるため、雑音スペクトルの補正を行う必要がある。

雑音スペクトルの補正は、発話区間検出部１０７において非発話区間（ｖ（ｔ）＝０）と判定された区間において、次式（１０）、次式（１１）に基づいて行われる。

式（１０）、式（１１）において、Ｇ（ｆ，ｔ）は、補正スペクトルを得るための補正係数であり、過去ｋフレームのデータを平滑化することで算出される値である。Ｈ（ｆ，ｔ）は、補正係数Ｇ（ｆ，ｔ）と音声減衰信号Ｎ（ｆ，ｔ）を乗算することで得られる雑音補正係数である。

続いて、音声強調信号Ｄ（ｆ，ｔ）と、推定された雑音補正係数Ｈ（ｆ，ｔ）から、次式（１２）に基づき、推定音声スペクトルＹ（ｆ，ｔ）が得られる。

数（１２）において、aは、サブストラクション係数であり、１．０〜２．０程度に設定される値である。cは、フロアリング係数で、０．０１〜０．５程度に設定される値である。bは、雑音環境推定結果に応じて変化する値であり。以下のような動きをする。

Ｃ（t）の絶対値が大きい場合：雑音は少ない数の点音源である可能性が高いため、強く雑音除去をかける
Ｃ（t）の絶対値が小さい場合：非点音源、または拡散性音源の雑音である可能性が高いため、弱く雑音除去をかける

このように、雑音環境に応じて、雑音除去の強弱を設定し、雑音除去に係わる処理を実行するため、雑音の変化に対しても、高精度な雑音除去を実現することが可能となる。

式（１２）において、係数ｂの値は、例えば、次式（１３）のように求めるようにすることができる。

式（１３）によると、係数ｂの値は、相関係数Ｃ（ｔ）の絶対値となる。このように、相関係数Ｃ（ｔ）を、そのまま用いても良い。または、図１３Ｂに示したようなグラフ、またはグラフに基づくテーブルを用いて係数ｂの値が求められるようにしても良い。さらに、係数ｂは、外部から読み込まれる（記録媒体から読み込まれる）ようにしても良いし、必要なときに算出されるようにしても良い。

図１３Ｂに示したグラフは、横軸が相関係数Ｃ（ｔ）であり、縦軸が係数ｂである。係数ｂは、相関係数Ｃ（ｔ）を用いて求められる所定の関数として設定されるようにしても良い。

また係数ｂの値は、１．０以下の範囲に収める必要はなく、本技術を適用した音声処理装置の使用用途、例えば、ハンズフリー通話、音声認識などの使用用途により、適切な値に設定することができる値である。

このように、本技術によれば、雑音環境に応じて、雑音除去の強弱を設定し、雑音除去に係わる処理を実行するため、さまざまな雑音環境に対しても、高精度な雑音除去を実現することが可能となる。

図５のフローチャートの説明に戻り、ステップＳ１１１において、ポストフィルタ部１０８で行われるポストフィルタ処理で用いられる雑音補正係数が算出されると、ステップＳ１１２に処理が進められる。ステップＳ１１２の処理には、ステップＳ１０９において、現フレームは発話区間であると判断されたときにもくる。

ステップＳ１１２において、ポストフィルタ部１０８により、雑音環境に応じたポストフィルタ処理が実行される。

なお、非発話区間がなく、雑音補正係数が算出されなかった場合、ステップＳ１１２においては、初期値として設定されている雑音補正係数が用いられてポストフィルタ処理が実行される。

ポストフィルタ部１０８により算出された推定音声スペクトルＹ（ｆ，ｔ）は、時間周波数逆変換部１０９に供給される。時間周波数逆変換部１０９は、ステップＳ１１３において、時間周波数信号を時間信号に変換する。この時間領域の信号に変換される推定音声スペクトルＹ（ｆ，ｔ）は、上記したように、雑音環境に応じた雑音除去された周波数帯域の信号である。

ステップＳ１１４において、時間周波数逆変換部１０９は、フレームをシフトしながら足し合わせ、出力信号ｙ（ｎ）を生成する。図６を参照して説明したように、時間周波数変換部１０３で処理が行われる場合、時間周波数逆変換部１０９では、フレーム毎に逆ＦＦＴが行われ、その結果、出力された５１２サンプルを、２５６サンプルずつシフトしながら重ね合わせることで、出力信号ｙ（ｎ）が生成される。

生成された出力信号ｙ（ｎ）は、ステップＳ１１５において、時間周波数逆変換部１０９から、図示していない後段の処理部に出力される。

このようにして、本技術が適用された音声処理装置１００においては、雑音の環境を推定し、その推定された雑音環境に基づいて、雑音除去の強度を設定するため、雑音環境に応じた適切な雑音除去処理を実行することが可能となる。よって、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

図１４を参照し、本技術を適用した音声処理装置と、本技術を適用しない音声処理装置とで音声認識率がどのように変化するかを実験した結果を、図１４に示す。図１４Ａは、雑音が点音源である場合を想定し、マイクアレーに対して正面に、抽出したい音声を発する音源を設置し、左斜め前方に雑音を発生する１つの音源を設置した状況を示している。

図１４Ｂは、拡散性雑音である場合を想定し、マイクアレーに対して正面に、抽出したい音声を発する音源を設置し、マイクアレーを囲むように、雑音を発生する複数の音源を設置した状況を示している。

図１４Ｃと図１４Ｄは、図１４Ａに示した状況下と図１４Ｂに示した状況下で、それぞれ音声認識率を測定したときの測定結果を示す図である。音声認識率は、所定のフレーズを発話し、正確に認識された確率である。

図１４Ｃ、図１４Ｄにおいて、1micは、1本のマイクで測定したときの結果を表し、ＤＳは、Delay and Sumビームフォーミングのみで測定したときの結果を表し、Conventionalは、雑音環境を考慮せず、ポストフィルタ処理を実行したときの測定結果を表し、Proposedは、図３に示した音声処理装置１００の構成で、雑音環境を考慮してポストフィルタ処理を実行したときの測定結果を表す。

図１４Ｃ，図１４Ｄを参照すると、点音源雑音、拡散性雑音の両方で、本技術を適用した音声処理装置１００の音声認識率が一番高いことがわかる。このことから、上記したように、雑音環境を推定し、推定された雑音環境に応じた雑音除去処理を行うことで、音声認識率が高まることが実証されていることがわかる。

＜第１−２の音声処理装置の内部構成と動作＞
次に、第１−２の音声処理装置の構成と動作について説明する。上記した第１−１の音声処理装置１００（図３）は、集音部１０１から得られた音声信号を用いて、雑音環境を推定したが、第１−２の音声処理装置２００（図１５）は、音声強調部１０５から得られる音声強調信号と音声減衰部１０６から得られる音声減衰信号を用いて雑音環境を推定する点が異なる。

図１５は、第１−２の音声処理装置２００の構成を示す図である。図１５に示した音声処理装置２００において、図３に示した第１−１の音声処理装置１００と同一の機能を有する部分には、同一の符号を付し、その説明は省略する。

図１５に示した音声処理装置２００は、音声強調部１０５からの音声強調信号Ｄ（ｆ，ｔ）と音声減衰部２０６からの音声減衰信号Ｎ（ｆ，ｔ）が、雑音環境推定部２０１にも供給される構成とされ、集音部１０１からの信号は、雑音環境推定部２０１には供給されない構成とされている点が、図３に示した音声処理装置１００とは異なる構成である。

図１６に示すように、雑音音声推定部２０１は、音声強調部１０５からの音声強調信号Ｄ（ｆ，ｔ）と音声減衰部２０６からの音声減衰信号Ｎ（ｆ，ｔ）が供給され、さらに、発話区間検出部１０７から発話区間の検出結果Ｖ（ｔ）が供給されるように構成されている。

雑音環境推定部２０１は、上記した雑音環境推定部１０２（図３）と同じく、供給される信号と情報を用いて、−１．０〜１．０の値Ｃ（ｔ）をポストフィルタ部２０８に供給する。また、雑音環境推定部２０１は、発話区間検出部１０７により検出された非発話区間において、−１．０〜１．０の値Ｃ（ｔ）を算出し、ポストフィルタ部１０８に供給する。

音声強調部１０５から出力される音声強調信号Ｄ（ｆ，ｔ）の振幅スペクトルと音声減衰部１０６から出力される音声減衰信号Ｎ（ｆ，ｔ）の振幅スペクトルは、雑音が点音源であると、その形状が略一致するという傾向がある。また雑音が拡散性である場合には、音声強調信号Ｄ（ｆ，ｔ）の振幅スペクトルと音声減衰信号Ｎ（ｆ，ｔ）の振幅スペクトルは、その形状が一致しないという傾向がある。

そのような傾向を利用し、音声強調信号Ｄ（ｆ，ｔ）の振幅スペクトルと音声減衰信号Ｎ（ｆ，ｔ）の振幅スペクトルの一致度（類似度）により周辺の雑音環境を推定することができる。例えば、フレーム毎の各々の振幅スペクトル間の相関を計算し、その相関値を雑音環境推定部２０１の推定結果Ｃ（ｔ）として出力する構成とすることができる。

このように雑音環境を推定するように構成した場合、メモリなどを省略することが可能となる。図３に示した音声処理装置１００（図３）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持するためのバッファ領域（メモリ）が必要であった。しかしながら音声処理装置２００（図１５）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

このような構成を有する音声処理装置２００の動作について、図１７、図１８のフローチャートを参照して説明する。基本的な動作は、図３に示した音声処理装置１００と同様であるため、同様の動作については、その説明を省略する。

ステップＳ２０１乃至Ｓ２０７（図１７）に示した各処理は、図４に示したステップＳ１０１，Ｓ１０２，Ｓ１０４乃至Ｓ１０８の各処理と同様に行われる。すなわち、第１−１の音声処理装置１００では、ステップＳ１０３において、切り出された信号が、雑音環境推定部１０２中のバッファに保存されるという処理が実行されたが、第１−２の音声処理装置２００では、そのような処理は必要がないため、省略された処理の流れとされている。

ステップＳ２０８乃至Ｓ２１４（図１８）に示した各処理は、図５に示したステップＳ１０９乃至Ｓ１１５の各処理と基本的に同様に行われるが、ステップＳ２０９（ステップＳ１１０に対応する処理）が異なる。

ステップＳ２０８において、現フレームは発話区間ではないと判断された場合、ステップＳ２０９において、雑音環境推定部２０１により、音声強調信号と音声減衰信号が用いられて、雑音環境が推定される。この推定は、上記したように、音声強調信号と音声減衰信号が用いられて行われる。

推定結果は、第１−１の音声処理装置１００の雑音環境推定部１０２と同じく、−１．０〜１．０の値Ｃ（ｔ）がポストフィルタ部１０８に供給されるため、ポストフィルタ部１０８などにおける処理は、第１−１の音声処理装置１００と同様に行うことができる。

このように、第１−２の音声処理装置２００においては、雑音環境を、音声強調部１０５から得られる信号と音声減衰部１０６から得られる信号により推定することができる。第１−２の音声処理装置２００においても、第１−１の音声処理装置１００と同じく、雑音環境を推定し、推定された雑音環境に応じた雑音除去処理を行うことができ、音声認識率など、音声処理の精度を高めることが可能となる。

＜第１−３の音声処理装置の内部構成と動作＞
次に、第１−３の音声処理装置の構成と動作について説明する。上記した第１−１の音声処理装置１００（図３）は、集音部１０１から得られた音声信号を用いて、雑音環境を推定したが、第１−３の音声処理装置３００（図１９）は、外部から入力される情報を用いて雑音環境を推定する点が異なる。

図１９は、第１−３の音声処理装置３００の構成を示す図である。図１９に示した音声処理装置３００において、図３に示した第１−１の音声処理装置１００と同一の機能を有する部分には、同一の符号を付し、その説明は省略する。

図１９に示した音声処理装置３００は、外部から雑音環境を推定するために必要な情報が、雑音環境推定部３０１に供給される構成とされ、集音部１０１からの信号は、雑音環境推定部３０１には供給されない構成とされている点が、図３に示した音声処理装置１００とは異なる構成である。

雑音環境推定部３０１に供給される雑音環境を推定するために必要な情報は、例えば、ユーザにより入力される情報が用いられる。例えば、ユーザに発話を開始する前に、雑音が多い環境であるか否かを選択させ、その選択された情報が入力されるように構成しても良い。

また、GPS（Global Positioning System）などの外部センサの情報から、ユーザがいる位置を判断し、その位置が、騒音が多い環境であるか否かが判断されるようにしても良い。例えば、GPS情報から、室内であると判断される場合には、雑音が少ない環境であると判断し、室外であると判断される場合には、雑音が多い環境であると判断される構成とし、そのような判断に基づく情報が、入力される構成とすることもできる。

また、GPS情報といった位置情報だけでなく、時間情報も、または時間情報が用いられるようにしても良い。例えば、夜などは昼に比べて雑音が少ない可能性が高いため、時間情報から、夜であると判断されるときには、雑音が少ない環境であると判断され、昼であると判断されるときには、雑音が多い環境であると判断されるようにしても良い。

また、これらの情報を組み合わせて雑音環境が推定されるように構成してもよい。また、推定した結果と、ユーザからのフィードバックで、学習が行われるようにし、学習の結果、得られる情報、例えば、静かな環境にいる時間帯などの情報が取得されるようにし、その学習結果が、雑音環境の推定に用いられるようにしても良い。

このような構成を有する音声処理装置３００の動作について、図２０、図２１のフローチャートを参照して説明する。基本的な動作は、図３に示した音声処理装置１００と同様であるため、同様の動作については、その説明を省略する。

ステップＳ３０１乃至Ｓ３０７（図２０）に示した各処理は、図４に示したステップＳ１０１，Ｓ１０２，Ｓ１０４乃至Ｓ１０８の各処理と同様に行われる。

すなわち、第１−１の音声処理装置１００では、ステップＳ１０３において、切り出された信号が、雑音環境推定部１０２中のバッファに保存されるという処理が実行されたが、第１−３の音声処理装置３００では、そのような処理は必要がないため、省略された処理の流れとされている。この処理の流れは、第１−２の音声処理装置２００（図１５）の動作である図１７に示したフローチャートと同一の流れである。

ステップＳ３０８乃至Ｓ３１４（図２１）に示した各処理は、図５に示したステップＳ１０９乃至Ｓ１１５の各処理と基本的に同様に行われるが、ステップＳ３０９（ステップＳ１１０に対応する処理）が異なる。

ステップＳ３０８において、現フレームは発話区間ではないと判断された場合、ステップＳ３０９において、雑音環境推定部２０１により、外部から入力された情報が用いられて、雑音環境が推定される。

推定結果は、第１−１の音声処理装置１００の雑音環境推定部１０２と同じく、−１．０〜１．０の値Ｃ（ｔ）がポストフィルタ部１０８に供給される。ポストフィルタ部１０８などにおける処理は、第１−１の音声処理装置１００と同様に行うことができる。

このように、第１−３の音声処理装置３００においては、雑音環境を、外部から入力される信号により推定することができる。第１−３の音声処理装置３００においても、第１−１の音声処理装置１００と同じく、雑音環境を推定し、推定された雑音環境に応じた雑音除去処理を行うことができ、音声認識率など、音声処理の精度を高めることが可能となる。

また、図３に示した音声処理装置１００（図３）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持するためのバッファ領域（メモリ）が必要であった。しかしながら音声処理装置３００（図１９）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

さらに、第１−３の音声処理装置３００は、第１−１の音声処理装置１００や第１−２の音声処理装置２００で必要とされていた相関計算を行わない構成のため、演算コストを削減することが可能となる。

＜第２の音声処理装置の内部構成と動作＞
＜第２−１の音声処理装置の内部構成＞
図２２は、第２−１の音声処理装置４００の構成を示す図である。音声処理装置４００は、携帯電話機１０の内部に備えられ、携帯電話機１０の一部を構成する。図２２に示した音声処理装置４００は、集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６、発話区間検出部４０７、ポストフィルタ部４０８、および時間周波数逆変換部４０９から構成されている。

このような構成は、第１の音声処理装置と同様であるが、第２の音声処理装置においては、集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６が、処理構成変更指示部４１０に含まれる構成とされている点が第１の音声処理装置と異なる。

上記した第１の音声処理装置は、雑音環境を推定し、推定された雑音環境に応じて、ポストフィルタ部１０８における雑音除去の強弱を制御する構成、動作であった。第２の音声処理装置は、雑音環境を推定し、推定された雑音環境に応じて、処理構成変更指示部４１０内の構成を変更することで、雑音除去の性能を維持したまま消費電力などを低減させる構成、動作である。

集音部４０１は、複数のマイクロホン２３−１乃至２３−Ｎを備える。第２の音声処理装置においては、後述するように、雑音環境に応じて、使用するマイクロホン２３の数を変更するため、２本以上のマイクロホン２３が集音部４０１に含まれている。

図示はしていないが、複数のマイクロホン２３を備える構成とした場合、後段の時間周波数変換部４０３などには、複数のマイクロホン２３のそれぞれからの信号や処理された信号を入力するための線が接続されている。また、時間周波数変換部４０３などには、複数のマイクロホン２３のそれぞれからの信号や処理された信号を、それぞれ処理できる構成とされている。

集音部４０１は、複数のマイクロホン２３が含まれるが、例えば、拡散性雑音があると推定されたときには、複数のマイクロホン２３（２本以上のマイクロホン２３）が用いられて処理が行われ、点音源の雑音が１つあると推定されたときには、２本のマイクロホン２３が用いられて処理が行われる。

集音部４０１には、マイクロホン２３が含まれるが、マイクロホン２３以外にも、ADコンバータ、サンプリングレートコンバータなど（いずれも不図示）が含まれる。雑音環境に応じて、マイクロホン２３の数を減らすことができる構成とすることで、ADコンバータやサンプリングレートコンバータなどへの電力供給をカットすることができ、消費電力を抑えることが可能となる。

また、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、および音声減衰部４０６の各部も、複数のマイクロホン２３で取得される音声を処理できる構成とされているため、マイクロホン２３の本数が、２本になることで、入力数が２まで減ることになる。音声の方位を推定するための処理や、ビームフォーミングでは、多くの積和演算が発生するため入力数が減ることで、演算量を削減することが可能となる。この点からも、消費電力を低減させることが可能となる。

音声処理装置４００の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６、発話区間検出部４０７、および時間周波数逆変換部４０９は、複数の音声を処理する点は異なるが、基本的に、音声処理装置１００（図３）の集音部１０１、雑音環境推定部１０２、時間周波数変換部１０３、音声方位推定部１０４、音声強調部１０５、音声減衰部１０６、発話区間検出部１０７、ポストフィルタ部１０８、および時間周波数逆変換部１０９と同様の処理を行うため、その詳細な説明は省略する。

ポストフィルタ部４０８は、第１の音声処理装置のポストフィルタ部１０８と異なり、雑音環境推定部４０２からの推定結果Ｃ（t）が入力されないため、図２３に示すような構成となっている。

ポストフィルタ部１０８は、音声強調部４０５から音声強調信号Ｄ（ｆ，ｔ）と音声減衰部４０６から音声減衰信号Ｎ（f，t）を入力する。また、ポストフィルタ部１０８は、発話区間検出部４０７から、発話区間検出結果Ｖ（t）を入力する。

ポストフィルタ部１０８は、入力された信号と情報を用いて、次式（１４）に基づき、推定音声スペクトルＹ（ｆ，ｔ）を出力する。この推定音声スペクトルＹ（ｆ，ｔ）は、雑音が除去された音声となっている。

式（１４）において、aは、サブトラクション係数であり、１．０〜２．０程度の値が設定される。またcは、フロアリング係数であり、０．０１〜０．５程度の値が設定される。

＜第２−１の音声処理装置の第１の動作＞
このような構成を有する音声処理装置４００の動作について、図２４、図２５のフローチャートを参照して説明する。基本的な動作は、図４に示した第１−１の音声処理装置１００と同様であるため、同様の動作については、その説明を省略する。

ステップＳ４０１乃至Ｓ４０８（図２４）に示した各処理は、図４に示したステップＳ１０１乃至Ｓ１０８の各処理と同様に行われる。

すなわち、第１−１の音声処理装置１００の集音部１０１、雑音環境推定部１０２、時間周波数変換部１０３、音声方位推定部１０４、音声強調部１０５、音声減衰部１０６、発話区間検出部１０７の各部で行われる処理と同様に、第２−１の音声処理装置４００の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６、発話区間検出部４０７は、処理を行う。

ただし、音声処理装置４００においては、処理時が実行される時点で使用するとして設定されている本数のマイクロホン２３からそれぞれ取得された信号が処理されるため、２以上の音声信号が処理されることもある。

ステップＳ４０９（図２５）において、現フレームは発話区間ではないと判断された場合、ステップＳ４１０において、雑音環境推定部１０２により、フレームで切り出された入力信号が用いられて、雑音環境が推定される。

図１０を参照して説明したように、雑音環境推定部４０２において、マイクロホン２３から取得された音声信号が用いられ、雑音環境の推定が行われる。この推定は、図３に示した音声処理装置１００がステップＳ１１０（図５）において実行する推定と同様に行われるため、その説明は省略する。

ステップＳ４１０において、雑音環境が推定されると、ステップＳ４１１において、雑音数が少ない環境であるか否かが判断される。例えば、雑音環境の推定結果は、上記した式（９）に基づく演算により、集音された信号の相関が算出されるが、その算出される相関係数Ｃ（ｔ）は、−１．０乃至１．０の値とされる。

例えば、閾値を設定しておき、相関係数Ｃ（ｔ）が所定の閾値以上である場合と以下である場合とで、雑音数が多い環境であるか否かが判断されるようにしても良い。閾値としては、例えば、０．８が設定され、相関係数Ｃ（ｔ）の絶対値が、０．８以上である場合、マイクロホン２３の周囲の雑音数が少なく、点音源雑音であると推定されるようにすることができる。

ステップＳ４１１において、雑音数が少ない環境であると判断された場合、ステップＳ４１２に処理が進められる。ステップＳ４１２において、処理構成変更指示部４１０内の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６の入力本数を削減する設定に、変更される。

すなわち、雑音数が少ない環境であるため、使用するマイクロホン２３の本数を少なくしても、雑音を除去するための処理の精度が落ちることなく、処理できると判断された場合であるため、処理構成変更指示部４１０内に指示が出され、処理する信号を削減する設定にされる。

このような処理が実行されることで、雑音数が少ない環境下では、雑音を除去するための精度を落とすことなく、消費電力を低減させることが可能となる。

なおここでは、処理構成変更指示部４１０内の各部が、消費電力を低減させる設定にされる場合を例にあげて説明を行うが、その逆の設定であっても良い。すなわち、消費電力を低減させる設定が通常の設定であり、雑音数が多い環境下であると判断されたときには、精度を向上させるための設定に切り換えられるようにしても良い。

例えば、ステップＳ５１０において、雑音数が多い環境であるか否かが判断されるようにし、雑音数が多い環境であると判断されたときには、処理構成変更指示部４１０内の各部が、消費電力の低減よりも、精度を向上させるための設定、すなわち、２以上のマイクロホン２３を用いて処理する入力本数を増やす設定に変更されるようにしても良い。

または、推定された雑音環境に応じて、使用されるマイクロホン２３の本数が設定されるようにしても良い。例えば、４本のマイクロホン２３が集音部４０１に備えられている音声処理装置４００において、雑音数が多い、中程度、少ないの３つの環境にわけ、雑音数が多いと判断される時には、４本のマイクロホン２３が使用される設定にし、雑音数が中程度と判断される時には、３本のマイクロホン２３が使用される設定にし、雑音数が少ないと判断される時には、２本のマイクロホン２３が使用される設定にする。

また、雑音数が多い、中程度、少ないの判断は、複数の閾値を設け、雑音環境推定部４０２での推定結果と、複数の閾値を比較し、その比較結果により分類するようにすることができる。このように、雑音数に応じて使用されるマイクロホン２３の本数が設定されるようにしても良い。

ステップＳ４１２において、処理構成変更指示部４１０内の設定が変更されると、ステップＳ４１３に処理が進められ、ポストフィルタ部４０８で用いられる雑音補正係数が算出される。ステップＳ４１３の処理は、ステップＳ１１２（図５）と同様に行われるため、その説明は省略するが、ステップＳ４１３においては、雑音補正係数が算出される時点で使用されているマイクロホン２３の本数に応じた算出が行われる。

一方で、ステップＳ４１１において、雑音数が少ない環境ではないと判断された場合も、ステップＳ４１３に処理が進められる。この場合、使用されているマイクロホン２３の本数に変更などはなく、その時点で設定されている設定で、ポストフィルタ部４０８で用いられる雑音補正係数が算出される。

ステップＳ４１３において、雑音補正係数が算出された場合、または、ステップＳ４０９において、現フレームは、発話区間であると判断された場合、ステップＳ４１４に処理が進められる。

ステップＳ４１４において、ポストフィルタ部１０８によりポストフィルタ処理が実行される。この場合、図２３を参照して説明したように、音声強調部４０５からの音声強調信号Ｄ（ｆ，ｔ）と音声減衰部４０６から音声減衰信号Ｎ（f，t）を用いて、発話区間検出部４０７からの発話区間検出結果Ｖ（t）が発話区間であるとの検出結果を示しているとき、式（１４）に基づき、推定音声スペクトルＹ（ｆ，ｔ）を算出し、後段の時間周波数逆変換部４０９に出力する。この推定音声スペクトルＹ（ｆ，ｔ）は、雑音が除去された音声となっている。

ステップＳ４１５乃至Ｓ４１７において、時間周波数逆変換部４０９で実行される処理は、図５のステップＳ１１３乃至Ｓ１１５において、時間周波数逆変換部１０９（図３）で実行される処理と同様に行われるため、その説明は省略する。

このように、第２−１の音声処理装置４００においては、雑音環境に応じて音声処理装置４００内の構成を変更することができ、雑音環境に適した雑音除去処理を行える構成に変更することができる。よって、雑音が少ない環境などにおいては、消費電力を低減させることが可能となる。

図２４、図２５に示したフローチャートに基づき処理が行われる場合、ステップＳ４１０乃至Ｓ４１３の処理が、音声処理装置４００が動作中に繰り返し行われることになる。よって、雑音環境が変化したときに対応することができる。例えば、音声処理装置４００が動作中、例えば、通話中に、うるさい環境から静かな環境に移動したといったような雑音環境が変化した場合にも、適切な設定に変更し、消費電力を低減させることなどが可能となる。

＜第２−１の音声処理装置の第２の動作＞
図２２に示した音声処理装置４００の他の動作について、図２６、図２７に示したフローチャートを参照して説明する。図２６、図２７に示したフローチャートに基づく動作においては、処理構成変更指示部４１０内の構成を、雑音環境に応じて変更する処理は、システムの起動時に行われる。

システムの起動時とは、例えば、ユーザにより、音声処理装置４００で行う処理の開始が指示されたときなどである。音声処理装置４００で行う処理は、例えば、音声認識用の所定のアプリケーションが起動されたときや、電話がかけられたときなどに開始される。

ステップＳ４５１において、システムが起動され、初期化を実行する必要があるか否かが判断される。ステップＳ４５１において、システムが起動され、初期化を実行する必要があると判断された場合、ステップＳ４５２に処理が進められる。

ステップＳ４５２において、集音部４０１により音声信号が、各マイクロホン２３により取得される。ステップＳ４５３において、入力信号が、フレーム毎に切り出される。このステップＳ４５２の処理とステップＳ４５３の処理は、例えば、図２４のステップＳ４０１、ステップＳ４０２と同様に行うことができる。

ステップＳ４５４において、雑音環境推定部４０２は、フレーム出切り出された入力信号を用いて、雑音環境を推定し、その推定結果が用いられ、ステップＳ４５５において、雑音数が少ない環境であるか否かが判断される。ステップＳ４５５において、雑音数が少ないと判断された場合、ステップＳ４５６に処理が進められる。ステップＳ４５６において、処理構成変更指示部４１０内の各部の設定が変更される。

ステップＳ４５４乃至Ｓ４５６の処理は、ステップＳ４１０乃至Ｓ４１２（図２５）の処理と同様に行われる。すなわち、上記したように、システムの起動時に雑音環境が推定され、静かな環境である場合、処理構成変更指示部４１０内の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６の入力本数を削減する設定に変更される。

ステップＳ４５６において、処理構成変更指示部４１０における変更、設定が行われると、ステップＳ４５７に処理が進められる。この場合、雑音環境に適した設定にされている。

一方で、ステップＳ４５５において、雑音数が少ない環境ではないと判断された場合、ステップＳ４５７に処理が進められる。この場合、初期値として設定されている設定が、処理構成変更指示部４１０内の各部に適用され、処理が開始される。

また、ステップＳ４５１において、システム起動時ではないと判断された場合も、ステップＳ４５７に処理が進められる。音声処理装置４００が動作中である場合、システム起動時ではないと判断され、ステップＳ４５７に処理が進められる。

ステップＳ４５７乃至Ｓ４６４（図２７）の処理は、図２４のステップＳ４０１乃至Ｓ４０８の処理と同様に行われる。すなわち、システム起動時に、初期化の処理が実行され、その後は、初期化により設定された設定で、音声処理が行われる。

ステップＳ４６５（図２７）において、現フレームは、発話区間であるか否かが判断され、発話区間ではないと判断された場合、ステップＳ４６６に処理が進められる。ステップＳ４６６において、ポストフィルタ部４０８のポストフィルタ処理で用いられる雑音補正係数が算出される。

ステップＳ４６６において、雑音補正係数が算出された場合、またはステップＳ４６５において、現フレームは、発話区間であると判断された場合、ステップＳ４６７に処理が進められポストフィルタ部１０８によりポストフィルタ処理が行われる。

ステップＳ４６５乃至Ｓ４６７の処理は、図２５に示したフローチャートのステップＳ４０９乃至Ｓ４１４の処理から、ステップＳ４１０乃至Ｓ４１２の処理を省略した処理となっている。ステップＳ４１０乃至Ｓ４１２の処理は初期化の処理として、ステップＳ４５２乃至Ｓ４５６で実行されているため省略される。

雑音環境推定部４０２における雑音環境の推定は、システム起動時に行われ、システムが起動された後の動作中には行われない。よって、システム起動時に、雑音環境の推定が行われた後、雑音環境推定部４０２における雑音環境の推定処理は停止され、雑音環境推定部４０２への電力の供給なども停止されるようにしても良い。このようにすることで、消費電力を低減させることが可能となる。

ステップＳ４６８乃至Ｓ４７０の各処理は、ステップＳ４１５乃至Ｓ４１７（図２５）と同様に行われる。

このように、第２−１の音声処理装置４００においては、雑音環境に応じて音声処理装置４００内の構成を変更することができ、雑音環境に適した雑音除去処理を行える構成に変更することができる。よって、雑音が少ない環境などにおいては、消費電力を低減させることが可能となる。

＜第２−２の音声処理装置の内部構成＞
次に、第２−２の音声処理装置の構成と動作について説明する。上記した第２−１の音声処理装置４００（図２２）は、集音部４０１から得られた音声信号を用いて、雑音環境を推定したが、第２−２の音声処理装置５００（図２８）は、音声強調部４０５から得られる音声強調信号と音声減衰部４０６から得られる音声減衰信号を用いて雑音環境を推定する点が異なる。このような構成は、図１５に示した音声処理装置２００と同様の構成である。

図２８は、第２−２の音声処理装置５００の構成を示す図である。図２８に示した音声処理装置５００において、図２２に示した第２−１の音声処理装置４００と同一の機能を有する部分には、同一の符号を付し、その説明は省略する。

図２８に示した音声処理装置５００は、音声強調部４０５からの音声強調信号Ｄ（ｆ，ｔ）と音声減衰部４０６からの音声減衰信号Ｎ（ｆ，ｔ）が、雑音環境推定部４０２にも供給される構成とされ、集音部４０１からの信号は、雑音環境推定部４０２には供給されない構成とされている点が、図２２に示した音声処理装置４００とは異なる構成である。

雑音音声推定部５０１には、音声強調部４０５からの音声強調信号Ｄ（ｆ，ｔ）と音声減衰部４０６からの音声減衰信号Ｎ（ｆ，ｔ）が供給され、さらに、発話区間検出部４０７から発話区間の検出結果Ｖ（ｔ）が供給されるように構成されている。

雑音環境推定部５０１は、上記した雑音環境推定部４０２（図２２）と同じく、供給される信号と情報を用いて、−１．０〜１．０の値Ｃ（ｔ）をポストフィルタ部４０８に供給する。雑音環境推定部５０１が行う雑音環境の推定は、図１５に示した第１−２の音声処理装置２００の雑音環境推定部２０１が行う雑音環境の推定と同様に行われる。

このように雑音環境を推定するように構成した場合、メモリなどを省略することが可能となる。図２２に示した音声処理装置４００においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持するためのバッファ領域（メモリ）が必要であった。しかしながら音声処理装置５００（図２８）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

＜第２−２の音声処理装置の第１の動作＞
このような構成を有する音声処理装置５００の動作について、図２９、図３０のフローチャートを参照して説明する。基本的な動作は、図１５に示した音声処理装置２００または図２２に示した音声処理装置４００と同様であるため、同様の動作については、その説明を省略する。

ステップＳ５０１乃至Ｓ５０７（図２９）に示した各処理は、図１７に示したステップＳ２０１乃至Ｓ２０７の各処理と同様に行われる。

ステップＳ５０８乃至Ｓ５１６（図３０）に示した各処理は、図２５に示したステップＳ４０９乃至Ｓ４１７の各処理と基本的に同様に行われるが、ステップＳ５０９（ステップＳ４１０に対応する処理）が異なる。

ステップＳ５０８において、現フレームは発話区間ではないと判断された場合、ステップＳ５０９において、雑音環境推定部５０１により、音声強調信号と音声減衰信号が用いられて、雑音環境が推定される。推定結果は、第２−１の音声処理装置４００の雑音環境推定部４０２と同じく、−１．０〜１．０の値Ｃ（ｔ）として算出され、この値Ｃ（ｔ）と所定の閾値とが比較されることで、雑音数が少ない環境であるか否かが判断される（ステップＳ５１０）。

このような処理が雑音環境推定部５０１により行われるため、ステップＳ５１０以降の処理は、ステップＳ４１２（図２５）以降の処理と同様に行うことができ、処理構成変更指示部４１０などにおける処理は、第２−１の音声処理装置４００と同様に行うことができる。

このように、第２−２の音声処理装置５００においては、雑音環境を、音声強調部４０５から得られる信号と音声減衰部４０６から得られる信号により推定することができる。第２−２の音声処理装置５００においても、第２−１の音声処理装置４００と同じく、雑音環境を推定し、推定された雑音環境に応じた設定で、雑音除去処理を行うことができ、消費電力を低減させることが可能となる。

＜第２−２の音声処理装置の第２の動作＞
図２８に示した音声処理装置５００の他の動作について、図３１、図３２に示したフローチャートを参照して説明する。図３１、図３２に示したフローチャートに基づく動作においては、処理構成変更指示部４１０内の構成を、雑音環境に応じて変更する処理は、システムの起動時に行われる。

ステップＳ５５１において、システムが起動され、初期化を実行する必要があるか否かが判断される。ステップＳ５５１において、システムが起動され、初期化を実行する必要があると判断された場合、ステップＳ５５２に処理が進められる。

ステップＳ５５２において、集音部４０１により音声信号が、各マイクロホン２３により取得される。ステップＳ５５３において、入力信号が、フレーム毎に切り出される。ステップＳ５５４において、時間周波数変換部４０３において、切り出された信号が、時間周波数信号に変換される。

ステップＳ５５５において、音声方位推定部４０４は、時間周波数信号を用いて、音源の方位の推定を行う。ステップＳ５５６において、音声強調部５０５により音声強調処理が行われ、ステップＳ５５７において、音声減衰部５０６により音声減衰処理が行われる。そして、ステップＳ５５８において、雑音環境推定部５０１により、音声強調信号と音声減衰信号が用いられ、雑音環境が推定される。

ステップＳ５５８において推定された結果が参照され、ステップＳ５５９において、雑音数が少ない環境であるか否かが判断され、雑音数が少ない環境であると判断された場合、ステップＳ５６０に処理が進められる。ステップＳ５６０において、処理構成変更指示部４１０内の各部の設定が、消費電力を低減する設定に設定される。

ステップＳ５５２乃至Ｓ５６０の処理は、図２９のステップＳ５０１乃至Ｓ５０６，Ｓ５０９乃至Ｓ５１１（図３０）と同様に行うことができる。ステップＳ５５１乃至Ｓ５６０において、初期化が行われると、ステップＳ５６１に処理が進められる。

このように、システムの起動時に雑音環境が推定され、静かな環境である場合、処理構成変更指示部４１０内の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６の入力本数を削減する設定に変更される。

一方で、ステップＳ５５９において、雑音数が少ない環境ではないと判断された場合、ステップＳ５６１に処理が進められる。この場合、初期値として設定されている設定が、処理構成変更指示部４１０内の各部に適用され、処理が開始される。

また、ステップＳ５５１において、システム起動時ではないと判断された場合も、ステップＳ５６１に処理が進められる。ステップＳ５６１乃至Ｓ５６７（図３２）の処理は、図２９のステップＳ５０１乃至Ｓ５０７の処理と同様に行われる。すなわち、システム起動時に、初期化の処理が実行され、その後は、初期化により設定された設定で、音声処理が行われる。

ステップＳ５６８乃至Ｓ５７３（図３２）の各処理は、図２７に示した第２−１の音声処理装置４００がステップＳ４６５乃至Ｓ４７０において行う処理と同様に行われる。

このように、第２−２の音声処理装置５００においては、雑音環境を、音声強調部４０５から得られる信号と音声減衰部４０６から得られる信号により推定することができる。第２−２の音声処理装置５００においても、第２−１の音声処理装置４００と同じく、雑音環境を推定し、推定された雑音環境に応じた設定で、雑音除去処理を行うことができ、消費電力を低減させることが可能となる。

＜第２−３の音声処理装置の内部構成＞
次に、第２−３の音声処理装置の構成と動作について説明する。上記した第２−１の音声処理装置４００（図２２）は、集音部４０１から得られた音声信号を用いて、雑音環境を推定したが、第２−３の音声処理装置６００（図３３）は、外部から入力される情報を用いて雑音環境を推定する点が異なる。このような構成は、図１９に示した音声処理装置３００と同様の構成である。

図３３は、第２−３の音声処理装置６００の構成を示す図である。図３３に示した音声処理装置６００において、図２２に示した第２−１の音声処理装置４００と同一の機能を有する部分には、同一の符号を付し、その説明は省略する。

図３３に示した音声処理装置６００は、外部から雑音環境を推定するために必要な情報が、雑音環境推定部６０１に供給される構成とされ、集音部４０１からの信号は、雑音環境推定部６０１には供給されない構成とされている点が、図２２に示した音声処理装置４００とは異なる構成である。

また雑音環境推定部６０１に供給される雑音環境を推定するために必要な情報は、第１−３の音声処理装置３００の雑音環境推定部３０１と同じく、例えば、ユーザにより入力される情報、GPSなどの位置情報、時間情報などが用いられる。

＜第２−３の音声処理装置の第１の動作＞
このような構成を有する音声処理装置６００の動作について、図３４、図３５のフローチャートを参照して説明する。基本的な動作は、図２２に示した音声処理装置４００、または図２２８に示した音声処理装置５００と同様であるため、同様の動作については、その説明を省略する。

ステップＳ６０１乃至Ｓ６０７（図３４）に示した各処理は、図２９に示したステップＳ５０１乃至Ｓ５０７の各処理と同様に行われる。すなわち、処理構成変更指示部４１０内の各部と発話区間検出部４０７は、図２８に示した音声処理装置５００の処理構成変更指示部４１０内の各部と発話区間検出部４０７と同様の構成であるため、同様に処理が行われる。

ステップＳ６０８乃至Ｓ６１６（図３５）に示した各処理は、図３０に示したステップＳ５０８乃至Ｓ５１６の各処理と基本的に同様に行われるが、ステップＳ６０９（ステップＳ５０９に対応する処理）が異なる。

ステップＳ６０８において、現フレームは発話区間ではないと判断された場合、ステップＳ６０９において、雑音環境推定部６０１により、外部から入力された情報が用いられて、雑音環境が推定される。

推定結果は、第２−１の音声処理装置４００の雑音環境推定部４０２や第２−２の音声処理装置５００の雑音環境推定部５０１と同じく、−１．０〜１．０の値Ｃ（ｔ）として算出され、この値Ｃ（ｔ）と所定の閾値とが比較されることで、雑音数が少ない環境であるか否かが判断される（ステップＳ６１０）。

このような処理が雑音環境推定部６０１により行われるため、ステップＳ６１０以降の処理は、ステップＳ５１０（図３０）以降の処理と同様に行うことができ、処理構成変更指示部４１０などにおける処理は、第２−２の音声処理装置５００（または第２−１の音声処理装置４００）と同様に行うことができる。

このように、第２−３の音声処理装置６００においては、雑音環境を、外部から入力される信号により推定することができる。第２−３の音声処理装置６００においても、第２−１の音声処理装置４００と同じく、雑音環境を推定し、推定された雑音環境に応じた設定で、雑音除去処理を行うことができ、消費電力を低減させることが可能となる。

＜第２−３の音声処理装置の第２の動作＞
図３３に示した音声処理装置６００の他の動作について、図３６、図３７８に示したフローチャートを参照して説明する。図３６、図３７に示したフローチャートに基づく動作においては、処理構成変更指示部４１０内の構成を、雑音環境に応じて変更する処理は、システムの起動時に行われる。

ステップＳ６５１において、システムが起動され、初期化を実行する必要があるか否かが判断される。ステップＳ６５１において、システムが起動され、初期化を実行する必要があると判断された場合、ステップＳ６５２に処理が進められる。

ステップＳ６５２において、雑音環境推定部５０１により、外部から入力された情報が用いられ、雑音環境が推定される。

ステップＳ６５２において推定された結果が参照され、ステップＳ６５３において、雑音数が少ない環境であるか否かが判断され、雑音数が少ない環境であると判断された場合、ステップＳ６５４に処理が進められる。ステップＳ６５４において、処理構成変更指示部４１０内の各部の設定が、消費電力を低減する設定に設定される。

ステップＳ６５２乃至Ｓ６５４の処理は、図３５のステップＳ６０９乃至Ｓ６１１と同様に行うことができる。ステップＳ６５２乃至Ｓ６５４において、初期化が行われると、ステップＳ６５５に処理が進められる。

このように、システムの起動時に雑音環境が推定され、静かな環境である場合、処理構成変更指示部４１０内の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６の入力本数を削減する設定に変更される。

一方で、ステップＳ６５３において、雑音数が少ない環境ではないと判断された場合、ステップＳ６５５に処理が進められる。この場合、初期値として設定されている設定が、処理構成変更指示部４１０内の各部に適用され、処理が開始される。

また、ステップＳ６５１において、システム起動時ではないと判断された場合も、ステップＳ６５５に処理が進められる。ステップＳ６５５（図３６）乃至Ｓ６６７（図３７）の処理は、図３１のステップＳ５６１（図３１）乃至Ｓ５７３（図３２）の処理（第２-２の音声処理装置５００が行う処理）と同様に行われる。すなわち、システム起動時に、初期化の処理が実行され、その後は、初期化により設定された設定で、音声処理が行われる。

このように、第２−３の音声処理装置６００においては、雑音環境を、外部から入力される情報により推定することができる。第２−３の音声処理装置６００においても、第２−１の音声処理装置４００と同じく、雑音環境を推定し、推定された雑音環境に応じた設定で、雑音除去処理を行うことができ、消費電力を低減させることが可能となる。

また、図２２に示した音声処理装置４００においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持するためのバッファ領域（メモリ）が必要であった。しかしながら音声処理装置６００（図３３）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

さらに、第２−３の音声処理装置６００は、第２−１の音声処理装置４００や第２−２の音声処理装置５００で必要とされていた相関計算を行わない構成のため、演算コストを削減することが可能となる。

＜第３の音声処理装置の内部構成と動作＞
＜第３−１の音声処理装置の内部構成＞
音声処理装置の他の構成について説明する。第３の音声処理装置は、上記した第１の音声処理装置と第２の音声処理装置を組み合わせた構成とされている。

図３８は、第３−１の音声処理装置７００の構成を示す図である。第３−１の音声処理装置７００は、上記した第１−１の音声処理装置１００（図３）と第２−１の音声処理装置４００（図２２）を組み合わせた構成とされている。

音声処理装置７００は、携帯電話機１０の内部に備えられ、携帯電話機１０の一部を構成する。図３８に示した音声処理装置７００は、集音部７０１、雑音環境推定部７０２、時間周波数変換部７０３、音声方位推定部７０４、音声強調部７０５、音声減衰部７０６、発話区間検出部７０７、ポストフィルタ部７０８、および時間周波数逆変換部７０９から構成されている。

このような構成は、第１の音声処理装置や第２の音声処理装置と同様であるが、第３の音声処理装置においては、集音部７０１、雑音環境推定部７０２、時間周波数変換部７０３、音声方位推定部７０４、音声強調部７０５、音声減衰部７０６が、処理構成変更指示部７１０に含まれる構成とされている点が第１の音声処理装置と異なり、第２の音声処理装置と同様の部分である。

処理構成変更指示部７１０は、雑音環境推定部７０２による雑音環境の推定結果により、内部構成が変更される。この構成は、第２−１の音声処理装置４００（図２２）と同様である。

雑音環境推定部７０２による推定結果は、ポストフィルタ部７０８にも供給され、ポストフィルタ部７０８は、推定された雑音環境に応じて、雑音除去の強弱を制御する構成とされている。この構成は、第１−１の音声処理装置１００（図３）と同様である。

第３−１の音声処理装置７００の集音部７０１、雑音環境推定部７０２、時間周波数変換部７０３、音声方位推定部７０４、音声強調部７０５、音声減衰部７０６、発話区間検出部７０７、および時間周波数逆変換部７０９は、第２−１の音声処理装置４００（図２２）の集音部４０１、雑音環境推定部４０２、時間周波数変換部４０３、音声方位推定部４０４、音声強調部４０５、音声減衰部４０６、発話区間検出部４０７、ポストフィルタ部４０８、および時間周波数逆変換部４０９と同様の処理を行うため、その詳細な説明は省略する。

ポストフィルタ部７０８は、第１の音声処理装置のポストフィルタ部１０８と同じく、雑音環境推定部７０２からの推定結果Ｃ（t）が入力され、その推定結果Ｃ（ｔ）を用いたポストフィルタ処理を実行する。

＜第３−１の音声処理装置の第１の動作＞
図３８に示した音声処理装置７００の動作について、図３９、図４０に示したフローチャートを参照して説明する。上記したように、音声処理装置７００は、第１−１の音声処理装置１００と第２−１の音声処理装置４００を組み合わせた構成とされているため、その動作も、第１−１の音声処理装置１００の動作（図４、図５に示したフローチャートに基づく動作）と第２−１の音声処理装置４００（図２４、図２５に示したフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ７０１乃至Ｓ７１７は、図２４，図２５に示した第２−１の音声処理装置４００が行うステップＳ４０１乃至Ｓ４１７と基本的に同様に行われる。

第２−１の音声処理装置４００と同じく、第３−１の音声処理装置７００においても、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−１の音声処理装置４００と同じく、第３−１の音声処理装置７００においても、消費電力を低減させることが可能となる。

また第３−１の音声処理装置７００においては、ステップＳ７１４において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−１の音声処理装置１００が、ステップＳ１１２（図５）で行う処理と同様に行われる。

第１−１の音声処理装置１００と同じく、第３−１の音声処理装置７００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−１の音声処理装置１００と同じく、第３−１の音声処理装置７００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

＜第３−１の音声処理装置の第２の動作＞
図３８に示した音声処理装置７００の他の動作について、図４１、図４２に示したフローチャートを参照して説明する。第３−１の音声処理装置７００の第２の動作は、第１−１の音声処理装置１００の動作（図４、図５に示したフローチャートに基づく動作）と、第２−１の音声処理装置４００の第２の動作（図２６、図２７に示したフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ７５１乃至Ｓ７７０は、図２６、図２７に示した第２−１の音声処理装置４００が行うステップＳ４５１乃至Ｓ４７０と基本的に同様に行われる。

第２−１の音声処理装置４００と同じく、第３−１の音声処理装置７００においても、システム起動時に、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−１の音声処理装置４００と同じく、第３−１の音声処理装置７００においても、消費電力を低減させることが可能となる。

また第３−３の音声処理装置７００においては、ステップＳ７６７において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−１の音声処理装置１００が、ステップＳ１１２（図５）で行う処理と同様に行われる。

第１−１の音声処理装置１００と同じく、第３−１の音声処理装置７００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−１の音声処理装置１００と同じく、第３−１の音声処理装置７００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

＜第３−２の音声処理装置の内部構成＞
図４３は、第３−２の音声処理装置８００の構成を示す図である。音声処理装置８００は、携帯電話機１０の内部に備えられ、携帯電話機１０の一部を構成する。図４３に示した第３−２の音声処理装置８００は、上記した第１−２の音声処理装置２００（図１５）と第２−２の音声処理装置５００（図２８）を組み合わせた構成とされている。

また、第３−２の音声処理装置８００も、上記した第３−１の音声処理装置７００と同じく、処理構成変更指示部７１０は、雑音環境推定部８０１による雑音環境の推定結果により、内部構成が変更される。

また雑音環境推定部８０１による推定結果は、ポストフィルタ部７０８にも供給され、ポストフィルタ部７０８は、推定された雑音環境に応じて、雑音除去の強弱を制御する構成とされている。

＜第３−２の音声処理装置の第１の動作＞
図４３に示した音声処理装置８００の動作について、図４４、図４５に示したフローチャートを参照して説明する。

上記したように、音声処理装置８００は、第１−２の音声処理装置２００と第２−２の音声処理装置５００を組み合わせた構成とされているため、その動作も、第１−２の音声処理装置２００の動作（図１７、図１８のフローチャートに基づく動作）と第２−２の音声処理装置５００の動作（図２９、図３０のフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ８０１乃至Ｓ８１６は、図２９，図３０に示した第２−２の音声処理装置５００が行うステップＳ５０１乃至Ｓ５１６と基本的に同様に行われる。

第２−２の音声処理装置５００と同じく、第３−２の音声処理装置８００においても、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−２の音声処理装置５００と同じく、第３−２の音声処理装置８００においても、消費電力を低減させることが可能となる。

第３−２の音声処理装置８００においては、ステップＳ８１３において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−２の音声処理装置２００が、ステップＳ２１１（図１８）で行う処理と同様に行われる。

第１−２の音声処理装置２００と同じく、第３−２の音声処理装置８００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−２の音声処理装置２００と同じく、第３−２の音声処理装置８００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

また音声処理装置８００（図４３）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

＜第３−２の音声処理装置の第２の動作＞
図４３に示した音声処理装置８００の他の動作について、図４６、図４７に示したフローチャートを参照して説明する。

第３−２の音声処理装置８００の第２の動作は、第１−２の音声処理装置２００の動作（図１７、１８に示したフローチャートに基づく動作）と、第２−２の音声処理装置５００の第２の動作（図３１、図３２に示したフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ８５１乃至Ｓ８７３は、図３１、図３２に示した第２−２の音声処理装置５００が行うステップＳ５５１乃至Ｓ５７３と基本的に同様に行われる。

第２−２の音声処理装置５００と同じく、第３−２の音声処理装置８００においても、システム起動時に、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−２の音声処理装置５００と同じく、第３−２の音声処理装置８００においても、消費電力を低減させることが可能となる。

また第３−２の音声処理装置８００においては、ステップＳ８７０において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−２の音声処理装置２００が、ステップＳ２１１（図１８）で行う処理と同様に行われる。

第１−２の音声処理装置２００と同じく、第３−２の音声処理装置８００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−２の音声処理装置２００と同じく、第３−２の音声処理装置８００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

また音声処理装置８００（図４３）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

＜第３−３の音声処理装置の内部構成＞
図４８は、第３−３の音声処理装置９００の構成を示す図である。音声処理装置９００は、携帯電話機１０の内部に備えられ、携帯電話機１０の一部を構成する。図４８に示した第３−３の音声処理装置９００は、上記した第１−３の音声処理装置３００（図１９）と第２−３の音声処理装置６００（図３３）を組み合わせた構成とされている。

また、第３−３の音声処理装置９００も、上記した第３−１の音声処理装置７００と同じく、処理構成変更指示部７１０は、雑音環境推定部９０１による雑音環境の推定結果により、内部構成が変更される。

また雑音環境推定部９０１による推定結果は、ポストフィルタ部７０８にも供給され、ポストフィルタ部７０８は、推定された雑音環境に応じて、雑音除去の強弱を制御する構成とされている。

雑音環境推定部９０１は、外部から入力される情報に基づいて、雑音環境を推定する。

＜第３−３の音声処理装置の第１の動作＞
図４８に示した音声処理装置９００の動作について、図４９、図５０に示したフローチャートを参照して説明する。

上記したように、音声処理装置９００は、第１−３の音声処理装置３００と第２−３の音声処理装置６００を組み合わせた構成とされているため、その動作も、第１−３の音声処理装置３００の動作（図２０、図２１に示したフローチャートに基づく動作）と第２−３の音声処理装置６００の動作（図３４、図３５に示したフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ９０１乃至Ｓ９１６は、図３４，図３５に示した第２−３の音声処理装置６００が行うステップＳ６０１乃至Ｓ６１６と基本的に同様に行われる。

第２−３の音声処理装置６００と同じく、第３−３の音声処理装置９００においても、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−３の音声処理装置６００と同じく、第３−３の音声処理装置９００においても、消費電力を低減させることが可能となる。

第３−３の音声処理装置９００においては、ステップＳ９１３において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−３の音声処理装置３００が、ステップＳ３１１（図２１）で行う処理と同様に行われる。

第１−３の音声処理装置３００と同じく、第３−３の音声処理装置９００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−３の音声処理装置３００と同じく、第３−３の音声処理装置９００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

また音声処理装置９００（図４８）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

＜第３−３の音声処理装置の第２の動作＞
図４８に示した音声処理装置９００の他の動作について、図５１、図５２に示したフローチャートを参照して説明する。第３−３の音声処理装置９００の第２の動作は、第１−３の音声処理装置３００の動作（図２０、２１に示したフローチャートに基づく動作）と、第２−３の音声処理装置６００の第２の動作（図３６、図３７に示したフローチャートに基づく動作）を組み合わせた動作となっている。

ステップＳ９５１乃至Ｓ９６７は、図３６、図３７に示した第２−３の音声処理装置６００が行うステップＳ６５１乃至Ｓ６６７と基本的に同様に行われる。

第２−３の音声処理装置６００と同じく、第３−３の音声処理装置９００においても、システム起動時に、雑音環境に応じて、処理構成変更指示部７１０内の設定が変更される。よって、第２−３の音声処理装置６００と同じく、第３−３の音声処理装置９００においても、消費電力を低減させることが可能となる。

また第３−３の音声処理装置９００においては、ステップＳ９６４において、ポストフィルタ部７０８において、雑音環境に応じたポストフィルタ処理が行われる。この処理は、第１−３の音声処理装置３００が、ステップＳ３１１（図２１）で行う処理と同様に行われる。

第１−３の音声処理装置３００と同じく、第３−３の音声処理装置９００においても、雑音環境に応じて、ポストフィルタ部７０８でのポストフィルタ処理が行われる。よって、第１−３の音声処理装置３００と同じく、第３−３の音声処理装置９００においても、雑音環境に応じた適切な雑音除去処理を実行することが可能となり、ミュージカルノイズなどが発生するようなことを防ぐことが可能となる。

また音声処理装置９００（図４８）においては、雑音環境推定のために、フレームで切り出した時間領域の信号を一旦保持する必要がないために、バッファ領域（メモリ）を削除する構成とすることができる。

上述した音声処理装置１００乃至９００において、音声方位推定部１０４，４０４，７０４を省略した構成と、音声の方位を推定する動作を省略することも可能である。例えば、メガネ型の端末に、本技術を適用した音声処理装置が適用される場合について考える。

メガネ型の端末におけるマイクロホンの位置が固定されている場合、そのメガネ型の端末がユーザに装着された状態において、ユーザの口（音源）とマイクロホンとの位置関係は、変化することなく、略一定であると考えられる。このような場合、音声の方位は推定しなくても、略同一の方位であるため、音声方位推定部を削除し、音声の方位を推定しない音声処理装置とすることも可能である。

上述した音声処理装置１００乃至９００においては、時間周波数変換部１０３，４０３，７０３により、時間周波数信号に変換した後、各部の処理が実行される構成としたが、時間周波数信号に変換せずに、マイクロホン２３で集音された音声信号を、そのまま用いて、各部の処理が実行されるようにしても良い。すなわち、時間周波数変換部１０３，４０３，７０３を省略した構成とすることも可能であるし、省略した構成とした場合、時間周波数逆変換部１０９，４０９，７０９も省略した構成とすることができる。

本技術によれば、雑音を推定し、推定結果に基づき、雑音除去のための処理を変更するため、以下のような効果を得られる。

本技術を適用することで、点音源雑音が１つというような状況下において雑音除去を適切に行えるだけでなく、複数音源や拡散性の雑音環境においても、最適な雑音除去に関する処理を実施することができる。

また信号処理特有の歪みを抑えた自然な音声を伝送できるようになり、高品質なハンズフリー通話を実現することも可能となる。

雑音や処理歪みの影響による音声認識システムの性能低下を防ぐことができ、高品質な音声を用いたユーザインターフェースを実現することができる。

また、音声認識の誤認識によるユーザが意図しない事象、例えば、突然電話をかける、メールを送信するなどの発生を防ぐことができる。

筐体が大きい指向性マイクロホン（ガンマイクロホン）を使用せず、小型の無指向性マイクロホンと信号処理のみで、抽出したい音声の取得が可能となり、製品の小型化・軽量化に貢献することができる。

雑音環境に応じて、音抽出に必要のない信号処理モジュールとマイクロホンの電源を停止することが可能となり、低消費電力化に貢献することができる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図５３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２００１、ＲＯＭ（Read Only Memory）２００２、ＲＡＭ（Random Access Memory）２００３は、バス２００４により相互に接続されている。バス２００４には、さらに、入出力インタフェース２００５が接続されている。入出力インタフェース２００５には、入力部２００６、出力部２００７、記憶部２００８、通信部２００９、およびドライブ２０１０が接続されている。

入力部２００６は、キーボード、マウス、マイクロホンなどよりなる。出力部２００７は、ディスプレイ、スピーカなどよりなる。記憶部２００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２００９は、ネットワークインタフェースなどよりなる。ドライブ２０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ２００１が、例えば、記憶部２００８に記憶されているプログラムを、入出力インタフェース２００５およびバス２００４を介して、ＲＡＭ２００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ２００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２０１１をドライブ２０１０に装着することにより、入出力インタフェース２００５を介して、記憶部２００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２００９で受信し、記憶部２００８にインストールすることができる。その他、プログラムは、ＲＯＭ２００２や記憶部２００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
音声を集音する集音部と、
前記集音部により集音された音声信号を用いて、抽出対象となる音声を強調する音声強調部と、
前記集音部により集音された音声信号を用いて、前記抽出対象となる音声を減衰する音声減衰部と、
周囲の雑音環境を推定する雑音環境推定部と、
前記音声強調部からの音声強調信号と前記音声減衰部からの音声減衰信号を用いたポストフィルタ処理を行うポストフィルタ部と
を備え、
前記ポストフィルタ部は、前記雑音環境推定部による前記雑音環境に応じて、雑音除去のための処理の強弱を設定する
音声処理装置。
（２）
前記雑音環境推定部は、前記集音部により集音された前記音声を用いて、前記雑音環境を推定する
前記（１）に記載の音声処理装置。
（３）
前記集音部は、複数のマイクロホンを備え、
前記雑音環境推定部は、前記複数のマイクロホンのぞれぞれで集音された信号同士の相関を求め、前記相関の値を前記雑音環境の推定結果とする
前記（１）に記載の音声処理装置。
（４）
前記雑音環境推定部は、前記音声強調信号と前記音声減衰信号を用いて、前記雑音環境を推定する
前記（１）に記載の音声処理装置。
（５）
前記音声強調信号の振幅スペクトルと前記音声減衰信号の振幅スペクトルの相関を算出し、前記相関の値を前記雑音環境の推定結果とする
前記（１）に記載の音声処理装置。
（６）
前記雑音環境推定部は、外部から入力される情報に基づき、前記雑音環境を推定する
前記（１）に記載の音声処理装置。
（７）
前記外部から入力される情報は、ユーザにより供給された周囲の雑音環境に関する情報、位置情報、時間情報の少なくとも１つの情報である
前記（６）に記載の音声処理装置。
（８）
前記音声強調信号と前記音声減衰信号を用いて、発話区間を推定する発話区間推定部をさらに備え、
前記発話区間推定部により、発話区間ではないと推定された区間において、前記雑音環境推定部は、前記雑音環境の推定を行う
前記（１）乃至（７）のいずれかに記載の音声処理装置。
（９）
前記音声強調部は、加算型ビームフォーミング、Delay and Sumビームフォーミング、または適応型ビームフォーミングを用いて、前記音声強調信号を生成する
前記（１）乃至（８）のいずれかに記載の音声処理装置。
（１０）
前記音声減衰部は、減算型ビームフォーミング、Nullビームフォーミング、または適応型Nullビームフォーミングを用いて、前記音声減衰信号を生成する
前記（１）乃至（９）のいずれかに記載の音声処理装置。
（１１）
前記雑音環境推定部による推定結果に基づいて、前記集音部を構成するマイクロホンの本数、および前記音声強調部と前記音声減衰部に入力される本数を変更する
前記（１）乃至（１０）のいずれかに記載の音声処理装置。
（１２）
前記変更は、起動時、または動作中に行われる
前記（１１）に記載の音声処理装置。
（１３）
集音部により音声を集音し、
前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、
前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、
周囲の雑音環境を推定し、
前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行う
ステップを含み、
前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む
音声処理方法。
（１４）
集音部により音声を集音し、
前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、
前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、
周囲の雑音環境を推定し、
前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行う
ステップを含み、
前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む
処理をコンピュータに実行させるためのプログラム。

１００ 音声処理装置， １０１ 集音部， １０２ 雑音環境推定部， １０３ 時間周波数変換部， １０４ 音声方位推定部， １０５ 音声強調部， １０６ 音声減衰部， １０７ 発話区間検出部， １０８ ポストフィルタ部， １０９ 時間周波数逆変換部， ２００ 音声処理装置， ２０１ 雑音環境推定部， ３００ 音声処理装置， ３０１ 雑音環境推定部， ４００ 音声処理装置， ４０２ 雑音環境推定部， ４１０ 処理構成変更指示部， ５００ 音声処理装置， ５０１ 雑音環境推定部， ６００ 音声処理装置， ６０１ 雑音環境推定部， ７００ 音声処理装置， ７０２ 雑音環境推定部， ８００ 音声処理装置， ８０１ 雑音環境推定部， ９００ 音声処理装置， ９０１ 雑音環境推定部

Claims (14)

1. 音声を集音する集音部と、
   前記集音部により集音された音声信号を用いて、抽出対象となる音声を強調する音声強調部と、
   前記集音部により集音された音声信号を用いて、前記抽出対象となる音声を減衰する音声減衰部と、
   周囲の雑音環境を推定する雑音環境推定部と、
   前記音声強調部からの音声強調信号と前記音声減衰部からの音声減衰信号を用いたポストフィルタ処理を行うポストフィルタ部と
   を備え、
   前記ポストフィルタ部は、前記雑音環境推定部による前記雑音環境に応じて、雑音除去のための処理の強弱を設定する
   音声処理装置。
2. 前記雑音環境推定部は、前記集音部により集音された前記音声を用いて、前記雑音環境を推定する
   請求項１に記載の音声処理装置。
3. 前記集音部は、複数のマイクロホンを備え、
   前記雑音環境推定部は、前記複数のマイクロホンのぞれぞれで集音された信号同士の相関を求め、前記相関の値を前記雑音環境の推定結果とする
   請求項１に記載の音声処理装置。
4. 前記雑音環境推定部は、前記音声強調信号と前記音声減衰信号を用いて、前記雑音環境を推定する
   請求項１に記載の音声処理装置。
5. 前記音声強調信号の振幅スペクトルと前記音声減衰信号の振幅スペクトルの相関を算出し、前記相関の値を前記雑音環境の推定結果とする
   請求項１に記載の音声処理装置。
6. 前記雑音環境推定部は、外部から入力される情報に基づき、前記雑音環境を推定する
   請求項１に記載の音声処理装置。
7. 前記外部から入力される情報は、ユーザにより供給された周囲の雑音環境に関する情報、位置情報、時間情報の少なくとも１つの情報である
   請求項６に記載の音声処理装置。
8. 前記音声強調信号と前記音声減衰信号を用いて、発話区間を推定する発話区間推定部をさらに備え、
   前記発話区間推定部により、発話区間ではないと推定された区間において、前記雑音環境推定部は、前記雑音環境の推定を行う
   請求項１に記載の音声処理装置。
9. 前記音声強調部は、加算型ビームフォーミング、Delay and Sumビームフォーミング、または適応型ビームフォーミングを用いて、前記音声強調信号を生成する
   請求項１に記載の音声処理装置。
10. 前記音声減衰部は、減算型ビームフォーミング、Nullビームフォーミング、または適応型Nullビームフォーミングを用いて、前記音声減衰信号を生成する
    請求項１に記載の音声処理装置。
11. 前記雑音環境推定部による推定結果に基づいて、前記集音部を構成するマイクロホンの本数、および前記音声強調部と前記音声減衰部に入力される本数を変更する
    請求項１に記載の音声処理装置。
12. 前記変更は、起動時、または動作中に行われる
    請求項１１に記載の音声処理装置。
13. 集音部により音声を集音し、
    前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、
    前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、
    周囲の雑音環境を推定し、
    前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行う
    ステップを含み、
    前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む
    音声処理方法。
14. 集音部により音声を集音し、
    前記集音部により集音された音声信号を用いて、抽出対象となる音声が強調された音声強調信号を生成し、
    前記集音部により集音された音声信号を用いて、前記抽出対象となる音声が減衰された音声減衰信号を生成し、
    周囲の雑音環境を推定し、
    前記音声強調信号と前記音声減衰信号を用いたポストフィルタ処理を行う
    ステップを含み、
    前記ポストフィルタ処理は、推定された前記雑音環境に応じて、雑音除去のための処理の強弱を設定するステップを含む
    処理をコンピュータに実行させるためのプログラム。

Images