JP2011257627A - 音声認識装置と認識方法 - Google Patents

Abstract

【構成】
複数個の無指向性信号を増幅器で増幅し、無指向性信号を駆動回路で組み合わせて、音源の方向への指向性の有る指向性信号を求め、前記指向性信号あるいは前記無指向性信号に対して発話の有無を検出し、指向性信号を音声認識部で音声認識する。モード切替部により、無指向性信号中あるいは指向性信号中のノイズレベルを繰り返し測定し、ノイズレベルが低い際に、無指向性信号を音声認識部で音声認識するようにモードを切り替える。
【効果】 ノイズが少ない際に、音声認識部への入力信号の質を向上できる。
【選択図】 図１

Description

この発明は音声認識に関し、特にノイズの抑制に関する。

発明者らは、無指向性のマイクロホンの信号を合成することにより、音源の方向への指向性の有る信号を得る技術を開発した。またこの信号を音声認識し、キーワードを抽出することを検討している。例えば４個の無指向性のマイクロホンを正４面体の４頂点に配置しマイクロホンアレイとすると、１２個の仮想的な指向性マイクロホンが得られる。発話が行われると、話者の方向を向く指向性マイクロホンの信号を用いて、キーワードを認識する。ここで発明者は、無指向性マイクロホンの信号を合成する過程で、信号に歪みが発生することに着目した。信号に歪みが発生することを考慮すると、周囲のノイズ（雑音）が小さい環境では、指向性マイクロホンよりも無指向性マイクロホンの方が有利である。

ここで関連する先行技術を示す。特許文献１（特開2005-20355）はビデオカメラに内臓のマイクロホンについて、指向性マイクロホンよりも無指向性マイクロホンの方が風雑音が小さいことと、風雑音が大きい環境で指向性マイクロホンを無指向性マイクロホンとして用いることとを開示している。また風雑音の大小は、高周波帯のパワーと低周波帯のパワーとの比較、あるいは２個のマイクロホンの信号の相互相関の強弱で判別できるとされている。しかしながら特許文献１では、ノイズが大きい際に指向性マイクロホンを無指向性マイクロホンとして使用する。

特開2005-20355

この発明の課題は、マイクロホンアレイを用いた音声認識での、無指向性マイクロホンからの信号を合成する過程でのノイズを避けることにある。

この発明は、複数個の無指向性のマイクロホンから成るマイクロホンアレイと、
前記無指向性のマイクロホンからの無指向性信号を増幅する増幅器と、
前記無指向性信号を組み合わせて、音源の方向への指向性の有る指向性信号を出力するための駆動回路と、
前記指向性信号あるいは前記無指向性信号に対して発話の有無を検出する発話検出部と、
前記指向性信号を音声認識するための音声認識部と、
前記無指向性信号中あるいは前記指向性信号中のノイズレベルを繰り返し測定し、ノイズレベルが低い際に、前記無指向性信号を音声認識部で音声認識するようにモードを切り替えるモード切替部を備えていることを特徴とする。ノイズレベルは、マイクロホンへの入力ノイズとマイクロホン及び増幅器内で発生するノイズの程度を意味する。

またこの発明は、複数個の無指向性信号を増幅器で増幅し、前記無指向性信号を駆動回路で組み合わせて、音源の方向への指向性の有る指向性信号を求め、前記指向性信号あるいは前記無指向性信号に対して発話検出部で発話の有無を検出し、前記指向性信号を音声認識部で音声認識する音声認識方法であって、
モード切替部により、前記無指向性信号中あるいは前記指向性信号中のノイズレベルを繰り返し測定し、ノイズレベルが低い際に、前記無指向性信号を音声認識部で音声認識するようにモードを切り替えることを特徴とする。

この発明では、ノイズレベルが低い際に、無指向性マイクロホンからの信号を用いて音声認識するので、指向性信号を得る過程での信号の歪みが生じない。またノイズレベルが低い過程では、話者の方向に指向した信号を用いてノイズを避ける必要性も低い。従って、ノイズの小さな環境で、より精度の高い音声認識ができる。

好ましくは、モードの切り替え時に、増幅器のゲインあるいは発話検出部での発話検出の閾値を現在値から新たな値へ変換するパラメータ変換部をさらに設ける。このようにすると、パラメータを新たなモードに合わせて自動的に変換できる。
また好ましくは、外部サーバとの通信部をさらに備えて、モードの切り替え時に、増幅器のゲインあるいは発話検出部での発話検出の閾値を、外部サーバからダウンロードする。このようにすると、パラメータを多くの要素により決定している場合でも、最適なパラメータを取得できる。

好ましくは、前記モード切替部は、前記ノイズレベルが高い際に、前記指向性信号に対して発話検出部で発話を検出し、かつ前記指向性信号を音声認識部で音声認識するようにモードを切り替える。このようにするとノイズレベルが増すと話者の方向に指向した信号を用いて音声認識し、ノイズの影響を小さくできる。

実施例の音声認識装置のブロック図 実施例での音声認識アルゴリズムを示すフローチャート 実施例でのマイクロホンアレイの切替アルゴリズムを示すフローチャート 実施例でのノイズの大小の識別を模式的に示す図

以下に本発明を実施するための最適実施例を示す。

図１〜図４に、実施例の音声認識装置２と音声認識方法とを示す。なお音声認識装置２に関する記載は、そのまま音声認識方法にも当てはまり、逆に音声認識方法に関する記載は、そのまま音声認識装置２にも当てはまる。図１において、４はマイクロホンアレイで、例えばm1〜m4の４個の無指向性のマイクロホンを正４面体の４頂点に配置し、マイクロホンアレイ４は仮想的に１２個の指向性のマイクロホンとなる。A1〜A4は増幅器で、マイクロホンm1〜m4からの出力信号を増幅し、増幅ゲインは後述のパラメータ変換部１６から入力する。６は遅延部で、適宜のメモリからなり、増幅器A1〜A4からの出力信号をΔt時間分遅延させて出力する。８は差分部で、増幅器A1〜A4からの信号を遅延させずに入力した信号と、遅延部６でΔtだけ遅延させた信号との差分を出力し、１２個の仮想的な無指向性マイクロホンに対応する指向性信号を出力する。Δtは、正４面体の１辺を音波が進行するのに必要な時間に相当する。

図１の左下に、信号合成のモデルを示す。２個の無指向性マイクロホンmi，mjの組合せに対し、マイクロホンmiの信号をメモリからなる遅延器３２でΔtだけ遅延させ、差分器３４へ入力する。差分器３４の他方の入力には、マイクロホンmjからの信号を遅延させずに入力する。このため出力はmj(t)−mi(t−Δt)となる。マイクロホンmiの側へ先に到達する音波は時間Δtだけ遅れて、マイクロホンmjに到達する。その結果、時刻tでのマイクロホンmjからの信号と、時刻t−Δtでのマイクロホンmiからの信号の差分を求めると、音響信号はほぼ打ち消されて０となる。逆にマイクロホンmjに時刻tに先に到達した音波は、マイクロホンmiに時刻t＋Δtに到達するので、マイクロホンmjへの音響信号は打ち消されることはない。このため、マイクロホンmi，mjを結ぶ軸に沿って、マイクロホンmj側から入力する音波に対して選択的な指向性マイクロホンが得られる。

しかしながら２つの信号の合成によって歪みが生じる。音響信号が単純な正弦波で有れば、信号を合成しても位相が変化するだけである。しかし音響信号は正弦波ではない。またマイクロホンmj，mi間の距離が波長の1/2に近づくと、単なる位相の変化というよりも 信号の打ち消し合いが生じる。さらにマイクロホンmi，mjを結ぶ線に直角な方向から到達するノイズは、差分器３４では相殺されない。そこでこの発明では、指向性マイクロホンとして使用するか否か、言い換えると差分器３４での信号合成を行うか否かを切り替えることにより、ノイズを抑制する。

差分部８からは例えば仮想的な１２個の指向性マイクロホンの信号が得られ、これをメモリ１０で一旦記憶する。また無指向性マイクロホンとして使用する場合、増幅器A1〜A4のいずれかからの信号、例えば増幅器A4からの信号をメモリ１０に一旦記憶する。そしてメモリ１０に記憶した信号を、短時間ＦＦＴ(短時間高速フーリエ変換部)で、例えば10ms幅の区間毎に、短時間フーリエ変換する。特徴抽出部２０は短時間フーリエ変換した信号から音声信号としての特徴を抽出し、例えば短時間フーリエ変換信号からケプストラムあるいはΔケプストラムなどを求めて、10〜15次元程度のベクトルから成る特徴ベクトルを出力する。

モード切替部１４はノイズの小さい環境と大きい環境とを識別し、識別は例えば１秒に１回程度ずつ間欠的に行う。識別は周期的に行っても、非周期的に行っても良く、また発話検出区間では識別を省略しても良い。ノイズが小さい環境の特徴は、マイクロホンm1〜m4からの出力が小さいこと、及び短時間ＦＦＴ１２からの出力パワー中の、音声以外に対応する周波数帯、例えば100Hz以下と8kHz以上、より好ましくは60Hz以下と20kHz以上の周波数帯でのパワーが小さいこと、などが有る。これに対してノイズが大きい環境では、非発話区間であるにもかかわらず、増幅器A1〜A4からの信号が大きい、短時間ＦＦＴ１２からの信号で、音声以外の信号の周波数帯のパワーが大きい、などの特徴がある。

モード切替部１４は例えば１秒に１回などの周期でノイズの大小を識別し、ノイズが小さい場合、マイクロホンアレイ４を無指向性マイクロホンとして使用する。ここで複数のマイクロホンからの信号を平均して用いると、ノイズが大きくなる。このためマイクロホンm1〜m4のうち適宜の１個を選び、例えばマイクロホンm4を選び、対応する増幅器A4からの信号を用いる。マイクロホンアレイ４を無指向性マイクロホンとして用いるモード（無指向性モード）では、遅延部６及び差分部８での信号の合成は不要で、メモリ１０に例えば増幅器A4からの信号を記憶させ、短時間ＦＦＴ１２以降の処理は指向性マイクロホンとして使用するモード（指向性モード）と同様にする。ノイズの大小の識別には、上記の２種類の要素を共に用いても、あるいはその一方のみを用いても良い。

パラメータ変換部１６は、増幅器A1〜A4での増幅ゲイン及び発話検出部１８での発話検出用の閾値などを記憶している。なおゲインは周波数によって変化するゲインでも、周波数に依存しないゲインでも良い。これらのゲイン及び閾値の最適値は無指向性モードと指向性モードとで異なるので、モードに合わせて切り替える。例えば現在のモードでのゲインと閾値を記憶し、モードが変更されると、新たなモードに適合した値にゲインと閾値とを変換する。変換は計算によって行っても、あるいは参照表等によって行っても良い。ゲインと閾値を、モードと作業者の組合せ毎、あるいはモードと、音声認識装置を装着している作業者と、環境条件との組合せ毎に記憶して切り替えても良い。この場合、切り替えに伴う処理量が増すので、例えば後述の外部サーバ３０が現在のゲインと閾値とを記憶し、モードを切り替えると、作業者及び環境条件を加味した新たなゲインと閾値とを演算し、音声認識装置２へダウンロードするようにしても良い。

発話検出部１８は、発話の有無、即ち増幅器A1〜A4からの信号に音声信号が含まれているか否かを検出する。この検出は、無指向性モードでは、例えば増幅器A4からの出力信号に対して行い、指向性モードでは差分部８からの例えば１２個の信号のそれぞれに対して行うが、常に無指向性のマイクロホンからの信号に対して行うようにしても良い。発話の検出では、例えば無指向性あるいは指向性のマイクロホンからの信号の強弱と、０付近に設けた＋側と−側の２つの閾値を信号が単位時間当たりにクロスする回数などを用いる。しかし短時間ＦＦＴ１２での音声に対応する周波数帯、例えば100Hz〜８kHzでの信号の強弱、などからも発話の有無を検出できる。発話区間でマイクロホンm4などから大きな信号が得られることは、必ずしもノイズが大きいことを意味しないので、発話検出部１８の出力はモード切替部１４へも入力する。また発話の検出時以外は、短時間ＦＦＴ１２〜音声認識部２２での処理を中止しても良い。

音声認識部２２は特徴抽出部２０からの一連の特徴ベクトルを用いて音声認識を行い、少なくともキーワードの認識を行う。具体的には、認識対象となるキーワード毎に隠れマルコフモデル(HMM)を記憶し、特徴ベクトルの列がどのキーワードに対するHMMと最も良く合致するかを求めて、最も良く合致するHMMに対するキーワードを出力する。通信部２４は図示しない外部サーバ３０と通信し、音声認識結果を報告すると共に、外部サーバ３０から指令を受信し、スピーカ２６で指令を音声出力する。

実施例の音声認識装置２は、例えばピッキング、即ち指定された物品を指定された個数だけ倉庫内から取り出す作業などに用いる。そして音声認識装置２は、作業者からの作業結果の報告などを音声認識し、外部サーバ３０へと伝える。また外部サーバ３０は次のピッキングの指令などを出力し、スピーカ２６から作業者に伝える。音声認識装置２の用途は任意で、例えば両手が塞がり、キーボードなどを操作することが難しい環境下で、コンピュータと人とが対話するために音声認識装置２を用いる。

図２，図３に実施例の動作アルゴリズムを示す。音声認識の全体的アルゴリズムは、図２に示すように、マイクロホンアレイの切替サブルーチン(r1)と、発話の検出サブルーチン(r2)、及び音声認識のサブルーチン(r3)から成る。なおここでは短時間ＦＦＴ１２〜音声認識部２２での処理をサブルーチンr3での音声認識とする。またサブルーチンr1の目的は、マイクロホンアレイ４を無指向性マイクロホンとして用いるか、指向性のマイクロホンのアレイとして用いるかを切り替えることである。

図３にマイクロホンアレイの切替サブルーチンを示し、このサブルーチンは例えば1秒に１回程度の割合で周期的に実行される。ステップ１はマイクロホンアレイを無指向性マイクロホンとして使用するための処理を示し、ステップ２は指向性マイクロホンとして使用するための処理を示す。指向性マイクロホンを無指向性マイクロホンに変更するための条件は満たさないが、逆に無指向性マイクロホンを指向性マイクロホンとして使用するための条件も満たさない場合、モードは例えば現状維持とする。

図４にノイズの大小を識別するためのルールを模式的に示し、マイクロホンの出力パワーが小さいことは、発話区間あるいは非発話区間を問わず、ノイズが小さいことを表している。逆に非発話区間でマイクロホンの出力パワーが大きいことは、ノイズが大きいことを表している。着目するマイクロホンは、マイクロホンアレイ４中の任意の無指向性マイクロホンもしくは任意の指向性マイクロホンとする。次に音声以外の周波数帯でのパワーが大きいことはノイズが大きいことを示し、小さいことはノイズが小さいことを意味する。そこで例えばこれらの２つの要素の組み合わせ論理で、指向性のマイクロホンアレイとするか、無指向性の１個のマイクロホンとするかを切り替える。

無指向性モードでは、マイクロホンm1〜m4中の１個、例えばマイクロホンm4を用いて音声認識を行う。指向性モードでは、例えば１２個の指向性マイクロホン中の発話を検出したマイクロホンの中から発話検出前の信号（ノイズ）が小さかったマイクロホンを１個選択し、その信号に対し音声認識を施す。もしくはマイクロホンm1〜m4から発話検出前のノイズが最も小さかった２個のマイクロホンを選択し、選択した２個のマイクロホンの信号を合成して、仮想的な１個の指向性マイクロホンの信号とする。

実施例では音声認識装置２内で、マイクロホンm1〜m4の信号の増幅から音声認識までの処理を行った。しかし遅延部６での遅延から音声認識部２２での音声認識までの処理を、外部サーバ３０側で行っても良い。この場合、無指向性モードと指向性モードとのモードの切替、ゲインの変更、及び発話の検出閾値の変更も、外部サーバ３０側で行う。またこれらの中間的な処理として、増幅器A1〜A4の増幅ゲイン及び発話の検出閾値を、無指向性モードと指向性モードのモード、作業者、及び環境条件の組合せ毎に決定し、外部サーバ３０が記憶しても良い。この場合、モードの切替は音声認識装置２の側で行い、モードを切り替える都度、必要なゲインと閾値を通信部２４を介して外部サーバ３０から音声認識装置２が取得する。外部サーバ３０は、モードの切り替え時に、作業者、環境条件を加味して現在のゲインと閾値を新たな値に変換する。

実施例では以下の効果が得られる。
(1) ノイズの小さな環境では無指向性マイクロホンとし、ノイズの大きな環境では指向性マイクロホンとするので、ノイズの小さな環境ではマイクロホンからの信号の合成に伴う歪みが無い。またノイズの大きな環境では、話者に対して指向性のある指向性マイクロホンからの信号により、周囲のノイズの影響を小さくする。
(2) ノイズの大小は、増幅器A4などからの出力の大小、あるいは短時間ＦＦＴ１２からの音声以外の周波数帯での出力の大小、などで識別できる。従って自動的にモードを変更できる。
（3） 短時間ＦＦＴ１２からの音声以外の周波数帯での出力の大小を用いると、発話区間でもノイズの大小を識別できる。従って発話中にノイズが小さくなった場合、無指向性モードに変更でき、また発話中にノイズが増加した場合、話者の側を向いた指向性マイクロホンに切り替え、ノイズの影響を小さくできる。
(4) モードの切替に必要な増幅ゲイン及び発話検出の閾値を、パラメータ変換部１６もしくは外部サーバ３０などから供給するので、モードの切替時に音声認識の環境が不連続に変化しない。
(5) 無指向性モードでは、４個の無指向性マイクロホンm1〜m4の１個を選択して用いる。即ち複数のマイクロホンからの信号を平均しないので、平均化に伴うノイズがない。

実施例では音声中のキーワードを検出する例を示したが、音声を文として連続的に認識する際にこの発明を適用しても良い。

２ 音声認識装置
４ マイクロホンアレイ
６ 遅延部
８ 差分部
１０ メモリ
１２ 短時間ＦＦＴ
１４ モード切替部
１６ パラメータ変換部
１８ 発話検出部
２０ 特徴抽出部
２２ 音声認識部
２４ 通信部
２６ スピーカ
３０ 外部サーバ
３２ 遅延器
３４ 差分器

m1〜m4 マイクロホン
A1〜A4 増幅器

Claims (5)

1. 複数個の無指向性のマイクロホンから成るマイクロホンアレイと、
   前記無指向性のマイクロホンからの無指向性信号を増幅する増幅器と、
   前記無指向性信号を組み合わせて、音源の方向への指向性の有る指向性信号を出力するための駆動回路と、
   前記指向性信号あるいは前記無指向性信号に対して発話の有無を検出する発話検出部と、
   前記指向性信号を音声認識するための音声認識部と、
   前記無指向性信号中あるいは前記指向性信号中のノイズレベルを繰り返し測定し、ノイズレベルが低い際に、前記無指向性信号を音声認識部で音声認識するようにモードを切り替えるモード切替部を備えていることを特徴とする、音声認識装置。
2. モードの切り替え時に、増幅器のゲインあるいは発話検出部での発話検出の閾値を現在値から新たな値へ変換するパラメータ変換部をさらに設けたことを特徴とする、請求項１の音声認識装置。
3. 外部サーバとの通信部をさらに備えて、モードの切り替え時に、増幅器のゲインあるいは発話検出部での発話検出の閾値を、外部サーバからダウンロードするようにしたことを特徴とする、請求項１の音声認識装置。
4. 前記モード切替部は、前記ノイズレベルが高い際に、前記指向性信号に対して発話検出部で発話を検出し、かつ前記指向性信号を音声認識部で音声認識するようにモードを切り替えることを特徴とする、請求項１〜３のいずれかの音声認識装置。
5. 複数個の無指向性信号を増幅器で増幅し、前記無指向性信号を駆動回路で組み合わせて、音源の方向への指向性の有る指向性信号を求め、前記指向性信号あるいは前記無指向性信号に対して発話検出部で発話の有無を検出し、前記指向性信号を音声認識部で音声認識する音声認識方法であって、
   モード切替部により、前記無指向性信号中あるいは前記指向性信号中のノイズレベルを繰り返し測定し、ノイズレベルが低い際に、前記無指向性信号を音声認識部で音声認識するようにモードを切り替えることを特徴とする、音声認識方法。
   

Images