JP2011107603A - 音声認識装置、および音声認識方法、並びにプログラム - Google Patents

Abstract

【課題】複数音源からの混合信号に対する音源分離と音声認識を実行し、必要とする認識結果を効率的に取得する装置、方法を提供する。
【解決手段】複数音源からの出力を混合した混合信号からなる観測信号に対して、独立成分分析（ＩＣＡ）を適用した処理により分離信号を生成するとともに、各分離信号に対する音声認識処理を実行する。さらに音声認識結果の評価情報としての付加情報を生成する。付加情報として音声認識結果の認識信頼度や、音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度を算出する。これらの付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出してスコアの高い認識結果を選択出力する。
【選択図】図３

Description

本発明は、音声認識装置、および音声認識方法、並びにプログラムに関する。さらに、詳細には複数の音声信号の混合信号を独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いて分離し、音声認識を行う音声認識装置、および音声認識方法、並びにプログラムに関する。

複数の音声信号の混合信号を分離する処理として独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）が知られている。独立成分分析（ＩＣＡ）により得られた分離結果に対して音声認識を適用することにより、目的とする音とそれ以外の音とを分離した上で音声認識処理を行うことで、目的とする音源の音声認識を高精度に行うことが可能となる。

このような独立成分分析（ＩＣＡ）に基づく音源分離処理と音声認識処理とを組み合わせたシステムは既にいくつか存在しているが、従来型のシステムはＩＣＡの結果として得られた複数の音源の各々に対応する複数の出力チャンネルから、目的とするチャンネル（音源）を選択して音声認識の入力とする構成となっている。

まず、本発明の背景技術として、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）の概要について説明する。
ＩＣＡとは、多変量分析の一種であり、信号の統計的な性質を利用して多次元信号を分離する手法のことである。ＩＣＡ自体の詳細については、例えば非特許文献１［『入門・独立成分分析』（村田昇著、東京電機大学出版局）］などを参照されたい。

以下では、音信号のＩＣＡ、特に時間周波数領域のＩＣＡについて説明する。
図１に示すように、Ｎ個の音源から異なる音が鳴っていて、それらをｎ個のマイクで観測するという状況を考える。音源が発した音（原信号）がマイクに届くまでには、時間遅れや反射などがある。従って、マイクロホンｋで観測される信号（観測信号）は式［１．１］のように、原信号と伝達関数（transfer function）との畳み込み演算（convolution）を全音源について総和した式して表わすことができる。この混合を以下では「畳み込み混合」（convolutive mixtures）と呼ぶ。
なお、マイクｎの観測信号をｘ_ｎ（ｔ）とする。マイク１、マイク２の観測信号はそれぞれｘ_１（ｔ），ｘ_２（ｔ）となる。
全てのマイクについての観測信号を一つの式で表わすと、以下に示す式［１．２］のように表わせる。

ただし、ｘ（ｔ），ｓ（ｔ）はそれぞれｘ_ｋ（ｔ），ｓ_ｋ（ｔ）を要素とする列ベクトルであり、Ａ^［ｌ］はａ^［ｌ］ _ｋｊを要素とするｎ×Ｎの行列である。以降では、ｎ＝Ｎとする。

時間領域の畳み込み混合は、時間周波数領域では瞬時混合で表わされることが知られており、その特徴を利用したのが時間周波数領域のＩＣＡである。

時間周波数領域ＩＣＡ自体については、非特許文献２［『詳解 独立成分分析』の「１９．２．４．フーリエ変換法」］や、特許文献１（特開２００６−２３８４０９号公報 『音声信号分離装置・雑音除去装置および方法』）などを参照されたい。

上記の式［１．２］の両辺を短時間フーリエ変換すると、以下に示す式［２．１］が得られる。

上記式［２．１］において、
ωは周波数ビンの番号、
ｔはフレームの番号、
である。

ωを固定すると、この式は瞬時混合（時間遅れのない混合）と見なせる。そこで、観測信号を分離するには、分離結果［Ｙ］の算出式［２．５］を用意した上で、分離結果：Ｙ（ω，ｔ）の各成分が最も独立になるように分離行列Ｗ（ω）を決める。このような処理によって、混合された音声信号から分離信号を得る。

この独立成分分析（ＩＣＡ）によって得られた分離信号を音声認識システムに入力することで、各音源に対応する認識結果を高精度に得ることができる。一般的な、独立成分分析（ＩＣＡ）による音源分離処理と音声認識部を組み合わせたシステム例を図２に示す。

複数のマイクロホン１０１−１〜Ｎによって音声が集音され、各マイクロホン１０１−１〜Ｎの取得した音声信号に対応する入力波形が音源分離部１０２に送られる。音源分離部１０２は、上述した独立成分分析（ＩＣＡ）により、複数音源の混合音を各音源に由来する個々の音源に分離する処理を行う。なお、チャンネル選択部１０３において、音源方向に基づいてチャンネル選択を行う場合には、音源分離部において音源方向推定が同時に行われる。

音源分離部１０２からは、音源対応の個別の音信号を示す分離波形と、音源方向情報が出力され、チャンネル選択部１０３に入力される。
チャンネル選択部１０３では、音源分離部１０２から入力された各音源に対応する分離波形の中から、目的とする音が含まれるチャンネルを選択する。例えばユーザの指定等によって選択される。選択された１つの分離波形が、音声認識部１０４に出力される。

音声認識部１０４は、チャンネル選択部１０３から入力したある１つの音源に対応する音信号を示す分離波形を入力として音声認識を実行し、特定の音源（目的音）の音声認識結果を出力する。

ＩＣＡに基づく音源分離処理と音声認識処理とを組み合わせたシステムはこのような処理により、目的とする音源の認識結果を得る構成を持つ。しかし、このようなシステムはＩＣＡ出力の不確定性と、目的音声を選択するチャンネル選択に関する問題点がある。以下、これらの問題点について説明する。

まず、ＩＣＡ出力の不確定性と、目的音声を選択するチャンネル選択手法について説明する。

（ＩＣＡ出力の不確定性について）
ＩＣＡでは、元の音源に対応する分離結果の音がそれぞれどのチャンネルに出力されているかは不確定であるため、目的とする音が含まれているチャンネルを何らかの形で選択する必要がある。なお、例えば特許文献２（特開２００９−５３０８８号公報）にＩＣＡ出力の不確定性に関する記述がある。

（目的音声を選択するチャンネル選択手法について）
ＩＣＡの出力を後段処理手段へ出力して、何らかの処理を行う場合には元音源に対応する分離結果の音がそれぞれどのチャンネルに出力されているかを判別する必要がある。例えば後段処理手段として音声認識処理を行う場合、認識対象の音声がどのチャンネルに出力されているかを判別する必要がある。
ＩＣＡにおいては例えばマイクがＮ個ある場合Ｎチャンネル入力となり、Ｎチャンネルの分離結果を出力する。しかし、音源数は様々な設定となる。音源数が入力チャンネル数より少ない場合、音源に対応した出力チャンネル（音源チャンネル）と、どの音源にも対応しない残響のような音が観測される出力チャンネル（残響チャンネル）とが観測情報として得られることになる。

なお、ＩＣＡと音声認識を組み合わせた処理を考えた場合、ＩＣＡの出力チャンネルは以下のように分類することができる。
（１）実際の音源に対応している音源チャンネル
（２）音源に対応していない残響チャンネル

さらに、（１）音源チャンネルは以下のように細分類することができる。
（１−１）音声であるチャンネル
（１−１−１）音声認識システムが入力として想定している内容を含む発話チャンネル（タスク内発話）
（１−１−２）音声認識システムが入力として想定していない内容を含む発話チャンネル（タスク外発話）
（１−２）音声以外のチャンネル（例えばシステムへの入力ではない人同士の雑談なども含む）

ＩＣＡによる音源分離結果に基づいて音声認識を行うシステムとしては、上記の分類中、
（１−１−１）音声認識システムが入力として想定している内容を含む発話チャンネル（タスク内発話）
上記のチャンネル（タスク内発話）の音声を認識することが重要となる。

このような目的音源に対応するチャンネル選択の手法としては、例えば、以下の方法がある。
（ａ）パワー（音量）の大きさに基づいて選択する。
これは、各チャンネル出力のパワーの値に基づいて目的の音源チャンネルであるか残響チャンネルであるかを判別し、最大パワーのチャンネルを選択する方法である。
（ｂ）音源方向を推定し最も正面に近いものを選択する。
これは、ＩＣＡを行うとともに音源到来方向も同時に推定し、最も正面方向に近い音源が出力されているチャンネルを目的音として選択する方法である。
（ｃ）音声／非音声判別と、過去のデータとの比較により選択する。
これは、例えば各チャンネルの音が、人の音声信号であるか否かを判別し、人の音声信号のチャンネルと判断したチャンネルについて、保持している過去の周波数特徴量との比較を行うことで、特定の人の音声を判別する手法である。なお、この手法については、例えば特許文献３（特開２００７−２７９５１７号公報）に記載されている。

従来システムにおける問題点のまとめ
例えば、図１に示すＩＣＡに基づく音源分離処理と音声認識処理とを組み合わせたシステムにおいては、上述したＩＣＡ出力の不確定性が存在し、また、いかにしてＩＣＡの生成した複数のチャンネルから目的音声を選択するかを決定するかが問題となる。

従来システムにおける問題点を整理して列挙すると以下のようになる。
（Ａ）チャンネル選択後に音声認識を適用することの問題点
（Ａ１）１つのチャンネルのみ選択する場合、
複数の音が鳴っている場合に、目的音以外が選択されてしまう可能性がある。
（Ａ２）複数のチャンネルを選択する場合、
音声認識結果が複数得られるが、その中で再度取捨選択する必要がある。

（Ｂ）チャンネル選択の従来手法の問題点
上述の３つの従来手法の問題点を挙げる。
（ａ）パワーの大きさに基づくチャンネル選択手法の問題点
パワーの大きさのみでは、音声以外の音源を誤って選択する可能性がある。例えば、音源チャンネルと残響チャンネルは区別できるが、音声と非音声とは区別できない。
（ｂ）音源方向を推定し最も正面に近いものを選択する手法の問題点
目的とする音声が必ずしも正面から到来するとは限らない。
（ｃ）音声／非音声判別と、過去のデータとの比較の組み合わせにより選択する手法の問題点
音声／非音声判別では、音声認識システムが想定するタスクの発話内容かどうかまでは判別できない。
音声信号とそれ以外は区別できるが、タスク内発話とタスク外発話とは区別できない。
このように、従来のチャンネル選択手法には様々な問題点がある。

特開２００６−２３８４０９号公報 特開２００９−５３０８８号公報 特開２００７−２７９５１７号公報

『入門・独立成分分析』（村田昇著、東京電機大学出版局） 『詳解 独立成分分析』の「１９．２．４．フーリエ変換法」

本発明は、このような状況に鑑みてなされたものであり、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ；ＩＣＡ）を用いて各音源信号単位の分離処理を行い、さらに目的音の音声認識処理を実行する音声認識装置、および音声認識方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成する音源分離部と、
前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行し、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成する音声認識部と、
前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出し、スコアの高い音声認識結果を選択出力するチャンネル選択部を有する音声認識装置にある。

さらに、本発明の音声認識装置の一実施態様において、前記音声認識部は、前記付加情報として音声認識結果の認識信頼度を算出し、前記チャンネル選択部は、前記認識信頼度を適用して各チャンネル対応の音声認識結果のスコアを算出する。

さらに、本発明の音声認識装置の一実施態様において、前記音声認識部は、前記付加情報として、音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度を算出し、前記チャンネル選択部は、前記タスク内発話度を適用して各チャンネル対応の音声認識結果のスコアを算出する。

さらに、本発明の音声認識装置の一実施態様において、前記チャンネル選択部は、音声認識結果の認識信頼度、または音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度の少なくともいずれかをスコア算出データとして適用するとともに、音声パワー、または音源方向情報の少なくともいずれかを組み合わせてスコアを算出する。

さらに、本発明の音声認識装置の一実施態様において、前記音声認識部は、前記音源分離部の生成した複数チャンネルの分離信号のチャンネル数に等しい複数の音声認識部によって構成され。前記複数の音声認識部は、前記音源分離部の生成した複数チャンネルの分離信号の各チャンネル対応の分離信号をそれぞれ入力して、音声認識処理を並列に実行する構成である。

さらに、本発明の第２の側面は、
音声認識装置において実行する音声認識方法であり、
音源分離部が、複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成する音源分離ステップと、
音声認識部が、前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行し、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成する音声認識ステップと、
チャンネル選択部が、前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出し、スコアの高い音声認識結果を選択出力するチャンネル選択ステップと、
を有する音声認識方法にある。

さらに、本発明の第３の側面は、
音声認識装置において音声認識処理を実行させるプログラムであり、
音源分離部に、複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成させる音源分離ステップと、
音声認識部に、前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行させ、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成させる音声認識ステップと、
チャンネル選択部に、前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出させ、スコアの高い音声認識結果を選択出力させるチャンネル選択ステップと、
を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、複数音源からの出力を混合した混合信号からなる観測信号に対して、独立成分分析（ＩＣＡ）を適用した処理により分離信号を生成するとともに、各分離信号に対する音声認識処理を実行する。さらに音声認識結果の評価情報としての付加情報を生成する。付加情報として音声認識結果の認識信頼度や、音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度を算出する。これらの付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出してスコアの高い認識結果を選択出力する。これらの処理により、複数音源からの混合信号に対する音源分離と音声認識が実現され、必要とする認識結果をより確実に取得することができる。

Ｎ個の音源から異なる音が鳴っていて、それらをｎ個のマイクで観測するという状況について説明する図である。 一般的な独立成分分析（ＩＣＡ）による音源分離処理と音声認識部を組み合わせたシステム例について説明する図である。 本発明の音声認識装置の全体構成と処理の概要について説明する図である。 音源分離部２０２の詳細構成と処理の具体例について説明する図である。 各チャンネルに対応して設けられた音声認識部２０３−１〜Ｎの１つの音声認識部の構成を示す図である。 チャンネル選択部２０４の詳細構成と処理の具体例について説明する図である。 本発明の音声認識装置の実行する処理の全体の流れを示すフローチャートを示す図である。 図７に示すフローにおけるステップＳ１０３の音声認識処理の詳細を示すフローチャートを示す図である。 図７に示すフローにおけるステップＳ１０４のチャンネル選択処理の詳細を示すフローチャートを示す図である。

以下、図面を参照しながら本発明の音声認識装置、および音声認識方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本発明の音声認識装置の全体構成例と処理の概要について
２．音源分離部の詳細構成と処理の具体例について
３．音声認識部の詳細構成と処理の具体例について
４．チャンネル選択部の詳細構成と処理の具体例について
５．音声認識装置の実行する処理のシーケンスについて

［１．本発明の音声認識装置の全体構成例と処理の概要について］
まず、図３を参照して本発明の音声認識装置の全体構成と処理の概要について説明する。本発明の音声認識装置は、複数音源の出力する音声の混合信号を入力して音源分離を行い、さらに音源分離結果を利用した音声認識処理を行う装置である。
図３に、本発明の一実施例に係る音声認識装置２００の構成例を示す。

複数のマイクロホン２０１−１〜Ｎによって音声が集音され、各マイクロホン２０１−１〜Ｎの取得した音声信号に対応する入力波形が音源分離部２０２に送られる。音源分離部２０２は、例えば独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）により、複数音源の混合音を各音源に由来する個々の音源に分離する処理を行う。この分離処理により、例えば各音源に由来する音声の分離波形が生成されて出力される。
音源分離部２０２は、この音源分離処理に併せて各分離波形に対応する音声の到来する音源方向の推定処理も実行する。

なお、音源分離部２０２の実行する独立成分分析（ＩＣＡ）による分離処理によって、入力数（Ｎ）に応じたＮ個の分離波形が生成される。なお、ここでは分離波形の個数（Ｎ）をチャンネル数とする。音源分離部２０２はチャンネル１〜チャンネルＮのＮチャンネルの分離波形を生成する。ただし、音源数はＮ個に等しいとは限らない。Ｎチャンネルの一部のみが特定の音源に対応する音声分離波形を出力し、その他はノイズのみからなるチャンネルとなる場合もある。

音源分離部２０２の生成した各音源に由来する複数の分離波形の各々は、個別にチャンネル選択部２０４に出力され、さらに、各分離波形個別に設定された音声認識部２０３−１〜Ｎに入力される。
また、音源分離部２０２の生成した各音源に由来する複数の音源方向情報は、個別にチャンネル選択部２０４に出力される。

音声認識部２０３−１〜Ｎの各々は、音源分離部２０２から出力される分離波形各々に対して音声認識処理を実行する。音声認識部２０３−１〜Ｎの各々は、音声認識結果とともに、付加情報として認識結果の信頼度やタスク内発話か否かの度合い（タスク内発話度）を付加して、チャンネル選択部２０４に出力する。

なお、タスク内発話度とは、音声認識装置２００の想定するタスクの発話であるかどうかの度合いである。具体的には、例えば、音声認識装置２００を備えた装置がテレビである場合、テレビに対する操作要求、例えばボリューム（音量）の変更要求や、チャンネルの変更要求などが音声認識結果に含まれる場合は、タスク内発話である可能性が高く、タスク内発話度を高設定とした情報を出力する。なお、この判定処理に際しては、音声認識装置２００内のメモリに保持された統計言語モデルが利用される。統計言語モデルは、予め様々な単語について、タスクに関連する単語であるか否かの指標値を設定したデータである。

チャンネル選択部２０４は、音源分離部２０２から各音源に対応する分離波形を入力し、さらに、音声認識部２０３−１〜Ｎの各々から、
分離波形各々に対応する音声認識結果、
付加情報（認識結果の信頼度やタスク内発話度）、
これらの情報を入力する。

チャンネル選択部２０４は、これらの入力情報を適用して、目的とする音が含まれるチャンネルの音声認識結果を選択して出力する。

なお、図３に示す各構成部の処理は、図３には示されない制御部の制御の下に実行される。制御部はＣＰＵ等によって構成され、図示しない記憶部に格納されたプログラムを実行して、図３に示す各構成部の処理を制御する。
図３に示す各構成部の詳細構成と実行する処理の具体例について、図４以下を参照して説明する。

［２．音源分離部の詳細構成と処理の具体例について］
まず、図４を参照して、音源分離部２０２の詳細構成と処理の具体例について説明する。
図４に示すように、音源分離部２０２は、Ａ／Ｄ変換部３０１、短時間フーリエ変換（ＦＴ）部３０２、信号分離部３０３、逆フーリエ変換（ＦＴ）部３０４、Ｄ／Ａ変換部３０５、および音源方向推定部３０６を有する。

マイクロホン２０１−１〜Ｎからの個々の入力波形はＡ／Ｄ変換部３０１においてデジタル観測信号に変換され、短時間フーリエ変換（ＦＴ）部３０２に入力される。

短時間フーリエ変換（ＦＴ）部３０２は、デジタル信号に変換された入力信号に対する短時間フーリエ変換（ＦＴ）処理を実行し、スペクトログラムに変換して信号分離部３０３に入力する。なお、この短時間フーリエ変換（ＦＴ）処理により得られる各観測信号のスペクトログラムは、先に説明した式［２．１］の信号、すなわち、Ｘ（ω，ｔ）である。

信号分離部３０３は、短時間フーリエ変換（ＦＴ）部３０２の生成した各観測信号のスペクトログラムを入力して、前述した独立成分分析（ＩＣＡ）を実行して分離結果Ｙを生成する。この分離結果は、Ｎ個のチャンネル数に対応したＮ個の分離結果となる。この分離結果Ｙは、逆フーリエ変換（ＦＴ）部３０４に入力される。

逆フーリエ変換（ＦＴ）部３０４は、個々の音源信号に対応するスペクトログラムに対して逆フーリエ変換処理を施して、スペクトログラムを時間領域の信号に変換して、各音源に対応すると推定される音源分離信号を生成する。この分離信号は、チャンネル数分、すなわちＮ個の信号として生成される。

これらのＮ個の分離信号は、Ｄ／Ａ変換部３０５に入力され、Ｄ／Ａ変換によりアナログ信号としてのＮ個の分離波形に変換される。このＮ個の分離波形の各々は、各チャンネル１〜Ｎ対応の音声認識部２０３〜１〜Ｎ、およびチャンネル選択部２０４に出力される。

音源方向推定部３０６では信号分離部３０３での推定結果の一部を用いて、各独立な信号の到来方向を推定する。この推定情報もＮ個のチャンネル数に対応したチャンネル対応のＮ個の音源方向情報である。音源方向推定部３０６の生成したこのＮ個の音源方向情報は、チャンネル選択部２０４に出力される。

［３．音声認識部の詳細構成と処理の具体例について］
次に、図５を参照して音声認識部２０３−１〜Ｎの詳細構成と処理の具体例について説明する。図５は、各チャンネルに対応して設けられた音声認識部２０３−１〜Ｎの１つの音声認識部の構成を示す図である。Ｎ個の音声認識部２０３−１〜Ｎの各々が図５に示す構成を有している。

図５に示すように、音声認識部２０３は、Ａ／Ｄ変換部４０１、特徴量抽出部４０２、音声認識処理部４０３、付加情報算出部４０７を有している。付加情報算出部は、認識信頼度算出部４０８、タスク内発話度算出部４０９を有している。
また、音声認識部２０３内には、音響モデル４０４、タスク内統計言語モデル４０５、タスク外統計言語モデル４０６が格納され、これらのデータを利用した処理が実行される。

図５に示す音声認識部２０３の入力は、音源分離部２０２によって分離されたＮ個のチャンネル中、１つのチャンネルｋ（ｋ＝１〜Ｎ）に対応する１つの分離波形である。音声認識部２０３−１〜Ｎの各々が、チャンネルｋ（ｋ＝１〜Ｎ）の分離波形を入力して、それぞれが並列に各チャンネルの分離波形に基づく音声認識処理を実行する。

このように、音声認識部２０３−１〜ＮではＮチャンネルのＮ個の分離波形に対する処理が並列に行われる。図５を参照して、１つのチャンネル対応の分離波形に対する処理について説明する。

１つのチャンネル対応の分離波形は、まず、Ａ／Ｄ変換部４０１に入力される。
Ａ／Ｄ変換部４０１は、アナログ信号である分離波形をデジタル観測信号に変換する。デジタル観測信号は特徴量抽出部４０２に入力される。

特徴量抽出部４０２は、Ａ／Ｄ変換部４０１からデジタル観測信号を入力し、デジタル観測信号から音声認識に用いる特徴量を抽出する。なお、特徴量抽出処理は、既存の音声認識アルゴリズムに従って実行可能である。抽出された特徴量は音声認識処理部４０３に入力される。

音声認識処理部４０３は、特徴量抽出部４０２から入力した特徴量を用いた音声認識処理を実行する。
音声認識処理部４０３は、音響モデル４０４の他、タスク内統計言語モデル４０５を用いた音声認識処理と、タスク外統計言語モデル４０６を用いた音声認識処理の、異なる言語モデルを適用した複数の認識処理を実行する。

例えば、タスク内統計言語モデル４０５に登録された単語と、音声認識処理結果として得られる単語とを比較して、一致する単語を選択して認識結果を取得して、さらに一致度に応じたスコアを算出する。
さらに、タスク外統計言語モデル４０６に登録された単語と、音声認識処理結果として得られる単語とを比較して、一致する単語を選択して認識結果を取得して、さらに一致度に応じたスコアを算出する。
この異なるモデルを用いた複数の認識結果の中から最も認識スコアの高い結果を選択して音声認識結果として出力する。
なお、タスク内統計言語モデル４０５、タスク外統計言語モデル４０６としては、異なるモデルを複数用いることが可能である。

音声認識処理部４０３で生成した音声認識結果は、チャンネル選択部２０４に出力されるとともに、音声認識部２０３内の付加情報算出部４０７に出力される。付加情報算出部４０７に出力される情報には、上記のスコア情報も含まれる。

付加情報算出部４０７は、認識信頼度算出部４０８、およびタスク内発話度算出部４０９を有する。
認識信頼度算出部４０８は、音声認識処理部４０３で生成した音声認識結果の認識信頼度を算出する。音声認識結果の認識信頼度は、例えば認識した単語の系列の妥当性を予めメモリに格納した評価基準データを利用して評価することで行う。具体的には、例えば特開２００５−２７５３４８に記載の構成を適用して認識信頼度を算出することができる。

タスク内発話度算出部４０９は、音声認識処理部４０３で生成した音声認識結果のタスク内発話度を算出する。タスク内発話度とは、前述したように、音声認識装置２００の想定するタスクの発話であるかどうかの度合いである。具体的には、例えば、音声認識装置２００を備えた装置がテレビである場合、音声認識処理部４０３で生成した音声認識結果に含まれる単語が、テレビに対する操作要求、例えばボリューム（音量）の変更要求や、チャンネルの変更要求などの単語である場合は、タスク内発話である可能性が高く、タスク内発話度が高くなる。音声認識結果にこのようなタスクと無関係の単語が多く含まれる場合は、タスク内発話度は低く設定される。

具体的な処理としては、上述した音声認識処理部４０３の処理によって得られるスコアを利用した処理によって、タスク内発話度を算出することができる。
すなわち、音声認識処理結果として得られる単語とタスク内統計言語モデル４０５の登録単語との一致度に応じた第１のスコアと、
音声認識処理結果として得られる単語とタスク外統計言語モデル４０６の登録単語との一致度に応じた第２のスコアと、
の比較を実行する。
第１のスコアが第２のスコアより高い場合は、タスク内発話度は高く設定され、第２のスコアが第１のスコアより高い場合は、タスク内発話度は低く設定される。

付加情報算出部４０７は、認識信頼度算出部４０８の算出した認識信頼度と、タスク内発話度算出部４０９の算出したタスク内発話度を、音声認識結果に対応する付加情報としてチャンネル選択部２０４に出力する。

［４．チャンネル選択部の詳細構成と処理の具体例について］
次に、図６を参照してチャンネル選択部２０４の詳細構成と処理の具体例について説明する。
図６に示すように、チャンネル選択部２０４は、チャンネルスコア算出部５０１〜１〜Ｎと、選択チャンネル決定部５０２を有している。

チャンネルスコア算出部５０１−１〜Ｎは、各チャンネル１〜Ｎに対応して設けられている。各チャンネルスコア算出部５０１−１〜Ｎの各々は、チャンネル対応情報として、
音声認識部２０３から音声認識結果と、付加情報（認識信頼度と、タスク内発話度）
音源分離部２０２から、分離波形と、音源方向情報、
これらの情報を入力する。

チャンネルスコア算出部５０１−１〜Ｎは、これらのチャンネル対応情報を利用して各チャンネルの音声認識結果のスコアを算出する。
例えば、
認識信頼度＝ｐ
タスク内発話度＝ｑ
分離波形のパワー＝ｒ
とする。
認識信頼度＝ｐは、信頼度が高いほど、ｐの値が大きく、
タスク内発話度＝ｑは、タスク内発話の可能性が高いほど、ｑの値が大きく、
分離波形のパワー＝ｒは、パワー（音量）が大きいほど、ｒの値を大きく設定する。

この場合、そのチャンネルｋのスコアＳｋを、
Ｓｋ＝ａｐ＋ｂｑ＋ｃｒ
として算出する。
ただしａ，ｂ，ｃ，は予め設定した係数（重み係数）である。

さらに、音源方向についても考慮して、音源方向が、装置の正面ほど高くなる評価値として、
音源方向評価値＝ｈ
を利用し、
Ｓｋ＝ａｐ＋ｂｑ＋ｃｒ＋ｄｈ
として算出する構成としてもよい。
ただしａ，ｂ，ｃ，ｄは予め設定した係数（重み係数）である。

これらのチャンネル対応のスコアＳｋ（ｋ＝１〜Ｎ）が、各チャンネルスコア算出部５０１−１〜Ｎにおいて算出され、選択チャンネル決定部５０２に入力される。

選択チャンネル決定部５０２は、チャンネルスコア算出部５０１−１〜Ｎから入力するＮチャンネル各々に対応するスコアＳ１〜ＳＮを入力して、これらのスコアの比較処理を実行して、高スコアのチャンネルの音声認識結果を選択して認識結果として出力する。

なお、選択チャンネル決定部５０２は、スコアの高いチャンネルの認識結果から、予め設定したＭ個の認識結果を出力する。出力個数Ｍは、例えば、外部からユーザが設定可能な構成を持つ。

選択チャンネル決定部５０２は、スコアの上位Ｍチャンネル分の認識結果を選択された認識結果として出力する。選択チャンネル数Ｍの値は、利用形態にあわせて設定する。例えばユーザが一人の場合、同時に１発話のみの入力が想定されるので、
Ｍ＝１
とする。同時に複数人が発話を入力する可能性がある場合は１より大きい値を設定する。

［５．音声認識装置の実行する処理のシーケンスについて］
次に、図７以下のフローチャートを参照して、本発明の音声認識装置の実行する処理の処理シーケンスについて説明する。

図７に示すフローチャートは、本発明の音声認識装置の実行する処理の全体の流れを示すフローチャートである
図８は、図７に示すフローにおけるステップＳ１０３の音声認識処理の詳細を示すフローチャートである。
図９は、図７に示すフローにおけるステップＳ１０４のチャンネル選択処理の詳細を示すフローチャートである。

なお、図７〜図９に示すフローチャートに従った処理は、前述したようにＣＰＵ等によって構成される制御部の制御の下に実行される。制御部は記憶部に格納されたプログラムを実行することで、図３〜図５を参照して説明した各構成部に適宜コマンド等を出力して処理制御を行い、図７〜図９に示すフローチャートに従った処理を実行させる。

まず、図７に示すフローチャートを参照して、発明の音声認識装置の実行する処理の全体の流れについて説明する。なお、各処理ステップの処理について図３の構成図と対応させながら説明を行う。

ステップＳ１０１において、マイクロホン２０１−１〜Ｎからの音声入力処理を行う。様々な位置に配置されたＮ本のマイクロホンを利用して音声を集音して入力する。Ｎ本のマイクロホンがあったとすると、Ｎチャンネルの入力波形が得られる。

ステップＳ１０２において、音源分離処理を実行する。これは、図３に示す音源分離部２０２の処理であり、図３を参照して説明した処理に相当する。先に図３を参照して説明したように、音源分離部２０２は、Ｎチャンネル分の入力波形に対してＩＣＡによる音源分離処理を実行して、Ｎチャンネル分の分離波形を生成する。なお、この処理に際して、各チャンネルの分離波形に対応する音源方向情報についても取得する構成としてもよい。

次のステップＳ１０３の処理は、音声認識処理である。この音声認識処理は、図３に示す音声認識部２０３−１〜Ｎにおいて実行される処理であり、図４を参照して説明した処理に対応する。ステップＳ１０３の音声認識処理では、各チャンネルに対応する音声認識結果と、付加情報としての認識信頼度と、タスク内発話度が生成される。
なお、このステップＳ１０３の音声認識処理の詳細については、後段で、図８のフローチャートを参照して説明する。

次のステップＳ１０４の処理は、チャンネル選択処理である。このチャンネル選択処理は、図３に示すチャンネル選択部２０４において行われる処理であり、図６を参照して説明した処理に対応する。ステップＳ１０４のチャンネル選択処理では、音声認識処理結果と付加情報等から、チャンネル対応のスコアを算出し、スコアの高いものを優先して選択する。
なお、このステップＳ１０４のチャンネル選択処理の詳細については、後段で、図９のフローチャートを参照して説明する。

次のステップＳ１０５は、認識結果出力処理である。この認識結果出力処理も、図３に示すチャンネル選択部２０４において行われる処理であり、図６を参照して説明した処理に対応する。ステップＳ１０５の認識結果出力処理では、予め設定した出力数（Ｍ）に応じて、ステップＳ１０４において算出したチャンネル対応のスコアの高いものから順にＭ個の音声認識結果の出力を実行する。

次に、図８に示すフローチャートを参照して、図７のフローチャートにおけるステップＳ１０３の音声認識処理の詳細シーケンスについて説明する。この音声認識処理は、図３に示す音声認識部２０３−１〜Ｎにおいて実行される処理であり、図５を参照して説明した処理に対応する。

ここでは、チャンネル１〜Ｎのうちでｋチャンネルにおける処理（音声認識部２０３−ｋの処理）について説明する。音声認識処理においてチャンネルの間で依存関係は無いため、それぞれの音声認識を順次処理することも並列処理することも可能である。

ステップＳ２０１において、音源分離部２０２の分離処理結果である出力チャンネルｋのデータを受信する。
ステップＳ２０２において、特徴量抽出処理を実行する。この特徴量抽出処理は、図５に示す特徴量抽出部４０２の処理である。特徴量抽出部４０２は、観測信号から音声認識に用いる特徴量を抽出する。

次にステップＳ２０３において、音声認識処理を実行する。この音声認識処理は、図５に示す音声認識処理部４０３の処理である。音声認識処理部４０３は、前述したように音響モデル４０４の他、タスク内統計言語モデル４０５を用いた音声認識処理と、タスク外統計言語モデル４０６を用いた音声認識処理の、異なる言語モデルを適用した複数の認識処理を実行する。

次に、ステップＳ２０４において、信頼度算出処理を実行する。この信頼度算出処理は、図５に示す付加情報算出部４０７の認識信頼度算出部４０８の実行する処理である。

認識信頼度算出部４０８は、音声認識処理部４０３で生成した音声認識結果の認識信頼度を算出する。例えば認識した単語の系列の妥当性を予めメモリに格納した評価基準データを利用して認識信頼度を算出する。

次に、ステップＳ２０５において、タスク内発話度算出処理を実行する。このタスク内発話度算出処理は、図５に示す付加情報算出部４０７のタスク内発話度算出部４０９の実行する処理である。

タスク内発話度算出部４０９は、音声認識処理部４０３で生成した音声認識結果のタスク内発話度を算出する。音声認識処理部４０３で生成した音声認識結果に含まれる単語に、タスクに関連する単語が多く含まれる場合は、タスク内発話である可能性が高く、タスク内発話度が高くなる。音声認識結果にこのようなタスクと無関係の単語が多く含まれる場合は、タスク内発話度は低く設定される。

音声認識部２０３は、図８に示すフローチャートに従って、各チャンネル対応のデータとして、
音声認識結果、
付加情報（認識信頼度、タスク内発話度）
これらのデータを生成してチャンネル選択部２０４に供給する。

次に、図９に示すフローチャートを参照して、図７のフローチャートにおけるステップＳ１０４のチャンネル選択処理の詳細シーケンスについて説明する。このチャンネル選択処理は、図３に示すチャンネル選択部２０４において実行される処理であり、図６を参照して説明した処理に対応する。

ステップＳ３０１は、出力リストの初期化処理を行う。出力リストは、チャンネル１〜Ｎの認識結果をスコアの高い順に並べたリストである。図６に示す選択チャンネル決定部５０２はこの出力リストに従って高スコアの認識結果から、予め決定した出力数（Ｍ個）の認識結果を選択して出力することになる。
ステップＳ３０１では、出力リストの初期化処理、すなわちリストのリセットを行う。

次のステップＳ３０２〜Ｓ３０４の処理は、チャンネルｋ＝１〜Ｎのデータに対応して繰り返し実行するループ処理である。
ステップＳ３０３において、チャンネルｋに対応するスコアの計算を行う。
スコアの計算は、例えば先に説明したように、
認識信頼度＝ｐ
タスク内発話度＝ｑ
分離波形のパワー＝ｒ
として、チャンネルｋのスコアＳｋを、
Ｓｋ＝ａｐ＋ｂｑ＋ｃｒ
として算出する。
ただしａ，ｂ，ｃ，は予め設定した係数（重み係数）である。
あるいは、音源方向についても考慮し、
音源方向評価値＝ｈ
を利用し、
Ｓｋ＝ａｐ＋ｂｑ＋ｃｒ＋ｄｈ
として算出する。
このような処理よって、チャンネルｋのスコアを算出する。

ステップＳ３０２〜Ｓ３０４において、チャンネル１〜ＮのＮ個のチャンネルに対応する音声認識結果に対応するＮ個のスコアＳ１〜ＳＮを算出する。

最後にステップＳ３０５において、チャンネルのスコアの上位から予め規定した出力数（Ｍ）に対応する数の認識結果を選択して出力する。この処理は、図６に示す選択チャンネル決定部５０２の処理である。

選択チャンネル決定部５０２は、チャンネルスコア算出部５０１−１〜Ｎから入力するＮチャンネル各々に対応するスコアＳ１〜ＳＮを入力して、これらのスコアの比較処理を実行して、高スコアのチャンネルの音声認識結果を選択して認識結果として出力する。

このように、本発明の音声認識装置では、ＩＣＡによる音源分離の各出力チャンネルに音声認識をそれぞれ適用し、その結果に基づいて目的とする音に対応するチャンネルを選択する。音声認識結果の信頼度と音声認識装置が想定するタスク内の発話であるか否かの情報を付与し、それらの付加情報に基づいてチャンネル選択を行うことで、ＩＣＡ出力チャンネル選択の誤りの問題を解消することができる。

本発明の音声認識装置の実行する処理による効果としては、例えば以下の効果がある。
（ａ）音声認識の信頼度を利用することにより、目的とする音声以外のチャンネルを誤って選択されてしまうという問題が解消される。
（ｂ）音源方向の情報は用いない設定では、目的音声の到来方向に依存しないチャンネル選択が可能となる。
（ｃ）タスク内発話内容かどうかの情報を利用することにより、音声認識システムが入力として想定していない妨害音声を棄却することができる。
このような効果奏することができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、複数音源からの出力を混合した混合信号からなる観測信号に対して、独立成分分析（ＩＣＡ）を適用した処理により分離信号を生成するとともに、各分離信号に対する音声認識処理を実行する。さらに音声認識結果の評価情報としての付加情報を生成する。付加情報として音声認識結果の認識信頼度や、音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度を算出する。これらの付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出してスコアの高い認識結果を選択出力する。これらの処理により、複数音源からの混合信号に対する音源分離と音声認識が実現され、必要とする認識結果をより確実に取得することができる。

１０１ マイクロホン
１０２ 音源分離部
１０３ チャンネル選択部
１０４ 音声認識部
２００ 音声認識装置
２０１ マイクロホン
２０２ 音源分離部
２０３ 音声認識部
２０４ チャンネル選択部
３０１ Ａ／Ｄ変換部
３０２ 短時間フーリエ変換（ＦＴ）部
３０３ 信号分離部
３０４ 逆フーリエ変換（ＦＴ）部
３０５ Ｄ／Ａ変換部
３０６ 音源方向推定部
４０１ Ａ／Ｄ変換部
４０２ 特徴量抽出部
４０３ 音声認識処理部
４０４ 音響モデル
４０５ タスク内統計言語モデル
４０６ タスク外統計言語モデル
４０７ 付加情報算出部
４０８ 認識信頼度算出部
４０９ タスク内発話度算出部
５０１ チャンネルスコア算出部
５０２ 選択チャンネル決定部

Claims (7)

1. 複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成する音源分離部と、
   前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行し、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成する音声認識部と、
   前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出し、スコアの高い音声認識結果を選択出力するチャンネル選択部を有する音声認識装置。
2. 前記音声認識部は、
   前記付加情報として音声認識結果の認識信頼度を算出し、
   前記チャンネル選択部は、
   前記認識信頼度を適用して各チャンネル対応の音声認識結果のスコアを算出する請求項１に記載の音声認識装置。
3. 前記音声認識部は、
   前記付加情報として、音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度を算出し、
   前記チャンネル選択部は、
   前記タスク内発話度を適用して各チャンネル対応の音声認識結果のスコアを算出する請求項１または２に記載の音声認識装置。
4. 前記チャンネル選択部は、
   音声認識結果の認識信頼度、または音声認識結果が音声認識装置において想定したタスクに関連する認識結果であるか否かを示すタスク内発話度の少なくともいずれかをスコア算出データとして適用するとともに、音声パワー、または音源方向情報の少なくともいずれかを組み合わせてスコアを算出する請求項１に記載の音声認識装置。
5. 前記音声認識部は、
   前記音源分離部の生成した複数チャンネルの分離信号のチャンネル数に等しい複数の音声認識部によって構成され。
   前記複数の音声認識部は、
   前記音源分離部の生成した複数チャンネルの分離信号の各チャンネル対応の分離信号をそれぞれ入力して、音声認識処理を並列に実行する構成である請求項１〜４いずれかに記載の音声認識装置。
6. 音声認識装置において実行する音声認識方法であり、
   音源分離部が、複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成する音源分離ステップと、
   音声認識部が、前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行し、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成する音声認識ステップと、
   チャンネル選択部が、前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出し、スコアの高い音声認識結果を選択出力するチャンネル選択ステップと、
   を有する音声認識方法。
7. 音声認識装置において音声認識処理を実行させるプログラムであり、
   音源分離部に、複数音源の出力の混合信号を各音源に対応する信号に分離して複数チャンネルの分離信号を生成させる音源分離ステップと、
   音声認識部に、前記音源分離部の生成した複数チャンネルの分離信号を入力して音声認識処理を実行させ、各チャンネル対応の音声認識結果を生成するとともに、各チャンネル対応の音声認識結果の評価情報となる付加情報を生成させる音声認識ステップと、
   チャンネル選択部に、前記音声認識結果と前記付加情報を入力し、前記付加情報を適用して各チャンネル対応の音声認識結果のスコアを算出させ、スコアの高い音声認識結果を選択出力させるチャンネル選択ステップと、
   を実行させるプログラム。

Images