JP2009003008A - 雑音抑圧装置、音声認識装置、雑音抑圧方法、及びプログラム - Google Patents

Abstract

【課題】二種以上の雑音の重畳された音声から雑音を適切に除去できる雑音抑圧装置を提供する。
【解決手段】音声と雑音を含む訓練データの一種類の音声・雑音の音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部１４と、訓練データの二種以上の音声・雑音が合成された合成音響モデルが記憶される合成音響モデル記憶部１５と、ラベルと音響モデルを対応付ける辞書情報が記憶される辞書情報記憶部１７と、訓練データで重畳されている音声と雑音の種類のラベルのラベル言語モデルが記憶されるラベル言語モデル記憶部１８と、雑音重畳音声データを受け付ける受付部１９と、各モデルと辞書情報を用いて雑音重畳音声データのラベル系列を認識するラベル認識部２０と、そのラベル系列を用いて雑音を抑圧したクリーン音声データを生成する雑音抑圧部２１とを備える。
【選択図】図１

Description

本発明は、雑音を抑圧する雑音抑圧装置等に関する。

実環境下での音声認識では、認識対象の音声に対して周囲の雑音の重畳されたものが入力されることが多く、そのような雑音の重畳された音声から雑音を除去するための雑音抑圧手法が開発されている（例えば、非特許文献１、非特許文献２参照）。
Ｊ．Ｃ．Ｓｅｇｕｒａ，Ａ．ｄｅ ｌａ Ｔｏｒｒｅ，Ｍ．Ｃ． Ｂｅｎｉｔｅｚ，Ａ．Ｍ．Ｐｅｉｎａｄｏ，「Ｍｏｄｅｌ−ｂａｓｅｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｏｆ ｔｈｅ ａｄｄｉｔｉｖｅ ｎｏｉｓｅ ｆｏｒ ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ． Ｅｘｐｅｒｉｍｅｎｔｓ ｕｓｉｎｇ ｔｈｅ ＡＵＲＯＲＡ ＩＩ ｄａｔａｂａｓｅ ａｎｄ ｔａｓｋｓ」、Ｐｒｏｃ．ｏｆ ＥＵＲＯＳＰＥＥＣＨ２００１，ｖｏｌ．１、ｐｐ．２２１−２２４、２００１年 Ｗ．Ｈｅｒｂｏｒｄｔ，Ｔ．Ｈｏｒｉｕｃｈｉ，Ｍ．Ｆｕｊｉｍｏｔｏ，Ｔ．Ｊｉｔｓｕｈｉｒｏ，Ｓ．Ｎａｋａｍｕｒａ，「Ｈａｎｄｓ−ｆｒｅｅ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｏｎ ＰＤＡｓ ｕｓｉｎｇ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ｔｅｃｈｎｏｌｏｇｙ」、Ｐｒｏｃ．ｏｆ ＡＳＲＵ２００５，ｐｐ．３０２−３０７、２００５年

従来の音声抑圧手法では、音声に重畳されている雑音を一種類と仮定していた。しかしながら、実環境下では、定常的な一種類の雑音のみでなく、突発的な雑音も多く、二種類以上の雑音が音声に重畳されることもある。したがって、雑音を一種類と仮定していた従来の手法では、その二種類以上の雑音の重畳された音声から、それらの雑音を効果的に除去することはできなかった。

本発明は、上記問題点を解決するためになされたものであり、二種類以上の雑音の重畳された音声から、雑音を適切に除去することができる雑音抑圧装置等を提供することを目的とする。

上記目的を達成するため、本発明による雑音抑圧装置は、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部と、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部と、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部と、雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、前記音声雑音音響モデル、前記合成音響モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、前記ラベル認識部が認識したラベルを用いて、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する雑音抑圧部と、を備えたものである。

このような構成により、二種類以上の雑音が音声データに重畳されている場合であっても、ラベル認識を行うことによって、その雑音の種類を推定することができ、その雑音を効果的に除去することができる。

また、本発明による雑音抑圧装置では、前記ラベルの言語モデルであるラベル言語モデルが記憶されるラベル言語モデル記憶部をさらに備え、前記ラベル認識部は、前記音声雑音音響モデル、前記合成音響モデル、前記ラベル言語モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識してもよい。
このような構成により、ラベル言語モデルを用いることによって、ラベルの認識の精度を向上させることができうる。

また、本発明による雑音抑圧装置では、前記訓練データが記憶される訓練データ記憶部と、前記訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報が記憶されるラベル記憶部と、前記訓練データ記憶部で記憶されている訓練データから、前記訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、前記音声雑音音響モデル記憶部、及び前記合成音響モデル記憶部にそれぞれ蓄積するモデル生成部と、前記ラベル記憶部で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、前記ラベル言語モデル記憶部に蓄積すると共に、前記辞書情報を生成して前記辞書情報記憶部に蓄積するラベル言語モデル生成部と、をさらに備えてもよい。

このような構成により、ラベルの認識で用いる音声雑音音響モデルや合成音響モデル、辞書情報、ラベルのラベル言語モデルを生成することができ、その生成したモデル等を用いて、ラベルの認識を行うことができる。

また、本発明による雑音抑圧装置では、前記モデル生成部は、前記音声雑音音響モデルを生成すると共に、当該音声雑音音響モデルを２以上合成することによって合成音響モデルを生成してもよい。

このような構成により、訓練データから直接、合成音響モデルを生成する場合に比べて、合成音響モデルを生成するのに必要な時間を削減することができうる。また、訓練データにおいて、合成音響モデルに対応するデータがあまり多く含まれない場合であっても、合成音響モデルを適切に生成することができる。

また、本発明による雑音抑圧装置では、前記雑音抑圧部は、前記雑音重畳音声データをフレームごとにメルフィルタバンク分析することによって、前記雑音重畳音声データに対応する対数メルスペクトルを生成するメルフィルタバンク分析手段と、前記雑音重畳音声データに対応する対数メルスペクトルと、前記ラベル認識部が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルと、前記雑音重畳音声データにおけるクリーンな音声データに応じた音声雑音音響モデルとを用いて、フレームごとに雑音成分を算出する雑音成分算出手段と、前記雑音重畳音声データから、前記雑音成分算出手段が算出した雑音成分を除去する雑音抑圧手段と、を備えてもよい。

このような構成により、ラベル認識結果を用いて、音声データにどのような雑音成分が重畳されているのかを知ることができ、その雑音の種類に応じた音声雑音音響モデルや合成音響モデルを用いることができ、雑音重畳音声データから雑音成分を除去することができる。

また、本発明による雑音抑圧装置では、雑音抑圧装置と、音声認識の対象となる音声データに関する音響モデルが記憶される音声認識用音響モデル記憶部と、音声認識で用いる音声認識用辞書情報が記憶される音声認識用辞書情報記憶部と、音声認識の認識対象言語に関する言語モデルが記憶される言語モデル記憶部と、前記雑音抑圧装置が生成したクリーン音声データを、前記音響モデル、前記音声認識用辞書情報、及び、前記言語モデルを用いて音声認識する音声認識部と、前記音声認識部による音声認識結果を出力する出力部と、を備えてもよい。

このような構成により、雑音の抑圧されたクリーン音声データを用いて音声認識を行うため、受け付けられた雑音重畳音声データからの音声認識を精度よく行うことができうる。

本発明による雑音抑圧装置等によれば、二種類以上の雑音が重畳された音声から、それらの雑音を効果的に除去することができる。その結果、音声認識等の処理における精度を向上させることもできうる。

以下、本発明による雑音抑圧装置、音声認識装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による雑音抑圧装置について、図面を参照しながら説明する。
図１は、本実施の形態による雑音抑圧装置１の構成を示すブロック図である。図１において、本実施の形態による雑音抑圧装置１は、訓練データ記憶部１１と、ラベル記憶部１２と、モデル生成部１３と、音声雑音音響モデル記憶部１４と、合成音響モデル記憶部１５と、ラベル言語モデル生成部１６と、辞書情報記憶部１７と、ラベル言語モデル記憶部１８と、受付部１９と、ラベル認識部２０と、雑音抑圧部２１と、蓄積部２２とを備える。

訓練データ記憶部１１では、訓練データが記憶される。ここで、訓練データは、音声データと雑音データを含んでいる。この音声データと雑音データとは、両者ともにモデルの学習に用いられる訓練用のものである。音声データとは、雑音ではないデータであり、例えば、人間の発声した音声のデータである。雑音データとは、ビープ音や、マシンノイズ等の雑音のデータである。この訓練データを用いて、後述するモデル生成部１３によるモデルの学習が行われる。

訓練データ記憶部１１に訓練データが記憶される過程は問わない。例えば、記録媒体を介して訓練データが訓練データ記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された訓練データが訓練データ記憶部１１で記憶されるようになってもよく、あるいは、マイクロフォン等の入力デバイスを介して入力された訓練データが訓練データ記憶部１１で記憶されるようになってもよい。訓練データ記憶部１１での記憶は、外部のストレージデバイス等から読み出した訓練データのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。訓練データ記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

ラベル記憶部１２では、訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報が記憶される。この訓練ラベル情報によって、訓練データ記憶部１１で記憶されている訓練データにおける音声データや雑音データの種類がラベルされることになる。例えば、ラベル「ｂｅｅｐ」「ｔａｒｇｅｔ」「ｂｅｅｐ．ｔａｒｇｅｔ」によって、訓練データに、ビープ音、目的発声、ビープ音と目的発声の重畳されたデータが含まれることが示されることになる。目的発声とは、所望の発声、すなわち、処理や聞き取り等の目的となる発声のことであり、例えば、音声認識を行う場合には、その音声認識の対象となる発声のことである。この訓練ラベル情報は、時系列に沿ったラベルの情報であるため、例えば、訓練データの時間に関する情報（例えば、タイムコードなど）を含んでおり、その情報によって、ラベルに対応する訓練データの期間を特定できるようになっていてもよい。

ラベル記憶部１２に訓練ラベル情報が記憶される過程は問わない。例えば、記録媒体を介して訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよく、通信回線等を介して送信された訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された訓練ラベル情報がラベル記憶部１２で記憶されるようになってもよい。ラベル記憶部１２での記憶は、外部のストレージデバイス等から読み出した訓練ラベル情報のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。ラベル記憶部１２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

モデル生成部１３は、訓練データ記憶部１１で記憶されている訓練データから、訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、音声雑音音響モデル記憶部１４、及び合成音響モデル記憶部１５にそれぞれ蓄積する。音声雑音音響モデルとは、訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである。音声データの種類とは、例えば、「目的発声」や、「他の発声」等である。また、雑音データとは、例えば、「ビープ音」や、「マシンノイズ」等である。音声データの音響モデルとは、例えば、目的発声の音声データの音響モデルや、他人の発声の音声データの音響モデル等であってもよい。また、雑音データの音響モデルとは、例えば、ビープ音の音響モデルや、マシンノイズの音響モデル等であってもよい。合成音響モデルとは、訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである。「音声データと雑音データのうちの二種類以上」とは、例えば、二種類以上の音声データであってもよく、一種類以上の音声データと一種類以上の雑音データとであってもよく、二種類以上の雑音データであってもよい。なお、合成音響モデルにおける音声データと雑音データのうちの二種類以上の組合せは、訓練データに含まれる一種類の音声データまたは雑音データのすべての組合せであってもよく、あるいは、一部の組合せであってもよい。前者であっても、組合せの最大の個数が決まっていることが好適である。また、後者の場合には、例えば、一種類の音声データまたは雑音データの組合せのうち、訓練データに含まれる組合せであってもよく、それ以外の組合せであってもよい。また、モデル生成部１３が生成する音声雑音音響モデルや合成音響モデルは、話者適応したものであってもよく、あるいは、そうでなくてもよい。

モデル生成部１３は、訓練ラベル情報を用いることによって、訓練データから所望の音声データの区間や、所望の雑音データの区間、あるいは、所望の音声の雑音の重畳されている区間等を抽出することができる。したがって、例えば、モデル生成部１３がビープ音の音声雑音音響モデルを生成する場合には、訓練ラベル情報を用いて訓練情報からビープ音に対応する雑音データの区間を抽出し、そのビープ音の雑音データを用いて、ビープ音の音声雑音音響モデルを生成する。モデル生成部１３は、一般にＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）でモデル化を行うが、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）でモデル化を行ってもよい。本実施の形態では、ＧＭＭでモデル化を行う場合について説明する。

モデル生成部１３が、訓練データから音声雑音音響モデルを生成する方法は、すでに公知であり、その説明を省略する。なお、ＧＭＭでのモデル化の際に、混合分布数を音声データや、雑音データの種類ごとに変えてもよい。例えば、目的発声の場合には、混合分布数を２００として、ビープ音の場合には、混合分布数を４としてもよい。

また、モデル生成部１３は、訓練データから直接、合成音響モデルを生成してもよく、あるいは、訓練データから音声雑音音響モデルを生成し、その生成した音声雑音音響モデルを２以上合成することによって合成音響モデルを生成してもよい。本実施の形態では、モデル生成部１３は、音声雑音音響モデルを生成すると共に、その音声雑音音響モデルを２以上合成することによって合成音響モデルを生成するものとする。なお、例えば、２個の音声雑音音響モデルを合成した場合には、その合成音響モデルの混合分布数は、その２個の音声雑音音響モデルのそれぞれの混合分布数を掛け合わせた数となる。例えば、混合分布数「３」の音声雑音音響モデルと、混合分布数「２」の音声雑音音響モデルとを合成した合成音響モデルの混合分布数は、２×３＝６となる。なお、モデル合成の方法については、例えば、モデルパラメータ上でＰＭＣ（Ｐａｒａｌｌｅｌ Ｍｏｄｅｌ Ｃｏｍｂｉｎａｔｉｏｎ）と同様のモデル合成を行う方法が知られており、その詳細な説明を省略する。ＰＭＣを用いたモデル合成の方法については、例えば、次の文献に記載されている。

文献：Ｍ．Ｆ．Ｊ．Ｇａｌｅｓ，「Ｍｏｄｅｌ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｎｏｉｓｅ ｒｏｂｕｓｔ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ」、ＰｈＤ ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｍｂｒｉｄｇｅ，１９９５年

ここで、音声雑音音響モデルを合成することによって合成音響モデルを生成するメリットについて簡単に説明する。まず、訓練データは有限の長さであるため、訓練データにおいて、合成音響モデルに対応するデータの区間よりも、音声雑音音響モデルに対応するデータの区間の方が一般に長いと考えられる。したがって、訓練データから直接、合成音響モデルを生成するよりも、訓練データから音声雑音音響モデルを生成し、その音声雑音音響モデルを２以上合成することによって合成音響モデルを生成する方が、精度が高いと考えられる。また、一般に、データから音響モデルを生成するよりは、音響モデルを合成することによって合成音響モデルを生成する方が早いと考えられる。したがって、合成音響モデルを生成する時間を短縮する観点からも、音声雑音音響モデルを２以上合成することによって合成音響モデルを生成する方が適切であると考えられる。さらに、訓練データにおいて、音声と雑音が重なり合う区間や、２種類以上の雑音の重なり合う区間を適切に特定することは困難である。したがって、より特定の簡単な音声のみの区間や、雑音のみの区間を特定し、それらの区間に対応する音響モデルを合成する方が、より精度の高いモデルになると考えられる。

音声雑音音響モデル記憶部１４では、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである音声雑音音響モデルが複数記憶される。音声雑音音響モデル記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

合成音響モデル記憶部１５では、訓練データに含まれる音声データと雑音データのうちの二種類以上のデータが合成された音響モデルである合成音響モデルが記憶される。合成音響モデル記憶部１５は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、ラベル言語モデル記憶部１８に蓄積すると共に、辞書情報を生成して辞書情報記憶部１７に蓄積する。ここで、ラベル言語モデルは、例えば、ラベルのＮグラムモデルであってもよく、あるいは、文法であってもよい。文法は、例えば、ネットワーク文法や、ＣＦＧ（Ｃｏｎｔｅｘｔ Ｆｒｅｅ Ｇｒａｍｍａｒ）、あるいは、それらの文法において確率を用いるものであってもよい。Ｎグラムモデルや文法については、自然言語処理や、音声認識において公知のものであり、詳細な説明を省略する。本実施の形態では、ラベル言語モデルがＮグラムモデルである場合について説明する。また、辞書情報とは、ラベルと音声雑音音響モデルまたは合成音響モデルとを対応付ける情報である。辞書情報は、例えば、ラベルを識別する情報と、音声雑音音響モデルを識別する情報または合成音響モデルを識別する情報とを対応付けて有する情報であってもよい。ラベルを識別する情報は、ラベルそのものであってもよく、音声雑音音響モデルを識別する情報や合成音響モデルを識別する情報は、そのモデルの名称であってもよい。したがって、辞書情報は、例えば、ビープ音のラベルを識別する情報である「ｂｅｅｐ」と、ビープ音に対応する音声雑音音響モデルを識別する情報である「ｂｅｅｐ」とを対応付ける情報であってもよい。なお、ラベル言語モデル生成部１６は、このラベル言語モデルや辞書情報を生成する際に、モデルを識別する情報を取得するために、音声雑音音響モデルや、合成音響モデル等を参照してもよい。

なお、ラベル言語モデル生成部１６がラベル言語モデルを生成する方法は、通常のＮグラム言語モデルを生成する方法や、文法を生成する方法と同じであり（このたびは、言語モデルの単語等がラベルとなっただけである）、その説明を省略する。また、ラベル言語モデル生成部１６がＮグラムモデルを生成する場合に、その生成するラベルのＮグラムモデルのＮの値は、あらかじめ決められているものとする。Ｎは、例えば、２（バイグラム）であってもよく、３（トライグラム）であってもよく、その両方であってもよい。

辞書情報記憶部１７では、ラベルと音声雑音音響モデルまたは合成音響モデルとを対応付ける情報である辞書情報が記憶される。辞書情報記憶部１７は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

ラベル言語モデル記憶部１８では、訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルのラベル言語モデルが記憶される。ラベル言語モデル記憶部１８は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。なお、ラベル言語モデルが文法を含む場合に、その文法の一部または全部は、ラベル言語モデル生成部１６によって生成されたものでなくてもよく、例えば、人手によって生成されたものであってもよい。その場合には、ラベル言語モデルの一部または全部が、外部から入力され、ラベル言語モデル記憶部１８に蓄積されてもよい。

受付部１９は、雑音の重畳されている音声データである雑音重畳音声データを受け付ける。受付部１９は、例えば、入力デバイス（例えば、マイクロフォンなど）から入力された雑音重畳音声データを受け付けてもよく、有線もしくは無線の通信回線を介して送信された雑音重畳音声データを受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された雑音重畳音声データを受け付けてもよい。なお、受付部１９は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、受付部１９は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。なお、受付部１９が受け付けた雑音重畳音声データを一時的に記憶しておく図示しない記録媒体が存在してもよい。

ラベル認識部２０は、音声雑音音響モデル記憶部１４で記憶されている音声雑音音響モデル、合成音響モデル記憶部１５で記憶されている合成音響モデル、辞書情報記憶部１７で記憶されている辞書情報、ラベル言語モデル記憶部１８で記憶されているラベル言語モデルを用いて、受付部１９が受け付けた雑音重畳音声データに対応するラベルを認識する。この認識は、音声認識における単語がラベルとなり、音素ごとのモデルが音声データや雑音データまたはそれらの混合ごとのモデルとなる以外、音声認識と同様にして行われる。したがって、このラベル認識部２０としては、音響モデル、言語モデル、辞書を用いた従来の音声認識処理を行う構成要素を用いることができ、その詳細な説明を省略する。

このラベル認識の結果、雑音重畳音声データに対応するラベルが時系列に沿って特定されることになる。例えば、雑音重畳音声データの１フレームから５０フレームまでにはラベル「ｂｅｅｐ」が対応付けられされ、５１フレームから２００フレームまではラベル「ｂｅｅｐ．ｔａｒｇｅｔ」が対応付けられることになる。この認識されたラベルを示す情報は、図示しない記録媒体において記憶されるものとする。

なお、ラベル認識部２０は、ビーム探索、あるいは複数のモデルを切り替えて探索するマルチパス探索を行うことによって、最尤ラベル系列を取得してもよい。例えば、第１パスで音声雑音音響モデルや合成音響モデルとバイグラムを用いた探索を行い、第２パスでトライグラムによるリスコアリングを行ってもよい。

雑音抑圧部２１は、ラベル認識部２０が認識したラベルを用いて、雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する。雑音抑圧部２１は、認識されたラベル系列に対応する音声雑音音響モデルや合成音響モデルをフレームごとに選択し、その選択した音響モデルを用いて雑音抑圧を行う。雑音抑圧部２１は、例えば、前述の非特許文献１，２に記載されているＧＭＭに基づいた雑音抑圧手法を複数合成モデルに拡張した手法を用いて雑音抑圧を行ってもよい。なお、雑音抑圧部２１は、特徴量空間において雑音抑圧を行ってもよく、あるいは、音声信号に対して雑音抑圧を行ってもよい。前者の場合には、雑音抑圧部２１の出力は雑音成分の除去された特徴量となるが、後者の場合には、雑音抑圧部２１の出力は、雑音成分の除去された音声信号となる。

図２は、本実施の形態による雑音抑圧部２１の詳細な構成を示すブロック図である。雑音抑圧部２１は、メルフィルタバンク分析手段３１と、雑音成分算出手段３２と、雑音抑圧手段３３とを備える。

メルフィルタバンク分析手段３１は、雑音重畳音声データをフレームごとにメルフィルタバンク分析することによって、雑音重畳音声データに対応する対数メルスペクトルを生成する。

雑音成分算出手段３２は、メルフィルタバンク分析手段３１が生成した、雑音重畳音声データに対応する対数メルスペクトルと、ラベル認識部２０が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルと、雑音重畳音声データにおけるクリーンな音声データに応じた音声雑音音響モデルとを用いて、フレームごとに雑音成分を算出する。

雑音抑圧手段３３は、雑音重畳音声データから、雑音成分算出手段３２が算出した雑音成分を除去する。この雑音成分の除去は、例えば、推定された雑音成分からウィナーフィルタを構成し、フィルタ処理による雑音抑圧にて時間領域での音声波形を得てもよく、または、対数メルスペクトル領域での雑音成分の減算を行ってもよい。前者の場合には、対数メルスペクトル領域におけるウィナーフィルタを構成することができ、フィルタ処理とすることで、入力された雑音重畳音声データから音声波形を推定することができる。一方、後者の場合には、対数メルスペクトル領域における雑音成分の除去となり、雑音成分の除去されたクリーン音声データは、対数メルスペクトルとなる。本実施の形態では、前者の場合について説明する。

蓄積部２２は、雑音抑圧部２１によって雑音の抑圧されたクリーン音声データを、所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、蓄積部２２が有していてもよく、あるいは蓄積部２２の外部に存在してもよい。また、この記録媒体は、クリーン音声データを一時的に記憶するものであってもよく、そうでなくてもよい。

なお、本実施の形態では、雑音抑圧装置１において、雑音抑圧後のクリーン音声データが蓄積される場合について説明するが、雑音抑圧装置１は、蓄積部２２に代えて、雑音抑圧後のクリーン音声データを出力する出力部を備えてもよい。その出力は、例えば、所定の機器への通信回線を介した送信でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよい。なお、その出力部は、出力を行うデバイス（例えば、スピーカや通信デバイスなど）を含んでもよく、あるいは含まなくてもよい。また、その出力部は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

また、訓練データ記憶部１１、ラベル記憶部１２、音声雑音音響モデル記憶部１４、合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８、蓄積部２２がクリーン音声データを蓄積する図示しない記録媒体のうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、訓練データを記憶している領域が訓練データ記憶部１１となり、訓練ラベル情報を記憶している領域がラベル記憶部１２となる。

次に、本実施の形態による雑音抑圧装置１で用いる雑音抑圧手法について説明する。雑音重畳音声データのメルフィルタバンク出力は次のようになる。

ここで、ｉはフレーム番号であり、Ｓ（ｉ）はクリーン音声、Ｎ_ｎ（ｉ）はｎ番目の雑音、Ｎは雑音の種類数である。ｓ（ｉ）＝ｌｏｇＳ（ｉ）、ｎ_ｎ（ｉ）＝ｌｏｇＮ_ｎ（ｉ）、ｘ（ｉ）＝ｌｏｇＸ（ｉ）とすると、対数スペクトル領域では、上記（１）式は次のようになる。

ここで、ｇ（ｓ（ｉ），ｎ₁（ｉ），...，ｎ_Ｎ（ｉ））は、クリーン音声ｓ（ｉ）と雑音重畳音声データｘ（ｉ）のミスマッチ成分である。ＭＭＳＥ（Ｍｉｎｉｍｕｍ Ｍｅａｎ−Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）推定によって推定されるクリーン音声は次のようになる。

クリーン音声をＫ個の分布からなるＧＭＭで表現すると次のようになる。

ここで、ｗ_ｓ，ｋ、μ_ｓ，ｋ、Σ_ｓ，ｋは、それぞれ第ｋ混合要素の混合重み、平均ベクトル、共分散行列である。また、Ｎ（ｓ；μ_ｓ，ｋ、Σ_ｓ，ｋ）は、正規分布を示す。同様に、第ｎ雑音をＬ個の分布からなるＧＭＭで次のようにモデル化する。

ここで、ｗ_ｎｎ，ｌ、μ_ｎｎ，ｌ、Σ_ｎｎ，ｌは、それぞれ第ｌ混合要素の混合重み、平均ベクトル、共分散行列である。
上記の仮定から、前述の非特許文献１と同様に、（３）式を次式で近似する。

Ｍは、合成する各モデルの混合分布数を掛け合わせた値となる。例えば、混合分布数がＡのモデルと、混合分布数がＢのモデルと、混合分布数がＣのモデルとを合成した場合には、Ｍ＝Ａ×Ｂ×Ｃとなる。また、Ｐ（ｍ｜ｘ（ｉ））は、次式のように推定される。

ここで、雑音重畳音声データの第ｍ混合要素は、クリーン音声の第ｋ混合成分と、雑音モデルセット｛ｎ_１，ｎ_２，...，ｎ_Ｎ｝から選択されたＮ_ｍのうちの第ｌ_ｎｍ混合要素との合成分布である。ここで、Ｎ_ｍは雑音モデルセット｛ｎ_１，ｎ_２，...，ｎ_Ｎ｝のサブセットとなる。重みは次のようにした。

その平均ベクトルと共分散行列は、一次テイラー展開による近似により得られる。なお、詳細については、例えば、次の文献に記載されている。

文献：Ｐ．Ｊ．Ｍｏｒｅｎｏ，「Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｎｏｉｓｙ ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＰｈＤ ｔｈｅｓｉｓ，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｐｉｔｔｓｂｕｒｇｈ，Ｐｅｎｎｓｙｌｖａｎｉａ，１９９６年

なお、３つ以上のモデルの合成の場合に、まず２つを合成し、その後、次のモデルを追加で合成していく、との方法を用いてもよく、あるいは、そうでなくてもよい。対角共分散行列を用いる場合には、前者と後者はまったく等価となる。

本実施の形態による雑音抑圧装置１では、ラベルの認識を行うため、目的発声の区間と、そうでない区間とを区別することができる。したがって、目的発声の区間とそれ以外とで、ミスマッチ成分の定義を変えることができる。

ここで、目的発声の区間におけるμ_ｘ，ｍは、クリーン音声μ_ｓ，ｋ、及び雑音成分から合成されている。どの雑音成分の合成であるのかについては、認識されたラベルによって知ることができる。なお、他の区間におけるμ_ｘ，ｍは雑音成分のみが合成されている。また、εは小さい正の値で、雑音抑圧後の残差信号パワーを調整するためのものである。

次に、本実施の形態による雑音抑圧装置１の動作について、図３のフローチャートを用いて説明する。
（ステップＳ１０１）モデル生成部１３は、モデルを生成するタイミングであるかどうか判断する。そして、モデルを生成するタイミングである場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０６に進む。モデル生成部１３は、例えば、モデルを生成する指示を雑音抑圧装置１が受け付けた場合に、モデルを生成するタイミングであると判断してもよく、訓練データが訓練データ記憶部１１に蓄積され、訓練ラベル情報がラベル記憶部１２に蓄積された場合に、モデルを生成するタイミングであると判断してもよく、あるいは、その他のタイミングで、モデルを生成するタイミングであると判断してもよい。

（ステップＳ１０２）モデル生成部１３は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、一種類の音声データの区間、あるいは、一種類の雑音データの区間を特定し、その区間に対応する音声雑音音響モデルをそれぞれ生成し、音声雑音音響モデル記憶部１４に蓄積する。なお、蓄積の際に、訓練ラベル情報の示すラベル（例えば、「ｂｅｅｐ」等）を、音声雑音音響モデルに対応付けて蓄積してもよい。

（ステップＳ１０３）モデル生成部１３は、音声雑音音響モデル記憶部１４で記憶されている２以上の音声雑音音響モデルを読み出し、それらを合成することによって合成音響モデルを生成して合成音響モデル記憶部１５に蓄積する

また、前述のように、音声雑音音響モデルのすべての組合せを網羅するのではなく、ラベル記憶部１２で記憶されている訓練ラベル情報で示される組合せに対応する合成音響モデルを生成するようにしてもよい。また、合成音響モデルの蓄積の際に、その訓練ラベル情報の示すラベル（例えば、「ｂｅｅｐ．ｔａｒｇｅｔ」等）を、合成音響モデルに対応付けて蓄積してもよい。

（ステップＳ１０４）ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベル言語モデルを生成し、ラベル言語モデル記憶部１８に蓄積する。

（ステップＳ１０５）ラベル言語モデル生成部１６は、辞書情報を生成し、辞書情報記憶部１７に蓄積する。そして、ステップＳ１０１に戻る。なお、この辞書情報は、前述のように、ラベルと、音声雑音音響モデルまたは合成音響モデルとを対応付けるものである。したがって、例えば、辞書情報は、音響モデルに対応付けられているラベルの情報と、ラベルの名称とを対応付ける情報であってもよい。その場合には、例えば、音響モデルに対応付けられているラベルの情報「ｂｅｅｐ」と、ラベルの名称「ｂｅｅｐ」とが辞書情報において対応付けられることになる。

（ステップＳ１０６）受付部１９は、雑音重畳音声データを受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０７に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ１０７）ラベル認識部２０は、音声雑音音響モデル、合成音響モデル、ラベル言語モデル、辞書情報を用いて、雑音重畳音声データに対応するラベルを認識する。そして、その認識結果を図示しない記録媒体に蓄積する。

（ステップＳ１０８）雑音抑圧部２１は、認識されたラベルを用いて、雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する。この処理の詳細については、図４のフローチャートを用いて後述する。
（ステップＳ１０９）蓄積部２２は、雑音抑圧後のクリーン音声データを図示しない記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図４は、図３のフローチャートにおける雑音抑圧（ステップＳ１０８）の処理の詳細を示すフローチャートである。
（ステップＳ２０１）雑音抑圧部２１は、カウンタｉを１に設定する。

（ステップＳ２０２）雑音成分算出手段３２は、雑音重畳音声データのフレームｉに対応するラベルを取得する。このラベルは、ラベル認識部２０によって認識されたラベルである。

（ステップＳ２０３）メルフィルタバンク分析手段３１は、雑音重畳音声データのフレームｉをメルフィルタバンク分析することによって、対数メルスペクトルを生成する。

（ステップＳ２０４）雑音成分算出手段３２は、対数メルスペクトルと、ステップＳ２０２で取得したラベルに対応する音声雑音音響モデルまたは合成音響モデルと、クリーンな音声データに応じた音声雑音音響モデルとを用いて、フレームｉに対応する雑音成分を算出する。

具体的には、フレームｉが目的発声の区間であるかどうかに応じて（１０）式を用いてｇ（ｓ（ｉ），ｎ₁（ｉ），...，ｎ_Ｎ（ｉ））を算出する。（１０）式において、μ_ｓ，ｋは、目的発声に対応する音声雑音音響モデルから算出される。また、μ_ｘ，ｍは、フレームｉに対応する合成音響モデルから算出される。フレームｉに対応する合成音響モデルとは、フレームｉに対応するラベルに対応する合成音響モデルである。例えば、フレームｉがビープ音と、目的発声と、マシンノイズとの重畳されたデータである場合には、そのフレームｉに対応する合成音響モデルは、ビープ音の音声雑音音響モデルと、目的発話の音声雑音音響モデルと、マシンノイズの音声雑音音響モデルとが合成された合成音響モデルとなる。この合成音響モデルは、合成音響モデル記憶部１５で記憶されているものを用いることができる。

次に、（７）式を用いて、（６）式の右辺第２項を算出することによって、雑音成分を算出する。なお、本実施の形態では、雑音成分を音声信号から除去する場合について説明するので、雑音成分算出手段３２は、算出した（６）式の右辺第２項をインパルス応答（時間領域のパラメータ）に変換する。雑音成分算出手段３２は、例えば、メルスペクトルを線形スペクトルにマッピングして変換を行うＭＥＬ−ｗａｒｐｅｄ ＩＤＣＴを用いてもよい（例えば、前述の非特許文献２参照）。従来の逆ＤＣＴでは、メルスペクトルをインパルス応答に変換できないからである。

（ステップＳ２０５）雑音抑圧手段３３は、雑音成分算出手段３２の算出した雑音成分を雑音重畳音声データから除去することにより、クリーン音声データを得る。例えば、雑音成分がインパルス応答で与えられる場合には、雑音抑圧手段３３は、そのインパルス応答を雑音重畳音声データのフレームｉに畳み込むことにより、クリーン音声データのフレームｉを得ることができる。このクリーン音声データのフレームｉは、蓄積部２２に渡されてもよく、あるいは、蓄積部２２に渡されるまで、図示しない記録媒体において一時的に記憶されていてもよい。

（ステップＳ２０６）雑音抑圧部２１は、カウンタｉを１だけインクリメントする。
（ステップＳ２０７）雑音抑圧部２１は、雑音重畳音声データにフレームｉが存在するかどうか判断する。そして、存在する場合には、ステップＳ２０２に戻り、そうでない場合には、図３のフローチャートに戻る。

なお、図３のフローチャートでは、雑音抑圧を行った後に、クリーン音声データを蓄積する場合について示しているが、図４のフローチャートで示されるように雑音抑圧の処理を行う場合には、雑音抑圧後のクリーン音声データのフレームを順次、蓄積部２２が蓄積するようにしてもよい。

次に、本実施の形態による雑音抑圧装置１の動作について、具体例を用いて説明する。
図５は、訓練データ記憶部１１で記憶されている訓練データの一例を示す図である。また、図６は、ラベル記憶部１２で記憶されている訓練ラベル情報の一例を示す図である。この訓練ラベル情報は、ラベルと、そのラベルに対応する訓練データの時間とを対応付けて有する情報である。時間は、始端と終端が含まれている。図６における単位は秒である。この訓練ラベル情報によって、例えば、訓練データの０．５秒から０．８秒まではビープ音であり、訓練データの０．８秒から１．０秒まではビープ音と目的発声とが重畳されていることが示されている。

訓練データ記憶部１１に訓練データが記憶されており、ラベル記憶部１２に訓練ラベル情報が記憶されている状況において、ユーザが図示しない入力デバイス（例えば、マウスやキーボード等）を操作することによって、モデルを生成する指示を雑音抑圧装置１に入力したとする。すると、モデル生成部１３は、モデルを生成するタイミングであると判断する（ステップＳ１０１）。そして、モデル生成部１３は、ラベル記憶部１２を参照しながら、一種類の音声データまたは一種類の雑音データに対応するラベルを特定する。そして、その特定したラベルに対応する時間を訓練ラベル情報から取得することにより、一種類の音声データの区間や、一種類の雑音データの区間を特定する。その後、モデル生成部１３は、その特定した区間に対応する音声雑音音響モデルをそれぞれ生成し、音声雑音音響モデル記憶部１４に蓄積する（ステップＳ１０２）。モデル生成部１３は、この蓄積の際に、音声雑音音響モデルに対応するラベルの名称に対応付けて、その音声雑音音響モデルを蓄積する。

また、モデル生成部１３は、ラベル記憶部１２を参照しながら、二種類以上の音声データや雑音データに対応するラベルを特定する。そして、その特定したラベルに含まれる音声データや雑音データを特定し、その特定した音声データや雑音データにそれぞれ対応する音声雑音音響モデルを音声雑音音響モデル記憶部１４から読み出す。その後、モデル生成部１３は、その読み出した複数の音声雑音音響モデルを合成することによって、その特定したラベルに対応する合成音響モデルを生成し、合成音響モデル記憶部１５に蓄積する（ステップＳ１０３）。モデル生成部１３は、この蓄積の際に、合成音響モデルに対応するラベルの名称に対応付けて、その合成音響モデルを蓄積する。

ラベル言語モデル生成部１６は、ラベル記憶部１２で記憶されている訓練ラベル情報を用いて、ラベルのＮグラムモデルを生成し、ラベル言語モデル記憶部１８に蓄積する（ステップＳ１０４）。また、ラベル言語モデル生成部１６は、訓練ラベル情報を用いて辞書情報も生成し、辞書情報記憶部１７に蓄積する（ステップＳ１０５）。この辞書情報は、図７で示されるようになる。図７において、事象情報は、ラベルを識別する情報であるラベルの名称と、音響モデルを識別する情報とを対応付けて有する情報である。なお、音響モデルを識別する情報として、この具体例では、ラベルの名称を用いているため、両者は同じ情報となっている。

次に、マイクロフォンで集音された雑音の重畳された音声が図示しないＡ／Ｄ変換器によってデジタル信号に変換されて蓄積され、その蓄積された一連の雑音重畳音声データが受付部１９で受け付けられたとする（ステップＳ１０６）。すると、ラベル認識部２０は、音声雑音音響モデル、合成音響モデル、辞書情報、ラベル言語モデル、すなわち、Ｎグラムモデルを用いて、音声認識と同様の手法によって、ラベル認識を行う（ステップＳ１０７）。例えば、図８で示されるように、ビープ音（ｂｅｅｐ）や、マシンノイズ（ｍａｃｈｉｎｅ ｎｏｉｓｅ）、目的発声（ｔａｒｇｅｔ ｕｔｔｅｒａｎｃｅ）等が重畳された雑音重畳音声データが受け付けられた場合には、「ｂｅｅｐ」や「ｂｅｅｐ．ｍａｃｈｉｎｅ」、「ｍａｃｈｉｎｅ」等のラベルが雑音重畳音声データの各区間に対して付与されることになる。なお、ラベル認識は、図９で示されるように、認識したラベルの名称と、そのラベルの時間とを対応付けて有する情報である認識ラベル情報を構成し、その認識ラベル情報を図示しない記録媒体において一時的に記憶してもよい。図９で示される認識ラベル情報における時間の単位は、フレームの番号である。

次に、雑音抑圧部２１による雑音を抑圧する処理について説明する。まず、雑音抑圧部２１の雑音成分算出手段３２は、フレーム１に対応するラベルの名称「ｂｅｅｐ」を、ラベル認識部２０が生成した認識ラベル情報から取得する（ステップＳ２０１，Ｓ２０２）。また、メルフィルタバンク分析手段３１は、雑音重畳音声データのフレーム１に対応する対数メルスペクトルを生成して、雑音成分算出手段３２に渡す（ステップＳ２０３）。雑音成分算出手段３２は、ビープ音に対応する音声雑音音響モデルを用いて、雑音成分を算出する。なお、ここでは、目的発声が含まれないため、（１０）式の下側の式を用いて雑音成分を算出する（ステップＳ２０４）。また、その算出した雑音成分を、前述のようにＭＥＬ−ｗａｒｐｅｄ ＩＤＣＴを用いることによって、インパルス応答に変換して、雑音抑圧手段３３に渡す。雑音抑圧手段３３は、雑音重畳音声データのフレーム１にインパルス応答を畳み込むことによって、クリーン音声データのフレーム１を生成して蓄積部２２に渡す（ステップＳ２０５）。このように、雑音抑圧部２１は、順次、各フレームに対する雑音抑圧の処理を実行することになる（ステップＳ１０８，Ｓ２０２〜Ｓ２０７）。

蓄積部２２は、雑音抑圧部２１から受け取ったクリーン音声データの各フレームを順次、図示しない記録媒体に蓄積していく（ステップＳ１０９）。このようにして、雑音重畳音声データに対する雑音抑圧の処理が行われて、クリーン音声データを得ることができる。このクリーン音声データは、例えば、ユーザが聞くために用いられてもよく、あるいは、後述する実施の形態２で説明するように、音声認識の処理のために用いられてもよく、あるいは、他の処理のために用いられてもよい。

以上のように、本実施の形態による雑音抑圧装置１によれば、複数モデル合成を用いて雑音重畳音声データの最尤ラベル系列を取得し、そのラベル系列に応じて複数モデル合成に拡張した雑音抑圧処理を行うことによって、二種類以上の雑音の重畳された音声データから、雑音を効果的に除去することができる。なお、具体的な実験結果については、実施の形態２において説明する。

（実施の形態２）
本発明の実施の形態２による音声認識装置について、図面を参照しながら説明する。本実施の形態による音声認識装置は、実施の形態１による雑音抑圧装置を備え、その雑音抑圧装置による雑音抑圧後のクリーン音声データに対して、音声認識処理を行うものである。

図１０は、本実施の形態による音声認識装置２の構成を示すブロック図である。本実施の形態による音声認識装置２は、実施の形態１による雑音抑圧装置１の各構成要素に加えて、音声認識用音響モデル記憶部４１と、言語モデル記憶部４２と、音声認識用辞書情報記憶部４３と、音声認識部４４と、出力部４５とを備える。このように、本実施の形態による音声認識装置２は、実施の形態１による雑音抑圧装置１を含んでいることになる。なお、音声認識用音響モデル記憶部４１、言語モデル記憶部４２、音声認識用辞書情報記憶部４３、音声認識部４４、出力部４５以外の構成及び動作は、実施の形態１と同様であり、その説明を省略する。

音声認識用音響モデル記憶部４１では、音声認識の対象となる音声データに関する音響モデルが記憶される。なお、この音響モデルは、音声認識用のものである。音声認識用の音響モデルは、すでに公知であり、その詳細な説明を省略する。音声認識用音響モデル記憶部４１に音響モデルが記憶される過程は問わない。例えば、記録媒体を介して音響モデルが音声認識用音響モデル記憶部４１で記憶されるようになってもよく、あるいは、通信回線等を介して送信された音響モデルが音声認識用音響モデル記憶部４１で記憶されるようになってもよい。

音声認識用音響モデル記憶部４１での記憶は、外部のストレージデバイス等から読み出した音響モデルのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。音声認識用音響モデル記憶部４１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

言語モデル記憶部４２では、音声認識の認識対象言語に関する言語モデルが記憶される。この言語モデルは、音声認識用のものであり、例えば、バイグラムの言語モデルや、トライグラムの言語モデル等である。音声認識用の言語モデルは、すでに公知であり、その詳細な説明を省略する。言語モデル記憶部４２に言語モデルが記憶される過程は問わない。例えば、記録媒体を介して言語モデルが言語モデル記憶部４２で記憶されるようになってもよく、あるいは、通信回線等を介して送信された言語モデルが言語モデル記憶部４２で記憶されるようになってもよい。

言語モデル記憶部４２での記憶は、外部のストレージデバイス等から読み出した言語モデルのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。言語モデル記憶部４２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

音声認識用辞書情報記憶部４３では、音声認識で用いる音声認識用辞書情報が記憶される。音声認識用の辞書情報は、すでに公知であり、その詳細な説明を省略する。音声認識用辞書情報記憶部４３に情報が記憶される過程は問わない。例えば、記録媒体を介して音声認識用辞書情報が音声認識用辞書情報記憶部４３で記憶されるようになってもよく、あるいは、通信回線等を介して送信された音声認識用辞書情報が音声認識用辞書情報記憶部４３で記憶されるようになってもよい。

音声認識用辞書情報記憶部４３での記憶は、外部のストレージデバイス等から読み出した音声認識用辞書情報のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。音声認識用辞書情報記憶部４３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

なお、訓練データ記憶部１１、ラベル記憶部１２、音声雑音音響モデル記憶部１４、合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８、蓄積部２２がクリーン音声データを蓄積する図示しない記録媒体、音声認識用音響モデル記憶部４１、言語モデル記憶部４２、音声認識用辞書情報記憶部４３のうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、別々の記録媒体によって実現されてもよい。

音声認識部４４は、雑音抑圧装置１が生成したクリーン音声データを、音響モデル、音声認識用辞書情報、及び、言語モデルを用いて音声認識する。この音声認識の処理は、すでに公知であり、その詳細な説明を省略する。

出力部４５は、音声認識部４４による音声認識結果を出力する。この音声認識結果は、例えば、テキストデータである。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、出力部４５は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部４５は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、本実施の形態による雑音抑圧装置の動作について、図１１のフローチャートを用いて説明する。なお、図１１のフローチャートにおいて、ステップＳ３０１〜Ｓ３０３以外の処理は、実施の形態１の図３のフローチャートと同様であり、その説明を省略する。

（ステップＳ３０１）音声認識部４４は、音声認識処理を行うタイミングかどうか判断する。そして、音声認識処理を行うタイミングである場合には、ステップＳ３０２に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ３０２）音声認識部４４は、音声認識用音響モデル記憶部４１で記憶されている音響モデル、言語モデル記憶部４２で記憶されている言語モデル、音声認識用辞書情報記憶部４３で記憶されている音声認識用辞書情報を用いて、蓄積部２２が蓄積したクリーン音声データに対する音声認識処理を行う。

（ステップＳ３０３）出力部４５は、音声認識部４４が音声認識処理を行った音声認識結果を出力する。そして、ステップＳ１０１に戻る。
なお、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、音声認識処理の具体例は、すでに公知であり、音声認識処理以外の具体例は実施の形態１と同様であるため、音声認識装置２の動作の具体例の説明を省略する。

次に、本実施の形態による音声認識装置２の実験例について説明する。この実験例では、ある病院において看護師が実作業を行いつつ録音したデータを、訓練データ、及び雑音重畳音声データとして用いた。具体的には、初日分のデータを雑音重畳音声データとし、２日目分をモデル学習のために用いる訓練データとした。なお、訓練データに対応する訓練ラベル情報は、訓練データをもとに人手によって作成したものである。図１２は、詳細な実験条件を示す表である。訓練データ、及び雑音重畳音声データに含まれるデータは、１０秒間の長さであり、目的発話を含むものである。そのデータは、病院にてサンプリング周波数３２ｋＨｚ、１６ｂｉｔで収録後、１６ｋＨｚにダウンサンプリングした。勤務シフトの関係で、訓練データの評価話者は女性８名となった。音声認識器などのツールには、ＡＴＲ音声言語コミュニケーション研究所で開発されたＡＴＲＡＳＲ大語彙音声認識システムＶｅｒ．３．６を用いた。雑音抑圧で用いる特徴量やＧＭＭの学習にはＨＴＫ Ｖｅｒ．３．３を用いた。雑音抑圧時にはメルフィルタバンク出力（ＦＢＡＮＫ）を用いるが、ラベル探索時には、ＦＢＡＮＫと、ＭＦＣＣとのそれぞれを用いる場合について実験した。音声認識用音響モデルの構造学習には、ＭＤＬ−ＳＳＳ（下記の文献１参照）を用いた。この実験では話者が女性だけのため、再学習で作成した５混合分布の女声モデルのみを用いた。話者適応手法として、ラベル認識でのクリーン音声ＧＭＭではＭＡＰ（下記の文献２参照）を用い、音声認識用の音響モデルにはＭＡＰ−ＶＦＳ（下記の文献３参照）を用いた。

文献１：Ｔ．Ｊｉｔｓｕｈｉｒｏ，Ｔ．Ｍａｔｓｕｉ，Ｓ．Ｎａｋａｍｕｒａ，「Ａｕｔｏｍａｔｉｃ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｎｏｎ−ｕｎｉｆｏｒｍ ＨＭＭ ｔｏｐｏｌｏｇｉｅｓ ｂａｓｅｄ ｏｎ ｔｈｅ ＭＤＬ ｃｒｉｔｅｒｉｏｎ」、ＩＥＩＣＥ Ｔｒａｎｓ．ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，ｖｏｌ．Ｅ８７−Ｄ，ｎｏ．８，ｐｐ．２１２１−２１２９、２００４年

文献２：Ｊ．−Ｌ．Ｇａｕｖａｉｎ，Ｃ．−Ｈ．Ｌｅｅ，「Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖａｒｉａｔｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｏｂｓｅｒｖａｔｉｏｎｓ ｏｆ Ｍａｒｋｏｖ ｃｈａｉｎｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．２，ｎｏ．２，ｐｐ．２９１−２９８、１９９４年

文献３：Ｍ．Ｔｏｎｏｍｕｒａ，Ｔ．Ｋｏｓａｋａ，Ｓ．Ｍａｔｓｕｎａｇａ，「Ｓｐｅａｋｅｒ ａｄａｐｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｒａｎｓｆｅｒ ｖｅｃｔｏｒ ｆｉｅｌｄ ｓｍｏｏｔｈｉｎｇ ｕｓｉｎｇ ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ ｐｒｏｂａｂｉｌｉｔｙ ｅｓｔｉｍａｔｉｏｎ」、Ｃｏｍｐｕｔｅｒ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ，ｖｏｌ．１０，ｐｐ．１１７−１３２、１９９６年

図１３は、評価パターンを示す表である。（１）は雑音抑圧なしであり、不特定話者モデルを用いた場合である。従来法として雑音１分布のみを用いた雑音抑圧手法（Ｓｉｎｇｌｅ Ｍｏｄｅｌ Ｎｏｉｓｅ Ｓｕｐｐｒｅｓｓｉｏｎ、ＳＭ−ＮＳ）を用い、雑音抑圧用クリーン音声ＧＭＭとして、話者独立ＧＭＭを用いたのが（２）であり、話者依存ＧＭＭを用いたのが（３）である。このときの雑音モデルは入力音声の開始１００ｍｓ区間から推定した。また、クリーンな話者適応データが存在しないため、雑音抑圧を行ったデータで話者適応を行った。単語音声認識時には、不特定話者モデルを用いた。（４）は、（３）の手法で雑音抑圧処理した話者適応データを用いて作成した話者適応モデルを、音声認識時に雑音抑圧なしで用いた場合である。（５）は、（３）の雑音処理ありで話者適応モデルを用いた場合である。実施の形態１及び本実施の形態による提案法（Ｍｕｌｔｉ−Ｍｏｄｅｌ Ｎｏｉｓｅ Ｓｕｐｐｒｅｓｓｉｏｎ、ＭＭ−ＮＳ）では、ラベル認識時にＦＢＡＮＫ、またはＭＦＣＣを用いる場合のそれぞれにおいて、（６）と（７）は話者独立音響モデル（ただし無音モデルは学習データで再学習）を用いた場合、（８）と（９）は話者適応を用いた場合を評価した。このとき認識されたラベルの音声区間には５００ｍｓのマージンを前後につけ、雑音抑圧処理を行った。（１０）は理想的な条件として正解ラベルを用いた場合である。

図１４は、各評価パターンでの認識対象音声に対する平均ＳＮＲを示す表である。目的発話の前後を雑音と見てＳＮ比を計算した。（１０）は、実施の形態１及び本実施の形態による提案法で正解ラベルを用いた場合であり、正確に雑音区間のパワーが小さくなるため、極端によい値になった。実施の形態１及び本実施の形態による提案法（６）〜（９）では前後にマージンをとるため、（１０）より低くなるものの、事前知識として複数雑音モデルを使えることで、従来法に比べて改善度が大きくなっていることがわかる。

雑音重畳音声データ（テストセット）に対する未知ラベル率（Ｏｕｔ Ｏｆ Ｌａｂｅｌ Ｖｏｃａｂｕｌａｒｙｒａｔｅ、ＯＯＬＶ）を未知語率と同様に次式で定義する。

この未知ラベル率を計算すると、シングルラベル（一種類の音声データまたは雑音データに対応するラベル、すなわち、音声雑音音響モデルに対応するラベル）では１．１２％、マルチラベル（音声データと雑音データのうちの二種類以上が重畳しているデータに対応するラベル、すなわち、合成音響モデルに対応するラベル）では３．７７％であった。本実験では学習データが１日分、３５４発話と少ないが、利用できるデータが増加すれば未知ラベル率を下げられると考えられる。また、雑音抑圧用であると考えると、頻度の高い雑音のみカバーできればよいとも考えられる。マルチラベルＮグラムモデルでのテストセット・パープレキシティは、バイグラムで８．０８、トライグラムで６．４７であった。重なり区間が続くときには、含まれる個々のラベルが似たものである場合が多く、連鎖確率を考慮する意味があるといえる。

図１５は、ラベル認識率及び音声区間検出率を示す表である。ラベル認識率は単語認識率（正解精度、Ｗｏｒｄ Ａｃｃｕｒａｃｙ）と同様に計算した。音声区間検出の評価は、次文献にならい、発話区間検出正解率（Ｃｏｒｒｅｃｔ）と発話区間検出正解精度（Ａｃｃｕｒａｃｙ）とを示している。挿入誤りが多いため、Ａｃｃｕｒａｃｙは低いが、音声認識では区間検出に対してはＣｏｒｒｅｃｔの方が重要になる。図１５で示される結果から、８割程度の対象音声が検出できることがわかる。

文献：北岡他，「雑音下音声認識評価ワーキンググループ活動報告：認識に影響する要因の個別評価環境」、信学技報，ＮＬＣ２００６−２９，ＳＰ２００６−８５，ｐｐ．１−６、２００６年

図１６Ａ〜図１６Ｃはそれぞれ、雑音重畳音声データの信号波形と、従来法であるシングルモデル雑音抑圧手法によって雑音を抑圧したクリーン音声データの信号波形と、実施の形態１及び本実施の形態による音声認識装置２のマルチモデル雑音抑圧手法によって雑音を抑圧したクリーン音声データの信号波形とを示す図である。従来法（図１６Ｂ）では、背景雑音は抑圧できているが、それ以外に局所的に存在する雑音については抑圧できていないことがわかる。正解ラベルを用いた本実施の形態による方法（図１６Ｃ）では、左側及び右側の区間である目的発話以外の区間は、ほぼ信号を０にできるため、図中ではほぼ波形がない。目的発話区間においては、従来法に比べ、背景雑音やビープ音のパワーが減少していることが明らかである。

音声認識系での単語バイグラムモデル、単語トライグラムモデルでのテストセット・パープレキシティは、図１２に示すように、どちらも３９程度であり、バイグラム、トライグラムの差は小さい。また、話者ごとにばらつきも大きく、話者によっては１００以上であった。作業により発話内容が大きく異なっていると考えられる。図１７は、単語認識率を示す図である。（４）雑音抑圧なし＋話者適応モデルと、（５）従来法＋話者適応モデルとの比較では１％程度の改善が見られ、エラー改善率で１．６４％と雑音抑圧の効果が小さかった。従来法（５）と、本実施の形態による手法（８）（９）の比較では、３．２４％、３．８１％の改善が見られ、エラー改善率で５．１９％、６．１０％が得られ、（４）からのエラー改善率は６．７４％、７．６４％であった。本実施の形態による手法は、従来法と比較して雑音抑圧効果が高いことが分かる。（１）雑音抑圧及び話者適応なしの場合から比較すると、（８）（９）のエラー改善率は２１．９％、２２．６％と大きくなる。また、提案法（９）ラベル認識にＭＦＣＣを用いる場合、提案法の上限である（１０）に限りなく近い精度が得られることが分かった

以上のように、本実施の形態による音声認識装置２によれば、実施の形態１で説明した雑音抑圧装置１によって雑音を抑圧したクリーン音声データを用いて音声認識を行うため、より高い単語認識率を得ることができる。

なお、本実施の形態において、音声認識装置２が蓄積部２２を備えた構成について説明したが、音声認識装置２は、蓄積部２２を備えず、雑音抑圧されたクリーン音声データを音声認識部４４に直接渡してもよい。

また、上記各実施の形態において、雑音抑圧装置１や音声認識装置２は、訓練データ記憶部１１、ラベル記憶部１２、モデル生成部１３、ラベル言語モデル生成部１６を備えていなくてもよい。雑音抑圧装置１等がそれらの構成要素を含まない場合には、例えば、装置外部において訓練データや訓練ラベル情報に基づいて、音声雑音音響モデルや合成音響モデルや、合成音響モデル、ラベル言語モデル、辞書情報が生成され、その生成されたモデル等が音声雑音音響モデル記憶部１４や合成音響モデル記憶部１５、辞書情報記憶部１７、ラベル言語モデル記憶部１８に蓄積されるものとする。各記憶部にモデル等が記憶される過程は問わない。ただし、合成音響モデルの生成は、雑音抑圧装置１等において行われてもよい。その場合には、雑音抑圧装置１等はモデル生成部１３を備えており、そのモデル生成部１３は、音声雑音音響モデル記憶部１４で記憶されている音声雑音音響モデルを合成することによって、合成音響モデルを生成し、合成音響モデル記憶部１５に蓄積する処理を行うことになる。また、ラベル言語モデルの一部または全部は、前述のように、人手によって生成されたものであってもよい。

また、上記各実施の形態において、ラベル言語モデルを用いてラベルの認識を行う場合について説明したが、ラベル言語モデルを用いないでラベルの認識を行ってもよい。いわゆる、「ノー・グラマー（Ｎｏ Ｇｒａｍｍａｒ）」と呼ばれる方法である。その場合には、雑音抑圧装置１や音声認識装置２は、ラベル言語モデル記憶部１８を備えていなくてもよく、ラベル認識部２０は、ラベル言語モデルを用いないでラベルの認識を行ってもよい。

また、上記各実施の形態では、雑音抑圧装置１や音声認識装置２がスタンドアロンである場合について説明したが、雑音抑圧装置１や音声認識装置２は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における雑音抑圧装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、音声雑音音響モデル記憶部で記憶されている、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである複数の音声雑音音響モデル、合成音響モデル記憶部で記憶されている、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデル、辞書情報記憶部で記憶されている、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、前記ラベル認識部が認識したラベルを用いて、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する雑音抑圧部として機能させるためのものである。

また、このプログラムにおいて、前記ラベル認識部は、前記音声雑音音響モデル、前記合成音響モデル、ラベル言語モデル記憶部で記憶されている、前記ラベルの言語モデルであるラベル言語モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識してもよい。

また、このプログラムにおいて、コンピュータを、訓練データ記憶部で記憶されている訓練データから、ラベル記憶部で記憶されている前記訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、前記音声雑音音響モデル記憶部、及び前記合成音響モデル記憶部にそれぞれ蓄積するモデル生成部と、前記ラベル記憶部で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、前記ラベル言語モデル記憶部に蓄積すると共に、前記辞書情報を生成して前記辞書情報記憶部に蓄積するラベル言語モデル生成部としてさらに機能させてもよい。

また、上記実施の形態における音声認識装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記雑音抑圧装置と、前記雑音抑圧装置が生成したクリーン音声データを、音声認識用音響モデル記憶部で記憶されている、音声認識の対象となる音声データに関する音響モデル、音声認識用辞書情報記憶部で記憶されている、音声認識で用いる音声認識用辞書情報、及び、言語モデル記憶部で記憶されている、音声認識の認識対象言語に関する言語モデルを用いて音声認識する音声認識部と、前記音声認識部による音声認識結果を出力する出力部として機能させるためのものである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１８は、上記プログラムを実行して、上記各実施の形態による雑音抑圧装置１、音声認識装置２を実現するコンピュータの外観の一例を示す模式図である。上記各実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図１８において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図１９は、コンピュータシステムを示す図である。図１９において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記各実施の形態による雑音抑圧装置１、音声認識装置２の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記各実施の形態による雑音抑圧装置１、音声認識装置２の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による雑音抑圧装置等は、二種類以上の雑音が重畳されている場合であっても、その雑音を効果的に除去することができ、例えば、音声認識処理の前段処理等に有用である。

本発明の実施の形態１による雑音抑圧装置の構成を示すブロック図 同実施の形態による雑音抑圧装置の雑音抑圧部の構成を示すブロック図 同実施の形態による雑音抑圧装置の動作を示すフローチャート 同実施の形態による雑音抑圧装置の動作を示すフローチャート 同実施の形態における訓練データの一例を示す図 同実施の形態における訓練ラベル情報の一例を示す図 同実施の形態における辞書情報の一例を示す図 同実施の形態におけるラベル認識について説明するための図 同実施の形態におけるラベル認識の結果の一例を示す図 本発明の実施の形態２による音声認識装置の構成を示すブロック図 同実施の形態による音声認識装置の動作を示すフローチャート 同実施の形態における実験条件の一例を示す図 同実施の形態における評価パターンの一例を示す図 同実施の形態におけるＳＮＲの結果の一例を示す図 同実施の形態におけるラベル認識率等の結果の一例を示す図 同実施の形態における雑音重畳音声データの一例を示す図 同実施の形態における、従来法による雑音抑圧結果の一例を示す図 同実施の形態における、提案手法による雑音抑圧結果の一例を示す図 同実施の形態における単語認識率の結果の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ 雑音抑圧装置
２ 音声認識装置
１１ 訓練データ記憶部
１２ ラベル記憶部
１３ モデル生成部
１４ 音声雑音音響モデル記憶部
１５ 合成音響モデル記憶部
１６ ラベル言語モデル生成部
１７ 辞書情報記憶部
１８ ラベル言語モデル記憶部
１９ 受付部
２０ ラベル認識部
２１ 雑音抑圧部
２２ 蓄積部
３１ メルフィルタバンク分析手段
３２ 雑音成分算出手段
３３ 雑音抑圧手段
４１ 音声認識用音響モデル記憶部
４２ 言語モデル記憶部
４３ 音声認識用辞書情報記憶部
４４ 音声認識部
４５ 出力部

Claims (8)

1. 訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである音声雑音音響モデルが複数記憶される音声雑音音響モデル記憶部と、
   前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデルが記憶される合成音響モデル記憶部と、
   前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報が記憶される辞書情報記憶部と、
   雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、
   前記音声雑音音響モデル、前記合成音響モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、
   前記ラベル認識部が認識したラベルを用いて、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する雑音抑圧部と、を備えた雑音抑圧装置。
2. 前記ラベルの言語モデルであるラベル言語モデルが記憶されるラベル言語モデル記憶部をさらに備え、
   前記ラベル認識部は、前記音声雑音音響モデル、前記合成音響モデル、前記ラベル言語モデル、前記辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識する、請求項１記載の雑音抑圧装置。
3. 前記訓練データが記憶される訓練データ記憶部と、
   前記訓練データに対応するラベルの時系列に沿った情報である訓練ラベル情報が記憶されるラベル記憶部と、
   前記訓練データ記憶部で記憶されている訓練データから、前記訓練ラベル情報を用いて音声雑音音響モデル及び合成音響モデルを生成し、前記音声雑音音響モデル記憶部、及び前記合成音響モデル記憶部にそれぞれ蓄積するモデル生成部と、
   前記ラベル記憶部で記憶されている訓練ラベル情報を用いて、ラベルのラベル言語モデルを生成し、前記ラベル言語モデル記憶部に蓄積すると共に、前記辞書情報を生成して前記辞書情報記憶部に蓄積するラベル言語モデル生成部と、をさらに備えた請求項２記載の雑音抑圧装置。
4. 前記モデル生成部は、前記音声雑音音響モデルを生成すると共に、当該音声雑音音響モデルを２以上合成することによって合成音響モデルを生成する、請求項３記載の雑音抑圧装置。
5. 前記雑音抑圧部は、
   前記雑音重畳音声データをフレームごとにメルフィルタバンク分析することによって、前記雑音重畳音声データに対応する対数メルスペクトルを生成するメルフィルタバンク分析手段と、
   前記雑音重畳音声データに対応する対数メルスペクトルと、前記ラベル認識部が認識したラベルに応じた音声雑音音響モデルまたは合成音響モデルと、前記雑音重畳音声データにおけるクリーンな音声データに応じた音声雑音音響モデルとを用いて、フレームごとに雑音成分を算出する雑音成分算出手段と、
   前記雑音重畳音声データから、前記雑音成分算出手段が算出した雑音成分を除去する雑音抑圧手段と、を備えた、請求項１から請求項４いずれか記載の雑音抑圧装置。
6. 請求項１から請求項５いずれか記載の雑音抑圧装置と、
   音声認識の対象となる音声データに関する音響モデルが記憶される音声認識用音響モデル記憶部と、
   音声認識で用いる音声認識用辞書情報が記憶される音声認識用辞書情報記憶部と、
   音声認識の認識対象言語に関する言語モデルが記憶される言語モデル記憶部と、
   前記雑音抑圧装置が生成したクリーン音声データを、前記音響モデル、前記音声認識用辞書情報、及び、前記言語モデルを用いて音声認識する音声認識部と、
   前記音声認識部による音声認識結果を出力する出力部と、を備えた音声認識装置。
7. 雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付ステップと、
   音声雑音音響モデル記憶部で記憶されている、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである複数の音声雑音音響モデル、合成音響モデル記憶部で記憶されている、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデル、辞書情報記憶部で記憶されている、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識ステップと、
   前記ラベル認識ステップで認識したラベルを用いて、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する雑音抑圧ステップと、を備えた雑音抑圧方法。
8. コンピュータを、
   雑音の重畳されている音声データである雑音重畳音声データを受け付ける受付部と、
   音声雑音音響モデル記憶部で記憶されている、訓練用の音声データと雑音データを含む訓練データに含まれる一種類の音声データまたは雑音データの音響モデルである複数の音声雑音音響モデル、合成音響モデル記憶部で記憶されている、前記訓練データに含まれる音声データと雑音データのうちの二種類以上が合成された音響モデルである合成音響モデル、辞書情報記憶部で記憶されている、前記訓練データにおいて重畳されている音声と雑音の種類を識別する情報であるラベルと前記音声雑音音響モデルまたは前記合成音響モデルとを対応付ける情報である辞書情報を用いて、前記雑音重畳音声データに対応するラベルをフレームごとに認識するラベル認識部と、
   前記ラベル認識部が認識したラベルを用いて、前記雑音重畳音声データの雑音が抑圧されたクリーン音声データを生成する雑音抑圧部として機能させるためのプログラム。