JP2000259198A - パターン認識装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 音声認識が開始された時から発話が開始され
る時までの時間が長くなるに伴って認識性能が低下する
ことを抑止する。 【解決手段】 無音音響モデル補正部は、音声認識区間
の初期に存在する無音区間Ｔｓを認識するために用いら
れる無音音響モデルを、ノイズ観測区間Ｔｎに含まれる
環境ノイズに基づいて生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識装置
および方法、並びに提供媒体に関し、特に、ノイズ環境
下において発話された単語を認識するパターン認識装置
および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】従来より、ノイズ環境下において発話さ
れた単語を識別する方法が考案されており、その代表的
な方法としては、PMC(Parallel Model Combination)
法、SS/NSS(Spectral Subtraction/Nonlinear Spectral
Subtraction)法、SFE(StochasticFeature Extraction)
法等が知られている。

【０００３】上述したいずれの方法においても、発話音
声に環境ノイズが混在している音声データの特徴量が抽
出され、その特徴量が、予め登録されている複数の単語
に対応する音響モデルのうちのいずれに最も適合するか
が判定されて、最も適合する音響モデルに対応する単語
が認識結果として出力される。

【０００４】上述した方法の特徴は、以下の通りであ
る。すなわち、PMC法は、環境ノイズの情報を直接的に
音響モデルに取り込んでいるので認識性能は良いが、計
算コストが高い（高度な演算を必要とするので、装置の
規模が大型化する、処理に要する時間が長い等）。SS/N
SS法は、音声データの特徴量を抽出する段階において、
環境ノイズを除去している。したがって、PMC法よりも
計算コストが低く、現在、多く用いられている方法であ
る。なお、SS/NSS法は、音声データの特徴量をベクトル
として抽出する。SFE法は、SS/NSS法と同様に、ミック
ス信号の特徴量を抽出する段階において、環境ノイズを
除去するが、特徴量を確率分布として抽出する。

【０００５】

【発明が解決しようとする課題】ところで、SFE法にお
いては、音声認識の段階で環境ノイズが直接的に反映さ
れていない、すなわち、環境ノイズの情報が直接的に無
音音響モデルに取り込まれていないので、認識性能が劣
る課題があった。

【０００６】また、環境ノイズの情報が直接的に無音音
響モデルに取り込まれていないことに起因して、音声認
識が開始された時点から発話が開始されるまでの時間が
長くなるにつれて認識性能が低下する課題があった。

【０００７】本発明はこのような状況に鑑みてなされた
ものであり、環境ノイズの情報を用いて無音音響モデル
を補正することにより、音声認識が開始された時から発
話が開始される時までの時間が長くなるに伴って認識性
能が低下することを抑止するようにするものである。

【０００８】

【課題を解決するための手段】請求項１に記載のパター
ン認識装置は、入力されるデータのパターンを特徴分布
として抽出する抽出手段と、所定数のモデルを記憶する
記憶手段と、抽出手段が抽出した特徴分布を、所定数の
モデルのうちのいずれかに分類する分類手段と、データ
が入力される直前に入力されたノイズに基づいて、デー
タが存在しない状態に対応するモデルを生成し、記憶手
段に記憶されている対応するものを更新する生成手段と
を含むことを特徴とする。

【０００９】請求項６に記載のパターン認識方法は、入
力されるデータのパターンを特徴分布として抽出する抽
出ステップと、所定数のモデルを記憶する記憶ステップ
と、抽出ステップで抽出した特徴分布を、所定数のモデ
ルのうちのいずれかに分類する分類ステップと、データ
が入力される直前に入力されたノイズに基づいて、デー
タが存在しない状態に対応するモデルを生成し、記憶ス
テップで記憶された対応するものを更新する生成ステッ
プとを含むことを特徴とする。

【００１０】請求項７に記載の提供媒体は、入力される
データのパターンを特徴分布として抽出する抽出ステッ
プと、所定数のモデルを記憶する記憶ステップと、抽出
ステップで抽出した特徴分布を、所定数のモデルのうち
のいずれかに分類する分類ステップと、データが入力さ
れる直前に入力されたノイズに基づいて、データが存在
しない状態に対応するモデルを生成し、記憶ステップで
記憶された対応するものを更新する生成ステップとをを
含む処理をパターン認識装置に実行させるコンピュータ
が読み取り可能なプログラムを提供することを特徴とす
る。

【００１１】請求項１に記載のパターン認識装置、請求
項６に記載のパターン認識方法、および請求項７に記載
の提供媒体においては、入力されるデータのパターンが
特徴分布として抽出され、所定数のモデルが記憶され
て、抽出された特徴分布が、所定数のモデルのうちのい
ずれかに分類される。また、データが入力される直前に
入力されたノイズに基づいて、データが存在しない状態
に対応するモデルが生成されて記憶されている対応する
ものが更新される。

【００１２】

【発明の実施の形態】本発明を適用した音声認識装置の
構成例について、図１を参照して説明する。この音声認
識装置において、マイクロフォン１は、認識対象である
発話音声を、環境ノイズとともに集音し、フレーム化部
２に出力する。フレーム化部２は、マイクロフォン１か
ら入力される音声データを、所定の時間間隔（例えば、
１０ms）で取り出し、その取り出したデータを、１フレ
ームのデータとして出力する。フレーム化部２が出力す
る１フレーム単位の音声データは、そのフレームを構成
する時系列の音声データそれぞれをコンポーネントとす
る観測ベクトルａとして、ノイズ観測区間抽出部３、お
よび特徴抽出部５に供給される。

【００１３】ここで、以下、適宜、第ｔフレームの音声
データである観測ベクトルを、ａ（ｔ）と表す。

【００１４】ノイズ観測区間抽出部３は、フレーム化部
２から入力されるフレーム化された音声データを所定の
時間（Ｍフレーム分以上）だけバッファリングしてお
り、図２に示すように、発話スイッチ４がオンとされた
タイミングｔ_bからＭフレーム分だけ以前のタイミング
ｔ_aまでをノイズ観測区間Ｔｎとし、ノイズ観測区間Ｔ
ｎにおけるＭフレーム分の観測ベクトルａを抽出して特
徴抽出部５、および無音音響モデル補正部７に出力す
る。

【００１５】発話スイッチ４は、ユーザが発話を開始す
るときにユーザ自身がオンとするスイッチである。した
がって、発話スイッチ４がオンとされたタイミングｔ_b
以前（ノイズ観測区間Ｔｎ）の音声データには、発話音
声は含まれず、環境ノイズだけが存在する。また、発話
スイッチ４がオンとされたタイミングｔ_bから発話スイ
ッチ４がオフとされるタイミングｔ_dまでは、音声認識
区間とされて、その区間の音声データが音声認識の対象
とされる。

【００１６】特徴抽出部５は、ノイズ観測区間抽出部３
から入力されるノイズ観測区間Ｔｎの環境ノイズだけが
存在する音声データに基づいて、フレーム化部２から入
力される、タイミングｔ_b以降の音声認識区間の観測ベ
クトルａから環境ノイズ成分を除去して、その特徴量を
抽出する。すなわち、特徴抽出部５は、例えば、観測ベ
クトルａとしての真（環境ノイズが除去された）の音声
データをフーリエ変換し、そのパワースペクトラムを求
め、そのパワースペクトラムの各周波数成分をコンポー
ネントとする特徴ベクトルｙを算出する。なお、パワー
スペクトラムの算出方法は、フーリエ変換によるものに
限定されるものではない。すなわち、パワースペクトラ
ムは、その他、例えば、いわゆるフィルタバンク法など
によって求めることも可能である。

【００１７】さらに、特徴抽出部５は、観測ベクトルａ
としての音声データに含まれる音声を、その特徴量の空
間（特徴ベクトル空間）に写像したときに得られる、そ
の特徴ベクトル空間上の分布を表すパラメータ（以下、
特徴分布パラメータと記述する）Ｚを、算出した特徴ベ
クトルｙに基づいて算出し、音声認識部６に供給する。

【００１８】図３は、図１の特徴抽出部５の詳細な構成
例を示している。フレーム化部２から入力される観測ベ
クトルａは、特徴抽出部５において、パワースペクトラ
ム分析部１１に供給される。パワースペクトラム分析部
１１では、観測ベクトルａが、例えば、FFT（高速フー
リエ変換）アルゴリズムによってフーリエ変換され、こ
れにより、音声の特徴量であるパワースペクトラムが、
特徴ベクトルとして抽出される。なお、ここでは、１フ
レームの音声データとしての観測ベクトルａが、Ｄ個の
コンポーネントからなる特徴ベクトル（Ｄ次元の特徴ベ
クトル）に変換されるものとする。

【００１９】ここで、第ｔフレームの観測ベクトルａ
（ｔ）から得られる特徴ベクトルをｙ（ｔ）と表す。ま
た、特徴ベクトルｙ（ｔ）のうち、真の音声のスペクト
ル成分をｘ（ｔ）と、環境ノイズのスペクトル成分をｕ
（ｔ）と表す。この場合、真の音声のスペクトル成分ｘ
（ｔ）は、次式（１）で表される。

【数１】 ただし、ここでは、環境ノイズが不規則な特性を有し、
また、観測ベクトルａ（ｔ）としての音声データは、真
の音声成分に環境ノイズを加算したものであると仮定さ
れている。

【００２０】一方、ノイズ観測区間抽出部３から入力さ
れる音声データ（環境ノイズ）は、特徴検出部５におい
て、ノイズ特性算出部１３に入力される。ノイズ特性算
出部１３では、ノイズ観測区間Ｔｎにおける環境ノイズ
の特性が求められる。

【００２１】すなわち、ここでは、音声認識区間におけ
る環境ノイズのパワースペクトラムｕ（ｔ）の分布が、
その音声認識区間の直前のノイズ観測区間Ｔｎにおける
環境ノイズと同一であるとし、さらに、その分布が正規
分布であるとして、ノイズ特性算出部１３において、環
境ノイズの平均値（平均ベクトル）と分散（分散マトリ
クス）が求められる。

【００２２】なお、平均ベクトルμ’と分散マトリクス
Σ’は、次式（２），（３）にしたがって求めることが
できる。

【数２】 ただし、μ’（ｉ）は、平均ベクトルμ’のｉ番目のコ
ンポーネントを表す（ｉ＝１，２，・・・，Ｄ）。ま
た、ｙ（ｔ）（ｉ）は、第ｔフレームの特徴ベクトルの
ｉ番目のコンポーネントを表す。さらに、Σ’（ｉ，
ｊ）は、分散マトリクスΣ’の、第ｉ行、第ｊ列のコン
ポーネントを表す（ｊ＝１，２，・・・，Ｄ）。

【００２３】ここで、計算量の低減のために、環境ノイ
ズについては、特徴ベクトルｙの各コンポーネントが、
互いに無相関であると仮定する。この場合、次式に示す
ように、分散マトリクスΣ’は、対角成分以外は０とな
る。

【数３】

【００２４】ノイズ特性算出部１３では、以上のように
して、環境ノイズの特性としての平均ベクトルμ’およ
び平均値Σ’が求められ、特徴分布パラメータ算出部１
２に供給される。

【００２５】一方、パワースペクトラム分析部１１の出
力、すなわち、環境ノイズを含む発話音声の特徴ベクト
ルｙは、特徴分布パラメータ算出部１２に供給される。
特徴分布パラメータ算出部１２では、パワースペクトラ
ム分析部１１からの特徴ベクトルｙ、およびノイズ特性
算出部１３からの環境ノイズの特性に基づいて、真の音
声のパワースペクトラムの分布（推定値の分布）を表す
特徴分布パラメータが算出される。

【００２６】すなわち、特徴分布パラメータ算出部１２
では、真の音声のパワースペクトラムの分布が正規分布
であるとして、その平均ベクトルξと分散マトリクスΨ
が、特徴分布パラメータとして、次式（４）乃至（７）
にしたがって計算される。

【数４】

【数５】

【数６】

【数７】

【００２７】ここで、ξ（ｔ）（ｉ）は、第ｔフレーム
における平均ベクトルξ（ｔ）のｉ番目のコンポーネン
トを表す。また、Ｅ［］は、［］内の平均値を意味す
る。ｘ（ｔ）（ｉ）は、第ｔフレームにおける真の音声
のパワースペクトラムｘ（ｔ）のｉ番目のコンポーネン
トを表す。さらに、ｕ（ｔ）（ｉ）は、第ｔフレームに
おける環境ノイズのパワースペクトラムのｉ番目のコン
ポーネントを表し、Ｐ（ｕ（ｔ）（ｉ））は、第ｔフレ
ームにおける環境ノイズのパワースペクトラムのｉ番目
のコンポーネントがｕ（ｔ）（ｉ）である確率を表す。
ここでは、環境ノイズの分布として正規分布を仮定して
いるので、Ｐ（ｕ（ｔ）（ｉ））は、式（７）に示した
ように表される。

【００２８】また、Ψ（ｔ）（ｉ，ｊ）は、第ｔフレー
ムにおける分散Ψ（ｔ）の、第ｉ行、第ｊ列のコンポー
ネントを表す。さらに、Ｖ［］は、［］内の分散を表
す。

【００２９】特徴分布パラメータ算出部１２では、以上
のようにして、各フレームごとに、平均ベクトルξおよ
び分散マトリクスΨが、真の音声の特徴ベクトル空間上
での分布（ここでは、真の音声の特徴ベクトル空間上で
の分布が正規分布であると仮定した場合の、その分布）
を表す特徴分布パラメータとして求められる。

【００３０】その後、音声認識区間の各フレームにおい
て求めた特徴分布パラメータは、音声認識部６に出力さ
れる。すなわち、いま、音声認識区間がＴフレームであ
ったとし、そのＴフレームそれぞれにおいて求められた
特徴分布パラメータを、ｚ（ｔ）＝｛ξ（ｔ），Ψ
（ｔ）｝（ｔ＝１，２，・・・，Ｔ）と表すと、特徴分
布パラメータ算出部１２は、特徴分布パラメータ（系
列）Ｚ＝｛ｚ（１），ｚ（２），・・・，ｚ（Ｔ）｝
を、音声認識部６に供給する。

【００３１】図１に戻る。音声認識部６は、特徴抽出部
５から入力される特徴分布パラメータＺを、所定数Ｋの
音響モデルと１個の無音音響モデルのうちのいずれかに
分類し、その分類結果を、入力された音声の認識結果と
して出力する。すなわち、音声認識部６は、例えば、無
音区間に対応する識別関数（特徴パラメータＺが無音音
響モデルに分類されるかを識別するための関数）と、所
定数Ｋの単語それぞれに対応する識別関数（特徴パラメ
ータＺがいずれの音響モデルに分類されるかを識別する
ための関数）とを記憶しており、各音響モデルの識別関
数の値を、特徴抽出部５からの特徴分布パラメータＺを
引数として計算する。そして、その関数値が最大である
音響モデル（単語、または無音区間）が認識結果として
出力される。

【００３２】図４は、図１の音声認識部６の詳細な構成
例を示している。特徴抽出部５の特徴分布パラメータ算
出部１２から入力される特徴分布パラメータＺは、識別
関数演算部２１−１乃至２１−ｋ、および識別関数演算
部２１−ｓ、に供給される。識別関数演算部２１−ｋ
（ｋ＝１，２，・・・，Ｋ）は、Ｋ個の音響モデルのう
ちのｋ番目に対応する単語を識別するための識別関数Ｇ
_k（Ｚ）を記憶しており、特徴抽出部５からの特徴分布
パラメータＺを引数として、識別関数Ｇ_k（Ｚ）を演算
する。識別関数演算部２１−ｓは、無音音響モデルに対
応する無音区間を識別するための識別関数Ｇ_s（Ｚ）を
記憶しており、特徴抽出部５からの特徴分布パラメータ
Ｚを引数として、識別関数Ｇ_s（Ｚ）を演算する。

【００３３】なお、音声認識部６では、例えば、HMM(Hi
dden Markov Model)法を用いて、クラスとしての単語ま
たは無音区間の識別（認識）が行われる。

【００３４】HMM法について、図５を参照して説明す
る。同図において、HMMは、Ｈ個の状態ｑ₁乃至ｑ_Hを有
しており、状態の遷移は、自身への遷移と、右隣の状態
への遷移のみが許されている。また、初期状態は、最も
左の状態ｑ₁とされ、最終状態は、最も右の状態ｑ_Hとさ
れており、最終状態ｑ_Hからの状態遷移は禁止されてい
る。このように、自身よりも左にある状態への遷移のな
いモデルは、left-to-rightモデルと呼ばれ、音声認識
では、一般に、left-to-rightモデルが用いられる。

【００３５】いま、HMMのｋクラスを識別するためのモ
デルを、ｋクラスモデルというとすると、ｋクラスモデ
ルは、例えば、最初に状態ｑ_hにいる確率（初期状態確
率）π_k（ｑ_h）、ある時刻（フレーム）ｔにおいて、状
態ｑ_iにいて、次の時刻ｔ＋１において、状態ｑ_jに状態
遷移する確率（遷移確率）ａ_k（ｑ_i，ｑ_j）、および状
態ｑ_iから状態遷移が生じるときに、その状態ｑ_iが、特
徴ベクトルＯを出力する確率（出力確率）ｂ_k（ｑ_i）
（Ｏ）によって規定される（ｈ＝１，２，・・・，
Ｈ）。

【００３６】そして、ある特徴ベクトル系列Ｏ₁，Ｏ₂，
・・・が与えられた場合、例えば、そのような特徴ベク
トル系列が観測される確率（観測確率）が最も高いモデ
ルのクラスが、その特徴ベクトル系列の認識結果とされ
る。

【００３７】ここでは、この観測確率が、識別関数Ｇ_k
（Ｚ）によって求められる。すなわち、識別関数Ｇ
_k（Ｚ）は、特徴分布パラメータ（系列）Ｚ＝｛ｚ₁，ｚ
₂，・・・，ｚ_T｝に対する最適状態系列（最適な状態の
遷移のしていき方）において、そのような特徴分布パラ
メータ（系列）Ｚ＝｛ｚ₁，ｚ₂，・・・，ｚ_T｝が観測
される確率を求めるものとして、次式（８）で与えられ
る。

【数８】

【００３８】ここで、ｂ_k’（ｑ_i）（ｚ_j）は、出力が
ｚ_jで表される分布であるときの出力確率を表す。状態
遷移時に各特徴ベクトルを出力する確率である出力確率
ｂ_k（ｓ）（Ｏ_t）には、ここでは、例えば、特徴ベクト
ル空間上のコンポーネントに相関がないものとして、正
規分布関数が用いられている。この場合、入力がｚ_tで
表される分布であるとき、出力確率ｂ_k’（ｓ）（ｚ_t）
は、平均ベクトルμ_k（ｓ）と分散マトリクスΣ_k（ｓ）
とによって規定される確率密度関数Ｐ_k ^m（ｓ）（ｘ）、
および第ｔフレームの特徴ベクトル（ここでは、パワー
スペクトラム）ｘの分布を表す確率密度関数Ｐ^f（ｔ）
（ｘ）を用いて、次式（９）により求めることができ
る。

【数９】 ただし、式（９）における積分の積分区間は、Ｄ次元の
特徴ベクトル空間（ここでは、パワースペクトラム空
間）の全体である。

【００３９】また、式（９）において、Ｐ（ｓ）（ｉ）
（ξ（ｔ）（ｉ），Ψ（ｔ）（ｉ，ｉ））は、次式（１
０）で表される。

【数１０】 ただし、μ_k（ｓ）（ｉ）は、平均ベクトルμ_k（ｓ）の
ｉ番目のコンポーネントを、Σ_k（ｓ）（ｉ，ｉ）は、
分散マトリクスΣ_k（ｓ）の、第ｉ行第ｉ列のコンポー
ネントを、それぞれ表す。そして、ｋクラスモデルの出
力確率は、これらによって規定される。

【００４０】なお、HMMは、上述したように、初期状態
確率π_k（ｑ_h）、遷移確率ａ_k（ｑ_i，ｑ_j）、および出
力確率ｂ_k（ｑ_i）（Ｏ）によって規定されるが、これら
は、学習用の音声データから特徴ベクトルを算出し、そ
の特徴ベクトルを用いて、予め求めることとする。

【００４１】ここで、HMMとして、図５に示したものを
用いる場合には、常に、最も左の状態ｑ₁から遷移が始
まるので、状態ｑ₁に対応する初期状態確率だけが１と
され、他の状態に対応する初期状態確率はすべて０とさ
れる。また、出力確率は、式（９），（１０）から明ら
かなように、Ψ（ｔ）（ｉ，ｉ）を０とすると、特徴ベ
クトルの分散を考慮しない場合の連続HMMにおける出力
確率に一致する。

【００４２】なお、HMMの学習方法としては、例えば、B
aum-Welchの再推定法などが知られている。

【００４３】図４に戻る。識別関数演算部２１−ｋ（ｋ
＝１，２，・・・，Ｋ）は、ｋクラスモデルについて、
あらかじめ学習により求められている初期状態確率π_k
（ｑ_h）、遷移確率ａ_k（ｑ_i，ｑ_j）、および出力確率ｂ
_k（ｑ_i）（Ｏ）によって規定される式（８）の識別関数
Ｇ_k（Ｚ）を記憶しており、特徴抽出部２からの特徴分
布パラメータＺを引数として、識別関数Ｇ_k（Ｚ）を演
算し、その関数値（上述した観測確率）Ｇ_k（Ｚ）を、
決定部２２に出力する。識別関数演算部２１−ｓは、無
音音響モデル補正部７から供給される初期状態確率π_s
（ｑ_h）、遷移確率ａ_s（ｑ_i，ｑ_j）、および出力確率ｂ
_s（ｑ_i）（Ｏ）によって規定される、式（８）の識別関
数Ｇ_k（Ｚ）と同様の識別関数Ｇ_s（Ｚ）を記憶してお
り、特徴抽出部２からの特徴分布パラメータＺを引数と
して、識別関数Ｇ_s（Ｚ）を演算し、その関数値（上述
した観測確率）Ｇ_s（Ｚ）を、決定部２２に出力する。

【００４４】決定部２２では、識別関数演算部２１−１
乃至２１−ｋ、および識別関数演算部２１−ｓそれぞれ
からの関数値Ｇ_k（Ｚ）（ここでは、関数値Ｇ_s（Ｚ）を
含むものとする）に対して、例えば、次式（１１）に示
す決定規則を用いて、特徴分布パラメータＺ、すなわ
ち、入力された音声が属するクラス（音響モデル）が識
別される。

【数１１】 ただし、Ｃ（Ｚ）は、特徴分布パラメータＺが属するク
ラスを識別する識別操作（処理）を行う関数を表す。ま
た、式（１１）の第２式の右辺におけるmaxは、それに
続く関数値Ｇ_i（Ｚ）（ただし、ここでは、ｉ＝ｓ，
１，２，・・・，Ｋ）の最大値を表す。

【００４５】決定部２２は、式（１１）にしたがって、
クラスを決定すると、それを、入力された音声の認識結
果として出力する。

【００４６】図１に戻る。無音音響モデル補正部７は、
ノイズ観測区間抽出部３から入力されるノイズ観測区間
Ｔｎの音声データ（環境ノイズ）に基づいて、音声認識
部６に記憶されている無音音響モデルに対応する識別関
数Ｇ_s（Ｚ）を生成して音声認識部６に供給する。

【００４７】具体的には、無音音響モデル補正部７で
は、ノイズ観測区間抽出部３から入力されるノイズ観測
区間Ｔｎの音声データ（環境ノイズ）のＭ個のフレーム
の各フレームについて、特徴ベクトルＸが観測され、そ
れらの特徴分布が生成される。

【数１２】 なお、特徴分布｛Ｆ_i（Ｘ），ｉ＝１，２，・・・，
Ｍ｝は、確率密度関数(Probabilistic Density Functio
n)であるので、以下、無音特徴分布PDFとも記述する。

【００４８】次に、無音特徴分布PDFを、次式（１３）
に従い、図７に示すように、無音音響モデルに対応する
確率分布Ｆ_s（Ｘ）に写像する。

【数１３】 ただし、Ｖは無音特徴分布PDF｛Ｆ_i（Ｘ），ｉ＝１，
２，・・・，Ｍ｝を無音音響モデルＦ_s（Ｘ）に写像す
る補正関数（写像関数）である。

【００４９】この写像は、無音特徴分布PDFの記述によ
って様々な方法が考えられる。例えば、

【数１４】 ただし、β_i（Ｆ₁（Ｘ），Ｆ₂（Ｘ），・・・，Ｆ
_M（Ｘ），Ｍ）は、各無音特徴分布の重み関数であり、
以下、β_iと記述する。なお、重み関数β_iは、次式（１
６）の条件を満足するものである。

【数１５】

【００５０】ここで、無音音響モデルの確率分布Ｆ
_s（Ｘ）が正規分布であると仮定し、また、各フレーム
の特徴ベクトルを構成するコンポーネントが無相関であ
ると仮定すれば、無音特徴分布PDF｛Ｆ_i（Ｘ），ｉ＝
１，２，・・・，Ｍ｝の共分散行列Σ_iは対角線行列と
なる。ただし、この仮定の前提条件は、無音音響モデル
の共分散行列も対角線行列であることである。したがっ
て、各フレームの特徴ベクトルを構成するコンポーネン
トが無相関であれば、無音特徴分布PDF｛Ｆ_i（Ｘ），ｉ
＝１，２，・・・，Ｍ｝は、各コンポーネントに対応す
る平均と分散を持つ正規分布Ｇ（Ｅ_i，Σ_i）となる。Ｅ
_iはＦ_i（Ｘ）の期待値であり、Σ_iはＦ_i（Ｘ）の共分散
行列である。

【００５１】さらに、ノイズ観測区間ＴｎのＭ個のフレ
ームに対応する無音特徴分布の平均をμ_i、分散をσ_i ²
と表すことにすれば、無音特徴分布の確率密度関数は、
正規分布Ｇ（μ_i，σ_i ²）（ｉ＝１，２，・・・，Ｍ）
と表すことができる。したがって、各フレームに対応す
る平均μ_i、および分散σ_i ²を用い、以下に示す様々な
方法によって演算される無音音響モデルの正規分布Ｇ
（μ_s，σ_s ²）（上述したＧ_s（Ｚ）に相当する）は、図
７に示した無音音響モデルＦ_s（Ｘ）の近似分布とな
る。

【００５２】無音音響モデルの正規分布Ｇ（μ_s，
σ_s ²）を演算する第１の方法は、無音特徴分布｛Ｇ（μ
_i，σ_i ²），ｉ＝１，２，・・・，Ｍ｝を用い、次式
（１７）に示すように、全てのμ_iの平均を無音音響モ
デルの平均値μ_sとし、次式（１８）に示すように、全
てのσ_i ²の平均を無音音響モデルの分散σ_i ²とする方法
である。

【数１６】 ここで、ａおよびｂは、シミュレーションにより最適な
値が決定される係数である。

【００５３】無音音響モデルの正規分布Ｇ（μ_s，
σ_s ²）を演算する第２の方法は、無音特徴分布｛Ｇ（μ
_i，σ_i ²），ｉ＝１，２，・・・，Ｍ｝の期待値μ_iのだ
けを用い、次式（１９），（２０）に従って、無音音響
モデルの平均値μ_sと、分散σ_i ²を演算する方法であ
る。

【数１７】 ここで、ａおよびｂは、シミュレーションにより最適な
値が決定される係数である。

【００５４】無音音響モデルの正規分布Ｇ（μ_s，
σ_s ²）を演算する第３の方法は、無音特徴分布｛Ｇ（μ
_i，σ_i ²），ｉ＝１，２，・・・，Ｍ｝の組み合わせに
よって、無音音響モデルの平均値μ_sと、分散σ_s ²を演
算する方法である。

【００５５】この方法においては、各無音特徴分布Ｇ
（μ_i，σ_i ²）の確率統計量をＸ_iとする。

【数１８】

【００５６】ここで、無音音響モデルの正規分布Ｇ（μ
_s，σ_s ²）の確率統計量をＸ_sとすれば、確率統計量Ｘ_s
は、次式（２２）に示すように、確率統計量Ｘ_iと重み
関数β_iの線形結合で表すことができる。なお、重み関
数β_iは式（１６）の条件を満足している。

【数１９】

【００５７】そして、無音音響モデルの正規分布Ｇ（μ
_s，σ_s ²）は、次式（２３）に示すように表される。

【数２０】

【００５８】なお、式（２３）を一般化するためには、
重み関数β_iが、｛β_i＝１／Ｍ，ｉ＝１，２，・・・，
Ｍ｝と仮定され、平均値μ_sと、分散σ_s ²には、係数が
乗算される。

【数２１】 ここで、ａおよびｂは、シミュレーションにより最適な
値が決定される係数である。

【００５９】無音音響モデルの正規分布Ｇ（μ_s，
σ_s ²）を演算する第４の方法では、無音特徴分布｛Ｇ
（μ_i，σ_i ²），ｉ＝１，２，・・・，Ｍ｝の確率統計
量Ｘ_iに対応する統計母集団Ω_i＝｛ｆ_i,j｝を仮定す
る。ここで、

【数２２】 とすれば、平均値μ_iは、次式（２６）によって得るこ
とができ、分散σ_i ²は、次式（２８）によって得ること
ができる。

【数２３】

【００６０】式（２８）を変形すれば、次式（２９）の
関係が成立する。

【数２４】

【００６１】ここで、統計母集団の和Ω

【数２５】 を考慮すれば、式（２６）から次式（３０），（３１）
が導かれ、式（２９）から次式（３２）乃至（３１）が
導かれる。

【数２６】

【００６２】なお、実際には、式（３１）と式（３４）
には係数が乗算されて用いられる。

【数２７】 ここで、ａおよびｂは、シミュレーションにより最適な
値が決定される係数である。

【００６３】また、次式（２７）に示すように、分散σ
_s ²に対してだけ、係数を乗算するようにしてもよい。

【数２８】

【００６４】次に、音声認識装置の動作について説明す
る。

【００６５】フレーム化部２には、マイクロフォン１で
集音された音声データ（環境ノイズを含む認識対象の発
話音声）が入力され、そこでは、音声データがフレーム
化され、各フレームの音声データは、観測ベクトルａと
して、ノイズ観測区間抽出部３、および特徴抽出部５に
順次供給される。ノイズ観測区間抽出部３では、発話ス
イッチ４がオンとされたタイミングｔ_b以前のノイズ観
測区間Ｔｎの音声データ（環境ノイズ）が抽出されて特
徴抽出部５および無音音響モデル補正部７に供給され
る。

【００６６】特徴抽出部５では、フレーム化部２からの
観測ベクトルａとしての音声データが音響分析され、そ
の特徴ベクトルｙが求められる。さらに、特徴抽出部５
では、求められた特徴ベクトルｙに基づいて、特徴ベク
トル空間における分布を表す特徴分布パラメータＺが算
出され、音声認識部６に供給される。音声認識部６で
は、特徴抽出部５からの特徴分布パラメータを用いて、
無音区間および所定数Ｋの単語それぞれに対応する音響
モデルの識別関数の値が演算され、その関数値が最大で
ある音響モデルが、音声の認識結果として出力される。
また、音声認識部６では、無音音響モデル補正部７から
入力される無音音響モデルに対応する識別関数を用い
て、それまで記憶されていた無音音響モデルに対応する
識別関数が更新される。

【００６７】以上のように、観測ベクトルａとしての音
声データが、その特徴量の空間である特徴ベクトル空間
における分布を表す特徴分布パラメータＺに変換される
ので、その特徴分布パラメータは、音声データに含まれ
るノイズの分布特性を考慮したものとなっており、ま
た、無音区間を識別するための無音音響モデルに対応す
る識別関数が、発話直前のノイズ観測区間Ｔｎの音声デ
ータに基づいて更新されているので、音声認識率を大き
く向上させることが可能となる。

【００６８】次に、図８は、発話スイッチ４がオンとさ
れてから発話が開始されるまでの無音区間Ｔｓを変化さ
せたときの音声認識率の変化を測定した実験の結果を示
している。

【００６９】なお、図８において、曲線ａは無音音響モ
デルを補正しない従来の方法による結果を示しており、
曲線ｂは第１の方法による結果を示しており、曲線ｃは
第２の方法による結果を示しており、曲線ｄは第３の方
法による結果を示しており、曲線ｅは、第４の方法によ
る結果を示している。

【００７０】実験の条件は、以下の通りである。認識さ
れる音声データは、高速道路を走行中の車内で集音され
たものである。ノイズ観測区間Ｔｎは、２０フレームで
約０．２秒である。無音区間Ｔｓは、０．０５秒、０．
１秒、０．２秒、０．３秒、０．５秒とした。音声デー
タの特徴抽出においては、MFCC(Mel-Frequency Cepstra
l Coefficients)ドメインで分析を実施した。認識の対
象とする音声の発話者は、男女４人ずつ計８人であり、
一人当たり３０３個の単語を離散して発話した。タスク
は大語彙離散日本語で５０００ワードである。音響モデ
ルは、HMMであり、良好な音声データを用いて予め学習
されているものである。音声認識においては、Viterbi
サーチ法でビーム幅を３０００とした。

【００７１】なお、第１、第２、および第４の方法にお
いては、係数ａを１．０とし、係数ｂを０．１とした。
第３の方法においては、係数ａを１．０とし、係数ｂを
１．０とした。

【００７２】図８から明らかなように、従来の方法（曲
線ａ）では、無音区間Ｔｓが長くなるのに伴って音声認
識率が著しく低下しているが、本発明の第１乃至４の方
法（曲線ｂ乃至ｅ）では、無音区間Ｔｓが長くなって
も、音声認識率は、わずかしか低下しない。すなわち、
本発明によれば、無音区間Ｔｓが変化しても、音声認識
率はある程度のレベルを維持することが可能である。

【００７３】以上、本発明を適用した音声認識装置につ
いて説明したが、このような音声認識装置は、例えば、
音声入力可能なカーナビゲーション装置、その他各種の
装置に適用可能である。

【００７４】なお、本実施の形態では、ノイズの分布特
性を考慮した特徴分布パラメータを求めるようにした
が、このノイズには、例えば、発話を行う環境下におけ
る外部からのノイズの他、例えば、電話回線その他の通
信回線を介して送信されてくる音声の認識を行う場合に
は、その通信回線の特性なども含まれる。

【００７５】また、本発明は、音声認識の他、画像認識
その他のパターン認識を行う場合にも適用可能である。

【００７６】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【００７７】

【発明の効果】以上のように、請求項１に記載のパター
ン認識装置、請求項６に記載のパターン認識方法、およ
び請求項７に記載の提供媒体によれば、データが入力さ
れる直前に入力されたノイズに基づいて、データが存在
しない状態に対応するモデルを生成し、記憶されている
対応するものを更新するようにしたので、音声認識が開
始された時から発話が開始される時までの時間が長くな
るに伴って認識性能が低下することを抑止することが可
能となる。

【図面の簡単な説明】

【図１】本発明を適用した音声認識装置の構成例を示す
ブロック図である。

【図２】図１のノイズ観測区間抽出部３の動作を説明す
るための図である。

【図３】図１の特徴抽出部５の詳細な構成例を示すブロ
ック図である。

【図４】図１の音声認識部６の詳細な構成例を示すブロ
ック図である。

【図５】音声認識部６の動作を説明するための図であ
る。

【図６】図１の無音音響モデル補正部７の動作を説明す
るための図である。

【図７】図１の無音音響モデル補正部７の動作を説明す
るための図である。

【図８】本発明を適用した音声認識装置の音声認識実験
の結果を示す図である。

【符号の説明】

１ マイクロフォン， ２ フレーム化部， ３ ノイ
ズ観測区間抽出部，４ 発話スイッチ， ５ 特徴抽出
部， ６ 音声認識部， ７ 無音音響モデル補正部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力されるデータの特徴分布を、所定数
   のモデルのうちのいずれかに分類するパターン認識装置
   において、 前記入力されるデータのパターンを特徴分布として抽出
   する抽出手段と、 前記所定数のモデルを記憶する記憶手段と、 前記抽出手段が抽出した特徴分布を、前記所定数のモデ
   ルのうちのいずれかに分類する分類手段と、 前記データが入力される直前に入力されたノイズに基づ
   いて、前記データが存在しない状態に対応する前記モデ
   ルを生成し、前記記憶手段に記憶されている対応するも
   のを更新する生成手段とを含むことを特徴とするパター
   ン認識装置。
2. 【請求項２】 前記データが存在しない状態の特徴分
   布、および、前記データが存在しない状態に対応する前
   記モデルの確率分布が正規分布である場合、前期生成手
   段は、前記データが存在しない状態に対応する前記モデ
   ルの期待値を、前記データが存在しない状態の特徴分布
   の各コンポーネントに対応する期待値の平均として生成
   し、前記データが存在しない状態に対応する前記モデル
   の分散を、前記データが存在しない状態の特徴分布の各
   コンポーネントに対応する分散の平均として生成するこ
   とを特徴とする請求項１に記載のパターン認識装置。
3. 【請求項３】 前記データが存在しない状態の特徴分
   布、および、前記データが存在しない状態に対応する前
   記モデルの確率分布が正規分布である場合、前期生成手
   段は、前記データが存在しない状態に対応する前記モデ
   ルの期待値および分散を、前記データが存在しない状態
   の特徴分布の各コンポーネントに対応する期待値の平均
   を用いて生成することを特徴とする請求項１に記載のパ
   ターン認識装置。
4. 【請求項４】 前記データが存在しない状態の特徴分
   布、および、前記データが存在しない状態に対応する前
   記モデルの確率分布が正規分布である場合、前期生成手
   段は、前記データが存在しない状態に対応する前記モデ
   ルの確率分布を、前記データが存在しない状態の特徴分
   布の各コンポーネントに対応する統計量の線形結合に基
   づいて生成することを特徴とする請求項１に記載のパタ
   ーン認識装置。
5. 【請求項５】 前記データが存在しない状態の特徴分
   布、および、前記データが存在しない状態に対応する前
   記モデルの確率分布が正規分布である場合、前期生成手
   段は、前記データが存在しない状態に対応する前記モデ
   ルの確率分布を、前記データが存在しない状態の特徴分
   布の各コンポーネントに対応する統計母集団の和に基づ
   いて生成することを特徴とする請求項１に記載のパター
   ン認識装置。
6. 【請求項６】 入力されるデータの特徴分布を、所定数
   のモデルのうちのいずれかに分類するパターン認識装置
   のパターン認識方法において、 前記入力されるデータのパターンを特徴分布として抽出
   する抽出ステップと、 前記所定数のモデルを記憶する記憶ステップと、 前記抽出ステップで抽出した特徴分布を、前記所定数の
   モデルのうちのいずれかに分類する分類ステップと、 前記データが入力される直前に入力されたノイズに基づ
   いて、前記データが存在しない状態に対応する前記モデ
   ルを生成し、前記記憶ステップで記憶された対応するも
   のを更新する生成ステップとを含むことを特徴とするパ
   ターン認識方法。
7. 【請求項７】 入力されるデータの特徴分布を、所定数
   のモデルのうちのいずれかに分類するパターン認識装置
   に、 前記入力されるデータのパターンを特徴分布として抽出
   する抽出ステップと、前記所定数のモデルを記憶する記
   憶ステップと、 前記抽出ステップで抽出した特徴分布を、前記所定数の
   モデルのうちのいずれかに分類する分類ステップと、 前記データが入力される直前に入力されたノイズに基づ
   いて、前記データが存在しない状態に対応する前記モデ
   ルを生成し、前記記憶ステップで記憶された対応するも
   のを更新する生成ステップとを含む処理を実行させるコ
   ンピュータが読み取り可能なプログラムを提供すること
   を特徴とする提供媒体。