JP2002041079A - 音声認識装置および音声認識方法、並びに、プログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 発話者の顔の位置ずれによる周波数特性の変
化に対応する。 【解決手段】 音響モデル格納部１４の第１音響モデル
格納部１４a,…,第ｎ音響モデル格納部１４nに、発話者
の顔の典型的な位置に対応した代表的な周波数特性を模
倣するフィルタを学習データに掛けて周波数特性を補正
した後、学習を行って得たｎ組の音響モデルを用意す
る。尤度演算部１３は、入力音声の音響パラメータベク
トルに対して上記ｎ組の音響モデルの夫々を作用させて
各音韻の状態毎に尤度を算出する。照合部１７は、辞書
格納部２０の辞書との照合を行なって上位のスコアを呈
する語彙を認識候補(認識結果)として出力する。こうし
て、ユーザが様々な位置で発声しても、その位置に近い
周波数特性を有する音響モデルが常に適用されて認識処
理が行われ、顔の位置に因らずに高い認識率が維持され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ロバスト性向上
とコンパクト化とが図られた隠れマルコフモデル(Hidde
n Markov Model：以下、ＨＭＭと言う)を用いた音声認
識装置および音声認識方法、並びに、音声認識処理プロ
グラムを記録したプログラム記録媒体に関する。

【０００２】

【従来の技術】近年、上記ＨＭＭを用いた音声認識方法
の開発が盛んに行われている。このＨＭＭは、大量の音
声データから得られる音声の統計的特徴を確率的にモデ
ル化したものであり、このＨＭＭを用いた音声認識方法
の詳細は、中川聖一著「確率モデルによる音声認識」
(電子情報通信学会)に詳しい。

【０００３】図５は、従来のＨＭＭを用いる音声認識装
置のブロック図である。音声入力部１は、マイクから入
力されたアナログ音声をディジタル波形に変換する。音
響分析部２は、ディジタル波形を短い時間間隔(フレー
ム)毎に周波数分析し、スペクトルを表す音響パラメー
タのベクトル系列に変換する。尤度(音韻類似度)演算部
３は、上記入力音声の音響パラメータベクトルに対し
て、音響モデル格納部４に格納された音韻毎の音響モデ
ル(ＨＭＭ)の夫々を作用させて、各音韻の状態毎に尤度
を算出する。照合部５は、尤度演算部３からの尤度(音
韻類似度)系列に対して、辞書６に登録されている総て
の語彙(単語)との照合を行ない、各語彙のスコアを算出
する。そして、上位のスコアを呈する語彙を認識候補
(認識結果)として出力部７から出力する。

【０００４】上記音声認識装置の実際の使用に際して
は、種々の騒音下で発声されたり、様々なマイクロホン
が使用されたりする。また、種々の声の話者が存在す
る。したがって、入力音声は種々の要因で変動し、その
変動要因は大きく次の３つに分類することができる。 （１）空間伝送系(騒音,残響,マイクロホンの位置等) （２）電気的伝送系(マイクロホンの特性,伝送路歪,電
気的雑音等) （３）話者(個人差,発話様式,ロンバード効果等)

【０００５】通常、上記ＨＭＭ等の音響モデルの学習用
データは、クリーンな環境でフラットなマイクを用いて
収録されている。言わば、理想的な条件で作成されてい
る。これに対して、実使用時においては、上述のように
種々の要因が変動するため、入力データと音響モデルと
の特性の違い(これをミスマッチと言う)が生じる。そし
て、このミスマッチが、認識率の劣化の原因となってい
るのである。本願においては、上述した実使用時におけ
る変動要因のうち、主として(１)のマイクロホンの位置
による周波数特性の違いを扱い、その他の変動要因につ
いては取り扱わないものとする。

【０００６】ところで、発話者の顔の位置や向きがずれ
るなどして音声信号のマイクロホンヘの入射角が異なる
と、周波数特性に影響を及ぼす。一般にマイクロホンの
正面から入射した場合にはフラットな周波数特性を有す
るが、斜めや横から入射した場合にはスペクトルに幾つ
か谷が生ずることが知られている。そして、上記谷の周
波数,大きさおよび個数は、上記入射角の他に、搭載機
器の形状等にも依存するので、理論的に算出するのは非
常に困難である。また、話者の口とマイクロホンとの距
離も上記周波数特性に影響を及ぼす。一般に、マイクロ
ホンと口との距離が大きくなると、口の放射特性によっ
て低域のパワーが小さくなる。例えば、内蔵マイクが本
体の左奥に位置しているノートパソコンの場合、パソコ
ンの正面位置で画面に向かって発声すると５００Ｈzと
２.０ｋＨzとに谷が生じ、上記内蔵マイクの真上で発声
すると１.３ｋＨzに谷が生ずる。

【０００７】音声認識におけるロバスト性の向上は重要
な課題であり、これまでに以下の例に示すように活発な
研究がなされている。先ず、音声信号における周波数特
性の違いを補償する方法として、入力音声を正規化させ
るケプストラム平均正規化法(ＣＭＮ；Cepstrum Mean N
ormalization)が提案されている。この方法は、マイク
ロホンや回線特性に由来する伝送特性の歪みのように、
系に固有な歪みを対象としている。

【０００８】また、特開２０００‐７５８８９号公報に
おいては、騒音の種類やレベルの異なる複数組の音響モ
デルを用意し、各々の組の音響モデルを独立して用いて
音声認識処理を行なう。そして、総ての音響モデルに対
して最も大きいスコアを出力した単語を認識結果とする
ようにしている。種々の騒音に対応した複数組の音響モ
デルを独立して用いて認識処理させることによって、騒
音環境が様々に変化してもそれに追従して、常に良好な
認識性能を得ることができるとしている。

【０００９】また、特開平１０‐６３２９３号公報にお
いては、電話回線の違いに由来する周波数特性の差を補
償すべく、周波数特性の異なる複数組の音響モデルを用
意しておく。そして、回線接続情報等から何れの電話回
線を経由したかを検知して、経由した回線特性に対応し
た組の音響モデルに切り換え、当該音響モデルを用いて
認識処理を行うのである。こうすることによって、回線
の状況に影響を受けることなく高い認識性能を維持でき
るとしている。

【００１０】一方において、上記ＨＭＭの尤度演算や辞
書照合には膨大な計算量を必要とするため高速化が大き
な課題となっており、高速演算手法についても活発な研
究がなされている。例えば、尤度演算については、パラ
メータの種類別にクラスタリングすることによって高速
に尤度演算を行う方法が提案されている。また、照合に
ついては、状態を縮退させたＨＭＭを用いると共に、時
間軸を圧縮することによって、高速に予備選択してサー
チの演算量を削減する方法が提案されている。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来の音声認識におけるロバスト性の向上方法や高速尤度
演算・辞書照合方法には、以下のような問題がある。

【００１２】先ず、上記ＣＭＮ法においては、主として
系に固有な歪みを対象としている。したがって、話者特
性や観測した音声データの音韻の出現頻度に依存するこ
とになり、正確な補正はできないと言う問題がある。さ
らに、長時間に亘る平均スペクトルを求めなければなら
ないため、観測にはある程度の時間の音声データが必要
になる。したがって１単語のみの発声に対しては適応し
きれないという実用上の問題もある。

【００１３】次に、特開２０００‐７５８８９号公報に
おいては、複数組用意する音響モデルのバリエーション
を騒音に限定している。したがって、マイクロホンの位
置による周波数特性の違いに対しては適用できないと言
う問題がある。また、尤度演算や照合等の音声認識処理
は従来通り行なわれるので、上記音響モデルの組数に比
例して、尤度計算量や尤度演算結果を格納するメモリ領
域が増加すると言う問題もある。

【００１４】次に、特開平１０‐６３２９３号公報にお
いては、回線接続情報に基づいて周波数特性を検知可能
と仮定し、複数組用意する音響モデルのバリエーション
を電話回線の違いに由来する周波数特性に限定してい
る。したがって、マイクロホンの位置による周波数特性
の違いに対しては適用できないと言う問題がある。

【００１５】一方、上記高速尤度演算・辞書照合方法に
おいては、音響モデルが１組であることを仮定している
ために、複数組の音響モデルを用意する場合には音響モ
デルの組数に比例した演算量が必要となる。例えば、Ｈ
ＭＭを音素環境依存型で混合連続分布の出力確率密度関
数を有するＨＭＭとした場合、音響モデル１組に関する
総ての状態に亘る出力確率密度分布の総数を１５００と
すると、Ｎ組の音響モデルを用いる場合には、１５００
×Ｎ回の尤度演算が必要になる。さらに、尤度演算の結
果は、通常、音響モデルの各状態に関してフレーム毎に
格納される。これを尤度テーブルと呼び、例えば音響モ
デルが５００状態を有して１状態を２Ｂ(バイト)で表現
すると、１００フレーム分の演算結果を格納するには１
００ＫＢのメモリが必要となる。組込み用途のようにメ
モリ(ＲＡＭ：ランダム・アクセス・メモリ)容量が限られ
ている場合は、尤度テーブル用メモリの容量削減が重要
な課題となる。取り分け、音響モデルを複数組用いる場
合には尤度テーブルも音響モデルの組数分だけ必要とな
り、メモリ量の増加を招くことになるのである。

【００１６】以上のごとく、上記従来の音声認識におけ
るロバスト性の向上方法や高速尤度演算・辞書照合方法
においては、上述のような発話者の顔の位置がずれるこ
とで周波数特性が変わり、その結果入力音声と音響モデ
ルとのミスマッチが生じ、認識率の劣化を招くという問
題に対しては、有効な対策が提案されていないのが実情
である。

【００１７】そこで、この発明の目的は、発話者の顔の
位置ずれによる周波数特性の変化に対応でき、且つ、高
速尤度演算・高速辞書照合を少ないメモリ容量で実現で
きる音声認識装置および音声認識方法、並びに、音声認
識処理プログラムを記録したプログラム記録媒体を提供
することにある。

【００１８】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、音響モデルを用いて入力音声の認識
を行なう音声認識装置であって、上記音響モデルとし
て,話者の顔の典型的な位置に応じた周波数特性を反映
させた複数組の音響モデルを格納した音響モデル格納部
と、入力音声を音響分析して音響パラメータベクトルの
時系列を得る音響分析部と、上記入力音声の音響パラメ
ータベクトルを用いて上記音響モデルの各音韻の状態の
尤度を演算する尤度演算部と、認識用語彙が登録された
辞書と、上記各音韻の状態の尤度と上記辞書の登録語彙
との照合を行って全登録語彙のスコアを算出し,上位の
スコアを呈する登録語彙を認識結果として出力する照合
部を備えたことを特徴としている。

【００１９】上記構成によれば、話者の顔の典型的な位
置に応じた周波数特性を反映させた複数組の音響モデル
を用意し、入力音声の音響パラメータベクトルを用いて
上記音響モデルの各音韻の状態の尤度が演算され、この
音韻の状態の尤度と辞書の登録語彙との照合が行われて
入力音声が認識される。したがって、ユーザが様々な位
置で発声しても、その位置に近い周波数特性を有する音
響モデルが常に適用されて認識処理が行われ、顔の位置
に因らずに高い認識率が維持される。

【００２０】また、上記第１の発明の音声認識装置は、
上記音響モデル格納部に格納された総ての音響モデル
を,各状態の出力確率密度関数を多次元正規分布で表現
したＨＭＭとし、上記尤度演算部を、上記全音響モデル
を対象として作成された予備選択用の上記分布の集合を
表す一つの予備選択用分布集合と、上記入力音声の音響
パラメータベクトルを用いて上記予備選択用分布集合に
おける各分布の尤度を計算し,この尤度を用いて上記全
音響モデルにおける上記各分布の近似的な尤度を求める
近似尤度計算手段と、上記近似尤度計算部による計算結
果に基づいて詳細に尤度を計算する必要のある分布を選
択する選択手段と、上記各音響モデル別に用意された詳
細演算用の上記分布の集合を表す詳細分布集合と、上記
入力音声の音響パラメータベクトルを用いて上記詳細分
布集合における上記選択分布の詳細尤度を計算する詳細
尤度計算手段を備えた詳細照合用尤度演算部を有するよ
うに成すことが望ましい。

【００２１】上記構成によれば、上記尤度演算部の詳細
照合用尤度演算部によって、入力音声の音響パラメータ
ベクトルに、全音響モデルを対象として作成された一つ
の予備選択用分布集合を作用させて、上記予備選択用分
布集合における各分布の尤度が計算され、この尤度を用
いて上記全音響モデルにおける上記各分布の近似的な尤
度が求められる。したがって、入力音声の音響パラメー
タベクトルに夫々の音響モデルを作用させて全音響モデ
ルにおける上記各分布の尤度を求める場合に比して、尤
度の計算量が約１/２８に削減される。あるいは、上記
予備選択用分布集合を夫々の音響モデル毎に作成する場
合に比して、尤度の計算量が約１/２に削減される。

【００２２】その際に、上記近似尤度の計算結果に基づ
いて詳細に尤度を計算する必要のある分布が選択され、
入力音声の音響パラメータベクトルに上記各音響モデル
別に用意された詳細分布集合が作用されて、上記選択分
布の詳細尤度が計算されるので、尤度計算量の削減と高
認識率の維持とが両立される。

【００２３】また、上記第１の発明の音声認識装置は、
上記尤度演算部を,上記各音韻毎の高速照合用尤度を算
出する高速照合用尤度演算部を有するように成し、上記
高速照合用尤度演算部からの高速照合用尤度系列と高速
照合用辞書とを照合して,認識候補の予備選択を行なう
高速照合部と、上記高速照合部による予備選択の結果得
られた認識候補のうち,同じカテゴリに属するスコアの
小さい認識候補を除外し,残った認識候補に関して,上記
詳細照合用尤度演算部からの詳細照合用尤度系列と詳細
照合用辞書との照合を行って認識結果を得る詳細照合部
を備えることが望ましい。

【００２４】上記構成によれば、上記尤度演算部の高速
照合用尤度演算部によって上記各音韻毎の高速照合用尤
度が算出され、高速照合部によって高速照合用辞書と照
合されて認識候補の予備選択が行われる。そして、詳細
照合部によって、１カテゴリ１認識候補に関して、詳細
照合用辞書との詳細照合が行われて最終的な認識結果が
得られる。したがって、上記詳細照合用辞書に登録され
た総ての認識語彙に関して、詳細照合を行う場合に比し
て、辞書照合が高速に行われる。

【００２５】また、上記第１の発明の音声認識装置は、
上記近似尤度計算手段によって計算された状態毎の尤度
を全音響モデルで共有化して保持する第１尤度保持手段
と、上記詳細尤度計算手段によって計算された状態毎の
尤度を各音響モデル別に保持する第２尤度保持手段を備
えることが望ましい。

【００２６】上記構成によれば、上記近似尤度計算手段
によって計算された状態毎の近似的な尤度は、第１尤度
保持手段によって全音響モデルで共有化して保持され
る。したがって、尤度値の保持容量が、各音響モデル別
に保持する場合に比して４０％に抑えられる。

【００２７】また、上記第１の発明の音声認識装置は、
上記各音響モデルにおける各音韻を１つの状態で表した
１状態混合連続分布型音響モデルと、上記入力音声の音
響パラメータベクトルを用いて上記各１状態混合連続分
布型音響モデルの尤度を求め,最も高い尤度を呈する１
状態混合連続分布型音響モデルに対応する音響モデルを
選択する音響モデル選択部と、上記音響モデル格納部か
ら上記選択された音響モデルを切換え選択して上記尤度
演算部に送出する切換え部を備えることが望ましい。

【００２８】上記構成によれば、上記尤度演算部による
尤度の演算は、音響モデル選択部によって、入力音声の
音響パラメータベクトルと各１状態混合連続分布型音響
モデルとによる尤度演算結果に基づいて選択された１つ
の音響モデルを用いて行われる。したがって、総ての組
の音響モデルを用いて上記尤度演算をおこなう場合に比
して、尤度の計算量が低減される。

【００２９】また、上記第１の発明の音声認識装置は、
話者の顔の位置を撮影する撮像手段と、上記撮像手段か
らの画像信号に基づいて上記話者の顔の位置を求め,得
られた顔の位置に対応する音響モデルを選択する音響モ
デル選択部と、上記音響モデル格納部から上記選択され
た音響モデルを切換え選択して上記尤度演算部に送出す
る切換え部を備えることが望ましい。

【００３０】上記構成によれば、音響モデル選択部によ
って、撮像手段からの話者の顔の位置に関する画像信号
に基づいて、上記各１状態混合連続分布型音響モデルに
よる尤度演算結果に因らずに音響モデルが選択される。
したがって、尤度の計算量の更なる低減化が図られる。

【００３１】また、第２の発明は、音響モデルを用いて
入力音声の認識を行なう音声認識方法であって、上記音
響モデルとして,話者の顔の典型的な位置に応じた周波
数特性を反映させた複数組の音響モデルを用意し、入力
音声を音響分析して音響パラメータベクトルの時系列を
得、上記入力音声の音響パラメータベクトルを用いて上
記音響モデルの各音韻の状態の尤度を演算し、上記各音
韻の状態の尤度と認識用語彙が登録された辞書の登録語
彙との照合を行って全登録語彙のスコアを算出し,上位
のスコアを呈する登録語彙を認識結果として出力するこ
とを特徴としている。

【００３２】上記構成によれば、話者の顔の典型的な位
置に応じた周波数特性を反映させた複数組の音響モデル
を用意し、入力音声の音響パラメータベクトルを用いて
上記音響モデルの各音韻の状態の尤度が演算され、この
音韻の状態の尤度と辞書の登録語彙との照合が行われて
入力音声が認識される。したがって、ユーザが様々な位
置で発声しても、その位置に近い周波数特性を有する音
響モデルが常に適用されて認識処理が行われ、顔の位置
に因らずに高い認識率が維持される。

【００３３】また、第３の発明のプログラム記録媒体
は、コンピュータを、請求項１における音響モデル格納
部,音響分析部,尤度演算部,辞書および照合部として機
能させる音声認識処理プログラムが記録されていること
を特徴としている。

【００３４】上記構成によれば、上記第１の発明の場合
と同様に、入力音声の音響パラメータベクトルを用い
て、話者の顔の典型的な位置に応じた周波数特性を反映
させた複数組の音響モデルの各音韻の状態の尤度が演算
され、この音韻の状態の尤度と辞書の登録語彙との照合
が行われて入力音声が認識される。したがって、ユーザ
が様々な位置で発声しても、その位置に近い周波数特性
を有する音響モデルが常に適用されて認識処理が行わ
れ、顔の位置に因らずに高い認識率が維持される。

【００３５】

【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。図１は、本実施の形態におけ
る音声認識装置のブロック図である。本実施の形態にお
ける音声認識装置は、図５に示す従来の音声認識装置に
比して、音響モデルが複数組の音響モデルから構成され
ている点、尤度演算部と照合部とが夫々全音響モデルを
一括して高速化の対象にしている点において異なる。以
下、本実施の形態における音声認識装置について説明す
る。

【００３６】音声入力部１１は、マイクから入力された
音声のアナログ波形をディジタル波形に変換して、音響
分析部１２に送出する。音響分析部１２は、入力された
ディジタル波形を短い時間間隔(フレーム)毎に周波数分
析し、スペクトルを表す音響パラメータのベクトル系列
に変換する。尚、周波数分析には、ＭＦＣＣ(メルスケ
ールＦＦＴ(高速フーリエ変換)ケプストラム係数)やＬ
ＰＣ(線形予測分析)メルケプストラムと呼ばれるスペク
トルの効率よい表現方法が用いられる。尤度(音韻類似
度)演算部１３は、入力音声の音響パラメータベクトル
に対して、音響モデル格納部１４に格納された音響モデ
ル(本実施の形態ではＨＭＭを採用)の夫々を作用させて
各音韻の状態毎に尤度を算出する。

【００３７】ここで、本実施の形態における音響モデル
格納部１４は、第１音響モデル格納部１４a,第２音響モ
デル格納部１４b,…,第ｎ音響モデル格納部１４nのｎ個
の音響モデル格納部で構成され、夫々の音響モデル格納
部には、第１ＨＭＭ,第２ＨＭＭ,…,第ｎＨＭＭのｎ組
のＨＭＭが格納されている。以下、上記音響モデル格納
部１４に格納される音響モデルの作成方法について、内
蔵型のマイクが本体の左奥に位置しているノートパソコ
ンの場合を例に上げて説明する。その場合は、ターゲッ
ト(ノートパソコン)の伝送特性は既知であり且つ固定と
なる。

【００３８】すなわち、上記パソコンの正面位置で画面
に向かって発声すると、５００Ｈzと２.０ｋＨzに谷が
生じ、マイクの真上付近で発声すると１.３ｋＨzに谷が
生じる。また、マイクの正面位置で画面に向かって発声
すると略平坦な特性となる。先ず、第１音響モデル格納
部１４aに格納される第１ＨＭＭを作成する際には、正
面位置で画面に向かって発声する場合に５００Ｈzと２.
０ｋＨzとに生じる谷を模倣するバンドリジェクトフィ
ルタを学習データに掛けて周波数特性を補正した上で、
学習を行う。次に、第２音響モデル格納部１４bに格納
される第２ＨＭＭを作成する際には、マイクの真上付近
で発声する場合に生じる１.３ｋＨzの谷を模倣するバン
ドリジェクトフィルタを学習データに掛けて周波数特性
を補正した上で、学習を行う。次に、第ｎ音響モデル格
納部１４nに格納される第ｎＨＭＭを作成する際には、
マイクの正面位置で画面に向かって発声した場合の平坦
な特性を模倣するため、学習データに補正フィルタを掛
けずに学習を行う。尚、上記学習データの学習について
は、この発明とは直接関係がないので説明は省略する。

【００３９】このように、典型的な発声ポジションに対
応した代表的な周波数特性の数だけ音響モデルを用意す
る。以上は、ノートパソコンの内蔵マイクに対する位置
関係の場合の例であるが、搭載する装置やマイクロホン
素子の空間形状によっては、谷ではなくピークが生じる
場合もある。また、スペクトルが全体的に傾いたり、帯
域が制限されたりする場合もある。このような場合は、
夫々の周波数特性を模倣するフィルタを学習データに掛
ければよい。

【００４０】そうすると、上記尤度演算部１３は、上述
のような音響モデルを用いて、上述したように各音韻の
状態毎に尤度を算出することになる。本実施の形態にお
いては、尤度演算部１３を、詳細照合用の詳細尤度系列
を生成する詳細照合用高速尤度演算部１５と、高速照合
用の簡易尤度系列を生成する高速照合用尤度演算部１６
とで構成している。

【００４１】ここで、日本語の音韻は２６種類程度であ
るが、本音声認識装置では、高精度化のために前後環境
や話者による声質の差、音韻内の時間変化を考慮してい
る。そして、同じ音韻「あ」でも、数十種類のスペクトル
の分布(ここで、分布とは音韻の類似度を算出するため
の出力確率密度関数のことである)と、それらの分布か
ら構成される状態を有している。上記ＨＭＭには様々な
タイプがあるが、本実施の形態においては、音素環境依
存型で混合連続分布の出力確率密度関数を有するＨＭＭ
を採用しており、一つの状態は複数個の分布から構成さ
れる。本実施の形態では、総分布数は１５００であり、
総状態数は５００であるとする。したがって、５００個
の状態に関して１５００個の分布について尤度を算出す
る必要がある。

【００４２】図２は、尤度演算部１３の詳細照合用高速
尤度演算部１５による尤度演算処理のフローチャートで
ある。また、図３は、データの流れを示す。以下、図２
および図３に従って詳細照合用尤度演算処理動作につい
て詳細に説明する。入力音声の音響パラメータベクトル
と音響モデルとに基づく尤度演算は、音声認識装置の中
で最も大きな処理量となる。本実施の形態のごとく音響
モデルを複数組用いる場合は、夫々の組の音響モデル毎
に尤度演算を行なうと、より一層計算量の増加を招くこ
とになる。そこで、本実施の形態の詳細照合用の尤度演
算においては、音声認識結果に直接影響する出力確率関
数の分布に関しては各音響モデル毎に精密に演算し、そ
れ以外は全音響モデルを対象とする特徴空間別クラスタ
リングを行って粗い近似計算で済ませるのである。

【００４３】入力音声の音響パラメータベクトル(入力
ベクトル)３１は、スペクトル,スペクトル変化量,パワ
ー及びパワー変化量の合計４種類の特徴空間から構成さ
れ、２６次元からなるベクトルとして表現される。音響
パラメータを上記特徴空間別にクラスタリングすること
によって、全次元を一括してクラスタリングする場合よ
りも効率良く要素数を圧縮できることが実験を通じて検
証されている。以下、総分布数が１５００の音響モデル
を３組(図１において第ｎ音響モデル格納部１４nの第ｎ
ＨＭＭ → 第３音響モデル格納部１４cの第３ＨＭＭ)用
いた場合の尤度演算処理動作について述べる。尚、図２
には、詳細尤度を計算する分布の候補を選択する詳細尤
度演算候補選択方法の違いから２通りのフローチャート
を示している。

【００４４】先ず、上記尤度演算部１３の詳細照合用高
速尤度演算部１５の動作について、図２(a)に従って説
明する。ステップＳ1で、予め総ての音響モデル(第１Ｈ
ＭＭ〜第３ＨＭＭ)を対象として、特徴空間別にクラス
タリングを行ってクラスタ代表分布でなる予備選択用分
布集合(例えば、１００分布)３２が作成される。そし
て、入力ベクトル３１の特徴パラメータを代入して予備
選択用分布の尤度が計算され、１００個の尤度値を要素
とする部分空間別尤度テーブル(図示せず)が作成され
る。

【００４５】ステップＳ2で、上記部分空間別尤度テー
ブルにおける各分布(各音響モデルにおける各クラスタ
の代表分布)の尤度値が、第１〜第３インデックステー
ブル３３〜３４に従って、第１〜第３音響モデル３７〜
３８における該当するクラスタに族する全分布に展開さ
れて、各音響モデルの各分布の近似尤度が求められる。

【００４６】ステップＳ3で、上記各音響モデルの近似
尤度値が、各音響モデル別に、上記特徴空間に関して、
同一分布毎に集計されて第１近似尤度３５〜第３近似尤
度３６が得られる。そして、こうして得られた第１〜第
３近似尤度３５〜３６に基づいて、各音響モデル別に、
集計値が上位であるＴ個の分布が求められ、尤度を詳細
に計算する必要がある分布が選択される。通常、各音響
モデル毎に２０(Ｔ＝２０)個程度が選択される。

【００４７】ステップＳ4で、上記選択結果に基づく上
位Ｔ個(Ｔ＝２０)の選択分布の詳細尤度が、第１音響モ
デル３７〜第３音響モデル３８内に用意されて詳細演算
用の上記分布の集合を表す詳細分布集合における上記選
択分布に入力ベクトル３１の特徴パラメータが代入され
て、各音響モデル別に求められる。そして、得られた選
択分布の詳細尤度値と、第１〜第３近似尤度３５〜３６
における上記選択分布以外の分布の尤度値(コピー値)と
を要素とする第１〜第３詳細尤度３９〜４０が求められ
る。こうして得られた第１〜第３詳細尤度３９〜４０が
詳細尤度系列として照合部１７の詳細照合部１９に送出
される。そうした後、尤度演算処理動作を終了する。

【００４８】次に、図２(b)について簡単に説明する。
ステップＳ11及びステップＳ12で、上記図２(a)のフロ
ーチャートにおけるステップＳ1およびステップＳ2と同
様にして、１００分布を有する予備選択用分布集合３２
の作成と、入力ベクトル３１による予備選択用分布の尤
度計算と、部分空間別尤度テーブルを用いた全音響モデ
ルの近似尤度の取得が行われる。

【００４９】ステップＳ13で、上記部分空間別尤度テー
ブルの各特徴空間別に最大尤度から基準尤度が求めら
れ、この各基準尤度よりも近似尤度が大きい分布(例え
ば２０個程度)が求められる。ステップＳ14で、上記各
基準尤度よりも近似尤度が大きい分布の詳細尤度が、各
音響モデル別に求められる。そして、得られた詳細尤度
値と上記近似尤度とを要素とする第１〜第３詳細尤度３
９〜４０が求められる。こうして得られた第１〜第３詳
細尤度３９〜４０が詳細尤度系列として照合部１７の詳
細照合部１９に送出される。そうした後、尤度演算処理
動作を終了する。

【００５０】上述のごとく総分布数が１５００の音響モ
デルを３組用いる場合には、直接全分布の尤度を計算す
る従来の尤度演算方法の場合には４５００回(＝１５０
０分布×３組)の尤度演算が必要となる。また、音響モ
デル毎に尤度演算を高速化演算する場合、つまり１００
分布を有する予備選択用分布集合を第１音響モデル３７
〜第３音響モデル３８別に持つ場合には３６０回(＝１
００分布×３組＋２０分布×３組)の尤度演算が必要と
なる。

【００５１】これに対して、本実施の形態の尤度演算方
法によれば、１００分布を有する予備選択用分布集合を
１つ持てばよく、１６０回(＝１００分布×１組＋２０
分布×３組)の尤度演算で済ませることができる。した
がって、上記直接全分布の尤度を計算する従来の尤度演
算方法に比べて計算量を約１/２８に削減でき、上記音
響モデル毎に尤度演算を高速演算する方法に比べて計算
量を約１/２(４４％)に削減できるのである。

【００５２】尤度演算の高速化方法としては、上述した
方法の他に、出力確率値をテーブル参照する方法や一度
計算した結果を再利用する方法がある。本実施の形態と
同様に、全音響モデルを一括して高速化の対象とする方
法をこれらの方法に適用しても差し支えない。もちろ
ん、全音響モデルを一括して高速化対象とはせず、音響
モデル別に更なる尤度演算の高速化を行なってもよい。

【００５３】ところで、上記尤度演算の結果は、通常、
音響モデルの各状態に関してフレーム毎に格納される。
これを尤度テーブルと呼び、例えば音響モデルが５００
状態を有して１状態を２Ｂで表現するとすると、１００
フレーム分の演算結果を格納するには１００ＫＢのメモ
リが必要となる。そして、上述のごとく音響モデルを３
組用いる場合には、上記尤度テーブルの容量も音響モデ
ルの組数分の３００ＫＢが必要となる。

【００５４】本実施の形態においては、上記予備選択用
分布集合３２を用いて算出した状熊の近似尤度は全音響
モデルで共有化して保持しておく。例えば、音響モデル
が５００状態であり１状態を２Ｂで表現すると、１００
フレーム分の近似尤度を格納するには１００ＫＢが必要
となる。次に、第１〜第３詳細尤度３９〜４０に関し
て、第１音響モデル３７〜第３音響モデル３８の上記選
択分布を用いて算出した詳細尤度が含まれる状態の尤度
は保持し、それ以外の状態は上記共有化して保持された
状態の近似尤度を参照して求めることにする。したがっ
て、上記共有化して保持された近似尤度以外に保持すべ
き尤度は次のようになる。すなわち、上記選択分布の数
は各音響モデル毎に２０個であるから、上記選択分布の
尤度が含まれる状態は高々２０個となる。ここで、同じ
状態に属する分布が選択分布となる場合が多いので状態
数としては更に少なくなり、本例においては平均１５個
とする。さらに、何れの状態に属する分布の尤度を第１
音響モデル３７〜第３音響モデル３８(詳細分布集合)か
ら求めたのかを記憶するインデックス情報が別途必要と
なる。このインデックス情報の保持に１状態につき２Ｂ
使用するものとする。以上の結果、各尤度を保持するた
めに必要なメモリ容量は、近似尤度の１００ＫＢ(５０
０状態×１００フレーム×２Ｂ)、１つの音響モデルに
関する詳細尤度の３ＫＢ(１５状態×１００フレーム×
２Ｂ)、１つの音響モデルに関する上記インデックス情
報の３ＫＢ(ｌ５状態×１００フレーム×２Ｂ)となる。
したがって、本実施の形態の場合のように音響モデルを
３組有する場合のメモリ容量は、１１８ＫＢ(１００Ｋ
Ｂ＋３ＫＢ×３＋３ＫＢ×３)となり、従来の尤度算出
方法の場合の３００ＫＢ(１００ＫＢ×３)に比べて、尤
度テーブル格納用メモリ容量を４０％に削減できるので
ある。

【００５５】一方、上記尤度演算部１３の高速照合用尤
度演算部１６は、次のように動作する。すなわち、詳細
照合用高速尤度演算部１５から受け取った第１〜第３音
響モデル３７〜３８の状態を、音韻クラス間の誤り傾向
を考慮した上で縮退させて、各音響モデルを音素環境独
立型に変形する。そして、音響分析部１２からの音響パ
ラメータ系列をフレーム単位で非線形に間引き、音素環
境独立型に変形された各音響モデルに作用させて、高速
照合用の簡易尤度時系列を出力するのである。

【００５６】以後、上記照合部１７による辞書照合に移
行する。照合部１７においては、上記高速照合用尤度演
算部１６からの簡易尤度系列および詳細照合用高速尤度
演算部１５からの詳細尤度系列に対して、辞書にある項
目(単語)との照合を行なって各単語のスコアを算出す
る。そして、上位のスコア値を呈する単語を認識候補あ
るいは認識結果とし、上記認識結果を出力部２３から出
力する。

【００５７】本実施の形態においては、上記音響モデル
としてＨＭＭを用いているので、照合アルゴリズムには
ＨＭＭに則ったビタビ・サーチが用いられる。ここで、
ビタビ・サーチ処理の処理量も大きいため、辞書にある
総ての単語について逐一ビタビ・サーチを行なうと応答
時間が遅くなってしまう。そこで、本実施の形態におい
ては、以下のように、照合部１７による辞書照合を、フ
ァストマッチ部１８による予備選択と詳細照合部１９に
よるビタビ・サーチとの２段階に分けて行い、照合処理
の高速化を図っているのである。

【００５８】尚、本実施の形態においては、上述のごと
く複数組の音響モデルを用いているために、照合部１７
による処理は以下のような処理となる。 （１）上記ファストマッチ部１８ 上述のようにして、上記高速照合用尤度演算部１６によ
って、非線形に間引かれた音響パラメータ系列に基づい
て音素環境独立型の各音響モデルから算出された簡易尤
度系列と、高速照合用辞書２１に登録された語彙とを、
ビタビ・サーチによって照合することによって予備選択
を行なう。ここで、高速照合用辞書２１には、各語彙に
対応付けて、１音素を１状態として表現した状態番号系
列を登録しておく。そして、高速照合用辞書２１に登録
された各語彙の音素系列に上記算出された簡易尤度を適
用して各語彙の高速照合(簡易)スコアを算出し、全音響
モデルを通して上位の高速照合スコアを呈する所定数の
語彙を認識候補として詳細照合部１９に送出するのであ
る。尚、上記高速照合用辞書２１は、詳細照合用辞書２
２に基づいて作成されたものを予め用意しておく。

【００５９】このように、上記辞書に登録された総ての
認識語彙とのビタビ・サーチは１音素を１状態で表現し
た高速照合用辞書２１を用いて高速に行い、照合時間の
短縮を図るのである。

【００６０】（２）上記詳細照合部１９ 上記ファストマッチ１８で選出された認識候補のうち、
同じカテゴリに属する認識候補が複数存在する場合に
は、その複数の認識候補のうち上記高速照合スコアが小
さい認識候補を除外してカテゴリ当りの認識候補を一つ
にすることで候補数を更に削減する。こうして残った認
識候補に関して、詳細照合用高速尤度演算部１５におい
て各音響モデルから算出された詳細尤度系列と、詳細照
合用辞書２２に登録された語彙とを、ビタビ・サーチに
よって照合することによって上位のスコアを呈する所定
数の認識候補を認識結果として出力部２３に送出するの
である。

【００６１】このように、１音素を複数の状態で表現し
た詳細照合用辞書２２を用いたビタビ・サーチはファス
トマッチ１８で選出された認識候補に関してのみ行っ
て、照合時間の短縮を図るのである。

【００６２】上記ファストマッチ部１８による予備選択
は全音響モデルを対象にして行っている。もちろん、各
音響モデル別に予備選択処理および詳細照合処理を行な
い、各音響モデル別に最も高いスコアを呈する語彙を認
識結果としてもよい。この場合、ファストマッチ部１８
によって選択される上位認識候補の数を平均２０個とす
ると、詳細照合部１９による詳細照合を６０回(＝２０
回×３)行なう必要がある。これに対して、本実施の形
態のごとく、予備選択を全音響モデルを対象にして行っ
た場合には、詳細照合は２０回でよい。

【００６３】以上のごとく、本実施の形態においては、
上記音響モデル格納部１４の第１音響モデル格納部１４
a,…,第ｎ音響モデル格納部１４nには、発話者の顔の典
型的な位置に対応した代表的な周波数特性を模倣するフ
ィルタを学習データに掛けて周波数特性を補正した後、
学習を行って得たｎ組の音響モデルを用意する。そし
て、尤度演算部１３によって、入力音声の音響パラメー
タベクトルに対して上記ｎ組の音響モデルの夫々を作用
させて各音韻の状態毎に尤度を算出し、照合部１７によ
って、辞書格納部２０の辞書との照合を行なって上位の
スコアを呈する語彙を認識候補(認識結果)として出力す
るようにしている。したがって、ユーザが様々な位置で
発声しても、その位置に近い周波数特性を有する音響モ
デルが常に適用されて認識処理が行われ、顔の位置に因
らずに高い認識率を維持することができる。すなわち、
本実施の形態を適用することによって、ユーザはマイク
の位置を意識せずに発声することができ、使い勝手を向
上することができる。

【００６４】その際に、入力音声の音響パラメータベク
トルに対して各音響モデルの夫々を作用させて各音韻の
状態毎に尤度を算出する尤度演算部１３を、詳細照合用
の詳細尤度系列を生成する詳細照合用高速尤度演算部１
５と、高速照合用の簡易尤度系列を生成する高速照合用
尤度演算部１６とで構成している。

【００６５】そして、上記詳細照合用高速尤度演算部１
５では、全音響モデル３７〜３８を対象として特徴空間
別にクラスタリングを行ってクラスタ代表分布でなる予
備選択用分布集合(１００分布)３２を作成し、入力ベク
トル３１の特徴パラメータに適用させて各分布の尤度を
計算し、１００個の尤度値を要素とする部分空間別尤度
テーブルを作成する。さらに、上記部分空間別尤度テー
ブルの各分布(各音響モデルにおける各クラスタの代表
分布)の尤度値を第１〜第３音響モデル３７〜３８にお
ける該当するクラスタに属する全分布に展開して、各音
響モデルの各分布の近似尤度を求める。そして、各音響
モデル別に各特徴空間に関して同じ分布の尤度を集計し
て得た第１近似尤度３５〜第３近似尤度３６に基づい
て、各音響モデル別に集計値が上位のＴ(＝２０)個の分
布を、尤度を詳細に計算する必要がある分布として選択
する。次に、第１音響モデル３７〜第３音響モデル３８
(詳細集合分布)における上記選択分布に入力ベクトル３
１の特徴パラメータを適用させて求めた上記選択分布の
詳細尤度値と、第１〜第３近似尤度３５〜３６における
上記選択分布以外の分布の近似尤度値(コピー値)とを要
素とする第１〜第３詳細尤度３９〜４０を求める。そし
て、得られた第１〜第３詳細尤度３９〜４０を詳細尤度
系列として照合部１７の詳細照合部１９に送出するよう
にしている。

【００６６】こうして、複数組の音響モデルを用いるに
際して、音声認識結果に直接影響するような出力確率関
数分布に関する尤度演算は各音響モデル毎に精密に演算
し、それ以外の分布に関する尤度演算は全音響モデルを
対象とする特徴空間別クラスタリングを行って粗い近似
計算で済ませることによって、総分布数が１５００の音
響モデルを３組用いる場合の尤度演算回数を１６０回に
抑えることができる。その結果、直接１５００の全分布
の尤度を計算する場合の尤度演算回数４５００回の約１
/２８に、上記音響モデル毎に尤度演算を高速演算する
場合の尤度演算回数３６０回の約１/２に、尤度演算量
を削減できるのである。

【００６７】さらに、上記各音響モデルの各状態の尤度
をフレーム毎に格納して尤度テーブルを作成する際に、
上記近似尤度は全音響モデルで共有化して保持し、それ
以外の詳細尤度は各音響モデル別にインデックスと共に
保持するようにしている。したがって、上記尤度テーブ
ルの容量は、例えば音響モデルが５００状態を有して１
状態を２Ｂで表現し、音響モデルを３組用いるとする
と、１１８ＫＢに抑えることができる。その結果、直接
１５００の全分布の尤度を計算する場合のメモリ容量３
００ＫＢに比して、上記尤度テーブル格納用メモリ容量
を４０％に削減することができる。すなわち、本実施の
形態によれば、高速尤度演算を少ないメモリ容量で実現
できるのである。

【００６８】尚、本実施の形態においては、上記尤度演
算部１３の高速照合用尤度演算部１６による簡易尤度の
高速演算とファストマッチ部１８による高速照合とは、
状態を縮退させた音素環境独立型音響モデル、あるい
は、１音素を１状態で表現した高速照合用辞書２１を用
いて行っている。しかしながら、この発明における高速
尤度演算及び高速照合は、上述の方法に限定されるもの
ではない。また、本実施の形態においては、離散単語音
声認識システムの場合を例に上げて説明したが、連続音
声認識システムにおいても同様の手法を適用することが
できる。

【００６９】また、上記実施の形態においては、複数組
み存在する音響モデルの総てを用いて各音韻毎の尤度を
算出するようにしている。しかしながら、次の実施の形
態で説明するように、複数組み存在する音響モデルの何
れか１組を選択し、選択した組の音響モデルを用いて音
声認識を行うことも可能である。図４に、本実施の形態
における音声認識装置のブロック図を示す。

【００７０】図４において、音声入力部４１,音響分析
部４２,尤度演算部４３,音響モデル格納部４４,照合部
４７,辞書格納部５０および出力部５３は、図１におけ
る音声入力部１１,音響分析部１２,尤度演算部１３,音
響モデル格納部１４,照合部１７,辞書格納部２０および
出力部２３と同様である。すなわち、音響モデル格納部
４４における第１音響モデル格納部４４a,…,第ｎ音響
モデル格納部４４nには、発話者の顔の典型的な位置に
対応した代表的な周波数特性を模倣するフィルタを学習
データに掛けて周波数特性を補正した後、学習を行って
得たｎ組の音響モデルが用意されている。

【００７１】音響モデル選択部５４は、上記第１音響モ
デル格納部４４a,…,第ｎ音響モデル格納部４４nに登録
された第１ＨＭＭ,…,第ｎＨＭＭの夫々に対して、全音
素を１状態で表した混合連続分布型音響モデル(以下、
ＧＭＭ(ガウシアン混合モデル)と呼ぶ)を有している。
そして、音響分析部４２からの入力音声の音響パラメー
タベクトルに各ＧＭＭを作用させて、最も高い尤度を呈
するＧＭＭの情報を切換え部５５に送出する。そうする
と、切換え部５５は、音響モデル選択部５４からの情報
に応じた音響モデル(ＨＭＭ)を選択して詳細照合用高速
尤度演算部４５に送出する。以後は、上記実施の形態の
場合と同様にして、詳細照合用高速尤度演算部４５によ
る詳細照合用の尤度演算と高速照合用尤度演算部４６に
よる高速照合用の尤度演算とが、上記選択された１つの
音響モデルを用いて更に少ない尤度演算量で行われるの
である。

【００７２】また、本音声認識装置が、ノートパソコン
等のビデオカメラを備えている機器である場合には、上
記音響モデル選択部は、上記ＧＭＭを用いて音響モデル
を選択する代わりに、ビデオカメラによって写し出され
たユーザに関する画像情報を用いることも可能である。
すなわち、上記音響モデル選択部は、上記ビデオカメラ
(図示せず)からの画像情報に基づく画像認識処理を行っ
て、マイクに対するユーザの顔の位置や向きを識別し、
識別結果を切換え部５５に送出するのである。そして、
切換え部５５によって、上記画像認識処理の結果得られ
た顔の位置や向き情報に最も合致する音響モデルを選択
して詳細照合用高速尤度演算部４５に送出するのであ
る。

【００７３】ところで、上記各実施の形態における上記
音響モデル格納部,音響分析部,尤度演算部,辞書格納部
および照合部としての機能は、プログラム記録媒体に記
録された音声認識処理プログラムによって実現される。
上記実施の形態における上記プログラム記録媒体は、Ｒ
ＯＭ(リード・オンリ・メモリ)でなるプログラムメディア
である。あるいは、外部補助記憶装置に装着されて読み
出されるプログラムメディアであってもよい。尚、何れ
の場合においても、上記プログラムメディアから音声認
識処理プログラムを読み出すプログラム読み出し手段
は、上記プログラムメディアに直接アクセスして読み出
す構成を有していてもよいし、ＲＡＭ(ランダム・アクセ
ス・メモリ)に設けられたプログラム記憶エリア(図示せ
ず)にダウンロードし、上記プログラム記憶エリアにア
クセスして読み出す構成を有していてもよい。尚、上記
プログラムメディアからＲＡＭの上記プログラム記憶エ
リアにダウンロードするためのダウンロードプログラム
は、予め本体装置に格納されているものとする。

【００７４】ここで、上記プログラムメディアとは、本
体側と分離可能に構成され、磁気テープやカセットテー
プ等のテープ系、フロッピー（登録商標）ディスク,ハ
ードディスク等の磁気ディスクやＣＤ(コンパクトディ
スク)‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディス
ク),ＤＶＤ(ディジタルビデオディスク)等の光ディスク
のディスク系、ＩＣ(集積回路)カードや光カード等のカ
ード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯ
Ｍ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲ
ＯＭ等の半導体メモリ系を含めた、固定的にプログラム
を坦持する媒体である。

【００７５】また、上記各実施の形態における音声認識
装置は、モデムを備えてインターネットを含む通信ネッ
トワークと接続可能な構成を有していれば、上記プログ
ラムメディアは、通信ネットワークからのダウンロード
等によって流動的にプログラムを坦持する媒体であって
も差し支えない。尚、その場合における上記通信ネット
ワークからダウンロードするためのダウンロードプログ
ラムは、予め本体装置に格納されているものとする。あ
るいは、別の記録媒体からインストールされるものとす
る。

【００７６】尚、上記記録媒体に記録されるものはプロ
グラムのみに限定されるものではなく、データも記録す
ることが可能である。

【００７７】

【発明の効果】以上より明らかなように、第１の発明の
音声認識装置は、話者の顔の典型的な位置に応じた周波
数特性を反映させた複数組の音響モデルを音響モデル格
納部に用意し、尤度演算部によって、入力音声の音響パ
ラメータベクトルを用いて上記音響モデルの各音韻の状
態の尤度を演算し、照合部によって、上記音韻の状態の
尤度と辞書の登録語彙との照合を行って入力音声を認識
するので、ユーザが様々な位置で発声しても、その位置
に近い周波数特性を有する音響モデルを常に適用して認
識処理を行うことができる。したがって、ユーザの顔の
位置ずれによる周波数の変化に対応して、高い認識率を
維持することができる。

【００７８】すなわち、この発明によれば、ユーザはマ
イクの位置を意識せずに発声することができ、本音声認
識装置を搭載した機器の使い勝手を向上できる。

【００７９】また、上記第１の発明の音声認識装置は、
上記音響モデルをＨＭＭとし、上記尤度演算部を、上記
全音響モデルを対象として作成された一つの予備選択用
分布集合と、上記予備選択用分布集合を用いて上記全音
響モデルの上記各分布の近似的な尤度を求める近似尤度
計算手段と、上記近似尤度計算部による計算結果に基づ
いて詳細尤度計算の必要がある分布を選択する選択手段
と、上記各音響モデル別に用意された詳細演算用の上記
分布の集合を表す詳細分布集合と、上記詳細分布集合に
おける上記選択分布の詳細尤度を計算する詳細尤度計算
手段を備えた詳細照合用尤度演算部を有するように成せ
ば、一つの予備選択用分布集合に基づいて各音響モデル
の近似的な尤度を算出することによって、入力音声の音
響パラメータベクトルに全音響モデルを作用させて各音
響モデルの尤度を求める場合に比して、尤度の計算量を
約１/２８に削減できる。あるいは、上記予備選択用分
布集合を夫々の音響モデル毎に作成する場合に比して、
尤度の計算量を約１/２に削減できる。

【００８０】その際に、上記選択手段によって、近似尤
度の計算結果に基づいて詳細に尤度を計算する必要のあ
る分布を選択し、詳細尤度計算手段によって、上記選択
分布の詳細尤度を計算することによって、尤度計算量の
削減と高認識率の維持とを両立させることができる。

【００８１】また、上記第１の発明の音声認識装置は、
上記尤度演算部を上記各音韻毎の高速照合用尤度を算出
する高速照合用尤度演算部を有するように成し、高速照
合部によって、上記高速照合用尤度演算部からの高速照
合用尤度系列と高速照合用辞書とを照合して認識候補の
予備選択を行ない、詳細照合部によって、１カテゴリ１
認識候補に関して、上記詳細照合用尤度演算部からの詳
細照合用尤度系列と詳細照合用辞書との照合を行って認
識結果を得るように成せば、上記詳細照合用辞書に登録
された総ての認識語彙に関して、詳細照合を行う場合に
比して、辞書照合を高速に行うことができる。

【００８２】また、上記第１の発明の音声認識装置は、
上記近似尤度計算手段によって計算された状態毎の尤度
を全音響モデルで共有化して保持する第１尤度保持手段
と、上記詳細尤度計算手段によって計算された状態毎の
尤度を各音響モデル別に保持する第２尤度保持手段を備
えれば、上記計算された状態毎の尤度を各音響モデル毎
に保持する場合に比して、尤度値の保持容量を４０％に
抑えることができる。したがって、尤度演算の高速化お
よび辞書照合の高速化を少ないメモリ容量で実現でき
る。

【００８３】また、上記第１の発明の音声認識装置は、
上記各音響モデルにおける各音韻を１つの状態で表した
１状態混合連続分布型音響モデルと、上記各１状態混合
連続分布型音響モデルの尤度を求めて最も高い尤度を呈
する１状態混合連続分布型音響モデルに対応する音響モ
デルを選択する音響モデル選択部と、上記音響モデル格
納部から上記選択された音響モデルを切換え選択して上
記尤度演算部に送出する切換え部を備えれば、上記尤度
演算部による尤度の演算を上記選択された１つの音響モ
デルを用いて行うことができる。したがって、総ての組
の音響モデルを用いて上記尤度演算をおこなう場合に比
して、尤度の計算量を低減することができる。

【００８４】また、上記第１の発明の音声認識装置は、
話者の顔の位置を撮影する撮像手段と、上記撮像手段か
らの画像信号に基づいて上記話者の顔の位置に対応する
音響モデルを選択する音響モデル選択部と、上記音響モ
デル格納部から上記選択された音響モデルを切換え選択
して上記尤度演算部に送出する切換え部を備えれば、上
記各１状態混合連続分布型音響モデルによる尤度演算結
果に因らずに音響モデルを選択することができる。した
がって、尤度の計算量の更なる低減化を図ることができ
る。

【００８５】また、第２の発明の音声認識方法は、話者
の顔の典型的な位置に応じた周波数特性を反映させた複
数組の音響モデルを用意し、入力音声を音響分析して音
響パラメータベクトルの時系列を得、上記入力音声の音
響パラメータベクトルを用いて上記音響モデルの各音韻
の状態の尤度を演算し、上記各音韻の状態の尤度と認識
用語彙が登録された辞書の登録語彙との照合を行って全
登録語彙のスコアを算出し、上位のスコアを呈する登録
語彙を認識結果として出力するので、ユーザが様々な位
置で発声しても、その位置に近い周波数特性を有する音
響モデルを常に適用して認識処理を行うことができる。
したがって、ユーザの顔の位置ずれによる周波数の変化
に対応して、高い認識率を維持することができる。

【００８６】また、第３の発明のプログラム記録媒体
は、コンピュータを、上記第１の発明における音響モデ
ル格納部,音響分析部,尤度演算部,辞書および照合部と
して機能させる音声認識処理プログラムが記録されてい
るので、上記第１の発明の場合と同様に、ユーザが様々
な位置で発声しても、その位置に近い周波数特性を有す
る音響モデルを常に適用して認識処理を行うことができ
る。したがって、ユーザの顔の位置ずれによる周波数の
変化に対応して、高い認識率を維持することができる。

【図面の簡単な説明】

【図１】 この発明の音声認識装置のブロック図であ
る。

【図２】 図１における詳細照合用高速尤度演算部によ
る尤度演算処理動作のフローチャートである。

【図３】 図２に示す尤度演算処理動作時におけるデー
タの流れを示す図である。

【図４】 図１とは異なる音声認識装置のブロック図で
ある。

【図５】 従来のＨＭＭを用いる音声認識装置のブロッ
ク図である。

【符号の説明】

１１,４１…音声入力部、 １２,４２…音響分析部、 １３,４３…尤度演算部、 １４,４４…音響モデル格納部、 １４a,４４a…第１音響モデル格納部、 １４b,４４b…第２音響モデル格納部、 １４n,４４n…第ｎ音響モデル格納部、 １５,４５…詳細照合用高速尤度演算部、 １６,４６…高速照合用尤度演算部、 １７,４７…照合部 １８,４８…ファストマッチ部、 １９,４９…詳細照合部、 ２０,５０…辞書格納部、 ２１,５１…高速照合用辞書、 ２２,５２…詳細照合用辞書、 ２３,５３…出力部、 ３１…入力ベクトル、 ３２…予備選択用分布集合、 ３３〜３４…第１〜第３インデックステーブル、 ３５〜３６第１〜第３近似尤度、 ３７〜３８…第１〜第３音響モデル、 ３９〜４０…第１〜第３詳細尤度、 ５４…音響モデル選択部、 ５５…切換え部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 音響モデルを用いて入力音声の認識を行
   なう音声認識装置であって、 上記音響モデルとして、話者の顔の典型的な位置に応じ
   た周波数特性を反映させた複数組の音響モデルを格納し
   た音響モデル格納部と、 入力音声を音響分析して、音響パラメータベクトルの時
   系列を得る音響分析部と、 上記入力音声の音響パラメータベクトルを用いて、上記
   音響モデルの各音韻の状態の尤度を演算する尤度演算部
   と、 認識用語彙が登録された辞書と、 上記各音韻の状態の尤度と上記辞書の登録語彙との照合
   を行って全登録語彙のスコアを算出し、上位のスコアを
   呈する登録語彙を認識結果として出力する照合部を備え
   たことを特徴とする音声認識装置。
2. 【請求項２】 請求項１に記載の音声認識装置におい
   て、 上記音響モデル格納部に格納された総ての音響モデル
   は、各状態の出力確率密度関数を多次元正規分布で表現
   した隠れマルコフモデルであって、 上記尤度演算部は、 上記全音響モデルを対象として作成された予備選択用の
   上記分布の集合を表す一つの予備選択用分布集合と、 上記入力音声の音響パラメータベクトルを用いて上記予
   備選択用分布集合における各分布の尤度を計算し、この
   尤度を用いて上記全音響モデルにおける上記各分布の近
   似的な尤度を求める近似尤度計算手段と、 上記近似尤度計算部による計算結果に基づいて、詳細に
   尤度を計算する必要のある分布を選択する選択手段と、 上記各音響モデル別に用意された詳細演算用の上記分布
   の集合を表す詳細分布集合と、 上記入力音声の音響パラメータベクトルを用いて上記詳
   細分布集合における上記選択分布の詳細尤度を計算する
   詳細尤度計算手段を備えた詳細照合用尤度演算部を有す
   ることを特徴とする音声認識装置。
3. 【請求項３】 請求項１に記載の音声認識装置におい
   て、 上記尤度演算部は、上記各音韻毎の高速照合用尤度を算
   出する高速照合用尤度演算部を有すると共に、 上記高速照合用尤度演算部からの高速照合用尤度系列と
   高速照合用辞書とを照合して、認識候補の予備選択を行
   なう高速照合部と、 上記高速照合部による予備選択の結果得られた認識候補
   のうち、同じカテゴリに属するスコアの小さい認識候補
   を除外し、残った認識候補に関して、上記詳細照合用尤
   度演算部からの詳細照合用尤度系列と詳細照合用辞書と
   の照合を行って認識結果を得る詳細照合部を備えたこと
   を特徴とする音声認識装置。
4. 【請求項４】 請求項２あるいは請求項３に記載の音声
   認識装置において、 上記近似尤度計算手段によって計算された状態毎の尤度
   を全音響モデルで共有化して保持する第１尤度保持手段
   と、 上記詳細尤度計算手段によって計算された状態毎の尤度
   を各音響モデル別に保持する第２尤度保持手段を備えた
   ことを特徴とする音声認識装置。
5. 【請求項５】 請求項１乃至請求項４の何れか１つに記
   載の音声認識装置において、 上記各音響モデルにおける各音韻を１つの状態で表した
   １状態混合連続分布型音響モデルと、 上記入力音声の音響パラメータベクトルを用いて上記各
   １状態混合連続分布型音響モデルの尤度を求め、最も高
   い尤度を呈する１状態混合連続分布型音響モデルに対応
   する音響モデルを選択する音響モデル選択部と、 上記音響モデル格納部から上記選択された音響モデルを
   切換え選択して上記尤度演算部に送出する切換え部を備
   えたことを特徴とする音声認識装置。
6. 【請求項６】 請求項１乃至請求項４の何れか１つに記
   載の音声認識装置において、 話者の顔の位置を撮影する撮像手段と、 上記撮像手段からの画像信号に基づいて上記話者の顔の
   位置を求め、得られた顔の位置に対応する音響モデルを
   選択する音響モデル選択部と、 上記音響モデル格納部から上記選択された音響モデルを
   切換え選択して上記尤度演算部に送出する切換え部を備
   えたことを特徴とする音声認識装置。
7. 【請求項７】 音響モデルを用いて入力音声の認識を行
   なう音声認識方法であって、 上記音響モデルとして、話者の顔の典型的な位置に応じ
   た周波数特性を反映させた複数組の音響モデルを用意
   し、 入力音声を音響分析して音響パラメータベクトルの時系
   列を得、 上記入力音声の音響パラメータベクトルを用いて、上記
   音響モデルの各音韻の状態の尤度を演算し、 上記各音韻の状態の尤度と認識用語彙が登録された辞書
   の登録語彙との照合を行って全登録語彙のスコアを算出
   し、上位のスコアを呈する登録語彙を認識結果として出
   力することを特徴とする音声認識方法。
8. 【請求項８】 コンピュータを、 請求項１における音響モデル格納部,音響分析部,尤度演
   算部,辞書および照合部として機能させる音声認識処理
   プログラムが記録されたことを特徴とするコンピュータ
   読出し可能なプログラム記録媒体。