JP2000261321A

JP2000261321A - 要素分布の探索方法，ベクトル量子化方法，パターン認識方法，音声認識方法，音声認識装置及び認識結果を決定するためのプログラムが記録された記録媒体

Info

Publication number: JP2000261321A
Application number: JP11062362A
Authority: JP
Inventors: Yoshiharu Abe; 芳春阿部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-03-09
Filing date: 1999-03-09
Publication date: 2000-09-22
Anticipated expiration: 2019-03-09
Also published as: JP3973789B2

Abstract

(57)【要約】【課題】前処理としてベクトル量子化の演算を必要と
し、また、混合分布として木構造化された分布を用いる
必要があり、さらに、予備選択のために別の混合分布が
必要であるため、演算量が膨大になり、音声認識処理に
長時間を要する課題があった。【解決手段】展開済の次元数が入力ベクトルの次元数
に一致するまで、次元方向にベストファースト探索を実
行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、多次元
の連続確率分布の演算量等を削減することができる要素
分布の探索方法，ベクトル量子化方法，パターン認識方
法，音声認識方法，音声認識装置及び認識結果を決定す
るためのプログラムが記録された記録媒体に関するもの
である。

【０００２】

【従来の技術】図２７は混合連続分布ＨＭＭを用いる音
声認識装置を示す構成図であり、図において、１０１は
入力音声、１０２は入力音声１０１を音声分析して、Ｋ
次元の入力特徴ベクトル１０３を出力する音声分析部、
１０３は入力特徴ベクトル、１０４は混合連続分布ＨＭ
Ｍ１０８で表された音素ＨＭＭの確率演算を実行する確
率演算部、１０５は経路演算を実行する経路演算部、１
０６は最適な経路を決定する最適経路決定部、１０７は
最適な経路を示す認識結果、１０８は混合連続分布ＨＭ
Ｍ、１０９は経路データである。図２８は混合連続分布
ＨＭＭの説明図であり、図２９は経路演算の説明図であ
る。

【０００３】次に動作について説明する。音声分析部１
０２で得られたＫ次元の入力特徴ベクトル１０３につい
て、確率演算部１０４がＭ個のＫ次元正規確率密度関数
の混合分布で表された音素ＨＭＭの確率演算を実行し、
最適経路決定部１０６が各フレーム毎に単語の接続条件
に従って、ビタビ演算を実行して最適な経路を求める。
最適な経路を後戻り探索することで単語系列を求める。
時刻ｔの特徴ベクトルｘ（ｔ）に対する確率演算は次式
に基づいて行われる。ただし、次式において、λ（ｍ）
は第ｍ番目の要素分布の分岐確率を示し、ｆ（ｘ
（ｔ），ｍ）は第ｍ番目の要素分布の分岐密度を示す。

【０００４】

【数１】

【０００５】さらに、要素分布の分岐密度ｆ（ｘ
（ｔ），ｍ）は、各次元間に相関のない無相関正規分布
は次式のように計算される。ただし、ｘ（ｔ，ｋ）は入
力ベクトルｘ（ｔ）の第ｋ次元目の要素の値、μ（ｍ，
ｋ）は第ｍ番目の要素分布の第ｋ次元目の平均値、σ
（ｍ，ｋ）は第ｍ番目の要素分布の第ｋ次元目の分散
（即ち標準偏差の２乗）である。なお、一般的な表記で
は肩に２乗を付すが、本明細書では、肩の２乗を付さず
に分散を表す。

【０００６】

【数２】

【０００７】大語彙の音声認識装置では、音素のＨＭＭ
を用いる。しかも、音素には前後の音素に依存した環境
依存の音素モデルを用いるため、混合分布に含まれる要
素分布の総数はかなり大きくなる。例えば、環境依存音
素モデルの各状態を２０００状態のＨＭＭで表現し、各
状態を３２混合分布とすれば、全体で６４０００個の要
素分布を有することになる。

【０００８】これらをフレーム周期の１０ミリ秒毎に計
算すると、１秒当り６４０００００個の要素分布計算が
必要となり、混合分布計算をリアルタイムで処理するた
めには、１つの混合分布を約１５６ナノ秒で処理する必
要があるが、これは現在の汎用のプロセッサでは実現困
難である。このため、以下に述べるような演算量削減の
技術が提案されている。

【０００９】・予備選択による方法：混合連続分布ＨＭ
Ｍの計算量削減に関して次のような予備選択による方法
が提案されている。

【００１０】岩崎らは、文献（“混合連続分布ＨＭＭを
用いた不特定話者連続音声認識のための演算量削減
法”、日本音響学会講演論文集、３−５−４、平成３年
１０月）で、各音素片ＨＭＭについて単一分布の出力確
率により予備選択し、選択された音素片ＨＭＭのみ厳密
な混合分布計算を行っている。

【００１１】Ｂｏｃｃｈｉｅｒｉらは、文献（“Ｖｅｃ
ｔｏｒｑｕａｎｔｉｚａｔｉｏｎｆｏｒｔｈｅｅ
ｆｆｉｃｉｅｎｔｃｏｍｐｕｔａｔｉｏｎｏｆｃ
ｏｎｔｉｎｕｏｕｓｄｅｎｓｉｔｙｌｉｋｅｌｉｈ
ｏｏｄｓ”，ＩＣＡＳＳＰ９３予稿集，ＩＩ−６９２頁
〜ＩＩ−６９５頁）で、ガウス分布の平均ベクトルを予
めベクトル量子化して、入力ベクトルとこの量子化ベク
トルとの距離情報を用いて混合ガウス分布のクラスタを
予備選択した後、出力確率を計算した。

【００１２】Ｄｉｇａｌａｋｉｓらは、文献（“Ｇｅｎ
ｏｎｅｓ：ＧｅｎｅｒａｌｉｚｅｄＭｉｘｔｕｒｅＴ
ｙｉｎｇｉｎＣｏｎｔｉｎｕｏｕｓＨｉｄｄｅｎ
ＭａｒｋｏｖＭｏｄｅｌ−ＢａｓｅｄＳｐｅｅｃｈ
Ｒｅｃｏｇｎｉｚｅｒｓ”，ＩＥＥＥＴｒａｎｓａ
ｃｔｉｏｎｓｏｎＳｐｅｅｃｈａｎｄａｕｄｉ
ｏｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．４，ｎｏ．４，ｊ
ｕｌｙ１９９６，２８１頁〜２８９頁）で、上記Ｂｏ
ｃｃｈｉｅｒｉらの方法を一般化音素ＨＭＭに用いる音
声認識システムに適用して、それぞれの一般化音素ＨＭ
Ｍについて混合ガウス分布のクラスタを予備選択して、
出力確率を計算した。

【００１３】渡辺らは、文献（“木構造確率分布を用い
た音声認識”、日本音響学会講演論文集、１−８−７、
平成５年１０月、及び、特開平６−３４８２９２号公
報）で、ガウス分布のクラスタの予備選択及び混合ガウ
ス分布の出力確率計算において木構造を導入した。木構
造の作成にはトップダウンクラスタリングを適用してい
る。

【００１４】小森らは、文献（“ＲｏｕｇｈＨＭＭと
ＤｅｔａｉｌＨＭＭを用いた連続ＨＭＭ出力確率計算
の高速化”、日本音響学会講演論文集、１−Ｑ−２０、
平成７年３月）で、認識に貢献度の高そうなＨＭＭの状
態を少数分布のＨＭＭを用いて予備選択後、多数分布の
出力確率を再計算している。

【００１５】中川らは、文献（“連続出力分布型ＨＭＭ
の出力確率計算の短縮法”、日本音響学会講演論文集、
１−Ｑ−２２、平成７年３月）で、すべてのコードベク
トルに対して出力確率を事前に計算してテーブル化して
おき、入力ベクトルに一番近いコードベクトルに対応す
る出力確率の値を表引きし、必要に応じて確率の大きい
場合のみ、従来の方法で再計算して出力確率を求めてい
る。

【００１６】以上の何れの方法も、実際に計算する総分
布数の削減を行っている。しかし、上記の予備選択によ
る方法には次のような問題がある。岩崎らの方法は、混
合分布の他に、混合分布をカバーする単一分布を用意す
る必要がある。渡辺らの方法は、木の根に近い分布が、
木の葉に近い分布をカバーするように、要素分布が木構
造となるように設計されている必要がある。このため、
任意の混合分布を有する既存の混合分布の演算削減には
適用できない。

【００１７】小森らの方法は、従来の混合分布のための
記憶領域の他に、精度の荒い混合分布の記憶領域を用意
するとともに、この精度の荒い混合分布の演算が前処理
として必要である。Ｂｏｃｃｈｉｅｒｉ，Ｄｉｇａｌａ
ｋｉｓ及び中川らの方法は、ベクトル量子化のためのコ
ードブックのための記憶領域と、入力ベクトルに対して
最も距離の近いコードを決定するためのベクトル量子化
演算が別途に必要である。

【００１８】ところで、ベクトル量子化は複数の信号を
個々に量子化せず、一括して一つの符合で表現する多次
元信号量子化手法として、音声や画像の高能率符号化法
として注目を集めている。ベクトル量子化は入力ベクト
ルに最も近いコードベクトルを求め、そのコードで入力
ベクトルを代表させる方法である。したがって、入力ベ
クトルと全コードベクトルとの距離演算が必要である。
ベクトル量子化による符号化誤差を小さくするため、コ
ードブックの規模及びコードベクトルの探索時間が指数
関数的に増大し、ハードウェア実現が困難になる。

【００１９】ベクトル量子化の演算量を削減する手法と
して、次の３つの方法がある。第１の方法は、２進木探
索が可能なようにコードベクトルを設計し、入力ベクト
ルに対して距離最小のコードベクトルを２進木による探
索により求めるものである。

【００２０】渡辺らは、文献（“主成分分析を用いた２
進木探索コードブックの設計法”、音声研究会資料ＳＰ
８７−１２９、１９８７年２月）で、２進木探索が可能
なコードブックの設計法を示している。２進木探索によ
れば、入力ベクトルと比較するコードベクトルの数は、
ｌｏｇ₂ （Ｎ）のオーダとなり、比較回数を大幅に削減
できる。

【００２１】第２の方法は、任意の構造を持ったコード
ベクトルの集合について、２進木探索を行うものであ
る。Ｃｈｅｎｇらは、文献（“ＡＦａｓｔｃｏｄｅ
ｂｏｏｋｓｅａｒｃｈａｌｇｏｒｉｔｈｍｆｏｒ
ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒｐａｔｔｅｒｎ
ｍａｔｃｈｉｎｇ”、ＩＣＡＳＳＰ８６予稿集、２６
５頁〜２６８頁、１９８６年）で、任意のコードベクト
ルからなるコードベクトル集合について、コードベクト
ルの全体集合から始めて、超平面によるコードベクトル
集合の２分割処理を、要素一つからなるコードベクトル
集合が得られるまで２進木にしたがって順次繰り返し、
入力ベクトルに最も近いコードベクトルを探索する方法
を提案している。

【００２２】ノードｎに付随する超平面は、入力ベクト
ルｘ（ｔ）に対する係数ベクトルｕ（ｎ）と定数ベクト
ルｃ（ｎ）とで記憶されている。入力ベクトルｘ（ｔ）
に対して、各ノードで次の関係式を計算し、関係（Ａ）
が満足されれば、左側の枝のノードに進み、入力ベクト
ルの最近隣コードは左側の部分集合Ω_L に属するとす
る。また、関係（Ｂ）が満足されれば、右側の枝のノー
ドに進み、入力ベクトルの最近隣コードは右側の部分集
合Ω_R に属するとする。

【００２３】

【数３】

【００２４】第３の方法は、一般の探索手法を用いるも
のである。丸田らは、文献（“文字認識における距離計
算の高速化の検討”、１９９７年電子情報通信学会総合
大会予稿集、３１０頁）で、特徴空間を探索しながら最
小距離を与えるカテゴリ（コードベクトルに相当）を検
出している。各カテゴリはテンプレートベクトルとして
与えられる。この方法では、何らかの方法で与えられた
初期カテゴリを元に、カテゴリ毎に予め作成しておいた
近傍のカテゴリリストを参照し、現在のカテゴリの近傍
カテゴリについて、その中での最小距離を与えるカテゴ
リを選択し、このカテゴリを新たに種のカテゴリと設定
して、再度探索を繰り返すものである。

【００２５】以上のベクトル量子化の方法には次のよう
な問題がある。第１の方法では、２進木探索が可能なコ
ードベクトルの設計が必要である。第２の方法では、多
次元空間を超平面で次々に分割して行くものであるが、
超平面で多次元空間をうまく均等に分割することは一般
には難しく、最終的に１個の要素分布にたどり着くには
多くの判定が必要になり、演算量の削減の効果はほとん
どない。また、判定のための情報を記憶するため、かな
りのメモリを必要とする。第３の方法では、初期ベクト
ルを与える方法が開示されていない。また、探索の結果
がローカルミニマムに陥ることがあり、最適な解である
保証はない。このため、ベクトル量子化の精度の劣化が
生じる可能性がある。また、パターン認識に用いたとき
は認識精度劣化の可能性がある。

【００２６】・共有化による混合分布演算の削減方法：
混合分布又はベクトル量子化の演算量削減の方法として
は、上記の「予備選択による方法」の他に、ＨＭＭの部
分を共通化して、演算量を削減する方法がある。

【００２７】小森らは、文献（特開平７−２６１７８８
号公報）で、認識時の演算量を減らすため、あるクラス
内において、複数のＨＭＭのうち、そのＨＭＭの関連情
報が同値であるＨＭＭを用いてクラス毎に音声認識する
方法を示している。高橋らは、文献（“４階層共有構造
音素モデルにおける分散値共有化の効果”、日本音響学
会講演論文集、１−Ｑ−２３、平成７年３月）及び文献
（特開平８−２４８９８６号公報）で、ＨＭＭの各状態
の多次元正規分布における各次元に存在する正規分布中
の、平均値及び分散値が共に類似するものを共通化する
ことにより、ＨＭＭの混合分布の演算量を削減する方法
を示している。

【００２８】上記のＨＭＭの部分の共有化による演算量
削減の方法には次のような問題がある。共有化を進める
と演算時間は減少するものの、ＨＭＭの分解能が低下
し、認識精度が低下する。また、共有化された後のＨＭ
Ｍについてはすべて演算を行う必要があり、演算量の削
減には限界がある。

【００２９】以上、ＨＭＭの混合分布の演算量削減に関
する従来の技術について説明した。次に、経路探索の演
算量削減に関する従来の技術について説明する。経路探
索の演算量削減法としては、音声のフレームに同期して
仮説の数を制限するビーム探索して音声認識する方法が
ある。また、１パス目では制約の緩い経路にそって経路
スコアの推定値を求め、２パス目ではこの経路スコアの
推定値に基づいて、最適な経路の探索を行うマルチパス
の音声認識の方法がある。

【００３０】野田らは、文献（“前向きヒューリスティ
ック関数を用いたビーム探索によるＨＭＭ―ＬＲ）音声
認識の検討”、日本音響学会講演論文集、３−８−１
６、平成６年１０月）で、ビーム探索において、前向き
ヒューリスティクスを導入し、経路探索の演算を削減し
ている。

【００３１】加藤らは、文献（“連続分布ＨＭＭのよる
単語音声認識のＶｉｔｅｒｂｉｂｅｓｔ−ｆｉｒｓｔ
サーチにおける推定スコア設定法の検討”、日本音響学
会講演論文集、３−８−１５、平成６年１０月）で、マ
ルチパスの音声認識において、１パス目では、混合分布
の最大分岐密度及び最大経路スコアを推定スコアとして
求め、２パス目では、ベストファースト探索を行うこと
により、経路探索に要する演算量を削減している。

【００３２】１パス目で求める最大経路スコアとして
は、音素内、単語内、全単語内で求める方法が示されて
いる。なお、ベストファースト探索は、仮説（探索の途
中であるので部分仮説と呼ばれる）を展開する際に、現
在のスコアと将来のスコアの推定値に基づいて評価値を
計算し、この評価値が最大の仮説を優先的に展開し、探
索を進める方法である。

【００３３】ここで、スコアの推定値が真のスコアに比
較して大きいか、等しいとき、Ａ＊条件を満足すると言
われる。ベストファースト探索において、Ａ＊条件を満
足する推定値を用いる探索をＡ＊探索という。Ａ＊探索
では、探索の最初に見つかる解がフル探索での最適解と
一致することが知られている。

【００３４】上記の方法では次のような問題がある。野
田らの方法では、ビーム幅を一定値以下に下げると精度
が劣化する。加藤らの方法では、Ａ＊探索の条件が満足
されるので、精度劣化はない。しかしながら、１回目の
パスで、推定スコアを求める際に、混合分布のなかで最
大分岐密度を有する要素分布を求める必要がある。実際
には、大語彙の音声認識に適用する場合、このための演
算量は無視できないものとなる。

【００３５】

【発明が解決しようとする課題】従来の音声認識装置は
以上のように構成されているので、前処理としてベクト
ル量子化の演算を必要とし、また、混合分布として木構
造化された分布を用いる必要があり、さらに、予備選択
のために別の混合分布が必要であるため、演算量が膨大
になり、音声認識処理に長時間を要する課題があった。
また、共有化による認識精度が低下する課題があり、ま
た、マルチパスの音声認識処理において、推定スコアの
演算量が無視できないほど大きくなる課題もあった。

【００３６】この発明は上記のような課題を解決するた
めになされたもので、演算量を削減することができる要
素分布の探索方法，ベクトル量子化方法，パターン認識
方法，音声認識方法，音声認識装置及び認識結果を決定
するためのプログラムが記録された記録媒体を得ること
を目的とする。

【００３７】

【課題を解決するための手段】この発明に係る要素分布
の探索方法は、展開済の次元数が入力ベクトルの次元数
に一致するまで、次元方向にベストファースト探索を実
行するようにしたものである。

【００３８】この発明に係る要素分布の探索方法は、展
開済の次元数が増加する方向にベストファースト探索を
実行するようにしたものである。

【００３９】この発明に係る要素分布の探索方法は、第
ｋ＋１次元から第Ｋ次元における確率値の累積値の推定
値を、自由度Ｋ−ｋのカイ２乗分布の分布関数値が所定
値に達するときのカイ２乗分布の独立変数値に基づいて
計算するようにしたものである。

【００４０】この発明に係る要素分布の探索方法は、第
ｋ＋１次元から第Ｋ次元における確率値の累積値の推定
値を、学習用の音声データが示す値の分布に基づいて計
算するようにしたものである。

【００４１】この発明に係る要素分布の探索方法は、要
素分布を複数のクラスタに分割し、各クラスタについ
て、第ｋ＋１次元から第Ｋ次元における確率値の累積値
の推定値を、学習用の音声データが示す値の分布に基づ
いて計算するようにしたものである。

【００４２】この発明に係る要素分布の探索方法は、ベ
ストファースト探索で最初から複数個の解を求めて、そ
の複数個の解の中で、上位複数個の評価値を有する要素
分布を求めるようにしたものである。

【００４３】この発明に係る要素分布の探索方法は、第
ｋ＋１次元から第Ｋ次元における確率値の累積値の推定
値を、各要素分布における各次元の一次元の分布を各分
布の平均値の数直線上での配列に基づいて複数の区間に
分割し、各区間について求めた各次元毎の不等式と、入
力ベクトルの各次元の数値とに基づいて計算するように
したものである。

【００４４】この発明に係る要素分布の探索方法は、第
ｋ＋１次元から第Ｋ次元における確率値の累積値の推定
値を、要素分布を複数のクラスタに分割し、複数のクラ
スタのそれぞれについて各次元毎に得られた不等式と、
入力ベクトルの各次元の数値とに基づいて計算するよう
にしたものである。

【００４５】この発明に係る要素分布の探索方法は、探
索の閾値を設けて、第ｋ次元までの探索の累積値又は評
価値が、その閾値を下回る場合、当該仮説の探索を打ち
切るようにしたものである。

【００４６】この発明に係る要素分布の探索方法は、要
素分布に依存して探索の閾値を設けて、第ｋ次元までの
探索の累積値又は評価値が、その閾値を下回る場合、当
該仮説の探索を打ち切るようにしたものである。

【００４７】この発明に係る要素分布の探索方法は、探
索の閾値として、入力ベクトルの次元数をＫとし、自由
度Ｋ−ｋのカイ２乗分布の分布関数が一定の数値に到達
するときの独立変数の値に基づいて計算した値を用いる
ようにしたものである。

【００４８】この発明に係る要素分布の探索方法は、展
開済の次元数を増加させる際に２以上次元数を増加させ
るベストファースト探索を実行するようにしたものであ
る。

【００４９】この発明に係るベクトル量子化方法は、多
次元の入力ベクトルに対して、複数のコードベクトルの
中で最大の類似度を有するコードベクトルを次元方向に
ベストファースト探索して求めるようにしたものであ
る。

【００５０】この発明に係るパターン認識方法は、多次
元の入力ベクトルに対して、複数のモデルベクトルの中
で最大の類似度を有するモデルベクトルを次元方向にベ
ストファースト探索して求めるようにしたものである。

【００５１】この発明に係る音声認識方法は、多次元の
入力ベクトルに対して、評価値最大の要素分布のベスト
ファースト探索を実行し、評価値最大をとる要素確率分
布の確率はベストファースト探索の結果として計算され
た確率を用い、その他の要素確率分布の確率については
ベストファースト探索の途中次元までの評価値を用いて
認識単位のスコア計算を実行して認識結果を決定するよ
うにしたものである。

【００５２】この発明に係る音声認識方法は、多次元の
入力ベクトルに対して、評価値の大きい方からＮ個の分
岐確率密度のベストファースト探索を実行し、評価値の
大きい方からＮ個の分岐密度をとる要素確率分布の確率
はベストファースト探索の結果として計算された確率の
大きい方からＮ個の要素分布の確率を用い、その他の要
素分布の確率についてはベストファースト探索の途中次
元までの評価値を用いて認識単位のスコア計算を実行し
て認識結果を決定するようにしたものである。

【００５３】この発明に係る音声認識方法は、１回目の
認識単位の系列の中で経路の制約を緩めたスコアの推定
値を計算する事に際して、多次元の入力ベクトルに対し
て、評価値最大の要素分布のベストファースト探索を実
行し、その評価値最大の要素分布の確率はベストファー
スト探索の結果として計算された確率を用い、その他の
要素分布の確率についてはベストファースト探索の途中
次元までの評価値を用いて認識単位のスコア計算を実行
して認識結果を決定するようにしたものである。

【００５４】この発明に係る音声認識方法は、１回目の
認識単位の系列の中で経路の制約を緩めたスコアの推定
値を計算する事に際して、多次元の入力ベクトルに対し
て、評価値の大きい方からＮ個の分岐確率密度のベスト
ファースト探索を実行し、その評価値の大きい方からＮ
個の分岐密度をとる要素分布の確率はベストファースト
探索の結果として計算された評価値の大きい方からＮ個
の要素分布の確率を用い、その他の要素分布の確率につ
いてはベストファースト探索の途中次元までの評価値を
用いて認識単位のスコア計算を実行して認識結果を決定
するようにしたものである。

【００５５】この発明に係る音声認識装置は、多次元の
入力ベクトルに対して、評価値最大の要素分布のベスト
ファースト探索を実行し、評価値最大をとる要素分布の
確率はベストファースト探索の結果として計算された確
率を用い、その他の要素分布の確率についてはベストフ
ァースト探索の途中次元までの評価値を用いて認識単位
のスコア計算を行うようにしたものである。

【００５６】この発明に係る音声認識装置は、多次元の
入力ベクトルに対して、評価値の大きい方からＮ個の要
素分布のベストファースト探索を実行し、その評価値の
大きい方からＮ個の要素分布の確率はベストファースト
探索の結果として計算された評価値の大きい方からＮ個
の要素分布の確率を用い、その他の要素分布の確率につ
いてはベストファースト探索の途中次元までの評価値を
用いて認識単位のスコア計算を行うようにしたものであ
る。

【００５７】この発明に係る音声認識装置は、１回目の
認識単位の系列の中で経路の制約を緩めたスコアの推定
値を計算する事に際して、多次元の入力ベクトルに対し
て、評価値最大の要素分布のベストファースト探索を実
行し、その評価値最大をとる要素分布の確率はベストフ
ァースト探索の結果として計算された確率を用い、その
他の要素分布の確率についてはベストファースト探索の
途中次元までの評価値を用いて認識単位のスコア計算を
実行して認識結果を決定するようにしたものである。

【００５８】この発明に係る音声認識装置は、１回目の
認識単位の系列の中で経路の制約を緩めたスコアの推定
値を計算する事に際して、多次元の入力ベクトルに対し
て、評価値の大きい方からＮ個の要素分布のベストファ
ースト探索を実行し、その評価値の大きい方からＮ個の
要素分布の確率はベストファースト探索の結果として計
算された評価値の大きい方からＮ個の要素分布の確率を
用い、その他の要素分布の確率についてはベストファー
スト探索の途中次元までの評価値を用いて認識単位のス
コア計算を実行して認識結果を決定するようにしたもの
である。

【００５９】この発明に係る認識結果を決定するための
プログラムが記録された記録媒体は、多次元の入力ベク
トルに対して、複数の多次元の連続分布からなる混合連
続確率分布のモデルで表現された認識単位のスコアを評
価値最大の要素分布のベストファースト探索を実行し、
その評価値最大をとる要素分布の確率はベストファース
ト探索の結果として計算された要素分布の確率を用い、
その他の要素確率分布の確率についてはベストファース
ト探索の途中次元までの評価値を用いて認識単位のスコ
ア計算を実行し、そのスコア計算の結果に基づいて、認
識単位の系列の中でスコアの最も高い認識単位の系列を
選択するようにしたものである。

【００６０】この発明に係る認識結果を決定するための
プログラムが記録された記録媒体は、多次元の入力ベク
トルに対して、複数の多次元の連続分布からなる混合連
続確率分布のモデルで表現された認識単位のスコアを評
価値の大きい方からＮ個の要素分布のベストファースト
探索を実行し、その評価値の大きい方からＮ個の評価値
をとる要素分布の確率はベストファースト探索の結果と
して計算された評価値の大きい方からＮ個の要素分布の
確率を用い、その他の要素分布の確率についてはベスト
ファースト探索の途中次元までの評価値を用いて認識単
位のスコア計算を実行し、そのスコア計算の結果に基づ
いて認識単位の系列の中でスコアの最も高い認識単位の
系列を選択するようにしたものである。

【００６１】この発明に係る認識結果を決定するための
プログラムが記録された記録媒体は、多次元の入力ベク
トルに対して、複数の多次元の連続分布からなる混合連
続確率分布に基づいて認識単位のスコアの推定値を計算
するスコア計算し、１回目は認識単位の系列の中で経路
の制約を緩めたスコアの推定値を求め、２回目は１回目
で求めたスコアの推定値に基づいて認識単位の完全な系
列の中で最もスコアの高い認識単位の系列を探索して求
め、１回目の認識単位の系列の中で経路の制約を緩めた
スコアの推定値を計算する事に際して、その多次元の入
力ベクトルに対して評価値最大の分岐確率密度のベスト
ファースト探索を実行し、その評価値最大をとる要素分
布の確率はベストファースト探索の結果として計算され
た確率を用い、その他の要素分布の確率についてはベス
トファースト探索の途中次元までの評価値を用いて認識
単位のスコア計算を実行して、認識結果を決定するよう
にしたものである。

【００６２】この発明に係る認識結果を決定するための
プログラムが記録された記録媒体は、多次元の入力ベク
トルに対して、複数の多次元の連続分布からなる混合連
続確率分布に基づいて認識単位のスコアを計算し、１回
目は認識単位の系列の中で経路の制約を緩めたスコアの
推定値を求め、２回目は１回目で求めたスコアの推定値
に基づいて認識単位の完全な系列の中で最もスコアの高
い認識単位の系列を探索して求め、１回目の認識単位の
系列の中で経路の制約を緩めたスコアの推定値を計算す
る事に際して、その多次元の入力ベクトルに対して、評
価値の大きい方からＮ個の分岐確率密度のベストファー
スト探索を実行し、その評価値の大きい方からＮ個の要
素分布の確率はベストファースト探索の結果として計算
された評価値の大きい方からＮ個の要素分布の確率を用
い、その他の要素分布の確率についてはベストファース
ト探索の途中次元までの評価値を用いて認識単位のスコ
ア計算を実行して、認識結果を決定するようにしたもの
である。

【００６３】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１による音
声認識装置を示す構成図であり、図において、１は入力
音声、２は入力音声１を分析して特徴ベクトル３に変換
する音声分析手段、４は特徴ベクトル３に対して、ＨＭ
Ｍ記憶手段８に記憶された混合連続分布ＨＭＭの状態Ｈ
ＭＭの確率を計算する確率演算手段（スコア計算手
段）、５は経路データ記憶手段９の経路データに従っ
て、状態ＨＭＭの連結から音素や単語を構成し、経路の
各状態において、その状態に至る状態ＨＭＭの系列の中
でスコアが最大の経路を決定し、そのスコアを求める経
路演算手段（スコア計算手段）、６は経路演算手段５の
決定した経路を音声の終端から後ろ向きに探索して最適
な経路に沿う状態ＨＭＭの系列を求めて、入力音声１に
対する認識結果７を出力する最適経路決定手段（認識結
果選択手段）である。

【００６４】次に動作について説明する。音声分析の周
期は１０ｍｓであり、特徴ベクトル３は、分析次数１２
のメル周波数軸ケプストラム分析の結果得られたｃ
（０），ｃ（１），ｃ（２），…，ｃ（１２）と、それ
らの時間変化率であるΔｃ（０），Δｃ（１），Δｃ
（２），…，Δｃ（１２）とをベクトルの成分とした２
６次元のベクトルである。以後特徴ベクトル３の次元を
Ｋとする。

【００６５】ＨＭＭ記憶手段８には状態ＨＭＭが記憶さ
れている。図２は状態ＨＭＭの構造を示す。状態ＨＭＭ
は、２状態１ループの構造を持つ。状態遷移に付随する
出力確率分布は、複数（本実施の形態では１６個）の連
続分布を要素分布とした混合連続分布となっている。ま
た、各状態遷移に付随する出力確率分布は、いわゆる結
びの関係を持たせ共通なものとしてある。

【００６６】状態ＨＭＭは、全体で２０００個ある。音
素ＨＭＭは、音素環境依存型であり、これらの状態ＨＭ
Ｍのうちの何れかを３つ連結し、３状態のＨＭＭとして
構成される。単語ＨＭＭは、さらにこのようにして構成
される３状態の音素ＨＭＭを単語の音素表記に従って音
素数分連結したものとして構成される。

【００６７】時刻ｔの入力ベクトルｘ（ｔ）に対するあ
る状態ＨＭＭの出力確率は、厳密には、次式で求められ
る。ただし、Ｍ（ｊ）は第ｊ番目の状態の混合連続分布
に含まれる要素分布の個数であり、本実施の形態では全
状態とも１６である。以下、状態ｊの混合分布を説明対
象とするので、インデックスｊを省略して、Ｍ（ｊ）を
Ｍ、λ（ｊ，ｍ）をλ（ｍ）などと略記する。

【００６８】

【数４】

【００６９】また、ｆ（ｘ（ｔ），ｍ）は第ｍ番目の要
素分布の分岐密度（連続分布の密度関数）であり、無相
関正規分布である本実施の形態では、次式で与えられ
る。ただし、ｘ（ｔ，ｋ）は入力ベクトルｘ（ｔ）の第
ｋ次元目の要素の値、μ（ｍ，ｋ）は第ｍ番目の要素分
布の第ｋ次元目の平均値、σ（ｍ，ｋ）は第ｍ番目の要
素分布の第ｋ次元目の分散である。

【００７０】

【数５】

【００７１】上記の出力確率は、分岐密度の和として計
算されるが、本実施の形態では、この出力確率計算の近
似式として、次式のように、分岐確率λ（ｍ）と分岐密
度ｆ（ｘ（ｔ），ｍ）の積λ（ｍ）ｆ（ｘ（ｔ），ｍ）
（以後、分岐出力確率と呼ぶ）の最大値を用いている。
この近似式による出力確率（以後、最大分岐出力確率と
呼ぶ）を用いたときの精度低下は僅かであることは認識
実験により確認されている。

【００７２】

【数６】

【００７３】本実施の形態では、最大化出力確率ｂ
‘（ｘ（ｔ））を以下のベストファースト探索を適用し
て計算する。

【００７４】以下、この方法について説明する。まず、
分岐出力確率λ（ｍ）ｆ（ｘ（ｔ），ｍ）の対数をとる
と、式（１）から次のように変形できる。

【００７５】

【数７】

【００７６】ここに、Ａ（ｍ）及びＢ（ｍ）は入力ベク
トルに依存しないので、事前に計算しておく。対数関数
の単調増加性から、最大化出力確率ｂ‘（ｘ（ｔ））を
求めることと、式（２）のｍに関する最大値を求めるこ
ととは等価である。よって、式（２）を最大とする要素
分布を求められれば、式（１）はその値の指数関数（ｅ
ｘｐ（ｘ））の値として計算することができる。

【００７７】次に式（２）を最大とする要素分布を求め
る探索方法について説明する。図３はこの探索で用いる
機能の構成図である。仮説展開制御部２００１は仮説記
憶部（スタックとも呼ぶ）２００２に記憶された仮説の
取り出し、展開処理を行う。

【００７８】仮説記憶部２００２に記憶される仮説は、
それぞれ、分布の番号ｍ、計算済の次元数ｋ、第１次元
から第ｋ次元までの各次元の一次元の分布の確率の累積
値ｇ（ｍ，ｋ）の数値を有する。累積値ｇ（ｍ，ｋ）
は、式（２）のＣ（ｘ（ｔ），ｍ，ｋ）のＫをｋとした
ときの値であり、ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），
ｍ，ｋ）である。

【００７９】探索の途中の仮説はスタックに格納され
る。スタックは、ヒープと呼ばれる完全２分木として作
成することができる。図４はヒープを用いた仮説記憶部
の説明図である。ヒープはメモリの１次元配列Ａとして
実現される。配列Ａのインデックスを一般にｎと２^*
ｎ、２^* ｎ＋１とすると、Ａ［ｎ］≧ｍａｘ（Ａ［２^*
ｎ］，Ａ［２^* ｎ＋１］）の関係を有する。

【００８０】ヒープで仮説を管理することで、最大値を
有する仮説は配列Ａの先頭Ａ［１］に必ずあるため、極
めて高速に最大値を取り出すことができる。また、ヒー
プに仮説を格納するときは、ヒープの根（即ち配列の要
素Ａ［１］）から葉に向かって、２分木を辿って、配列
の要素を交換しながら、上記の大小関係Ａ［ｎ］≧ｍａ
ｘ（Ａ［２^* ｎ］，Ａ［２^* ｎ＋１］）を満足する位置
に仮説を格納する。この処理は仮説の数の２の対数の２
倍のオーダー（Ｏ（２ｌｏｇ２Ｎ））の演算量しか必要
とせず、極めて高速に行われる。

【００８１】図５は式（２）の計算を次元方向に探索を
進めるベストファースト探索のフローチャートである。
次に各処理ステップについて説明する。ステップＳＴ１
において、第ｊ状態の混合連続分布のすべての要素分布
（第１〜第Ｍ（ｊ）分布）について、初期仮説を生成す
る。生成された仮説は仮説記憶部２００２に記憶され
る。ここで、第ｍ番目の要素分布の初期仮説は、分布の
番号をｍ、計算済の次元数を０、各次元の一次元の分布
の累積値ｇ（ｍ，０）をｇ（ｍ，０）＝Ａ（ｍ）＋Ｂ（ｍ）とする。

【００８２】ステップＳＴ２において、累積値最大の仮
説を仮説記憶部２００２から取り出す。この仮説の要素
分布番号、展開済次元数、累積値を、以下、それぞれ、
ｍ，ｋ，ｇ（ｍ，ｋ）として説明する。

【００８３】ステップＳＴ３において、計算済の次元数
ｋが最終次元のＫ（本実施の形態では２６）に到達して
いるかを調べ、最終次元に到達している場合（ｋ＝２６
のとき）は、ベストファースト探索の理論により、この
仮説が確率最大の要素分布に該当するので、この仮説を
探索された解として、解の処理を行うため、ステップＳ
Ｔ７に進む。もし、最終次元に到達していない場合（ｋ
＜２６のとき）は、ステップＳＴ４に進む。

【００８４】ステップＳＴ４において、次元数を１増や
し、ｋ＋１とする。ステップＳＴ５において、次元数ｋ
＋１までの累積値を計算する（ただし、ここでの次元数
ｋはステップＳＴ４において１増やす前の値として説明
する。なお、以下の実施の形態でも同様とする）。この
累積値は、次元ｋまでの累積値ｇ（ｍ，ｋ）に、次元ｋ
＋１の一次元の連続分布の対数確率値（以後尤度と呼
ぶ）を加算して、ｇ（ｍ，ｋ＋１）を次式のように計算
する。ただし、一次元の連続分布の対数確率値に含まれ
る定数項−（１／２）ｌｏｇ（２πσ（ｍ，ｋ））はス
テップＳＴ１において既に定数項Ｂ（ｍ）の中で加算済
であり除く。

【００８５】

【数８】

【００８６】ところで、分散σ（ｍ，ｋ）は正の値であ
り、かつ、分子も２乗されているため正の値であるの
で、累積値ｇ（ｍ，ｋ＋１）はｇ（ｍ，ｋ）に等しい
か、より小さく、累積値ｇ（ｍ，ｋ）は次元数ｋに関し
て単調非増加関数となっている。

【００８７】ステップＳＴ６において、この仮説の要素
分布番号、展開済次元数、累積値を、それぞれ、ｍ，ｋ
＋１，ｇ（ｍ，ｋ＋１）とした仮説を作成し、仮説記憶
部２００２に記憶して、ステップＳＴ２に戻る。ステッ
プＳＴ２における処理は前述の通りであり、ステップＳ
Ｔ３において、解が見つかるまで以上の処理が繰り返さ
れる。

【００８８】ステップＳＴ７では、仮説を解として記憶
し、処理を終了する。さて、ステップＳＴ７において、
解として得られた仮説については、要素分布番号、展開
済次元数、累積値は、それぞれ、ｍ、Ｋ、ｇ（ｍ，Ｋ）
となっている。ｇ（ｍ，Ｋ）は次式のように各次元の尤
度の和であり、要素分布ｍの第１次元から第Ｋ次元まで
の尤度の和であり、Ｍ（ｊ）個の混合分布の中では、最
大の尤度となっている。ｇ（ｍ，Ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），
ｍ，Ｋ）

【００８９】これによって、最大の尤度を有する要素分
布は解として求まった仮説の要素分布番号ｍとして求め
られる。また、その対数確率は解として求まった仮説の
累積値として得られる。

【００９０】図６は探索終了時点のスタックに残された
仮説の様子をそれらの展開履歴と共に示すグラフ図であ
る。この図で□印が最終次元Ｋまで展開された各次元の
尤度の累積値最大の仮説の展開履歴を示す。また、○印
及び×印が途中の次元まで展開された仮説の展開履歴を
示す。

【００９１】さて、この図から分かるように、スタック
に展開されずに途中次元の計算して残っている仮説につ
いては、その途中次元から最終次元までの一次元の尤度
計算をしていない。したがって、本実施の形態の方法で
は、演算回数はスタックに展開されずに残っている要素
分布の残りの展開すべき次元数の分だけ、一次元の尤度
計算をしなくて済み、全要素分布の確率を求めてから、
確率の最大の要素分布を求める従来のフル探索の方法に
比べて、演算量が削減される。

【００９２】従って、本実施の形態では、ベストファー
スト探索を用いているので、フル探索に比較して、一次
元の尤度計算の演算回数を削減して、尤度最大の分岐確
率密度を求めることができるという効果がある。また、
ベクトル量子化や、元々の混合分布に含まれる要素分布
以外に確率分布を用いる必要がないという効果がある。
また、ローカルミニマムに陥る危険のある一般の探索手
法に比較して、ベストファースト探索により、必ず、最
大の確率を有する要素分布を最初の解として求められる
ため、最大分岐出力確率の計算の精度を犠牲にすること
がないという効果がある。

【００９３】実施の形態２．上記実施の形態１では、次
元数Ｋの多次元の入力ベクトルに対して、第ｋ次元まで
の１次元の分布の確率値の第１次元から第ｋ次元までの
累積値が最大の要素分布についての仮説を、次元方向に
展開するベストファースト探索を用いた。この場合、将
来の第ｋ＋１次元から入力ベクトルの次元数であるＫ次
元までの累積値の推定値の情報は用いていない。

【００９４】そこで、本実施の形態では、第１次元から
第ｋ次元までの累積値に、第ｋ＋１次元から前記第Ｋ次
元までの累積値の推定値を加えて、解が得られるまでに
要するベストファースト探索の仮説の展開回数の削減を
図る。

【００９５】図７は探索のためのフローチャート、図８
は探索のための機能ブロック図である。仮説展開制御部
２００１は仮説記憶部２００２に記憶された仮説の取り
出し、展開処理を行う。仮説記憶部２００２に記憶され
る仮説は、それぞれ、要素分布の番号ｍ、計算済の次元
数ｋ、第１次元から第ｋ次元までの各次元の一次元の分
布の尤度の累積値ｇ（ｍ，ｋ）、評価値ｆ（ｍ，ｋ）の
各数値を有する。

【００９６】累積値ｇ（ｍ，ｋ）は、要素分布ｍの第１
次元から第ｋ次元までの各次元の尤度の累積値であり、
式（２）のＣ（ｘ（ｔ），ｍ，ｋ）のＫをｋとしたとき
の値として、次式で計算した値である。ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），
ｍ，ｋ）また、評価値ｆ（ｍ，ｋ）は、この累積値ｇ（ｍ，ｋ）
と推定値ｈ（ｍ，ｋ）とを用いて、次式で計算される。ｆ（ｍ，ｋ）＝ｇ（ｍ，ｋ）＋ｈ（ｍ，ｋ）

【００９７】ここで、推定値ｈ（ｍ，ｋ）は、要素分布
ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤
度の累積値の推定値である。その具体例は実施の形態３
以下で説明するので、ここでは、その詳細な説明を省略
し、この推定値があるものとして、これを用いたベスト
ファースト探索の概略を説明する。次に各処理ステップ
について説明する。

【００９８】ステップＳＴ１１において、時刻ｔの特徴
ベクトルｘ（ｔ）が与えられる。この入力ベクトルの各
次元ｋ（ｋ＝１，２，…，Ｋ）の値をｘ（ｔ，ｋ）とす
る。ステップＳＴ１２において、要素分布ｍの第ｋ＋１
次元から最終の第Ｋ次元までの各次元の尤度の累積値の
推定値ｈ（ｍ，ｋ）（ｋ＝１，２，…，Ｋ）を計算す
る。ただし、最終次元Ｋの推定値はｈ（ｍ，Ｋ）＝０と
する。

【００９９】ステップＳＴ１において、第ｊ状態の混合
分布のすべての要素分布（第１〜第Ｍ（ｊ）分布）つい
て、初期仮説を生成する。生成された仮説は仮説記憶部
２００２に記憶される。ここで、第ｍ番目の分布の初期
仮説は、要素分布の番号をｍ、計算済の次元数を０、各
次元の一次元の対数確率（尤度）の累積値をｇ（ｍ，
０）、評価値をｆ（ｍ，０）とする。ただし、次式のよ
うに累積値ｇ（ｍ，０）は要素分布の分岐出力確率の定
数項とし、また、評価値ｆ（ｍ，０）は累積値ｇ（ｍ，
０）と推定値ｈ（ｍ，０）に基づいて次式のように与え
る。ｇ（ｍ，０）＝Ａ（ｍ）＋Ｂ（ｍ）ｆ（ｍ，０）＝ｇ（ｍ，０）＋ｈ（ｍ，０）

【０１００】ステップＳＴ２において、評価値ｆ（ｍ，
ｋ）最大の仮説を仮説記憶部２００２から取り出す。こ
の仮説の要素分布番号、展開済次元数、累積値、評価値
を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ），ｆ（ｍ，
ｋ）として説明する。

【０１０１】ステップＳＴ３において、計算済の次元数
ｋが最終次元Ｋ（＝２６）に到達しているかを調べ、最
終次元に到達している場合（ｋ＝２６のとき）は、ベス
トファースト探索の理論により、この仮説が評価値最大
の要素分布に該当するので、この仮説を探索された解と
して、解の処理を行うため、ステップＳＴ７に進む。も
し、最終次元に到達していない場合（ｋ＜２６のとき）
は、ステップＳＴ４に進む。

【０１０２】ステップＳＴ４において、次元数を１増や
し、ｋ＋１とする。ステップＳＴ５において、まず、次
元数ｋ＋１までの累積値ｇ（ｍ，ｋ＋１）を計算する。
この累積値ｇ（ｍ，ｋ＋１）は、次式のように次元ｋま
での累積値ｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の連続
分布の尤度を計算して加える。ただし、一次元の連続分
布の対数確率値に含まれる定数項−（１／２）ｌｏｇ
（２πσ（ｍ，ｋ））はステップＳＴ１において既に定
数項Ｂ（ｍ）の中で加算済であり除く。

【０１０３】

【数９】

【０１０４】また、第ｋ＋１次元から第Ｋ次元までの各
次元の一次元の分布の累積値の推定値（ｈ（ｍ，ｋ＋
１）とする）を推定値計算部２００３で計算する。この
推定値の具体的な計算例は以下の幾つかの実施の形態で
説明されるのでここでの説明を省略する。そして、累積
尤度ｇ（ｍ，ｋ＋１）と推定値ｈ（ｍ，ｋ＋１）とに基
づいて、評価値ｆ（ｍ，ｋ＋１）を次式で計算する。ｆ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ＋１）＋ｈ（ｍ，ｋ＋
１）

【０１０５】ステップＳＴ６において、この仮説の要素
分布番号、展開済次元数、累積値、評価値を、それぞ
れ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１），ｆ（ｍ，ｋ＋１）
とした仮説を作成し、仮説記憶部２００２に記憶して、
ステップＳＴ２に戻る。戻った後のステップＳＴ２にお
ける処理は前述の通りである。

【０１０６】ステップＳＴ７では、仮説を解として記憶
し、処理を終了する。以下の幾つかの実施の形態では、
推定値ｈ（ｍ，ｋ）の具体的な例について説明する。

【０１０７】実施の形態３．本実施の形態では、上記実
施の形態２において、第ｋ＋１次元から最終の第Ｋ次元
までの尤度累積値の推定値ｈ（ｍ，ｋ）を統計理論にに
基づいて推定するものである。

【０１０８】次元数Ｋの入力ベクトルに対して、分岐出
力確率最大の要素分布を決定するためのベストファース
ト探索のフローチャートは図７に示したものと同一であ
る。即ち、文献（Ｍｏｒｒｉｓｏｎ著：“Ｍｕｌｔｉｖ
ａｒｉａｔｅＳｔａｔｉｓｔｉｃａｌＭｅｔｈｏｄ
ｓ”、１０頁）に述べられているように、平均０、分散
１の独立した正規分布に従うｎ個の確率変数、Ｘ１，Ｘ
２，…，Ｘｎの和として定義される変数χは、自由度ｎ
のカイ２乗分布に従って分布する。一般に、Ｘｉが独立
した平均μｉ，分散σｉに従うとき

【０１０９】

【数１０】

【０１１０】として定義される変数は、自由度ｎのカイ
２乗分布に従って分布する。ところで、ある要素分布の
第ｋ＋１次元から第Ｋ次元までの一次元の尤度の累積値
は、前記式の通り、

【０１１１】

【数１１】

【０１１２】であり、形式的に上の式と一致する。よっ
て、第ｋ＋１次元から第Ｋ次元までの一次元の尤度の累
積値は、比例定数（この場合−１／２）を除けば、自由
度Ｋ−ｋのカイ２乗分布に従って分布すると期待され
る。

【０１１３】図９は自由度ｎのカイ２乗分布の分布関数
のテーブルの一部分を示す（テーブルの全体は上記文献
の３６６頁に示されている）。このテーブルから、例え
ば、自由度１０のカイ２乗分布の独立変数χの値が２．
５６以下となる確率は１％、３．２５以下となる確率は
２．５％、３．９４以下となる確率は５％等々であるこ
とが読み取れる。従って、残り次元が１０次元の時、一
次元の確率の累積値が２．５６×比例定数＝２．５６×
（−１／２）＝−１．２８以上の値をとる確率は１％で
ある。したがって、９９％の確率で、累積値は−１．２
８より小さな値となることが期待される。

【０１１４】この性質を使うことにより、第ｋ＋１次元
から第Ｋ次元までの累積値の推定値ｈ（ｍ，ｋ）を次式
で与える。ｈ（ｍ，ｋ）＝Ｘ（Ｋ−ｋ，ｐ）×（−１／２）ここで、Ｘ（ｎ，ｐ）は自由度ｎのカイ２乗分布のパー
セントポイントがｐであるときの独立変数の値である
（例えば、自由度１０のカイ２乗分布の５％ポイントは
Ｘ（１０，０．０５）＝３．９４である）。この値は、
図９で示したテーブルを検索して求められる。

【０１１５】この式から明らかなように、本実施の形態
の評価値ｈ（ｍ，ｋ）は、要素分布の各次元の平均値お
よび分散には依存しないので、すべての要素分布に共通
の評価値となる。このため、評価値の計算が仮説の展開
済の次元数ｋをキーとしたテーブル検索で実現可能であ
る。

【０１１６】欠点としては、推定値が実際の累積値より
小さくなる確率がｐパーセントあるので、この推定値に
基づく評価値は、真の値より小さくなる可能性がｐパー
セントあり、Ａ＊条件を満たさない可能性がある。この
ため、評価値最大の仮説を優先的に展開するベストファ
ースト探索で最初に得られる解は、必ずしも、入力ベク
トルによっては、分岐出力確率が最大の要素分布が得ら
れず、即ち、探索エラーが生じる可能性がある。

【０１１７】実施の形態４．本実施の形態では、上記実
施の形態２において、第ｋ＋１次元から第Ｋ次元までの
累積値の推定値ｈ（ｍ，ｋ）をＫ次元の入力ベクトルの
Ｉ個の標本ｘ（ｉ）（ｉ＝１，２，…，Ｉ）から求めた
値とするものである。

【０１１８】次元数Ｋの入力ベクトルに対して、分岐出
力確率が最大の要素分布を決定するためのベストファー
スト探索のフローチャートは図７に示したものと同一で
ある。Ｋ次元の入力ベクトルの標本ｘ（ｉ）は、学習用
の音声データを分析して求める。

【０１１９】次に入力ベクトルの各標本ｘ（ｉ）につい
て、第ｍ番目の要素分布を用いたときの第ｋ＋１次元か
ら第Ｋ次元までの各次元の一次元の尤度の累積値ｈ
（ｍ，ｋ，ｘ（ｉ））を次式で求める。

【０１２０】

【数１２】

【０１２１】ここで、ｘ（ｉ，ｎ）は標本ｘ（ｉ）のｎ
次元目の値である。探索に用いる推定値ｈ（ｍ，ｋ）
は、これら標本から求めた累積値ｈ（ｍ，ｋ，ｘ
（ｉ））を要素分布のインデックスｍ及び標本のインデ
ックスｉに関する最大値として次式で求める。

【０１２２】

【数１３】

【０１２３】第ｋ＋１次元から第Ｋ次元までの累積値の
推定値として、実際の入力ベクトルから求めた最大値を
使うので、Ａ＊条件を満たさない可能性が減少する。こ
の結果、探索エラーが減少するという効果がある。

【０１２４】実施の形態５．本実施の形態では、上記実
施の形態２において、第ｋ＋１次元から第Ｋ次元までの
累積値の推定値ｈ（ｍ，ｋ）をＫ次元の入力ベクトルの
標本から求めた値とするものである。さらに、要素分布
を要素分布間の類似度に基づいて、複数のクラスタに分
類し、このクラスタ毎に、推定値を求めるようにしたも
のである。

【０１２５】次元数Ｋの入力ベクトルに対して、分岐出
力確率最大の要素分布を決定するためのベストファース
ト探索のフローチャートは図７に示したものと同一であ
る。次に推定値の作成について説明する。

【０１２６】まず、要素分布をＬＢＧアルゴリズムやＫ
平均法などの適宜なクラスタリング手法によって、要素
分布をＣ個のクラスタに分類する。ここでは、Ｋ平均法
を用いている。Ｋ平均法では、始めにＣ個の種となる要
素分布をランダムに選択し、代表分布とする。

【０１２７】次にこれらＣ個の代表分布を用いて、代表
分布からの距離に基づいて、全要素分布の各要素分布を
距離が最小の代表分布の分類とすることにより全要素分
布を分類する。分布間の距離はカルバックダイバージェ
ンスや、チェルノフ距離、バッタチャリア距離などを用
いることができるが、ここでは、分布間の距離は計算が
簡単であることからカルバックダイバージェンスを用い
ている。

【０１２８】次にＣ個の分類のそれぞれについて、その
分類に分類された要素分布どうしの平均距離が最小とな
るように代表分布を選び直す。さらに、選び直した代表
分布を用いて全要素分布を再分類する。以上の処理を分
類が収束するまで繰り返す。

【０１２９】次にＫ次元の入力ベクトルの標本は、学習
用の音声データを分析して求める。この手続きは上記実
施の形態４と同じである。次に入力ベクトルの各標本ｘ
（ｉ）（ｉ＝１，２，…，Ｉ、Ｉ標本数）について、第
ｋ＋１次元から第Ｋ次元までの累積値ｈ（ｍ，ｋ，ｘ
（ｉ））を次式で求める。

【０１３０】

【数１４】

【０１３１】ここで、ｘ（ｉ，ｎ）は標本ｘ（ｉ）のｎ
次元目の値である。探索に用いる推定値ｈ（ｍ，ｋ）
は、これら標本から求めた累積値ｈ（ｍ，ｋ，ｘ
（ｉ））をクラスタｃ（ｃ＝１，２，…，Ｃ）に属する
要素分布のインデックスｍ（ｍ∈Ω（ｃ）、ただし、Ω
（ｃ）はクラスタｃに属する要素分布のインデックス）
及び標本のインデックスｉに関する最大値として次式で
求める。

【０１３２】

【数１５】

【０１３３】以上の処理で求めた推定値は、実際の入力
ベクトルから求めた最大値を使い、さらに、分類したク
ラスタ内について最大値をとるので、Ａ＊条件を満たさ
ない可能性がさらに減少するため、探索エラーがさらに
減少するという効果がある。

【０１３４】実施の形態６．本実施の形態では、ベスト
ファースト探索を用いて、評価値の大きい方から所定の
数（以下の説明ではＳ個とする）の解を順次求めて、こ
れら所定の数Ｓ個の解の中で、最大の分岐出力確率を有
する要素分布を決定する。探索のための機能ブロック図
は、図８と同一であり、仮説展開制御部２００１は仮説
記憶部２００２に記憶された仮説の取り出し、展開処理
を行う。

【０１３５】仮説記憶部２００２に記憶される仮説は、
それぞれ、分布の番号ｍ、計算済の次元数ｋ、第１次元
から第ｋ次元までの各次元の一次元の分布の尤度の累積
値ｇ（ｍ，ｈ）及び評価値ｆ（ｍ，ｈ）の各数値を有す
る。累積値ｇ（ｍ，ｈ）及び評価値ｆ（ｍ，ｈ）は、上
記実施の形態２と同様、それぞれ、次式で得られる。ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），
ｍ，ｋ）ｆ（ｍ，ｋ）＝ｇ（ｍ，ｋ）＋ｈ（ｍ，ｋ）ここで、ｈ（ｍ，ｋ）は、要素分布ｍの第ｋ＋１次元か
ら最終の第Ｋ次元までの各次元の尤度の累積値の推定値
である。

【０１３６】図１０は次元数Ｋの入力ベクトルに対し
て、評価値の大きい方からＳ個の要素分布を決定するた
めのベストファースト探索のフローチャートである。ス
テップＳＴ１〜ＳＴ７の各処理ステップの動作は上記実
施の形態２と同様であり、その説明を省略し、異なる部
分の処理について説明する。

【０１３７】ステップＳＴ２１において、解の数が所定
の数であるＳ個に達したら、ステップＳＴ２２に行く。
解の数が所定の数であるＳ個未満であればステップＳＴ
２に戻る。ステップＳＴ２２において、評価値が大きい
方から順に記憶されたＳ個の解について、その要素分布
の番号をｍ（ｓ）（ｓ＝１，２，…，Ｓ）として、これ
らの解の仮説どうしで、尤度の累積値ｇ（ｍ（ｓ），
Ｋ）を比較して、尤度の累積値ｇ（ｍ（ｓ），Ｋ）が最
大である解の仮説を選択して、この解の仮説の保持する
要素分布の番号ｍを分岐出力確率最大の要素分布の番号
として出力する。

【０１３８】次にこの実施の形態の効果を説明する。要
素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次
元の尤度の累積値の推定値ｈ（ｍ，ｋ）として、前記３
つの実施の形態では、それぞれ、（ａ）自由度Ｋ−ｋの
カイ２乗分布の分布関数の値が所定の値に達するときの
独立変数値、（ｂ）学習用の音声データの示す値の分
布、（ｃ）クラスタリングされた要素分布の各クラスタ
についての学習用の音声データの示す値の分布から決め
た値を用いた。

【０１３９】このような推定値は、要素分布ｍの第ｋ＋
１次元から最終の第Ｋ次元までの各次元の尤度の累積値
の真の値より下回ることがある。このため、上記３つの
実施の形態では、評価値が入力ベクトルによっては、Ａ
＊条件を満たさないことがあった。このため、ベストフ
ァースト探索で最初に求まる解は最適解である保証は必
ずしもなく（即ち、解が求められた時点での評価値が最
大ではあるが、必ずしも、各次元の尤度の累積値は最大
ではないので）、探索エラーが生じることがあった。

【０１４０】そこで、本実施の形態では、ベストファー
スト探索で評価値が下位の順位の候補も含めた合計Ｓ個
の解を求めているので、その中に真の尤度最大の仮説が
含まれる可能性を高め、探索エラーを減少している。よ
って、本実施の形態によれば、ベストファースト探索で
最初からＳ個の解を求めて、さらに、その中で、尤度の
最も大きい解を選択しているので、探索エラーの生じる
可能性を少なくできるという効果がある。

【０１４１】実施の形態７．本実施の形態では、尤度最
大の要素分布の探索に際して、探索エラーが生じないよ
うにＡ＊条件を満足するように推定値を計算し、ベスト
ファースト探索を行うようにした。そのため、つぎの一
般的な不等式を用いる。ここで、右辺のμｍｉｎ及びμ
ｍａｘは、それぞれ左辺にある平均値μの最小値及び最
大値である。また、σｍａｘは左辺の分散σの最大値で
ある。

【０１４２】

【数１６】

【０１４３】次に、この不等式に現れる平均値の最小値
μｍｉｎ、最大値μｍａｘ及び、分散の最大値σｍａｘ
の求め方について説明する。まず、一次元の分布の分類
について説明する。図１１は一次元の分布の分類のフロ
ーチャートである。また、図１２は数直線上の平均値と
分割の様子を示す説明図である。

【０１４４】次に動作について説明する。ステップＳＴ
３１において、変数ｋを０とする。以後、変数ｋは次元
を表す。ステップＳＴ３２において、次元を１増やす。
ステップＳＴ３３において、各要素分布の次元ｋの一次
元分布の平均値μ（ｍ，ｋ）を数直線上に並べる。

【０１４５】図１２は全要素分布の平均値を並べ終えた
後の数直線上の平均値の配列の様子を示す。この例で
は、１６個の要素分布の平均値を数直線上の○印で示
す。また、○印の上の数字は要素分布の番号を示す。ス
テップＳＴ３４において、数直線上の平均値をＣ個の区
間に分割する。図では４個ずつの平均値を含む４個の区
間に分割した場合を示す。分割の仕方としては、例え
ば、各区間の平均値どうしの平均距離が最小になるよう
に分割しても構わない。

【０１４６】ステップＳＴ３５において、Ｃ個のそれぞ
れの区間について、区間の両端に位置する平均値、即
ち、各区間の平均値の最小値μｍｉｎ（ｃ，ｋ）と最大
値μｍａｘ（ｃ，ｋ）を求める。図の例では区間２の平
均値の最小値μｍｉｎ（２，ｋ）は要素分布７の平均値
であり、また、同区間の平均値の最大値μｍａｘ（ｚ，
ｋ）は要素分布１５の平均値である。

【０１４７】ステップＳＴ３６において、Ｃ個のそれぞ
れの区間ｃについて、区間ｃの中に存在する平均値を所
有する要素分布ｍ（∈Ω（ｃ）、ただしΩ（ｃ）はその
次元ｋの一次元の分布の平均値が区間ｃに属する要素分
布番号の集合とする）を求め、これら要素分布の中で次
元ｋの各一次元の分布を見てそのなかで最大の分散σｍ
ａｘ（ｃ，ｋ）を求める。即ち、

【０１４８】

【数１７】

【０１４９】図の例では区間２の最大の分散σｍａｘ
（２，ｋ）は、要素分布７、１０、１３、１５の分散の
なかの最大の分散の値として求める。また、要素分布ｍ
の区間番号をｃ（ｍ，ｋ）として記憶する。この区間番
号の記憶ｃ（ｍ，ｋ）は、次の探索の中で仮説の次元ｋ
について、要素分布番号ｍからその区間番号を求めるた
めに使用される。

【０１５０】次に時刻ｔの特徴ベクトルｘ（ｔ）に対し
て、分岐出力確率最大の要素分布を探索する動作につい
て説明する。図１３は探索のフローチャートである。図
１４は探索のための機能ブロック図である。ステップＳ
Ｔ１１において、特徴ベクトルｘ（ｔ）が入力される。
ステップＳＴ１２において、入力の特徴ベクトルｘ
（ｔ）と、上記のように既に求められたＣ個のそれぞれ
の区間ｃについての次元ｋの平均値の最小値μｍｉｎ
（ｃ，ｋ）、最大値μｍａｘ（ｃ，ｋ）、分散の最大値
σｍａｘ（ｃ，ｋ）に基づいて、区間ｃに平均値を有す
る要素分布のための推定値ｈ（ｃ，ｋ）を計算する。推
定値ｈ（ｃ，ｋ）は、次の漸化式で計算する。

【０１５１】

【数１８】

【０１５２】上の式に現れるθ（ｃ，ｋ）は、第ｃ番目
の分割について、第ｋ＋１次元目の一次元の分布の平均
値の最小値μｍｉｎ（ｃ，ｋ）、最大値μｍａｘ（ｃ，
ｋ）、及び分散の最大値σｍａｘ（ｃ，ｋ）と、入力ベ
クトルｘ（ｔ）の第ｋ次元目の値ｘ（ｔ，ｋ）とから、
上記不等式（３）の右辺の値を計算した値で次式のよう
に計算される。

【０１５３】

【数１９】

【０１５４】この値は、Ａ＊探索の条件を満足する。し
たがって、この値θ（ｃ，ｋ）を使って求めた上記推定
値ｈ（ｃ，ｋ）もＡ＊探索の条件を満足する。以上のよ
うにして求められた推定値ｈ（ｃ，ｋ）は、推定値記憶
部２００４に記憶される。

【０１５５】ステップＳＴ１〜ＳＴ４については、上記
実施の形態２と同様の動作であるのでその説明を省略す
る。ステップＳＴ５において、まず、次元数ｋ＋１まで
の累積尤度ｇ（ｍ，ｋ＋１）を計算する。この累積尤度
ｇ（ｍ，ｋ＋１）は、上記実施の形態２と同様に次式の
ように計算する。

【０１５６】

【数２０】

【０１５７】次に第ｋ＋１次元から第Ｋ次元までの各次
元の一次元の分布の尤度の累積値の推定値ｈ（ｃ，ｋ＋
１）を推定値記憶部２００４から読み出す。そして、累
積尤度ｇ（ｍ，ｋ＋１）と推定値ｈ（ｃ，ｋ＋１）とに
基づいて、評価値ｆ（ｍ，ｋ＋１）を次式で計算する。ｆ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ＋１）＋ｈ（ｃ，ｋ＋
１）ここで、番号ｃは要素分布ｍの区間番号ｃ（ｍ，ｋ）の
記憶から求める。

【０１５８】ステップＳＴ６では、ステップＳＴ５で作
成された仮説を仮説記憶部２００２に記憶する。最後
に、効果について説明する。本実施の形態によれば、評
価値がＡ＊条件を満たすようにしたので、探索の結果、
最初に見つかる評価値最大の解は、尤度の累積値が最大
の解である。従って、探索エラーが生じることがない。
また、評価値を探索に用いているので、評価値を探索に
用いていない上記実施の形態１の場合に比較して、探索
のなかで仮説の生成回数を減少させ、探索のための演算
量を削減することができる。

【０１５９】実施の形態８．本実施の形態では、分岐出
力確率最大の要素分布の探索に際して、探索エラーが生
じないようにＡ＊条件を満足するように推定値を設計
し、ベストファースト探索を行うようにした。そのた
め、本実施の形態でも、上記実施の形態７で用いたもの
と同一の一般的な不等式（３）を用いる。この不等式に
ついては、上記実施の形態７で説明したので、説明を省
略する。

【０１６０】次に本実施の形態におけるこの不等式に現
れる平均値の最小値、最大値、及び分散の最大値の求め
方について説明する。まず、混合分布を構成する要素分
布をその類似の度合いに基づいて複数のクラスタに分割
する。要素分布間の類似の程度は連続分布間の距離で測
る。また、クラスタへの分割には、ＬＢＧアルゴリズム
やＫ平均法などのクラスタリング手法が適用できる。こ
こでは、要素分布間の類似度としてカルバックダイバー
ジェンスを用い、クラスタリング手法としてＫ平均法を
用いてクラスタリングを行う。この場合、クラスタリン
グについては、上記実施の形態４で述べたものと同じで
あり説明を省略する。

【０１６１】次に探索の動作について説明する。探索の
フローチャートは図１３と同一であり、この図を用いて
説明する。その各部の動作は、ステップＳＴ１２の推定
値の計算、及びステップＳＴ５における評価値計算が異
なるだけで、その他は上記実施の形態７と同様であるた
め、これら同様部分の動作については説明を省略する。

【０１６２】ステップＳＴ１２において、入力の特徴ベ
クトルｘ（ｔ）について、クラスタｃの要素分布ｍに関
する次元ｋ＋１から最終次元Ｋまでの各一次元の分布の
尤度の累積値の推定値ｈ（ｃ，ｋ）を計算し、推定値記
憶部２００４に記憶する。推定値ｈ（ｃ，ｋ）は、次の
漸化式を用いて計算する。初期値：ｈ（ｃ，Ｋ）＝０Ｋ：最終次元漸化式：ｋ＝Ｋ−１，Ｋ−２，…，０についてｈ（ｃ，ｋ）＝θ（ｃ，ｋ＋１）＋ｈ（ｃ，ｋ＋１）

【０１６３】ここで、θ（ｃ，ｋ）は、第ｃ番目のクラ
スタについて、そのクラスタに含まれる要素分布の第ｋ
＋１次元目の一次元の分布の平均値の最小値μｍａｘ
（ｃ，ｋ）、最大値μｍｉｎ（ｃ，ｋ）及び分散の最大
値σｍａｘ（ｋ）と、入力ベクトルｘ（ｔ）の第ｋ次元
目の値ｘ（ｔ，ｋ）とから、前記の不等式（３）の右辺
の値を次式で計算した値である。

【０１６４】

【数２１】

【０１６５】ステップＳＴ５において、評価値ｆ（ｍ，
ｋ＋１）を計算する。評価値ｆ（ｍ，ｋ＋１）は、累積
値ｇ（ｍ，ｋ＋１）と推定値ｈ（ｃ，ｋ＋１）の和であ
る。推定値ｈ（ｃ，ｋ）は、ステップＳＴ１２におい
て、推定値記憶部２００４に記憶された値を用いる。な
お、ステップＳＴ１２における漸化式から明らかなよう
に、推定値を求めるための漸化式にｍａｘ演算を含んで
いないので、上記の実施の形態７に比較して、推定値を
計算するための計算量を削減できることが分かる。ま
た、そのなかに、クラスに関するｍａｘ演算を含まない
ので、他のクラスの推定値を考慮しなくて済むため、推
定値が、より実際の値に近くなるため、評価値の精度が
向上し、Ａ＊探索の理論から、最適解が得られるまでに
必要な仮説の生成数が減少でき、探索の計算量を削減す
ることができる。

【０１６６】最後に、効果について説明する。本実施の
形態によれば、評価値がＡ＊条件を満たすようにしたの
で、探索の結果、最初に見つかる評価値最大の解は、尤
度最大の解であり、その尤度は最大の尤度を見つける。
また、評価値を探索に用いているので、評価値を探索に
用いていない実施の形態１の場合に比較して、探索の仮
説取り出しと展開のループのなかのループの回数を減少
させ、演算量を削減することができる。また、推定値を
計算するための計算量を削減することができる。また、
推定値がより実際の値に近くなるため、探索の計算量を
削減することができる。

【０１６７】実施の形態９．この実施の形態では、ある
要素分布についての探索の途中で、途中の次元までの一
次元の分布の尤度の累積値が、余りに小さいときは、そ
の要素分布が最大の尤度累積値をとることがないと考え
て、その要素分布の探索を打ち切る。

【０１６８】図１５は本実施の形態のベストファースト
探索のフローチャートである。ステップＳＴ４１におい
て、要素分布の最大の尤度の累積値が、これを下回るこ
とがないという絶対的な閾値Θを設定する。具体的には
本実施の形態での最大の尤度は２０〜７０の範囲に分布
しており、その最小値より小さな値として数値０を設定
する。

【０１６９】ステップＳＴ２では仮説記憶部２００２に
ある仮説の中で尤度の累積値が最大の仮説を選択する。
ステップＳＴ４〜ＳＴ５において、次元数ｋを１増やし
て、累積値を計算する。その後、ステップＳＴ４２にお
いて、ステップＳＴ５で計算された累積値がステップＳ
Ｔ４１で設定した閾値Θ（本実施の形態では０）より小
さいときは、その仮説は最終次元においても、累積値は
現在の累積値より大きくなることはない。したがって、
最終次元の累積値は閾値より大きくなることはなく、し
たがって、現在の要素分布が最大の尤度を有する要素分
布となることもないので、ステップＳＴ６には行かず
に、ステップＳＴ２に戻る。なお、計算された累積値が
閾値Θより大きいときは、ステップＳＴ６に進み、その
仮説はスタックに格納される。

【０１７０】以上のような動作により、探索の途中で、
スタックに格納される仮説の数がステップＳＴ６を通過
しない分だけ減少する。また、ステップＳＴ２でスタッ
クにある仮説の中で累積値が最大の仮説を選択する際
に、選択対象となる仮説はスタックの中の仮説全体であ
る。このため、ステップＳＴ２の処理で使われる演算量
が削減される。

【０１７１】次に効果について説明する。本実施の形態
によれば、累積尤度が設定された閾値より小さいとき、
仮説の展開格納を行わないので、探索途中で生じる仮説
の数が減少し、演算量を削減できる。なお、閾値を最大
尤度の最小値より小さく設定することで、最大の尤度を
有する要素分布を探索することができる。また、累積値
と閾値を比較して仮説の展開を打ち切る場合について説
明したが、上記実施の形態２〜実施の形態８のように、
累積値と推定値とに基づいて評価値を計算する場合に
も、適用しても構わない。この場合は、閾値との比較対
象は、累積値と比較しても、また、評価値と比較しても
同様の効果がある。

【０１７２】また、要素分布を複数のクラスタに分割
し、各クラスタについて、最大尤度の範囲を求めて、最
大尤度の最小値より小さな値を閾値として、展開された
仮説がこのクラスタごとの閾値を下回ったとき、展開さ
れた仮説をスタックに格納しないようにしても構わな
い。

【０１７３】実施の形態１０．上記実施の形態９では、
すべての要素分布で共通の閾値Θを用いた。本実施の形
態では、最大の尤度の最小値の分布は、要素分布ｍに依
存して変化する。そこで、要素分布毎に尤度の最大値を
調べ、この尤度最大値の最小値の比較的大きな要素分布
については、より大きな閾値を設定し、より効率的に探
索を打ち切るようにする。本実施の形態での探索のフロ
ーチャートは図１５と同一である。

【０１７４】本実施の形態では、ステップＳＴ４１にお
いて設定する閾値を、要素分布に依存して、そのとり得
る最大の尤度の値の範囲を調べ、その最小値より小さい
値を閾値Θ（ｍ）とする。また、ステップＳＴ４２にお
いて要素分布番号ｍに応じてこの閾値Θ（ｍ）を取り出
し、累積値ｇ（ｍ，ｋ）と比較する。

【０１７５】次に効果について説明する。本実施の形態
によれば、要素分布に依存して最大の尤度の最小値の比
較的大きな要素分布について、より大きな閾値を設定す
ることができ、要素分布によって、より効率的に探索を
打ち切ることができる。その結果、探索の演算量をより
削減できる。また、要素分布を複数のクラスタに分類し
て、各クラスタごとに共通の閾値を用いることで、閾値
の記憶を削減することができる。

【０１７６】実施の形態１１．この実施の形態では、上
記実施の形態９と同様に、ある要素分布についての探索
の途中で、途中の次元までの一次元の分布の確率の累積
値が、余りに小さいときは、その要素分布が最大の尤度
を有することがないと考えて、その要素分布の探索を打
ち切る。さらに、打ち切りの効率を高めるため、閾値を
次元数ごとに変化させる。次元数に応じて閾値を変化さ
せるため、ここでは実施の形態３で用いたカイ２乗分布
を用いる。

【０１７７】図１６はカイ２乗分布の分布関数が一定の
数値に到達するときの値に基づいて閾値を決める際の考
え方を説明する説明図である。図において、仮説Ａは既
に展開されている仮説、仮説Ｂあるいは仮説Ｃは途中次
元ｋにおいて、これから展開されようとしている仮説で
ある。また、ＦＡは、仮説Ａの次元ｋにおける累積値か
ら、自由度Ｋ−ｋのカイ２乗分布の分布関数が０．９５
となるときの独立変数の値の−１／２倍を加えた値であ
る。したがって、仮説Ａが最終次元Ｋまで展開されたと
きに、仮説Ａの累積値がこのＦＡを上回る確率は０．９
５であり、ほとんどの場合ＦＡを上回ることが期待でき
る。

【０１７８】また、ＦＢは仮説Ｂの次元ｋにおける累積
値から、自由度Ｋ−ｋのカイ２乗分布の分布関数が０．
０５となるときの独立変数の値の−１／２倍を加えた値
である。したがって、仮説Ｂが最終次元Ｋまで展開され
たときに、仮説Ｂの累積値がこのＦＢを上回る確率は
０．９５でほとんどの場合上まわることはないことにな
る。

【０１７９】同様に、ＦＣは、仮説Ｃの次元ｋにおける
累積値から、自由度Ｋ−ｋのカイ２乗分布の分布関数が
０．０５となるときの独立変数の値の−１／２倍を加え
た値である。したがって、仮説Ｃが最終次元Ｋまで展開
されたときに、仮説Ｃの累積値が、このＦＣを上回る確
率は０．０５でほとんどの場合上まわることはないこと
になる。

【０１８０】この図から、ＦＣがＦＡを上回る確率は、
０．０５×０．０５より小さくなるので、仮説Ｃを打ち
切ることができる。また、ＦＢがＦＡを上回る確率は、
０．０５×０．０５よりは大きいので、仮説Ｂを打ち切
ることはあきらめる方が良い。

【０１８１】実際には、途中次元ｋにおける最大の累積
値を常に保存しておき、その最大値から自由度Ｋ−ｋの
カイ２乗分布の分布関数から求めた累積値の上限と下限
の推定値を幅として、仮説の打ち切りを行う。図１７は
本実施の形態の探索のフローチャートである。

【０１８２】ステップＳＴ５１において、各次元ｋ（ｋ
＝１，２，…，Ｋ）の閾値の幅を設定する。次元ｋの閾
値の幅は、自由度Ｋ−ｋのカイ２乗分布の分布関数から
得た二つのパーセントポイント（つまり本実施の形態で
は０．９５と０．０５）の差の−１／２倍として、次式
で計算して記憶する。

【０１８３】

【数２２】

【０１８４】ここで、Ｘ（ｎ，ｐ）は自由度ｎのカイ２
乗分布の分布関数がｐとなるときの独立変数の値（即
ち、パーセントポイント）である。ステップＳＴ５２で
は、各次元ｋ（ｋ＝１，２，…，Ｋ）までの累積値の最
大値の初期値として負の最大値（−∞とする）に設定す
る。以後、この次元ｋまでの累積値の最大値をＥ（ｋ）
で表す。

【０１８５】ステップＳＴ４２では、仮説の累積値と次
元ｋの閾値とを比較する。次元ｋの閾値は次元ｋの最大
値Ｅ（ｋ）から、カイ２乗分布に基づいてステップＳＴ
５１で求めた次元ｋの幅Ｗ（ｋ）を引くことにより、次
式で求める。仮説の次元ｋの閾値＝Ｅ（ｋ）−Ｗ（ｋ）

【０１８６】この閾値との比較の結果、累積値が小さい
ときはステップＳＴ２に戻る。逆に、累積値が小さくな
いときはステップＳＴ５３に進む。ステップＳＴ５３で
は仮説の次元ｋの最大値を更新する。これは累積値が最
大値Ｅ（ｋ）を上回ったとき、最大値に累積値を代入す
ることで行う。ステップＳＴ６では次元数を増加した仮
説をスタックに格納する。

【０１８７】次に効果について説明する。本実施の形態
によれば、次元ごとに閾値を変更するため、一定の閾値
を用いる場合に比較して、探索途中に格納される仮説が
より削減できる。このため、スタックから取り出すとき
の演算量が削減できるという効果がある。

【０１８８】実施の形態１２．この実施の形態では、次
元方向のベストファースト探索によって仮説を展開する
際、次元数を２以上増加させることで、最終次元に到達
するまでのスタックから仮説を取り出す処理と、スタッ
クに仮説を格納する処理の回数を削減する。これによっ
て、スタックの管理のための演算量を削減する。

【０１８９】図１８は本実施の形態のベストファースト
探索のフローチャートである。ステップＳＴ２におい
て、累積値最大の仮説を取り出す。その仮説の要素分布
番号、展開済の次元数、及び次元１から次元ｋまでの各
次元の一次元の分布の確率の累積値を、それぞれ、ｍ，
ｋ，ｇ（ｍ，ｋ）とする。

【０１９０】ステップＳＴ３において、展開済の次元数
ｋが最終次元Ｋでなければ、ステップＳＴ４に進む。ス
テップＳＴ４において、次元数を２以上の数Δだけ増加
し、ｋ＋Δとする。ただし、増加後の値が最終次元Ｋよ
り大きくなる場合は、最終次元Ｋと一致させる。

【０１９１】ステップＳＴ５では、累積値を更新し、ｇ
（ｍ，ｋ＋Δ）とする。更新後の累積値ｇ（ｍ，ｋ＋
Δ）は次式で計算する。

【０１９２】

【数２３】

【０１９３】次元数を２以上増加させたので、本実施の
形態では、最終次元に到達するまでのスタックから仮説
を取り出す処理と、スタックに仮説を格納する処理の回
数を削減する。これによって、スタックの管理のための
演算量を削減するという効果がある。なお、累積値が最
大の仮説を優先的に次元数方向に展開する場合について
説明したが、推定値を含む評価値が最大の仮説を優先的
に次元数方向に展開する場合（具体的には実施の形態２
以降の上記各実施の形態）についても同様に適用できる
ことは言うまでもない。

【０１９４】実施の形態１３．上記の各実施の形態で説
明した尤度累積値の最大の要素分布を次元方向にベスト
ファースト探索して求める方法は、任意の空間的配置を
有するコードベクトルを用いるベクトル量子化に応用で
き、最近隣コードベクトルを計算するための演算量削減
のため用いることができる。

【０１９５】以下、これについて説明する。音声の特徴
ベクトルをｘとする。特徴ベクトルｘは、限られた数の
典型的なベクトルｖ（１），ｖ（２），…，ｖ（Ｃ）の
うちで最も近いベクトルｖ（ｃ）のインデックスｃに変
換される（Ｃはコードブックのサイズ）。この変換は連
続的な値を持つベクトルａを離散的で限られた数のベク
トル｛ｃ｜ｃ＝１，２，…，Ｃ｝に変換するものでベク
トルの量子化を行っていることになる。離散的な値をと
るベクトルの有限集合Ｂ＝｛ｖ（１），ｖ（２），…，
ｖ（Ｃ）｝をコードブックと呼び、その要素をコードベ
クトルと呼ぶ。

【０１９６】図１９はベクトル量子化を用いた符号化・
復号化の構成図である。図において、１１は入力データ
としての音声信号である。１２は入力データ１１を時間
窓を１０ｍｓの周期でずらしながら線形予測法で周波数
分析し、特徴ベクトル１３に変換する分析部である。こ
こでは、スペクトル包絡情報を１２次元のＰＡＲＣＯＲ
係数として求め、これを特徴ベクトルとし、その次元数
ＫはＫ＝１２である。

【０１９７】１５は複数のコードベクトルを記憶したコ
ードブック、１４はコードブック１５を参照して、コー
ドブック内の距離の最も近いコードベクトルを求めて、
そのコードベクトル番号を符合１６として出力するコー
ドベクトル探索部である。１７は符合１６を伝送または
蓄積する伝送・蓄積部である。１８は伝送又は蓄積され
た符合１６からコードブック１９を参照し、コードベク
トル２０を求める復号部である。２１はコードベクトル
２０をパラメータとして音声を合成し、出力データ２２
を作成する合成部である。

【０１９８】本実施の形態では特徴ベクトルｘと距離の
最も小さいコードベクトルの番号を探索するのに、これ
までに説明した実施の形態と同様の次元方向のベストフ
ァースト探索を適用する。入力ベクトルｘの第ｋ次元目
の値をｘ（ｋ）とし、第ｍ番目のコードベクトルの第ｋ
次元目の値をｖ（ｍ，ｋ）とする。また、入力ベクトル
と第ｍ番目のコードベクトルｖ（ｍ）の距離はユークリ
ッド距離として次式で計算する。

【０１９９】

【数２４】

【０２００】ベクトル量子化の結果として探索するコー
ドベクトルは、上式の右辺を最小とするｍの値である。

【０２０１】

【数２５】

【０２０２】これは、上式の右辺を−１倍した次式を最
大とするｍの値を求めるのと等価である。

【０２０３】

【数２６】

【０２０４】即ち、上式の右辺の総和（Σ）の内側の次
元ｋで計算される２次形式を類似度と考えると、ベクト
ル量子化は、上式の右辺で定義される各次元の類似度の
累積値ｇ（ｍ，Ｋ）を最大化するコードベクトルを求め
ることに相当する。ただし、

【０２０５】

【数２７】

【０２０６】とする。次元１から最終次元Ｋまでの各次
元の類似度の累積値ｇ（ｍ，Ｋ）が最大のコードベクト
ルを求める処理の基本的流れは実施の形態１と同一であ
る。

【０２０７】図２０は本実施の形態のベクトル量子化に
おけるコードベクトルをベストファースト探索で求める
ときのフローチャートである。以下、上記実施の形態１
と異なる点について説明する。コードブックに記憶され
たコードベクトルの数は２０４８（一般にＭ個）であ
る。

【０２０８】コードブックは多数の標本の入力ベクトル
をＫ平均法で２０４８個のクラスタに分割して、総合の
量子化誤差が最小になるようにクラスタの代表ベクトル
（セントロイド）を決め、２０４８個のセントロイドを
コードベクトルとおくことで作成される。各コードベク
トルの次元は１２次元（一般にＫ次元）である。

【０２０９】次に各処理ステップについて説明する。ス
テップＳＴ１において、コードブック内の２０４８個の
コードベクトルついて、初期仮説を生成する。生成され
た仮説は仮説記憶部２００２に記憶される。ここで、第
ｍ番目のコードベクトルの初期仮説は、コードベクトル
の番号をｍ、計算済の次元数を０、各次元の類似度の累
積値ｇ（ｍ，０）を０とする。

【０２１０】ステップＳＴ２において、類似度の累積値
最大の仮説を仮説記憶部２００２から取り出す。この仮
説の要素分布番号、展開済次元数、各次元の類似度の累
積値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）として
説明する。

【０２１１】ステップＳＴ３において、計算済の次元数
ｋが最終次元をあらわす数値Ｋに到達しているかを調
べ、最終次元に到達している場合は、ベストファースト
探索の理論により、この仮説が累積値最大のコードベク
トルに該当するので、この仮説を探索された解として、
解の処理を行うため、ステップＳＴ７に進む。もし、最
終次元に到達していない場合（ｋ＜Ｋのとき）は、ステ
ップＳＴ４に進む。

【０２１２】ステップＳＴ４において、次元数ｋを１増
やし、ｋ＋１とする。ステップＳＴ５において、次元数
ｋ＋１までの類似度の累積値ｇ（ｍ，ｋ＋１）を計算す
る。この累積尤度は、次式のように次元ｋまでの累積尤
度であるｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の類似度
η（ｍ，ｋ＋１）を計算して加える。ｇ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ）＋η（ｍ，ｋ＋１）次元ｋ＋１の一次元の類似度は次式のように計算され
る。 η（ｍ，ｋ＋１）＝−｜ｘ（ｋ＋１）−ｖ（ｍ，ｋ＋
１）｜²

【０２１３】ステップＳＴ６において、この仮説のコー
ドベクトル番号、展開済次元数、類似度累積値を、それ
ぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１）とした仮説を作成
し、仮説記憶部２００２に記憶して、ステップＳＴ２に
戻る。ステップＳＴ７では、解として得られた仮説につ
いて、そのコードベクトル番号ｍをベクトル量子化の結
果のコード番号として出力する。以上で処理を終了す
る。

【０２１４】さて、ステップＳＴ７において、解として
得られた仮説については、要素分布番号、展開済次元
数、累積値はそれぞれ、ｍ，Ｋ，ｇ（ｍ，Ｋ）となって
いる。ｇ（ｍ，Ｋ）は第ｍ番目のコードベクトルの次元
１から最終次元Ｋまでの各次元の類似度の和であり、２
０４８個のコードベクトルの中では、最大の類似度の累
積値を有している。

【０２１５】以上の処理によって出力されるコード番号
は、コードブックの中のコードベクトルの中で、入力ベ
クトルとの類似度の累積値が最大であるコードベクト
ル、換言すれば、入力ベクトルとの距離が最小であるコ
ードベクトルに一致している。即ち、ベクトル量子化の
結果が得られる。

【０２１６】本実施の形態で、探索終了時点のスタック
に残された仮説の様子は、上記実施の形態１と同様に図
６のようになっている。この図で□印が最終次元Ｋまで
展開された尤度最大の仮説の展開履歴を示す。また、○
印及び×印が途中の次元まで展開された仮説の展開履歴
を示す。

【０２１７】さて、この図から分かるように、類似度累
積値最大のコードベクトルの全次元について各次元の距
離を計算してからベクトル間の距離最小のコードベクト
ルを判定するフル探索に基づく方法に比較して、本実施
の形態の方法では、演算回数はスタックに展開されずに
残っているコードベクトルの残りの展開すべき次元数の
分だけ、一次元の類似度の計算をしないので演算量が削
減されている。従って、本実施の形態では、ベストファ
ースト探索を用いているので、フル探索に比較して、一
次元の距離計算の演算回数を削減できるという効果があ
る。また、コードブックを木構造が有するように設計さ
れている必要がなく、任意の分布のコードブックに対し
て演算量削減の効果を発揮できるという効果がある。

【０２１８】実施の形態１４．本実施の形態は、多次元
入力ベクトルの最大尤度を有する要素分布を次元方向に
ベストファースト探索して求める方法の一つの応用とし
て、多次元の特徴ベクトル空間で最近隣または最尤のコ
ードベクトルを探索してカテゴリを認識する問題に適用
したものである。文字認識、特に漢字のようにカテゴリ
数が３０００以上と極めて多い場合、距離最小又は尤度
最大の分布を計算する部分の演算量が格段に増える。

【０２１９】本実施の形態では、各カテゴリはマルチテ
ンプレートで表されており、テンプレート数は１６個で
ある。このとき、合計で３７１５カテゴリの１２８次元
ベクトルを入力として、距離最小のカテゴリベクトルを
探索する例である。

【０２２０】図２１は文献（“文字認識における距離計
算の高速化の検討”、１９９７年電子情報通信学会総合
大会予稿集、３１０頁）に基づき構成した文字認識装置
の構成図である。図において、３１は認識対象の印刷漢
字が印刷された入力の紙文書、３２は入力文書３１を文
字認識装置に読み込むためのイメージスキャナ、３３は
イメージスキャナ３２で読み取ったイメージデータから
文字の存在する領域を一文字毎に分離して切り出す文字
領域切出部、３４は文字領域切出部３３によって切り出
された文字領域にある文字イメージから輪郭特徴６４次
元（４×４領域×４方向）、及び１次周辺特徴３２次元
（８次元×４方向）、さらに、２次周辺特徴３２次元
（８次元×４方向）の合計１２８次元を特徴量として抽
出し、１２８次元の特徴ベクトル３５を出力する特徴抽
出部である。

【０２２１】３６は各カテゴリのテンプレートのベクト
ルがカテゴリと関連づけられて記憶された認識辞書、３
７は特徴ベクトル３５に対して、認識辞書３６にカテゴ
リに関連づけて記憶されたテンプレートベクトルとの距
離が最小となるテンプレートベクトルを探索し、距離最
小のテンプレートベクトルとして探索されたテンプレー
トベクトルに関連づけられたカテゴリを認識結果３８と
して出力するカテゴリ検索部である。

【０２２２】上記文献ではカテゴリ探索は初期カテゴリ
から中心カテゴリをその近傍にある中心ベクトルの中で
距離最小のベクトルに移動することを反復することで距
離最小のベクトルを探索している。本実施の形態では、
次元方向のベストファースト探索を適用する。

【０２２３】図２２は特徴ベクトル３５に対して認識辞
書３６に記憶されたテンプレートのベクトルのなかで距
離最小のベクトルを次元方向にベストファースト探索す
るカテゴリ探索部３７の動作を示すフローチャートであ
る。本実施の形態では、入力ベクトルと距離の最も小さ
いベクトルコードを探索する。距離は市街地距離であ
る。

【０２２４】入力ベクトルの第ｋ次元目の値をＸ_k と
し、第ｍ番目のコードベクトルの第ｋ次元目の値をＶ_mk
とする。このとき、入力ベクトルと第ｍ番目のコードベ
クトルの距離はユークリッド距離として次式で計算され
る。

【０２２５】

【数２８】

【０２２６】符合として求めるコードベクトルは、上式
の右辺を最小とするｍの値である。これは、上式の右辺
を−１倍した次式で定義される類似度（以後、距離の−
１倍を簡単のため「類似度」と呼ぶ）の累積値を最大と
するｍの値を求めるのと等価である。

【０２２７】

【数２９】

【０２２８】そこで、上式で定義される各次元の類似度
の累積値ｇを最大化するコードベクトルを求める。上式
が最大のコードベクトルを求める処理の基本的流れは実
施の形態１と同一である。図２０はベクトル量子化にお
けるコードベクトルをベストファースト探索で求めると
きのフローチャートである。

【０２２９】認識辞書内にはＭ個のテンプレートベクト
ルが存在し、それぞれ、１からＭまでの通し番号を付け
られている。また、それぞれのテンプレートベクトルに
はカテゴリＣ（ｍ）が関連づけられている。次に各処理
ステップについて説明する。

【０２３０】ステップＳＴ１において、認識辞書内の３
７１５カテゴリのテンプレートベクトルのそれぞれにつ
いて、初期仮説を生成する。生成された仮説は仮説記憶
部２００２に記憶される。ここで、第ｍ番目のコードベ
クトルの初期仮説は、テンプレートベクトルの番号を
ｍ、計算済の次元数を０、各次元の類似度の累積値を０
とする。各次元の類似度は次式の市街地距離の−１倍で
ある。次元ｋの類似度＝−｜ｘ_k −ｖ_mk｜式中、｜ａ｜はａの絶対値を示す。

【０２３１】ステップＳＴ２において、類似度の累積値
最大の仮説を仮説記憶部２００２から取り出す。この仮
説の要素分布番号、展開済次元数、各次元の類似度の累
積値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）として
説明する。ここで、類似度の累積値は仮説の展開済次元
数をｋとすると次式で与えられる。

【０２３２】

【数３０】

【０２３３】ステップＳＴ３において、計算済の次元数
ｋが最終次元に一致しているかを調べ、最終次元に一致
している場合は、ベストファースト探索の理論により、
この仮説が累積値最大のテンプレートベクトルに該当す
るので、この仮説を探索された解として、ステップＳＴ
７に進む。もし、計算済の次元数ｋが最終次元に一致し
ない場合は、ステップＳＴ４に進む。

【０２３４】ステップＳＴ４において、次元数を１増や
し、ｋ＋１とする。ステップＳＴ５において、次元数ｋ
＋１までの各次元の類似度の累積値ｇ（ｍ，ｋ＋１）を
計算する。この累積類似度ｇ（ｍ，ｋ＋１）は、次式の
ように次元ｋまでの各次元の類似度の累積であるｇ
（ｍ，ｋ）に、次元ｋ＋１の一次元の類似度を計算して
加える。ｇ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ）＋η（ｍ，ｋ＋１）

【０２３５】次元ｋ＋１の一次元の類似度η（ｍ，ｋ＋
１）は次式で計算される。 η（ｍ，ｋ＋１）＝−｜ｘ_k+1 −ｖ_mk+1｜

【０２３６】ステップＳＴ６において、この仮説のテン
プレートベクトルの番号、展開済次元数、類似度累積値
を、それぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１）とした仮
説を作成し、仮説記憶部２００２に記憶して、ステップ
ＳＴ２に戻る。

【０２３７】ステップＳＴ７では、解として得られた順
位１の仮説及びスタックに残された類似度累積値の大き
い上位Ｎ−１個の候補について、そのテンプレートベク
トル番号ｍ１，ｍ２，ｍ３，…，ｍＮを求め、そのテン
プレートベクトルに関連づけられたカテゴリＣ（ｍ
１），Ｃ（ｍ２），Ｃ（ｍ３），…，Ｃ（ｍＮ）を認識
辞書３６から求め、認識結果３８の候補として出力し、
処理を終了する。

【０２３８】さて、ステップＳＴ７において、解として
得られた順位１の仮説については、要素分布番号、展開
済次元数、累積値は、それぞれ、ｍ，Ｋ，ｇ（ｍ，Ｋ）
となっている。ｇ（ｍ，Ｋ）は第ｍ番目のコードベクト
ルの次元１から最終次元Ｋまでの各次元の類似度の和で
あり、テンプレートベクトルの中では、最大の類似度の
累積値を有している。

【０２３９】以上の処理によって出力されるカテゴリ番
号は、認識辞書３６の中のテンプレートベクトルの中
で、特徴ベクトルとの類似度の累積値が最大であるテン
プレートベクトル、換言すれば、特徴ベクトルとの距離
が最小であるテンプレートベクトルに一致している。即
ち、カテゴリ認識の結果が得られる。

【０２４０】上記文献のカテゴリ探索方法は、初期カテ
ゴリの与え方によっては、必ずしも距離最小のテンプレ
ートベクトルを探索できなかったが、本実施の形態によ
れば、特徴ベクトルに対して、複数の多次元ベクトルの
中で距離最小のベクトルの探索のため、次元方向のベス
トファースト探索を用いたので、距離最小のテンプレー
トベクトルを探索でき、演算量を削減でき精度を劣化さ
せないという効果がある。

【０２４１】実施の形態１５．本実施の形態は、混合連
続分布ＨＭＭを用いる音声認識装置において、多次元入
力ベクトルの最大尤度を有する要素分布を次元方向にベ
ストファースト探索して求める方法を適用したものであ
る。本実施の形態の音声認識装置のブロック図は、図１
であり、実施の形態１と同一の図を用いて説明する。図
において、１は入力音声、２は入力音声１を分析して時
系列の特徴ベクトル３に変換する音声分析手段、４は時
系列の特徴ベクトル３を入力し、混合連続分布ＨＭＭ８
に対する尤度を計算し尤度行列を出力する尤度計算手
段、５は経路データ記憶手段９である単語ネットワーク
に従って、音素ＨＭＭの連結から単語を構成し、ネット
ワークの各ノードにおいて、各ノードに至る音素ＨＭＭ
の状態系列の中で累積尤度最大の経路を求めるビタビ演
算手段、６はビタビ演算の局所経路を後ろ向きに探索し
て最適な単語列を得る最適経路決定手段である。

【０２４２】音素ＨＭＭは混合連続分布ＨＭＭであり、
図２８のように３状態の多次元連続出力確率分布からな
る。図２３は各フレームの特徴ベクトルが求められた後
の各フレームの処理のフローチャートである。以下、各
ステップの動作を説明する。

【０２４３】ステップＳＴ６１において、当該フレーム
の特徴ベクトルが入力される。ステップＳＴ６２におい
て、すべての混合分布のすべての要素分布をまとめて、
特徴ベクトルに対する尤度計算を行う。この尤度計算
は、本発明の次元方向のベストファースト探索を用い
る。詳細は後で述べる。

【０２４４】ステップＳＴ６３において、ステップＳＴ
６２において得られた特徴ベクトルに対する要素分布の
尤度計算結果に基づいて、各状態の出力尤度を計算す
る。

【０２４５】ステップＳＴ６４において、経路の尤度を
計算する。計算はビタビ演算による。ビタビ演算は音素
ｐ、状態ｊの尤度をこの状態に行き得るすべての状態か
らの経路に沿い尤度が最大となる経路を選択しその経路
と尤度を記憶する。以上で各フレームの処理は終了す
る。次に、上記のステップＳＴ６２における本発明の次
元方向のベストファースト探索を用いる尤度の計算方法
について説明する。ここでは、実施の形態８に説明した
方法を適用する。

【０２４６】図２４は探索の処理のフローチャートであ
る。入力ベクトルは、当該フレームの特徴ベクトルであ
る。探索する要素分布は、２０００状態のすべての要素
分布であり、総数は２０００状態×１６分布＝３２００
０分布である。全要素分布の集合はＫ平均クラスタリン
グ法により２０４８個のクラスタに分割されている。そ
れぞれのクラスタについて、その中の要素分布の各次元
の一次元分布の平均、分散の最大最小値が予め求められ
ている。

【０２４７】ステップＳＴ１１では、これらに基づい
て、特徴ベクトルに対する第ｍ次元から最終次元までの
累積値の推定値が計算される。以下、実施の形態７で説
明した動作を行い、評価値最大の仮説がステップＳＴ３
で最終次元に到達し、ステップＳＴ７を実行する。ステ
ップＳＴ７では、スタックの内容を保存して、ステップ
ＳＴ６２は終了する。

【０２４８】ステップＳＴ６３では、保存されたスタッ
クの内容をみて、全要素分布の尤度を求める。ステップ
ＳＴ３で最初に見つかった解の要素分布は正確な尤度が
計算されているので、その値を用いる。また、その他の
要素分布については、スタックに残されている途中次元
までの累積尤度を用いることができる。また、途中次元
までの累積尤度の他に、途中次元＋１から最終次元まで
の推定値を加えた評価値が残っているので、この値を用
いることができる。

【０２４９】実施の形態１６．上記実施の形態１５のフ
レーム処理内の混合分布演算において、Ｎベストの探索
を行う。フレーム処理の流れは図２３と同一である。探
索のフローチャートは図２５である。

【０２５０】ステップＳＴ２１において、上位Ｎ個の解
を求めてから、ステップＳＴ２２においてスタックの内
容を保存する。この後、ステップＳＴ６３では、上位Ｎ
個の解については対応する要素分布の尤度の値とする。
その他の要素分布の尤度は、スタックに残った累積値あ
るいは累積値と推定値に基づいて計算された評価値を用
いる。上記実施の形態１５に比べて、少なくとも、上位
Ｎ個の要素分布については厳密な尤度が得られるため、
認識の精度が向上する。

【０２５１】実施の形態１７．図２６はマルチパスの音
声認識方法に基づいて構成された、本実施の形態の音声
認識装置の構成図である。音声分析手段２は、入力音声
１を分析し、多次元の特徴ベクトル３に変換する。尤度
計算１手段４１及び尤度計算２手段４２は、この多次元
の特徴ベクトル３に対して、ＨＭＭ記憶手段８を参照し
て、複数の多次元の連続分布からなるＨＭＭの状態の尤
度を計算する。ＨＭＭの状態の尤度は上記実施の形態１
５と同様の処理で計算する。

【０２５２】経路計算１手段４３は、認識単位の系列の
中で、より制約の弱い経路データ１を記憶する経路デー
タ１記憶手段４５を参照して、完全な経路計算のための
推定値を計算する。経路計算２手段４４は、完全な経路
データ２を記憶する経路データ２記憶手段４６を参照す
るとともに、経路計算１手段４３で計算された経路の制
約を緩めた経路の尤度推定値と、現在までに得られた完
全な経路の途中尤度とを評価値として、ベストファース
ト探索法により完全な経路の尤度をフル探索に比べて少
ない演算量で効率的に計算する。

【０２５３】最適経路決定手段６は、経路計算２手段４
４で得られた経路を調べて最適な経路を決定し、最適な
経路に関連づけられた認識単位の系列を認識結果７とし
て出力する。以上の構成において、尤度計算１手段４１
の計算した尤度は真の尤度に比較して同値かより大き
く、Ａ＊条件を満足する。よって、経路の制約を緩めた
経路に沿って，経路計算１手段４３の計算した尤度は真
の尤度に比較して同値か、それより大きく、Ａ＊条件を
満足する。このように、Ａ＊条件を満足するＨＭＭの出
力確率を少ない演算量で求めることができるという効果
がある。

【０２５４】実施の形態１８．本実施の形態は、上記実
施の形態１７で述べたマルチパスの音声認識方法におい
て、尤度計算１手段４１の計算において、この多次元の
特徴ベクトル３に対して、ＨＭＭ記憶手段８を参照し
て、複数の多次元の連続分布からなるＨＭＭの状態の尤
度を計算する。ＨＭＭの状態の尤度は上記実施の形態１
６と同様に上位Ｎ個の要素分布の尤度を厳密に計算する
ようにしたものである。

【０２５５】それによって、マルチパスの１回目で得ら
れる経路尤度の推定値の精度が向上し、その結果、マル
チパスの２回目のベストファースト探索による経路探索
に要する演算回数が減少するという効果がある。

【０２５６】実施の形態１９．以上の実施の形態で述べ
た方法は、パターン認識装置及び音声認識装置の中で実
施することもできる。また、パターン認識及び音声認識
を実行するプログラムを記憶した記録媒体としても実施
することもできる。また、入力ベクトルと多次元の複数
のベクトルとの距離、類似度及び尤度を計算する応用、
例えば、特徴ベクトルのクラスタリングや、ＨＭＭの学
習などに適用することで演算量削減の効果があることは
言うまでもない。

【０２５７】

【発明の効果】以上のように、この発明によれば、要素
分布の探索方法は、展開済の次元数が入力ベクトルの次
元数に一致するまで、次元方向にベストファースト探索
を実行するように構成したので、要素分布を探索するた
めの演算量が削減される効果がある。

【０２５８】この発明によれば、展開済の次元数が増加
する方向にベストファースト探索を実行するように構成
したので、要素分布を探索するための演算量が削減され
る効果がある。

【０２５９】この発明によれば、第ｋ＋１次元から第Ｋ
次元における確率値の累積値の推定値を、自由度Ｋ−ｋ
のカイ２乗分布の分布関数値が所定値に達するときのカ
イ２乗分布の独立変数値に基づいて計算するように構成
したので、評価値の計算が仮説の展開済の次元数ｋをキ
ーとしたテーブル検索で実現可能になる効果がある。

【０２６０】この発明によれば、第ｋ＋１次元から第Ｋ
次元における確率値の累積値の推定値を、学習用の音声
データが示す値の分布に基づいて計算するように構成し
たので、探索エラーが減少する効果がある。

【０２６１】この発明によれば、要素分布を複数のクラ
スタに分割し、各クラスタについて、第ｋ＋１次元から
第Ｋ次元における確率値の累積値の推定値を、学習用の
音声データが示す値の分布に基づいて計算するように構
成したので、更に探索エラーが減少する効果がある。

【０２６２】この発明によれば、ベストファースト探索
で最初から複数個の解を求めて、その複数個の解の中
で、上位複数個の評価値を有する要素分布を求めるよう
に構成したので、探索エラーの生じる可能性を少なくで
きる効果がある。

【０２６３】この発明によれば、第ｋ＋１次元から第Ｋ
次元における確率値の累積値の推定値を、各要素分布に
おける各次元の一次元の分布を各分布の平均値の数直線
上での配列に基づいて複数の区間に分割し、各区間につ
いて求めた各次元毎の不等式と、入力ベクトルの各次元
の数値とに基づいて計算するように構成したので、探索
エラーの発生を防止することができるとともに、検索の
演算量を削減することができる効果がある。

【０２６４】この発明によれば、第ｋ＋１次元から第Ｋ
次元における確率値の累積値の推定値を、要素分布を複
数のクラスタに分割し、複数のクラスタのそれぞれにつ
いて各次元毎に得られた不等式と、入力ベクトルの各次
元の数値とに基づいて計算するように構成したので、要
素分布を探索するための演算量等が更に削減される効果
がある。

【０２６５】この発明によれば、探索の閾値を設けて、
第ｋ次元までの探索の累積値又は評価値が、その閾値を
下回る場合、当該仮説の探索を打ち切るように構成した
ので、要素分布を探索するための演算量等が更に削減さ
れる効果がある。

【０２６６】この発明によれば、要素分布に依存して探
索の閾値を設けて、第ｋ次元までの探索の累積値又は評
価値が、その閾値を下回る場合、当該仮説の探索を打ち
切るように構成したので、探索の演算量を更に削減でき
る効果がある。

【０２６７】この発明によれば、探索の閾値として、入
力ベクトルの次元数をＫとし、自由度Ｋ−ｋのカイ２乗
分布の分布関数が一定の数値に到達するときの独立変数
の値に基づいて計算した値を用いるように構成したの
で、スタックから取り出すときの演算量が削減できる効
果がある。

【０２６８】この発明によれば、展開済の次元数を増加
させる際に２以上次元数を増加させるベストファースト
探索を実行するように構成したので、スタックの管理の
ための演算量が削減される効果がある。

【０２６９】この発明によれば、多次元の入力ベクトル
に対して、複数のコードベクトルの中で最大の類似度を
有するコードベクトルを次元方向にベストファースト探
索して求めるように構成したので、フル探索に比較し
て、一次元の距離計算の演算回数を削減できる効果があ
る。

【０２７０】この発明によれば、多次元の入力ベクトル
に対して、複数のモデルベクトルの中で最大の類似度を
有するモデルベクトルを次元方向にベストファースト探
索して求めるように構成したので、距離最小のテンプレ
ートベクトルを探索できる結果、精度を劣化させること
なく、演算量を削減できる効果がある。

【０２７１】この発明によれば、多次元の入力ベクトル
に対して、評価値最大の要素分布のベストファースト探
索を実行し、評価値最大をとる要素確率分布の確率はベ
ストファースト探索の結果として計算された確率を用
い、その他の要素確率分布の確率についてはベストファ
ースト探索の途中次元までの評価値を用いて認識単位の
スコア計算を実行して認識結果を決定するように構成し
たので、精度を劣化させることなく、演算量を削減でき
る効果がある。

【０２７２】この発明によれば、多次元の入力ベクトル
に対して、評価値の大きい方からＮ個の分岐確率密度の
ベストファースト探索を実行し、評価値の大きい方から
Ｎ個の分岐密度をとる要素確率分布の確率はベストファ
ースト探索の結果として計算された確率の大きい方から
Ｎ個の要素分布の確率を用い、その他の要素分布の確率
についてはベストファースト探索の途中次元までの評価
値を用いて認識単位のスコア計算を実行して認識結果を
決定するように構成したので、上位Ｎ個の要素分布につ
いては厳密な尤度が得られる結果、認識の精度が向上す
る効果がある。

【０２７３】この発明によれば、１回目の認識単位の系
列の中で経路の制約を緩めたスコアの推定値を計算する
に際して、多次元の入力ベクトルに対して、評価値最大
の要素分布のベストファースト探索を実行し、その評価
値最大の要素分布の確率はベストファースト探索の結果
として計算された確率を用い、その他の要素分布の確率
についてはベストファースト探索の途中次元までの評価
値を用いて認識単位のスコア計算を実行して認識結果を
決定するように構成したので、Ａ＊条件を満足するＨＭ
Ｍの出力確率を少ない演算量で求めることができる効果
がある。

【０２７４】この発明によれば、１回目の認識単位の系
列の中で経路の制約を緩めたスコアの推定値を計算する
事に際して、多次元の入力ベクトルに対して、評価値の
大きい方からＮ個の分岐確率密度のベストファースト探
索を実行し、その評価値の大きい方からＮ個の分岐密度
をとる要素分布の確率はベストファースト探索の結果と
して計算された評価値の大きい方からＮ個の要素分布の
確率を用い、その他の要素分布の確率についてはベスト
ファースト探索の途中次元までの評価値を用いて認識単
位のスコア計算を実行して認識結果を決定するように構
成したので、マルチパスの１回目で得られる経路尤度の
推定値の精度が向上する結果、マルチパスの２回目のベ
ストファースト探索による経路探索に要する演算回数が
減少する効果がある。

【０２７５】この発明によれば、多次元の入力ベクトル
に対して、評価値最大の要素分布のベストファースト探
索を実行し、評価値最大をとる要素分布の確率はベスト
ファースト探索の結果として計算された確率を用い、そ
の他の要素分布の確率についてはベストファースト探索
の途中次元までの評価値を用いて認識単位のスコア計算
を行うように構成したので、精度を劣化させることな
く、演算量を削減できる効果がある。

【０２７６】この発明によれば、多次元の入力ベクトル
に対して、評価値の大きい方からＮ個の要素分布のベス
トファースト探索を実行し、その評価値の大きい方から
Ｎ個の要素分布の確率はベストファースト探索の結果と
して計算された評価値の大きい方からＮ個の要素分布の
確率を用い、その他の要素分布の確率についてはベスト
ファースト探索の途中次元までの評価値を用いて認識単
位のスコア計算を行うように構成したので、上位Ｎ個の
要素分布については厳密な尤度が得られる結果、認識の
精度が向上する効果がある。

【０２７７】この発明によれば、１回目の認識単位の系
列の中で経路の制約を緩めたスコアの推定値を計算する
事に際して、多次元の入力ベクトルに対して、評価値最
大の要素分布のベストファースト探索を実行し、その評
価値最大をとる要素分布の確率はベストファースト探索
の結果として計算された確率を用い、その他の要素分布
の確率についてはベストファースト探索の途中次元まで
の評価値を用いて認識単位のスコア計算を実行して認識
結果を決定するように構成したので、Ａ＊条件を満足す
るＨＭＭの出力確率を少ない演算量で求めることができ
る効果がある。

【０２７８】この発明によれば、１回目の認識単位の系
列の中で経路の制約を緩めたスコアの推定値を計算する
事に際して、多次元の入力ベクトルに対して、評価値の
大きい方からＮ個の要素分布のベストファースト探索を
実行し、その評価値の大きい方からＮ個の要素分布の確
率はベストファースト探索の結果として計算された評価
値の大きい方からＮ個の要素分布の確率を用い、その他
の要素分布の確率についてはベストファースト探索の途
中次元までの評価値を用いて認識単位のスコア計算を実
行して認識結果を決定するように構成したので、マルチ
パスの１回目で得られる経路尤度の推定値の精度が向上
する結果、マルチパスの２回目のベストファースト探索
による経路探索に要する演算回数が減少する効果があ
る。

【０２７９】この発明によれば、多次元の入力ベクトル
に対して、複数の多次元の連続分布からなる混合連続確
率分布のモデルで表現された認識単位のスコアを評価値
最大の要素分布のベストファースト探索を実行し、その
評価値最大をとる要素分布の確率はベストファースト探
索の結果として計算された要素分布の確率を用い、その
他の要素確率分布の確率についてはベストファースト探
索の途中次元までの評価値を用いて認識単位のスコア計
算を実行し、そのスコア計算の結果に基づいて、認識単
位の系列の中でスコアの最も高い認識単位の系列を選択
するように構成したので、精度を劣化させることなく、
演算量を削減できる効果がある。

【０２８０】この発明によれば、多次元の入力ベクトル
に対して、複数の多次元の連続分布からなる混合連続確
率分布のモデルで表現された認識単位のスコアを評価値
の大きい方からＮ個の要素分布のベストファースト探索
を実行し、その評価値の大きい方からＮ個の評価値をと
る要素分布の確率はベストファースト探索の結果として
計算された評価値の大きい方からＮ個の要素分布の確率
を用い、その他の要素分布の確率についてはベストファ
ースト探索の途中次元までの評価値を用いて認識単位の
スコア計算を実行し、そのスコア計算の結果に基づいて
認識単位の系列の中でスコアの最も高い認識単位の系列
を選択するように構成したので、上位Ｎ個の要素分布に
ついては厳密な尤度が得られる結果、認識の精度が向上
する効果がある。

【０２８１】この発明によれば、多次元の入力ベクトル
に対して、複数の多次元の連続分布からなる混合連続確
率分布に基づいて認識単位のスコアの推定値を計算する
スコア計算し、１回目は認識単位の系列の中で経路の制
約を緩めたスコアの推定値を求め、２回目は１回目で求
めたスコアの推定値に基づいて認識単位の完全な系列の
中で最もスコアの高い認識単位の系列を探索して求め、
１回目の認識単位の系列の中で経路の制約を緩めたスコ
アの推定値を計算する事に際して、その多次元の入力ベ
クトルに対して評価値最大の分岐確率密度のベストファ
ースト探索を実行し、その評価値最大をとる要素分布の
確率はベストファースト探索の結果として計算された確
率を用い、その他の要素分布の確率についてはベストフ
ァースト探索の途中次元までの評価値を用いて認識単位
のスコア計算を実行して、認識結果を決定するように構
成したので、Ａ＊条件を満足するＨＭＭの出力確率を少
ない演算量で求めることができる効果がある。

【０２８２】この発明によれば、多次元の入力ベクトル
に対して、複数の多次元の連続分布からなる混合連続確
率分布に基づいて認識単位のスコアを計算し、１回目は
認識単位の系列の中で経路の制約を緩めたスコアの推定
値を求め、２回目は１回目で求めたスコアの推定値に基
づいて認識単位の完全な系列の中で最もスコアの高い認
識単位の系列を探索して求め、１回目の認識単位の系列
の中で経路の制約を緩めたスコアの推定値を計算する事
に際して、その多次元の入力ベクトルに対して、評価値
の大きい方からＮ個の分岐確率密度のベストファースト
探索を実行し、その評価値の大きい方からＮ個の要素分
布の確率はベストファースト探索の結果として計算され
た評価値の大きい方からＮ個の要素分布の確率を用い、
その他の要素分布の確率についてはベストファースト探
索の途中次元までの評価値を用いて認識単位のスコア計
算を実行して、認識結果を決定するように構成したの
で、マルチパスの１回目で得られる経路尤度の推定値の
精度が向上する結果、マルチパスの２回目のベストファ
ースト探索による経路探索に要する演算回数が減少する
効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１による音声認識装置
を示す構成図である。

【図２】状態ＨＭＭの構造を示す説明図である。

【図３】探索で用いる機能の構成図である。

【図４】ヒープを用いた仮説記憶部の説明図である。

【図５】式（２）の計算を次元方向に探索を進めるベ
ストファースト探索のフローチャートである。

【図６】探索終了時点のスタックに残された仮説の様
子をそれらの展開履歴と共に示すグラフ図である。

【図７】探索のためのフローチャートである。

【図８】探索のための機能ブロック図である。

【図９】自由度ｎのカイ２乗分布の分布関数のテーブ
ルの一部分を示す表図である。

【図１０】次元数Ｋの入力ベクトルに対して、評価値
の大きい方からＳ個の要素分布を決定するためのベスト
ファースト探索のフローチャートである。

【図１１】一次元の分布の分類のフローチャートであ
る。

【図１２】数直線上の平均値と分割の様子を示す説明
図である。

【図１３】探索のフローチャートである。

【図１４】探索のための機能ブロック図である。

【図１５】ベストファースト探索のフローチャートで
ある。

【図１６】カイ２乗分布の分布関数が一定の数値に到
達するときの値に基づいて閾値を決める際の考え方を説
明する説明図である。

【図１７】探索のフローチャートである。

【図１８】ベストファースト探索のフローチャートで
ある。

【図１９】ベクトル量子化を用いた符号化・復号化の
構成図である。

【図２０】ベクトル量子化におけるコードベクトルを
ベストファースト探索で求めるときのフローチャートで
ある。

【図２１】文字認識装置の構成図である。

【図２２】カテゴリ探索部の動作を示すフローチャー
トである。

【図２３】フレーム処理を示すフローチャートであ
る。

【図２４】探索のフローチャートである。

【図２５】探索のフローチャートである。

【図２６】音声認識装置の構成図である。

【図２７】混合連続分布ＨＭＭを用いる音声認識装置
を示す構成図である。

【図２８】混合連続分布ＨＭＭの説明図である。

【図２９】経路演算の説明図である。

【符号の説明】

２音声分析手段、４確率演算手段（スコア計算手
段）、５経路演算手段（スコア計算手段）、６最適
経路決定手段（認識結果選択手段）。

Claims

【特許請求の範囲】

【請求項１】多次元の入力ベクトルに対して、複数の
多次元確率分布の中で最大の確率密度値を示す要素確率
分布を探索するとともに、その要素確率分布の確率密度
を探索する要素分布の探索方法において、その多次元の
入力ベクトルの第１次元から展開済の第ｋ次元までの各
次元値に対する各要素分布の各次元に存在する一次元の
連続分布の確率値に基づいて、第１次元から第ｋ次元ま
での累積値を計算する過程と、その第ｋ次元までの累積
値が最大の要素分布を選択する過程と、その選択された
要素分布について、計算済の次元数を増加させて前記累
積値を再計算する過程とを備え、展開済の次元数が入力
ベクトルの次元数に一致するまで、次元方向にベストフ
ァースト探索を実行することを特徴とする要素分布の探
索方法。
【請求項２】次元数Ｋの多次元の入力ベクトルに対し
て、複数の多次元確率分布の中で最大の確率密度値を示
す要素確率分布を探索するとともに、その要素確率分布
の確率密度を探索する要素分布の探索方法において、次
元数Ｋの多次元の入力ベクトルの第１次元から展開済の
第ｋ次元までの各次元値に対する各要素分布の各次元に
存在する一次元の連続分布の確率値に基づいて、第ｋ次
元までの累積値と第ｋ＋１次元から第Ｋ次元までの累積
値の推定値とから第ｋ次元までの評価値を計算する過程
と、その評価値が最大の要素分布を選択する過程と、そ
の選択された要素分布について、計算済の次元数を増加
させて評価値を再計算する過程とを備え、展開済の次元
数が増加する方向にベストファースト探索を実行するこ
とを特徴とする要素分布の探索方法。
【請求項３】第ｋ＋１次元から第Ｋ次元における確率
値の累積値の推定値を、自由度Ｋ−ｋのカイ２乗分布の
分布関数値が所定値に達するときのカイ２乗分布の独立
変数値に基づいて計算することを特徴とする請求項２記
載の要素分布の探索方法。
【請求項４】第ｋ＋１次元から第Ｋ次元における確率
値の累積値の推定値を、学習用の音声データが示す値の
分布に基づいて計算することを特徴とする請求項２記載
の要素分布の探索方法。
【請求項５】要素分布を複数のクラスタに分割し、各
クラスタについて、第ｋ＋１次元から第Ｋ次元における
確率値の累積値の推定値を、学習用の音声データが示す
値の分布に基づいて計算することを特徴とする請求項２
記載の要素分布の探索方法。
【請求項６】ベストファースト探索で最初から複数個
の解を求めて、その複数個の解の中で、上位複数個の評
価値を有する要素分布を求めることを特徴とする請求項
３から請求項５のうちのいずれか１項記載の要素分布の
探索方法。
【請求項７】第ｋ＋１次元から第Ｋ次元における確率
値の累積値の推定値を、各要素分布における各次元の一
次元の分布を各分布の平均値の数直線上での配列に基づ
いて複数の区間に分割し、各区間について求めた各次元
毎の不等式と、入力ベクトルの各次元の数値とに基づい
て計算することを特徴とする請求項２記載の要素分布の
探索方法。
【請求項８】第ｋ＋１次元から第Ｋ次元における確率
値の累積値の推定値を、要素分布を複数のクラスタに分
割し、複数のクラスタのそれぞれについて各次元毎に得
られた不等式と、入力ベクトルの各次元の数値とに基づ
いて計算することを特徴とする請求項２記載の要素分布
の探索方法。
【請求項９】探索の閾値を設けて、第ｋ次元までの探
索の累積値又は評価値が、その閾値を下回る場合、当該
仮説の探索を打ち切ることを特徴とする請求項１から請
求項８のうちのいずれか１項記載の要素分布の探索方
法。
【請求項１０】要素分布に依存して探索の閾値を設け
て、第ｋ次元までの探索の累積値又は評価値が、その閾
値を下回る場合、当該仮説の探索を打ち切ることを特徴
とする請求項１から請求項８のうちのいずれか１項記載
の要素分布の探索方法。
【請求項１１】探索の閾値として、入力ベクトルの次
元数をＫとし、自由度Ｋ−ｋのカイ２乗分布の分布関数
が一定の数値に到達するときの独立変数の値に基づいて
計算した値を用いることを特徴とする請求項９記載の要
素分布の探索方法。
【請求項１２】展開済の次元数を増加させる際に２以
上次元数を増加させるベストファースト探索を実行する
ことを特徴とする請求項１から請求項１０のうちのいず
れか１項記載の要素分布の探索方法。
【請求項１３】画像や音声などの入力データを分析し
て多次元の入力ベクトルに変換し、その多次元の入力ベ
クトルに対して、予め用意された複数の多次元のコード
ベクトルとの類似度を計算し、その複数の多次元のコー
ドベクトルの中から最大の類似度を有する多次元のコー
ドベクトルを探索して求め、その最大の類似度を有する
多次元のコードベクトルに関連づけられたコード番号を
量子化コードとして出力するベクトル量子化方法におい
て、その多次元の入力ベクトルに対して、その複数のコ
ードベクトルの中で最大の類似度を有するコードベクト
ルを次元方向にベストファースト探索して求めることを
特徴とするベクトル量子化方法。
【請求項１４】画像や音声などの入力データを分析し
て多次元の入力ベクトルに変換し、その多次元の入力ベ
クトルに対して、予め用意された複数のカテゴリに関連
づけられた複数の多次元のモデルベクトルとの類似度を
計算し、その複数の多次元のモデルベクトルの中から最
大の類似度を有する多次元のモデルベクトルを探索して
求め、その最大の類似度を有する多次元のモデルベクト
ルに関連づけられたカテゴリを識別結果として出力する
パターン認識方法において、その多次元の入力ベクトル
に対して、その複数のモデルベクトルの中で最大の類似
度を有するモデルベクトルを次元方向にベストファース
ト探索して求めることを特徴とするパターン認識方法。
【請求項１５】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、認識単位の系列の中で
最もスコアの累積値の高い認識単位の系列を認識結果と
して出力する音声認識方法において、その多次元の入力
ベクトルに対して、評価値最大の要素分布のベストファ
ースト探索を実行し、評価値最大をとる要素確率分布の
確率は前記ベストファースト探索の結果として計算され
た確率を用い、その他の要素確率分布の確率については
ベストファースト探索の途中次元までの評価値を用いて
認識単位のスコア計算を実行して認識結果を決定するこ
とを特徴とする音声認識方法。
【請求項１６】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、認識単位の系列の中で
最もスコアの累積値の高い認識単位の系列を認識結果と
して出力する音声認識方法において、その多次元の入力
ベクトルに対して、評価値の大きい方からＮ個の分岐確
率密度のベストファースト探索を実行し、評価値の大き
い方からＮ個の分岐密度をとる要素確率分布の確率は前
記ベストファースト探索の結果として計算された確率の
大きい方からＮ個の要素分布の確率を用い、その他の要
素分布の確率についてはベストファースト探索の途中次
元までの評価値を用いて認識単位のスコア計算を実行し
て認識結果を決定することを特徴とする音声認識方法。
【請求項１７】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、１回目は認識単位の系
列の中で経路の制約を緩めたスコアの推定値を求め、２
回目は１回目で求めたスコアの推定値に基づいて認識単
位の完全な系列の中で最もスコアの高い認識単位の系列
を探索して求めるマルチパスの音声認識方法において、
１回目の認識単位の系列の中で経路の制約を緩めたスコ
アの推定値を計算する事に際して、その多次元の入力ベ
クトルに対して、評価値最大の要素分布のベストファー
スト探索を実行し、その評価値最大の要素分布の確率は
前記ベストファースト探索の結果として計算された確率
を用い、その他の要素分布の確率についてはベストファ
ースト探索の途中次元までの評価値を用いて認識単位の
スコア計算を実行して認識結果を決定することを特徴と
するマルチパスの音声認識方法。
【請求項１８】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、１回目は認識単位の系
列の中で経路の制約を緩めたスコアの推定値を求め、２
回目は１回目で求めたスコアの推定値に基づいて認識単
位の完全な系列の中で最もスコアの高い認識単位の系列
を探索して求めるマルチパスの音声認識方法において、
１回目の認識単位の系列の中で経路の制約を緩めたスコ
アの推定値を計算する事に際して、その多次元の入力ベ
クトルに対して、評価値の大きい方からＮ個の分岐確率
密度のベストファースト探索を実行し、その評価値の大
きい方からＮ個の分岐密度をとる要素分布の確率は前記
ベストファースト探索の結果として計算された評価値の
大きい方からＮ個の要素分布の確率を用い、その他の要
素分布の確率についてはベストファースト探索の途中次
元までの評価値を用いて認識単位のスコア計算を実行し
て認識結果を決定することを特徴とするマルチパスの音
声認識方法。
【請求項１９】入力音声を分析して多次元の入力ベク
トルに変換する音声分析手段と、上記音声分析手段によ
り変換された多次元の入力ベクトルに対して、複数の多
次元の連続分布からなる混合連続確率分布に基づいて認
識単位のスコアを計算するスコア計算手段と、認識単位
の系列の中でスコアの最も高い認識単位の系列を選択
し、その系列を認識結果として出力する認識結果選択手
段とを備えた音声認識装置において、上記スコア計算手
段は、その多次元の入力ベクトルに対して、評価値最大
の要素分布のベストファースト探索を実行し、評価値最
大をとる要素分布の確率は前記ベストファースト探索の
結果として計算された確率を用い、その他の要素分布の
確率についてはベストファースト探索の途中次元までの
評価値を用いて認識単位のスコア計算を行うことを特徴
とする音声認識装置。
【請求項２０】入力音声を分析して多次元の入力ベク
トルに変換する音声分析手段と、上記音声分析手段によ
り変換された多次元の入力ベクトルに対して、複数の多
次元の連続分布からなる混合連続確率分布に基づいて認
識単位のスコアを計算するスコア計算手段と、認識単位
の系列の中でスコアの最も高い認識単位の系列を選択し
て、その系列を認識結果として出力する認識結果選択手
段とを備えた音声認識装置において、上記スコア計算手
段は、その多次元の入力ベクトルに対して、評価値の大
きい方からＮ個の要素分布のベストファースト探索を実
行し、その評価値の大きい方からＮ個の要素分布の確率
は前記ベストファースト探索の結果として計算された評
価値の大きい方からＮ個の要素分布の確率を用い、その
他の要素分布の確率についてはベストファースト探索の
途中次元までの評価値を用いて認識単位のスコア計算を
行うことを特徴とする音声認識装置。
【請求項２１】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、１回目は認識単位の系
列の中で経路の制約を緩めたスコアの推定値を求め、２
回目は１回目で求めたスコアの推定値に基づいて認識単
位の完全な系列の中で最もスコアの高い認識単位の系列
を探索して求めるマルチパスの音声認識装置において、
１回目の認識単位の系列の中で経路の制約を緩めたスコ
アの推定値を計算する事に際して、その多次元の入力ベ
クトルに対して、評価値最大の要素分布のベストファー
スト探索を実行し、その評価値最大をとる要素分布の確
率は前記ベストファースト探索の結果として計算された
確率を用い、その他の要素分布の確率についてはベスト
ファースト探索の途中次元までの評価値を用いて認識単
位のスコア計算を実行して認識結果を決定することを特
徴とするマルチパスの音声認識装置。
【請求項２２】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、１回目は認識単位の系
列の中で経路の制約を緩めたスコアの推定値を求め、２
回目は１回目で求めたスコアの推定値に基づいて認識単
位の完全な系列の中で最もスコアの高い認識単位の系列
を探索して求めるマルチパスの音声認識装置において、
１回目の認識単位の系列の中で経路の制約を緩めたスコ
アの推定値を計算する事に際して、その多次元の入力ベ
クトルに対して、評価値の大きい方からＮ個の要素分布
のベストファースト探索を実行し、その評価値の大きい
方からＮ個の要素分布の確率は前記ベストファースト探
索の結果として計算された評価値の大きい方からＮ個の
要素分布の確率を用い、その他の要素分布の確率につい
てはベストファースト探索の途中次元までの評価値を用
いて認識単位のスコア計算を実行して認識結果を決定す
ることを特徴とするマルチパスの音声認識装置。
【請求項２３】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布のモデ
ルで表現された認識単位のスコアを評価値最大の要素分
布のベストファースト探索を実行し、その評価値最大を
とる要素分布の確率は前記ベストファースト探索の結果
として計算された要素分布の確率を用い、その他の要素
確率分布の確率についてはベストファースト探索の途中
次元までの評価値を用いて認識単位のスコア計算を実行
し、そのスコア計算の結果に基づいて、認識単位の系列
の中でスコアの最も高い認識単位の系列を選択し、その
入力音声の認識結果を決定するためのプログラムが記録
された記録媒体。
【請求項２４】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布のモデ
ルで表現された認識単位のスコアを評価値の大きい方か
らＮ個の要素分布のベストファースト探索を実行し、そ
の評価値の大きい方からＮ個の評価値をとる要素分布の
確率は前記ベストファースト探索の結果として計算され
た評価値の大きい方からＮ個の要素分布の確率を用い、
その他の要素分布の確率についてはベストファースト探
索の途中次元までの評価値を用いて認識単位のスコア計
算を実行し、そのスコア計算の結果に基づいて認識単位
の系列の中でスコアの最も高い認識単位の系列を選択
し、その入力音声の認識結果を決定するためのプログラ
ムが記録された記録媒体。
【請求項２５】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアの推定値を計算するスコア計算
し、１回目は認識単位の系列の中で経路の制約を緩めた
スコアの推定値を求め、２回目は１回目で求めたスコア
の推定値に基づいて認識単位の完全な系列の中で最もス
コアの高い認識単位の系列を探索して求め、１回目の認
識単位の系列の中で経路の制約を緩めたスコアの推定値
を計算する事に際して、その多次元の入力ベクトルに対
して評価値最大の分岐確率密度のベストファースト探索
を実行し、その評価値最大をとる要素分布の確率は前記
ベストファースト探索の結果として計算された確率を用
い、その他の要素分布の確率についてはベストファース
ト探索の途中次元までの評価値を用いて認識単位のスコ
ア計算を実行して、認識結果を決定するためのプログラ
ムが記録された記録媒体。
【請求項２６】入力音声を分析して多次元の入力ベク
トルに変換し、その多次元の入力ベクトルに対して、複
数の多次元の連続分布からなる混合連続確率分布に基づ
いて認識単位のスコアを計算し、１回目は認識単位の系
列の中で経路の制約を緩めたスコアの推定値を求め、２
回目は１回目で求めたスコアの推定値に基づいて認識単
位の完全な系列の中で最もスコアの高い認識単位の系列
を探索して求め、１回目の認識単位の系列の中で経路の
制約を緩めたスコアの推定値を計算する事に際して、そ
の多次元の入力ベクトルに対して、評価値の大きい方か
らＮ個の分岐確率密度のベストファースト探索を実行
し、その評価値の大きい方からＮ個の要素分布の確率は
前記ベストファースト探索の結果として計算された評価
値の大きい方からＮ個の要素分布の確率を用い、その他
の要素分布の確率についてはベストファースト探索の途
中次元までの評価値を用いて認識単位のスコア計算を実
行して、認識結果を決定するためのプログラムが記録さ
れた記録媒体。