JP2005156593A

JP2005156593A - 音響モデル作成方法、音響モデル作成装置、音響モデル作成プログラムおよび音声認識装置

Info

Publication number: JP2005156593A
Application number: JP2003390681A
Authority: JP
Inventors: Masanobu Nishitani; 正信西谷; Yasunaga Miyazawa; 康永宮澤; Hiroshi Matsumoto; 弘松本; Kazutada Yamamoto; 一公山本
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-11-20
Filing date: 2003-11-20
Publication date: 2005-06-16
Also published as: US20050154589A1

Abstract

【課題】各ＨＭＭの状態数の最適化を行うことで、認識性能の向上を図る。
【解決手段】音節ＨＭＭを構成する状態数がある値から最大状態数までの複数種類の状
態数に設定されたそれぞれの音節ＨＭＭに対して、それぞれの状態数に設定されたそれぞ
れの音節ＨＭＭごとに記述長最小基準を用いて記述長を求める記述長計算部６と、この記
述長計算手段６により求められた記述長が最小となる状態数を有するＨＭＭを選択するＨ
ＭＭ選択部８と、この音節ＨＭＭ選択部８で選択された音節ＨＭＭを学習用音声データを
用いて再学習するＨＭＭ再学習部９とを有する。
【選択図】図１

Description

本発明は、音響モデルとして混合連続分布型ＨＭＭ（隠れマルコフモデル）を作成する
音響モデル作成方法、音響モデル作成装置、音響モデル作成プログラムおよび音声認識装
置に関する。

音声認識においては、音響モデルとして音素ＨＭＭや音節ＨＭＭを用い、この音素ＨＭ
Ｍや音節ＨＭＭを連結して、単語、文節、文といった単位の音声言語を認識する方法が一
般的に行われている。特に最近、より高い認識性能を有する音響モデルとして、混合連続
分布型ＨＭＭが広く使われている。

これら音素や音節単位のＨＭＭを作成する際は、ＨＭＭすべてについて、その状態数を
経験的にある一定数（たとえば、音素に関しては３つ、音節に関しては５つなど）に設定
してＨＭＭを作成することが一般的となっている。

このように、状態数をある一定数に設定してＨＭＭを作成すれば、音素や音節ＨＭＭの
構造は単純なものとなり、比較的容易にＨＭＭを作成することができるが、その反面、
ＨＭＭによっては、その性能の最適化が的確になされておらず、認識率の低下を招く場合
がある。

このような問題を解決するために、ＨＭＭの構造を最適化することが従来よりなされて
いる。たとえば、特開平６−２０２６８７号公報に記載の技術（以下、特許文献１の技術
という）がその一例である。

この特許文献１の技術は、ＨＭＭの各状態について、時間方向あるいはコンテキスト方
向のどちらかにおいて尤度が最大となる方向に対し、その状態の分割を行うことを繰り返
し、それによって、ＨＭＭの構造の詳細化して最適化を図るようにしている。

また、ＨＭＭの構造を最適化する他の例として、記述長最小基準（ＭＤＬ基準、ＭＤＬ
：ＭｉｎｉｍｕｍＤｅｓｃｒｉｐｔｉｏｎＬｅｎｇｔｈ）を利用したものがある。そ
の一例として、たとえば、「“ＭＤＬ基準を用いた逐次状態分割法による音響モデル自動
構造決定”實廣貴敏、松井知子、中村哲（ＡＴＲ音声言語コミュニケーション研究所）、
信学技報、ＳＰ２００２−１２７、２００２年１２月、３７頁〜４２頁」（以下、非特許
文献１の技術という）が知られている。

この非特許文献１の技術は、上述した特許文献１の技術における状態の分割において、
その分割方向を時間軸方向とするかコンテキスト方向とするかを、ＭＤＬ基準を用いて決
めるものであり、ＨＭＭの各状態ごとにＭＤＬ基準を計算している。

なお、このＭＤＬ基準は、モデル集合｛１，・・・，ｉ，・・・，Ｉ｝とデータχ^Ｎ＝
｛χ_１，・・・，χ_Ｎ｝が与えられたときのモデルｉを用いた記述長ｌｉ（χ^Ｎ）が、特
許請求の範囲の請求項２に記載した（１）式のように定義される。ＭＤＬ基準は、この記
述長ｌｉ（χ^Ｎ）が最小であるモデルが最適なモデルであるとしている。
特開平６−２０２６８７号公報 "ＭＤＬ基準を用いた逐次状態分割法による音響モデル自動構造決定"實廣貴敏、松井知子、中村哲（ＡＴＲ音声言語コミュニケーション研究所）、信学技報、ＳＰ２００２−１２７、２００２年１２月、３７〜４２頁

上述した特許文献１の技術によれば、確かに、ある程度の最適化がなされたＨＭＭを得
ることができ、それによって、認識率の向上も期待できる。しかしながら、ＨＭＭの構造
が従来のＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型ＨＭＭと比べて複雑なものとなる。

これによって、認識アルゴリズムも複雑となり、認識に要する時間も増大する。このこ
とは、計算量やメモリ量の増大につながり、特に低価格の要求される機器のようにハード
ウエアリソースに大きな制限のある機器への適用は難しいという問題がある。

このような問題は、特許文献１の技術でも同様のことが言える。また、この非特許文献
１の技術は、ＨＭＭの各状態ごとにＭＤＬ基準を求めるものであるので、ＨＭＭの最適化
を行うための計算量が多くなるという問題もある。

そこで、本発明は、ＨＭＭの構造を複雑化することなくＨＭＭの最適化を可能とし、そ
れによって、少ない計算量やメモリ量で認識率の向上が図れる音響モデル作成方法、音響
モデル作成装置、音響モデル作成プログラムを提供するとともに、その音響モデルを用い
ることにより、演算能力やメモリ容量などハードウエア資源に大きな制約のある安価なシ
ステムに適用できる音声認識装置を提供することを目的としている。

（１）本発明の音響モデル作成方法は、ＨＭＭの状態数を最適化して、その最適化され
た状態数を有するＨＭＭを学習用音声データを用いて再学習する音響モデル作成方法であ
って、ＨＭＭの状態数をある値から最大状態数までの複数種類の状態数に設定し、この複
数種類の状態数に設定されたそれぞれのＨＭＭごとに記述長最小基準を用いて記述長を求
めるステップと、該記述長が最小となる状態数を有するＨＭＭを選択するステップと、該
選択されたＨＭＭを学習用音声データを用いて再学習するステップとを含むことを特徴と
している。

これによって、それぞれのＨＭＭにおいて最適な状態数の設定が可能となり、認識性能
を改善することができる。特に、本発明のＨＭＭは、Ｌｅｆｔ−ｔｏ−Ｒｉｇｈｔ型の単
純な構造のＨＭＭであるのが大きな特長であり、それによって、認識アルゴリズムも単純
化することができる。また、単純な構造のＨＭＭであるので、低価格や低消費電力化にも
寄与でき、かつ、汎用の認識ソフトウエアを利用することも容易であることから、幅広い
認識装置への適用が可能となり、互換性に優れたものとすることができる。

（２）前記（１）に記載の音響モデル作成方法において、前記記述長最小基準は、モデ
ル集合｛１，・・・，ｉ，・・・，Ｉ｝とデータχ^Ｎ＝｛χ_１，・・・，χ_Ｎ｝（ただし
、Ｎはデータ長）が与えられたときのモデルｉを用いた記述長ｌｉ（χ^Ｎ）が、一般的な
式として、前記（１）式で表され、この記述長を求める一般的な式において、前記モデル
集合｛１，・・・，ｉ，・・・，Ｉ｝は、ＨＭＭにおける状態数がある値から最大状態数
までの複数種類に設定されたＨＭＭの集合であるとして考え、ここで、前記状態の種類の
数がＩ種類（ＩはＩ≧２の整数）であるとき、前記１，・・・，ｉ，・・・，Ｉは、１番
目の種類からＩ番目の種類までのそれぞれの種類を特定するための符号であって、前記（
１）式を、前記１，・・・，ｉ，・・・，Ｉのうちのｉ番目の状態数の種類を有するＨＭ
Ｍの記述長を求める式として用いるようにしている。

これによって、あるＨＭＭの状態数をある値から最大状態数までの様々な状態数に設定
したとき、それぞれの状態数に設定されたＨＭＭに対する記述長を容易に計算することが
できる。そして、その計算結果から、記述長最小となる状態数を有するＨＭＭを選択する
ことで、そのＨＭＭの最適な状態数を設定することができる。

（３）前記（２）の音響モデル作成方法において、前記記述長を求める式として、前記
（１）式を変形した前記（２）式を用いることが好ましい。
この（２）式は、記述長を求める一般的な式としての（１）式において、右辺の第２項
に重み係数αを乗じ、かつ、定数を表す右辺の第３項を省略したものである。このように
、定数を表す右辺の第３項を省略することによって、記述長を求める計算をより簡略化す
ることができる。

（４）前記（３）の音響モデル作成方法において、前記（２）式のαは、最適な状態数
を得るための重み係数としている。
この最適な状態数をえるための重み係数αを可変することによって、第２項の単調増加
の傾きを可変（αを大きくするほど傾きが大きくなる）することができ、記述長ｌｉ（χ
^Ｎ）を可変させることができる。これによって、たとえば、αをより大きくなるように設
定すれば、状態数がより小さい場合に記述長ｌｉ（χ^Ｎ）が最小になるように調整するこ
とができる。

（５）前記（３）または（４）の音響モデル作成方法において、前記（２）式における
βは、分布数×特徴ベクトルの次元数×状態数で表されるものである。

このように、前記（２）式におけるβを、分布数×特徴ベクトルの次元数×状態数とす
ることによって、それぞれのＨＭＭの特性を的確に反映させた記述長を得ることができる
。

（６）前記（２）から（５）に記載の音響モデル作成方法において、前記データχ^Ｎは
、前記ある値から最大状態数までのうちのある任意の状態数を有するＨＭＭと多数の学習
用音声データとをそれぞれの状態ごとに時系列的な対応付けを行って得られるそれぞれの
学習用音声データの集合としている。

このように、ある任意の状態数を有するそれぞれのＨＭＭを用い、そのＨＭＭとそのＨ
ＭＭに対応する多数の学習用音声データとを時系列的な対応付けを行って得られた学習用
音声データを（１）式のデータχ^Ｎとして用いて記述長を計算することで精度よく記述長
を求めることができる。

（７）前記（１）から（６）のいずれかの音響モデル作成方法において、前記ＨＭＭは
、音節ＨＭＭであることが好ましい。
本発明の場合、音節ＨＭＭとすることによって演算量の削減などの効果が得られる。た
とえば、音節の数を１２４音節とした場合、音素の数（２６から４０個程度）に比べると
、数の面では音節の方が多いが、音素ＨＭＭの場合、トライフォンモデルを音響モデル単
位として用いることが多く、このトライフォンモデルは、ある音素の前後の音素環境を考
慮して１つの音素として構成されるので、あらゆる組み合わせを考慮すると、そのモデル
数は数千個となり、音響モデル数としては音節モデルの方がはるかに少なくなる。

ちなみに、音節ＨＭＭの場合、それぞれの音節ＨＭＭを構成する状態数は子音を含む音
節の場合が平均的には５個程度、母音だけで構成される音節の場合が平均的は３個程度で
あるのが一般的であるので、合計の状態数は約６００程度であるが、トライフォンモデル
の場合は、状態数の合計は、モデル間で状態共有を行い、状態数を削減した場合であって
も数千個にものぼる。

このことから、ＨＭＭを音節ＨＭＭとすることによって、記述長を求める計算は勿論の
こと、全般的な演算量の削減を図ることができ、また、トライフォンモデルに遜色ない認
識精度が得られるといった効果が得られる。なお、本発明は音素ＨＭＭにも適用できるこ
とは勿論である。
（８）前記（７）記載の音響モデル作成方法において、前記音節ＨＭＭにおいて、同一子
音や同一母音を有する複数の音節ＨＭＭに対し、これらの音節ＨＭＭを構成する状態のう
ち、同一子音を有する音節ＨＭＭ同士においては、それら音節ＨＭＭにおける初期状態ま
たはこの初期状態を含む複数の状態を共有し、同一母音を有する音節ＨＭＭ同士において
は、それら音節ＨＭＭにおける自己ループを有する状態の最終状態またはこの最終状態を
含む複数の状態を共有することも可能である。

これによって、パラメータ数のより一層の削減が可能となり、それによって、演算量の
削減、使用メモリ量の削減、処理速度の高速化がより一層図れ、さらに、低価格、低消費
電力化の効果もより大きなものとなる。

（９）本発明の音響モデル作成装置は、ＨＭＭの状態数を最適化して、その最適化され
た状態数を有するＨＭＭを学習用音声データを用いて再学習する音響モデル作成装置であ
って、ＨＭＭの状態数がある値から最大状態数までの複数種類の状態数に設定されたそれ
ぞれのＨＭＭごとに記述長最小基準を用いて記述長を求める記述長計算手段と、該記述長
計算手段により求められた記述長が最小となる状態数を有するＨＭＭを選択するＨＭＭ選
択手段と、このＨＭＭ選択手段で選択されたＨＭＭを学習用音声データを用いて再学習す
るＨＭＭ再学習手段とを有することを特徴としている。
この音響モデル作成装置においても、前記（１）に記載の音響モデル作成方法と同様の
効果が得られる。

（１０）本発明の音響モデル作成プログラムは、ＨＭＭの状態数を最適化して、その最
適化された状態数を有するＨＭＭを学習用音声データを用いて再学習する音響モデル作成
プログラムであって、この音響モデル作成プログラムは、ＨＭＭの状態数がある値から最
大状態数までの複数種類の状態数に設定されたそれぞれのＨＭＭごとに記述長最小基準を
用いて記述長を求める手順と、該記述長が最小となる状態数を有するＨＭＭを選択する手
順と、該選択されたＨＭＭを学習用音声データを用いて再学習する手順とを含むことを特
徴としている。
この音響モデル作成プログラムにおいても、前記（１）に記載の音響モデル作成方法と
同様の効果が得られる。

また、前記（９）に記載の音響モデル作成方法および前記（１０）に記載の音響モデル
作成プログラムにおいても、前記記述長最小基準は、モデル集合｛１，・・・，ｉ，・・
・，Ｉ｝とデータχ^Ｎ＝｛χ_１，・・・，χ_Ｎ｝（ただし、Ｎはデータ長）が与えられた
ときのモデルｉを用いた記述長ｌｉ（χ^Ｎ）が、一般的な式として、前記（１）式で表さ
れ、この記述長を求める一般的な式において、前記モデル集合｛１，・・・，ｉ，・・・
，Ｉ｝は、ＨＭＭにおける状態数がある値から最大状態数までの複数種類に設定されたＨ
ＭＭの集合であるとして考え、ここで、前記状態の種類の数がＩ種類（ＩはＩ≧２の整数
）であるとき、前記１，・・・，ｉ，・・・，Ｉは、１番目の種類からＩ番目の種類まで
のそれぞれの種類を特定するための符号であって、前記（１）式を、前記１，・・・，ｉ
，・・・，Ｉのうちのｉ番目の状態数の種類を有するＨＭＭの記述長を求める式として用
いるようにしている。

また、前記記述長を求める式として、前記（１）式を変形した前記（２）式を用いるこ
とが好ましい。
なお、前記（２）式のαは、最適な状態数を得るための重み係数としている。また、前
記（２）式におけるβは、分布数×特徴ベクトルの次元数×状態数で表されるものである
。

また、前記データχ^Ｎは、前記ある値から最大状態数までのうちのある任意の状態数を
有するＨＭＭと多数の学習用音声データとをそれぞれの状態ごとに時系列的な対応付けを
行って得られるそれぞれの学習用音声データの集合としている。

また、前記ＨＭＭは音節ＨＭＭであることが好ましい。また、前記音節ＨＭＭにおいて
、同一子音や同一母音を有する複数の音節ＨＭＭに対し、これらの音節ＨＭＭを構成する
状態のうち、同一子音を有する音節ＨＭＭ同士においては、それら音節ＨＭＭにおける初
期状態またはこの初期状態を含む複数の状態を共有し、同一母音を有する音節ＨＭＭ同士
においては、それら音節ＨＭＭにおける自己ループを有する状態の最終状態またはこの最
終状態を含む複数の状態を共有することも可能である。

（１１）本発明の音声認識装置は、入力音声を特徴分析して得られた特徴データに対し
音響モデルとしてＨＭＭを用いて前記入力音声を認識する音声認識装置であって、前記音
響モデルとしてのＨＭＭとして、前記（１）から（８）のいずれかに記載の音響モデル作
成方法によって作成されたＨＭＭを用いることを特徴としている。

このように、本発明の音声認識装置は、上述の本発明の音響モデル作成方法によって作
成された音響モデル（ＨＭＭ）用いる。このＨＭＭがたとえば音節ＨＭＭであるとすれば
、それぞれの音節ＨＭＭごとに最適な状態数を有しているので、すべての状態数が一定と
なっているＨＭＭに比べ、それぞれの音節ＨＭＭにおけるパラメータ数を大きく削減する
ことができ、認識性能も向上する。また、この音節ＨＭＭは、Ｌｅｆｔ−ｔｏ−Ｒｉｇｈ
ｔ型の単純な構造の音節ＨＭＭであるので、認識アルゴリズムも単純化することができ、
演算量の削減、使用メモリ量の削減が可能となり、処理速度の高速化、低価格化、低消費
電力化も可能となる。これによって、ハードウエア資源に大きな制約のある小型・安価な
システムに特に有用な音声認識装置とすることができる。

以下、本発明の実施の形態について説明する。なお、この実施形態で説明する内容は、
本発明の音響モデル作成方法、音響モデル作成装置、音響モデル作成プログラムおよび音
声認識装置の説明をすべて含むものである。また、本発明は音素ＨＭＭと音節ＨＭＭの両
方に適用可能であるが、以下に示す実施形態では音節ＨＭＭについて説明する。

〔実施形態１〕
まず、実施形態１として、それぞれの音節（ここでは１２４音節とする）に対応する音
節ＨＭＭの状態数を最適化する例について説明する。

この実施形態１の全体的な処理の流れの概略について図１から図８を参照しながら説明
する。
まず、１２４音節に対応する個々の音節ＨＭＭを構成するそれぞれの状態（自己ループ
を有する状態）の数（状態数）を、ある値から最大状態数まで設定した音節ＨＭＭセット
を作成する。なお、このとき、それぞれの状態における分布数は、任意の値とすることが
できるが、この実施形態１では、分布数を６４とする。また、状態数の下限値（最小状態
数）は１で上限値（最大状態数）は任意の値であるが、この実施形態１では、状態数３、
状態数４、・・・、状態数９の７種類の状態数を設定する。

すなわち、分布数６４で状態数を３としたすべての音節ＨＭＭからなる音節ＨＭＭセッ
ト、分布数６４で状態数４としたすべての音節ＨＭＭからなる音節ＨＭＭセット３１、分
布数６４で状態数４としたすべての音節ＨＭＭからなる音節ＨＭＭセット３２（図１では
図示せず）というように、この場合、それぞれの音節ＨＭＭについて、上述の７種類の状
態数３，４，・・・，９を有する７種類の音節ＨＭＭセット３１，３２，・・・，３７を
作成する。なお、この実施形態では、状態数を７種類として説明するが、７種類に限られ
るものではなく、また、最小状態数も３に限られるものではなく、最大状態数も９に限ら
れるものではない。

そして、この７種類の音節ＨＭＭセットに属するすべての音節ＨＭＭに対して、ＨＭＭ
学習部２がそれぞれの音節ＨＭＭのパラメータについて最尤推定法を用いてそれぞれ学習
し、状態数３から最大状態数（この場合は状態数９）までの学習済みの音節ＨＭＭを作成
する。すなわち、この実施の形態では、状態数は状態数３、状態数４、・・・、状態数９
の７種類としているので、それらに対応した７種類の学習済みの音節ＨＭＭセット３１〜
３７が作成される。これについて図２により説明する。

ＨＭＭ学習部２では、学習用音声データ１と音節ラベルデータ１１（この音節ラベルデ
ータはそれぞれの学習用音声データを構成する音節列が記述されている）を用いて最尤推
定法によってそれぞれの音節（音節/a/、音節/ka/、・・・など１２４音節）について状
態数を３，４，・・・，９の７種類とした個々の音節ＨＭＭセットの学習を行い、それぞ
れの状態数ごとの音節ＨＭＭセット３１，３２，・・・，３７を作成する。

これによって、状態数３の音節ＨＭＭセット３１には、音節/a/の音節ＨＭＭ、音節/ka
/の音節ＨＭＭなど、１２４音節それぞれの音節について学習済みの音節ＨＭＭが存在し
、また、状態数４の音節ＨＭＭセット３２には、同様に、音節/a/の音節ＨＭＭ、音節/ka
/の音節ＨＭＭなど、１２４音節それぞれの音節について学習済みの音節ＨＭＭが存在す
るというように、状態数３、状態数４、・・・、状態数９のそれぞれの音節ＨＭＭセット
３１，３２，・・・，３７には、１２４音節それぞれの音節について学習済みの音節ＨＭ
Ｍが存在する。

この図２において、自己ループを有する状態の数が３個（状態数３）の音節ＨＭＭセッ
ト３１における音節/ａ/の音節ＨＭＭの各状態Ｓ０，Ｓ１，Ｓ２の下に描かれている楕円
枠Ａ内のガウス分布はそれぞれの状態における分布数の例を示すもので、前述したように
、この実施形態では、すべての音節ＨＭＭにおけるそれぞれの状態の分布数はすべて６４
としているので、各状態Ｓ０，Ｓ１，Ｓ２はともに同じ分布数を有している。

なお、この図２では、状態数３の音節ＨＭＭセット３１における音節/ａ/の音節ＨＭＭ
の各状態Ｓ０，Ｓ１，Ｓ２についてのみ分布数が図示され、他の音節ＨＭＭについては図
示を省略してあるが、どの音節ＨＭＭもそれぞれ６４の分布数を有している。

このように、ＨＭＭ学習部２の学習によって、状態数３の音節ＨＭＭセット３１、状態
数４の音節ＨＭＭセット３２、・・・、最大状態数の音節ＨＭＭセット（この場合、状態
数９の音節ＨＭＭセット３７）の７種類の状態数に対応するそれぞれの音節ＨＭＭセット
３１〜３７が作成される。

図１に説明が戻って、ＨＭＭ学習部２の学習によって学習された状態数３の音節ＨＭＭ
セット３１、状態数４の音節ＨＭＭセット３２（図１では図示せず）、・・・、状態数９
の音節ＨＭＭセット３７のうち、任意の音節ＨＭＭセット（できるだけ高精度のものが望
ましい）をアライメントデータ作成用音節ＨＭＭセットとして選択する。

そして、アライメントデータ作成部４によって、アライメントデータ作成用音節ＨＭＭ
セットに属するすべての音節ＨＭＭ（１２４音節に対応するそれぞれの音節ＨＭＭ）と学
習用音声データ１と音節ラベルデータ１１を用いてビタビ（Viterbi）アライメントをと
り、アライメントデータ作成用音節ＨＭＭセットのそれぞれの音節ＨＭＭと学習用音声デ
ータ１とのアライメントデータ５を作成する。これについて図３および図４を参照しなが
ら説明する。

なお、図３はこのアライメントデータ作成処理を説明するに必要な部分だけを図１から
取り出して示すものであり、また、図４はアライメントデータ５を作成するために、アラ
イメントデータ作成用音節ＨＭＭセットに属するそれぞれの音節ＨＭＭと学習用音声デー
タ１との対応付けを行う処理の具体例を説明するものである。

なお、アライメントデータ作成用音節ＨＭＭセットは、上述したように、できるだけ高
精度な音節ＨＭＭセットが望ましいが、この図３および図４では、説明の都合上、状態数
３の音節ＨＭＭセット３１から状態数９の音節ＨＭＭセット３７のうち、状態数３の音節
ＨＭＭセット３１が選択された例が示されている。

アライメントデータ作成部４では、すべての学習用音声データ１と音節ラベルデータ１
１と状態数３の音節ＨＭＭセット３１を用いて、図４の（ａ），（ｂ），（ｃ）に示すよ
うに、状態数３の音節ＨＭＭセット３１のそれぞれの音節ＨＭＭとその音節に対応する学
習用音声データ１とのアライメントをとる。

たとえば、図４（ｂ）に示すように、「秋（あき）の・・・」という学習用音声データ
例に対してアライメントをとると、その学習用音声データ「あ」、「き」、「の」、・・
・において、状態数３の音節/a/の音節ＨＭＭは、学習用音声データの区間ｔ１に対応し
、音節/ｋｉ/の音節ＨＭＭは、学習用音声データにおける区間ｔ２に対応するというよう
な対応付けを行って、その対応付けデータをアライメントデータ５とする。このとき、ア
ライメントデータ５の１つとして、それぞれの対応するデータ区間ごとにそのデータ区間
の開始フレーム番号と終了フレーム番号が取得される。

また、図４（ｃ）に示すように、学習用音声データの一例として、「・・・試合（しあ
い）・・・」という学習用音声データにおいて、状態数３の音節/a/の音節ＨＭＭは、学
習用音声データにおける区間ｔ１１に対応するというような対応付けを行って、その対応
付けデータをアライメントデータ５とする。同様に、アライメントデータ５の１つとして
、それぞれの対応するデータ区間ごとにそのデータ区間の開始フレーム番号と終了フレー
ム番号が取得される。

次に、このアライメントデータ作成部４によって求められた状態数３の音節ＨＭＭセッ
トにおけるそれぞれの音節ＨＭＭの学習用音声データとのアライメントデータ５を用いて
、ある状態数から最大状態数までの音節ＨＭＭセット（この場合、状態数３、状態数４、
・・・、状態数９の７種類の状態数に対応するそれぞれの音節ＨＭＭセット３１〜３７）
について、すべての音節ＨＭＭの記述長を、図１に示す記述長計算部６によって求める。
これについて図５および図６を参照しながら説明する。

図５は記述長計算部６の説明に必要な部分を図１から取り出して示すもので、状態数３
から状態数９のそれぞれの音節ＨＭＭセット３１〜３７のパラメータと、学習用音声デー
タ１と、それぞれの音節ＨＭＭと学習用音声データ１とのアライメントデータ５とが記述
長計算部６に与えられる。

そして、この記述長計算部６によって、状態数３の音節ＨＭＭセットに属するそれぞれ
の音節ＨＭＭの記述長、状態数４の音節ＨＭＭセットに属するそれぞれの音節ＨＭＭの記
述長、・・・、状態数９の音節ＨＭＭセットに属するそれぞれの音節ＨＭＭの記述長がそ
れぞれ計算される。

すなわち、状態数３の音節ＨＭＭセット３１のそれぞれの音節ＨＭＭにおける記述長、
状態数４の音節ＨＭＭセット３２のそれぞれの音節ＨＭＭにおける記述長というように、
状態数３の音節ＨＭＭセット３１のそれぞれの音節ＨＭＭにおける記述長から状態数９の
それぞれの音節ＨＭＭにおける記述長が得られる。そして、これら、状態数３の音節ＨＭ
Ｍセット３１のそれぞれの音節ＨＭＭにおける記述長から状態数９のそれぞれの音節ＨＭ
Ｍにおける記述長は、状態数３の音節ＨＭＭセット３１から状態数９の音節ＨＭＭセット
３７のそれぞれの音節ＨＭＭセットごとに、記述長格納部７１〜７７に保持される。なお
、この記述長の計算の仕方については後に説明する。

図６は図５で求められた状態数３の音節ＨＭＭセット３１に属するそれぞれの音節ＨＭ
Ｍにおける記述長（記述長格納部７１に保持されているそれぞれの音節ＨＭＭの記述長）
から状態数９の音節ＨＭＭセット３７のそれぞれの音節ＨＭＭにおける記述長（記述長格
納部７７に保持されているそれぞれの音節ＨＭＭの記述長）において、たとえば、音節/a
/の音節ＨＭＭについてそれぞれ記述長が求められた様子を示すものである。

この図６からもわかるように、状態数３の音節/a/の音節ＨＭＭの記述長が求められ、
状態数４の音節/a/の音節ＨＭＭについて記述長（図示せず）が求められるというように
、状態数３から状態数９までの７種類の状態数に対応する音節/a/の音節ＨＭＭについて
、それぞれ記述長が求められる。なお、この図６では、７種類の分布数のうち状態数３と
状態数９の音節/a/の音節ＨＭＭについてのみが図示されている。
その他の音節についても同様に、状態数３から状態数９までの７種類の状態数に対応す
るそれぞれの音節ＨＭＭについて、それぞれ記述長が求められる。

次に、ＨＭＭ選択部８が上述の記述長計算部６で計算された状態数３の音節ＨＭＭセッ
ト３１に対して求められた記述長から状態数９の音節ＨＭＭセット３７に対して求められ
た記述長を用い、すべての音節ＨＭＭのそれぞれの音節ＨＭＭごとに、それぞれの音節Ｈ
ＭＭに対して求められた記述長が最小となる状態数を有する音節ＨＭＭを選択する。これ
を図７および図８を参照しながら説明する。

図７はＨＭＭ選択部８の説明に必要な部分を図１から取り出して示すもので、記述長計
算部６で計算された状態数３の音節ＨＭＭセット３１の記述長（記述長格納部７１に保持
されている各状態の記述長）から状態数９の音節ＨＭＭセット３７の記述長（記述長格納
部７７に保持されている各状態の記述長）について、それぞれの音節ＨＭＭごとに、どの
状態数を有する音節ＨＭＭの記述長が最小となるかを判断し、記述長が最小となる状態数
を有する音節ＨＭＭをＨＭＭ選択部８が選択する。

ここでは、音節/a/の音節ＨＭＭと音節/ka/の音節ＨＭＭについて、状態数３から状態
数９までの７種類の状態数に対応するこれら音節/a/の音節ＨＭＭと音節/ka/の音節ＨＭ
Ｍごとに、どの状態数を有する音節ＨＭＭの記述長が最小（記述長最小）となるかを判断
し、記述長最小となる状態数を有する音節ＨＭＭを選択する。この選択処理を図８によっ
て説明する。

まず、音節/a/の音節ＨＭＭについて、状態数３から状態数９の中で、どの状態数を有
する音節/a/の音節ＨＭＭが記述長最小であるかを判断した結果、状態数３の音節/a/の音
節ＨＭＭが記述長最小であると判断されたとする。これを破線のＢ１で示す。

このように、この音節/a/の音節ＨＭＭについて、状態数３から状態数９までのそれぞ
れの音節ＨＭＭごとに、どの状態数を有するＨＭＭの記述長が最小となるかを判断すると
、この場合、状態数３の音節/a/の音節ＨＭＭが記述長最小であると判断されたことにな
る。

同様に、音節/ka/の音節ＨＭＭについて、状態数３から状態数９の中でどの状態数を有
するＨＭＭが記述長最小かを判断した結果、状態数９を有するＨＭＭが記述長最小である
と判断されたとする。これを破線のＢ２で示す。

このような処理をすべての音節ＨＭＭについて行い、それぞれの音節ＨＭＭについて、
状態数３から状態数９の中でどの状態数を有するＨＭＭが記述長最小かを判断し、それぞ
れの音節ＨＭＭについて、記述長最小となる状態数を有する音節ＨＭＭを選択する。
以上のようにして選択された記述長最小となる状態数を有するすべての音節ＨＭＭは、
それぞれの音節ＨＭＭにおいて、最適な状態数を有する音節ＨＭＭであるといえる。

そして、ＨＭＭ再学習部９は、状態数３の音節ＨＭＭセット３１，・・・，状態数９の
音節ＨＭＭセット３７の中から、ＨＭＭ選択部８によって選択された最適な状態数を有す
る音節ＨＭＭをそれぞれ取得して、これら最適な状態数を有する音節ＨＭＭの全パラメー
タに対し、学習用音声データ１と音節ラベルデータ１１を用いて最尤推定法によって再学
習する。これによって、最適化された状態数を持ち、かつ、最適なパラメータとなった音
節ＨＭＭセット（１２４音節に対応するそれぞれの音節ＨＭＭからなる音節ＨＭＭセット
）１０が得られる。

次に、本発明で用いるＭＤＬ（記述長最小）基準について説明する。このＭＤＬ基準に
ついては、たとえば、「韓太舜著“岩波講座応用数学１１、情報と符号化の数理”岩波書
店（１９９４），ｐｐ２４９−２７５」などに述べられている公知の技術であり、従来技
術の項でも述べたように、モデルの集合｛１，・・・，ｉ，・・・，Ｉ｝とデータχ^Ｎ＝
｛χ_１，・・・，χ_Ｎ｝（ただし、Ｎはデータ長）が与えられたときのモデルｉを用いた
記述長ｌｉ（χ^Ｎ）は、前述した（１）式のように定義され、このＭＤＬ基準は、この記
述長ｌｉ（χ^Ｎ）が最小であるモデルが最適なモデルであるとしている。

本発明においては、ここでいうモデル集合｛１，・・・，ｉ，・・・，Ｉ｝は、あるＨ
ＭＭにおいて状態数がある値から最大状態数までの複数種類に設定されたあるＨＭＭの集
合であるとして考える。なお、状態数がある値から最大状態数までの複数種類に設定され
ているときの状態数の種類がＩ種類（ＩはＩ≧２の整数）であるとしたとき、上述の１，
・・・，ｉ，・・・，Ｉは、１種類からＩ種類までそれぞれの種類を特定するための符号
であって、上述の（１）式を、１，・・・，ｉ，・・・，Ｉのうちのｉ番目の種類の状態
数を有するＨＭＭの記述長を求める式として用いるものである。

なお、この１，・・・，ｉ，・・・，ＩのＩは、異なる状態数を有するＨＭＭセットの
総数、すなわち、状態数が何種類あるかを表すもので、この実施の形態では、状態数は、
３，４，・・・，９の７種類としているので、Ｉ＝７となる。

このように、１，・・・，ｉ，・・・，Ｉは、１種類からＩ種類までのいずれかの種類
を特定するための符号であるので、この実施の形態での例では、状態数３に対しては状態
数の種類を表す符号として、１，・・・，ｉ，・・・，Ｉのうち１が与えられ、状態数の
種類が１番目であることを示す。また、状態数４に対しては状態数の種類を表す符号とし
て、１，・・・，ｉ，・・・，Ｉのうち２が与えられ、状態数の種類が２番目であること
を示す。また、状態数５に対しては状態数の種類を表す符号として、１，・・・，ｉ，・
・・，Ｉのうち３が与えられ、状態数の種類が３番目であることを示す。また、状態数９
に対しては状態数の種類を表す符号として、１，・・・，ｉ，・・・，Ｉのうち７が与え
られ、状態数の種類が７番目であることを示す。このように、状態数３，４，・・・，９
に対して、１，２，３，・・・，７というような状態数の種類を特定するための符号が与
えられる。

ここで、音節/a/の音節ＨＭＭについて考えると、図８に示すように、状態数３から状
態数９までの７種類の状態数を有する音節ＨＭＭの集合が１つのモデル集合となる。

したがって、上述の（１）式のように定義された記述長ｌｉ（χ^Ｎ）は、本発明におい
ては、ある状態数の種類が１，・・・，ｉ，・・・，Ｉのうちのｉ番目の種類に設定した
ときの音節ＨＭＭの記述長ｌｉ（χ^Ｎ）であるとして、前述の（２）式のように定義する
。

この（２）式は、前述の（１）式における右辺の最終項である第３項のlogＩは定数で
あるのでそれを省略し、かつ、（１）式における右辺の第２項である（βｉ／２）logＮ
に重み係数αを乗じている点が（１）式と異なっている。なお、上述の（２）式において
は、（１）式における右辺の最終項である第３項のlogＩを省略したが、これを省略せず
にそのまま残した式としてもよいことは勿論である。

また、βｉは状態数の種類がｉ番目の状態数を有するＨＭＭの次元（自由度）であって
、分布数×特徴ベクトルの次元数×状態数で表される。なお、この特徴ベクトルの次元数
は、ここでは、ケプストラム（ＣＥＰ）次元数＋デルタケプストラム（ＣＥＰ）次元数＋
デルタパワー（ＰＯＷ）次元数である。

また、αは最適な状態数を調整するための重み係数であり、このαを変えることによっ
て、記述長ｌｉ（χ^Ｎ）を変化させることができる。すなわち、図９（ａ），（ｂ）に示
すように、単純に考えれば、（２）式の右辺の第１項は、状態数の増加に伴ってその値が
減少し（細い実線で示す）、（２）式における右辺の第２項は、状態数の増加に伴って単
調増加（太い実線で示す）し、これら第１項と第２項の和で求められる記述長ｌｉ（χ^Ｎ
）は、破線で示すような値をとる。

したがって、αを可変することによって、第２項の単調増加の傾きを可変（αを大きく
するほど傾きが大きくなる）することができるので、（２）式における右辺の第１項と第
２項の和で求められる記述長ｌｉ（χ^Ｎ）は、αの値を変化させることによって変化させ
ることができる。これによって、たとえば、αを大きくすると、図９（ａ）は同図（ｂ）
のようになり、状態数がより小さい場合に記述長ｌｉ（χ^Ｎ）が最小になるように調整す
ることができる。

なお、（２）式におけるｉ番目の状態数を有するＨＭＭは、Ｍ個のデータ（あるフレー
ム数からなるＭ個のデータ）に対応している。すなわち、データ１の長さ（フレーム数）
をｎ１、データ２の長さ（フレーム数）をｎ２、データＭの長さ（フレーム数）をｎＭで
表せば、χ^ＮのＮは、Ｎ＝ｎ１＋ｎ２＋・・・＋ｎＭで表されるので、（２）式における
右辺の第１項は、下記の（３）式のように表される。

なお、ここでのデータ１，データ２，・・・，データＭは、状態ｉを有するＨＭＭに対
応付けられた多数の学習用音声データ１のある区間に対応するデータ（たとえば、図４で
説明したように、区間ｔ１や区間ｔ１１に対応する学習用音声データ）である。

この（３）式において、右辺のそれぞれの項は、ｉ番目の状態数を有するある音節ＨＭ
Ｍとそれぞれの学習用音声データとを対応付けたとき、その対応付けられた学習用音声デ
ータ区間に対する尤度であり、この（３）式からもわかるように、当該ｉ番目の状態数を
有するある音節ＨＭＭの尤度は、その音節ＨＭＭに対応付けられたそれぞれの学習用音声
データに対する尤度の和で表される。

ところで、上述の（２）式によって求められる記述長ｌｉ（χ^Ｎ）において、記述長ｌ
ｉ（χ^Ｎ）が最小であるモデルが最適なモデル、すなわち、ある音節ＨＭＭにおいて、記
述長ｌｉ（χ^Ｎ）が最小となる状態数を有する音節ＨＭＭが最適な状態であるとする。

すなわち、この実施の形態では、状態数を３，４，・・・，９の７種類としているので
、記述長ｌｉ（χ^Ｎ）は、ある音節ＨＭＭにおいて、状態数３（状態数の種類としては１
番目）としたときの当該状態の記述長ｌ1（χ^Ｎ）、状態数４（状態数の種類としては２
番目）としたときの当該状態の記述長ｌ２（χ^Ｎ）、状態数５（状態数の種類としては３
番目）としたときの当該状態の記述長ｌ３（χ^Ｎ）、状態数６（状態数の種類としては４
番目）としたときの当該状態の記述長ｌ４（χ^Ｎ）、状態数７（状態数の種類としては５
番目）としたときの当該状態の記述長ｌ５（χ^Ｎ）、状態数８（状態数の種類としては６
番目）としたときの当該状態の記述長ｌ６（χ^Ｎ）、状態数９（状態数の種類としては７
番目）としたときの当該状態の記述長ｌ７（χ^Ｎ）の７種類の記述長がそれぞれ得られ、
その中から記述長が最小となる状態数を有する音節ＨＭＭを選択する。

たとえば、図８の例においては、音節/a/の音節ＨＭＭについて考えると、状態数３か
ら状態数９を有する音節ＨＭＭの記述長を（２）式によって求め、記述長最小の音節ＨＭ
Ｍを選択すると、この図８は、前述したように、状態数３を有する音節ＨＭＭが記述長最
小であるとしてこの状態数３を有する音節ＨＭＭが選択される。

また、音節/ｋａ/の音節ＨＭＭについて考えると、同様に、状態数３から状態数９を有
する状態の記述長を（２）式によって求め、記述長最小の音節ＨＭＭを選択すると、この
図８は、前述したように、状態数９を有する音節ＨＭＭが記述長最小であるとしてこの状
態数９を有する音節ＨＭＭが選択される。

以上説明したように、（２）式を用いて、それぞれの音節ＨＭＭについて、状態数３か
ら状態数９までのそれぞれの音節ＨＭＭごとに、記述長ｌｉ（χ^Ｎ）を計算して、それぞ
れの音節ＨＭＭにおいて、どの状態数を有する音節ＨＭＭの記述長が最小となるかを判断
し、記述長最小となった音節ＨＭＭを選択する。そして、それぞれの音節ＨＭＭごとに、
記述長最小となる状態数を有する音節ＨＭＭの全パラメータに対し、学習用音声データ１
と音節ラベルデータ１１を用いて最尤推定法によって再学習する。

これによって、１２４音節に対応するそれぞれの音節ＨＭＭについて、最適化された状
態数を持ち、かつ、それぞれの状態ごとに最適なパラメータが得られる。この１２４音節
に対応するそれぞれの音節ＨＭＭは、音節ＨＭＭセット１０（図１参照）として生成され
る。そして、この音節ＨＭＭセット１０に属するそれぞれの音節ＨＭＭは、状態数が最適
化されているため、十分な認識性能を確保することができ、しかも、すべての音節ＨＭＭ
で同じ状態数とした場合に比べ、パラメータ数の削減が期待でき、演算量の削減、使用メ
モリ量の削減とともに、処理速度の高速化、さらに、低価格、低消費電力化も可能となる
。

次に、本発明の発明者が行った実験例について説明する。
図１０は図４で説明したアライメントデータ作成用音節ＨＭＭとして選択されたある状
態数を有する音節ＨＭＭセットと学習用音声データ（ここでは学習用音声データの数は約
２００００としている）の対応付け（音節ラベルデータ１１も用いる）によって得られる
各音節に対応するデータ区間の開始フレームのフレーム番号と終了フレームのフレーム番
号を示すものである。

この図１０の（ａ）は、「あらゆる・・・（ａｒａｙｕｒｕ・・・）」というよ
うな音声学習用データ（これを学習用音声データ＃１とする）に対するある状態数を有す
る音節ＨＭＭセットのうちの/ａ/の音節ＨＭＭ、/ｒａ/の音節ＨＭＭ、/ｙｕ/の音節ＨＭ
Ｍ、/ｒｕ/の音節ＨＭＭをそれぞれ対応つけた場合、対応つけられたそれぞれの音節/ａ/
、/ｒａ/、/ｙｕ/、/ｒｕ/、・・・に対応するデータ区間の開始フレーム（start）と終
了フレーム（end）のフレーム番号を示すものである。

これによれば、/ａ/の音節に対応するデータ区間の開始フレーム番号は１７であって、
その終了フレーム番号は３３であり、また、/ｒａ/の音節に対応するデータ区間の開始フ
レーム番号は３３であって、その終了フレーム番号は４２である。また、/ｙｕ/の音節に
対応するデータ区間の開始フレーム番号は４２であって、その終了フレーム番号は５９で
あり、/ｒｕ/の音節に対応するデータ区間の開始フレーム番号は５９であって、その終了
フレーム番号は７２となっている。なお、この図１０において、「silＢ」は発話始端の
無音区間を表し、「silＥ」は発話終端の無音区間を表すものである。

同様に、図１０（ｂ）は、「夜空を・・・（ｙｏｚｏｒａｏ・・・）」というよ
うな音声学習用データ（これを学習用音声データ＃２とする）に対する/ｙｏ/の音節ＨＭ
Ｍ、/ｚｏ/の音節ＨＭＭ、/ｒａ/の音節ＨＭＭ、/ｏ/の音節ＨＭＭをそれぞれ対応つけた
場合、音節/ｙｏ/、/ｚｏ/、/ｒａ/、/ｏ/のそれぞれに対応するデータ区間の開始フレー
ム（start）と終了フレーム（end）のフレーム番号を示すものである。

これによれば、/ｙｏ/の音節に対応するデータ区間の開始フレーム番号は５４であって
、その終了フレーム番号は６４であり、また、/ｚｏ/の音節に対応するデータ区間の開始
フレーム番号は６４であって、その終了フレーム番号は７７である。また、/ｒａ/の音節
に対応するデータ区間の開始フレーム番号は７７であって、その終了フレーム番号は８９
であり、また、/ｏ/の音節に対応するデータ区間の開始フレーム番号は８９であって、そ
の終了フレーム番号は１０４となっている。

このような対応付けをすべての学習用音声データについて行う。なお、アライメントデ
ータ計算時には尤度も求めることもできるが、ここでは、開始フレーム番号と終了フレー
ム番号の情報が得られればよい。

この図１０に示すようなそれぞれの音節ＨＭＭ（アライメントデータ作成用音節ＨＭＭ
セットに属するすべての音節ＨＭＭ）と学習用データ用音声データとの対応付けによって
得られるそれぞれの音節に対応するデータ区間の開始フレーム番号と終了フレーム番号を
用いて、記述長計算部６では、まず、各状態数（ここでは状態数３から状態数９まで）の
音節ＨＭＭセット３１〜３７に属するそれぞれの音節ＨＭＭについて、それぞれの音節Ｈ
ＭＭごとに各フレームごと（開始フレームから終了フレームまで）の尤度を計算する。す
なわち、状態数３から状態数９のそれぞれの音節ＨＭＭについて、すべての学習用音声デ
ータの対応するフレームごと（開始フレームから終了フレームまで）の尤度を計算する。

たとえば、図１１（ａ）は状態数３の音節ＨＭＭセット３１に属するすべての音節ＨＭ
Ｍにおいて、個々の音節ＨＭＭの「あらゆる・・・（ａｒａｙｕｒｕ・・・）」と
いうような音声学習用データ＃１に対する各フレームごと（開始フレームから終了フレー
ムまで）の尤度を計算した結果を示すもので、この図１１における「score」は各音節に
対する尤度を表している。

同様に、図１１（ｂ）は状態数３の音節ＨＭＭセット３１に属するすべての音節ＨＭＭ
において、個々の音節ＨＭＭの「夜空を・・・（ｙｏｚｏｒａｏ・・・）」という
ような音声学習用データ＃２に対する各フレームごと（開始フレームから終了フレームま
で）の尤度を計算した結果を示すものである。
このような尤度計算をすべての状態数（ここでは、状態数３から状態数９）の音節ＨＭ
Ｍセットについて、用意された音声学習用データ＃１，＃２，・・・を用いて行う。

図１２は状態数３から状態数９の音節ＨＭＭセット３１〜３７について、それぞれの音
節ＨＭＭと用意された音声学習用データ＃１，＃２，・・・を用いて尤度計算を行って得
られた尤度計算結果である。

そして、この図１２に示すような尤度計算結果と図１０に示すような開始フレーム番号
と終了フレーム番号を示すデータを用いて、１２４音節/ａ/，/ｉ/，・・・について、図
１３に示すように、状態数３から状態数９のそれぞれの状態数ごとに総フレーム数と、総
尤度を求める。

なお、ある音節に対応するデータ区間の総フレーム数は、この場合、音節ＨＭＭの状態
数に関係なくそれぞれの音節に対する開始フレームと終了フレームをそれぞれの学習用音
声データごとに固定としてあるので、各状態（状態数３から状態数９）で同じとなる。た
とえば、図１３において、音節/ａ/の総フレーム数は、状態数３から状態数９それぞれに
おいてこの例では、「１１５４６７」であり、音節/ｉ/の総フレーム数は、状態数３から
状態数９それぞれにおいてこの例では、「３７８４６１」である。

また、音節/ａ/の総尤度はこの図１３では、状態数８の場合が最大であり、音節/ｉ/の
総尤度はこの図１３では、状態数５の場合が最大となっている。この図１３では、音節/
ａ/と音節/ｉ/しか図示されていないが、すべての音節について、それぞれの状態ごとの
総フレーム数と総尤度が求められる。

以上のようにして、すべての音節について、それぞれの状態ごとの総フレーム数と総尤
度が求められると、この図１３の結果と、前述の（２）式を用いて記述長を計算する。す
なわち、記述長ｌｉ（ｘ^Ｎ）を求めるための（２）式において、右辺の第１項は、総尤度
に相当し、右辺の第２項のＮは総フレーム数に相当するので、右辺の第１項には図１３に
おける総尤度、右辺の第２項のＮには図１３における総フレーム数を代入する。たとえば
、音節/ａ/で考えると、図１３からもわかるように、状態数３においては、総フレーム数
は「１１５４６７」であり、総尤度は「−７１３３５６．２３」であるので、これらを（
２）式の右辺に代入する。

ここで、βの値はモデルの次元数であって、この実験例では、分布数を１６、特徴ベク
トル次元数を２５（ケプストラムが１２次元、デルタケプストラムが１２次元、デルタパ
ワーが１次元）であるとしている。したがって、状態数３のときは、β＝１２００、状態
数４のときは、β＝１６００、状態数５のときは、β＝２０００となる。また、重み係数
αはここでは１．０としている。

これによって、状態数３の音節ＨＭＭを用いたときの音節/ａ/の記述長（これをＬ(3,a
)で表す）は、
Ｌ(3,a)＝713356.23＋1.0×（1200／2）×log（115467）＝716393.7047 （４）
と求められる。なお、総尤度は負の値として求められており（図１３参照）、また、（２
）式の右辺の第１項には負の記号が付されているので総尤度は正の値で表される。

同様にして、図１３に記述されている状態数４，状態数５，・・・，状態数８，状態数
９について、状態数４の音節ＨＭＭを用いたときの音節/ａ/の記述長（これをＬ(4,a)で
表す）、状態数５の音節ＨＭＭを用いたときの音節/ａ/の記述長（これをＬ(5,a)で表す
）、状態数８の音節ＨＭＭを用いたときの音節/ａ/の記述長（これをＬ(8,a)で表す）、
状態数９の音節ＨＭＭを用いたときの音節/ａ/の記述長（これをＬ(9,a)で表す）は、
Ｌ(4,a)＝703387.64＋1.0×（1600／2）×log（115467）＝707437.6063 （５）
Ｌ(5,a)＝698211.55＋1.0×（2000／2）×log（115467）＝703274.0078 （６）
Ｌ(8,a)＝691022.37＋1.0×（3200／2）×log（115467）＝699122.3026 （７）
Ｌ(9,a)＝702233.41＋1.0×（3600／2）×log（115467）＝711345.8341 （８）
と求めることができる。

なお、上述の例では、状態数６と状態数７については省略したが、これら状態数６、状
態数７についても同様にして求めることは勿論である。そして、これをすべての音節につ
いて行う。このようにして、すべての音節（たとえば１２４音節）について、それぞれの
状態数（ここでは、状態数３から状態数９）ごとに求められた記述長から、最小の記述長
を探す。

たとえば、上述した状態数３の例においては、（４）式から（８）式で求められた記述
長の中から最小の記述長を探すと、この実験においては、状態数８の音節ＨＭＭを用いた
ときの記述長が最小であることがわかる。なお、状態数６、状態数７の記述長はここでは
示されていないが、状態数８の音節ＨＭＭを用いたときの記述長よりも大きな値であると
する。
したがって、音節/ａ/については、状態数８の音節ＨＭＭを用いたときに最小記述長が
得られることがわかる。

以上の処理を他のすべての音節について行うことで、それぞれの音節において最適な状
態数を探すことができる。これによって、それぞれ音節に対する音節ＨＭＭの状態数を最
適化することができ、その状態数の最適化された音節ＨＭＭを再学習することによって、
状態数の最適化された音節ＨＭＭセットを得ることができる。

図１４は以上のようにして作成された音響モデル（ＨＭＭ）を用いた音声認識装置の構
成を示す図であり、音声入力用のマイクロホン２１、このマイクロホン２１から入力され
た音声を増幅するとともにディジタル信号に変換する入力信号処理部２２、入力信号処理
部からのディジタル変換された音声信号から特徴データ（特徴ベクトル）を抽出する特徴
分析部２３、この特徴分析部２３から出力される特徴データに対し、ＨＭＭ２４や言語モ
デル２５を用いて音声認識する音声認識処理部２６から構成され、このＨＭＭ２４として
、これまで説明した音響モデル作成方法によって作成されたＨＭＭ（図１で示した最適化
された状態数を有する音節ＨＭＭセット１０）を用いる。

このように、この音声認識装置はそれぞれの音節ＨＭＭ（１２４音節ごとの音節ＨＭＭ
）において、その音節ＨＭＭごとに最適化された状態数を有した音節モデルとなっている
ので、高い認識性能を維持した上で、それぞれの音節ＨＭＭにおけるパラメータ数を大き
く削減することができる。これによって、演算量の削減、使用メモリ量の削減が図れ、処
理速度の高速化が図れ、さらに、低価格、低消費電力化も可能となるので、ハードウエア
資源に大きな制約のある小型・安価なシステムにも搭載する音声認識装置として極めて有
用なものとなる。

ちなみに、本発明の状態ごとに最適化された状態数を有する音節ＨＭＭセット１０を用
いた音声認識装置を用いた認識実験として、１２４音節ＨＭＭにおける文の認識実験を行
ったところ、状態数を同一とした場合（状態数の最適化を行わなかった場合）の認識率が
７９．８４％であったものを、本発明によって状態数の最適化を行った場合の認識率は８
１．２３％となり、認識率の向上を確認できた。また、認識精度という面で比較すると、
状態数を同一とした場合（状態数の最適化を行わなかった場合）の認識精度が６９．４１
％であったものを、本発明によって状態数の最適化を行った場合の認識精度は７７．７％
となり、認識精度が大きく向上することが確認できた。

ここで、認識率と認識精度について簡単に説明する。認識率は正解率、認識精度は正解
精度とも言われ、ここでは、単語に対する正解率（単語正解率）と正解精度（単語正解精
度）について説明する。一般に、単語正解率は、「（全単語数Ｎ−脱落誤り数Ｄ−置き換
え誤り数Ｓ）／全単語数Ｎ」で表される。また、単語正解精度は、「（全単語数Ｎ−脱落
誤り数Ｄ−置き換え誤り数Ｓ−挿入誤り数Ｉ）／全単語数Ｎ」で表される。
ここで、脱落誤りというのは、たとえば、「りんご／２／個／ください」という発話例
に対する認識結果が、「りんご／を／ください」であったとすると、この認識結果は、「
２」が脱落しているので、１つの脱落誤りを有しており、また、「個」が「を」に置き換
えられたことから「を」が置き換え誤りとなっている。

また、同じ発話例に対する認識結果が、「みかん／５／個／にして／ください」であっ
た場合は、この認識結果は、「りんご」が「みかん」に置き換えられ、「２」が「５」に
置き換えられたことから、これら「みかん」と「２」がそれぞれ置き換え誤りであり、ま
た、「にして」が挿入されていることから、この「にして」が挿入誤りである。
このようにして、脱落誤りの数、置き換え誤りの数、挿入誤りの数をカウントして、そ
れを上述した式に代入することによって、単語正解率や単語正解精度を求めることができ
る。

〔実施形態２〕
この実施形態２では、同一子音や同一母音を有する音節ＨＭＭにおいて、これらの音節
ＨＭＭを構成する複数の状態（自己ループを有する状態）のうち、たとえば、初期状態ま
たは最終状態を共有した音節ＨＭＭを構築するもので、前述の実施形態１で説明した処理
、すなわち、それぞれの音節ＨＭＭの各状態数を最適化する処理を行ったのちに状態共有
を行う。以下、図１５を参照しながら説明する。

ここでは、同一子音や同一母音を有する音節ＨＭＭとして、たとえば、音節/ki/の音節
ＨＭＭ、音節/ka/の音節ＨＭＭ、音節/sa/の音節ＨＭＭ、音節/a/の音節ＨＭＭについて
考える。すなわち、音節/ki/と音節/ka/はともに子音/k/を持ち、音節/ka/、音節/sa/、
音節/a/はともに母音/a/を有している。なお、この例では、状態数の最適化を行った結果
、音節/ki/の音節ＨＭＭは状態数４、音節/ka/の音節ＨＭＭは状態数６、音節/sa/の音節
ＨＭＭは状態数５、音節/a/の音節ＨＭＭは状態数４であるとする（これらはすべて自己
ループを有する状態数）。

そこで、同一子音を有する音節ＨＭＭにおいては、それぞれの音節ＨＭＭにおいて、前
段に存在する状態（ここでは、第１の状態とする）を共有し、同一母音を有する音節ＨＭ
Ｍにおいては、それぞれの音節ＨＭＭにおいて、後段に存在する状態（ここでは、自己ル
ープを有する状態のうち最終状態とする）を共有する。

図１５は、音節/ki/の音節ＨＭＭの第１状態Ｓ０と音節/ka/の音節ＨＭＭの第１状態Ｓ
０とを共有し、音節/ka/の音節ＨＭＭの最終状態Ｓ５と音節/sa/の音節ＨＭＭの自己ルー
プを有する最終状態Ｓ４と音節/a/の音節ＨＭＭの自己ループを有する最終状態Ｓ３をそ
れぞれ共有することを示す図であり、それぞれ共有する状態を太い実線で示す楕円枠Ｃで
囲っている。

このように、同一子音や同一母音を有する音節ＨＭＭにおいて、状態共有がなされ、そ
の状態共有された状態は、そのパラメータも同一となり、ＨＭＭ学習（最尤推定）を行う
際に同じパラメータとして扱われる。

たとえば、図１６に示すように、「かき」という音声データに対し、自己ループを有す
る状態がＳ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５の６つの状態でなる音節/ka/の音節ＨＭＭ
と、同じく自己ループを有する状態がＳ０，Ｓ１，Ｓ２，Ｓ３の４つの状態でなる音節/k
i/の音節ＨＭＭとが連結されたＨＭＭが構築されたとき、音節/ka/の音節ＨＭＭの第１の
状態Ｓ０と音節/ki/の音節ＨＭＭの第１の状態Ｓ０が共有されることによって、これら音
節/ka/の音節ＨＭＭの状態Ｓ０と音節/ki/の音節ＨＭＭの状態Ｓ０は、それぞれのパラメ
ータが同一として扱われて同時に学習される。

このような状態共有がなされることによって、パラメータ数が減少し、それによって、
使用メモリ量の削減、演算量の削減が図れ、処理能力の低いＣＰＵでの動作が可能となり
、低消費電力化も図れるので、低価格が要求されるシステムへの適用が可能となる。また
、学習用音声データの少ない音節では、パラメータ数の削減によって、過学習による認識
性能劣化を防ぐ効果も期待できる。

このようにして状態共有がなされることによって、ここでの例で取り上げた音節/ki/の
音節ＨＭＭと音節/ka/の音節ＨＭＭにおいては、それぞれの第１状態Ｓ０を共有したＨＭ
Ｍが構築される。また、音節/ka/の音節ＨＭＭと音節/sa/の音節ＨＭＭと音節/a/の音節
ＨＭＭにおいては、最終状態（図１５の例では、音節/ka/の音節ＨＭＭの状態Ｓ５と音節
/sa/の音節ＨＭＭの状態Ｓ４、音節/a/の音節ＨＭＭの状態Ｓ３）を共有したＨＭＭが構
築される。

したがって、このように状態数の最適化がなされ、かつ、その状態共有がなされたそれ
ぞれの音節ＨＭＭを作成し、それを図１４に示すような音声認識装置に適用することで、
高い認識性能を維持した上で、それぞれの音節ＨＭＭにおけるパラメータ数をより一層削
減することができる。これによって、演算量や使用メモリ量のより一層の削減が図れ、処
理速度の高速化が図れ、さらに、低価格、低消費電力化も可能となるので、低コストが要
求されハードウエア資源に大きな制約のある小型・安価なシステムにも搭載する音声認識
装置として極めて有用なものとなる。

なお、上述の状態共有の例では、同一子音や同一母音を有する音節ＨＭＭにおいて、こ
れらの音節ＨＭＭを構成する複数の状態のうち、初期状態と最終状態をそれぞれ共有する
例について説明したが、図１７に示すように、それぞれ初期状態と最終状態を含む複数（
この図１７では２つ）ずつの状態を共有するようにしてもよい。これによって、パラメー
タ数をより一層削減することができる。

なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない
範囲で種々変形実施可能となるものである。たとえば、前述の実施形態１では、音節ＨＭ
Ｍについて説明したが本発明は音素ＨＭＭに対しても適用できる。

また、前述の実施形態１では、分布数はある値（前述の例では、分布数６４）で固定と
していたが、この分布数をそれぞれの音節ＨＭＭを構成する状態において最適化すること
も可能である。たとえば、最初にある分布数（分布数１）に設定して、前述した実施形態
で説明したような処理を行って状態数の最適化を行い、そのあとで、分布数を２，４，８
，１６，・・・というように変化させて、最適な分布数を設定するような処理を行っても
よい。このように、状態数の最適化とともに各状態における分布数の最適化を行うことに
よって、より一層、認識性能を向上させることができる。

なお、本発明は以上説明した本発明を実現するための音響モデル作成手順が記述された
音響モデル作成プログラムを作成し、それをフロッピィディスク、光ディスク、ハードデ
ィスクなどの記録媒体に記録させておくこともできる。したがって、本発明は、その音響
モデル作成プログラムの記録された記録媒体をも含むものである。また、ネットワークか
らその音響モデル作成プログラムを得るようにしてもよい。

本発明の実施形態１における音響モデル作成手順を説明する図である。状態数を３から最大状態数（状態数９）までの７種類としたときの音節ＨＭＭセット作成について説明する図である。図１で示した音響モデル作成処理においてアライメントデータ作成処理を説明するに必要な部分だけを図１から取り出して示す図である。アライメントデータ５を作成するために、それぞれの音節ＨＭＭと学習用音声データ１との対応付けを行う処理の具体例を説明する図である。図１で示した音響モデル作成処理において状態数３から最大状態数（状態数９）のそれぞれの音節ＨＭＭの記述長を求める処理を説明するに必要な部分だけを図１から取り出して示す図である。音節/a/の音節ＨＭＭにおいて状態数３から最大状態数（状態数９）におけるそれぞれの音節ＨＭＭの記述長が求められた様子を示す図である。図１で示した音響モデル作成処理においてＭＤＬ基準による音節ＨＭＭの選択を説明するに必要な部分だけを図１から取り出して示す図である。ＭＤＬ基準によって状態数３から最大状態数（状態数９）までのそれぞれの音節ＨＭＭごとに記述長が最小となる音節ＨＭＭを選択する処理を説明する図である。実施形態１で用いる重み係数αについて説明する図である。実施形態１で説明したアライメントデータ作成処理によって得られる各音節の開始フレームと終了フレームの具体例について説明する図である。図１０で得られた開始フレームと終了フレームを用いて、ある状態数を有するそれぞれの音節ＨＭＭを用いたときのそれぞれの音節に対応する尤度を計算する処理を説明する図である。状態数３から状態数９の状態数を有するそれぞれの音節ＨＭＭを用いて各音節に対応する尤度計算結果を示す図である。各音節について状態数３から状態数９のそれぞれの状態数ごとに総フレーム数と総尤度を集計した結果を示す図である。本発明の音声認識装置の概略的な構成を説明する図である。本発明の実施形態２の状態共有について説明する図であり、いくつかの音節ＨＭＭにおいて初期状態または最終状態（自己ループを有する状態の中での最終状態）を共有する場合を説明する図である。初期状態を状態共有した２つの音節ＨＭＭを連結したものをある音声データに対応つけて示す図である。図１５に示す状態共有において、初期状態を含む複数の状態または最終状態を含む複数の状態を共有する例を説明する図である。

符号の説明

１学習用音声データ、２ＨＭＭ学習部、３１〜３７状態数３から状態数９の音節
ＨＭＭセット、４アライメントデータ作成部、５音節ＨＭＭと学習用音声データとの
アライメントデータ、６記述長計算部、７１〜７７記述長格納部、８ＨＭＭ選択部
、９ＨＭＭ再学習部、１０音節ＨＭＭごとに最適な状態数を有する音節ＨＭＭセット
、２１マイクロホン、２２入力信号処理部、２３特徴分析部、２４ＨＭＭモデル
、２５言語モデル、２６音声認識処理部、Ｓ０，Ｓ１，Ｓ２，・・・状態

Claims

ＨＭＭ（隠れマルコフモデル）の状態数を最適化して、その最適化された状態数を有す
るＨＭＭを学習用音声データを用いて再学習する音響モデル作成方法であって、
ＨＭＭの状態数をある値から最大状態数までの複数種類の状態数に設定し、この複数種
類の状態数に設定されたそれぞれのＨＭＭごとに記述長最小基準を用いて記述長を求める
ステップと、
該記述長が最小となる状態数を有するＨＭＭを選択するステップと、
該選択されたＨＭＭを学習用音声データを用いて再学習するステップと、
を含むことを特徴とする音響モデル作成方法。
前記記述長最小基準は、モデル集合｛１，・・・，ｉ，・・・，Ｉ｝とデータχ^Ｎ＝｛
χ_１，・・・，χ_Ｎ｝（ただし、Ｎはデータ長）が与えられたときのモデルｉを用いた記
述長ｌｉ（χ^Ｎ）が、一般的な式として、

で表され、この記述長を求める一般的な式において、前記モデル集合｛１，・・・，ｉ，
・・・，Ｉ｝は、ＨＭＭにおける状態数がある値から最大状態数までの複数種類に設定さ
れたＨＭＭの集合であるとして考え、ここで、前記状態の種類の数がＩ種類（ＩはＩ≧２
の整数）であるとき、前記１，・・・，ｉ，・・・，Ｉは、１番目の種類からＩ番目の種
類までのそれぞれの種類を特定するための符号であって、前記（１）式を、前記１，・・
・，ｉ，・・・，Ｉのうちのｉ番目の状態数の種類を有するＨＭＭの記述長を求める式と
して用いることを特徴とする請求項１記載の音響モデル作成方法。
前記記述長を求める式として、前記（１）式を変形した下記の式、

を用いることを特徴とする請求項１記載の音響モデル作成方法。
前記（２）式のαは、最適な状態数を得るための重み係数であることを特徴とする請求項
３記載の音響モデル作成方法。
前記（２）式におけるβは、分布数×特徴ベクトルの次元数×状態数で表されることを特
徴とする請求項３または４記載の音響モデル作成方法。
前記データχ^Ｎは、前記ある値から最大状態数までのうちのある任意の状態数を有するＨ
ＭＭと多数の学習用音声データとをそれぞれの状態ごとに時系列的な対応付けを行って得
られるそれぞれの学習用音声データの集合であることを特徴とする請求項２から５のいず
れかに記載の音響モデル作成方法。
前記ＨＭＭは、音節ＨＭＭであることを特徴とする請求項１から６のいずれかに記載の
音響モデル作成方法。
前記音節ＨＭＭにおいて、同一子音や同一母音を有する複数の音節ＨＭＭに対し、これ
らの音節ＨＭＭを構成する状態のうち、同一子音を有する音節ＨＭＭ同士においては、そ
れら音節ＨＭＭにおける初期状態またはこの初期状態を含む複数の状態を共有し、同一母
音を有する音節ＨＭＭ同士においては、それら音節ＨＭＭにおける自己ループを有する状
態の最終状態またはこの最終状態を含む複数の状態を共有することを特徴とする請求項７
記載の音響モデル作成方法。
ＨＭＭ（隠れマルコフモデル）の状態数を最適化して、その最適化された状態数を有す
るＨＭＭを学習用音声データを用いて再学習する音響モデル作成装置であって、
ＨＭＭの状態数がある値から最大状態数までの複数種類の状態数に設定されたそれぞれ
のＨＭＭごとに記述長最小基準を用いて記述長を求める記述長計算手段と、
該記述長計算手段により求められた記述長が最小となる状態数を有するＨＭＭを選択す
るＨＭＭ選択手段と、
該ＨＭＭ選択手段で選択されたＨＭＭを学習用音声データを用いて再学習するＨＭＭ再
学習手段と、
を有することを特徴とする音響モデル作成装置。
ＨＭＭ（隠れマルコフモデル）の状態数を最適化して、その最適化された状態数を有する
ＨＭＭを学習用音声データを用いて再学習する音響モデル作成プログラムであって、この
音響モデル作成プログラムは、
ＨＭＭの状態数がある値から最大状態数までの複数種類の状態数に設定されたそれぞれ
のＨＭＭごとに記述長最小基準を用いて記述長を求める手順と、
該記述長が最小となる状態数を有するＨＭＭを選択する手順と、
該選択されたＨＭＭを学習用音声データを用いて再学習する手順と、
を含むことを特徴とする音響モデル作成プログラム。
入力音声を特徴分析して得られた特徴データに対し音響モデルとしてＨＭＭ（隠れマルコ
フモデル）を用いて前記入力音声を認識する音声認識装置であって、
前記音響モデルとしてのＨＭＭとして、前記請求項１から請求項８のいずれかに記載の
音響モデル作成方法によって作成されたＨＭＭを用いることを特徴とする音声認識装置。