JP2002082688A - 話者適応化装置、話者適応化方法、話者適応化プログラムを記録したコンピュータ読取可能な記録媒体、音声認識装置、音声認識方法および音声認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ある言語のノンネイティブ話者が発声したあ
る言語音声になまりや曖昧な発音が含まれるため、音響
モデルの話者適応化処理の精度低下が生じてしまうとい
う課題があった。 【解決手段】 入力音声を音響分析処理して切替手段３
の端子ａから特徴ベクトル時系列４を出力する音響分析
手段２と、話者適応化用音声データに対応する複数の教
師ラベルデータから構成されるマルチ教師ラベルデータ
７を記憶するマルチ教師ラベル記憶手段６と、音響モデ
ル９Ａを記憶する音響モデル記憶手段８と、マルチ教師
ラベルデータ７から教師ラベルデータを一つ選択すると
ともに、選択された教師ラベルデータを参照して特徴ベ
クトル時系列４と音響モデル９Ａとを照合し、音響モデ
ル９Ａを話者適応化処理する教師ラベル選択型話者適応
化手段１０とを備えるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ある言語を母国
語としないノンネイティブ（ｎｏｎ−ｎａｔｉｖｅ）話
者が発声したある言語の音声を用いて音響モデルの話者
適応化処理を行う話者適応化装置、話者適応化方法およ
び話者適応化プログラムを記録したコンピュータ読取可
能な記録媒体、これらをそれぞれ用いた音声認識装置、
音声認識方法および音声認識プログラムを記録したコン
ピュータ読取可能な記録媒体に係るものである。

【０００２】

【従来の技術】図５は従来の話者適応化装置を備えた音
声認識装置の構成を示す図である。図５の音声認識装置
は次の文献１，２にそれぞれ開示されており、以下で
は、日本人（ノンネイティブ話者）が発声する英語（日
本人英語）を認識対象とする。

【０００３】＜文献１＞「第２言語学習用に適応化され
た音素モデルによる第２言語発話者の音声認識」（鈴木
英之・中川聖一、日本音響学会平成７年度春季研究発表
会講演論文集Ｉ，ｐｐ．４７−４８）

【０００４】＜文献２＞「複数単語モデルによる日本人
英語音声認識の検討」（鈴木忠・阿部芳春・中島邦男、
日本音響学会１９９９年秋季研究発表会講演論文集Ｉ，
ｐｐ．１２７−１２８）

【０００５】図５において、４１は話者適応化用音声デ
ータや未知音声信号が入力される入力端子、４２は音響
分析処理を行う音響分析手段である。音響分析手段４２
は、入力端子４１へ入力された話者適応化用音声データ
や未知音声信号を音響分析処理して特徴ベクトル時系列
を出力する。

【０００６】４３はスイッチなどの切替手段であり、音
響分析手段４２からの特徴ベクトル時系列の出力先を処
理に応じて切替える。切替手段４３は、話者適応化処理
を行う場合には端子ａを選択し、音声認識処理を行う場
合には端子ｂを選択する。したがって、話者適応化用音
声データの特徴ベクトル時系列４４は端子ａから出力さ
れ、未知音声信号の特徴ベクトル時系列４５は端子ｂか
ら出力される。

【０００７】４６は教師ラベルデータ４７を記憶する教
師ラベル記憶手段、４８は音響モデル４９Ａ，４９Ｂを
記憶する音響モデル記憶手段、５０は話者適応化処理を
行う話者適応化手段である。話者適応化手段５０は、特
徴ベクトル時系列４４，教師ラベルデータ４７を用いて
音響モデル４９Ａを話者適応化処理し、これを音響モデ
ル４９Ｂとして音響モデル記憶手段４８へ書き込む。

【０００８】５１は認識対象語彙の単語表記辞書５２を
記憶する単語表記辞書記憶手段、５３は音声認識処理を
行う音声認識手段である。音声認識手段５３は、音響モ
デル４９Ｂを用いて特徴ベクトル時系列４５の音声認識
処理を行い、単語表記辞書５２を用いて音声認識結果を
出力する。

【０００９】続いて、話者適応化手段５０の構成例を次
に示す。図６は話者適応化手段５０の構成を示す図であ
る。図６において、５７は照合手段、５９は音響モデル
更新手段である。図５と同一または相当する構成要素に
ついては同一の符号を付してある。

【００１０】照合手段５７は、教師ラベルデータ４７を
参照して、音響モデル４９Ａと特徴ベクトル時系列４４
との照合を行い、特徴ベクトル時系列４４中の各特徴ベ
クトルに対する音響モデル対応付データ５８を出力す
る。

【００１１】音響モデル更新手段５９は、音響モデル４
９Ａを読み出した後、音響モデル対応付データ５８と特
徴ベクトル時系列４４とを用いて各音響モデル４９Ａの
パラメータを更新し、これを音響モデル４９Ｂとして音
響モデル記憶手段４８に書き込む。

【００１２】次に動作について説明する。ここでは、音
響モデルとして英語の疑似音素単位の連続分布型ＨＭＭ
（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いた
場合を例に取る。ＨＭＭの構成は３状態のＬｅｆｔ−ｔ
ｏ−ｒｉｇｈｔ型とする。各音響モデルは、英語を母国
語とする複数のネイティブ（ｎａｔｉｖｅ）話者が発声
した音声データを用いて学習されたものである。

【００１３】音響モデルの話者適応化処理を最初に行う
ため、切替手段４３は端子ａを選択する。英語を母国語
としない日本人話者が発声した発声内容既知の話者適応
化用音声データは、入力端子４１から入力されて、音響
分析手段４２によって分析フレーム毎に音響分析処理さ
れ、特徴ベクトル時系列４４として切替手段４３の端子
ａから出力される。

【００１４】教師ラベル記憶手段４６の教師ラベルデー
タ４７は、話者適応化用音声データの発声内容を表す英
語疑似音素単位のラベルの系列で記憶されている。例え
ば、話者適応化用音声データの発声内容を英語の「ｓｅ
ｖｅｎ」とすると、これに対応する教師ラベルデータ４
７は、ネイティブ話者の発音表記であるネイティブ教師
ラベルデータ／ｓ／ｅ／ｖ／□／ｎ／のように、５個の
疑似音素単位のラベル系列となっている。

【００１５】切替手段４３の端子ａから出力された話者
適応化用音声データ「ｓｅｖｅｎ」の特徴ベクトル時系
列４４は、話者適応化手段５０の照合手段５７へ入力さ
れる。照合手段５７は、「ｓｅｖｅｎ」に対応する教師
ラベルデータ４７／ｓ／ｅ／ｖ／□／ｎ／を参照して、
音響モデル記憶手段４８の各疑似音素に対応する音響モ
デルを接続したモデルとの照合を行い、特徴ベクトル時
系列４４の各特徴ベクトルに対する音響モデル対応付デ
ータ５８を得る（照合ステップ）。

【００１６】すなわち、特徴ベクトル時系列４４を｛Ｘ
（ｎ）｜ｎ＝１，…，Ｎ｝（Ｎは系列数）とすれば、音
響モデル対応付データ５８は｛Ｌ（ｎ）｜ｎ＝１，…，
Ｎ｝となる。ここで、Ｌ（ｎ）∈｛Ｍｐ（ｋ）｜ｐ＝
１，…，Ｐ， ｋ＝１，２，３｝（Ｍｐは疑似音素単位
の種類を表すラベル、Ｐは疑似音素単位の数、ｋはＨＭ
Ｍの状態番号）である。

【００１７】発声内容の異なる複数の話者適応化用音声
データについて求められた音響モデル対応付データ５８
は、話者適応化手段５０の音響モデル更新手段５９へ入
力される。

【００１８】音響モデル更新手段５９は、音響モデル記
憶手段４８の音響モデル４９Ａをまず読み出す。そし
て、特徴ベクトル時系列４４，音響モデル対応付データ
５８を用いて、各音響モデル４９Ａの状態毎に与えられ
ている平均ベクトルや分散のパラメータをその状態に対
応づけられた特徴ベクトルを用いて更新する。

【００１９】すなわち、ある疑似音素単位Ｍｐの状態ｋ
について、音響モデル対応付データ５８においてＬ
（ｍ）＝Ｍｐ（ｋ）を満たすｍに対応するすべての特徴
ベクトルＸ（ｍ）を特徴ベクトル時系列４４中から求
め、この特徴ベクトルの集合を用いて疑似音素単位Ｍｐ
の状態ｋにおける平均ベクトルや分散の値を変更する。
これをすべての疑似音素単位とその状態について行うこ
とで、話者適応化用音声データで更新されたパラメータ
を持つ音響モデル４９Ｂが得られる（音響モデル更新ス
テップ）（以上、文献１参照）。

【００２０】また、文献２では、ＭＬＬＲ（Ｍａｘｉｍ
ｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒ
ｅｓｓｉｏｎ）法に基づく話者適応化処理、すなわち重
回帰写像モデルを用いて疑似音素単位Ｍｐの状態ｋの平
均ベクトルを更新する手法を採っている。

【００２１】この手法では、音響モデル対応付データ５
８においてＬ（ｍ）＝Ｍｐ（ｋ）を満たすｍに対応する
特徴ベクトルＸ（ｍ）を用いて重回帰写像モデルの推定
を行っているが、この特徴ベクトルＸ（ｍ）の数が少な
い場合、疑似音素単位Ｍｐの状態ｋにおけるガウス分布
に近い分布を持つ疑似音素単位Ｍｑの状態ｊを探し、こ
れに対応づけられた特徴ベクトルと疑似音素単位Ｍｑの
状態ｊにおけるガウス分布のパラメータを併用して重回
帰写像モデルを推定している。これは、比較的少量の話
者適応化用音声データでも精度良い話者適応化処理が行
えるようするために採用されている処理である。以上の
動作によって音響モデル４９Ａのパラメータが更新され
ると、音響モデル４９Ｂとして音響モデル記憶手段４８
に書き込まれる。

【００２２】続いて、音響モデル４９Ｂを用いた音声認
識処理を行うため、切替手段４３は端子ｂを選択する。
先の日本人話者が発声した認識対象としての未知音声信
号は入力端子４１から入力されて、音響分析手段４２に
よって分析フレーム毎に音響分析処理され、特徴ベクト
ル時系列４５として切替手段４３の端子ｂから出力され
る。

【００２３】認識対象語彙の各単語に対応する疑似音素
単位のラベル系列が単語表記辞書記憶手段５１の単語表
記辞書５２に記憶されている。音声認識手段５３は、切
替手段４３の端子ｂからの特徴ベクトル時系列４５の音
声認識処理を音響モデル記憶手段４８の音響モデル４９
Ｂを用いて行い、単語表記辞書５２を用いて音声認識結
果を出力する。

【００２４】このように、従来の音声認識装置では、話
者適応化用音声データに発声誤りや発音の曖昧性がない
場合には、話者適応化音響モデルを精度良く作成して、
音声認識の認識率を向上させることが可能である。

【００２５】

【発明が解決しようとする課題】従来の話者適応化装置
は上記のように構成されているので、例えば日本人英語
のように、ある言語のノンネイティブ話者が発声したあ
る言語音声を対象とすると、ノンネイティブ話者に特有
のなまりや曖昧な発音が話者適応化用音声データに含ま
れるため、音響モデルの話者適応化処理の精度低下が生
じてしまうという課題があった。

【００２６】前述の「ｓｅｖｅｎ」を例とすると、日本
人話者が発声した英語音声では、／ｓ／ｅ／ｖ／□／ｎ
／という疑似音素単位の系列と合致した発声にならず、
例えば／ｓ／ｉ／ｂ／ｕ／ｍ／というような発声にな
る。

【００２７】したがって、各音響モデル／ｅ／，／ｖ
／，／□／，／ｎ／に対して各特徴ベクトル／ｉ／，／
ｂ／，／ｕ／，／ｍ／が照合手段５７でそれぞれ対応付
けられてしまうようになり、この誤った音声の特徴ベク
トルに基づいて各音響モデルのパラメータの更新が音響
モデル更新手段５９によって行われてしまう。

【００２８】また、次に示す文献３では、日本人英語に
おける代表的な発音の様態を持つ教師ラベルデータを用
いてＭＬＬＲ法による話者適応化処理を行っているが、
話者適応化用音声データに対する教師ラベルデータがひ
とつしかないため、発声者によって異なる発音の様態に
対応できず話者適応化処理の精度劣化が生じていた。

【００２９】＜文献３＞「日本人英語認識におけるマル
チ単語モデルの改良」（鈴木忠・阿部芳春・中島邦男、
日本音響学会２０００年春季研究発表会講演論文集Ｉ、
ｐｐ．１４７−１４８）

【００３０】この発明は上記のような課題を解決するた
めになされたものであり、ある言語を母国語としないノ
ンネイティブ話者が発声したある言語音声について、音
響モデルを精度良く話者適応化処理する話者適応化装
置、話者適応化方法および話者適応化プログラムを記録
したコンピュータ読取可能な記録媒体を構成することを
目的とする。

【００３１】また、この発明は、話者適応化処理された
音響モデルを用いて音声認識処理を行う音声認識装置、
音声認識方法および音声認識プログラムを記録したコン
ピュータ読取可能な記録媒体を構成することを目的とす
る。

【００３２】

【課題を解決するための手段】この発明に係る話者適応
化装置は、一つの話者適応化用音声データに対応した複
数の教師ラベルデータからなるマルチ教師ラベルデータ
から、話者適応化用音声データを参照して一つの教師ラ
ベルデータを選択し、教師ラベルデータを参照して音響
モデルの話者適応化処理を行うようにしたものである。

【００３３】この発明に係る話者適応化装置は、入力音
声を音響分析処理して特徴ベクトル時系列を出力する音
響分析手段と、一つの話者適応化用音声データに対応し
た複数の教師ラベルデータからなるマルチ教師ラベルデ
ータを記憶するマルチ教師ラベル記憶手段と、音響モデ
ルを記憶する音響モデル記憶手段と、マルチ教師ラベル
データから教師ラベルデータを一つ選択するとともに、
選択された教師ラベルデータを参照して、入力音声とし
ての話者適応化用音声データの特徴ベクトル時系列と音
響モデルとを照合し、音響モデルを話者適応化処理する
教師ラベル選択型話者適応化手段とを備えるようにした
ものである。

【００３４】この発明に係る話者適応化装置は、教師ラ
ベル指示データにしたがってマルチ教師ラベルデータか
ら教師ラベルデータを一つ選択する教師ラベル選択手段
と、選択された教師ラベルデータを参照して、話者適応
化用音声データの特徴ベクトル時系列と音響モデルとを
照合し、音響モデル対応付データを出力する照合手段
と、特徴ベクトル時系列および音響モデル対応付データ
を用いて音響モデルのパラメータを更新する音響モデル
更新手段とを教師ラベル選択型話者適応化手段が備える
ようにしたものである。

【００３５】この発明に係る話者適応化装置は、話者適
応化用音声データが所定セット数分処理されるまでの前
半処理では、マルチ教師ラベルデータからネイティブ教
師ラベルデータを教師ラベルデータとして選択し、話者
適応化用音声データが所定セット数分処理されてからの
後半処理では、マルチ教師ラベルデータ中の複数の教師
ラベルデータの特徴ベクトル時系列に対する音声認識処
理を音響モデルを用いてそれぞれ行い、最大尤度の教師
ラベルデータを選択する認識型教師ラベル選択手段と、
選択された教師ラベルデータを参照して特徴ベクトル時
系列と音響モデルとを照合し、音響モデル対応付データ
を出力する照合手段と、特徴ベクトル時系列および音響
モデル対応付データを用いて音響モデルのパラメータを
更新する音響モデル更新手段とを教師ラベル選択型話者
適応化手段が備えるようにしたものである。

【００３６】この発明に係る話者適応化装置は、マルチ
教師ラベルデータ中の複数の教師ラベルデータをそれぞ
れ参照して特徴ベクトル時系列と音響モデルとを照合
し、マルチ音響モデル対応付データを出力するマルチ照
合手段と、特徴ベクトル時系列およびマルチ音響モデル
対応付データを用いて音響モデルのパラメータを個々に
更新したマルチ音響モデルを出力するマルチ音響モデル
更新手段と、マルチ音響モデルを参照して特徴ベクトル
時系列とマルチ教師ラベルデータとを照合し、マルチ音
響モデルの中から最大尤度の音響モデルを音響モデル記
憶手段に書き込む音響モデル決定手段とを教師ラベル選
択型話者適応化手段が備えるようにしたものである。

【００３７】この発明に係る話者適応化方法は、一つの
話者適応化用音声データに対応した複数の教師ラベルデ
ータからなるマルチ教師ラベルデータから、話者適応化
用音声データを参照して一つの教師ラベルデータを選択
し、教師ラベルデータを参照して音響モデルの話者適応
化処理を行うようにしたものである。

【００３８】この発明に係る話者適応化方法は、入力音
声を音響分析処理して特徴ベクトル時系列を出力する音
響分析ステップと、一つの話者適応化用音声データに対
応した複数の教師ラベルデータからなるマルチ教師ラベ
ルデータの中から教師ラベルデータを一つ選択するとと
もに、選択された教師ラベルデータを参照して、入力音
声としての話者適応化用音声データの特徴ベクトル時系
列と音響モデルとを照合し、音響モデルを話者適応化処
理する教師ラベル選択型話者適応化ステップとを備える
ようにしたものである。

【００３９】この発明に係る話者適応化方法は、教師ラ
ベル指示データにしたがってマルチ教師ラベルデータか
ら教師ラベルデータを一つ選択する教師ラベル選択ステ
ップと、選択された教師ラベルデータを参照して、話者
適応化用音声データの特徴ベクトル時系列と音響モデル
とを照合し、音響モデル対応付データを出力する照合ス
テップと、特徴ベクトル時系列および音響モデル対応付
データを用いて音響モデルのパラメータを更新する音響
モデル更新ステップとを教師ラベル選択型話者適応化ス
テップが備えるようにしたものである。

【００４０】この発明に係る話者適応化方法は、話者適
応化用音声データが所定セット数分処理されるまでの前
半処理では、マルチ教師ラベルデータからネイティブ教
師ラベルデータを教師ラベルデータとして選択し、話者
適応化用音声データが所定セット数分処理されてからの
後半処理では、マルチ教師ラベルデータ中の複数の教師
ラベルデータの特徴ベクトル時系列に対する音声認識処
理を音響モデルを用いてそれぞれ行い、最大尤度の教師
ラベルデータを選択する認識型教師ラベル選択ステップ
と、選択された教師ラベルデータを参照して特徴ベクト
ル時系列と音響モデルとを照合し、音響モデル対応付デ
ータを出力する照合ステップと、特徴ベクトル時系列お
よび音響モデル対応付データを用いて音響モデルのパラ
メータを更新する音響モデル更新ステップとを教師ラベ
ル選択型話者適応化ステップが備えるようにしたもので
ある。

【００４１】この発明に係る話者適応化方法は、マルチ
教師ラベルデータ中の複数の教師ラベルデータをそれぞ
れ参照して特徴ベクトル時系列と音響モデルとを照合
し、マルチ音響モデル対応付データを出力するマルチ照
合ステップと、特徴ベクトル時系列およびマルチ音響モ
デル対応付データを用いて音響モデルのパラメータを個
々に更新したマルチ音響モデルを出力するマルチ音響モ
デル更新ステップと、マルチ音響モデルを参照して特徴
ベクトル時系列とマルチ教師ラベルデータとを照合し、
マルチ音響モデルの中から最大尤度の音響モデルを選択
する音響モデル決定ステップとを教師ラベル選択型話者
適応化ステップが備えるようにしたものである。

【００４２】この発明に係る話者適応化プログラムを記
録したコンピュータ読取可能な記録媒体は、一つの話者
適応化用音声データに対応した複数の教師ラベルデータ
からなるマルチ教師ラベルデータから、話者適応化用音
声データを参照して一つの教師ラベルデータを選択し、
教師ラベルデータを参照して音響モデルの話者適応化処
理を行うようにしたものである。

【００４３】この発明に係る話者適応化プログラムを記
録したコンピュータ読取可能な記録媒体は、入力音声を
音響分析処理して特徴ベクトル時系列を出力する音響分
析手順と、一つの話者適応化用音声データに対応した複
数の教師ラベルデータからなるマルチ教師ラベルデータ
の中から教師ラベルデータを一つ選択するとともに、選
択された教師ラベルデータを参照して、入力音声として
の話者適応化用音声データの特徴ベクトル時系列と音響
モデルとを照合し、音響モデルを話者適応化処理する教
師ラベル選択型話者適応化手順とを備えるようにしたも
のである。

【００４４】この発明に係る話者適応化プログラムを記
録したコンピュータ読取可能な記録媒体は、教師ラベル
指示データにしたがってマルチ教師ラベルデータから教
師ラベルデータを一つ選択する教師ラベル選択手順と、
選択された教師ラベルデータを参照して、話者適応化用
音声データの特徴ベクトル時系列と音響モデルとを照合
し、音響モデル対応付データを出力する照合手順と、特
徴ベクトル時系列および音響モデル対応付データを用い
て音響モデルのパラメータを更新する音響モデル更新手
順とを教師ラベル選択型話者適応化手順が備えるように
したものである。

【００４５】この発明に係る話者適応化プログラムを記
録したコンピュータ読取可能な記録媒体は、話者適応化
用音声データが所定セット数分処理されるまでの前半処
理では、マルチ教師ラベルデータからネイティブ教師ラ
ベルデータを教師ラベルデータとして選択し、話者適応
化用音声データが所定セット数分処理されてからの後半
処理では、マルチ教師ラベルデータ中の複数の教師ラベ
ルデータの特徴ベクトル時系列に対する音声認識処理を
音響モデルを用いてそれぞれ行い、最大尤度の教師ラベ
ルデータを選択する認識型教師ラベル選択手順と、選択
された教師ラベルデータを参照して特徴ベクトル時系列
と音響モデルとを照合し、音響モデル対応付データを出
力する照合手順と、特徴ベクトル時系列および音響モデ
ル対応付データを用いて音響モデルのパラメータを更新
する音響モデル更新手順とを教師ラベル選択型話者適応
化手順が備えるようにしたものである。

【００４６】この発明に係る話者適応化プログラムを記
録したコンピュータ読取可能な記録媒体は、マルチ教師
ラベルデータ中の複数の教師ラベルデータをそれぞれ参
照して特徴ベクトル時系列と音響モデルとを照合し、マ
ルチ音響モデル対応付データを出力するマルチ照合手順
と、特徴ベクトル時系列およびマルチ音響モデル対応付
データを用いて音響モデルのパラメータを個々に更新し
たマルチ音響モデルを出力するマルチ音響モデル更新手
順と、マルチ音響モデルを参照して特徴ベクトル時系列
とマルチ教師ラベルデータとを照合し、マルチ音響モデ
ルの中から最大尤度の音響モデルを選択する音響モデル
決定手順とを教師ラベル選択型話者適応化手順が備える
ようにしたものである。

【００４７】この発明に係る音声認識装置は、請求項２
から請求項５のうちのいずれか１項記載の話者適応化装
置と、認識対象語彙の単語表記辞書を記憶する単語表記
辞書記憶手段と、入力音声としての未知音声信号の特徴
ベクトル時系列の音声認識処理を音響モデルを用いて行
い、単語表記辞書を用いて音声認識処理の結果を出力す
る音声認識手段とを備えるようにしたものである。

【００４８】この発明に係る音声認識方法は、請求項７
から請求項１０のうちのいずれか１項記載の話者適応化
方法と、入力音声としての未知音声信号の特徴ベクトル
時系列の音声認識処理を音響モデルを用いて行い、認識
対象語彙の単語表記辞書を用いて音声認識処理の結果を
出力する音声認識ステップとを備えるようにしたもので
ある。

【００４９】この発明に係る音声認識プログラムを記録
したコンピュータ読取可能な記録媒体は、請求項１２か
ら請求項１５のうちのいずれか１項記載のコンピュータ
読取可能な記録媒体に記録された話者適応化プログラム
と、入力音声としての未知音声信号の特徴ベクトル時系
列の音声認識処理を音響モデルを用いて行い、認識対象
語彙の単語表記辞書を用いて音声認識処理の結果を出力
する音声認識手順とを備えるようにしたものである。

【００５０】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態
１による話者適応化装置を備えた音声認識装置の構成を
示す図である。従来の技術と同様に、日本人英語を認識
対象とする。図１において、１は話者適応化用音声デー
タ（入力音声）や未知音声信号（入力音声）が入力され
る入力端子、２は音響分析処理を行う音響分析手段であ
る。音響分析手段２は、入力端子１へ入力された話者適
応化用音声データや未知音声信号を音響分析処理して特
徴ベクトル時系列を出力する。

【００５１】３はスイッチなどの切替手段であり、音響
分析手段２からの特徴ベクトル時系列の出力先を切替え
る。切替手段３は、話者適応化処理を行う場合には端子
ａを選択し、音声認識処理を行う場合には端子ｂを選択
する。したがって、話者適応化用音声データの特徴ベク
トル時系列４は端子ａから出力され、未知音声信号の特
徴ベクトル時系列５は端子ｂから出力される。

【００５２】６はマルチ教師ラベルデータ７を記憶する
マルチ教師ラベル記憶手段、８は音響モデル９Ａ，９Ｂ
を記憶する音響モデル記憶手段、１０はマルチ教師ラベ
ルデータ７を用いて話者適応化処理を行う教師ラベル選
択型話者適応化手段である。

【００５３】マルチ教師ラベル記憶手段６のマルチ教師
ラベルデータ７には、一つの話者適応化用音声データに
対して複数の教師ラベルデータが登録されている。つま
り、マルチ教師ラベルデータ７は、ネイティブ話者の発
音表記にしたがうネイティブ教師ラベルデータに加え
て、日本人英語特有の発音様態の誤り傾向に則って変更
された複数のノンネイティブ教師ラベルデータから構成
されている。日本人英語特有の発音様態の誤り傾向と
は、例えば、／ｖ／に対する／ｂ／，／ｒ／に対する／
ｌ／，／ｔｈ（有声音）／に対する／ｄ／や／ｚ／など
が挙げられる。

【００５４】したがって、話者適応化用音声データ「ｓ
ｅｖｅｎ」に対応するマルチ教師ラベルデータ７には、
ネイティブ教師ラベルデータ／ｓ／ｅ／ｖ／□／ｎ／に
加えて、／ｓ／ｉ／ｂ／ｕ／ｍ／，／ｓ／ｅ／ｂ／ｕ／
ｎ／，／ｓ／ｉ／ｂ／ｕ／ｎ／など日本人英語特有の発
音である複数のノンネイティブ教師ラベルデータが登録
されている。

【００５５】教師ラベル選択型話者適応化手段１０は、
マルチ教師ラベル記憶手段６のマルチ教師ラベルデータ
７から教師ラベルデータを一つ選択する。そして、この
教師ラベルデータを参照して端子ａからの特徴ベクトル
時系列４と音響モデル９Ａとを照合し、照合結果に基づ
いて音響モデル９Ａを話者適応化処理する。話者適応化
処理された音響モデル９Ａは、教師ラベル選択型話者適
応化手段１０によって音響モデル９Ｂとして音響モデル
記憶手段８へ書き込まれる。

【００５６】マルチ教師ラベル記憶手段６，教師ラベル
選択型話者適応化手段１０が、この発明の実施の形態１
による話者適応化装置を特徴付けている。

【００５７】図１の構成の説明に戻る。１１は認識対象
語彙の単語表記辞書１２を記憶する単語表記辞書記憶手
段、１３は音声認識処理を行う音声認識手段である。音
声認識手段１３は、音響モデル記憶手段８の音響モデル
９Ｂと単語表記辞書１２とを用いて、特徴ベクトル時系
列５に対する音声認識処理を行い、音声認識結果を出力
する。

【００５８】次に動作について説明する。従来の技術と
同様に、外国語として英語を、音響モデルとして英語の
疑似音素単位の連続分布型ＨＭＭを用いた場合を例に取
る。ＨＭＭの構成は３状態のＬｅｆｔ−ｔｏ−ｒｉｇｈ
ｔ型とする。各音響モデル９Ａは、英語を母国語とする
複数のネイティブ話者が発声した音声データを用いて学
習されたものである。

【００５９】音響モデル９Ａの話者適応化処理を最初に
行うため、切替手段３は端子ａを選択する。英語を母国
語としない日本人話者の発声による発声内容既知の話者
適応化用音声データが入力端子１へ入力されると、音響
分析手段２によって分析フレーム毎に音響分析処理さ
れ、特徴ベクトル時系列４として切替手段３の端子ａか
ら出力される（音響分析ステップ）。

【００６０】特徴ベクトル時系列４を端子ａから入力さ
れた教師ラベル選択型話者適応化手段１０は、マルチ教
師ラベルデータ７から教師ラベルデータを一つ選択し、
この教師ラベルデータを参照して音響モデル記憶手段８
の音響モデル９Ａの話者適応化処理を行う（教師ラベル
選択型話者適応化ステップ）。

【００６１】例えば、話者適応化用音声データが「ｓｅ
ｖｅｎ」の場合には、従来では教師ラベルデータはネイ
ティブ教師ラベルデータ／ｓ／ｅ／ｖ／□／ｎ／のみで
あった。一方、この実施の形態１では、日本人英語特有
の発音様態の誤り傾向に合わせて、／ｓ／ｉ／ｂ／ｕ／
ｍ／，／ｓ／ｅ／ｂ／ｕ／ｎ／，／ｓ／ｉ／ｂ／ｕ／ｎ
／などのノンネイティブ教師ラベルデータもマルチ教師
ラベルデータ７に登録されている。

【００６２】したがって、教師ラベル選択型話者適応化
手段１０は、入力された話者適応化用音声データの発音
の様態に近い教師ラベルデータをマルチ教師ラベルデー
タ７から選択する。そして、選択された教師ラベルデー
タを参照して特徴ベクトル時系列４と音響モデル９Ａと
を照合し、照合結果に基づいて音響モデル９Ａを話者適
応化処理する。このようにすることで、話者適応化用音
声データとして実際に発声された音声と教師ラベルデー
タとの不一致を低減させ、音響モデル９Ａの話者適応化
処理の精度を向上することができる。

【００６３】以上の動作によって、話者適応化処理され
た音響モデル９Ａは、音響モデル９Ｂとして音響モデル
記憶手段８に書き込まれる。

【００６４】以下、従来の技術と同様に、音響モデル９
Ｂを用いた音声認識処理を行うため、切替手段３は端子
ｂを選択する。先の日本人話者が発声した認識対象とし
ての未知音声信号が入力端子１へ入力されると、音響分
析手段２によって分析フレーム毎に音響分析処理され、
特徴ベクトル時系列５として切替手段３の端子ｂから出
力される（音響分析ステップ）。

【００６５】認識対象語彙の各単語に対応する疑似音素
単位のラベル系列が単語表記辞書記憶手段１１の単語表
記辞書１２に記憶されている。音声認識手段１３は、切
替手段３の端子ｂからの特徴ベクトル時系列５と音響モ
デル記憶手段８の音響モデル９Ｂとの認識照合処理を行
い、単語表記辞書１２を用いて音声認識結果を出力する
（音声認識ステップ）。

【００６６】このように、この実施の形態１の音声認識
装置では、マルチ教師ラベル記憶手段６，教師ラベル選
択型話者適応化手段１０によって作成された音響モデル
９Ｂを用いて音声認識処理を行うようにしているので、
従来と比較して、音声認識処理の認識率を向上すること
ができるようになっている。

【００６７】次に、図１に示した教師ラベル選択型話者
適応化手段１０の具体的な構成例について説明する。

【００６８】＜第１の構成例＞図２は教師ラベル選択型
話者適応化手段１０の第１の構成例を示す図である。図
１と同一または相当する構成要素については同一符号を
付してある。図２において、１５は教師ラベル選択手段
であり、外部から入力される教師ラベル指示データ１４
にしたがって、話者適応化用音声データの発音の様態に
最も近い教師ラベルデータ１６をマルチ教師ラベルデー
タ７から選択して照合手段１７に出力する。

【００６９】１７は照合手段であり、教師ラベルデータ
１６を参照して音響モデル９Ａと特徴ベクトル時系列４
との照合を行い、特徴ベクトル時系列４中の各特徴ベク
トルに対する音響モデル対応付データ１８を出力する。
１９は音響モデル更新手段であり、音響モデル９Ａを読
み出した後、音響モデル対応付データ１８と特徴ベクト
ル時系列４とを用いて各音響モデル９Ａのパラメータを
更新し、パラメータを更新した音響モデル９Ｂを音響モ
デル記憶手段８に書き込む。照合手段１７，音響モデル
更新手段１９は従来と同様であり、教師ラベルデータ１
６を用いて音響モデル９Ａを話者適応化処理する。

【００７０】教師ラベル選択手段１５を設けることによ
って、日本人英語の発音の様態に合致した教師ラベルデ
ータ１６が教師ラベル指示データ１４によって選択され
（教師ラベル選択ステップ）、音響モデル９Ａの話者適
応化処理（照合ステップ、音響モデル更新ステップ）に
用いられるようになり、話者適応化用音声データと教師
ラベルデータの不一致による音響モデル９Ｂの適応精度
の低下を抑制することができ、この音響モデル９Ｂを用
いて音声認識処理を行うので、認識精度を向上すること
ができる。

【００７１】なお、教師ラベルデータ１６の選択を指示
する教師ラベル指示データ１４は、英語の発音の聞き取
りに習熟した人間のオペレータが話者適応化用音声デー
タの内容を聞き取り、その発音内容に最も近い教師ラベ
ルデータ１６を指示・選択することによって実現でき
る。また、人間のオペレータと同様の機能を有する自動
機械によって教師ラベル指示データ１４を与えるように
しても良い。

【００７２】＜第２の構成例＞図３は教師ラベル選択型
話者適応化手段１０の第２の構成例を示す図である。図
１，２と同一または相当する構成要素については同一符
号を付してある。図３において、２０はマルチ教師ラベ
ル記憶手段６のマルチ教師ラベルデータ７の出力先を切
替えるスイッチなどの切替手段（認識型教師ラベル選択
手段）である。切替手段２０の出力先は端子ｃ，ｄであ
り、切替手段２０は端子ｃをはじめに選択している。

【００７３】２１は切替手段２０の端子ｃと接続される
ネイティブ教師ラベル選択手段（認識型教師ラベル選択
手段）である。ネイティブ教師ラベル選択手段２１は、
ネイティブ話者の発音表記にしたがうネイティブ教師ラ
ベルデータをマルチ教師ラベルデータ７から選択し、教
師ラベルデータ１６として照合手段１７へ出力する。例
えば、話者適応化用音声データが「ｓｅｖｅｎ」の場
合、ネイティブ教師ラベル選択手段２１は／ｓ／ｅ／ｖ
／□／ｎ／を選択する。

【００７４】２２は切替手段２０の端子ｄと接続される
認識型教師ラベル選択手段（認識型教師ラベル選択手
段）である。認識型教師ラベル選択手段２２は、切替手
段２０の端子ｄを介してマルチ教師ラベルデータ７を読
み込み、このマルチ教師ラベルデータ７中の複数の教師
ラベルデータを認識語彙とし、特徴ベクトル時系列４に
対して音響モデル９Ａを用いた音声認識処理を行う。そ
して、音声認識処理の結果、最大尤度の教師ラベルデー
タを教師ラベルデータ１６として照合手段１７へ出力す
る。切替手段２０，ネイティブ教師ラベル選択手段２１
は、認識型教師ラベル選択手段２２の構成の一部として
考えられる。

【００７５】次に動作について説明する。ここで、音響
モデル更新手段１９における音響モデル９Ａの更新に
は、文献３で用いられたＭＬＬＲ法などのような、音声
スペクトル空間における各音響モデルの連続性を維持し
つつ話者適応化処理を行う手法を採用するものとする。
また、複数セット数の話者適応化用音声データを用いる
ものとし、切替手段２０は、ある所定セット数の話者適
応化用音声データの処理（前半処理）が完了するまで端
子ｃを選択し、ある所定セット数から先の話者適応化用
音声データの処理（後半処理）では端子ｄを選択する。

【００７６】したがって、前半処理として、ネイティブ
教師ラベル選択手段２１はマルチ教師ラベルデータ７か
らネイティブ教師ラベルデータを選択し、これを教師ラ
ベルデータ１６として照合手段１７に与え、ネイティブ
教師ラベルデータを用いた話者適応化処理が従来と同様
に行われる（認識型教師ラベル選択ステップ）。

【００７７】そして処理された話者適応化用音声データ
が所定のセット数に達すると、切替手段２０は端子ｄを
選択し、後半処理が行われる。認識型教師ラベル選択手
段２２は端子ｄからマルチ教師ラベルデータ７を受ける
と、マルチ教師ラベルデータ７中の複数の教師ラベルデ
ータを認識語彙として、音響モデル記憶手段８の音響モ
デル９Ａを用いて特徴ベクトル時系列４に対する音声認
識処理を行う。この音声認識処理の結果、最大尤度のも
のを教師ラベルデータ１６として照合手段１７へ出力す
る（認識型教師ラベル選択ステップ）。この教師ラベル
データ１６に則った音響モデルの話者適応化処理が照合
手段１７，音響モデル更新手段１９によって行われる
（照合ステップ、音響モデル更新ステップ）。

【００７８】これによって、従来と同様の前半処理にお
いて、音響モデル９Ａの大まかな話者適応化処理がなさ
れることになり、後半処理において、マルチ教師ラベル
データ７中の複数の教師ラベルデータを認識語彙とした
特徴ベクトル時系列４に対する認識型教師ラベル選択手
段２２の音声認識処理の精度が向上し、選択される教師
ラベルデータ１６が話者適応化用音声データに合致した
ものになる。その結果、最終的に音響モデル更新手段１
９で行われる音響モデル９Ａの話者適応化処理の精度を
向上することができる。

【００７９】＜第３の構成例＞図４は教師ラベル選択型
話者適応化手段１０の第３の構成例を示す図である。図
１と同一または相当する構成要素については同一符号を
付してある。図４において、２３はマルチ照合手段であ
る。マルチ照合手段２３は、マルチ教師ラベルデータ７
中の複数の教師ラベルデータ全てをそれぞれ参照して、
音響モデル記憶手段８の音響モデル９Ａと特徴ベクトル
時系列４との照合を個々に行い、各照合結果から得られ
た複数の音響モデル対応付データからなるマルチ音響モ
デル対応付データ２４を出力する。

【００８０】２５は特徴ベクトル時系列４，マルチ音響
モデル対応付データ２４を用いて音響モデル９Ａのパラ
メータをそれぞれ更新するマルチ音響モデル更新手段、
２７はマルチ音響モデル更新手段２５が更新したマルチ
音響モデル２６をバッファリングするマルチ音響モデル
バッファリング手段（音響モデル決定手段）である。

【００８１】２８はマルチ音響モデルバッファリング手
段２７のマルチ音響モデル２６を用いて特徴ベクトル時
系列４とマルチ教師ラベルデータ７との照合をそれぞれ
行い、各照合結果から得られた尤度データ２９を出力す
る再照合手段（音響モデル決定手段）である。３０は尤
度データ２９を参照して、マルチ音響モデルバッファリ
ング手段２７のマルチ音響モデル２６から最大尤度の音
響モデルを音響モデル記憶手段８に書き込む音響モデル
決定手段（音響モデル決定手段）である。マルチ音響モ
デルバッファリング手段２７，再照合手段２８は音響モ
デル決定手段３０の構成の一部として考えられる。

【００８２】次に動作について説明する。マルチ照合手
段２３は、マルチ教師ラベルデータ７中の複数の教師ラ
ベルデータを個々に参照して、音響モデル９Ａと特徴ベ
クトル時系列４との照合をそれぞれ行い、各教師ラベル
データ毎にそれぞれ対応した複数の音響モデル対応付デ
ータからなるマルチ音響モデル対応付データ２４を出力
する。

【００８３】すなわち、特徴ベクトル時系列４を｛Ｘ
（ｎ）｜ｎ＝１，…，Ｎ｝（Ｎは系列数）、マルチ教師
ラベルデータ７を｛Ｓｉ｜ｉ＝１，…，Ｉ｝（Ｉはマル
チ教師ラベルデータ７の教師ラベルデータ数）とすれ
ば、特徴ベクトル時系列４｛Ｘ（ｎ）｜ｎ＝１，…，
Ｎ｝に対し、教師ラベルデータＳｉにより照合を行うこ
とで音響モデル対応付データＬｉ＝｛Ｌｉ（ｎ）｜ｎ＝
１，…，Ｎ｝が得られる。ここで、Ｌｉ（ｎ）∈｛Ｍｐ
（ｋ）｜ｐ＝１，…，Ｐ， ｋ＝１，２，３｝（Ｍｐは
疑似音素単位の種類を表すラベル、Ｐは疑似音素単位の
数、ｋはＨＭＭの状態番号）である。

【００８４】この処理をｉ＝１，…，Ｉについて行うこ
とで、各教師ラベルデータＳｉに対応したマルチ音響モ
デル対応付データ２４｛Ｌｉ｜ｉ＝１，…，Ｉ｝が求め
られる。

【００８５】マルチ音響モデル更新手段２５は、マルチ
音響モデル対応付データ２４｛Ｌｉ｜ｉ＝１，…，Ｉ｝
を用いて、ｉ＝１，…，Ｉのそれぞれのｉについて、音
響モデル記憶手段８の音響モデル９Ａのパラメータを更
新し、マルチ音響モデルバッファリング手段２７に書き
出す（マルチ音響モデル更新ステップ）。

【００８６】すなわち、音響モデル記憶手段８の音響モ
デル９Ａ｛Ｅ（Ｍｐ）｜ｐ＝１，…，Ｐ｝（Ｍｐは疑似
音素単位の種類を表すラベル、Ｐは疑似音素単位の数）
は、マルチ音響モデル対応付データ２４の各音響モデル
対応付データＬｉによってパラメータが更新され、更新
された音響モデルＦｉ＝｛Ｆｉ（Ｍｐ）｜ｐ＝１，…，
Ｐ｝が得られる。ここで用いられるパラメータの更新
は、従来の音響モデル更新手段５９の処理と同様であ
る。

【００８７】この処理をｉ＝１，…，Ｉについて行うこ
とで、パラメータが更新されたマルチ音響モデル２６
｛Ｆｉ｜ｉ＝１，…，Ｉ｝がマルチ音響モデルバッファ
リング手段２７にバッファリングされる。

【００８８】再照合手段２８は、マルチ教師ラベル記憶
手段６に記憶されている複数のマルチ教師ラベルデータ
７｛Ｓｉ｜ｉ＝１，…，Ｉ｝を参照して、マルチ音響モ
デルバッファリング手段２７のマルチ音響モデル２６
｛Ｆｉ｜ｉ＝１，…，Ｉ｝と特徴ベクトル時系列４との
照合をそれぞれ行い、尤度データ２９を出力する（音響
モデル決定ステップ）。

【００８９】すなわち、特徴ベクトル時系列４に対し、
音響モデルＦｉを用いて教師ラベルデータＳｉとの照合
を行い尤度データＷｉを求める。この処理をｉ＝１，
…，Ｉについて行うことで尤度データ｛Ｗｉ｜ｉ＝１，
…，Ｉ｝を求める。

【００９０】音響モデル決定手段３０は、再照合手段２
８が出力した尤度データ２９｛Ｗｉ｜ｉ＝１，…，Ｉ｝
の中で最大尤度Ｗｍａｘを与える指数ｉｍａｘ∈｛ｉ｜
ｉ＝１，…，Ｉ｝を求め、マルチ音響モデルバッファリ
ング手段２７のマルチ音響モデル２６｛Ｆｉ｜ｉ＝１，
…，Ｉ｝の中から最大尤度の音響モデルＦｉｍａｘを選
択し、話者適応化処理した音響モデル９Ｂとして音響モ
デル記憶手段８に書き込む（音響モデル決定ステッ
プ）。

【００９１】マルチ照合手段２３，マルチ音響モデル更
新手段２５によって、マルチ音響モデルバッファリング
手段２７の話者適応化処理されたＩ個の音響モデル｛Ｆ
ｉ｜ｉ＝１，…，Ｉ｝は、Ｉ個の各教師ラベルデータ
｛Ｓｉ｜ｉ＝１，…，Ｉ｝に基づいてそれぞれ作成され
ているため、Ｉ個の教師ラベルデータの中で話者適応化
用音声データの発音様態に最も近い教師ラベルデータに
基づいて作成された話者適応化音響モデルは、最も精度
良く話者に適応化した音響モデルとなっている。

【００９２】ゆえに再照合手段２８において話者適応化
処理された音響モデル｛Ｆｉ｜ｉ＝１，…，Ｉ｝を用い
て、各教師ラベルデータ｛Ｓｉ｜ｉ＝１，…，Ｉ｝と特
徴ベクトル時系列との照合により計算された尤度データ
｛Ｗｉ｜ｉ＝１，…，Ｉ｝の中で最大尤度の音響モデル
を選択して音響モデル記憶手段８に書き込むことで、最
も精度良く話者に適応した音響モデルが音響モデル記憶
手段上に構築される。このようにして話者適応化処理し
た音響モデルを用いることで精度の高い音声認識処理が
実現できる。

【００９３】以上のように、この実施の形態１によれ
ば、入力音声を音響分析処理して切替手段３の端子ａか
ら特徴ベクトル時系列４を出力する音響分析手段２と、
話者適応化用音声データに対応する複数の教師ラベルデ
ータから構成されるマルチ教師ラベルデータ７を記憶す
るマルチ教師ラベル記憶手段６と、音響モデル９Ａを記
憶する音響モデル記憶手段８と、マルチ教師ラベルデー
タ７から教師ラベルデータを一つ選択するとともに、選
択された教師ラベルデータを参照して特徴ベクトル時系
列４と音響モデル９Ａとを照合し、音響モデル９Ａを話
者適応化処理する教師ラベル選択型話者適応化手段１０
とを備えるようにしたので、ノンネイティブ話者に特有
のなまりや曖昧な発音が話者適応化用音声データに含ま
れる場合にも、話者適応化用音声データと教師ラベルデ
ータとの不一致を低減させ、音響モデル９Ａの話者適応
化処理の精度を向上することができるという効果が得ら
れる。

【００９４】また、この実施の形態１によれば、マルチ
教師ラベルデータ７から教師ラベル指示データ１４にし
たがって教師ラベルデータを一つ選択する教師ラベル選
択手段１５と、選択された教師ラベルデータを参照して
特徴ベクトル時系列４と音響モデル９Ａとの照合を行
い、音響モデル対応付データ１８を出力する照合手段１
７と、特徴ベクトル時系列４，音響モデル対応付データ
１８を用いて音響モデル９Ａのパラメータを更新する音
響モデル更新手段１９とを教師ラベル選択型話者適応化
手段１０が備えるようにしたので、話者適応化用音声デ
ータと教師ラベルデータの不一致による音響モデルの適
応精度の低下を抑制することができるという効果が得ら
れる。

【００９５】さらに、この実施の形態１によれば、所定
セット数までの話者適応化用音声データが処理される前
半処理では、マルチ教師ラベルデータ７からネイティブ
教師ラベルデータを教師ラベルデータ１６として出力
し、所定セット数から先の話者適応化用音声データが処
理される後半処理では、音響モデル９Ａを用いてマルチ
教師ラベルデータ７中の教師ラベルデータを特徴ベクト
ル時系列４に対してそれぞれ音声認識処理し、最大尤度
のものを教師ラベルデータ１６として出力する切替手段
２０・ネイティブ教師ラベル選択手段２１・認識型教師
ラベル選択手段２２と、教師ラベルデータ１６を参照し
て特徴ベクトル時系列４と音響モデル９Ａとを照合し、
音響モデル対応付データ１８を出力する照合手段１７
と、特徴ベクトル時系列４および音響モデル対応付デー
タ１８を参照して、音響モデル９Ａのパラメータを更新
する音響モデル更新手段１９とを教師ラベル選択型話者
適応化手段１０が備えるようにしたので、前半処理にお
いて音響モデル９Ａの大まかな話者適応化処理がなさ
れ、後半処理においてマルチ教師ラベルデータ７中の複
数の教師ラベルデータから最大尤度のものが教師ラベル
データ１６として選択されるようになり、音響モデル９
Ａの話者適応化処理の精度を向上することができるとい
う効果が得られる。

【００９６】さらに、この実施の形態１によれば、マル
チ教師ラベルデータ７中の複数の教師ラベルデータをそ
れぞれ参照して特徴ベクトル時系列４と音響モデル９Ａ
とを照合し、マルチ音響モデル対応付データ２４を出力
するマルチ照合手段２３と、特徴ベクトル時系列４，マ
ルチ音響モデル対応付データ２４を用いて、音響モデル
９Ａのパラメータをそれぞれ更新したマルチ音響モデル
２６を出力するマルチ音響モデル更新手段２５と、マル
チ音響モデル２６を参照してマルチ音響モデル２６とマ
ルチ教師ラベルデータ７とを再照合し、マルチ音響モデ
ル２６から最大尤度の音響モデルを音響モデル記憶手段
８に書き込むマルチ音響モデルバッファリング手段２７
・再照合手段２８・音響モデル決定手段３０とを教師ラ
ベル選択型話者適応化手段１０が備えるようにしたの
で、マルチ教師ラベルデータ７中の全ての教師ラベルデ
ータから最大尤度のものを教師ラベルデータ１６として
選択して、音響モデル９Ａの話者適応化処理の精度を向
上することができるという効果が得られる。

【００９７】さらに、この実施の形態１によれば、話者
適応化処理の結果として音響モデル９Ｂを出力する話者
適応化装置と、単語表記辞書１２を記憶する単語表記辞
書記憶手段１１と、音声信号として入力された未知音声
信号の特徴ベクトル時系列５と音響モデル９Ｂとを照合
して音声認識処理し、単語表記辞書１２を用いて音声認
識結果を出力する音声認識手段１３とを備えるようにし
たので、精度良く話者適応化処理された音響モデル９Ｂ
を用いて音声認識処理を行い、音声認識精度を向上する
ことができるという効果が得られる。

【００９８】以上の説明では、日本人英語を認識対象と
した場合について説明してきたが、この発明の認識対象
は特に限定されるものではなく、母国語以外のある言語
を対象とした音声認識であればどのような言語であって
も良く、音響モデルとして用いるものが英語の疑似音素
単位のＨＭＭに限定されるものでもない。

【００９９】また、話者適応化用音声データは一個の単
語である必要はなく、複数の単語の組や文節、文章など
であっても良い。

【０１００】さらに、この発明は上述のようなハードウ
ェアによる実現に限定されるものではなく、この発明を
構成する各要素と同等の機能を満たす手順を備えたソフ
トウェア・プログラムにより実現するようにしても同様
の効果を得ることができる。

【０１０１】

【発明の効果】以上のように、この発明によれば、一つ
の話者適応化用音声データに対応した複数の教師ラベル
データからなるマルチ教師ラベルデータから、話者適応
化用音声データを参照して一つの教師ラベルデータを選
択し、教師ラベルデータを参照して音響モデルの話者適
応化処理を行うようにしたので、ノンネイティブ話者に
特有のなまりや曖昧な発音が話者適応化用音声データに
含まれる場合にも、話者適応化用音声データと教師ラベ
ルデータとの不一致を低減させ、音響モデルの話者適応
化処理の精度を向上することができるという効果が得ら
れる。

【０１０２】この発明によれば、入力音声を音響分析処
理して特徴ベクトル時系列を出力する音響分析手段と、
一つの話者適応化用音声データに対応した複数の教師ラ
ベルデータからなるマルチ教師ラベルデータを記憶する
マルチ教師ラベル記憶手段と、音響モデルを記憶する音
響モデル記憶手段と、マルチ教師ラベルデータから教師
ラベルデータを一つ選択するとともに、選択された教師
ラベルデータを参照して、入力音声としての話者適応化
用音声データの特徴ベクトル時系列と音響モデルとを照
合し、音響モデルを話者適応化処理する教師ラベル選択
型話者適応化手段とを備えるようにしたので、ノンネイ
ティブ話者に特有のなまりや曖昧な発音が話者適応化用
音声データに含まれる場合にも、話者適応化用音声デー
タと教師ラベルデータとの不一致を低減させ、音響モデ
ルの話者適応化処理の精度を向上することができるとい
う効果が得られる。

【０１０３】この発明によれば、教師ラベル指示データ
にしたがってマルチ教師ラベルデータから教師ラベルデ
ータを一つ選択する教師ラベル選択手段と、選択された
教師ラベルデータを参照して、話者適応化用音声データ
の特徴ベクトル時系列と音響モデルとを照合し、音響モ
デル対応付データを出力する照合手段と、特徴ベクトル
時系列および音響モデル対応付データを用いて音響モデ
ルのパラメータを更新する音響モデル更新手段とを教師
ラベル選択型話者適応化手段が備えるようにしたので、
話者適応化用音声データと教師ラベルデータの不一致に
よる音響モデルの適応精度の低下を抑制することができ
るという効果が得られる。

【０１０４】この発明によれば、話者適応化用音声デー
タが所定セット数分処理されるまでの前半処理では、マ
ルチ教師ラベルデータからネイティブ教師ラベルデータ
を教師ラベルデータとして選択し、話者適応化用音声デ
ータが所定セット数分処理されてからの後半処理では、
マルチ教師ラベルデータ中の複数の教師ラベルデータの
特徴ベクトル時系列に対する音声認識処理を音響モデル
を用いてそれぞれ行い、最大尤度の教師ラベルデータを
選択する認識型教師ラベル選択手段と、選択された教師
ラベルデータを参照して特徴ベクトル時系列と音響モデ
ルとを照合し、音響モデル対応付データを出力する照合
手段と、特徴ベクトル時系列および音響モデル対応付デ
ータを用いて音響モデルのパラメータを更新する音響モ
デル更新手段とを教師ラベル選択型話者適応化手段が備
えるようにしたので、前半処理において音響モデルの大
まかな話者適応化処理がなされ、後半処理においてマル
チ教師ラベルデータ中の複数の教師ラベルデータから最
大尤度のものが教師ラベルデータとして選択されるよう
になり、音響モデルの話者適応化処理の精度を向上する
ことができるという効果が得られる。

【０１０５】この発明によれば、マルチ教師ラベルデー
タ中の複数の教師ラベルデータをそれぞれ参照して特徴
ベクトル時系列と音響モデルとを照合し、マルチ音響モ
デル対応付データを出力するマルチ照合手段と、特徴ベ
クトル時系列およびマルチ音響モデル対応付データを用
いて音響モデルのパラメータを個々に更新したマルチ音
響モデルを出力するマルチ音響モデル更新手段と、マル
チ音響モデルを参照して特徴ベクトル時系列とマルチ教
師ラベルデータとを照合し、マルチ音響モデルの中から
最大尤度の音響モデルを音響モデル記憶手段に書き込む
音響モデル決定手段とを教師ラベル選択型話者適応化手
段が備えるようにしたので、マルチ教師ラベルデータ中
の全ての教師ラベルデータから最大尤度のものを教師ラ
ベルデータとして選択して、音響モデルの話者適応化処
理の精度を向上することができるという効果が得られ
る。

【０１０６】この発明によれば、一つの話者適応化用音
声データに対応した複数の教師ラベルデータからなるマ
ルチ教師ラベルデータから、話者適応化用音声データを
参照して一つの教師ラベルデータを選択し、教師ラベル
データを参照して音響モデルの話者適応化処理を行うよ
うにしたので、ノンネイティブ話者に特有のなまりや曖
昧な発音が話者適応化用音声データに含まれる場合に
も、話者適応化用音声データと教師ラベルデータとの不
一致を低減させ、音響モデルの話者適応化処理の精度を
向上することができるという効果が得られる。

【０１０７】この発明によれば、入力音声を音響分析処
理して特徴ベクトル時系列を出力する音響分析ステップ
と、一つの話者適応化用音声データに対応した複数の教
師ラベルデータからなるマルチ教師ラベルデータの中か
ら教師ラベルデータを一つ選択するとともに、選択され
た教師ラベルデータを参照して、入力音声としての話者
適応化用音声データの特徴ベクトル時系列と音響モデル
とを照合し、音響モデルを話者適応化処理する教師ラベ
ル選択型話者適応化ステップとを備えるようにしたの
で、ノンネイティブ話者に特有のなまりや曖昧な発音が
話者適応化用音声データに含まれる場合にも、話者適応
化用音声データと教師ラベルデータとの不一致を低減さ
せ、音響モデルの話者適応化処理の精度を向上すること
ができるという効果が得られる。

【０１０８】この発明によれば、教師ラベル指示データ
にしたがってマルチ教師ラベルデータから教師ラベルデ
ータを一つ選択する教師ラベル選択ステップと、選択さ
れた教師ラベルデータを参照して、話者適応化用音声デ
ータの特徴ベクトル時系列と音響モデルとを照合し、音
響モデル対応付データを出力する照合ステップと、特徴
ベクトル時系列および音響モデル対応付データを用いて
音響モデルのパラメータを更新する音響モデル更新ステ
ップとを教師ラベル選択型話者適応化ステップが備える
ようにしたので、話者適応化用音声データと教師ラベル
データの不一致による音響モデルの適応精度の低下を抑
制することができるという効果が得られる。

【０１０９】この発明によれば、話者適応化用音声デー
タが所定セット数分処理されるまでの前半処理では、マ
ルチ教師ラベルデータからネイティブ教師ラベルデータ
を教師ラベルデータとして選択し、話者適応化用音声デ
ータが所定セット数分処理されてからの後半処理では、
マルチ教師ラベルデータ中の複数の教師ラベルデータの
特徴ベクトル時系列に対する音声認識処理を音響モデル
を用いてそれぞれ行い、最大尤度の教師ラベルデータを
選択する認識型教師ラベル選択ステップと、選択された
教師ラベルデータを参照して特徴ベクトル時系列と音響
モデルとを照合し、音響モデル対応付データを出力する
照合ステップと、特徴ベクトル時系列および音響モデル
対応付データを用いて音響モデルのパラメータを更新す
る音響モデル更新ステップとを教師ラベル選択型話者適
応化ステップが備えるようにしたので、前半処理におい
て音響モデルの大まかな話者適応化処理がなされ、後半
処理においてマルチ教師ラベルデータ中の複数の教師ラ
ベルデータから最大尤度のものが教師ラベルデータとし
て選択されるようになり、音響モデルの話者適応化処理
の精度を向上することができるという効果が得られる。

【０１１０】この発明によれば、マルチ教師ラベルデー
タ中の複数の教師ラベルデータをそれぞれ参照して特徴
ベクトル時系列と音響モデルとを照合し、マルチ音響モ
デル対応付データを出力するマルチ照合ステップと、特
徴ベクトル時系列およびマルチ音響モデル対応付データ
を用いて音響モデルのパラメータを個々に更新したマル
チ音響モデルを出力するマルチ音響モデル更新ステップ
と、マルチ音響モデルを参照して特徴ベクトル時系列と
マルチ教師ラベルデータとを照合し、マルチ音響モデル
の中から最大尤度の音響モデルを選択する音響モデル決
定ステップとを教師ラベル選択型話者適応化ステップが
備えるようにしたので、マルチ教師ラベルデータ中の全
ての教師ラベルデータから最大尤度のものを教師ラベル
データとして選択して、音響モデルの話者適応化処理の
精度を向上することができるという効果が得られる。

【０１１１】この発明によれば、一つの話者適応化用音
声データに対応した複数の教師ラベルデータからなるマ
ルチ教師ラベルデータから、話者適応化用音声データを
参照して一つの教師ラベルデータを選択し、教師ラベル
データを参照して音響モデルの話者適応化処理を行うよ
うにしたので、ノンネイティブ話者に特有のなまりや曖
昧な発音が話者適応化用音声データに含まれる場合に
も、話者適応化用音声データと教師ラベルデータとの不
一致を低減させ、音響モデルの話者適応化処理の精度を
向上することができるという効果が得られる。

【０１１２】この発明によれば、入力音声を音響分析処
理して特徴ベクトル時系列を出力する音響分析手順と、
一つの話者適応化用音声データに対応した複数の教師ラ
ベルデータからなるマルチ教師ラベルデータの中から教
師ラベルデータを一つ選択するとともに、選択された教
師ラベルデータを参照して、入力音声としての話者適応
化用音声データの特徴ベクトル時系列と音響モデルとを
照合し、音響モデルを話者適応化処理する教師ラベル選
択型話者適応化手順とを備えるようにしたので、ノンネ
イティブ話者に特有のなまりや曖昧な発音が話者適応化
用音声データに含まれる場合にも、話者適応化用音声デ
ータと教師ラベルデータとの不一致を低減させ、音響モ
デルの話者適応化処理の精度を向上することができると
いう効果が得られる。

【０１１３】この発明によれば、教師ラベル指示データ
にしたがってマルチ教師ラベルデータから教師ラベルデ
ータを一つ選択する教師ラベル選択手順と、選択された
教師ラベルデータを参照して、話者適応化用音声データ
の特徴ベクトル時系列と音響モデルとを照合し、音響モ
デル対応付データを出力する照合手順と、特徴ベクトル
時系列および音響モデル対応付データを用いて音響モデ
ルのパラメータを更新する音響モデル更新手順とを教師
ラベル選択型話者適応化手順が備えるようにしたので、
話者適応化用音声データと教師ラベルデータの不一致に
よる音響モデルの適応精度の低下を抑制することができ
るという効果が得られる。

【０１１４】この発明によれば、話者適応化用音声デー
タが所定セット数分処理されるまでの前半処理では、マ
ルチ教師ラベルデータからネイティブ教師ラベルデータ
を教師ラベルデータとして選択し、話者適応化用音声デ
ータが所定セット数分処理されてからの後半処理では、
マルチ教師ラベルデータ中の複数の教師ラベルデータの
特徴ベクトル時系列に対する音声認識処理を音響モデル
を用いてそれぞれ行い、最大尤度の教師ラベルデータを
選択する認識型教師ラベル選択手順と、選択された教師
ラベルデータを参照して特徴ベクトル時系列と音響モデ
ルとを照合し、音響モデル対応付データを出力する照合
手順と、特徴ベクトル時系列および音響モデル対応付デ
ータを用いて音響モデルのパラメータを更新する音響モ
デル更新手順とを教師ラベル選択型話者適応化手順が備
えるようにしたので、前半処理において音響モデルの大
まかな話者適応化処理がなされ、後半処理においてマル
チ教師ラベルデータ中の複数の教師ラベルデータから最
大尤度のものが教師ラベルデータとして選択されるよう
になり、音響モデルの話者適応化処理の精度を向上する
ことができるという効果が得られる。

【０１１５】この発明によれば、マルチ教師ラベルデー
タ中の複数の教師ラベルデータをそれぞれ参照して特徴
ベクトル時系列と音響モデルとを照合し、マルチ音響モ
デル対応付データを出力するマルチ照合手順と、特徴ベ
クトル時系列およびマルチ音響モデル対応付データを用
いて音響モデルのパラメータを個々に更新したマルチ音
響モデルを出力するマルチ音響モデル更新手順と、マル
チ音響モデルを参照して特徴ベクトル時系列とマルチ教
師ラベルデータとを照合し、マルチ音響モデルの中から
最大尤度の音響モデルを選択する音響モデル決定手順と
を教師ラベル選択型話者適応化手順が備えるようにした
ので、マルチ教師ラベルデータ中の全ての教師ラベルデ
ータから最大尤度のものを教師ラベルデータとして選択
して、音響モデルの話者適応化処理の精度を向上するこ
とができるという効果が得られる。

【０１１６】この発明によれば、請求項２から請求項５
のうちのいずれか１項記載の話者適応化装置と、認識対
象語彙の単語表記辞書を記憶する単語表記辞書記憶手段
と、入力音声としての未知音声信号の特徴ベクトル時系
列の音声認識処理を音響モデルを用いて行い、単語表記
辞書を用いて音声認識処理の結果を出力する音声認識手
段とを備えるようにしたので、精度良く話者適応化処理
された音響モデルを用いて音声認識処理を行い、音声認
識精度を向上することができるという効果が得られる。

【０１１７】この発明によれば、請求項７から請求項１
０のうちのいずれか１項記載の話者適応化方法と、入力
音声としての未知音声信号の特徴ベクトル時系列の音声
認識処理を音響モデルを用いて行い、認識対象語彙の単
語表記辞書を用いて音声認識処理の結果を出力する音声
認識ステップとを備えるようにしたので、精度良く話者
適応化処理された音響モデルを用いて音声認識処理を行
い、音声認識精度を向上することができるという効果が
得られる。

【０１１８】この発明によれば、請求項１２から請求項
１５のうちのいずれか１項記載のコンピュータ読取可能
な記録媒体に記録された話者適応化プログラムと、入力
音声としての未知音声信号の特徴ベクトル時系列の音声
認識処理を音響モデルを用いて行い、認識対象語彙の単
語表記辞書を用いて音声認識処理の結果を出力する音声
認識手順とを備えるようにしたので、精度良く話者適応
化処理された音響モデルを用いて音声認識処理を行い、
音声認識精度を向上することができるという効果が得ら
れる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による話者適応化装
置を備えた音声認識装置の構成を示す図である。

【図２】 教師ラベル選択型話者適応化手段の第１の構
成例を示す図である。

【図３】 教師ラベル選択型話者適応化手段の第２の構
成例を示す図である。

【図４】 教師ラベル選択型話者適応化手段の第３の構
成例を示す図である。

【図５】 従来の話者適応化装置を備えた音声認識装置
の構成を示す図である。

【図６】 話者適応化手段の構成を示す図である。

【符号の説明】

１ 入力端子、２ 音響分析手段、３ 切替手段、４，
５ 特徴ベクトル時系列、６ マルチ教師ラベル記憶手
段、７ マルチ教師ラベルデータ、８ 音響モデル記憶
手段、９Ａ，９Ｂ 音響モデル、１０ 教師ラベル選択
型話者適応化手段、１１ 単語表記辞書記憶手段、１２
単語表記辞書、１３ 音声認識手段、１４ 教師ラベ
ル指示データ、１５ 教師ラベル選択手段、１６ 教師
ラベルデータ、１７ 照合手段、１８ 音響モデル対応
付データ、１９ 音響モデル更新手段、２０ 切替手段
（認識型教師ラベル選択手段）、２１ ネイティブ教師
ラベル選択手段（認識型教師ラベル選択手段）、２２
認識型教師ラベル選択手段（認識型教師ラベル選択手
段）、２３ マルチ照合手段、２４ マルチ音響モデル
対応付データ、２５ マルチ音響モデル更新手段、２６
マルチ音響モデル、２７ マルチ音響モデルバッファ
リング手段（音響モデル決定手段）、２８ 再照合手段
（音響モデル決定手段）、２９ 尤度データ、３０ 音
響モデル決定手段（音響モデル決定手段）。

───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】 話者適応化装置、話者適応化方法、話者適応化プログラムを記録したコンピュータ読取可能な記 録媒体、音声認識装置、音声認識方法および音声認識プログラムを記録したコンピュータ読取可 能な記録媒体

Claims (18)

【特許請求の範囲】
1. 【請求項１】 一つの話者適応化用音声データに対応し
   た複数の教師ラベルデータからなるマルチ教師ラベルデ
   ータから、上記話者適応化用音声データを参照して一つ
   の教師ラベルデータを選択し、上記教師ラベルデータを
   参照して音響モデルの話者適応化処理を行うことを特徴
   とする話者適応化装置。
2. 【請求項２】 入力音声を音響分析処理して特徴ベクト
   ル時系列を出力する音響分析手段と、 一つの話者適応化用音声データに対応した複数の教師ラ
   ベルデータからなるマルチ教師ラベルデータを記憶する
   マルチ教師ラベル記憶手段と、 音響モデルを記憶する音響モデル記憶手段と、 上記マルチ教師ラベルデータから上記教師ラベルデータ
   を一つ選択するとともに、選択された上記教師ラベルデ
   ータを参照して、上記入力音声としての上記話者適応化
   用音声データの上記特徴ベクトル時系列と上記音響モデ
   ルとを照合し、上記音響モデルを話者適応化処理する教
   師ラベル選択型話者適応化手段とを備えることを特徴と
   する話者適応化装置。
3. 【請求項３】 教師ラベル選択型話者適応化手段は、 教師ラベル指示データにしたがってマルチ教師ラベルデ
   ータから教師ラベルデータを一つ選択する教師ラベル選
   択手段と、 選択された上記教師ラベルデータを参照して、上記話者
   適応化用音声データの特徴ベクトル時系列と音響モデル
   とを照合し、音響モデル対応付データを出力する照合手
   段と、 上記特徴ベクトル時系列および上記音響モデル対応付デ
   ータを用いて上記音響モデルのパラメータを更新する音
   響モデル更新手段とを備えることを特徴とする請求項２
   記載の話者適応化装置。
4. 【請求項４】 教師ラベル選択型話者適応化手段は、 話者適応化用音声データが所定セット数分処理されるま
   での前半処理では、マルチ教師ラベルデータからネイテ
   ィブ教師ラベルデータを教師ラベルデータとして選択
   し、上記話者適応化用音声データが上記所定セット数分
   処理されてからの後半処理では、マルチ教師ラベルデー
   タ中の複数の教師ラベルデータの特徴ベクトル時系列に
   対する音声認識処理を音響モデルを用いてそれぞれ行
   い、最大尤度の上記教師ラベルデータを選択する認識型
   教師ラベル選択手段と、 選択された上記教師ラベルデータを参照して上記特徴ベ
   クトル時系列と上記音響モデルとを照合し、音響モデル
   対応付データを出力する照合手段と、 上記特徴ベクトル時系列および上記音響モデル対応付デ
   ータを用いて上記音響モデルのパラメータを更新する音
   響モデル更新手段とを備えることを特徴とする請求項２
   記載の話者適応化装置。
5. 【請求項５】 教師ラベル選択型話者適応化手段は、 マルチ教師ラベルデータ中の複数の教師ラベルデータを
   それぞれ参照して特徴ベクトル時系列と音響モデルとを
   照合し、マルチ音響モデル対応付データを出力するマル
   チ照合手段と、 上記特徴ベクトル時系列および上記マルチ音響モデル対
   応付データを用いて音響モデルのパラメータを個々に更
   新したマルチ音響モデルを出力するマルチ音響モデル更
   新手段と、 上記マルチ音響モデルを参照して上記特徴ベクトル時系
   列と上記マルチ教師ラベルデータとを照合し、上記マル
   チ音響モデルの中から最大尤度の音響モデルを音響モデ
   ル記憶手段に書き込む音響モデル決定手段とを備えるこ
   とを特徴とする請求項２記載の話者適応化装置。
6. 【請求項６】 一つの話者適応化用音声データに対応し
   た複数の教師ラベルデータからなるマルチ教師ラベルデ
   ータから、上記話者適応化用音声データを参照して一つ
   の教師ラベルデータを選択し、上記教師ラベルデータを
   参照して音響モデルの話者適応化処理を行うことを特徴
   とする話者適応化方法。
7. 【請求項７】 入力音声を音響分析処理して特徴ベクト
   ル時系列を出力する音響分析ステップと、 一つの話者適応化用音声データに対応した複数の教師ラ
   ベルデータからなるマルチ教師ラベルデータの中から教
   師ラベルデータを一つ選択するとともに、選択された上
   記教師ラベルデータを参照して、上記入力音声としての
   上記話者適応化用音声データの上記特徴ベクトル時系列
   と音響モデルとを照合し、上記音響モデルを話者適応化
   処理する教師ラベル選択型話者適応化ステップとを備え
   ることを特徴とする話者適応化方法。
8. 【請求項８】 教師ラベル選択型話者適応化ステップ
   は、 教師ラベル指示データにしたがってマルチ教師ラベルデ
   ータから教師ラベルデータを一つ選択する教師ラベル選
   択ステップと、 選択された上記教師ラベルデータを参照して、上記話者
   適応化用音声データの特徴ベクトル時系列と音響モデル
   とを照合し、音響モデル対応付データを出力する照合ス
   テップと、 上記特徴ベクトル時系列および上記音響モデル対応付デ
   ータを用いて上記音響モデルのパラメータを更新する音
   響モデル更新ステップとを備えることを特徴とする請求
   項７記載の話者適応化方法。
9. 【請求項９】 教師ラベル選択型話者適応化ステップ
   は、 話者適応化用音声データが所定セット数分処理されるま
   での前半処理では、マルチ教師ラベルデータからネイテ
   ィブ教師ラベルデータを教師ラベルデータとして選択
   し、上記話者適応化用音声データが上記所定セット数分
   処理されてからの後半処理では、マルチ教師ラベルデー
   タ中の複数の教師ラベルデータの特徴ベクトル時系列に
   対する音声認識処理を音響モデルを用いてそれぞれ行
   い、最大尤度の上記教師ラベルデータを選択する認識型
   教師ラベル選択ステップと、 選択された上記教師ラベルデータを参照して上記特徴ベ
   クトル時系列と上記音響モデルとを照合し、音響モデル
   対応付データを出力する照合ステップと、 上記特徴ベクトル時系列および上記音響モデル対応付デ
   ータを用いて上記音響モデルのパラメータを更新する音
   響モデル更新ステップとを備えることを特徴とする請求
   項７記載の話者適応化方法。
10. 【請求項１０】 教師ラベル選択型話者適応化ステップ
    は、 マルチ教師ラベルデータ中の複数の教師ラベルデータを
    それぞれ参照して特徴ベクトル時系列と音響モデルとを
    照合し、マルチ音響モデル対応付データを出力するマル
    チ照合ステップと、 上記特徴ベクトル時系列および上記マルチ音響モデル対
    応付データを用いて音響モデルのパラメータを個々に更
    新したマルチ音響モデルを出力するマルチ音響モデル更
    新ステップと、 上記マルチ音響モデルを参照して上記特徴ベクトル時系
    列と上記マルチ教師ラベルデータとを照合し、上記マル
    チ音響モデルの中から最大尤度の音響モデルを選択する
    音響モデル決定ステップとを備えることを特徴とする請
    求項７記載の話者適応化方法。
11. 【請求項１１】 一つの話者適応化用音声データに対応
    した複数の教師ラベルデータからなるマルチ教師ラベル
    データから、上記話者適応化用音声データを参照して一
    つの教師ラベルデータを選択し、上記教師ラベルデータ
    を参照して音響モデルの話者適応化処理を行うことを特
    徴とする話者適応化プログラムを記録したコンピュータ
    読取可能な記録媒体。
12. 【請求項１２】 入力音声を音響分析処理して特徴ベク
    トル時系列を出力する音響分析手順と、 一つの話者適応化用音声データに対応した複数の教師ラ
    ベルデータからなるマルチ教師ラベルデータの中から教
    師ラベルデータを一つ選択するとともに、選択された上
    記教師ラベルデータを参照して、上記入力音声としての
    上記話者適応化用音声データの上記特徴ベクトル時系列
    と音響モデルとを照合し、上記音響モデルを話者適応化
    処理する教師ラベル選択型話者適応化手順とを備えるこ
    とを特徴とする話者適応化プログラムを記録したコンピ
    ュータ読取可能な記録媒体。
13. 【請求項１３】 教師ラベル選択型話者適応化手順は、 教師ラベル指示データにしたがってマルチ教師ラベルデ
    ータから教師ラベルデータを一つ選択する教師ラベル選
    択手順と、 選択された上記教師ラベルデータを参照して、上記話者
    適応化用音声データの特徴ベクトル時系列と音響モデル
    とを照合し、音響モデル対応付データを出力する照合手
    順と、 上記特徴ベクトル時系列および上記音響モデル対応付デ
    ータを用いて上記音響モデルのパラメータを更新する音
    響モデル更新手順とを備えることを特徴とする請求項１
    ２記載の話者適応化プログラムを記録したコンピュータ
    読取可能な記録媒体。
14. 【請求項１４】 教師ラベル選択型話者適応化手順は、 話者適応化用音声データが所定セット数分処理されるま
    での前半処理では、マルチ教師ラベルデータからネイテ
    ィブ教師ラベルデータを教師ラベルデータとして選択
    し、上記話者適応化用音声データが上記所定セット数分
    処理されてからの後半処理では、マルチ教師ラベルデー
    タ中の複数の教師ラベルデータの特徴ベクトル時系列に
    対する音声認識処理を音響モデルを用いてそれぞれ行
    い、最大尤度の上記教師ラベルデータを選択する認識型
    教師ラベル選択手順と、 選択された上記教師ラベルデータを参照して上記特徴ベ
    クトル時系列と上記音響モデルとを照合し、音響モデル
    対応付データを出力する照合手順と、 上記特徴ベクトル時系列および上記音響モデル対応付デ
    ータを用いて上記音響モデルのパラメータを更新する音
    響モデル更新手順とを備えることを特徴とする請求項１
    ２記載の話者適応化プログラムを記録したコンピュータ
    読取可能な記録媒体。
15. 【請求項１５】 教師ラベル選択型話者適応化手順は、 マルチ教師ラベルデータ中の複数の教師ラベルデータを
    それぞれ参照して特徴ベクトル時系列と音響モデルとを
    照合し、マルチ音響モデル対応付データを出力するマル
    チ照合手順と、 上記特徴ベクトル時系列および上記マルチ音響モデル対
    応付データを用いて音響モデルのパラメータを個々に更
    新したマルチ音響モデルを出力するマルチ音響モデル更
    新手順と、 上記マルチ音響モデルを参照して上記特徴ベクトル時系
    列と上記マルチ教師ラベルデータとを照合し、上記マル
    チ音響モデルの中から最大尤度の音響モデルを選択する
    音響モデル決定手順とを備えることを特徴とする請求項
    １２記載の話者適応化プログラムを記録したコンピュー
    タ読取可能な記録媒体。
16. 【請求項１６】 請求項２から請求項５のうちのいずれ
    か１項記載の話者適応化装置と、 認識対象語彙の単語表記辞書を記憶する単語表記辞書記
    憶手段と、 入力音声としての未知音声信号の特徴ベクトル時系列の
    音声認識処理を音響モデルを用いて行い、上記単語表記
    辞書を用いて上記音声認識処理の結果を出力する音声認
    識手段とを備えることを特徴とする音声認識装置。
17. 【請求項１７】 請求項７から請求項１０のうちのいず
    れか１項記載の話者適応化方法と、 入力音声としての未知音声信号の特徴ベクトル時系列の
    音声認識処理を音響モデルを用いて行い、認識対象語彙
    の単語表記辞書を用いて上記音声認識処理の結果を出力
    する音声認識ステップとを備えることを特徴とする音声
    認識方法。
18. 【請求項１８】 請求項１２から請求項１５のうちのい
    ずれか１項記載のコンピュータ読取可能な記録媒体に記
    録された話者適応化プログラムと、 入力音声としての未知音声信号の特徴ベクトル時系列の
    音声認識処理を音響モデルを用いて行い、認識対象語彙
    の単語表記辞書を用いて上記音声認識処理の結果を出力
    する音声認識手順とを備えることを特徴とする音声認識
    プログラムを記録したコンピュータ読取可能な記録媒
    体。