JP2002123285A

JP2002123285A - 話者適応装置および話者適応方法、記録媒体、並びに音声認識装置

Info

Publication number: JP2002123285A
Application number: JP2000313240A
Authority: JP
Inventors: Naoto Iwahashi; 直人岩橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-13
Filing date: 2000-10-13
Publication date: 2002-04-26

Abstract

(57)【要約】【課題】ノイズ環境下であっても、有効な話者適応を
行う。【解決手段】ノイズバッファ３４には、話者適応に用
いる音声の音声区間の直前のノイズデータが記憶され
る。そして、ノイズ予測ベイズ学習器３５は、話者適応
に用いる音声データにおける真の音声成分を、ノイズバ
ッファ３４に記憶されたノイズデータに基づいて予測
し、その真の音声成分の分布を求める。さらに、ノイズ
予測ベイズ学習器３５は、その真の音声成分の分布に基
づいて、音響モデルの話者適応を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、話者適応装置およ
び話者適応方法、記録媒体、並びに音声認識装置に関
し、特に、例えば、ノイズ環境下において、ＨＭＭ(Hid
den Markov Model)等の音響モデルの話者適応を、有効
に行うことができるようにする話者適応装置および話者
適応方法、記録媒体、並びに音声認識装置に関する。

【０００２】

【従来の技術】例えば、ＨＭＭ法による音声認識装置に
おいては、装置に登録された各音響モデルから、入力さ
れた音声が観測される確率（観測確率）が計算され、そ
の確率を最も高くする音響モデルに対応する音韻が、音
声認識結果として出力される。

【０００３】ところで、音声認識装置に登録される音響
モデルは、一般には、不特定多数の音声を用いて学習を
行うことにより求められる。このような音響モデルを用
いて、不特定の話者の音声を認識する場合には、ある特
定の話者の音声だけから得られた音響モデルを用いる場
合に比較して、不特定の話者全員について、ある程度の
認識性能を得ることができる。

【０００４】しかしながら、不特定多数の話者の音声か
ら得られた音響モデルを用いて、ある特定の話者の音声
を認識する場合には、その特定の話者の音声だけから得
られた音響モデルを用いる場合に比較して、認識性能は
劣化する。

【０００５】そこで、特定の話者の音声を認識する場合
には、一般に、音響モデルの話者適応が行われる。即
ち、特定の話者に発話を行ってもらい、その音声を用い
て、音響モデルが、特定の話者の認識性能を向上させる
ように更新（補正）される。

【０００６】そして、このような話者適応の結果得られ
る音響モデルを用いて音声認識を行うことで、特定の話
者に対する認識性能を向上させることができる。

【０００７】

【発明が解決しようとする課題】ところで、従来におい
ては、音響モデルの話者適応は、話者の音声以外の音が
ない環境、つまりは、ノイズのない環境下で行われるこ
とを前提としていた。

【０００８】即ち、音声認識装置に、あらかじめ登録さ
れている音響モデルとしては、一般に、ノイズのない環
境下において採取された音声から得られたものが採用さ
れることから、話者適応も、やはり、ノイズのない環境
下で得られた音声を用いる必要がある。

【０００９】しかしながら、ユーザに、防音室等のよう
な、ノイズのない環境下で発話を行ってもらうのは、現
実的には、不可能である。このため、話者適応は、実際
には、少なからずノイズが存在する環境下で発話された
ユーザの音声を用いて行われることになる。

【００１０】この場合、ノイズが常に一定であれば、そ
のようなノイズ環境下における認識性能は向上させるこ
とができるが、音声認識装置は、同じ場所で使用される
とは限らず、また、同じ場所であっても、ノイズは、時
々刻々と変化する。

【００１１】従って、ノイズ環境下において話者適応を
行った場合、一般には、認識する音声が発話されるとき
のノイズが、話者適応時のノイズとは異なるために、認
識性能を十分に向上させることが困難であった。

【００１２】以上から、認識対象の音声に含まれるノイ
ズを、何らかの手法で除去し、ノイズのない（ノイズが
十分に低減された）音声を対象に、やはり、ノイズのな
い音声から得られた音響モデルを用いて、音声認識を行
うのが望ましく、そのためには、ノイズ環境下におい
て、音響モデルの話者適応を、有効に行うこと、即ち、
ノイズのない環境下で行うのと同様の話者適応を行うこ
とが必要となる。

【００１３】本発明は、このような状況に鑑みてなされ
たものであり、ノイズ環境下において、ノイズのない環
境で行ったのと同様の話者適応結果を得ることができる
ようにし、これにより、特定の話者について、音声認識
装置の認識性能を向上させることができるようにするも
のである。

【００１４】

【課題を解決するための手段】本発明の話者適応装置
は、ノイズデータに基づいて、音声データにおける真の
音声成分を予測し、その真の音声成分の分布を求める予
測手段と、真の音声成分の分布に基づいて、音響モデル
の話者適応を行う適応手段とを備えることを特徴とす
る。

【００１５】本発明の話者適応方法は、ノイズデータに
基づいて、音声データにおける真の音声成分を予測し、
その真の音声成分の分布を求める予測ステップと、真の
音声成分の分布に基づいて、音響モデルの話者適応を行
う適応ステップとを備えることを特徴とする。

【００１６】本発明の記録媒体は、ノイズデータに基づ
いて、音声データにおける真の音声成分を予測し、その
真の音声成分の分布を求める予測ステップと、真の音声
成分の分布に基づいて、音響モデルの話者適応を行う適
応ステップとを備えるプログラムが記録されていること
を特徴とする。

【００１７】本発明の音声認識装置は、ノイズデータに
基づいて、音声データにおける真の音声成分を予測し、
その真の音声成分の分布を求める予測手段と、真の音声
成分の分布に基づいて、音響モデルの話者適応を行う適
応手段とを備えることを特徴とする。

【００１８】本発明の話者適応装置および話者適応方
法、記録媒体、並びに音声認識装置においては、ノイズ
データに基づいて、音声データにおける真の音声成分が
予測され、その真の音声成分の分布が求められる。そし
て、真の音声成分の分布に基づいて、音響モデルの話者
適応が行われる。

【００１９】

【発明の実施の形態】図１は、本発明を適用した音声認
識装置の一実施の形態の構成例を示している。

【００２０】フレーム化部１には、認識対象のディジタ
ル音声データが入力される。フレーム化部１は、例え
ば、図２に示すように、そこに入力される音声データ
を、所定の時間間隔（例えば、１０ｍｓなど）で取り出
し（フレーム化し）、その取り出した音声データを、１
フレームのデータとして出力する。フレーム化部１が出
力する１フレーム単位の音声データは、そのフレームを
構成する時系列の音声データそれぞれをコンポーネント
とする観測ベクトルａとして、スイッチ５を介して、特
徴抽出部２または話者適応部６に供給される。

【００２１】ここで、以下、適宜、第ｔフレームの音声
データである観測ベクトルを、ａ（ｔ）と表す。

【００２２】特徴抽出部２は、フレーム化部１からの観
測ベクトルａとしての音声データを音響分析し、これに
より、その特徴量を抽出する。即ち、特徴抽出部２は、
例えば、観測ベクトルａとしての音声データをフーリエ
変換し、そのパワースペクトラムを求め、そのパワース
ペクトラムの各周波数成分をコンポーネントとする特徴
ベクトルｙを算出する。なお、パワースペクトラムの算
出方法は、フーリエ変換によるものに限定されるもので
はない。即ち、パワースペクトラムは、その他、例え
ば、いわゆるフィルタバンク法などによって求めること
も可能である。

【００２３】さらに、特徴抽出部２は、観測ベクトルａ
としての音声データに含まれる真の音声を、その特徴量
の空間（特徴ベクトル空間）に写像したときに得られ
る、その特徴ベクトル空間上の分布を表すパラメータ
（以下、特徴分布パラメータという）Ｚを、算出した特
徴ベクトルｙに基づいて算出し、識別部３に供給する。

【００２４】即ち、特徴抽出部２では、図３に示すよう
に、観測ベクトル空間上の、ある点を表す観測ベクトル
ａを、特徴ベクトル空間に、その特徴ベクトル空間にお
ける広がりを有する分布として写像したときの、この分
布を表すパラメータが、特徴分布パラメータとして算出
されて出力される。

【００２５】なお、図３では、観測ベクトル空間および
特徴ベクトル空間のいずれも３次元としてあるが、観測
ベクトル空間および特徴ベクトル空間の次元数は、３次
元に限定されるものではなく、さらに、それらの次元数
は同一である必要もない。

【００２６】識別部３は、特徴抽出部２からの特徴分布
パラメータ（系列）を、所定数のクラスのうちのいずれ
かに分類し、その分類結果を、入力された音声の認識結
果として出力する。即ち、識別部３は、例えば、所定数
Ｋの単語それぞれに対応するクラスかどうかを識別する
ための識別関数を、音響モデルとして記憶しており、各
クラスの識別関数の値を、特徴抽出部２からの特徴分布
パラメータを引数として計算する。そして、その関数値
の最も大きいクラス（ここでは、単語）が、観測ベクト
ルａとしての音声の認識結果として出力される。

【００２７】モード設定部４は、例えば、ユーザの操作
に応じて、装置の動作モードを、音声認識を行う認識モ
ード、または話者適応を行う適応モードに設定し、その
動作モードにしたがって、スイッチ５を制御する。即
ち、モード設定部４は、動作モードが認識モードの場
合、スイッチ５に端子５ａを選択させ、これにより、フ
レーム化部１が出力する観測ベクトルを、特徴抽出部２
に供給させる。また、モード設定部４は、動作モードが
適応モードの場合、スイッチ５に端子５ｂを選択させ、
これにより、フレーム化部１が出力する観測ベクトル
を、話者適応部６に供給させる。

【００２８】スイッチ５は、モード設定部４の制御にし
たがって、端子５ａまたは５ｂを選択する。

【００２９】話者適応部６は、スイッチ５を介して供給
される観測ベクトルを用いて、識別部３が記憶している
音響モデル（識別関数）の話者適応を行う。

【００３０】次に、その動作について説明する。

【００３１】フレーム化部１には、認識対象のディジタ
ル音声データが入力され、そこでは、音声データがフレ
ーム化されて出力される。

【００３２】そして、動作モードが適応モードの場合に
は、モード設定部４がスイッチ５に端子５ｂを選択さ
せ、これにより、フレーム化部１が出力する各フレーム
の音声データは、観測ベクトルａとして、話者適応部６
に順次供給される。話者適応部６は、スイッチ５を介し
て供給される観測ベクトルを用いて、識別部３が記憶し
ている音響モデル（識別関数）の話者適応を行い、これ
により、その音響モデルを規定するパラメータを更新す
る。

【００３３】一方、動作モードが認識モードの場合に
は、モード設定部４がスイッチ５に端子５ａを選択さ
せ、これにより、フレーム化部１が出力する各フレーム
の音声データは、観測ベクトルａとして、特徴抽出部２
に順次供給される。特徴抽出部２では、フレーム化部１
からの観測ベクトルａとしての音声データが音響分析さ
れ、その特徴ベクトルｙが求められる。さらに、特徴抽
出部２では、求められた特徴ベクトルｙに基づいて、特
徴ベクトル空間における分布を表す特徴分布パラメータ
Ｚが算出され、識別部３に供給される。識別部３では、
特徴抽出部２からの特徴分布パラメータを用いて、所定
数Ｋの単語それぞれに対応するクラスの識別関数の値が
演算され、その関数値の最も大きいクラスが、音声の認
識結果として出力される。

【００３４】以上のように、認識モードにおいては、観
測ベクトルａとしての音声データが、その特徴量の空間
である特徴ベクトル空間における分布を表す特徴分布パ
ラメータＺに変換されるので、その特徴分布パラメータ
は、音声データに含まれるノイズの分布特性を考慮した
ものとなっており、さらに、そのような特徴分布パラメ
ータに基づいて、音声が認識されるので、認識率を、大
きく向上させることが可能となる。

【００３５】次に、図４は、図１の特徴抽出部２の構成
例を示している。

【００３６】フレーム化部１（図１）からスイッチ５を
介して供給される観測ベクトルａは、パワースペクトラ
ム分析器１２に供給される。パワースペクトラム分析器
１２では、観測ベクトルａが、例えば、ＦＦＴ（高速フ
ーリエ変換）アルゴリズムによってフーリエ変換され、
これにより、音声の特徴量であるパワースペクトラム
が、特徴ベクトルとして求められる（抽出される）。な
お、ここでは、１フレームの音声データとしての観測ベ
クトルａが、Ｄ個のコンポーネントからなる特徴ベクト
ル（Ｄ次元の特徴ベクトル）に変換されるものとする。

【００３７】ここで、いま、第ｔフレームの観測ベクト
ルａ（ｔ）から得られる特徴ベクトルをｙ（ｔ）を表
す。また、特徴ベクトルｙ（ｔ）における真の音声のス
ペクトル成分をｘ（ｔ）と、ノイズのスペクトル成分を
ｕ（ｔ）と表す。この場合、真の音声のスペクトル成分
ｘ（ｔ）は、次式で表される。

【００３８】

【数１】・・・（１）但し、ここでは、ノイズが不規則な特性を有し、また、
観測ベクトルａ（ｔ）としての音声データが、真の音声
成分に、ノイズを加算したものとなっているとしてい
る。

【００３９】ノイズｕ（ｔ）の特性は不規則であるか
ら、ｕ（ｔ）は確率変数であり、従って、式（１）で表
されるｘ（ｔ）も確率変数となる。従って、ノイズのパ
ワースペクトラムの確率密度関数が、例えば、図５
（Ａ）に示すように表されるとき、式（１）から、真の
音声のパワースペクトラムの確率密度関数は、同図
（Ｂ）に示すように表される。即ち、真の音声のパワー
スペクトラムが、ある値である確率は、その値を、入力
音声（入力信号）のパワースペクトラムから減算し、ノ
イズのパワースペクトラムが、その減算値となるときの
確率に、真の音声の確率分布の面積が１になるような正
規化係数（ファクタ）を乗じた値となる。なお、図５に
おいては、ｕ（ｔ），ｘ（ｔ），ｙ（ｔ）のコンポーネ
ント数が１（Ｄ＝１）としてある。

【００４０】図４に戻り、パワースペクトラム分析器１
２で得られた特徴ベクトルｙ（ｔ）は、スイッチ１３に
供給される。スイッチ１３は、音声区間検出部１１の制
御にしたがって、端子１３ａまたは１３ｂのうちのいず
れか一方を選択する。

【００４１】即ち、音声区間検出部１１では、音声区間
（ユーザの発話がなされている期間）が検出される。こ
こで、音声区間の検出方法については、例えば、J.C.Ju
nqua, B.Mark, and B.Reaves, "A Robust Algorithm fo
r Word Boundary Detectionin the Presence of Nois
e", IEEE Transaction Speech and Audio Processing,V
ol.2, No.3, 1994などに、その詳細が開示されている。

【００４２】なお、音声区間は、その他、例えば、音声
認識装置に、所定のボタンを設けておき、発話を行って
いる間は、ユーザに、そのボタンを操作してもらうよう
にすることで認識するようにすることも可能である。

【００４３】音声区間検出部１１は、音声区間において
は、スイッチ１３が端子１３ｂを選択するように制御を
行い、それ以外の区間（以下、適宜、非音声区間とい
う）においては、スイッチ１３が端子１３ａを選択する
ように制御を行う。

【００４４】従って、非音声区間においては、スイッチ
１３は端子１３ｂを選択し、これにより、パワースペク
トラム分析器１２の出力は、スイッチ１３を介して、ノ
イズ特性算出器１４に供給される。ノイズ特性算出器１
４では、非音声区間における、パワースペクトラム分析
器１２の出力から、音声区間におけるノイズの特性が求
められる。

【００４５】即ち、ここでは、ある音声区間におけるノ
イズのパワースペクトラムｕ（ｔ）の分布が、その音声
区間の直前の非音声区間におけるノイズと同一であると
し、さらに、その分布が正規分布であるとして、ノイズ
特性算出器１４は、ノイズの平均値（平均ベクトル）と
分散（分散マトリクス）を求める。

【００４６】具体的には、いま、音声区間の最初のフレ
ームを第１フレーム（ｔ＝１）とすると、その２００フ
レーム前から１０１フレーム前までの１００フレーム分
のパワースペクトラム分析器１２の出力ｙ（−２００）
乃至ｙ（−１０１）の平均ベクトルμ’と分散マトリク
ス（共分散行列）Σ’とが、音声区間におけるノイズの
特性として求められる。

【００４７】ここで、平均ベクトルμ’と分散マトリク
スΣ’は、次式にしたがって求めることができる。

【００４８】

【数２】・・・（２）但し、μ’（ｉ）は、平均ベクトルμ’のｉ番目のコン
ポーネントを表す（ｉ＝１，２，・・・，Ｄ）。また、
ｙ（ｔ）（ｉ）は、第ｔフレームの特徴ベクトルのｉ番
目のコンポーネントを表す。さらに、Σ’（ｉ，ｊ）
は、分散マトリクスΣ’の、第ｉ行、第ｊ列のコンポー
ネントを表す（ｊ＝１，２，・・・，Ｄ）。

【００４９】ここで、計算量の低減のために、ノイズに
ついては、特徴ベクトルｙの各コンポーネントが、互い
に無相関であると仮定する。この場合、次式に示すよう
に、分散マトリクスΣ’は、対角成分以外が０となる対
角行列となる。

【００５０】

【数３】・・・（３）

【００５１】ノイズ特性算出器１４では、以上のように
して、ノイズの特性としての平均ベクトルμ’および平
均値Σ’が求められ、特徴分布パラメータ算出器１５に
供給される。

【００５２】一方、音声区間においては、スイッチ１３
は端子１３ａを選択し、これにより、パワースペクトラ
ム分析器１２の出力、即ち、真の音声とノイズとを含む
音声データの特徴ベクトルｙは、スイッチ１３を介し
て、特徴分布パラメータ算出器１５に供給される。特徴
分布パラメータ算出器１５では、パワースペクトラム分
析器１２からの特徴ベクトルｙ、およびノイズ特性算出
器１４からのノイズの特性に基づいて、真の音声のパワ
ースペクトラムの分布（推定値の分布）を表す特徴分布
パラメータが算出される。

【００５３】即ち、特徴分布パラメータ算出器１５で
は、真の音声のパワースペクトラムの分布が、例えば正
規分布であるとして、その平均ベクトルξと分散マトリ
クスΨが、特徴分布パラメータとして、次式にしたがっ
て計算される。

【００５４】

【数４】・・・（４）

【数５】・・・（５）

【数６】・・・（６）

【数７】・・・（７）

【００５５】ここで、ξ（ｔ）（ｉ）は、第ｔフレーム
における平均ベクトルξ（ｔ）のｉ番目のコンポーネン
トを表す。また、Ｅ［］は、［］内の平均値を意味す
る。ｘ（ｔ）（ｉ）は、第ｔフレームにおける真の音声
のパワースペクトラムｘ（ｔ）のｉ番目のコンポーネン
トを表す。さらに、ｕ（ｔ）（ｉ）は、第ｔフレームに
おけるノイズのパワースペクトラムのｉ番目のコンポー
ネントを表し、Ｐ（ｕ（ｔ）（ｉ））は、第ｔフレーム
におけるノイズのパワースペクトラムのｉ番目のコンポ
ーネントがｕ（ｔ）（ｉ）である確率を表す。ここで
は、ノイズの分布として正規分布を仮定しているので、
Ｐ（ｕ（ｔ）（ｉ））は、式（７）に示したように表さ
れる。

【００５６】また、Ψ（ｔ）（ｉ，ｊ）は、第ｔフレー
ムにおける分散Ψ（ｔ）の、第ｉ行、第ｊ列のコンポー
ネントを表す。さらに、Ｖ［］は、［］内の分散を表
す。

【００５７】特徴分布パラメータ算出器１５では、以上
のようにして、各フレームごとに、平均ベクトルξおよ
び分散マトリクスΨが、真の音声の特徴ベクトル空間上
での分布（ここでは、真の音声の特徴ベクトル空間上で
の分布が正規分布であると仮定した場合の、その分布）
を表す特徴分布パラメータとして求められる。

【００５８】その後、音声区間が終了すると、スイッチ
１３は端子１３ｂを選択し、また、特徴分布パラメータ
算出器１５は、音声区間の各フレームにおいて求めた特
徴分布パラメータを、識別部３に出力する。即ち、い
ま、音声区間がＴフレームであったとし、そのＴフレー
ムそれぞれにおいて求められた特徴分布パラメータを、
ｚ（ｔ）＝｛ξ（ｔ），Ψ（ｔ）｝と表すと（ｔ＝１，
２，・・・，Ｔ）、特徴分布パラメータ算出器１５は、
特徴分布パラメータ（系列）Ｚ＝｛ｚ（１），ｚ
（２），・・・，ｚ（Ｔ）｝を、識別部３に供給する。

【００５９】そして、特徴抽出部２では、以下、同様の
処理が繰り返される。

【００６０】なお、上述の場合には、ノイズのパワース
ペクトラムのコンポーネントどうしが無相関であること
を仮定したが、そのような仮定をせずに、特徴分布パラ
メータを求めることも可能である。この場合、演算量は
増加することとなるが、より精度の高い特徴分布パラメ
ータを得ることができる。

【００６１】次に、図６は、図１の識別部３の構成例を
示している。

【００６２】特徴抽出部２（特徴分布パラメータ算出器
１５）からの特徴分布パラメータＺは、Ｋ個の識別関数
演算部２１₁乃至２１_Kに供給される。識別関数演算部２
１_kは、Ｋ個のクラスのうちのｋ番目に対応する単語を
識別するための識別関数ｇ_k（Ｚ）を、音響モデルとし
て記憶しており（ｋ＝１，２，・・・，Ｋ）、特徴抽出
部２からの特徴分布パラメータＺを引数として、識別関
数ｇ_k（Ｚ）を演算する。

【００６３】ここで、識別部３では、例えば、ＨＭＭ
（Hidden Markov Model）法を用いて、クラスとしての
単語の識別（認識）が行われる。

【００６４】なお、ここでは、例えば、図７に示すよう
なＨＭＭを用いる。即ち、ここでは、ＨＭＭは、Ｈ個の
状態ｑ₁乃至ｑ_Hを有しており、状態の遷移は、自身への
遷移と、右隣の状態への遷移のみが許されている。ま
た、初期状態は、最も左の状態ｑ₁とされ、最終状態
は、最も右の状態ｑ_Hとされており、最終状態ｑ_Hからの
状態遷移は禁止されている。このように、自身よりも左
にある状態への遷移のないモデルは、left-to-rightモ
デルと呼ばれ、音声認識では、一般に、このようなleft
-to-rightモデルが用いられる。

【００６５】いま、ＨＭＭのｋクラスを識別するための
音響モデルを、ｋクラスモデルというとすると、ｋクラ
スモデルは、例えば、最初に状態ｑ_hにいる確率（初期
状態確率）π_k（ｑ_h）、ある時刻（フレーム）ｔにおい
て、状態ｑ_iにいて、次の時刻ｔ＋１において、状態ｑ_j
に状態遷移する確率（遷移確率）ａ_k（ｑ_i，ｑ_j）、お
よび状態ｑ_iから状態遷移が生じるときに、その状態ｑ_i
が、特徴ベクトルＯを出力する確率（出力確率）ｂ
_k（ｑ_i）（Ｏ）によって規定される（ｈ＝１，２，・・
・，Ｈ）。

【００６６】そして、ある特徴ベクトル系列Ｏ₁，Ｏ₂，
・・・が与えられた場合に、例えば、そのような特徴ベ
クトル系列が観測される確率（観測確率）が最も高いモ
デルのクラスが、その特徴ベクトル系列の認識結果とさ
れる。

【００６７】ここでは、この観測確率が、識別関数ｇ_k
（Ｚ）によって求められる。即ち、識別関数ｇ_k（Ｚ）
は、特徴分布パラメータ（系列）Ｚ＝｛ｚ₁，ｚ₂，・・
・，ｚ_T｝に対する最適状態系列（最適な状態の遷移の
していき方）において、そのような特徴分布パラメータ
（系列）Ｚ＝｛ｚ₁，ｚ₂，・・・，ｚ_T｝が観測される
確率を求めるものとして、次式で与えられる。

【００６８】

【数８】・・・（８）

【００６９】ここで、ｂ_k’（ｑ_i）（ｚ_j）は、出力が
ｚ_jで表される分布であるときの出力確率を表す。状態
遷移時に各特徴ベクトルを出力する確率である出力確率
ｂ_k（ｓ）（Ｏ_t）には、ここでは、例えば、特徴ベクト
ル空間上のコンポーネントどうしの間に相関がないもの
として、正規分布関数が用いられている。この場合、入
力がｚ_tで表される分布であるとき、出力確率ｂ_k’
（ｓ）（ｚ_t）は、平均ベクトルμ_k（ｓ）と分散マトリ
クスΣ_k（ｓ）とによって規定される確率密度関数Ｐ_k ^m
（ｓ）（ｘ）、および第ｔフレームの特徴ベクトル（こ
こでは、パワースペクトラム）ｘの分布を表す確率密度
関数Ｐ^f（ｔ）（ｘ）を用いて、次式により求めること
ができる。

【００７０】

【数９】・・・（９）但し、式（９）における積分の積分区間
は、Ｄ次元の特徴ベクトル空間（ここでは、パワースペ
クトラム空間）の全体である。

【００７１】また、式（９）において、Ｐ（ｓ）（ｉ）
（ξ（ｔ）（ｉ），Ψ（ｔ）（ｉ，ｉ））は、次式で表
される。

【００７２】

【数１０】・・・（１０）但し、μ_k（ｓ）（ｉ）は、平均ベクトルμ_k（ｓ）のｉ
番目のコンポーネントを、Σ_k（ｓ）（ｉ，ｉ）は、分
散マトリクスΣ_k（ｓ）の、第ｉ行第ｉ列のコンポーネ
ントを、それぞれ表す。そして、ｋクラスモデルの出力
確率は、これらによって規定される。

【００７３】なお、ＨＭＭは、上述したように、初期状
態確率π_k（ｑ_h）、遷移確率ａ_k（ｑ_i，ｑ_j）、および
出力確率ｂ_k（ｑ_i）（Ｏ）によって規定されるが、これ
らは、例えば、不特定多数の話者の音声データを、学習
用の音声データとして用いて、あらかじめ求めておくよ
うにする。ＨＭＭの学習方法としては、例えば、Baum-W
elchの再推定法などが知られている。

【００７４】ここで、ＨＭＭとして、図７に示したもの
を用いる場合には、常に、最も左の状態ｑ₁から遷移が
始まるので、初期状態確率は、状態ｑ₁についてのもの
のみ１とされ、他の状態についてのものはすべて０とさ
れる。また、出力確率は、式（９）および（１０）から
明らかなように、Ψ（ｔ）（ｉ，ｉ）を０とすると、特
徴ベクトルの分散を考慮しない場合の連続ＨＭＭ法にお
ける出力確率に一致する。

【００７５】図６の識別関数演算部２１_kは、ｋクラス
モデルについて、あらかじめ学習により求められた初期
状態確率π_k（ｑ_h）、遷移確率ａ_k（ｑ_i，ｑ_j）、およ
び出力確率ｂ_k（ｑ_i）（Ｏ）によって規定される式
（８）の識別関数ｇ_k（Ｚ）を、音響モデルとして記憶
しており、特徴抽出部２からの特徴分布パラメータＺを
引数として、識別関数ｇ_k（Ｚ）を演算し、その関数値
ｇ_k（Ｚ）を、特徴分布パラメータＺが観測される観測
確率として、決定部２２に出力する。

【００７６】決定部２２では、識別関数演算部２１₁乃
至２１_Kそれぞれからの関数値ｇ_k（Ｚ）に対して、例え
ば、次式に示す決定規則を用いて、特徴分布パラメータ
Ｚ、即ち、入力された音声が属するクラスが識別（決
定）される（入力された音声がいずれかのクラスに分類
される）。

【００７７】

【数１１】・・・（１１）但し、Ｃ（Ｚ）は、特徴分布パラメータＺが属するクラ
スを識別する識別操作（処理）を行う関数を表す。ま
た、式（１１）の第２式の右辺におけるｍａｘは、それ
に続く関数値ｇ_i（Ｚ）（但し、ここでは、ｉ＝１，
２，・・・，Ｋ）の最大値を表す。

【００７８】決定部２２は、式（１１）にしたがって、
クラスを決定すると、それを、入力された音声の認識結
果として出力する。

【００７９】なお、上述の場合には、説明を簡単にする
ために、特徴ベクトルｙとして、パワースペクトラムを
用いるようにしたが、特徴ベクトルｙとしては、その
他、例えば、線形予測係数や、ＭＦＣＣ(Mel Frequency
Cepstrum Coefficients)等を用いることが可能であ
る。さらに、特徴ベクトルｙとしては、ＭＦＣＣ等の
他、ＭＦＣＣと、隣接フレーム間のＭＦＣＣの差分との
組合せ等を用いることも可能である。

【００８０】次に、図８は、図１の話者適応部６の構成
例を示している。

【００８１】フレーム化部１（図１）からスイッチ５を
介して供給される観測ベクトルａは、パワースペクトラ
ム分析器３２に供給される。パワースペクトラム分析器
３２では、観測ベクトルａから、図４のパワースペクト
ラム分析器１２における場合と同様にして、パワースペ
クトラムが求められる。

【００８２】パワースペクトラム分析器３２で得られた
パワースペクトラムは、スイッチ３３に供給される。ス
イッチ３３は、音声区間検出部３１の制御にしたがっ
て、端子３３ａまたは３３ｂのうちのいずれか一方を選
択する。

【００８３】即ち、音声区間検出部３１では、図４の音
声区間検出部１１における場合と同様にして、音声区間
が検出される。そして、音声区間検出部３１は、音声区
間においては、スイッチ３３が端子３３ｂを選択するよ
うに制御を行い、それ以外の区間（非音声区間）におい
ては、スイッチ３３が端子３３ａを選択するように制御
を行う。

【００８４】従って、非音声区間においては、スイッチ
３３は端子３３ｂを選択し、これにより、パワースペク
トラム分析器３２の出力は、スイッチ３３を介して、ノ
イズバッファ３４に供給される。ノイズバッファ３４
は、非音声区間における、パワースペクトラム分析器３
２の出力（パワースペクトラム）を記憶する。

【００８５】即ち、ノイズバッファ３４は、所定のフレ
ーム数分のパワースペクトラムを記憶する記憶容量を有
し、パワースペクトラム分析器３２からスイッチ３３を
介して供給されるパワースペクトラムを順次記憶する。
そして、ノイズバッファ３４は、その容量分のパワース
ペクトラムを記憶すると、その後に供給されるパワース
ペクトラムを、最も古いパワースペクトラムに上書きす
る形で順次記憶していく。従って、ノイズバッファ３４
には、非音声区間における、最新の、所定フレーム数分
のパワースペクトラムが、常に記憶される。

【００８６】ノイズバッファ３４に記憶された所定のフ
レーム数のパワースペクトラムは、非音声区間から音声
区間となり、スイッチ３３が端子３３ａから３３ｂに切
り替えられると、ノイズ予測ベイズ学習器３５に出力さ
れる。従って、ノイズバッファ３４から、ノイズ予測ベ
イズ学習器３５には、音声区間の直前の所定フレーム分
のパワースペクトラム、つまり、ユーザの発話が行われ
る直前のノイズのパワースペクトラムが供給される。

【００８７】さらに、音声区間においては、スイッチ３
３が端子３３ｂを選択することにより、パワースペクト
ラム分析器３２が出力するパワースペクトラム、即ち、
ユーザの真の音声成分とノイズ成分とからなる音声デー
タのパワースペクトラムも、スイッチ３３を介して、ノ
イズ予測ベイズ学習器３５に供給される。

【００８８】ノイズ予測ベイズ学習器３５は、ノイズバ
ッファ３４からのノイズのパワースペクトラムに基づい
て、パワースペクトラム分析器３２から供給される、ノ
イズを含む音声のパワースペクトラムにおける真の音声
成分を予測することにより、その真の音声成分の分布を
求める。さらに、ノイズ予測ベイズ学習器３５は、真の
音声成分の分布に基づいて、識別部３（図１）に記憶さ
れた音響モデル（識別関数ｇ_k（））の話者適応を、Ｍ
ＡＰ(Maximum a Posteriori Probability Estimation)
法に基づいて行う。

【００８９】即ち、いま、ノイズを含む音声の特徴ベク
トルの系列をＹと表すとともに、そのノイズを含む音声
の真の音声成分の特徴ベクトルの系列をＸと表すことと
すると、ノイズを含む音声の特徴ベクトル系列Ｙは観測
することができるが、そのノイズを含む音声における真
の音声成分の特徴ベクトル系列Ｘは観測することができ
ない。

【００９０】しかしながら、図５で説明したように、ノ
イズの特性が不規則であることから、ノイズを含む音声
におけるノイズは確率変数であり、従って、その音声に
おける真の音声成分の特徴ベクトル系列Ｘも確率変数と
なる。

【００９１】また、話者適応の対象となる音響モデルを
規定するパラメータ（ベクトル）をλと表すと、このパ
ラメータλは、事前確率分布をＰ（λ）とする確率変数
と考えることができ、音響モデルから観測される特徴ベ
クトル系列Ｘの確率分布Ｐ（Ｘ）は、パラメータλによ
って規定されるパラメトリックなものとなる（と仮定す
ることができる）。

【００９２】以上の前提によれば、実際に観測すること
ができる特徴ベクトル系列Ｙが観測されたときにおける
パラメータλの事後確率分布Ｐ（λ｜Ｙ）は、式（１
２）のように表すことができる。

【００９３】

【数１２】・・・（１２）

【００９４】ノイズ予測ベイズ学習器３５では、式（１
２）の事後確率分布Ｐ（λ｜Ｙ）を最大にするλである
λ_newを求め、音響モデルを規定するパラメータλを、
λ_newに更新する話者適応が行われる。

【００９５】ここで、式（１２）において、右辺の第１
行目のＰ（λ｜Ｘ）は、特徴ベクトル系列Ｘが観測され
たときにおけるパラメータλの事後確率分布を表し、Ｐ
（Ｘ｜Ｙ）は、ノイズを含む音声の特徴ベクトル系列Ｙ
が観測されたときの、その音声における真の音声成分の
特徴ベクトル系列Ｘの分布を表す。この特徴ベクトル系
列Ｘの分布Ｐ（Ｘ｜Ｙ）は、ノイズ予測ベイズ学習器３
５において、ノイズバッファ３４からのノイズのパワー
スペクトラムと、パワースペクトラム分析器３２からの
音声区間における音声のパワースペクトラムとに基づい
て、その音声に含まれる真の音声成分を予測することに
よって求められる。即ち、ノイズ予測ベイズ学習器３５
は、話者適応に用いる音声に、その音声が入力される直
前のノイズと同様の特性を有するノイズが含まれている
ものとして、真の音声の特徴ベクトル系列Ｘの分布Ｐ
（Ｘ｜Ｙ）が求められる。

【００９６】また、式（１２）において、右辺の第２行
目は、右辺の第１行目におけるＰ（λ｜Ｘ）を、ベイズ
の規則にしたがって展開したものである。式（１２）に
おける右辺の第２行目は、第３行目に示すように整理す
ることができ、この第３行目のＰ（λ）とＰ（Ｘ｜λ）
は、それぞれ、λの事前確率と、λによって規定される
音響モデルから特徴ベクトル系列Ｘが出力される出力確
率であるから、あらかじめ求めることができる。

【００９７】式（１２）によれば、ノイズのない音声を
用いて学習された音響モデルを規定するパラメータの事
後確率分布が、ノイズに基づいて予測される真の音声成
分の分布を用いて求められる。また、式（１２）による
話者適応は、ベイズ(Bayes)の学習法を基本とするもの
である。そこで、ノイズ予測ベイズ学習器３５が、式
（１２）によって話者適応を行う手法を、以下、適宜、
ノイズ予測ベイズ学習法という。

【００９８】ノイズ予測ベイズ学習法による話者適応
は、具体的には、例えば、次のように行われる。

【００９９】即ち、例えば、音響モデルが、各状態の出
力確率分布が正規分布（ガウス分布）で表されるＨＭＭ
であるとし、その出力確率分布が、平均ベクトルがμ
で、分散マトリクスがΣの正規分布Ｎ（μ，Σ）で表さ
れるものとする。さらに、平均ベクトルμは、事前確率
Ｐ（μ）が、平均ベクトルμ₀と分散マトリクスΣ₀で規
定される正規分布Ｎ（μ₀，Σ₀）であるとする。そし
て、ここでは、説明を簡単にするために、ＨＭＭの状態
遷移確率、出力確率分布としての正規分布を規定する分
散マトリクスΣを、話者適応の対象外とし、出力確率分
布としての正規分布を規定する平均ベクトルμを、話者
適応によって更新することを考える。つまり、式（１
２）のパラメータλとして、出力確率分布の平均ベクト
ルμだけを考える。

【０１００】この場合、特徴ベクトル系列Ｙが、Ｄ_y次
元の特徴ベクトルｙ_iのＮ個の系列｛ｙ₁，ｙ₂，・・
・，ｙ_N｝であり、特徴ベクトルＸが、Ｄ_x次元の特徴ベ
クトルｘ _iのＮ個の系列｛ｘ₁，ｘ₂，・・・，ｘ_N｝であ
るとすると、式（１２）における第３行目のＰ（Ｘ｜
Ｙ）／（∫Ｐ（Ｘ｜λ）Ｐ（λ）ｄＸ）のパラメータλ
を平均ベクトルμに置き換えたＰ（Ｘ｜Ｙ）／（∫Ｐ
（Ｘ｜μ）Ｐ（μ）ｄＸ）は、式（１３）に示すよう
に、正規分布で近似することができる。

【０１０１】

【数１３】・・・（１３）

【０１０２】ここで、式（１３）において、ｙ_iは、音
声区間の先頭から第ｉフレームの音声の特徴ベクトルを
表し、ｘ_iは、その第１フレームの音声における真の音
声成分の特徴ベクトルを表す。また、ｍ_iとＶ_iは、それ
ぞれ、真の音声成分の分布である正規分布を規定する平
均ベクトルと分散マトリクスを表す。また、α₀は、所
定の定数である。

【０１０３】一方、式（１２）において、事後確率分布
Ｐ（λ｜Ｙ）におけるパラメータλを、平均ベクトルμ
で置き換えた事後確率分布Ｐ（μ｜Ｙ）は、その第３行
目のＰ（λ）∫（Ｐ（Ｘ｜λ）Ｐ（Ｘ｜Ｙ）／（∫Ｐ
（Ｘ｜λ）Ｐ（λ）ｄλ））ｄＸにおけるパラメータλ
を、平均ベクトルμに置き換えたＰ（μ）∫（Ｐ（Ｘ｜
μ）Ｐ（Ｘ｜Ｙ）／（∫Ｐ（Ｘ｜μ）Ｐ（μ）ｄμ））
ｄＸで表すことができる。

【０１０４】そして、事前確率分布Ｐ（μ）と、出力確
率分布Ｐ（Ｘ｜μ）は、ここでは、いずれも正規分布で
あり、さらに、Ｐ（Ｘ｜Ｙ）／（∫Ｐ（Ｘ｜μ）Ｐ
（μ）ｄμ）も、式（１３）に示したように正規分布で
あるから、これらによって規定される事後確率分布Ｐ
（μ｜Ｙ）も、次式に示すように正規分布で規定するこ
とができる。

【０１０５】

【数１４】・・・（１４）

【０１０６】但し、式（１４）において、分散マトリク
スΣ’₀と平均ベクトルμ’₀は、式（１５）に示すよう
に定義される。

【０１０７】

【数１５】・・・（１５）

【０１０８】式（１４）の事後確率分布Ｐ（μ｜Ｙ）は
正規分布であるから、μが、事後確率分布Ｐ（μ｜Ｙ）
を表す正規分布の平均ベクトルに等しいときに、事後確
率分布Ｐ（μ｜Ｙ）が最大となる。従って、事後確率分
布Ｐ（μ｜Ｙ）を表す正規分布の平均ベクトルを、μ
_newと表すこととすると、この平均ベクトルμ_newと分散
マトリクスΣで表される正規分布を出力確率分布とする
ＨＭＭが、話者適応結果となる。

【０１０９】ノイズ予測ベイズ学習器３５においては、
以上のようなノイズ予測ベイズ学習法によって、話者適
応が行われる。

【０１１０】なお、式（１３）では、Ｐ（Ｘ｜Ｙ）／
（∫Ｐ（Ｘ｜μ）Ｐ（μ）ｄＸ）の全体を、正規分布で
近似するようにしたが、そのうちの分母部分∫Ｐ（Ｘ｜
μ）Ｐ（μ）ｄＸを定数に近似するとともに、分子部分
だけを正規分布に近似することも可能である。この場
合、Ｐ（Ｘ｜Ｙ）／（∫Ｐ（Ｘ｜μ）Ｐ（μ）ｄＸ）
は、式（１６）に示すようになる。

【０１１１】

【数１６】・・・（１６）

【０１１２】但し、式（１６）において、α₁は所定の
定数である。

【０１１３】次に、図９のフローチャートを参照して、
図８の話者適応部６による話者適応処理について説明す
る。

【０１１４】モード設定部４において、動作モードが適
応モードとされると、話者適応処理が開始され、音声区
間検出部３１は、スイッチ３３に端子３３ａを選択させ
る。これにより、フレーム化部１が出力する観測ベクト
ルａが、スイッチ３３を介して、パワースペクトラム分
析器３２に供給される。パワースペクトラム分析器３２
では、ステップＳ１において、そこに供給される観測ベ
クトルａのスペクトルが求められる。即ち、ステップＳ
１では、ユーザが話者適応のための発話を開始する前の
非音声区間のスペクトル、つまり、ノイズのスペクトル
Ｓｎが求められる。このノイズのスペクトルＳｎは、ス
テップＳ２において、スイッチ３３を介して、ノイズバ
ッファ３４に供給されて記憶される。

【０１１５】そして、ステップＳ３に進み、音声区間検
出部３１は、音声区間かどうかを判定し、音声区間でな
いと判定した場合、即ち、非音声区間である場合、ステ
ップＳ１に戻る。従って、非音声区間の間は、ステップ
Ｓ１乃至Ｓ３の処理が繰り返され、これにより、ノイズ
バッファ３４には、ノイズのスペクトルＳｎが時系列に
記憶されていく。

【０１１６】なお、ノイズバッファ３４は、上述したよ
うに、その容量分のパワースペクトラムを記憶すると、
その後に供給されるパワースペクトラムを、最も古いパ
ワースペクトラムに上書きする形で順次記憶していくよ
うになっており、これにより、常に、最新の、Ｍフレー
ム数分のパワースペクトラムを記憶する。

【０１１７】その後、ステップＳ３において、音声区間
であると判定された場合、即ち、ユーザが発話を開始し
た場合、音声区間検出部３１は、スイッチ３３を、端子
３３ａから３３ｂに切り替える。そして、ステップＳ４
に進み、パワースペクトラム分析器３２は、ユーザの発
話に対応して供給される観測ベクトルａからスペクトル
を求め、即ち、ノイズを含むユーザの音声のスペクトル
Ｓｙを求め、スイッチ３３を介して、ノイズ予測ベイズ
学習器３５に供給する。

【０１１８】ノイズ予測ベイズ学習器３５は、パワース
ペクトラム分析器３２から、音声区間全体に亘るユーザ
の音声のスペクトルＳｙを受信すると、ステップＳ５に
おいて、ノイズバッファ３４から、音声区間となる直前
のＭフレームのノイズのスペクトルＳｎを読み出し、音
声のスペクトルＳｙから、ノイズのスペクトルＳｎを減
算することにより、真の音声成分を予測する。

【０１１９】即ち、いま、Ｍフレームのうちの第ｍフレ
ームのノイズのスペクトルをＳｎ（ｍ）と表すとととも
に、音声区間の第ｉフレームの音声のスペクトルをＳｙ
（ｉ）と表すと、ステップＳ５では、音声区間の第ｉフ
レームについて、Ｍセットのスペクトルの差分Ｓｙ
（ｉ）−Ｓｎ（１），Ｓｙ（ｉ）−Ｓｎ（２），・・
・，Ｓｙ（ｉ）−Ｓｎ（Ｍ）が計算される。

【０１２０】さらに、いま、音声の特徴ベクトルとし
て、例えば、ＭＦＣＣを採用することとすると、ステッ
プＳ５では、音声区間の第ｉフレームについて得られた
Ｍセットのスペクトル差分Ｓｙ（ｉ）−Ｓｎ（１），Ｓ
ｙ（ｉ）−Ｓｎ（２），・・・，Ｓｙ（ｉ）−Ｓｎ
（Ｍ）それぞれから、ＭセットのＭＦＣＣが求められ、
これにより、第ｉフレームの真の音声のＭＦＣＣの予測
値が、Ｍセットだけ求められる。

【０１２１】そして、ステップＳ６に進み、ノイズ予測
ベイズ学習器３５は、音声区間の第ｉフレームについて
得られたＭセットのＭＦＣＣが特徴空間（ＭＦＣＣの空
間）上に形成する分布を表す正規分布、即ち、第ｉフレ
ームの真の音声の分布を表す正規分布の平均ベクトルｍ
_iと分散マトリクスＶ_iを求める。

【０１２２】さらに、ノイズ予測ベイズ学習器３５は、
ステップＳ６において、ステップＳ５で得られた平均ベ
クトルｍ_iと分散マトリクスＶ_iから、式（１４）の事後
確率分布Ｐ（μ｜Ｙ）を求め、その平均ベクトルμ_new
によって、話者適応の対象となっているＨＭＭを規定す
る出力確率分布の平均ベクトルμを更新して、話者適応
処理を終了する。

【０１２３】なお、図９におけるステップＳ５乃至Ｓ７
の処理は、音声区間のすべてのフレームについて行われ
る。この場合、音声区間の各フレームを、ＨＭＭを構成
する状態のうちのいずれの出力確率分布の平均ベクトル
μの更新に採用するかが問題となるが、この問題につい
ては、例えば、セグメンタルＭＡＰ(Segmental MAP)ア
ルゴリズムによって対処可能である。

【０１２４】即ち、話者適応の対象となっているＨＭＭ
から、音声区間の音声が観測される確率が最も高くなる
場合の状態遷移のパス、つまりビタビパス(Viterbi Pat
h)を求め、そのビタビパスに基づいて、音声区間の各フ
レームの音声が、ＨＭＭのどの状態に対応するかを決定
する。そして、ＨＭＭの各状態の出力確率分布の平均ベ
クトルの更新は、その状態に対応するフレームの音声を
用いて行うようにすれば良い。

【０１２５】なお、セグメンタリＭＡＰアルゴリズムに
ついては、例えば、Lee, C.H., Lin, C.H. and Juang,
B.H., "A study of speaker adaptation of the parame
tersof continuous density hidden Markov Models", I
EEE Trans. signal processing, Vol.39, No.4, pp.806
-P14, 1991等に、その詳細が記載されている。

【０１２６】以上のような話者適応処理によって更新さ
れたＨＭＭに基づき、上述した特徴分布パラメータを用
いて音声認識が行われる場合には、例えば、次式にした
がい、音声認識対象として観測される音声の特徴ベクト
ルｙ（に対応する特徴分布パラメータ）について、ＨＭ
Ｍの出力確率Ｐ（ｙ）が計算される。

【０１２７】

【数１７】・・・（１７）

【０１２８】但し、式（１７）において、ｍとＶは、そ
れぞれ、音声認識対象として観測される音声における真
の音声成分の分布（正規分布）を表す特徴分布パラメー
タとしての平均ベクトルと分散マトリクスを表す。ま
た、μ_newとΣは、それれぞれ、話者適応処理されたＨ
ＭＭの出力確率分布としての正規分布の平均ベクトルと
分散マトリクスを表す。

【０１２９】なお、式（１７）は、上述の式（１０）と
同様の式である。

【０１３０】以上のようなノイズ予測ベイズ学習法によ
る話者適応によれば、ノイズのない環境の音声から得ら
れたＨＭＭの話者適応を、ノイズ環境下で行っても、音
声認識装置の認識性能を向上させることができる。

【０１３１】即ち、図１０は、本件発明者が行った音声
認識処理のシミュレーション結果を示している。

【０１３２】なお、シミュレーションでは、自動車によ
るノイズがある環境下で、数字の音響モデルについて、
話者適応を行った。また、シミュレーションでは、３２
人ずつの男性と女性の合計６４人に、ノイズのない環境
下において、連続した数字を発話をしてもらうことによ
り得られた音声を用いて学習を行うことによって、ＨＭ
Ｍを作成し、さらに、ＨＭＭとしては、出力確率分布
が、対角行列となる分散マトリクスで規定される正規分
布となるものを用いた。特徴ベクトルとしては、１３次
のＭＦＣＣ、１３次のＭＦＣＣの隣接フレームどうしの
差分、およびその差分の隣接フレームどうしの差分から
なる３９次元のベクトルを用い、認識対象の音声として
は、１６人ずつの男性と女性の合計３２人の発話を、ノ
イズのない環境下で採取したものを用いた。また、自動
車のノイズを採取し、このノイズと、認識対象の音声と
を重畳することで、自動車によるノイズがある環境下で
の音声を作成した。さらに、１フレームを１０ｍｓ（ミ
リ秒）として、２００フレーム（２０００ｍｓ）のノイ
ズを、話者適応において、真の音声を予測するのに用い
た。また、音声認識は、ノイズのない音声の特徴分布パ
ラメータを用いることにより行った。

【０１３３】図１０の右欄の下段は、各左欄に示したＳ
／Ｎ(Signal to Noise Ratio)の音声を用いて、ノイズ
予測ベイズ学習法による話者適応を行い、話者適応後の
ＨＭＭを用いて、ノイズのない音声を認識した場合の認
識率を示している。

【０１３４】一方、図１０の右欄の上段は、各左欄に示
したＳ／Ｎ(Signal to Noise Ratio)の音声に対して、
例えば、Lockwood, P. and Boudy, J., "Experments wi
th anonlinear spectral subtractor(NSS), hidden mar
kov models and the projection, for robust speech r
ecognition in cars", Speech Communication, Vol.11,
pp.215-228, 1992等に記載されているスペクトルサブ
トラクションを施すことによりノイズを除去（低減）
し、さらに、その結果得られる音声を用いて、従来のＭ
ＡＰアルゴリズムにより話者適応を行って、ノイズのな
い音声を認識した場合の認識率を示している。

【０１３５】図１０の右欄の上段と下段の認識率を比較
することにより、ノイズ予測ベイズ学習法の方が、従来
のＭＡＰアルゴリズムに比較して、ノイズ環境下におけ
る話者適応が有効に行われていることが分かる。

【０１３６】なお、シミュレーションでは、話者適応を
行わない場合の認識率として、９６．１４％が得られて
おり、従来のＭＡＰアルゴリズムでは、図１０に示した
ように、Ｓ／Ｎが−３ｄＢの音声を用いて話者適応を行
った時点で、認識率が、９６．１４％より低い９６．０
８％となっている。従って、従来のＭＡＰアルゴリズム
による話者適応は、Ｓ／Ｎが−３ｄＢ以下の環境下で
は、効果がないばかりか、むしろ認識率を低下させるこ
とになる。それに対して、ノイズ予測ベイズ学習法によ
る話者適応は、Ｓ／Ｎが−６ｄＢの環境下で行っても、
認識率として、９７．１３％が得られており、話者適応
の効果が得られている。

【０１３７】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０１３８】そこで、図１１は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０１３９】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１４０】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０１４１】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０１４２】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０１４３】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１４４】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１４５】なお、本実施の形態では、話者適応により
ＨＭＭの出力確率分布の平均ベクトルを更新するように
したが、ＨＭＭを規定するその他のパラメータを、話者
適応の対象とすることが可能である。

【０１４６】また、本実施の形態では、ＨＭＭを、話者
適応の対象としたが、その他の音響モデルを話者適応の
対象とすることが可能である。

【０１４７】さらに、本実施の形態では、特徴分布パラ
メータを用いて音声認識を行うようにしたが、本発明
は、特徴ベクトルを用いて音声認識を行う場合の話者適
応に利用することも可能である。

【０１４８】また、本明細書におけるノイズには、発話
を行う環境下における外部からのノイズの他、例えば、
電話回線その他の通信回線を介して送信されてくる音声
については、その通信回線の特性なども含まれる。

【０１４９】

【発明の効果】本発明の話者適応装置および話者適応方
法、記録媒体、並びに音声認識装置によれば、ノイズデ
ータに基づいて、音声データにおける真の音声成分が予
測され、その真の音声成分の分布が求められる。そし
て、真の音声成分の分布に基づいて、音響モデルの話者
適応が行われる。従って、ノイズ環境下であっても、有
効な話者適応を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した音声認識装置の一実施の形態
の構成例を示すブロック図である。

【図２】図１のフレーム化部１の処理を説明するための
図である。

【図３】図１の特徴抽出部２の処理を説明するための図
である。

【図４】図１の特徴抽出部２の構成例を示すブロック図
である。

【図５】ノイズおよび真の音声のパワーの確率密度関数
を示す図である。

【図６】図１の識別部３の構成例を示すブロック図であ
る。

【図７】ＨＭＭを示す図である。

【図８】図１の話者適応部６の構成例を示すブロック図
である。

【図９】図８の話者適応部６による話者適応処理を説明
するフローチャートである。

【図１０】シミュレーション結果を示す図である。

【図１１】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１フレーム化部，２特徴抽出部，３識別部，
４モード設定部，５スイッチ，５ａ，５ｂ端
子，６話者適応部，１１音声区間検出部，１
２パワースペクトラム分析器，１３スイッチ，
１３ａ，１３ｂ端子，１４ノイズ特性算出器，
１５特徴分布パラメータ算出器，２１₁乃至２１_K 識
別関数演算部，２２決定部，３１音声区間検出
部，３２パワースペクトラム分析器，３３スイッ
チ，３３ａ，３３ｂ端子，３４ノイズバッフ
ァ，３５ノイズ予測ベイズ学習器，１０１バ
ス，１０２ CPU，１０３ ROM，１０４ RAM，
１０５ハードディスク，１０６出力部，１０
７入力部，１０８通信部，１０９ドライブ，
１１０入出力インタフェース，１１１リムーバ
ブル記録媒体

Claims

【特許請求の範囲】

【請求項１】音声認識に用いる音響モデルの話者適応
を行う話者適応装置であって、話者適応に用いる音声データが入力される前のノイズデ
ータを取得するノイズデータ取得手段と、前記ノイズデータに基づいて、前記音声データにおける
真の音声成分を予測し、その真の音声成分の分布を求め
る予測手段と、前記真の音声成分の分布に基づいて、前記音響モデルの
話者適応を行う適応手段とを備えることを特徴とする話
者適応装置。
【請求項２】前記適応手段は、前記音声データが観測
されるときの、音響モデルを規定するパラメータの事後
確率分布を最大化するように、前記音響モデルの話者適
応を行うことを特徴とする請求項１に記載の話者適応装
置。
【請求項３】前記適応手段は、前記事後確率分布を正
規分布に近似して、前記音響モデルの話者適応を行うこ
とを特徴とする請求項２に記載の話者適応装置。
【請求項４】前記適応手段は、前記事後確率分布の構
成要素の一部を定数に近似して、前記音響モデルの話者
適応を行うことを特徴とする請求項２に記載の話者適応
装置。
【請求項５】前記適応手段は、ベイズ(Bayes)の学習
法に基づいて、前記音響モデルの話者適応を行うことを
特徴とする話者適応装置。
【請求項６】前記音響モデルは、ＨＭＭ(Hidden Mark
ov Model)であることを特徴とする請求項１に記載の話
者適応装置。
【請求項７】前記適応手段は、前記ＨＭＭの状態が遷
移したときに出力される値の平均ベクトルを更新するこ
とを特徴とする請求項６に記載の話者適応装置。
【請求項８】前記適応手段は、セグメンタルＭＡＰア
ルゴリズム(Segmental Maximum a Posteriori Probabil
ity Estimation)を利用して、前記ＨＭＭの各状態が出
力する値の平均ベクトルを更新することを特徴とする請
求項７に記載の話者適応装置。
【請求項９】音声認識に用いる音響モデルの話者適応
を行う話者適応方法であって、話者適応に用いる音声データが入力される前のノイズデ
ータを取得するノイズデータ取得ステップと、前記ノイズデータに基づいて、前記音声データにおける
真の音声成分を予測し、その真の音声成分の分布を求め
る予測ステップと、前記真の音声成分の分布に基づいて、前記音響モデルの
話者適応を行う適応ステップとを備えることを特徴とす
る話者適応方法。
【請求項１０】音声認識に用いる音響モデルの話者適
応を、コンピュータに行わせるプログラムが記録されて
いる記録媒体であって、話者適応に用いる音声データが入力される前のノイズデ
ータを取得するノイズデータ取得ステップと、前記ノイズデータに基づいて、前記音声データにおける
真の音声成分を予測し、その真の音声成分の分布を求め
る予測ステップと、前記真の音声成分の分布に基づいて、前記音響モデルの
話者適応を行う適応ステップとを備えるプログラムが記
録されていることを特徴とする記録媒体。
【請求項１１】音響モデルを用いて、音声を認識する
音声認識装置であって、前記音声から、その特徴量を抽出する抽出手段と、前記音声の特徴量と音響モデルとを用いて、前記音声を
認識する認識手段と、話者適応に用いる音声データが入力される前のノイズデ
ータを取得するノイズデータ取得手段と、前記ノイズデータに基づいて、前記音声データにおける
真の音声成分を予測し、その真の音声成分の分布を求め
る予測手段と、前記真の音声成分の分布に基づいて、前記音響モデルの
話者適応を行う適応手段とを備えることを特徴とする音
声認識装置。