JP2002189491A

JP2002189491A - 話者特徴抽出装置および話者特徴抽出方法、音声認識装置、音声合成装置、並びに、プログラム記録媒体

Info

Publication number: JP2002189491A
Application number: JP2000385201A
Authority: JP
Inventors: Koichi Yamaguchi; 耕市山口; Yoichiro Hachiman; 洋一郎八幡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-12-19
Filing date: 2000-12-19
Publication date: 2002-07-05

Abstract

(57)【要約】【課題】少ない発声データから安定して話者特徴を抽
出する。【解決手段】周波数関数推定部５には音素境界推定部
と最尤推定部を備えている。そして、学習時には、発話
内容の音素列(言語モデル)あるいは弱い文法の言語モデ
ルを適用させて、ビタビアルゴリズムによって音素境界
情報を推定する。さらに、上記音素境界情報に基づいて
選択した音素区間に関して周波数ワーピング関数f()を
推定する。また、認識時には、上記弱い文法の言語モデ
ルを適用させて音素境界情報を推定する。周波数ワープ
部４は、上記音素境界情報に基づいて選択した音素区間
に関して入力音響パラメータ系列を周波数ワープする。
こうして、声道長の差の影響を受け難い音素や無音部を
学習や正規化の対象外として、声道長の差の影響を受け
難い音素や無音部まで変形されるのを防止して、少ない
発声データから安定して話者特徴を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、標準話者の音声
スペクトルに対する入力音声スペクトルの周波数軸の線
形伸縮関数を話者特徴として抽出する話者特徴抽出装置
および話者特徴抽出方法、その抽出方法を用いた音声認
識装置,音声合成装置、並びに、話者特徴抽出処理プロ
グラムを記録したプログラム記録媒体に関する。

【０００２】

【従来の技術】従来より、隠れマルコフモデル(Hidden
Markov Model：以下、ＨＭＭと言う)を用いた音声認識
方法の開発が近年盛んに行われている。このＨＭＭは、
大量の音声データから得られる音声の統計的特徴を確率
的にモデル化したものであり、このＨＭＭを用いた音声
認識方法の詳細は、中川聖一著「確率モデルによる音声
認識」(電子情報通信学会)に詳しい。このＨＭＭに基づ
く話者適応や話者正規化に関する研究が行われている。
ところが、通常の話者正規化技術や話者適応技術におい
ては発声データの内容や量に依存するので、少量の発声
データからでは安定した性能向上が非常に難しい。そこ
で、声道長を用いた話者適応や話者正規化の手法が注目
されており、特に声道長に基づく話者正規化が盛んに研
究されて効果が出ている。声道長は音声のスペクトルの
大まかな特徴を表すパラメータであり、声道長の差は話
者間の主な変動要因である。また、声道長は従来の話者
適応法に比べて１個のパラメータあるいは極めて少ない
パラメータで音声の特徴を表現できることから、声道長
にはより少量の学習データで効率良く正規化できるとい
うメリットがある。

【０００３】ところで、標準話者の音声パターンに対す
る入力話者の音声サンプルの尤度を最大にするという基
準(最尤推定)で、上記音声サンプルにおける周波数軸の
線形伸縮係数α(声道長正規化係数)を求める方法(ML-VT
LN法： Maximum LikelihoodVocal Tract Length Normal
ization)がある。そして、この声道長正規化係数αを用
いて入力話者の音声サンプルの周波数軸を線形伸縮する
ことで話者正規化を行う技術が提案されている(例え
ば、AT&T Bell Labs. Li Lee, Richard C.Rose,“Speak
er Normalization using Efficient Frequency Warping
Procedures”,pp.353-356 ICASSP96 (1996))。また、
特開平１１‐３２７５９２号公報においては、声道を前
室と後室との２つの室に分け、入力音声のフォルマント
周波数を用いて各室に対応した２つの周波数軸線形伸縮
係数αを求め、この２つの周波数軸線形伸縮係数αを用
いて話者正規化する技術が開示されている。

【０００４】尚、上記話者適応は標準となる音響モデル
を入力話者に対して適応(つまり正規化)させる技術であ
り、話者正規化とは表裏一体の関係にある。

【０００５】さらに、音声合成における声質変換に関す
る従来技術として、音声認識の話者適応技術を用いてス
ペクトルの写像を行なう方法が提案されている。例え
ば、ベクトル量子化(ＶＱ)コードブックマッピング法を
ベースとした話者適応技術を用いる方法(特開平１‐９
７９９７号公報)や、ＶＦＳ(Vector Field Smoothing)
法をベースとした話者適応技術を用いる方法(橋本誠,樋
口宣男:“話者選択と移動ベクトル場平滑化を用いた声
質変換のためのスペクトル写像”,信学技報，SP95‐1，
p.p.1‐8，May 1995)等がある。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の声道長に基づく話者適応や話者正規化には、以下の
ような問題がある。すなわち、声道長に基づく話者適応
や話者正規化は極めて少ないパラメータ数で音声の特徴
を表現できるとは言うものの、声道長の抽出は発声デー
タの内容や量に大きく左右され易い。したがって、必ず
しも少ない学習サンプルから安定して声道長を抽出でき
るとは限らない。その結果、声道長に基づいて話者正規
化や話者適応や話者クラスタリングを行うような音声認
識装置においては、性能劣化を招くという問題がある。

【０００７】上記声道長正規化係数αを求める方法とし
ては、上述したように、学習サンプル全体を対象として
最尤推定するML-VTLN法が提案されている。この方法に
おいては、声道長の伸縮(周波数軸のワーピング)を線形
関数やそれに類似した関数で表現しており、一般に全音
素区間に対して周波数ワープを学習・作用するようにし
ている。そのために、声道長正規化係数αを用いて話者
正規化を行う方法においては、声道長の差の影響を受け
難い音素や無音部まで学習および正規化してしまうとい
う問題もある。

【０００８】すなわち、上記従来の声道長正規化係数の
推定方法では、真の声道長正規化係数が推定できなかっ
たり、入力音声サンプルを必要以上に変形してしまった
りするために、話者正規化に適用した場合には、認識性
能の低下を招くことになるのである。

【０００９】さらに、上記特開平１１‐３２７５９２号
公報の正規化方法においては、２つのサンプルから直接
声道パラメータを求めるようにしているが、声道パラメ
ータを得るために入力音声のフォルマント周波数を用い
ている。ところが、一般的にフォルマント周波数を全自
動で求めることは困難であり、上記特開平１１‐３２７
５９２号公報に開示された線形伸縮係数を用いた話者正
規化方法では、実時間性に欠けるという問題がある。

【００１０】また、上記話者適応においては少ない発声
データから音響モデルを精度良く適応できないために、
誤り率を半減させるためには数十単語以上の発声データ
が必要となり、学習話者に負担を強いることになるとい
う問題がある。さらに、音響モデルの適応に声道長伸縮
関数を用いる場合には、上述した話者正規化の場合と同
様の問題が発生する。また、音声合成における声質変換
の場合にも、同様に少ない発声データからは精度良く声
質が得られないという問題がある。

【００１１】そこで、この発明の目的は、少ない発声デ
ータから発声データの内容に依存せずに安定して話者特
徴を抽出できる話者特徴抽出装置および話者特徴抽出方
法、その抽出方法を用いた音声認識装置,音声合成装
置、並びに、話者特徴抽出処理プログラムを記録したプ
ログラム記録媒体を提供することにある。

【００１２】上記目的を達成するため、第１の発明は、
入力話者の音声から,標準話者の音声スペクトルに対し
て上記入力話者の音声スペクトルの周波数軸を伸縮する
際の周波数伸縮関数を話者特徴として抽出する話者特徴
抽出装置において、音響モデルの各状態が,有音無音の
別および調音点の位置に従って予め設定された音声区間
に属しているか否かを判別し,属している状態に関して,
上記音響モデルを入力音声サンプルに話者適応させて話
者適応音響モデルを作成する話者適応モデル作成手段
と、上記標準話者の音響モデルに対して上記話者適応音
響モデルの尤度を最大にするという基準に従って上記周
波数伸縮関数を最尤推定する周波数伸縮関数推定手段を
備えたことを特徴としている。

【００１３】上記構成によれば、話者適応モデル作成手
段によって、有音無音の別および調音点の位置に従って
設定された音声区間に属する音響モデルの状態に関し
て、入力音声サンプルに話者適応された話者適応音響モ
デルが作成される。そして、周波数伸縮関数推定手段に
よって、標準話者音響モデルに対して上記話者適応音響
モデルを用いて上記周波数伸縮関数の最尤推定が行われ
る。したがって、声道長の差の影響を受け難い音素や無
音部を上記最尤推定時における周波数軸伸縮の対象外に
して、声道長の差の影響を受け難い音素や無音部まで変
形されることが防止可能になる。こうして、少ない発声
データから、発声データの内容に依存せずに安定して話
者特徴が抽出される。

【００１４】また、第２の発明は、入力話者の音声か
ら,標準話者の音声スペクトルに対して上記入力話者の
音声スペクトルの周波数軸を伸縮する際の周波数伸縮関
数を話者特徴として抽出する話者特徴抽出装置におい
て、上記入力話者の音声サンプルから音響モデルを用い
たビタビアルゴリズムによって音素境界情報を推定する
音素境界情報推定手段と、上記標準話者の音響モデルに
対して当該入力話者の音声サンプルの尤度を最大にする
という基準に従って上記周波数伸縮関数を最尤推定する
に際して,上記音素境界情報に基づいて,有音無音の別お
よび調音点の位置に従って上記最尤推定を行う音声区間
を選択する機能を有する最尤推定手段を備えたことを特
徴としている。

【００１５】上記構成によれば、音素境界情報推定手段
で推定された音素境界情報に基づいて、最尤推定手段に
よって、有音無音の別および調音点の位置に従って、上
記周波数伸縮関数の最尤推定を行う音声区間が選択され
る。したがって、声道長の差の影響を受け難い音素や無
音部を上記最尤推定時における周波数軸伸縮の対象外に
して、声道長の差の影響を受け難い音素や無音部まで変
形されることが防止可能になる。こうして、少ない発声
データから、発声データの内容に依存せずに安定して話
者特徴が抽出される。

【００１６】また、第３の発明は、標準話者の音声スペ
クトルに対して入力話者の音声スペクトルの周波数軸を
伸縮する際の周波数伸縮関数を用いて入力話者の音声ス
ペクトルの周波数軸を伸縮することによって上記入力話
者の音声を正規化する正規化手段を有する音声認識装置
において、上記正規化手段は、上記第１の発明あるいは
第２の発明の話者特徴抽出装置と、上記話者特徴抽出装
置によって抽出された周波数伸縮関数を用いて,上記入
力話者の音声スペクトルの周波数軸を伸縮する周波数ワ
ープ手段で構成されていることを特徴としている。

【００１７】上記構成によれば、周波数ワープ手段によ
って、上記第１の発明あるいは第２の発明の話者特徴抽
出装置で抽出された周波数伸縮関数を用いて入力話者の
音声スペクトルの周波数軸が伸縮されて、話者正規化が
行われる。したがって、声道長の差の影響を受け難い音
素や無音部までが変形されることはなく、発声データの
内容に依存せずに安定して話者正規化が行われる。その
結果、少ない発声データから高い精度で認識結果が得ら
れる。

【００１８】また、上記第３の発明の音声認識装置は、
上記周波数ワープ手段を、上記第２の発明の話者特徴抽
出装置における音素境界情報推定手段によって推定され
た音素境界情報に基づいて、有音無音の別および調音点
の位置に従って上記周波数軸を伸縮する音声区間を選択
する機能を有するように成すことが望ましい。

【００１９】上記構成によれば、上記周波数ワープ手段
によって話者正規化が行われるに際して、上記声道長の
差の影響を受け難い音素や無音部まで変形されることが
より確実に防止される。したがって、認識精度が更に高
められる。

【００２０】また、第４の発明は、入力話者の音声スペ
クトルに対して標準話者の音声スペクトルの周波数軸を
伸縮する際の周波数伸縮関数を用いて音声のスペクトル
の周波数軸を伸縮することによって音響モデルを入力話
者に話者適応させる話者適応手段を有する音声認識装置
において、上記話者適応手段は、上記第１の発明あるい
は第２の発明の話者特徴抽出装置と、上記話者特徴抽出
装置によって抽出された周波数伸縮関数の逆関数を用い
て,上記音響モデルの周波数軸を伸縮する周波数ワープ
手段で構成されていることを特徴としている。

【００２１】上記構成によれば、周波数ワープ手段によ
って、上記第１の発明あるいは第２の発明の話者特徴抽
出装置で抽出された周波数伸縮関数の逆関数を用いて上
記音響モデルの周波数軸が伸縮されて、話者適応が行わ
れる。したがって、声道長の差の影響を受け難い音素や
無音部までが変形されることはなく、発声データの内容
に依存せずに安定して話者適応が行われる。その結果、
少ない発声データから高い精度で認識結果が得られる。

【００２２】また、上記第４の発明の音声認識装置は、
上記周波数ワープ手段を、上記第２の発明の話者特徴抽
出装置における音素境界情報推定手段によって推定され
た音素境界情報に基づいて、有音無音の別および調音点
の位置に従って上記周波数軸を伸縮する音声区間を選択
する機能を有するように成すことが望ましい。

【００２３】上記構成によれば、上記周波数ワープ手段
によって話者適応が行われるに際して、上記声道長の差
の影響を受け難い音素や無音部まで変形されることがよ
り確実に防止される。したがって、認識精度が更に高め
られる。

【００２４】また、第５の発明は、入力話者の音声スペ
クトルに対して標準話者の音声スペクトルの周波数軸を
伸縮する際の周波数伸縮関数を用いて音声のスペクトル
の周波数軸を伸縮することによって,標準話者の音声素
片を接続して成る合成音声の声質を発話者の声質に変換
する声質変換手段を有する音声合成装置において、上記
声質変換手段は、上記第１の発明あるいは第２の発明の
話者特徴抽出装置と、上記話者特徴抽出装置によって抽
出された周波数伸縮関数の逆関数を用いて,上記音声素
片の周波数軸を伸縮する周波数ワープ手段で構成されて
いることを特徴としている。

【００２５】上記構成によれば、周波数ワープ手段によ
って、上記第１の発明あるいは第２の発明の話者特徴抽
出装置で抽出された周波数伸縮関数の逆関数を用いて、
標準話者の音声素片の周波数軸が伸縮されて声質変換が
行われる。したがって、声道長の差の影響を受け難い音
素や無音部までが変形されることはなく、発声データの
内容に依存せずに安定して声質変換が行われる。その結
果、少ない発声データからより入力話者の声質に近い合
成音声が得られる。

【００２６】また、上記第５の発明の音声合成装置は、
上記周波数ワープ手段を、上記音声素片の情報からの音
素境界情報に基づいて、有音無音の別および調音点の位
置に従って上記周波数軸を伸縮する音声区間を選択する
機能を有するように成すことが望ましい。

【００２７】上記構成によれば、上記周波数ワープ手段
によって声質変換が行われる際に、上記声道長の差の影
響を受け難い音素や無音部まで変形されることがより確
実に防止される。したがって、さらに入力話者の声質に
近い合成音声が得られる。

【００２８】また、第６の発明は、入力話者の音声か
ら,標準話者の音声スペクトルに対して上記入力話者の
音声スペクトルの周波数軸を伸縮する際の周波数伸縮関
数を話者特徴として抽出する話者特徴抽出方法におい
て、上記入力話者の音声サンプルから音響モデルを用い
たビタビアルゴリズムによって音素境界情報を推定し、
上記音素境界情報に基づいて,有音無音の別および調音
点の位置に従って特徴抽出の対象とする音声区間を選択
し、上記選択された音声区間に関し,上記標準話者の音
響モデルに対して当該入力話者の音声サンプルの尤度を
最大にするという基準に従って上記周波数伸縮関数を最
尤推定することを特徴としている。

【００２９】上記構成によれば、音素境界情報を推定
し、この音素境界情報に基づいて、有音無音の別および
調音点の位置に従って特徴抽出の対象とする音声区間が
選択される。したがって、上記周波数伸縮関数を最尤推
定する際に、声道長の差の影響を受け難い音素や無音部
を上記最尤推定の対象外にして、声道長の差の影響を受
け難い音素や無音部まで変形されることが防止可能にな
る。こうして、少ない発声データから、発声データの内
容に依存せずに安定して話者特徴が抽出される。

【００３０】また、第７の発明のプログラム記録媒体
は、コンピュータを、上記第１の発明における話者適応
モデル作成手段および周波数伸縮関数推定手段あるいは
上記第２の発明における音素境界情報推定手段および最
尤推定手段として機能させる話者特徴抽出処理プログラ
ムが記録されたことを特徴としている。

【００３１】上記構成によれば、上記第１の発明あるい
は第２の発明の場合と同様に、声道長の差の影響を受け
難い音素や無音部を最尤推定時における周波数軸伸縮の
対象外にして、声道長の差の影響を受け難い音素や無音
部まで変形されることが防止可能になる。こうして、少
ない発声データから、発声データの内容に依存せずに安
定して話者特徴が抽出される。

【００３２】

【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。＜第１実施の形態＞図１は、本実施の形態の音声認識装
置におけるブロック図である。尚、この音声認識装置
は、話者正規化方式を用いた音声認識装置であり、上記
ＨＭＭに代表される音響モデルをベースとしている。

【００３３】音声入力部１において、マイクから入力さ
れた音声はディジタル波形に変換されて音響分析部２に
入力される。音響分析部２は、入力されたディジタル波
形を短い時間間隔(フレーム)毎に周波数分析し、スペク
トルを表す音響パラメータのベクトル系列に変換する。
ここで、上記周波数分析としては、ＭＦＣＣ(メル周波
数ＦＦＴ(高速フーリエ変換)ケプストラム)やＬＰＣ(線
形予測分析)メルケプストラム等のスペクトルを効率よ
く表現できる音響パラメータを抽出できる分析方法が用
いられる。こうして得られた音響パラメータ系列は、話
者正規化部３を構成する周波数ワープ部４に送出され
る。

【００３４】上記話者正規化部３は、上記周波数ワープ
部４と周波数ワープ関数推定部５とから概略構成され
る。そして、周波数ワープ関数推定部５は、学習時に
は、音響分析部２からの音響パラメータ系列と単語列入
力部６から入力された学習用単語の音素列とに基づい
て、音素境界情報および周波数ワーピング関数を推定し
て周波数ワープ部４に送出する。また、認識時には、音
響分析部２からの音響パラメータ系列と上記学習時に推
定された周波数ワーピング関数とに基づいて音素境界情
報を推定し、この推定された音素境界情報を上記周波数
ワーピング関数と共に周波数ワープ部４に送出する。
尚、周波数ワープ関数推定部５の構成と動作については
後に詳述する。

【００３５】そうすると、上記周波数ワープ部４は、上
記周波数ワーピング関数および音素境界情報を用いて、
入力音声の音響パラメータ系列を周波数ワープ(話者正
規化)し、周波数ワープ後の音響パラメータ系列を尤度
演算部７に送出するのである。そして、尤度演算部７で
は、周波数ワープされた音響パラメータ系列に対して、
不特定話者音響モデル格納部８に格納された不特定話者
モデル(ＨＭＭ)を作用させて、各音韻の状態毎に尤度を
算出する。そして、得られた尤度系列を照合部９に送出
する。

【００３６】上記照合部９は、上記尤度演算部７からの
尤度系列に対して、辞書格納部１０に登録された総ての
言語モデル(単語)との照合を行ない、各単語のスコアを
算出する。そして、上位のスコアを呈する単語を認識候
補(認識結果)として出力部１１から出力するのである。

【００３７】以下、上記周波数ワープ関数推定部５の構
成と動作について詳細に詳述する。図２に、上記周波数
ワープ関数推定部５における学習時に機能する部分の構
成を示す。さらに、図３には、周波数ワープ関数推定部
５における認識時に機能する部分の構成を示す。先ず、
図２に従って、学習時について説明する。

【００３８】音素境界推定部１５は、全話者音響モデル
格納部１２に格納された混合数１以上の全話者音響モデ
ル(ＨＭＭ)を用いて、ビタビアルゴリズムによって音素
境界情報を求める。その際に、教師あり学習時には、音
素境界推定部１５には、単語列入力部６からの音素列と
音響分析部２からの音響パラメータ系列(学習データ)と
が入力される。そうすると、音素境界推定部１５は、入
力音響パラメータ系列に入力音素列を適用させて、上記
全話者音響モデルを用いたビタビアルゴリズムによって
音素境界情報を求める。これに対して、教師なし学習時
には、音素境界推定部１５には、音響分析部２からの音
響パラメータ系列(学習データ)のみが入力される。そう
すると、音素境界推定部１５は、入力音響パラメータ系
列に言語モデル格納部１３に格納された弱い文法の言語
モデルを適用させて、全話者音響モデルを用いたビタビ
アルゴリズムによって音素境界情報を求めるのである。
そして、こうして得られた音素境界情報は最尤推定部１
６に送出される。

【００３９】尚、上記「弱い文法」とは、対象言語の音素
または音節の接続に関する制約条件のみを表現するネッ
トワーク(有限状態オートマトン)のことである。例え
ば、日本語の場合には、/ｋ/と/ｉ/とは接続するが、/
ｓ/と/ｋ/は接続しないというような制約条件である。
また、上記音素境界情報とはこの音素境界情報によって
分離される音素のラベル情報をも含む概念であり、上記
ビタビアルゴリズムによって求まる。

【００４０】上記最尤推定部１６は、入力された音素境
界情報に従って、全話者音響モデル格納部１７に格納さ
れた混合数１の全話者モデル(ＨＭＭ)を用いて、後に詳
述する方法によって周波数ワーピング関数ｆの係数(つ
まり周波数ワーピング関数ｆ)を最尤推定する。そし
て、推定された周波数ワーピング関数ｆを関数格納部１
８に格納すると共に、上記音素境界情報を添えて周波数
ワープ部４に送出する。

【００４１】次に、図３に従って、認識時について説明
する。尚、図３における全話者音響モデル格納部１２,
言語モデル格納部１３,音素境界推定部１５および関数
格納部１８は、図２において学習時に使用される全話者
音響モデル格納部１２,言語モデル格納部１３,音素境界
推定部１５および関数格納部１８と同じものである。

【００４２】事前ワープ部１９は、上記学習時に推定さ
れて関数格納部１８に格納された周波数ワーピング関数
ｆを用いて、認識対象の音響パラメータ系列を周波数ワ
ープする。以下、この場合の周波数ワープを、後に周波
数ワープ部４によって行われる周波数ワープに対して
「事前ワープ」と言うことにする。こうして、事前ワープ
が行われた音響パラメータ系列が音素境界推定部１５に
送出される。

【００４３】そうすると、上記音素境界推定部１５は、
事前ワープが行われた音響パラメータ系列に弱い文法の
言語モデルを適用させて、全話者音響モデルを用いたビ
タビアルゴリズムによって音素境界情報を求めるのであ
る。その場合、認識対象の音響パラメータ系列は、学習
時に抽出された話者特徴としての周波数ワーピング関数
ｆを用いて事前ワープされている。したがって、より話
者の声道長に即した音素境界情報を求めることができる
のである。そして、得られた音素境界情報が、関数格納
部１８に格納されている周波数ワーピング関数ｆと共に
周波数ワープ部４に送出される。

【００４４】そうすると、上記周波数ワープ部４におい
ては、上記推定された周波数ワーピング関数ｆによっ
て、上記学習時には、入力された学習用の音響パラメー
タ系列が周波数ワープされる。一方、上記認識時には、
入力された認識用の学習音響パラメータ系列が周波数ワ
ープされるのである。

【００４５】本実施の形態においては、上記学習時に最
尤推定部１６と周波数ワープ部４とによって入力音響パ
ラメータ系列に周波数ワーピング関数ｆを適用する場
合、及び、認識時に周波数ワープ部４によって入力音響
パラメータ系列に周波数ワーピング関数ｆを適用する場
合には、後に詳述するように、表１の分類表に従って、
上記音素境界情報に基づいて、周波数ワープ(正規化)の
対象とする音素区間を限定するのである。こうすること
によって高精度認識を行う音声認識装置を構築すること
ができるのである。

【００４６】ところで、上記周波数ワープ関数推定部５
における上記周波数ワーピング関数ｆの推定方法には、
以下に述べる二通りの推定方法がある。（Ａ）標準話者の音響モデルを入力音声データに話者適
応させた適応モデルを用いる。（Ｂ）入力音声データを直接用いる。そして、この二通りの推定方法を、入力音声データの量
や質に応じて使い分けるのである。ここで、音声データ
の質とは尤度の上昇具合であり、周波数ワープ関数推定
部５は、上記二通りの推定方法による尤度の上昇具合を
見計らって、上昇の大きい推定方法を採用するのであ
る。長いエンロール期間を許容できる音声認識装置の場
合には、このような推定処理も可能となる。尚、長いエ
ンロール期間を許容できない場合には、予め何れかの推
定方法に固定しておけばよい。

【００４７】上記推定方法(Ａ)は、入力音声データが少
ない場合に有効である。また、推定方法(Ｂ)は、入力音
声データが多い場合に有効であり、入力音声データから
直接求めるために、精密な推定が可能となる。但し、入
力音声データが少ない場合には、当該推定をエンロール
モードで行う際に、入力音声データに無い音素環境にお
ける上記係数の推定や平滑化が問題になる。

【００４８】また、上記推定方法(Ａ),(Ｂ)の各々に関
して、使用する音響モデルは、全話者モデルの場合と、
話者クラスタ別に作成された混合数が１の音響モデルの
場合との二通りがある。音声認識装置の記憶容量が少な
い場合には前者を採用する。一方、記憶容量が多い場合
は音響モデル群を各話者クラスタ別に格納できるので後
者を採用する。後者の場合には、入力音声データに基づ
いて最適な話者クラスタを選択し、この選択話者クラス
タに属する音響モデルを使用することになる。すなわ
ち、図１に示す音声認識装置は、全話者モデルを用いた
推定方法(Ｂ)によって上記係数の推定を行うのである。

【００４９】ここで、上記話者クラスタ別に作成された
音響モデルとは、ある基準で全学習話者をクラスタリン
グしておき、複数の話者クラスタ毎に学習によって作成
された音響モデルのことである。ここでは、上記クラス
タリングの基準として、各話者の声道情報を用いる。
尚、周波数ワープ関数推定部５が使用する際には、適切
な話者クラスタの音響モデルを選択して用いることにな
る。

【００５０】次に、上記周波数ワープ関数推定部５が学
習時に使用する全話者モデルと、尤度演算部７が上記尤
度演算時に使用する不特定話者モデルの作成方法につい
て説明する。上記全話者モデルは、総ての学習話者の音
声データを用いて学習した音響モデルである。通常、周
波数ワーピング関数ｆの最尤推定に使用する場合には混
合数を１に設定する。これに対して、不特定話者モデル
は、通常学習話者の音声データをそのまま用いて学習し
た音響モデルである。しかしながら、本実施の形態のよ
うに話者正規化を行う音声認識装置においては、尤度演
算部７に入力される音響パラメータ系列は、周波数ワー
プ部４によって既に正規化されている。したがって、不
特定話者モデルも、学習話者の音声データを以下に述べ
る正規化と同様の手順で正規化した正規化学習データを
用いた学習によって作成するのである。その場合、不特
定話者に対応させるために、通常では、混合数は１以上
に設定される。

【００５１】次に、上記周波数ワープ関数推定部５によ
って行われる周波数ワーピング関数ｆの推定について説
明する。先ず、周波数ワープピング関数ｆの定義につい
て説明する。周波数ワープピング関数ｆ(周波数伸縮関
数または単に伸縮関数と言う場合もある)の周波数軸は
声道の長さを直接反映しているので声道長伸縮関数とも
言う。周波数ワーピング関数ｆは、推定の容易さを考慮
して、通常はできるだけ少ないパラメータ数で表現され
る。本実施の形態においては、周波数ワーピング関数ｆ
を、以下のようなパラメータが１個からなる区分線形関
数であると定義する。

【００５２】周波数ワーピング関数f()：・ｘ≦min(ω/α,ω)では、f(x)＝αｘ (ω≒４kＨz) (０.８８＜α＜１.１３) ・min(ω/α,ω)＜ｘでは、 α＞１のとき f(x)→(ω/α,ω)と(fs/２,fs/２)とを
結ぶ直線 α≦１のとき f(x)→(ω,αω)と(fs/２,fs/２)とを結
ぶ直線ここで、α：周波数ワーピング関数f()の係数 fs：サンプリング周波数尚、上記サンプリング周波数fsは、本実施の形態におい
ては８kＨz以上を仮定している。すなわち、fs＝１２k
Ｈzの場合には、(fs/２,fs/２)は(６kＨz,６kＨz)とな
るのである。α＞１である場合における上述のような折
れ線で表される周波数ワーピング関数f(x)を図４に示
す。すなわち、周波数ワーピング関数f()の推定とは係
数αを推定することである。

【００５３】また、複数のパラメータを有する周波数ワ
ーピング関数f(x)の場合でも、以下に述べる１個のパラ
メータαを有する周波数ワーピング関数f(x)の場合と同
様にして、パラメータ空間の総ての座標における尤度を
算出して頻度を計測することによって、音響パラメータ
系列に適合した係数を推定することができる。

【００５４】上記周波数ワープ関数推定部５における上
記周波数ワーピング関数ｆの推定方法が上記推定方法
(Ａ)である場合には、標準話者の音響モデルを入力音声
データに話者適応させた適応モデルを用いて、以下の手
順によって２つの音響モデルの状態間の尤度を求めて推
定するのである。

【００５５】尚、その場合における上記適応モデルは、
例えば、音響モデルの各状態が予め設定された正規化対
象の音素区間に属しているか否かを判別し、属している
状態に関して、上記音響モデルを入力音声データに話者
適応させる話者適応モデル作成手段によって作成すれば
よい。

【００５６】ここで、標準モデル(全話者音響モデル格
納部１７に格納された全話者モデルに相当)と入力モデ
ル(上記適応モデルに相当)との２つの音響モデルの対応
する状態間の尤度を、標準モデルの出力確率密度関数ｒ
_i()に、入力モデルの出力確率密度関数ｂ_i()の平均値ベ
クトルμ^→ _iを上記周波数ワーピング関数f()で周波数ワ
ープして得られたベクトルμ^→ _i ^fを代入したときの値と
定義する。上記各出力確率密度関数は多次元ガウス分布
であって、平均値ベクトルと分散ベクトルから成ってい
る。

【００５７】そして、正規化対象の出力確率密度関数集
合Ωにおける第ｉ番目の状態間の尤度r_i(μ^→ _i ^f)に基づ
いて、周波数ワーピング関数f()の最適係数α^は、式
(１)に示すように尤度r_i(μ^→ _i ^f)の和を最大にする係数
として推定されるのである。ここで、 Ω：正規化対象の出力確率密度関数集合の
インデックス r_i()：標準モデルの第ｉ番目の出力確率密度関数 f()：αを係数とする周波数ワーピング関数 μ^→ _i ^f：入力モデルにおける第ｉ番目の出力確率密度関
数ｂ_i()の平均値ベクトルμ^→ _iをf()で周波数ワープし
たベクトル尚、上記正規化対象の出力確率密度関数集合Ωは、後述
する正規化対象の音素区間に属する音素に関する音響モ
デルの出力確率密度関数の集合である。

【００５８】上記音響分析部２による音響分析で得られ
る音響パラメータや上記音響モデルの出力確率密度関数
の引数は、通常ＭＦＣＣやＬＰＣケプストラムである。
これらの音響パラメータの各次元はケプストラムと呼ば
れる物理量であって、周波数ではない。そこで、上記周
波数ワープ処理を行なう際には、学習データである音響
パラメータからスペクトルへの変換Ｃ^-1(ケプストラム
の場合は逆cos変換)を行なって周波数次元に変換する。
そして、周波数ワープ処理終了後は、逆変換Ｃ(ケプス
トラムの場合はcos変換)を行なって元の音響パラメータ
次元に戻すのである。すなわち、μ^→ _i ^f＝Ｃ(f(Ｃ^-1(μ
_i)))となる。ここで、Ｃ^-1,Ｃは、音響パラメータから
スペクトルへの変換とその逆変換である。

【００５９】このように、上記正規化対象の音素区間に
属する音素に関してのみ周波数ワーピング関数f()の最
適係数αを最尤推定することによって、少ない音声デー
タによって、精度良く周波数ワーピング関数f()を推定
できるのである。

【００６０】一方、上記周波数ワープ関数推定部５にお
ける上記周波数ワーピング関数ｆの推定方法が上記推定
方法(Ｂ)である場合には、音響分析部２からの入力音響
パラメータ系列を直接用いて、以下の手順によって周波
数ワーピング関数f()の最適係数αを推定する。尚、上
述したごとく、図１に示す音声認識装置における周波数
ワープ関数推定部５には上記推定方法(Ｂ)が適用されて
いる。したがって、以下の推定手順を行うことになる。
ここで、入力音声サンプルＸ_jのインデックスｊの全集
合をΨとおく。

【００６１】(１）αに初期値を代入する。そして、あ
る入力音響パラメータ系列Ｘ_jに、αを係数とする周波
数ワーピング関数f()を作用させて周波数ワープを行
う。ここで、Ｘ_j＝{ｘ^→ _j(t)}（ｔ＝１,２,…,Ｔ_j)であ
り、「ｘ^→ _j(t)」は時刻(フレーム)ｔにおける音響パラメ
ータベクトル、Ｔ_jは音響パラメータ系列Ｘ_jにおける最
終時刻(フレーム)である。

【００６２】(２）ビタビアルゴリズムを用いて、上記
周波数ワープが行われた入力音響パラメータ系列Ｘ_j ^fの
標準モデル(全話者音響モデル格納部１７に格納された
全話者モデルに相当)に対する累積尤度Ｐ(Ｘ_j ^f|Ｗ_j)を
求める。ここで、Ｗ_jは入力音響パラメータ系列Ｘ_j ^fの
音素列である。

【００６３】(３）係数αを、定義域「０.８８＜α＜１.
１３」内において、例えば０.０２きざみで移動させなが
ら、上記(１)と(２)との処理とを繰り返して累積尤度Ｐ
を求める。

【００６４】(４) 上記(１)〜(３)の処理を総ての入力
音声サンプル{Ｘ_j}(ｊ∈Ψ)に対して実行し、式(２)に
よって累積尤度Ｐの総和を最大にする係数α~を求め
る。以上の手順(１)から手順(４)までの処理は、最尤推
定部１６によって行われる。

【００６５】(５) 上記求められたα~を係数とする周波
数ワーピング関数f~()を用いて、ビタビアルゴリズムに
よって、サンプル毎に音素境界情報が求められる。そし
て、全入力音声サンプル{Ｘ_j}(ｊ∈Ψ)のうち、上記サ
ンプル毎の音素境界情報に基づく正規化対象となる音素
区間の音響パラメータ系列の集合を{Ｘ^- _j}とおく。そし
て、この{Ｘ^- _j}に関して、式(３)によって、累積尤度Ｐ
の総和を最大にする係数α^を求めるのである。尚、本
手順(５)におけるサンプル毎の音素境界情報の算出は音
素境界推定部１５で行われ、係数α^の算出は最尤推定
部１６によって行われる。

【００６６】このように、上記正規化対象の音素区間に
属する音素に関してのみ周波数ワーピング関数f()の最
適係数αを最尤推定することによって、少ない音声デー
タによって、精度良く周波数ワーピング関数f()を推定
できるのである。

【００６７】尚、上記周波数ワーピング関数f()推定処
理における音素境界推定部１５と最尤推定部１６との処
理の区分は、上述に限定されるものではない。例えば、
手順(２)におけるビタビ演算を、音素境界推定部１５で
行うようにしても差し支えない。

【００６８】次に、上記学習時には最尤推定部１６と周
波数ワープ部４とで、認識時には周波数ワープ部４で周
波数ワープを行う際に、最尤推定部１６および周波数ワ
ープ部４によって行われる上記音素境界情報に基づく対
象音素区間の限定について説明する。

【００６９】上述したように、学習時および認識時にお
いては、周波数ワープ関数推定部５の音素境界推定部１
５によって、入力話者の音響パラメータ系列あるいはこ
の入力音響パラメータ系列に基づく適応モデルに、発話
内容の音素列や言語モデル格納部１３に格納された弱い
文法の言語モデルを適用させて、全話者音響モデル格納
部１２に格納された全話者モデルや話者クラスタにクラ
スタリングされた全話者モデルから選択されたものを用
いたビタビアルゴリズムによって音素境界情報を求め、
最尤推定部１６(学習時)および周波数ワープ部４(学習
時,認識時)に送出するようにしている。

【００７０】そうすると、上記最尤推定部１６および周
波数ワープ部４は、上記周波数ワープ関数推定部５から
の音素境界情報に基づいて、入力音声データのうち周波
数ワープ処理の対象とする音素区間を制御するのであ
る。本実施の形態においては、音素を表１に示す５種類
に分類する。表１

【００７１】そして、この分類に基づいて、以下のよう
な区別に従って、上記最尤推定部１６は学習時の周波数
ワープを制御し、周波数ワープ部４は学習時および認識
時の正規化を制御するのである。・学習時…分類[ｄ] ・認識時…分類[ｃ],分類[ｄ],分類[ｅ],(分類[ｂ]) 但し、認識時には、分類[ｂ]を含めてもよい。発音の仕
方によっては、音素「イ」も音素「ウ」と同様に狭母音なの
でフォルマント周波数が大きく変動する場合がある。し
たがって分類[ｅ]に音素「イ」を含め、分類[ｄ]から音素
「イ」を除いてもよい。

【００７２】尚、上記周波数ワープ部４による正規化処
理対象の音素区間制御方法は、周波数ワープ関数推定部
５の音素境界推定部１５が用いる全話者モデルの規模に
応じて二通りある。・全話者音響モデル格納部１２の容量に余裕があるため
に、全話者モデルの規模を非常に大きくできる場合に
は、分類[ｂ]の調音点が歯茎より前に位置する子音を分
離可能な音素境界情報を精度良く推定できるので、分類
[ｃ],分類[ｄ],分類[ｅ]のみを正規化対象区間とする。・全話者モデルの規模をある程度大きくできる場合に
は、分類[ｂ]を分離可能な音素境界情報を推定できない
ために上述のごとく分類[ｂ]を入れて、分類[ｂ],分類
[ｃ],分類[ｄ],分類[ｅ]を正規化対象区間とする。つま
り、無音区間のみを正規化対象の音素から外すのであ
る。

【００７３】上述したように、本実施の形態における音
声認識装置は、高精度認識を行うために周波数ワープ部
４において周波数ワープの対象とする音素区間を限定す
るようにしている。しかしながら、計算資源(処理能力)
に余裕がないシステムに搭載する場合には、全話者モデ
ルの規模を大きくできないため精度良く音素境界情報を
推定することができない。そのような場合には、周波数
ワープ部４を常に動作させて、全音素区間を対象に周波
数ワープを行っても差し支えない。このように精度良く
音素境界情報を推定できない場合でも、分類[ｄ]の声道
長の影響を直接受ける母音は推定できる。したがって、
周波数ワープ関数推定部５の最尤推定部１６によって推
定された周波数ワーピング関数f()は、音素境界推定部
１５からの音素境界情報に基づいて声道長の影響を直接
受ける分類[ｄ]の母音のみから得られていることにな
る。したがって、周波数ワープ部４による周波数ワープ
の際に声道長の影響を受け難い音素区間と無音区間とが
不必要に変形されることを防止するという効果は得るこ
とができるのである。

【００７４】最後に、上記周波数ワープ関数推定部５の
音素境界推定部１５が、学習時および認識時に用いる言
語モデルについて説明する。表２に、各動作モード時に
おける周波数ワープ関数推定部５が用いる言語モデルの
切換状況を示す。表２

【００７５】表２において、通常の認識処理時における
言語モデル「なし」とは、上述のごとく全音素区間を正規
化対象とするために正規化対象制御用の音素境界情報を
推定する必要がなく、ビタビアルゴリズムを動作させな
いために言語モデルを使用しないという意味である。ま
た、学習モードにおける「教師あり」とは、上述したよう
に、音素境界情報の推定時にビタビアルゴリズムを行う
際に発話内容の音素列を使用することであり、単語列入
力部６から入力される音素列そのものが言語モデルとな
る。これに対して、「教師なし」とは、発話内容の音素列
を使用しないものであり、言語モデル格納部１３に格納
された弱い文法の言語モデルを使用するのである。

【００７６】尚、上記弱い文法の言語モデルに代えて、
認識結果を使用することも可能である。この場合、照合
部９からの出力である認識結果を発話内容の音素列とし
て使用するのである。つまり、一度認識処理を行ってか
ら再び学習モード時における周波数ワープ関数推定部５
の処理動作に戻るのである。その場合には、図１に破線
で示すように、出力部１１からの認識単語列を一種の教
師音素列として単語列入力部６に入力する。但し、発話
内容に規制が無いので照合部９用の言語モデルを、音素
境界推定部１５でのビタビ演算に流用してよいかどうか
という問題はある。

【００７７】上述したように、本実施の形態において
は、上記音素境界推定部１５と最尤推定部１６を有する
周波数関数推定部５を備えている。そして、音素境界推
定部１５は、学習時には、音響分析部２からの入力音響
パラメータ系列に、教師ありの場合には単語列入力部６
からの音素列(言語モデル)を適用させる一方、教師なし
の場合には言語モデル格納部１３に格納された弱い文法
の言語モデルを適用させて、全話者音響モデル格納部１
２に格納された全話者音響モデルを用いたビタビアルゴ
リズムによって音素境界情報を求めるのである。

【００７８】そうすると、上記最尤推定部１６は、周波
数ワーピング関数f()の係数αを例えば「０.８８＜α＜
１.１３」間において所定値ずつ増加させながら、入力音
響パラメータ系列Ｘ_jの周波数ワープを行う。そして、
上記周波数ワープが行われた入力音響パラメータ系列Ｘ
_j ^fのうち、上記音素境界情報に基づいて上記表１に従っ
て上述のように設定された正規化対象となる音素区間の
音響パラメータ系列のみに関して、全話者音響モデル格
納部１７に格納された全話者モデルに対する累積尤度Ｐ
を最大にする係数α^を最尤推定する。そして、推定さ
れた係数α^を係数とする周波数ワーピング関数f()を関
数格納部１８に格納するのである。

【００７９】これに対して、認識時には、事前ワープ部
１９によって上記関数格納部１８に格納されている周波
数ワーピング関数ｆを用いて、認識対象の音響パラメー
タ系列を事前ワープする。そして、音素境界推定部１５
によって、上記教師なし学習時と同様に弱い文法の言語
モデルを適用させて、ビタビアルゴリズムによって音素
境界情報を求めるのである。

【００８０】こうして、上記周波数関数推定部５によっ
て、推定された周波数ワーピング関数f()と音素境界情
報とが、周波数ワープ部４に送出される。そして、周波
数ワープ部４によって、上記音素境界情報に基づいて正
規化対象となる音素区間が上記表１に従って学習時およ
び認識時に応じて上述のように制御され、その制御結果
に従って、当該認識対象の入力音響パラメータ系列が周
波数ワープされるのである。

【００８１】したがって、本実施の形態によれば、話者
と標準話者との声道長の差を表わす声道長正規化係数α
を係数とする周波数ワーピング関数f()を用いて、最尤
推定部１６および周波数ワープ部４によって入力音響パ
ラメータ系列を周波数ワープ(正規化)するに際して、周
波数ワープの対象となる音素区間を制御することができ
る。その結果、声道長の差の影響を受け難い音素や無音
部を正規化対象外とすることによって、声道長の差の影
響を受け難い音素や無音部まで学習および正規化されて
しまうことを防止できる。

【００８２】すなわち、少ない発声データから安定して
話者特徴を抽出し、その抽出結果を用いて精度よく話者
正規化することによって、高い認識性能を得ることがで
きるのである。

【００８３】また、上記周波数ワープ部４による正規化
対象となる音素区間の制御は、上記表１の音素分類に従
って、学習時には分類[ｄ](「ウ」を除く母音)を正規化対
象音素区間とする。さらに、認識時には分類[ｃ](調音
点が歯茎より後に位置する子音,半母音),分類[ｄ],分類
[ｅ](母音「ウ」,撥音),(分類[ｂ](調音点が歯茎より前に
位置する子音))を正規化対象音素区間とするようにして
いる。こうして、学習時および認識時における非正規化
音素区間を、有音無音の別および調音点の位置に従って
設定することによって、声道長の影響を受け難い音素区
間と無音区間とが学習および正規化されることを、確実
に防止することができるのである。

【００８４】＜第２実施の形態＞図５は、本実施の形態
の音声認識装置におけるブロック図である。尚、この音
声認識装置は、話者適応方式を用いた音声認識装置であ
る。音声入力部２１,音響分析部２２,単語列入力部２
６,尤度演算部２７,照合部２９,辞書格納部３０および
出力部３１は、図１に示す上記第１実施の形態における
音声入力部１,音響分析部２,単語列入力部６,尤度演算
部７,照合部９,辞書格納部１０および出力部１１と同様
である。また、周波数ワープ関数推定部２４,全話者音
響モデル格納部３２,言語モデル格納部３３および不特
定話者音響モデル格納部３４は、図１に示す周波数ワー
プ関数推定部５,全話者音響モデル格納部１２,言語モデ
ル格納部１３および不特定話者音響モデル格納部８と同
様である。尚、周波数ワープ関数推定部２４,全話者音
響モデル格納部３２,言語モデル格納部３３および不特
定話者音響モデル格納部３４は、周波数ワープ部２５と
共に、話者適応部２３を構成している。

【００８５】上記話者適応部２３の周波数ワープ関数推
定部２４は、上記第１実施の形態の場合と同様にして、
学習音響パラメータ系列に発話内容音素列あるいは弱い
文法の言語モデルを適用して、全話者モデルを用いたビ
タビアルゴリズムを行って、音素境界情報および周波数
ワーピング関数f()を推定する。そうすると、周波数ワ
ープ部２５は、この推定された周波数ワーピング関数
f()の逆関数を用いて、不特定話者音響モデル格納部３
４に格納された不特定話者モデルを周波数ワープする。
その場合、上記周波数ワープに際しては、上記音素境界
情報に基づいて、上記表１における分類[ｂ],分類[ｃ],
分類[ｄ],分類[ｅ]に該当する音素の状態に対してのみ
変換を行うことによって行う。そして、それ以外の状態
は変換しないのである。但し、声道長の影響を受け難い
分類[ｂ]に該当する音素の状態は、変換しない場合もあ
る。こうして周波数ワープされた不特定話者音響モデル
を、話者適応モデル(ＨＭＭ)として話者適応音響モデル
格納部２８に格納するのである。

【００８６】こうして学習が終了すると、認識時には、
上記尤度演算部２７によって、音響分析部２２からの入
力音声の音響パラメータ系列に対して、話者適応音響モ
デル格納部２８に格納された話者適応モデルを作用させ
て、上述した尤度演算処理を行なうのである。

【００８７】このように、本実施の形態においては、学
習時に、上記周波数ワープ関数推定部２４によって、学
習音響パラメータ系列に基づいて上記音素境界情報およ
び周波数ワーピング関数f()を推定する。そして、周波
数ワープ部２５によって、上記推定された周波数ワーピ
ング関数f()の逆関数を用いて、分類[ｃ],分類[ｄ],分
類[ｅ](,分類[ｂ])に該当する音素の不特定話者モデル
を周波数ワープすることによって、不特定話者モデルを
話者適応させるようにしている。

【００８８】したがって、本実施の形態によれば、上記
不特定話者モデルを話者適応させる際における非正規化
音素区間を、無音区間と長音点が歯茎より前に位置する
子音とに設定することができる。その結果、声道長の影
響を受け難い音素区間と無音区間とが不必要に変形され
ることを確実に防止することができるのである。

【００８９】すなわち、本実施の形態によれば、少ない
発声データから安定して話者特徴を抽出し、その抽出結
果を用いて精度よく話者適応を行うことによって、高い
認識性能を得ることができるのである。

【００９０】尚、本実施の形態における上記話者適応音
響モデル格納部２８に格納する話者適応モデルの与え方
には、上述の与え方の以外に、話者クラスタを用いる方
法を採用してもよい。そして、この二通りの与え方を、
音声認識装置の規模や入力音声データの量や質に応じて
使い分けるのである。ここで、音声データの質とは尤度
の上昇具合であり、話者適応部２３は、上記二通りの与
え方による尤度の上昇具合を見計らって、上昇の大きい
推定方法を採用するのである。長いエンロール期間が許
容できる音声認識装置の場合には、このような推定処理
も可能となる。尚、上記話者クラスタを用いる方法にお
いては、学習音声データに対する尤度が最大値になる話
者クラスタの音響モデルを選択する。そして、この選択
された音響モデルを話者適応モデルとして話者適応音響
モデル格納部２８に格納するのである。

【００９１】また、上述した二つの与え方の何れかによ
って得られた話者適応モデルを初期モデルとして、上記
ＭＬＬＲ方やＶＦＳ法等の既存の話者適応技術を用いて
話者適応を行って新たに話者適応モデルを生成し、これ
を尤度演算部で用いるようにしても差し支えない。

【００９２】＜第３実施の形態＞図６は、本実施の形態
のテキスト音声合成装置におけるブロック図である。な
お、このテキスト音声合成装置は、声質変換方式を用い
たテキスト音声合成装置である。テキスト解析部４１
は、単語とそのアクセント型とが格納されたアクセント
辞書４２を用い、入力テキストに対して形態素解析およ
び係り受け解析を行って音素文字列とアクセント情報と
を生成して韻律生成部４３に送出する。韻律生成部４３
は、韻律制御テーブル４４を参照して、継続時間長やピ
ッチやパワーの韻律情報を生成して、音素文字列と共に
音声素片選択部４５に送出する。そうすると、音声素片
選択部４５は、音声素片辞書４６から音素環境や韻律環
境に最適な音声素片を選択し、音声素片情報を生成す
る。そして、この生成された音声素片情報を周波数ワー
プ部４８に出力する一方、上記韻律情報を音声素片合成
部４７に出力する。

【００９３】一方、周波数ワープ関数推定部４９は、声
質変換のターゲット話者の入力音声波形を基に、第１,
第２実施の形態の場合と同様にして、上記音素境界情報
および周波数ワーピング関数f()を推定する。そうする
と、周波数ワープ部４８は、音声素片選択部４５からの
音声素片情報に含まれる音素境界情報に基づいて音質変
換対象となる音素区間を上記表１に従って上述のように
選択する。そして、その選択結果に従って、当該音質変
換対象の音声素片情報である音響パラメータ系列を、上
記推定された周波数ワーピング関数f()の逆関数を用い
て周波数ワープし、周波数ワープ後の音声素片情報を音
声素片合成部４７に送出する。最後に、音声素片合成部
４７は、周波数ワープ部４８からの周波数ワープ後の音
声素片情報(音声素片の音響パラメータ系列)と音声素片
選択部４５からの韻律情報とを用いて、音声波形を生成
しスピーカ５０から音声出力するのである。

【００９４】上述のように、本実施の形態においては、
テキスト音声合成を行うに際して、上記周波数ワープ関
数推定部４９によって、声質変換のターゲット話者にお
ける入力音声の音響パラメータ系列から上記音素境界情
報および周波数ワーピング関数f()を推定する。そし
て、周波数ワープ部４８によって、上記音声素片情報に
含まれる音素境界情報に基づいて音質変換対象となる音
素区間を制御し、上記推定周波数ワーピング関数f()の
逆関数を用いて、テキストに基づいて選択された音声素
片の音質変換対象となる音響パラメータ系列を周波数ワ
ープすることによって、声質変換を行うようにしてい
る。

【００９５】したがって、本実施の形態によれば、テキ
ストに基づいて選択された音声素片をターゲット話者の
音質に変換する際における非声質変換音素区間を、無音
区間と長音点が歯茎より前に位置する子音とに設定する
ことができる。その結果、声道長の影響を受け難い音素
区間と無音区間とが不必要に変形されることを確実に防
止することができるのである。

【００９６】すなわち、本実施の形態によれば、少ない
発声データから安定して話者特徴を抽出し、その抽出結
果を用いて精度よく声質変換を行うことによって正しく
音質変換を行うことができるのである。

【００９７】本実施の形態はスペクトル包絡の変換であ
り、声質の適応におおいに効果がある。しかしながら、
話者間の声の特徴差は声質だけでなはく韻律が大きく寄
与する。したがって、本実施の形態に対して韻律の適応
技術を併用しても構わない。

【００９８】尚、上述した各実施の形態においては、上
記周波数ワープ部４,２５,４８において音響パラメータ
系列を周波数ワープする場合に、音声素片選択部４５か
らの音声素片情報に含まれる音素境界情報に基づいて周
波数ワープの対象となる音素区間を制御するようにして
いる。しかしながら、この発明においては、必ずしもそ
の必要はなく、総ての音素区間に対して周波数ワープを
行っても構わない。その場合であっても、周波数ワープ
関数推定部５,２４,４９によって推定された周波数ワー
ピング関数f()は、上記音素境界推定部１５からの音素
境界情報に基づいて声道長の影響を直接受ける分類[ｄ]
の母音のみから推定されている。したがって、周波数ワ
ープ部４,２５,４８による周波数ワープの際に声道長の
影響を受け難い音素区間と無音区間とが不必要に変形さ
れることを防止するという効果は得ることができるので
ある。

【００９９】また、上述した各実施の形態においては、
上記周波数ワーピング関数f()で成る話者特徴を用いて
話者正規化または話者適応を行う音声認識装置、およ
び、上記周波数ワーピング関数f()で成る話者特徴を用
いて声質変換を行う音声合成装置について説明してい
る。しかしながら、この発明は、上記周波数ワーピング
関数f()を話者特徴として抽出する話者特徴抽出装置に
も適用されるものである。

【０１００】ところで、その場合の話者特徴抽出装置に
おける上記話者適応モデル作成手段,周波数伸縮関数推
定手段あるいは音素境界情報推定手段,最尤推定手段と
しての機能は、プログラム記録媒体に記録された話者特
徴抽出処理プログラムによって実現される。上記プログ
ラム記録媒体は、ＲＯＭ(リード・オンリ・メモリ)でなる
プログラムメディアである。あるいは、外部補助記憶装
置に装着されて読み出されるプログラムメディアであっ
てもよい。尚、何れの場合においても、上記プログラム
メディアから話者特徴抽出処理プログラムを読み出すプ
ログラム読み出し手段は、上記プログラムメディアに直
接アクセスして読み出す構成を有していてもよいし、Ｒ
ＡＭ(ランダム・アクセス・メモリ)に設けられたプログラ
ム記憶エリア(図示せず)にダウンロードして、上記プロ
グラム記憶エリアにアクセスして読み出す構成を有して
いてもよい。尚、上記プログラムメディアからＲＡＭの
上記プログラム記憶エリアにダウンロードするためのダ
ウンロードプログラムは、予め本体装置に格納されてい
るものとする。

【０１０１】ここで、上記プログラムメディアとは、本
体側と分離可能に構成され、磁気テープやカセットテー
プ等のテープ系、フロッピー（登録商標）ディスク,ハ
ードディスク等の磁気ディスクやＣＤ(コンパクトディ
スク)‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディス
ク),ＤＶＤ(ディジタルビデオディスク)等の光ディスク
のディスク系、ＩＣ(集積回路)カードや光カード等のカ
ード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯ
Ｍ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲ
ＯＭ等の半導体メモリ系を含めた、固定的にプログラム
を坦持する媒体である。

【０１０２】また、上記各実施の形態における音声認識
装置,音声合成装置および話者特徴抽出装置は、モデム
を備えてインターネットを含む通信ネットワークと接続
可能な構成を有していれば、上記プログラムメディア
は、通信ネットワークからのダウンロード等によって流
動的にプログラムを坦持する媒体であっても差し支えな
い。尚、その場合における上記通信ネットワークからダ
ウンロードするためのダウンロードプログラムは、予め
本体装置に格納されているものとする。または、別の記
録媒体からインストールされるものとする。

【０１０３】尚、上記記録媒体に記録されるものはプロ
グラムのみに限定されるものではなく、データも記録す
ることが可能である。

【０１０４】

【発明の効果】以上より明らかなように、第１の発明の
話者特徴抽出装置は、話者適応モデル作成手段によっ
て、有音無音の別及び調音点の位置に従って設定された
音声区間に属する音響モデルの状態に関して、入力音声
サンプルに話者適応された話者適応音響モデルを作成
し、周波数伸縮関数推定手段によって、上記話者適応音
響モデルを用いて上記周波数伸縮関数の最尤推定を行う
ので、声道長の差の影響を受け難い音素や無音部を上記
最尤推定時における周波数軸伸縮の対象外にして、声道
長の差の影響を受け難い音素や無音部までが変形される
のを防止することが可能になる。したがって、少ない発
声データから、発声データの内容に依存せずに安定して
話者特徴を抽出できる。

【０１０５】また、第２の発明の話者特徴抽出装置は、
音素境界情報推定手段によって入力話者の音声サンプル
から音素境界情報を推定し、最尤推定手段によって、上
記音素境界情報に基づいて、有音無音の別および調音点
の位置に従って、話者特徴としての周波数伸縮関数を最
尤推定する音声区間を選択するので、声道長の差の影響
を受け難い音素や無音部を上記最尤推定時における周波
数軸伸縮の対象外にして、声道長の差の影響を受け難い
音素や無音部までが変形されるのを防止することが可能
になる。したがって、少ない発声データから、発声デー
タの内容に依存せずに安定して話者特徴を抽出できる。

【０１０６】また、第３の発明の音声認識装置は、正規
化手段を、上記第１の発明あるいは第２の発明の話者特
徴抽出装置と、上記話者特徴抽出装置によって抽出され
た周波数伸縮関数を用いて入力話者の音声スペクトルの
周波数軸を伸縮する周波数ワープ手段で構成したので、
声道長の差の影響を受け難い音素や無音部まで変形する
ことなく安定して話者正規化を行うことができる。した
がって、少ない発声データから高い精度で認識結果を得
ることができる。

【０１０７】また、上記第３の発明の音声認識装置は、
上記周波数ワープ手段を、上記第２の発明の話者特徴抽
出装置からの音素境界情報に基づいて、有音無音の別お
よび調音点の位置に従って、上記周波数軸を伸縮する音
声区間を選択するように成せば、話者正規化の際に、上
記声道長の差の影響を受け難い音素や無音部まで変形す
ることをより確実に防止できる。したがって、認識精度
を更に高めることができる。

【０１０８】また、第４の発明の音声認識装置は、話者
適応手段を、上記第１の発明あるいは第２の発明の話者
特徴抽出装置と、上記話者特徴抽出装置で抽出された周
波数伸縮関数の逆関数を用いて音響モデルの周波数軸を
伸縮する周波数ワープ手段で構成したので、声道長の差
の影響を受け難い音素や無音部まで変形することなく安
定して話者適応を行うことができる。したがって、少な
い発声データから高い精度で認識結果を得ることができ
る。

【０１０９】また、上記第４の発明の音声認識装置は、
上記周波数ワープ手段を、上記第２の発明の話者特徴抽
出装置からの音素境界情報に基づいて、有音無音の別お
よび調音点の位置に従って、上記周波数軸を伸縮する音
声区間を選択するように成せば、話者適応の際に、上記
声道長の差の影響を受け難い音素や無音部まで変形する
ことをより確実に防止できる。したがって、認識精度を
更に高めることができる。

【０１１０】また、第５の発明の音声合成装置は、声質
変換手段を、上記第１の発明あるいは第２の発明の話者
特徴抽出装置と、上記話者特徴抽出装置によって抽出さ
れた周波数伸縮関数の逆関数を用いて標準話者の音声素
片の周波数軸を伸縮する周波数ワープ手段で構成したの
で、声道長の差の影響を受け難い音素や無音部まで変形
することなく安定して声質変換を行うことができる。し
たがって、少ない発声データからより入力話者の声質に
近い合成音声を得ることができる。

【０１１１】また、上記第５の発明の音声合成装置は、
上記周波数ワープ手段を、上記音声素片の情報からの音
素境界情報に基づいて、有音無音の別および調音点の位
置に従って、上記周波数軸を伸縮する音声区間を選択す
るように成せば、声質変換の際に、上記声道長の差の影
響を受け難い音素や無音部までが変形されることをより
確実に防止できる。したがって、さらに入力話者の声質
に近い合成音声を得ることができる。

【０１１２】また、第６の発明の話者特徴抽出方法は、
入力話者の音声サンプルから音素境界情報を推定し、上
記音素境界情報に基づく有音無音の別及び調音点の位置
に従って特徴抽出の対象とする音声区間を選択し、上記
選択された音声区間に関して話者特徴としての周波数伸
縮関数を最尤推定するので、声道長の差の影響を受け難
い音素や無音部を上記最尤推定時における周波数軸伸縮
の対象外にして、声道長の差の影響を受け難い音素や無
音部まで変形されるのを防止することが可能になる。し
たがって、少ない発声データから、発声データの内容に
依存せずに安定して話者特徴を抽出できる。

【０１１３】また、第７の発明のプログラム記録媒体
は、コンピュータを、上記第１の発明における話者適応
モデル作成手段および周波数伸縮関数推定手段あるいは
上記第２の発明における音素境界情報推定手段および最
尤推定手段として機能させる話者特徴抽出処理プログラ
ムが記録されているので、上記第１の発明あるいは第２
の発明の場合と同様に、声道長の差の影響を受け難い音
素や無音部までが変形されるのを防止することが可能に
なる。したがって、少ない発声データから、発声データ
の内容に依存せずに安定して話者特徴を抽出することが
できる。

【図面の簡単な説明】

【図１】この発明の話者正規化方式を用いた音声認識
装置におけるブロック図である。

【図２】図１における周波数ワープ関数推定部の学習
時に機能する部分の詳細なブロック図である。

【図３】図１における周波数ワープ関数推定部の認識
時に機能する部分の詳細なブロック図である。

【図４】周波数ワーピング関数の一例を示す図であ
る。

【図５】図１とは異なる話者適応方式を用いた音声認
識装置におけるブロック図である。

【図６】この発明の音声合成装置のブロック図であ
る。

【符号の説明】

１,２１…音声入力部、２,２２…音響分析部、３…話者正規化部、４,２５,４８…周波数ワープ部、５,２４,４９…周波数ワープ関数推定部、６,２６…単語列入力部、７,２７…尤度演算部、８,３４…不特定話者音響モデル格納部、９,２９…照合部、１０,３０…辞書格納部、１１,３１…出力部、１２,１７,３２…全話者音響モデル格納部、１３,３３…言語モデル格納部、１５…音素境界推定部、１６…最尤推定部、１８…関数格納部、１９…事前ワープ部、２３…話者適応部、２８…話者適応音響モデル格納部、４１…テキスト解析部、４３…韻律生成部、４５…音声素片選択部、４７…音声素片合成部、５０…スピーカ。

Claims

【特許請求の範囲】

【請求項１】入力話者の音声から、標準話者の音声ス
ペクトルに対して上記入力話者の音声スペクトルの周波
数軸を伸縮する際の周波数伸縮関数を話者特徴として抽
出する話者特徴抽出装置において、音響モデルの各状態が、有音無音の別および調音点の位
置に従って予め設定された音声区間に属しているか否か
を判別し、属している状態に関して、上記音響モデルを
入力音声サンプルに話者適応させて話者適応音響モデル
を作成する話者適応モデル作成手段と、上記標準話者の音響モデルに対して上記話者適応音響モ
デルの尤度を最大にするという基準に従って上記周波数
伸縮関数を最尤推定する周波数伸縮関数推定手段を備え
たことを特徴とする話者特徴抽出装置。
【請求項２】入力話者の音声から、標準話者の音声ス
ペクトルに対して上記入力話者の音声スペクトルの周波
数軸を伸縮する際の周波数伸縮関数を話者特徴として抽
出する話者特徴抽出装置において、上記入力話者の音声サンプルから音響モデルを用いたビ
タビアルゴリズムによって音素境界情報を推定する音素
境界情報推定手段と、上記標準話者の音響モデルに対して当該入力話者の音声
サンプルの尤度を最大にするという基準に従って上記周
波数伸縮関数を最尤推定するに際して、上記音素境界情
報に基づいて、有音無音の別および調音点の位置に従っ
て上記最尤推定を行う音声区間を選択する機能を有する
最尤推定手段を備えたことを特徴とする話者特徴抽出装
置。
【請求項３】標準話者の音声スペクトルに対して入力
話者の音声スペクトルの周波数軸を伸縮する際の周波数
伸縮関数を用いて入力話者の音声スペクトルの周波数軸
を伸縮することによって上記入力話者の音声を正規化す
る正規化手段を有する音声認識装置において、上記正規化手段は、請求項１あるいは請求項２に記載の話者特徴抽出装置
と、上記話者特徴抽出装置によって抽出された周波数伸縮関
数を用いて、上記入力話者の音声スペクトルの周波数軸
を伸縮する周波数ワープ手段で構成されていることを特
徴とする音声認識装置。
【請求項４】請求項３に記載の音声認識装置におい
て、上記周波数ワープ手段は、請求項２に記載の話者特徴抽
出装置における音素境界情報推定手段によって推定され
た音素境界情報に基づいて、有音無音の別および調音点
の位置に従って上記周波数軸を伸縮する音声区間を選択
する機能を有していることを特徴とする音声認識装置。
【請求項５】入力話者の音声スペクトルに対して標準
話者の音声スペクトルの周波数軸を伸縮する際の周波数
伸縮関数を用いて音声のスペクトルの周波数軸を伸縮す
ることによって音響モデルを入力話者に話者適応させる
話者適応手段を有する音声認識装置において、上記話者適応手段は、請求項１あるいは請求項２に記載の話者特徴抽出装置
と、上記話者特徴抽出装置によって抽出された周波数伸縮関
数の逆関数を用いて、上記音響モデルの周波数軸を伸縮
する周波数ワープ手段で構成されていることを特徴とす
る音声認識装置。
【請求項６】請求項５に記載の音声認識装置におい
て、上記周波数ワープ手段は、請求項２に記載の話者特徴抽
出装置における音素境界情報推定手段によって推定され
た音素境界情報に基づいて、有音無音の別および調音点
の位置に従って上記周波数軸を伸縮する音声区間を選択
する機能を有していることを特徴とする音声認識装置。
【請求項７】入力話者の音声スペクトルに対して標準
話者の音声スペクトルの周波数軸を伸縮する際の周波数
伸縮関数を用いて音声のスペクトルの周波数軸を伸縮す
ることによって、標準話者の音声素片を接続して成る合
成音声の声質を発話者の声質に変換する声質変換手段を
有する音声合成装置において、上記声質変換手段は、請求項１あるいは請求項２に記載の話者特徴抽出装置
と、上記話者特徴抽出装置によって抽出された周波数伸縮関
数の逆関数を用いて、上記音声素片の周波数軸を伸縮す
る周波数ワープ手段で構成されていることを特徴とする
音声合成装置。
【請求項８】請求項７に記載の音声合成装置におい
て、上記周波数ワープ手段は、音声素片の情報からの音素境
界情報に基づいて、有音無音の別および調音点の位置に
従って上記周波数軸を伸縮する音声区間を選択する機能
を有していることを特徴とする音声認識装置。
【請求項９】入力話者の音声から、標準話者の音声ス
ペクトルに対して上記入力話者の音声スペクトルの周波
数軸を伸縮する際の周波数伸縮関数を話者特徴として抽
出する話者特徴抽出方法において、上記入力話者の音声サンプルから音響モデルを用いたビ
タビアルゴリズムによって音素境界情報を推定し、上記音素境界情報に基づいて、有音無音の別および調音
点の位置に従って、特徴抽出の対象とする音声区間を選
択し、上記選択された音声区間に関し、上記標準話者の音響モ
デルに対して当該入力話者の音声サンプルの尤度を最大
にするという基準に従って上記周波数伸縮関数を最尤推
定することを特徴とする話者特徴抽出方法。
【請求項１０】コンピュータを、請求項１における話者適応モデル作成手段および周波数
伸縮関数推定手段あるいは請求項２における上記音素境
界情報推定手段および最尤推定手段として機能させる話
者特徴抽出処理プログラムが記録されたことを特徴とす
るコンピュータ読出し可能なプログラム記録媒体。