JP2012037619A - 話者適応化装置、話者適応化方法および話者適応化用プログラム - Google Patents

Abstract

【課題】話者に過度な労力を課すことなく、音響モデルを話者に十分に適合させ、正確な音声認識を可能にする話者適応化装置を提供する。
【解決手段】音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段１０７と、文例を提示する文例提示手段１０１と、文例に基づいて発声された音声を入力する音声入力手段１０２と、文例および音声入力手段１０２が入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段１０４とを備え、文例提示手段１０１は、更新効果推定手段１０７が推定した話者適応化の効果に基づいて文例を提示することを特徴とする。
【選択図】図９

Description

本発明は、話者適応化装置、話者適応化方法および話者適応化用プログラムに関する。

話者適応化装置の一例が、非特許文献１に記載されている。図２は、非特許文献１に記載されている教師あり話者適応と呼ばれる技術に基づく話者適応化装置の一例を示すブロック図である。

図２に示す例では、話者適応化装置は、文例提示手段２０１と、音声入力手段２０２と、文例記憶手段２０３と、音響モデル更新手段２０４と、音響モデル記憶手段２０５と、音声認識手段２０６と、起動手段２０７とを含む。

このような構成を有する話者適応化装置は、次のように動作する。すなわち、起動手段２０７は、ユーザ（話者）から起動の指示を受けて、文例提示手段２０１に文例提示の指示を出力する。

文例提示手段２０１は、ディスプレイ装置などの表示装置を備え、文例記憶手段２０３が記憶する文例データ（以下、単に文例ともいう）をディスプレイ装置などに表示するように制御する。

音声入力手段２０２は、文例提示手段２０１が表示する文例を話者が読み上げた音声を取得し、音響モデル更新手段２０４に出力する。

音響モデル更新手段２０４は、音声入力手段２０２から音声データ（以下、単に音声ともいう）を受け取る。また、音響モデル更新手段２０４は、文例記憶手段２０３から文例を、音響モデル記憶手段２０５から音響モデルを抽出する。そして、音響モデル更新手段２０４は、音響モデルが話者によりよく適合するように、音響モデルを更新し、更新した音響モデルを音響モデル記憶手段２０５に記録させる。

上述した一連の動作を行った後、音声認識手段２０６は、話者に適合した音響モデルを音響モデル記憶手段２０５から抽出する。そして、音声認識手段２０６は、抽出した音響モデルを用いて、音声入力手段２０２が入力する音声を正確に認識して認識結果を出力する。

この種の話者適応化装置は、カーナビゲーションシステムなど、音声による操作が可能な情報機器に広く用いられている。

篠田浩一著、「確率モデルによる音声認識のための話者適応化技術」電子情報通信学会論文誌Ｄ、第Ｊ８７−Ｄ２巻、第２号、２００４年２月１日、３７１−３８６頁。

前述した背景技術の問題点は、話者に十分に適合した音響モデルが得られない場合があるということである。

その理由は、話者適応化を行うに際して、どの程度の量の音声を入力する必要があるかが、ユーザ（話者）にはわからないためである。

通常、製品出荷されたばかりの、話者適応化作業を行う前の時点では、音響モデルは、標準的な声質を持つ話者に合わせて用意されている。したがって、話者がたまたま標準的な声質を持っていれば、用意された音響モデルをそのまま用いればよく、話者適応化作業を行う必要はほとんどない。

一方、標準から外れた多くの話者は、話者適応化作業を行う必要がある。また、特殊な声の持ち主は、標準からの外れ度合いに応じて、多くの文例を用いて、話者適応化作業をくり返し行う必要がある。

しかし、音声認識の技術的知識のない一般ユーザは、自分の声が標準的なのかそうでないのかを知らない。話者適応化の手続きは、ユーザ（話者）に労力を課する作業である。そのため、作業の効果があるのかないのかわからないような状況では、労力を払おうと考えるユーザは少ないと考えられる。その結果として、カーナビゲーションシステムなどに備わっている話者適応化の機能は、まったく使われていない、または、一度使ったきり使われないことが多いのが実状である。

そこで、本発明は、話者に過度な労力を課すことなく、音響モデルを話者に十分に適合させ、正確な音声認識を可能にする話者適応化装置を提供することを目的とする。

本発明による話者適応化装置は、音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、文例を提示する文例提示手段と、文例に基づいて発声された音声を入力する音声入力手段と、文例および音声入力手段が入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、文例提示手段は、更新効果推定手段が推定した話者適応化の効果に基づいて文例を提示することを特徴とする。

本発明による話者適応化装置は、音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、文例および文例に基づいて発声された音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、音響モデル更新手段は、更新効果推定手段が推定した話者適応化の効果に基づいて文例および発声された音声の量を決定することを特徴とする。

本発明による話者適応化方法は、音声と音響モデルとの近さに基づいて話者適応化の効果を推定し、効果に基づいて文例を提示し、文例に基づいて発声された音声を入力し、文例および入力した音声を用いて音響モデルの話者適応化処理を行うことを特徴とする。

本発明による話者適応化プログラムは、コンピュータに、音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定処理と、効果に基づいて文例を提示する文例提示処理と、文例に基づいて発声された音声を入力する音声入力処理と、文例および入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新処理とを実行させることを特徴とする。

本発明によれば、話者に過度な労力を課すことなく、音響モデルを話者に十分に適合させ、正確な音声認識を可能にすることができる。

本発明による話者適応化装置の第１の実施形態の構成例を示すブロック図である。 非特許文献１に記載される教師あり話者適応と呼ばれる技術に基づく話者適応化装置の一例を示すブロック図である。 話者適応化装置の動作例を示す流れ図である。 話者適応化装置の第２の実施形態の構成例を示すブロック図である。 話者適応化装置の第２の実施形態の動作例を示す流れ図である。 尤度の推移を模式的に示した説明図である。 話者適応化装置の第３の実施形態の構成例を示すブロック図である。 モデル空間の一例を示す説明図である。 話者適応化装置の最小の構成例を示すブロック図である。

実施形態１．
次に、本発明の第１の実施形態について図面を参照して説明する。

図１は、本発明による話者適応化装置の第１の実施形態の構成例を示すブロック図である。図１を参照すると、本発明による話者適応化装置の第１の実施形態は、文例提示手段１０１と、音声入力手段１０２と、文例記憶手段１０３と、音響モデル更新手段１０４と、音響モデル記憶手段１０５と、音声認識手段１０６と、更新効果推定手段１０７とを含む。これらの手段はそれぞれ概略次のように動作する。なお、話者適応化装置は、具体的には、プログラムに従って動作する携帯端末やカーナビゲーション装置などによって実現される。

文例提示手段１０１は、ディスプレイ装置などの表示装置を備え、文例記憶手段１０３が記憶する文例を表示装置に表示させるように制御する機能を備えている。

本実施形態において文例とは、任意のテキスト情報である。この文例には、例えば前出のカーナビゲーションシステムで使用する場合、住所（東京都港区南青山）や施設名称（東京ドーム）などが相応しい。また、文例提示手段１０１は、文例の提示について、テキスト情報をそのままディスプレイ装置に表示させるように制御してもよいし、ディスプレイ装置を具備していないような場合には、テキスト情報をスピーカから音声で再生するなどの方法を用いてもよい。このように、本実施形態では、提示とは、ユーザが認識可能なように、文例をディスプレイ装置に表示することや、スピーカから音声で再生することなどをいう。

音声入力手段１０２は、マイクロフォンなどのオーディオデバイスを備え、ユーザが発声した音声のアナログ信号を取得し、ディジタル信号に変換する機能を備えている。

音声入力手段１０２は、変換したディジタル音声を、音声認識または話者適応化の処理をするために出力する。具体的には、音声入力手段１０２は、音声認識の処理をするために、ディジタル音声を音声認識手段１０６に出力する。また、音声入力手段１０２は、話者適応化の処理をするために、ディジタル音声を音響モデル更新手段１０４に出力する。なお、ここでの音声とは、ユーザが、文例提示手段１０１が表示装置などに表示させた文例を読み上げたものである。

文例記憶手段１０３は、具体的には、磁気ディスク装置や光ディスク装置などの記憶装置によって実現される。文例記憶手段１０３は、文例を記憶する。

音響モデル更新手段１０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。音響モデル更新手段１０４は、音声入力手段１０２からディジタル音声を受け取り、文例記憶手段１０３から対応する文例を抽出する。また、音響モデル更新手段１０４は、音響モデル記憶手段１０５から音響モデルを抽出する。そして、音響モデル更新手段１０４は、例えば非特許文献１に記載の方法を用いて話者適応化処理を実行し、音声に適合するように音響モデルを更新する。その後、音響モデル更新手段１０４は、更新した音響モデルを音響モデル記憶手段１０５に記憶させる。

音響モデル記憶手段１０５は、具体的には、磁気ディスク装置や光ディスク装置などの記憶装置によって実現される。音響モデル記憶手段１０５は、音響モデルを記憶する。

音声認識手段１０６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。音声認識手段１０６は、音声入力手段１０２が出力したディジタル音声を受け取り、音声認識処理を実行し、認識結果を出力する機能を備えている。

更新効果推定手段１０７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。更新効果推定手段１０７は、音声認識手段１０６による音声認識の結果を参照して、文例提示手段１０１の動作、例えば、文例提示の要否、表示させる文例の個数などを制御する。特に更新効果推定手段１０７の動作については、以降でフローチャートなども参照して詳しく説明する。

次に、図１および図３を参照して、本実施形態の全体の動作について説明する。図３は、話者適応化装置の動作例を示す流れ図である。

話者適応化作業を行うために、ユーザは、話者適応化装置を起動する。すると、ユーザの操作に従って、文例提示手段１０１は、文例記憶手段１０３から文例を抽出し、抽出した文例を表示装置に表示させるように制御する。

次いで、ユーザは、表示装置が表示する文例を、マイクロフォンなどのオーディオデバイスに向かって読み上げる。すると、音声入力手段１０２は、ユーザが発声した音声をオーディオデバイスから受け取り、受け取った音声をアナログ信号からディジタル信号に変換する。そして、音声入力手段１０２は、音声のディジタル信号を音声認識手段１０６に出力する（図３のステップＡ１）。

次いで、音声認識手段１０６は、音声のディジタル信号を受け取り、音響モデル記憶手段１０５が記憶する音響モデルや、図示しない言語モデルや辞書、文法などの情報を参照して、公知の音声認識処理を実行する。そして、音声認識手段１０６は、認識結果の文字列を出力する。例えば、音声認識手段１０６は、認識結果を示す文字列を表示装置に表示させるように制御する。

また、音声認識手段１０６は、音声認識処理の過程で算出した認識結果のスコア（詳細については後述する）を更新効果推定手段１０７に出力する（ステップＡ２）。これらのステップは、複数回くり返してもよい。

次いで、更新効果推定手段１０７は、音声認識手段１０６から認識結果のスコアを受け取り、話者適応化によって音響モデルを更新することの効果を推定する（ステップＡ３）。

ここで、スコアとは、認識結果の信頼度、すなわち確からしさを示す量であり、入力音声と音響モデルとの近さを反映した数値となる。例えば、入力音声と音響モデルとの類似度が高い場合に、両者が近いと表現する。また、スコアについては、音声認識処理の過程で副次的に算出できることが知られている。

このスコアが高いほど、入力音声と音響モデルとは近く、現時点で適用中の音響モデルでも、ユーザに対して十分な認識性能を有すると期待できる。逆に、スコアが低い場合には、入力音声と音響モデルとの間には隔たりがあり、音響モデルを更新することにより、より高い認識性能が得られると考えられる。

このスコアを用いて、更新効果推定手段１０７は、例えば、以下の式（１）を用いて、推定される話者適応化の効果Ｎを計算する。

Ｎ＝−ａＳ_１＋ｂ 式（１）

ここで、Ｓ_１は、第１位の認識結果候補に対応するスコアである。また、ａとｂとは、話者適応化装置の開発者などが事前に実験的な方法などにより決める定数である（ａ＞０）。

式（１）によれば、第１位の認識結果候補のスコアが低いほど、話者適応化の効果が高いと推定される。なお、式（１）に示したスコアの１次関数による表式はあくまで一例であり、例えば、区分線形関数、高次関数、シグモイド関数など、任意の単調減少（非増加）関数を用いてよい。

また、更新効果推定手段１０７は、話者適応化の効果Ｎを、以下の式（２）を用いて計算してもよい。

Ｎ＝−ａＳ_１／Ｓ_２＋ｂ 式（２）

ここで、Ｓ_２は、第２位の認識結果候補に対応するスコアである。式（２）によれば、第１位の認識結果候補のスコアが、第２位の認識結果候補のスコアを基準として小さな値をとるほど、話者適応化の効果が高いと推定される。逆に、第２位の認識結果候補のスコアに比べて第１位の認識結果候補のスコアが十分高ければ、話者適応化の効果は低くなる。

なお、式（２）に示したような２つのスコアの組合せは、あくまで一例であり、任意個の候補に対応する任意個のスコアを組み合わせて用いてもよい。また、１次関数による表式も一例に過ぎないことは、式（１）の場合と同様である。

また、近年の音響モデルでは、ガウス混合分布（ＧＭＭ）に基づく隠れマルコフモデルの形式がとられるが、この場合には、音声認識の結果（スコアＳ_１）を陽に用いずに、音響モデルと入力音声との間の類似度を直接計算してもよい。その場合、類似度については、例えば、入力音声の各時刻（フレーム）の特徴量に対する全ガウス分布の対数確率密度の総和などと定義することができる。また、例えば、入力音声から導出されるＧＭＭを求めて、これと音響モデルとの間の類似度を公知のカルバック・ライブラ情報量などから計算することもできる。

このようにすることにより、更新効果推定手段１０７は、比較的低水準な計算式のみを用いて、少ない計算量で音響モデルと入力音声との近さを測ることができる。

入力音声と音響モデルとの間の類似度を計算する他の方法としては、類似度を話者に係わる成分とそれ以外の成分とに分解して、話者に係わる成分のみを計算する方法が考えられる。このような方法の一例が文献（磯健一、大西祥史著「階層的ＥｉｇｅｎＶｏｉｃｅ法による話者適応化」電子情報通信学会論文誌Ｄ、第Ｊ８６−Ｄ２巻、第１０号、２００３年１０月１日、１３８２−１３８０頁。）に記載されている。

上記文献に記載があるように、音響モデルに含まれるすべてのガウス分布の平均ベクトルを連結した「スーパーベクトル」によって音響モデルを表し、入力音声から導出されるＧＭＭについても同様にスーパーベクトルで表す場合を想定する。この場合、入力音声と音響モデルとの間の類似度については、スーパーベクトル間の近さ（距離の逆数や符号反転など）で測ることができる。

ここで、様々の話者を含む大規模音声データから作成した多数の特定話者音響モデルを事前に用意し、スーパーベクトルで表される音響モデル空間にプロットし、さらに主成分分析などによる次元圧縮を行うと、話者の変動によって張られる部分空間を得ることができる。そして、入力音声から得られるスーパーベクトルをこの部分空間に垂直射影すると、図８に示すように、入力音声と音響モデルとの近さを部分空間上で測ることができる。図８は、モデル空間の一例を示す説明図である。

このようにして計算された入力音声と音響モデルとの間の類似度は、話者に係わる類似性のみを抽出したものであり、余分な雑音成分が排除されているので、話者適応化に適しており、話者適応化の効果をよりよく推定するのに役立つ。

更新効果推定手段１０７が話者適応化の効果Ｎを計算すると、文例提示手段１０１は、更新効果推定手段１０７から話者適応化の効果Ｎを受け取り、その大小によって適用中の音響モデルの更新、すなわち話者適応化処理の要否を判定する（ステップＡ４）。

具体的には、文例提示手段１０１は、例えばＮが正ならば更新が必要、そうでなければ不要と判定する。式（１）、式（２）に含まれる定数ａ，ｂは、実験的な方法などにより事前に決めると先に述べたが、より具体的には、ここでの判定が適切に行われるように調節すべきものである。

次いで、文例提示手段１０１は、ステップＡ４において音響モデルの更新が必要であると判断した場合（すなわち、話者適応化の効果Ｎが正の場合）、Ｎ個の文例を文例記憶手段１０３から読み出し、ディスプレイ装置などに表示させるように制御する（ステップＡ５）。

これは、音響モデルの更新、すなわち話者適応化の効果が高いと見込まれる場合には、多くの文例を用いて話者適応化処理をくり返し行うことが効果的だからである。なお、Ｎは文例の個数に限定されるものではなく、文例の総文字数、文例の総単語数など、文例の総量を規定する量であれば何でもよい。

また、文例提示手段１０１は、文例を提示するタイミングを、用途によって適宜制御してよい。例えば、話者適応化装置をカーナビゲーションシステムに適応する場合なら、文例提示手段１０１は、ユーザが運転中には提示をしないというように動作してもよい。

なお、ステップＡ４において音響モデルの更新が必要でないと判断した場合、文例提示手段１０１は、初期状態のステップＡ１に処理を移行する。

次いで、ユーザは、文例提示手段１０１がディスプレイ装置などに表示させたＮ個の文例を、マイクロフォンなどのオーディオデバイスに向けて読み上げる。すると、音声入力手段１０２は、文例提示手段１０１が提示したＮ個の文例に基づいてユーザが発声したＮ個の音声を、ステップＡ１と同様に、オーディオデバイスから受け取り、ディジタル信号に変換する。また、音声入力手段１０２は、変換した音声のディジタル信号を音響モデル更新手段１０４に出力する（ステップＡ６）。

なお、仮にＮが非常に大きくなった場合や、ユーザが発声困難な状況下にある場合などでは、多数の発声を一度に行うのはユーザにとって負担となる。そのため、実際運用上は、途中で、例えばＮ’回（Ｎ’＜Ｎ）発声した時点で、以降の発声を取りやめることができるように、ユーザインタフェースを設計するのが現実的である。この場合においても、音声入力手段１０２がＮ’個の音声を音響モデル更新手段１０４に出力することで、本実施形態は何ら問題なく成立する。

最後に、音響モデル更新手段１０４は、音声入力手段１０２からＮ個の音声（発声を中断した場合にはＮ’個の音声）のディジタル信号を受け取る。また、音響モデル更新手段１０４は、文例記憶手段１０３から対応するＮ個の文例（発声を中断した場合には先頭からＮ’個分の文例）を抽出する。また、音響モデル更新手段１０４は、音響モデル記憶手段１０５から音響モデルを抽出する。そして、音響モデル更新手段１０４は、例えば、非特許文献１に記載された方法を用いて話者適応化処理を行って、入力音声に適合するように音響モデルを更新する。その後、音響モデル更新手段１０４は、更新した音響モデルを音響モデル記憶手段１０５に記憶させる（ステップＡ７）。

なお、話者適応化装置は、以上述べたステップＡ１〜Ａ７の動作全体を、必要に応じて、例えば話者適応化の効果Ｎが正である限り、複数回くり返してもよい。

次に、本実施形態の効果について説明する。

本実施形態では、音響モデル更新手段が、話者適応化により音響モデルを話者に適合させるにあたって、更新効果推定手段が、話者適応化の効果、すなわち、音響モデルが十分に適合するまでにどの程度の量の音声が必要かを、音声認識手段が算出する認識結果のスコア、または音響モデルと入力音声との間の類似度を用いて推定するように構成されている。そのため、話者にどの程度作業すればよいか知らせることで、過度な労力を課すことなく、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となる。

また、本実施形態ではさらに、音声認識の結果（スコアＳ_１）を陽に用いずに、音響モデルと入力音声との間の類似度を直接計算した場合、比較的低水準な計算式のみを用いて、少ない計算量で音響モデルと入力音声との近さを測ることができる。

また、本実施形態ではさらに、多数の特定話者音響モデルが事前に利用できる場合に、更新効果推定手段が、音響モデル空間の、話者の変動に係わる部分空間上で入力音声と音響モデルの間の類似度を計算し、話者適応化の効果を推定するように構成されている。そのため、話者の変動に無関係な成分を排除して話者適応化の効果を適切に推定し、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となる。

実施形態２．
次に、本発明の第２の実施形態について、図面を参照して説明する。

図４は、話者適応化装置の第２の実施形態の構成例を示すブロック図である。図４を参照すると、本発明による話者適応化装置の第２の実施形態は、文例提示手段４０１と、音声入力手段４０２と、文例記憶手段４０３と、音響モデル更新手段４０４と、音響モデル記憶手段４０５と、音声認識手段４０６と、更新効果推定手段４０７と、更新履歴記憶手段４０８とを含む。これらの手段はそれぞれ概略次のように動作する。

文例提示手段４０１、音声入力手段４０２、文例記憶手段４０３、音響モデル記憶手段４０５、音声認識手段４０６については、それぞれ第１の実施形態における文例提示手段１０１、音声入力手段１０２、文例記憶手段１０３、音響モデル記憶手段１０５、音声認識手段１０６と同様であるため、説明を省略する。

音響モデル更新手段４０４は、第１の実施形態における音響モデル更新手段１０４と同様、話者適応化処理を実行し、更新した音響モデルを音響モデル記憶手段４０５に記憶させる機能を備えている。加えて、本実施形態では、音響モデル更新手段４０４は、話者適応化処理の結果として得られる、話者適応化処理に用いた音声に対する音響モデルの尤度を、都度、更新履歴記憶手段４０８に履歴として記憶させる機能を備えている。

更新効果推定手段４０７は、第１の実施形態における更新効果推定手段１０７と同様に、音声認識手段４０６による音声認識の結果を参照する。また加えて、更新効果推定手段４０７は、音声認識の結果とともに、更新履歴記憶手段４０８が記憶する尤度の履歴を参照し、文例提示手段４０１の動作、例えば、文例提示の要否、表示する文例の個数などを制御する。

更新履歴記憶手段４０８は、具体的には、磁気ディスク装置や光ディスク装置などの記憶装置によって実現される。更新履歴記憶手段４０８は、話者適応化処理に用いた音声に対する音響モデルの尤度を履歴として記憶する。

次に、図４および図５を参照して、本実施形態の全体の動作について説明する。図５は、話者適応化装置の第２の実施形態の動作例を示す流れ図である。

図５のステップＢ１、Ｂ２については、それぞれ第１の実施形態における図３のステップＡ１、Ａ２と同様であるため、説明を省略する。

ステップＢ２の後、更新効果推定手段４０７は、第１の実施形態と同様、音声認識手段４０６から認識結果のスコアを受け取る。なお、本実施形態でも、スコアの代わりに、同じく第１の実施形態で述べた音響モデルと入力音声との間の類似度などを用いてもよい。

また、更新効果推定手段４０７は、音響モデル更新手段４０４による話者適応化の処理がすでに１回以上行われており、更新履歴記憶手段４０８に尤度の履歴が存在する場合には、更新履歴記憶手段４０８より、尤度の履歴を抽出する。更新効果推定手段４０７は、これらスコアおよび尤度の履歴から、話者適応化処理によって音響モデルを更新することの効果を推定する（ステップＢ３）。

ここで、更新履歴記憶手段４０８が記憶する尤度の履歴とは、先にも述べたように、音響モデル更新手段４０４において話者適応化処理を実行するたびに得られる、音声に対する音響モデルの尤度の履歴である。

通常、１回の話者適応化処理は、公知の最尤推定法法などに基づく反復学習として実現される。学習を反復するごとに尤度は単調に増加する。そして、尤度の上昇が飽和した時点で、１回の話者適応化処理は完了する。

図６は、音声入力手段４０２からＮ１，Ｎ２，Ｎ３，Ｎ４個の音声を順次追加して、音響モデル更新手段４０にて話者適応化をくり返した場合の尤度の推移を模式的に示した図である。各回の話者適応化における反復学習では、尤度は単調に増加する。そして、上昇が飽和した時点で話者適応化処理は完了となる。そのときの尤度をＬ１，Ｌ２，Ｌ３，Ｌ４とする。話者適応化処理の完了後に新たな音声を追加すると、尤度は一時的に低下し、反復学習により回復する。

ただしその場合、前回の話者適応化よりも多くの音声データに対して適応化しなければならないため、前回の話者適応化処理における尤度よりも低い尤度で飽和するのが普通である（Ｌｉ≧Ｌｉ＋１）。

更新効果推定手段４０７は、更新履歴記憶手段４０８に、追加した音声の量Ｎ１，Ｎ２，Ｎ３，Ｎ４および、これらに対応する尤度Ｌ２，Ｌ３，Ｌ４を記憶させる。

なお、話者適応化の方法や音響モデルの形式によっては、反復学習を必要としない場合もあり得るが、そのような場合でも、各回の話者適応化において、尤度、または学習の進行度合いを表す適当な量が定義できる。よって、上記と同様、ＮｉとＬｉとの対を更新履歴記憶手段４０８に記憶させるように動作させることが可能である。

更新効果推定手段４０７はさらに、話者適応化によって音響モデルを更新することの効果Ｎを計算する。ここでＮは、第１の実施形態と同様、次の話者適応化に向けて文例提示手段４０１が表示する文例の個数など、文例の総量を規定する量である。更新効果推定手段４０７は、Ｎの計算を、例えば次の式（３）に従って行えばよい。

ここでの、Ｓ_１は、第１の実施形態と同じく、第１位の認識結果に対応するスコアである。Ｎ’，Ｌ’は、それぞれ、直前の話者適応化処理に際して入力した音声のデータ量（個数）、話者適応化後の尤度である。Ｌ”は、直前の話者適応化処理の前の話者適応化処理後の尤度である。また、ａ，ｂ，ｃは、話者適応化装置の開発者などが事前に実験的な方法などにより決める定数である（ａ＞０，ｃ＞０）。

なお、過去に行った話者適応化の回数が２回に満たない場合には、式（３）の右辺第３項は計算できないので、更新効果推定手段４０７は、第１の実施形態で示した式（１）に従ってＮを計算することとする。

式（３）では、第１位の認識結果のスコアが低いほど、Ｎが大きくなるという第１の実施形態と同様の性質に加えて、話者適応化処理の反復による尤度の減少幅が大きいほど、Ｎが大きくなるという性質が備わる。つまり、スコアと尤度という２種類の情報を併用することにより、話者適応化の効果をより正確に推定することができる。

なお、第１の実施形態における式（１）と同様、式（３）に示したスコアの１次関数による表式はあくまで一例であり、区分線形関数、高次関数、シグモイド関数など、任意の単調減少（非増加）関数を用いてよい。

また、第１の実施形態における式（２）で示したように、第２位以下の認識結果候補のスコアを複数組み合わせてＮを計算するようにしてもよい。または、認識結果のスコアの代わりに、音響モデルと入力音声との間の類似度を直接計算して用いてもよい。

また、音響モデル更新の履歴についても、式（３）では直近の２回の話者適応化の履歴（Ｎ’，Ｌ’，Ｌ”）を用いてＮを計算しているが、より古い過去の履歴も用いてＮを計算することも可能である。

以降のステップＢ４、Ｂ５、Ｂ６およびＢ７については、第１の実施形態におけるステップＡ４、Ａ５、Ａ６およびＡ７と同様であるため、説明を省略する。

最後に、音響モデル更新手段４０４は、再度の話者適応化処理を行う際に必要となる、話者適応化処理に新たに用いた音声のデータ量（個数）および話者適応化処理後に得られた尤度を、更新履歴記憶手段４０８に記憶させる（ステップＢ８）。

なお、話者適応化装置は、以上述べたステップＢ１〜Ｂ８の動作全体を、必要に応じて、例えば話者適応化の効果Ｎが正である限り、複数回くり返してもよい。

次に、本実施形態の効果について説明する。

本実施形態では、音響モデル更新手段が、話者適応化により音響モデルを話者に適合させるにあたって、更新効果推定手段が、話者適応化の効果、すなわち、音響モデルが十分に適合するまでにどの程度の量の音声が必要かを、過去の話者適応化の履歴を併せて用いて推定するように構成されている。そのため、話者適応化の効果をより正確に推定し、話者にどの程度作業すればよいか知らせることで、過度な労力を課すことなく、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となる。

実施形態３．
次に、本発明の第３の実施形態について、図面を参照して説明する。

図７は、話者適応化装置の第３の実施形態の構成例を示すブロック図である。図７を参照すると、本発明の第３の実施形態は、第１の実施形態をプログラムにより構成した場合に、そのプログラムに従って動作するコンピュータの構成図である。

本実施形態では、データ処理装置７２は、話者適応化用プログラム７１を読み込み、話者適応化用プログラム７１に従って動作する。データ処理装置７２は、話者適応化用プログラム７１に従って、記憶装置７３内の文例記憶手段７３１、音響モデル記憶手段７３２にそれぞれ記録された文例、音響モデルを参照し、第１の実施形態における文例提示手段１０１、音声入力手段１０２、音響モデル更新手段１０４、音声認識手段１０６、更新効果推定手段１０７による処理と同一の処理を実行する。

次に、本実施形態の効果について説明する。

本実施形態では、音響モデル更新手段が、話者適応化により音響モデルを話者に適合させるにあたって、更新効果推定手段が、話者適応化の効果、すなわち、音響モデルが十分に適合するまでにどの程度の量の音声が必要かを、音声認識手段が算出する認識結果のスコア、または音響モデルと入力音声との間の類似度を用いて推定するように構成されている。そのため、話者にどの程度作業すればよいか知らせることで、過度な労力を課すことなく、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となる。

なお、本実施形態では、第１の実施形態の構成要素による処理を実行するが、さらに第２の実施形態の構成要素による処理を実行するようにしてもよい。

以上のように、本発明は、話者適応化装置、話者適応化方法および話者適応化用プログラムに関し、特に、ある話者の音声を用いて話者に対する音声認識の性能を向上させる話者適応化装置、話者適応化方法および話者適応化用プログラムに関する。

また、本発明の効果は、教師あり話者適応化において、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となることにある。

その理由は、音響モデル更新手段が、話者適応化により音響モデルを目的の話者に適合させるにあたって、更新効果推定手段が、十分に適合するまでにどの程度の量の音声入力が必要かを推定するように動作するためである。

次に、本発明による話者適応化装置の最小構成について説明する。図９は、話者適応化装置の最小の構成例を示すブロック図である。図９に示すように、話者適応化装置は、最小の構成要素として、更新効果推定手段１０７と、文例提示手段１０１と、音声入力手段１０２と、音響モデル更新手段１０４とを含む。

図９に示す最小構成の話者適応化装置では、更新効果推定手段１０７が、音声と音響モデルとの近さに基づいて話者適応化の効果を推定すると、文例提示手段１０１は、更新効果推定手段１０７が推定した話者適応化の効果に基づいて文例を提示する。次いで、音声入力手段１０２が、文例に基づいてユーザが発声する音声を入力すると、音響モデル更新手段１０４は、文例および入力した音声を用いて音響モデルの話者適応化処理を行う。

従って、最小構成の話者適応化装置によれば、話者にどの程度作業すればよいか知らせることで、過度な労力を課すことなく、音響モデルを話者に十分に適合させることができ、正確な音声認識が可能となる。

なお、本実施形態では、以下の（１）〜（８）に示すような話者適応化装置の特徴的構成が示されている。

（１）話者適応化装置は、音声（例えば、音声のディジタル信号）と音響モデルとの近さに基づいて話者適応化の効果（例えば、効果Ｎ）を推定する更新効果推定手段（例えば、更新効果推定手段１０７）と、文例を提示する文例提示手段（例えば、文例提示手段１０１）と、文例に基づいて発声された音声を入力する音声入力手段（例えば、音声入力手段１０２）と、文例および音声入力手段が入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段（例えば、音響モデル更新手段１０４）とを備え、文例提示手段は、更新効果推定手段が推定した話者適応化の効果に基づいて文例を提示することを特徴とする。

（２）話者適応化装置において、音声入力手段が入力する音声を認識する音声認識手段（例えば、音声認識手段１０６）を備え、更新効果推定手段は、音声認識手段が出力する少なくとも１つの認識結果の信頼度を用いて、音声と音響モデルとの近さを計算するように構成されていてもよい。

（３）話者適応化装置において、更新効果推定手段は、音声と音響モデルとの近さを、音声および音響モデルの音響モデル空間上（例えば、図８に示すモデル空間）での類似度として計算するように構成されていてもよい。

（４）話者適応化装置において、更新効果推定手段は、音響モデル空間に含まれる、話者の変動に係わる部分空間（例えば、図８に示す部分空間）上に、音声および音響モデルを射影し、部分空間上で、音声および音響モデルの類似度を計算するように構成されていてもよい。

（５）話者適応化装置において、音響モデル更新手段が話者適応化処理を行うごとに、話者適応化処理に用いた音声データ量と、音声データに対する音響モデルの尤度とを履歴として記憶する更新履歴記憶手段（例えば、更新履歴記憶手段４０８）を備え、更新効果推定手段は、更新履歴記憶手段が記憶する音声データ量および尤度の履歴を用いて、話者適応化の効果を推定するように構成されていてもよい。

（６）話者適応化装置において、更新効果推定手段は、更新履歴記憶手段が記憶する履歴から、過去の話者適応化処理で得られた尤度の差分を計算し、過去の話者適応化処理で用いた音声データ量に比して差分が大きい場合に、話者適応化処理の効果が高いと推定するように構成されていてもよい。

（７）話者適応化装置において、文例提示手段は、更新効果推定手段が推定した話者適応化の効果を、提示する文例の量として用いるように構成されていてもよい。

（８）話者適応化装置（例えば、データ処理装置７２によって実現される）は、音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、文例および文例に基づいて発声された音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、音響モデル更新手段は、更新効果推定手段が推定した話者適応化の効果に基づいて文例および発声された音声の量を決定することを特徴とする。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、文例を提示する文例提示手段と、前記文例に基づいて発声された音声を入力する音声入力手段と、前記文例および前記音声入力手段が入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、前記文例提示手段は、前記更新効果推定手段が推定した前記話者適応化の効果に基づいて前記文例を提示することを特徴とする話者適応化装置。

（付記２）更新効果推定手段は、音声と音響モデルとの近さを計算し、前記音声と前記音響モデルとの近さが低い値を示した場合に、話者適応化の効果が高いと推定することを特徴とする付記１記載の話者適応化装置。

（付記３）音声入力手段が入力する音声を認識する音声認識手段を備え、更新効果推定手段は、前記音声認識手段が出力する少なくとも１つの認識結果の信頼度を用いて、前記音声と音響モデルとの近さを計算することを特徴とする付記２記載の話者適応化装置。

（付記４）更新効果推定手段は、音声と音響モデルとの近さを、前記音声および音響モデルの音響モデル空間上での類似度として計算することを特徴とする付記２記載の話者適応化装置。

（付記５）更新効果推定手段は、音響モデル空間に含まれる、話者の変動に係わる部分空間上に、前記音声および音響モデルを射影し、前記部分空間上で、前記音声および音響モデルの類似度を計算することを特徴とする付記４記載の話者適応化装置。

（付記６）音響モデル更新手段が話者適応化処理を行うごとに、前記話者適応化処理に用いた音声データ量と、前記音声データに対する音響モデルの尤度とを履歴として記憶する更新履歴記憶手段を備え、更新効果推定手段は、前記更新履歴記憶手段が記憶する前記音声データ量および尤度の履歴を用いて、話者適応化の効果を推定することを特徴とする付記１ないし付記５のうちのいずれかに記載の話者適応化装置。

（付記７）更新効果推定手段は、更新履歴記憶手段が記憶する履歴から、過去の話者適応化処理で得られた尤度の差分を計算し、過去の話者適応化処理で用いた音声データ量に比して前記差分が大きい場合に、話者適応化の効果が高いと推定することを特徴とする付記６記載の話者適応化装置。

（付記８）文例提示手段は、更新効果推定手段が推定した話者適応化の効果を、提示する文例の量として用いることを特徴とする付記１ないし付記７のうちのいずれかに記載の話者適応化装置。

本発明は、カーナビゲーションシステムなどの車載端末、携帯電話やスマートフォンなどの個人用携帯端末、コンビニエンスストアの在庫管理などに使用する業務端末、ＡＶ機器操作用リモコン、ＩＴ住宅の操作端末など、音声による操作が可能で、特定のユーザが使用することが想定される情報機器に広く適用できる。

１０１ 文例提示手段
１０２ 音声入力手段
１０３ 文例記憶手段
１０４ 音響モデル更新手段
１０５ 音響モデル記憶手段
１０６ 音声認識手段
１０７ 更新効果推定手段
２０１ 文例提示手段
２０２ 音声入力手段
２０３ 文例記憶手段
２０４ 音響モデル更新手段
２０５ 音響モデル記憶手段
２０６ 音声認識手段
２０７ 起動手段
４０１ 文例提示手段
４０２ 音声入力手段
４０３ 文例記憶手段
４０４ 音響モデル更新手段
４０５ 音響モデル記憶手段
４０６ 音声認識手段
４０７ 更新効果推定手段
４０８ 更新履歴記憶手段
７１ 話者適応化用プログラム
７２ データ処理装置
７３ 記憶装置
７３１ 文例記憶手段
７３２ 音響モデル記憶手段

Claims (10)

1. 音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、
   文例を提示する文例提示手段と、
   前記文例に基づいて発声された音声を入力する音声入力手段と、
   前記文例および前記音声入力手段が入力した音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、
   前記文例提示手段は、前記更新効果推定手段が推定した前記話者適応化の効果に基づいて前記文例を提示する
   ことを特徴とする話者適応化装置。
2. 音声入力手段が入力する音声を認識する音声認識手段を備え、
   更新効果推定手段は、前記音声認識手段が出力する少なくとも１つの認識結果の信頼度を用いて、前記音声と音響モデルとの近さを計算する
   ことを特徴とする請求項１記載の話者適応化装置。
3. 更新効果推定手段は、音声と音響モデルとの近さを、前記音声および音響モデルの音響モデル空間上での類似度として計算する
   ことを特徴とする請求項１記載の話者適応化装置。
4. 更新効果推定手段は、音響モデル空間に含まれる、話者の変動に係わる部分空間上に、前記音声および音響モデルを射影し、前記部分空間上で、前記音声および音響モデルの類似度を計算する
   ことを特徴とする請求項３記載の話者適応化装置。
5. 音響モデル更新手段が話者適応化処理を行うごとに、前記話者適応化処理に用いた音声データ量と、前記音声データに対する音響モデルの尤度とを履歴として記憶する更新履歴記憶手段を備え、
   更新効果推定手段は、前記更新履歴記憶手段が記憶する前記音声データ量および尤度の履歴を用いて、話者適応化の効果を推定する
   ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の話者適応化装置。
6. 更新効果推定手段は、更新履歴記憶手段が記憶する履歴から、過去の話者適応化処理で得られた尤度の差分を計算し、過去の話者適応化処理で用いた音声データ量に比して前記差分が大きい場合に、話者適応化の効果が高いと推定する
   ことを特徴とする請求項５記載の話者適応化装置。
7. 文例提示手段は、更新効果推定手段が推定した話者適応化の効果を、提示する文例の量として用いる
   ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の話者適応化装置。
8. 音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定手段と、
   文例および前記文例に基づいて発声された音声を用いて音響モデルの話者適応化処理を行う音響モデル更新手段とを備え、
   前記音響モデル更新手段は、前記更新効果推定手段が推定した前記話者適応化の効果に基づいて前記文例および前記発声された音声の量を決定する
   ことを特徴とする話者適応化装置。
9. 音声と音響モデルとの近さに基づいて話者適応化の効果を推定し、
   前記効果に基づいて文例を提示し、
   前記文例に基づいて発声された音声を入力し、
   前記文例および前記入力した音声を用いて前記音響モデルの話者適応化処理を行う
   ことを特徴とする話者適応化方法。
10. コンピュータに、
    音声と音響モデルとの近さに基づいて話者適応化の効果を推定する更新効果推定処理と、
    前記効果に基づいて文例を提示する文例提示処理と、
    前記文例に基づいて発声された音声を入力する音声入力処理と、
    前記文例および前記入力した音声を用いて前記音響モデルの話者適応化処理を行う音響モデル更新処理とを
    実行させるための話者適応化用プログラム。

Images