JP2006201491A - 発音評定装置、およびプログラム - Google Patents

Abstract

【課題】従来の語学学習装置では、語学や物真似などの練習者が、いわゆる追唱（「シャドウイング」とも言う。）を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができなかった。
【解決手段】比較対象の音声に関するデータである教師データを格納している教師データ格納部と、教師データに対応する音声を出力する音声出力部と、前記音声出力部が音声データの少なくとも一部を出力した後、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声と、前記教師データに基づいて、前記音声受付部が受け付けた音声の評定を行う評定部と、前記評定部の評定結果を出力する出力部を具備する発音評定装置により、追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握できる。
【選択図】図１

Description

本発明は、入力された音声を評価する装置等に関し、特に、語学学習等に利用できる発音評定装置等に関するものである。

従来の技術として、以下の語学学習装置がある（特許文献１参照）。本語学学習装置は、学習者が選択した役割の発音をレファランスデータと比較して一致度によって点数化して表示し、点数によって適当な次の画面を自動に表示することにより、学習能率を向上させる装置である。本従来の語学学習装置は、入力された音声信号は音声認識技術により分析された後、学習者発音のスペクトルと抑揚とが学習者発音表示ボックスに表れるという構成になっている。そして、従来の技術においては、標準音データと学習者の発音のスペクトル、および抑揚が比較されて点数が表示される。
特開２００３−２２８２７９（第１頁、第１図等）

しかし、従来の技術においては、語学や物真似などの練習者が、いわゆる追唱（「シャドウイング」とも言う。）を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を、リアルタイムに把握することができなかった。なお、追唱とは、語学等の練習者が、出力される音声を、そっくり真似て発声する、語学等の練習方法を言う。追唱は、特に、長い文章の発音練習に有効である。

本第一の発明の発音評定装置は、比較対象の音声に関するデータである教師データを格納している教師データ格納部と、前記教師データに対応する音声を出力する音声出力部と、前記音声出力部が音声の少なくとも一部を出力した後、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声と、前記教師データに基づいて、前記音声受付部が受け付けた音声の評定を行う評定部と、前記評定部の評定結果を出力する出力部を具備する発音評定装置である。なお、教師データは、比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータであることは好適である。
かかる発音評定装置は、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。したがって、語学等の学習効果が大幅に向上する。

また、本第二の発明の発音評定装置は、第一の発明の発音評定装置において、前記教師データは、音韻毎の隠れマルコフモデルに基づくデータであり、前記評定部は、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分手段と、前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得手段と、前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付部が受け付けた音声の評定を行う評定手段を具備する発音評定装置である。なお、隠れマルコフモデルは、適宜、ＨＭＭという。

かかる構成により、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。また、本発音評定装置は、第一の発明の発音評定装置と比較して、両音声の類似度の評定を精度高く、かつ高速にできる。

また、本第三の発明の発音評定装置は、第二の発明の発音評定装置において、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定手段は、前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した各フレームの最適状態における確率値を取得する最適状態確率値取得手段と、前記最適状態確率値取得手段が取得した確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する発音評定装置である。
かかる構成により、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度の評定を精度高く、かつ高速にできる。

また、本第四の発明の発音評定装置は、第二の発明の発音評定装置において、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定手段は、前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を取得する音韻確率値取得手段と、前記音韻確率値取得手段が取得した１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する発音評定装置である。

かかる構成により、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。また、かかる構成の発音評定装置により、第三の発明の発音評定装置と比較しても、評定値のパラメータで用いる確率値が、各フレームにおけるすべての音韻の中で最適な音韻の事後確率（確率値）を表しており、測定したい類似度（いわゆる音韻らしさ）を精度良く、安定して求めることができる。

また、本第五の発明の発音評定装置は、第二の発明の発音評定装置において、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定部は、前記１以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した最適状態の確率値を、発音区間毎に取得する発音区間確率値取得手段と、前記発音区間確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する発音評定装置である。

かかる構成により、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。また、かかる構成の発音評定装置により、上記の発明の発音評定装置と比較しても、発音区間単位での類似度を評定でき、かつ計算量の多大な増加を招くことがない。
また、本第六の発明の発音評定装置は、第二の発明の発音評定装置において、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定部は、前記１以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、前記発音区間フレーム音韻確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する発音評定装置である。

かかる構成により、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。また、かかる構成の発音評定装置により、上記の発明の発音評定装置と比較しても、発音区間単位での類似度を精度良く、安定して評定でき、かつ計算量の多大な増加を招くことがない。

本発明による発音評定装置によれば、語学や物真似などの練習者が、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができる。

以下、発音評定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）

本実施の形態において、追唱を行いながら、比較対象の音声と入力音声の類似度の評定を精度高く、かつ高速にできる発音評定装置について説明する。特に、本発音評定装置における評定のアルゴリズムは、入力音声のフレームに対する最適状態の事後確率を、動的計画法を用いて算出するアルゴリズムである。当該事後確率をＤＡＰ（Ｄｙｎａｍｉｃ Ａ Ｐｏｓｔｅｒｉｏｒｉ Ｐｒｏｂａｂｉｌｉｔｙ）と呼び、ＤＡＰに基づく類似度計算法および発音評定装置をＤＡＰＳと呼ぶ。

また、本実施の形態における発音評定装置は、例えば、語学学習や物真似練習などに利用できる。図１は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、音声出力部１０２、教師データ格納部１０３、音声受付部１０４、フレーム区分部１０５、フレーム音声データ取得部１０６、評定部１０７、出力部１０８を具備する。評定部１０７は、最適状態決定手段１０７１、最適状態確率値取得手段１０７２、評定値算出手段１０７３を具備する。

入力受付部１０１は、発音評定装置の動作開始を指示する動作開始指示や、入力した音声の評定結果の出力態様の変更を指示する出力態様変更指示や、処理を終了する終了指示などの入力を受け付ける。動作開始指示は、追唱の開始指示や評定の開始指示を含む。ここでの追唱の開始指示は、追唱し、かつ評定することの開始指示である。かかる指示等の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。入力受付部１０１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

音声出力部１０２は、教師データに対応する音声を出力する。ここでは、教師データは、比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータである。ただし、本明細書で述べる教師データは、練習対象の音声に関するデータであり、その構造は問わない。音声出力部１０２は、教師データとは別に、出力する音声データを格納していても良いし、音声出力の際に、教師データから音声データを構成し、当該構成した音声データを出力しても良い。「教師データに対応する音声」とは、模範の音声、という意義である。音声出力部１０２は、例えば、ＭＰＵやメモリ、およびスピーカー等から実現され得る。音声出力部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、音声出力部１０２は、例えば、出力する模範となる（比較対象の）音声データを格納している音声データ格納手段を具備する。音声データ格納手段は、ハードディスクやＲＯＭ等の不揮発性の記録媒体が好適であるが、ＲＡＭ等の揮発性の記録媒体でも実現可能である。なお、音声データのデータ構造は問わない。

教師データ格納部１０３は、教師データを１以上格納している。教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであることが好適である。また、教師データは、入力される音声を構成する音素に対応するＨＭＭを、入力順序に従って連結されているＨＭＭに基づくデータであることが好適である。ただし、教師データは、必ずしも、音韻毎のＨＭＭを連結したＨＭＭに基づくデータである必要はない。教師データは、全音素のＨＭＭの、単なる集合であっても良い。また、教師データは、必ずしもＨＭＭに基づくデータである必要はない。教師データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）や、統計モデルなど、他のモデルに基づくデータでも良い。ＨＭＭに基づくデータは、例えば、フレーム毎に、状態識別子と遷移確率の情報を有する。また、ＨＭＭに基づくデータは、例えば、複数の学習対象言語を母国語として話す外国人が発声した２以上のデータから学習した（推定した）モデルでも良い。教師データ格納部１０３は、ハードディスクやＲＯＭなどの不揮発性の記録媒体が好適であるが、ＲＡＭなどの揮発性の記録媒体でも実現可能である。

音声受付部１０４は、音声の入力を受け付ける。音声受付部１０４は、例えば、マイクとそのドライバーソフトで実現され得る。また、なお、音声受付部１０４は、マイクとそのドライバーから実現されると考えても良い。音声は、マイクから入力されても良いし、磁気テープやＣＤ−ＲＯＭなどの記録媒体から読み出すことにより入力されても良い。

フレーム区分部１０５は、音声受付部１０４が受け付けた音声を、フレームに区分する。フレーム区分部１０５は、通常、ＭＰＵやメモリ等から実現され得る。フレーム区分部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

フレーム音声データ取得部１０６は、フレーム区分部１０５が区分したフレーム毎の音声データであるフレーム音声データを１以上得る。フレーム音声データ取得部１０６は、通常、ＭＰＵやメモリ等から実現され得る。フレーム音声データ取得部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

評定部１０７は、教師データ格納部１０３の教師データと、フレーム音声データ取得部１０６が取得した１以上のフレーム音声データに基づいて、音声受付部１０４が受け付けた音声の評定を行う。評定方法の具体例は、後述する。評定部１０７は、通常、ＭＰＵやメモリ等から実現され得る。評定部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部１０８は、評定部１０７の評定結果を出力する。出力部１０８の出力態様は、種々考えられる。出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部１０８は、例えば、評定部１０７の評定結果を視覚的に表示する。出力部１０８は、例えば、フレーム単位、または／および音素・単語単位、または／および発声全体の評定結果を視覚的に表示する。出力部１０８は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１０８は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

最適状態決定手段１０７１は、１以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する。最適状態決定手段１０７１は、例えば、全音韻ＨＭＭから、比較される対象（学習対象）の単語や文章などの音声を構成する1以上の音素に対応するＨＭＭを取得し、当該取得した1以上のＨＭＭを、音素の順序で連結したデータ（比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータ）を構成する。そして、構成した当該データ、および取得した特徴ベクトル系列を構成する各特徴ベクトルｏ_ｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏ_ｔに対する最適状態）を決定する。なお、最適状態を毛低するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムである。また、教師データは、上述の比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータと考えても良いし、連結される前のデータであり、全音韻ＨＭＭのデータと考えても良い。
最適状態確率値取得手段１０７２は、最適状態決定手段１０７１が決定した最適状態における確率値を取得する。

評定値算出手段１０７３は、最適状態確率値取得手段１０７２が取得した確率値をパラメータとして音声の評定値を算出する。評定値算出手段１０７３は、上記確率値を如何に利用して、評定値を算出するかは問わない。評定値算出手段１０７３は、例えば、最適状態確率値取得手段１０７２が取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。評定値算出手段１０７３は、ここでは、通常、フレームごとに評定値を算出する。

最適状態決定手段１０７１、最適状態確率値取得手段１０７２、評定値算出手段１０７３は、通常、ＭＰＵやメモリ等から実現され得る。最適状態決定手段１０７１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、本発音評定装置の動作について図２のフローチャートを用いて説明する。

（ステップＳ２０１）入力受付部１０１は、発音評定装置の動作開始を指示する動作開始指示を受け付けたか否かを判断する。動作開始指示を受け付ければステップＳ２０２に行き、動作開始指示を受け付けなければステップＳ２１８に飛ぶ。なお、ここでの動作開始指示は、「追唱」の開始指示を含む。
（ステップＳ２０２）音声出力部１０２は、カウンタｉに１を代入する。

（ステップＳ２０３）音声出力部１０２は、追唱に使用するｉ番目の音声が存在するか否かを判断する。ここで、一度に音声出力する音声の長さは問わない。ｉ番目の音声が存在すればステップＳ２０４に行き、ｉ番目の音声が存在しなければ処理を終了する。
（ステップＳ２０４）音声出力部１０２は、ｉ番目の音声を出力する。

（ステップＳ２０５）音声受付部１０４は、音声の入力を受け付けたか否かを判断する。音声の入力を受け付ければステップＳ２０６に行き、音声の入力を受け付けなければステップＳ２１６に飛ぶ。なお、ここで受け付ける音声の入力は、ステップＳ２０４で音声出力した音声に対応するものとする。なお、学習者は、音声出力部１０２が出力した音声を、真似て発声する、とする。
（ステップＳ２０６）フレーム区分部１０５は、ステップＳ２０５で受け付けた音声のデータを図示しないバッファに一時格納する。

（ステップＳ２０７）フレーム区分部１０５は、バッファに一時格納した音声データをフレームに区分する。かかる段階で、区分されたフレーム毎の音声データであるフレーム音声データが構成されている。フレーム区分部１０５が行うフレーム分割の処理は、例えば、フレーム音声データ取得部１０６がフレーム音声データを取り出す際の前処理であり、入力された音声のデータを、すべてのフレームに一度に分割するとは限らない。
（ステップＳ２０８）フレーム音声データ取得部１０６は、カウンタｊに１を代入する。
（ステップＳ２０９）フレーム音声データ取得部１０６は、ｊ番目のフレームが存在するか否かを判断する。

（ステップＳ２１０）フレーム音声データ取得部１０６は、ｊ番目のフレーム音声データを取得する。フレーム音声データの取得とは、例えば、当該分割された音声データを音声分析し、特徴ベクトルデータを抽出することである。なお、フレーム音声データは、例えば、入力された音声データをフレーム分割されたデータである。また、フレーム音声データは、例えば、当該分割された音声データから音声分析され、抽出された特徴ベクトルデータを有する。本特徴ベクトルデータは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。
（ステップＳ２１１）フレーム音声データ取得部１０６はｊを１、インクリメントする。

（ステップＳ２１２）最適状態決定手段１０７１は、全フレームの最適状態を決定する。最適状態決定手段１０７１が最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムによる。Ｖｉｔｅｒｂｉアルゴリズムは、公知のアルゴリズムであるので、詳細な説明は省略する。

（ステップＳ２１３）最適状態確率値取得手段１０７２は、全フレームの全状態の前向き尤度、および後向き尤度を算出する。最適状態確率値取得手段１０７２は、例えば、全てのＨＭＭを用いて、フォワード・バックワードアルゴリズムにより、前向き尤度、および後向き尤度を算出する。

（ステップＳ２１４）最適状態確率値取得手段１０７２は、全最適状態における確率値を取得する。最適状態確率値取得手段１０７２は、例えば、各フレーム音声データが有する特徴ベクトルと、教師データを構成する全てのＨＭＭに基づいて、ステップＳ２１２で決定した各最適状態における確率値を取得する。ここで、最適状態確率値取得手段１０７２は、例えば、全てのＨＭＭを用いて、フォワード・バックワードアルゴリズムにより、確率値を算出する。詳細については、後述する。

（ステップＳ２１５）評定値算出手段１０７３は、ステップＳ２１４で取得した最適状態確率値をパラメータとして音声の評定値を算出する。評定値を算出する関数は問わない。評定値算出手段１０７３は、例えば、ステップＳ２１４で取得した最適状態確率値と、当該最適状態確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。詳細については、後述する。

（ステップＳ２１６）出力部１０８は、ステップＳ２１５における評定結果（ここでは、音声の評定値）を、設定されている出力モードに従って、出力する。出力モードとは、評定値を数値で画面に表示するモード、評定値の遷移をグラフで画面に表示するモード、評定値を音声で出力するモード、評定値が所定の数値より低い場合に警告を示す情報を表示するモードなど、何でも良い。なお、ここでの出力モードは、ステップＳ２２０で設定されるモードである。
（ステップＳ２１７）フレーム音声データ取得部１０６は、カウンタｉを１、インクリメントする。ステップＳ２０３に戻る。

（ステップＳ２１８）音声受付部１０４は、タイムアウトか否かを判断する。つまり、音声受付部１０４は、所定の時間以上、音声の入力を受け付けなかったか否かを判断する。タイムアウトであればステップＳ２０１に戻り、タイムアウトでなければステップＳ２１８に戻る。

（ステップＳ２１９）入力受付部１０１は、出力態様変更指示を受け付けたか否かを判断する。出力態様変更指示を受け付ければステップＳ２２０に行き、出力態様変更指示を受け付なければステップＳ２２１に飛ぶ。出力態様変更指示は、上述した出力モードを有する情報である。
（ステップＳ２２０）出力部１０８は、ステップＳ２１９で受け付けた出力態様変更指示が有する出力モードを示す情報を書き込み、出力モードを設定する。ステップＳ２０１に戻る。
（ステップＳ２２１）入力受付部１０１は、終了指示を受け付けたか否かを判断する。終了指示を受け付ければ処理を終了し、終了指示を受け付なければステップＳ２０１に戻る。

なお、図２のフローチャートにおいて、本発音評定装置は、出力モードの設定機能を有しなくても良い。また、図２のフローチャートにおいて、模範となる学習対象の音声出力と、学習者の音声の受け付け、評定をシーケンシャルに行ったが、複数のＭＰＵで並行して行っても良い、ことは言うまでもない。また、模範となる学習対象の音声出力を行う装置と、学習者の音声の受け付け、評定する装置が分離されていても良い。さらに、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了しても良い。かかることは、他の実施の形態におけるフローチャートにおいても同様である。
以下、本実施の形態における発音評定装置の具体的な動作について説明する。本具体例において、発音評定装置が語学学習に利用される場合について説明する。

まず、本発音評定装置において、図示しない手段により、ネイティブ発音の音声データベースからネイティブ発音の音韻ＨＭＭを学習しておく。ここで、音韻の種類数をＬとし、ｌ番目の音韻に対するＨＭＭをλ_ｌとする。なお、かかる学習の処理については、公知技術であるので、詳細な説明は省略する。なお、ＨＭＭの仕様について、図３に示す。なお、ＨＭＭの仕様は、他の実施の形態における具体例の説明においても同様である。ただし、ＨＭＭの仕様が、他の仕様でも良いことは言うまでもない。

そして、学習したＬ種類の音韻ＨＭＭから、学習対象の単語や文章などの音声を構成する１以上の音素に対応するＨＭＭを取得し、当該取得した１以上のＨＭＭを、音素の順序で連結した教師データを構成する。そして、当該教師データを教師データ格納部１０３に保持しておく。ここでは、比較される対象の音声は、例えば、単語「ｒｉｇｈｔ」の音声である。

また、本発音評定装置の画面イメージを図４に示す。図４において、「追唱」ボタンは、追唱および受け付けた音声の評定を行うためのボタンである。「録音」ボタンは、受け付けた音声を評定するボタンであり、追唱は行わないボタンである。「停止」ボタンは、追唱や、音声の受け付けや、評定を停止するためのボタンである。なお、図４において、評定値などの出力イメージも示す。ただし、出力態様については後述する。
次に、学習者が、語学学習の開始の指示である動作開始指示を入力する。かかる指示は、例えば、マウスで「追唱」のボタンを押下することによりなされる。

すると、音声出力部１０２は、例えば、格納している第一番目の単語「ｒｉｇｈｔ」の音声データを読み出し、音声出力する。この格納している「ｒｉｇｈｔ」の音声データは、ネイティブのアメリカ人の音声から構成されたデータである。

次に、学習者は、音声出力された「ｒｉｇｈｔ」を聞き、直ちに学習対象の音声「ｒｉｇｈｔ」を発音する。そして、音声受付部１０４は、学習者が発音した音声の入力を受け付ける。なお、学習者は、通常、模範となる「ｒｉｇｈｔ」を、ヘッドフォンを使用して聞く。模範となるネイティブのアメリカ人の音声「ｒｉｇｈｔ」が外部に出力された場合、学習者の発声する「ｒｉｇｈｔ」と混同され、発音評定装置が学習者の発音の旨さを評定する評定値を正確に算出できない可能性があるからである。なお、発音評定装置が、模範となるネイティブのアメリカ人の音声「ｒｉｇｈｔ」と、学習者の音声「ｒｉｇｈｔ」を分離する機能を有すれば、模範となるネイティブのアメリカ人の音声「ｒｉｇｈｔ」を、学習者がヘッドフォンを使用して聞く必要はないことは言うまでもない。
次に、フレーム区分部１０５は、音声受付部１０４が受け付けた音声を、短時間フレームに区分する。なお、フレームの間隔は、予め決められている、とする。

そして、フレーム音声データ取得部１０６は、フレーム区分部１０５が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ_１，ｏ_２，・・・，ｏ_Ｔ」を算出する。なお、Ｔは、系列長である。ここで、特徴ベクトル系列は、各フレームの特徴ベクトルの集合である。また、特徴ベクトルは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。また、スペクトル分析において、ケプストラム平均除去を施すことは好適である。なお、音声分析条件を図５の表に示す。なお、音声分析条件は、他の実施の形態における具体例の説明においても同様である。ただし、音声分析条件が、他の条件でも良いことは言うまでもない。

次に、最適状態決定手段１０７１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏ_ｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏ_ｔに対する最適状態）を決定する。最適状態決定手段１０７１が最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムによる。かかる場合、最適状態決定手段１０７１は、上記で連結したＨＭＭを用いて最適状態を決定する。最適状態決定手段１０７１は、２以上のフレームの最適状態である最適状態系列を求めることとなる。

次に、最適状態確率値取得手段１０７２は、以下の数式１により、最適状態における最適状態確率値（γ_ｔ（ｑ_ｔ ^＊））を算出する。なお、γ_ｔ（ｑ_ｔ ^＊）は、状態ｊの事後確率関数γ_ｔ（ｊ）のｊにｑ_ｔ ^＊を代入した値である。そして、状態ｊの事後確率関数γ_ｔ（ｊ）は、数式２を用いて算出される。この確率値（γ_ｔ（ｊ））は、ｔ番目の特徴ベクトルｏ_ｔが状態ｊから生成された事後確率であり、動的計画法を用いて算出される。なお、ｊは、状態を識別する状態識別子である。

数式１において、ｑ_ｔは、ｏ_ｔに対する状態識別子を表す。この確率値（γ_ｔ（ｊ））は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で表れる占有度数に対応する。

数式２は、数式１を変形したものである。

数式２において、「αｔ（ｊ）」「βｔ（ｊ）」は、全部のＨＭＭを用いて、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムにより算出される。「αｔ（ｊ）」は前向き尤度、「βｔ（ｊ）」は後向き尤度である。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムは、公知のアルゴリズムであるので、詳細な説明は省略する。
また、数式２において、Ｎは、全ＨＭＭに渡る状態の総数を示す。

なお、評定部１０７は、まず最適状態を求め、次に、最適状態の確率値（なお、確率値は、０以上、１以下である。）を求めても良いし、評定部１０７は、まず、全状態の確率値を求め、その後、特徴ベクトル系列の各特徴ベクトルに対する最適状態を求め、当該最適状態に対応する確率値を求めても良い。

次に、評定値算出手段１０７３は、例えば、上記の取得した最適状態確率値と、当該最適状態確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。かかる場合、もし学習者のｔフレーム目に対応する発声が、教師データが示す発音（例えば、正しいネイティブな発音）に近ければ、数式２の（２）式の分子の値が、他の全ての可能な音韻の全ての状態と比較して大きくなり、結果的に最適状態の確率値（評定値）が大きくなる。逆にその区間が、教師データが示す発音に近くなければ、評定値は小さくなる。なお、どのネイティブ発音にも近くないような場合は、評定値はほぼ１／Ｎに等しくなる。Ｎは全ての音韻ＨＭＭにおける全ての状態の数であるから、通常、大きな値となり、この評定値は十分小さくなる。また、ここでは、評定値は最適状態における確率値と全ての可能な状態における確率値との比率で定義されている。したがって、話者性や収音環境の違いにより多少のスペクトルの変動があったとしても、学習者が正しい発音をしていれば、その変動が相殺され評定値が高いスコアを維持する。よって、評定値算出手段１０７３は、最適状態確率値取得手段１０７２が取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出することは、極めて好適である。

かかる評定値算出手段１０７３が算出した評定値（「ＤＡＰスコア」とも言う。）を、図６、図７に示す。図６、図７において、横軸は分析フレーム番号、縦軸はスコアを％で表わしたものである。太い破線は音素境界，細い点線は状態境界（いずれもＶｉｔｅｒｂｉアルゴリズムで求まったもの）を表わしており，図の上部に音素名を表記している。図６は、アメリカ人男性による英語「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。なお、評定値を示すグラフの横軸、縦軸は、後述するグラフにおいても同様である。

図７は、日本人男性による英語「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。アメリカ人の発音は、日本人の発音と比較して、基本的にスコアが高い。また、図６において、状態の境界において所々スコアが落ち込んでいることがわかる。

そして、出力部１０８は、評定部１０７の評定結果を出力する。具体的には、例えば、出力部１０８は、図４に示すような態様で、評定結果を出力する。つまり、出力部１０８は、各フレームにおける発音の良さを表すスコア（スコアグラフ）として、各フレームの評定値を表示する。その他、出力部１０８は、学習対象の単語の表示（単語表示）、音素要素の表示（音素表示）、教師データの波形の表示（教師波形）、学習者の入力した発音の波形の表示（ユーザ波形）を表示しても良い。なお、図４において、「追唱」ボタンや「録音」ボタンを押下すれば、動作開始指示が入力されることとなり、「停止」ボタンを押下すれば、終了指示が入力されることとなる。なお、本発音評定装置は、学習対象の単語（図４の「ｗｏｒｄ１」など）や、音素（図４の「ｐ１」など）や、教師波形を出力されるためのデータを予め格納している、とする。

また、図４において、フレーム単位以外に、音素単位、単語単位、発声全体の評定結果を表示しても良い。上記の処理において、フレーム単位の評定値を算出するので、単語単位、発声全体の評定結果を得るためには、フレーム単位の１以上の評定値をパラメータとして、単語単位、発声全体の評定値を算出する必要がある。かかる算出式は問わないが、例えば、単語を構成するフレーム単位の１以上の評定値の平均値を単語単位の評定値とする、ことが考えられる。

なお、図４において、発音評定装置は、波形表示（教師波形またはユーザ波形）の箇所においてクリックを受け付けると、再生メニューを表示し、音素区間内ではその音素またはその区間が属する単語、波形全体を再生し、単語区間外（無音部）では波形全体のみを再生するようにしても良い。
また、出力部１０８の表示は、図８に示すような態様でも良い。図８において、音素ごとのスコア、単語のスコア、総合スコアが、数字で表示されている。
なお、出力部１０８の表示は、図６、図７のような表示でも良いことは言うまでもない。

そして、発音評定装置は、学習対象の模範となる音声の出力が完了するまで、上記の処理を繰り返す。つまり、発音評定装置による音声出力、学習者による追従した発声（出力された音声を真似た発声）、発音評定装置による音声の受け付け、評定を繰り返す。

以上、本実施の形態によれば、追唱を行いながら、ユーザが入力した発音を、教師データに対して、如何に似ているかを示す類似度（評定値）を算出し、出力できる。したがって、特に、語学の学習効果が極めて大きくなる。

また、本実施の形態によれば、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、上記の具体例で述べたように、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。

また、本実施の形態によれば、発音評定装置は、語学学習に利用することを主として説明したが、物真似練習などに利用できる。つまり、本発音評定装置は、追唱を行いながら、比較される対象の音声に関するデータとの類似度を精度良く、高速に評定し、出力でき、そのアプリケーションは問わない。

また、本実施の形態において、音声の入力を受け付けた後または停止ボタン操作後に、スコアリング処理を実行するかどうかをユーザに問い合わせ、スコアリング処理を行うとの指示を受け付けた場合のみ、図８に示すような音素スコア、単語スコア、総合スコアを出力するようにしても良い。

また、本実施の形態において、教師データは、比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータであったが、必ずしもＨＭＭに基づくデータである必要はない。教師データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）など、他のモデルに基づくデータでも良い。かかることは、他の実施の形態においても同様である。

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、教師データに対応する音声を出力する音声出力ステップと、前記音声出力ステップで音声の少なくとも一部を出力した後、ユーザの音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声と、前記教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータであり、前記評定ステップは、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分サブステップと、前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得サブステップと、前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定サブステップを具備するプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定サブステップは、前記1以上のフレーム音声データのうちの少なくとも一の最適状態を決定する最適状態決定サブステップと、前記最適状態決定サブステップで決定した最適状態における確率値を取得する最適状態確率値取得サブステップと、前記最適状態確率値取得サブステップで取得した確率値をパラメータとして音声の評定値を算出する評定値算出サブステップを具備するプログラム、である。

なお、上記プログラムにおいて、評定値算出サブステップにおいて、前記最適状態確率値取得サブステップで取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出することは好適である。
（実施の形態２）

本実施の形態における発音評定装置は、実施の形態１の発音評定装置と比較して、評定部における評定アルゴリズムが異なる。本実施の形態において、評定値は、各フレームにおける、すべての音韻の中で最適な音韻の事後確率（確率値）を表すように算出される。本実施の形態における発音評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｐ−ＤＡＰと呼ぶ。

図９は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、音声出力部１０２、教師データ格納部１０３、音声受付部１０４、フレーム区分部１０５、フレーム音声データ取得部１０６、評定部９０７、出力部１０８を具備する。評定部９０７は、最適状態決定手段１０７１、音韻確率値取得手段９０７２、評定値算出手段９０７３を具備する。
音韻確率値取得手段９０７２は、最適状態決定手段１０７１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得する。ここで１以上の確率値とは、１つ以上の確率値の意味である。

評定値算出手段９０７３は、音韻確率値取得手段９０７２が取得した１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段９０７３は、例えば、音韻確率値取得手段９０７２が取得した１以上の確率値の総和をパラメータとして音声の評定値を算出する。

音韻確率値取得手段９０７２、および評定値算出手段９０７３は、通常、ＭＰＵやメモリ等から実現され得る。音韻確率値取得手段９０７２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、本発音評定装置の動作について図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図２と異なるステップについてのみ説明する。

（ステップＳ１００１）音韻確率値取得手段９０７２は、全フレームの全状態の前向き尤度と後向き尤度を算出する。そして、全フレーム、全状態の確率値を得る。具体的には、音韻確率値取得手段９０７２は、例えば、各特徴ベクトルが対象の状態から生成された事後確率を算出する。この事後確率は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で現れる占有度数に対応する。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムは、公知のアルゴリズムであるので、説明は省略する。
（ステップＳ１００２）音韻確率値取得手段９０６２は、全フレームの最適状態確率値を算出する。
（ステップＳ１００３）音韻確率値取得手段９０７２は、カウンタｊに１を代入する。

（ステップＳ１００４）音韻確率値取得手段９０７２は、ｊ番目の最適状態が存在するか否かを判断する。ｊ番目の最適状態が存在すればステップＳ１００５に行き、ｊ番目の最適状態が存在しなければステップＳ１００９に飛ぶ。
（ステップＳ１００５）音韻確率値取得手段９０７２は、ｊ番目の最適状態を含む音韻全体の確率値をすべて取得する。

（ステップＳ１００６）評定値算出手段９０７３は、ステップＳ１００５で取得した１以上の確率値に基づいて、音声の評定値を算出する。評定値算出手段９０７３は、例えば、音韻確率値取得手段９０７２が取得した１以上の確率値の総和をパラメータとして音声の評定値を算出する。
（ステップＳ１００７）出力部１０８は、ステップＳ１００６で算出した評定値を出力する。
（ステップＳ１００８）音韻確率値取得手段９０７２は、カウンタｊを１、インクリメントする。ステップＳ１００４に戻る。
（ステップＳ１００９）音韻確率値取得手段９０７２は、カウンタｉを１、インクリメントする。ステップＳ２０２に戻る。
以下、本実施の形態における発音評定装置の具体的な動作について説明する。本実施の形態において、評定値の算出アルゴリズムが実施の形態１とは異なるので、その動作を中心に説明する。
まず、学習者が、語学学習の開始の指示である動作開始指示を入力（「追唱」のボタンを押下）する。

すると、音声出力部１０２は、例えば、格納している第一番目の単語「ｒｉｇｈｔ」の音声データを読み出し、音声出力する。この格納している「ｒｉｇｈｔ」の音声データは、ネイティブのアメリカ人の音声から構成されたデータである。

学習者は、「ｒｉｇｈｔ」のネイティブのアメリカ人の発音を聞く。そして、その後、直ちに、学習者は、学習対象の音声「ｒｉｇｈｔ」を発音する。なお、学習者は、「ｒｉｇｈｔ」のネイティブのアメリカ人の発音を聞きながら、それを真似て学習対象の音声「ｒｉｇｈｔ」を発音しても良い。そして、音声受付部１０４は、学習者が発音した音声の入力を受け付ける。次に、フレーム区分部１０５は、音声受付部１０４が受け付けた音声を、短時間フレームに区分する。
そして、フレーム音声データ取得部１０６は、フレーム区分部１０５が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ_１，ｏ_２，・・・，ｏ_Ｔ」を算出する。
次に、音韻確率値取得手段９０７２は、各フレームの各状態の事後確率（確率値）を算出する。確率値の算出は、上述した数式１、数式２により算出できる。

次に、最適状態決定手段１０７１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏ_ｔに基づいて、各フレームの最適状態（特徴ベクトルｏ_ｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１は、最適状態系列を得る。

次に、音韻確率値取得手段９０７２は、フレーム毎に、当該フレームに対応する最適状態を含む音韻全体の確率値をすべて取得する。そして、評定値算出手段９０７３は、上記取得した１以上の確率値に基づいて、音声の評定値を算出する。具体的には、評定値算出手段９０７３は、数式３により評定値を算出する。

なお、数式３において、Ｐ（ｉ）は、ｉ番目の状態を有しているＨＭＭの持つ全状態の集合を示す。

かかる評定値算出手段９０７３が算出した評定値（「ｐ−ＤＡＰスコア」とも言う。）を、図１１、図１２に示す。図１１は、アメリカ人男性による英語「ｒｉｇｈｔ」の発音のｐ−ＤＡＰスコアを示す。図１２は、日本人男性による英語「ｒｉｇｈｔ」の発音のｐ−ＤＡＰスコアを示す。アメリカ人の発音は、日本人の発音と比較して、基本的にスコアが高い。また、図１１において、音素境界でスコアの落ち込みがあるものの、ｐ−ＤＡＰは本来発音の良好なアメリカ人発音に対して，高いスコアをＤＡＰより安定して出力していることがわかる。かかる判断は、図５のグラフと図１１のグラフを比較して判断できる。また、図１１において、音素／ｒ／のスコアが低いが，この発音を聴いてみたところ／ｒ／の発声が若干不明瞭であった。

そして、出力部１０８は、算出したフレームごとの評定値を、順次出力する。かかる出力例は、図４または図８である。なお、出力部１０８は、図１１、図１２のようなグラフを出力しても良いことは言うまでもない。

そして、以上の処理を、発音評定装置は、学習対象の模範となる音声の出力が完了するまで繰り返す。つまり、発音評定装置による音声出力、学習者による追従した発声（出力された音声を真似た発声）、発音評定装置による音声の受け付け、評定を繰り返す。

以上、本実施の形態によれば、追唱を行いながら、ユーザが入力した発音を、教師データに対して、如何に似ているかを示す類似度（評定値）を算出し、出力できる。したがって、特に、語学の学習効果が極めて大きくなる。

また、本実施の形態によれば、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、上記の具体例で述べたように、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。

また、本実施の形態によれば、評定値を、各フレームにおいて、すべての音韻の中で最適な音韻の事後確率（確率値）を表しており、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度を精度良く、安定して求めることができる。つまり、実施の形態１において、ＤＡＰは、全ての可能な状態に対する最適状態の事後確率を計算する。そして、総状態数Ｎは、通常、非常に大きくなり、入力音声によっては、評定値（ＤＡＰのスコア）が大きく低下する。つまり、例えば、あるフレームが存在する音韻内の２つの状態の過渡部にそのフレームが対応してしまえば、評定値が小さくなる。一方、音素に対する類似性を求める本実施の形態によれば、教師データの音韻との類似度（状態との類似度ではない）を測ることができ、好適である。

さらに、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、教師データに対応する音声を出力する音声出力ステップと、前記音声出力ステップで音声の少なくとも一部を出力した後、ユーザの音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声と、前記教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータであり、前記評定ステップは、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分サブステップと、前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得サブステップと、前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定サブステップを具備するプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定サブステップは、前記入力音声データの各フレームの最適状態を決定する最適状態決定サブステップと、前記最適状態決定サブステップで決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を取得する音韻確率値取得サブステップと、前記音韻確率値取得サブステップで取得した１以上の確率値をパラメータとして音声の評定値を算出する評定値算出サブステップを具備するプログラム、である。さらに、上記プログラムにおける評定値算出サブステップにおいて、前記音韻確率値取得サブステップで取得した１以上の確率値の総和をパラメータとして音声の評定値を算出することは好適である。これは、音韻確率値取得サブステップで取得した１以上の確率値の総和を音声の評定値とすることも含む。
（実施の形態３）

本実施の形態における発音評定装置は、実施の形態１、２の発音評定装置と比較して、評定部における評定アルゴリズムが異なる。本実施の形態において、評定値は、発音区間ごとに算出される。本実施の形態における発音評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｔ−ＤＡＰと呼ぶ。

図１３は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、音声出力部１０２、教師データ格納部１０３、音声受付部１０４、フレーム区分部１０５、フレーム音声データ取得部１０６、評定部１３０７、出力部１０８を具備する。評定部１３０７は、最適状態決定手段１０７１、発音区間確率値取得手段１３０７２、評定値算出手段１３０７３を具備する。
発音区間確率値取得手段１３０７２は、最適状態決定手段１０７１が決定した最適状態の確率値を、発音区間毎に取得する。ここで、発音区間とは、音韻、音節、単語など、発音の一まとまりを構成する区間である。

評定値算出手段１３０７３は、発音区間確率値取得手段１３０７２が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段１３０７３は、例えば、発音区間確率値取得手段１３０７２が取得した各発音区間の１以上の確率値の時間平均値を、発音区間毎に算出し、１以上の時間平均値を得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。

発音区間確率値取得手段１３０７２、および評定値算出手段１３０７３は、通常、ＭＰＵやメモリ等から実現され得る。発音区間確率値取得手段１３０７２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、本発音評定装置の動作について図１４のフローチャートを用いて説明する。図１４のフローチャートにおいて、図１０と異なるステップについてのみ説明する。
（ステップＳ１４０１）発音区間確率値取得手段１３０７２は、ｋに１を代入する。

（ステップＳ１４０２）発音区間確率値取得手段１３０７２は、次の評定対象の発音区間である、ｋ番目の発音区間が存在するか否かを判断する。ｋ番目の発音区間が存在すればステップＳ１４０３に行き、ｋ番目の発音区間が存在しなければステップＳ１００９に行く。
（ステップＳ１４０３）発音区間確率値取得手段１３０７２は、ｋ番目の発音区間に対応する１以上の最適状態の確率値をすべて取得する。

（ステップＳ１４０４）評定値算出手段１３０７３は、ステップＳ１４０３で取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。例えば、ステップＳ１４０３で取得した１以上の確率値の平均値（時間平均値）を算出する。
（ステップＳ１４０５）出力部１０８は、ステップＳ１４０４で算出した確率値の平均値（評定値）を出力する。
（ステップＳ１４０６）発音区間確率値取得手段１３０７２は、カウンタｋを１、インクリメントする。ステップＳ１４０２に戻る。
以下、本実施の形態における発音評定装置の具体的な動作について説明する。本実施の形態において、評定値の算出アルゴリズムが実施の形態２とは異なるので、その動作を中心に説明する。
まず、学習者が、語学学習の開始の指示である動作開始指示を入力（「追唱」のボタンを押下）する。

すると、音声出力部１０２は、例えば、格納している第一番目の単語「ｒｉｇｈｔ」の音声データを読み出し、音声出力する。この格納している「ｒｉｇｈｔ」の音声データは、ネイティブのアメリカ人の音声から構成されたデータである。

次に、学習者は、音声出力された「ｒｉｇｈｔ」を聞き、直ちに、または聞きながら学習対象の音声「ｒｉｇｈｔ」を発音する。そして、音声受付部１０４は、学習者が発音した音声の入力を受け付ける。次に、フレーム区分部１０５は、音声受付部１０４が受け付けた音声を、短時間フレームに区分する。
そして、フレーム音声データ取得部１０６は、フレーム区分部１０５が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ_１，ｏ_２，・・・，ｏ_Ｔ」を算出する。

次に、最適状態決定手段１０７１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏ_ｔに基づいて、各フレームの最適状態（特徴ベクトルｏ_ｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１は、最適状態系列を得る。
次に、発音区間確率値取得手段１３０７２は、各フレームの各状態の事後確率（確率値）を算出する。なお、確率値の算出は、上述した数式１、数式２により算出できる。

そして、発音区間確率値取得手段１３０７２は、発音区間に対応する１以上の最適状態の確率値をすべて取得する。そして、評定値算出手段１３０７３は、取得した１以上の確率値の平均値（時間平均値）を算出する。具体的には、評定値算出手段１３０７３は、数式４により評定値を算出する。

かかる評定値算出手段１３０７３が算出した評定値（「ｔ−ＤＡＰスコア」とも言う。）を、図１５の表に示す。図１５において、アメリカ人男性と日本人男性の評定結果を示す。ＰｈｏｎｅｍｅおよびＷｏｒｄは，ｔ−ＤＡＰにおける時間平均の範囲を示す。図１５において、アメリカ人男性の発音の評定値が日本人男性の発音の評定値より高く、良好な評定結果が得られている。
そして、出力部１０８は、算出した発音区間ごと（例えば、音素毎）の評定値を、順次出力する。かかる出力例は、図１６である。

そして、以上の処理を、発音評定装置は、学習対象の模範となる音声の出力が完了するまで繰り返す。つまり、発音評定装置による連続した音声出力、学習者による追従した発声（出力された音声を真似た発声）、発音評定装置による音声の受け付け、評定を繰り返す。

以上、本実施の形態によれば、追唱を行いながら、ユーザが入力した発音を、教師データに対して、如何に似ているかを示す類似度（評定値）を算出し、出力できる。したがって、特に、語学の学習効果が極めて大きくなる。

また、本実施の形態によれば、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、上記の具体例で述べたように、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
また、本実施の形態によれば、評定値を、発音区間の単位で算出でき、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度を精度良く、安定して求めることができる。

さらに、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、教師データに対応する音声を出力する音声出力ステップと、前記音声出力ステップで音声の少なくとも一部を出力した後、ユーザの音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声と、前記教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータであり、前記評定ステップは、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分サブステップと、前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得サブステップと、前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定サブステップを具備するプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定サブステップは、前記入力音声データの各フレームの最適状態を決定する最適状態決定サブステップと、前記最適状態決定サブステップで決定した各フレームの最適状態の確率値を、発音区間毎に取得する発音区間確率値取得サブステップと、前記発音区間確率値取得サブステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出サブステップを具備するプログラム、である。

さらに、評定値算出サブステップは、前記発音区間確率値取得サブステップで取得した各発音区間の１以上の確率値の時間平均値を、発音区間毎に算出し、１以上の時間平均値を得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出することが好適である。
（実施の形態４）

本実施の形態における発音評定装置は、実施の形態１、２、３の発音評定装置と比較して、評定部における評定アルゴリズムが異なる。本実施の形態において、評定値は、最適状態を含む音韻の中の全状態の確率値を発音区間で評価して、算出される。本実施の形態における発音評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｔ-ｐ−ＤＡＰと呼ぶ。

図１７は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、教師データ格納部１０３、音声受付部１０４、フレーム区分部１０５、フレーム音声データ取得部１０６、評定部１７０７、出力部１０８を具備する。評定部１７０７は、最適状態決定手段１０７１、発音区間フレーム音韻確率値取得手段１７０７２、評定値算出手段１７０７３を具備する。
発音区間フレーム音韻確率値取得手段１７０７２は、最適状態決定手段１０７１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する。

評定値算出手段１７０７３は、発音区間フレーム音韻確率値取得手段１７０７２が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段１７０７３は、例えば、最適状態決定手段１０７１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。

発音区間フレーム音韻確率値取得手段１７０７２、および評定値算出手段１７０７３は、通常、ＭＰＵやメモリ等から実現され得る。発音区間フレーム音韻確率値取得手段１７０７２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、本発音評定装置の動作について図１８のフローチャートを用いて説明する。図１８のフローチャートにおいて、図１４と異なるステップについてのみ説明する。
（ステップＳ１８０１）発音区間フレーム音韻確率値取得手段１７０７２は、カウンタｌに１を代入する。

（ステップＳ１８０２）発音区間フレーム音韻確率値取得手段１７０７２は、ｌ番目のフレームが、ｋ番目の発音区間に存在するか否かを判断する。ｌ番目のフレームが存在すればステップＳ１８０３に行き、ｌ番目のフレームが存在しなければステップＳ１８０１１０６に飛ぶ。
（ステップＳ１８０３）発音区間フレーム音韻確率値取得手段１７０７２は、ｌ番目のフレームの最適状態を含む音韻の全ての確率値を取得する。
（ステップＳ１８０４）評定値算出手段１７０７３は、ステップＳ１８０３で取得した１以上の確率値をパラメータとして、１フレームの音声の評定値を算出する。
（ステップＳ１８０５）発音区間フレーム音韻確率値取得手段１７０７２は、ｌを１、インクメントする。ステップＳ１８０２に戻る。

（ステップＳ１８０６）評定値算出手段１７０７３は、ｋ番目の発音区間の評定値を算出する。評定値算出手段１７０７３は、例えば、最適状態決定手段１０７１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間の確率値の総和の時間平均値を、当該発音区間の音声の評定値として算出する。
（ステップＳ１８０７）出力部１０８は、ステップＳ１８０６で算出した評定値を出力する。
（ステップＳ１８０８）発音区間フレーム音韻確率値取得手段１７０７２は、ｋを１、インクメントする。ステップＳ１４０２に戻る。
以下、本実施の形態における発音評定装置の具体的な動作について説明する。本実施の形態において、評定値の算出アルゴリズムが実施の形態３とは異なるので、その動作を中心に説明する。
まず、学習者が、語学学習の開始の指示である動作開始指示を入力（「追唱」のボタンを押下）する。

すると、音声出力部１０２は、例えば、格納している第一番目の単語「ｒｉｇｈｔ」の音声データを読み出し、音声出力する。この格納している「ｒｉｇｈｔ」の音声データは、ネイティブのアメリカ人の音声から構成されたデータである。

次に、学習者は、音声出力された「ｒｉｇｈｔ」を聞き、直ちに、または聞きながら学習対象の音声「ｒｉｇｈｔ」を発音する。そして、音声受付部１０４は、学習者が発音した音声の入力を受け付ける。次に、フレーム区分部１０５は、音声受付部１０４が受け付けた音声を、短時間フレームに区分する。
そして、フレーム音声データ取得部１０６は、フレーム区分部１０５が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ_１，ｏ_２，・・・，ｏ_Ｔ」を算出する。
次に、発音区間フレーム音韻確率値取得手段１７０７２は、各フレームの各状態の事後確率（確率値）を算出する。確率値の算出は、上述した数式１、数式２により算出できる。

次に、最適状態決定手段１０７１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏ_ｔに基づいて、各フレームの最適状態（特徴ベクトルｏ_ｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１は、最適状態系列を得る。なお、各フレームの各状態の事後確率（確率値）を算出と、最適状態の決定の順序は問わない。

次に、発音区間フレーム音韻確率値取得手段１７０７２は、発音区間ごとに、当該発音区間に含まれる各フレームの最適状態を含む音韻の全ての確率値を取得する。そして、評定値算出手段１７０７３は、各フレームの最適状態を含む音韻の全ての確率値の総和を、フレーム毎に算出する。そして、評定値算出手段１７０７３は、フレーム毎に算出された確率値の総和を、発音区間毎に時間平均し、発音区間毎の評定値を算出する。具体的には、評定値算出手段１７０７３は、数式５により評定値を算出する。

かかる評定値算出手段１７０７３が算出した評定値（「ｔ−ｐ−ＤＡＰスコア」とも言う。）を、図１９の表に示す。図１９において、アメリカ人男性と日本人男性の評定結果を示す。ＰｈｏｎｅｍｅおよびＷｏｒｄは，ｔ−ｐ−ＤＡＰにおける時間平均の範囲を示す。ここでは、ＤＡＰの代わりにｐ−ＤＡＰの時間平均を採用したものである。図１９において、アメリカ人男性の発音の評定値が日本人男性の発音の評定値より高く、良好な評定結果が得られている。
そして、出力部１０８は、算出した発音区間ごと（ここでは、音素毎）の評定値を、順次出力する。かかる出力例は、図１６である。

そして、以上の処理を、発音評定装置は、学習対象の模範となる音声の出力が完了するまで繰り返す。つまり、発音評定装置による音声出力、学習者による追従した発声（出力された音声を真似た発声）、発音評定装置による音声の受け付け、評定を繰り返す。

以上、本実施の形態によれば、追唱を行いながら、ユーザが入力した発音を、教師データに対して、如何に似ているかを示す類似度（評定値）を算出し、出力できる。したがって、特に、語学の学習効果が極めて大きくなる。

また、本実施の形態によれば、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、上記の具体例で述べたように、リアルタイムに、発音区間ごとの評定値を出力できる。また、本実施の形態によれば、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。

また、本実施の形態によれば、評定値を、発音区間の単位で算出でき、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度（発音区間の類似度）を精度良く、安定して求めることができる。

さらに、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、教師データに対応する音声を出力する音声出力ステップと、前記音声出力ステップで音声の少なくとも一部を出力した後、ユーザの音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声と、前記教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータであり、前記評定ステップは、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分サブステップと、前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得サブステップと、前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定サブステップを具備するプログラム、である。

また、上記プログラムにおいて、前記教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータであり、前記評定ステップは、前記1以上のフレーム音声データの最適状態を決定する最適状態決定サブステップと、前記最適状態決定サブステップで決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得サブステップと、前記発音区間フレーム音韻確率値取得サブステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出サブステップを具備するプログラム、である。

以上の４つの実施の形態で算出した評定値は、図２０において、それぞれ（１）〜（４）の類似度である。つまり、図２０において、縦軸は、音韻毎の隠れマルコフモデル（ＨＭＭ）を、比較対象の音素の順に連結したＨＭＭである。図２０の横軸は、入力音声の特徴ベクトル系列を示す。また、図２０の実線は、最適状態系列である。そして、黒丸の（１）はＤＡＰ、斜線部の（２）はｐ−ＤＡＰ、網掛け部の（３）はｔ−ＤＡＰを示す。ｔｐ−ＤＡＰは、発音区間において、最適状態を含む全音韻の状態の確率値に基づいて算出される。

また、図２１は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の発音評定装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２１は、このコンピュータシステム２１０の概観図であり、図２２は、コンピュータシステム２１０のブロック図である。

図２１において、コンピュータシステム２１０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ２１１と、キーボード２１２と、マウス２１３と、モニタ２１４と、マイク２１５と、スピーカー２１６を含む。

図１７において、コンピュータ２1１は、ＦＤドライブ２１１１、ＣＤ−ＲＯＭドライブ２１１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１３と、ＣＰＵ２１１３、ＣＤ−ＲＯＭドライブ２１１２及びＦＤドライブ２１１１に接続されたバス２１１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１１５と、ＣＰＵ２１１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク２１１７とを含む。ここでは、図示しないが、コンピュータ２１１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム２１０に、上述した実施の形態の発音評定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２０１、またはＦＤ２２０２に記憶されて、ＣＤ−ＲＯＭドライブ２１１２またはＦＤドライブ２１１１に挿入され、さらにハードディスク２１１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ２１１に送信され、ハードディスク２１１７に記憶されても良い。プログラムは実行の際にＲＡＭ２１１６にロードされる。プログラムは、ＣＤ−ＲＯＭ２２０１、ＦＤ２２０２またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ２１１に、上述した実施の形態の発音評定装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２１０がどのように動作するかは周知であり、詳細な説明は省略する。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。具体的には、追唱を行う装置と、発音評定を行う装置が物理的に異なる装置であっても良い。つまり、上記各実施の形態において、教師データに対応する音声を出力する音声出力ステップと、前記音声出力ステップにおいて音声の少なくとも一部を出力した後、音声の入力を受け付ける音声受付ステップと、前記音声受付ステップで受け付けた音声と、前記教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを具備する発音評定方法を実現すれば良い。
なお、上記プログラムにおいて、ハードウェアによって行われる処理、例えば、出力ステップにおけるディスプレイなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる発音評定装置は、語学や物真似などの練習者が、いわゆる追唱を行いながら、練習対象の模範の音声と、練習者が発声する音声との類似度を把握することができるという効果を有し、語学学習装置や物真似練習装置等として有用である。

実施の形態１における発音評定装置のブロック図 同発音評定装置の動作について説明するフローチャート 同ＨＭＭの仕様を説明する図 同発音評定装置の画面イメージを示す図 同音声分析条件を説明する図 同評定値算出手段が算出した評定値を示すグラフを示す図 同評定値算出手段が算出した評定値を示すグラフを示す図 同出力部が出力する出力態様を示す図 実施の形態２における発音評定装置のブロック図 同発音評定装置の動作について説明するフローチャート 同評定値算出手段が算出した評定値を示すグラフを示す図 同評定値算出手段が算出した評定値を示すグラフを示す図 実施の形態３における発音評定装置のブロック図 同発音評定装置の動作について説明するフローチャート 同評定値算出手段が算出した評定値を示す図 同出力部が出力する出力態様を示す図 実施の形態４における発音評定装置のブロック図 同発音評定装置の動作について説明するフローチャート 同評定値算出手段が算出した評定値を示す図 ４つの実施の形態で算出した評定値について説明する図 同発音評定装置を構成するコンピュータシステムの概観図 同発音評定装置を構成するコンピュータのブロック図

符号の説明

１０１ 入力受付部
１０２ 音声出力部
１０３ 教師データ格納部
１０４ 音声受付部
１０５ フレーム区分部
１０６ フレーム音声データ取得部
１０７、９０７、１３０７、１７０７ 評定部
１０８ 出力部
１０７１ 最適状態決定手段
１０７２ 最適状態確率値取得手段
１０６３、９０７３、１３０７３、１７０７３ 評定値算出手段
９０７２ 音韻確率値取得手段
１３０７２ 発音区間確率値取得手段
１７０７２ 発音区間フレーム音韻確率値取得手段

Claims (10)

1. 比較対象の音声に関するデータである教師データを格納している教師データ格納部と、
   前記教師データに対応する音声を出力する音声出力部と、
   前記音声出力部が音声の少なくとも一部を出力した後、音声の入力を受け付ける音声受付部と、
   前記教師データに基づいて、前記音声受付部が受け付けた音声を評定する評定部と、
   前記評定部の評定結果を出力する出力部を具備する発音評定装置。
2. 前記教師データは、
   比較される対象の音声に関するデータであり、1以上の音韻毎のデータであり、
   前記評定部は、
   前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分手段と、
   前記区分されたフレーム毎の入力音声データを得るフレーム入力音声データ取得手段と、
   前記教師データと前記フレーム毎の入力音声データに基づいて、前記音声受付部が受け付けた音声の評定を行う評定手段を具備する請求項１記載の発音評定装置。
3. 前記評定手段は、
   前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、
   前記最適状態決定手段が決定した各フレームの最適状態における確率値を取得する最適状態確率値取得手段と、
   前記最適状態確率値取得手段が取得した確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する請求項２記載の発音評定装置。
4. 前記評定手段は、
   前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、
   前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を取得する音韻確率値取得手段と、
   前記音韻確率値取得手段が取得した１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する請求項２記載の発音評定装置。
5. 前記評定手段は、
   前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、
   前記最適状態決定手段が決定した各フレームの最適状態の確率値を、発音区間毎に取得する発音区間確率値取得手段と、
   前記発音区間確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する請求項２記載の発音評定装置。
6. 前記評定手段は、
   前記入力音声データの各フレームの最適状態を決定する最適状態決定手段と、
   前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、
   前記発音区間フレーム音韻確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する請求項２記載の発音評定装置。
7. 前記出力部は、
   前記評定部の評定結果を視覚的に表示する請求項１から請求項６いずれか記載の発音評定装置。
8. 前記出力部は、
   フレーム単位、または／および音素・単語単位、または／および発声全体の評定結果を視覚的に表示する請求項７記載の発音評定装置。
9. 前記教師データは、比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータである請求項１から請求項８いずれか記載の発音評定装置。
10. コンピュータに、
    教師データに対応する音声を出力する音声出力ステップと、
    前記音声出力ステップで音声データの少なくとも一部を出力した後、音声の入力を受け付ける音声受付ステップと、
    前記音声受付ステップで受け付けた音声と、格納している教師データに基づいて、前記音声受付ステップで受け付けた音声の評定を行う評定ステップと、
    前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム。
    
    

Images