JP2006184813A - 外国語学習装置 - Google Patents

Abstract

【課題】 学習者の音声に類似した教師音声を学習者に提示して学習させることが可能な外国語学習装置を提供する。
【解決手段】 外国語学習装置１０００においては、あらかじめ様々な条件をもつ複数人数の教師音声を格納したデータベース３２４２を用意しておき、この中から話者認識の技術を用いて学習者音声に似た特徴を持つ教師音声を選別する。これにより、スピーカ１３４から学習者２に似た特徴を持つ教師の発音を呈示する。
【選択図】 図３

Description

本発明は、外国語学習を行うための外国語学習装置の構成に関する。

近年、コンピュータで実現される文字または音声の入出力システムや、リレーショナルデータベースシステム、音声認識システムを外国語の学習に利用する試みが盛んに行われている。すなわち、このような外国語学習装置においては、学習者は、コンピュータが出題する問題に応じて、キーボード操作やマウス操作または音声により回答をパーソナルコンピュータに入力する。そして、上記パーソナルコンピュータに搭載された当該外国語に対応したデータベースシステムや音声認識システムが、学習者の理解度や発音の正しさを判定し、その結果を学習者へのフィードバックとして表示するという方式である。

また、学習者に自分の発音した文章について、各単語毎に評価点を示し、学習者の発音した外国語の文章に対する発音の評価結果を、学習者の外国語発音練習に対して効率的にフィードバックするための外国語学習装置も提案されている（たとえば、特許文献１を参照）。

ただし、このようなシステムにおいて、学習者に提示される学習用の教師音声は、いずれも、予めサンプルされた特定の教師の音声に基づくものであり、学習者の音声とは必ずしも関連を有するものではない。
特開２００１−２６５２１１号公報明細書

しかしながら、学習者にとってみれば、自分の声に似た教師音声に基づいて外国語を学習した方が、より自分自身の発音と比べやすくなり、効率的な学習が期待できるものの、従来は、このような学習者自身の音声と教師音声との類似について、考慮されることはなかった。

本発明は、上記のような問題を解決するためになされたものであって、その目的は、学習者の音声に類似した教師音声を学習者に提示して学習させることが可能な外国語学習装置を提供することである。

このような目的を達成するために、本発明の外国語学習装置は、外国語についての複数人数の教師音声を格納した第１のデータベースと、学習者音声と第１のデータベースに格納された教師音声とを比較して学習者音声と類似する教師音声を選択する教師音声選択手段と、音声選択手段によって選択された教師音声を用いて学習者に学習課題を提示するための学習課題提示手段とを備える。

この発明の他の局面に従う国語学習装置は、、外国語についての複数人数の教師音声を格納した第１のデータベースと、各教師音声に対応する話者モデルデータを格納した第２のデータベースと、第２のデータベースに格納された話者モデルデータと学習者音声とを比較することにより、学習者音声に類似する教師音声を選択する教師音声選択手段と、音声選択手段によって選択された教師音声を用いて学習者に学習課題を提示するための学習課題提示手段とを備える。

好ましくは、話者モデルデータは、教師音声ごとに推定されたガウス混合モデルである。

好ましくは、教師ごとに教師属性データを格納した第３のデータベースをさらに備え、教師音声選択手段は、入力された学習者の学習者属性データに基づいて教師属性データを検索し、選択するべき教師音声を事前に絞り込む処理を行う。

以下、図面を参照して本発明の実施の形態について説明する。

なお、以下では、本発明を説明するにあたり、日本語を母語とする学習者が、英語を学習する場合を例にとって説明する。ただし、本発明は、他の母語を有する学習者が、母語以外の言語を学習する場合にも適用できるものである。
（実施の形態１）
（本発明のシステム構成）
図１は、本発明の外国語学習装置を用いたシステム１０００の一例を示す概念図である。

図１を参照して、システム１０００は、学習者２に対してある難易度のステップの学習課題を順次提示して、学習者からの課題に対する回答に基づいて、学習者に当該ステップに対する訓練を与えるか、または次のステップの学習課題をさらに学習者に提示していくという処理を実行するためのコンピュータ１００を備える。

このコンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）などの光学ディスクの記録媒体上の情報を読込むためのディスクドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０４と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２と、音声入力装置としてのマイク１３２と、音声出力装置としてのスピーカ１３４とを含む。

システム１０００は、さらに、学習者２に対して与える課題を呈示するためのサーバコンピュータ３００と、サーバコンピュータ３００とコンピュータ１００とを接続するためのネットワーク４００とを備える。ネットワークとしては、たとえば、インターネット等を用いることができる。すなわち、以下の説明では、コンピュータ１０２本体はクライアント機としての機能するものとして説明する。ただし、サーバ３００での問題呈示の機能をコンピュータ１００自体が保持していてもよい。

したがって、本発明において、主要な部分は、問題呈示機能を有する外国語学習問題呈示装置であるサーバコンピュータ３００である。

図２は、このサーバコンピュータ３００のハードウェア構成をブロック図形式で示す図である。

サーバコンピュータ３００は、コンピュータ本体３０２と、コンピュータ本体３０２に接続された表示装置としてのディスプレイ３０４と、同じくコンピュータ本体３０２に接続された入力装置としてのキーボード３１０およびマウス３１２とを含む。

図２に示されるように、コンピュータ本体３０２は、ディスクドライブ３０８およびＦＤドライブ３０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）３２０と、ＲＯＭ（Read Only Memory)およびＲＡＭ（Random Access Memory）を含むメモリ３２２と、直接アクセスメモリ装置、たとえば、ハードディスク３２４と、ネットワーク４００と通信を行なうためのインタフェース３２８とを含んでいる。ディスクドライブ３０８には、たとえば、光学ディスクのＣＤ−ＲＯＭ３１８が装着される。ＦＤドライブ３０６にはＦＤ３１６が装着される。

後に説明するように、本発明の外国語学習装置が動作するにあたっては、その動作の基礎となる情報を格納するデータベースは、ハードディスク３２４に格納されるものとして説明を行う。

なお、ＣＤ−ＲＯＭ３１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体３０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。

本発明の外国語学習装置の主要部は、コンピュータハードウェアと、ＣＰＵ３２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ３１８、ＦＤ３１６等の記憶媒体に格納されて流通し、ディスクドライブ３０８またはＦＤドライブ３０６等により記憶媒体から読取られてハードディスク３２４に一旦格納される。または、当該装置がネットワーク４００に接続されている場合には、ネットワーク上の他のサーバから一旦ハードディスク３２４にコピーされる。そうしてさらにハードディスク３２４からメモリ３２２中のＲＡＭに読出されてＣＰＵ３２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク３２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。

図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ３１６、ＣＤ−ＲＯＭ３１８、ハードディスク３２４等の記憶媒体に記憶されたソフトウェアである。

図１に示したように、コンピュータ１００がネットワーク４００を介してサーバ３００に接続している場合において、動作の基礎となる情報を格納するデータベースが、サーバ３００内のハードディスク３２４等の記憶装置に格納されているときは、コンピュータ１００はクライエント機として動作し、以下に説明するような学習者に与える課題のデータをサーバ３００から受け取りこれを表示または出力し、回答のデータをサーバに返すという処理を行なう。

図３は、本発明の外国語学習装置の構成を機能ブロックで示す図である。

図３に示すとおり、ＣＰＵ３２０内には、機能ブロックとして、外国語学習プログラムに基づいて、学習のための問題呈示を制御する学習制御部３２０２が含まれる。

また、ハードディスク３２４内には、教師音声を登録した話者音声データベース３２４２と、話者音声データベース内の教師音声を基に作成された話者モデルを格納する話者モデルデータベース３２４４と、話者音声データベース３２４２に登録された音声の主である各教師の性別・平均ピッチ周波数（ＦＯ）・年齢等の属性に関わる情報を登録した話者情報データベース３２４６と、学習者２に教師の音声データとともに提示する学習用の文字や画像等のデータを登録した学習情報データベース３２４８とが、記録されているものとする。

すなわち、以下に説明するように、外国語の発音に関する学習教材では、従来はあらかじめ決められた教師の発音のみが呈示されるのに対し、本発明においては、学習者に似た特徴を持つ教師の発音を呈示することにより、より効果的に習得できるものである。このため、本発明では、あらかじめ様々な条件をもつ複数人数の教師音声を格納したデータベースを用意しておき、この中から話者認識の技術を用いて学習者音声に似た特徴を持つ教師音声を選別する。

（本発明の外国語学習装置の動作）
図４は、本発明の外国語学習装置の動作を説明するためのフローチャートである。

図４を参照して、まず、教師に関する情報を準備するために、教師の音声群を話者音声データベースに登録し、これをもとに話者モデルを作成して話者モデルデータベースに登録する（ステップＳ１００）。併せて、話者情報データベース３２４６に、各教師の属性情報の登録も行われる。

すなわち、話者音声データベースの作成においては、学習者に示す教師音声として、複数人数の外国語話者の音声を収録し、話者ＩＤを付加して話者音声ＤＢに登録する。

さらに、話者モデルデータベースの作成においては、話者音声データベースに登録した音声から、話者認識の技術の一つであるガウス混合モデル(ＧＭＭ：Gaussian Mixture Model、以降ＧＭＭと記述する)を話者毎にＥＭアルゴリズム(Expectation Maximazation algorithm)を用いて推定し、話者モデルデータベースを作成する。ＧＭＭは平均ベクトル、共分散行列、混合重みの３つのパラメータから構成される複数個のガウス混合要素を持つものである。

図５は、話者音声データベース３２４２と話者モデルデータベース３２４４とに格納されるデータの構成の一例を示す図である。

図５（ａ）に示すとおり、話者音声データベース３２４２においては、各教師を特定するための話者識別情報（以下、話者ＩＤ）に対応させて、音声セットのファイルが格納される。また、図５（ｂ）に示すとおり、話者モデルデータベース３２４４においては、話者ＩＤに対応させて、各話者の音声セットから作成されたＧＭＭの音声モデルファイルが格納される。

再び、図４にもどって、続いて、以下の手続きにより、学習者２の情報を入力して教師話者の決定が行われる。

すなわち、まず、学習者に一定の読み上げ文を読ませて音声を録音する（ステップＳ１０２）。ここでは、録音された学習者２の音声もハードディスク３２４に格納されるものとする。

続いて、学習者音声の分析が行われる（ステップＳ１０４）。

すなわち、録音した学習者の音声から、Ｔフレームの特徴ベクトル系列Ｘを以下のように抽出する。

次に、話者モデルごとの平均対数尤度の算出と話者ＩＤの決定が行われる（ステップＳ１０６）。

つまり、教師音声群から学習者２に最も類似した音声を得るには、学習者の特徴ベクトル系列に対して、話者モデルデータベースに登録されたＧＭＭのそれぞれについて平均対数尤度を求め、それが最大値になる話者ＩＤを決定する。

図６は、このように、学習者の特徴ベクトルＸからＳ人分の教師音声群のＧＭＭを使って、学習者２に最も類似した話者ｓｓを決定する手続きを示す概念図である。

図６を参照して、学習者の音声から抽出して特徴ベクトル系列Ｘが得られた場合、モデルλに対する平均対数尤度は次の式となる。

ここで、ｐ（ｘ_t|λ_s）は、モデルλ_sに対する各特徴ベクトルｘ_tの出力確率であり、次の式で定義される。

ここで、iは各混合要素(mixture component)のインデックス、Ｍは混合数、ｐ_s,iは要素iの混合重み(mixture component weight)、ｂ_s,i（ｘ_t）はi番目の混合要素の確率密度関数(component density)である。

このような各話者（教師）についての平均対数尤度を求め、そのうち最大の平均対数尤度を有する話者ｓｓを教師とし、教師の話者ＩＤを決定する。

続いて、外国語学習の際は、このようにして決定した話者ＩＤをもとに話者音声データベースから該当する音声を取得し(ステップＳ１０８)、教師音声としてスピーカ１３４から再生するとともに、学習者２に教師音声に対応した学習用の文字や画像等のデータをディスプレイ１０４により提示することで学習者２に学習課題を与えて学習させる（ステップＳ１１０）。

以上のような構成により、学習者の音声に類似した教師音声を学習者に提示して学習させることが可能となる。
（実施の形態１の変形例）
以上説明した実施の形態１では、話者モデル（ＧＭＭ）を用いた話者認識において、話者選択基準に声質の情報を用いているが、これ以外の情報を用いることにより、使用目的に合わせて教師話者の属性を限定したり、計算量を減らして処理の高速化を図ったりするために、図４のステップＳ１０６で使用する候補話者を絞り込むことができる。

図７は、このような候補話者を絞り込んだ上で、教師話者を選択する処理の流れ示すフローチャートである。

図７では、ステップＳ１００からＳ１０２の処理は図４と同様である。このステップＳ１０２の次に、学習者２の性別・年齢等の情報を入力するとともに、ステップＳ１０２で録音された学習者の音声から平均ピッチ周波数が計算される（ステップＳ１０３）。

ステップＳ１０４では、図４と同様に学習者２の音声の分析が行われ、続いて、入力された学習者情報をもとに話者情報データベース３２４６内を検索して、該当する条件に合う話者ＩＤを集める（ステップＳ１０５）。ここで、「該当する条件」としては、たとえば、性別が同じで、学習者と教師の年齢が所定の差の範囲にあるという条件や、性別が同じで、学習者と教師の平均ピッチ周波数が所定の差の範囲にあるという条件などがある。

図８は、話者情報データベース３２４６に登録される情報の例を示す図である。図８に示すとおり、話者情報データベース３２４６においては、話者ＩＤに対応させて、音声の主である各教師の性別・平均ピッチ周波数（Ｆ０）・年齢等の属性が格納される。

ステップＳ１０６においては、ステップＳ１０５で選択された話者モデルについてのみ、話者モデルごとの平均対数尤度の算出と話者ＩＤの決定が行われる。以後の処理は、図４の場合と同様である。

このような処理により、計算量を減らして一層高速な処理を行うことができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の外国語学習装置を用いたシステム１０００の一例を示す概念図である。 サーバコンピュータ３００のハードウェア構成をブロック図形式で示す図である。 本発明の外国語学習装置の構成を機能ブロックで示す図である。 本発明の外国語学習装置の動作を説明するためのフローチャートである。 、話者音声データベース３２４２と話者モデルデータベース３２４４とに格納されるデータの構成の一例を示す図である。 学習者の特徴ベクトルＸからＳ人分の教師音声群のＧＭＭを使って、学習者２に最も類似した話者ｓｓを決定する手続きを示す概念図である。 候補話者を絞り込んだ上で、教師話者を選択する処理の流れ示すフローチャートである。 話者情報データベース３２４６に登録される情報の例を示す図である。

符号の説明

１００ コンピュータ、１０２ コンピュータ本体、１０４ ディスプレイ、１０６ ＦＤドライブ、１０８ ディスクドライブ、１１０ キーボード、１１２ マウス、１１８ ＣＤ−ＲＯＭ、１３２ マイク、１３４ スピーカ、３００ サーバコンピュータ、３０２ コンピュータ本体、３０４ ディスプレイ、３０６ ＦＤドライブ、３０８ ディスクドライブ、３１０ キーボード、３１２ マウス、３１８ ＣＤ−ＲＯＭ、 ３２０ ＣＰＵ、 ３２２ メモリ、３２４ ハードディスク、３２８ インタフェース、１０００ システム。

Claims (4)

1. 外国語学習装置であって、
   外国語についての複数人数の教師音声を格納した第１のデータベースと、
   学習者音声と第１のデータベースに格納された教師音声とを比較して学習者音声と類似する教師音声を選択する教師音声選択手段と、
   前記音声選択手段によって選択された教師音声を用いて前記学習者に学習課題を提示するための学習課題提示手段とを備える、外国語学習装置。
2. 外国語学習装置であって、
   外国語についての複数人数の教師音声を格納した第１のデータベースと、
   前記各教師音声に対応する話者モデルデータを格納した第２のデータベースと、
   前記第２のデータベースに格納された前記話者モデルデータと学習者音声とを比較することにより、学習者音声に類似する教師音声を選択する教師音声選択手段と、
   前記音声選択手段によって選択された教師音声を用いて前記学習者に学習課題を提示するための学習課題提示手段とを備える、外国語学習装置。
3. 前記話者モデルデータは、前記教師音声ごとに推定されたガウス混合モデルである、請求項２記載の外国語学習装置。
4. 前記教師ごとに教師属性データを格納した第３のデータベースをさらに備え、
   前記教師音声選択手段は、入力された学習者の学習者属性データに基づいて前記教師属性データを検索し、選択するべき前記教師音声を事前に絞り込む処理を行う、請求項２記載の外国語学習装置。

Images