JP2004101637A

JP2004101637A - Online educational system, information processor, information providing method and program

Info

Publication number: JP2004101637A
Application number: JP2002260132A
Authority: JP
Inventors: Motohiko Nakanishi; 中西　甫彦; Masajiro Iwasaki; 岩崎　雅二郎; Akira Mannami; 万波　昭; Isamu Yamagami; 山上　勇
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2004-04-02
Anticipated expiration: 2022-09-05
Also published as: JP3930402B2

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently give a language education to students of the cource. <P>SOLUTION: A teaching material providing section 61 reads teaching material data out of a teaching material DB 70 and sends the teaching material data to a user terminal. A voice analysis section 62 compares voice feature extracted from the voice data sent from the user terminal with the voice feature extracted from the voice data stored in a model voice DB 71 and generates difference data for voice. A video analysis section 63 compares the feature quantity extracted from video data sent from the user terminal with the feature quantity extracted from the video data stored in a model video DB 72 and generates difference data for video. An advice generating section 64, based on the difference data for voice and/or video, retrieves a teaching information DB 73 and generates advice for giving instructions to the learner. An advice providing section 65 sends the advice to the user terminal. A voice recognition section 66 generates a sentence corresponding to the speech of the learner and sends the sentence to the user terminal so that it can be displayed. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、コンピュータ等を用いて受講者の学習を支援する教育システムに係り、特にオンラインで受講者に対する語学教育を実施可能なオンライン教育システムに関する。
【０００２】
【従来の技術】
語学を習得するためには、相手の話を聞き分け、正しく発音する能力を身につけた上で、各単語及び文章の意味理解力を向上させることが重要となる。従来、語学の学習は、書籍などを用いて文字から文法を理解するといった手法により行われていた。近年では、特定の言語を母国語とするネイティブの指導者が、受講生との対話により、受講生の習熟度にあわせて指導を行う語学学校などがビジネスとして営まれている。さらに、こうした語学学校の中には、例えば特許文献１に開示されているような通信システムを用いて、遠隔地間での語学教育を可能としたサービスを提供するものもある。
【０００３】
【特許文献１】
特開平１１−２２０７０７号公報
【０００４】
【発明が解決しようとする課題】
語学をいち早く修得するためには、専門の指導者の下で、単語単位や一般の話し言葉を通して、基礎的な学習を行って自然な形で身につけることが望ましい。ところが、指導者が受講者と対面して教育するためには、時間や場所を互いに調整したり予約しなければならない。
この点について、特許文献１に開示された技術によれば、遠隔地間での教育が可能となるので、対面教育における場所的な制約を軽減させることができる。
【０００５】
しかしながら、特許文献１に開示された技術によっても、指導者と受講生が同じ時間に端末の前に在留しなければならない。このため、時間の調整や予約が必要となる。また、受講者に対応できる人数だけ指導者を揃えておかなければならないという問題があった。
【０００６】
この発明は、上記実状に鑑みてなされたものであり、受講者に対して効率よく語学教育を施すことができるオンライン教育システムを、提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の第１の観点に係るオンライン教育システムは、ネットワークを介して互いに接続された端末装置とサーバ装置とを備えるオンライン教育システムであって、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記端末装置が生成した受講者の発声を示す音声データを、前記モデル音声データベースに格納されている音声データと比較し、その差分を示す解析結果を生成する音声解析手段と、受講者の発話動作を撮影することにより前記端末装置が生成した映像データを、前記モデル映像データベースに格納されている映像データと比較し、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出してアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを前記端末装置にて出力させるアドバイス提供手段とを備えることを特徴とする。
【０００８】
この発明によれば、受講者の発声を示す音声データと、モデル音声データベースに格納されている模範的な発声を示す音声データとの比較結果、及び、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは端末装置にて出力され、受講者に対して効率よく語学教育を施すことができる。
【０００９】
この発明の第２の観点に係る情報処理装置は、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を認識して、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記撮像手段の撮影により作成された映像データを、前記モデル映像データベースに格納されている映像データと比較し、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記映像解析手段の解析結果に対応する指導情報を読み出してアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段と前記表示手段の少なくともいずれか一方により出力させるアドバイス提供手段とを備えることを特徴とする。
【００１０】
この発明によれば、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは、音声出力手段と表示手段の少なくともいずれか一方から出力される。また、モデル音声データベースに格納された音声データを読み出すことにより、音声出力手段から模範的な発声が出力される。さらに、受講者の発声を認識して、受講者の発声に対応する文章が表示手段に表示される。
これにより、受講者に対して効率よく語学教育を施すことができる。
【００１１】
前記モデル提供手段は、前記モデル映像データベースに格納されている映像データを読み出し、前記表示手段に模範的な発話動作の画像を表示させる手段を備え、前記表示手段は、前記撮像手段が撮影した受講者による発話動作の画像を表示してもよい。
【００１２】
この発明の第３の観点に係る情報処理装置は、ネットワークを介して端末装置に接続された情報処理装置であって、模範的な音声を示す音声データを格納するモデル音声データベースと、模範的な発声動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して前記端末装置へ送ることにより、前記端末装置にて模範的な発声を出力させるモデル提供手段と、前記端末装置から送られた音声データから受講者の発声を認識して、受講者の発声に対応する文章を前記端末装置に表示させる音声認識手段と、前記端末装置から送られた映像データを、前記モデル映像データベースに格納されている映像データと比較し、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記映像解析手段の解析結果に対応する指導情報を読み出してアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを前記端末装置へ送ることにより、前記端末装置にて受講者を指導するためのアドバイスを出力させるアドバイス提供手段とを備えることを特徴とする。
【００１３】
この発明の第４の観点に係る情報提供方法は、モデル音声データベースと、モデル映像データベースと、指導情報データベースとを備えるコンピュータシステムが、模範的な発声を示す音声データを前記モデル音声データベースに格納し、模範的な発話動作を撮影した映像データを前記モデル映像データベースに格納し、複数種類の指導情報を前記指導情報データベースに格納し、前記モデル音声データベースに格納されている音声データを読み出して、模範的な発声を出力し、受講者の発声を認識して、受講者の発声に対応する文章を表示し、受講者の発話動作を撮影することにより作成された映像データを、前記モデル映像データベースに格納されている映像データと比較して、その差分を解析結果とし、解析結果に対応する指導情報を前記指導情報データベースから読み出してアドバイスを作成し、作成されたアドバイスを映像及び／又は音声にて出力することを特徴とする。
【００１４】
この発明の第５の観点に係るプログラムは、コンピュータを、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を認識して、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記撮像手段の撮影により作成された映像データを、前記モデル映像データベースに格納されている映像データと比較し、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記映像解析手段の解析結果に対応する指導情報を読み出してアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段と前記表示手段の少なくともいずれか一方により出力させるアドバイス提供手段として機能させる。
【００１５】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係るオンライン教育システムについて詳細に説明する。
図１は、この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
図１に示すように、この発明の実施の形態に係るオンライン教育システムは、ユーザ端末１０と、ネットワーク２０と、サービスプロバイダ３０とを備えて構成されている。ユーザ端末１０とサービスプロバイダ３０とは、例えば公衆回線やインターネット等からなるネットワーク２０を介して互いに接続されている。以下では、説明を簡単にするために、ユーザ端末１０が１台のみであるものとするが、これに限定されず、複数存在してもよい。
【００１６】
ユーザ端末１０は、例えばノート型あるいはデスクトップ型のパーソナルコンピュータや、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）などに代表される情報処理端末装置である。
図２は、ユーザ端末１０の構成を示す図である。
図２に示すように、ユーザ端末１０は、ユーザインタフェース１１と、制御部１２と、記憶部１３と、通信インタフェース１４とを備えて構成される。
【００１７】
ユーザインタフェース１１は、例えば、マイクロフォン１１ａ、ＣＣＤカメラ１１ｂ、ディスプレイ装置１１ｃ、キーボード１１ｄ、マウス１１ｅ、スピーカ１１ｆ等を備えて構成され、ユーザ操作に対応した指令や音声、映像などを入力したり、画像や音声を出力したりするためのものである。
【００１８】
制御部１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのマイクロプロセッサを用いて構成され、ユーザ端末１０全体の動作を制御するためのものである。
【００１９】
記憶部１３は、例えば半導体メモリやハードディスク装置等により構成され、制御部１２により実行される動作プログラムや各種の設定データなどを記憶するためのものである。
【００２０】
通信インタフェース１４は、例えば、ネットワークカード、ケーブルコネクタ、無線ユニット等を用いて構成され、制御部１２の制御に従いネットワーク２０を介してサービスプロバイダ３０との間で通信を行うためのものである。
【００２１】
サービスプロバイダ３０は、図３に示すように、サーバ４０と、データベース（以下、「ＤＢ」という）５０とを備える。
サーバ４０は、例えば、アプリケーションサーバとしての機能とデータベースサーバとしての機能とを備える。なお、サーバ４０は、物理的に１台のコンピュータシステムで構成される必要はなく、複数台のコンピュータを用いて構成されてもよい。
【００２２】
サーバ４０は、ネットワーク２０を介したユーザ端末１０からのアクセスを受け付け、オンライン教育の受講者となるユーザ端末１０の利用者に対して、映像や音声を組み合わせたオンライン教育の教材となる情報を提供可能とする。また、サーバ４０は、ユーザ端末１０から送られた指令や音声信号、映像信号を受信して、オンライン教育をより効率的に実施するための様々な処理を実行する。サーバ４０は、図３に示すように、制御部４１と、記憶部４２と、通信インタフェース４３とを備えている。
【００２３】
制御部４１は、サーバ４０全体の動作を制御するためのものである。ここで、制御部４１は、記憶部４２に記憶されている動作プログラムを読み出して実行することにより構成されるカリキュラム設定部６０と、教材提供部６１と、音声解析部６２と、映像解析部６３と、アドバイス作成部６４と、アドバイス提供部６５と、音声認識部６６とを備えている。
【００２４】
カリキュラム設定部６０は、ユーザ端末１０の利用者による自己申告や、定期的に実施されるテストの結果、あるいはアドバイス提供部６５がユーザ端末１０により受講者に提供したアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。
【００２５】
教材提供部６１は、カリキュラム設定部６０により設定されたカリキュラムや、音声解析部６２及び映像解析部６３の解析結果に基づいて、ＤＢ５０が備える教材ＤＢ７０から読み出す教材データを特定する。教材提供部６１により教材ＤＢ７０から読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
【００２６】
音声解析部６２は、ユーザ端末１０から送られた音声データから音声信号の特徴量を抽出し、受講者が発した音声を解析するためのものである。例えば、音声解析部６２は、ユーザ端末１０から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチなどの音響物理情報を抽出する。これにより、受講者が発した音声のイントネーション、ストレス、アクセント、スピード等の発音についての音声特徴が抽出される。
また、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、ＤＢ５０が備えるモデル音声ＤＢ７１に格納されている音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。
【００２７】
映像解析部６３は、ユーザ端末１０から送られた映像データから動画像あるいは静止画像の特徴量を抽出し、受講者の発話動作を解析するためのものである。例えば、映像解析部６３は、色出現確率分布（色ヒストグラム）や色共起頻度分布（色コリログラム）を用いて、受講者の発話動作における唇の形や色に基づく動き特徴量を抽出する。ここで、色出現確率分布は、１フレームを構成する映像信号からなる画像中のピクセルにおいて各種の色が出現する確率の分布である。また、色共起頻度分布は、画像中の一定距離離れたピクセル間における色の組み合わせの出現確率の分布である。
あるいは、映像解析部６３は、前フレームと後フレームにそれぞれブロック領域を設定し、相関の高いブロック領域の中心点を前後フレームにおける対応点として動きベクトルを推定するブロックマッチング法を用いて、受講者の発話動作における唇や舌の動きを解析してもよい。
また、映像解析部６３は、ユーザ端末１０から送られた映像データより抽出した特徴量を、ＤＢ５０が備えるモデル映像ＤＢ７２に格納されている映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。
【００２８】
アドバイス作成部６４は、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データとに基づいて、ＤＢ５０が備える指導情報ＤＢ７３を検索することにより、受講者を指導するためのアドバイスを作成するためのものである。
【００２９】
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送ることにより、ユーザ端末１０にてアドバイスを受講者に提供可能とするためのものである。
【００３０】
音声認識部６６は、例えば所定の単語辞書を備えて構成され、ユーザ端末１０から送られた音声データの特徴量に基づいて単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を示す発話文章データを作成する。
【００３１】
記憶部４２は、半導体メモリやハードディスク装置、光ディスク再生装置などを含んだ外部記憶装置等から構成され、制御部４１により実行される動作プログラムや各種の設定データを記憶するとともに、制御部４１のワークエリアを提供する。
【００３２】
通信インタフェース４３は、制御部４１の制御に従いネットワーク２０を介してユーザ端末１０との間で通信し、各種の情報を送受信するためのものである。
【００３３】
また、サーバ４０は、ＤＢサーバとして、ＤＢ５０をアクセスする。
ＤＢ５０は、教材ＤＢ７０と、モデル音声ＤＢ７１と、モデル映像ＤＢ７２と、指導情報ＤＢ７３とを備えている。
【００３４】
教材ＤＢ７０は、語学学習の素材としてユーザ端末１０に提供される教材データを、語学の習得レベルと対応付けて複数種類格納する。図４は、教材ＤＢ７０に格納されるデータの一構成例を示す図である。
ここで、教材データには、学習対象となる言語のセンテンスである学習文例を示すテキストデータや、各学習文例を発話する際における舌や唇の模範的な動きを示す動画像データなどが含まれている。また、各教材データは、モデル音声ＤＢ７１に格納されている模範的な発声を示す音声データと、モデル映像ＤＢ７２に格納されている模範的な発話動作を示す映像データとに、対応付けられている。
【００３５】
モデル音声ＤＢ７１は、模範的な発声を示す音声資料となる音声データを格納する。
ここで、モデル音声ＤＢ７１に格納される音声データは、予め語学学習の対象となる言語を母国語とするネイティブの指導者による各学習文例の発話を録音することで作成される。
【００３６】
モデル映像ＤＢ７２は、模範的な発声動作を示す映像資料となる映像データを格納する。
ここで、モデル映像ＤＢ７２に格納される映像データは、予めネイティブの指導者による各学習文例の発話動作を撮影することで作成される。
【００３７】
図５は、指導情報ＤＢ７３に格納されるデータの一構成例を示す図である。
図５に示すように、指導情報ＤＢ７３は、教材として提供される学習文例ごとに、複数種類の差分モデルデータを、複数種類の指導文を示す指導文データや、指導用に表示する映像資料を特定するための映像資料参照データなどと、対応付けて格納する。
【００３８】
ここで、差分モデルデータは、受講者が各学習文例を発話する際に誤りやすい発話動作と、ネイティブの指導者が各学習文例を発話する場合の模範的な発話動作との差異を示すデータである。例えば、各学習文例中にある［ｒ］の発音を［ｌ］と発音した時の音声信号について、模範的な発声を示す音声信号との差分を取ることにより、音声用の差分モデルデータの一つが構成される。また、各学習文例中にある［ｒ］の発音を［ｌ］と発音する発話動作を撮影することにより作成された映像信号について、ネイティブの模範的な発話動作を撮影することにより作成された映像信号との差分を取ることにより、映像用の差分モデルデータの一つが構成される。つまり、差分モデルデータには、音声用の差分モデルデータと、映像用の差分モデルデータとが含まれている。
【００３９】
また、映像資料参照データは、モデル映像ＤＢ７２に格納されている映像データの参照先（例えば、アドレスや映像ＩＤ）を示すデータである。すなわち、映像資料参照データは、受講者の発話動作に含まれる誤りを修正するために適切と考えられる模範的な発話動作を示す映像データを、アドバイス作成部６４により参照できるようにしている。
【００４０】
以下に、この発明の実施の形態に係るオンライン教育システムの動作を説明する。
このオンライン教育システムにおいて、オンライン教育の受講者となるユーザ端末１０の利用者は、ユーザ端末１０のユーザインタフェース１１が備えるキーボード１１ｄからコマンドを入力したり、マウス１１ｅの操作によりアイコンをクリックしたりするなどして、語学学習を開始する旨の指令を入力する。
語学学習を開始する旨の指令が入力されると、制御部１２は、オンライン教育用の動作プログラムを記憶部１３から読み出して実行する。制御部１２は、記憶部１３から読み出した動作プログラムに従って、例えば図６に示すような画面を、ユーザインタフェース１１が備えるディスプレイ装置１１ｃに表示させる。
【００４１】
図６に示す画面には、受講者の顔を撮影した静止画像が複数表示される表示領域Ｄａと、唇の動きを示す静止画像が複数表示される表示領域Ｄｂと、受講者の発声を音声認識した結果がテキスト表示される表示領域Ｄｃとが含まれている。また、図６に示す画面には、マイクロフォン１１ａから入力された音声の波形を表示する表示領域Ｄｄや、教材となる学習文例やアドバイスとなるメッセージが表示される表示領域Ｄｅなどが設けられている。
【００４２】
表示領域Ｄａに表示される静止画像は、制御部１２がＣＣＤカメラ１１ｂにより撮像された動画像から所定のタイミングでコマ映像を抽出することにより、作成される。表示領域Ｄｂに表示される静止画像は、受講者の発話動作における唇の動きを示すもの、あるいは、模範的な発話動作における唇の動きを示すものである。
【００４３】
また、制御部１２は、オンライン教育用の動作プログラムを実行すると、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へアクセスし、語学学習の開始を要求する。
【００４４】
サービスプロバイダ３０において、ユーザ端末１０から学習開始の要求を受けたとする。この場合、サーバ４０において、例えば制御部４１が記憶部４２からオンライン教育用のアプリケーションプログラムを読み出して実行することにより、図７のフローチャートに示す処理を開始する。
【００４５】
図７のフローチャートに示す処理を開始すると、制御部４１は、カリキュラム設定部６０により各受講者に応じた学習内容を設定する（ステップＳ１）。この際、カリキュラム設定部６０は、受講者の自己申告や、定期的に実施されるテストの結果、あるいはユーザ端末１０にて既に提供されたアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。カリキュラム設定部６０により設定された学習内容は、教材提供部６１に通知される。
【００４６】
教材提供部６１は、カリキュラム設定部６０から通知された学習内容に対応する教材データを読み出すために、教材ＤＢ７０を検索する（ステップＳ２）。教材提供部６１により読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる（ステップＳ３）。この際、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発声を示す音声データを、モデル音声ＤＢ７１から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。さらに、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発話動作を示す映像データを、モデル映像ＤＢ７２から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。
【００４７】
ユーザ端末１０では、制御部１２がユーザインタフェース１１を制御することにより、サービスプロバイダ３０から送られた教材データに対応して、教材となる情報が受講者に提供される。例えば、教材データ中のテキストデータに対応する学習文例が、図６に示す画面の表示領域Ｄｅに表示される。また、教材データ中の動画像データに対応して、模範的な発話動作における舌や唇の動きが、図６に示す画面の表示領域Ｄｂにて、所定のコマごとに静止画像として表示される。
【００４８】
さらに、制御部１２は、教材データとともに模範的な発声を示す音声データを受け取った場合に、その音声データで示される音声の波形を、表示領域Ｄｄに表示させてもよい。これに加えて、制御部１２は、スピーカ１１ｆから模範的な発声を出力させてもよい。
また、制御部１２は、教材データとともに模範的な発話動作を示す映像データを受け取った場合に、その映像データで示される映像を表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。この際、模範的な発声と模範的な発話動作を示す映像とを連携して出力させることにより、発話動作の手本をユーザ端末１０にて受講者に対して提示することができる。
【００４９】
ユーザ端末１０において、受講者であるユーザ端末１０の利用者が発話動作を行うと、ユーザインタフェース１１が備えるマイクロフォン１１ａにより音声が取り込まれ、ＣＣＤカメラ１１ｂでの撮影により映像が取り込まれる。制御部１２は、ディスプレイ装置１１ｃを制御することにより、マイクロフォン１１ａから入力された音声の波形を、表示領域Ｄｄに表示させる。また、制御部１２は、ディスプレイ装置１１ｃを制御することにより、表示領域Ｄａに受講者の顔を撮影した静止画像を複数表示させるとともに、表示領域Ｄｂに受講者の発話動作における唇の動きを示す静止画像を複数表示させる。
【００５０】
ユーザ端末１０の制御部１２は、マイクロフォン１１ａから入力された音声を符号化して音声データを作成し、ＣＣＤカメラ１１ｂでの撮影により取り込まれた映像をデジタル化して映像データを作成する。こうして作成された音声データと映像データは、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へ送られる。
【００５１】
ユーザ端末１０から音声データと映像データを受けたサーバ４０は、制御部４１の音声解析部６２により受講者が発した音声の解析を行い、映像解析部６３によりＣＣＤカメラ１１ｂで撮影された映像の解析を行う（ステップＳ４）。
より具体的には、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、モデル音声ＤＢ７１から読み出した模範的な発声に対応する音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。また、映像解析部６３は、ユーザ端末１０から送られた映像データから唇の形、色及びその動きなどを示す特徴量を抽出する。映像解析部６３は、抽出した特徴量を、各コマごとにモデル映像ＤＢ７２から読み出した模範的な発話動作に対応する映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。音声解析部６２によって作成された音声用の差分データと、映像解析部６３によって作成された映像用の差分データは、アドバイス作成部６４へ送られる。
【００５２】
また、音声認識部６６は、ユーザ端末１０から送られた音声データを用いて、受講者の発声を認識する（ステップＳ５）。
より具体的には、音声認識部６６は、ユーザ端末１０から送られた音声データの特徴量を抽出し、受講者の発声に近い単語を組み合わせることにより、受講者の発話動作に対応する文章を示す発話文章データを作成する。音声認識部６６により作成された発話文章データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
発話文章データを受けたユーザ端末１０は、制御部１２がユーザインタフェース１１のディスプレイ装置１１ｃを制御することにより、発話文章データに示される文章を、図６に示す画面の表示領域Ｄｃにテキスト表示させる。
【００５３】
アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに基づいて、受講者を指導するためのアドバイスを作成する（ステップＳ６）。
より具体的には、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと、映像解析部６３から受け取った映像用の差分データとを、それぞれ指導情報ＤＢ７３に格納された差分モデルデータと比較する。この際、アドバイス作成部６４は、上記ステップＳ２にてユーザ端末１０へ送られた教材データの学習文例に分類されている複数種類の差分モデルデータを順次指導情報ＤＢ７３から読み出す。読み出された差分モデルデータに含まれる音声用の差分モデルデータは、音声解析部６２により作成された音声用の差分データと比較される。読み出された差分モデルデータに含まれる映像用の差分モデルデータは、映像解析部６３により作成された映像用の差分データと比較される。
【００５４】
この比較の結果、アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに最も近似する（差異の少ない）差分モデルデータを特定する。アドバイス作成部６４は、特定した差分モデルデータと対応づけて記憶されている指導文データ及び映像資料参照データを読み取る。アドバイス作成部６４は、映像資料参照データに示される参照先、すなわちモデル映像ＤＢ７２から映像データを読み出し、指導文データと組み合わせてアドバイスを構成する。
また、アドバイス作成部６４は、音声用及び映像用の差分データが所定の適正範囲内である場合には、例えば「パーフェクト！！」などといったメッセージを、アドバイスとして作成する。
【００５５】
アドバイス作成部６４によって作成されたアドバイスは、アドバイス提供部６５に送られる。
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送る（ステップＳ７）。
【００５６】
指導文データと模範的な発話動作を示す映像データとからなるアドバイスを受け取ったユーザ端末１０において、制御部１２がユーザインタフェース１１を制御することにより、受講者を指導するためのアドバイスを出力させる。
例えば、制御部１２は、ディスプレイ装置１１ｃを制御することにより、指導文データで示される指導文を図６に示す画面の表示領域Ｄｅに表示させる。さらに、制御部１２は、ディスプレイ装置１１ｃを制御することにより、アドバイスに含まれる映像データで示される模範的な発話動作の映像を、表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。
また、制御部１２は、スピーカ１１ｆを制御することにより、指導文データで示される指導文を、音声として出力させてもよい。
【００５７】
この後、処理は上記ステップＳ１へリターンする。
すなわち、カリキュラム設定部６０は、上記ステップＳ７にてアドバイス提供部６５がユーザ端末１０へ送ったアドバイスの種類に基づいて、受講者の語学能力を判定し、受講者の語学能力にあわせた学習内容を設定する。
【００５８】
また、ユーザ端末１０にて、受講者がキーボード１１ｄやマウス１１ｅを操作することにより、語学学習を終了する旨の指令が入力されると、学習終了の要求がユーザ端末１０からサービスプロバイダ３０へ送られて、図６のフローチャートに示す処理が終了される。
こうして、受講者が希望する時間にユーザ端末１０を操作してサービスプロバイダ３０へアクセスすることで、指導者がいなくても対話性のある語学教育を受けることができる。
【００５９】
以上説明したように、この発明によれば、受講者の語学能力に応じた学習内容が設定され、模範的な発声や、模範的な発話動作をユーザ端末１０にて出力させることができる。さらに、受講者の発話動作と模範的な発話動作との差異に応じて、受講者を指導するための適切なアドバイスを、ユーザ端末１０にて出力させることができる。
これにより、効率よく受講者に語学教育を施すことができる。
【００６０】
この発明は、上記実施の形態に限定されず、様々な変形及び応用が可能である。
上記実施の形態では、ネットワーク２０を介してユーザ端末１０とサービスプロバイダ３０とが互いに接続されたオンライン教育システムについて説明した。しかしながら、この発明はこれに限定されるものではなく、例えば１台（スタンドアローン）のコンピュータシステムが、上述したユーザ端末１０とサーバ４０及びＤＢ５０の機能を備えるようにしてもよい。すなわち、１台のコンピュータシステムに設けられたＣＰＵが、所定の記憶装置に記憶されている動作プログラムを実行することにより、上述したユーザ端末１０の制御部１２及びサーバ４０の制御部４１と同様に動作するようにしてもよい。
【００６１】
また、上記実施の形態では、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データの両方を用いて、アドバイス作成部６４がアドバイスを作成するものとして説明した。しかしながら、この発明はこれに限定されず、音声用の差分データと映像用の差分データのいずれか一方のみを用いて、アドバイスを作成するようにしてもよい。すなわち、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと指導情報ＤＢ７３に格納された差分モデルデータとの比較結果、あるいは、映像解析部６３から受け取った映像用の差分データと指導情報ＤＢに格納された差分モデルデータとの比較結果のいずれか一方のみに従って、指導文データ及び映像資料参照データを読み取るようにしてもよい。
【００６２】
コンピュータ又はコンピュータ群を、上述のオンライン教育システムとして機能させ、あるいは、上述の処理を実行させるために必要な動作プログラムの全部又は一部を、記録媒体（ＩＣメモリ、光ディスク、磁気ディスク、光磁気ディスク）等に記録して、配布・流通させてもよい。また、インターネット上のＦＴＰ（Ｆｉｌｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）サーバに上述の動作プログラムを格納しておき、例えば搬送波などに重畳して、コンピュータシステムにダウンロードしてインストール等するようにしてもよい。
【００６３】
【発明の効果】
このように、この発明によれば、効率よく受講者に語学教育を施すことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
【図２】ユーザ端末の構成を示す図である。
【図３】サービスプロバイダの構成を示す図である。
【図４】教材ＤＢに格納されるデータの一構成例を示す図である。
【図５】指導情報ＤＢに格納されるデータの一構成例を示す図である。
【図６】ディスプレイ装置に表示される画面の一例を示す図である。
【図７】サーバが実行する処理を説明するためのフローチャートである。
【符号の説明】
１０　　ユーザ端末
２０　　ネットワーク
３０　　サービスプロバイダ
４０　　サーバ
５０　　データベース（ＤＢ）
６０　　カリキュラム設定部
６１　　教材提供部
６２　　音声解析部
６３　　映像解析部
６４　　アドバイス作成部
６５　　アドバイス提供部
６６　　音声認識部
７０　　教材ＤＢ
７１　　モデル音声ＤＢ
７２　　モデル映像ＤＢ
７３　　指導情報ＤＢ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an education system that supports students' learning using a computer or the like, and more particularly, to an online education system capable of implementing language education for students online.
[0002]
[Prior art]
In order to learn a language, it is important to improve the ability to understand the meaning of each word and sentence after acquiring the ability to recognize the other party's story and pronounce correctly. Conventionally, language learning has been performed by a method of understanding grammar from letters using a book or the like. In recent years, language schools and the like, in which a native instructor whose native language is a specific language, provides guidance according to the proficiency of the student through dialogue with the student, have been run as a business. Furthermore, some of these language schools provide services that enable language education between remote locations using a communication system such as that disclosed in Patent Document 1.
[0003]
[Patent Document 1]
JP-A-11-220707
[0004]
[Problems to be solved by the invention]
In order to learn a language quickly, it is desirable to learn basic skills through a word-by-word or general spoken language under a professional instructor and acquire it in a natural way. However, in order for the instructor to educate face-to-face with the trainee, the time and place must be coordinated and reserved.
In this regard, according to the technology disclosed in Patent Literature 1, it is possible to provide education between remote locations, so that it is possible to reduce the locational restriction in face-to-face education.
[0005]
However, even with the technique disclosed in Patent Document 1, the instructor and the student must stay in front of the terminal at the same time. For this reason, time adjustment and reservation are required. In addition, there is a problem in that the number of instructors must be equal to the number of trainees.
[0006]
The present invention has been made in view of the above circumstances, and has as its object to provide an online education system capable of efficiently providing language education to students.
[0007]
[Means for Solving the Problems]
An online education system according to a first aspect of the present invention is an online education system including a terminal device and a server device connected to each other via a network, and includes a model voice that stores voice data indicating an exemplary voice. A database, a model video database that stores video data obtained by capturing an exemplary utterance operation, a guidance information database that stores a plurality of types of guidance information, and audio data indicating the utterance of the student generated by the terminal device, Compared with the audio data stored in the model audio database, audio analysis means for generating an analysis result indicating the difference, the video data generated by the terminal device by capturing the utterance operation of the student, Compares with the video data stored in the model video database and generates an analysis result indicating the difference. Video analysis means, advice creation means for reading guidance information corresponding to the analysis results of the audio analysis means and the video analysis means from the guidance information database to create advice, and providing the advice created by the advice creation means And an advice providing unit for outputting the information on a terminal device.
[0008]
According to the present invention, a comparison result between audio data indicating a student's utterance and audio data indicating an exemplary utterance stored in the model audio database, and video data of a utterance operation of the student are taken. Then, an advice corresponding to a comparison result with video data of a typical utterance operation stored in the model video database and captured is created. The created advice is output by the terminal device, and the language education can be efficiently provided to the student.
[0009]
An information processing apparatus according to a second aspect of the present invention includes: a voice input unit that captures a utterance of a student; an imaging unit that captures a utterance operation of the student; a voice output unit; a display unit; A model voice database that stores voice data indicating model data, a model video database that stores video data obtained by capturing exemplary speech operations, a guidance information database that stores a plurality of types of guidance information, and stored in the model voice database. Model providing means for reading out the voice data being read and outputting an exemplary voice from the voice output means, and recognizing the voice of the student taken in by the voice input means, and a sentence corresponding to the voice of the student. Voice recognition means for displaying the image data on the display means, and video data created by the photographing of the image capturing means in the model video database. Video analysis means for comparing with the video data being processed and generating an analysis result indicating the difference, and advice creating means for reading guidance information corresponding to the analysis result of the video analysis means from the guidance information database and creating advice And advice providing means for outputting the advice created by the advice creating means by at least one of the audio output means and the display means.
[0010]
According to the present invention, the advice corresponding to the comparison result between the video data of the utterance operation of the student and the video data of the exemplary utterance operation stored in the model video database is created. The created advice is output from at least one of the audio output unit and the display unit. Also, by reading out the voice data stored in the model voice database, a typical voice is output from the voice output means. Further, the utterance of the student is recognized, and a sentence corresponding to the utterance of the student is displayed on the display means.
Thereby, the language education can be efficiently provided to the students.
[0011]
The model providing unit includes a unit that reads out video data stored in the model video database and causes the display unit to display an image of an exemplary utterance operation. An image of the utterance operation by the person may be displayed.
[0012]
An information processing apparatus according to a third aspect of the present invention is an information processing apparatus connected to a terminal device via a network, and includes: a model voice database storing voice data indicating a typical voice; A model video database that stores video data obtained by capturing the utterance operation, a guidance information database that stores a plurality of types of guidance information, and by reading the audio data stored in the model voice database and sending it to the terminal device, Model providing means for outputting an exemplary utterance in the terminal device, and recognizes the utterance of the student from the voice data sent from the terminal device, and displays a sentence corresponding to the utterance of the student on the terminal device. Voice recognition means for causing the video data transmitted from the terminal device to be the video data stored in the model video database. A video analysis means for generating an analysis result indicating the difference, an advice creation means for reading guidance information corresponding to the analysis result of the video analysis means from the guidance information database and creating an advice, and the advice creation means And an advice providing unit that outputs advice for instructing a student at the terminal device by sending the advice created by the above to the terminal device.
[0013]
According to a fourth aspect of the present invention, there is provided an information providing method, wherein a computer system including a model voice database, a model video database, and a guidance information database stores voice data indicating an exemplary utterance in the model voice database. Storing video data of an exemplary utterance operation in the model video database, storing a plurality of types of guidance information in the guidance information database, reading audio data stored in the model voice database, Output a typical utterance, recognize the utterance of the student, display a sentence corresponding to the utterance of the student, video data created by shooting the utterance operation of the student, the model video database Compared with the stored video data, the difference is used as the analysis result, and guidance information corresponding to the analysis result is provided. Create advice read from the serial guidance information database, and outputs the advice was created by the video and / or audio.
[0014]
A program according to a fifth aspect of the present invention is a computer-readable storage medium storing a computer, comprising: a voice input unit that captures a utterance of a student; an imaging unit that captures a utterance operation of the student; a voice output unit; A model voice database that stores voice data indicating utterances, a model video database that stores video data obtained by capturing exemplary voice actions, a guidance information database that stores a plurality of types of guidance information, and stored in the model voice database. Model providing means for reading out the voice data that has been input and outputting an exemplary voice from the voice output means, and recognizing the voice of the student taken in by the voice input means, and responding to the voice of the student. Voice recognition means for displaying a sentence on the display means, and video data created by photographing by the imaging means, A video analysis unit that compares the video data stored in the database and generates an analysis result indicating the difference, and reads guidance information corresponding to the analysis result of the video analysis unit from the guidance information database to create an advice An advice creating unit and an advice providing unit that outputs the advice created by the advice creating unit by at least one of the audio output unit and the display unit.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an online education system according to an embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration of an online education system according to an embodiment of the present invention.
As shown in FIG. 1, the online education system according to the embodiment of the present invention includes a user terminal 10, a network 20, and a service provider 30. The user terminal 10 and the service provider 30 are connected to each other via a network 20, such as a public line or the Internet. In the following, for simplicity of description, it is assumed that there is only one user terminal 10, but this is not a limitation, and a plurality of user terminals 10 may exist.
[0016]
The user terminal 10 is an information processing terminal device represented by, for example, a notebook or desktop personal computer, a PDA (Personal Digital Assistants), or the like.
FIG. 2 is a diagram illustrating a configuration of the user terminal 10.
As shown in FIG. 2, the user terminal 10 includes a user interface 11, a control unit 12, a storage unit 13, and a communication interface 14.
[0017]
The user interface 11 includes, for example, a microphone 11a, a CCD camera 11b, a display device 11c, a keyboard 11d, a mouse 11e, a speaker 11f, and the like. And to output audio.
[0018]
The control unit 12 is configured using a microprocessor such as a CPU (Central Processing Unit) and controls the operation of the entire user terminal 10.
[0019]
The storage unit 13 includes, for example, a semiconductor memory and a hard disk device, and stores an operation program executed by the control unit 12, various setting data, and the like.
[0020]
The communication interface 14 is configured using, for example, a network card, a cable connector, a wireless unit, and the like, and communicates with the service provider 30 via the network 20 under the control of the control unit 12.
[0021]
As shown in FIG. 3, the service provider 30 includes a server 40 and a database (hereinafter, referred to as “DB”) 50.
The server 40 has, for example, a function as an application server and a function as a database server. Note that the server 40 does not need to be physically configured by one computer system, and may be configured by using a plurality of computers.
[0022]
The server 40 accepts access from the user terminal 10 via the network 20 and provides the user of the user terminal 10 who will be a student of the online education with information serving as a teaching material of the online education combining video and audio. Make it possible. In addition, the server 40 receives a command, an audio signal, and a video signal sent from the user terminal 10 and executes various processes for more efficiently implementing online education. As shown in FIG. 3, the server 40 includes a control unit 41, a storage unit 42, and a communication interface 43.
[0023]
The control unit 41 controls the operation of the server 40 as a whole. Here, the control unit 41 reads out and executes an operation program stored in the storage unit 42, a teaching material providing unit 61, an audio analysis unit 62, a video analysis unit 63 , An advice creating unit 64, an advice providing unit 65, and a voice recognition unit 66.
[0024]
The curriculum setting unit 60 performs self-reporting by the user of the user terminal 10, the result of a regularly performed test, or the type of advice provided by the advice providing unit 65 to the student through the user terminal 10. Judge the language skills of the students and set the learning content according to each student.
[0025]
The teaching material providing unit 61 specifies the teaching material data to be read from the teaching material DB 70 included in the DB 50 based on the curriculum set by the curriculum setting unit 60 and the analysis results of the audio analyzing unit 62 and the video analyzing unit 63. The teaching material data read from the teaching material DB 70 by the teaching material providing unit 61 is sent to the user terminal 10 via the network 20 by the communication interface 43.
[0026]
The voice analysis unit 62 extracts a feature amount of a voice signal from voice data transmitted from the user terminal 10 and analyzes voice generated by the student. For example, the audio analysis unit 62 extracts acoustic physical information such as the frequency, amplitude, and pitch of the audio signal by digital signal analysis of the audio data transmitted from the user terminal 10. As a result, speech characteristics of pronunciation, such as intonation, stress, accent, speed, etc., of the speech uttered by the student are extracted.
Further, the voice analysis unit 62 compares the voice feature extracted from the voice data sent from the user terminal 10 with the voice feature extracted from the voice data stored in the model voice DB 71 provided in the DB 50, and indicates the difference. Create difference data for audio.
[0027]
The video analyzing unit 63 extracts a feature amount of a moving image or a still image from the video data transmitted from the user terminal 10 and analyzes the utterance operation of the student. For example, the video analysis unit 63 extracts a motion feature amount based on the shape and color of the lips in the student's utterance operation using the color appearance probability distribution (color histogram) and the color co-occurrence frequency distribution (color correlogram). Here, the color appearance probability distribution is a distribution of the probability that various colors appear in pixels in an image composed of video signals constituting one frame. Further, the color co-occurrence frequency distribution is a distribution of appearance probabilities of color combinations between pixels separated by a certain distance in an image.
Alternatively, the video analysis unit 63 sets a block area in each of the previous frame and the subsequent frame, and uses the block matching method of estimating a motion vector using the center point of the highly correlated block area as a corresponding point in the previous and next frames. The movements of the lips and tongue in the utterance movement of may be analyzed.
In addition, the video analysis unit 63 compares the feature amount extracted from the video data sent from the user terminal 10 with the feature amount extracted from the video data stored in the model video DB 72 included in the DB 50, and indicates a difference therebetween. Create difference data for video.
[0028]
The advice creating unit 64 searches for the guidance information DB 73 included in the DB 50 based on the audio difference data created by the audio analysis unit 62 and the video difference data created by the video analysis unit 63, and It is for creating advice to guide the elderly.
[0029]
The advice providing unit 65 transmits the advice created by the advice creating unit 64 to the user terminal 10 via the network 20 via the communication interface 43, so that the advice can be provided to the student at the user terminal 10. Things.
[0030]
The voice recognition unit 66 includes, for example, a predetermined word dictionary, refers to the word dictionary based on the feature amount of the voice data sent from the user terminal 10, extracts words close to the utterance of the student, and combines them. Thus, utterance sentence data indicating a sentence corresponding to the utterance of the student is created.
[0031]
The storage unit 42 is configured from an external storage device including a semiconductor memory, a hard disk device, an optical disk playback device, and the like. The storage unit 42 stores an operation program executed by the control unit 41 and various setting data. Provide area.
[0032]
The communication interface 43 communicates with the user terminal 10 via the network 20 under the control of the control unit 41, and transmits and receives various types of information.
[0033]
The server 40 accesses the DB 50 as a DB server.
The DB 50 includes a teaching material DB 70, a model audio DB 71, a model video DB 72, and a guidance information DB 73.
[0034]
The learning material DB 70 stores a plurality of types of learning material data provided to the user terminal 10 as the language learning material in association with the language learning level. FIG. 4 is a diagram illustrating a configuration example of data stored in the teaching material DB 70.
Here, the teaching material data includes text data indicating a learning sentence example, which is a sentence of the language to be learned, and moving image data indicating exemplary movements of the tongue and lips when uttering each learning sentence example. ing. Each teaching material data is associated with audio data indicating an exemplary utterance stored in the model audio DB 71 and video data indicating an exemplary utterance operation stored in the model video DB 72. .
[0035]
The model sound DB 71 stores sound data that is sound material indicating an exemplary utterance.
Here, the voice data stored in the model voice DB 71 is created by recording in advance the utterances of each learning sentence example by a native instructor whose native language is the language to be learned.
[0036]
The model video DB 72 stores video data that is video material indicating an exemplary utterance operation.
Here, the video data stored in the model video DB 72 is created by photographing the utterance operation of each learning sentence example by a native instructor in advance.
[0037]
FIG. 5 is a diagram illustrating a configuration example of data stored in the guidance information DB 73.
As shown in FIG. 5, the guidance information DB 73 stores, for each learning sentence example provided as a teaching material, a plurality of types of difference model data, guidance text data indicating a plurality of types of guidance sentences, and video materials displayed for guidance. It is stored in association with video reference data or the like for identification.
[0038]
Here, the difference model data is data indicating a difference between a speech operation that is likely to be erroneous when a student utters each learning sentence example and an exemplary speech operation when a native instructor utters each learning sentence example. is there. For example, by taking a difference between a voice signal when a pronunciation of [r] in each learning sentence is pronounced as [l] and a voice signal indicating a typical utterance, one of the difference model data for voice is obtained. One is configured. In addition, with respect to a video signal generated by capturing an utterance operation in which the pronunciation of [r] in each learning sentence example is pronounced as [l], a video created by capturing a native exemplary utterance operation By taking the difference from the signal, one of the difference model data for video is formed. That is, the difference model data includes difference model data for audio and difference model data for video.
[0039]
The video material reference data is data indicating a reference destination (for example, an address or a video ID) of video data stored in the model video DB 72. That is, the video material reference data allows the advice creating unit 64 to refer to video data indicating a typical utterance operation that is considered appropriate for correcting an error included in the utterance operation of the student.
[0040]
Hereinafter, the operation of the online education system according to the embodiment of the present invention will be described.
In this online education system, a user of the user terminal 10 who is a student of the online education inputs a command from a keyboard 11d provided in a user interface 11 of the user terminal 10, or clicks an icon by operating a mouse 11e. For example, a command to start language learning is input.
When a command to start language learning is input, the control unit 12 reads out an operation program for online education from the storage unit 13 and executes it. The control unit 12 displays, for example, a screen as shown in FIG. 6 on the display device 11c included in the user interface 11 according to the operation program read from the storage unit 13.
[0041]
The screen shown in FIG. 6 includes a display area Da in which a plurality of still images of the student's face are displayed, a display area Db in which a plurality of still images indicating the movement of the lips are displayed, and voices of the student. And a display area Dc in which the recognized result is displayed in text. The screen shown in FIG. 6 is provided with a display area Dd for displaying a waveform of a voice input from the microphone 11a, a display area De for displaying a learning sentence example as a teaching material and a message as an advice, and the like. .
[0042]
The still image displayed in the display area Da is created by the control unit 12 extracting a frame image at a predetermined timing from a moving image captured by the CCD camera 11b. The still image displayed in the display area Db indicates the lip movement in the student's utterance operation or the lip movement in the exemplary utterance operation.
[0043]
Further, when executing the operation program for online education, the control unit 12 accesses the service provider 30 via the network 20 by the communication interface 14 and requests the start of language learning.
[0044]
It is assumed that the service provider 30 receives a learning start request from the user terminal 10. In this case, in the server 40, for example, the control unit 41 reads out the application program for online education from the storage unit 42 and executes it, thereby starting the processing shown in the flowchart of FIG.
[0045]
When the process shown in the flowchart of FIG. 7 is started, the control unit 41 sets learning contents according to each student by the curriculum setting unit 60 (step S1). At this time, the curriculum setting unit 60 determines the language ability of the student based on the self-report of the student, the result of a test that is regularly performed, or the type of advice already provided at the user terminal 10. Judgment is made and learning contents are set according to each student. The learning content set by the curriculum setting unit 60 is notified to the teaching material providing unit 61.
[0046]
The learning material providing unit 61 searches the learning material DB 70 to read the learning material data corresponding to the learning content notified from the curriculum setting unit 60 (Step S2). The teaching material data read by the teaching material providing unit 61 is sent to the user terminal 10 via the network 20 by the communication interface 43 (Step S3). At this time, the teaching material providing unit 61 may read out audio data indicating an exemplary utterance corresponding to the teaching material data sent to the user terminal 10 from the model audio DB 71 and send it to the user terminal 10 together with the teaching material data. Further, the teaching material providing unit 61 may read video data indicating an exemplary utterance operation corresponding to the teaching material data sent to the user terminal 10 from the model video DB 72 and send the video data to the user terminal 10 together with the teaching material data.
[0047]
In the user terminal 10, the control unit 12 controls the user interface 11, so that information serving as a teaching material is provided to the student in accordance with the teaching material data transmitted from the service provider 30. For example, a learning sentence example corresponding to text data in the teaching material data is displayed in the display area De of the screen shown in FIG. Further, the movement of the tongue and the lips in the exemplary utterance operation is displayed as a still image for each predetermined frame in the display area Db of the screen shown in FIG. 6 corresponding to the moving image data in the teaching material data. .
[0048]
Further, when receiving the voice data indicating the exemplary utterance together with the teaching material data, the control unit 12 may display the waveform of the voice indicated by the voice data in the display area Dd. In addition, the control unit 12 may cause the speaker 11f to output an exemplary utterance.
Further, when the control unit 12 receives video data indicating an exemplary utterance operation together with the teaching material data, the control unit 12 may cause the video indicated by the video data to be displayed in the display area Da, the display area Db, or the like. At this time, the model of the utterance operation can be presented to the student at the user terminal 10 by outputting the exemplary utterance and the image indicating the exemplary utterance operation in cooperation with each other.
[0049]
In the user terminal 10, when a user of the user terminal 10 as a student performs an utterance operation, a voice is captured by a microphone 11a provided in the user interface 11, and a video is captured by photographing with a CCD camera 11b. The control unit 12 controls the display device 11c to display the waveform of the sound input from the microphone 11a in the display area Dd. The control unit 12 controls the display device 11c to display a plurality of still images of the student's face in the display area Da, and shows the movement of the lips in the student's utterance operation in the display area Db. Display multiple still images.
[0050]
The control unit 12 of the user terminal 10 encodes audio input from the microphone 11a to create audio data, and digitizes an image captured by shooting with the CCD camera 11b to create image data. The audio data and the video data thus created are sent to the service provider 30 via the network 20 by the communication interface 14.
[0051]
The server 40, which has received the audio data and the video data from the user terminal 10, analyzes the voice emitted by the student by the audio analysis unit 62 of the control unit 41, and the video analysis unit 63 analyzes the video captured by the CCD camera 11b. Analysis is performed (step S4).
More specifically, the voice analysis unit 62 compares the voice feature extracted from the voice data sent from the user terminal 10 with the voice feature extracted from the voice data corresponding to the typical utterance read from the model voice DB 71. Then, audio difference data indicating the difference is created. In addition, the video analysis unit 63 extracts feature amounts indicating the shape, color, and movement of the lips from the video data transmitted from the user terminal 10. The video analysis unit 63 compares the extracted feature amount with the feature amount extracted from the video data corresponding to the exemplary utterance operation read from the model video DB 72 for each frame, and video difference data indicating the difference. Create The difference data for audio created by the audio analysis unit 62 and the difference data for video created by the video analysis unit 63 are sent to the advice creation unit 64.
[0052]
Further, the voice recognition unit 66 recognizes the utterance of the student using the voice data transmitted from the user terminal 10 (step S5).
More specifically, the voice recognition unit 66 extracts a feature amount of the voice data sent from the user terminal 10 and combines a word close to the utterance of the student to generate a sentence corresponding to the utterance operation of the student. The utterance sentence data shown is created. The utterance sentence data created by the voice recognition unit 66 is sent to the user terminal 10 via the network 20 by the communication interface 43.
The user terminal 10 that has received the uttered sentence data causes the control unit 12 to control the display device 11c of the user interface 11 so that the sentence indicated by the uttered sentence data is displayed as text in the display area Dc of the screen illustrated in FIG. .
[0053]
The advice creating unit 64 creates advice for instructing the student based on the difference data received from the audio analyzing unit 62 and the video analyzing unit 63 (Step S6).
More specifically, the advice creating unit 64 compares the difference data for audio received from the audio analysis unit 62 and the difference data for video received from the video analysis unit 63 with the difference data stored in the guidance information DB 73, respectively. Compare with model data. At this time, the advice creating unit 64 sequentially reads a plurality of types of difference model data classified as learning sentence examples of the teaching material data sent to the user terminal 10 in step S2 from the guidance information DB 73. The difference model data for speech included in the read difference model data is compared with the difference data for speech created by the speech analysis unit 62. The video difference model data included in the read difference model data is compared with the video difference data created by the video analysis unit 63.
[0054]
As a result of this comparison, the advice creating unit 64 specifies the difference model data that has the closest (small difference) to the difference data received from the audio analysis unit 62 and the video analysis unit 63. The advice creating unit 64 reads the instruction sentence data and the video material reference data stored in association with the specified difference model data. The advice creating unit 64 reads out the video data from the reference destination indicated in the video material reference data, that is, the model video DB 72, and configures the advice in combination with the guidance sentence data.
If the difference data for audio and video is within a predetermined appropriate range, the advice creating unit 64 creates a message such as “Perfect !!” as advice, for example.
[0055]
The advice created by the advice creating unit 64 is sent to the advice providing unit 65.
The advice providing unit 65 sends the advice created by the advice creating unit 64 to the user terminal 10 via the network 20 by the communication interface 43 (Step S7).
[0056]
The control unit 12 controls the user interface 11 of the user terminal 10 that has received the advice including the instruction sentence data and the video data indicating the exemplary utterance operation, and outputs the advice for instructing the student.
For example, the control unit 12 controls the display device 11c to display the guidance sentence indicated by the guidance sentence data in the display area De of the screen illustrated in FIG. Further, the control unit 12 may control the display device 11c to display an image of a typical utterance operation indicated by the image data included in the advice in the display area Da, the display area Db, or the like.
Further, the control unit 12 may output the guidance sentence indicated by the guidance sentence data as a voice by controlling the speaker 11f.
[0057]
Thereafter, the process returns to step S1.
That is, the curriculum setting unit 60 determines the student's language ability based on the type of advice sent by the advice providing unit 65 to the user terminal 10 in step S7, and determines the learning content according to the student's language ability. Set.
[0058]
When the student operates the keyboard 11d or the mouse 11e to input a command to end the language learning at the user terminal 10, a request to end the learning is sent from the user terminal 10 to the service provider 30. Then, the processing shown in the flowchart of FIG. 6 is terminated.
Thus, by operating the user terminal 10 to access the service provider 30 at a desired time, the learner can receive interactive language education without a leader.
[0059]
As described above, according to the present invention, the learning content according to the student's language ability is set, and the user terminal 10 can output an exemplary utterance and an exemplary utterance operation. Furthermore, appropriate advice for instructing the student can be output from the user terminal 10 according to the difference between the student's utterance operation and the exemplary utterance operation.
Thereby, the language education can be efficiently provided to the students.
[0060]
The present invention is not limited to the above embodiment, and various modifications and applications are possible.
In the above embodiment, the online education system in which the user terminal 10 and the service provider 30 are connected to each other via the network 20 has been described. However, the present invention is not limited to this. For example, one (stand-alone) computer system may have the functions of the user terminal 10, the server 40, and the DB 50 described above. That is, the CPU provided in one computer system executes the operation program stored in the predetermined storage device, and thereby the same as the control unit 12 of the user terminal 10 and the control unit 41 of the server 40 described above. You may make it operate.
[0061]
Further, in the above embodiment, the advice creation unit 64 creates advice using both the audio difference data created by the audio analysis unit 62 and the video difference data created by the video analysis unit 63. It was explained as. However, the present invention is not limited to this, and the advice may be created using only one of the difference data for audio and the difference data for video. That is, the advice creation unit 64 compares the difference data for audio received from the audio analysis unit 62 with the difference model data stored in the guidance information DB 73, or the difference data for video received from the video analysis unit 63. The instruction sentence data and the video material reference data may be read according to only one of the comparison result between the instruction sentence data and the difference model data stored in the instruction information DB.
[0062]
A computer or a group of computers functions as the above-mentioned online education system, or all or a part of an operation program necessary for executing the above-mentioned processing is stored in a recording medium (IC memory, optical disk, magnetic disk, magneto-optical disk ) May be recorded and distributed / distributed. Further, the above-described operation program may be stored in an FTP (File Transfer Protocol) server on the Internet, and may be superimposed on, for example, a carrier wave, downloaded to a computer system, and installed.
[0063]
【The invention's effect】
As described above, according to the present invention, language education can be efficiently provided to a student.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an online education system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a user terminal.
FIG. 3 is a diagram showing a configuration of a service provider.
FIG. 4 is a diagram illustrating a configuration example of data stored in a teaching material DB;
FIG. 5 is a diagram illustrating a configuration example of data stored in a guidance information DB.
FIG. 6 is a diagram illustrating an example of a screen displayed on a display device.
FIG. 7 is a flowchart illustrating a process executed by a server.
[Explanation of symbols]
10 User terminal
20 Network
30 Service Provider
40 servers
50 Database (DB)
60 Curriculum setting section
61 Teaching Material Provision Department
62 Voice Analysis Unit
63 Video analysis unit
64 Advice Creation Department
65 Advice Provision Department
66 Voice Recognition Unit
70 Teaching Material DB
71 Model Voice DB
72 Model Video DB
73 Guidance Information DB

Claims

An online education system including a terminal device and a server device connected to each other via a network,
A model voice database storing voice data indicating exemplary utterances,
A model video database that stores video data of exemplary speech actions,
A guidance information database storing a plurality of types of guidance information,
Speech analysis means for comparing the speech data indicating the utterance of the student generated by the terminal device with the speech data stored in the model speech database, and generating an analysis result indicating the difference,
Video analysis means for comparing the video data generated by the terminal device by capturing the utterance operation of the student with the video data stored in the model video database, and generating an analysis result indicating the difference,
Advice creation means for creating guidance by reading guidance information corresponding to the analysis result of the audio analysis means and the video analysis means from the guidance information database,
An online education system comprising: an advice providing unit that outputs the advice created by the advice creating unit to the terminal device.

Voice input means for capturing the utterance of the student,
Imaging means for photographing the utterance action of the student;
Audio output means;
Display means;
A model voice database storing voice data indicating exemplary utterances,
A model video database that stores video data of exemplary speech actions,
A guidance information database storing a plurality of types of guidance information,
A model providing unit that reads out audio data stored in the model audio database and outputs an exemplary utterance from the audio output unit;
Voice recognition means for recognizing the utterance of the student taken in by the voice input means and displaying a sentence corresponding to the utterance of the student on the display means;
Video analysis means for comparing the video data created by the imaging of the imaging means with the video data stored in the model video database and generating an analysis result indicating the difference,
Advice creation means for creating guidance by reading guidance information corresponding to the analysis result of the video analysis means from the guidance information database;
An information processing apparatus comprising: an advice providing unit configured to output an advice created by the advice creating unit by at least one of the voice output unit and the display unit.

The model providing means includes means for reading out video data stored in the model video database and displaying an image of an exemplary utterance operation on the display means,
The information processing apparatus according to claim 2, wherein the display unit displays an image of the utterance operation of the student photographed by the imaging unit.

An information processing device connected to a terminal device via a network,
A model voice database storing voice data indicating exemplary voices,
A model video database that stores video data of exemplary voice actions,
A guidance information database storing a plurality of types of guidance information,
A model providing unit that reads out the audio data stored in the model audio database and sends it to the terminal device, so that the terminal device outputs an exemplary utterance,
Voice recognition means for recognizing the utterance of the student from the voice data sent from the terminal device, and displaying a sentence corresponding to the utterance of the student on the terminal device,
Video analysis means for comparing the video data sent from the terminal device with video data stored in the model video database and generating an analysis result indicating the difference,
Advice creation means for creating guidance by reading guidance information corresponding to the analysis result of the video analysis means from the guidance information database;
An information processing apparatus, comprising: an advice providing unit configured to output advice for instructing a student on the terminal device by sending the advice created by the advice creating unit to the terminal device.

A computer system comprising a model audio database, a model video database, and a guidance information database,
Speech data indicating an exemplary utterance is stored in the model speech database,
Storing video data of an exemplary utterance operation in the model video database,
Store a plurality of types of guidance information in the guidance information database,
Read the voice data stored in the model voice database, output an exemplary utterance,
Recognize the student's utterance, display the text corresponding to the student's utterance,
The video data created by capturing the student's utterance operation is compared with the video data stored in the model video database, and the difference is used as an analysis result.
The guidance information corresponding to the analysis result is read from the guidance information database to create an advice,
An information providing method characterized by outputting the created advice in video and / or audio.

Computer
Voice input means for capturing the utterance of the student,
Imaging means for photographing the utterance action of the student;
Audio output means;
Display means;
A model voice database storing voice data indicating exemplary utterances,
A model video database that stores video data of exemplary speech actions,
A guidance information database storing a plurality of types of guidance information,
A model providing unit that reads out audio data stored in the model audio database and outputs an exemplary utterance from the audio output unit;
Voice recognition means for recognizing the utterance of the student taken in by the voice input means and displaying a sentence corresponding to the utterance of the student on the display means;
Video analysis means for comparing the video data created by the imaging of the imaging means with the video data stored in the model video database and generating an analysis result indicating the difference,
Advice creation means for creating guidance by reading guidance information corresponding to the analysis result of the video analysis means from the guidance information database;
A program for functioning as advice providing means for outputting the advice created by the advice creating means by at least one of the audio output means and the display means.