JP2005309172A - 学習支援システム - Google Patents

Abstract

【課題】 教材波形と学習者波形の時間軸方向のずれを低減できる学習支援システムを提供する。
【解決手段】 波形表示処理部１０３は、教材波形情報と学習者波形情報とを比較するための波形比較画像を生成する。この際、波形表示処理部１０３は、教材の再生速度の変更を受け付け、受け付けられた再生速度に応じて、波形比較画像中の学習者波形を時間軸方向に変形する。また、波形表示処理部１０３は、学習者波形情報から検出された発声開始点を用いて、発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトする。
【選択図】 図１

Description

本発明は、音声からピッチ波形および音圧波形を抽出して表示する機能を備えた学習支援システムに関する。

従来より、マルチメディア技術を応用した語学学習用の学習支援システムが提案されている（例えば特許文献１参照）。従来の学習支援システムは、視覚的に教材の音声と学習者の音声を比較するための便利な機能として、音圧波形およびピッチ波形の表示機能を備えている。この場合、教材の音声から音圧波形およびピッチ波形が抽出される。学習者の入力音声からも音圧波形およびピッチ波形が抽出される。これらの波形が、学習者の操作に従って画面に表示される。

従来の学習支援システムの一例を挙げると、音圧波形およびピッチ波形は以下のようにして表示される。まず、教材の音声ファイルが読み込まれ、教材の音圧波形が画像中の上段領域に表示される。次に学習者が発声し、音声が録音され、録音音声の音圧波形が画像中の下段領域に表示される。上段領域および下段領域に対して、比較したい部分の範囲が指定される。次に、ピッチ抽出波形画面を開くためのボタン操作を受け付けると、ピッチ抽出波形画面が開く。そして、教材音声および学習者音声の指定範囲のピッチ波形が、上段および下段に分かれて表示される。

学習者は、スピーチ学習において、上記の機能を利用し、波形比較画像を見て、教材の波形と自分の波形を比較し、自分の波形を教材の波形に近づける。このような学習を通じて、語学の上達を促すことができる。
特開２００２−２３６１３号公報（第３−４ページ、図１）

しかしながら、従来の学習支援システムは、下記のように、教材と学習者の波形が時間軸方向にずれてしまい、両波形の比較が容易でないという問題があった。

学習支援システムにおいて、教材の再生速度を変更し、学習者の発声の速度も変えたとする。例えば、再生速度が１／２倍に設定され、学習者も教材に合わせてゆっくり話したとする。このような場合、マイクの入力音声から得られる波形画像と、教材の波形画像との時間軸方向のずれが著しくなり、教材波形と学習者波形の比較が困難になることがある。

また、学習者が発声を開始するタイミングに応じて、学習者の波形の時間軸方向の位置がずれる。このずれが大きくなると、教材波形と学習者波形の比較が容易でなくなる。

また、学習者が、教材の途中のある部分の波形を練習したいときに、該当部分のみを発声したとする。このような場合、波形比較画像中では、教材波形と学習者波形が時間軸方向にずれてしまい、教材波形と学習者波形の比較が容易でなくなる。

本発明は上記課題を解決するためになされたものであり、その目的は、教材波形と学習者波形の時間軸方向のずれを低減できる学習支援システムを提供することにある。

本発明の学習支援システムは、教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成する比較画像生成手段と、前記教材の再生速度の変更を受け付ける可変速再生受付手段とを備え、前記比較画像生成手段は、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形する変形手段と有している。

この構成により、教材の再生速度に応じて、波形比較画像中の学習者波形を時間軸方向に変形する構成を設けたので、教材の再生速度が変更されても、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本発明の学習支援システムは、学習者波形情報における発声開始点を検出する開始点検出手段と、前記比較画像生成手段に設けられ、前記開始点検出手段により検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするシフト手段とを備えている。

この構成により、学習者波形情報中の発声開始点が検出され、発声開始点に基づいて学習者波形が時間軸方向にシフトされるので、学習者の発声開始が教材とずれたとしても、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本発明の学習支援システムは、学習者波形情報における発声終了点を検出する終了点検出手段と、学習者波形が前記波形基準位置から始まって波形描画領域の終端で終わるように学習者波形を変形する手段とを備えている。この構成により、教材と学習者の波形の比較がさらに容易になる。

また、本発明の学習支援システムは、前記教材波形情報の描画開始位置の指定を受け付ける開始位置受付手段と、前記比較画像生成手段に設けられ、前記開始位置受付手段により受け付けられた前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整する描画範囲調整手段とを備えている。

この構成により、教材の一部分を学習者が発声するときでも、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本発明の学習支援システムにおいて、前記開始位置受付手段は、さらに、学習者の録音音声から得られた前記学習者波形情報の描画開始位置の指定を受け付け、前記描画範囲調整手段は、前記学習者波形情報の描画開始位置から前記波形比較画像中の学習者波形が開始するように時間軸方向の描画範囲を調整する。この構成により、録音済みの学習者音声から波形比較画像を作るときにも、教材波形と学習者波形の時間軸方向のずれを効果的に低減できる。

また、本発明の学習支援システムは、前記教材の再生速度を変更したときに、録音された前記学習者波形情報を前記教材波形情報とともに再生する場合に、前記教材波形の再生箇所を示すカーソルと、前記学習者波形の再生箇所を示すカーソルとを波形比較画像中に表示する波形比較画像生成処理を行うように構成されている。本システムは、両カーソルが同じ速度で移動する波形比較画像を生成するように構成され、したがって、教材の再生速度が変更されているときでも、教材波形と学習者波形にカーソルが好適に示され、教材波形と学習者波形の比較が容易になる。

また、本発明の音声情報処理方法は、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、前記教材の再生速度の変更を受け付けるステップと、前記波形比較画像を生成するときに、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形するステップとを備えている。この構成によっても、上述の本発明の利点が得られる。

また、本発明の別態様の音声情報処理方法は、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、学習者波形情報における発声開始点を検出するステップと、前記波形比較画像を生成するときに、検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするステップとを備えている。この構成によっても、上述の本発明の利点が得られる。

また、本発明の別態様の音声情報処理方法は、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、前記教材波形情報の描画開始位置の指定を受け付けるステップと、前記波形比較画像を生成するときに、前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整するステップとを備えている。この構成によっても、上述の本発明の利点が得られる。

また、本発明の音声情報処理プログラムは、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、前記教材の再生速度の変更を受け付けるステップと、前記波形比較画像を生成するときに、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形するステップとをコンピュータに実行させる。この構成によっても、上述の本発明の利点が得られる。

また、本発明の別態様の音声情報処理プログラムは、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、学習者波形情報における発声開始点を検出するステップと、前記波形比較画像を生成するときに、検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするステップとをコンピュータに実行させる。この構成によっても、上述の本発明の利点が得られる。

また、本発明の別態様の音声情報処理プログラムは、教材の音声パラメータの波形である教材波形情報を取得するステップと、学習者の音声パラメータの波形である学習者波形情報を取得するステップと、前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、前記教材波形情報の描画開始位置の指定を受け付けるステップと、前記波形比較画像を生成するときに、前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整するステップとをコンピュータに実行させる。この構成によっても、上述の本発明の利点が得られる。

本発明は、教材の再生速度などに応じて、波形比較画像を時間軸方向に調整する構成を設けたので、教材波形と学習者波形の時間軸方向のずれを低減でき、波形の比較を容易にできるという効果を有する学習支援システムを提供することができるものである。

以下、本発明の実施の形態の学習支援システムについて、図面を用いて説明する。

本発明の実施の形態の学習支援システムを図１に示す。以下の説明では、教材の音声の波形を教材波形といい、学習者の音声の波形を学習者波形という。波形としては、ピッチ波形と音圧波形が用いられる。また、教材と学習者の波形を比較する画像を波形比較画像という。

図１において、学習支援システム１は、学習者端末１０とサーバ端末２０を備え、これらはネットワークで接続されている。図示されないが、同様の構成を有する複数の学習者端末１０がネットワークに接続されている。学習者端末１０およびサーバ端末２０はコンピュータで構成され、各端末の処理機能は、コンピュータにインストールされたプログラムをＣＰＵが実行することによって実現される。ネットワークは、学校内等のＬＡＮでもよく、また、インターネットでもよい。本システムをＷｅｂ上で稼働することで、ｅ−ｌｅａｒｎｉｎｇ上で、発音矯正可能なシステムを実現できる。

また、図示されないが、サーバ端末２０を制御する先生用の端末もネットワークに接続されている。先生用の端末が設けられず、サーバ端末２０が直接先生によって操作されてもよい。

図１に示すように、学習者端末１０は、音声入出力部１０１、音声抽出演算処理部１０２、波形表示処理部１０３、表示部１０４、認証処理部１０５、音声関連情報記憶部１０６、音圧計算処理部１０７、音声教材データ記憶部１０８、学習者音声記録部１０９および操作部１１０で構成されている。

音声入出力部１０１は、ヘッドホンおよびマイクで構成されており、教材の音声を出力し、かつ、学習者の音声を入力する機能をもつ。

音声抽出演算処理部１０２は、音声からピッチを抽出する演算機能を有すると共に、音声教材データ記憶部１０８、音声関連情報記憶部１０６および学習者音声記録部１０９に関するデータ入出力の制御機能をもつ。ピッチ抽出演算機能は、ＦＦＴまたは自己相関等の処理を行うように構成されている。ピッチは、教材音声と学習者音声の両方から抽出される。また、音声抽出演算処理部１０２は、教材音声を音声入出力部１０１のヘッドホンに供給し、音声入出力部１０１のマイクに入力された学習者音声を取得する。

音圧計算処理部１０７は、音声抽出演算処理部１０２から供給された音声データから音圧を算出する。音圧も教材音声と学習者音声の両方から算出される。波形表示処理部１０３は、ピッチ波形および音圧波形を表示するための処理を行う。波形表示処理部１０３は、音声抽出演算処理部１０２から供給されるピッチを用いて、ピッチ波形の画像を生成し、また、音圧計算処理部１０７から供給される音圧を用いて、音圧波形の画像を生成する。ピッチ波形および音圧波形は表示部１０４に表示される。表示部１０４は、ディスプレイで構成されている。

また、音声教材データ記憶部１０８には、音声教材データが格納されている。音声教材データは、サーバ端末２０の音声教材データ記憶部２０４から学習者端末１０に供給され、音声抽出演算処理部１０２によって音声教材データ記憶部１０８に格納される。また、学習者音声記録部１０９には、音声入出力部１０１に入力された学習者音声が、音声ファイルのかたちで格納される。

また、音声関連情報記憶部１０６には、学習者の過去の学習で得られた情報（以下、音声関連情報という）が記憶される。音声関連情報には、「音圧（音声の強度）」、「ピッチ帯域（平均値、最高値、最低値）」、「母音および子音の周波数特性」、「マイク入力レベル」、「学習者評価結果」などが含まれる。これらは、学習者ごとの情報であり、使用環境に依存した情報である。学習者評価結果は、教材波形と学習者波形の差分の計測値の情報である。音声関連情報は、下記の認証処理部１０５を介してサーバ端末２０から入手され、音声抽出演算処理部１０２により音声関連情報記憶部１０６に書き込まれる。そして、学習者端末１０を使った学習を反映するように、音声関連情報が音声抽出演算処理部１０２により更新される。

認証処理部１０５は、認証要求をサーバ端末２０の認証処理部２０１に送り、サーバ端末２０から認証結果を受信する。そして、認証処理部１０５は、認証対象の学習者の音声関連情報をサーバ端末２０から入手し、音声抽出演算処理部１０２に供給する。

また、操作部１１０は、キーボード、マウス等のデバイスで構成されており、学習者の各種の操作を入力する。学習者の指示は、操作部１１０から入力され、関連する処理部へと伝えられる。

前述したように、学習者端末１０は、コンピュータで構成されている。そして、上記の各種処理部を実現するプログラムが用意され、それらプログラムがコンピュータにインストールされている。そして、ＣＰＵがメモリ等の構成を用いてプログラムを実行し、これにより学習者端末１０が実現される。

サーバ端末２０は、図示のように、認証処理部２０１、音声関連情報データベース２０２、学習者情報データベース２０３および音声教材データベース２０４を備えている。音声教材データベース２０４には、各種の音声教材が格納されている。音声教材は、ネットワークを経由して学習者端末１０に配信される。

学習者情報データベース２０３には、各学習者の情報が格納されており、学習者の情報は、氏名、番号、認証のためのＩＤおよびパスワードを含んでいる。さらに、学習者情報データベース２０３は、各学習者の出席情報および学習履歴情報を記憶している。また、音声関連情報データベース２０２には、各学習者の音声関連情報が格納されている。音声関連情報の内容は、学習者端末１０の音声関連情報記憶部１０６に関連して説明した通りである。

認証処理部２０１は、学習者端末１０から認証要求を受信し、認証処理を行い、認証結果を学習者端末１０に送信する。認証が成功したとき、認証処理部２０１は、音声関連情報データベース２０２および学習者情報データベース２０３に格納された情報を学習者端末１０に提供する。

サーバ端末２０も、前述したように、コンピュータで構成されている。そして、認証処理部２０１および他の情報提供機能を実現するプログラムが用意され、それらプログラムがコンピュータにインストールされている。そして、ＣＰＵがメモリ等の構成を用いてプログラムを実行し、これによりサーバ端末２０が実現される。

学習支援システム１の全体的な動作の例について説明すると、図２に示すように、システム起動時は、認証処理が行われる。ＩＤ、パスワード等の情報が操作部１１０に入力されると、認証処理部１０５からサーバ端末２０の認証処理部２０１に認証要求が送られる（Ｓ１０）。認証処理部２０１は、学習者情報データベース２０３を参照して認証処理を行い、認証結果を学習者端末１０の認証処理部１０５へ通知する（Ｓ１２）。

認証が成功すると、サーバ端末２０の認証処理部２０１は、音声関連情報データベース２０２に記憶された音声関連情報を、学習者端末１０の認証処理部１０５へ送信する（Ｓ１４）。ここでは、認証対象になった学習者の情報が送られる。そして、音声抽出演算処理部１０２が認証処理部１０５から音声関連情報のデータを取得して、音声関連情報記憶部１０６に保存する（Ｓ１６）。さらに、音声抽出演算処理部１０２は、音声関連情報記憶部１０６から音声関連情報を読み出す。読み出された情報は、学習者端末１０での処理に必要に応じて利用される。

認証処理後の学習時の動作例としては、サーバ端末２０が、音声教材データベース２０４に記憶された音声教材データを読み出して、学習者端末１０に供給する。音声教材データは、音声抽出演算処理部１０２により音声教材データ記憶部１０８に記憶される。音声抽出演算処理部１０２は、音声教材データ記憶部１０８または音声教材データベース２０４から得た教材の音声を音声入出力部１０１に供給する。

教材音声が音声入出力部１０１から出力され、そして、学習者音声が音声入出力部１０１に入力され、音声抽出演算処理部１０２に供給される。音声抽出演算処理部１０２は、学習者音声を学習者音声記録部１０９に保存する。また、音声抽出演算処理部１０２は、学習者音声からピッチを抽出する。また、音声抽出演算処理部１０２は、教材音声からもピッチを抽出する。抽出されたピッチは、波形表示処理部１０３に送られる。

波形表示処理部１０３では、ピッチ波形の画像が生成される。このとき、教材と学習者のピッチ波形を一画面に表示する波形比較画像が生成される。そして、ピッチ波形比較画像が表示部１０４に表示される。

また、教材および学習者の音声データは、音声抽出演算処理部１０２から音圧計算処理部１０７に供給される。音圧計算処理部１０７では、音声から音圧が計算される。音圧の情報も波形表示処理部１０３に送られ、そして、波形表示処理部１０３では音圧波形の画像が生成される。ピッチ波形と同様に、教材と学習者の音圧波形を一画面に表示する波形比較画像が生成される。音圧波形比較画像も表示部１０４に表示される。

システム終了時の処理としては、図３に示すように、音声抽出演算処理部１０２が、音声関連情報記憶部１０６から音声関連情報を読み出し、認証処理部１０５へ供給する（Ｓ２０）。音声関連情報は、認証処理部１０５からサーバ端末２０の認証処理部２０１へ送られる（Ｓ２２）。そして、認証処理部２０１が、音声関連情報データベース２０２に音声関連情報のデータを保存する。

以上のように、学習支援システム１では、音圧およびピッチについて、教材および学習者の波形を比較する波形比較画像が表示される。これにより、学習者は、教材と自分の発音の違いを視覚的に認識しながら、発音を矯正することができ、そして、ネイティブスピーカに近い発話技術を獲得することができる。

また、学習支援システム１では、複数の学習者の音声関連情報がサーバ端末２０に一括保存される。そして、音声関連情報は、認証機能と連動して、学習者端末１０に提供される。すなわち、ログイン時に、ログインを行った学習者の音声関連情報が、学習者端末１０にダウンロードされる。学習者端末１０では音声関連情報が使用される。音声関連情報は例えば上記の波形表示に使われる。そして、ログアウト時には音声関連情報が更新される。例えば、今回の学習の音声関連情報と、過去の学習の音声関連情報とが比較され、差分が求められる。この差分の情報が、サーバ端末２０にアップロードされ、保存される。

したがって、学習者は、どの学習者端末１０で学習をするときでも、自分の音声関連情報を利用した学習ができる。学習者ごとの特性に応じた機器設定作業を少なくできる。また、音声関連情報を更新していくので、より正確な音声波形表示へと音声関連情報が寄与できる。

この点に関し、従来システムでも、学習者の音声特性に合わせた波形を表示するためのパラメータ設定機能が備えられている。しかし、どのパラメータをどのように設定すると、学習者自身の特性に合った適切な波形を表示できるかは、学習者には分かり難い。また、仮にパラメータを適切に設定できたとしても、その日に使う学習者端末１０が変わるたびにパラメータの再設定するという煩雑な作業が求められる。これに対して、本実施の形態では、学習者関連情報がデータベースに一括保存され、学習者端末１０にダウンロードされる。学習者関連情報を使って学習者に適した端末機能の設定が可能になり、また、どの学習者端末１０を使うときでも学習者関連情報を反映できる。

図４は、波形表示処理部１０３を示している。データ蓄積処理部１０３１は、音声抽出演算処理部１０２から教材および学習者のピッチ波形の情報を取得する。また、データ蓄積処理部１０３１は、音圧計算処理部１０７から教材および学習者の音圧波形の情報を取得する。ピッチ波形および音圧波形の情報は、メモリ１０３５に書き込まれる。また、データ蓄積処理部１０３１は、音圧、ピッチ帯域に加えて、母音の周波数特性、マイク入力レベルといった情報を取得し、メモリ１０３５に書き込む。

波形表示処理部１０３は、メモリ１０３５を使用し、データ蓄積処理部１０３１が取得したピッチ波形および音圧波形の情報を基に、前述したように、表示部１０４に表示されるべき波形画像を生成する。波形表示処理部１０３において、ピッチ抽出波形描画位置処理部１０３２は、ピッチ波形（ピッチ抽出波形）の描画位置を設定および調整する処理を行う。音圧波形描画位置処理部１０３３は、音圧波形の描画位置を設定および調整する処理を行う。時間軸波形描画位置処理部１０３４は、ピッチ波形および音圧波形の時間軸方向の描画位置を設定および調整する処理を行う。これら処理部により、ピッチ波形および音圧波形は、波形高さ方向および時間軸方向に変形される。

また、波形表示処理部１０３は、学習者により操作部１１０に入力された可変速再生設定パラメータを受け付ける。可変速再生設定パラメータは、教材の可変速再生モードでの再生速度を表すパラメータである。これにより、教材の再生速度の変更が受け付けられる。可変速再生設定パラメータは、メモリ１０３５に書き込まれる。

図５は、音声抽出演算処理部１０２の構成を示している。音声抽出演算処理部１０２は、既に説明したように、音声入出力部１０１または学習者音声記録部１０９から学習者音声を取得し、また、音声教材データ記憶部１０８および音声教材データベース２０４から教材音声を取得する。

音声抽出演算処理部１０２において、Ａ／Ｄ変換部１０２１は、入力音声をデジタルデータに変換する。ピッチ抽出処理部１０２２は、音声データにＦＦＴ等の解析処理を施してピッチ波形の情報を抽出する。ピッチはステップ単位で抽出される。１ステップの時間の長さは予め設定されている。平均化処理部１０２３は、ピッチ波形に平均化処理を施し、ピッチ波形をなめらかにする。さらに、継続時間カウント処理部１０２４は、ピッチの継続時間をカウントする。ここでは、ピッチが継続するときのステップの数がカウントされる。

Ａ／Ｄ変換部１０２１で変換された音声データは、音圧計算処理部１０７および音声再生処理部１０２５にも供給される。音圧計算処理部１０７では、前述したように、音圧が計算される。また、音声再生処理部１０２５は、音声を再生する処理を行う。再生された音声は、音声再生処理部１０２５から音声入出力部１０１に供給される。

また、音声再生処理部１０２５には、音声抽出演算処理部１０２から可変速再生設定パラメータが供給される。この可変速再生設定パラメータは、操作部１１０から音声抽出演算処理部１０２を介して波形表示処理部１０３に供給されている。音声再生処理部１０２５は、可変速再生設定パラメータが示す再生速度に従って再生音声の速度を調整する。これによって、可変速再生パラメータが示す再生速度で音声が再生される。

以上に、音声抽出演算処理部１０２および波形表示処理部１０３について説明した。次に、本実施の形態の波形調整処理に関し、さらに詳細に説明する。

前述したように、波形表示処理部１０３は、教材と学習者のピッチ波形を比較する画像を生成し、また、両者の音圧波形を比較する画像を生成する。しかし、両波形を単に並べて表示しても、両波形が時間軸方向にずれてしまい、波形の比較が容易でないことがある。そこで、本実施の形態は、下記のようにして、時間軸方向に波形を調整し、波形のずれを低減する。この調整機能は、波形表示処理部１０３の時間軸波形描画位置処理部１０３４により実現される。以下の説明では、ピッチ波形画像の調整処理を中心に説明する。ただし、音圧波形画像も同様に処理されてよい。また、説明をわかりやすくするために、図中には単純な波形を示すが、実際の波形がより複雑であることはもちろんである。

（１）可変速再生に関する調整
本実施の形態の学習支援システム１は、前述のように、可変速再生が可能である。再生速度の変更に関するパラメータは、操作部１１０から入力され、波形表示処理部１０３および音声抽出演算処理部１０２に受け付けられ、音声再生処理部１０２５の処理に適用される。しかし、可変速再生状態において単純に波形比較画像を生成すると、下記のように、時間軸方向のずれが生じる。

まず、図６は、可変速再生を行わないときの波形比較画像、すなわち、標準速度での波形比較画像を示している。上段の教材枠５０は教材の波形の描画領域であり、下段の学習者枠６０は学習者の波形の描画領域である。教材枠５０と学習者枠６０の時間軸方向の幅は同じである。そして、例えば、１０秒の教材であれば、１０秒の音声の波形が教材枠５０に表示される。教材の波形では、発声箇所を示す教材用カーソル７０が、時間軸に沿って進行する。一方、学習者の波形は、学習者が発声したところまで描かれる。

図６は、リアルタイム表示の画像である。リアルタイム表示では、学習者が発声を開始し、音声入力が開始すると、音声抽出演算処理部１０２もピッチの抽出を開始する。ピッチはステップ単位で抽出される。１ステップの長さは１０ｍｓｅｃである。各ステップのピッチが順次波形表示処理部１０３に供給される。波形表示処理部１０３では、入力されるピッチが、次々と、ピッチ波形画像に継ぎ足される。このようにして、学習者の音声の進行と同時に、画面上ではピッチ波形がのびていく。リアルタイム表示により、視覚的フィードバック効果を高められる。そして、視覚的フィードバックが聴覚フィードバックを補強し、これによる学習のモチベーションの向上と学習効果の向上が期待できる。

図６の説明に戻ると、学習者は、教材に合わせた速度で話している。したがって、教材用カーソル７０が教材枠５０の中央まで進むと、学習者の波形の端部も学習者枠６０の中央付近まで進む。教材用カーソル７０が教材枠５０の端まで進むころ、学習者の波形の端部も学習者枠６０の端まで進む。

例えば、教材の長さが１０秒であるとする。この場合、図６の左側は５秒経過後の状態であり、図６の右側は１０秒経過後の状態を示している。以下の説明でも、同じ例を用いることにする。

次に、図７は、可変速再生にて、再生速度が標準速度の１／２倍に設定されたときの波形比較画像の例を示している。図７では、本実施の形態の波形調整が行われていない。

図７において、上段の教材枠５０では、波形の形状が図６の標準速度の画像と同じである。すなわち、オリジナルの１０秒分の波形が表示される。しかし、教材用カーソル７０の移動速度は、再生速度に比例するので、標準速度に対して１／２倍である。したがって、５秒経過後は、全波形の１／４までしか教材用カーソル７０が進行しない。１０秒経後にも、全波形の半分までしか教材用カーソル７０が進行しない。図示されないが、教材用カーソル７０は、２０秒かかって全波形の終わり、すなわち、教材枠５０の終端まで達する。

一方、学習者波形は、標準速度状態と同じ処理によって描かれる。その結果、５秒経過時点では、学習者波形は、学習者枠６０の中央まで延びる。さらに、１０秒経過後には、学習者波形は学習者枠６０の端まで達する。

したがって、可変速再生では、教材用カーソル７０が示す教材発声箇所の進行と、学習者波形の先端の進行が大きくずれる。そして、学習者は教材の声と同じようにゆっくり発声している。その結果、図示のように、学習者の波形が、教材と比べて横に延びてしまう。教材と学習者のずれが大きいので、波形の比較が容易でなくなる。

上記の時間軸方向のずれを低減するために、本実施の形態では、波形表示処理部１０３の時間軸波形描画位置処理部１０３４が、再生速度に応じて、波形比較画像中の学習者波形を時間軸方向に変形する処理を行う。

図８は、本実施の形態の処理を示している。図８は、図７と同じように、１／２倍速再生時の画像を示している。上段の教材波形は図７と同じである。これに対して、下段の学習者波形は、再生速度に比例して時間軸方向に縮小されている。すなわち、学習者波形は、波形高さを維持しつつ、時間軸方向に半分に縮小されている。この変形は、時間軸方向における学習者波形の描画進行速度を半分にすることで実現される。

このような変形処理を行ったので、５秒経過時点で、学習者波形も、教材波形の教材用カーソル７０とほぼ同じに、学習者枠６０の約１／４の場所まで進んでいる。また、１０秒経過時点でも、教材波形の教材用カーソル７０とほぼ同じに、学習者枠６０の約１／２の場所まで進んでいる。図示されないが、２０秒が経過し、教材波形の教材用カーソル７０が終点まで到達するとき、学習者波形もほぼ同じころに学習者枠６０の終わりに到達する。

教材の再生箇所と学習者の波形端部が同じような速度で進むので、教材波形と学習者波形のずれも小さくなり、これら波形の比較が容易になっている。

また、このようにして、記録された学習者波形を教材波形とともに再生する場合を図９に示す。この場合も教材波形が教材枠５０に変形処理されることなく表示され、学習者波形が学習者枠６０に時間軸方向の変形を施されて表示される。ここで、教材波形には再生箇所を示す教材用カーソル７０が表示され、学習者波形にも同様の学習者用カーソル７１が表示されており、両カーソルが同じ速度で移動するため、学習者は特にどの部分の波形が異なっているのかを意識して再度学習することが可能となる。なお、図９では、教材用カーソル７０と学習者用カーソル７１とが三角形状のカーソルであるが、直線上のカーソルでもよい。このように、カーソルの形状は限定されず、この点は、図９に限られず、本実施の形態において共通である。また、教材用カーソル７０および学習者用カーソル７１の表示は、波形表示処理部１０３によって行われる。波形表示処理部１０３は、波形比較画像の生成処理において、波形上の再生箇所を求め、画像中の再生箇所に対応する位置にカーソル画像を描くように構成されている。

図１０および図１１は、可変速再生で再生速度を２倍にしたときの画像の例を示している。図１０において、教材用カーソル７０の移動速度は２倍になっており、５秒経過時点で教材枠５０の終わりまで達している。しかし、図１０では、本実施の形態の変形処理が適用されていないので、学習者波形は、５秒経過後には、学習者枠６０の中央までしか達していない。

このような進行速度の違いにより、学習者波形は、教材波形と比べて横方向に縮んでしまい、両波形のずれが大きく、波形の比較が容易でなくなる。

これに対して、図１１では、学習者波形が、教材の再生速度に応じて２倍に伸ばされている。この変形は、時間軸方向における学習者波形の描画進行速度を２倍にすることで実現される。これにより、教材波形の発声箇所が終わりに達したときに、学習者波形も学習者枠６０の終わりに届く。そして、両波形の時間軸上でのずれが低減する。

このようにして、本実施の形態では、学習者波形の変形によって、可変速再生時の学習者波形と教材波形の時間軸方向のずれが低減し、波形の比較が学習者にとって容易になる。

（２）発声開始点に関する調整（シフト）
図１２は、学習者の発声を開始するタイミングが遅れたときの波形比較画像の例を示している。図示のように、発声開始タイミングに応じて学習者波形の時間軸方向の位置がずれてしまい、このずれが大きくなると、教材波形と学習者波形の比較が容易でなくなる。

そこで、本実施の形態の学習支援システム１では、学習者波形情報における発声開始点が検出される。そして、時間軸波形描画位置処理部１０３４が、検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトする。

図１３は、上記のシフト処理の例を示している。発声開始点は、例えば、学習者の音声中で、所定のしきい値以上の音圧信号が初めて検出される時点である。発声開始点は、時間軸波形描画位置処理部１０３４または他の処理機能によって検出される。

そして、時間軸波形描画位置処理部１０３４は、発声開始点が波形基準位置に一致するように、波形をシフトする。波形基準位置は、本実施の形態では、学習者枠６０の開始端である。

このような処理により、学習者波形と教材波形の時間軸方向のずれが低減し、波形の比較が学習者にとって容易になる。

図１４は、本実施の形態のさらに好適な処理の例を示している。図１４では、上記のシフト処理に加えて、学習者波形が時間軸方向に変形されている。

すなわち、図１４では、学習者音声の発声開始点に加えて、発声終了点が検出されている。発声終了点は、例えば、学習者の音声中で、音圧信号が所定のしきい値を最後に下回った時点である。しきい値は、発声開始点を検出するためのしきい値と同じでよい。また、発声終了点は、時間軸波形描画位置処理部１０３４または他の処理機能によって検出される。

時間軸波形描画位置処理部１０３４は、図１３と同じく、発声開始点が波形基準位置に一致するように、学習者波形をシフトする。さらに、時間軸波形描画位置処理部１０３４は、学習者波形が波形基準位置から始まって波形描画領域の終端で終わるように、学習者波形を変形する。波形描画領域は、本実施の形態では、学習者枠６０に相当する。したがって、変形処理では、学習者波形の開始点から終了点の長さが、学習者枠６０の時間軸方向の幅と一致するように、波形が伸ばされ、または短縮される。このような処理により、学習者波形と教材波形の比較がさらに容易な波形比較画像が得られる。図１４の処理は典型的には録音音声ファイルを対象として行われる。

（３）波形の範囲選択（描画開始位置の受付）
学習者が、教材の途中のある部分の波形を練習したいときに、該当部分のみを発声したとする。この場合、発話の開始タイミングがずれてしまう。そして、波形比較画像中では、教材波形と学習者波形が時間軸方向にずれてしまう。

このようなずれを低減するために、下記のように、教材波形情報の描画開始位置の指定が受け付けられる。そして、描画開始位置から波形比較画像中の教材波形が開始するように、時間軸方向の描画範囲が調整される。

図１５を参照すると、本実施の形態では、まず、比較的長い教材波形が表示され、教材波形から所望の学習範囲が選択される。学習範囲は、学習者が練習の対象にしたい範囲である。学習範囲は、例えば、学習者により操作部１１０を使って入力される。図示されないが、範囲指定作業のために、教材波形に沿ってテキストなどが表示されてもよい。

入力された学習範囲は、時間軸波形描画位置処理部１０３４に受け付けられる。このとき、学習範囲の開始端が、描画開始位置として受け付けられる。そして、時間軸波形描画位置処理部１０３４は、波形比較画像を生成するときに、教材波形を描画開始位置から開始させる。

学習者端末１０からは、指定された学習範囲の音声が出力される。そして、学習者は、教材に合わせて音声を発する。このとき、学習者は、自分で指定した学習範囲の音声を発する。この音声が入力され、学習者波形が描画される。したがって、教材と学習者の波形が、教材の同じ部分の波形になる。

図１６は、波形の範囲選択に関するもう一つの処理を示している。この例では、学習者の録音済み音声が処理される。そして、学習者の波形からも、学習範囲が指定される。この学習範囲が受け付けられ、描画開始位置も受け付けられる。そして、学習者波形も、受け付けた描画開始位置から、波形比較画像に描かれる。

図１６の処理は、教材との位置合わせをすることなく、学習者の音声が既に録音されている場合に便利に機能する。学習者の録音済み音声の波形が、描画開始位置の指定により、教材波形と位置合わせされる。

以上、本発明の実施の形態の学習支援システム１について説明した。本実施の形態の学習支援システム１によれば、教材の再生速度に応じて波形比較画像中の学習者波形を時間軸方向に変形する構成を設けたので、教材の再生速度が変更されても、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本実施の形態の学習支援システム１は、学習者波形情報中の発声開始点が検出され、発声開始点に基づいて学習者波形が時間軸方向にシフトされるので、学習者の発声開始が教材とずれたとしても、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本実施の形態の学習支援システム１は、発声開始時点に加えて発声終了点を検出し、波形基準位置から始まって波形描画領域の終端で終わるように学習者波形を変形するので、教材と学習者の波形の比較がさらに容易になる。

また、本実施の形態の学習支援システム１は、教材波形情報の描画開始位置の指定を受け付けて、描画開始位置から波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整するので、教材の一部分を学習者が発声するときでも、教材波形と学習者波形の時間軸方向のずれを低減できる。

また、本実施の形態の学習支援システム１は、学習者の録音音声から得られた学習者波形情報の描画開始位置の指定も受け付けて、学習者波形が描画開始位置から開始するように時間軸方向の描画範囲を調整している。したがって、録音済みの学習者音声から波形比較画像を作るときも、教材波形と学習者波形の時間軸方向のずれを効果的に低減できる。

なお、本実施の形態の学習支援システム１は、学可変速再生に対応する調整と、発声開始点に基づくシフトと、描画開始位置に基づく調整処理のすべてを行ってもよく、また、一部を行ってもよい。

また、上記の説明では、波形比較画像において、教材波形と学習者波形が２段に分かれていた。しかし、これら画像は重ね合わされてもよい。これにより、両波形の比較が容易になる。

また、本実施の形態では、音声教材データ記憶部１０８と音声教材データベース２０４とが音声教材である場合について説明したが、音声を含む動画教材であってもよい。この動画教材も音声を含むので音声教材であり、また、動画教材（ＭＰＥＧなど）から抽出された音声も音声教材であり、音声の抽出は音声抽出演算処理部１０２で行われてよい。

その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる学習支援システムは、教材波形と学習者波形の時間軸方向のずれを低減できるという効果を有し、マルチメディアを利用した学習支援システム等として有用である。

本発明の実施の形態における学習支援システムのブロック図 学習支援システムの起動時のフロー図 学習支援システムの終了時のフロー図 波形表示処理部のブロック図 音声抽出演算処理部のブロック図 標準再生速度での波形比較画像を示す図 １／２倍速再生での波形比較画像を示す図 １／２倍速再生での波形調整処理を示す図 記録された学習者用波形を教材波形とともに再生する場合の波形比較画像を示す図 ２倍速再生での波形比較画像を示す図 ２倍速再生での波形調整処理を示す図 発声タイミングが遅れたときの波形比較画像を示す図 発声開始点を使った学習者波形のシフト処理を示す図 シフト処理とともに行われる学習者波形の変形処理を示す図 描画開始位置を使った波形調整処理を示す図 描画開始位置を使った波形調整処理を示す図

符号の説明

１０ 学習者端末
２０ サーバ端末
７０ 教材用カーソル
７１ 学習者用カーソル
１０１ 音声入出力部
１０２ 音声抽出演算処理部
１０３ 波形表示処理部
１０４ 表示部
１０５ 認証処理部
１０６ 音声関連情報記憶部
１０７ 音圧計算処理部
１０８ 音声教材データベース
１０９ 学習者音声記録部
１１０ 操作部

Claims (16)

1. 教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、
   学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、
   前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成する比較画像生成手段と、
   前記教材の再生速度の変更を受け付ける可変速再生受付手段とを備え、
   前記比較画像生成手段は、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形する変形手段を有することを特徴とする学習支援システム。
2. 学習者波形情報における発声開始点を検出する開始点検出手段と、
   前記比較画像生成手段に設けられ、前記開始点検出手段により検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするシフト手段と、
   を備えたことを特徴とする請求項１に記載の学習支援システム。
3. 前記教材波形情報の描画開始位置の指定を受け付ける開始位置受付手段と、
   前記比較画像生成手段に設けられ、前記開始位置受付手段により受け付けられた前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整する描画範囲調整手段と、
   を備えたことを特徴とする請求項１または２に記載の学習支援システム。
4. 教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、
   学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、
   前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成する比較画像生成手段と、
   学習者波形情報における発声開始点を検出する開始点検出手段とを備え、
   前記比較画像生成手段は、前記開始点検出手段により検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするシフト手段を有することを特徴とする学習支援システム。
5. 学習者波形情報における発声終了点を検出する終了点検出手段と、
   学習者波形が前記波形基準位置から始まって波形描画領域の終端で終わるように学習者波形を変形する手段と、
   を備えたことを特徴とする請求項４に記載の学習支援システム。
6. 教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、
   学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、
   前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成する比較画像生成手段と
   前記教材波形情報の描画開始位置の指定を受け付ける開始位置受付手段とを備え、
   前記比較画像生成手段は、前記開始位置受付手段により受け付けられた前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整する描画範囲調整手段を有することを特徴とする学習支援システム。
7. 前記開始位置受付手段は、さらに、学習者の録音音声から得られた前記学習者波形情報の描画開始位置の指定を受け付け、前記描画範囲調整手段は、前記学習者波形情報の描画開始位置から前記波形比較画像中の学習者波形が開始するように時間軸方向の描画範囲を調整することを特徴とする請求項６に記載の学習支援システム。
8. 前記教材の再生速度を変更したときに、録音された前記学習者波形情報を前記教材波形情報とともに再生する場合に、前記教材波形の再生箇所を示すカーソルと、前記学習者波形の再生箇所を示すカーソルとが同じ速度で移動するように構成されていることを特徴とする請求項１ないし７のいずれかに記載の学習支援システム。
9. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
   学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
   前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
   前記教材の再生速度の変更を受け付けるステップと、
   前記波形比較画像を生成するときに、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形するステップと、
   を備えたことを特徴とする学習支援のための音声情報処理方法。
10. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
    学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
    前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
    学習者波形情報における発声開始点を検出するステップと、
    前記波形比較画像を生成するときに、検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするステップと、
    を備えたことを特徴とする学習支援のための音声情報処理方法。
11. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
    学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
    前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
    前記教材波形情報の描画開始位置の指定を受け付けるステップと、
    前記波形比較画像を生成するときに、前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整するステップと、
    を備えたことを特徴とする学習支援のための音声情報処理方法。
12. 前記教材の再生速度を変更したときに、録音された前記学習者波形情報を前記教材波形情報とともに再生する場合に、前記教材波形の再生箇所を示すカーソルと、前記学習者波形の再生箇所を示すカーソルとが同じ速度で移動することを特徴とする請求項９ないし１１のいずれかに記載の学習支援のための音声情報処理方法。
13. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
    学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
    前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
    前記教材の再生速度の変更を受け付けるステップと、
    前記波形比較画像を生成するときに、前記可変速再生受付手段により受け付けられた再生速度に応じて、前記波形比較画像中の学習者波形を時間軸方向に変形するステップと、
    をコンピュータに実行させることを特徴とする学習支援のための音声情報処理プログラム。
14. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
    学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
    前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
    学習者波形情報における発声開始点を検出するステップと、
    前記波形比較画像を生成するときに、検出された発声開始点を波形比較画像の波形基準位置に合わせるように学習者波形情報を時間軸方向にシフトするステップと、
    をコンピュータに実行させることを特徴とする学習支援のための音声情報処理プログラム。
15. 教材の音声パラメータの波形である教材波形情報を取得するステップと、
    学習者の音声パラメータの波形である学習者波形情報を取得するステップと、
    前記教材波形情報と前記学習者波形情報とを比較するための波形比較画像を生成するステップと、
    前記教材波形情報の描画開始位置の指定を受け付けるステップと、
    前記波形比較画像を生成するときに、前記描画開始位置から前記波形比較画像中の教材波形が開始するように時間軸方向の描画範囲を調整するステップと、
    をコンピュータに実行させることを特徴とする学習支援のための音声情報処理プログラム。
16. 前記教材の再生速度を変更したときに、録音された前記学習者波形情報を前記教材波形情報とともに再生する場合に、前記教材波形の再生箇所を示すカーソルと、前記学習者波形の再生箇所を示すカーソルとが同じ速度で移動することを特徴とする請求項１３ないし１５のいずれかに記載の学習支援のための音声情報処理プログラム。

Images