JP2005024742A - テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム - Google Patents
テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム Download PDFInfo
- Publication number
- JP2005024742A JP2005024742A JP2003188358A JP2003188358A JP2005024742A JP 2005024742 A JP2005024742 A JP 2005024742A JP 2003188358 A JP2003188358 A JP 2003188358A JP 2003188358 A JP2003188358 A JP 2003188358A JP 2005024742 A JP2005024742 A JP 2005024742A
- Authority
- JP
- Japan
- Prior art keywords
- text
- image
- data
- voice
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】模範のテキストに合わせたユーザ自身の発生音声と顔画像とをその場で収録し、当該テキストに対応付けた同期再生データとして容易に生成記憶する。
【解決手段】模範学習データ練習画面に表示される模範学習データ１２ｂの朗読対象テキストおよび模範朗読者の顔画像に従い、ユーザが当該テキストの読み上げ練習を行うと、発生音声が音声入力部１９ａから入力されると共に顔画像がデジタルカメラ１７ｃにより撮影されてリアルタイムでユーザ顔表示ウインドウに表示され、同期再生用テキスト・音声・画像データ１２ｃ２・１２ｃ３・１２ｃ４としてＲＡＭ１２Ｃ内に保存される。するとユーザ読み上げ練習に伴う音声データ１２ｃ３の出力および画像データ１２ｃ４の表示の開始命令時点からの読み上げテキスト位置を当該テキストデータ１２ｃ２のハイライト表示命令“ＨＬ”として順次対応付けた同期再生用タイムコードファイル１２ｃが作成される。
【選択図】 図１
【解決手段】模範学習データ練習画面に表示される模範学習データ１２ｂの朗読対象テキストおよび模範朗読者の顔画像に従い、ユーザが当該テキストの読み上げ練習を行うと、発生音声が音声入力部１９ａから入力されると共に顔画像がデジタルカメラ１７ｃにより撮影されてリアルタイムでユーザ顔表示ウインドウに表示され、同期再生用テキスト・音声・画像データ１２ｃ２・１２ｃ３・１２ｃ４としてＲＡＭ１２Ｃ内に保存される。するとユーザ読み上げ練習に伴う音声データ１２ｃ３の出力および画像データ１２ｃ４の表示の開始命令時点からの読み上げテキスト位置を当該テキストデータ１２ｃ２のハイライト表示命令“ＨＬ”として順次対応付けた同期再生用タイムコードファイル１２ｃが作成される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、テキストデータに音声データと画像データとを対応付けて記憶させるためのテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムに関する。
【０００２】
【従来の技術】
従来、音楽，テキスト，画像などのファイルを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とその歌詞のテキストおよびイメージ画像を同期再生するものがある。
【０００３】
そして、音声と字幕テキストとの同期タイミングを取る装置が考えられている（例えば、特許文献１参照）。
【０００４】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開２００２−２４４６９４号公報
【０００６】
【特許文献２】
特公平０６−０２５９０５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、このように従来において考えられている音声とテキストとを関連付けて表示再生する技術では、各種データ同士の時間的な対応付けが予め明らかである場合において、これらのデータを同期再生するための関連付けが行えるものである。このため、例えば英語の学習教材において模範のテキストや音声に合わせてユーザ自身が発声・発音の練習を行った場合に、これの発声音声やその発音の口型画像などをテキストと共に収録し、このそれぞれ収録された発声音声・口型画像・テキストをその場で同期再生してユーザ自身における学習の状況をリアルに再現し、当該ユーザ自身あるいは第三者の立場からの評価などを行うことはできない。
【０００８】
なお、ユーザ自身によるテキスト読み上げの練習状況を単にビデオ収録しただけでは、収録された顔画像および発声音声の再現ができるだけであり、その発声音声の進みに合わせたテキスト表示までもその場で再現することはできない。
【０００９】
本発明は、前記のような問題に鑑みてなされたもので、模範のテキストに合わせたユーザ自身の発生音声と顔（口型）画像とをその場で収録し、当該テキストに対応付けた同期再生データとして容易に生成記憶することが可能になるテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）では、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると共に、このテキスト表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を顔画像表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御および顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の第２の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成される。
【００１１】
これによれば、模範朗読者のテキストの読み上げを真似した学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できることになる。
【００１２】
本発明の請求項２（請求項８）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）では、さらに、前記請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられる。
【００１３】
これによれば、模範朗読者の真似をした学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できることになる。
【００１４】
本発明の請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）では、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成される。
【００１５】
これによれば、朗読対象のテキスト表示に合わせた学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できることになる。
【００１６】
本発明の請求項４（請求項１０）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）では、さらに、前記請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられる。
【００１７】
これによれば、学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できることになる。
【００１８】
本発明の請求項５に係るテキスト音声画像再生装置では、さらに、前記請求項３に係るテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、テキスト記憶手段に記憶されているテキストをその記述順番に識別表示制御すると共に、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御する同期データ再生制御手段が備えられる。
【００１９】
これによれば、学習対象者によるテキスト読み上げ状況を、当該テキストの記述順番の識別表示とその読み上げ音声出力・読み上げ顔画像表示との同期再生によって容易に再現できることになる。
【００２０】
本発明の請求項６に係るテキスト音声画像記憶装置では、前記請求項１または請求項３に係るテキスト音声画像記憶装置にあって、同期データ作成制御手段により作成される同期再生データを、音声取得手段により取得された学習対象者の音声出力命令と画像取得手段により取得された当該学習対象者の顔画像表示命令とテキスト記憶手段に記憶されているテキストの記述順番毎の識別表示命令とを予め設定された時間経過に対応付けた命令コードのファイルとする。
【００２１】
これによれば、学習対象者によるテキスト読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを、ＣＰＵに負担の少ない予め設定された時間経過に対応付けた命令コードファイルとして作成できることになる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２３】
図１は本発明の電子機器（テキスト音声画像記憶装置）（テキスト音声画像再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００２４】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００２５】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ（携帯機器）制御プログラム１２ａ、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａ、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラム１２ａは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００２６】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、固体撮像素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）を備えたデジタルカメラ１７Ｃ、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、スピーカを備え音声を出力する音声出力部１９ｂなどが接続される。
【００２７】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００２８】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００２９】
ＲＯＭ１２Ａには、当該携帯機器１０のＰＤＡ制御プログラム１２ａとして、その全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（Ｗｅｂサーバなど）（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための同期再生用タイムコードファイル１２ｃを作成する同期データ作成処理プログラム１２ａ１、これにより作成されたタイムコードファイル１２ｃに従い音声・テキスト・画像などの各種のファイルを同期再生するための同期データ再生処理プログラム１２ａ２など、種々のＰＤＡ制御プログラム１２ａｎが記憶される。
【００３０】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、ＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介して取り込まれるか、あるいは通信ネットワーク（インターネット）Ｎ上のＷｅｂサーバ３０から電送制御部１５を介して取り込まれた、例えば英語学習用の模範学習データ１２ｂが記憶される。
【００３１】
この模範学習データ１２ｂは、例えば英語学習のテキストデータ、この学習テキストを読み上げる模範の発音音声データ（含む音声信号データ）、この発音音声に対応した口型の画像を含む模範の顔画像データからなり、この模範学習データ１２ｂは、ここでは例えばビデオ収録により得られた顔画像＋音声データに対して、当該顔画像＋音声データに時間的に対応付けられたテキストデータが画像挿入されている。
【００３２】
この他に、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００３３】
ＲＡＭ１２Ｃには、前記同期データ作成処理プログラム１２ａ１に従い作成され、また前記同期データ再生処理プログラム１２ａ２に従い再生処理の対象となる同期再生用タイムコードファイル１２ｃ（図７参照）が記憶されると共に、このタイムコードファイル１２ｃに従い同期再生の対象となる画像データを事前に展開して記憶するための画像展開バッファ１２ｅが備えられる。
【００３４】
ここで、前記同期再生用タイムコードファイル１２ｃは、例えば前記模範学習データ１２ｂに従ったユーザによる英語テキストの読み上げ練習状況を、当該テキスト・読み上げ音声・顔（口型）画像の同期再生により再現するためのファイルである。
【００３５】
この作成された同期再生用タイムコードファイル１２ｃは、本携帯機器１０によりその場で同期再生してユーザ自身あるいは第三者がその英語テキストの読み上げ練習状況を再現評価するのに利用する他に、例えばＣＤ−ＲＯＭに記録して前記模範学習データ１２ｂの提供元に配送し同ユーザの読み上げ練習状況を再現して採点評価させたり、電送制御部１５を介して通信ネットワーク（インターネット）Ｎ上にある前記模範学習データ１２ｂの提供元Ｗｅｂサーバ３０へ転送し同様に再現して採点評価させたり、あるいは通信部１６を介して外部の通信機器（ＰＣ）２０へ転送して同様に再現評価したりする。
【００３６】
同期再生用タイムコードファイル１２ｃ（図７参照）は、前記同期データ作成処理プログラム１２ａ１に従い作成（作成処理については後述する）され、前記同期データ再生処理プログラム１２ａ２に従い再生（再生処理については後述する）されるもので、再生命令の処理単位時間（１２ｃ１ａ）を記憶するヘッダ情報（１２ｃ１）、および後述する同期再生用テキストデータ（１２ｃ２）、同期再生用音声データ（１２ｃ３）、同期再生用画像データ（１２ｃ４）を組み合わせて構成される。つまり、同期再生用タイムコードファイル１２ｃに従い同期再生の対象となるテキストデータが同期再生用テキストデータ（１２ｃ２）として記憶され、同音声データが同期再生用音声データ（１２ｃ３）として記憶され、同画像データが同期再生用画像データ（１２ｃ４）として記憶される。
【００３７】
そしてまた、ＲＡＭ１２Ｃには、音声と画像とテキストを同期再生するための同期再生用タイムコードファイル１２ｃを前記同期データ作成処理プログラム１２ａ１に従い作成処理する過程において生成される、音声とテキストを同期付けたテキスト音声同期データ１２ｄが記憶される。
【００３８】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００３９】
図７で示す同期再生用タイムコードファイル１２ｃには、個々のデータ毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種データ同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わる再生対象データの内容を対応付けするための参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００４０】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１に処理単位時間１２ｃ１ａとして記述設定される。
【００４１】
図２は前記携帯機器１０の同期再生用タイムコードファイル１２ｃ（図７参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期データ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図である。
【００４２】
同期再生用タイムコードファイル１２ｃに使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００４３】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている同期データ再生処理プログラム１２ａ２を起動させた際に、ＲＡＭ１２Ｃに記憶されている同期再生用タイムコードファイル１２ｃが、例えば図７で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０１からリンク付けられる同期再生用画像データ１２ｃ４における１番目の画像データが読み出されて表示される。
【００４４】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、同期再生用テキストデータ１２ｃ２におけるテキストデータの０番目（最初）の文節（例えば１ｓｅｎｔｅｎｃｅ）が表示される。
【００４５】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００４６】
なお、このテキスト・音声・画像の各データを同期再生するための図７で示した同期再生用タイムコードファイル１２ｃの作成動作、およびこのタイムコードファイル１２ｃによる各同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４についての詳細な再生動作は、後述にて改めて説明する。
【００４７】
図３は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図である。
【００４８】
このテキスト音声同期データ１２ｄは、模範学習テキストにユーザによる発声音声とその発音顔（口型）画像を対応付けて同期再生するための同期再生用タイムコードファイル１２ｃの作成に伴うユーザ同期データ取得保存処理（図４参照）において、表示中の模範学習テキストのユーザによる読み上げ音声を入力・音声認識して当該テキストの読み上げ位置を抽出して行くことで、当該テキスト内容の各単語（単語Ｎｏ．）毎にユーザによる発声音声の経過時間が対応付けされて生成される。
【００４９】
次に、前記構成の携帯機器１０により、例えば模範学習データ１２ｂに応じたユーザによる練習状況をテキスト・音声・画像として収録しその同期再生（再現）を図るための同期再生用タイムコードファイル１２ｃを作成するための同期データ作成機能について説明する。
【００５０】
図４は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従ったユーザ同期データ取得保存処理を示すフローチャートである。
【００５１】
図５は前記携帯機器１０のユーザ同期データ取得保存処理を実施する場合の模範学習データの再生出力練習状態を示す図であり、同図（Ａ）は模範学習データ練習画面Ｇ１の初期表示状態を示す図、同図（Ｂ）は同模範学習データ練習画面Ｇ１におけるユーザ練習中の表示状態を示す図である。
【００５２】
この模範学習データ練習画面Ｇ１には、ユーザに対するガイドメッセージを表示するためのメッセージ表示エリア４１、練習の開始／停止を指示するための開始ボタン（ＳＴＡＲＴ）４２／停止ボタン（ＳＴＯＰ）４３、模範学習テキストの読み上げ音声波形を表示するための模範音声波形表示エリア４４、模範学習テキストを表示するための朗読対象テキスト表示エリア４５、当該模範学習テキストの模範朗読者（先生）の発音顔（口型）画像を表示するための模範顔表示エリア４６、そして前記朗読対象テキスト表示エリア４５に表示される模範学習テキスト、および模範音声波形表示エリア４４に表示される前記テキストの模範読み上げ音声波形、および模範顔表示エリア４６に表示される模範顔（口型）画像を参照して、これに合わせた読み上げ練習を行っているユーザ（生徒）の顔画像をデジタルカメラ１７ｃで撮影入力してリアルタイムで表示するためのユーザ顔表示ウインドウＷが設けられる。
【００５３】
入力部１７ａの操作により、例えばインターネットＮ上のＷｅｂサーバ３０から予めダウンロードされてＦＬＡＳＨメモリ１２Ｂに記憶されている模範学習データ１２ｂに基づき、英語テキストの読み上げ練習を行う場合に、図４におけるユーザ同期データ取得保存処理が起動されると、図５（Ａ）に示すように、ユーザに対してその顔の画像の撮影開始を知らせるためのガイドメッセージ「モニター画面内に入るようにカメラに顔を向けてください。」がメッセージ表示エリア４１に表示される（ステップＡ０）。
【００５４】
すると、ＦＬＡＳＨメモリ１２Ｂに記憶されている模範学習データ１２ｂが読み出され（ステップＡ１）、音声入力部１９ａによるユーザ音声の入力と、デジタルカメラ１７ｃによるユーザ顔（口型）画像の撮影入力および図５（Ａ）に示すように、この撮影されたユーザ顔画像のユーザ顔表示ウインドウＷに対する表示とが開始される（ステップＡ２）。
【００５５】
すると、図５（Ｂ）に示すように、前記模範学習データ１２ｂの英語テキストが模範学習データ練習画面Ｇ１上の朗読対象テキスト表示エリア４５に順次表示されるのと同時に、当該英語テキストの模範朗読者の顔（口型）画像が模範顔表示エリア４６に表示され、さらに当該模範朗読者の音声波形が模範音声波形表示エリア４４に順次表示される（ステップＡ３）。
【００５６】
この際、前記模範朗読者の顔（口型）画像が表示される模範顔表示エリア４６には、その朗読対象のテキスト部分が吹き出し表示４６ａされる。
【００５７】
また、ユーザ顔表示ウインドウＷには、前記模範テキスト・模範顔画像・模範音声波形に合わせて読み上げ練習を行っているユーザ（生徒）の顔画像がデジタルカメラ１７ｃにより撮影入力されリアルタイムに表示される。この際、当該ユーザ顔表示ウインドウＷには、後述のユーザ音声の認識に伴い抽出されたテキスト部分が吹き出し表示Ｗａされる。
【００５８】
こうして、模範テキスト・模範顔画像・模範音声波形の表示に合わせたユーザのテキスト読み上げに伴う音声入力および顔画像入力が開始されると、当該音声入力されるユーザのテキスト読み上げに伴う発声音声が認識され（ステップＡ４）、この読み上げ音声に対応するテキスト位置が抽出される（ステップＡ５）。
【００５９】
すると、このユーザ音声の認識に基づくテキスト位置の抽出に応じて、当該テキストの各単語毎に練習開始からの読み上げ経過時間がテキスト音声同期データ１２ｄ（図３参照）として順次記憶される（ステップＡ６）。
【００６０】
すると、ユーザ音声の認識に基づくテキスト位置が模範学習テキストの最終単語と一致することで、練習終了と判断されると（ステップＡ７）、前記音声入力部１９ａによるユーザ音声の入力と、デジタルカメラ１７ｃによるユーザ顔（口型）画像の撮影入力とが終了される（ステップＡ８）。
【００６１】
そして、前記朗読対象テキスト表示エリア４５に順次表示された模範学習データ１２ｂのテキストデータが同期再生用テキストデータ１２ｃ２として保存される（ステップＡ９）と共に、前記音声入力部１９ａにより音声入力されて一時記憶されたユーザのテキスト読み上げに伴う音声データが同期再生用音声データ１２ｃ３として保存され（ステップＡ１０）、さらに前記デジタルカメラ１７ｃにより画像入力されて一時記憶されたユーザのテキスト読み上げに伴う顔（口型）画像データが同期再生用画像データ１２ｃ４として保存される（ステップＡ１１）。
【００６２】
こうして、前記ユーザ同期データ取得保存処理（ステップＡ０〜Ａ１１）が終了すると、これにより取得保存された各同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４、およびテキスト音声同期データ１２ｄ（図３参照）に基づき、図６におけるタイムコードファイル作成処理に移行される（ステップＢ１〜Ｂ１９）。
【００６３】
図６は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従った同期再生用タイムコードファイル１２ｃの作成処理を示すフローチャートである。
【００６４】
図７は前記携帯機器１０のタイムコードファイル作成処理に伴い作成された同期再生用タイムコードファイル１２ｃを示す図である。
【００６５】
図８は前記携帯機器１０のタイムコードファイル作成処理に伴う同期再生用テキストデータ１２ｃ２に対する同期再生用音声データ１２ｃ３と同期再生用画像データ１２ｃ４との対応同期イメージを示す図である。
【００６６】
このタイムコードファイル作成処理が起動されると、まず、これから作成すべき同期再生用タイムコードファイル１２ｃ（図７参照）の処理単位時間１２ｃ１ａがユーザ操作により基準時間（２５ｍｓ／５０ｍｓ／１００ｍｓ／…）の中から選択され（ステップＢ１）、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１として書き込まれる（ステップＢ２）。
【００６７】
すると、１番目の命令としてクリアスクリーン（全ファイルクリア）の命令が、コマンドコード“ＣＳ”およびパラメータデータ“００”として書き込まれ（ステップＢ３）、また、指定画像の表示命令が、２番目の表示エリア設定命令［コマンドコード“ＤＨ”・パラメータデータ“０１”］、３番目の画像１表示命令［コマンドコード“ＤＩ”・パラメータデータ“０１”］として書き込まれる（ステップＢ４）。
【００６８】
なお、前記表示エリア設定命令［コマンドコード“ＤＨ”］は、表示すべき画像データの表示画面上でのエリアを特定する言わば背景画像の表示命令に相当し、前記画像１表示命令［コマンドコード“ＤＩ”］は、前記背景画像により特定されたエリアに対する第１の画像データの表示命令に相当する。
【００６９】
さらに、４番目の命令として指定音声のスタート命令が、コマンドコード“ＰＳ”およびパラメータデータ“０１”として書き込まれ（ステップＢ５）、また、指定テキストの０番目文節の表示命令が、５番目のテキスト指定命令［コマンドコード“ＬＴ”・パラメータデータ“０１”］、６番目のテキスト文節表示命令［コマンドコード“ＶＤ”・パラメータデータ“００”］として書き込まれる（ステップＢ６）。
【００７０】
さらに、７番目の命令として文節中の文字カウンタリセット命令が、コマンドコード“ＢＬ”およびパラメータデータ“００”として書き込まれる（ステップＢ７）。
【００７１】
こうして、同期再生用タイムコードファイル１２ｃの７番目の命令までに、全ファイルクリア、表示エリア設定（この場合はユーザ練習再現画面Ｇ２：図１０参照）、指定画像“１”（この場合は同期再生用画像データ１２ｃ４）の表示、指定音声“１”（この場合は同期再生用音声データ１２ｃ３）の再生開始、指定テキスト“１”（この場合は同期再生用テキストデータ１２ｃ４）の表示、文字カウンタリセットの各コマンドコードおよびそのパラメータデータがセットされると、ＲＡＭ１２Ｃに保存されたテキスト音声同期データ１２ｄ（図３参照）が読み出されると共に（ステップＢ８）、指定のテキスト“１”が同期再生用テキストデータ１２ｃ４から読み出され（ステップＢ９）、当該テキスト上の単語番号が“１”に指定される（ステップＢ１０）。
【００７２】
すると、当該指定の単語番号“１”に対応する単語「Ｉ」（含スペース）までの文字数が“２”としてカウントされると共に（ステップＢ１１）、この指定の単語番号“１”に同期付けられる音声再生時間Ｔｎ（ｎ＝１）（この場合「…００：１５３」）が読み出される（ステップＢ１２）。
【００７３】
そして、前記指定の単語番号の音声再生時間Ｔｎを前記ステップＢ１にて選択された処理単位時間（基準時間）１２ｃ１ａで割り算してタイムコードファイルの命令コード番号が求められ（ステップＢ１３）、このコード番号は未使用か否か判断される（ステップＢ１４）。
【００７４】
ここで、ステップＢ１３にて求められた命令コード番号が既に使用されている場合には、その次のコード番号が指定される（ステップＢ１５）。
【００７５】
すなわち、同期再生用タイムコードファイル１２ｃによる同期データの再生処理開始から何番目の命令コードの位置に指定の単語番号に対応するユーザ読み上げ音声データの時間が到達しているか判断され、当該指定の単語までをハイライト（識別）表示させるタイミングの命令コード番号が求められるもので、この求められたコード番号が既に使用されていて次のコード番号が指定された場合に、その命令コード番号のタイミング遅れは、当該タイムコードファイル１２ｃ自体の処理単位時間（基準時間）１２ｃ１ａが例えば［２５ｍｓ］と極めて短いことから許容値として無視される。
【００７６】
すると、前記ステップＢ１２〜Ｂ１５において求められた命令コード番号の位置に、前記ステップＢ１１にてカウントされた指定の単語までの文字数までをハイライト表示させるための命令が書き込まれる（ステップＢ１６）。例えば指定の単語番号“１”である場合に当該単語「Ｉ」（含スペース）までの文字数（２文字）をハイライト表示する命令が、コード番号“８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０２”として書き込まれる。
【００７７】
すると、指定されているテキスト上の単語番号が（＋１）されて“２”に指定され（ステップＢ１７）、これに対応する単語「ｗａｓ」のデータ有りと判断されて（ステップＢ１８）、ステップＢ１１に戻り、当該単語番号“２”の単語「ｗａｓ」までの総文字数（６文字：含スペース）がカウントされる。
【００７８】
この後、前記ステップＢ１１〜Ｂ１８の処理が繰り返し実行されると、指定の単語番号“２”である場合に当該単語「ｗａｓ」までの文字数（６文字）をハイライト表示する命令が、コード番号“１２”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０６”として書き込まれる。
【００７９】
また、指定の単語番号“３”である場合には当該単語「ｅｎｊｏｙｉｎｇ」（含スペース）までの文字数（１５文字）をハイライト表示する命令が、コード番号“３５”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１５”として書き込まれる。
【００８０】
さらに、指定の単語番号“４”である場合には当該単語「ｔｈｅ」までの文字数（１９文字）をハイライト表示する命令が、コード番号“５８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１９”として書き込まれる。
【００８１】
なお、前記テキスト音声同期データ１２ｄに基づいた当該テキスト中の各単語毎のハイライト表示命令“ＨＬ”が書き込まれた命令コード番号以外のコード番号の位置には、何れも無効命令としてのマンドコード“ＮＰ”およびパラメータデータ“００”が書き込まれる。
【００８２】
この後、前記ステップＢ１８において、指定の単語番号に対応する単語のデータ無しと判断されると、次のコード番号の命令として処理終了の命令が、コマンドコード“ＦＮ”およびパラメータデータ“００”として書き込まれる（ステップＢ１９）。
【００８３】
こうして、前記タイムコードファイル作成処理（ステップＢ１〜Ｂ１９）により、前記同期再生用テキストデータ１２ｃ２・同期再生用音声データ１２ｃ３・同期再生用画像データ１２ｃ４を再生対象データとするテキスト音声同期データ１２ｄに基づいたタイムコードファイル１２ｃが作成されると、このタイムコードファイル１２ｃはＲＡＭ１２Ｃ内に保存される。
【００８４】
こうして、模範学習データ１２ｂに応じたユーザによるテキスト読み上げの練習状況をその発声音声入力および顔画像入力により収録保存してなるテキスト・音声・顔画像の各データを、例えば図８に示すような表示イメージで同期付けて再生再現するための同期再生用タイムコードファイル１２ｃ（図７参照）が、前記同期データ作成処理に従い、ヘッダ情報１２ｃ１，同期再生用テキストデータ１２ｃ２，同期再生用音声データ１２ｃ３，同期再生用画像データ１２ｃ４の組み合わせにより容易に作成されてＲＡＭ１２Ｃに保存される。
【００８５】
このメモリ１２に保存された同期再生用タイムコードファイル１２ｃは、本携帯機器１０により再生処理されてユーザの英語の練習状況が再現再生される他に、同期データ再生処理プログラム１２ａ２および各同期再生用データ１２ｃ２〜１２ｃ４と共に、ＣＤ−Ｒなどの外部記録媒体１３に記録して学習データの提供元へ配送して同再現評価させたり、電送制御部１５からネットワークＮを介して学習データ提供元のＷｅｂサーバ３０に転送して同再現評価させたり、通信部１６を介して外部通信機器（ＰＣ）２０…に転送して同再現評価させたりすることで、当該同期再生用タイムコードファイル１２ｃを作成した携帯機器１０自身だけでなく、その他の各コンピュータ端末においても同様にユーザの学習練習状況の再現再生処理を実行することができ、例えばユーザ自身や第三者（例えば先生）による評価や採点を行うことができる。
【００８６】
次に、前記構成の携帯機器１０により作成された同期再生用タイムコードファイル１２ｃに従いユーザの学習練習状況を再生して再現するための同期データ再生機能について説明する。
【００８７】
図９は前記携帯機器１０の同期データ再生処理プログラム１２ａ２に従った同期データ再生処理を示すフローチャートである。
【００８８】
図１０は前記携帯機器１０の同期データ再生処理に伴いユーザの学習練習状況を再生再現した場合の音声・テキスト・画像同期再生画面Ｇ２を示す図である。
【００８９】
前記同期データ作成処理（１２ａ１）により作成された同期再生用タイムコードファイル１２ｃおよび各同期再生用のテキスト・音声・画像データ１２ｃ２，１２ｃ３，１２ｃ４がＲＡＭ１２Ｃに格納された状態において、入力部１７ａの操作によりこの同期再生用タイムコードファイル１２ｃの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【００９０】
そして、ＲＡＭ１２Ｃに格納された同期再生用タイムコードファイル１２ｃ（図７参照）が読み込まれ（ステップＳ２）、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ）が、ＣＰＵ１１による当該タイムコードファイル１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ３）。
【００９１】
そして、このタイムコードファイル１２ｃの先頭に読み出しポインタがセットされ（ステップＳ４）、当該タイムコードファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ５）。
【００９２】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ６）。
【００９３】
この先読み処理では、タイムコードファイル１２ｃ（図７参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｅに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【００９４】
前記ステップＳ５において、処理タイマがスタートされると、前記ステップＳ３にて設定されたタイムコードファイル１２ｃに応じた処理単位時間（２５ｍｓ）毎に、前記ステップＳ４にて設定された読み出しポインタの位置の当該タイムコードファイル１２ｃ（図７参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ７）。
【００９５】
そして、前記タイムコードファイル１２ｃ（図７参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ８）、“ＦＮ”と判断された場合には、その時点で当該同期データ再生処理の停止処理が指示実行される（ステップＳ８→Ｓ９）。
【００９６】
一方、前記タイムコードファイル１２ｃ（図７参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、各コマンドコードに応じたコマンド処理へ移行されてそのコマンド内容（図２参照）に対応する処理が実行される（ステップＳＣ）。
【００９７】
すると、前記タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断され（ステップＳ１０）、次の処理単位時間１２ｃ１ａに到達したと判断された場合には、タイムコードファイル１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１０→Ｓ１１）、前記ステップＳ７における当該読み出しポインタの位置のタイムコードファイル１２ｃ（図７参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１１→Ｓ７〜Ｓ１０）。
【００９８】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期データ再生処理プログラム１２ａ２に従って、同期再生用タイムコードファイル１２ｃに予め設定記述されているコマンド処理の単位時間毎に、当該タイムコードファイル１２ｃに配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃに記述された各コマンドに応じた各種同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４の同期再生処理が実行される。
【００９９】
ここで、前記同期データ作成処理プログラム１２ａ１によって作成された図７で示すユーザ学習練習状況の同期再生用タイムコードファイル１２ｃに基づいた、前記同期データ再生処理プログラム１２ａ２による英語テキスト（１２ｃ２）・ユーザ読み上げ音声（１２ｃ３）・ユーザ顔（口型）画像（１２ｃ４）の同期再生動作について詳細に説明する。
【０１００】
このユーザ学習練習状況の同期再生用タイムコードファイル１２ｃ（図７参照）は、そのヘッダ情報（１２ｃ１）に記述設定された処理単位時間（２５ｍｓ）１２ｃ１ａ毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃの第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・画像・音声ファイルの出力がクリアされる。
【０１０１】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、図１０に示すような音声・テキスト・画像同期再生画面Ｇ２を設定するためのＨＴＭＬデータが読み出され、表示部１８の表示画面に対して、同期再生用テキストデータ１２ｃ２を表示するための朗読対象テキスト表示エリア４５、同期再生用音声データ１２ｃ３に応じたユーザ読み上げ音声波形を表示するためのユーザ音声波形表示エリア４７、同期再生用画像データ１２ｃ３である前記テキスト読み上げ練習時のユーザ顔画像を表示するためのユーザ顔表示ウインドウＷが設定される。
【０１０２】
第３コマンドコード“ＤＩ”（ｉ番目イメージ（顔画像）ファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用画像データ１２ｃ４から読み出されて画像展開バッファ１２ｅに展開されたユーザ顔画像データの前記ユーザ顔表示ウインドウＷへの表示が開始される。
【０１０３】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用音声データ１２ｃ３から読み出されたユーザ音声データの音声出力部１９ｂへの出力が開始される。
【０１０４】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用テキストデータ１２ｃ２から読み出された学習テキストデータがＲＡＭ１２Ｃのワークエリアにロードされる。
【０１０５】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、同期再生用テキストデータ１２ｃ２にて指定された学習テキストの第１文節（ｓｅｎｔｅｎｃｅ）が呼び出されて表示画面上の朗読対象テキスト表示エリア４５に表示される。
【０１０６】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記表示中の学習テキストの文字カウンタがリセットされ、当該文節ブロックの１文字目が指定される。
【０１０７】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝２）に応じて、学習テキストデータの２番目の文字「Ｉ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１０８】
そして、文字カウンタが２番目の文字までカウントアップされる。
【０１０９】
第９コマンドコード“ＮＰ”が読み出されると、現在の学習テキストデータおよびユーザ読み上げ音声データおよびユーザ読み上げ顔画像データの同期出力状態が維持される。
【０１１０】
続いて、第１２コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０６”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝６）に応じて、学習テキストデータの６番目の文字「ｗａｓ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１１１】
また、第３５コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“１５”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１５）に応じて、学習テキストデータの１５番目の文字「ｅｎｊｏｙｉｎｇ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１１２】
このように、前記同期データ作成処理プログラム１２ａ１に従い作成されたユーザによる学習テキスト読み上げ練習状況の同期再生用タイムコードファイル１２ｃ（図７参照）・同期再生用テキストデータ１２ｃ２・同期再生用音声データ１２ｃ３・同期再生用画像データ１２ｃ３に基づき、当該タイムコードファイル１２ｃに予め設定された処理単位時間（２５ｍｓ）毎のコマンド処理を、同期データ再生処理プログラム１２ａ２によって行うことで、図１０で示すように、表示画面上に学習テキストデータが表示されると共に、音声出力部１９ｂから表示中の学習テキストを読み上げたユーザ音声データが同期出力され、当該学習テキストの読み上げ文節が各文字（単語）毎に順次同期ハイライト（強調）表示Ｈされる。また図１０のＷ１〜Ｗ３で示すように、前記テキスト読み上げ練習時のユーザ顔画像が前記強調同期表示の読み上げ単語を吹き出し表示Ｗａ１〜Ｗａ３してユーザ顔表示ウインドウＷに順次同期表示されるようになる。
【０１１３】
この場合、携帯機器１０のＣＰＵ１１は、同期再生用タイムコードファイル１２ｃに予め記述設定されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、テキストデータ、顔画像データ、発声音声データの同期再生処理を行うことができるので、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト・音声・画像を含む同期再生処理が行える。
【０１１４】
これにより、ユーザは模範学習データ１２ｂによる当該学習テキストの模範的な読み上げを参考にしてユーザ自身によるテキスト読み上げ練習を行った場合に、このユーザによる読み上げ練習状況を前記テキスト・発声音声・発声顔（口型）画像の同期再生表示によってその場で確認することができ、しかも前記同期再生用タイムコードファイル１２ｃおよびその同期再生用の各データ１２ｃ２，１２ｃ３，１２ｃ４を当該学習データ（１２ｂ）の提供元Ｗｅｂサーバ３０へ転送したり、同提供元へＣＤ−ＲＯＭなどの外部記憶媒体１３に書き込んで配送したりすることで、学習データの提供元でもユーザによる学習テキストの読み上げ練習状況を同期再生して確認でき、これの評価，採点などを容易に行うことができるようになる。
【０１１５】
したがって、前記構成の携帯機器１０による同期データ作成・再生機能によれば、模範学習データ練習画面Ｇ１において表示される模範学習データ１２ｂの朗読対象テキストおよび模範朗読者の顔（口型）画像に従って、ユーザが当該学習テキストの読み上げ練習を行うと、その発生音声が音声入力部１９ａから入力されると共に、ユーザ顔（口型）画像がデジタルカメラ１７ｃにより撮影されてリアルタイムでユーザ顔表示ウインドウＷに表示され、それぞれ同期再生用テキストデータ１２ｃ２、同期再生用音声データ１２ｃ３、同期再生用画像データ１２ｃ４としてＲＡＭ１２Ｃ内に保存される。すると、このユーザの読み上げ練習に伴う同期再生用音声データ１２ｃ３の出力および同期再生用画像データ１２ｃ４の表示の開始命令時点“ＤＳ”“ＰＳ”からの読み上げテキスト位置を当該同期再生用テキストデータ１２ｃ２のハイライト表示命令“ＨＬ”として順次対応付けた同期再生用タイムコードファイル１２ｃが作成される。そして、この同期再生用タイムコードファイル１２ｃに従った同期再生処理により、前記学習テキストの読み上げ練習に伴い取得保存されたユーザの発声音声（１２ｃ３）および発声顔（口型）画像（１２ｃ４）が、当該テキストデータ（１２ｃ２）の読み上げ位置を示すハイライト表示Ｈと同期して音声出力および画像表示されるので、例えば英語の学習教材において模範のテキストや音声に合わせてユーザ自身が発声・発音の練習を行った場合に、これの発声音声やその発音の口型画像などをテキストと共に収録し、このそれぞれ収録された発声音声・口型画像・テキストをその場で同期再生してユーザ自身における学習の状況をリアルに再現でき、当該ユーザ自身あるいは第三者の立場からの学習の評価などを容易に行うことができる。
【０１１６】
なお、前記実施形態では、模範学習データ１２ｂに応じたユーザによる読み上げ練習の際には、模範学習データ練習画面Ｇ１上で朗読対象テキスト（４５）と共に模範朗読者（先生）の顔（口型）画像（４６）を参照表示させながら、ユーザによって当該テキストの読み上げ練習を行わせる構成としたが、前記朗読対象テキスト（４５）のみを参照表示させながら、ユーザによる読み上げ練習を行わせる構成としてもよい。
【０１１７】
また、前記実施形態において、模範学習データ１２ｂは、例えばビデオ収録により得られた顔画像＋音声データに対して、当該顔画像＋音声データに時間的に対応付けられたテキストデータを画像挿入したものであるが、この模範学習データ１２ｂも、その提供元のコンピュータ端末にて実施される同期データ作成処理に従い模範朗読者の同期再生用タイムコードファイル１２ｃとして作成したものであってもよい。この場合、模範学習データ練習画面Ｇ１上での朗読対象テキスト（４５）の朗読位置に合わせた強調表示（ハイライト表示）Ｈを、練習者（生徒）であるユーザに参照させてその読み上げ練習を行わせることができる。
【０１１８】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図４のフローチャートに示す同期データ作成処理に伴うユーザ同期データ取得保存処理、図６のフローチャートに示す同期データ作成処理に伴うタイムコードファイル作成処理、そして、図９のフローチャートに示すユーザ同期データ再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同期データ作成機能やその再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１１９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した同期データ作成機能やその再生機能を実現することもできる。
【０１２０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施形態ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１２１】
【発明の効果】
以上のように、本発明の請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）によれば、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると共に、このテキスト表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を顔画像表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御および顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の第２の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成されるので、模範朗読者のテキストの読み上げを真似した学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できるようになる。
【０１２２】
また、本発明の請求項２（請求項８）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）によれば、さらに、前記請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられるので、模範朗読者の真似をした学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できるようになる。
【０１２３】
また、本発明の請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）によれば、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成されるので、朗読対象のテキスト表示に合わせた学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できるようになる。
【０１２４】
また、本発明の請求項４（請求項１０）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）によれば、さらに、前記請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられるので、学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できるようになる。
【０１２５】
また、本発明の請求項５に係るテキスト音声画像再生装置によれば、さらに、前記請求項３に係るテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、テキスト記憶手段に記憶されているテキストをその記述順番に識別表示制御すると共に、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御する同期データ再生制御手段が備えられるので、学習対象者によるテキスト読み上げ状況を、当該テキストの記述順番の識別表示とその読み上げ音声出力・読み上げ顔画像表示との同期再生によって容易に再現できるようになる。
【０１２６】
また、本発明の請求項６に係るテキスト音声画像記憶装置によれば、前記請求項１または請求項３に係るテキスト音声画像記憶装置にあって、同期データ作成制御手段により作成される同期再生データを、音声取得手段により取得された学習対象者の音声出力命令と画像取得手段により取得された当該学習対象者の顔画像表示命令とテキスト記憶手段に記憶されているテキストの記述順番毎の識別表示命令とを予め設定された時間経過に対応付けた命令コードのファイルとしたので、学習対象者によるテキスト読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを、ＣＰＵに負担の少ない予め設定された時間経過に対応付けた命令コードファイルとして作成できるようになる。
【０１２７】
よって、本発明によれば、模範のテキストに合わせたユーザ自身の発生音声と顔（口型）画像とをその場で収録し、当該テキストに対応付けた同期再生データとして容易に生成記憶することが可能になるテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の電子機器（テキスト音声画像記憶装置）（テキスト音声画像再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０の同期再生用タイムコードファイル１２ｃ（図７参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期データ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図。
【図３】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図。
【図４】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従ったユーザ同期データ取得保存処理を示すフローチャート。
【図５】前記携帯機器１０のユーザ同期データ取得保存処理を実施する場合の模範学習データの再生出力練習状態を示す図であり、同図（Ａ）は模範学習データ練習画面Ｇ１の初期表示状態を示す図、同図（Ｂ）は同模範学習データ練習画面Ｇ１におけるユーザ練習中の表示状態を示す図。
【図６】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従った同期再生用タイムコードファイル１２ｃの作成処理を示すフローチャート。
【図７】前記携帯機器１０のタイムコードファイル作成処理に伴い作成された同期再生用タイムコードファイル１２ｃを示す図。
【図８】前記携帯機器１０のタイムコードファイル作成処理に伴う同期再生用テキストデータ１２ｃ２に対する同期再生用音声データ１２ｃ３と同期再生用画像データ１２ｃ４との対応同期イメージを示す図。
【図９】前記携帯機器１０の同期データ再生処理プログラム１２ａ２に従った同期データ再生処理を示すフローチャート。
【図１０】前記携帯機器１０の同期データ再生処理に伴いユーザの学習練習状況を再生再現した場合の音声・テキスト・画像同期再生画面Ｇ２を示す図。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２Ｂ…ＦＬＡＳＨメモリ
１２Ｃ…ＲＡＭ
１２ａ…携帯機器（ＰＤＡ）制御プログラム
１２ａ１…同期データ作成処理プログラム
１２ａ２…同期データ再生処理プログラム
１２ｂ…模範学習データ
１２ｃ…同期再生用タイムコードファイル
１２ｃ１…ヘッダ情報
１２ｃ１ａ…処理単位時間
１２ｃ２…同期再生用テキストデータ
１２ｃ３…同期再生用音声データ
１２ｃ４…同期再生用画像データ
１２ｄ…テキスト音声同期データ
１２ｅ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力部（マウス／タブレット）
１７ｃ…デジタルカメラ
１８ …表示部
１９ａ…音声入力部
１９ｂ…音声出力部
２０ …外部通信機器（ＰＣ）
３０ …Ｗｅｂサーバ
４１ …メッセージ表示エリア
４２ …開始ボタン（ＳＴＡＲＴ）
４３ …停止ボタン（ＳＴＯＰ）
４４ …模範音声波形表示エリア
４５ …朗読対象テキスト表示エリア
４６ …模範顔表示エリア
４６ａ…朗読テキスト吹き出し表示
４７ …ユーザ音声波形表示エリア
Ｎ …通信ネットワーク（インターネット）
Ｇ１…模範学習データ練習画面
Ｇ２…音声・テキスト・画像同期再生画面
Ｗ …ユーザ顔表示ウインドウ
Ｗａ…読み上げ単語吹き出し表示
Ｈ …ハイライト（識別）表示
【発明の属する技術分野】
本発明は、テキストデータに音声データと画像データとを対応付けて記憶させるためのテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムに関する。
【０００２】
【従来の技術】
従来、音楽，テキスト，画像などのファイルを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とその歌詞のテキストおよびイメージ画像を同期再生するものがある。
【０００３】
そして、音声と字幕テキストとの同期タイミングを取る装置が考えられている（例えば、特許文献１参照）。
【０００４】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開２００２−２４４６９４号公報
【０００６】
【特許文献２】
特公平０６−０２５９０５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、このように従来において考えられている音声とテキストとを関連付けて表示再生する技術では、各種データ同士の時間的な対応付けが予め明らかである場合において、これらのデータを同期再生するための関連付けが行えるものである。このため、例えば英語の学習教材において模範のテキストや音声に合わせてユーザ自身が発声・発音の練習を行った場合に、これの発声音声やその発音の口型画像などをテキストと共に収録し、このそれぞれ収録された発声音声・口型画像・テキストをその場で同期再生してユーザ自身における学習の状況をリアルに再現し、当該ユーザ自身あるいは第三者の立場からの評価などを行うことはできない。
【０００８】
なお、ユーザ自身によるテキスト読み上げの練習状況を単にビデオ収録しただけでは、収録された顔画像および発声音声の再現ができるだけであり、その発声音声の進みに合わせたテキスト表示までもその場で再現することはできない。
【０００９】
本発明は、前記のような問題に鑑みてなされたもので、模範のテキストに合わせたユーザ自身の発生音声と顔（口型）画像とをその場で収録し、当該テキストに対応付けた同期再生データとして容易に生成記憶することが可能になるテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）では、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると共に、このテキスト表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を顔画像表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御および顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の第２の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成される。
【００１１】
これによれば、模範朗読者のテキストの読み上げを真似した学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できることになる。
【００１２】
本発明の請求項２（請求項８）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）では、さらに、前記請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられる。
【００１３】
これによれば、模範朗読者の真似をした学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できることになる。
【００１４】
本発明の請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）では、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成される。
【００１５】
これによれば、朗読対象のテキスト表示に合わせた学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できることになる。
【００１６】
本発明の請求項４（請求項１０）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）では、さらに、前記請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられる。
【００１７】
これによれば、学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できることになる。
【００１８】
本発明の請求項５に係るテキスト音声画像再生装置では、さらに、前記請求項３に係るテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、テキスト記憶手段に記憶されているテキストをその記述順番に識別表示制御すると共に、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御する同期データ再生制御手段が備えられる。
【００１９】
これによれば、学習対象者によるテキスト読み上げ状況を、当該テキストの記述順番の識別表示とその読み上げ音声出力・読み上げ顔画像表示との同期再生によって容易に再現できることになる。
【００２０】
本発明の請求項６に係るテキスト音声画像記憶装置では、前記請求項１または請求項３に係るテキスト音声画像記憶装置にあって、同期データ作成制御手段により作成される同期再生データを、音声取得手段により取得された学習対象者の音声出力命令と画像取得手段により取得された当該学習対象者の顔画像表示命令とテキスト記憶手段に記憶されているテキストの記述順番毎の識別表示命令とを予め設定された時間経過に対応付けた命令コードのファイルとする。
【００２１】
これによれば、学習対象者によるテキスト読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを、ＣＰＵに負担の少ない予め設定された時間経過に対応付けた命令コードファイルとして作成できることになる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２３】
図１は本発明の電子機器（テキスト音声画像記憶装置）（テキスト音声画像再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００２４】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００２５】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ（携帯機器）制御プログラム１２ａ、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａ、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラム１２ａは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００２６】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、固体撮像素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）を備えたデジタルカメラ１７Ｃ、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、スピーカを備え音声を出力する音声出力部１９ｂなどが接続される。
【００２７】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００２８】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００２９】
ＲＯＭ１２Ａには、当該携帯機器１０のＰＤＡ制御プログラム１２ａとして、その全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（Ｗｅｂサーバなど）（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための同期再生用タイムコードファイル１２ｃを作成する同期データ作成処理プログラム１２ａ１、これにより作成されたタイムコードファイル１２ｃに従い音声・テキスト・画像などの各種のファイルを同期再生するための同期データ再生処理プログラム１２ａ２など、種々のＰＤＡ制御プログラム１２ａｎが記憶される。
【００３０】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、ＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介して取り込まれるか、あるいは通信ネットワーク（インターネット）Ｎ上のＷｅｂサーバ３０から電送制御部１５を介して取り込まれた、例えば英語学習用の模範学習データ１２ｂが記憶される。
【００３１】
この模範学習データ１２ｂは、例えば英語学習のテキストデータ、この学習テキストを読み上げる模範の発音音声データ（含む音声信号データ）、この発音音声に対応した口型の画像を含む模範の顔画像データからなり、この模範学習データ１２ｂは、ここでは例えばビデオ収録により得られた顔画像＋音声データに対して、当該顔画像＋音声データに時間的に対応付けられたテキストデータが画像挿入されている。
【００３２】
この他に、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００３３】
ＲＡＭ１２Ｃには、前記同期データ作成処理プログラム１２ａ１に従い作成され、また前記同期データ再生処理プログラム１２ａ２に従い再生処理の対象となる同期再生用タイムコードファイル１２ｃ（図７参照）が記憶されると共に、このタイムコードファイル１２ｃに従い同期再生の対象となる画像データを事前に展開して記憶するための画像展開バッファ１２ｅが備えられる。
【００３４】
ここで、前記同期再生用タイムコードファイル１２ｃは、例えば前記模範学習データ１２ｂに従ったユーザによる英語テキストの読み上げ練習状況を、当該テキスト・読み上げ音声・顔（口型）画像の同期再生により再現するためのファイルである。
【００３５】
この作成された同期再生用タイムコードファイル１２ｃは、本携帯機器１０によりその場で同期再生してユーザ自身あるいは第三者がその英語テキストの読み上げ練習状況を再現評価するのに利用する他に、例えばＣＤ−ＲＯＭに記録して前記模範学習データ１２ｂの提供元に配送し同ユーザの読み上げ練習状況を再現して採点評価させたり、電送制御部１５を介して通信ネットワーク（インターネット）Ｎ上にある前記模範学習データ１２ｂの提供元Ｗｅｂサーバ３０へ転送し同様に再現して採点評価させたり、あるいは通信部１６を介して外部の通信機器（ＰＣ）２０へ転送して同様に再現評価したりする。
【００３６】
同期再生用タイムコードファイル１２ｃ（図７参照）は、前記同期データ作成処理プログラム１２ａ１に従い作成（作成処理については後述する）され、前記同期データ再生処理プログラム１２ａ２に従い再生（再生処理については後述する）されるもので、再生命令の処理単位時間（１２ｃ１ａ）を記憶するヘッダ情報（１２ｃ１）、および後述する同期再生用テキストデータ（１２ｃ２）、同期再生用音声データ（１２ｃ３）、同期再生用画像データ（１２ｃ４）を組み合わせて構成される。つまり、同期再生用タイムコードファイル１２ｃに従い同期再生の対象となるテキストデータが同期再生用テキストデータ（１２ｃ２）として記憶され、同音声データが同期再生用音声データ（１２ｃ３）として記憶され、同画像データが同期再生用画像データ（１２ｃ４）として記憶される。
【００３７】
そしてまた、ＲＡＭ１２Ｃには、音声と画像とテキストを同期再生するための同期再生用タイムコードファイル１２ｃを前記同期データ作成処理プログラム１２ａ１に従い作成処理する過程において生成される、音声とテキストを同期付けたテキスト音声同期データ１２ｄが記憶される。
【００３８】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００３９】
図７で示す同期再生用タイムコードファイル１２ｃには、個々のデータ毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種データ同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わる再生対象データの内容を対応付けするための参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００４０】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１に処理単位時間１２ｃ１ａとして記述設定される。
【００４１】
図２は前記携帯機器１０の同期再生用タイムコードファイル１２ｃ（図７参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期データ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図である。
【００４２】
同期再生用タイムコードファイル１２ｃに使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００４３】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている同期データ再生処理プログラム１２ａ２を起動させた際に、ＲＡＭ１２Ｃに記憶されている同期再生用タイムコードファイル１２ｃが、例えば図７で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０１からリンク付けられる同期再生用画像データ１２ｃ４における１番目の画像データが読み出されて表示される。
【００４４】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、同期再生用テキストデータ１２ｃ２におけるテキストデータの０番目（最初）の文節（例えば１ｓｅｎｔｅｎｃｅ）が表示される。
【００４５】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００４６】
なお、このテキスト・音声・画像の各データを同期再生するための図７で示した同期再生用タイムコードファイル１２ｃの作成動作、およびこのタイムコードファイル１２ｃによる各同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４についての詳細な再生動作は、後述にて改めて説明する。
【００４７】
図３は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図である。
【００４８】
このテキスト音声同期データ１２ｄは、模範学習テキストにユーザによる発声音声とその発音顔（口型）画像を対応付けて同期再生するための同期再生用タイムコードファイル１２ｃの作成に伴うユーザ同期データ取得保存処理（図４参照）において、表示中の模範学習テキストのユーザによる読み上げ音声を入力・音声認識して当該テキストの読み上げ位置を抽出して行くことで、当該テキスト内容の各単語（単語Ｎｏ．）毎にユーザによる発声音声の経過時間が対応付けされて生成される。
【００４９】
次に、前記構成の携帯機器１０により、例えば模範学習データ１２ｂに応じたユーザによる練習状況をテキスト・音声・画像として収録しその同期再生（再現）を図るための同期再生用タイムコードファイル１２ｃを作成するための同期データ作成機能について説明する。
【００５０】
図４は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従ったユーザ同期データ取得保存処理を示すフローチャートである。
【００５１】
図５は前記携帯機器１０のユーザ同期データ取得保存処理を実施する場合の模範学習データの再生出力練習状態を示す図であり、同図（Ａ）は模範学習データ練習画面Ｇ１の初期表示状態を示す図、同図（Ｂ）は同模範学習データ練習画面Ｇ１におけるユーザ練習中の表示状態を示す図である。
【００５２】
この模範学習データ練習画面Ｇ１には、ユーザに対するガイドメッセージを表示するためのメッセージ表示エリア４１、練習の開始／停止を指示するための開始ボタン（ＳＴＡＲＴ）４２／停止ボタン（ＳＴＯＰ）４３、模範学習テキストの読み上げ音声波形を表示するための模範音声波形表示エリア４４、模範学習テキストを表示するための朗読対象テキスト表示エリア４５、当該模範学習テキストの模範朗読者（先生）の発音顔（口型）画像を表示するための模範顔表示エリア４６、そして前記朗読対象テキスト表示エリア４５に表示される模範学習テキスト、および模範音声波形表示エリア４４に表示される前記テキストの模範読み上げ音声波形、および模範顔表示エリア４６に表示される模範顔（口型）画像を参照して、これに合わせた読み上げ練習を行っているユーザ（生徒）の顔画像をデジタルカメラ１７ｃで撮影入力してリアルタイムで表示するためのユーザ顔表示ウインドウＷが設けられる。
【００５３】
入力部１７ａの操作により、例えばインターネットＮ上のＷｅｂサーバ３０から予めダウンロードされてＦＬＡＳＨメモリ１２Ｂに記憶されている模範学習データ１２ｂに基づき、英語テキストの読み上げ練習を行う場合に、図４におけるユーザ同期データ取得保存処理が起動されると、図５（Ａ）に示すように、ユーザに対してその顔の画像の撮影開始を知らせるためのガイドメッセージ「モニター画面内に入るようにカメラに顔を向けてください。」がメッセージ表示エリア４１に表示される（ステップＡ０）。
【００５４】
すると、ＦＬＡＳＨメモリ１２Ｂに記憶されている模範学習データ１２ｂが読み出され（ステップＡ１）、音声入力部１９ａによるユーザ音声の入力と、デジタルカメラ１７ｃによるユーザ顔（口型）画像の撮影入力および図５（Ａ）に示すように、この撮影されたユーザ顔画像のユーザ顔表示ウインドウＷに対する表示とが開始される（ステップＡ２）。
【００５５】
すると、図５（Ｂ）に示すように、前記模範学習データ１２ｂの英語テキストが模範学習データ練習画面Ｇ１上の朗読対象テキスト表示エリア４５に順次表示されるのと同時に、当該英語テキストの模範朗読者の顔（口型）画像が模範顔表示エリア４６に表示され、さらに当該模範朗読者の音声波形が模範音声波形表示エリア４４に順次表示される（ステップＡ３）。
【００５６】
この際、前記模範朗読者の顔（口型）画像が表示される模範顔表示エリア４６には、その朗読対象のテキスト部分が吹き出し表示４６ａされる。
【００５７】
また、ユーザ顔表示ウインドウＷには、前記模範テキスト・模範顔画像・模範音声波形に合わせて読み上げ練習を行っているユーザ（生徒）の顔画像がデジタルカメラ１７ｃにより撮影入力されリアルタイムに表示される。この際、当該ユーザ顔表示ウインドウＷには、後述のユーザ音声の認識に伴い抽出されたテキスト部分が吹き出し表示Ｗａされる。
【００５８】
こうして、模範テキスト・模範顔画像・模範音声波形の表示に合わせたユーザのテキスト読み上げに伴う音声入力および顔画像入力が開始されると、当該音声入力されるユーザのテキスト読み上げに伴う発声音声が認識され（ステップＡ４）、この読み上げ音声に対応するテキスト位置が抽出される（ステップＡ５）。
【００５９】
すると、このユーザ音声の認識に基づくテキスト位置の抽出に応じて、当該テキストの各単語毎に練習開始からの読み上げ経過時間がテキスト音声同期データ１２ｄ（図３参照）として順次記憶される（ステップＡ６）。
【００６０】
すると、ユーザ音声の認識に基づくテキスト位置が模範学習テキストの最終単語と一致することで、練習終了と判断されると（ステップＡ７）、前記音声入力部１９ａによるユーザ音声の入力と、デジタルカメラ１７ｃによるユーザ顔（口型）画像の撮影入力とが終了される（ステップＡ８）。
【００６１】
そして、前記朗読対象テキスト表示エリア４５に順次表示された模範学習データ１２ｂのテキストデータが同期再生用テキストデータ１２ｃ２として保存される（ステップＡ９）と共に、前記音声入力部１９ａにより音声入力されて一時記憶されたユーザのテキスト読み上げに伴う音声データが同期再生用音声データ１２ｃ３として保存され（ステップＡ１０）、さらに前記デジタルカメラ１７ｃにより画像入力されて一時記憶されたユーザのテキスト読み上げに伴う顔（口型）画像データが同期再生用画像データ１２ｃ４として保存される（ステップＡ１１）。
【００６２】
こうして、前記ユーザ同期データ取得保存処理（ステップＡ０〜Ａ１１）が終了すると、これにより取得保存された各同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４、およびテキスト音声同期データ１２ｄ（図３参照）に基づき、図６におけるタイムコードファイル作成処理に移行される（ステップＢ１〜Ｂ１９）。
【００６３】
図６は前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従った同期再生用タイムコードファイル１２ｃの作成処理を示すフローチャートである。
【００６４】
図７は前記携帯機器１０のタイムコードファイル作成処理に伴い作成された同期再生用タイムコードファイル１２ｃを示す図である。
【００６５】
図８は前記携帯機器１０のタイムコードファイル作成処理に伴う同期再生用テキストデータ１２ｃ２に対する同期再生用音声データ１２ｃ３と同期再生用画像データ１２ｃ４との対応同期イメージを示す図である。
【００６６】
このタイムコードファイル作成処理が起動されると、まず、これから作成すべき同期再生用タイムコードファイル１２ｃ（図７参照）の処理単位時間１２ｃ１ａがユーザ操作により基準時間（２５ｍｓ／５０ｍｓ／１００ｍｓ／…）の中から選択され（ステップＢ１）、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１として書き込まれる（ステップＢ２）。
【００６７】
すると、１番目の命令としてクリアスクリーン（全ファイルクリア）の命令が、コマンドコード“ＣＳ”およびパラメータデータ“００”として書き込まれ（ステップＢ３）、また、指定画像の表示命令が、２番目の表示エリア設定命令［コマンドコード“ＤＨ”・パラメータデータ“０１”］、３番目の画像１表示命令［コマンドコード“ＤＩ”・パラメータデータ“０１”］として書き込まれる（ステップＢ４）。
【００６８】
なお、前記表示エリア設定命令［コマンドコード“ＤＨ”］は、表示すべき画像データの表示画面上でのエリアを特定する言わば背景画像の表示命令に相当し、前記画像１表示命令［コマンドコード“ＤＩ”］は、前記背景画像により特定されたエリアに対する第１の画像データの表示命令に相当する。
【００６９】
さらに、４番目の命令として指定音声のスタート命令が、コマンドコード“ＰＳ”およびパラメータデータ“０１”として書き込まれ（ステップＢ５）、また、指定テキストの０番目文節の表示命令が、５番目のテキスト指定命令［コマンドコード“ＬＴ”・パラメータデータ“０１”］、６番目のテキスト文節表示命令［コマンドコード“ＶＤ”・パラメータデータ“００”］として書き込まれる（ステップＢ６）。
【００７０】
さらに、７番目の命令として文節中の文字カウンタリセット命令が、コマンドコード“ＢＬ”およびパラメータデータ“００”として書き込まれる（ステップＢ７）。
【００７１】
こうして、同期再生用タイムコードファイル１２ｃの７番目の命令までに、全ファイルクリア、表示エリア設定（この場合はユーザ練習再現画面Ｇ２：図１０参照）、指定画像“１”（この場合は同期再生用画像データ１２ｃ４）の表示、指定音声“１”（この場合は同期再生用音声データ１２ｃ３）の再生開始、指定テキスト“１”（この場合は同期再生用テキストデータ１２ｃ４）の表示、文字カウンタリセットの各コマンドコードおよびそのパラメータデータがセットされると、ＲＡＭ１２Ｃに保存されたテキスト音声同期データ１２ｄ（図３参照）が読み出されると共に（ステップＢ８）、指定のテキスト“１”が同期再生用テキストデータ１２ｃ４から読み出され（ステップＢ９）、当該テキスト上の単語番号が“１”に指定される（ステップＢ１０）。
【００７２】
すると、当該指定の単語番号“１”に対応する単語「Ｉ」（含スペース）までの文字数が“２”としてカウントされると共に（ステップＢ１１）、この指定の単語番号“１”に同期付けられる音声再生時間Ｔｎ（ｎ＝１）（この場合「…００：１５３」）が読み出される（ステップＢ１２）。
【００７３】
そして、前記指定の単語番号の音声再生時間Ｔｎを前記ステップＢ１にて選択された処理単位時間（基準時間）１２ｃ１ａで割り算してタイムコードファイルの命令コード番号が求められ（ステップＢ１３）、このコード番号は未使用か否か判断される（ステップＢ１４）。
【００７４】
ここで、ステップＢ１３にて求められた命令コード番号が既に使用されている場合には、その次のコード番号が指定される（ステップＢ１５）。
【００７５】
すなわち、同期再生用タイムコードファイル１２ｃによる同期データの再生処理開始から何番目の命令コードの位置に指定の単語番号に対応するユーザ読み上げ音声データの時間が到達しているか判断され、当該指定の単語までをハイライト（識別）表示させるタイミングの命令コード番号が求められるもので、この求められたコード番号が既に使用されていて次のコード番号が指定された場合に、その命令コード番号のタイミング遅れは、当該タイムコードファイル１２ｃ自体の処理単位時間（基準時間）１２ｃ１ａが例えば［２５ｍｓ］と極めて短いことから許容値として無視される。
【００７６】
すると、前記ステップＢ１２〜Ｂ１５において求められた命令コード番号の位置に、前記ステップＢ１１にてカウントされた指定の単語までの文字数までをハイライト表示させるための命令が書き込まれる（ステップＢ１６）。例えば指定の単語番号“１”である場合に当該単語「Ｉ」（含スペース）までの文字数（２文字）をハイライト表示する命令が、コード番号“８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０２”として書き込まれる。
【００７７】
すると、指定されているテキスト上の単語番号が（＋１）されて“２”に指定され（ステップＢ１７）、これに対応する単語「ｗａｓ」のデータ有りと判断されて（ステップＢ１８）、ステップＢ１１に戻り、当該単語番号“２”の単語「ｗａｓ」までの総文字数（６文字：含スペース）がカウントされる。
【００７８】
この後、前記ステップＢ１１〜Ｂ１８の処理が繰り返し実行されると、指定の単語番号“２”である場合に当該単語「ｗａｓ」までの文字数（６文字）をハイライト表示する命令が、コード番号“１２”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０６”として書き込まれる。
【００７９】
また、指定の単語番号“３”である場合には当該単語「ｅｎｊｏｙｉｎｇ」（含スペース）までの文字数（１５文字）をハイライト表示する命令が、コード番号“３５”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１５”として書き込まれる。
【００８０】
さらに、指定の単語番号“４”である場合には当該単語「ｔｈｅ」までの文字数（１９文字）をハイライト表示する命令が、コード番号“５８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１９”として書き込まれる。
【００８１】
なお、前記テキスト音声同期データ１２ｄに基づいた当該テキスト中の各単語毎のハイライト表示命令“ＨＬ”が書き込まれた命令コード番号以外のコード番号の位置には、何れも無効命令としてのマンドコード“ＮＰ”およびパラメータデータ“００”が書き込まれる。
【００８２】
この後、前記ステップＢ１８において、指定の単語番号に対応する単語のデータ無しと判断されると、次のコード番号の命令として処理終了の命令が、コマンドコード“ＦＮ”およびパラメータデータ“００”として書き込まれる（ステップＢ１９）。
【００８３】
こうして、前記タイムコードファイル作成処理（ステップＢ１〜Ｂ１９）により、前記同期再生用テキストデータ１２ｃ２・同期再生用音声データ１２ｃ３・同期再生用画像データ１２ｃ４を再生対象データとするテキスト音声同期データ１２ｄに基づいたタイムコードファイル１２ｃが作成されると、このタイムコードファイル１２ｃはＲＡＭ１２Ｃ内に保存される。
【００８４】
こうして、模範学習データ１２ｂに応じたユーザによるテキスト読み上げの練習状況をその発声音声入力および顔画像入力により収録保存してなるテキスト・音声・顔画像の各データを、例えば図８に示すような表示イメージで同期付けて再生再現するための同期再生用タイムコードファイル１２ｃ（図７参照）が、前記同期データ作成処理に従い、ヘッダ情報１２ｃ１，同期再生用テキストデータ１２ｃ２，同期再生用音声データ１２ｃ３，同期再生用画像データ１２ｃ４の組み合わせにより容易に作成されてＲＡＭ１２Ｃに保存される。
【００８５】
このメモリ１２に保存された同期再生用タイムコードファイル１２ｃは、本携帯機器１０により再生処理されてユーザの英語の練習状況が再現再生される他に、同期データ再生処理プログラム１２ａ２および各同期再生用データ１２ｃ２〜１２ｃ４と共に、ＣＤ−Ｒなどの外部記録媒体１３に記録して学習データの提供元へ配送して同再現評価させたり、電送制御部１５からネットワークＮを介して学習データ提供元のＷｅｂサーバ３０に転送して同再現評価させたり、通信部１６を介して外部通信機器（ＰＣ）２０…に転送して同再現評価させたりすることで、当該同期再生用タイムコードファイル１２ｃを作成した携帯機器１０自身だけでなく、その他の各コンピュータ端末においても同様にユーザの学習練習状況の再現再生処理を実行することができ、例えばユーザ自身や第三者（例えば先生）による評価や採点を行うことができる。
【００８６】
次に、前記構成の携帯機器１０により作成された同期再生用タイムコードファイル１２ｃに従いユーザの学習練習状況を再生して再現するための同期データ再生機能について説明する。
【００８７】
図９は前記携帯機器１０の同期データ再生処理プログラム１２ａ２に従った同期データ再生処理を示すフローチャートである。
【００８８】
図１０は前記携帯機器１０の同期データ再生処理に伴いユーザの学習練習状況を再生再現した場合の音声・テキスト・画像同期再生画面Ｇ２を示す図である。
【００８９】
前記同期データ作成処理（１２ａ１）により作成された同期再生用タイムコードファイル１２ｃおよび各同期再生用のテキスト・音声・画像データ１２ｃ２，１２ｃ３，１２ｃ４がＲＡＭ１２Ｃに格納された状態において、入力部１７ａの操作によりこの同期再生用タイムコードファイル１２ｃの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【００９０】
そして、ＲＡＭ１２Ｃに格納された同期再生用タイムコードファイル１２ｃ（図７参照）が読み込まれ（ステップＳ２）、当該タイムコードファイル１２ｃのヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ）が、ＣＰＵ１１による当該タイムコードファイル１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ３）。
【００９１】
そして、このタイムコードファイル１２ｃの先頭に読み出しポインタがセットされ（ステップＳ４）、当該タイムコードファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ５）。
【００９２】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ６）。
【００９３】
この先読み処理では、タイムコードファイル１２ｃ（図７参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｅに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【００９４】
前記ステップＳ５において、処理タイマがスタートされると、前記ステップＳ３にて設定されたタイムコードファイル１２ｃに応じた処理単位時間（２５ｍｓ）毎に、前記ステップＳ４にて設定された読み出しポインタの位置の当該タイムコードファイル１２ｃ（図７参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ７）。
【００９５】
そして、前記タイムコードファイル１２ｃ（図７参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ８）、“ＦＮ”と判断された場合には、その時点で当該同期データ再生処理の停止処理が指示実行される（ステップＳ８→Ｓ９）。
【００９６】
一方、前記タイムコードファイル１２ｃ（図７参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、各コマンドコードに応じたコマンド処理へ移行されてそのコマンド内容（図２参照）に対応する処理が実行される（ステップＳＣ）。
【００９７】
すると、前記タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断され（ステップＳ１０）、次の処理単位時間１２ｃ１ａに到達したと判断された場合には、タイムコードファイル１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１０→Ｓ１１）、前記ステップＳ７における当該読み出しポインタの位置のタイムコードファイル１２ｃ（図７参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１１→Ｓ７〜Ｓ１０）。
【００９８】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期データ再生処理プログラム１２ａ２に従って、同期再生用タイムコードファイル１２ｃに予め設定記述されているコマンド処理の単位時間毎に、当該タイムコードファイル１２ｃに配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃに記述された各コマンドに応じた各種同期再生用データ１２ｃ２，１２ｃ３，１２ｃ４の同期再生処理が実行される。
【００９９】
ここで、前記同期データ作成処理プログラム１２ａ１によって作成された図７で示すユーザ学習練習状況の同期再生用タイムコードファイル１２ｃに基づいた、前記同期データ再生処理プログラム１２ａ２による英語テキスト（１２ｃ２）・ユーザ読み上げ音声（１２ｃ３）・ユーザ顔（口型）画像（１２ｃ４）の同期再生動作について詳細に説明する。
【０１００】
このユーザ学習練習状況の同期再生用タイムコードファイル１２ｃ（図７参照）は、そのヘッダ情報（１２ｃ１）に記述設定された処理単位時間（２５ｍｓ）１２ｃ１ａ毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃの第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・画像・音声ファイルの出力がクリアされる。
【０１０１】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、図１０に示すような音声・テキスト・画像同期再生画面Ｇ２を設定するためのＨＴＭＬデータが読み出され、表示部１８の表示画面に対して、同期再生用テキストデータ１２ｃ２を表示するための朗読対象テキスト表示エリア４５、同期再生用音声データ１２ｃ３に応じたユーザ読み上げ音声波形を表示するためのユーザ音声波形表示エリア４７、同期再生用画像データ１２ｃ３である前記テキスト読み上げ練習時のユーザ顔画像を表示するためのユーザ顔表示ウインドウＷが設定される。
【０１０２】
第３コマンドコード“ＤＩ”（ｉ番目イメージ（顔画像）ファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用画像データ１２ｃ４から読み出されて画像展開バッファ１２ｅに展開されたユーザ顔画像データの前記ユーザ顔表示ウインドウＷへの表示が開始される。
【０１０３】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用音声データ１２ｃ３から読み出されたユーザ音声データの音声出力部１９ｂへの出力が開始される。
【０１０４】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、同期再生用テキストデータ１２ｃ２から読み出された学習テキストデータがＲＡＭ１２Ｃのワークエリアにロードされる。
【０１０５】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、同期再生用テキストデータ１２ｃ２にて指定された学習テキストの第１文節（ｓｅｎｔｅｎｃｅ）が呼び出されて表示画面上の朗読対象テキスト表示エリア４５に表示される。
【０１０６】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記表示中の学習テキストの文字カウンタがリセットされ、当該文節ブロックの１文字目が指定される。
【０１０７】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝２）に応じて、学習テキストデータの２番目の文字「Ｉ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１０８】
そして、文字カウンタが２番目の文字までカウントアップされる。
【０１０９】
第９コマンドコード“ＮＰ”が読み出されると、現在の学習テキストデータおよびユーザ読み上げ音声データおよびユーザ読み上げ顔画像データの同期出力状態が維持される。
【０１１０】
続いて、第１２コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０６”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝６）に応じて、学習テキストデータの６番目の文字「ｗａｓ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１１１】
また、第３５コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“１５”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１５）に応じて、学習テキストデータの１５番目の文字「ｅｎｊｏｙｉｎｇ」（含スペース）までハイライト表示（強調表示）Ｈされる。
【０１１２】
このように、前記同期データ作成処理プログラム１２ａ１に従い作成されたユーザによる学習テキスト読み上げ練習状況の同期再生用タイムコードファイル１２ｃ（図７参照）・同期再生用テキストデータ１２ｃ２・同期再生用音声データ１２ｃ３・同期再生用画像データ１２ｃ３に基づき、当該タイムコードファイル１２ｃに予め設定された処理単位時間（２５ｍｓ）毎のコマンド処理を、同期データ再生処理プログラム１２ａ２によって行うことで、図１０で示すように、表示画面上に学習テキストデータが表示されると共に、音声出力部１９ｂから表示中の学習テキストを読み上げたユーザ音声データが同期出力され、当該学習テキストの読み上げ文節が各文字（単語）毎に順次同期ハイライト（強調）表示Ｈされる。また図１０のＷ１〜Ｗ３で示すように、前記テキスト読み上げ練習時のユーザ顔画像が前記強調同期表示の読み上げ単語を吹き出し表示Ｗａ１〜Ｗａ３してユーザ顔表示ウインドウＷに順次同期表示されるようになる。
【０１１３】
この場合、携帯機器１０のＣＰＵ１１は、同期再生用タイムコードファイル１２ｃに予め記述設定されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、テキストデータ、顔画像データ、発声音声データの同期再生処理を行うことができるので、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト・音声・画像を含む同期再生処理が行える。
【０１１４】
これにより、ユーザは模範学習データ１２ｂによる当該学習テキストの模範的な読み上げを参考にしてユーザ自身によるテキスト読み上げ練習を行った場合に、このユーザによる読み上げ練習状況を前記テキスト・発声音声・発声顔（口型）画像の同期再生表示によってその場で確認することができ、しかも前記同期再生用タイムコードファイル１２ｃおよびその同期再生用の各データ１２ｃ２，１２ｃ３，１２ｃ４を当該学習データ（１２ｂ）の提供元Ｗｅｂサーバ３０へ転送したり、同提供元へＣＤ−ＲＯＭなどの外部記憶媒体１３に書き込んで配送したりすることで、学習データの提供元でもユーザによる学習テキストの読み上げ練習状況を同期再生して確認でき、これの評価，採点などを容易に行うことができるようになる。
【０１１５】
したがって、前記構成の携帯機器１０による同期データ作成・再生機能によれば、模範学習データ練習画面Ｇ１において表示される模範学習データ１２ｂの朗読対象テキストおよび模範朗読者の顔（口型）画像に従って、ユーザが当該学習テキストの読み上げ練習を行うと、その発生音声が音声入力部１９ａから入力されると共に、ユーザ顔（口型）画像がデジタルカメラ１７ｃにより撮影されてリアルタイムでユーザ顔表示ウインドウＷに表示され、それぞれ同期再生用テキストデータ１２ｃ２、同期再生用音声データ１２ｃ３、同期再生用画像データ１２ｃ４としてＲＡＭ１２Ｃ内に保存される。すると、このユーザの読み上げ練習に伴う同期再生用音声データ１２ｃ３の出力および同期再生用画像データ１２ｃ４の表示の開始命令時点“ＤＳ”“ＰＳ”からの読み上げテキスト位置を当該同期再生用テキストデータ１２ｃ２のハイライト表示命令“ＨＬ”として順次対応付けた同期再生用タイムコードファイル１２ｃが作成される。そして、この同期再生用タイムコードファイル１２ｃに従った同期再生処理により、前記学習テキストの読み上げ練習に伴い取得保存されたユーザの発声音声（１２ｃ３）および発声顔（口型）画像（１２ｃ４）が、当該テキストデータ（１２ｃ２）の読み上げ位置を示すハイライト表示Ｈと同期して音声出力および画像表示されるので、例えば英語の学習教材において模範のテキストや音声に合わせてユーザ自身が発声・発音の練習を行った場合に、これの発声音声やその発音の口型画像などをテキストと共に収録し、このそれぞれ収録された発声音声・口型画像・テキストをその場で同期再生してユーザ自身における学習の状況をリアルに再現でき、当該ユーザ自身あるいは第三者の立場からの学習の評価などを容易に行うことができる。
【０１１６】
なお、前記実施形態では、模範学習データ１２ｂに応じたユーザによる読み上げ練習の際には、模範学習データ練習画面Ｇ１上で朗読対象テキスト（４５）と共に模範朗読者（先生）の顔（口型）画像（４６）を参照表示させながら、ユーザによって当該テキストの読み上げ練習を行わせる構成としたが、前記朗読対象テキスト（４５）のみを参照表示させながら、ユーザによる読み上げ練習を行わせる構成としてもよい。
【０１１７】
また、前記実施形態において、模範学習データ１２ｂは、例えばビデオ収録により得られた顔画像＋音声データに対して、当該顔画像＋音声データに時間的に対応付けられたテキストデータを画像挿入したものであるが、この模範学習データ１２ｂも、その提供元のコンピュータ端末にて実施される同期データ作成処理に従い模範朗読者の同期再生用タイムコードファイル１２ｃとして作成したものであってもよい。この場合、模範学習データ練習画面Ｇ１上での朗読対象テキスト（４５）の朗読位置に合わせた強調表示（ハイライト表示）Ｈを、練習者（生徒）であるユーザに参照させてその読み上げ練習を行わせることができる。
【０１１８】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図４のフローチャートに示す同期データ作成処理に伴うユーザ同期データ取得保存処理、図６のフローチャートに示す同期データ作成処理に伴うタイムコードファイル作成処理、そして、図９のフローチャートに示すユーザ同期データ再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同期データ作成機能やその再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１１９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した同期データ作成機能やその再生機能を実現することもできる。
【０１２０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施形態ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１２１】
【発明の効果】
以上のように、本発明の請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）によれば、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると共に、このテキスト表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を顔画像表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御および顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の第２の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成されるので、模範朗読者のテキストの読み上げを真似した学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できるようになる。
【０１２２】
また、本発明の請求項２（請求項８）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）によれば、さらに、前記請求項１（請求項７）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられるので、模範朗読者の真似をした学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できるようになる。
【０１２３】
また、本発明の請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）によれば、テキスト記憶手段に記憶されている朗読対象となるテキストをテキスト表示制御手段によって表示制御すると、このテキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声が音声取得手段によって順次取得されると共に、当該学習対象者の顔または口元の顔画像が画像取得手段によって順次取得される。すると、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データが同期データ作成制御手段によって作成されるので、朗読対象のテキスト表示に合わせた学習対象者による読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを作成できるようになる。
【０１２４】
また、本発明の請求項４（請求項１０）に係るテキスト音声画像再生装置（テキスト音声画像再生処理プログラム）によれば、さらに、前記請求項３（請求項９）に係るテキスト音声画像記憶装置（テキスト音声画像記憶処理プログラム）の同期データ作成制御手段により作成された同期再生データに従い、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けてテキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段が備えられるので、学習対象者によるテキスト読み上げ状況を、当該テキストとその読み上げ音声・読み上げ顔画像との同期再生によって容易に再現できるようになる。
【０１２５】
また、本発明の請求項５に係るテキスト音声画像再生装置によれば、さらに、前記請求項３に係るテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、テキスト記憶手段に記憶されているテキストをその記述順番に識別表示制御すると共に、音声取得手段により取得された学習対象者の音声と画像取得手段により取得された当該学習対象者の顔画像とを再生制御する同期データ再生制御手段が備えられるので、学習対象者によるテキスト読み上げ状況を、当該テキストの記述順番の識別表示とその読み上げ音声出力・読み上げ顔画像表示との同期再生によって容易に再現できるようになる。
【０１２６】
また、本発明の請求項６に係るテキスト音声画像記憶装置によれば、前記請求項１または請求項３に係るテキスト音声画像記憶装置にあって、同期データ作成制御手段により作成される同期再生データを、音声取得手段により取得された学習対象者の音声出力命令と画像取得手段により取得された当該学習対象者の顔画像表示命令とテキスト記憶手段に記憶されているテキストの記述順番毎の識別表示命令とを予め設定された時間経過に対応付けた命令コードのファイルとしたので、学習対象者によるテキスト読み上げ音声とその顔画像とを記憶し、この学習対象者のテキスト読み上げ状況を当該テキスト，音声，顔画像によって同期再生するための同期再生用データを、ＣＰＵに負担の少ない予め設定された時間経過に対応付けた命令コードファイルとして作成できるようになる。
【０１２７】
よって、本発明によれば、模範のテキストに合わせたユーザ自身の発生音声と顔（口型）画像とをその場で収録し、当該テキストに対応付けた同期再生データとして容易に生成記憶することが可能になるテキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の電子機器（テキスト音声画像記憶装置）（テキスト音声画像再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０の同期再生用タイムコードファイル１２ｃ（図７参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期データ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図。
【図３】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図。
【図４】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従ったユーザ同期データ取得保存処理を示すフローチャート。
【図５】前記携帯機器１０のユーザ同期データ取得保存処理を実施する場合の模範学習データの再生出力練習状態を示す図であり、同図（Ａ）は模範学習データ練習画面Ｇ１の初期表示状態を示す図、同図（Ｂ）は同模範学習データ練習画面Ｇ１におけるユーザ練習中の表示状態を示す図。
【図６】前記携帯機器１０の同期データ作成処理プログラム１２ａ１に従った同期再生用タイムコードファイル１２ｃの作成処理を示すフローチャート。
【図７】前記携帯機器１０のタイムコードファイル作成処理に伴い作成された同期再生用タイムコードファイル１２ｃを示す図。
【図８】前記携帯機器１０のタイムコードファイル作成処理に伴う同期再生用テキストデータ１２ｃ２に対する同期再生用音声データ１２ｃ３と同期再生用画像データ１２ｃ４との対応同期イメージを示す図。
【図９】前記携帯機器１０の同期データ再生処理プログラム１２ａ２に従った同期データ再生処理を示すフローチャート。
【図１０】前記携帯機器１０の同期データ再生処理に伴いユーザの学習練習状況を再生再現した場合の音声・テキスト・画像同期再生画面Ｇ２を示す図。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２Ｂ…ＦＬＡＳＨメモリ
１２Ｃ…ＲＡＭ
１２ａ…携帯機器（ＰＤＡ）制御プログラム
１２ａ１…同期データ作成処理プログラム
１２ａ２…同期データ再生処理プログラム
１２ｂ…模範学習データ
１２ｃ…同期再生用タイムコードファイル
１２ｃ１…ヘッダ情報
１２ｃ１ａ…処理単位時間
１２ｃ２…同期再生用テキストデータ
１２ｃ３…同期再生用音声データ
１２ｃ４…同期再生用画像データ
１２ｄ…テキスト音声同期データ
１２ｅ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力部（マウス／タブレット）
１７ｃ…デジタルカメラ
１８ …表示部
１９ａ…音声入力部
１９ｂ…音声出力部
２０ …外部通信機器（ＰＣ）
３０ …Ｗｅｂサーバ
４１ …メッセージ表示エリア
４２ …開始ボタン（ＳＴＡＲＴ）
４３ …停止ボタン（ＳＴＯＰ）
４４ …模範音声波形表示エリア
４５ …朗読対象テキスト表示エリア
４６ …模範顔表示エリア
４６ａ…朗読テキスト吹き出し表示
４７ …ユーザ音声波形表示エリア
Ｎ …通信ネットワーク（インターネット）
Ｇ１…模範学習データ練習画面
Ｇ２…音声・テキスト・画像同期再生画面
Ｗ …ユーザ顔表示ウインドウ
Ｗａ…読み上げ単語吹き出し表示
Ｈ …ハイライト（識別）表示
Claims (10)
- 朗読対象となるテキストを記憶しているテキスト記憶手段と、
このテキスト記憶手段に記憶されているテキストを表示制御するテキスト表示制御手段と、
このテキスト表示制御手段による表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を表示制御する顔画像表示制御手段と、
前記テキスト表示制御手段によるテキストの表示制御および前記顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声を順次取得する音声取得手段と、
前記テキスト表示制御手段によるテキストの表示制御および前記顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者の顔または口元の第２の顔画像を順次取得する画像取得手段と、
前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データを作成する同期データ作成制御手段と、
を備えていることを特徴とするテキスト音声画像記憶装置。 - さらに、
前記請求項１に記載のテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けて前記テキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段を備えたことを特徴とするテキスト音声画像再生装置。 - 朗読対象となるテキストを記憶しているテキスト記憶手段と、
このテキスト記憶手段に記憶されているテキストを表示制御するテキスト表示制御手段と、
前記テキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声を順次取得する音声取得手段と、
前記テキスト表示制御手段によるテキストの表示制御に伴い学習対象者の顔または口元の顔画像を順次取得する画像取得手段と、
前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段に記憶されているテキストの記述順番に同期付けて再生するための同期再生データを作成する同期データ作成制御手段と、
を備えていることを特徴とするテキスト音声画像記憶装置。 - さらに、
前記請求項３に記載のテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けて前記テキスト記憶手段に記憶されているテキストをその記述順番に表示制御する同期データ再生制御手段を備えたことを特徴とするテキスト音声画像再生装置。 - さらに、
前記請求項３に記載のテキスト音声画像記憶装置の同期データ作成制御手段により作成された同期再生データに従い、前記テキスト記憶手段に記憶されているテキストをその記述順番に識別表示制御すると共に、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを再生制御する同期データ再生制御手段を備えたことを特徴とするテキスト音声画像再生装置。 - 前記同期データ作成制御手段により作成される同期再生データは、前記音声取得手段により取得された学習対象者の音声出力命令と前記画像取得手段により取得された当該学習対象者の顔画像表示命令と前記テキスト記憶手段に記憶されているテキストの記述順番毎の識別表示命令とを予め設定された時間経過に対応付けた命令コードのファイルからなることを特徴とする請求項１または請求項３に記載のテキスト音声画像記憶装置。
- コンピュータを制御してテキスト，音声，画像を記憶し同期付けするためのテキスト音声画像記憶処理プログラムであって、
前記コンピュータを、
朗読対象となるテキストを記憶するテキスト記憶手段、
このテキスト記憶手段により記憶されたテキストを表示制御するテキスト表示制御手段、
このテキスト表示制御手段による表示中の朗読対象のテキストに従って当該テキストを読み上げる模範朗読者の顔または口元の第１の顔画像を表示制御する顔画像表示制御手段、
前記テキスト表示制御手段によるテキストの表示制御および前記顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者から発音された音声を順次取得する音声取得手段、
前記テキスト表示制御手段によるテキストの表示制御および前記顔画像表示制御手段による第１の顔画像の表示制御に合わせて学習対象者の顔または口元の第２の顔画像を順次取得する画像取得手段、
前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを前記テキスト記憶手段により記憶されたテキストの記述順番に同期付けて再生するための同期再生データを作成する同期データ作成制御手段、
として機能させるようにしたコンピュータ読み込み可能なテキスト音声画像記憶処理プログラム。 - さらに、前記コンピュータを、
前記請求項７に記載のテキスト音声画像記憶処理プログラムの同期データ作成制御手段により作成された同期再生データに従い、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の第２の顔画像とを再生制御するのに同期付けて前記テキスト記憶手段により記憶されたテキストをその記述順番に表示制御する同期データ再生制御手段として機能させるようにしたコンピュータ読み込み可能なテキスト音声画像再生処理プログラム。 - コンピュータを制御してテキスト，音声，画像を記憶し同期付けするためのテキスト音声画像記憶処理プログラムであって、
前記コンピュータを、
朗読対象となるテキストを記憶するテキスト記憶手段、
このテキスト記憶手段により記憶されたテキストを表示制御するテキスト表示制御手段、
前記テキスト表示制御手段によるテキストの表示制御に伴い学習対象者から発音された音声を順次取得する音声取得手段、
前記テキスト表示制御手段によるテキストの表示制御に伴い学習対象者の顔または口元の顔画像を順次取得する画像取得手段、
前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを前記テキスト記憶手段により記憶されたテキストの記述順番に同期付けて再生するための同期再生データを作成する同期データ作成制御手段、
として機能させるようにしたコンピュータ読み込み可能なテキスト音声画像記憶処理プログラム。 - さらに、前記コンピュータを、
前記請求項９に記載のテキスト音声画像記憶処理プログラムの同期データ作成制御手段により作成された同期再生データに従い、前記音声取得手段により取得された学習対象者の音声と前記画像取得手段により取得された当該学習対象者の顔画像とを再生制御するのに同期付けて前記テキスト記憶手段により記憶されたテキストをその記述順番に表示制御する同期データ再生制御手段として機能させるようにしたコンピュータ読み込み可能なテキスト音声画像再生処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003188358A JP2005024742A (ja) | 2003-06-30 | 2003-06-30 | テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003188358A JP2005024742A (ja) | 2003-06-30 | 2003-06-30 | テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005024742A true JP2005024742A (ja) | 2005-01-27 |
Family
ID=34186927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003188358A Pending JP2005024742A (ja) | 2003-06-30 | 2003-06-30 | テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005024742A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010072057A (ja) * | 2008-09-16 | 2010-04-02 | Winbond Electron Corp | 音声の録音と再生方法及び該方法を用いる電子辞書 |
| JP2013061369A (ja) * | 2011-09-12 | 2013-04-04 | Kyoto Univ | 情報処理装置、情報処理システムおよびプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0756494A (ja) * | 1993-08-10 | 1995-03-03 | Oki Electric Ind Co Ltd | 発音訓練装置 |
| JPH07319374A (ja) * | 1994-05-20 | 1995-12-08 | Kanaasu Data Kk | 学習指導装置 |
| JPH09190150A (ja) * | 1996-01-09 | 1997-07-22 | Moritex Corp | 教育装置 |
| JPH1195653A (ja) * | 1997-09-19 | 1999-04-09 | Mayumi Oba | 英語の発音習得方法 |
| JP2001159865A (ja) * | 1999-09-09 | 2001-06-12 | Lucent Technol Inc | 対話型語学指導のための方法および装置 |
| JP2001265207A (ja) * | 2000-03-17 | 2001-09-28 | Nec Corp | 通信教育用のビジネスシステム又は通信教育システム |
| JP2002258738A (ja) * | 2001-03-01 | 2002-09-11 | Nna Japan Co Ltd | 語学学習支援システム |
-
2003
- 2003-06-30 JP JP2003188358A patent/JP2005024742A/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0756494A (ja) * | 1993-08-10 | 1995-03-03 | Oki Electric Ind Co Ltd | 発音訓練装置 |
| JPH07319374A (ja) * | 1994-05-20 | 1995-12-08 | Kanaasu Data Kk | 学習指導装置 |
| JPH09190150A (ja) * | 1996-01-09 | 1997-07-22 | Moritex Corp | 教育装置 |
| JPH1195653A (ja) * | 1997-09-19 | 1999-04-09 | Mayumi Oba | 英語の発音習得方法 |
| JP2001159865A (ja) * | 1999-09-09 | 2001-06-12 | Lucent Technol Inc | 対話型語学指導のための方法および装置 |
| JP2001265207A (ja) * | 2000-03-17 | 2001-09-28 | Nec Corp | 通信教育用のビジネスシステム又は通信教育システム |
| JP2002258738A (ja) * | 2001-03-01 | 2002-09-11 | Nna Japan Co Ltd | 語学学習支援システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010072057A (ja) * | 2008-09-16 | 2010-04-02 | Winbond Electron Corp | 音声の録音と再生方法及び該方法を用いる電子辞書 |
| JP2013061369A (ja) * | 2011-09-12 | 2013-04-04 | Kyoto Univ | 情報処理装置、情報処理システムおよびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005070645A (ja) | テキスト音声同期装置およびテキスト音声同期処理プログラム | |
| US20080275700A1 (en) | Method of and System for Modifying Messages | |
| US8364488B2 (en) | Voice models for document narration | |
| US6772122B2 (en) | Character animation | |
| JP2004347786A (ja) | 音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラム | |
| JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
| CN110324709A (zh) | 一种视频生成的处理方法、装置、终端设备及存储介质 | |
| JP2013061369A (ja) | 情報処理装置、情報処理システムおよびプログラム | |
| JP2007101945A (ja) | 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム | |
| JP2004266576A (ja) | メディアデータ記憶装置、およびメディアデータ記憶処理プログラム | |
| JP2003323104A (ja) | 語学学習システム | |
| US8553855B2 (en) | Conference support apparatus and conference support method | |
| JP3110215B2 (ja) | 発音訓練装置 | |
| JP3569278B1 (ja) | 発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体 | |
| JP2005024742A (ja) | テキスト音声画像記憶装置、テキスト音声画像再生装置、およびテキスト音声画像記憶処理プログラム、テキスト音声画像再生処理プログラム | |
| JP2007292979A (ja) | 失語症練習支援装置 | |
| JP2017146402A (ja) | 学習支援装置及びプログラム | |
| JP4742912B2 (ja) | 画像音声記録装置、画像音声記録方法および画像音声記録制御プログラム | |
| JP2005077678A (ja) | テキスト音声同期装置およびテキスト音声同期処理プログラム | |
| CN113259778A (zh) | 将虚拟人物用于视频自动生产的方法、系统和存储介质 | |
| KR20110065276A (ko) | 비교 영상을 이용한 발음 학습 방법 및 장치 | |
| JP4277512B2 (ja) | 電子機器及びプログラム | |
| JP4407119B2 (ja) | 命令コード作成装置 | |
| KR102025903B1 (ko) | 언어 학습을 위한 장치 및 그 제어방법 | |
| JP4985714B2 (ja) | 音声表示出力制御装置、および音声表示出力制御処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100413 |