JP2005189454A - テキスト同期音声再生制御装置及びプログラム - Google Patents

Abstract

【課題】 所望の再生開始位置を簡単且つ平易に指定でき、操作性を向上させたテキスト同期音声再生制御装置等を実現すること。
【解決手段】
タイムコードファイルのコマンドに従い、テキスト表示画面Ｗ１０に、テキストデータに基づいたテキストを表示させる（ａ）。表示させたテキストの内容に関する音声を再生出力させると共に、タイムコードファイルに従って表示させたテキストを下線ＵＬ１０によって特別表示させていく。ユーザによって、特別表示させたテキスト上をタッチペンＴＰによってタップされる（ｂ）、タップされたテキストの文字列からの音声の再生出力を開始し、更に、タイムコードファイルに従って指定されたテキストの文字列からの特別表示を開始させる（ｃ）。
【選択図】図９

Description

テキストの表示と音声の再生出力とを同期させる制御を行うテキスト同期音声再生制御装置等に関する。

従来から、音声の再生に同期するように、テキストを表示するテキスト同期音声再生制御装置が知られている。テキスト同期音声再生制御装置には、例えば、朗読装置やカラオケ装置等がある。朗読装置は、物語を朗読する音声を再生すると、表示した文章を再生中の音声に合わせるように反転表示していく。また、カラオケ装置は、楽曲を再生すると、楽曲のフレーズに合った部分の歌詞を表示するとともに、当該歌詞を先頭から順次反転表示していく。

また、テキスト同期音声再生制御装置の一種として、ＣＤ（Compact Disc）に記憶されている音響信号と表示信号とに従って、音響の再生と楽曲名や音符等の画像の表示とを同期して出力する制御装置が知られている（特許文献１参照）。
特開平８−３０６１７１号公報

しかし、従来のテキスト同期音声再生制御装置において、巻き戻しや早送り等により音声の再生を開始する位置（再生開始位置）から再生を開始したいときは、時間カウンタに表示される計時時間を手掛かりとして再生開始位置を指定しなければなかった。この計時時間は、音声の再生出力の開始時刻からの経過時間であり、音声の内容とはなんら関係のない情報である。そのため、単なる計時時間を手掛かりとして所望の再生開始位置を指定するためには、指定したい計時時間をメモしておくといった煩わしい作業が必要であり、操作性が悪かった。

上述した課題に鑑みて本発明がなされたものであり、本発明の目的とするところは、所望の再生開始位置を簡単且つ平易に指定でき、操作性を向上させたテキスト同期音声再生制御装置等を実現することである。

以上の課題を解決するために、請求項１に記載のテキスト同期音声再生制御装置は、
テキスト（例えば、図５のテキストファイル３０４ｂ）と当該テキストの内容に関する一連の音声データ（例えば、図６（ｂ）の音声情報ファイル３０４ｃ）とを記憶し、当該音声データの再生出力に沿って当該テキストを所定形式（例えば、コマンド“ＶＤ”による場面ごとの表示）で順次表示させることによりテキストの表示と音声の再生出力とを同期させる制御を行うテキスト同期音声再生制御装置において、
表示されたテキストの部分を指定する部分指定手段（例えば、図２のＣＰＵ１０、入力部７０；図９のタッチペンＴＰ；図８のステップＳ１２４）と、
この部分指定手段により指定された部分の前記テキスト中の位置に基づいて音声データの再生開始位置（例えば、早送り時間４１６）を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御手段（例えば、図２のＣＰＵ１０、音声再生装置５０、スピーカ５２；図８のステップＳ１２６〜Ｓ１３０）と、
を備えることを特徴としている。

また、請求項８に記載の発明は、コンピュータに、
テキスト（例えば、図５のテキストファイル３０４ｂ）と当該テキストの内容に関する一連の音声データ（例えば、図６（ｂ）の音声情報ファイル３０４ｃ）とを記憶させ、当該音声データの再生出力に沿って当該テキストを所定形式（例えば、コマンド“ＶＤ”による場面ごとの表示）で順次表示させることによりテキストの表示と音声の再生出力とを同期させる制御を行わせるためのプログラムであって
表示されたテキストの部分を指定する部分指定機能（例えば、図２のＣＰＵ１０、入力部７０；図９のタッチペンＴＰ；図８のステップＳ１２４）と、
この部分指定機能により指定された部分の前記テキスト中の位置に基づいて音声データの再生開始位置（例えば、早送り時間４１６）を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御機能（例えば、図２のＣＰＵ１０、音声再生装置５０、スピーカ５２；図８のステップＳ１２６〜Ｓ１３０）と、
を実現させることを特徴としている。

請求項１又は８に記載の発明によれば、記憶されたテキストの内容に関する音声の再生出力に同期するようにテキストが所定形式で表示され、ユーザが当該テキストの部分を指定すると、指定したテキストの位置から音声データの再生開始位置が決定され、音声の再生出力が再生開始位置から行われる。従って、テキストの部分を指定するといった簡単かつ平易な操作で所望の再生開始位置を指定することができ、操作性を向上させたテキスト同期音声再生制御装置を実現できる。

請求項２に記載の発明は、請求項１に記載のテキスト同期音声再生制御装置であって、
前記テキストを表示させた後、表示させたテキストを順次特別表示（例えば、図９（ａ）の下線ＵＬ１０；コマンド“ＨＬ”による特別表示）させる制御を行うことにより前記テキストの前記所定形式での順次表示を行う順次表示制御手段（例えば、図１のディスプレイ３；図２のＣＰＵ１０、表示部８０；図８のステップＳ１２２；コマンド“ＶＤ”による場面ごとの表示）を更に備え、
前記音声再生開始制御手段は、前記指定された部分から前記順次表示制御手段に順次特別表示させる制御を行わせる表示開始制御手段（例えば、図１のディスプレイ３；図２のＣＰＵ１０、表示部８０；図８のステップＳ１３２〜Ｓ１０６→Ｓ１０８→Ｓ１１２）を有する、
ことを特徴としている。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られることは無論のこと、テキストが表示された後、当該テキストが順次特別表示される。この特別表示により、所定形式での表示が為され、また、指定したテキストの部分から特別表示が行われる。これにより、ユーザは、再生出力される音声の内容を順次特別表示されるテキストを参照して簡単に確認するといったことができる。

請求項３に記載の発明は、請求項１又は２に記載のテキスト同期音声再生制御装置であって、
前記テキストを構成する文字列（例えば、“ＨＬ”コマンドの引数によって指定される文字数）に対応づけて、当該文字列が順次表示されるタイミングの情報（例えば、タイムコード）を記憶するタイミング記憶手段（例えば、図２のフラッシュＲＯＭ３０；図５（ａ）のタイムコードファイル３０４ａ）を更に備え、
前記音声再生開始制御手段は、前記指定された部分の文字列に対応づけて前記タイミング記憶手段に記憶されたタイミングの情報に基づいて、音声データの再生開始位置を決定する決定手段（例えば、図２のＣＰＵ１０；図８のステップＳ１２８）を有する、
ことを特徴としている。

請求項３に記載の発明によれば、請求項１又は２に記載の発明と同様の効果が得られることは無論のこと、表示されたテキストの部分を指定すると、指定した部分の文字列が表示されたタイミングの情報に基づいて音声の再生開始位置が決定される。

請求項４に記載の発明は、請求項３に記載のテキスト同期音声再生制御装置であって、
前記タイミング記憶手段は、前記テキストを構成する文字列が順次表示された際に、その順次表示されたタイミングの情報を、当該文字列の表示位置（例えば、特別表示範囲）と対応づけて記憶する表示位置対応記憶手段（例えば、図２のＲＡＭ３０；図７のタイムコード表示範囲４０２）を有し、
前記決定手段は、前記指定された部分の文字列の表示位置に対応づけて前記表示位置対応記憶手段に記憶されたタイミングの情報に基づいて、音声データの再生開始位置を決定する表示位置基準決定手段（例えば、図２のＣＰＵ１０；図８のステップＳ１２６〜Ｓ１２８）を有する、
ことを特徴としている。

請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られることは無論のこと、テキストを構成する文字列が表示されると、当該文字列が表示されたタイミングの情報と、表示位置とが対応付けて記憶され、表示されたテキストの部分を指定すると、当該指定した部分の文字列の表示位置に対応するタイミングの情報に基づいて音声の再生開始位置が決定される。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載のテキスト同期音声再生制御装置において、
前記表示されたテキストの中から、開始文字列と終了文字列とが定まることにより特定される反復範囲を指定する反復範囲指定手段（例えば、図２のＣＰＵ１０、入力部７０；図８のステップＳ１３４；図１０のタッチペンＴＰ）と、
この反復範囲指定手段により指定された反復範囲の開始文字列及び終了文字列の前記テキスト中の位置に基づいて音声データの再生開始位置及び再生終了位置（例えば、反復再生時間４１８）を決定し、決定した再生開始位置から再生終了位置まで、音声データの再生出力を繰り返し行う制御をする反復制御手段（例えば、図２のＣＰＵ１０、音声再生装置５０、スピーカ５２；図８のステップＳ１４２〜Ｓ１５０）と、
を更に備えることを特徴としている。

請求項５に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られることは無論のこと、反復範囲を指定すると、反復範囲の開始文字列と終了文字列とから、音声の再生開始位置と再生終了位置とが決定され、音声の再生出力が再生開始位置から再生終了位置まで繰り返して行われる。これにより、ユーザは、表示されたテキスト中から開始文字列及び終了文字列を指定することで、簡単に反復範囲を指定することができる。

請求項６に記載のテキスト同期音声再生制御装置は、
テキスト（例えば、テキスト同期情報３２４ａ）と、当該テキストの内容に関する一連の音声データ（例えば、音声情報ファイル３２４ｂ）と、当該テキストを構成する文字列を当該音声データの再生出力に沿って所定形式（例えば、イベント“ｒｅｖ＿ｄｉｓｐ”による特別表示；図１５（ｄ）の下線ＵＬ２０）で順次表示させたときの当該各文字列の表示タイミングの情報（例えば、イベント実行時間）とを記憶する記憶手段（例えば、図１１（ｂ）のフラッシュＲＯＭ３２、英会話データ３２４）と、
前記テキストを構成する文字列を、ユーザ操作に従って順次表示する順次表示操作手段（例えば、図２のＣＰＵ１０、入力部７０；図１５のステップＳ２０６→Ｓ２３８〜Ｓ２４０、Ｓ２０８→Ｓ２４２〜Ｓ２４４；図１５の巻き戻しキーＫ２０、早送りキーＫ２２）と、
再生開始指示を入力する再生開始指示入力手段（例えば、図２のＣＰＵ１０、入力部７０；図１５のステップＳ２１２；図１５の再生キーＫ２４）と、
この再生開始指示入力手段により再生開始指示が入力された際に、前記順次表示操作手段によって順次表示されていた文字列の前記表示タイミングの情報に基づいて前記音声データの再生開始位置（例えば、再生開始位置４３６）を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御手段（例えば、図２のＣＰＵ１０、音声再生装置５０、スピーカ５２；図１４のステップＳ２１４〜Ｓ２２２）と、
を備えることを特徴としている。

また、請求項９に記載のプログラムは、コンピュータに、
テキスト（例えば、テキスト同期情報３２４ａ）と、当該テキストの内容に関する一連の音声データ（例えば、音声情報ファイル３２４ｂ）と、当該テキストを構成する文字列を当該音声データの再生出力に沿って所定形式（例えば、イベント“ｒｅｖ＿ｄｉｓｐ”による特別表示；図１５（ｄ）の下線ＵＬ２０）で順次表示させたときの当該各文字列の表示タイミングの情報（例えば、イベント実行時間）とを記憶する記憶機能（例えば、図１１（ｂ）のフラッシュＲＯＭ３２、英会話データ３２４）と、
前記テキストを構成する文字列を、ユーザ操作に従って順次表示する順次表示操作機能（例えば、図２のＣＰＵ１０、入力部７０；図１５のステップＳ２０６→Ｓ２３８〜Ｓ２４０、Ｓ２０８→Ｓ２４２〜Ｓ２４４；図１５の巻き戻しキーＫ２０、早送りキーＫ２２）と、
再生開始指示を入力する再生開始指示入力機能（例えば、図２のＣＰＵ１０、入力部７０；図１５のステップＳ２１２；図１５の再生キーＫ２４）と、
この再生開始指示入力機能により再生開始指示が入力された際に、前記順次表示操作機能によって順次表示されていた文字列の前記表示タイミングの情報に基づいて前記音声データの再生開始位置（例えば、再生開始位置４３６）を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御機能（例えば、図２のＣＰＵ１０、音声再生装置５０、スピーカ５２；図１４のステップＳ２１４〜Ｓ２２２）と、
を実現させることを特徴としている。

請求項６又は９に記載の発明によれば、ユーザが文字列を順次表示させて音声再生開始指示を入力すると、当該入力の時点において順次表示されていた文字列の表示タイミングの情報に基づいて音声データの再生開始位置が決定され、音声の再生出力が再生開始位置から行われる。従って、所望の文字列を表示させて音声再生開始指示を入力するといった簡単かつ平易な操作で所望の再生開始位置を指定することができ、操作性を向上させたテキスト同期音声再生制御装置を実現できる。

請求項７に記載の発明は、請求項６に記載のテキスト同期音声再生制御装置において、
前記音声再生開始制御手段は、前記表示タイミングの情報に加えて、更に前記音声データのデータ量（例えば、音声情報データ全容量４３４）に基づいて、前記音声データの再生を開始するデータの位置を算出することで再生開始位置を決定する算出手段（例えば、図２のＣＰＵ１０；図１４のステップＳ２１４〜Ｓ２２０）を有することを特徴としている。

請求項７に記載の発明によれば、請求項６に記載の発明と同様の効果が得られることは無論のこと、表示タイミングの情報と音声データのデータ量とに基づいて再生開始位置が決定される。

請求項１又は８に記載の発明によれば、記憶されたテキストの内容に関する音声の再生出力に同期するようにテキストが所定形式で表示され、ユーザが当該テキストの部分を指定すると、指定したテキストの位置から音声データの再生開始位置が決定され、音声の再生出力が再生開始位置から行われる。従って、テキストの部分を指定するといった簡単かつ平易な操作で所望の再生開始位置を指定することができ、操作性を向上させたテキスト同期音声再生制御装置を実現できる。

請求項２に記載の発明によれば、テキストが表示された後、当該テキストが順次特別表示される。この特別表示により、所定形式での表示が為され、また、指定したテキストの部分から特別表示が行われる。これにより、ユーザは、再生出力される音声の内容を順次特別表示されるテキストを参照して簡単に確認するといったことができる。

請求項３に記載の発明によれば、表示されたテキストの部分を指定すると、指定した部分の文字列が表示されたタイミングの情報に基づいて音声の再生開始位置が決定される。

請求項４に記載の発明によれば、テキストを構成する文字列が表示されると、当該文字列が表示されたタイミングの情報と、表示位置とが対応付けて記憶され、表示されたテキストの部分を指定すると、当該指定した部分の文字列の表示位置に対応するタイミングの情報に基づいて音声の再生開始位置が決定される。

請求項５に記載の発明によれば、反復範囲を指定すると、反復範囲の開始文字列と終了文字列とから、音声の再生開始位置と再生終了位置とが決定され、音声の再生出力が再生開始位置から再生終了位置まで繰り返して行われる。これにより、ユーザは、表示されたテキスト中から開始文字列及び終了文字列を指定することで、簡単に反復範囲を指定することができる。

請求項６又は９に記載の発明によれば、ユーザが文字列を順次表示させて音声再生開始指示を入力すると、当該入力の時点において順次表示されていた文字列の表示タイミングの情報に基づいて音声データの再生開始位置が決定され、音声の再生出力が再生開始位置から行われる。従って、所望の文字列を表示させて音声再生開始指示を入力するといった簡単かつ平易な操作で所望の再生開始位置を指定することができ、操作性を向上させたテキスト同期音声再生制御装置を実現できる。

請求項７に記載の発明によれば、表示タイミングの情報と音声データのデータ量とに基づいて再生開始位置が決定される。

以下、本発明のテキスト同期音声再生制御装置を電子辞書に適用した場合の実施形態について図１〜図１８を参照して詳細に説明する。

図１（ａ）は、本実施形態における電子辞書１の概観の一例を示す図である。同図のように、電子辞書１は、タッチパネル２１と一体的に構成されたディスプレイ３と、各種キー群５と、コネクタ７と、スロット９とを備えて構成される。

コネクタ７は、ケーブル１７の接続端子である。電子辞書１は、ケーブル１７を介してパソコン１５と接続可能に構成されている。そして、パソコン１５側から各種データをダウンロード可能に構成されている。例えば、パソコン１５のＣＤ−ＲＯＭリーダ１９によってＣＤ−ＲＯＭ１３から英会話データが読み出されて電子辞書１にダウンロードされたり、インターネット網Ｎを介してパソコン１５がサーバＳＶから取得した英会話データが電子辞書１に転送されたりする。これらパソコン１５側から電子辞書１にデータをダウンロードする技術は適宜公知技術を適用してよいため、詳細な説明は省略する。

また、ダウンロードされたデータは、電子辞書１に内蔵されるフラッシュＲＯＭ等に格納されることとしてもよいし、スロット９に着脱自在に装着されるメモリカード１１に格納されることとしてもよい。

各種キー群５を構成するキーにはそれぞれ固有の機能が割り当てられており、ユーザによってこれらのキーが押下され、電子辞書１が操作される。具体的には図１（ｂ）のように、操作の確定指示を入力する決定キー２９、カーソルの移動指示等を入力するカーソルキー２３、文字入力キー２７、電子辞書１の動作モードを選択するモードキー２５等を備えている。ユーザによりこれらのキーが押下されることで、ＣＰＵ１０は当該キーに割り当てられた機能を実行する。

モードキー２５には、英会話キー２５ａと、英和キー２５ｂとがある。英会話キー２５ａは、電子辞書１を英会話モードとするためのモードキーである。英会話モードとは、英会話音声を音声出力させると共に、英会話の内容の英文を表示するモードであって英会話を学習するためのモードである。ユーザにより英会話モードに切り替えられると、本実施形態に係る第１又は第２英会話視聴処理が実行される。また、英和キー２５ｂは、電子辞書１を英和辞書モードとするためのモードキーである。英和辞書モードとは、ユーザにより入力された英単語の説明情報を内蔵している英和辞書データベースから読み出して表示するモードである。

図２は、電子辞書１の機能構成を示すブロック図である。同図に示すように、電子辞書１はＣＰＵ１０、ＲＯＭ２０、フラッシュＲＯＭ３０、ＲＡＭ４０、音声データに基づいた音声をスピーカ５２に出力させる音声再生装置５０、通信装置６０、入力部７０、表示部８０、タブレット９２に対する当接操作位置の座標を検出する位置検出装置９０及び記憶媒体読取部１００がバス１１０に接続されて構成される。

ＣＰＵ１０は、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの入出力を行う。具体的には、ＣＰＵ１０は、入力部７０から入力される操作信号に応じてＲＯＭ２０又はフラッシュＲＯＭ３０に格納されたプログラムを読み出し、当該プログラムに従って処理を実行する。そして、処理結果を表示するための表示制御信号を表示部８０に出力し、当該表示制御信号に従った表示情報を表示部８０に表示させる。

ＲＯＭ２０は、各種初期設定、ハードウェアの検査、又は必要なプログラムのロード等を行うための初期プログラムを格納する。ＣＰＵ１０は、電子辞書１の電源投入時にこの初期プログラムを実行することにより、電子辞書１の動作環境を設定する。また、ＲＯＭ２０は、電子辞書１の動作に係る各種処理プログラムを格納する。

フラッシュＲＯＭ３０は、読み書き可能な不揮発性メモリであり、電子辞書１の動作に係る種々の機能を実現するためのデータやプログラムを格納する。ＲＡＭ４０は、ＣＰＵ１０が実行する各種プログラムやこれらプログラムの実行に係るデータ等を一時的に保管するメモリ領域を備える。

音声再生装置５０は、Ｄ／Ａ変換部とアンプとを備えて構成される。音声再生装置５０は、ＣＰＵ１０から入力される音声データをＤ／Ａ変換部においてＤ／Ａ変換し、アンプによって増幅した後、スピーカ５２に音声出力させる。

通信装置６０は、例えば、パソコン１５を接続してデータ通信するための機能部であり、ＵＳＢ（universal serial bus）やＬＡＮインターフェイス等により構成される。尚、通信装置６０は、図１に示すコネクタ７に相当するものである。

入力部７０は、仮名、アルファベット等の文字入力や機能選択等に必要なキー群を備え、押下されたキーの押下信号等をＣＰＵ１０に出力する。この入力部７０におけるキー入力により、モードの選択、文字入力、確定指示の入力等をするための入力手段が実現される。尚、この入力部７０は、図１に示すキー群５に相当するものである。

表示部８０は、ＣＰＵ１０から入力される表示制御信号に基づいて各種画面を表示させるものであり、ＬＣＤ（Liquid Crystal Display）等により構成される。尚、この表示部８０は、図１に示すディスプレイ３に相当し、タブレット９２と一体的に構成されるものである。

また、電子辞書１は、入力装置としてタブレット９２を備える。このタブレット９２は、タッチペンＴＰや指先等によって、表示部８０の表示領域上に指示（当接）された位置を感知して、当接された位置に応じた信号を位置検出装置９０へ出力する装置である。尚、このタブレット９２は、図１に示すタッチパネル２１に相当するものである。

タブレット９２に接続される位置検出装置９０は、タブレット９２から入力される信号に基づいて、表示部８０上の指示された位置座標を検出する。このタブレット９２を使用すれば、表示部８０の表示領域における位置を直接的に指定することができる。特に、このタブレット９２上にタッチペンＴＰを当接させることにより、タップイン、タップアウト、ドラッグ及びドロップといった操作を実現することができる。

ここでタップイン、タップアウト、ドラッグ、ドロップとは、一般的なウィンドウシステムにおける操作と同意であって、タップイン（時として、単にタップとも言う。）とは、タッチペンＴＰを表示部８０の表示領域上に当接させる操作のことを言い、タップアウトとは、当接させた後にタッチペンＴＰを表示部８０の表示領域上から離す操作のことを言う。またドラッグとは、表示部８０上に表示されたオブジェクトを移動等させるためにタッチペンＴＰを表示部８０の表示領域上で摺動させる操作のことを言い、ドロップとはドラッグした後のタップアウトの操作のことを言う。

記憶媒体読取部１００は、メモリカード１１等のＣＰＵ１０で読み取り可能な記憶メディアにデータの読み書きを行う機能部である。尚、図１では記憶媒体読取部１００は、スロット９に相当するものである。

〔第１実施形態〕
先ず、電子辞書１の第１実施形態について説明する。
図３は、第１実施形態に係るＲＯＭ２０、フラッシュＲＯＭ３０及びＲＡＭ４０の構成を示す図である。

図３（ａ）によれば、ＲＯＭ２０は、第１英会話視聴プログラム２０２を格納する。ＣＰＵ１０は、ユーザによって英会話キー２５ａが押下されたことを検知すると、ＲＯＭ２０から第１英会話視聴プログラム２０２を読み出し、ＲＡＭ４０に展開することで、第１英会話視聴処理を開始する。

図３（ｂ）によれば、フラッシュＲＯＭ３０は、コマンドプログラム３０２と、英会話データ３０４とを記憶する。

コマンドプログラム３０２は、英会話データ３０４のタイムコードファイル３０４ａに記憶されている各コマンドの制御内容を実現するためのプログラム群である。ＣＰＵ１０によって、該当するコマンドプログラム３０２が読み出され、ＲＡＭ４０に展開されることで、当該コマンドプログラム３０２に従った処理が実行される。

図４（ａ）は、第１実施形態に係る代表的なコマンドの制御内容を説明するための図である。
“ＬＴ”コマンドは、ｉ（タイムコードファイル３０４ａに格納されている引数）番目のテキストデータを読み込むためのコマンドである。

“ＶＤ”コマンドは、“ＬＴ”コマンドによって読み込まれたｉ番目のテキストデータを表示部８０に表示させるためのコマンドである。

“ＨＬ”コマンドは、表示部８０に表示させたテキストの先頭の文字からｉ番目の文字までの文字に下線を付して特別表示させることにより、表示部８０を更新させるためのコマンドである。また、“ＨＬ”コマンドによって新たに特別表示した文字が表示されている範囲を示す座標（以下、「特別表示範囲」という。）と、タイムコードファイル３０４ａにおける当該“ＨＬ”コマンドのタイムコードとを対応付けてタイムコード表示範囲４０２に蓄積的に記憶させる。

“ＤＩ”コマンドは、ｉ番目の画像データに基づいた画像を表示部８０に表示させるためのコマンドである。“ＰＳ”コマンドは、ｉ番目の音声情報データに基づいた音声の再生出力を開始するためのコマンドである。“ＣＳ”コマンドは、表示部８０に表示させた表示画面内をクリアするためのコマンドである。

“ＰＰ”コマンドは、タイマーの計時を一時停止するためのコマンドである。また、音声が再生中であれば、再生中の音声の一時停止も行う。この“ＰＰ”コマンドにより実行される一連の処理をポーズ処理と言う。

“ＦＮ”コマンドは、タイマーの計時を終了した後、第１英会話視聴処理を終了させるためのコマンドである。また、音声が再生中であれば、再生中の音声の停止も行う。“ＦＮ”コマンドにより実行される一連の処理をストップ処理と言う。

英会話データ３０４は、上述したように、例えば、パソコン１５からダウンロードされて、フラッシュＲＯＭ３０に記憶される。尚、ダウンロード時に、公知の暗号処理技術が施されている場合には、ＣＰＵ１０が、ダウンロード時に復号処理を行って、フラッシュＲＯＭ３０に記憶させる。

図４（ｂ）は、英会話データ３０４のデータ構成の一例を示す図である。同図のように、英会話データ３０４は、タイムコードファイル３０４ａと、テキストファイル３０４ｂと、音声情報ファイル３０４ｃと、画像ファイル３０４ｄと、処理単位時間３０４ｅとを有する。

タイムコードファイル３０４ａは、タイムコードと、コマンドと、当該コマンドの引数とを格納するためのデータファイルである。タイムコードとは、コマンドを読み出す順序を表すタイミングの情報である。図５（ａ）は、タイムコードファイル３０４ａのデータ構成の一例を示す図である。同図によれば、タイムコードファイル３０４ａには、タイムコードとコマンドと引数とが対応付けられて格納されている。例えば、タイムコード“１”には、コマンド“ＣＳ”と引数“００”とが対応付けられている。これは、ＣＰＵ１０が、１番目の処理として、“ＣＳ”コマンドに対応するコマンドプログラム３０２に従った処理を実行することを表している。ＣＰＵ１０は、タイムコードの順にコマンドを読み出して、当該コマンドに対応するコマンドプログラム３０２に従った処理を実行していく。

テキストファイル３０４ｂは、テキストデータを格納するためのデータファイルである。図５（ｂ）は、テキストファイル３０４ｂのデータ構成の一例を示す図である。同図によれば、テキストファイル３０４ｂは、第１テキストデータ、第２テキストデータ、・・・といった複数のテキストデータを格納している。テキストデータの一例として、第２テキストデータのデータ構成を図６（ａ）に示す。同図のように、テキストデータには、第１場面、第２場面、・・・といった場面ごとのテキストが複数格納されている。

音声情報ファイル３０４ｃは、音声情報データを格納するためのデータファイルである。図６（ｂ）は、音声情報ファイル３０４ｃのデータ構成の一例を示す図である。同図によれば、音声情報ファイル３０４ｃは、第１音声情報データ、第２音声情報データ、・・・といった複数の音声情報データを格納している。音声情報データの一例として、第２音声情報データの概念図を図６（ｃ）に示す。同図は、音声出力の開始後、１５０ｍ秒後に、「Ｗｈａｔ」という音声が再生され、２２５ｍ秒後に「Ｈｉｇｈ」という音声が再生されることを表している。

上述した各テキストデータには、それぞれに対応した音声情報データがある。テキストデータに基づくテキストの内容と、当該テキストデータに対応する音声情報データに基づく音声の内容とは、同じ内容である。具体的には、音声情報データに基づいて再生出力される音声は、対応するテキストデータに格納されているテキスト（英文）を朗読する音声である。第２テキストデータには、第２音声情報データが対応付けられている。第２テキストデータのテキストが表示されている間は、第２音声情報データに基づいた音声が再生出力される。タイムコードファイル３０４ａに従って第２テキストデータの第１場面が表示されると、第２音声情報データに基づいた音声が再生出力される。音声の再生出力の開始から１５０ｍ秒経過すると、「Ｗｈａｔ」という音声が再生出力されると共に、タイムコードファイル３０４ａに従って表示部８０に表示された「Ａ：Ｗｈａｔ」に下線ＵＬ１０が付されて特別表示される。更に、７５ｍ秒経過（音声の再生出力の開始から２２５ｍ秒後）すると、「ｈｉｇｈ」という音声が再生出力されると共に、「ｈｉｇｈ」までのテキストに下線ＵＬ１０が付されて特別表示され、表示部８０が更新される。

このようにして、音声情報データに対応したテキストデータに基づくテキストが、タイムコードファイル３０４ａに記憶されているコマンドに従って表示されることにより、再生出力される音声と同じ内容のテキストが当該音声に同期するように表示されていく。

画像ファイル３０４ｄは、画像データを格納するためのデータファイルである。画像ファイル３０４ｄは、第１画像データ、第２画像データ、・・・といった複数の画像データを格納している。“ＤＩ”コマンドに対応したコマンドプログラム３０２に従った処理を実行すると、当該コマンドの引数で指定された画像データが読み出されて当該画像データに基づいた画像が表示部８０に表示される。

処理単位時間３０４ｅは、ＣＰＵ１０がタイムコードファイル３０４ａからコマンドを読み出す時間間隔である。例えば、処理単位時間３０４ｅが２５ｍ秒であるとすると、ＣＰＵ１０は、タイムコードファイル３０４ａから２５ｍ秒おきにコマンドを読み出し、当該コマンドに対応するコマンドプログラム３０２に従って処理を実行する。

ＲＡＭ４０は、タイムコード表示範囲４０２と、タイマー計時時間４０４と、実行中タイムコード４０６と、指定座標４０８と、指定座標タイムコード４１０と、反復範囲４１２と、反復範囲タイムコード４１４と、早送り時間４１６と、反復再生時間４１８とを記憶する。

タイムコード表示範囲４０２は、タイムコードと特別表示範囲とを対応付けて格納する。特別表示範囲とは、“ＨＬ”コマンドによって特別表示された文字列の表示範囲である。特別表示範囲は、ｘ軸方向座標範囲と、ｙ軸方向座標範囲とによって表される。ｘ軸方向座標範囲は、表示部８０のｘ軸方向の座標の範囲であり、ｙ軸方向座標範囲は、表示部８０のｙ軸方向の座標の範囲である。尚、ｘ軸方向とは、表示部８０の横方向を表し、ｙ軸方向とは表示部８０の縦方向を表す。また、これらの座標は、表示部８０の左上の頂点を原点として、ｘ軸右方向を正、ｙ軸下方向を正とした場合の座標である。

図７（ａ）は、タイムコード表示範囲４０２の一例を示す図である。同図によれば、タイムコードと特別表示範囲であるｘ軸方向座標範囲と、ｙ軸方向座標範囲とが対応付けられて格納されている。

例えば、タイムコード“９”には、ｘ軸方向座標範囲として「１０〜５０」、ｙ軸方向座標範囲として「１０〜２０」とが対応付けられている。これは、タイムコードファイル３０４ａのタイムコード“９”での“ＨＬ”コマンドによって特別表示した文字列の表示範囲が、ｘ軸方向の座標が“１０”から“５０”、ｙ軸方向の座標が“１０”から“２０”までの範囲であったことを表している。

タイマー計時時間４０４は、ＣＰＵ１０のタイマーにより計時される計時時間である。ＣＰＵ１０は、タイマーの計時を開始すると、ＲＡＭ４０に格納されたタイマー計時時間４０４を随時更新していく。

実行中タイムコード４０６は、ＣＰＵ１０が、タイムコードファイル３０４ａより読み出して実行するコマンドのタイムコードである。

指定座標４０８は、ユーザの再生開始位置指定操作によってタップされた表示部８０上のｘ座標及びｙ座標それぞれの座標値である。再生開始位置指定操作とは、音声の再生開始位置を指定するための操作である。再生開始位置指定操作は、ユーザが特別表示された文字列の表示範囲内をタップした後、決定キー２９を押下するまでの一連の操作のことを言う。よって、ユーザが特別表示された文字列の表示範囲外をタップし、決定キー２９を押下するといった操作は、再生開始位置指定操作とは判別されない。

指定座標タイムコード４１０は、タイムコード表示範囲４０２の特別表示範囲のうち、指定座標４０８を含む特別表示範囲に対応するタイムコードであり、ＣＰＵ１０によって決定される。具体的には、タイムコード表示範囲４０２の特別表示範囲の中から、指定座標４０８のｘ座標値とｙ座標値とに基づいて、指定座標４０８を含む特別表示範囲が検索され、検索された特別表示範囲に対応するタイムコードが指定座標タイムコード４１０として格納される。

反復範囲４１２は、ユーザの反復範囲指定操作によって指定された開始文字列と終了文字列との座標である。反復範囲指定操作とは、音声を反復して再生するための範囲を指定するための操作である。反復範囲指定操作は、ユーザが特別表示されたテキスト中の文字列から開始文字列を選択（例えば、文字列上のタップ操作）した後、更に終了文字列を選択するまでの一連の操作のことを言う。よって、ユーザが特別表示された文字列の表示範囲外を選択するといった操作は、反復範囲指定操作とは判別されない。

尚、再生開始位置指定操作及び反復範囲指定操作は、タッチペンによる操作に限られるものでなく、適宜変更可能である。例えば、所望のテキストの位置にカーソルを移動して決定キー２９を押下する操作としてもよい。また、テキスト中の一連の文字列上をドラッグして決定キー２９を押下する操作を反復範囲指定操作としてもよい。

反復範囲タイムコード４１４は、反復範囲４１２を基にＣＰＵ１０によって決定されるタイムコードである。ＣＰＵ１０は、反復範囲４１２である開始文字列のｘ座標をｘ軸方向座標範囲内に含み、更にｙ座標をｙ軸方向座標範囲内に含む特別表示範囲に対応するタイムコードを取得する。また、終了文字列のｘ座標をｘ軸方向座標範囲内に含み、更にｙ座標をｙ軸方向座標範囲内に含む特別表示範囲に対応するタイムコードを取得する。そして、ＣＰＵ１０は、タイムコード表示範囲４０２から、取得したタイムコードの最小のタイムコードから最大のタイムコードまでのタイムコードを反復範囲タイムコード４１４として決定する。

図７（ｂ）は、図１０（ａ）のように反復範囲指定操作を行ったときの、反復範囲タイムコード４１４の一例を示す図である。図１０（ａ）において、反復範囲指定操作としては、開始文字列「Ｈｉｇａｓｈｉ」の「Ｈ」上がタップされ、終了文字列「ｓｃｈｏｏｌ」の「ｌ」上がタップされている。同図において、「Ｈ」の座標を（６０、３５）、「ｌ」の座標を（１７０、３５）とすると、図７（ａ）の特別表示範囲において、座標（６０、３５）を含む特別表示範囲に対応するタイムコードは「１５０」となり、座標（１７０、３５）を含む特別表示範囲に対応するタイムコードは「１７５」となる。従って、タイムコード表示範囲４０２には、“１５０”、“１６５”及び“１７５”が格納される。

早送り時間４１６は、音声情報データによる音声の再生出力を早送りさせる時間である。ＣＰＵ１０は、再生開始位置指定操作が為された場合には、指定座標タイムコード４１０と“ＰＳ”コマンドのタイムコードとから早送り時間４１６を算出する。具体的には、指定座標タイムコード４１０から、当該指定座標タイムコード４１０の直前の“ＰＳ”コマンドのタイムコードを減算した値に、処理単位時間３０４ｅを乗算することにより早送り時間４１６を算出する。

また、反復範囲指定操作が為された場合は、反復範囲タイムコード４１４と“ＰＳ”コマンドのタイムコードとから早送り時間４１６を算出する。この場合、反復範囲タイムコード４１４の最小のタイムコードから、当該コードの直前の“ＰＳ”コマンドのタイムコードを減算した値に、処理単位時間３０４ｅを乗算することにより早送り時間４１６を算出する。

この算出された早送り時間４１６の時間分、早送りした位置を再生開始位置とし、当該再生開始位置からの音声の再生出力を開始することで、再生開始位置指定操作、又は反復範囲指定操作によって指定された位置の文字列に同期するような音声の再生出力が実現される。

反復再生時間４１８は、音声を反復して再生出力させるときの時間であり、反復範囲タイムコード４１４から算出される。具体的には、反復範囲タイムコード４１４から最大のタイムコードと最小のタイムコードとを取得し、この２つのタイムコードの差に処理単位時間３０４ｅを乗算した値を反復再生時間４１８とする。この反復再生時間４１８により、反復範囲指定操作によって指定された範囲に相当する時間分の再生出力が実現される。

次に、電子辞書１の第１英会話視聴処理の動作について、図８に示すフローチャートを用いて以下に説明する。

先ず、ユーザによって英会話キー２５ａが押下されると、ＣＰＵ１０は、フラッシュＲＯＭ３０から第１英会話視聴プログラム２０２を読み出し、ＲＡＭ４０に展開することで第１英会話視聴処理を開始する。

第１英会話視聴処理を開始すると、ＣＰＵ１０は、英会話データ３０４を読み込み（ステップＳ１００）、実行中タイムコード４０６を読み込んだ英会話データ３０４のタイムコードファイル３０４ａの先頭のタイムコードに設定する（ステップＳ１０２）。

そして、ＣＰＵ１０は、タイマーの計時を開始し、計時時間によってタイマー計時時間４０４を随時更新していく（ステップＳ１０４）。ＣＰＵ１０は、実行中タイムコード４０６に対応するコマンドをタイムコードファイル３０４ａから読み出し（ステップＳ１０６）、当該コマンドが“ＦＮ”コマンドか否かを判別する（ステップＳ１０８）。

読み出したコマンドが“ＦＮ”コマンドであると判別した場合（ステップＳ１０８：Ｙｅｓ）、ＣＰＵ１０は、ストップ処理を行う（ステップＳ１１０）。具体的には、“ＦＮ”コマンドに対応するコマンドプログラム３０２を読み出し、ＲＡＭ４０に展開することでストップ処理を実行する。ＣＰＵ１０は、ストップ処理を実行することで、第１英会話視聴処理を終了する。

また、ステップＳ１０８において、読み出したコマンドが“ＦＮ”コマンドではないと判別した場合（ステップＳ１０８：Ｎｏ）、ＣＰＵ１０は、読み出したコマンドが“ＰＰ”コマンドであるか否かを判別する（ステップＳ１１２）。

読み出したコマンドが“ＰＰ”コマンドであると判別した場合（ステップＳ１１２：Ｙｅｓ）、ＣＰＵ１０は、ポーズ処理を行う。具体的には、“ＰＰ”コマンドに対応するコマンドプログラム３０２を読み出し、ＲＡＭ４０に展開することでポーズ処理を実行する。ＣＰＵ１０は、ポーズ処理を実行した後、ポーズ処理による一時停止状態を解除するためのポーズ処理解除操作（例えば、決定キー２９の押下）を検知するまで待機する（ステップＳ１１６）。

ユーザによるポーズ処理解除操作を検知すると（ステップＳ１１６：Ｙｅｓ）、ＣＰＵ１０は、タイマー計時時間４０４が処理単位時間３０４ｅの倍数となることで、次のコマンドの処理を実行する時間に到達したか否かを判別する（ステップＳ１１８）。

タイマー計時時間４０４が処理単位時間３０４ｅの倍数であった場合は、次のコマンド処理を実行する時間に到達したと判別し（ステップＳ１１８：Ｙｅｓ）、実行中タイムコード４０６に“１”を加算して更新する（ステップＳ１２０）。そして、ＣＰＵ１０は、ステップＳ１０６の処理に移行する。

ステップＳ１１２において、読み出したコマンドが“ＰＰ”コマンドではないと判別した場合（ステップＳ１１２：Ｎｏ）、ＣＰＵ１０は、読み出したコマンドに対応する処理を実行する（ステップＳ１２０）。具体的には、読み出したコマンドに対応するコマンドプログラム３０２を読み出して、ＲＡＭ４０に展開することで、読み出したコマンドに対応する処理を実行する。

ステップＳ１２２の処理の後、又は、ステップＳ１１８において次のコマンドの処理を実行する時間には到達してないと判別した場合（ステップＳ１１８：Ｎｏ）、ユーザによる再生開始位置指定操作が為されたか否かを判別する（ステップＳ１２４）。

再生開始位置指定操作が為されたと判別した場合（ステップＳ１２４：Ｙｅｓ）、ＣＰＵ１０は、再生開始位置指定操作によってタップされた表示部８０上の座標を指定座標４０８としてＲＡＭ４０に記憶させる。そして、指定座標４０８を含む特別表示範囲に対応するタイムコードをタイムコード表示範囲４０２から読み出して、指定座標タイムコード４１０とする（ステップＳ１２６）。

次いで、指定座標タイムコード４１０の直前にある“ＰＳ”コマンドのタイムコードと、指定座標タイムコード４１０とから早送り時間４１６を算出する（ステップＳ１２８）。ＣＰＵ１０は、早送り時間４１６の時間分早送りした位置を再生開始位置として、当該再生開始位置からの音声の再生出力を開始する（ステップＳ１３０）。

次いで、指定座標タイムコード４１０を実行中タイムコード４０６に設定した後（ステップＳ１３２）、ステップＳ１０６の処理へ移行する。

このとき、指定座標タイムコード４１０に基づいた再生開始位置から音声が再生出力されるとともに、指定座標タイムコード４１０以降のタイムコードに対応するコマンドがステップＳ１２２において実行される。これにより、再生開始位置からの音声の再生出力の開始に同期するように、ユーザが指定した座標に位置する文字列からの特別表示が実現される。

ステップＳ１２４において、再生開始指定操作が為されなかったと判別した場合（ステップＳ１２４：Ｎｏ）、ＣＰＵ１０は、反復範囲指定操作が為されたか否かを判別する（ステップＳ１３４）。反復範囲指定操作が為されなかったと判別した場合は（ステップＳ１３４：Ｎｏ）、ステップＳ１１８の処理へ移行する。

また、反復範囲指定操作が為されたと判別した場合は（ステップＳ１３４：Ｙｅｓ）、反復範囲指定操作によって指定された開始文字列と終了文字列との座標を反復範囲４１２としてＲＡＭ４０に記憶させる。そして、反復範囲４１２の開始文字列及び終了文字列それぞれの座標を含む特別表示範囲に対応するタイムコードをタイムコード表示範囲４０２から取得する。ＣＰＵ１０は、取得した各タイムコードの最小のタイムコードから最大のタイムコードまでの範囲内のタイムコードを反復範囲タイムコード４１４としてＲＡＭ４０に記憶させる（ステップＳ１３６）。

ＣＰＵ１０は、反復範囲タイムコード４１４に対応する特別表示範囲を読み出し、読み出した特別表示範囲内を反転表示させる（ステップＳ１３８）。そして、ユーザによって決定キー２９が押下されたか否かを判別する（ステップＳ１４０）。決定キー２９が押下されなかったと判別した場合は（ステップＳ１４０：Ｎｏ）、ステップＳ１１８の処理へ移行する。

ＣＰＵ１０は、決定キー２９が押下されたことを検知すると（ステップＳ１４０：Ｙｅｓ）、反復範囲タイムコード４１４内の最小のタイムコードと、当該タイムコードの直前の“ＰＳ”コマンドのタイムコードとから早送り時間４１６を算出する（ステップＳ１４２）。そして、反復範囲タイムコード４１４の最小のタイムコードと最大のタイムコードとから反復再生時間４１８を算出する（ステップＳ１４４）。

ＣＰＵ１０は、早送り時間４１６分早送りした位置を再生開始位置とし、当該再生開始位置から反復再生時間４１８の時間分の音声の再生出力を開始する（ステップＳ１４６）。次いで、反復範囲タイムコード４１４の最小から最大までのタイムコードをタイムコードファイル３０４ａから順次読み出し、読み出したタイムコードに対応するコマンドの処理を実行していく（ステップＳ１４８）。

このとき、反復範囲タイムコード４１４に基づいた再生開始位置からの反復再生時間４１８の時間分の音声が再生出力されるとともに、反復範囲タイムコード４１４の最小から最大までのタイムコードに対応するコマンドの処理が実行される。これにより、反復範囲指定操作によって指定された範囲内に相当する音声の再生出力に同期するように、当該範囲内の文字列の特別表示が実現される。

ＣＰＵ１０は、ユーザによるリピート操作（例えば、リピート選択画面Ｗ１４のＯＫキーＫ１０に対するタップ操作）が為されたか否かを判別する（ステップＳ１５０）。リピート操作が為されたと判別した場合（ステップＳ１５０：Ｙｅｓ）、ＣＰＵ１０は、ステップＳ１４６の処理へ移行し、再び、ステップＳ１４６による音声の再生出力と、ステップＳ１４８によるコマンドの実行とを行う。

また、リピート操作が為されなかったと判別した場合は（ステップＳ１５０：Ｎｏ）、反復範囲タイムコード４１４の最大のタイムコードを実行中タイムコード４０６に設定する（ステップＳ１５２）。そして、早送り時間４１６と反復再生時間４１８とを加算した時間分早送りした位置からの音声の再生出力を開始し（ステップＳ１５４）、ステップＳ１２０の処理へ移行する。

図９及び図１０は、図５のタイムコードファイル３０４ａ及びテキストファイル３０４ｂと、図６の第２テキストデータ、音声情報ファイル３０４ｃ及び第２音声情報データとに従った具体的な表示画面の画面遷移の例を示す図である。以下、ユーザの操作例と合わせて説明する。尚、処理単位時間３０４ｅは２５ｍ秒として説明する。

ユーザが、英会話キー２５ａを押下すると、表示部８０の表示画面がクリアされた後（タイムコード“１”の“ＣＳ”コマンドによる処理に相当）、第２画像データに基づいた画像を表示した画像表示画面Ｗ１２が表示される（タイムコード“２”の“ＤＩ”コマンドによる処理に相当）。

そして、第２音声情報データに基づいた音声の再生出力が開始される（タイムコード“３”の“ＰＳ”コマンドによる処理に相当）。

そして、第２テキストデータの第１場面のテキスト「Ａ：Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ ・・・・・ｓｃｈｏｏｌ ｓｔｕｄｅｎｔ．」を行数と共に表示したテキスト表示画面Ｗ１０が表示部８０に表示される（タイムコード“４”の“ＬＴ”コマンドによる処理、及びタイムコード“５”の“ＶＤ”コマンドによる処理に相当）。

ユーザの英会話キー２５ａの押下から２００ｍ秒経過後（“ＰＳ”コマンドの実行時間５０ｍ秒（（タイムコード“３”−１）×２５ｍ秒）＋音声の再生出力開始からの経過時間１５０ｍ秒）、「Ｗｈａｔ」という音声が再生出力されると同時に、テキスト表示画面Ｗ１０に表示されているテキストの「Ａ：Ｗｈａｔ 」（空白文字を含む計７文字）が下線ＵＬ１０によって特別表示される。このとき、ＣＰＵ１０によってタイムコード“９”と、「Ａ：Ｗｈａｔ 」のｘ軸方向座標範囲「１０〜５０」と、ｙ軸方向座標範囲「１０〜２０」とがタイムコード表示範囲４０２としてＲＡＭ４０に記憶される（タイムコード“９”の“ＨＬ”コマンドによる処理に相当）。

その後、音声の再生出力に同期するように、テキスト表示画面Ｗ１０に表示されているテキストは下線ＵＬ１０によって特別表示されていく。図９（ａ）は、英会話キー２５ａの押下から８５０ｍ秒経過後（“ＰＳ”コマンドの実行時間５０ｍ秒＋音声の再生出力開始からの経過時間８００ｍ秒）の表示部８０の表示画面である。同図によれば、「ｓｃｈｏｏｌ」という音声が再生出力されると同時に、テキスト表示画面Ｗ１０に表示されているテキストの「Ａ：Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ 」（空白文字を含む計１９文字）が下線ＵＬ１０によって特別表示されている（タイムコード“３５”の“ＨＬ”コマンドによる処理に相当）。

ユーザが、図９（ｂ）のようにタッチペンＴＰを用いて特別表示されたテキストのうち「Ｈ」の上をタップすると、「Ｍｅ，ｔｏｏ．」まで再生出力されていた音声は「Ｈｉｇａｓｈｉ Ｈｉｇｈ・・・」という音声の再生出力に切り替わる。また、同時に、「Ｃ：Ｍｅ，ｔｏｏ．」まで特別表示されていたテキストは、「Ｈｉｇａｓｈｉ」からの特別表示に切り替わり、引き続き、再生出力される音声に同期するように特別表示が為されていく（図８に示すステップＳ１２４→Ｓ１２６〜Ｓ１３２〜Ｓ１０６に相当）（図９（ｃ））。

図９（ｂ）において、ユーザがタップした位置の座標を（６０、３５）とすると、この座標は、ｘ軸方向座標範囲「５５〜１０５」及びｙ軸方向座標範囲「３０〜４０」の特別表示範囲に含まれているので、ＣＰＵ１０によって当該特別表示に対応するタイムコード“１５０”が読み出され、記憶される。（図８に示すステップＳ１２６に相当）。そして、タイムコードファイル３０４ａにおいて、タイムコード“１５０”の直前にある“ＰＳ”コマンドのタイムコードは“３”であるので、早送り時間４１６は（１５０−３）×２５ｍ秒として算出され、３６７５ｍ秒となる（図８に示すステップＳ１２８に相当）。よって、ＣＰＵ１０により、第２音声情報データに基づく音声を３６７５ｍ秒早送りした再生開始位置からの音声の再生出力が開始されると同時に、タイムコード“１５０”以降のコマンドがタイムコードファイル３０４ａから読み出されて、当該コマンドに対応する処理が実行されていく（図８に示すステップＳ１３０〜Ｓ１３２〜Ｓ１０６に相当）。

ユーザは、図１０（ａ）のように特別表示されたテキストのうち「Ｈｉｇａｓｈｉ」を開始文字列として選択し、「Ｈ」上をタップした後、「ｓｃｈｏｏｌ」を終了文字列として選択し、「ｌ」上をタップすると、「Ｈｉｇａｓｈｉ」から「ｓｃｈｏｏｌ」までの文字列が反転表示される（図８に示すステップＳ１３４→Ｓ１３６〜Ｓ１３８に相当）。そして、決定キー２９を押下すると、「Ｍｅ，ｔｏｏ．」まで再生出力されていた音声は「Ｈｉｇａｓｈｉ Ｈｉｇｈ・・・」という音声の再生出力に切り替わる。また、同時に、「Ｃ：Ｍｅ，ｔｏｏ．」まで特別表示されていたテキストは、「Ｈｉｇａｓｈｉ」からの特別表示に切り替わる（図８に示すステップＳ１４０→Ｓ１４２〜Ｓ１４８に相当）。

その後、音声の再生出力と特別表示は、「ｓｃｈｏｏｌ」で一時的に停止する。そして、ユーザが、表示されたリピート選択画面Ｗ１４のＯＫキーＫ１０をタップすると、再度「Ｈｉｇａｓｈｉ ｈｉｇｈ ｓｃｈｏｏｌ」の音声が再生出力され、同時に特別表示されていく（図８に示すステップＳ１５０→Ｓ１４６→Ｓ１４８に相当）。また、ユーザは、リピート選択画面Ｗ１４のｃａｎｃｅｌキーＫ１２をタップすると、「Ｍｅ，ｔｏｏ．」以降の音声が再生出力され、更に、「Ｃ：Ｍｅ，ｔｏｏ．」以降のテキストが特別表示されていく（図８に示すステップＳ１５０→Ｓ１５２〜Ｓ１２０〜Ｓ１０６に相当）（図１０（ｂ））。

図１０（ａ）において、ユーザが開始文字列としてタップした位置の座標を（６０、３５）とすると、開始文字列の座標（６０、３５）は、ｘ軸方向座標範囲「５５〜１０５」及びｙ軸方向座標範囲「３０〜４０」の特別表示範囲に含まれているので、ＣＰＵ１０によって当該特別表示範囲に対応するタイムコード“１５０”が読み出される。また、終了文字列としてタップした位置の座標を（１７０、３５）とすると、終了文字列の座標（１７０、３５）は、ｘ軸方向座標範囲「１３５〜１７５」及びｙ軸方向座標範囲「３０〜４０」の特別表示範囲に含まれているので、ＣＰＵ１０によって当該特別表示範囲に対応するタイムコード“１７５”が読み出される。ＣＰＵ１０は、読み出したタイムコード“１５０”から“１７５”までの範囲内のタイムコード“１５０”、“１６０”及び“１７５”を、タイムコードファイル３０４ａから読み出し、記憶する（図８に示すステップＳ１３６に相当）。

そして、タイムコード“１５０”の直前にある“ＰＳ”コマンドのタイムコードは“３”であるので、早送り時間４１６は３６７５ｍ秒と算出される（図８に示すステップＳ１４２に相当）。また、記憶したタイムコードの最大及び最小のタイムコードから反復再生時間４１８は、（１７５−１５０）×２５ｍ秒として算出され、６２５ｍ秒となる（図８に示すステップＳ１４４に相当）。よって、ＣＰＵ１０により、第２音声情報データに基づく音声を３６７５ｍ秒早送りした再生開始位置から、６２５ｍ秒分の音声の再生出力が開始されると同時に、“１５０”から“１７５”までタイムコードに対応するコマンドがタイムコードファイル３０４ａから読み出されて、当該コマンドに対応する処理が実行されていく（図８に示すステップＳ１４６〜Ｓ１４８に相当）。

以上、第１実施形態によれば、表示されたテキストの内容と同じ音声が再生出力されると共に、タイムコードファイル３０４ａに記憶されているコマンドに従って表示されたテキストが音声に同期するように特別表示されていく。特別表示されたテキスト上をタップし、決定キーを押下すると、タップした位置の文字列からのテキストと同じ内容の音声が再生出力されるとともに、タップした位置の文字列からの特別表示が開始される。

また、ユーザは、特別表示されたテキストを範囲指定することにより、所望の範囲の音声を繰り返し聞くことができると共に、再生される音声に同期するように指定した範囲内の文字列が特別表示されていく。これにより、ユーザは、一度再生出力された音声を聞き直したい場合など、聞き直したい音声と同じ内容のテキスト上をタップするといった簡単な操作によって、音声の聞き直しをすることができる。従って、表示されたテキストの一部分を指定するといった簡単な操作によって再生開始位置を指定でき、操作性を向上させたテキスト同期音声再生制御装置を実現することができる。

〔第２実施形態〕
次に、本発明を適用した電子辞書１の第２実施形態について説明する。第２実施形態における電子辞書１は、図３に示した第１実施形態のＲＯＭ２０と、フラッシュＲＯＭ３０と、ＲＡＭ４０とを、ＲＯＭ２２と、フラッシュＲＯＭ３２と、ＲＡＭ４２とに置き換えた構成である。尚、第１実施形態と同一の構成要素には同一の符号を付してその説明を省略する。

図１１は、第２実施形態に係るＲＯＭ２２、フラッシュＲＯＭ３２及びＲＡＭ４２の構成を示す図である。

図１１（ａ）によれば、ＲＯＭ２２は、第２英会話視聴プログラム２２２を格納する。ＣＰＵ１０は、ユーザによって英会話キー２５ａが押下されたことを検知すると、ＲＯＭ２２から第２英会話視聴プログラム２２２を読み出し、ＲＡＭ４２に展開することで、第２英会話視聴処理を開始する。

図１１（ｂ）によれば、フラッシュＲＯＭ３２は、イベントプログラム３２２と、英会話データ３２４とを記憶する。

イベントプログラム３２２は、テキスト同期情報３２４ａに記憶されている各イベント情報のイベントを実現するためのプログラムである。ＣＰＵ１０によって、該当するイベントプログラム３２２が読み出され、ＲＡＭ４２に展開されることで、イベントプログラム３２２に従った処理が実行される。

図１２（ａ）は、代表的なイベントの制御内容を説明するための図である。
イベント“ｔｘｔ＿ｄｉｓｐ”は、テキスト表示画面Ｗ２０の“Ｘ”列、“Ｙ”行から“ｔｅｘｔ”に指定されたテキストの“ｃｈａｒ”文字分を表示するイベントである。尚、“Ｘ”、“Ｙ”、“ｔｅｘｔ”及び“ｃｈａｒ”は、イベント引数である。

イベント“ａｌｌｃｌｅａｒ”は、テキスト表示画面Ｗ２０内をクリアするイベントである。

イベント“ｒｅｖ_ｄｉｓｐ”は、テキスト表示画面Ｗ２０の“Ｘ”列、“Ｙ”行の文字から“ｃｈａｒ”文字分までを下線ＵＬ２０によって特別表示させるイベントである。

イベント“ｂｉｔ_ｄｉｓｐ”は、“ｔｅｘｔ”に指定された画像データを画像表示画面Ｗ３０の“Ｘ”行、“Ｙ”列に表示させるイベントである。

“ｅｎｄ”は、タイマーの計時を終了し、音声が再生中であれば、再生中の音声を停止するイベントである。

第２実施形態において、英会話データ３２４は、テキスト同期情報３２４ａと、音声情報ファイル３２４ｂとを有する。図１２（ｂ）は、第２実施形態に係る英会話データ３２４のデータ構成の一例を示す図である。

テキスト同期情報３２４ａは、イベントを実行する順番を表すイベント番号とイベント情報とを格納するデータファイルである。イベント情報は、イベントを実行開始する時間を表すイベント実行時間と、イベント名と、イベントの実行に必要な情報であるイベント引数との３つの要素により構成される。図１３（ａ）は、テキスト同期情報３２４ａの一例を示す図である。

１行目の「file=onsei001.mp3」は、テキスト同期情報３２４ａのヘッダ情報であり、テキスト同期情報３２４ａに対応付けられている音声情報ファイル３２４ｂが「onsei001.mp3」であることを表している。

イベント番号“１”には、「time=00m25s,event=txt_disp,X=01,Y=01,char=09,text=“ABCDEFGHI”」というイベント情報が対応付けられている。このイベント情報は、イベント実行時間が２５秒（time=00m25s）、イベント名が「txt_disp」、イベント引数が「X=01,Y=01,char=09,text=“ABCDEFGHI”」となる。これは、タイマー計時時間４０４が２５秒となったら、テキスト表示画面Ｗ２０の１行目（X=1）及び１列目（Y=1）からテキスト“ＡＢＣＤＥＦＧＨＩ”（text=“ABCDEFGHI”）のうち９文字（char=09）を表示する(event=txt_disp)というイベントを表している。

また、イベント番号“４”には、「time=00m30s,event=rev_disp,X=01,Y=01,char=09」というイベント情報が対応付けられている。このイベント情報は、イベント実行時間３０秒（time=00m30s）、イベント名が「rev_disp」、イベント引数が「X=01,Y=01,char=09」となる。これは、タイマー計時時間４０４が３０秒となったら、テキスト表示画面Ｗ２０の１行目及び２列目の文字から９文字目までを下線ＵＬ２０によって特別表示するというイベントを表している。

テキスト同期情報３２４ａの最後のイベント番号“１５”には、「time=04m30s,event=end」というイベント情報が対応付けられている。このイベント情報は、イベント実行時間が４分３０秒、イベント名が「end」となる。これは、タイマー計時時間４０４が４分３０秒となったら、タイマーの計時を終了し、テキスト同期情報３２４ａによるイベントが終了したことを表している。また、テキスト同期情報３２４ａの最後のイベント実行時間は、音声総時間４３２となる。音声総時間４３２は、音声情報ファイル３２４ｂに基づいて再生出力される音声の全再生時間である。よって、図１３（ａ）のテキスト同期情報３２４ａにおいては、音声総時間４３２は４分３０秒となる。

図１３（ｂ）は、音声情報ファイル３２４ｂ「onsei001.mp3」の概念図の一例を表す図である。同図は、音声の再生開始から３０秒後に「ＡＢＣＤＥＦＧＨＩ」という歌詞の音声が再生出力されることを表している。また、音声の再生開始から４０秒後、５０秒後、３分１０秒後、３分２０秒後及び３分３０秒後に音声情報ファイル３２４ｂに従った歌詞が再生出力され、４分３０秒後には音声の再生出力が終了することを表している。

上述したようにテキスト同期情報３２４ａには、音声情報ファイル３２４ｂが対応付けられている。テキスト同期情報３２４ａ内に定義されているテキストの内容は、音声情報ファイル３２４ｂに従って再生出力される音声の内容と同じである。例えば、タイマー計時時間４０４が２５秒となったとき、テキスト同期情報３２４ａに基づいて「ＡＢＣＤＥＦＧＨＩ」がテキスト表示画面Ｗ２０に表示される。その５秒後、即ちタイマー計時時間４０４が３０秒となったとき、音声情報ファイル３２４ｂに従って「ＡＢＣＤＥＦＧＨＩ」という音声が再生出力されるとともに、テキスト表示画面Ｗ２０に表示されたテキスト「ＡＢＣＤＥＦＧＨＩ」は下線ＵＬ２０によって特別表示される。

このようにして、テキスト同期情報３２４ａに対応した音声情報ファイル３２４ｂに基づいた音声を再生出力させるとともに、テキスト同期情報３２４ａに従ってテキストの表示制御を行うことにより、再生出力される音声と同じ内容のテキストを当該音声に同期するように特別表示させることを実現する。

ＲＡＭ４２は、タイマー計時時間４０４と、イベントカウンタ４２６と、タップ位置４２８と、選択イベント実行時間４３０と、音声総時間４３２と、音声情報データ全容量４３４と、再生開始位置４３６とを記憶する。

イベントカウンタ４２６は、テキスト同期情報３２４ａから読み出して実行するイベント情報のイベント番号である。イベントカウンタ４２６は、０以上の整数であり、ＣＰＵ１０によって、デクリメントされた際に負の整数となる場合は、“０”として設定される。

タップ位置４２８は、ユーザによってタップされた表示部８０上の座標値である。
選択イベント実行時間４３０は、イベントカウンタ４２６により選択されるイベント情報のイベント実行時間である。具体的には、ユーザによって再生キーＫ２４のタップ操作が為されると、ＣＰＵ１０は、タップ操作が為された時点におけるイベントカウンタ４２６と同一のイベント番号に対応するイベント情報をテキスト同期情報３２２ａから読み出し、読み出したイベント情報のイベント実行時間を選択イベント実行時間４３０としてＲＡＭ４２に記憶させる。

音声総時間４３２は、テキスト同期情報３２４ａ内の最後のイベント情報のイベント実行時間によって設定される。

音声情報データ全容量４３４は、音声情報ファイル３２４ｂを構成するヘッダ情報及び音声情報データのうち音声情報データ部分のみのデータ容量である。

再生開始位置４３６は、選択イベント実行時間４３０と、音声総時間４３２と、音声情報データ全容量４３４とによって算出される。具体的には、選択イベント実行時間４３０を音声総時間４３２で除算した値に音声情報データ全容量４３４を乗算した値を再生開始位置４３６とする。ＣＰＵ１０は、算出した再生開始位置４３６分までの音声情報データを読み飛ばした位置から音声の再生出力を行う。これにより、ユーザによって実行されたイベントにより表示されたテキストに同期するような音声の再生出力が実現される。

次に、電子辞書１の第２英会話視聴処理の動作について、図１４に示すフローチャートを用いて以下に説明する。

先ず、ユーザによって英会話キー２５ａが押下されると、ＣＰＵ１０は、フラッシュＲＯＭ３２から第２英会話視聴プログラム２２２を読み出し、ＲＡＭ４２に展開することで第２英会話視聴処理を開始する。

第２英会話視聴処理を開始すると、ＣＰＵ１０は、画面の初期設定を行う（ステップＳ２００）。具体的には、図１５（ａ）に示すように、表示部８０にテキスト表示画面Ｗ２０と、巻き戻し（△）キーＫ２０と、早送り（▽）キーＫ２２と、再生（＞）キーＫ２４と、停止（□）キーＫ２６とを表示させる。尚、巻き戻しキーＫ２０、早送りキーＫ２２、再生キーＫ２４及び停止キーＫ２６は、表示部８０とは別の入力装置で実現することとしてもよい。

ＣＰＵ１０は、イベントカウンタ４２６を“０”に設定する（ステップＳ２０２）。そして、ユーザのタップ操作を検知するまで待機し（ステップＳ２０４）、タップ操作を検知すると（ステップＳ２０４：Ｙｅｓ）、タップされた表示部８０上の座標値をタップ位置４２８としてＲＡＭ４２に記憶させる。

そして、タップ位置４２８が巻き戻しキーＫ２０の表示座標上であるかを判別する（ステップＳ２０６）。巻き戻しキーＫ２０の表示座標上であると判別した場合は（ステップＳ２０６：Ｙｅｓ）、イベントカウンタ４２６をデクリメントする（ステップＳ２３８）。次いで、テキストや下線ＵＬ２０等の直前のイベントの実行によって表示された表示内容を表示部８０から消去して（ステップＳ２４０）、ステップＳ２０４の処理へ移行する。

ステップＳ２０６において、タップ位置４２８が巻き戻しキーＫ２０の表示座標上でないと判別した場合（ステップＳ２０６：Ｎｏ）、ＣＰＵ１０は、タップ位置４２８が早送りキーＫ２２の表示上であるか否かを判別する（ステップＳ２０８）。早送りキーＫ２２の表示座標上であると判別した場合は（ステップＳ２０８：Ｙｅｓ）、イベントカウンタ４２６をインクリメントし（ステップＳ２４２）、イベントカウンタ４２６に対応するイベント情報のイベントを実行する（ステップＳ２４４）。具体的には、イベントカウンタ４２６と同じイベント番号のイベント情報をテキスト同期情報３２４ａから読み出す。そして、読み出したイベント情報のイベント名に対応するイベントプログラム３２２に従った処理を実行する。ＣＰＵ１０は、ステップＳ２４４においてイベントを実行すると、ステップＳ２０４の処理へ移行する。

ステップＳ２０８において、タップ位置４２８が早送りキーＫ２２の表示座標上でないと判別した場合（ステップＳ２０８：Ｎｏ）、ＣＰＵ１０は、タップ位置４２８が停止キーＫ２６の表示座標上であるか否かを判別する（ステップＳ２１０）。停止キーＫ２６の表示座標上であると判別した場合（ステップＳ２１０：Ｙｅｓ）、ＣＰＵ１０は、音声が再生中である場合は、再生中の音声を停止した後（ステップＳ２４６）、第２英会話視聴処理を終了する。

ステップＳ２１０において、タップ位置４２８が停止キーＫ２６の表示座標上でないと判別した場合（ステップＳ２１０：Ｎｏ）、ＣＰＵ１０は、タップ位置４２８が再生キーＫ２４の表示座標上であるか否かを判別する（ステップＳ２１２）。再生キーＫ２４の表示座標上でないと判別した場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２０４の処理へ移行する。

再生キーＫ２４の表示座標上であると判別した場合（ステップＳ２１２：Ｙｅｓ）、ＣＰＵ１０は、再生開始指示が入力されたと判別し、イベントカウンタ４２６に対応するイベント情報を読み出した後、当該イベント情報の中からイベント実行時間を取得する。そして、取得したイベント実行時間を選択イベント実行時間４３０としてＲＡＭ４２に記憶させる（ステップＳ２１４）。

次いで、ＣＰＵ１０は、テキスト同期情報３２４ａの最後のイベント情報からイベント実行時間を読み出し、当該イベント実行時間を音声総時間４３２として検出する（ステップＳ２１６）。

次いで、音声情報ファイル３２４ｂ内の音声情報データの全データ容量を検出し、検出したデータ容量を音声情報データ全容量４３４としてＲＡＭ４２に記憶させる（ステップＳ２１８）。

ＣＰＵ１０は、選択イベント実行時間４３０、音声総時間４３２及び音声情報データ全容量４３４から再生開始位置４３６を算出する（ステップＳ２２０）。

そして、音声情報データを再生開始位置４３６まで読み飛ばした位置から音声の再生出力を開始する（ステップＳ２２２）。

ＣＰＵ１０は、タイマー計時時間４０４に選択イベント実行時間４３０を設定し（ステップＳ２２４）、タイマーの計時を開始する（ステップＳ２２６）。次いで、イベントカウンタ４２６をインクリメントした後（ステップＳ２２８）、ユーザのタップ操作を検知したか否かを判別する（ステップＳ２３０）。

タップ操作を検知した場合は（ステップＳ２３０：Ｙｅｓ）、ステップＳ２０６の処理へ移行する。また、タップ操作を検知しなかった場合（ステップＳ２３０：Ｎｏ）、ＣＰＵ１０は、タイマー計時時間４０４を読み出し（ステップＳ２３２）、当該タイマー計時時間４０４がイベントカウンタ４２６に対応するイベント情報のイベント実行時間に到達したかを判別する（ステップＳ２３４）。

イベント実行時間に到達したと判別した場合（ステップＳ２３４：Ｙｅｓ）、ＣＰＵ１０は、イベントカウンタ４２６に対応するイベント情報のイベントを実行し（ステップＳ２３６）、ステップＳ２２８の処理へ移行する。

図１５及び１６は、図１３のテキスト同期情報３２４ａと音声情報ファイル３２４ｂに従った具体的な表示画面の画面遷移の例を示す図であり、以下、ユーザの操作例と合わせて説明する。

先ず、ユーザは、英会話キー２５ａを押下すると、表示部８０にテキスト表示画面Ｗ２０、巻き戻しキーＫ２０、早送りキーＫ２２、再生キーＫ２４及び停止キーＫ２６が表示される（図１４に示すステップＳ２００に相当）。

そして、図１５（ａ）のように早送りキーＫ２２を１回タップすると、テキスト表示画面Ｗ２０には、「ＡＢＣＤＥＦＧＨＩ」というテキストが表示される（図１５（ｂ））。これは、ＣＰＵ１０によって、早送りキーＫ２２のタップ操作が検知され、イベントカウンタ４２６が“１”となり、当該イベントカウンタ４２６に対応するイベント情報が読み出されて実行された結果である。（図１４に示すステップＳ２０４→Ｓ２０６→Ｓ２０８→Ｓ２４０→Ｓ２４２に相当）。

図１５（ｂ）のように、更に早送りキーＫ２２をタップすると、図１５（ｃ）のように、テキスト表示画面Ｗ２０には、新たに「ＪＫＬＭＮＯＰＱＲＳ」といったテキストが表示されていく。このように、ユーザがタップする回数に応じてテキスト表示画面Ｗ２０の表示が更新されていく。

ユーザが早送りキーＫ２２を１０回タップすると、図１５（ｄ）のようにテキスト表示画面Ｗ２０には、表示されていたテキストの「ｊｋｌｍｎｏｐｑｒｓ」までが下線ＵＬ２２によって特別表示される。

そして、巻き戻しキーＫ２０を１回タップすると、テキスト「ｊｋｌｍｎｏｐｑｒｓ」上に表示されていた下線ＵＬ２２がテキスト表示画面Ｗ２０から消去される（図１６（ａ））（図１４に示すステップＳ２０６→Ｓ２３８→Ｓ２４０に相当）。

次いで、ユーザが、再生キーＫ２４をタップすると、テキスト「ｊｋｌｍｎｏｐｑｒｓ」が下線ＵＬ２２によって特別表示されると共に、テキスト「ｊｋｌｍｎｏｐｑｒｓ」を発音する音声が再生出力されていく（図１６（ｂ））（図１４に示すステップＳ２１２→Ｓ２１４〜Ｓ２３０→Ｓ２３２→Ｓ２３４→Ｓ２３６に相当）。

ユーザが再生キーＫ２４をタップしたとき、ＣＰＵ１０によって再生開始位置４３６が算出される。図１６（ａ）においては、再生キーＫ２４がタップされた時点のイベントカウンタ４２６は“１１”である。イベントカウンタ４２６“１１”に対応するイベント情報のイベント実行時間は“３分１０秒（１９０秒）”であるので、ＣＰＵ１０により“３分１０秒”が選択イベント実行時間４３０として設定される。次いで、テキスト同期情報３２４ａの最後のイベント情報から音声総時間４３２である“４分３０秒（２７０秒）”が検出される。また、図１３（ｂ）の音声情報ファイル３２４ｂにおいては、音声情報データ全容量４３４が“５Ｍｂｙｔｅ”と検出される。従って、再生開始位置４３６は、（１９０／２７０）×５Ｍによって算出され、“３.５１８Ｍｂｙｔｅ”となる。よって、ＣＰＵ１０によって音声情報ファイル３２４ｂの音声情報データを“３．５１８Ｍｂｙｔｅ”分読み飛ばした位置から再生出力が開始される共に、イベントカウンタ４２６の値“１１”をインクリメントしたイベント番号“１２”に対応するイベント（テキスト「ｊｋｌｍｎｏｐｑｒｓ」の特別表示）が実行される。

ユーザは、停止キーＫ２６をタップすることで再生出力される音声を停止させる（図１６（ｃ））（図１６に示すステップＳ２１０→Ｓ２４４に相当）。

以上、第２実施形態によれば、ユーザが早送りキー及び巻き戻しキーをタップすると、当該タップの回数に応じて、テキストが表示されていく。ユーザは、所望のテキストを表示させ、再生キーをタップすると、テキスト同期情報３２４ａに従ってテキストが順次特別表示されると共に、当該テキストの表示に同期するようにテキストの内容を表す音声が再生出力されていく。これにより、ユーザは、早送りキー及び巻き戻しキーの操作によって、聞きたい音声のテキストを表示させ、表示させたテキストに対応する音声から再生出力させることができる。また、再生出力される音声に同期するようにテキストが特別表示されていくため、ユーザは、特別表示によって再生出力されている音声の内容を簡単に確認することができる。従って、所望のテキストを表示させるといった簡単な操作によって再生開始位置を指定でき、操作性を向上させたテキスト同期音声再生制御装置を実現することができる。

尚、第２実施形態において、テキスト同期情報３２４ａはテキストの表示を制御するものとして説明したが、テキスト同期情報によって画像を表示する制御を行ってもよい。例えば、画像の表示を実現するために、イベント“ｂｉｔ＿ｄｉｓｐ”を使用し、画像データを英会話データ３２４に含めてフラッシュＲＯＭ３２に記憶する。

図１４に、イベント“ｂｉｔ_ｄｉｓｐ”を使用したテキスト同期情報３２４ｃの一例を示す。同図によれば、イベント番号“１”に対応するイベント情報として「time=00m24s,event=bit_disp,X=01,Y=01,text“<a href=“gazou.jpg”>”」が記憶されている。このイベント情報は、イベント実行時間が２４秒のとき、画像データ「gazou.jpg」に基づいた画像を画像表示画面Ｗ３０の１行目（X=01）、１列目（Y=01）に表示させる（event=bit_disp）ことを表している。

図１８は、音声の再生開始時刻からの計時時間を表示する時間カウンタ９１２と、再生キー、停止キー、早送りキー及び巻き戻しキーにより再生開始位置を制御するための再生制御装置とを設け、図１７のテキスト同期情報３２４ｃに従った具体的な表示画面の画面遷移の例を示す図である。以下、ユーザの操作例と合わせて説明する。

ユーザが英会話キー２５ａを押下した後、再生キーを押下すると、時間カウンタの計時時間が計時されていくと共に、音声情報ファイル３２４ｂに基づいた音声の再生出力が開始される。そして、計時時間が２４秒となると、表示部８０の画像表示画面Ｗ３０には、画像データ「gazou.jpg」に基づいた画像が表示される（図１８（ａ））。これは、テキスト同期情報３２４ｃのイベント番号“１”のイベント情報に従った処理（「gazou.jpg」に基づく画像の表示）の結果である。

そして、再生時間が２５秒となると、表示部８０のテキスト表示画面Ｗ３２にテキスト
「ＡＢＣＤＥＦＧＨＩ」が表示される（図１８（ｂ））。これは、テキスト同期情報３２４ｃのイベント番号“２”のイベント情報に従った処理（テキスト「ＡＢＣＤＥＦＧＨＩ」の表示）の結果である。

そして、テキスト同期情報３２４ｃに従って、図１８（ｃ）のようにテキストが表示されていく。計時時間が３０秒となると、表示されたテキストの「ＡＢＣＤＥＦＧＨＩ」が下線ＵＬ３０によって特別表示される（図１８（ｄ））。これは、テキスト同期情報３２４ｃのイベント番号“８”のイベント情報に従った処理（１行目、１列目のテキストから９文字までを特別表示）の結果である。

以上のように、テキスト同期情報３２４ｃに画像を表示するイベント情報を使用することで、テキストと画像の両方を表示させることができる。また、画像を表示するためのイベント情報を再生出力される音声に同期するようにテキスト同期情報３２４ｃに定義することで、再生出力される音声に同期した画像表示が可能となる。

このように、テキスト同期情報に予め定義するイベント情報は、テキストの表示のみに限られるものではなく、電子辞書１で実現できるイベントであれば、適宜追加、変更して適用してよい。

尚、２つの実施形態では、再生出力される音声に同期するようにテキストを表示することとして説明したが、例えば、楽曲を再生出力すると共に、当該楽曲の楽譜を表示させ、楽曲の再生に同期するように楽譜上の音符の表示色を変更して特別表示させるとしてよい。ユーザは、特別表示されていく音符によって、再生出力されている楽曲がどのような音程やリズムで構成されているのかを知ることができる。

また、２つの実施形態では電子辞書を適用例として説明したが、このような製品に限定されず、携帯電話、パソコン、電子時計などの電子機器に適用可能である。

（ａ）は電子辞書の概観図の一例、（ｂ）は電子辞書のキー配列の一例を示す図。 電子辞書の機能構成を示すブロック図。 第１実施形態の（ａ）はＲＯＭの構成、（ｂ）はフラッシュメモリの構成、（ｃ）はＲＡＭの構成を示す図。 （ａ）はプログラムコマンドの制御内容を説明するための図、（ｂ）は英会話データのデータ構成の一例を示す図。 （ａ）はタイムイコードファイルのデータ構成の一例を示す図、（ｂ）はテキストファイルのデータ構成の一例を示す図。 （ａ）は第２テキストデータのデータ構成の一例を示す図、（ｂ）は音声情報ファイルのデータ構成の一例を示す図、（ｃ）は第２音声情報データの概念図。 （ａ）はタイムコード表示範囲の一例を示す図、（ｂ）は反復範囲タイムコードの一例を示す図。 第１実施形態における第１英会話視聴処理を説明するためのフローチャート。 第１実施形態における電子辞書の画面例を示す第１の図。 第１実施形態における電子辞書の画面例を示す第２の図。 第２実施形態の（ａ）はＲＯＭの構成、（ｂ）はフラッシュメモリの構成、（ｃ）はＲＡＭの構成を示す図。 （ａ）はイベントコマンドの制御内容を説明するための図、（ｂ）は英会話データのデータ構成の一例を示す図。 （ａ）はテキスト同期情報のデータ構成の一例を示す図、（ｂ）は音声情報ファイルの概念図。 第２実施形態における第２英会話視聴処理を説明するためのフローチャート。 第２実施形態における電子辞書の画面例を示す第１の図。 第２実施形態における電子辞書の画面例を示す第２の図。 第２実施形態の変形例におけるテキスト同期情報のデータ構成の一例を示す図。 第２実施形態の変形例における電子辞書の画面例を示す図。

符号の説明

１ 電子辞書
３ ディスプレイ
５ 各種キー群
２３ カーソルキー
２５ モードキー
２５ａ 英会話キー
２５ｂ 英和キー
２７ 文字入力キー
２９ 決定キー
７ コネクタ
９ スロット
１１ メモリカード
１５ パソコン
１７ ケーブル
２１ タッチパネル
５０ 音声再生装置
５２ スピーカ
６０ 通信装置
７０ 入力部
８０ 表示部
９０ 位置検出装置
９２ タブレット
１００ 記憶媒体読取部
１１０ バス

Claims (9)

1. テキストと当該テキストの内容に関する一連の音声データとを記憶し、当該音声データの再生出力に沿って当該テキストを所定形式で順次表示させることによりテキストの表示と音声の再生出力とを同期させる制御を行うテキスト同期音声再生制御装置において、
   表示されたテキストの部分を指定する部分指定手段と、
   この部分指定手段により指定された部分の前記テキスト中の位置に基づいて音声データの再生開始位置を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御手段と、
   を備えることを特徴とするテキスト同期音声再生制御装置。
2. 前記テキストを表示させた後、表示させたテキストを順次特別表示させる制御を行うことにより前記テキストの前記所定形式での順次表示を行う順次表示制御手段を更に備え、
   前記音声再生開始制御手段は、前記指定された部分から前記順次表示制御手段に順次特別表示させる制御を行わせる表示開始制御手段を有する、
   ことを特徴とする請求項１に記載のテキスト同期音声再生制御装置。
3. 前記テキストを構成する文字列に対応づけて、当該文字列が順次表示されるタイミングの情報を記憶するタイミング記憶手段を更に備え、
   前記音声再生開始制御手段は、前記指定された部分の文字列に対応づけて前記タイミング記憶手段に記憶されたタイミングの情報に基づいて、音声データの再生開始位置を決定する決定手段を有する、
   ことを特徴とする請求項１又は２に記載のテキスト同期音声再生制御装置。
4. 前記タイミング記憶手段は、前記テキストを構成する文字列が順次表示された際に、その順次表示されたタイミングの情報を、当該文字列の表示位置と対応づけて記憶する表示位置対応記憶手段を有し、
   前記決定手段は、前記指定された部分の文字列の表示位置に対応づけて前記表示位置対応記憶手段に記憶されたタイミングの情報に基づいて、音声データの再生開始位置を決定する表示位置基準決定手段を有する、
   ことを特徴とする請求項３に記載のテキスト同期音声再生制御装置。
5. 前記表示されたテキストの中から、開始文字列と終了文字列とが定まることにより特定される反復範囲を指定する反復範囲指定手段と、
   この反復範囲指定手段により指定された反復範囲の開始文字列及び終了文字列の前記テキスト中の位置に基づいて音声データの再生開始位置及び再生終了位置を決定し、決定した再生開始位置から再生終了位置まで、音声データの再生出力を繰り返し行う制御をする反復制御手段と、
   を更に備えたことを特徴とする請求項１〜４の何れか一項に記載のテキスト同期音声再生制御装置。
6. テキストと、当該テキストの内容に関する一連の音声データと、当該テキストを構成する文字列を当該音声データの再生出力に沿って所定形式で順次表示させたときの当該各文字列の表示タイミングの情報とを記憶する記憶手段と、
   前記テキストを構成する文字列を、ユーザ操作に従って順次表示する順次表示操作手段と、
   再生開始指示を入力する再生開始指示入力手段と、
   この再生開始指示入力手段により再生開始指示が入力された際に、前記順次表示操作手段によって順次表示されていた文字列の前記表示タイミングの情報に基づいて前記音声データの再生開始位置を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御手段と、
   を備えることを特徴とするテキスト同期音声再生制御装置。
7. 前記音声再生開始制御手段は、前記表示タイミングの情報に加えて、更に前記音声データのデータ量に基づいて、前記音声データの再生を開始するデータの位置を算出することで再生開始位置を決定する算出手段を有することを特徴とする請求項６に記載のテキスト同期音声再生制御装置。
8. コンピュータに、
   テキストと当該テキストの内容に関する一連の音声データとを記憶させ、当該音声データの再生出力に沿って当該テキストを所定形式で順次表示させることによりテキストの表示と音声の再生出力とを同期させる制御を行わせるためのプログラムであって、
   表示されたテキストの部分を指定する部分指定機能と、
   この部分指定機能により指定された部分の前記テキスト中の位置に基づいて音声データの再生開始位置を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御機能と、
   を実現させるためのプログラム。
9. コンピュータに、
   テキストと、当該テキストの内容に関する一連の音声データと、当該テキストを構成する文字列を当該音声データの再生出力に沿って所定形式で順次表示させたときの当該各文字列の表示タイミングの情報とを記憶する記憶機能と、
   前記テキストを構成する文字列を、ユーザ操作に従って順次表示する順次表示操作機能と、
   再生開始指示を入力する再生開始指示入力機能と、
   この再生開始指示入力機能により再生開始指示が入力された際に、前記順次表示操作機能によって順次表示されていた文字列の前記表示タイミングの情報に基づいて前記音声データの再生開始位置を決定し、決定した再生開始位置から音声データの再生出力を開始する制御を行う音声再生開始制御機能と、
   を実現させるためのプログラム。

Images