JP2004302285A - 情報出力装置、情報出力プログラム - Google Patents

Abstract

【課題】音声出力のタイミングがテキスト表示から容易に把握できるようにする。
【解決手段】携帯機器１０は、テキスト、画像、音声を同期再生するためのデータが記録された再生用ファイル１２ｃにおいて、テキストデータの表示単位（単語）をそれぞれの表示タイミングを示す情報と関連付けて記録しておく。携帯機器１０は、同期コンテンツ再生処理プログラム１２ａ１に基づいて再生用ファイル１２ｃを再生することで、再生用ファイル１２ｃに記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音声、テキスト、画像などの複数種のデータを同期出力する情報出力装置、情報出力プログラムに関する。
【０００２】
【従来の技術】
従来、音楽、テキスト、画像などを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】
特公平０６−０２５９０５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００６】
このため、例えばＭＰ３音声ファイルにテキストファイルおよび画像ファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声のデータとして音声再生処理を継続的に行っていないと同期対象テキストおよび画像の再生を行うことが出来ない問題がある。
【０００７】
また、例えば英会話テキストによってヒヤリング練習やリーディング練習を行う際は、テキストの表示および当該テキストの読み上げ音声を出力する際に、具体的にどのような発音をすれば良いのか明確に示すための画像表示を行う方が望ましい。
【０００８】
従来の特許文献１に記載の装置にあっては、音声信号に対応する文字が予め関連付けされて音声及び文字が同期再生されると共に、文字情報に対応する音声特徴量（強勢、抑揚）を色分けして別途表示させなければならない。従って、英会話テキストなどにおいて、比較的長い文章を表示する必要がある場合には、表示画面サイズの制限などからテキストの他に音声特徴量を別途表示することが困難な場合がある。
【０００９】
一方、カラオケのモニタなど、音声出力と同期して文字列や背景画像などを表示するものもあるが、前述したＭＰ３ファイルのように、音声、文字列、画像それぞれ別々でそのもののデータを予め合わせて組み込んだ同期再生用のファイルを作成しなければならない。また、音声に合わせて文字列や背景画像などが順次表示されだけなので、画面中からどのような特徴をもって音声が出力されるか把握することが困難となっていた。
【００１０】
本発明は、前記のような問題に鑑みてなされたもので、音声出力のタイミングがテキスト表示から容易に把握することが可能になる情報出力装置、情報出力プログラムを提供することを目的とる。
【００１１】
【課題を解決するための手段】
すなわち、本発明の請求項１に係る情報出力装置では、テキストを表示出力する情報出力装置において、テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段とを有している。
【００１２】
これによれば、テキストデータの表示単位（例えば単語）に対して決められた表示タイミングに合わせて、表示単位でテキストの配置が変更されるため、例えばテキストを読み上げる場合などの音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【００１３】
また、本発明の請求項２に係る情報出力装置では、前記表示制御手段は、第１の表示単位のテキストの配置を、前記第１の表示単位に対応する表示タイミングと、前記第１の表示単位のテキストの次に配置される第２の表示単位に対する表示タイミングとの時間差に基づいて決定する。
【００１４】
これによれば、情報記録手段にテキストデータの各表示単位を表示タイミングの情報と関連付けて記録しておくことで、各表示単位に対する表示タイミングの時間差からテキストの配置を決定することができる。
【００１５】
また、本発明の請求項３に係る情報出力装置では、前記表示制御手段は、テキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率をもとに、前記時間差に対する前記第１の表示単位のテキストを配置する表示幅を算出する表示幅算出手段と、前記表示幅算出手段によって算出された表示幅をもとに、前記第１の表示単位のテキストに含まれる各文字の配置を決定する配置決定手段とを有する。
【００１６】
これによれば、テキストが表示される表示画面の表示サイズと各表示単位に対する表示タイミングとが関連付けられ、表示画面中に各表示単位のテキストを表示タイミングに合わせて配置することができる。
【００１７】
また、本発明の請求項４に係る情報出力装置では、前記情報記録手段に表示タイミングを示す情報と表示単位で関連付けられたテキストデータを読み上げる音声の音声データを記録する音声記録手段と、前記音声記録手段に記録された音声データをもとに、前記表示制御手段によって表示されるテキストと同期して音声を出力する音声出力手段とを有する。
【００１８】
これによれば、テキストが表示されると共に、このテキストの内容を読み上げる音声が同時に出力されるので、テキストの内容を音声を関連付けて把握することができる。
【００１９】
また、本発明の請求項５に係る情報出力装置では、前記音声出力手段によって出力される音声と同期して、前記表示制御手段によって表示されるテキストを所定の表示形態に変更する第１の表示形態変更手段を有する。
【００２０】
これによれば、表示されるテキスト中の音声中で読み上げられる表示単位部分が他と異なる形態で表示されることにより、テキストの内容を音声をより明瞭に関連付けて把握することができる。
【００２１】
また、本発明の請求項６に係る情報出力装置では、前記第１の表示形態変更手段は、前記表示制御手段によって表示されるテキストを、前記表示単位毎に所定の表示形態に変更する。
【００２２】
これによれば、表示単位毎に表示形態が変更されるので、音声と表示単位のテキストとの関連付けを容易に把握できる。
【００２３】
また、本発明の請求項７に係る情報出力装置では、前記表示制御手段により表示されるテキストに対して、先頭部分から時間経過と共に所定の表示形態に変更する第２の表示形態変更手段を具備する。
【００２４】
これによれば、各表示単位のテキストがそれぞれの表示タイミングに合わせて配置されているため、テキストを先頭部分から時間経過と共に所定の表示形態に変更することで、例えばテキストを読み上げる場合などの音声出力（発声）のタイミングと表示形態が変更されるテキスト部分とが一致するので、音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【００２５】
また、本発明の請求項８に係る情報出力装置では、前記表示制御手段は、前記表示単位のテキストを、同テキスト中の各文字のフォントを変更して配置する。
【００２６】
これによれば、テキスト中の各文字のフォントを、例えば拡大縮小（横方向、縦方向）処理することで配置を変更することができる。
【００２７】
また、本発明の請求項９に係る情報出力装置では、前記表示制御単位は、前記表示単位のテキストを、同テキスト中の各文字の表示位置を変更して配置する。
【００２８】
これによれば、テキストの各文字の表示位置を、例えば単語間、文字間のスペース幅を変更することで配置することができる。
【００２９】
また、本発明の請求項１０に係る情報出力プログラムは、このプログラムをコンピュータにインストールすることで、テキストを表示出力するコンピュータを、テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段とに機能させるので、テキストデータの表示単位（例えば単語）に対して決められた表示タイミングに合わせて、表示単位でテキストの配置を変更するので、例えばテキストを読み上げる場合などの音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は本発明の情報出力装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００３１】
携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００３２】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記録された携帯機器制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介してメモリ１２に読み込まれた携帯機器制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（サーバ３０など）から電送制御部１５を介してメモリ１２に読み込まれた携帯機器制御プログラムに応じて、回路各部の動作を制御するもので、メモリ１２に記録された携帯機器制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信されるネットワークＮ上の他のコンピュータ端末からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００３３】
ＣＰＵ１１には、メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ、Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００３４】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００３５】
ＲＯＭ１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記録される他に、音声・テキスト・画像などの各種のファイルを同期再生するための同期コンテンツ再生処理プログラム１２ａ１などを含む、携帯機器制御プログラム１２ａが記録される。
【００３６】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、同期コンテンツ再生処理プログラム１２ａ１に基づき再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂなどが記録される。
【００３７】
ここで、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ内に記録される暗号化された再生用ファイル（暗号化再生用ファイル）１２ｂは、例えば英語や歌の練習をテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００３８】
この暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のサーバ３０から配信配布されたりするもので、ＣＤ−ＲＯＭあるいはサーバ３０により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂに転送格納される。
【００３９】
ＲＡＭ１２Ｃには、暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記録されると共に、この解読された再生用ファイル１２ｃの中の画像ファイルが展開されて記録される画像展開バッファ１２ｆが備えられる。解読された再生用ファイル１２ｃは、再生命令の処理単位時間（１２ｃ１ａ）を記録するヘッダ情報（１２ｃ１）、および後述するファイルシーケンステーブル（１２ｃ２）、タイムコードファイル（１２ｃ３）、コンテンツ内容データ（１２ｃ４）で構成される。また、ＲＡＭ１２Ｃには、解読された再生用ファイル１２ｃを再生する際にユーザから指定される学習内容を示す学習内容選択データ１２ｄと文字表示モードを示す文字表示モードデータ１２ｅが記録される。文字表示モードには、例えばテキスト表示をテキストの内容を読み上げる音声に応じて表示幅を変更して表示する音声幅文字表示（音声あり／なし）と通常の文字幅によって表示する通常文字表示（音声あり／なし）がある。
【００４０】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記録するためワークエリアが用意される。
【００４１】
図２は携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図である。
【００４２】
図３は携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図である。
【００４３】
図４は携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図である。
【００４４】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図２〜図４で示すように、タイムコードファイル１２ｃ３とファイルシーケンステーブル１２ｃ２とコンテンツ内容データ１２ｃ４との組み合わせにより構成される。
【００４５】
図２で示すタイムコードファイル１２ｃ３には、個々のファイル毎に予め設定される一定時間間隔の元の（基準）処理単位時間（例えば２５ｍｓ）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図４参照）を対応付けするためのファイルシーケンステーブル１２ｃ２（図３）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００４６】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔の元の（基準）処理単位時間１２ｃ１ａは、当該タイムコードファイル１２ｃ３のヘッダ情報１２ｃ１に記述設定される。
【００４７】
例えば図３で示すタイムコードファイル１２ｃ３からなる再生用ファイル１２ｂ（１２ｃ）のファイル再生時間は、予め設定された元の（基準）処理単位時間が２５ｍｓである場合、２４００ステップのタイムコードからなる再生処理を経て６０秒間となる。
【００４８】
図３で示すファイルシーケンステーブル１２ｃ２は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声など）の各種類毎に、タイムコードファイル１２ｃ３に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００４９】
図４で示すコンテンツ内容データ１２ｃ４は、ファイルシーケンステーブル１２ｃ２により各コマンドコードと対応付けされる実際の音声、画像、テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記録される。
【００５０】
本実施形態のファイルシーケンステーブル１２ｃ２においてリンク付けされるコンテンツ内容データ１２ｃ４について簡単に説明すると、例えばＩＤ＝５に対応するデータ内容には、英会話テキストオープニング画像データが用意されていることを示している。
【００５１】
図５は携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム１２ａ１に基づき解析処理される命令内容を対応付けて示す図である。
【００５２】
タイムコードファイル１２ｃ３に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）、ＶＤ（ｉ番目テキスト文節表示）、ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）、ＨＮ（ハイライト無し・文字カウンタカウントアップ）、ＨＬ（ｉ番目文字までハイライト・文字カウント）、ＬＳ（１行スクロール・文字カウンタカウントアップ）、ＤＨ（ｉ番目ＨＴＭＬファイル表示）、ＤＩ（ｉ番目イメージファイル表示）、ＰＳ（ｉ番目サウンドファイルプレイ）、ＣＳ（クリアオールファイル）、ＰＰ（基本タイムｉ秒間停止）、ＦＮ（処理終了）、ＮＰ（無効）の各コマンドがある。
【００５３】
例えばコマンドコード「ＨＬ」は、タイムコードファイル１２ｃ３において、パラメータデータが示す文字列（ｉ番目の文字列）、例えば単語についてハイライト表示する表示タイミングに応じた位置に記述される。コマンドコードは、処理単位時間１２ｃ１ａに応じて一定時間毎に実行されるため、何れの順番で記述されるかによって表示タイミングが決められる。すなわち、テキストデータの表示単位（単語）が、表示タイミングを示す情報と関連付けて記録されることになる。
【００５４】
次に、本実施形態における携帯機器１０による同期コンテンツファイル再生処理について説明する。
【００５５】
図６は携帯機器１０の同期コンテンツ再生処理プログラム１２ａ１に従った再生処理を示すフローチャート、図７及び図８は再生処理に伴うＶＤコマンド処理を示すフローチャート、図９（Ａ）〜（Ｄ）はそれぞれ再生処理に伴うＬＴコマンド処理、ＨＬコマンド処理、ＤＩコマンド処理、ＰＳコマンド処理を示すフローチャートである。
【００５６】
図１０携帯機器１０の再生処理に伴う学習内容／文字表示モードの選択操作・表示状態を示す図であり、同図（Ａ）は学習内容／文字表示モードの選択画面を示す図、同図（Ｂ）（Ｃ）は学習内容と文字表示モードの選択画面を対象とする選択操作キーを示す図である。
【００５７】
例えば英語の勉強がテキストと画像と音声で行える英語教材再生ファイルを、ＣＤ−ＲＯＭや通信ネットワーク（インターネット）Ｎ上のサーバ３０から自宅ＰＣである通信機器（ＰＣ）２０に取り込み、携帯機器１０の通信部１６を介して当該再生用ファイル（ＣＡＳファイル）１２ｂがＦＬＡＳＨメモリ１２Ｂに、あるいは解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに格納された状態にあるものとする。ここで、入力部１７ａあるいは座標入力装置（マウス／タブレット）１７ｂの操作によりこの再生用ファイル１２ｂ（１２ｃ）の再生が指示されると、まず携帯機器１０は、同期コンテンツ再生処理プログラム１２ａ１を起動して、図１０（Ａ）に示すように、学習内容と文字表示モードをユーザ選択させるための学習内容／文字表示モード選択画面Ｇを表示部１８に表示する（ステップＡ１）。
【００５８】
この学習内容選択画面Ｇにあって、図１０（Ｂ）（Ｃ）に示すように、入力部１７ａのカーソルキー１７ａ１および「決定」キー１７ａ２の操作により、学習内容としてレッスン１〜５の何れかが選択されると、携帯機器１０は、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理などのイニシャライズ処理を実行し、選択されたレッスンを示すデータが学習内容選択データ１２ｄとしてＲＡＭ１２Ｃに記録する。また、同様にして、カーソルキー１７ａ１および「決定」キー１７ａ２の操作により、文字表示モードとして何れかが選択されると、携帯機器１０は、指定された文字表示モードを示す文字表示モードデータ１２ｅをＲＡＭ１２Ｃに記録する（ステップＡ１）。
【００５９】
文字表示モードとしては、テキスト表示をテキストの内容を読み上げる音声に応じて表示幅を変更して表示する音声幅文字表示（音声あり／なし）と通常の文字幅によって表示する通常文字表示（音声あり／なし）がある。
【００６０】
例えば英語テキストを読み上げる音声の場合、読み上げられる文章中においてポイントとなる単語については、強くかつ時間をかけてゆっくり明瞭に発言される傾向がある。すなわち、同じ１単語であっても読み上げる時間に差がある。音声幅文字表示では、各単語の文字列（表示単位）を、単語を読み上げる時間に応じた幅によって表示することでテキストの表示の配置を決める。これにより、テキストが表示されている画面から、テキストに対応する音声がどのような特徴をもつか、例えばテキストを読み上げる場合などの各単語の音声出力（発声）のタイミングがどのようになっているかを把握できるようになる。
【００６１】
コンテンツ内容データ１２ｃ４には、テキスト中の各単語の再生タイミングに応じてコマンドとパラメータデータが記録されているため、各単語に対応するコマンドの記録位置と、各記録位置の間隔（時間に相当する）、及び単語の文字数をもとに、テキスト表示する際の文字のサイズ（横幅）が求められる。詳細については後述する。
【００６２】
次に、携帯機器１０は、ＦＬＡＳＨメモリ１２Ｂに格納された暗号化された再生用ファイル１２ｂ（ＣＡＳファイル）１２ｂを解読（復号化）して（ステップＡ２）、解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに記録する（ステップＡ３）。
【００６３】
次に、解読された再生用ファイル（ＣＡＳファイル）１２ｃのヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ／５０ｍｓ／…）を、ＣＰＵ１１による再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定する（ステップＡ４）。
【００６４】
そして、ＲＡＭ１２Ｃに格納された再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタをセットし（ステップＡ５）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマをスタートする（ステップＡ６）。
【００６５】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＡ７）。
【００６６】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２ｃ３（図２）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像データを表示させるためのコマンド（「ＤＩ」コマンド）がある場合は、予め当該画像データ表示用のコマンドのパラメータデータにより指示される画像データを先読みして画像展開バッファ１２ｆに展開しておくことで、読み出しポインタが実際に後の画像表示用のコマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【００６７】
ステップＡ６において、処理タイマがスタートされると、ステップＡ４にて設定された再生用ファイル１２ｃに応じた処理単位時間毎に読み出しポインタの位置の当該メディア再生用ファイル１２ｃを構成するタイムコードファイル１２ｃ３のコマンドコードおよびそのパラメータデータを読み出す（ステップＡ８）。
【００６８】
そして、再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３から読み出されたコマンドコードが、処理終了を表す「ＦＮ」か否か判断し（ステップＡ９）、「ＦＮ」と判断された場合には、その時点で再生処理の停止（ストップ）処理を実行する（ステップＡ１３）。
【００６９】
一方、再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３から読み出されたコマンドコードが、「ＦＮ」ではないと判断された場合には（ステップＡ９、Ｎｏ）、コマンドに対応したサブルーチンをコールして実行する（ステップＡ１０）
すると、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断される（ステップＡ１１）。
【００７０】
ここで、タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読された再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＡ１２）、ステップＡ８における読み出しポインタの位置のコマンドコードを読み出す処理から前述と同様の処理が繰り返される（ステップＡ１２→Ａ８〜Ａ１１）。
【００７１】
すなわち、端末装置１０のＣＰＵ１１は、ＲＯＭ１２Ａに記録された同期コンテンツ再生処理プログラム１２ａ２に従って、ヘッダ情報１２ｃ１に設定された処理単位時間毎に、タイムコードファイル１２ｃ３に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ３に記述された各コマンドに応じた各種メディアデータの同期再生処理が実行される。
【００７２】
次に、図２に示すコンテンツ内容データ１２ｃ４に記録されたコマンドコードとパラメータデータに基づいた英会話テキスト・音声・画像ファイルの同期再生の具体例について説明する。
【００７３】
図１１は、図２に示すコンテンツ内容データ１２ｃ４に基づく再生処理によって表示される画面の一例を示している。
【００７４】
前述したように、ヘッダに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）１２ｃ１ａ毎に、ステップＡ１０において以下に説明するコマンド処理が順次実行される。
【００７５】
まず、タイムコードファイル１２ｃ３の第１コマンドコード「ＬＴ」（ｉ番目テキストロード）およびそのパラメータデータ「０１」が読み出されると、図９（Ａ）のフローチャートに示すＬＴコマンド処理がコールされて実行される。
【００７６】
まず、ファイルシーケンステーブル１２ｃ２からテキスト番号ｉのＩＤ番号を読み出し（ステップＣ１）、指定ＩＤのコンテンツ（テキストデータ）をＲＡＭ１２Ｃのワークエリアにロードする（ステップＣ２）。ここでは、テキスト番号「０１」のＩＤ番号「１９」に対応するテキストデータが読み出されて記録される。具体的には「Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ ｄｏ ｙｏｕ ｇｏ ｔｏ？」のテキストデータが記録される。
【００７７】
第２コマンドコード「ＶＤ」（ｉ番目テキスト文節表示）およびそのパラメータデータ「００」が読み出されると、図７及び図８のフローチャートに示すＶＤコマンド処理がコールされて実行される。
【００７８】
まず、文字表示モードデータ１２ｅを参照しても単語幅の変更が必要なモードが指定されているか、すなわち音声幅文字表示（音声あり／音声なし）がユーザによって指定されているかを判別する（ステップＢ１）。
【００７９】
ここで、単語幅の変更が必要なモードが指定されていない場合（ステップＢ１、Ｎｏ）、携帯機器１０は、ワークエリアにロードされているテキストデータ（「Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ ｄｏ ｙｏｕ ｇｏ ｔｏ？」）を、表示画面中のテキストフレーム内に通常の形態で表示する（ステップＢ２）。すなわち、予め決められたフォントにより、文字間と単語間に予め決められた所定のスペースを設けて各文字を表示する。
【００８０】
一方、単語幅の変更が必要なモードが指定されている場合（ステップＢ１、Ｙｅｓ）、携帯機器１０は、現在の命令（コマンドコード）の位置の次のポインタの位置番号を変数Ｐにセット（ＲＡＭ１２Ｃのワークエリアに格納）する（ステップＢ３）。ここでは、２番目のコマンドコードを対象としているのでＰ＝３となる。
【００８１】
次に、表示させる単語の先頭のドット位置Ｘｓに初期値「０」をセットし（ステップＢ４）、また画面中に表示させたテキストに対して他と異なる表示属性、例えばアンダーラインの付加やハイライトを施す先頭文字の位置Ｃｓに初期値「１」をセットする（ステップＢ５）。
【００８２】
次に、現在の読み出しポインタが示す位置以降から、順次、タイムコードファイル１２ｃ３を参照してコマンドコード「ＨＬ」（ｉ番目文字までハイライト・文字カウント）を検索する。この際、参照対象とするコマンドコードの位置を示す読み出しポインタをＩ＝Ｉ＋１として順次更新していく（ステップＢ６、Ｂ７）。
【００８３】
コマンドコード「ＨＬ」が見つかると、この現在の命令の位置の読み出しポインタの位置番号Ｉ（最初の位置）をＰＯとしてセットする（ステップＢ８）。図２に示すタイムコードファイル１２ｃ３の例では、４０番目にコマンドコード「ＨＬ」が存在するので、ＰＯ＝４０としてセットされる。
【００８４】
また、現在の命令の位置の読み出しポインタの位置番号Ｉ（最初の位置）をＰｓとしてセットする（ステップＢ９）。図２に示すタイムコードファイル１２ｃ３の例では、４０番目にコマンドコード「ＨＬ」が存在するので、Ｐｓ＝４０としてセットされる。
【００８５】
また、ハイライト指定の末尾の文字位置をＣｅとしてセットする（ステップＢ１０）。すなわち、タイムコードファイル１２ｃ３のコマンドコード「ＨＬ」に対して設定されたパラメータデータの数値データがＣｅとしてセットされる。４０番目のコマンドコード「ＨＬ」については、パラメータデータ「０５」がセットされており、例えばハイライト表示の対象文字数が５文字が指定されている。従って、Ｃｅ＝５としてセットされる。
【００８６】
そして、Ｃｓ（ハイライト指定の先頭文字）の位置からＣｅ（ハイライト指定の末尾の文字）の位置までの文字列（テキストデータ）を読み出し、表示配置の変更対象とするテキストデータとして変数ＣＨＲ＄に記録する（ステップＢ１１）。ここでは、ＣＨＲ＄＝「Ｗｈａｔ 」（１文字分のスペース有り）としてセットされる。
【００８７】
次に、参照対象とするコマンドコードの位置を示す読み出しポインタをＩ＝Ｉ＋１として更新し（ステップＢ１２）、タイムコードファイル１２ｃ３から次のコマンドコード「ＨＬ」を検索する。ここで、更新した読み出しポインタが示すコマンドコードが「ＨＬ」でない場合（ステップＢ１３、Ｎｏ）、前述と同様にして、読み出しポインタをＩ＝Ｉ＋１として順次更新し、タイムコードファイル１２ｃ３から次のコマンドコード「ＨＬ」を探索する（ステップＢ２４、Ｂ２５、Ｂ１３）。
【００８８】
コマンドコード「ＨＬ」が検索されると（ステップＢ１３、Ｙｅｓ）、現在の命令の位置の読み出しポインタの位置番号ＩをＰｅとしてセットする（ステップＢ１４）。図２に示すタイムコードファイル１２ｃ３では４０番目のコマンドコード「ＨＬ」の次に６４番目のコマンドコードに「ＨＬ」が存在するので、Ｐｅ＝６４としてセットされる。
【００８９】
次に、先にセットしたＰｓとＰＯの値、及びテキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率をもとに、前回文字表示開始ドット位置Ｘｓをセットする（ステップＢ１５）。すなわち、Ｘｓ＝（Ｐｓ−ＰＯ）×２．５によって算出する。なお、先頭の単語に対する処理では（Ｐｓ−ＰＯ）＝４０−４０＝０であり、Ｘｓ＝０となる。
【００９０】
ここでは、テキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率を２．５として表している。例えば、図１１は、テキストが表された画面の一例を示しているが、テキストと画像を含むコンテンツを表示することができる横幅の表示解像度が例えば６４０ドットであり、５００〜６３９ドットの範囲を画像表示用（画像表示フレームＹ（図１１（Ｂ）参照））として使用し、０〜４９９ドットの範囲をテキスト表示用（テキスト表示フレームＸ）として使用している。なお、図１１では、テキスト表示フレームＸ中の０〜３９９ドットの範囲においてテキストを表示するように決められているものとする。
【００９１】
そして、本実施形態では、表示サイズ０〜４９９に対してタイムコード０〜１５９が対応づけられている。すなわち、表示位置「１００」とタイムコード「４０」が対応する。従って、テキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率が２．５となる。
【００９２】
タイムコードは、タイムコードファイル１２ｃ３に記述されており、処理単位時間１２ｃ１ａ毎に実行される。このため、表示サイズにタイムコードを対応づけることは、処理単位時間１２ｃ１ａに応じた時間が対応づけられることになる。
【００９３】
次に、先にセットしたＰｅとＰＯの値、及びテキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率をもとに、前回文字表示終了ドット位置Ｘｅをセットする（ステップＢ１６）。すなわち、Ｘｅ＝（Ｐｅ−ＰＯ）×２．５によって算出する。この場合、Ｘｅ＝（Ｐｅ−ＰＯ）×２．５＝（６４−４０）×２．５＝６０となる。これにより、現在処理対象としている表示単位（単語「ｗｈａｔ 」）に対する表示範囲（Ｘｓ〜Ｘｅ）が求められる。
【００９４】
ここで、ＣＨＲ＄に記憶された前回文字列をＸｓ〜Ｘｅの幅に合わせて拡大または縮小して表示する（ステップＢ１７）。ここでは、ＣＨＲ＄＝「Ｗｈａｔ 」と記録されているので、５文字を例えば横幅方向に６０ドットの範囲に均等に配置するように、フォントの形状を拡大あるいは縮小する（文字間のスペースの幅も均等に割り当てる）。なお、横幅方向に拡大／縮小するだけでなく、縦方向についても拡大／縮小するようにしても良い。この場合、横幅方向と同じ拡大／縮小率を用いる必要はない。
【００９５】
こうして、最初の単語（表示単位）に対する処理が終了すると、次の表示単位の文字列に対する処理の準備として、ハイライト指定の先頭文字位置ＣｓをＣｓ＝Ｃｅ＋１として次の単語の先頭文字位置に更新し（ステップＢ１８）、ハイライト指定の末尾の文字位置ＣｅをステップＢ１３において探索されたコマンドコード「ＨＬ」のパラメータデータが示す数値（次単語の最後の文字位置）に更新する。この場合、Ｃｓ＝５＋１＝６に更新され、Ｃｅは６４番目のコマンドコード「ＨＬ」に対応するパラメータデータが示す「１０」に更新される。
【００９６】
そして、文字列の末尾にある単語に対する処理が終了し、次の処理対象とする単語を次行に移行する必要がある場合には（ステップＢ２０、Ｙｅｓ）、改行処理とＸ方向位置補正を実行する（ステップＢ２１）。すなわち、次に、テキストを表示する行を次行に更新すると共に、単語の表示開始位置（Ｘ座標値）をテキスト表示フレームの先頭に更新する。
【００９７】
なお、次行に移行する必要がない場合（及び改行処理が終了した後）に、Ｃｓの位置からＣｅの位置までの文字列を読み出し、表示配置の変更対象とするテキストデータとして変数ＣＨＲ＄に記録する（ステップＢ２２）。ここでは、ＣＨＲ＄＝「ｈｉｇｈ 」（１文字分のスペース有り）としてセットされる。
【００９８】
そして、最初の単語（表示単位）に対する処理が終了すると、次の表示単位の文字列に対する処理の準備として、現在のＰｅの値をＰＳにセットする（ステップＢ２３）。
【００９９】
次に、前述と同様にして、読み出しポインタをＩ＝Ｉ＋１として順次更新し、タイムコードファイル１２ｃ３から次のコマンドコード「ＨＬ」を探索する（ステップＢ２４、Ｂ２５、Ｂ１３）。
【０１００】
ここでは、第８８コマンドコード「ＨＬ」が検索されるので（ステップＢ１３、Ｙｅｓ）、現在の命令の位置の読み出しポインタの位置番号Ｉ＝８８をＰｅとしてセットし（ステップＢ１４）、先にセットしたＰｓとＰＯの値、及び表示サイズと時間との比率をもとに前回文字表示開始ドット位置Ｘｓ＝（Ｐｓ−ＰＯ）×２．５＝（６４−４０）×２．５＝６０をセットする（ステップＢ１５）。
【０１０１】
また、先にセットしたＰｅとＰＯの値、及び表示サイズと時間との比率をもとに、前回文字表示終了ドット位置Ｘｅ＝（Ｐｅ−ＰＯ）×２．５＝（８８−４０）×２．５＝１２０をセットする。これにより、現在処理対象としている表示単位（単語「ｈｉｇｈ 」）に対する表示範囲（Ｘｓ〜Ｘｅ）が求められる。そして、前述と同様にして、ＣＨＲ＄に記憶された文字列をＸｓ〜Ｘｅの幅に合わせて拡大または縮小して表示する（ステップＢ１７）。
【０１０２】
以下、同様にして、タイムコードファイル１２ｃ３から順次検索される第１３６、第１４８、第１６４、第１８８などのコマンドコード「ＨＬ」について、前述と同様の処理を実行することで、各単語についての配置を決定することができる。
【０１０３】
そして、前述と同様にして、読み出しポインタをＩ＝Ｉ＋１として更新した結果（ステップＢ２４）、読み出しポインタが示す位置のコマンドコードが処理の終了を示す「ＦＮ」であった場合（ステップＢ２５、Ｙｅｓ）、現在の命令の位置の読み出しポインタの位置番号ＩをＰｅとしてセットする（ステップＢ２６）。図２に示すタイムコードファイル１２ｃ３では２３９９番目のコマンドコードが「ＦＮ」であるのでＰｅ＝２３９９としてセットされる。
【０１０４】
次に、先にセットしたＰｓとＰＯの値、及びテキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率（２．５）をもとに、前回文字表示開始ドット位置Ｘｓをセットし（ステップＢ２７）、また、先にセットしたＰｅとＰＯの値、及び比率（２．５）をもとに、前回文字表示終了ドット位置Ｘｅをセットする（ステップＢ２８）。
【０１０５】
ここで、ＣＨＲ＄に記憶された前回文字列をＸｓ〜Ｘｅの幅に合わせて拡大／縮小表示する（ステップＢ２９）。以上によりＶＤコマンド処理を終了する。
【０１０６】
こうして、コマンドコード「ＶＤ」に応じてＶＤコマンド処理を実行することで、タイムコードファイル１２ｃ３に表示タイミングと関連付けて記述されたコマンドコード「ＨＬ」をもとにして、各表示単位（単語）のテキストをそれぞれの表示タイミング（ハイライト表示）に合わせた配置によって表示させることができる。
【０１０７】
次に、タイムコードファイル１２ｃ３に記述された第３〜第８コマンドコード（３つのテキスト２〜４に対応する「ＬＴ」「ＶＤ」コマンドコードの組み）が前述と同様にして実行されると（詳細な説明を省略する）、４つのテキストがそれぞれＶＤコマンド処理によって配置が変更されて表示される。
【０１０８】
図１１（Ａ）には、ＶＤコマンド処理によって決定される、テキストデータ中の各単語に対して決定されたテキスト表示フレームＸ中の配置を表している。図１１（Ａ）に示すように、例えば第１行目のテキスト中の「ｓｃｈｏｏｌ」「ｇｏ」、第２行目の「Ｈｉｇａｓｈｉ」などのポイントなる単語が、発言のタイミングに応じた間隔をもった配置によって表示されている。通常、テキストを読み上げる音声において、ポイントとなる単語については、強くかつ時間をかけてゆっくり発言される傾向があるため、これらの単語の配置がゆっくり読み上げられることを明示するように、他の単語よりも広い間隔（及び文字サイズ）をもって表示されている。図１２（Ｂ）は携帯機器１０の表示部１８によって表示される画面の一例を示している。
【０１０９】
テキスト中の各単語に対するコマンドコード「ＨＬ」を、テキストを読み上げた際の単語の発声タイミングに合わせた順番（コマンドコードの記述位置）で記述しておくことにより、図１１（Ａ）に示すように、それぞれの単語を発言タイミングに合わせた配置により表示させることができる。
【０１１０】
図１１に示す第１行目のテキスト「Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ ｄｏ ｙｏｕ ｇｏ ｔｏ？」に対しては、通常のテキスト表示をした場合には、例えば図１２（Ａ）に示すように各単語が同じフォントによって表示されるが、音声幅文字表示を実行することで、図１２（Ｂ）に示すように、各単語の幅が拡大／縮小されて配置される。
【０１１１】
なお、前述した説明では、単語のフォントに対して拡大／縮小して表示するものとしているが、例えば図１１（Ｃ）に示すような、配置を用いることも可能である。
【０１１２】
図１１（Ｃ）では、テキスト中の各文字の表示位置を変更して配置するもので、前述したＶＤコマンド処理のステップＢ１７において、処理対象とする文字列（単語）に対して求められた表示幅に、単語の各文字の表示位置をフォントを変更しないで、文字間のスペース幅を均等に割り当てることで配置する。
【０１１３】
図１１（Ｃ）に示すテキストの配置の場合においても、各単語における文字間隔から、テキストを読み上げる場合などの音声出力（発声）のタイミングを容易に把握できる。
【０１１４】
さらに、前述した説明では、タイムコードファイル１２ｃ３に記述されたコマンドコード「ＨＬ」から、各単語に対する表示タイミングしか得られないが、各単語（さらには各文字）に対する強弱、音の高低（イントネーション）を表すコマンドコード（あるいはパラメータデータ）を記述しておくことで、これらのデータをもとに強弱や音の高低を表すようにテキスト（文字）を配置して表示させることもできる。
【０１１５】
図１２（Ｃ）には、単語の発声タイミングだけでなく、高低を表すようにテキストが表示された表示例を示している。図１２（Ｃ）に示す例では、単語「ｗｈａｔ」「ｇｏ」に対して、音が高いことを表すデータがタイムコードファイル１２ｃ３に記述されていたことから、他の単語の表示位置よりも高い位置で各単語を表示させている。この場合、高低のレベルについても記述可能であれば、そのレベルに応じた高さに各単語を表示することで、文章全体のテキストによって比較的滑らかなイントネーションを表現することもできる。
【０１１６】
次に、第３８コマンドコード「ＤＩ」（ｉ番目イメージファイル表示）およびそのパラメータデータ「０１」が読み出されると、図９（Ｃ）のフローチャートに示すＤＩコマンド処理がコールされて実行される。
【０１１７】
まず、ファイルシーケンステーブル１２ｃ２から画像番号ｉのＩＤ番号を読み出し（ステップＥ１）、指定ＩＤのコンテンツ（イメージデータ）を表示部１８の画像表示フレームＹ内に表示する（ステップＥ２）。ここでは、画像番号「０１」のＩＤ番号「５」に対応するイメージデータ（画像１）が読み出されて画像表示フレームＹにおいて表示される。
【０１１８】
次に、第３９コマンドコード「ＰＳ」（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ「０１」が読み出されると、図９（Ｄ）のフローチャートに示すＰＳコマンド処理がコールされて実行される。
【０１１９】
まず、ファイルシーケンステーブル１２ｃ２から音声番号ｉのＩＤ番号を読み出し（ステップＦ１）、指定ＩＤのコンテンツ（音声データ）を音声出力部１９ｂから再生出力する（ステップＦ２）。ここでは、音声番号「０１」のＩＤ番号「３０」に対応する音声データ（音声１）が読み出されて出力される。
【０１２０】
次に、第４０コマンドコード「ＨＬ」（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ「０５」が読み出されると、図９（Ｂ）のフローチャートに示すＨＬコマンド処理がコールされて実行される。
【０１２１】
まず、ＶＤコマンド処理によって表示されているテキストに対して、パラメータデータが示すｉ番目までハイライト表示し（ステップＤ１）、文字カウンタをｉ番目の文字までカウントアップ（ステップＦ２）。ここでは、パラメータデータが「０５」であるので５文字目（テキスト１については「Ｗｈａｔ 」（１文字分のスペース有り））までをハイライト表示する。
【０１２２】
次に、第６４コマンドコード「ＨＬ」およびそのパラメータデータ「１０」が読み出されると、前述と同様にして、ＶＤコマンド処理によって表示されているテキストに対して、パラメータデータが示す１０番目までハイライト表示し（ステップＤ１）、文字カウンタを１０番目の文字までカウントアップ（ステップＦ２）。ここでは、テキスト１の「ｈｉｇｈ 」（１文字分のスペース有り））までをハイライト表示する。
【０１２３】
以下、同様にして、第８８コマンドコード「ＨＬ」（パラメータデータ「１７」）、第１３６コマンドコード「ＨＬ」（パラメータデータ「２０」）、第１４８コマンドコード「ＨＬ」（パラメータデータ「２４」）、第１６４コマンドコード「ＨＬ」（パラメータデータ「２７」）、第１８８コマンドコード「ＨＬ」（パラメータデータ「３１」）などがそれぞれの処理時間において実行される。
【０１２４】
この結果、テキスト１の各単語が時間の経過に伴って、コマンドコード「ＨＬ」がタイムコードファイル１２ｃ３に記述されたタイミングで順次ハイライト表示される。
【０１２５】
図１３（Ａ）は、第８８コマンドコード「ＨＬ」が実行された時のテキストに対してハイライト表示された画面を示す図である。図１３（Ａ）では、１７文字目までのテキスト「Ｗｈａｔ ｈｉｇｈ ｓｃｈｏｏｌ」がハイライト表示されている。以下、同様にして、図１３（Ｂ）〜（Ｄ）は、それぞれに対応してタイムコードファイル１２ｃ３に記述されたコマンドコード「ＨＬ」が実行された時の、テキストに対してハイライト表示された画面を示す図である。
【０１２６】
なお、図１３（Ａ）〜（Ｄ）では、テキストに対してハイライト表示させる例を示しているが、他の表示形態によってテキスト表示を変更するようにしても良い。図１４（Ａ）〜（Ｄ）には、他の表示形態としてテキストに対してアンダーラインを付加した例を示している。図１４（Ａ）〜（Ｄ）に示す表示形態を用いる場合、前述したＨＬコマンド処理において、ステップＤ１のハイライト表示に代えてアンダーライン表示を実行すれば良い。また、図１３では、ハイライト表示した部分についてはそのままハイライト表示の状態を継続しているが、図１４に示すように、音声の読み上げの対象としている文（あるい行）のみに対して表示形態を変更（アンダーライン付加）した状態を継続するようにしても良い。なお、アンダーラインを付加する表示形態以外を用いることも可能である。
【０１２７】
このようにして、タイムコードファイル１２ｃ３に記述されたコマンドコードに応じた処理を、それぞれが記述された順に処理単位時間１２ｃ１ａに応じた時間の経過と共に順次実行することで、コマンドコード「ＶＤ」によるテキスト表示、コマンドコード「ＤＩ」による画像表示、コマンドコード「ＰＳ」による音声出力により、複数の異なるデータを同期して出力することができる。この際、コマンドコード「ＨＬ」が同期出力される音声の内容に応じて記述されていれば、例えば音声中の単語が発声された時に該当する単語がハイライト表示されるようにコマンドが記述されていれば、ＶＤコマンド処理において、コマンドコード「ＨＬ」を利用してテキスト中の単語の配置を変更することで、発声される音声の特徴（各単語を読み上げる時間など）を表現したテキスト表示を実現することができる。
【０１２８】
なお、前述した説明では、表示されるテキストの表示形態（ハイライト、アンダーライン付加など）を変更する場合、タイムコードファイル１２ｃ３に記述されたコマンドコード（「ＨＬ」など）を用いて単語単位で行っているが、タイムコードファイル１２ｃ３に従うとは別の処理によって表示形態を変更するようにしても良い。
【０１２９】
図１５は、テキストに対する表示形態を変更する表示形態変更処理について説明するフローチャートである。
【０１３０】
携帯機器１０は、タイムコードファイル１２ｃ３に記述されたコマンドコードに従ってテキストを表示すると共に、表示形態変更処理を実行することでテキストの表示形態を変更する。ここでは、テキストに対してアンダーラインを付加する表示形態変更の例を示す。
【０１３１】
まず、表示形態変更処理では、音声スタートと音声エンドのタイミングを取得する（ステップＧ１，Ｇ２）。例えば、音声スタートのタイミングは、タイムコードファイル１２ｃ３に記述されたコマンドコード「ＰＳ」の記述位置（コマンド番号）をもとに求めることができる。また、音声エンドのタイミングは、コマンドコード「ＨＬ」の記述位置（コマンド番号）をもとに求めることができる。
【０１３２】
次に、音声スタートと音声エンドのタイミングから求まる音声出力の時間と、対応するテキストの表示画面中における表示幅をもとに、単位時間当たりの表示形態変更の対象とする表示幅、例えばアンダーラインを付加していく表示幅を算出する（ステップＧ３）。
【０１３３】
そして、音声出力のスタートと同時に、この出力される音声対応するテキストに対して、算出した表示幅毎に単位時間毎の時間経過に従い表示形態を順次変更していく。すなわち、アンダーラインをテキストに付加していく（ステップＧ４、Ｇ５）。
【０１３４】
図１６（Ａ）〜（Ｂ）には、図１５に示す表示形態変更処理によって表示されるテキストの表示例を示している。図１６（Ａ）〜（Ｂ）は、一定時間が経過した毎の表示画面を示している。
【０１３５】
図１５に示す表示形態変更処理を実行することにより、タイムコードファイル１２ｃ３に従って表示されるテキストに対してアンダーラインを付加すると、時間の経過に従って一定にアンダーラインが順次付加されていく。
【０１３６】
タイムコードファイル１２ｃ３に従うテキストの表示形態の変更では、テキストの所定単位（単語）で表示形態が変更されていくが、図１５に示す表示形態変更処理であれば、テキストと音声を同期して再生した場合に、テキストを読み上げる音声が終了した時点でテキストの最後まで表示形態が変更されることになる。従って、テキストに対する表示形態の変更の様子からも、テキスト全体に渡る音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【０１３７】
なお、テキストと同期して出力される音声の出力時間が例えば音声データと共に記録されており、この時間情報を取得することができる場合には、この時間情報をもとにして表示変更処理における単位時間当たりの表示形態を変更する表示時幅を算出することも可能である。この場合、音声の出力時間とテキストの全体の表示幅との比をもとにして、単位時間あたりの表示幅を算出すれば良い（ステップＧ３）。
【０１３８】
このようにして、タイムコードファイル１２ｃ３に従わない表示形態変更処理を実行することによっても、テキスト中の各単語（表示単位）がそれぞれの表示タイミングに合わせて配置されているため、テキストを先頭部分から時間経過と共に所定の表示形態に変更することで、例えばテキストの内容を読み上げる音声のタイミングと表示形態が変更されるテキスト部分とが一致し、音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【０１３９】
なお、前記実施形態において記載した携帯機器１０による各処理の手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記録されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、実施形態において説明したテキスト、音声、画像の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１４０】
また、各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した各実施形態のテキスト、音声、画像の同期再生機能を実現することもできる。
【０１４１】
なお、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１４２】
【発明の効果】
以上のように、本発明の請求項１に係る情報出力装置によれば、テキストを表示出力する情報出力装置において、テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段とを有しているので、テキストデータの表示単位に対して決められた表示タイミングに合わせて、表示単位でテキストの配置が変更されるため、テキストを読み上げる場合などの音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【０１４３】
また、本発明の請求項２に係る情報出力装置によれば、前記表示制御手段は、第１の表示単位のテキストの配置を、前記第１の表示単位に対応する表示タイミングと、前記第１の表示単位のテキストの次に配置される第２の表示単位に対する表示タイミングとの時間差に基づいて決定するので、情報記録手段にテキストデータの各表示単位を表示タイミングの情報と関連付けて記録しておくことで、各表示単位に対する表示タイミングの時間差からテキストの配置を決定することができる。
【０１４４】
また、本発明の請求項３に係る情報出力装置によれば、前記表示制御手段は、テキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率をもとに、前記時間差に対する前記第１の表示単位のテキストを配置する表示幅を算出する表示幅算出手段と、前記表示幅算出手段によって算出された表示幅をもとに、前記第１の表示単位のテキストに含まれる各文字の配置を決定する配置決定手段とを有するので、テキストが表示される表示画面の表示サイズと各表示単位に対する表示タイミングとが関連付けられ、表示画面中に各表示単位のテキストを表示タイミングに合わせて配置することができる。
【０１４５】
また、本発明の請求項４に係る情報出力装置によれば、前記情報記録手段に表示タイミングを示す情報と表示単位で関連付けられたテキストデータを読み上げる音声の音声データを記録する音声記録手段と、前記音声記録手段に記録された音声データをもとに、前記表示制御手段によって表示されるテキストと同期して音声を出力する音声出力手段とを有しているので、テキストが表示されると共に、このテキストの内容を読み上げる音声が同時に出力されるので、テキストの内容を音声を関連付けて把握することができる。
【０１４６】
また、本発明の請求項５に係る情報出力装置によれば、前記音声出力手段によって出力される音声と同期して、前記表示制御手段によって表示されるテキストを所定の表示形態に変更する第１の表示形態変更手段を有しているので、表示されるテキスト中の音声中で読み上げられる表示単位部分が他と異なる形態で表示されることにより、テキストの内容を音声をより明瞭に関連付けて把握することができる。
【０１４７】
また、本発明の請求項６に係る情報出力装置によれば、前記第１の表示形態変更手段は、前記表示制御手段によって表示されるテキストを、前記表示単位毎に所定の表示形態に変更するので、表示単位毎に表示形態が変更されるので、音声と表示単位のテキストとの関連付けを容易に把握できる。
【０１４８】
また、本発明の請求項７に係る情報出力装置によれば、前記表示制御手段により表示されるテキストに対して、先頭部分から時間経過と共に所定の表示形態に変更する第２の表示形態変更手段を有しているので、各表示単位のテキストがそれぞれの表示タイミングに合わせて配置されているため、テキストを先頭部分から時間経過と共に所定の表示形態に変更することで、例えばテキストを読み上げる場合などの音声出力（発声）のタイミングと表示形態が変更されるテキスト部分とが一致するので、音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【０１４９】
また、本発明の請求項８に係る情報出力装置によれば、前記表示制御手段は、前記表示単位のテキストを、同テキスト中の各文字のフォントを変更して配置するので、テキスト中の各文字のフォントを、例えば拡大／縮小（横方向、縦方向）処理することで配置を変更することができる。
【０１５０】
また、本発明の請求項９に係る情報出力装置によれば、前記表示制御単位は、前記表示単位のテキストを、同テキスト中の各文字の表示位置を変更して配置するので、テキストの各文字の表示位置を、例えば単語間、文字間のスペース幅を変更することで配置することができる。
【０１５１】
また、本発明の請求項１０に係る情報出力プログラムによれば、このプログラムをコンピュータにインストールすることで、テキストを表示出力するコンピュータを、テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段とに機能させる。
【０１５２】
これによれば、コンピュータは、テキストデータの表示単位（例えば単語）に対して決められた表示タイミングに合わせて、表示単位でテキストの配置を変更するので、例えばテキストを読み上げる場合などの音声出力（発声）のタイミングがテキスト表示から容易に把握できるようになる。
【図面の簡単な説明】
【図１】本発明の情報出力装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図。
【図３】携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図。
【図４】携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図。
【図５】タイムコードファイル１２ｃ３にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび命令内容を対応付けて示す図。
【図６】同期コンテンツ再生処理プログラム１２ａ１に従った再生処理を示すフローチャート。
【図７】再生処理に伴うＶＤコマンド処理を示すフローチャート。
【図８】再生処理に伴うＶＤコマンド処理を示すフローチャート。
【図９】再生処理に伴うＬＴコマンド処理、ＨＬコマンド処理、ＤＩコマンド処理、ＰＳコマンド処理を示すフローチャート。
【図１０】再生処理に伴う学習内容／文字表示モードの選択操作・表示状態を示す図。
【図１１】図２に示すコンテンツ内容データ１２ｃ４に基づく再生処理によって表示される画面の一例を示す図。
【図１２】テキストの表示形態の詳細を説明するための図。
【図１３】コマンドコード「ＨＬ」が実行された時のテキストに対してハイライト表示された画面を示す図。
【図１４】コマンドコード「ＨＬ」が実行された時のテキストに対してアンダーライン付加表示された画面を示す図。
【図１５】表示形態変更処理を示すフローチャート。
【図１６】表示形態変更処理によって表示されるテキストの表示例を示す図。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２ａ…携帯機器制御プログラム
１２ａ１…同期コンテンツ再生処理プログラム
１２Ｂ…ＦＬＡＳＨメモリ
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２Ｃ…ＲＡＭ
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｃ１…ヘッダ情報
１２ｃ１ａ…処理単位時間
１２ｃ２…ファイルシーケンステーブル
１２ｃ３…タイムコードファイル
１２ｃ４…コンテンツ内容データ
１２ｄ…学習内容選択データ
１２ｅ…文字表示モードデータ
１２ｆ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …サーバ
Ｎ …ネットワーク（インターネット）
Ｘ …テキスト表示フレーム
Ｙ …画像表示フレーム

Claims (10)

1. テキストを表示出力する情報出力装置において、
   テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、
   前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段と
   を具備したことを特徴とする情報出力装置。
2. 前記表示制御手段は、
   第１の表示単位のテキストの配置を、前記第１の表示単位に対応する表示タイミングと、前記第１の表示単位のテキストの次に配置される第２の表示単位に対する表示タイミングとの時間差に基づいて決定することを特徴とする請求項１記載の情報出力装置。
3. 前記表示制御手段は、
   テキストを表示する表示画面中の表示サイズと同表示サイズに対して決められる時間との比率をもとに、前記時間差に対する前記第１の表示単位のテキストを配置する表示幅を算出する表示幅算出手段と、
   前記表示幅算出手段によって算出された表示幅をもとに、前記第１の表示単位のテキストに含まれる各文字の配置を決定する配置決定手段と
   を具備したことを特徴とする請求項２記載の情報出力装置。
4. 前記情報記録手段に表示タイミングを示す情報と表示単位で関連付けられたテキストデータを読み上げる音声の音声データを記録する音声記録手段と、
   前記音声記録手段に記録された音声データをもとに、前記表示制御手段によって表示されるテキストと同期して音声を出力する音声出力手段と
   を具備したことを特徴とする請求項１記載の情報出力装置。
5. 前記音声出力手段によって出力される音声と同期して、前記表示制御手段によって表示されるテキストを所定の表示形態に変更する第１の表示形態変更手段を具備したことを特徴とする請求項４記載の情報出力装置。
6. 前記第１の表示形態変更手段は、前記表示制御手段によって表示されるテキストを、前記表示単位毎に所定の表示形態に変更することを特徴とする請求項５記載の情報出力装置。
7. 前記表示制御手段により表示されるテキストに対して、先頭部分から時間経過と共に所定の表示形態に変更する第２の表示形態変更手段を具備したことを特徴とする請求項１記載の情報出力装置。
8. 前記表示制御手段は、前記表示単位のテキストを、同テキスト中の各文字のフォントを変更して配置することを特徴とする請求項１記載の情報出力装置。
9. 前記表示制御単位は、前記表示単位のテキストを、同テキスト中の各文字の表示位置を変更して配置することを特徴とする請求項１記載の情報出力装置。
10. テキストを表示出力するコンピュータを、
    テキストデータの表示単位を、それぞれの表示タイミングを示す情報と関連付けて記録する情報記録手段と、
    前記情報記録手段に記録された各表示単位の表示タイミングを示す情報に基づいて、各表示単位のテキストをそれぞれの表示タイミングに合わせた配置によって表示させる表示制御手段とに機能させるための情報出力プログラム。

Images