JP2004064206A

JP2004064206A - Reproduction controller and reproduction control processing program

Info

Publication number: JP2004064206A
Application number: JP2002216585A
Authority: JP
Inventors: Koji Toriyama; 鳥山　康治; Toshihisa Nakamura; 中村　利久; Ken Yoshino; 吉野　研; Yuji Tanaka; 田中　裕二
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-07-25
Filing date: 2002-07-25
Publication date: 2004-02-26
Anticipated expiration: 2022-07-25
Also published as: JP3794355B2

Abstract

<P>PROBLEM TO BE SOLVED: To execute a synchronous reproduction of various kinds of files with a small load on a CPU in a reproduction controller for reproducing files of audios, images, texts, etc. <P>SOLUTION: According to a reproduction process program 12a stored previously in a ROM 12A, the reproduction controller reads command codes arranged in a time code file 12c3 and parameter data thereof at unit time intervals (25 ms/50 ms) in a command process described previously in a reproducing file 12b (12c) and then only indicates a process corresponding to the command, thereby executing a synchronous reproduction process of texts/images/audio files, etc. corresponding to each command described in the time code file 12c3. Thus the synchronous reproduction of various kinds of files is executed with a very small load on a CPU 11. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、音声，画像，テキストなどのファイルを再生するための再生制御装置および再生制御処理プログラムに関する。
【０００２】
【従来の技術】
従来、音楽，画像，テキストなどのファイルを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００４】
このため、例えばＭＰ３音声ファイルにテキストファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声ファイルとして音声再生処理を継続的に行っていないと同期対象ファイルの再生を行うことが出来ない問題がある。
【０００５】
従って、従来この複数種類ファイルの同期再生処理は、ＭＰ３ファイルの再生処理をベースとして行われるため、再生装置のＣＰＵにおける処理の負荷が重くなる問題がある。
【０００６】
本発明は、前記のような問題に鑑みてなされたもので、複数種類のファイルの同期再生を少ないＣＰＵの負荷で行うことが可能になる再生制御装置および再生制御処理プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
すなわち、本発明に係る再生制御装置は、複数種類のファイルの再生命令を予め定められた基準時間間隔毎に順次配列して記憶する再生情報記憶手段と、複数種類のファイルを記憶するファイル記憶手段と、時間を計時する計時手段と、この計時手段により計時された時間に基づき、前記再生情報記憶手段により予め定められた基準時間間隔毎に記憶されたファイルの再生命令に応じて、前記ファイル記憶手段により記憶された複数種類のファイルの再生処理を行わせる再生制御手段と、を備えたことを特徴とする。
【０００８】
このような、本発明に係る再生制御装置では、複数種類のファイルの再生命令を予め定められた基準時間間隔毎に順次配列して記憶する再生情報記憶手段と、複数種類のファイルを記憶するファイル記憶手段を有し、計時手段により計時された時間に基づいて、前記再生情報記憶手段により予め定められた基準時間間隔毎に記憶されたファイルの再生命令に応じて、前記ファイル記憶手段により記憶された複数種類のファイルの再生処理が行われる。
【０００９】
これにより、予め定められた基準時間間隔毎に、再生情報記憶手段により記憶されたファイルの再生命令に応じて、ファイル記憶手段により記憶された再生対象ファイルの再生処理の指示を行うだけで、複数種類のファイルの同期再生処理を容易に行うことができることになる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００１１】
図１は本発明の再生制御装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００１２】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ　ｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）１１が備えられる。
【００１３】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、キーやタッチパネルからなる入力部１７からのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ　ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００１４】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７が接続される他に、ＬＣＤからなる表示部１８、スピーカを備え音声を出力する音声出力部１９などが接続される。
【００１５】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００１６】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００１７】
ＲＯＭ１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生処理プログラム１２ａなど、種々のＰＤＡ制御プログラムが記憶される。
【００１８】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記再生処理プログラム１２ａに基づき再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００１９】
ここで、前記ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英会話の練習やカラオケをテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００２０】
この暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０から配信配布されたりするもので、前記ＣＤ−ＲＯＭあるいはネットサーバ（３０）により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂに転送格納される。
【００２１】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｅが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２ｃ１ａ）を記憶するヘッダ情報（１２ｃ１）、および後述するファイルシーケンステーブル（１２ｃ２）、タイムコードファイル（１２ｃ３）、コンテンツ内容データ（１２ｃ４）で構成される。そして、ＲＡＭ１２Ｃには、この画像展開バッファ１２ｅに展開されて記憶された画像ファイルそれぞれの展開済の画像番号を示す画像展開済フラグ１２ｄが記憶される。
【００２２】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００２３】
図２は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図である。
【００２４】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図である。
【００２５】
図４は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図である。
【００２６】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図２〜図４で示すように、タイムコードファイル１２ｃ３とファイルシーケンステーブル１２ｃ２とコンテンツ内容データ１２ｃ４との組み合わせにより構成される。
【００２７】
図２で示すタイムコードファイル１２ｃ３には、個々のファイル毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図４参照）を対応付けするためのファイルシーケンステーブル１２ｃ２（図３）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００２８】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃ３のヘッダ情報１２ｃ１に処理単位時間１２ｃ１ａとして記述設定される。
【００２９】
図３で示すファイルシーケンステーブル１２ｃ２は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２ｃ３（図２参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００３０】
図４で示すコンテンツ内容データ１２ｃ４は、前記ファイルシーケンステーブル１２ｃ２（図３参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００３１】
図５は前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２ａに基づき解析処理される命令内容を対応付けて示す図である。
【００３２】
タイムコードファイル１２ｃ３に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがあり、拡張コマンドには、ＭＩ（ｉ番目位置にイメージファイル移動）．ＳＩ（ｉ番目サイズにイメージファイル拡大）．ＢＳ（サウンドファイル音量ｉ）．ＳＳ（サウンドファイルスピードｉ）の各コマンドがある。
【００３３】
図６は前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される拡張コマンドに伴うイメージファイルの位置移動形態およびサイズ変更形態を示す図であり、同図（Ａ）は拡張コマンドＭＩに伴うイメージファイルの移動位置を規定する図、同図（Ｂ）は拡張コマンドＳＩに伴うイメージファイルの変更サイズを規定する図である。
【００３４】
例えば拡張コマンドＭＩのパラメータデータ（ｉ＝１）である場合には、イメージファイルは画像表示エリアの左上に移動表示され、パラメータデータ（ｉ＝９）である場合には右下に移動表示される。
【００３５】
また、例えば拡張コマンドＳＩのパラメータデータ（ｉ＝１）である場合には、イメージファイルは標準サイズで表示され、パラメータデータ（ｉ＝２）である場合には２倍サイズで、（ｉ＝３）である場合には３倍サイズでサイズ変更表示される。
【００３６】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている再生処理プログラム１２ａを起動させて、ＦＬＡＳＨメモリ１２Ｂから解読されＲＡＭ１２ｃに記憶された解読再生用ファイル１２ｃが、例えば図２乃至図４で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０１からファイルシーケンステーブル１２ｃ２（図３参照）にリンク付けられる画像ファイルのＩＤ番号＝６に従い、コンテンツ内容データ１２ｃ４（図４参照）の画像Ａが読み出されて表示される。
【００３７】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００３８】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００３９】
なお、この図２乃至図４で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００４０】
図７は前記携帯機器１０のＦＬＡＳＨメモリ１２Ｂに格納される暗号化再生用ファイル１２ｂの各種ファイル格納状態を示す図である。
【００４１】
暗号化再生用ファイル１２ｂには、ＨＴＭＬファイル、Ｉｍａｇｅ（画像）ファイル、Ｔｅｘｔ（テキスト）ファイル、Ｓｏｕｎｄ（音声）ファイルの各種のファイルが纏めて格納され、この暗号化再生用ファイル１２ｂが伸張・復号化されて解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに格納され出力され、前記再生処理プログラム１２ａによるタイムコードファイル１２ｃ３（図２参照）の読み込み・コマンド解析に従って、当該各種ファイルの同期再生処理が実行される。
【００４２】
そして、この暗号化再生用ファイル１２ｂは、第１のファイル１２ｂ１（１２ｂ１ｈ，１２ｂ１ｉ，１２ｂ１ｔ，１２ｂ１ｓ）に属する第２のファイル１２ｂ２（１２ｂ２ｈ，１２ｂ２ｉ，１２ｂ２ｔ，１２ｂ２ｓ）との並列的な組み合わせによりさらに多様なファイルの同期再生処理も実行可能である。
【００４３】
次に、前記構成の携帯機器１０によるファイル再生機能について説明する。
【００４４】
図８は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理を示すフローチャートである。
【００４５】
例えば英語の勉強が音声とテキストと画像で行える英語教材再生ファイルやカラオケが音声とテキストと画像で行えるカラオケファイルなどを、ＣＤ−ＲＯＭや通信ネットワーク（インターネット）Ｎ上のサーバ３０から自宅ＰＣである通信機器（ＰＣ）２０に取り込み、携帯機器（ＰＤＡ）１０の通信部１６を介して当該再生用ファイル（ＣＡＳファイル）１２ｂがＦＬＡＳＨメモリ１２Ｂに格納された状態において、入力部１７の操作によりこの再生用ファイル１２ｂの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【００４６】
そして、前記ＦＬＡＳＨメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ２）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ３）。
【００４７】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ３→Ｓ４）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ５）。
【００４８】
すると、このＲＡＭ１２Ｃに格納された解読済の再生用ファイル（ＣＡＳファイル）１２ｃのヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ／５０ｍｓ／…）が、ＣＰＵ１１による当該解読済再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ６）。
【００４９】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ７）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ８）。
【００５０】
ここで、図９における先読み処理が当該再生処理に並行して起動される（ステップＳ９）。この先読み処理については後述にてその詳細処理を説明する。
【００５１】
前記ステップＳ８において、処理タイマがスタートされると、前記ステップＳ６にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間毎に、前記ステップＳ７にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２ｃ３（図２参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１０）。
【００５２】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１１）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１１→Ｓ１２）。
【００５３】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＰ”か否か判断され（ステップＳ１１→Ｓ１３）、“ＰＰ”と判断された場合には、その時点で当該ファイル再生処理の一時停止処理（処理タイマストップ）が指示実行される（ステップＳ１３→Ｓ１４）。この停止処理は、ユーザのマニュアル操作に応じてｉ秒間の停止及び停止解除が行われる。
【００５４】
ここで、入力部１７におけるユーザ操作に基づき一時停止解除の入力が為された場合には、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断される（ステップＳ１５→Ｓ１６）。
【００５５】
一方、前記ステップＳ１３において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＰＰ”ではないと判断された場合には、図１０における他のコマンド処理へ移行される（ステップＳＡ）。この他のコマンド処理については後述にてその詳細処理を説明する。
【００５６】
そして、ステップＳ１６において、前記タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１６→Ｓ１７）、前記ステップＳ１０における当該読み出しポインタの位置のタイムコードファイル１２ｃ３（図２参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１７→Ｓ１０〜Ｓ１６）。
【００５７】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された再生処理プログラムに従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２ｃ３（図２参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ３に記述された各コマンドに応じた各種ファイルの同期再生処理が実行される。
【００５８】
図９は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴い並列起動される先読み処理を示すフローチャートである。
【００５９】
前記再生用ファイル１２ｃの再生処理に伴いこの先読み処理が並列起動されると、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃのタイムコードファイル１２ｃ３（図２参照）に対する読み出しポインタの現在位置が確認され（ステップＲ１）、この現在のポインタ位置より後にあるコマンドコード“ＤＩ”（画像ファイル表示命令）がサーチされる（ステップＲ２）。
【００６０】
そして、前記タイムコードファイル１２ｃ３（図２参照）における現在の読み出しポインタのセット位置よりも後に“ＤＩ”コマンドがサーチされた場合には（ステップＲ３）、当該“ＤＩ”コマンドのパラメータデータに基づき指定されている画像ＩＤ番号の画像ファイルが、画像展開バッファ１２ｅに対して展開済であるか否か、つまり直ちに表示出力可能な状態に設定されているか否かが、該当画像ＩＤ番号の画像展開済フラグ１２ｄの有無に基づき判断される（ステップＲ４）。
【００６１】
そして、タイムコードファイル１２ｃ３（図２参照）における現在の読み出しポインタの位置よりも後のコマンドコードして、“ＤＩ”コマンドがサーチされ、しかも当該“ＤＩ”コマンドのパラメータデータに基づき指定されている画像ＩＤ番号の画像ファイルが、画像展開バッファ１２ｅに対して展開済みでないと判断された場合には、該指定の画像ＩＤ番号の画像ファイルがコンテンツ内容データ１２ｃ４（図４参照）から読み出され、画像展開バッファ１２ｅに対して予め展開される（ステップＲ３→Ｒ４→Ｒ５）。
【００６２】
つまり、再生用ファイル１２ｃのタイムコードファイル１２ｃ３（図２参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示でるようになる。
【００６３】
図１０は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理を示すフローチャートである。
【００６４】
図１１は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理それぞれの処理内容を示すフローチャートである。
【００６５】
この他のコマンド処理において、前記再生用ファイル１２ｃにおける読み出しポインタに従いタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが“ＮＰ”と判断された場合には、無効処理が指定され現状のファイル出力状態がそのまま維持される（ステップＡ１→ＥＮＤ（Ｓ１６））。
【００６６】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＬＴ”と判断された場合には、図１１（Ａ）におけるＬＴ処理に移行される（ステップＡ２→ＡＢ）。
【００６７】
このＬＴ処理（ｉ番目テキストロード）では、当該コマンドコードＬＴと共に読み出されたパラメータデータをテキスト番号ｉとして、解読された再生用ファイル１２ｃのシーケンスファイルテーブル（図３参照）から該テキスト番号ｉのＩＤ番号が読み出される（ステップＢ１）。
【００６８】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されるテキストデータのＲＡＭ１２Ｃのワークエリアに対するロードが指示される（ステップＢ２）。
【００６９】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＶＤ”と判断された場合には、図１１（Ｂ）におけるＶＤ処理に移行される（ステップＡ３→ＡＣ）。
【００７０】
このＶＤ処理（ｉ番目テキスト文節表示）では、前記ＲＡＭ１２Ｃのワークエリアにロードされたｉ番目のテキストデータを、ＨＴＭＬファイルで設定したテキストフレーム内に表示する指示が行われる（ステップＣ１）。
【００７１】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＢＬ”と判断された場合には、図１１（Ｃ）におけるＢＬ処理に移行される（ステップＡ４→ＡＤ）。
【００７２】
このＢＬ処理（文字カウンタリセット・ｉ番目文節ブロック指定）では、まず前記ＲＡＭ１２Ｃのワークエリアにロードされたテキストデータに対する文字カウンタがリセットされる（ステップＤ１）。
【００７３】
そして、当該コマンドコードＢＬと共に読み出されたパラメータデータ（ｉ）に応じて、テキストデータのｉ番目の文節ブロックが指定される（ステップＤ２）。
【００７４】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＨＮ”と判断された場合には、図１１（Ｄ）におけるＨＮ処理に移行される（ステップＡ５→ＡＥ）。
【００７５】
このＨＮ処理（ハイライト無し・文字カウンタカウントアップ）では、テキストデータに対する文字カウンタを１カウントアップする指示が行われる（ステップＥ１）。
【００７６】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＨＬ”と判断された場合には、図１１（Ｅ）におけるＨＬ処理に移行される（ステップＡ６→ステップＡＦ）。
【００７７】
このＨＬ処理（ｉ番目文字までハイライト・文字カウント）では、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ）に応じて、テキストデータのｉ番目の文字までハイライト表示する指示が行われる（ステップＦ１）。
【００７８】
そして、文字カウンタをｉ番目の文字までカウントアップする指示が行われる（ステップＦ２）。
【００７９】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＬＳ”と判断された場合には、図１１（Ｆ）におけるＬＳ処理に移行される（ステップＡ７→ステップＡＧ）。
【００８０】
このＬＳ処理（１行スクロール・文字カウンタカウントアップ）では、表示中のテキストデータに対する１行スクロールの指示が行われると共に（ステップＧ１）、文字カウンタを１カウントアップする指示が行われる（ステップＧ２）。
【００８１】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＤＨ”と判断された場合には、図１１（Ｇ）におけるＤＨ処理に移行される（ステップＡ８→ステップＡＨ）。
【００８２】
このＤＨ処理（ｉ番目ＨＴＭＬファイル表示）では、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からＨＴＭＬ番号ｉのＩＤ番号が読み出される（ステップＨ１）。
【００８３】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されるＨＴＭＬデータの表示部に対する画像表示フレームやテキスト表示フレームの設定が指示される（ステップＨ２）。
【００８４】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＤＩ”と判断された場合には、図１１（Ｈ）におけるＤＩ処理に移行される（ステップＡ９→ステップＡＩ）。
【００８５】
このＤＩ処理（ｉ番目イメージファイル表示）では、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から画像番号ｉのＩＤ番号が読み出される（ステップＩ１）。
【００８６】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データを前記ＨＴＭＬファイルで設定された画像表示フレーム内に表示する指示が行われる（ステップＩ２）。
【００８７】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＰＳ”と判断された場合には、図１１（Ｉ）におけるＰＳ処理に移行される（ステップＡ１０→ステップＡＪ）。
【００８８】
このＰＳ処理（ｉ番目サウンドファイルプレイ）では、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から音声番号ｉのＩＤ番号が読み出される（ステップＪ１）。
【００８９】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された音声データを音声出力部１９から出力する指示が行われる（ステップＪ２）。
【００９０】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＣＳ”と判断された場合には、図１１（Ｊ）におけるＣＳ処理に移行される（ステップＡ１１→ＡＫ）。
【００９１】
このＣＳ処理（クリアオールファイル）では、出力中の全ファイルをクリアする指示が行われる（ステップＫ１）。
【００９２】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＭＩ”“ＳＩ”“ＢＳ”“ＳＳ”あるいはその他のコマンドのいずれかであると判断された場合には、図１２における拡張コマンド処理に移行される（ステップＡ１１→ＡＬ）。
【００９３】
図１２は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う拡張コマンド処理を示すフローチャートである。
【００９４】
図１３は前記携帯機器１０の再生処理プログラムに従った再生処理に伴う拡張コマンド処理それぞれの処理内容を示すフローチャートである。
【００９５】
タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＭＩ”と判断された場合には、図１３（Ａ）におけるＭＩ処理に移行される（ステップＬ１→ＬＭ）。
【００９６】
このＭＩ処理（ｉ番目位置にイメージファイル移動）では、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ）に応じて、画像表示フレーム上のｉ番目の位置（図６（Ａ）参照）にイメージファイルを移動表示する指示が行われる（ステップＭ１）。
【００９７】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＳＩ”と判断された場合には、図１３（Ｂ）におけるＳＩ処理に移行される（ステップＬ２→ＬＮ）。
【００９８】
このＳＩ処理（ｉ番目サイズにイメージファイル拡大）では、当該コマンドコードＳＩと共に読み出されたパラメータデータ（ｉ）に応じて、画像表示フレーム上のイメージファイルをｉ番目のサイズ（図６（Ｂ）参照）に変更して表示する指示が行われる（ステップＮ１）。
【００９９】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＢＳ”と判断された場合には、図１３（Ｃ）におけるＢＳ処理に移行される（ステップＬ３→ＬＯ）。
【０１００】
このＢＳ処理（サウンドファイル音量ｉ）では、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ）に応じて、音声出力部１９におけるサウンドファイルの出力音量をｉに変更する指示が行われる（ステップＯ１）。
【０１０１】
また、タイムコードファイル１２ｃ３から読み出されたコマンドコードが“ＳＳ”と判断された場合には、図１３（Ｄ）におけるＳＳ処理に移行される（ステップＬ４→ＬＰ）。
【０１０２】
このＳＳ処理（サウンドファイルスピードｉ）では、当該コマンドコードＳＳと共に読み出されたパラメータデータ（ｉ）に応じて、音声出力部１９におけるサウンドファイルの出力スピードをｉに変更する指示が行われる（ステップＰ１）。
【０１０３】
さらに、タイムコードファイル１２ｃ３から読み出されたコマンドコードがその他の拡張コマンドコードと判断された場合には、当該拡張コマンドに応じた他の処理へ移行される（ステップＬ４→ＬＱ）。
【０１０４】
図１４は前記図２乃至図４における英語教材再生ファイルに基づいた英語テキスト・画像・音声ファイルの同期再生状態を示す図である。
【０１０５】
この英語教材ファイル（１２ｃ）は、そのヘッダ情報（１２ｃ１）に記述設定された処理単位時間（５０ｍｓ）（図１５；１２ｃ１ａ）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃ３（図２参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ（ステップＫ１）、テキスト・画像・音声ファイルの出力がクリアされる。
【０１０６】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される（ステップＨ１）。
【０１０７】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されるＨＴＭＬデータの英会話テキスト・画像フレームデータに応じて、図１４（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＨ２）。
【０１０８】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から画像番号１のＩＤ番号＝６が読み出される（ステップＩ１）。
【０１０９】
そして、このＩＤ番号＝６に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データ（画像Ａ）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＩ２）。
【０１１０】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から音声番号１のＩＤ番号＝３１が読み出される（ステップＪ１）。
【０１１１】
そして、このＩＤ番号＝３１に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話音声データ▲１▼が音声出力部１９から出力される（ステップＪ２）。
【０１１２】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からテキスト番号１のＩＤ番号＝２０が読み出される（ステップＢ１）。
【０１１３】
そして、このＩＤ番号＝２０に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話テキストデータ▲１▼がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＢ２）。
【０１１４】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２ｃ４（図４参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ▲１▼の中から呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＣ１）。
【０１１５】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト表示フレームＸで表示中の英会話文節の文字カウンタがリセットされ、０番目のブロックが指定される（ステップＤ１，Ｄ２）。
【０１１６】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０４”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝４）に応じて、テキストデータの４番目の文字までハイライト表示（強調表示）される（ステップＦ１）。
【０１１７】
そして、文字カウンタが４番目の文字までカウントアップされる（ステップＦ２）。
【０１１８】
第９コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１１９】
このように、前記英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２ｃ３（図２参照）・ファイルシーケンステーブル１２ｃ２（図３参照）・コンテンツ内容データ１２ｃ４（図５参照）に従って、当該再生ファイルに予め設定された処理単位時間（２５ｍｓ）毎のコマンド処理を行うことで、図１４（Ａ）〜（Ｄ）に示すように、表示画面上のテキスト表示フレームＸ内に英会話テキストデータが表示されると共に、画像表示フレームＹ内にその対応画像データが同期表示され、さらに、音声出力部１９から表示中の英会話テキストを読み上げる英会話音声データが同期出力されると共に、当該英会話テキストの読み上げ文節が各文字毎に順次同期ハイライト（強調）表示されるようになる。
【０１２０】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に予め記述されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、英会話テキストファイル、英会話画像ファイル、英会話音声ファイルの同期再生処理を行うことができる。
【０１２１】
次に、前記実施形態同様の複数種類ファイルの同期再生処理として、次の図１５乃至図１８で示すような、楽曲ファイルの再生処理について説明する。
【０１２２】
図１５は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図である。
【０１２３】
図１６は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図である。
【０１２４】
図１７は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図である。
【０１２５】
図１８は前記図１５乃至図１７における楽曲再生用ファイルに基づいた楽曲テキスト・画像・音声ファイルの同期再生状態を示す図である。
【０１２６】
この楽曲再生用ファイル（１２ｃ）は、そのヘッダ情報（１２ｃ１）に記述設定された処理単位時間（５０ｍｓ）（１２ｃ１ａ）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃ３（図１５参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ（ステップＫ１）、テキスト・画像・音声ファイルの出力がクリアされる。
【０１２７】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図１６参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される（ステップＨ１）。
【０１２８】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２ｃ４（図１７参照）から読み出されるＨＴＭＬデータの標準テキストフレームデータや音楽画像フレームデータに応じて、図１８（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＨ２）。
【０１２９】
第３コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図１６参照）から音声番号１のＩＤ番号＝３１が読み出される（ステップＪ１）。
【０１３０】
そして、このＩＤ番号＝３１に対応付けられてコンテンツ内容データ１２ｃ４（図１７参照）から読み出された音楽音声データ▲１▼が音声出力部１９から出力される（ステップＪ２）。この際の出力音量はデフォルト値ｉ＝５として設定される。
【０１３１】
第４コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図１６参照）からテキスト番号１のＩＤ番号＝２０が読み出される（ステップＢ１）。
【０１３２】
そして、このＩＤ番号＝２０に対応付けられてコンテンツ内容データ１２ｃ４（図１７参照）から読み出された音楽歌詞データ▲１▼がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＢ２）。
【０１３３】
第５コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“０６”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝６）に応じて、前記ＲＡＭ１２Ｃにロードされた音楽歌詞データ▲１▼のテキストの中から６番目の文節までが呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＣ１）。
【０１３４】
第６コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ２（図１６参照）から画像番号１のＩＤ番号＝６が読み出される（ステップＩ１）。
【０１３５】
そして、このＩＤ番号＝６に対応付けられてコンテンツ内容データ１２ｃ４（図１７参照）から読み出されて画像展開バッファ１２ｅに展開された画像データ（画像Ａ）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＩ２）。この際の表示位置はデフォルト位置ｉ＝５（中央）として設定される。
【０１３６】
第７コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、表示中のテキストデータ（音楽歌詞データ▲１▼）が１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０１３７】
第８コマンドコード“ＮＰ”が読み出されると、現在の画像および音楽歌詞テキストデータの同期表示画面および音楽音声データの同期出力状態が維持される。
【０１３８】
またこの後、第８１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図１８（Ｂ）で示すように、表示中のテキストデータ（音楽歌詞データ▲１▼）がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０１３９】
そして、第８２コマンドコード“ＭＩ”（ｉ番目位置にイメージファイル移動）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、画像表示フレームＹ上の１番目の位置（左上：図６（Ａ）参照）にイメージファイル（画像Ａ）が移動表示される（ステップＭ１）。
【０１４０】
そして、第８３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０７”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝７）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ▲１▼）の出力音量が“７”に変更される（ステップＯ１）。
【０１４１】
さらにこの後、第１６１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図１８（Ｃ）で示すように、表示中のテキストデータ（音楽歌詞データ▲１▼）がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０１４２】
そして、第１６２コマンドコード“ＭＩ”（ｉ番目位置にイメージファイル移動）およびそのパラメータデータ“０９”が読み出されると、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ＝９）に応じて、画像表示フレームＹ上の９番目の位置（右下：図６（Ａ）参照）にイメージファイル（画像Ａ）が移動表示される（ステップＭ１）。
【０１４３】
そして、第１６３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０５”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝５）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ▲１▼）の出力音量が“５”に変更される（ステップＯ１）。
【０１４４】
さらにこの後、第２４１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図１８（Ｄ）で示すように、表示中のテキストデータ（音楽歌詞データ▲１▼）がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０１４５】
そして、第２４２コマンドコード“ＳＩ”（ｉ番目サイズにイメージファイル拡大）およびそのパラメータデータ“０３”が読み出されると、当該コマンドコードＳＩと共に読み出されたパラメータデータ（ｉ＝３）に応じて、画像表示フレーム上のイメージファイル（画像Ａ）が３番目のサイズ（縦最大サイズ：図６（Ｂ）参照）に変更されて表示される（ステップＮ１）。
【０１４６】
そして、第２４３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０８”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝８）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ▲１▼）の出力音量が“８”に変更される（ステップＯ１）。
【０１４７】
このように、前記楽曲再生ファイル（１２ｃ）におけるタイムコードファイル１２ｃ３（図１５参照）・ファイルシーケンステーブル１２ｃ２（図１６参照）・コンテンツ内容データ１２ｃ４（図１７参照）に従って、当該再生ファイルに予め設定された処理単位時間（５０ｍｓ）毎のコマンド処理を行うことで、図１８（Ａ）〜（Ｄ）に示すように、表示画面上のテキスト表示フレームＸ内に音楽歌詞テキストデータが表示されると共に、画像表示フレームＹ内にその対応画像データが同期表示され、さらに、音声出力部１９から表示中の音楽歌詞テキストの楽曲音声データが同期出力されると共に、画像ファイルの位置・サイズ変更や音声ファイルの出力音量変更なども順次同期制御されるようになる。
【０１４８】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を、予め記述されたコマンド処理の単位時間毎に順次指示するだけで、楽曲テキストファイル、楽曲画像ファイル、楽曲音声ファイルの同期再生処理を行うことができる。従って、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト画像音声を含む同期再生処理が行える。
【０１４９】
なお、前記各実施形態におけるテキストファイル・画像ファイル・音声ファイルなどの同期再生処理では、そのテキストファイルの表示において、音声ファイルの出力に合わせた文節ハイライト（強調）表示を行う構成としたが、次の図１９に示すように、文字色変更表示や文字サイズ変更表示、文字透明表示、フォント変更表示などによりファイルの再生状況に合わせたテキスト変更表示を行う構成としてもよい。
【０１５０】
また、前記各実施形態におけるテキストファイル・画像ファイル・音声ファイルなどの同期再生処理では、その画像ファイルの表示において、各ファイルの再生状況に合わせたの位置変更表示やサイズ変更表示を行う構成としたが、当該再生状況に合わせた画像ファイルの入れ替え表示を行う構成としてもよい。
【０１５１】
さらに、図１９に示すように、ファイルの再生状況に合わせてＨＴＭＬファイルの入れ替えを行う構成としてもよい。
【０１５２】
図１９は前記携帯機器１０のファイル再生処理に伴うファイルの再生状況に合わせた各種変更再生状態を示す図である。
【０１５３】
すなわち、例えば図１９（Ａ）に示すように、ＨＴＭＬファイル１のテキスト表示フレームＸ１において、ボキャブラリー特訓の音声ファイル出力に合わせてそのテキストデータを青色指定して色変化表示Ｍさせたり、さらに、テキスト表示フレームＸ２において、前記色変化表示Ｍの部分に対応する言語の意味内容の表示を、透明文字による出現表示Ｎやフォント変更表示などにより同期して示したりする構成としてもよい。
【０１５４】
さらに、図１９（Ｂ）に示すように、前記各表示フレームＸ１，Ｘ２共に、ファイルの再生進行状況に合わせてＨＴＭＬファイルの入れ替えを行う構成としてもよい。
【０１５５】
したがって、前記構成の携帯機器１０によるファイル再生機能によれば、ＲＯＭ１２Ａに予め記憶された再生処理プログラム１２ａに従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間（２５ｍｓ／５０ｍｓ）毎に、タイムコードファイル１２ｃ３に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ３に記述された各コマンドに応じたテキスト・画像・音声ファイルなどの同期再生処理が実行されるので、ＣＰＵ１１の負荷を非常に小さくして各種ファイルの同期再生を行うことができる。
【０１５６】
また、前記構成の携帯機器１０によるファイル再生機能によれば、テキスト・画像・音声ファイルなどの単なる同期再生処理だけでなく、このファイル再生状況に伴い、テキストの強調表示やスクロール表示、画像の位置変更表示やサイズ変更表示などの各種ファイルの再生効果を組み合わせて行う構成としたので、各種ファイルのより効果的な同期再生を行うことができる。
【０１５７】
さらに、前記構成の携帯機器１０によるファイル再生機能によれば、再生用ファイル１２ｃのタイムコードファイル１２ｃ３に従った現在のコマンド処理位置よりも後に画像ファィル表示のコマンドがある場合には、その画像ファィルを先読みして展開しておく構成としたので、実際の画像表示時点で処理に遅れなく指定の画像ファイルを直ちに表示できるようになる。
【０１５８】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図８のフローチャートに示すファイル再生処理、図９のフローチャートに示す前記ファイル再生処理と並列起動されるファイル先読み処理、図１０のフローチャートに示す前記ファイル再生処理に伴う他のコマンド処理、図１１のフローチャートに示す前記ファイル再生処理に伴う他のコマンド処理それぞれの処理、図１２のフローチャートに示す前記ファイル再生処理に伴う拡張コマンド処理、図１３のフローチャートに示す前記ファイル再生処理に伴う拡張コマンド処理それぞれの処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した複数ファイル同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１５９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した複数ファイル同期再生機能を実現することもできる。
【０１６０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１６１】
【発明の効果】
以上のように、本発明の請求項１（請求項１２）に係る再生制御装置（再生制御処理プログラム）によれば、複数種類のファイルの再生命令を予め定められた基準時間間隔毎に順次配列して記憶する再生情報記憶手段と、複数種類のファイルを記憶するファイル記憶手段を有し、計時手段により計時された時間に基づいて、前記再生情報記憶手段により予め定められた基準時間間隔毎に記憶されたファイルの再生命令に応じて、前記ファイル記憶手段により記憶された複数種類のファイルの再生処理が行われる。
【０１６２】
これにより、再生情報記憶手段により記憶されたファイルの再生命令に応じて、ファイル記憶手段により記憶された再生対象ファイルの再生処理の指示を基準時間間隔毎に順次行うだけで、複数種類のファイルの同期再生処理を容易に行うことができるようになる。
【０１６３】
また、本発明の請求項２に係る再生制御装置によれば、ファイルの再生命令にファイルの再生形態を指示する再生形態命令を含むようにしたので、容易にそれぞれのファイルの再生形態を指示することができる。
【０１６４】
また、本発明の請求項３に係る再生制御装置によれば、テキストファイルの再生形態命令として、そのテキストファイルに含まれる文字列のうち命令で指定された部分を他の文字列の部分と異なる表示形態で表示させる命令を含むようにしたので、テキストの文字列を異なる表示形態で表示させることができる。
【０１６５】
また、本発明の請求項４に係る再生制御装置によれば、テキストファイルの表示形態命令として、文字色または文字サイズまたは文字フォントを他の文字列の部分と異なる表示形態で表示させる命令を含むようにしたので、文字色または文字サイズまたは文字フォントを容易に他の文字列分と異なる形態で表示させることができる。
【０１６６】
また、本発明の請求項５に係る再生制御装置によれば、テキストファイルの再生形態命令として、そのテキストファイルに含まれる文字列をスクロール表示させる命令を含むようにしたので、容易にテキストをスクロール表示させることができる。
【０１６７】
また、本発明の請求項６に係る再生制御装置によれば、画像ファイルの再生形態命令として、その画像ファイルに含まれる画像の位置の変更表示、または画像のサイズの変更表示命令を含むようにしたので、容易に画像ファイルを位置変更表示またはサイズ変更表示させることができる。
【０１６８】
また、本発明の請求項７に係る再生制御装置によれば、音声ファイルの再生形態命令として、その音声ファイルの再生を指定された時間停止させる命令を含むようにしたので、容易に音声ファイルの再生を指定時間停止させることができる。
【０１６９】
また、本発明の請求項８に係る再生制御装置によれば、予め定められた基準時間間隔としては、複数種類の時間間隔のうちの１つの基準時間間隔が定められて設定されるので、必要に応じて複数種類の基準時間間隔のうちから適当な基準時間間隔を定めて設定できる。
【０１７０】
また、本発明の請求項９に係る再生制御装置によれば、再生情報記憶手段により記憶されたファイルの再生命令の中で、現在時刻に対応する基準時間間隔のファイル再生命令よりも後のファイル再生命令が先読みされ、この先読みされたファイル再生命令に応じて、ファイル記憶手段により記憶された再生対象ファイルが予め展開されるので、再生対象ファイルを予め展開しておくことができる。これにより、例えばＣＰＵの処理能力が小さくても先に展開しておくことで充分な処理を行うことができる。
【０１７１】
また、本発明の請求項１０に係る再生制御装置によれば、ファイルＩＤ記憶手段に記憶されたＩＤ番号に対応する再生対象ファイルを読み出して再生するようにしたので、ＩＤ番号に従って適切かつ迅速にファイルを読み出して再生することができる。
【０１７２】
よって、本発明によれば、複数種類のファイルの同期再生を少ないＣＰＵの負荷で行うことが可能になる再生制御装置を提供できる。
【図面の簡単な説明】
【図１】本発明の再生制御装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図。
【図４】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図。
【図５】前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２ａに基づき解析処理される命令内容を対応付けて示す図。
【図６】前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される拡張コマンドに伴うイメージファイルの位置移動形態およびサイズ変更形態を示す図であり、同図（Ａ）は拡張コマンドＭＩに伴うイメージファイルの移動位置を規定する図、同図（Ｂ）は拡張コマンドＳＩに伴うイメージファイルの変更サイズを規定する図。
【図７】前記携帯機器１０のＦＬＡＳＨメモリ１２Ｂに格納される暗号化再生用ファイル１２ｂの各種ファイル格納状態を示す図。
【図８】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理を示すフローチャート。
【図９】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴い並列起動される先読み処理を示すフローチャート。
【図１０】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理を示すフローチャート。
【図１１】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理それぞれの処理内容を示すフローチャート。
【図１２】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う拡張コマンド処理を示すフローチャート。
【図１３】前記携帯機器１０の再生処理プログラムに従った再生処理に伴う拡張コマンド処理それぞれの処理内容を示すフローチャート。
【図１４】前記図２乃至図４における英語教材再生ファイルに基づいた英語テキスト・画像・音声ファイルの同期再生状態を示す図。
【図１５】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図。
【図１６】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図。
【図１７】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図。
【図１８】前記図１５乃至図１７における楽曲再生用ファイルに基づいた楽曲テキスト・画像・音声ファイルの同期再生状態を示す図。
【図１９】前記携帯機器１０のファイル再生処理に伴うファイルの再生状況に合わせた各種変更再生状態を示す図。
【符号の説明】
１０　…携帯機器
１１　…ＣＰＵ
１２　…メモリ
１２Ａ…ＲＯＭ
１２Ｂ…ＦＬＡＳＨメモリ
１２Ｃ…ＲＡＭ
１２ｃ１…ヘッダ情報
１２ｃ１ａ…処理単位時間
１２ｃ２…ファイルシーケンステーブル
１２ｃ３…タイムコードファイル
１２ｃ４…コンテンツ内容データ
１２ａ…再生処理プログラム
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｄ…画像展開済みフラグ
１２ｅ…画像展開バッファ
１３　…外部記録媒体
１４　…記録媒体読取部
１５　…電送制御部
１６　…通信部
１７　…入力部
１８　…表示部
１９　…音声出力部
２０　…通信機器（自宅ＰＣ）
３０　…Ｗｅｂサーバ
Ｎ　…通信ネットワーク（インターネット）
Ｘ　…テキスト表示フレーム
Ｙ　…画像表示フレーム[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a playback control device and a playback control processing program for playing back files such as audio, images, and text.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a technique for simultaneously playing back files such as music, images, and texts, for example, for each frame of an audio file information-compressed by MPEG-3, an additional data area provided in each frame is provided. For example, in the case of karaoke, some karaoke voices and their image images and text of lyrics are reproduced synchronously by embedding synchronization information of text files and image files to be reproduced synchronously in the audio file.
[0003]
[Problems to be solved by the invention]
However, in the conventional synchronous reproduction technique of a plurality of types of files using the additional data area of the MPEG file, embedding of the synchronization information is defined in the additional data area of each frame of the main MP3 audio file. Therefore, the synchronization information cannot be extracted unless the MP3 audio file is reproduced, and other types of files can be synchronously reproduced only by reproducing the MP3 file.
[0004]
For this reason, for example, when the synchronization information of the text file is embedded in the MP3 audio file, even if the audio file is not reproduced, the audio file is not continuously reproduced as a non-audio file, and the audio file is not synchronized. There is a problem that playback cannot be performed.
[0005]
Therefore, conventionally, since the synchronous reproduction processing of the plurality of types of files is performed based on the reproduction processing of the MP3 file, there is a problem that the processing load on the CPU of the reproduction apparatus becomes heavy.
[0006]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide a reproduction control device and a reproduction control processing program capable of performing synchronous reproduction of a plurality of types of files with a small load on a CPU. And
[0007]
[Means for Solving the Problems]
That is, the reproduction control device according to the present invention includes a reproduction information storage unit that sequentially stores a plurality of types of file reproduction instructions at predetermined reference time intervals and a file storage unit that stores a plurality of types of files. Based on the time measured by the timer, in response to a file playback command stored at predetermined reference time intervals by the playback information storage, and storing the file in the file. Reproduction control means for performing reproduction processing of a plurality of types of files stored by the means.
[0008]
As described above, in the reproduction control device according to the present invention, a reproduction information storage unit that sequentially stores reproduction instructions for a plurality of types of files at predetermined reference time intervals, and a file that stores a plurality of types of files. A storage unit that is stored by the file storage unit based on the time counted by the timer unit, in response to a file playback instruction stored at each reference time interval predetermined by the playback information storage unit. Playback processing of a plurality of types of files is performed.
[0009]
With this, at a predetermined reference time interval, in response to a file reproduction command stored in the reproduction information storage unit, an instruction to reproduce the file to be reproduced stored in the file storage unit is issued. This makes it possible to easily perform the synchronous playback processing of the types of files.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0011]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of a portable device 10 according to an embodiment of the reproduction control device of the present invention.
[0012]
The portable device (PDA: personal digital assistants) 10 is configured by a computer which reads a program recorded on various recording media or a program transmitted and transmitted, and whose operation is controlled by the read program. The electronic circuit includes a CPU (central processing unit) 11.
[0013]
The CPU 11 executes a PDA control program stored in the ROM 12A in the memory 12 in advance, a PDA control program read from the external recording medium 13 such as a ROM card into the memory 12 via the recording medium reading unit 14, or the Internet or the like. In accordance with the PDA control program read from the other computer terminal (30) on the communication network N via the transmission control unit 15 into the memory 12, the operation of each circuit unit is controlled. The PDA control program includes an input signal corresponding to a user operation from an input unit 17 including keys and a touch panel, or a communication signal from another computer terminal (30) on the communication network N received by the transmission control unit 15, Alternatively, short-range wireless connection by Bluetooth (R) External communication apparatus received via the communication unit 16 by a wired connection (PC: personal computer) is activated in response to the communication signal from 20.
[0014]
The CPU 11 is connected to the memory 12, the recording medium reading unit 14, the electric transmission control unit 15, the communication unit 16, and the input unit 17, and further includes a display unit 18 including an LCD, a speaker, and an audio output for outputting audio. The unit 19 and the like are connected.
[0015]
The CPU 11 has a built-in timer for measuring the processing time.
[0016]
The memory 12 of the portable device 10 includes a ROM 12A, a flash memory (EEP-ROM) 12B, and a RAM 12C.
[0017]
The ROM 12A has a network program for data communication with each computer terminal (30) on the communication network N via the transmission control unit 15 and a system program for controlling the entire operation of the portable device 10; In addition to storing an external device communication program for performing data communication with an external communication device (PC) 20, a schedule management program, an address management program, and synchronous playback of various files such as voice, text, and image. Various PDA control programs, such as the reproduction processing program 12a, are stored.
[0018]
The FLASH memory (EEP-ROM) 12B stores an encrypted playback file (CAS file) 12b to be played back based on the playback processing program 12a, as well as the schedule management program and the address management. The user's schedule and addresses of friends and acquaintances managed based on the program are stored.
[0019]
Here, the encrypted reproduction file 12b stored in the FLASH memory (EEP-ROM) 12B is a file for, for example, practicing English conversation or performing karaoke by synchronous reproduction of text, voice, and image. It is compressed and encrypted by an algorithm.
[0020]
The encrypted reproduction file 12b is recorded and distributed on a CD-ROM, for example, or distributed and distributed from a file distribution server 30 on a communication network (Internet) N. 30), the encrypted playback file 12b is read into, for example, a communication device (PC) 20 as a user's home PC, and then transmitted via a communication unit 16 of the portable device (PDA) 10. (ROM) 12B.
[0021]
The RAM 12C stores a decrypted playback file (CAS file) 12c obtained by expanding and decrypting the encrypted playback file 12b, and expands the image file in the decrypted playback file 12c. An image development buffer 12e to be stored is provided. The decrypted CAS file 12c is composed of header information (12c1) for storing a processing unit time (12c1a) of a reproduction command, a file sequence table (12c2), a time code file (12c3), and content content data (12c4) described later. Be composed. In the RAM 12C, an image development completed flag 12d indicating the developed image number of each of the image files developed and stored in the image development buffer 12e is stored.
[0022]
Further, the RAM 12C is provided with a work area for temporarily storing various data input to and output from the CPU 11 in accordance with other various processes.
[0023]
FIG. 2 is a diagram showing a time code file 12c3 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0024]
FIG. 3 is a view showing a file sequence table 12c2 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0025]
FIG. 4 is a diagram showing content content data 12c4 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0026]
The reproduction file 12b (12c) serving as a reproduction target file of the portable device 10 is configured by a combination of a time code file 12c3, a file sequence table 12c2, and content content data 12c4, as shown in FIGS. .
[0027]
In the time code file 12c3 shown in FIG. 2, time codes for performing various file synchronous playback command processes at a fixed time interval (for example, 25 ms) preset for each file are described and arranged. Each time code is composed of a command code indicating an instruction and parameter data including a reference number and a designated numerical value of a file sequence table 12c2 (FIG. 3) for associating a file content (see FIG. 4) relating to the command. It is composed of a combination.
[0028]
The fixed time interval for sequentially executing the command processing according to the time code is described and set as the processing unit time 12c1a in the header information 12c1 of the time code file 12c3.
[0029]
The file sequence table 12c2 shown in FIG. 3 includes, for each type of a plurality of types of files (HTML / image / text / audio), parameter data of each command described in the time code file 12c3 (see FIG. 2) and actual data. 4 is a table in which storage destination (ID) numbers of file contents are associated with each other.
[0030]
In the content content data 12c4 shown in FIG. 4, actual file data such as voice, image, text, etc. associated with each command code by the file sequence table 12c2 (see FIG. 3) correspond to their respective ID numbers. It is stored along with it.
[0031]
FIG. 5 is a diagram showing the command codes of various commands described in the time code file 12c3 (see FIG. 2) of the portable device 10, their parameter data, and the contents of the commands analyzed based on the reproduction processing program 12a in association with each other. It is.
[0032]
Commands used for the time code file 12c3 include a standard command and an extended command. The standard commands include LT (i-th text load). VD (i-th text segment display). BL (character counter reset / i-th phrase block specification). HN (no highlight, character counter count up). HL (highlight / character count up to i-th character). LS (1 line scroll / character counter count up). DH (i-th HTML file display). DI (i-th image file display). PS (i-th sound file play). CS (clear all file). PP (stop for basic time i seconds). FN (processing end). There are NP (invalid) commands, and extended commands include MI (move image file to i-th position). SI (image file expanded to i-th size). BS (sound file volume i). There are SS (sound file speed i) commands.
[0033]
FIG. 6 is a diagram showing a position moving mode and a size changing mode of the image file accompanying the extension command described in the time code file 12c3 (see FIG. 2) of the portable device 10, and FIG. FIG. 4B is a diagram that defines the moving position of the image file according to the MI, and FIG. 4B is a diagram that defines the change size of the image file according to the extension command SI.
[0034]
For example, when the parameter data is the extension command MI (i = 1), the image file is moved and displayed at the upper left of the image display area, and when it is the parameter data (i = 9), the image file is moved and displayed at the lower right. .
[0035]
For example, when the parameter data of the extended command SI is (i = 1), the image file is displayed in a standard size. When the parameter data is i = 2, the image file is displayed in a double size. In the case of ()), the size is changed and displayed in a triple size.
[0036]
That is, the reproduction processing program 12a stored in the ROM 12A of the portable device (PDA) 10 is activated, and the decryption / reproduction file 12c decrypted from the FLASH memory 12B and stored in the RAM 12c is read, for example, as shown in FIGS. When the third command code “DI” and the parameter data “01” are read in accordance with the command processing at regular time intervals, the command “DI” corresponds to the i-th image file display instruction. Therefore, the image A of the content content data 12c4 (see FIG. 4) is read and displayed according to the ID number of the image file linked to the file sequence table 12c2 (see FIG. 3) from the parameter data i = 01. Is done.
[0037]
For example, when the sixth command code “VD” and the parameter data “00” are read in accordance with the command processing at the same fixed time, the command “VD” is the i-th text segment display instruction. According to the parameter data i = 00, the 0th phrase of the text is displayed.
[0038]
Further, for example, when the ninth command code “NP” and the parameter data “00” are read in accordance with the command processing at the same fixed time, since the command “NP” is an invalid command, the current file output The state is maintained.
[0039]
The detailed reproduction operation of the reproduction file 12b (12c) having the file contents shown in FIGS. 2 to 4 will be described later again.
[0040]
FIG. 7 is a diagram showing various file storage states of the encrypted reproduction file 12b stored in the flash memory 12B of the portable device 10.
[0041]
Various files such as an HTML file, an Image (image) file, a Text (text) file, and a Sound (sound) file are collectively stored in the encrypted playback file 12b, and the encrypted playback file 12b is expanded and decrypted. Synchronized reproduction processing of the various files is executed in accordance with reading and command analysis of the time code file 12c3 (see FIG. 2) by the reproduction processing program 12a as the reproduced and decoded reproduction file 12c in the RAM 12C. You.
[0042]
The encrypted playback file 12b is further diversified by a parallel combination with the second file 12b2 (12b2h, 12b2i, 12b2t, 12b2s) belonging to the first file 12b1 (12b1h, 12b1i, 12b1t, 12b1s). Synchronous reproduction processing of various files can also be executed.
[0043]
Next, a file reproducing function of the portable device 10 having the above configuration will be described.
[0044]
FIG. 8 is a flowchart showing a reproduction process of the portable device 10 according to the reproduction process program 12a.
[0045]
For example, an English teaching material reproduction file in which study of English can be performed by voice, text, and image, and a karaoke file in which karaoke can be performed by voice, text, and image, are transmitted from the server 30 on the CD-ROM or the communication network (Internet) N to the home PC. When the playback file (CAS file) 12b is stored in the FLASH memory 12B via the communication unit 16 of the portable device (PDA) 10 and the FLASH memory 12B, this playback is performed by operating the input unit 17. When the reproduction of the application file 12b is instructed, an initialization process such as a clear process of each work area in the RAM 12C and a flag reset process is performed (step S1).
[0046]
Then, the reproduction file (CAS file) 12b stored in the FLASH memory 12B is read (step S2), and it is determined whether or not the reproduction file (CAS file) 12b is an encrypted file (step S3). ).
[0047]
Here, if it is determined that the file is an encrypted playback file (CAS file) 12b, the CAS file 12b is decrypted and decrypted (step S3 → S4) and transferred to the RAM 12C for storage (step S3 → S4). Step S5).
[0048]
Then, the processing unit time 12c1a (for example, 25 ms / 50 ms /...) Described in the header information 12c1 of the decrypted playback file (CAS file) 12c stored in the RAM 12C is converted by the CPU 11 into the decrypted playback file (CAS 25). The read time is set as the read time of the CAS file) 12c at fixed time intervals (step S6).
[0049]
Then, a read pointer is set at the beginning of the decrypted playback file (CAS file) 12c stored in the RAM 12C (step S7), and a timer for measuring the playback processing timing of the playback file 12c is started (step S7). Step S8).
[0050]
Here, the prefetch processing in FIG. 9 is started in parallel with the reproduction processing (step S9). The details of the prefetching process will be described later.
[0051]
In step S8, when the processing timer is started, the position of the read pointer set in step S7 is set for each processing unit time corresponding to the current playback target file 12c set in step S6. The command code and its parameter data of the time code file 12c3 (see FIG. 2) constituting the reproduction file 12c are read (step S10).
[0052]
Then, it is determined whether or not the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is "FN" (step S11). If it is determined that the command code is "FN", At that time, a stop process of the file reproduction process is instructed and executed (steps S11 → S12).
[0053]
On the other hand, if it is determined that the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is not "FN", it is determined whether the command code is "PP". It is determined (steps S11 → S13), and if it is determined to be “PP”, a temporary stop processing (processing timer stop) of the file reproduction processing is instructed at that time (steps S13 → S14). In this stop processing, stop and release of stop are performed for i seconds according to a manual operation of the user.
[0054]
Here, when a pause release input is performed based on a user operation on the input unit 17, the clocking operation by the processing timer is started again, and whether the clocking time by the timer reaches the next processing unit time 12c1a. It is determined whether or not it is (step S15 → S16).
[0055]
On the other hand, if it is determined in step S13 that the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is not "PP", the other command in FIG. Processing is shifted to (step SA). Details of the other command processing will be described later.
[0056]
If it is determined in step S16 that the time measured by the timer has reached the next processing unit time 12c1a, the read pointer to the decrypted playback file (CAS file) 12c stored in the RAM 12C is set to the next value. The position is updated and set (steps S16 → S17), and the processing from the reading of the command code and the parameter data of the time code file 12c3 (see FIG. 2) at the position of the read pointer in step S10 is repeated (step S17 → S10). To S16).
[0057]
In other words, the CPU 11 of the portable device 10 executes the time code file 12c3 (see FIG. 2) for each command processing unit time previously described in the reproduction file 12b (12c) according to the reproduction processing program stored in the ROM 12A. By simply reading out the command codes and the parameter data arranged in the time code file and instructing the processing corresponding to the command, the synchronous reproduction processing of various files corresponding to each command described in the time code file 12c3 is executed.
[0058]
FIG. 9 is a flowchart showing a prefetching process which is started in parallel with the reproducing process according to the reproducing process program 12a of the portable device 10.
[0059]
When this pre-reading process is started in parallel with the reproduction process of the reproduction file 12c, the current read pointer of the decrypted reproduction file (CAS file) 12c stored in the RAM 12C to the time code file 12c3 (see FIG. 2) is read. The position is confirmed (step R1), and a command code "DI" (image file display command) located after the current pointer position is searched (step R2).
[0060]
If the "DI" command is searched after the current read pointer set position in the time code file 12c3 (see FIG. 2) (step R3), the command is designated based on the parameter data of the "DI" command. It is determined whether or not the image file of the image ID number is already expanded in the image expansion buffer 12e, that is, whether or not the image file is set to be ready for display and output. The determination is made based on the presence or absence of the flag 12d (step R4).
[0061]
The "DI" command is searched for as a command code after the current read pointer position in the time code file 12c3 (see FIG. 2), and is designated based on the parameter data of the "DI" command. If it is determined that the image file with the image ID number has not been expanded in the image expansion buffer 12e, the image file with the specified image ID number is read from the content content data 12c4 (see FIG. 4), The image is expanded in advance in the image expansion buffer 12e (steps R3 → R4 → R5).
[0062]
That is, if there is a “DI” command for displaying an image file after the command processing of the position of the current read pointer according to the time code file 12c3 (see FIG. 2) of the reproduction file 12c, the “DI” command When the read pointer actually moves to the position of the subsequent "DI" command, the specified image file is immediately read without delay by pre-reading and expanding the image file specified by the parameter data of You will be able to display output.
[0063]
FIG. 10 is a flowchart showing another command process associated with the playback process according to the playback process program 12a of the portable device 10.
[0064]
FIG. 11 is a flowchart showing the processing contents of other command processing accompanying the reproduction processing according to the reproduction processing program 12a of the portable device 10.
[0065]
In the other command processing, if it is determined that the command code read from the time code file 12c3 (see FIG. 2) according to the read pointer in the reproduction file 12c is "NP", invalid processing is designated and Is maintained as it is (step A1 → END (S16)).
[0066]
If the command code read from the time code file 12c3 is determined to be "LT", the process shifts to the LT process in FIG. 11A (step A2 → AB).
[0067]
In this LT processing (i-th text load), the parameter data read out together with the command code LT is used as the text number i, and the text data of the text number i is read from the sequence file table (see FIG. 3) of the decrypted reproduction file 12c. The ID number is read (step B1).
[0068]
Then, an instruction is given to load the text data read from the content data 12c4 (see FIG. 4) in association with the ID number into the work area of the RAM 12C (step B2).
[0069]
If the command code read from the time code file 12c3 is determined to be “VD”, the process shifts to the VD process in FIG. 11B (step A3 → AC).
[0070]
In the VD process (i-th text segment display), an instruction is given to display the i-th text data loaded in the work area of the RAM 12C in a text frame set in the HTML file (step C1).
[0071]
If the command code read from the time code file 12c3 is determined to be "BL", the flow shifts to the BL process in FIG. 11C (step A4 → AD).
[0072]
In the BL process (character counter reset / i-th phrase block designation), first, the character counter for the text data loaded in the work area of the RAM 12C is reset (step D1).
[0073]
Then, the i-th phrase block of the text data is designated according to the parameter data (i) read together with the command code BL (step D2).
[0074]
If it is determined that the command code read from the time code file 12c3 is "HN", the process shifts to the HN process in FIG. 11D (step A5 → AE).
[0075]
In this HN processing (no highlighting / character counter count-up), an instruction to count up the character counter for the text data by 1 is issued (step E1).
[0076]
If it is determined that the command code read from the time code file 12c3 is "HL", the process shifts to the HL process in FIG. 11E (step A6 → step AF).
[0077]
In the HL process (highlighting / character counting up to the i-th character), an instruction to highlight and display up to the i-th character of the text data is issued according to the parameter data (i) read together with the command code HL. (Step F1).
[0078]
Then, an instruction to count up the character counter to the i-th character is issued (step F2).
[0079]
If the command code read from the time code file 12c3 is determined to be “LS”, the process proceeds to the LS process in FIG. 11F (step A7 → step AG).
[0080]
In the LS process (one-line scroll / character counter count-up), an instruction for one-line scroll is performed on the text data being displayed (step G1), and an instruction for counting up the character counter by one is performed (step G2). .
[0081]
If it is determined that the command code read from the time code file 12c3 is "DH", the process proceeds to the DH process in FIG. 11 (G) (step A8 → step AH).
[0082]
In the DH processing (i-th HTML file display), the ID number of the HTML number i is read from the file sequence table 12c2 (see FIG. 3) according to the parameter data (i) read together with the command code DH (see FIG. 3). Step H1).
[0083]
Then, setting of an image display frame or a text display frame for the display portion of the HTML data read from the content data 12c4 (see FIG. 4) in association with the ID number is instructed (step H2).
[0084]
If the command code read from the time code file 12c3 is determined to be "DI", the process shifts to the DI process in FIG. 11H (step A9 → step AI).
[0085]
In the DI processing (i-th image file display), the ID number of the image number i is read from the file sequence table 12c2 (see FIG. 3) according to the parameter data (i) read together with the command code DI (see FIG. 3). Step I1).
[0086]
An instruction to display the image data read from the content data 12c4 (see FIG. 4) in association with the ID number and expanded in the image expansion buffer 12e in the image display frame set in the HTML file. Is performed (step I2).
[0087]
If it is determined that the command code read from the time code file 12c3 is "PS", the flow shifts to the PS processing in FIG. 11 (I) (step A10 → step AJ).
[0088]
In the PS processing (i-th sound file play), the ID number of the audio number i is read from the file sequence table 12c2 (see FIG. 3) according to the parameter data (i) read together with the command code PS (see FIG. 3). Step J1).
[0089]
Then, an instruction to output the audio data read from the content content data 12c4 (see FIG. 4) in association with the ID number is issued from the audio output unit 19 (step J2).
[0090]
If the command code read from the time code file 12c3 is determined to be “CS”, the flow shifts to the CS processing in FIG. 11J (step A11 → AK).
[0091]
In the CS process (clear all file), an instruction to clear all files being output is issued (step K1).
[0092]
When it is determined that the command code read from the time code file 12c3 is any of “MI”, “SI”, “BS”, “SS” or another command, the extended command processing in FIG. The process is shifted (step A11 → AL).
[0093]
FIG. 12 is a flowchart showing an extended command process associated with a playback process according to the playback process program 12a of the portable device 10.
[0094]
FIG. 13 is a flowchart showing the processing contents of each of the extension command processes associated with the playback process according to the playback process program of the portable device 10.
[0095]
When it is determined that the command code read from the time code file 12c3 is "MI", the process shifts to the MI process in FIG. 13A (step L1 → LM).
[0096]
In this MI processing (moving the image file to the i-th position), the i-th position (see FIG. 6A) on the image display frame is set according to the parameter data (i) read together with the command code MI. An instruction to move and display the image file is issued (step M1).
[0097]
If it is determined that the command code read from the time code file 12c3 is "SI", the processing shifts to the SI processing in FIG. 13B (step L2 → LN).
[0098]
In this SI processing (enlargement of the image file to the i-th size), the image file on the image display frame is changed to the i-th size (FIG. 6B) in accordance with the parameter data (i) read together with the command code SI. (Refer to step N1).
[0099]
If the command code read from the time code file 12c3 is determined to be "BS", the flow shifts to the BS process in FIG. 13C (step L3 → LO).
[0100]
In the BS process (sound file volume i), an instruction to change the output volume of the sound file in the audio output unit 19 to i according to the parameter data (i) read together with the command code BS is issued (step). O1).
[0101]
When the command code read from the time code file 12c3 is determined to be “SS”, the process proceeds to the SS process in FIG. 13D (step L4 → LP).
[0102]
In this SS processing (sound file speed i), an instruction is given to change the output speed of the sound file in the sound output unit 19 to i in accordance with the parameter data (i) read together with the command code SS (step). P1).
[0103]
Further, when the command code read from the time code file 12c3 is determined to be another extended command code, the process is shifted to another process according to the extended command (step L4 → LQ).
[0104]
FIG. 14 is a diagram showing a synchronized playback state of English text / image / audio files based on the English teaching material playback files in FIGS. 2 to 4.
[0105]
In the English teaching material file (12c), command processing is executed for each processing unit time (50 ms) (FIG. 15; 12c1a) described and set in the header information (12c1). First, the time code file 12c3 ( When the first command code “CS” (clear all file) and its parameter data “00” of FIG. 2 are read, an instruction to clear the output of all files is issued (step K1), and the text, image, and sound are output. File output is cleared.
[0106]
When the second command code “DH” (i-th HTML file display) and its parameter data “01” are read, the file sequence table 12c2 is read in accordance with the parameter data (i = 1) read together with the command code DH. The ID number = 2 of the HTML number 1 is read from (see FIG. 3) (step H1).
[0107]
Then, in accordance with the English text / image frame data of the HTML data read from the content data 12c4 (see FIG. 4) in association with the ID number = 2, as shown in FIG. , A text display frame X and an image display frame Y are set (step H2).
[0108]
When the third command code “DI” (i-th image file display) and its parameter data “01” are read out, the file sequence table 12c2 according to the parameter data (i = 1) read out together with the command code DI. The ID number = 6 of the image number 1 is read from (see FIG. 3) (step I1).
[0109]
Then, the image data (image A) read from the content data 12c4 (see FIG. 4) in association with the ID number = 6 and expanded in the image expansion buffer 12e is the image set in the HTML file. It is displayed in the display frame Y (step I2).
[0110]
When the fourth command code “PS” (i-th sound file play) and its parameter data “01” are read out, the file sequence table 12c2 according to the parameter data (i = 1) read out together with the command code PS. ID number = 31 of voice number 1 is read from (see FIG. 3) (step J1).
[0111]
Then, the English conversation voice data {1} read from the content content data 12c4 (see FIG. 4) in association with the ID number = 31 is output from the voice output unit 19 (step J2).
[0112]
When the fifth command code “LT” (i-th text load) and its parameter data “01” are read, the file sequence table 12c2 ( The ID number = 20 of the text number 1 is read out from FIG. 3) (step B1).
[0113]
Then, the English conversation text data (1) read from the content data 12c4 (see FIG. 4) in association with the ID number = 20 is loaded into the work area of the RAM 12C (step B2).
[0114]
When the sixth command code “VD” (i-th text segment display) and its parameter data “00” are read, the file sequence table 12c2 is read according to the parameter data (i = 0) read together with the command code VD. The ID number = 19 of the text number 0 is read from (see FIG. 3), and the phrase of the English conversation title character specified in the content data 12c4 (see FIG. 4) in association with this is loaded into the RAM 12C. It is called out from the English conversation text data (1) and displayed in the text display frame X on the display screen (step C1).
[0115]
When the seventh command code “BL” (character counter reset / i-th phrase block designation) and its parameter data “00” are read, the character counter of the English conversation phrase being displayed in the text display frame X is reset to the 0th. Are designated (steps D1 and D2).
[0116]
When the eighth command code “HL” (highlight / character count up to the i-th character) and its parameter data “04” are read, according to the parameter data (i = 4) read together with the command code HL, The fourth character of the text data is highlighted (highlighted) (step F1).
[0117]
Then, the character counter is counted up to the fourth character (step F2).
[0118]
When the ninth command code “NP” is read out, the synchronous display screen of the current image and English conversation text data and the synchronous output state of English conversation voice data are maintained.
[0119]
In this way, according to the time code file 12c3 (see FIG. 2), the file sequence table 12c2 (see FIG. 3), and the content data 12c4 (see FIG. 5) in the English conversation teaching material playback file (12c), the playback file is set in advance. By performing the command processing for each processing unit time (25 ms), the English conversation text data is displayed in the text display frame X on the display screen as shown in FIGS. The corresponding image data is synchronously displayed in the image display frame Y. Further, the English conversation voice data for reading the English conversation text being displayed is synchronously output from the audio output unit 19, and the reading phrase of the English conversation text is displayed for each character. Synchronous highlighting (highlighting) is sequentially displayed.
[0120]
Thus, the CPU 11 of the mobile device 10 can instruct the command code and various command processes in accordance with the parameter data for each unit time of the command process described in the reproduction file 12b (12c) in advance, and the English conversation text can be obtained. Synchronous playback processing of files, English conversation image files, and English conversation audio files can be performed.
[0121]
Next, as a synchronous reproduction process of a plurality of types of files similar to the above embodiment, a reproduction process of a music file as shown in the following FIGS. 15 to 18 will be described.
[0122]
FIG. 15 is a diagram showing a time code file 12c3 constituting the music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0123]
FIG. 16 is a view showing a file sequence table 12c2 constituting the music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0124]
FIG. 17 is a diagram showing content content data 12c4 constituting the music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0125]
FIG. 18 is a diagram showing a synchronized playback state of music text / image / audio files based on the music playback files in FIGS. 15 to 17.
[0126]
In the music reproduction file (12c), command processing is executed for each processing unit time (50 ms) (12c1a) described and set in the header information (12c1). First, the time code file 12c3 (FIG. 15) When the first command code "CS" (clear all file) and its parameter data "00" are read out, an instruction to clear the output of all files is issued (step K1), and the text / image / audio file is cleared. Output is cleared.
[0127]
When the second command code “DH” (i-th HTML file display) and its parameter data “01” are read, the file sequence table 12c2 is read in accordance with the parameter data (i = 1) read together with the command code DH. The ID number = 2 of the HTML number 1 is read from (see FIG. 16) (step H1).
[0128]
Then, according to the standard text frame data and music image frame data of the HTML data read from the content data 12c4 (see FIG. 17) in association with the ID number = 2, as shown in FIG. The text display frame X and the image display frame Y for the display unit 18 are set (step H2).
[0129]
When the third command code “PS” (i-th sound file play) and its parameter data “01” are read out, the file sequence table 12c2 according to the parameter data (i = 1) read out together with the command code PS. The ID number = 31 of the voice number 1 is read from (see FIG. 16) (step J1).
[0130]
Then, the music sound data {1} read from the content data 12c4 (see FIG. 17) in association with the ID number = 31 is output from the sound output unit 19 (step J2). The output volume at this time is set as a default value i = 5.
[0131]
When the fourth command code “LT” (i-th text load) and its parameter data “01” are read, the file sequence table 12c2 ( The ID number = 20 of the text number 1 is read out from FIG. 16) (step B1).
[0132]
Then, the music lyrics data {1} read from the content data 12c4 (see FIG. 17) in association with the ID number = 20 is loaded into the work area of the RAM 12C (step B2).
[0133]
When the fifth command code "VD" (i-th text segment display) and its parameter data "06" are read, the fifth command code "VD" is loaded into the RAM 12C according to the parameter data (i = 6) read together with the command code VD. From the text of the music lyrics data {circle around (1)}, the sixth phrase is called and displayed in the text display frame X on the display screen (step C1).
[0134]
When the sixth command code “DI” (i-th image file display) and its parameter data “01” are read out, the file sequence table 12c2 according to the parameter data (i = 1) read out together with the command code DI. The ID number = 6 of the image number 1 is read from (see FIG. 16) (step I1).
[0135]
The image data (image A) read from the content content data 12c4 (see FIG. 17) and expanded in the image expansion buffer 12e in association with the ID number = 6 is the image data set in the HTML file. It is displayed in the display frame Y (step I2). The display position at this time is set as a default position i = 5 (center).
[0136]
When the seventh command code "LS" (single line scroll / character counter count up) and its parameter data "00" are read, the text data being displayed (music lyrics data {circle around (1)}) is scrolled and displayed by one line. At the same time (step G1), the character counter is incremented by one (step G2).
[0137]
When the eighth command code "NP" is read, the current synchronous display screen of the image and music lyrics text data and the synchronous output state of the music audio data are maintained.
[0138]
After that, when the 81st command code “LS” (single line scroll / character counter count-up) and its parameter data “00” are read out, as shown in FIG. 18B, the text data (music The lyrics data (1) is further scrolled and displayed by one line (step G1), and the character counter is counted up by one (step G2).
[0139]
Then, when the 82nd command code “MI” (image file is moved to the i-th position) and its parameter data “01” are read, according to the parameter data (i = 1) read together with the command code MI, The image file (image A) is moved and displayed at the first position (upper left: see FIG. 6A) on the image display frame Y (step M1).
[0140]
Then, when the 83rd command code “BS” (sound file volume i) and its parameter data “07” are read out, the audio output unit according to the parameter data (i = 7) read out together with the command code BS. The output volume of the sound file (music sound data {circle around (1)}) in step 19 is changed to "7" (step O1).
[0141]
Thereafter, when the 161st command code “LS” (one-line scroll / character counter count-up) and its parameter data “00” are read, as shown in FIG. 18C, the text data (music) being displayed is displayed. The lyrics data (1) is further scrolled and displayed by one line (step G1), and the character counter is counted up by one (step G2).
[0142]
Then, when the 162nd command code “MI” (image file is moved to the i-th position) and its parameter data “09” are read, according to the parameter data (i = 9) read together with the command code MI, The image file (image A) is moved and displayed at the ninth position (lower right: see FIG. 6A) on the image display frame Y (step M1).
[0143]
Then, when the 163rd command code “BS” (sound file volume i) and its parameter data “05” are read out, the audio output unit according to the parameter data (i = 5) read out together with the command code BS. The output volume of the sound file (music sound data {circle around (1)}) in step 19 is changed to "5" (step O1).
[0144]
Thereafter, when the 241st command code “LS” (single-line scroll / character counter count-up) and its parameter data “00” are read, as shown in FIG. The lyrics data (1) is further scrolled and displayed by one line (step G1), and the character counter is counted up by one (step G2).
[0145]
When the 242nd command code “SI” (the image file is enlarged to the i-th size) and its parameter data “03” are read, according to the parameter data (i = 3) read together with the command code SI, The image file (image A) on the image display frame is changed to the third size (vertical maximum size: see FIG. 6B) and displayed (step N1).
[0146]
Then, when the 243rd command code “BS” (sound file volume i) and its parameter data “08” are read out, the audio output unit according to the parameter data (i = 8) read out together with the command code BS. The output volume of the sound file (music sound data {circle around (1)}) in step 19 is changed to "8" (step O1).
[0147]
In this way, according to the time code file 12c3 (see FIG. 15), the file sequence table 12c2 (see FIG. 16), and the content content data 12c4 (see FIG. 17) in the music reproduction file (12c), the reproduction file is set in advance. By performing command processing for each processing unit time (50 ms), music lyrics text data is displayed in a text display frame X on the display screen, as shown in FIGS. The corresponding image data is synchronously displayed in the image display frame Y, and the audio output unit 19 synchronously outputs the music audio data of the currently displayed music lyrics text, and changes the position and size of the image file and the audio file. Synchronous control of output volume change is performed sequentially.
[0148]
Thus, the CPU 11 of the portable device 10 merely instructs the playback file 12b (12c) to execute various command processes according to the command code and the parameter data for each unit time of the command process described in advance. Synchronous reproduction processing of a music text file, a music image file, and a music audio file can be performed. Therefore, the load on the main processing of the CPU is reduced, and even a CPU having a relatively small processing capacity can easily perform synchronous reproduction processing including text image and sound.
[0149]
In the synchronous playback processing of a text file, an image file, an audio file, and the like in each of the above-described embodiments, the text file is displayed by displaying a phrase highlight (emphasis) in accordance with the output of the audio file. As shown in the following FIG. 19, a configuration may be adopted in which text change display according to the file reproduction status is performed by character color change display, character size change display, character transparency display, font change display, or the like.
[0150]
Further, in the synchronous playback processing of a text file, an image file, an audio file, and the like in each of the above embodiments, in the display of the image file, a position change display and a size change display according to the playback status of each file are performed. However, the image file may be replaced and displayed according to the reproduction status.
[0151]
Further, as shown in FIG. 19, the configuration may be such that the HTML files are exchanged according to the reproduction status of the files.
[0152]
FIG. 19 is a diagram showing various changed playback states in accordance with the playback status of a file accompanying the file playback process of the portable device 10.
[0153]
That is, as shown in FIG. 19A, for example, in the text display frame X1 of the HTML file 1, the text data is designated in blue and the color change display M is performed in accordance with the audio file output of the vocabulary special training, and further, the text is displayed. In the display frame X2, the display of the meaning content of the language corresponding to the portion of the color change display M may be displayed in synchronization with the appearance display N of transparent characters or the font change display.
[0154]
Further, as shown in FIG. 19B, a configuration may be adopted in which the HTML files are exchanged for each of the display frames X1 and X2 in accordance with the progress of the file reproduction.
[0155]
Therefore, according to the file reproducing function of the portable device 10 having the above-described configuration, the unit time (25 ms / 25 ms / sec) of the command processing set and described in the reproduction file 12 b (12 c) according to the reproduction processing program 12 a stored in the ROM 12 A in advance. Every 50 ms), the command code and its parameter data arranged in the time code file 12c3 are read out, and only the processing corresponding to the command is instructed, and the text / code corresponding to each command described in the time code file 12c3 is read. Since the synchronous reproduction processing of the image / audio file and the like is executed, the load of the CPU 11 can be extremely reduced, and the synchronous reproduction of various files can be performed.
[0156]
Further, according to the file playback function of the portable device 10 having the above-described configuration, not only a simple synchronous playback process of a text / image / sound file, but also a text highlighting, a scrolling display, an image position, etc. Since the configuration is such that the reproduction effects of various files such as the change display and the size change display are combined, more effective synchronous reproduction of the various files can be performed.
[0157]
Further, according to the file playback function of the portable device 10 having the above configuration, if there is an image file display command after the current command processing position according to the time code file 12c3 of the playback file 12c, the image file is displayed. Is pre-read and expanded, so that the designated image file can be displayed immediately without delay in processing at the time of actual image display.
[0158]
In addition, the method of each processing by the portable device 10 described in the embodiment, that is, the file reproduction processing shown in the flowchart of FIG. 8, the file pre-reading processing started in parallel with the file reproduction processing shown in the flowchart of FIG. Other command processing associated with the file playback processing shown in the flowchart of FIG. 11, processing of other command processing associated with the file playback processing shown in the flowchart of FIG. 11, and extended command processing accompanying the file playback processing shown in the flowchart of FIG. Each of the methods shown in the flowchart of FIG. 13, such as the processing of the extended command processing accompanying the file reproduction processing, is a program that can be executed by a computer, such as a memory card (ROM card, RAM card, etc.), a magnetic disk, (Floppy disk , A hard disk, etc.), optical disk (CD-ROM, DVD, etc.) can be distributed and stored in the external recording medium 13 such as a semiconductor memory. Various computer terminals having a communication function with the communication network (Internet) N read the program stored in the external recording medium 13 into the memory 12 by the recording medium reading unit 14, and operate according to the read program. By being controlled, the function of synchronizing and playing back a plurality of files described in the above-described embodiment can be realized, and the same processing can be performed by the above-described method.
[0159]
Further, data of a program for realizing each of the above methods can be transmitted on a communication network (Internet) N in the form of a program code, and a computer terminal connected to the communication network (Internet) N transmits the program data. By taking in program data, it is also possible to realize the multiple file synchronous reproduction function described above.
[0160]
It should be noted that the present invention is not limited to the above-described embodiments, and can be variously modified in an implementation stage without departing from the scope of the invention. Furthermore, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in each embodiment or some components are combined, the problem described in the section of the problem to be solved by the invention can be solved. In the case where the effects described in the section of the effects of the invention can be obtained, a configuration in which this component is deleted or combined can be extracted as the invention.
[0161]
【The invention's effect】
As described above, according to the reproduction control device (reproduction control processing program) according to claim 1 (claim 12) of the present invention, the reproduction commands of a plurality of types of files are sequentially arranged at predetermined reference time intervals. Playback information storage means for storing the file and a file storage means for storing a plurality of types of files, based on the time measured by the time measurement means, for each reference time interval predetermined by the playback information storage means In response to a stored file playback command, a plurality of types of files stored by the file storage unit are played back.
[0162]
Thus, in response to a playback instruction of a file stored by the playback information storage unit, an instruction of a playback process of the file to be played back stored by the file storage unit is given only sequentially at reference time intervals, so that a plurality of types of files can be read. Synchronous reproduction processing can be easily performed.
[0163]
According to the playback control device of the second aspect of the present invention, since the playback command of the file includes the playback mode command for instructing the playback mode of the file, the playback mode of each file can be easily specified. be able to.
[0164]
Further, according to the reproduction control device of the third aspect of the present invention, as the reproduction mode instruction of the text file, a part of the character string included in the text file specified by the instruction is different from other character string parts. Since an instruction to display in a display mode is included, a character string of a text can be displayed in a different display mode.
[0165]
According to the reproduction control apparatus of the fourth aspect of the present invention, the display mode instruction of the text file includes an instruction to display a character color, a character size, or a character font in a display mode different from that of another character string. With this configuration, the character color, character size, or character font can be easily displayed in a form different from other character strings.
[0166]
According to the reproduction control device of the fifth aspect of the present invention, the text file reproduction mode instruction includes an instruction to scroll and display a character string included in the text file. Can be displayed.
[0167]
Further, according to the reproduction control device of the sixth aspect of the present invention, as the reproduction mode instruction of the image file, the instruction to change the position of the image included in the image file or the instruction to change the image size is included. As a result, the image file can be easily changed in position or displayed in size.
[0168]
Further, according to the reproduction control device of the seventh aspect of the present invention, since the reproduction mode instruction of the audio file includes the instruction to stop the reproduction of the audio file for a designated time, the audio file can be easily reproduced. Playback can be stopped for a specified time.
[0169]
According to the reproduction control device of the eighth aspect of the present invention, one of the plurality of types of time intervals is determined and set as the predetermined reference time interval. , An appropriate reference time interval can be determined and set from among a plurality of types of reference time intervals.
[0170]
According to the playback control device of the ninth aspect of the present invention, in the playback command of the file stored by the playback information storage unit, the file after the file playback command at the reference time interval corresponding to the current time is read. The reproduction command is pre-read, and the reproduction target file stored by the file storage means is pre-developed in accordance with the pre-read file reproduction command, so that the reproduction target file can be pre-developed. As a result, for example, even if the processing capacity of the CPU is small, sufficient processing can be performed by expanding the processing first.
[0171]
According to the reproduction control device of the tenth aspect of the present invention, the reproduction target file corresponding to the ID number stored in the file ID storage means is read and reproduced. Files can be read and played.
[0172]
Therefore, according to the present invention, it is possible to provide a reproduction control device that can perform synchronous reproduction of a plurality of types of files with a small CPU load.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of a portable device 10 according to an embodiment of a reproduction control device of the present invention.
FIG. 2 is a view showing a time code file 12c3 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 3 is a view showing a file sequence table 12c2 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 4 is a view showing content content data 12c4 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 5 shows command codes of various commands described in a time code file 12c3 (see FIG. 2) of the portable device 10 in association with parameter data thereof and command contents analyzed and analyzed based on a reproduction processing program 12a. FIG.
FIG. 6 is a diagram showing a position moving mode and a size changing mode of an image file according to an extension command described in a time code file 12c3 (see FIG. 2) of the portable device 10; FIG. 4B is a diagram that specifies a moving position of an image file according to a command MI, and FIG. 4B is a diagram that specifies a change size of an image file according to an extension command SI.
FIG. 7 is a view showing various file storage states of an encrypted playback file 12b stored in a flash memory 12B of the portable device 10.
FIG. 8 is a flowchart showing a reproduction process according to a reproduction process program 12a of the portable device 10.
FIG. 9 is a flowchart showing a prefetching process that is started in parallel with the reproduction process according to the reproduction process program 12a of the portable device 10.
FIG. 10 is a flowchart showing another command processing associated with the reproduction processing according to the reproduction processing program 12a of the portable device 10.
FIG. 11 is a flowchart showing the processing contents of other command processing associated with the reproduction processing according to the reproduction processing program 12a of the portable device 10.
FIG. 12 is a flowchart showing an extended command process associated with a playback process according to the playback process program 12a of the portable device 10.
FIG. 13 is a flowchart showing the processing contents of each of the extended command processes involved in the playback process according to the playback process program of the portable device 10.
FIG. 14 is a diagram showing a synchronized playback state of English text / image / audio files based on the English teaching material playback files in FIGS. 2 to 4;
FIG. 15 is a view showing a time code file 12c3 constituting a music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
FIG. 16 is a view showing a file sequence table 12c2 constituting a music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
FIG. 17 is a diagram showing content content data 12c4 constituting a music reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
FIG. 18 is a diagram showing a synchronized playback state of music text / image / audio files based on the music playback files in FIGS. 15 to 17;
FIG. 19 is a view showing various changed playback states according to a file playback state accompanying the file playback processing of the portable device 10.
[Explanation of symbols]
10… Portable equipment
11 ... CPU
12 ... memory
12A… ROM
12B: FLASH memory
12C ... RAM
12c1 ... header information
12c1a: Processing unit time
12c2: File sequence table
12c3: Time code file
12c4: Content data
12a: Reproduction processing program
12b: Encrypted playback file (CAS file)
12c: decrypted playback file (CAS file)
12d: Image developed flag
12e: Image expansion buffer
13. External recording medium
14: Recording medium reading unit
15 ... Transmission control unit
16… Communication unit
17 ... input section
18 Display part
19 ... voice output unit
20… Communication equipment (home PC)
30… Web server
N: Communication network (Internet)
X: Text display frame
Y: Image display frame

Claims

Reproduction information storage means for sequentially arranging and storing reproduction instructions for a plurality of types of files at predetermined reference time intervals,
File storage means for storing a plurality of types of files;
A timing means for measuring time;
Based on the time measured by the time measuring means, the reproduction information storing means stores a plurality of types of files stored by the file storing means in response to a file reproducing command stored at predetermined reference time intervals. Playback control means for performing a playback process;
A playback control device comprising:

2. The reproduction control device according to claim 1, wherein the reproduction command for the plurality of types of files includes a reproduction mode instruction for instructing a reproduction mode in each of the files.

The reproduction mode instruction is, when the file to be reproduced is a text file, an instruction to display a part specified by the instruction in a character string included in the text file in a display form different from that of other character strings. The playback control device according to claim 2, comprising:

4. The command for displaying a character color, a character size, or a character font in a display form different from that of another character string portion, wherein the command for displaying the character string, the character size, or the character font is different from that of the other character string portion. A reproduction control device according to claim 1.

The reproduction control device according to claim 2, wherein the reproduction mode instruction includes an instruction to scroll and display a character string included in the text file when the reproduction target file is a text file.

3. The reproduction mode instruction, when the reproduction target file is an image file, includes an instruction to change and display a position of an image included in the image file or an instruction to change and display an image size. A reproduction control device according to claim 1.

The reproduction control device according to claim 2, wherein the reproduction mode instruction includes an instruction to stop reproduction of the audio file for a designated time when the reproduction target file is an audio file.

8. The method according to claim 1, wherein the predetermined reference time interval is set by setting one reference time interval among a plurality of types of time intervals. 9. Playback control device.

further,
A reproduction command prefetching means for prefetching a file reproduction instruction after a file reproduction instruction at a reference time interval corresponding to the current time in a reproduction instruction of a file stored by the reproduction information storage means;
Playback file pre-expansion means for pre-expanding the reproduction target file stored by the file storage means in response to a file reproduction instruction pre-read by the reproduction instruction pre-reading means,
The reproduction control device according to any one of claims 1 to 8, further comprising:

The file playback command stored by the playback information storage means includes a type of the file to be played back and file designation information of the type,
The plurality of types of files stored by the file storage unit are stored in association with corresponding ID numbers, respectively.
Further, a file ID storage unit is provided which stores designation information of each file and its ID number in association with each file type stored by the file storage unit,
The reproduction control means, in accordance with a reproduction instruction of a file stored by the reproduction information storage means and its designation information, causes a reproduction target file corresponding to an ID number stored by the file ID storage means to be reproduced by the file storage means. The playback control device according to claim 1, wherein the playback control device reads out from a plurality of types of stored files and performs playback processing of a designated file.

A reproduction instruction for a plurality of types of files sequentially arranged and stored at predetermined reference time intervals by the reproduction information storage means and a plurality of types of files stored by the file storage means are combined as one reproduction file. The playback control device according to any one of claims 1 to 10, wherein:

A playback control processing program for controlling a computer of the playback device,
Said computer,
Playback information storage means for sequentially storing and storing playback commands for a plurality of types of files at predetermined reference time intervals;
File storage means for storing a plurality of types of files,
Timekeeping means for measuring time,
Based on the time measured by the time measuring means, the reproduction information storing means stores a plurality of types of files stored by the file storing means in response to a file reproducing command stored at predetermined reference time intervals. Playback control means for performing a playback process,
A computer-readable reproduction control processing program functioning as a computer.