JP2004170444A

JP2004170444A - Electronic equipment, instruction code generating device and electronic equipment control program, instruction code generation processing program

Info

Publication number: JP2004170444A
Application number: JP2002332511A
Authority: JP
Inventors: Toshihisa Nakamura; 利久中村; Koji Toriyama; 康治鳥山
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2004-06-17
Anticipated expiration: 2022-11-15
Also published as: JP4277512B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide electronic equipment, an instruction code generating device, an electronic equipment control program, and an instruction code generation processing program that easily generate relation information for synchronously reproducing an audio file and a text file. <P>SOLUTION: A voice output part 19b reproduces voice for reading aloud an English conversation text to be synchronously reproduced and a display part 18 displays the text as a text/voice synchronous display picture G and when respective word characters of the text are specified with a pointer as the text is read aloud through voice reproduction, the elapsed time Tn of the voice reproduction and coordinate-specified word No.'s are made to correspond to each other in order and saved as text/voice synchronous data. At intervals of previously set command processing unit time, a start command PS and a text display command VD of the voice reproduction are started to generate, on the basis of text/voice synchronous data, a file for voice/text synchronous reproduction in which highlight display commands HL by text words (characters) matching the elapsed time of the voice reproduction are written. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、音声データに文字データを同期させるための電子機器、命令コード作成装置、および電子機器制御プログラム、命令コード作成処理プログラムに関する。
【０００２】
【従来の技術】
従来、音楽，テキスト，画像などのファイルを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とその歌詞のテキストおよびイメージ画像を同期再生するものがある。
【０００３】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】
特公平０６−０２５９０５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００６】
このため、例えばＭＰ３音声ファイルにテキストファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声ファイルとして音声再生処理を継続的に行っていないと同期対象ファイルの再生を行うことが出来ない問題がある。
【０００７】
従って、従来この複数種類ファイルの同期再生処理は、ＭＰ３ファイルの再生処理をベースとして行われるため、再生装置のＣＰＵにおける処理の負荷が重くなる問題がある。
【０００８】
一方、前記特許文献１に記載の装置は、ＭＰＥＧファイルの付加データエリアを利用するものではなく、音声信号の変化を抽出して該音声信号の変化に対応する文字をメモリ上で関連付けて記憶しておくことで、当該音声の出力に伴い対応する文字を表示できるようにしたものであるが、このような音声／文字の関連付け情報は音声信号の時系列情報に対応付けて個々の文字を入力指定して行くことで生成されるので、当該音声／文字の関連付け情報を生成するのが非常に面倒で手間の掛かる問題がある。
【０００９】
本発明は、前記のような問題に鑑みてなされたもので、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる電子機器、命令コード作成装置、および電子機器制御プログラム、命令コード作成処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１に係る電子機器は、音声データを記憶する音声記憶手段と、テキストデータを記憶するテキスト記憶手段とを有し、音声出力手段により前記音声記憶手段により記憶された音声データが出力され、テキスト表示手段により前記テキスト記憶手段により記憶されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、同期表示手段により当該音声データの出力にテキストデータが同期されて表示される。
【００１１】
これによれば、記憶された音声データを再生しながら、記憶されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできることになる。
【００１２】
本発明の請求項２に係る電子機器は、音声データを入力する音声入力手段と、テキストデータを入力するテキスト入力手段とを有し、音声出力手段により前記音声入力手段により入力された音声データが出力され、テキスト表示手段により前記テキスト入力手段により入力されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、同期表示手段により当該音声データの出力にテキストデータが同期されて表示される。
【００１３】
これによれば、入力された音声データを再生しながら、入力されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできることになる。
【００１４】
本発明の請求項３に係る電子機器は、前記請求項１または請求項２に係る電子機器にあって、そのテキスト音声対応付け手段では、音声出力手段により音声データが出力された状態において、当該出力される音声データの出力経過時間と該出力音声の内容に合わせてテキスト位置検出手段により検出されたテキストデータの指定位置とが対応付けされる。
【００１５】
これによれば、音声データの出力経過時間に合わせて当該音声内容と同期させるべきテキストデータの位置とを対応付けできることになる。
【００１６】
本発明の請求項４に係る電子機器は、前記請求項１乃至請求項３の何れか１項に係る電子機器にあって、その同期表示手段では、テキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、当該音声データの出力内容に合わせたテキストデータの指定位置が識別可能に同期して表示される。
【００１７】
これによれば、音声再生に対応するテキスト位置を識別可能な同期表示で確認しながら対応付けできることになる。
【００１８】
本発明の請求項５に係る電子機器は、請求項１乃至請求項４の何れか１項に係る電子機器にあって、そのポインタとしては、表示されたテキストデータをマウスカーソルで指定するポインタとし、指定位置はテキストデータの文字位置とされる。
【００１９】
これによれば、表示されたテキストデータの文字位置を音声再生に合わせてマウスカーソルで指定するだけで、音声再生に対応するテキストの文字位置を同期表示で確認しながら対応付けできることになる。
【００２０】
本発明の請求項６に係る電子機器は、前記請求項１乃至請求項４の何れか１項に係る電子機器にあって、そのポインタとしては、表示されたテキストデータをペンタッチにより指定するポインタとし、指定位置はテキストデータの文字位置とされる。
【００２１】
これによれば、表示されたテキストデータの文字位置を音声再生に合わせてペンタッチで指定するだけで、音声再生に対応するテキストの文字位置を同期表示で確認しながら対応付けできることになる。
【００２２】
本発明の請求項７に係る命令コード作成装置は、音声データを入力する音声入力手段と、テキストデータを入力するテキスト入力手段とを有し、音声出力手段により前記音声入力手段により入力された音声データが出力され、テキスト表示手段により前記テキスト入力手段により入力されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付け情報に基づいて、当該音声データとテキストデータとを同期して再生させる命令が再生命令作成手段により予め設定された命令コードの実行タイミングに合わせて作成される。
【００２３】
これによれば、音声データを再生しながら、テキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置の対応付け情報を生成でき、これに基づき当該音声データとテキストデータとを同期再生させるための命令を容易に作成できることになる。
【００２４】
本発明の請求項８に係る命令コード作成装置は、前記請求項７に係る命令コード作成装置にあって、そのテキスト音声対応付け手段では、音声出力手段により音声データが出力された状態において、当該出力される音声データの出力経過時間と該出力音声の内容に合わせてテキスト位置検出手段により検出されたテキストデータの指定位置とがデータテーブルにて対応付けされて保存され、再生命令作成手段では、前記テキスト音声対応付け手段によりデータテーブルに保存された音声データの出力経過時間とテキストデータの指定位置に基づいて、当該音声データとテキストデータとを同期して再生させるための命令が予め設定された命令コードの実行タイミングに合わせて作成される。
【００２５】
これによれば、表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生の出力経過時間とテキスト位置とを対応付けたデータテーブルを生成でき、このデータテーブルに基づき音声データとテキストデータとを同期再生させるための命令を容易に作成できることになる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２７】
図１は本発明の電子機器（命令コード作成装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００２８】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）１１が備えられる。
【００２９】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ（携帯機器）制御プログラム１２ａ、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａ、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラム１２ａは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００３０】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、スピーカを備え音声を出力する音声出力部１９ｂなどが接続される。
【００３１】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００３２】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００３３】
ＲＯＭ１２Ａには、当該携帯機器１０のＰＤＡ制御プログラム１２ａとして、その全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を作成する同期コンテンツ作成処理プログラム１２ａ１、これにより作成された再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）に従い音声・テキスト・画像などの各種のファイルを同期再生するための同期コンテンツ再生処理プログラム１２ａ２など、種々のＰＤＡ制御プログラム１２ａｎが記憶される。
【００３４】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記同期コンテンツ作成処理プログラム１２ａ１に従い作成され、また前記同期コンテンツ再生処理プログラム１２ａ２に従い再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００３５】
ここで、前記ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英会話の練習やカラオケをテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００３６】
この作成された暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録して配布したり、電送制御部１５を介して通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０へ転送配布したり、あるいは通信部１６を介して外部の通信機器（ＰＣ）２０へ転送配布したりするもので、この暗号化再生用ファイル１２ｂは、例えば英会話練習用のファイルとして本携帯機器（ＰＤＡ）１０により作成され、英会話練習者の各端末である外部通信機器（ＰＣ）２０や該各端末からアクセス可能なファイル配信サーバ３０へ転送格納される。
【００３７】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｅが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２ｃ１ａ）を記憶するヘッダ情報（１２ｃ１）、および後述するファイルシーケンステーブル（１２ｃ２）、タイムコードファイル（１２ｃ３）、コンテンツ内容データ（１２ｃ４）で構成される。
【００３８】
そしてまた、ＲＡＭ１２Ｃには、音声とテキストを同期再生するための再生用ファイル１２ｂ（１２ｃ）を前記同期コンテンツ作成処理プログラム１２ａ１に従い作成処理する過程において生成される、音声とテキストを同期付けたテキスト音声同期データ１２ｄが記憶される。
【００３９】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００４０】
図２は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図である。
【００４１】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図である。
【００４２】
図４は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図である。
【００４３】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図２〜図４で示すように、前記同期コンテンツ作成処理プログラム１２ａ１に従い作成（作成処理については後述する）されるタイムコードファイル１２ｃ３とファイルシーケンステーブル１２ｃ２とコンテンツ内容データ１２ｃ４との組み合わせにより構成される。
【００４４】
図２で示すタイムコードファイル１２ｃ３には、個々のファイル毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図４参照）を対応付けするためのファイルシーケンステーブル１２ｃ２（図３）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００４５】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃ３のヘッダ情報１２ｃ１に処理単位時間１２ｃ１ａとして記述設定される。
【００４６】
図３で示すファイルシーケンステーブル１２ｃ２は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２ｃ３（図２参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００４７】
図４で示すコンテンツ内容データ１２ｃ４は、前記ファイルシーケンステーブル１２ｃ２（図３参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００４８】
図５は前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図である。
【００４９】
タイムコードファイル１２ｃ３に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００５０】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている同期コンテンツ再生処理プログラム１２ａ２を起動させて、ＦＬＡＳＨメモリ１２Ｂから解読されＲＡＭ１２Ｃに記憶された解読再生用ファイル１２ｃが、例えば図２乃至図４で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０２”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０２からファイルシーケンステーブル１２ｃ２（図３参照）にリンク付けられる画像ファイルのＩＤ番号＝７に従い、コンテンツ内容データ１２ｃ４（図４参照）の画像Ｂが読み出されて表示される。
【００５１】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００５２】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００５３】
なお、この複数種類のコンテンツを同期再生するための図２で示したタイムコードファイル１２ｃ３の作成動作、および図２乃至図４で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００５４】
図６は前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図である。
【００５５】
このテキスト音声同期データ１２ｄは、音声データにテキストを対応付けて同期再生するための再生用ファイル１２ｂ（１２ｃ）の作成に伴うテキストタッチ音声同期処理（図９参照）において、同期付けすべき音声データを再生しながら表示されているテキストデータを該音声内容に順次対応付けながらマウスカーソルまたはペンタッチにより各文字や単語部分を指定して行くことで、当該テキスト内容の各単語（単語Ｎｏ．）毎に音声データの再生経過時間が対応付けされて生成される。
【００５６】
次に、前記構成の携帯機器１０により各種ファイルの同期再生を図る再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を作成するための同期コンテンツ作成機能について説明する。
【００５７】
図７は前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理を示すフローチャートである。
【００５８】
図８は前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャートである。
【００５９】
図９は前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャートである。
【００６０】
図１０は前記携帯機器１０の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図である。
【００６１】
図１１は前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャートである。
【００６２】
例えば英語の勉強が音声とテキストと画像で行える英語教材再生ファイル１２ｂ（１２ｃ）を作成するために、同期コンテンツ作成処理プログラム１２ａ１を起動させると、まず、各コンテンツ取得保存処置（図８参照）が実行される（ステップＡＢ）。
【００６３】
この各コンテンツ取得保存処置では、同期コンテンツとして利用するテキスト，音声，画像の各データを入力して保存するもので、まず、入力部１７ａにおけるキー入力操作あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、例えば英語教材のテキストデータが入力される（ステップＢ１）。
【００６４】
入力されたテキストデータは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２ｃ４（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ２）、シーケンシャルファイルテーブル１２ｃ２（図３参照）のテキスト指定情報として追加記憶される（ステップＢ３）。
【００６５】
また、音声入力部１９ａによる音声入力あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、同英語教材のテキストに対応した音声データが入力される（ステップＢ４）。
【００６６】
入力された音声データは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２ｃ４（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ５）、シーケンシャルファイルテーブル１２ｃ２（図３参照）の音声指定情報として追加記憶される（ステップＢ６）。
【００６７】
さらに、デジタルカメラによる各撮影画像を記録したＣＤ−Ｒなどの記録媒体１３を記録媒体読取部１４を介して読み取るか、あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、同英語教材のテキスト・音声に対応した画像データが入力される（ステップＢ７）。
【００６８】
入力された画像データは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２ｃ４（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ８）、シーケンシャルファイルテーブル１２ｃ２（図３参照）の画像指定情報として追加記憶される（ステップＢ９）。
【００６９】
このような、各コンテンツ取得保存処置（ステップＡＢ）により、同期再生の対象となる種々のコンテンツが順次入力され、コンテンツ内容データ１２ｃ４（図４参照）としてＩＤ番号を対応付けて保存されると共に、シーケンシャルファイルテーブル１２ｃ２（図３参照）のコンテンツ指定情報として追加記憶されると、今回作成すべき英語教材再生ファイル１２ｂ（１２ｃ）によって同期再生を図るテキスト、音声、画像が順次指定される（ステップＡ１，Ａ２，Ａ３）。
【００７０】
すると、図９におけるテキストタッチ音声同期処置（ステップＡＣ）に移行される。
【００７１】
このテキストタッチ音声同期処置（ステップＡＣ）では、図１０に示すように、前記ステップＡ１〜Ａ３において指定された音声データを音声出力部１９ｂから再生するのと共に、テキストデータを表示部１８に表示し、このテキスト音声同期表示画面Ｇにおいて、音声出力（単語の読み上げ）に合わせて対応するテキスト中の単語をユーザ操作により指定することで、当該テキスト内容の各単語（単語Ｎｏ．）毎に音声データの再生経過時間をテキスト音声同期データ１２ｄ（図６参照）に対応付けて生成する。図１０に示した携帯機器１０において、前記ステップＡ２において指定された同期再生すべき音声データは、音声出力部１９ｂから出力されるもので、１９ｂｆは音声再生キー、１９ｂｓは音声再生停止キー、１９ｂｒは音声巻き戻しキーである。
【００７２】
すなわち、テキスト単語のカウンタｎに“１”がセットされると（ステップＣ１）、同期再生すべき指定の音声の再生が音声出力部１９ｂにより開始されたか判断され（ステップＣ２）、ＣＰＵ１１に内蔵される時間カウントタイマがスタートされる（ステップＣ３）。
【００７３】
ここで、図１０（Ａ）に示すように、テキスト音声同期表示画面Ｇにおいて、音声出力部１９ｂから出力される音声が読み上げる英会話の音声内容に合わせて、マウスカーソルＭあるいはペンタッチによる座標入力装置１７ｂを使用して英会話テキスト上の対応する単語を順次指定操作する。
【００７４】
そして、前記座標入力装置１７ｂにより入力されたユーザ操作に伴うテキスト上での座標位置が、ｎ番目（最初は“１”番目）の単語上にあると判断されると（ステップＣ４）、入力部１７ａにおいて当該テキストタッチ音声同期処理を実行させるための「実行」キーが既に押されていることが判断確認される（ステップＣ５）。
【００７５】
すると、音声再生経過時間に相当する前記時間カウントタイマの現在のカウント値がＴｎ（ｎ＝１）として読み出されると共に（ステップＣ６）、図６に示すように、テキスト音声同期データ１２ｄの単語Ｎｏ．１に対応付けて保存される（ステップＣ７）。
【００７６】
すると、前記英会話の音声内容に合わせて指定された英会話テキスト上の対応するｎ番目（ｎ＝１）の単語「Ｗｈａｔ」が反転表示Ｈにより識別表示され（ステップＣ８）、当該ｎ番目の単語が表示中のテキスト内容の最後の単語であるか否か判断される（ステップＣ９）。
【００７７】
この場合、例えばｎ＝１で１番目の単語「Ｗｈａｔ」はテキスト内容の最後の単語ではないと判断されるので、前記カウンタｎが＋１されて“２”にカウントアップされ（ステップＣ１０）、入力部１７ａにおいて本テキストタッチ音声同期処理を中止させるためのストップキーが操作されたか否か判断される（ステップＣ１１）。
【００７８】
ここで、ストップキーが操作されない場合には、前記ステップＣ９においてカウンタｎのカウント値がテキスト内容の最後の単語数に等しいと判断されるまで、前記ステップＣ４〜Ｃ１１の処理が繰り返し実行される。すなわち、図１０（Ａ）および図１０（Ｂ）に示すように、前記テキスト音声同期表示画面Ｇに表示された英会話テキストの音声再生による読み上げに合わせた座標入力装置１７ｂによる対応単語のユーザ指定操作に応じて（ステップＣ４→Ｃ５）、当該指定の単語Ｎｏ．毎に音声再生経過時間Ｔｎが対応付けられてテキスト音声同期データ１２ｄ（図６参照）として保存され（ステップＣ６，Ｃ７）、また当該英会話テキスト上の対応する単語までが反転表示Ｈにより識別表示される（ステップＣ８）。
【００７９】
これにより、図１０で示したテキスト音声同期データ１２ｄには、同期再生すべき英会話テキストの各単語Ｎｏ．毎に、順次当該テキストを読み上げる音声再生の経過時間が対応付けられて保存される。
【００８０】
こうして、前記テキストタッチ音声同期処置（ステップＡＣ）が終了すると、これにより生成されたテキスト音声同期データ１２ｄがＲＡＭ１２Ｃ内に保存され（ステップＡ４）、図１１におけるタイムコードファイル作成処置に移行される（ステップＡＤ）。
【００８１】
このタイムコードファイル作成処置が起動されると、まず、これから作成すべきタイムコードファイル１２ｃ３（図２参照）の処理単位時間１２ｃ１ａがユーザ操作により基準時間（２５ｍｓ／５０ｍｓ／１００ｍｓ／…）の中から選択され（ステップＤ１）、当該タイムコードファイル１２ｃ３のヘッダ情報１２ｃ１として書き込まれる（ステップＤ２）。
【００８２】
すると、１番目の命令としてクリアスクリーン（全ファイルクリア）の命令が、コマンドコード“ＣＳ”およびパラメータデータ“００”として書き込まれ（ステップＤ３）、また、指定画像の表示命令が、２番目の表示エリア設定命令［コマンドコード“ＤＨ”・パラメータデータ“０２”］、３番目の画像２表示命令［コマンドコード“ＤＩ”・パラメータデータ“０２”］として書き込まれる（ステップＤ４）。
【００８３】
さらに、４番目の命令として指定音声のスタート命令が、コマンドコード“ＰＳ”およびパラメータデータ“０２”として書き込まれ（ステップＤ５）、また、指定テキストの０番目文節の表示命令が、５番目のテキスト指定命令［コマンドコード“ＬＴ”・パラメータデータ“０２”］、６番目のテキスト文節表示命令［コマンドコード“ＶＤ”・パラメータデータ“００”］として書き込まれる（ステップＤ６）。
【００８４】
さらに、７番目の命令として文節中の文字カウンタリセット命令が、コマンドコード“ＢＬ”およびパラメータデータ“００”として書き込まれる（ステップＤ７）。
【００８５】
こうして、タイムコードファイル１２ｃ３の７番目の命令までに、全ファイルクリア、表示エリア設定、指定画像“２”の表示、指定音声“２”の再生開始、指定テキスト“２”の表示、文字カウンタリセットの各コマンドコードおよびそのパラメータデータがセットされると、ＲＡＭ１２Ｃに保存されたテキスト音声同期データ１２ｄが読み出されると共に（ステップＤ８）、指定のテキスト“２”がコンテンツ内容データ１２ｃ４から読み出され（ステップＤ９）、当該テキスト上の単語番号が“１”に指定される（ステップＤ１０）。
【００８６】
すると、当該指定の単語番号“１”に対応する単語「Ｗｈａｔ」までの文字数が“４”としてカウントされると共に（ステップＤ１１）、この指定の単語番号“１”に同期付けられる音声再生時間Ｔｎ（ｎ＝１）（この場合「…００：１５３」）が読み出される（ステップＤ１２）。
【００８７】
そして、前記指定の単語番号の音声再生時間Ｔｎを前記ステップＤ１にて選択された処理単位時間（基準時間）１２ｃ１ａで割り算してタイムコードファイルの命令コード番号が求められ（ステップＤ１３）、このコード番号は未使用か否か判断される（ステップＤ１４）。
【００８８】
ここで、ステップＤ１３にて求められた命令コード番号が既に使用されている場合には、その次のコード番号が指定される（ステップＤ１５）。
【００８９】
すなわち、タイムコードファイル１２ｃ３による同期コンテンツの再生処理開始から何番目の命令コードの位置に指定の単語番号に対応する音声再生時間が到達しているか判断され、当該指定の単語までをハイライト（識別）表示させるタイミングの命令コード番号が求められるもので、この求められたコード番号が既に使用されていて次のコード番号が指定された場合に、その命令コード番号のタイミング遅れは、当該タイムコードファイル１２ｃ３自体の処理単位時間（基準時間）１２ｃ１ａが例えば［２５ｍｓ］と極めて短いことから許容値として無視される。
【００９０】
すると、前記ステップＤ１２〜Ｄ１５において求められた命令コード番号の位置に、前記ステップＤ１１にてカウントされた指定の単語までの文字数までをハイライト表示させるための命令が書き込まれる（ステップＤ１６）。例えば指定の単語番号“１”である場合に当該単語「Ｗｈａｔ」までの文字数（４文字）をハイライト表示する命令が、コード番号“８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０４”として書き込まれる。
【００９１】
すると、指定されているテキスト上の単語番号が（＋１）されて“２”に指定され（ステップＤ１７）、これに対応する単語「ｈｉｇｈ」のデータ有りと判断されて（ステップＤ１８）、ステップＤ１１に戻り、当該単語番号“２”の単語「ｈｉｇｈ」までの総文字数（９文字：含スペース）がカウントされる。
【００９２】
この後、前記ステップＤ１１〜Ｄ１８の処理が繰り返し実行されると、指定の単語番号“２”である場合に当該単語「ｈｉｇｈ」までの文字数（９文字）をハイライト表示する命令が、コード番号“１２”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０９”として書き込まれる。
【００９３】
また、指定の単語番号“３”である場合には当該単語「ｓｃｈｏｏｌ」までの文字数（１６文字）をハイライト表示する命令が、コード番号“３５”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１６”として書き込まれる。
【００９４】
さらに、指定の単語番号“４”である場合には当該単語「ｄｏ」までの文字数（１９文字）をハイライト表示する命令が、コード番号“５８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１９”として書き込まれる。
【００９５】
なお、前記テキスト音声同期データ１２ｄに基づいた当該テキスト中の各単語毎のハイライト表示命令“ＨＬ”が書き込まれた命令コード番号以外のコード番号の位置には、何れも無効命令としてのマンドコード“ＮＰ”およびパラメータデータ“００”が書き込まれる。
【００９６】
この後、前記ステップＤ１８において、指定の単語番号に対応する単語のデータ無しと判断されると、次のコード番号の命令として処理終了の命令が、コマンドコード“ＦＮ”およびパラメータデータ“００”として書き込まれる（ステップＤ１９）。
【００９７】
こうして、前記タイムコードファイル作成処置（ステップＡＤ）により、前記テキスト音声同期データ１２ｄに基づいたタイムコードファイル１２ｃ３が作成されると、このタイムコードファイル１２ｃ３はＲＡＭ１２Ｃ内に保存される（ステップＡ５）。
【００９８】
こうして、指定の音声・テキスト・画像の各コンテンツを同期付けて再生するための再生用ファイル（ＣＡＳファイル）１２ｃが、前記同期コンテンツ作成処理に従い、ヘッダ情報１２ｃ１，ファイルシーケンステーブル１２ｃ２，タイムコードファイル１２ｃ３，コンテンツ内容データ１２ｃ４の組み合わせにより容易に作成されてＲＡＭ１２Ｃに保存される。
【００９９】
このメモリ１２に保存された同期コンテンツ再生用ファイル（ＣＡＳファイル）１２ｂ（１２ｃ）は、同期コンテンツ再生処理プログラム１２ａ２と共に、ＣＤ−Ｒなどの外部記録媒体１３に記録して配布したり、電送制御部１５からネットワークＮを介してＷｅｂサーバ３０…に配信したり、通信部１６を介して外部通信機器（ＰＣ）２０…に配信したりすることで、当該再生用ファイル（ＣＡＳファイル）１２ｂ（１２ｃ）を作成した携帯機器１０自身だけでなく、その他の各コンピュータ端末においても同様にその再生処理を実行することができる。
【０１００】
次に、前記構成の携帯機器１０により各種ファイルの同期再生を図る再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を再生するための同期コンテンツ再生機能について説明する。
【０１０１】
図１２は前記携帯機器１０の同期コンテンツ再生処理プログラム１２ａ２に従った同期コンテンツ再生処理を示すフローチャートである。
【０１０２】
前記同期コンテンツ作成処理により作成された再生用ファイル（ＣＡＳファイル）１２ｂがＦＬＡＳＨメモリ１２Ｂに格納された状態において、入力部１７ａの操作によりこの再生用ファイル１２ｂの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【０１０３】
そして、ＦＬＡＳＨメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ２）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ３）。
【０１０４】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ３→Ｓ４）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ５）。
【０１０５】
すると、このＲＡＭ１２Ｃに格納された解読済の再生用ファイル（ＣＡＳファイル）１２ｃ（図２参照）のヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ）が、ＣＰＵ１１による当該解読済再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ６）。
【０１０６】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ７）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ８）。
【０１０７】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ９）。
【０１０８】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２ｃ３（図２参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｅに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【０１０９】
前記ステップＳ８において、処理タイマがスタートされると、前記ステップＳ６にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間（２５ｍｓ）毎に、前記ステップＳ７にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２ｃ３（図２参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１０）。
【０１１０】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１１）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１１→Ｓ１２）。
【０１１１】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＰ”か否か判断され（ステップＳ１１→Ｓ１３）、“ＰＰ”と判断された場合には、その時点で当該ファイル再生処理の一時停止処理（処理タイマストップ）が指示実行される（ステップＳ１３→Ｓ１４）。この停止処理は、ユーザのマニュアル操作に応じてｉ秒間の停止及び停止解除が行われる。
【０１１２】
ここで、入力部１７ａにおけるユーザ操作に基づき一時停止解除の入力が為された場合には、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断される（ステップＳ１５→Ｓ１６）。
【０１１３】
一方、前記ステップＳ１３において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ３（図２参照）から読み出されたコマンドコードが、“ＰＰ”ではないと判断された場合には、他のコマンド処理へ移行されて各コマンド内容（図５参照）に対応する処理が実行される（ステップＳＥ）。
【０１１４】
そして、ステップＳ１６において、前記タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１６→Ｓ１７）、前記ステップＳ１０における当該読み出しポインタの位置のタイムコードファイル１２ｃ３（図２参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１７→Ｓ１０〜Ｓ１６）。
【０１１５】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期コンテンツ再生処理プログラム１２ａ２に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２ｃ３（図２参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ３に記述された各コマンドに応じた各種ファイルの同期再生処理が実行される。
【０１１６】
ここで、前記同期コンテンツ作成処理プログラム１２ａ１によって作成された図２で示す英語教材再生ファイル１２ｃに基づいた、前記前記同期コンテンツ再生処理プログラム１２ａ２による音声・テキストファイルの同期再生動作について詳細に説明する。
【０１１７】
この英語教材再生ファイル（１２ｃ）は、そのヘッダ情報（１２ｃ１）に記述設定された処理単位時間（２５ｍｓ）１２ｃ１ａ毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃ３（図２参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・画像・音声ファイルの出力がクリアされる。
【０１１８】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からＨＴＭＬ番号２のＩＤ番号＝３が読み出される。
【０１１９】
そして、このＩＤ番号＝３に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されるＨＴＭＬデータに応じて、例えば図１０（Ａ）で示したテキスト音声同期表示画面Ｇと同様に、表示部１８に対するテキスト表示エリアや画像表示フレームが設定される。
【０１２０】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から画像番号２のＩＤ番号＝７が読み出される。
【０１２１】
そして、このＩＤ番号＝７に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データが、前記ＨＴＭＬファイルで設定された画像表示フレーＹ内に表示される。
【０１２２】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）から音声番号２のＩＤ番号＝３２が読み出される。
【０１２３】
そして、このＩＤ番号＝３２に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話音声データ▲２▼が音声出力部１９ｂから出力される。
【０１２４】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からテキスト番号２のＩＤ番号＝２１が読み出される。
【０１２５】
そして、このＩＤ番号＝２１に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話テキストデータ▲２▼がＲＡＭ１２Ｃのワークエリアにロードされる。
【０１２６】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２ｃ４（図４参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ▲２▼の中から呼び出されて表示画面上のテキスト表示フレーム内に表示される。
【０１２７】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記表示中の英会話文節の文字カウンタがリセットされ、０番目の文節ブロックが指定される。
【０１２８】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０４”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝４）に応じて、テキストデータの４番目の文字「Ｗｈａｔ」までハイライト表示（強調表示）される。
【０１２９】
そして、文字カウンタが４番目の文字までカウントアップされる。
【０１３０】
第９コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１３１】
続いて、第１２コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０９”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝９）に応じて、テキストデータの９番目の文字「ｈｉｇｈ」までハイライト表示（強調表示）される。
【０１３２】
また、第３５コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“１６”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１６）に応じて、テキストデータの１６番目の文字「ｓｃｈｏｏｌ」までハイライト表示（強調表示）される。
【０１３３】
このように、前記同期コンテンツ作成処理プログラム１２ａ１に従い作成された英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２ｃ３（図２参照）・ファイルシーケンステーブル１２ｃ２（図３参照）・コンテンツ内容データ１２ｃ４（図５参照）に基づき、当該再生ファイルに予め設定された処理単位時間（２５ｍｓ）毎のコマンド処理を、同期コンテンツ再生処理プログラム１２ａ２によって行うことで、表示画面上に英会話テキストデータが表示されると共に、音声出力部１９ｂから表示中の英会話テキストを読み上げる英会話音声データが同期出力され、当該英会話テキストの読み上げ文節が各文字（単語）毎に順次同期ハイライト（強調）表示されるようになる。
【０１３４】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に予め記述されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、英会話テキストファイル、英会話画像ファイル、英会話音声ファイルの同期再生処理を行うことができる。
【０１３５】
よって、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト・音声・画像を含む同期再生処理が行える。
【０１３６】
したがって、前記構成の携帯機器１０による同期コンテンツ作成機能によれば、同期再生図るべき例えば英会話のテキストを読み上げる音声データとそのテキストデータとをメモリ１２内にコンテンツ内容データ１２ｃ４として保存し、この音声データを音声出力部１９ｂにて再生するのと共に、テキストデータを表示部１８にてテキスト音声同期表示画面Ｇとして表示させ、音声再生によるテキスト音声同期表示画面Ｇ上のテキストの読み上げに合わせて当該テキストの各単語文字をマウスやタブレットの座標入力装置１７ｂによるマウスカーソルＭあるいはペンタッチによって指定すると、音声再生の経過時間Ｔｎと座標指定されたテキスト単語のＮｏ．が順次対応付けられてテキスト音声同期データ１２ｄとして記憶される。そして、予め設定したコマンド処理単位時間毎に、前記音声再生のスタートコマンドＰＳやテキスト文節の表示コマンドＶＤを始めとし、前記テキスト音声同期データ１２ｄに基づいて音声再生の経過時間に合わせたテキスト単語（文字）毎のハイライト表示コマンドＨＬを書き込んだタイムコードファイル１２ｃ３を作成でき、このタイムコードファイル１２ｃ３による各コマンド処理の単位時間毎に該コマンドに従った各種処理を指示するだけで、英会話テキスト・音声ファイルの同期再生処理を行うことができる。
【０１３７】
よって、同期再生したい音声データの再生に合わせて、表示されているテキスト文字の対応箇所をポインタで指定するだけで、そのテキスト文字と音声再生時間を同期付けたテキスト音声同期データ１２ｄを生成することができ、このテキスト音声同期データ１２ｄを基にタイムコードファイル１２ｃ３を簡単に作成してその同期再生用ファイル（ＣＡＳファイル）１２ｃを得ることができる。
【０１３８】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図７のフローチャートに示す同期コンテンツ作成処理、図８のフローチャートに示す前記同期コンテンツ作成処理に伴う各コンテンツ取得保存処置、図９のフローチャートに示す前記同期コンテンツ作成処理に伴うテキストタッチ音声同期処理、図１１のフローチャートに示す前記同期コンテンツ作成処理に伴うタイムコードファイル作成処置、そして、図１２のフローチャートに示す同期コンテンツ再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同期コンテンツ作成機能やその再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１３９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した同期コンテンツ作成機能やその再生機能を実現することもできる。
【０１４０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施形態ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１４１】
【発明の効果】
以上のように、本発明の請求項１に係る電子機器によれば、音声データを記憶する音声記憶手段と、テキストデータを記憶するテキスト記憶手段とを有し、音声出力手段により前記音声記憶手段により記憶された音声データが出力され、テキスト表示手段により前記テキスト記憶手段により記憶されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、同期表示手段により当該音声データの出力にテキストデータが同期されて表示されるので、記憶された音声データを再生しながら、記憶されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできるようになる。
【０１４２】
また、本発明の請求項２に係る電子機器によれば、音声データを入力する音声入力手段と、テキストデータを入力するテキスト入力手段とを有し、音声出力手段により前記音声入力手段により入力された音声データが出力され、テキスト表示手段により前記テキスト入力手段により入力されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、同期表示手段により当該音声データの出力にテキストデータが同期されて表示されるので、入力された音声データを再生しながら、入力されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできるようになる。
【０１４３】
また、本発明の請求項３に係る電子機器によれば、前記請求項１または請求項２に係る電子機器にあって、そのテキスト音声対応付け手段では、音声出力手段により音声データが出力された状態において、当該出力される音声データの出力経過時間と該出力音声の内容に合わせてテキスト位置検出手段により検出されたテキストデータの指定位置とが対応付けされるので、音声データの出力経過時間に合わせて当該音声内容と同期させるべきテキストデータの位置とを対応付けできるようになる。
【０１４４】
また、本発明の請求項４に係る電子機器によれば、前記請求項１乃至請求項３の何れか１項に係る電子機器にあって、その同期表示手段では、テキスト音声対応付け手段による音声データとテキストデータとの対応付けに応じて、当該音声データの出力内容に合わせたテキストデータの指定位置が識別可能に同期して表示されるので、音声再生に対応するテキスト位置を識別可能な同期表示で確認しながら対応付けできるようになる。
【０１４５】
また、本発明の請求項５に係る電子機器によれば、請求項１乃至請求項４の何れか１項に係る電子機器にあって、そのポインタとしては、表示されたテキストデータをマウスカーソルで指定するポインタとし、指定位置はテキストデータの文字位置とされるので、表示されたテキストデータの文字位置を音声再生に合わせてマウスカーソルで指定するだけで、音声再生に対応するテキストの文字位置を同期表示で確認しながら対応付けできるようになる。
【０１４６】
また、本発明の請求項６に係る電子機器によれば、前記請求項１乃至請求項４の何れか１項に係る電子機器にあって、そのポインタとしては、表示されたテキストデータをペンタッチにより指定するポインタとし、指定位置はテキストデータの文字位置とされるので、表示されたテキストデータの文字位置を音声再生に合わせてペンタッチで指定するだけで、音声再生に対応するテキストの文字位置を同期表示で確認しながら対応付けできるようになる。
【０１４７】
また、本発明の請求項７に係る命令コード作成装置によれば、音声データを入力する音声入力手段と、テキストデータを入力するテキスト入力手段とを有し、音声出力手段により前記音声入力手段により入力された音声データが出力され、テキスト表示手段により前記テキスト入力手段により入力されたテキストデータが表示されるもので、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置がテキスト位置検出手段により検出される。そして、前記音声出力手段により音声データが出力された状態において、当該出力される音声データと前記テキスト位置検出手段により検出されたテキストデータの指定位置とがテキスト音声対応付け手段により対応付けされると、このテキスト音声対応付け手段による音声データとテキストデータとの対応付け情報に基づいて、当該音声データとテキストデータとを同期して再生させる命令が再生命令作成手段により予め設定された命令コードの実行タイミングに合わせて作成されるので、音声データを再生しながら、テキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置の対応付け情報を生成でき、これに基づき当該音声データとテキストデータとを同期再生させるための命令を容易に作成できるようになる。
【０１４８】
また、本発明の請求項８に係る命令コード作成装置によれば、前記請求項７に係る命令コード作成装置にあって、そのテキスト音声対応付け手段では、音声出力手段により音声データが出力された状態において、当該出力される音声データの出力経過時間と該出力音声の内容に合わせてテキスト位置検出手段により検出されたテキストデータの指定位置とがデータテーブルにて対応付けされて保存され、再生命令作成手段では、前記テキスト音声対応付け手段によりデータテーブルに保存された音声データの出力経過時間とテキストデータの指定位置に基づいて、当該音声データとテキストデータとを同期して再生させるための命令が予め設定された命令コードの実行タイミングに合わせて作成されるので、表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生の出力経過時間とテキスト位置とを対応付けたデータテーブルを生成でき、このデータテーブルに基づき音声データとテキストデータとを同期再生させるための命令を容易に作成できるようになる。
【０１４９】
よって、本発明によれば、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の電子機器（命令コード作成装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ３を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ２を示す図。
【図４】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ４を示す図。
【図５】前記携帯機器１０のタイムコードファイル１２ｃ３（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム１２ａ２に基づき解析処理される命令内容を対応付けて示す図。
【図６】前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図。
【図７】前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理を示すフローチャート。
【図８】前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャート。
【図９】前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャート。
【図１０】前記携帯機器１０の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図。
【図１１】前記携帯機器１０の同期コンテンツ作成処理プログラム１２ａ１に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャート。
【図１２】前記携帯機器１０の同期コンテンツ再生処理プログラム１２ａ２に従った同期コンテンツ再生処理を示すフローチャート。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２Ｂ…ＦＬＡＳＨメモリ
１２Ｃ…ＲＡＭ
１２ｃ１…ヘッダ情報
１２ｃ１ａ…処理単位時間
１２ｃ２…ファイルシーケンステーブル
１２ｃ３…タイムコードファイル
１２ｃ４…コンテンツ内容データ
１２ａ…携帯機器（ＰＤＡ）制御プログラム
１２ａ１…同期コンテンツ作成処理プログラム
１２ａ２…同期コンテンツ再生処理プログラム
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｄ…テキスト音声同期データ
１２ｅ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力部（マウス／タブレット）
１８ …表示部
１９ａ…音声入力部
１９ｂ…音声出力部
２０ …外部通信機器（ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｇ …テキスト音声同期表示画面
Ｈ …反転表示
Ｍ …マウスカーソル[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic device for synchronizing character data with voice data, an instruction code creation device, an electronic device control program, and an instruction code creation processing program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a technique for simultaneously playing back files such as music, text, and images, for example, for each frame of an audio file information-compressed by MPEG-3, an additional data area provided in each frame is provided. For example, in the case of karaoke, some karaoke voices and the text and image images of the lyrics are reproduced synchronously by embedding the synchronization information of a text file or an image file to be reproduced synchronously in the audio file.
[0003]
Further, on the premise that temporal correspondence information of a character to a voice is prepared in advance, a device that extracts a feature amount of the voice signal and displays it in association with a corresponding character has been considered. (For example, refer to Patent Document 1.)
[0004]
[Patent Document 1]
Japanese Patent Publication No. 06-025905
[0005]
[Problems to be solved by the invention]
However, in the conventional synchronous reproduction technique of a plurality of types of files using the additional data area of the MPEG file, embedding of the synchronization information is defined in the additional data area of each frame of the main MP3 audio file. Therefore, the synchronization information cannot be extracted unless the MP3 audio file is reproduced, and other types of files can be synchronously reproduced only by reproducing the MP3 file.
[0006]
For this reason, for example, when the synchronization information of the text file is embedded in the MP3 audio file, even if the audio file is not reproduced, the audio file is not continuously reproduced as a non-audio file, and the audio file is not synchronized. There is a problem that playback cannot be performed.
[0007]
Therefore, conventionally, since the synchronous reproduction processing of the plurality of types of files is performed based on the reproduction processing of the MP3 file, there is a problem that the processing load on the CPU of the reproduction apparatus becomes heavy.
[0008]
On the other hand, the device described in Patent Document 1 does not use an additional data area of an MPEG file, but extracts a change in an audio signal and stores a character corresponding to the change in the audio signal in a memory in association with each other. In this way, the corresponding characters can be displayed in accordance with the output of the voice, but such voice / character association information is input to each character in association with the time-series information of the voice signal. Since it is generated by designating, there is a problem that it is very troublesome and troublesome to generate the voice / character association information.
[0009]
The present invention has been made in view of the above-described problems, and has an electronic device, an instruction code generation device, and an electronic device that can easily generate association information for synchronously reproducing an audio file and a text file. It is an object to provide a device control program and an instruction code creation processing program.
[0010]
[Means for Solving the Problems]
An electronic device according to a first aspect of the present invention includes a voice storage unit that stores voice data and a text storage unit that stores text data, and the voice data stored by the voice storage unit is output by a voice output unit. The text data is output and the text data stored by the text storage means is displayed by the text display means. The designated position of the text data displayed by the text display means by the pointer is detected by the text position detection means. Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. In accordance with the correspondence between the speech data and the text data by the text-speech associating means, the text data is displayed in synchronization with the output of the speech data by the synchronous display means.
[0011]
According to this, while reproducing the stored audio data, the stored text data is displayed, and the displayed text data is simply designated by the pointer in accordance with the audio reproduction, and the text position corresponding to the audio reproduction is obtained. Can be associated with each other while being checked in a synchronous display.
[0012]
An electronic device according to a second aspect of the present invention includes voice input means for inputting voice data, and text input means for inputting text data, and voice data input by the voice input means is output by voice output means. The text data is output and displayed by the text display means, and the text data input by the text input means is displayed. The position designated by the pointer to the text data displayed by the text display means is detected by the text position detection means. Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. In accordance with the correspondence between the speech data and the text data by the text-speech associating means, the text data is displayed in synchronization with the output of the speech data by the synchronous display means.
[0013]
According to this, the input text data is displayed while the input audio data is being reproduced, and the displayed text data is simply designated by the pointer in accordance with the audio reproduction, and the text position corresponding to the audio reproduction is obtained. Can be associated with each other while being checked in a synchronous display.
[0014]
An electronic device according to a third aspect of the present invention is the electronic device according to the first or second aspect, wherein the text-to-speech associating unit outputs the text data in a state where the voice output unit outputs the voice data. The output elapsed time of the audio data to be output is associated with the designated position of the text data detected by the text position detecting means in accordance with the content of the output audio.
[0015]
According to this, it is possible to associate the audio content with the position of the text data to be synchronized in accordance with the output elapsed time of the audio data.
[0016]
An electronic device according to a fourth aspect of the present invention is the electronic device according to any one of the first to third aspects, wherein the synchronous display means includes: The specified position of the text data corresponding to the output content of the audio data is displayed in a manner that is identifiable and synchronized in accordance with the association with the audio data.
[0017]
According to this, it is possible to associate the text position corresponding to the audio reproduction while confirming the text position with the identifiable synchronous display.
[0018]
An electronic device according to a fifth aspect of the present invention is the electronic device according to any one of the first to fourth aspects, wherein the pointer is a pointer for designating the displayed text data with a mouse cursor. The designated position is the character position of the text data.
[0019]
According to this, by simply designating the character position of the displayed text data with the mouse cursor in accordance with the sound reproduction, the character position of the text corresponding to the sound reproduction can be associated with the synchronized display while being confirmed.
[0020]
An electronic device according to a sixth aspect of the present invention is the electronic device according to any one of the first to fourth aspects, wherein the pointer is a pointer that specifies displayed text data by pen touch. The designated position is the character position of the text data.
[0021]
According to this, by simply designating the character position of the displayed text data by touching the pen in accordance with the sound reproduction, the character position of the text corresponding to the sound reproduction can be associated while being confirmed by the synchronous display.
[0022]
An instruction code creation device according to claim 7 of the present invention has a voice input unit for inputting voice data and a text input unit for inputting text data, and a voice output by the voice input unit. Data is output, and text data input by the text input means is displayed by the text display means, and a designated position by the pointer with respect to the text data displayed by the text display means is detected by the text position detection means. . Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. On the basis of the correspondence information between the voice data and the text data by the text-to-speech associating means, a command for synchronizing and reproducing the voice data and the text data is executed by executing the instruction code set in advance by the reproduction command creating means. Created according to timing.
[0023]
According to this, the text data is displayed while the audio data is being reproduced, and the displayed text data is simply designated by the pointer in accordance with the audio reproduction to generate the association information of the text position corresponding to the audio reproduction. It is possible to easily create a command for synchronously reproducing the audio data and the text data based on the instruction.
[0024]
An instruction code generating device according to an eighth aspect of the present invention is the instruction code generating device according to the seventh aspect, wherein the text-to-speech associating means is configured such that the voice output means outputs the voice data. The output elapsed time of the audio data to be output and the designated position of the text data detected by the text position detecting means in accordance with the content of the output audio are stored in association with each other in a data table, and the reproduction instruction creating means includes: Based on the output elapsed time of the voice data stored in the data table and the designated position of the text data by the text-voice association means, a command for synchronously reproducing the voice data and the text data is set in advance. It is created according to the execution timing of the instruction code.
[0025]
According to this, it is possible to generate a data table in which the output elapsed time of the sound reproduction is associated with the text position simply by specifying the displayed text data with the pointer at the time of the sound reproduction. An instruction for synchronizing and reproducing text and text data can be easily created.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0027]
FIG. 1 is a block diagram illustrating a configuration of an electronic circuit of a mobile device 10 according to an embodiment of an electronic device (command code generation device) of the present invention.
[0028]
The portable device (PDA: personal digital assistants) 10 is configured by a computer which reads a program recorded on various recording media or a program transmitted and transmitted, and whose operation is controlled by the read program. The electronic circuit includes a CPU (central processing unit) 11.
[0029]
The CPU 11 stores a PDA (portable device) control program 12 a stored in advance in a ROM 12 A in the memory 12, or a PDA control program read from an external recording medium 13 such as a ROM card into the memory 12 via a recording medium reading unit 14. The operation of each circuit is controlled in accordance with the PDA control program 12a read into the memory 12 via the transmission control unit 15 from the other computer terminal (30) on the communication network N such as the Internet 12a or the Internet. The PDA control program 12a stored in the memory 12 is received by an input signal corresponding to a user operation from an input unit 17a including switches and keys and a coordinate input device 17b including a mouse and a tablet, or received by the transmission control unit 15. Other computers on the communication network N Signal from a communication terminal (30), or a communication signal from an external communication device (PC: personal computer) 20 received via the communication unit 16 by short-range wireless connection or wired connection by Bluetooth (R). Is started.
[0030]
The CPU 11 is connected to the memory 12, the recording medium reading unit 14, the electric transmission control unit 15, the communication unit 16, the input unit 17a, and the coordinate input device 17b. And a voice output unit 19b having a speaker and outputting voice.
[0031]
The CPU 11 has a built-in timer for measuring the processing time.
[0032]
The memory 12 of the portable device 10 includes a ROM 12A, a flash memory (EEP-ROM) 12B, and a RAM 12C.
[0033]
The ROM 12A includes, as a PDA control program 12a of the portable device 10, a network program for performing data communication with each computer terminal (30) on the communication network N via a system program that controls the entire operation and the transmission control unit 15. In addition to a program, an external device communication program for performing data communication with an external communication device (PC) 20 via the communication unit 16 is stored, a schedule management program, an address management program, and various types of data such as voice, text, and image. Synchronized content creation processing program 12a1 for creating a playback file (CAS file) 12c (12b) for synchronously playing back the file, and a voice / text / text file in accordance with the playback file (CAS file) 12c (12b) created thereby. Various files such as images can be Such as synchronous content reproduction processing program 12a2 for reproducing various PDA control program 12an are stored.
[0034]
In the FLASH memory (EEP-ROM) 12B, an encrypted playback file (CAS file) 12b created according to the synchronous content creation processing program 12a1 and subjected to playback processing according to the synchronous content playback processing program 12a2 is stored. In addition to the storage, the user's schedule and the addresses of friends and acquaintances managed based on the schedule management program and the address management program are also stored.
[0035]
Here, the encrypted reproduction file 12b stored in the FLASH memory (EEP-ROM) 12B is a file for, for example, practicing English conversation or performing karaoke by synchronous reproduction of text, voice, and image. It is compressed and encrypted by an algorithm.
[0036]
The created encrypted reproduction file 12b is recorded and distributed, for example, on a CD-ROM, transferred to the file distribution server 30 on the communication network (Internet) N via the transmission control unit 15, or distributed. This file is transferred and distributed to an external communication device (PC) 20 via the communication unit 16, and the encrypted reproduction file 12b is created by the portable device (PDA) 10 as a file for English conversation practice, for example. The data is transferred to and stored in an external communication device (PC) 20, which is each terminal of the English conversation trainer, and a file distribution server 30 accessible from each terminal.
[0037]
The RAM 12C stores a decrypted playback file (CAS file) 12c obtained by expanding and decrypting the encrypted playback file 12b, and expands the image file in the decrypted playback file 12c. An image development buffer 12e to be stored is provided. The decrypted CAS file 12c is composed of header information (12c1) for storing a processing unit time (12c1a) of a reproduction command, a file sequence table (12c2), a time code file (12c3), and content content data (12c4) described later. Be composed.
[0038]
Further, the RAM 12C has a text-to-speech synchronizing the voice and the text, which is generated in the process of creating a reproduction file 12b (12c) for synchronously reproducing the voice and the text in accordance with the synchronous content creation processing program 12a1. The synchronization data 12d is stored.
[0039]
Further, the RAM 12C is provided with a work area for temporarily storing various data input to and output from the CPU 11 in accordance with other various processes.
[0040]
FIG. 2 is a diagram showing a time code file 12c3 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0041]
FIG. 3 is a view showing a file sequence table 12c2 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0042]
FIG. 4 is a diagram showing content content data 12c4 constituting the reproduction file 12b (12c) stored in the memory 12 of the portable device 10.
[0043]
As shown in FIGS. 2 to 4, the reproduction file 12b (12c) serving as a reproduction target file of the portable device 10 is a time code created (the creation process will be described later) in accordance with the synchronous content creation program 12a1. It is composed of a combination of a file 12c3, a file sequence table 12c2, and content content data 12c4.
[0044]
In the time code file 12c3 shown in FIG. 2, time codes for performing various file synchronous playback command processes at a fixed time interval (for example, 25 ms) preset for each file are described and arranged. Each time code is composed of a command code indicating an instruction and parameter data including a reference number and a designated numerical value of a file sequence table 12c2 (FIG. 3) for associating a file content (see FIG. 4) relating to the command. It is composed of a combination.
[0045]
The fixed time interval for sequentially executing the command processing according to the time code is described and set as the processing unit time 12c1a in the header information 12c1 of the time code file 12c3.
[0046]
The file sequence table 12c2 shown in FIG. 3 includes, for each type of a plurality of types of files (HTML / image / text / audio), parameter data of each command described in the time code file 12c3 (see FIG. 2) and actual data. 4 is a table in which storage destination (ID) numbers of file contents are associated with each other.
[0047]
In the content content data 12c4 shown in FIG. 4, actual file data such as voice, image, text, etc. associated with each command code by the file sequence table 12c2 (see FIG. 3) correspond to their respective ID numbers. It is stored along with it.
[0048]
FIG. 5 shows the correspondence between the command codes of various commands described in the time code file 12c3 (see FIG. 2) of the portable device 10, the parameter data thereof, and the command contents analyzed based on the synchronous content reproduction processing program 12a2. FIG.
[0049]
Commands used for the time code file 12c3 include a standard command and an extended command. The standard commands include LT (i-th text load). VD (i-th text segment display). BL (character counter reset / i-th phrase block specification). HN (no highlight, character counter count up). HL (highlight / character count up to i-th character). LS (1 line scroll / character counter count up). DH (i-th HTML file display). DI (i-th image file display). PS (i-th sound file play). CS (clear all file). PP (stop for basic time i seconds). FN (processing end). There are NP (invalid) commands.
[0050]
That is, the synchronous content reproduction processing program 12a2 stored in the ROM 12A of the portable device (PDA) 10 is activated, and the decryption / reproduction file 12c decrypted from the FLASH memory 12B and stored in the RAM 12C is, for example, shown in FIGS. If the third command code “DI” and the parameter data “02” are read in with the command processing at regular time intervals, the command “DI” is the file content indicated by the i-th image file. Since this is a display command, the image B of the content data 12c4 (see FIG. 4) is read from the parameter data i = 02 in accordance with the image file ID number = 7 linked to the file sequence table 12c2 (see FIG. 3). Is displayed.
[0051]
For example, when the sixth command code “VD” and the parameter data “00” are read in accordance with the command processing at the same fixed time, the command “VD” is the i-th text segment display instruction. According to the parameter data i = 00, the 0th phrase of the text is displayed.
[0052]
Further, for example, when the ninth command code “NP” and the parameter data “00” are read in accordance with the command processing at the same fixed time, since the command “NP” is an invalid command, the current file output The state is maintained.
[0053]
The operation of creating the time code file 12c3 shown in FIG. 2 for synchronously reproducing the plurality of types of contents, and the detailed reproduction of the reproduction file 12b (12c) of the file contents shown in FIGS. The operation will be described again later.
[0054]
FIG. 6 is a diagram showing text / sound synchronization data 12d stored in the memory 12 in accordance with the synchronization content creation processing program 12a1 of the portable device 10.
[0055]
The text-sound synchronization data 12d is used as the text data to be synchronized in the text touch voice synchronization process (see FIG. 9) accompanying the creation of the reproduction file 12b (12c) for synchronizing and reproducing the text with the voice data. While reproducing the text data and sequentially specifying each character or word portion with the mouse cursor or pen touch while sequentially associating the displayed text data with the voice content, each word (word No.) of the text content is designated. The reproduction elapsed time of the audio data is generated in association with the reproduction elapsed time.
[0056]
Next, a synchronized content creation function for creating a playback file (CAS file) 12c (12b) for performing synchronized playback of various files by the portable device 10 having the above configuration will be described.
[0057]
FIG. 7 is a flowchart showing the synchronous content creation processing of the portable device 10 according to the synchronous content creation program 12a1.
[0058]
FIG. 8 is a flowchart showing each content acquisition / storing process associated with the synchronous content creation processing according to the synchronous content creation processing program 12a1 of the portable device 10.
[0059]
FIG. 9 is a flowchart showing a text touch voice synchronization process associated with the synchronous content creation processing according to the synchronous content creation program 12a1 of the portable device 10.
[0060]
FIG. 10 is a diagram showing a text touch display state during audio reproduction accompanying text touch audio synchronization processing by the synchronous content creation processing of the portable device 10.
[0061]
FIG. 11 is a flowchart showing a time code file creation process associated with the synchronous content creation process according to the synchronous content creation program 12a1 of the portable device 10.
[0062]
For example, when the synchronous content creation processing program 12a1 is started in order to create the English teaching material playback file 12b (12c) in which English study can be performed by voice, text, and images, first, each content acquisition and storage process (see FIG. 8) is performed. It is executed (Step AB).
[0063]
In each content acquisition / storing procedure, text, voice, and image data to be used as synchronized content are input and saved. First, a key input operation in the input unit 17a or the Web server 30 via the transmission control unit 15 is performed. For example, text data of English teaching materials is input by downloading from the external communication device (PC) 20 via the communication unit 16 (step B1).
[0064]
The input text data is stored as content content data 12c4 (see FIG. 4) in the reproduction file 12b (12c) in association with an ID number (step B2), and the text is specified in the sequential file table 12c2 (see FIG. 3). It is additionally stored as information (step B3).
[0065]
In addition, the text of the English language teaching material is supported by voice input by the voice input unit 19a or download from the Web server 30 via the transmission control unit 15 or download from the external communication device (PC) 20 via the communication unit 16. The input voice data is input (step B4).
[0066]
The input voice data is stored as content content data 12c4 (see FIG. 4) in the reproduction file 12b (12c) in association with an ID number (step B5), and voice designation in the sequential file table 12c2 (see FIG. 3). It is additionally stored as information (step B6).
[0067]
Furthermore, a recording medium 13 such as a CD-R on which each image captured by the digital camera is recorded is read via a recording medium reading unit 14, or is downloaded from a Web server 30 via an electric transmission control unit 15, or a communication unit 16. Through the download from the external communication device (PC) 20 via the PC, image data corresponding to the text and voice of the English teaching material is input (step B7).
[0068]
The input image data is stored in association with an ID number as content content data 12c4 (see FIG. 4) in the reproduction file 12b (12c) (step B8), and image designation in the sequential file table 12c2 (see FIG. 3). It is additionally stored as information (step B9).
[0069]
As a result of such a content acquisition and storage procedure (step AB), various contents to be synchronously reproduced are sequentially input and stored as content content data 12c4 (see FIG. 4) in association with an ID number. When additionally stored as the content designation information of the sequential file table 12c2 (see FIG. 3), the text, audio, and image to be synchronously reproduced are sequentially designated by the English teaching material reproduction file 12b (12c) to be created this time (step A1). , A2, A3).
[0070]
Then, the process proceeds to the text touch voice synchronization process (step AC) in FIG.
[0071]
In the text touch voice synchronization processing (step AC), as shown in FIG. 10, the voice data specified in steps A1 to A3 is reproduced from the voice output unit 19b, and the text data is displayed on the display unit 18. By specifying a word in the text corresponding to the voice output (word reading) by the user operation on the text / voice synchronous display screen G, the voice data for each word (word No.) of the text content is specified. Is generated in association with the text / voice synchronous data 12d (see FIG. 6). In the portable device 10 shown in FIG. 10, the audio data to be synchronously reproduced specified in step A2 is output from the audio output unit 19b, where 19bf is an audio reproduction key, 19bs is an audio reproduction stop key, and 19br. Is a voice rewind key.
[0072]
That is, when "1" is set to the text word counter n (step C1), it is determined whether or not the reproduction of the designated sound to be synchronously reproduced has been started by the sound output unit 19b (step C2). A time count timer is started (step C3).
[0073]
Here, as shown in FIG. 10 (A), on the text / voice synchronous display screen G, the voice output from the voice output unit 19b is read in accordance with the voice content of the English conversation to be read out, and the coordinate input device 17b using the mouse cursor M or pen touch. Is used to sequentially specify the corresponding words in the English conversation text.
[0074]
Then, when it is determined that the coordinate position on the text accompanying the user operation input by the coordinate input device 17b is on the nth (first "1") word (step C4), the input unit At 17a, it is determined that the "execute" key for executing the text touch voice synchronization process has been pressed (step C5).
[0075]
Then, the current count value of the time count timer corresponding to the audio reproduction elapsed time is read out as Tn (n = 1) (step C6), and as shown in FIG. 1 (step C7).
[0076]
Then, the corresponding n-th (n = 1) word “What” in the English conversation text specified according to the voice content of the English conversation is identified and displayed by reverse display H (step C8), and the n-th word is displayed. It is determined whether or not this is the last word of the text content being displayed (step C9).
[0077]
In this case, for example, it is determined that the first word “What” is not the last word of the text content when n = 1, so the counter n is incremented by 1 and counted up to “2” (step C10), and the input is performed. The unit 17a determines whether the stop key for stopping the text touch voice synchronization process has been operated (step C11).
[0078]
Here, when the stop key is not operated, the processes of steps C4 to C11 are repeatedly executed until it is determined in step C9 that the count value of the counter n is equal to the last word number of the text content. That is, as shown in FIGS. 10 (A) and 10 (B), a user-designated operation of a corresponding word by the coordinate input device 17b at the time of reading the English conversation text displayed on the text-synchronous display screen G by voice reproduction. (Step C4 → C5), the designated word No. The audio reproduction elapsed time Tn is associated with each time and stored as text / sound synchronization data 12d (see FIG. 6) (steps C6 and C7), and the corresponding word in the English conversation text is identified and displayed by reverse display H. (Step C8).
[0079]
As a result, each text No. of the English conversation text to be synchronously reproduced is included in the text / speech synchronous data 12d shown in FIG. For each time, the elapsed time of voice reproduction for reading out the text is sequentially stored in association with each other.
[0080]
When the text touch voice synchronization processing (step AC) is completed in this way, the text voice synchronization data 12d thus generated is stored in the RAM 12C (step A4), and the process proceeds to the time code file creation processing in FIG. 11 (step A4). Step AD).
[0081]
When the time code file creation process is activated, first, the processing unit time 12c1a of the time code file 12c3 (see FIG. 2) to be created is selected from the reference time (25 ms / 50 ms / 100 ms /...) By user operation. It is selected (step D1) and written as the header information 12c1 of the time code file 12c3 (step D2).
[0082]
Then, a clear screen (all file clear) command is written as the first command as the command code “CS” and the parameter data “00” (step D3), and the display command of the designated image is the second display command. An area setting command [command code "DH" / parameter data "02"] is written as a third image 2 display command [command code "DI" / parameter data "02"] (step D4).
[0083]
Further, a start command of the designated voice is written as a command code “PS” and parameter data “02” as a fourth command (step D5), and a display command of the 0th segment of the designated text is written in the fifth text. The specified command [command code "LT" / parameter data "02"] and the sixth text segment display command [command code "VD" / parameter data "00"] are written (step D6).
[0084]
Further, a character counter reset instruction in the clause is written as a seventh instruction as a command code "BL" and parameter data "00" (step D7).
[0085]
Thus, by the seventh command of the time code file 12c3, all files are cleared, the display area is set, the specified image "2" is displayed, the reproduction of the specified voice "2" is started, the specified text "2" is displayed, and the character counter is reset. Is set, the text / synchronous data 12d stored in the RAM 12C is read (step D8), and the designated text "2" is read from the content data 12c4 (step D8). D9), the word number on the text is designated as "1" (step D10).
[0086]
Then, the number of characters up to the word "What" corresponding to the designated word number "1" is counted as "4" (step D11), and the audio reproduction time Tn synchronized with the designated word number "1" (N = 1) (in this case, “... 00: 153”) is read (step D12).
[0087]
Then, the instruction code number of the time code file is obtained by dividing the audio reproduction time Tn of the specified word number by the processing unit time (reference time) 12c1a selected in the step D1 (step D13). It is determined whether the number is unused (step D14).
[0088]
Here, if the instruction code number obtained in step D13 has already been used, the next code number is specified (step D15).
[0089]
That is, it is determined at what position of the instruction code from the start of the synchronous content reproduction processing by the time code file 12c3 the audio reproduction time corresponding to the specified word number has been reached, and up to the specified word is highlighted (identified). ) The instruction code number of the timing to be displayed is obtained. If the obtained code number is already used and the next code number is specified, the timing delay of the instruction code number is determined by the time code file. Since the processing unit time (reference time) 12c1a of 12c3 itself is extremely short, for example, [25 ms], it is ignored as an allowable value.
[0090]
Then, an instruction for highlighting up to the number of characters up to the designated word counted in step D11 is written at the position of the instruction code number obtained in steps D12 to D15 (step D16). For example, when the designated word number is “1”, an instruction for highlighting the number of characters (four characters) up to the word “What” is a command code “HL” and a parameter data “ 04 ".
[0091]
Then, the word number on the designated text is incremented (+1) and designated as "2" (step D17), and it is determined that there is data of the corresponding word "high" (step D18), and step D11 is performed. The total number of characters (9 characters: including spaces) up to the word “high” of the word number “2” is counted.
[0092]
Thereafter, when the processing of the steps D11 to D18 is repeatedly executed, if the designated word number is “2”, the instruction for highlighting the number of characters (9 characters) up to the word “high” is a code number. As a command of “12”, it is written as a command code “HL” and parameter data “09”.
[0093]
When the designated word number is “3”, the instruction for highlighting the number of characters (16 characters) up to the word “school” is a command with the code number “35” and the command code “HL” and the parameter It is written as data “16”.
[0094]
Further, when the designated word number is “4”, a command for highlighting the number of characters (19 characters) up to the word “do” is a command code “HL” and a parameter “58” as a command number “58”. It is written as data "19".
[0095]
In addition, at the position of the code number other than the instruction code number in which the highlight display instruction “HL” for each word in the text based on the text voice synchronization data 12d is written, any command code as an invalid instruction is provided. “NP” and parameter data “00” are written.
[0096]
Thereafter, in step D18, when it is determined that there is no data of the word corresponding to the designated word number, an instruction for terminating the processing is issued as a command of the next code number as a command code "FN" and parameter data "00". It is written (step D19).
[0097]
When the time code file creation process (step AD) creates the time code file 12c3 based on the text / voice synchronization data 12d in this way, the time code file 12c3 is stored in the RAM 12C (step A5).
[0098]
In this way, a reproduction file (CAS file) 12c for synchronizing and reproducing the designated audio, text, and image contents is converted into a header information 12c1, a file sequence table 12c2, and a time code file 12c3 according to the synchronous content creation processing. , Is easily created by a combination of the content content data 12c4 and stored in the RAM 12C.
[0099]
The synchronous content reproduction file (CAS file) 12b (12c) stored in the memory 12 is recorded on an external recording medium 13 such as a CD-R and distributed together with the synchronous content reproduction processing program 12a2, 15 to the Web server 30 via the network N, or to the external communication device (PC) 20 via the communication unit 16, so that the reproduction file (CAS file) 12b (12c) The reproduction process can be executed not only by the portable device 10 itself that created the above, but also by other computer terminals.
[0100]
Next, a synchronized content playback function for playing back a playback file (CAS file) 12c (12b) for performing synchronized playback of various files by the portable device 10 having the above configuration will be described.
[0101]
FIG. 12 is a flowchart showing synchronous content reproduction processing according to the synchronous content reproduction processing program 12a2 of the portable device 10.
[0102]
When the reproduction file (CAS file) 12b created by the synchronous content creation processing is stored in the FLASH memory 12B and the reproduction of the playback file 12b is instructed by operating the input unit 17a, the contents in the RAM 12C are stored in the RAM 12C. Initialization processes such as a clear process and a flag reset process for each work area are performed (step S1).
[0103]
Then, the playback file (CAS file) 12b stored in the FLASH memory 12B is read (step S2), and it is determined whether or not the playback file (CAS file) 12b is an encrypted file (step S3). .
[0104]
Here, if it is determined that the file is an encrypted playback file (CAS file) 12b, the CAS file 12b is decrypted and decrypted (step S3 → S4) and transferred to the RAM 12C for storage (step S3 → S4). Step S5).
[0105]
Then, the processing unit time 12c1a (for example, 25 ms) described in the header information 12c1 of the decrypted playback file (CAS file) 12c (see FIG. 2) stored in the RAM 12C is converted by the CPU 11 into the decrypted playback file. The read time is set as the (CAS file) 12c at regular time intervals (step S6).
[0106]
Then, a read pointer is set at the beginning of the decrypted playback file (CAS file) 12c stored in the RAM 12C (step S7), and a timer for measuring the playback processing timing of the playback file 12c is started (step S7). Step S8).
[0107]
Here, the pre-reading process is started in parallel with the reproduction process (step S9).
[0108]
In this pre-reading process, if there is a “DI” command for displaying an image file after the command processing of the position of the current read pointer according to the time code file 12c3 (see FIG. 2) of the reproduction file 12c, By pre-reading the image file specified by the parameter data of the "DI" command and expanding it in the image expansion buffer 12e, when the read pointer actually moves to the position of the subsequent "DI" command, The specified image file can be output and displayed immediately without delay.
[0109]
In step S8, when the processing timer is started, the read pointer set in step S7 is set for each processing unit time (25 ms) corresponding to the current playback target file 12c set in step S6. The command code and its parameter data of the time code file 12c3 (see FIG. 2) constituting the reproduction file 12c at the position are read (step S10).
[0110]
Then, it is determined whether or not the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is "FN" (step S11). If it is determined that the command code is "FN", At that time, a stop process of the file reproduction process is instructed and executed (step S11 → S12).
[0111]
On the other hand, when it is determined that the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is not “FN”, whether the command code is “PP” is determined. It is determined (steps S11 → S13), and when it is determined to be “PP”, a temporary stop process (processing timer stop) of the file reproduction process is instructed and executed at that time (steps S13 → S14). In this stop processing, stop and release of stop are performed for i seconds according to a manual operation of the user.
[0112]
Here, when the input of the suspension release is performed based on the user operation on the input unit 17a, the clocking operation by the processing timer is started again, and the clocking time by the timer reaches the next processing unit time 12c1a. It is determined whether or not it is (step S15 → S16).
[0113]
On the other hand, if it is determined in step S13 that the command code read from the time code file 12c3 (see FIG. 2) in the reproduction file 12c is not "PP", the process proceeds to another command process. Then, processing corresponding to each command content (see FIG. 5) is executed (step SE).
[0114]
If it is determined in step S16 that the time measured by the timer has reached the next processing unit time 12c1a, the read pointer to the decrypted playback file (CAS file) 12c stored in the RAM 12C is set to the next value. The position is updated and set (steps S16 → S17), and the processing from reading the command code and the parameter data of the time code file 12c3 (see FIG. 2) at the position of the read pointer in step S10 is repeated (step S17 → S10). To S16).
[0115]
In other words, the CPU 11 of the portable device 10 executes the time code file 12c3 (see FIG. 4) for each unit time of the command processing set and described in advance in the reproduction file 12b (12c) according to the synchronous content reproduction processing program 12a2 stored in the ROM 12A. 2), and simply instructs a process corresponding to the command to execute a synchronous reproduction process of various files corresponding to each command described in the time code file 12c3. Is done.
[0116]
Here, the synchronous reproduction operation of the audio / text file by the synchronous content reproduction processing program 12a2 based on the English teaching material reproduction file 12c shown in FIG. 2 created by the synchronous content generation processing program 12a1 will be described in detail.
[0117]
This English language teaching material reproduction file (12c) is a file in which command processing is executed for each processing unit time (25 ms) 12c1a described and set in the header information (12c1). First, a time code file 12c3 (see FIG. 2) When the first command code "CS" (clear all file) and its parameter data "00" are read, an instruction to clear the output of all files is issued, and the output of the text / image / audio file is cleared.
[0118]
When the second command code "DH" (i-th HTML file display) and its parameter data "02" are read, the file sequence table 12c2 is read in accordance with the parameter data (i = 2) read together with the command code DH. The ID number = 3 of the HTML number 2 is read from (see FIG. 3).
[0119]
Then, in accordance with the HTML data read from the content data 12c4 (see FIG. 4) in association with the ID number = 3, for example, the display is performed in the same manner as the text / voice synchronous display screen G shown in FIG. A text display area and an image display frame for the unit 18 are set.
[0120]
When the third command code “DI” (i-th image file display) and its parameter data “02” are read out, the file sequence table 12c2 according to the parameter data (i = 2) read out together with the command code DI. The ID number = 7 of the image number 2 is read from (see FIG. 3).
[0121]
The image data read from the content data 12c4 (see FIG. 4) in association with the ID number = 7 and expanded in the image expansion buffer 12e is stored in the image display frame Y set in the HTML file. Will be displayed.
[0122]
When the fourth command code “PS” (the i-th sound file play) and its parameter data “02” are read, the file sequence table 12c2 according to the parameter data (i = 2) read with the command code PS. The ID number = 32 of the voice number 2 is read from (see FIG. 3).
[0123]
Then, the English conversation voice data {2} read from the content content data 12c4 (see FIG. 4) in association with the ID number = 32 is output from the voice output unit 19b.
[0124]
When the fifth command code “LT” (i-th text load) and its parameter data “02” are read, the file sequence table 12c2 ( The ID number = 21 of the text number 2 is read from FIG. 3).
[0125]
Then, the English conversation text data {circle around (2)} read from the content content data 12c4 (see FIG. 4) in association with the ID number = 21 is loaded into the work area of the RAM 12C.
[0126]
When the sixth command code “VD” (i-th text segment display) and its parameter data “00” are read, the file sequence table 12c2 is read according to the parameter data (i = 0) read together with the command code VD. The ID number = 19 of the text number 0 is read from (see FIG. 3), and the phrase of the English conversation title character specified in the content data 12c4 (see FIG. 4) in association with this is loaded into the RAM 12C. It is called from the English conversation text data {circle around (2)} and displayed in the text display frame on the display screen.
[0127]
When the seventh command code “BL” (character counter reset / i-th phrase block designation) and its parameter data “00” are read, the character counter of the displayed English conversation phrase is reset, and the 0th phrase block is designated. Is done.
[0128]
When the eighth command code “HL” (highlight / character count up to the i-th character) and its parameter data “04” are read, according to the parameter data (i = 4) read together with the command code HL, The text data is highlighted (highlighted) up to the fourth character “What”.
[0129]
Then, the character counter is counted up to the fourth character.
[0130]
When the ninth command code “NP” is read out, the synchronous display screen of the current image and English conversation text data and the synchronous output state of English conversation voice data are maintained.
[0131]
Subsequently, when the twelfth command code “HL” (highlight / character count up to the i-th character) and its parameter data “09” are read out, the parameter data (i = 9) read out together with the command code HL becomes Accordingly, the ninth character “high” of the text data is highlighted (highlighted).
[0132]
When the thirty-fifth command code “HL” (highlight / character count up to the i-th character) and its parameter data “16” are read, according to the parameter data (i = 16) read together with the command code HL. Thus, the text data is highlighted (highlighted) up to the sixteenth character “school”.
[0133]
As described above, the time code file 12c3 (see FIG. 2), the file sequence table 12c2 (see FIG. 3), and the content data 12c4 (see FIG. 5) in the English conversation teaching material reproduction file (12c) created according to the synchronous content creation processing program 12a1. Based on the above, the synchronous content playback processing program 12a2 performs command processing for each processing unit time (25 ms) preset for the playback file, so that English conversation text data is displayed on the display screen and audio data is displayed. The English conversation voice data for reading the English conversation text being displayed is synchronously output from the output unit 19b, and the reading section of the English conversation text is sequentially synchronously highlighted (emphasized) for each character (word).
[0134]
Thus, the CPU 11 of the mobile device 10 can instruct the command code and various command processes in accordance with the parameter data for each unit time of the command process described in the reproduction file 12b (12c) in advance, and the English conversation text can be obtained. Synchronous playback processing of files, English conversation image files, and English conversation audio files can be performed.
[0135]
Therefore, the burden on the main processing of the CPU is reduced, and even a CPU with relatively small processing capacity can easily perform synchronous reproduction processing including text, audio, and images.
[0136]
Therefore, according to the synchronized content creation function of the portable device 10 having the above-described configuration, the audio data for reading out, for example, English conversation text to be synchronized and reproduced and the text data are stored in the memory 12 as the content content data 12c4. Is reproduced by the audio output unit 19b, the text data is displayed on the display unit 18 as the text-synchronous display screen G, and the text data is read in accordance with the reading of the text on the text-synchronous display screen G by the audio reproduction. When each word character is designated by the mouse cursor M or pen touch by the mouse or tablet coordinate input device 17b, the elapsed time Tn of the voice reproduction and the text word No. designated by the coordinates are displayed. Are sequentially associated with each other and stored as the text-sound synchronization data 12d. Then, for each command processing unit time set in advance, the text word (e.g., the start command PS of the voice reproduction and the display command VD of the text segment) is adjusted to the elapsed time of the voice reproduction based on the text voice synchronization data 12d. A time code file 12c3 in which a highlight display command HL for each character is written can be created, and by simply instructing various processes in accordance with the command at each unit time of each command processing by the time code file 12c3, an English conversation text / file can be created. Synchronous playback processing of audio files can be performed.
[0137]
Therefore, it is possible to generate the text-sound synchronization data 12d in which the text character and the sound reproduction time are synchronized by simply pointing the corresponding position of the displayed text character with the pointer in synchronization with the reproduction of the sound data to be reproduced synchronously. The time code file 12c3 can be easily created based on the text / audio synchronization data 12d, and the synchronous reproduction file (CAS file) 12c can be obtained.
[0138]
Note that the method of each processing by the mobile device 10 described in the embodiment, that is, the synchronous content creation processing shown in the flowchart of FIG. 7, the respective content acquisition and storage processing accompanying the synchronous content creation processing shown in the flowchart of FIG. 9, a text touch voice synchronization process associated with the synchronous content creation process shown in the flowchart of FIG. 9, a time code file creation process associated with the synchronous content creation process shown in the flowchart of FIG. 11, and a synchronized content playback process shown in the flowchart of FIG. In each of the methods described above, programs that can be executed by a computer include a memory card (ROM card, RAM card, etc.), a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), and a semiconductor memory. It may be distributed and stored in the external recording medium 13 and the like. Various computer terminals having a communication function with the communication network (Internet) N read the program stored in the external recording medium 13 into the memory 12 by the recording medium reading unit 14, and operate according to the read program. By being controlled, the synchronous content creation function and the reproduction function thereof described in the above embodiment can be realized, and the same processing can be performed by the above-described method.
[0139]
Further, data of a program for realizing each of the above methods can be transmitted on a communication network (Internet) N in the form of a program code, and a computer terminal connected to the communication network (Internet) N transmits the program data. By taking in program data, it is also possible to realize the above-mentioned synchronous content creation function and its reproduction function.
[0140]
It should be noted that the present invention is not limited to the above embodiments, and the embodiments can be variously modified without departing from the gist thereof. Furthermore, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in each embodiment or some components are combined, the problem described in the section of the problem to be solved by the invention can be solved. In the case where the effects described in the section of the effects of the invention can be obtained, a configuration in which this component is deleted or combined can be extracted as the invention.
[0141]
【The invention's effect】
As described above, according to the electronic device of the first aspect of the present invention, the electronic device includes the voice storage unit that stores the voice data and the text storage unit that stores the text data, and the voice storage unit uses the voice storage unit. The text data stored by the text storage means is displayed by the text display means, and the designated position by the pointer for the text data displayed by the text display means is detected by the text display means. Detected by means. Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. Since the text data is displayed in synchronization with the output of the voice data by the synchronous display means in accordance with the correspondence between the voice data and the text data by the text / voice correspondence means, the stored voice data is reproduced. By simply displaying the stored text data and designating the displayed text data with a pointer in accordance with the audio reproduction, the text position corresponding to the audio reproduction can be associated with the synchronous display while being confirmed. .
[0142]
Also, according to the electronic device according to claim 2 of the present invention, the electronic device has voice input means for inputting voice data and text input means for inputting text data, and is input by the voice input means by voice output means. The text data input by the text input means is displayed by the text display means, and the position designated by the pointer to the text data displayed by the text display means is detected by the text position detection means. Is done. Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. According to the correspondence between the voice data and the text data by the text / voice correspondence means, the text data is displayed in synchronization with the output of the voice data by the synchronous display means, so that the input voice data is reproduced. By simply displaying the input text data and designating the displayed text data with the pointer in accordance with the audio reproduction, the text position corresponding to the audio reproduction can be associated with the synchronous display while confirming the position. .
[0143]
According to the electronic device of the third aspect of the present invention, in the electronic device of the first or second aspect, in the text-to-speech association unit, the audio data is output by the audio output unit. In the state, the output elapsed time of the output audio data is associated with the designated position of the text data detected by the text position detecting means in accordance with the content of the output audio. In addition, the audio content can be associated with the position of the text data to be synchronized.
[0144]
Further, according to the electronic device according to a fourth aspect of the present invention, in the electronic device according to any one of the first to third aspects, the synchronous display means includes a voice by a text-voice association means. According to the correspondence between the data and the text data, the designated position of the text data corresponding to the output content of the audio data is displayed in an identifiable and synchronous manner, so that the text position corresponding to the audio reproduction can be identified. It is possible to make correspondence while checking on the display.
[0145]
According to the electronic device of the present invention, in the electronic device of any one of the first to fourth aspects, the displayed text data is displayed with a mouse cursor as a pointer. It is a pointer to specify, and the specified position is the character position of the text data, so just specify the character position of the displayed text data with the mouse cursor at the time of voice playback, and the character position of the text corresponding to the voice playback will be It becomes possible to make correspondence while confirming in the synchronous display.
[0146]
Further, according to the electronic device of the present invention, in the electronic device of any one of the above-mentioned claims, the displayed text data may be touched by a pen touch as the pointer. It is a pointer to be specified, and the specified position is the character position of the text data, so by simply specifying the character position of the displayed text data with the touch of the pen with the sound reproduction, the character position of the text corresponding to the sound reproduction is synchronized It is possible to make correspondence while checking on the display.
[0147]
Further, according to the instruction code generation device of the present invention, the apparatus has a voice input unit for inputting voice data and a text input unit for inputting text data, and the voice output unit controls the voice input unit. The input voice data is output, and the text display means displays the text data input by the text input means. The position designated by the pointer to the text data displayed by the text display means is a text position detection means. Is detected by Then, in a state where the audio data is output by the audio output unit, the output audio data is associated with the designated position of the text data detected by the text position detection unit by the text-audio association unit. On the basis of the correspondence information between the voice data and the text data by the text-to-speech associating means, a command for synchronizing and reproducing the voice data and the text data is executed by executing the instruction code set in advance by the reproduction command creating means. Since it is created according to the timing, the text data is displayed while playing the audio data, and by simply pointing this displayed text data with the pointer in accordance with the audio playback, the correspondence of the text position corresponding to the audio playback is Information can be generated, and based on this information, It becomes possible to easily create a command for synchronizing play and data.
[0148]
According to the instruction code generation device of the present invention, in the instruction code generation device of the seventh aspect, in the text-speech associating means, the audio data is output by the audio output means. In the state, the output elapsed time of the output audio data and the designated position of the text data detected by the text position detecting means in accordance with the content of the output audio are stored in a data table in association with each other, and the reproduction command is stored. In the creating unit, based on the output elapsed time of the audio data stored in the data table by the text-to-speech associating unit and the designated position of the text data, a command for synchronously reproducing the audio data and the text data is issued. Since the created text is created at the execution timing of the preset instruction code, the displayed text data can be Just by specifying with the pointer according to the raw, it is possible to generate a data table in which the output elapsed time of audio reproduction and the text position are associated, and an instruction for synchronously reproducing audio data and text data based on this data table is issued. It can be easily created.
[0149]
Therefore, according to the present invention, it is possible to easily generate association information for synchronously playing back a voice file and a text file.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of a portable device 10 according to an embodiment of an electronic device (command code generation device) of the present invention.
FIG. 2 is a view showing a time code file 12c3 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 3 is a view showing a file sequence table 12c2 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 4 is a view showing content content data 12c4 constituting a reproduction file 12b (12c) stored in a memory 12 of the portable device 10.
FIG. 5 associates command codes of various commands described in a time code file 12c3 (see FIG. 2) of the portable device 10 with parameter data thereof and command contents analyzed based on a synchronous content reproduction processing program 12a2. FIG.
FIG. 6 is a view showing text and audio synchronization data 12d stored in a memory 12 according to a synchronization content creation processing program 12a1 of the portable device 10.
FIG. 7 is a flowchart showing synchronous content creation processing according to the synchronous content creation processing program 12a1 of the portable device 10.
FIG. 8 is a flowchart showing each content acquisition / storing process associated with synchronous content creation processing according to the synchronous content creation processing program 12a1 of the portable device 10.
FIG. 9 is a flowchart showing a text touch voice synchronization process associated with the synchronous content creation processing according to the synchronous content creation processing program 12a1 of the portable device 10.
FIG. 10 is a diagram showing a text touch display state during voice reproduction accompanying text touch voice synchronization processing by the synchronous content creation processing of the portable device 10.
FIG. 11 is a flowchart showing a time code file creation process associated with the synchronous content creation process according to the synchronous content creation program 12a1 of the portable device 10.
FIG. 12 is a flowchart showing synchronous content reproduction processing according to the synchronous content reproduction processing program 12a2 of the portable device 10.
[Explanation of symbols]
10… Portable equipment
11 ... CPU
12 ... memory
12A… ROM
12B: FLASH memory
12C ... RAM
12c1 ... header information
12c1a: Processing unit time
12c2: File sequence table
12c3: Time code file
12c4: Content data
12a: Portable device (PDA) control program
12a1 ... Synchronous content creation processing program
12a2: Synchronous content reproduction processing program
12b: Encrypted playback file (CAS file)
12c: decrypted playback file (CAS file)
12d: Text voice synchronization data
12e: Image expansion buffer
13. External recording medium
14: Recording medium reading unit
15 ... Transmission control unit
16… Communication unit
17a ... input section
17b Coordinate input unit (mouse / tablet)
18 Display part
19a: Voice input unit
19b: audio output unit
20… External communication equipment (PC)
30… Web server
N: Communication network (Internet)
G: Text / voice synchronous display screen
H: reverse display
M ... mouse cursor

Claims

Voice storage means for storing voice data;
Text storage means for storing text data;
Audio output means for outputting audio data stored by the audio storage means,
Text display means for displaying text data stored by the text storage means,
Text position detection means for detecting a position designated by a pointer with respect to text data displayed by the text display means;
In a state in which the audio data is output by the audio output unit, a text-to-speech association unit that associates the output audio data with a designated position of the text data detected by the text position detection unit,
Synchronous display means for displaying the text data in synchronization with the output of the voice data, in accordance with the correspondence between the voice data and the text data by the text-voice correspondence means;
An electronic device comprising:

Voice input means for inputting voice data;
Text input means for inputting text data,
Audio output means for outputting audio data input by the audio input means,
Text display means for displaying text data input by the text input means,
Text position detection means for detecting a position designated by a pointer with respect to text data displayed by the text display means;
In a state in which the audio data is output by the audio output unit, a text-to-speech association unit that associates the output audio data with a designated position of the text data detected by the text position detection unit,
Synchronous display means for displaying the text data in synchronization with the output of the voice data, in accordance with the correspondence between the voice data and the text data by the text-voice correspondence means;
An electronic device comprising:

The text-to-speech associating means is detected by the text position detecting means in accordance with the output elapsed time of the output sound data and the content of the output sound in a state where the sound data is output by the sound output means. Associating with the specified position of text data,
The electronic device according to claim 1, wherein:

The synchronous display means, in accordance with the correspondence between the voice data and the text data by the text voice correspondence means, identifiably synchronously displays the designated position of the text data in accordance with the output content of the voice data, The electronic device according to any one of claims 1 to 3, wherein:

5. The pointer according to claim 1, wherein the pointer is a pointer for specifying displayed text data with a mouse cursor, and the specified position is a character position of the text data. 6. Electronics.

5. The electronic device according to claim 1, wherein the pointer is a pointer that specifies displayed text data by touching a pen, and the specified position is a character position of the text data. 6. machine.

Voice input means for inputting voice data;
Text input means for inputting text data,
Voice output means for outputting voice data stored by the voice input means,
Text display means for displaying text data input by the text input means,
Text position detection means for detecting a position designated by a pointer with respect to text data displayed by the text display means;
In a state in which the audio data is output by the audio output unit, a text-to-speech association unit that associates the output audio data with a designated position of the text data detected by the text position detection unit,
Based on the correspondence information between the voice data and the text data by the text-to-speech associating means, a command for synchronizing and reproducing the voice data and the text data is created in accordance with the execution timing of a preset command code. Means for creating a playback instruction;
An instruction code creation device, comprising:

The text-to-speech associating means is detected by the text position detecting means in accordance with the output elapsed time of the output sound data and the content of the output sound in a state where the sound data is output by the sound output means. Save the specified position of the text data in association with the data table,
The reproduction command creating unit is configured to, based on the output elapsed time of the voice data stored in the data table by the text-voice association unit and the designated position of the text data, reproduce the voice data and the text data in synchronization. Is created in accordance with the execution timing of the instruction code set in advance,
The instruction code creating device according to claim 7, wherein:

9. The apparatus according to claim 7, wherein the designated position is a character position of text data.

9. The apparatus according to claim 7, wherein the designated position is a word position of text data.

An electronic device control program for controlling a computer of the electronic device to synchronize voice and text,
Said computer,
Voice input means for inputting voice data,
Text input means for inputting text data,
Voice output means for outputting voice data stored by the voice input means,
Text display means for displaying text data input by the text input means,
Text position detection means for detecting a position designated by a pointer with respect to text data displayed by the text display means,
In a state where the audio data is output by the audio output unit, a text-to-speech association unit that associates the output audio data with a designated position of the text data detected by the text position detection unit.
Synchronous display means for displaying the text data in synchronism with the output of the voice data in accordance with the correspondence between the voice data and the text data by the text / voice correspondence means;
Computer-readable electronic device control program that functions as a computer.

An instruction code creation processing program for controlling a computer of an electronic device to create a synchronous playback instruction of voice and text,
Said computer,
Voice input means for inputting voice data,
Text input means for inputting text data,
Voice output means for outputting voice data stored by the voice input means,
Text display means for displaying text data input by the text input means,
Text position detection means for detecting a position designated by a pointer with respect to text data displayed by the text display means,
In a state where the audio data is output by the audio output unit, a text-to-speech association unit that associates the output audio data with a designated position of the text data detected by the text position detection unit.
Based on the correspondence information between the voice data and the text data by the text-to-speech associating means, a command for synchronizing and reproducing the voice data and the text data is created in accordance with the execution timing of a preset command code. Playback instruction creation means,
A computer-readable instruction code creation processing program that functions as a computer.