JP2004135256A - 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 - Google Patents
情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 Download PDFInfo
- Publication number
- JP2004135256A JP2004135256A JP2003109542A JP2003109542A JP2004135256A JP 2004135256 A JP2004135256 A JP 2004135256A JP 2003109542 A JP2003109542 A JP 2003109542A JP 2003109542 A JP2003109542 A JP 2003109542A JP 2004135256 A JP2004135256 A JP 2004135256A
- Authority
- JP
- Japan
- Prior art keywords
- information
- accompanying
- main
- display
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 87
- 230000001360 synchronised effect Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 29
- 239000000463 material Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
【課題】主情報とこれに付随する付随情報とを別の情報として扱うことができる情報ファイルを容易に生成可能にすることである。
【解決手段】経時変化する視聴可能な主情報５５（映像、画像、音声等）と付随情報５３，５７とで表示ファイルを生成する。付随情報５３，５７は、主情報５５に付随する表示出力可能な付随表示情報と、この付随表示情報の表示を主情報に同期させるためのイベント情報とを含む。これにより、主情報５５のデータ構造に付随表示情報のデータ構造が依存しなくなる。例えば、主情報５５が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。よって、主情報５５とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。
【選択図】 図５
【解決手段】経時変化する視聴可能な主情報５５（映像、画像、音声等）と付随情報５３，５７とで表示ファイルを生成する。付随情報５３，５７は、主情報５５に付随する表示出力可能な付随表示情報と、この付随表示情報の表示を主情報に同期させるためのイベント情報とを含む。これにより、主情報５５のデータ構造に付随表示情報のデータ構造が依存しなくなる。例えば、主情報５５が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。よって、主情報５５とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、映像、画像又は音声のような視聴可能な主情報とこの主情報に付随する付随情報とを有する情報ファイルのデータ構造に関する。本発明は、また、そのような情報ファイルを生成するための情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体に関する。本発明は、さらに、そのような情報ファイルを再生するための情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
従来、映像、画像又は音声のような視聴可能な情報（主情報）に対して、例えば映画やテレビ放送等で多用されている字幕、テレビ放送で実施されている副音声等のようないわば付随情報を伴わせている例がある。現在の地上波テレビ放送での映画番組を例に挙げると、海外映画の場合、主情報である映画の映像に付随情報として字幕が埋め込まれていたり、吹替え前の音声が付随情報としてステレオでの片チャンネルで放送されたりしている。
【０００３】
近年、情報技術、情報通信技術の飛躍的な発展によって、そのような映像、画像又は音声のような視聴可能な情報が極めて身近になってきている。このような視聴可能な情報は、例えばインターネットで配信されたり、光ディスクに収められて流通したりしている。このような場合、視聴可能な情報は、電子的なデータとして扱われるのが一般的である。こうしてデータ化された視聴可能な情報は、前述したような主情報と付随情報とから構成されることも多く、この場合のデータの形態としては、主情報に付随情報が埋め込まれているのが一般的である。例えば、主情報である映像中に付随情報である文字情報が埋め込まれている場合、埋め込まれた文字情報は文字コード情報ではなく、映像中に画像（ビットパターン）として埋め込まれている。このため、そのような文字情報については、再利用は殆んどできないし、ましてや表示位置を変更することもできない。つまり、付随情報については、単独での利用可能性が殆んどないのが実情である。
【０００４】
これに対して、主情報とこれに付随する付随情報とを別の情報として扱うことができる技術が実用化されつつある。例えば、ＭＰＥＧ−７では、映像や音声コンテンツの内容をメタ情報として記述するが、その際に、各種の情報をオブジェクトとして扱うことができるため、主情報とこれに付随する付随情報とを別の情報として扱うことが可能である。別の例としては、別個独立した映像や音声等の主情報とこれに付随する付随情報とを同期させて単一のデータ構造として生成することを可能にした同期統合言語、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）という技術も、既に実用化されている。
【０００５】
また、別個独立した映像や音声等の主情報とこれに付随する付随情報とを同期させる手法としては、例えば付随情報がある資料であるとして、そのような付随情報を構成する資料の単位（例えばページ）が変わるタイミングで時刻情報を記録し、その再生時には記録した時刻情報を参照して映像や音声等の主情報と同期させて再生する、という手法が知られている（特許文献１及び特許文献２参照）。
【０００６】
【特許文献１】
特開平１０−５５３９１号公報
【特許文献２】
特開２００２−２３２８５８公報
【０００７】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−７を例に挙げると、主情報が映像情報であった場合、これに付随する付随情報を生成するには、映像情報を構成するフレーム毎に付随情報を生成していかなければならず、その作業が極めて煩雑であるという問題がある。
【０００８】
本発明の目的は、主情報とこれに付随する付随情報とを別の情報として扱うことができる情報ファイルを容易に生成可能にすることである。
【０００９】
【課題を解決するための手段】
請求項１記載の情報ファイルのデータ構造の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する。
【００１０】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００１１】
請求項２記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、映像情報を含む。
【００１２】
したがって、主情報である映像情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１３】
請求項３記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、画像情報を含む。
【００１４】
したがって、主情報である画像情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１５】
請求項４記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、音声情報を含む。
【００１６】
したがって、主情報である音声情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１７】
請求項５記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の理解を助ける補足情報を含む。
【００１８】
したがって、補足情報を表示させることによって、主情報（映像、画像、音声等）の理解が助けられる。
【００１９】
請求項６記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報に関連する関連情報を含む。
【００２０】
したがって、主情報（映像、画像、音声等）に関連する関連情報の表示が可能となる。
【００２１】
請求項７記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の構造を表現する構造情報を含む。
【００２２】
したがって、構造情報を表示させることによって、主情報（映像、画像、音声等）の構造が明確になり、主情報の体系的な理解が可能となる。
【００２３】
請求項８記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００２４】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００２５】
請求項９記載の情報ファイル生成方法の発明は、経時変化する視聴可能な主情報を生成するステップと、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成するステップと、を具備する。
【００２６】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００２７】
請求項１０記載の発明は、請求項９記載の情報ファイル生成方法において、前記付随情報を生成するステップは、前記主情報の再生に際してカウンタのカウント動作を実行するサブステップと、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブステップとを含む。
【００２８】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００２９】
請求項１１記載の情報ファイル生成装置の発明は、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を具備する。
【００３０】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００３１】
請求項１２記載の発明は、請求項１１記載の情報ファイル生成装置において、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む。
【００３２】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００３３】
請求項１３記載の情報ファイル生成プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を実行させる。
【００３４】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００３５】
請求項１４記載の発明は、請求項１３記載の情報ファイル生成プログラムにおいて、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む。
【００３６】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００３７】
請求項１５記載の発明は、請求項１３又は１４記載の情報ファイル生成プログラムを記憶する記憶媒体である。
【００３８】
したがって、請求項１３又は１４記載の発明と同一の作用を有する。
【００３９】
請求項１６記載の情報ファイル再生方法の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈するステップと、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生するステップと、を具備する。
【００４０】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００４１】
請求項１７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップでは、前記主情報と前記付随情報とをマルチメディア同期統合言語に変換する。
【００４２】
したがって、マルチメディア同期統合言語による主情報と付随表示情報との再生が可能となる。
【００４３】
請求項１８記載の発明は、請求項１７記載の情報ファイル再生方法において、マルチメディア同期統合言語への変換処理では、前記主情報及び前記付随表示情報の配置と背景画像の種類とを選択された雛型情報に基づいて設定する。
【００４４】
したがって、選択された雛型情報に応じて主情報及び付随表示情報の配置位置及び背景画像の種類が決められる。これにより、主情報及び付随表示情報の配置位置の設定と背景画像の種類の設定とが容易となる。
【００４５】
請求項１９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示態様を選択可能とする。
【００４６】
したがって、付随表示情報を適宜所望の表示態様で表示させることが可能となる。
【００４７】
請求項２０記載の発明は、請求項１６又は１９記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示と非表示とを選択的に実行する。
【００４８】
したがって、必要な付随情報のみを表示させることが可能となる。
【００４９】
請求項２１記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報が前記主情報の構造を表現する構造情報を含む場合、選択指定された前記構造情報に対応する時点に前記主情報の再生時点を移動させる。
【００５０】
したがって、主情報の所望の場所への瞬時のアクセスが可能となる。
【００５１】
請求項２２記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、この主情報の表示に重ならない位置に前記付随表示情報を表示する。
【００５２】
したがって、付随表示情報が主情報の表示再生の妨げとならない。
【００５３】
請求項２３記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、前記付随表示情報を透明ウインドウで表示する。
【００５４】
したがって、付随表示情報を主情報の表示位置に囚われない所望の場所に表示させながらも、そのような付随表示情報が主情報の表示再生の妨げとならない。
【００５５】
請求項２４記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報をスクロールさせて表示する。
【００５６】
したがって、付随表示情報が長い場合にもその全体を表示させることが可能となり、また、付随表示情報に注意を喚起することも可能となる。
【００５７】
請求項２５記載の発明は、請求項２４記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報のスクロール完了時間が前記主情報に同期するように制御する。
【００５８】
したがって、付随表示情報のスクロール表示が主情報と同期する。
【００５９】
請求項２６記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報に含まれる文字の属性を選択可能とする。
【００６０】
したがって、付随表示情報が含む文字を所望の属性、例えば文字の色、フォントの種類、サイズ等で表示することが可能となる。
【００６１】
請求項２７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、選択指定可能なイベント取得用のオブジェクトとこのオブジェクトを前記主情報に重ねて表示し、そのオブジェクトが選択指定された場合に前記付随表示情報に設定されたイベントを発生させる。
【００６２】
したがって、オブジェクトの選択指定によってあるイベントを発生させることが可能である。
【００６３】
請求項２８記載の発明は、請求項２７記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記オブジェクトを透明に表示する。
【００６４】
したがって、オブジェクトが主情報の表示再生の妨げとならない。
【００６５】
請求項２９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００６６】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００６７】
請求項３０記載の情報ファイル再生装置の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を具備する。
【００６８】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００６９】
請求項３１記載の発明は、請求項３０記載の情報ファイル再生装置において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００７０】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００７１】
請求項３２記載の情報ファイル再生プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を実行させる。
【００７２】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００７３】
請求項３３記載の発明は、請求項３２記載の情報ファイル再生プログラムにおいて、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００７４】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００７５】
請求項３４記載の発明は、請求項３２又は３３記載の情報ファイル再生プログラムを記憶する記憶媒体である。
【００７６】
したがって、請求項３２又は３３記載の発明と同一の作用を有する。
【００７７】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００７８】
［情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体］
図１は、情報ファイル生成装置である情報ファイル生成システム１の全体のハードウエア構成を示すブロック図である。
【００７９】
本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。
【００８０】
そこで、この情報ファイル生成システム１は、プレゼンテーション用のＰＣ２と、このＰＣ２に接続されて、プレゼンテーション映像を表示するプロジェクター等の投影機３と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、このＤＶカメラ４を制御可能にＩＥＥＥ１３９４などのインターフェイスで接続された撮影用のＰＣ５とを備えている。ＰＣ２とＰＣ５とはＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサ（Ｅｔｈｅｒ）ネットによるピア・ツー・ピア接続などであっても良い。
【００８１】
図２は、ＰＣ２，５の電気的な接続を示すブロック図である。図２に示すように、ＰＣ２，５は、各種演算を実行して各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００８２】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とが接続されている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていても良い。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８には、記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【００８３】
ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、情報ファイル生成プログラムが記憶されている。この情報ファイル生成プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。この意味で、磁気記憶装置１４はもとより、記憶媒体１７も、情報ファイル生成プログラムを記憶する記憶媒体として機能する。
【００８４】
そして、情報ファイル生成プログラムがインストールされることにより、ＰＣ２，５は情報ファイル生成動作可能な状態となる。すなわち、ＣＰＵ１１が情報ファイル生成プログラムに基づいて動作することにより、後述する各種モジュールの機能（本願発明の各種手段及びステップ）をそれぞれ実現する。なお、情報ファイル生成プログラムは、特定のアプリケーションソフトの一部をなすものであっても良い。また、所定のＯＳ上で動作するものであっても、ＯＳの機能を一部利用して動作するものであっても良い。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。
【００８５】
以下では、情報ファイル生成プログラムに基づいて情報ファイル生成システム１が行なう処理の内容について説明する。
【００８６】
図３は、情報ファイル生成プログラム等に基づいて実現される情報ファイル生成システム１の機能ブロック図である。
【００８７】
ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。
【００８８】
通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。
【００８９】
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作によるページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
ＰＣ２は、情報ファイル生成プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影し取り込む映像音声内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影し取り込む映像音声に対する付随情報の生成を効率良く行なうことを支援する。
【００９０】
前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像音声内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像音声内容中、被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なうコンピュータの操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とその発生時刻も正確に記録する必要がある。
【００９１】
１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック）
そこで、イベント送信装置３２は、イベントキャプチャーモジュール３３により、これらのイベントの種類とその発生時刻をイベント情報として取得する。そして、イベント記録モジュール３４は、このイベント情報のログを記録し、イベント送信モジュール４４は通信インターフェイスを介してＰＣ５（ＰＣ５が情報ファイル生成プログラムに基づいて実現するイベント受信装置３５）に送信する。
【００９２】
このイベント送信装置３２から送信されたイベント情報は、イベント受信装置３５において、イベント受信モジュール３６により受信される。そして、イベント制御モジュール３７は、イベント記録モジュール３８と撮影機器制御モジュール３９に、受信したイベント情報を渡す。イベント記録モジュール３８は、イベント情報を時系列に記録する。
【００９３】
撮影機器制御モジュール３９は、イベント情報に基づいてＤＶカメラ４を制御する。映像キャプチャモジュール４０は、ＤＶカメラ４で撮影し取り込んだ映像音声をキャプチャする。映像ファイル管理モジュール４１は、ＤＶカメラ４で撮影し取り込んだ映像音声の映像音声ファイルを記憶して管理する。また、イベント記録モジュール３８が記録するイベント情報には、イベント送信装置３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も含まれる。
【００９４】
イベント解釈モジュール４２は、イベント情報の内容を解釈する。そして、情報ファイル生成モジュール４３は、イベント解釈モジュール４２によって解釈されたイベント情報の内容を参照し、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１及び映像音声ファイルに基づいて、情報ファイルを生成する。
【００９５】
次に、イベント送信装置３２とイベント受信装置３５との間のイベント情報の交換について具体的に説明する。
【００９６】
１．プレゼンテーション・ソフトの起動というイベントが発生したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影及び音声取り込みを開始する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００９７】
２．プレゼンテーション資料３１のスライドが進行しているときは、キーボード２１のキー操作によるイベントが発生するので、このイベント情報をイベント記録モジュール３８で記録する。
【００９８】
３．プレゼンテーション・ソフトが終了したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影及び音声取り込みを終了する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００９９】
このようにして、ＤＶカメラ４で撮影し取り込んだ映像音声中のイベントのイベント情報を映像音声情報とともにイベント受信装置３５で管理することができる。つまり、ＤＶカメラ４で撮影され取り込まれた映像音声情報は、主情報として、その時間の推移を規定する第１の時間情報を付されて保存される。また、記録されたイベント情報は、情報ファイル生成モジュール４３により、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により管理される。このような手順を以下に示す。
【０１００】
１．イベント情報に付随するプレゼンテーション内容の付加
例えば、キーボード２１のキー操作が順に、「Ｎ，Ｎ，Ｎ，Ｐ，Ｎ，Ｎ」と押下されるイベントが発生した場合、プレゼンテーション資料３１のページの推移は、「１，２，３，２，３，４」といった推移が予想される。そこで、図４（ａ）に示すように、このようなイベントの発生に対応するページのプレゼンテーション資料３１から文字情報からなる付随表示情報５１を抽出し、キーボード２１の操作によるイベント情報５２に付加する。これにより、イベントの発生時刻に表示しているプレゼンテーションの内容を代表する文字列（付随表示情報５１）にイベント情報５２を伴わせた付随情報５３を生成することができる（図４（ｃ）参照）。
【０１０１】
２．ビデオ映像音声情報に対する映像音声物理ファイル構成
実際に撮影され取り込まれた映像音声は、撮影カットの単位で物理ファイル５４として（ＡＶＩ，ＭＰＥＧ−１，２，４等）格納される（図４（ｂ）参照）。そして、実際に１つの意味のある映像音声のまとまりを映像音声ファイル群からなる主情報５５として扱う（図４（ｃ）参照）。
【０１０２】
３．プレゼンテーション内容を含むイベント情報と映像物理ファイルとのマッピング
１つの意味のまとまりとして管理される映像音声ファイル群からなる主情報５５と付随情報５３とは、映像音声に記録されているタイムコード（記録されていない場合は、１秒間のフレーム数による換算）により対応付けられ（図４（ｃ）参照）、イベントと映像再生位置との時間関係を特定することが可能になる。これにより、映像情報である主情報５５とイベント情報５２とを時系列的に対応付けて記録することができる。ＤＶカメラ４による撮影等の開始、終了に関するイベント情報５６も、付随情報５７として映像情報（主情報）に対応付けられる。
【０１０３】
このように、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０４】
ここで、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とを同期させる手法について図１３ないし図１５に基づいて説明する。図１３は、主情報５５と付随情報５３，５７とを同期させる手法を説明するための模式図である。図１４は、主情報５５と付随情報５３，５７とを同期させる別の手法を説明するための模式図である。図１５は、主情報５５と付随情報５３，５７とを同期させる更に別の手法を説明するための模式図である。
【０１０５】
まず、図１３に基づいて、主情報５５と付随情報５３，５７とを同期させる手法を説明する。ここでは、仮に、ＰＣ２とＰＣ５とが単一のコンピュータであると仮定する。この場合、ＰＣ２及びＰＣ５を構成するコンピュータ中の例えばＣＰＵ１１やメモリ１２を利用し、ある単位で値が一つずつ加算されるカウンタを用意する。このカウンタは、プレゼンテーションの発表開始と同時、一例としてプレゼンテーション・ソフトの起動時に指定値（通常は０値）にリセットする。リセット後におけるカウンタ値の増加は、図１３中、矩形枠として表現する。そして、イベントが発生する毎に、イベントの内容とその時のカウンタのカウンタ値とをイベント情報を構成する同期信号として記録する。図１３中、イベントは、カウンタ値として示される矩形枠に対応する楕円枠として表現する。そして、このような処理をプレゼンテーションが終了するまで続行する。この際、カウンタのカウントアップ単位としては、任意の値、例えば主情報のＮ（例えば１）フレームでもＮ（例えば１）秒というような時間単位でもＮ（例えば１）クロックというようなＣＰＵ１１のクロック周波数でも良い。こうして記録されるイベント情報を構成する同期信号は、最終的には情報ファイル生成モジュール４３において情報ファイルに記録される。こうして、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０６】
ここで、イベントの例としては、ここでは単一のコンピュータとして説明しているＰＣ２とＰＣ５とを再度別個のコンピュータとして考えるとすると、プレゼンテーションを実行するＰＣ２においては、プレゼンテーション資料の単位の変更、例えばページ切り替え、ファイル切り替え、ＵＲＬ切り替え、デモ等が挙げられる。また、撮影用のＰＣ５におけるイベントの例としては、ＤＶカメラ４から取り込まれた例えば「この部分重要」、「この部分注意」というような主観的な音声情報、ＰＣ２では検出されない「デモ」などのような入力操作等が挙げられる。もっとも、以上例示した内容は、あくまでも例示に過ぎない。
【０１０７】
その後に発生する情報ファイルの再生時には、主情報の再生開始と共に記録時と同じ単位でカウンタを動作させ、イベント情報を構成する同期信号を読み込んでイベント発生時のプレゼンテーション資料等を表示させる。別の一例としては、イベント情報を構成する同期信号のカウンタ値を００ｈ：００ｍ：００ｓ：００ｆを気点とする時刻の値に変換し、主情報の再生と共にカウンタ値に相当する時刻に合わせてイベント発生時のプレゼンテーション資料等を表示させる。
【０１０８】
次いで、ＰＣ２とＰＣ５とが別個独立するコンピュータである場合について説明する。これらのＰＣ２とＰＣ５とは、前述したように、相互に通信可能である。そこで、ＰＣ２とＰＣ５とのうちの一方、例えば撮影用のＰＣ５を親機である機器０とし、他方、例えばプレゼンテーションを実行するＰＣ２を子機ある機器１と決める。親器である機器０においてカウンタを動作させ、最初にカウンタのリセット動作を実行する。そのタイミングで、機器０より機器１に対してそのカウンタをリセットして動作させるべき命令を送信し、機器１のカウンタもリセットする。これにより、機器０と機器１とは、略同一のタイミングでカウンタの加算動作を実行する。その後、機器０と機器１との双方において、前述したような手法によってイベント情報を構成する同期信号をイベント記録モジュール３４、３８で記録する。そして、プレゼンテーションが終了すると、親機である機器０から子機である機器１に記録終了の指示命令を送信し、これに応じて機器１から機器０に記録情報の送信が行なわれる。そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号は、最終的には情報ファイル生成モジュール４３において情報ファイルに記録される。こうして、映像音声ファイル群からなる主情報５５とその内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０９】
なお、以上説明した例では、一例として子機となるプレゼンテーション用のＰＣ２である機器１が一台である場合を説明したが、子機が複数台の場合にも上述した手法によるイベント情報の記録動作を実行し得る。
【０１１０】
次いで、図１４に基づいて、主情報５５と付随情報５３，５７とを同期させる別の手法を説明する。図１３に基づいて説明した手法によれば、機器０と機器１との間の通信に要する時間分だけ機器０と機器１とに発生したイベント情報に誤差が生ずる。このような誤差が無視し得る場合には、図１３に基づいて説明した手法に不都合はない。
【０１１１】
これに対して、通信時間による誤差が無視し得ない場合には、図１４に例示するように、誤差補正のための処理を実行する必要がある。つまり、機器０から機器１にデータ送信し機器１から機器０にデータ返信する処理で、親機である機器０が子機である機器１にデータ送信して返信を受け取るまでのカウンタのカウント数Ｎを計数し、その半分のＮ／２を通信時間として補正する。すなわち、機器０及び機器１におけるカウンタのカウント値をＸｉとした瞬間の機器０のカウンタ値Ｐｉは、Ｐｉ＝Ｘｉ＋Ｎ／２として求めることができる。
【０１１２】
そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号を情報ファイル生成モジュール４３において情報ファイルに記録するに際して、Ｐｉ＝Ｘｉ＋Ｎ／２の演算式で機器０の同期信号を補正する。これにより、機器０と機器１との間の通信に要する時間分だけ生ずる機器０と機器１との間のイベント情報の誤差が解消される。
【０１１３】
次いで、図１５に基づいて、主情報５５と付随情報５３，５７とを同期させる更に別の手法を説明する。図１３及び図１４では、機器０と機器１とのカウンタを略同時にリセットして同期させる例を説明した。これに対して、図１５に例示する手法では、機器０と機器１（あるいは機器１〜Ｎ）が自由にカウンタを刻む例を説明する。つまり、記録開始を指示する命令が親機である機器０から子機である機器１に送信され、それ以降、機器１では、イベントを検知した瞬間のカウント値とこれに対応するイベント内容とを記録する。いうまでもなく、このようなイベントを検知した瞬間のカウント値とこれに対応するイベント内容との記録は、機器０においても実行される。この場合、ある時刻における機器０と機器１とのカウンタ値、あるいは機器１が複数ある場合には各機器におけるカウンタのカウント値はばらばらであっても良い。
【０１１４】
こうしてイベントを検知した瞬間のカウント値とこれに対応するイベント内容との記録が機器０及び機器１において実行されてプレゼンテーションが終了すると、親機である機器０から子機である機器１に記録終了を指示する命令を送信する。そして、機器１から機器０に対して、その時点でのカウンタのカウント値Ｘｅを機器１での記録情報と共に送信する。この場合、親機である機器０における記録開始から記録終了までのカウンタのカウント数をＣとすると、（Ｘｅ−Ｃ）が記録開始時の機器１のカウンタのカウント値Ｘｓであると推定することができる。そこで、記録開始時の機器０のカウンタのカウント値をＰｓとすれば、機器０と機器１との間のカウンタの補正値Ｄは、Ｄ＝（Ｘｓ−Ｐｓ）となる。これにより、ある時点での機器１におけるカウンタのカウント値をＸｉとすると、その時の機器０のカウンタ値ＰｉはＰｉ＝Ｘｉ−Ｄとして求めることができる。
【０１１５】
そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号を情報ファイル生成モジュール４３において情報ファイルに記録するに際して、Ｐｉ＝Ｘｉ−Ｄの演算式で機器０の同期信号を求める。これにより、機器０と機器１との間の通信に要する時間分だけ生ずる機器０と機器１との間のイベント情報の誤差が解消される。
【０１１６】
次いで、図１３、図１４、図１５にそれぞれ基づいて以上説明した全ての例において、自動で生成されたイベント情報を手動で編集する場合の便宜を提供することが可能である。つまり、本実施の形態では、情報ファイル生成モジュール４３を具備するＰＣ５においてイベント情報を編集する機能が提供される。このイベント情報を編集する機能では、カウンタのカウント値とその表記とを直感的に認識し易い単位に変換して表示し、編集終了後にまた元の単位に変換するための変換モジュールが要求される。この変換モジュールは、ＰＣ５に設けられる。この場合、直感的に認識し易い単位としては、秒単位やフレーム単位を例示することができる。そして、カウント値の表記としては、自分秒ミリ秒、フレーム数等がある。この場合、あまり細かすぎても煩雑なだけであるので、ある程度大雑把な単位が一般的には望ましい。また、要求される精度に応じて単位を変更し得るようにしても良い。こうして、変換モジュールにおいて、カウンタのカウント値とその表記とを直感的に認識し易い単位に変換して表示し、編集終了後にまた元の単位に変換することが可能となるため、自動で生成されたイベント情報を手動で編集する場合の便宜が図られる。この際、編集作業としては、変換モジュールにより変換されたテキストをテキスト編集しても良いし、変換モジュールをイベント編集ツールに組み込んで利用しても良い。また、イベントの利用目的が予め決められているアプリケーションの場合には、カウンタの１単位の加算時間を例えば１秒に予め決めて利用し、変換の手間をなくしてもかまわない。
【０１１７】
以上、図１３、図１４、図１５にそれぞれ基づいて、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とを同期させる処理内容について説明した。このようなＰＣ２及びＰＣ５において実行される処理内容は、それらのＰＣ２及びＰＣ５にインストールされた情報ファイル生成プログラムがそれらのＰＣ２及びＰＣ５に解釈実行されることで実行される。
【０１１８】
図５は、主情報５５と付随情報５３，５７とのキャプチャリング処理の流れ及びキャプチャリング処理により生成された情報ファイルのファイル構成を例示する模式図である。図５に示すように、撮影作業に際しては、ＤＶカメラ４による実際の撮影作業１０１と共に、プレゼンテーション資料３１を付随表示情報として取得する付随表示情報取得１０２、及びキーボード２１やマウス１５の操作に応じたイベント情報取得１０３が実行され、これによって付随情報５３，５７が生成される（付随情報取得１０４）。付随情報５３，５７は、例えばＭＰＥＧ−７の形式に変換されて保管される。一方、ＤＶカメラ４による実際の撮影作業１０１の結果得られた情報は、主情報１０５として例えばＭＰＥＧ−２の形式に変換されて保管される。こうして、主情報１０５と付随情報５３，５７とから構成される情報ファイルが生成される。
【０１１９】
ここで、図５は、図１ないし図４に例示したキャプチャリング処理による主情報５５と付随情報５３，５７との生成を例示する。これに対して、本発明は、必ずしもこのような処理を要求するわけではなく、人手によって付随情報５３，５７を生成しても良い。つまり、図６に例示するように、付随情報５３，５７は、人が主情報５５である映像を見ながら手で記述を行なって生成しても良い。この場合、図６に示すように、付随情報生成ツール２０１を利用しながら実際に見ている主情報５５からなる映像音声を構造化し、各構造に対して必要な付随情報５３，５７（付随表示情報５１及びイベント情報５２）を付加することで、情報ファイルが生成される。
【０１２０】
図７は、ＭＰＥＧ−７で記述された付随情報５３，５７の一例を示す模式図である。この一例では、映像中のあるシーンに対し、字幕情報３０１、登場人物３０２、行動３０３、場所３０４、日時３０５が記載された例である。このように記載された情報は、利用者が実際に閲覧する映像情報（主情報５５）に対する補足情報（付随表示情報５１）となるわけであるが、主情報５５とは独立して存在することにより、そのような補足情報（付随表示情報５１）は、様々な表現形態を自由に採り得る。
【０１２１】
なお、以上説明した例では、主情報５５として、画像音声情報を例示したが、主情報５５は、経時変化する視聴可能な情報であればその種類を問わない。例えば、アニメーション等のような画像情報も、経時変化する限り、主情報５５として扱うことが可能である。
【０１２２】
図８は、情報ファイルのより詳細なファイル構造を例示する模式図である。ここで、図８に基づいて、本実施の形態における情報ファイルのより詳細な一例を説明する。
【０１２３】
ＤＶカメラ４で撮影され取り込まれた映像音声のデータは、ＭＰＥＧ−１に変換され（ステップＳ１０１）、さらにマルチメディアソフトによってマルチメディアファイルに変換されて主情報５５となる（ステップＳ１０２）。
【０１２４】
プレゼンテーションで用いられたプレゼンテーション資料３１は、前述した情報ファイル生成プログラムに従いＨＴＭＬの形態に変換されて付随表示情報５１となり（ステップＳ２０１）、同時に獲得されたイベント情報５２（ステップＳ２０２）と統合処理によりマージされて付随情報５３，５７が生成される（ステップＳ２０３）。ステップＳ２０３の統合処理では、プレゼンテーションにおいて画像として表示されたプレゼンテーション資料３１が画像データとしてＪＰＥＧ方式で圧縮され（ステップＳ２０４）、この圧縮されたプレゼンテーション資料３１に基づく画像データも付随表示情報５１として別の付随表示情報５１及びイベント情報５２と共にマージされる。そして、こうしてマージされたデータはＭＰＥＧ−７のデータ構造に変換される（ステップＳ２０５）。
【０１２５】
この際、ステップＳ１０２でマルチメディアファイルに変換された主情報５５は、ステップＳ２０３で、付随表示情報５１及びイベント情報５２と共にマージされても良い。
【０１２６】
あるいは、ステップＳ１０２でマルチメディアファイルに変換された主情報５５は、ステップＳ２０６においてＸＳＬＴ構造で同期統合表現された付随情報５３，５７と、マルチメディア同期統合言語（例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ））を用いてマージされても良い（ステップＳ３０１）。この際、各種のテンプレート４０１を用いても良い。
【０１２７】
［情報ファイルの再生］
前述したようにして生成された情報ファイルは、例えばパーソナルコンピュータ（ＰＣ）によって再生が可能である。ＰＣは、例えば図２のブロック図に例示したようなアーキテクチャを有している。つまり、ＰＣは、各種演算を実行して各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されて構成されている。バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とが接続されている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていても良い。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８には、記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【０１２８】
このような構成のＰＣには、その磁気記憶装置１４に、情報ファイル再生プログラムがインストールされている必要がある。この情報ファイル再生プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。この意味で、磁気記憶装置１４はもとより、記憶媒体１７も、情報ファイル再生プログラムを記憶する記憶媒体として機能する。
【０１２９】
そして、情報ファイル再生プログラムがインストールされることにより、ＰＣは情報ファイル再生動作可能な状態となる。すなわち、ＣＰＵ１１が情報ファイル再生プログラムに基づいて動作することにより、後述する各種モジュールの機能（本願発明の各種手段及びステップ）をそれぞれ実現する。なお、情報ファイル再生プログラムは、特定のアプリケーションソフトの一部をなすものであっても良い。また、所定のＯＳ上で動作するものであっても、ＯＳの機能を一部利用して動作するものであっても良い。
【０１３０】
図９は、情報ファイル再生プログラム等に基づいて実現される情報ファイル再生処理を示す機能ブロック図である。ここでは、情報ファイル再生プログラムによってＰＣが実行する機能をブロック化して示している。まず、情報ファイルに含まれている主情報５５及び付随情報５３，５７の内容は、ファイル構造を解釈する付随情報解釈モジュール５０１によって解釈される。実際には、ＸＭＬパーサ等に相当する付随情報解釈部５０２が文書構造を解釈する。その後、構造情報解釈部５０３が文書構造中での主情報５５の構造を表現するタグ（図７に示す例では、＜ＭｅｄｉａＴｉｍｅ＞で表現される部分３０６）から実際の映像情報の構造を解釈し、付随情報５３，５７の内容とその映像情報の出現位置とを特定する。また、表示情報抽出部５０４は、実際に利用者が表示させることができる情報を抽出する。
【０１３１】
次に、主情報５５の再生情報を生成する例を示す。映像情報である主情報５５は、そのフレームレート（１秒間に再生するフレーム数）に従い映像を表示する。そこで、主情報・付随情報統合モジュール５１１では、まず、主情報同期部５１２が映像と付随情報提供時間との同期を行なう。次いで、付随情報選択部５１３が実際に利用者が表示要求をする項目を判定する。さらに、必要に応じて、利用者からの主情報表示位置指定への構造情報からのスキップを可能にするために関連情報として開始点操作部５１４が映像の構造と開始位置（時間）との関係を明確にする。以上の情報から、実際に、主情報５５と付随情報５３，５７とについいての表示指示を、主情報表示部５１５と付随情報表示部５１６とに出力する。
【０１３２】
図１０は、付随情報５３，５７に基づいてマルチメディア同期統合言語、例えばＳＭＩＬのテンプレート４０１に各情報を統合表示した表示例を示す模式図である。このように主情報５５（映像）と付随表示情報５１とを１つのテンプレート（雛型情報）４０１上に適宜配置することで、主情報５５（映像）、映像の構造情報６０１、関連する資料６０２（プレゼンテーション・ソフトによって表示したページ）、タイトル６０３等を統合的に表示することができる。この際、テンプレート４０１は、主情報５５及び付随表示情報５１の配置と背景画像４０２の種類とを設定する。また、テンプレート４０１として各表示レイアウトパターンを予め用意することで、簡単にこのような表示画面を生成することが可能となる。利用者は、映像の内容や雰囲気から任意のテンプレート４０１を選択するだけで良い。
【０１３３】
このような同期統合表示は、図９に示す同期統合表示モジュール５２１によって実行される。この同期統合表示モジュール５２１は、情報表示レイアウト部５２２と文字属性変更部５２３と同期統合表示部５２４とを備えている。同期統合表示を司るのが同期統合表示部５２４であり、この際、情報表示レイアウト部５２２は選択されたテンプレート４０１に応じて情報表示レイアウトを設定し、同様に、文字属性変更部５２３は、選択されたテンプレート４０１に応じて付随表示情報５１における文字の属性、例えば文字の色、フォント、サイズ等を変更する。
【０１３４】
なお、図１０（ａ）と図１０（ｂ）とは、異なるテンプレート４０１を用いた例をそれぞれ示している。
【０１３５】
図１１は、付随表示情報５１を任意に表示する表示例を示す模式図である。図１１（ａ）では、付随表示情報５１をウインドウ７０１内に表示し、これらのウインドウ７０１を任意の位置へ移動可能としている。図１１（ｂ）では、各付随表示情報５１のウインドウ７０１の背景及び枠を透明化し、ウインドウ内に表示される文字やオブジェクトだけを可視化することで、他の情報の閲覧への支障を最小限に抑えている。また、実際には、ウインドウ７０１の幅より長い文字列に対しては、文字列の自走スクロール（ウインドウ領域内で電光掲示板のように流れる）機能を入れ、任意のスピードやシーン時間と同期したスピードでスクロールすることで内容を把握できるようにする。このスクロールの完了時間は、主情報５５に同期するように制御される。さらに、表示する文字の属性、例えば文字列の色、大きさ、フォント等を任意に変更することで、表示されている情報の意味や重要性を区別することができる。加えて、付随表示情報５１を任意に表示する表示中には、イベント取得用のオブジェクト７０２が表示されている。このオブジェクト７０２は、例えば映像再生・停止の指示ボタンとして映像表示画面（主情報５５）の上に重ねて配置され、この場合には、マウスクリック等で映像の再生・停止操作を行なうことが可能である。つまり、付随表示情報５１には、オブジェクト７０２の表示情報の他、このオブジェクト７０２が位置付けられている主情報５５の内容に応じたイベントが含まれている。そこで、オブジェクト７０２をマウスクリック等で選択指定することによって、付随表示情報５１に含まれているイベントの実行が可能となる。
【０１３６】
このような同期統合表示は、図９に示す同期任意表示モジュール５３１によって実行される。この同期任意表示モジュール５３１は、付随情報表示ウインドウ化５３２、ウインドウ透明化５３３、文字属性変更部５３４、文字列スクロール５３５、及び領域オブジェクト５３６を備えている。付随情報表示ウインドウ化５３２は、付随表示情報５１をウインドウ７０１内に表示する。ウインドウ透明化５３３は、ウインドウ７０１を完全に透明化する。文字属性変更部５３４は、表示する文字の属性を任意に変更する。文字列スクロール５３５は、文字列の自走スクロール機能を実現する。領域オブジェクト５３６は、オブジェクト７０２の表示処理とこのオブジェクト７０２が選択指示された場合のイベントの実行とを司る。
【０１３７】
図１２は、情報ファイルの表示例を示す模式図である。付随表示情報５１は、主情報５５の理解を助ける補足情報８０１、主情報５５に関連する関連情報８０２、主情報５５の構造を表現する構造情報８０３を含んでいても良い。
【０１３８】
補足情報８０１は、図１２中、内容情報及び字幕情報として実現されている。内容情報は、図７に例示した映像中のあるシーンに対する登場人物３０２、行動３０３、場所３０４、日時３０５等のような情報に基づいて表示される。この内容情報は、一例として、シーン内容情報表示、つまり、現在再生されている主情報５５のあるシーンにおける登場人物、場所、日時等を表示する。これにより、シーンに対するよりきめ細かな理解を可能とする。字幕情報は、同様に図７に例示した映像中のあるシーンに対する字幕情報３０１に基づいて表示される。この字幕情報は、一例として、現在再生されている主情報５５に対応する字幕をスクロールしながら表示する。いずれにしても、これらの補足情報８０１は、主情報５５の理解を助ける情報として有効である。
【０１３９】
関連情報８０２は、一例として、現在再生されている主情報５５のあるシーンに関連する情報である。図１２に示す例では、シーン中の代表フレーム（キーフレーム）を表示している。もっとも、これは一例に過ぎず、例えば、関連した画像や発表原稿イメージ等を関連情報８０２として付随表示情報５１に持たせても良い。
【０１４０】
構造情報８０３は、一例として、付随表示情報５１から主情報５５の構造情報を抽出し、各構造の見出しに相当する文字列を表示したものである。これにより、主情報５５全体の構造の把握が容易となる。また、別の一例としては、構造情報８０３において、現在再生中の主情報５５のシーンに相当する文字列をハイライト（他の色）とすることで、再生箇所の把握も容易とすることができる。
【０１４１】
加えて、図１２に例示する情報ファイルの表示例には、オブジェクト７０２が表示されている。このオブジェクト７０２は、図１１に基づいて説明したオブジェクト７０２と同一のものである。説明を補足すると、このオブジェクト７０２は、その選択指定によって様々なイベントを発生するように構築可能である。例えば、主情報５５のシーンに重ねて表示させたオブジェクト７０２が選択指定されることで、そのシーンに登場する人や物の情報を表示するというような使い方もできる。この場合、付随表示情報５１がその人や物に関する情報を図９に示すような形態で保有していても良いが、付随表示情報５１にハイパーリンクが設定されていても良い。つまり、その人や物に関する情報自体は、例えばＵＲＬによってアクセス可能な何処かに保存されており、付随表示情報５１にはそのＵＲＬを指定するハイパーリンクを記述する。もっとも、オブジェクト７０２によって発生するイベントは、その種類を問わず、あらゆるイベントを生じさせることが可能である。そして、この場合、オブジェクト７０２は主情報５５に埋め込まれているわけではないので、その設定作業が極めて容易である。
【０１４２】
【発明の効果】
請求項１記載の情報ファイルのデータ構造の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１４３】
請求項２記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、映像情報を含むので、主情報である映像情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４４】
請求項３記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、画像情報を含むので、主情報である画像情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４５】
請求項４記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、音声情報を含むので、主情報である音声情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４６】
請求項５記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の理解を助ける補足情報を含むので、補足情報を表示させることによって、主情報（映像、画像、音声等）の理解を容易にすることができる。
【０１４７】
請求項６記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報に関連する関連情報を含むので、主情報（映像、画像、音声等）に関連する関連情報を表示させ、これにより、主情報を元にしたより発展的な情報を提供することができる。
【０１４８】
請求項７記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の構造を表現する構造情報を含むので、構造情報を表示させることによって、主情報（映像、画像、音声等）の構造が明確になり、主情報の体系的な理解を助けることができる。
【０１４９】
請求項８記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１５０】
請求項９記載の情報ファイル生成方法の発明は、経時変化する視聴可能な主情報を生成するステップと、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成するステップと、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５１】
請求項１０記載の発明は、請求項９記載の情報ファイル生成方法において、前記付随情報を生成するステップは、前記主情報の再生に際してカウンタのカウント動作を実行するサブステップと、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブステップとを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５２】
請求項１１記載の情報ファイル生成装置の発明は、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５３】
請求項１２記載の発明は、請求項１１記載の情報ファイル生成装置において、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５４】
請求項１３記載の情報ファイル生成プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を実行させるので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５５】
請求項１４記載の発明は、請求項１３記載の情報ファイル生成プログラムにおういて、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５６】
請求項１５記載の発明は、請求項１３又は１４記載の情報ファイル生成プログラムを記憶する記憶媒体であるので、請求項１３又は１４記載の発明と同一の効果を有する。
【０１５７】
請求項１６記載の情報ファイル再生方法の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈するステップと、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生するステップと、を具備するので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５８】
請求項１７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップでは、前記主情報と前記付随情報とをマルチメディア同期統合言語に変換するので、マルチメディア同期統合言語によって主情報と付随表示情報とを再生することができる。
【０１５９】
請求項１８記載の発明は、請求項１７記載の情報ファイル再生方法において、マルチメディア同期統合言語への変換処理では、前記主情報及び前記付随表示情報の配置と背景画像の種類とを選択された雛型情報に基づいて設定するので、主情報及び付随表示情報の配置位置の設定と背景画像の種類の設定との容易化を図ることができる。
【０１６０】
請求項１９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示態様を選択可能とするので、付随情報を適宜所望の表示態様で表示させることができる。
【０１６１】
請求項２０記載の発明は、請求項１６又は１９記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示と非表示とを選択的に実行するので、必要な付随表示情報のみを表示させることができる。
【０１６２】
請求項２１記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報が前記主情報の構造を表現する構造情報を含む場合、選択指定された前記構造情報に対応する時点に前記主情報の再生時点を移動させるので、主情報の所望の場所へ瞬時にアクセスすることができる。
【０１６３】
請求項２２記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、この主情報の表示に重ならない位置に前記付随表示情報を表示するので、付随表示情報が主情報の表示再生の妨げとならないようにすることができる。
【０１６４】
請求項２３記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、前記付随表示情報を透明ウインドウで表示するので、付随表示情報を主情報の表示位置に囚われない所望の場所に表示させながらも、そのような付随表示情報が主情報の表示再生の妨げとならないようにすることができる。
【０１６５】
請求項２４記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報をスクロールさせて表示するので、付随表示情報が長い場合にもその全体を表示させることができ、また、付随表示情報に注意を喚起することもできる。
【０１６６】
請求項２５記載の発明は、請求項２１記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報のスクロール完了時間が前記主情報に同期するように制御するので、付随表示情報のスクロール表示を主情報と同期させることができる。
【０１６７】
請求項２６記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報に含まれる文字の属性を選択可能とするので、付随表示情報が含む文字を所望の属性、例えば文字の色、フォントの種類、サイズ等で表示することができる。
【０１６８】
請求項２７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、選択指定可能なイベント取得用のオブジェクトとこのオブジェクトを前記主情報に重ねて表示し、そのオブジェクトが選択指定された場合に前記付随表示情報に設定されたイベントを発生させるので、オブジェクトの選択指定によってあるイベントを発生させることができ、しかも、イベントの発生を主情報に一切手を加えることなく実現させることができるので、情報ファイルの生成の容易化を図ることができる。
【０１６９】
請求項２８記載の発明は、請求項２７記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記オブジェクトを透明に表示するので、オブジェクトが主情報の表示再生の妨げとならないようにすることができる。
【０１７０】
請求項２９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７１】
請求項３０記載の情報ファイル再生装置の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を具備するので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１７２】
請求項３１記載の発明は、請求項３０記載の情報ファイル再生装置において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７３】
請求項３２記載の情報ファイル再生プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を実行させるので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１７４】
請求項３３記載の発明は、請求項３２記載の情報ファイル再生プログラムにおいて、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７５】
請求項３４記載の発明は、請求項３２又は３３記載の情報ファイル再生プログラムを記憶する記憶媒体であるので、請求項３２又は３３記載の発明と同一の効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるシステムの全体の概略構成を示すブロック図である。
【図２】本システムで使用するＰＣの電気的な接続を示すブロック図である。
【図３】本システムの機能ブロック図である。
【図４】本システムによる付随情報生成処理について説明する説明図である。
【図５】主情報を構成する映像音声ファイル群と付随情報とのキャプチャリング処理の流れ及びキャプチャリング処理により生成された情報ファイルのファイル構成を例示する模式図である。
【図６】人手による情報ファイルの生成処理の流れを示す模式図である。
【図７】ＭＰＥＧ−７で記述された付随情報の一例を示す模式図である。
【図８】情報ファイルのより詳細なファイル構造を例示する模式図である。
【図９】情報ファイル再生プログラム等に基づいて実現される情報ファイル再生処理を示す機能ブロック図である。
【図１０】付随情報に基づいてマルチメディア同期統合言語のテンプレートに各情報を統合表示した表示例を示す模式図である。
【図１１】付随表示情報を任意に表示する表示例を示す模式図である。
【図１２】情報ファイルの表示例を示す模式図である。
【図１３】主情報と付随情報とを同期させる手法を説明するための模式図である。
【図１４】主情報と付随情報とを同期させる別の手法を説明するための模式図である。
【図１５】主情報と付随情報とを同期させる更に別の手法を説明するための模式図である。
【符号の説明】
１７ 記憶媒体
５３，５７ 付随情報
５５ 主情報（映像音声ファイル群）
４０１ 雛型情報（テンプレート）
４０２ 背景画像
７０２ オブジェクト
８０１ 補足情報
８０２ 関連情報
８０３ 構造情報
ＰＣ コンピュータ
【発明の属する技術分野】
本発明は、映像、画像又は音声のような視聴可能な主情報とこの主情報に付随する付随情報とを有する情報ファイルのデータ構造に関する。本発明は、また、そのような情報ファイルを生成するための情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体に関する。本発明は、さらに、そのような情報ファイルを再生するための情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
従来、映像、画像又は音声のような視聴可能な情報（主情報）に対して、例えば映画やテレビ放送等で多用されている字幕、テレビ放送で実施されている副音声等のようないわば付随情報を伴わせている例がある。現在の地上波テレビ放送での映画番組を例に挙げると、海外映画の場合、主情報である映画の映像に付随情報として字幕が埋め込まれていたり、吹替え前の音声が付随情報としてステレオでの片チャンネルで放送されたりしている。
【０００３】
近年、情報技術、情報通信技術の飛躍的な発展によって、そのような映像、画像又は音声のような視聴可能な情報が極めて身近になってきている。このような視聴可能な情報は、例えばインターネットで配信されたり、光ディスクに収められて流通したりしている。このような場合、視聴可能な情報は、電子的なデータとして扱われるのが一般的である。こうしてデータ化された視聴可能な情報は、前述したような主情報と付随情報とから構成されることも多く、この場合のデータの形態としては、主情報に付随情報が埋め込まれているのが一般的である。例えば、主情報である映像中に付随情報である文字情報が埋め込まれている場合、埋め込まれた文字情報は文字コード情報ではなく、映像中に画像（ビットパターン）として埋め込まれている。このため、そのような文字情報については、再利用は殆んどできないし、ましてや表示位置を変更することもできない。つまり、付随情報については、単独での利用可能性が殆んどないのが実情である。
【０００４】
これに対して、主情報とこれに付随する付随情報とを別の情報として扱うことができる技術が実用化されつつある。例えば、ＭＰＥＧ−７では、映像や音声コンテンツの内容をメタ情報として記述するが、その際に、各種の情報をオブジェクトとして扱うことができるため、主情報とこれに付随する付随情報とを別の情報として扱うことが可能である。別の例としては、別個独立した映像や音声等の主情報とこれに付随する付随情報とを同期させて単一のデータ構造として生成することを可能にした同期統合言語、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）という技術も、既に実用化されている。
【０００５】
また、別個独立した映像や音声等の主情報とこれに付随する付随情報とを同期させる手法としては、例えば付随情報がある資料であるとして、そのような付随情報を構成する資料の単位（例えばページ）が変わるタイミングで時刻情報を記録し、その再生時には記録した時刻情報を参照して映像や音声等の主情報と同期させて再生する、という手法が知られている（特許文献１及び特許文献２参照）。
【０００６】
【特許文献１】
特開平１０−５５３９１号公報
【特許文献２】
特開２００２−２３２８５８公報
【０００７】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−７を例に挙げると、主情報が映像情報であった場合、これに付随する付随情報を生成するには、映像情報を構成するフレーム毎に付随情報を生成していかなければならず、その作業が極めて煩雑であるという問題がある。
【０００８】
本発明の目的は、主情報とこれに付随する付随情報とを別の情報として扱うことができる情報ファイルを容易に生成可能にすることである。
【０００９】
【課題を解決するための手段】
請求項１記載の情報ファイルのデータ構造の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する。
【００１０】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００１１】
請求項２記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、映像情報を含む。
【００１２】
したがって、主情報である映像情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１３】
請求項３記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、画像情報を含む。
【００１４】
したがって、主情報である画像情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１５】
請求項４記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、音声情報を含む。
【００１６】
したがって、主情報である音声情報とは無関係に付随情報を生成することが可能となり、情報ファイルの生成が容易となる。
【００１７】
請求項５記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の理解を助ける補足情報を含む。
【００１８】
したがって、補足情報を表示させることによって、主情報（映像、画像、音声等）の理解が助けられる。
【００１９】
請求項６記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報に関連する関連情報を含む。
【００２０】
したがって、主情報（映像、画像、音声等）に関連する関連情報の表示が可能となる。
【００２１】
請求項７記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の構造を表現する構造情報を含む。
【００２２】
したがって、構造情報を表示させることによって、主情報（映像、画像、音声等）の構造が明確になり、主情報の体系的な理解が可能となる。
【００２３】
請求項８記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００２４】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００２５】
請求項９記載の情報ファイル生成方法の発明は、経時変化する視聴可能な主情報を生成するステップと、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成するステップと、を具備する。
【００２６】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００２７】
請求項１０記載の発明は、請求項９記載の情報ファイル生成方法において、前記付随情報を生成するステップは、前記主情報の再生に際してカウンタのカウント動作を実行するサブステップと、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブステップとを含む。
【００２８】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００２９】
請求項１１記載の情報ファイル生成装置の発明は、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を具備する。
【００３０】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００３１】
請求項１２記載の発明は、請求項１１記載の情報ファイル生成装置において、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む。
【００３２】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００３３】
請求項１３記載の情報ファイル生成プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を実行させる。
【００３４】
したがって、主情報のデータ構造に付随表示情報のデータ構造が依存しない。例えば、主情報が映像情報であった場合、一例として１秒間に３０ものフレームが存在することになるが、フレーム毎に付随表示情報を生成する必要がない。これにより、主情報とは無関係に付随表示情報を生成することが可能となり、その生成が容易となる。また、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００３５】
請求項１４記載の発明は、請求項１３記載の情報ファイル生成プログラムにおいて、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む。
【００３６】
したがって、付随情報についてイベントが発生すると、その時のカウンタのカウント値がイベント情報として取り込まれる。
【００３７】
請求項１５記載の発明は、請求項１３又は１４記載の情報ファイル生成プログラムを記憶する記憶媒体である。
【００３８】
したがって、請求項１３又は１４記載の発明と同一の作用を有する。
【００３９】
請求項１６記載の情報ファイル再生方法の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈するステップと、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生するステップと、を具備する。
【００４０】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００４１】
請求項１７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップでは、前記主情報と前記付随情報とをマルチメディア同期統合言語に変換する。
【００４２】
したがって、マルチメディア同期統合言語による主情報と付随表示情報との再生が可能となる。
【００４３】
請求項１８記載の発明は、請求項１７記載の情報ファイル再生方法において、マルチメディア同期統合言語への変換処理では、前記主情報及び前記付随表示情報の配置と背景画像の種類とを選択された雛型情報に基づいて設定する。
【００４４】
したがって、選択された雛型情報に応じて主情報及び付随表示情報の配置位置及び背景画像の種類が決められる。これにより、主情報及び付随表示情報の配置位置の設定と背景画像の種類の設定とが容易となる。
【００４５】
請求項１９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示態様を選択可能とする。
【００４６】
したがって、付随表示情報を適宜所望の表示態様で表示させることが可能となる。
【００４７】
請求項２０記載の発明は、請求項１６又は１９記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示と非表示とを選択的に実行する。
【００４８】
したがって、必要な付随情報のみを表示させることが可能となる。
【００４９】
請求項２１記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報が前記主情報の構造を表現する構造情報を含む場合、選択指定された前記構造情報に対応する時点に前記主情報の再生時点を移動させる。
【００５０】
したがって、主情報の所望の場所への瞬時のアクセスが可能となる。
【００５１】
請求項２２記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、この主情報の表示に重ならない位置に前記付随表示情報を表示する。
【００５２】
したがって、付随表示情報が主情報の表示再生の妨げとならない。
【００５３】
請求項２３記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、前記付随表示情報を透明ウインドウで表示する。
【００５４】
したがって、付随表示情報を主情報の表示位置に囚われない所望の場所に表示させながらも、そのような付随表示情報が主情報の表示再生の妨げとならない。
【００５５】
請求項２４記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報をスクロールさせて表示する。
【００５６】
したがって、付随表示情報が長い場合にもその全体を表示させることが可能となり、また、付随表示情報に注意を喚起することも可能となる。
【００５７】
請求項２５記載の発明は、請求項２４記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報のスクロール完了時間が前記主情報に同期するように制御する。
【００５８】
したがって、付随表示情報のスクロール表示が主情報と同期する。
【００５９】
請求項２６記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報に含まれる文字の属性を選択可能とする。
【００６０】
したがって、付随表示情報が含む文字を所望の属性、例えば文字の色、フォントの種類、サイズ等で表示することが可能となる。
【００６１】
請求項２７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、選択指定可能なイベント取得用のオブジェクトとこのオブジェクトを前記主情報に重ねて表示し、そのオブジェクトが選択指定された場合に前記付随表示情報に設定されたイベントを発生させる。
【００６２】
したがって、オブジェクトの選択指定によってあるイベントを発生させることが可能である。
【００６３】
請求項２８記載の発明は、請求項２７記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記オブジェクトを透明に表示する。
【００６４】
したがって、オブジェクトが主情報の表示再生の妨げとならない。
【００６５】
請求項２９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００６６】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００６７】
請求項３０記載の情報ファイル再生装置の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を具備する。
【００６８】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００６９】
請求項３１記載の発明は、請求項３０記載の情報ファイル再生装置において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００７０】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００７１】
請求項３２記載の情報ファイル再生プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を実行させる。
【００７２】
したがって、イベント情報によって、別個独立する主情報と付随表示情報とが同期的に再生される。この際、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることが可能である。
【００７３】
請求項３３記載の発明は、請求項３２記載の情報ファイル再生プログラムにおいて、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である。
【００７４】
したがって、カウンタのカウント値をイベント情報とし主情報に付随表示情報を同期表示可能となる。
【００７５】
請求項３４記載の発明は、請求項３２又は３３記載の情報ファイル再生プログラムを記憶する記憶媒体である。
【００７６】
したがって、請求項３２又は３３記載の発明と同一の作用を有する。
【００７７】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００７８】
［情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体］
図１は、情報ファイル生成装置である情報ファイル生成システム１の全体のハードウエア構成を示すブロック図である。
【００７９】
本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。
【００８０】
そこで、この情報ファイル生成システム１は、プレゼンテーション用のＰＣ２と、このＰＣ２に接続されて、プレゼンテーション映像を表示するプロジェクター等の投影機３と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、このＤＶカメラ４を制御可能にＩＥＥＥ１３９４などのインターフェイスで接続された撮影用のＰＣ５とを備えている。ＰＣ２とＰＣ５とはＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサ（Ｅｔｈｅｒ）ネットによるピア・ツー・ピア接続などであっても良い。
【００８１】
図２は、ＰＣ２，５の電気的な接続を示すブロック図である。図２に示すように、ＰＣ２，５は、各種演算を実行して各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００８２】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とが接続されている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていても良い。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８には、記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【００８３】
ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、情報ファイル生成プログラムが記憶されている。この情報ファイル生成プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。この意味で、磁気記憶装置１４はもとより、記憶媒体１７も、情報ファイル生成プログラムを記憶する記憶媒体として機能する。
【００８４】
そして、情報ファイル生成プログラムがインストールされることにより、ＰＣ２，５は情報ファイル生成動作可能な状態となる。すなわち、ＣＰＵ１１が情報ファイル生成プログラムに基づいて動作することにより、後述する各種モジュールの機能（本願発明の各種手段及びステップ）をそれぞれ実現する。なお、情報ファイル生成プログラムは、特定のアプリケーションソフトの一部をなすものであっても良い。また、所定のＯＳ上で動作するものであっても、ＯＳの機能を一部利用して動作するものであっても良い。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。
【００８５】
以下では、情報ファイル生成プログラムに基づいて情報ファイル生成システム１が行なう処理の内容について説明する。
【００８６】
図３は、情報ファイル生成プログラム等に基づいて実現される情報ファイル生成システム１の機能ブロック図である。
【００８７】
ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。
【００８８】
通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。
【００８９】
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作によるページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
ＰＣ２は、情報ファイル生成プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影し取り込む映像音声内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影し取り込む映像音声に対する付随情報の生成を効率良く行なうことを支援する。
【００９０】
前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像音声内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像音声内容中、被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なうコンピュータの操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とその発生時刻も正確に記録する必要がある。
【００９１】
１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック）
そこで、イベント送信装置３２は、イベントキャプチャーモジュール３３により、これらのイベントの種類とその発生時刻をイベント情報として取得する。そして、イベント記録モジュール３４は、このイベント情報のログを記録し、イベント送信モジュール４４は通信インターフェイスを介してＰＣ５（ＰＣ５が情報ファイル生成プログラムに基づいて実現するイベント受信装置３５）に送信する。
【００９２】
このイベント送信装置３２から送信されたイベント情報は、イベント受信装置３５において、イベント受信モジュール３６により受信される。そして、イベント制御モジュール３７は、イベント記録モジュール３８と撮影機器制御モジュール３９に、受信したイベント情報を渡す。イベント記録モジュール３８は、イベント情報を時系列に記録する。
【００９３】
撮影機器制御モジュール３９は、イベント情報に基づいてＤＶカメラ４を制御する。映像キャプチャモジュール４０は、ＤＶカメラ４で撮影し取り込んだ映像音声をキャプチャする。映像ファイル管理モジュール４１は、ＤＶカメラ４で撮影し取り込んだ映像音声の映像音声ファイルを記憶して管理する。また、イベント記録モジュール３８が記録するイベント情報には、イベント送信装置３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も含まれる。
【００９４】
イベント解釈モジュール４２は、イベント情報の内容を解釈する。そして、情報ファイル生成モジュール４３は、イベント解釈モジュール４２によって解釈されたイベント情報の内容を参照し、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１及び映像音声ファイルに基づいて、情報ファイルを生成する。
【００９５】
次に、イベント送信装置３２とイベント受信装置３５との間のイベント情報の交換について具体的に説明する。
【００９６】
１．プレゼンテーション・ソフトの起動というイベントが発生したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影及び音声取り込みを開始する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００９７】
２．プレゼンテーション資料３１のスライドが進行しているときは、キーボード２１のキー操作によるイベントが発生するので、このイベント情報をイベント記録モジュール３８で記録する。
【００９８】
３．プレゼンテーション・ソフトが終了したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影及び音声取り込みを終了する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００９９】
このようにして、ＤＶカメラ４で撮影し取り込んだ映像音声中のイベントのイベント情報を映像音声情報とともにイベント受信装置３５で管理することができる。つまり、ＤＶカメラ４で撮影され取り込まれた映像音声情報は、主情報として、その時間の推移を規定する第１の時間情報を付されて保存される。また、記録されたイベント情報は、情報ファイル生成モジュール４３により、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により管理される。このような手順を以下に示す。
【０１００】
１．イベント情報に付随するプレゼンテーション内容の付加
例えば、キーボード２１のキー操作が順に、「Ｎ，Ｎ，Ｎ，Ｐ，Ｎ，Ｎ」と押下されるイベントが発生した場合、プレゼンテーション資料３１のページの推移は、「１，２，３，２，３，４」といった推移が予想される。そこで、図４（ａ）に示すように、このようなイベントの発生に対応するページのプレゼンテーション資料３１から文字情報からなる付随表示情報５１を抽出し、キーボード２１の操作によるイベント情報５２に付加する。これにより、イベントの発生時刻に表示しているプレゼンテーションの内容を代表する文字列（付随表示情報５１）にイベント情報５２を伴わせた付随情報５３を生成することができる（図４（ｃ）参照）。
【０１０１】
２．ビデオ映像音声情報に対する映像音声物理ファイル構成
実際に撮影され取り込まれた映像音声は、撮影カットの単位で物理ファイル５４として（ＡＶＩ，ＭＰＥＧ−１，２，４等）格納される（図４（ｂ）参照）。そして、実際に１つの意味のある映像音声のまとまりを映像音声ファイル群からなる主情報５５として扱う（図４（ｃ）参照）。
【０１０２】
３．プレゼンテーション内容を含むイベント情報と映像物理ファイルとのマッピング
１つの意味のまとまりとして管理される映像音声ファイル群からなる主情報５５と付随情報５３とは、映像音声に記録されているタイムコード（記録されていない場合は、１秒間のフレーム数による換算）により対応付けられ（図４（ｃ）参照）、イベントと映像再生位置との時間関係を特定することが可能になる。これにより、映像情報である主情報５５とイベント情報５２とを時系列的に対応付けて記録することができる。ＤＶカメラ４による撮影等の開始、終了に関するイベント情報５６も、付随情報５７として映像情報（主情報）に対応付けられる。
【０１０３】
このように、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０４】
ここで、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とを同期させる手法について図１３ないし図１５に基づいて説明する。図１３は、主情報５５と付随情報５３，５７とを同期させる手法を説明するための模式図である。図１４は、主情報５５と付随情報５３，５７とを同期させる別の手法を説明するための模式図である。図１５は、主情報５５と付随情報５３，５７とを同期させる更に別の手法を説明するための模式図である。
【０１０５】
まず、図１３に基づいて、主情報５５と付随情報５３，５７とを同期させる手法を説明する。ここでは、仮に、ＰＣ２とＰＣ５とが単一のコンピュータであると仮定する。この場合、ＰＣ２及びＰＣ５を構成するコンピュータ中の例えばＣＰＵ１１やメモリ１２を利用し、ある単位で値が一つずつ加算されるカウンタを用意する。このカウンタは、プレゼンテーションの発表開始と同時、一例としてプレゼンテーション・ソフトの起動時に指定値（通常は０値）にリセットする。リセット後におけるカウンタ値の増加は、図１３中、矩形枠として表現する。そして、イベントが発生する毎に、イベントの内容とその時のカウンタのカウンタ値とをイベント情報を構成する同期信号として記録する。図１３中、イベントは、カウンタ値として示される矩形枠に対応する楕円枠として表現する。そして、このような処理をプレゼンテーションが終了するまで続行する。この際、カウンタのカウントアップ単位としては、任意の値、例えば主情報のＮ（例えば１）フレームでもＮ（例えば１）秒というような時間単位でもＮ（例えば１）クロックというようなＣＰＵ１１のクロック周波数でも良い。こうして記録されるイベント情報を構成する同期信号は、最終的には情報ファイル生成モジュール４３において情報ファイルに記録される。こうして、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０６】
ここで、イベントの例としては、ここでは単一のコンピュータとして説明しているＰＣ２とＰＣ５とを再度別個のコンピュータとして考えるとすると、プレゼンテーションを実行するＰＣ２においては、プレゼンテーション資料の単位の変更、例えばページ切り替え、ファイル切り替え、ＵＲＬ切り替え、デモ等が挙げられる。また、撮影用のＰＣ５におけるイベントの例としては、ＤＶカメラ４から取り込まれた例えば「この部分重要」、「この部分注意」というような主観的な音声情報、ＰＣ２では検出されない「デモ」などのような入力操作等が挙げられる。もっとも、以上例示した内容は、あくまでも例示に過ぎない。
【０１０７】
その後に発生する情報ファイルの再生時には、主情報の再生開始と共に記録時と同じ単位でカウンタを動作させ、イベント情報を構成する同期信号を読み込んでイベント発生時のプレゼンテーション資料等を表示させる。別の一例としては、イベント情報を構成する同期信号のカウンタ値を００ｈ：００ｍ：００ｓ：００ｆを気点とする時刻の値に変換し、主情報の再生と共にカウンタ値に相当する時刻に合わせてイベント発生時のプレゼンテーション資料等を表示させる。
【０１０８】
次いで、ＰＣ２とＰＣ５とが別個独立するコンピュータである場合について説明する。これらのＰＣ２とＰＣ５とは、前述したように、相互に通信可能である。そこで、ＰＣ２とＰＣ５とのうちの一方、例えば撮影用のＰＣ５を親機である機器０とし、他方、例えばプレゼンテーションを実行するＰＣ２を子機ある機器１と決める。親器である機器０においてカウンタを動作させ、最初にカウンタのリセット動作を実行する。そのタイミングで、機器０より機器１に対してそのカウンタをリセットして動作させるべき命令を送信し、機器１のカウンタもリセットする。これにより、機器０と機器１とは、略同一のタイミングでカウンタの加算動作を実行する。その後、機器０と機器１との双方において、前述したような手法によってイベント情報を構成する同期信号をイベント記録モジュール３４、３８で記録する。そして、プレゼンテーションが終了すると、親機である機器０から子機である機器１に記録終了の指示命令を送信し、これに応じて機器１から機器０に記録情報の送信が行なわれる。そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号は、最終的には情報ファイル生成モジュール４３において情報ファイルに記録される。こうして、映像音声ファイル群からなる主情報５５とその内容情報を管理する付随情報５３，５７とは、同期可能な状態で記録され、管理が可能となる。
【０１０９】
なお、以上説明した例では、一例として子機となるプレゼンテーション用のＰＣ２である機器１が一台である場合を説明したが、子機が複数台の場合にも上述した手法によるイベント情報の記録動作を実行し得る。
【０１１０】
次いで、図１４に基づいて、主情報５５と付随情報５３，５７とを同期させる別の手法を説明する。図１３に基づいて説明した手法によれば、機器０と機器１との間の通信に要する時間分だけ機器０と機器１とに発生したイベント情報に誤差が生ずる。このような誤差が無視し得る場合には、図１３に基づいて説明した手法に不都合はない。
【０１１１】
これに対して、通信時間による誤差が無視し得ない場合には、図１４に例示するように、誤差補正のための処理を実行する必要がある。つまり、機器０から機器１にデータ送信し機器１から機器０にデータ返信する処理で、親機である機器０が子機である機器１にデータ送信して返信を受け取るまでのカウンタのカウント数Ｎを計数し、その半分のＮ／２を通信時間として補正する。すなわち、機器０及び機器１におけるカウンタのカウント値をＸｉとした瞬間の機器０のカウンタ値Ｐｉは、Ｐｉ＝Ｘｉ＋Ｎ／２として求めることができる。
【０１１２】
そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号を情報ファイル生成モジュール４３において情報ファイルに記録するに際して、Ｐｉ＝Ｘｉ＋Ｎ／２の演算式で機器０の同期信号を補正する。これにより、機器０と機器１との間の通信に要する時間分だけ生ずる機器０と機器１との間のイベント情報の誤差が解消される。
【０１１３】
次いで、図１５に基づいて、主情報５５と付随情報５３，５７とを同期させる更に別の手法を説明する。図１３及び図１４では、機器０と機器１とのカウンタを略同時にリセットして同期させる例を説明した。これに対して、図１５に例示する手法では、機器０と機器１（あるいは機器１〜Ｎ）が自由にカウンタを刻む例を説明する。つまり、記録開始を指示する命令が親機である機器０から子機である機器１に送信され、それ以降、機器１では、イベントを検知した瞬間のカウント値とこれに対応するイベント内容とを記録する。いうまでもなく、このようなイベントを検知した瞬間のカウント値とこれに対応するイベント内容との記録は、機器０においても実行される。この場合、ある時刻における機器０と機器１とのカウンタ値、あるいは機器１が複数ある場合には各機器におけるカウンタのカウント値はばらばらであっても良い。
【０１１４】
こうしてイベントを検知した瞬間のカウント値とこれに対応するイベント内容との記録が機器０及び機器１において実行されてプレゼンテーションが終了すると、親機である機器０から子機である機器１に記録終了を指示する命令を送信する。そして、機器１から機器０に対して、その時点でのカウンタのカウント値Ｘｅを機器１での記録情報と共に送信する。この場合、親機である機器０における記録開始から記録終了までのカウンタのカウント数をＣとすると、（Ｘｅ−Ｃ）が記録開始時の機器１のカウンタのカウント値Ｘｓであると推定することができる。そこで、記録開始時の機器０のカウンタのカウント値をＰｓとすれば、機器０と機器１との間のカウンタの補正値Ｄは、Ｄ＝（Ｘｓ−Ｐｓ）となる。これにより、ある時点での機器１におけるカウンタのカウント値をＸｉとすると、その時の機器０のカウンタ値ＰｉはＰｉ＝Ｘｉ−Ｄとして求めることができる。
【０１１５】
そこで、機器０及び機器１において生成された記録されるイベント情報を構成する同期信号を情報ファイル生成モジュール４３において情報ファイルに記録するに際して、Ｐｉ＝Ｘｉ−Ｄの演算式で機器０の同期信号を求める。これにより、機器０と機器１との間の通信に要する時間分だけ生ずる機器０と機器１との間のイベント情報の誤差が解消される。
【０１１６】
次いで、図１３、図１４、図１５にそれぞれ基づいて以上説明した全ての例において、自動で生成されたイベント情報を手動で編集する場合の便宜を提供することが可能である。つまり、本実施の形態では、情報ファイル生成モジュール４３を具備するＰＣ５においてイベント情報を編集する機能が提供される。このイベント情報を編集する機能では、カウンタのカウント値とその表記とを直感的に認識し易い単位に変換して表示し、編集終了後にまた元の単位に変換するための変換モジュールが要求される。この変換モジュールは、ＰＣ５に設けられる。この場合、直感的に認識し易い単位としては、秒単位やフレーム単位を例示することができる。そして、カウント値の表記としては、自分秒ミリ秒、フレーム数等がある。この場合、あまり細かすぎても煩雑なだけであるので、ある程度大雑把な単位が一般的には望ましい。また、要求される精度に応じて単位を変更し得るようにしても良い。こうして、変換モジュールにおいて、カウンタのカウント値とその表記とを直感的に認識し易い単位に変換して表示し、編集終了後にまた元の単位に変換することが可能となるため、自動で生成されたイベント情報を手動で編集する場合の便宜が図られる。この際、編集作業としては、変換モジュールにより変換されたテキストをテキスト編集しても良いし、変換モジュールをイベント編集ツールに組み込んで利用しても良い。また、イベントの利用目的が予め決められているアプリケーションの場合には、カウンタの１単位の加算時間を例えば１秒に予め決めて利用し、変換の手間をなくしてもかまわない。
【０１１７】
以上、図１３、図１４、図１５にそれぞれ基づいて、映像音声ファイル群からなる主情報５５と、その内容情報を管理する付随情報５３，５７とを同期させる処理内容について説明した。このようなＰＣ２及びＰＣ５において実行される処理内容は、それらのＰＣ２及びＰＣ５にインストールされた情報ファイル生成プログラムがそれらのＰＣ２及びＰＣ５に解釈実行されることで実行される。
【０１１８】
図５は、主情報５５と付随情報５３，５７とのキャプチャリング処理の流れ及びキャプチャリング処理により生成された情報ファイルのファイル構成を例示する模式図である。図５に示すように、撮影作業に際しては、ＤＶカメラ４による実際の撮影作業１０１と共に、プレゼンテーション資料３１を付随表示情報として取得する付随表示情報取得１０２、及びキーボード２１やマウス１５の操作に応じたイベント情報取得１０３が実行され、これによって付随情報５３，５７が生成される（付随情報取得１０４）。付随情報５３，５７は、例えばＭＰＥＧ−７の形式に変換されて保管される。一方、ＤＶカメラ４による実際の撮影作業１０１の結果得られた情報は、主情報１０５として例えばＭＰＥＧ−２の形式に変換されて保管される。こうして、主情報１０５と付随情報５３，５７とから構成される情報ファイルが生成される。
【０１１９】
ここで、図５は、図１ないし図４に例示したキャプチャリング処理による主情報５５と付随情報５３，５７との生成を例示する。これに対して、本発明は、必ずしもこのような処理を要求するわけではなく、人手によって付随情報５３，５７を生成しても良い。つまり、図６に例示するように、付随情報５３，５７は、人が主情報５５である映像を見ながら手で記述を行なって生成しても良い。この場合、図６に示すように、付随情報生成ツール２０１を利用しながら実際に見ている主情報５５からなる映像音声を構造化し、各構造に対して必要な付随情報５３，５７（付随表示情報５１及びイベント情報５２）を付加することで、情報ファイルが生成される。
【０１２０】
図７は、ＭＰＥＧ−７で記述された付随情報５３，５７の一例を示す模式図である。この一例では、映像中のあるシーンに対し、字幕情報３０１、登場人物３０２、行動３０３、場所３０４、日時３０５が記載された例である。このように記載された情報は、利用者が実際に閲覧する映像情報（主情報５５）に対する補足情報（付随表示情報５１）となるわけであるが、主情報５５とは独立して存在することにより、そのような補足情報（付随表示情報５１）は、様々な表現形態を自由に採り得る。
【０１２１】
なお、以上説明した例では、主情報５５として、画像音声情報を例示したが、主情報５５は、経時変化する視聴可能な情報であればその種類を問わない。例えば、アニメーション等のような画像情報も、経時変化する限り、主情報５５として扱うことが可能である。
【０１２２】
図８は、情報ファイルのより詳細なファイル構造を例示する模式図である。ここで、図８に基づいて、本実施の形態における情報ファイルのより詳細な一例を説明する。
【０１２３】
ＤＶカメラ４で撮影され取り込まれた映像音声のデータは、ＭＰＥＧ−１に変換され（ステップＳ１０１）、さらにマルチメディアソフトによってマルチメディアファイルに変換されて主情報５５となる（ステップＳ１０２）。
【０１２４】
プレゼンテーションで用いられたプレゼンテーション資料３１は、前述した情報ファイル生成プログラムに従いＨＴＭＬの形態に変換されて付随表示情報５１となり（ステップＳ２０１）、同時に獲得されたイベント情報５２（ステップＳ２０２）と統合処理によりマージされて付随情報５３，５７が生成される（ステップＳ２０３）。ステップＳ２０３の統合処理では、プレゼンテーションにおいて画像として表示されたプレゼンテーション資料３１が画像データとしてＪＰＥＧ方式で圧縮され（ステップＳ２０４）、この圧縮されたプレゼンテーション資料３１に基づく画像データも付随表示情報５１として別の付随表示情報５１及びイベント情報５２と共にマージされる。そして、こうしてマージされたデータはＭＰＥＧ−７のデータ構造に変換される（ステップＳ２０５）。
【０１２５】
この際、ステップＳ１０２でマルチメディアファイルに変換された主情報５５は、ステップＳ２０３で、付随表示情報５１及びイベント情報５２と共にマージされても良い。
【０１２６】
あるいは、ステップＳ１０２でマルチメディアファイルに変換された主情報５５は、ステップＳ２０６においてＸＳＬＴ構造で同期統合表現された付随情報５３，５７と、マルチメディア同期統合言語（例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ））を用いてマージされても良い（ステップＳ３０１）。この際、各種のテンプレート４０１を用いても良い。
【０１２７】
［情報ファイルの再生］
前述したようにして生成された情報ファイルは、例えばパーソナルコンピュータ（ＰＣ）によって再生が可能である。ＰＣは、例えば図２のブロック図に例示したようなアーキテクチャを有している。つまり、ＰＣは、各種演算を実行して各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されて構成されている。バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とが接続されている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていても良い。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８には、記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【０１２８】
このような構成のＰＣには、その磁気記憶装置１４に、情報ファイル再生プログラムがインストールされている必要がある。この情報ファイル再生プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。この意味で、磁気記憶装置１４はもとより、記憶媒体１７も、情報ファイル再生プログラムを記憶する記憶媒体として機能する。
【０１２９】
そして、情報ファイル再生プログラムがインストールされることにより、ＰＣは情報ファイル再生動作可能な状態となる。すなわち、ＣＰＵ１１が情報ファイル再生プログラムに基づいて動作することにより、後述する各種モジュールの機能（本願発明の各種手段及びステップ）をそれぞれ実現する。なお、情報ファイル再生プログラムは、特定のアプリケーションソフトの一部をなすものであっても良い。また、所定のＯＳ上で動作するものであっても、ＯＳの機能を一部利用して動作するものであっても良い。
【０１３０】
図９は、情報ファイル再生プログラム等に基づいて実現される情報ファイル再生処理を示す機能ブロック図である。ここでは、情報ファイル再生プログラムによってＰＣが実行する機能をブロック化して示している。まず、情報ファイルに含まれている主情報５５及び付随情報５３，５７の内容は、ファイル構造を解釈する付随情報解釈モジュール５０１によって解釈される。実際には、ＸＭＬパーサ等に相当する付随情報解釈部５０２が文書構造を解釈する。その後、構造情報解釈部５０３が文書構造中での主情報５５の構造を表現するタグ（図７に示す例では、＜ＭｅｄｉａＴｉｍｅ＞で表現される部分３０６）から実際の映像情報の構造を解釈し、付随情報５３，５７の内容とその映像情報の出現位置とを特定する。また、表示情報抽出部５０４は、実際に利用者が表示させることができる情報を抽出する。
【０１３１】
次に、主情報５５の再生情報を生成する例を示す。映像情報である主情報５５は、そのフレームレート（１秒間に再生するフレーム数）に従い映像を表示する。そこで、主情報・付随情報統合モジュール５１１では、まず、主情報同期部５１２が映像と付随情報提供時間との同期を行なう。次いで、付随情報選択部５１３が実際に利用者が表示要求をする項目を判定する。さらに、必要に応じて、利用者からの主情報表示位置指定への構造情報からのスキップを可能にするために関連情報として開始点操作部５１４が映像の構造と開始位置（時間）との関係を明確にする。以上の情報から、実際に、主情報５５と付随情報５３，５７とについいての表示指示を、主情報表示部５１５と付随情報表示部５１６とに出力する。
【０１３２】
図１０は、付随情報５３，５７に基づいてマルチメディア同期統合言語、例えばＳＭＩＬのテンプレート４０１に各情報を統合表示した表示例を示す模式図である。このように主情報５５（映像）と付随表示情報５１とを１つのテンプレート（雛型情報）４０１上に適宜配置することで、主情報５５（映像）、映像の構造情報６０１、関連する資料６０２（プレゼンテーション・ソフトによって表示したページ）、タイトル６０３等を統合的に表示することができる。この際、テンプレート４０１は、主情報５５及び付随表示情報５１の配置と背景画像４０２の種類とを設定する。また、テンプレート４０１として各表示レイアウトパターンを予め用意することで、簡単にこのような表示画面を生成することが可能となる。利用者は、映像の内容や雰囲気から任意のテンプレート４０１を選択するだけで良い。
【０１３３】
このような同期統合表示は、図９に示す同期統合表示モジュール５２１によって実行される。この同期統合表示モジュール５２１は、情報表示レイアウト部５２２と文字属性変更部５２３と同期統合表示部５２４とを備えている。同期統合表示を司るのが同期統合表示部５２４であり、この際、情報表示レイアウト部５２２は選択されたテンプレート４０１に応じて情報表示レイアウトを設定し、同様に、文字属性変更部５２３は、選択されたテンプレート４０１に応じて付随表示情報５１における文字の属性、例えば文字の色、フォント、サイズ等を変更する。
【０１３４】
なお、図１０（ａ）と図１０（ｂ）とは、異なるテンプレート４０１を用いた例をそれぞれ示している。
【０１３５】
図１１は、付随表示情報５１を任意に表示する表示例を示す模式図である。図１１（ａ）では、付随表示情報５１をウインドウ７０１内に表示し、これらのウインドウ７０１を任意の位置へ移動可能としている。図１１（ｂ）では、各付随表示情報５１のウインドウ７０１の背景及び枠を透明化し、ウインドウ内に表示される文字やオブジェクトだけを可視化することで、他の情報の閲覧への支障を最小限に抑えている。また、実際には、ウインドウ７０１の幅より長い文字列に対しては、文字列の自走スクロール（ウインドウ領域内で電光掲示板のように流れる）機能を入れ、任意のスピードやシーン時間と同期したスピードでスクロールすることで内容を把握できるようにする。このスクロールの完了時間は、主情報５５に同期するように制御される。さらに、表示する文字の属性、例えば文字列の色、大きさ、フォント等を任意に変更することで、表示されている情報の意味や重要性を区別することができる。加えて、付随表示情報５１を任意に表示する表示中には、イベント取得用のオブジェクト７０２が表示されている。このオブジェクト７０２は、例えば映像再生・停止の指示ボタンとして映像表示画面（主情報５５）の上に重ねて配置され、この場合には、マウスクリック等で映像の再生・停止操作を行なうことが可能である。つまり、付随表示情報５１には、オブジェクト７０２の表示情報の他、このオブジェクト７０２が位置付けられている主情報５５の内容に応じたイベントが含まれている。そこで、オブジェクト７０２をマウスクリック等で選択指定することによって、付随表示情報５１に含まれているイベントの実行が可能となる。
【０１３６】
このような同期統合表示は、図９に示す同期任意表示モジュール５３１によって実行される。この同期任意表示モジュール５３１は、付随情報表示ウインドウ化５３２、ウインドウ透明化５３３、文字属性変更部５３４、文字列スクロール５３５、及び領域オブジェクト５３６を備えている。付随情報表示ウインドウ化５３２は、付随表示情報５１をウインドウ７０１内に表示する。ウインドウ透明化５３３は、ウインドウ７０１を完全に透明化する。文字属性変更部５３４は、表示する文字の属性を任意に変更する。文字列スクロール５３５は、文字列の自走スクロール機能を実現する。領域オブジェクト５３６は、オブジェクト７０２の表示処理とこのオブジェクト７０２が選択指示された場合のイベントの実行とを司る。
【０１３７】
図１２は、情報ファイルの表示例を示す模式図である。付随表示情報５１は、主情報５５の理解を助ける補足情報８０１、主情報５５に関連する関連情報８０２、主情報５５の構造を表現する構造情報８０３を含んでいても良い。
【０１３８】
補足情報８０１は、図１２中、内容情報及び字幕情報として実現されている。内容情報は、図７に例示した映像中のあるシーンに対する登場人物３０２、行動３０３、場所３０４、日時３０５等のような情報に基づいて表示される。この内容情報は、一例として、シーン内容情報表示、つまり、現在再生されている主情報５５のあるシーンにおける登場人物、場所、日時等を表示する。これにより、シーンに対するよりきめ細かな理解を可能とする。字幕情報は、同様に図７に例示した映像中のあるシーンに対する字幕情報３０１に基づいて表示される。この字幕情報は、一例として、現在再生されている主情報５５に対応する字幕をスクロールしながら表示する。いずれにしても、これらの補足情報８０１は、主情報５５の理解を助ける情報として有効である。
【０１３９】
関連情報８０２は、一例として、現在再生されている主情報５５のあるシーンに関連する情報である。図１２に示す例では、シーン中の代表フレーム（キーフレーム）を表示している。もっとも、これは一例に過ぎず、例えば、関連した画像や発表原稿イメージ等を関連情報８０２として付随表示情報５１に持たせても良い。
【０１４０】
構造情報８０３は、一例として、付随表示情報５１から主情報５５の構造情報を抽出し、各構造の見出しに相当する文字列を表示したものである。これにより、主情報５５全体の構造の把握が容易となる。また、別の一例としては、構造情報８０３において、現在再生中の主情報５５のシーンに相当する文字列をハイライト（他の色）とすることで、再生箇所の把握も容易とすることができる。
【０１４１】
加えて、図１２に例示する情報ファイルの表示例には、オブジェクト７０２が表示されている。このオブジェクト７０２は、図１１に基づいて説明したオブジェクト７０２と同一のものである。説明を補足すると、このオブジェクト７０２は、その選択指定によって様々なイベントを発生するように構築可能である。例えば、主情報５５のシーンに重ねて表示させたオブジェクト７０２が選択指定されることで、そのシーンに登場する人や物の情報を表示するというような使い方もできる。この場合、付随表示情報５１がその人や物に関する情報を図９に示すような形態で保有していても良いが、付随表示情報５１にハイパーリンクが設定されていても良い。つまり、その人や物に関する情報自体は、例えばＵＲＬによってアクセス可能な何処かに保存されており、付随表示情報５１にはそのＵＲＬを指定するハイパーリンクを記述する。もっとも、オブジェクト７０２によって発生するイベントは、その種類を問わず、あらゆるイベントを生じさせることが可能である。そして、この場合、オブジェクト７０２は主情報５５に埋め込まれているわけではないので、その設定作業が極めて容易である。
【０１４２】
【発明の効果】
請求項１記載の情報ファイルのデータ構造の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１４３】
請求項２記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、映像情報を含むので、主情報である映像情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４４】
請求項３記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、画像情報を含むので、主情報である画像情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４５】
請求項４記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記主情報は、音声情報を含むので、主情報である音声情報とは無関係に付随情報を生成することができ、したがって、情報ファイルの生成の容易化を図ることができる。
【０１４６】
請求項５記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の理解を助ける補足情報を含むので、補足情報を表示させることによって、主情報（映像、画像、音声等）の理解を容易にすることができる。
【０１４７】
請求項６記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報に関連する関連情報を含むので、主情報（映像、画像、音声等）に関連する関連情報を表示させ、これにより、主情報を元にしたより発展的な情報を提供することができる。
【０１４８】
請求項７記載の発明は、請求項１ないし４の何れか一記載の情報ファイルのデータ構造において、前記付随表示情報は、前記主情報の構造を表現する構造情報を含むので、構造情報を表示させることによって、主情報（映像、画像、音声等）の構造が明確になり、主情報の体系的な理解を助けることができる。
【０１４９】
請求項８記載の発明は、請求項１記載の情報ファイルのデータ構造において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１５０】
請求項９記載の情報ファイル生成方法の発明は、経時変化する視聴可能な主情報を生成するステップと、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成するステップと、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５１】
請求項１０記載の発明は、請求項９記載の情報ファイル生成方法において、前記付随情報を生成するステップは、前記主情報の再生に際してカウンタのカウント動作を実行するサブステップと、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブステップとを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５２】
請求項１１記載の情報ファイル生成装置の発明は、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を具備するので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５３】
請求項１２記載の発明は、請求項１１記載の情報ファイル生成装置において、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５４】
請求項１３記載の情報ファイル生成プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報を生成する手段と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、を実行させるので、主情報とは無関係に付随表示情報を生成することができ、情報ファイルの生成の容易化を図ることができる。また、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５５】
請求項１４記載の発明は、請求項１３記載の情報ファイル生成プログラムにおういて、前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含むので、付随情報を主情報に同期させるイベント情報を容易に生成することができる。
【０１５６】
請求項１５記載の発明は、請求項１３又は１４記載の情報ファイル生成プログラムを記憶する記憶媒体であるので、請求項１３又は１４記載の発明と同一の効果を有する。
【０１５７】
請求項１６記載の情報ファイル再生方法の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈するステップと、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生するステップと、を具備するので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１５８】
請求項１７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップでは、前記主情報と前記付随情報とをマルチメディア同期統合言語に変換するので、マルチメディア同期統合言語によって主情報と付随表示情報とを再生することができる。
【０１５９】
請求項１８記載の発明は、請求項１７記載の情報ファイル再生方法において、マルチメディア同期統合言語への変換処理では、前記主情報及び前記付随表示情報の配置と背景画像の種類とを選択された雛型情報に基づいて設定するので、主情報及び付随表示情報の配置位置の設定と背景画像の種類の設定との容易化を図ることができる。
【０１６０】
請求項１９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示態様を選択可能とするので、付随情報を適宜所望の表示態様で表示させることができる。
【０１６１】
請求項２０記載の発明は、請求項１６又は１９記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示と非表示とを選択的に実行するので、必要な付随表示情報のみを表示させることができる。
【０１６２】
請求項２１記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報が前記主情報の構造を表現する構造情報を含む場合、選択指定された前記構造情報に対応する時点に前記主情報の再生時点を移動させるので、主情報の所望の場所へ瞬時にアクセスすることができる。
【０１６３】
請求項２２記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、この主情報の表示に重ならない位置に前記付随表示情報を表示するので、付随表示情報が主情報の表示再生の妨げとならないようにすることができる。
【０１６４】
請求項２３記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、前記付随表示情報を透明ウインドウで表示するので、付随表示情報を主情報の表示位置に囚われない所望の場所に表示させながらも、そのような付随表示情報が主情報の表示再生の妨げとならないようにすることができる。
【０１６５】
請求項２４記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報をスクロールさせて表示するので、付随表示情報が長い場合にもその全体を表示させることができ、また、付随表示情報に注意を喚起することもできる。
【０１６６】
請求項２５記載の発明は、請求項２１記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報のスクロール完了時間が前記主情報に同期するように制御するので、付随表示情報のスクロール表示を主情報と同期させることができる。
【０１６７】
請求項２６記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報に含まれる文字の属性を選択可能とするので、付随表示情報が含む文字を所望の属性、例えば文字の色、フォントの種類、サイズ等で表示することができる。
【０１６８】
請求項２７記載の発明は、請求項１６記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、選択指定可能なイベント取得用のオブジェクトとこのオブジェクトを前記主情報に重ねて表示し、そのオブジェクトが選択指定された場合に前記付随表示情報に設定されたイベントを発生させるので、オブジェクトの選択指定によってあるイベントを発生させることができ、しかも、イベントの発生を主情報に一切手を加えることなく実現させることができるので、情報ファイルの生成の容易化を図ることができる。
【０１６９】
請求項２８記載の発明は、請求項２７記載の情報ファイル再生方法において、前記主情報と前記付随表示情報とを再生するステップは、前記オブジェクトを透明に表示するので、オブジェクトが主情報の表示再生の妨げとならないようにすることができる。
【０１７０】
請求項２９記載の発明は、請求項１６記載の情報ファイル再生方法において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７１】
請求項３０記載の情報ファイル再生装置の発明は、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を具備するので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１７２】
請求項３１記載の発明は、請求項３０記載の情報ファイル再生装置において、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７３】
請求項３２記載の情報ファイル再生プログラムの発明は、コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、を実行させるので、主情報と付随表示情報とは別個独立であるため、付随表示情報を様々な表現態様で自由に表示させることができる。
【０１７４】
請求項３３記載の発明は、請求項３２記載の情報ファイル再生プログラムにおいて、前記付随情報に含まれる前記イベント情報は、カウンタのカウント値であるので、カウント値を用いることで、付随情報を主情報に容易に同期させることができる。
【０１７５】
請求項３４記載の発明は、請求項３２又は３３記載の情報ファイル再生プログラムを記憶する記憶媒体であるので、請求項３２又は３３記載の発明と同一の効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるシステムの全体の概略構成を示すブロック図である。
【図２】本システムで使用するＰＣの電気的な接続を示すブロック図である。
【図３】本システムの機能ブロック図である。
【図４】本システムによる付随情報生成処理について説明する説明図である。
【図５】主情報を構成する映像音声ファイル群と付随情報とのキャプチャリング処理の流れ及びキャプチャリング処理により生成された情報ファイルのファイル構成を例示する模式図である。
【図６】人手による情報ファイルの生成処理の流れを示す模式図である。
【図７】ＭＰＥＧ−７で記述された付随情報の一例を示す模式図である。
【図８】情報ファイルのより詳細なファイル構造を例示する模式図である。
【図９】情報ファイル再生プログラム等に基づいて実現される情報ファイル再生処理を示す機能ブロック図である。
【図１０】付随情報に基づいてマルチメディア同期統合言語のテンプレートに各情報を統合表示した表示例を示す模式図である。
【図１１】付随表示情報を任意に表示する表示例を示す模式図である。
【図１２】情報ファイルの表示例を示す模式図である。
【図１３】主情報と付随情報とを同期させる手法を説明するための模式図である。
【図１４】主情報と付随情報とを同期させる別の手法を説明するための模式図である。
【図１５】主情報と付随情報とを同期させる更に別の手法を説明するための模式図である。
【符号の説明】
１７ 記憶媒体
５３，５７ 付随情報
５５ 主情報（映像音声ファイル群）
４０１ 雛型情報（テンプレート）
４０２ 背景画像
７０２ オブジェクト
８０１ 補足情報
８０２ 関連情報
８０３ 構造情報
ＰＣ コンピュータ
Claims (34)
- 経時変化する視聴可能な主情報と、
前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、
を具備する情報ファイルのデータ構造。 - 前記主情報は、映像情報を含む請求項１記載の情報ファイルのデータ構造。
- 前記主情報は、画像情報を含む請求項１記載の情報ファイルのデータ構造。
- 前記主情報は、音声情報を含む請求項１記載の情報ファイルのデータ構造。
- 前記付随表示情報は、前記主情報の理解を助ける補足情報を含む請求項１ないし４の何れか一記載の情報ファイルのデータ構造。
- 前記付随表示情報は、前記主情報に関連する関連情報を含む請求項１ないし４の何れか一記載の情報ファイルのデータ構造。
- 前記付随表示情報は、前記主情報の構造を表現する構造情報を含む請求項１ないし４の何れか一記載の情報ファイルのデータ構造。
- 前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である請求項１記載の情報ファイルのデータ構造。
- 経時変化する視聴可能な主情報を生成するステップと、
前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成するステップと、
を具備する情報ファイル生成方法。 - 前記付随情報を生成するステップは、前記主情報の再生に際してカウンタのカウント動作を実行するサブステップと、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブステップとを含む請求項９記載の情報ファイル生成方法。
- 経時変化する視聴可能な主情報を生成する手段と、
前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、
を具備する情報ファイル生成装置。 - 前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む請求項１１記載の情報ファイル生成装置。
- コンピュータにインストールされ、このコンピュータに、
経時変化する視聴可能な主情報を生成する手段と、
前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報を生成する手段と、
を実行させる情報ファイル生成プログラム。 - 前記付随情報を生成する手段は、前記主情報の再生に際してカウンタのカウント動作を実行するサブ手段と、前記付随情報についてイベントが発生した時の前記カウンタのカウント値を前記イベント情報として取り込むサブ手段とを含む請求項１３記載の情報ファイル生成プログラム。
- 請求項１３又は１４記載の情報ファイル生成プログラムを記憶する記憶媒体。
- 経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈するステップと、
解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生するステップと、
を具備する情報ファイル再生方法。 - 前記主情報と前記付随表示情報とを再生するステップでは、前記主情報と前記付随情報とをマルチメディア同期統合言語に変換する請求項１６記載の情報ファイル再生方法。
- マルチメディア同期統合言語への変換処理では、前記主情報及び前記付随表示情報の配置と背景画像の種類とを選択された雛型情報に基づいて設定する請求項１７の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示態様を選択可能とする請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報の表示と非表示とを選択的に実行する請求項１６又は１９記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報が前記主情報の構造を表現する構造情報を含む場合、選択指定された前記構造情報に対応する時点に前記主情報の再生時点を移動させる請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、この主情報の表示に重ならない位置に前記付随表示情報を表示する請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記主情報が表示可能な情報である場合、前記付随表示情報を透明ウインドウで表示する請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報をスクロールさせて表示する請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報のスクロール完了時間が前記主情報に同期するように制御する請求項２４記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記付随表示情報に含まれる文字の属性を選択可能とする請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、選択指定可能なイベント取得用のオブジェクトとこのオブジェクトを前記主情報に重ねて表示し、そのオブジェクトが選択指定された場合に前記付随表示情報に設定されたイベントを発生させる請求項１６記載の情報ファイル再生方法。
- 前記主情報と前記付随表示情報とを再生するステップは、前記オブジェクトを透明に表示する請求項２７記載の情報ファイル再生方法。
- 前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である請求項１６記載の情報ファイル再生方法。
- 経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、
解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、
を具備する情報ファイル再生装置。 - 前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である請求項３０記載の情報ファイル再生装置。
- コンピュータにインストールされ、このコンピュータに、経時変化する視聴可能な主情報と、前記主情報に付随する表示出力可能な付随表示情報とこの付随表示情報の表示を前記主情報に同期させるためのイベント情報とを含む付随情報と、を具備する情報ファイルを解釈する手段と、
解釈した前記情報ファイル中の前記主情報と前記付随表示情報とを前記イベント情報によって同期させて再生する手段と、
を実行させる情報ファイル再生プログラム。 - 前記付随情報に含まれる前記イベント情報は、カウンタのカウント値である請求項３２記載の情報ファイル再生プログラム。
- 請求項３２又は３３記載の情報ファイル再生プログラムを記憶する記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003109542A JP2004135256A (ja) | 2002-08-09 | 2003-04-14 | 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 |
| US10/634,816 US20040078496A1 (en) | 2002-08-09 | 2003-08-06 | Information file data structure, information file generating method, information file generating apparatus, information file reproducing method, information file reproducing apparatus, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002233776 | 2002-08-09 | ||
| JP2003109542A JP2004135256A (ja) | 2002-08-09 | 2003-04-14 | 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004135256A true JP2004135256A (ja) | 2004-04-30 |
Family
ID=32095376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003109542A Pending JP2004135256A (ja) | 2002-08-09 | 2003-04-14 | 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040078496A1 (ja) |
| JP (1) | JP2004135256A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2008041629A1 (ja) * | 2006-09-29 | 2010-02-04 | ソニー株式会社 | 再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、プログラム格納媒体、並びにプログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4450591B2 (ja) * | 2003-09-16 | 2010-04-14 | 株式会社リコー | 情報編集装置、表示制御方法およびプログラム |
| JP4081680B2 (ja) * | 2003-11-10 | 2008-04-30 | ソニー株式会社 | 記録装置、記録方法、記録媒体、再生装置、再生方法およびコンテンツの伝送方法 |
| KR100982517B1 (ko) * | 2004-02-02 | 2010-09-16 | 삼성전자주식회사 | 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치 |
| JP4695609B2 (ja) * | 2006-02-08 | 2011-06-08 | 株式会社リコー | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
| KR101608339B1 (ko) * | 2009-06-08 | 2016-04-11 | 삼성전자주식회사 | 위치 측정 장치 및 방법, 및 이동체 |
| CN104519309A (zh) * | 2013-09-27 | 2015-04-15 | 华为技术有限公司 | 视频监控方法、监控服务器及监控系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2140850C (en) * | 1994-02-24 | 1999-09-21 | Howard Paul Katseff | Networked system for display of multimedia presentations |
| US6012090A (en) * | 1997-03-14 | 2000-01-04 | At&T Corp. | Client-side parallel requests for network services using group name association |
| US6847778B1 (en) * | 1999-03-30 | 2005-01-25 | Tivo, Inc. | Multimedia visual progress indication system |
| US6654030B1 (en) * | 1999-03-31 | 2003-11-25 | Canon Kabushiki Kaisha | Time marker for synchronized multimedia |
| US6549922B1 (en) * | 1999-10-01 | 2003-04-15 | Alok Srivastava | System for collecting, transforming and managing media metadata |
| US7367042B1 (en) * | 2000-02-29 | 2008-04-29 | Goldpocket Interactive, Inc. | Method and apparatus for hyperlinking in a television broadcast |
| US6701014B1 (en) * | 2000-06-14 | 2004-03-02 | International Business Machines Corporation | Method and apparatus for matching slides in video |
| KR100694238B1 (ko) * | 2000-09-28 | 2007-03-14 | 가부시키가이샤 리코 | 구조편집방법, 영상구조편집방법, 오브젝트의 내용구조관리방법, 오브젝트의 내용구조표시방법, 컨텐츠관리방법 및 기록매체 |
-
2003
- 2003-04-14 JP JP2003109542A patent/JP2004135256A/ja active Pending
- 2003-08-06 US US10/634,816 patent/US20040078496A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2008041629A1 (ja) * | 2006-09-29 | 2010-02-04 | ソニー株式会社 | 再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、プログラム格納媒体、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040078496A1 (en) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4430882B2 (ja) | 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム | |
| Hamakawa et al. | Object composition and playback models for handling multimedia data | |
| JP3943635B2 (ja) | コンピュータ制御型ディスプレイシステムにおいてセッションの再生ポイントを制御する方法 | |
| US6871318B1 (en) | System and method for authoring, distributing and replaying derivative hypermedia content | |
| JP3852568B2 (ja) | マルチメディアプレゼンテーション作成装置および方法 | |
| EP1926103A2 (en) | System, method and medium playing moving images | |
| JP2004173280A (ja) | ビデオサムネイルおよびビデオサムネイルを生成する方法 | |
| CN101276376A (zh) | 内容播放方法和系统、以及记录内容播放程序的媒介 | |
| Brenneis | Final Cut Pro 3 for Macintosh | |
| JP4142382B2 (ja) | コンテンツ作成システム及びコンテンツ作成方法 | |
| JP4695609B2 (ja) | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム | |
| JPH07319901A (ja) | 画像データベースを利用した希望ジョブ実行方法 | |
| JP2004135256A (ja) | 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 | |
| JP4450591B2 (ja) | 情報編集装置、表示制御方法およびプログラム | |
| JP2007267356A (ja) | ファイル管理プログラム、サムネイル画像表示方法および動画再生装置 | |
| JP2005252574A (ja) | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム | |
| JP4658128B2 (ja) | データ生成装置、データ生成方法、およびシステム | |
| JP4129162B2 (ja) | コンテンツ作成実演システム及びコンテンツ作成実演方法 | |
| JP3814799B2 (ja) | 映像・音声メディアとアプリケーションの同期管理装置、同期管理方法、同期管理プログラム及びその同期管理プログラムを記録した記録媒体 | |
| JP2008090526A (ja) | 会議情報保存装置、システム、会議情報表示装置及びプログラム | |
| KR100459668B1 (ko) | 색인기반 동영상 콘텐츠의 녹화 및 편집 시스템 | |
| JPH07319751A (ja) | 映像及び音声並びにテキスト関連の各データファイルの統合管理方法 | |
| JP2003099447A (ja) | 文書のデータ構造、記憶媒体及び情報処理装置 | |
| JP4640564B2 (ja) | コンテンツ配信システム | |
| JP4864968B2 (ja) | 記録再生システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051020 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080115 |