JP2001157175A - メディア時間管理情報記述方法、マルチメディア情報処理装置、マルチメディア情報処理方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 各メディアの時間を効率良く管理することの
できるメディア時間管理情報記述方法を提供すること。 【解決手段】 関連するビデオ１／オーディオ１／サム
ネール１と、関連するビデオ２／オーディオ２／サムネ
ール２の６つのメディアの相互の時間関係を管理するメ
ディア時間管理情報を記述するためのメディア時間管理
情報記述方法であって、上記６つのメディアについて、
該メディアの識別情報と、該メディアを管理する時間タ
イプと、該時間タイプを用いて管理される該メディアの
データの存在区間を示す情報と、必要に応じて該ローカ
ル時間と上記６つのメディアに共通の絶対時間との相互
間の変換式もしくは変換表およびまたは該ローカル時間
と他のメディアのローカル時間との相互間の変換式もし
くは変換表とを記述する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多種多様な複数の
タイムスタンプを持つマルチメディア情報をランダムに
途中再生およびトリック再生させるためのメディア時間
管理情報記述方法、マルチメディア情報処理装置、マル
チメディア情報処理方法及び記録媒体に関する。

【０００２】

【従来の技術】従来の映像は、ビジュアルデータとオー
ディオデータが１つずつ対になっているものがほとんど
であった。それらを同期させて再生する場合は、最初か
らすでに決められた再生レイトを用いれば、ほとんどず
れることなく再生が可能であった。また、近年、ＨＤ
Ｄ，ＣＤ，ＤＶＤなどの大容量のディスクメディアの出
現で、映像のランダムな途中再生が可能になった。この
場合も、ビジュアルデータとオーディオデータの同期が
とれるように双方の信号が多重化されており、ビジュア
ルデータとオーディオデータがほとんどずれることなく
再生可能であった。

【０００３】しかしながら、最近の映像としては、多種
多様な複数の異なるタイムスタンプを持つビジュアルデ
ータ、静止画、オーディオデータなどを組み合わせたマ
ルチメディア映像が増えており、時間の管理が複雑化し
ている。

【０００４】従来の（ビジュアルデータとオーディオデ
ータが１つずつ対になっている）映像では、ビジュアル
データかオーディオデータのタイムコードを基準に、も
う片方のメディアのタイムコードを参照すればよかった
が、複数のメディアが組み合わさった場合は、どのメデ
ィアを基準にしてどのメディアを参照にすればよいかそ
の都度決めるしかなかく、非常に効率の悪い時間管理を
行わざるを得なかった。

【０００５】また、静止画のように連続的にメディアが
存在しない場合や、ビジュアルデータやオーディオデー
タでも連続的にあるのではなく断続的にしか存在しない
場合など、必ずしも該当するメディア（のデータ）が、
指定された時間に存在しない場合がある。

【０００６】また、ＭＰＥＧ−４のようにフレームレイ
トが自由に変化するメディアをランダムアクセスする場
合は、一定のフレームレイトを持つＭＰＥＧ−２のよう
に単純な計算で瞬時に該当フレームを計算することが容
易ではない。

【０００７】よって、個々の単一メディアでは途中再生
のための時間やフレーム数を計算する方法または情報を
取り出す方法が異なるため、複数メディアを途中再生す
るアプリケーションを作成する場合に、相互の時間参照
を行うための制御が複雑になるという問題が発生してい
た。

【０００８】

【発明が解決しようとする課題】本発明は上述した事情
に対処すべくなされたもので、その目的は各メディアの
時間を効率良く管理することのできるメディア時間管理
情報記述方法を提供することを目的とする。

【０００９】本発明の他の目的は各メディアの時間を効
率良く管理することのできるマルチメディア情報処理装
置を提供することを目的とする。

【００１０】本発明のさらに他の目的は各メディアの時
間を効率良く管理することのできるマルチメディア情報
処理方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記した課題を解決し目
的を達成するために、本発明は以下に示す手段を用いて
いる。

【００１２】（１）本発明による複数のメディア間の時
間の関係を管理するメディア時間管理情報を記述するた
めのメディア時間管理情報記述方法は、前記複数のメデ
ィアの各々について該メディアを管理する時間タイプを
示す第１の情報と、前記複数のメディアの各々について
該メディアのデータの存在区間を示す第２の情報と、前
記複数のメディア間の時間の関係、もしくは該メディア
の時間と該メディアに共通する基準時間との関係を示す
第３の情報とを記述することを特徴とする。

【００１３】（２）上記（１）に記載のメディア時間管
理情報記述方法において、前記第１の情報は前記複数の
メディアに固有のローカル時間を含み、前記第３の情報
は互いに異なる前記ローカル時間の間の変換式、もしく
は変換表、または該ローカル時間と前記基準時間との間
の変換式、もしくは変換表の少なくとも一方を含むよう
にしてもよい。

【００１４】（３）上記（１）に記載のメディア時間管
理情報記述方法において、前記複数のメディアの属性情
報を記述するようにしてもよい。

【００１５】（４）上記（１）に記載のメディア時間管
理情報記述方法において、前記基準時間の最小単位は前
記複数メディアのローカル時間の最小単位を考慮して決
定されるようにしてもよい。

【００１６】（５）上記（１）に記載のメディア時間管
理情報記述方法において、前記複数のメディアはビジュ
アルデータ、該ビジュアルデータと関連するオーディオ
データ、または該ビジュアルデータと関連するサムネー
ルを含むようにしてもよい。

【００１７】（６）本発明による記録媒体は、複数のメ
ディアのデータと、前記複数のメディアの各々について
該メディアを管理する時間タイプを示す第１の情報、前
記複数のメディアの各々について該メディアのデータの
存在区間を示す第２の情報、前記複数のメディア間の時
間の関係、もしくは該メディアの時間と該メディアに共
通する基準時間との関係を示す第３の情報からなる前記
複数のメディアについてのメディア時間管理情報と、を
格納することを特徴とする。

【００１８】（７）上記（６）に記載の記録媒体におい
て、前記メディア時間管理情報を用いて前記複数のメデ
ィアを管理する時間を変換するためのプログラムをさら
に格納するようにしてもよい。

【００１９】（８）本発明による複数のメディア間の時
間関係を管理する機能を有するマルチメディア情報処理
装置は、前記複数のメディアの各々について該メディア
を管理する時間タイプを示す第１の情報、前記複数のメ
ディアの各々について該メディアのデータの存在区間を
示す第２の情報、前記複数のメディア間の時間の関係、
もしくは該メディアの時間と該メディアに共通する基準
時間との関係を示す第３の情報からなるメディア時間管
理情報を管理する手段と、前記メディア時間管理情報を
用いて前記複数のメディアを管理する時間を変換する変
換手段と、を備えたことを特徴とする。

【００２０】（９）上記（８）に記載のマルチメディア
情報処理装置において、前記第１の情報は前記複数のメ
ディアに固有のローカル時間を含み、前記第３の情報は
互いに異なる前記ローカル時間の間の変換式、もしくは
変換表、または該ローカル時間と前記基準時間との間の
変換式、もしくは変換表の少なくとも一方を含み、前記
変換手段は前記変換式もしくは前記変換表に基づいて前
記複数のメディアを管理する時間を変換するようにして
もよい。

【００２１】（１０）上記（９）に記載のマルチメディ
ア情報処理装置において、ユーザから所望のメディアに
対する所望の操作の要求を受け付ける手段と、該要求を
実行する手段とをさらに備え、前記変換手段は、ユーザ
により指定された前記メディアのローカル時間の情報を
使っても前記要求を実行することができない場合には、
該メディアのローカル時間を前記要求の実行を可能とす
る他のメディアのローカル時間に変換するようにしても
よい。

【００２２】（１１）本発明によれば、複数のメディア
の各々について該メディアを管理する時間タイプを示す
第１の情報と、前記複数のメディアの各々について該メ
ディアのデータの存在区間を示す第２の情報と、前記複
数のメディア間の時間の関係、もしくは該メディアの時
間と該メディアに共通する基準時間との関係を示す第３
の情報とを有するメディア時間管理情報を用いるマルチ
メディア情報処理方法において、ユーザから所望のメデ
ィアに対する所望の操作の要求を受け付けるステップ
と、ユーザにより所望された前記メディアのローカル時
間の情報を使っても前記要求を実行することができない
場合には、該メディアのローカル時間を前記要求の実行
を可能とする他のメディアのローカル時間に変換するス
テップと、前記要求を実行するステップと、を具備する
ことを特徴とする。

【００２３】（１２）上記（１１）に記載のマルチメデ
ィア情報処理方法において、前記第１の情報は前記複数
のメディアに固有のローカル時間を含み、前記第３の情
報は互いに異なる前記ローカル時間の間の変換式、もし
くは変換表、または該ローカル時間と前記基準時間との
間の変換式もしくは変換表の少なくとも一方を含み、前
記変換するステップは前記変換式もしくは変換表に基づ
いて行われるようにしてもよい。

【００２４】（１３）本発明によれば、複数のメディア
の各々について該メディアを管理する時間タイプを示す
第１の情報と、前記複数のメディアの各々について該メ
ディアのデータの存在区間を示す第２の情報と、前記複
数のメディア間の時間の関係、もしくは該メディアの時
間と該メディアに共通する基準時間との関係を示す第３
の情報とを有するメディア時間管理情報を用いて情報処
理を行なうコンピュータプログラムを記憶する記録媒体
において、前記コンピュータプログラムはユーザから所
望のメディアに対する所望の操作の要求を受け付けるプ
ログラムコードと、ユーザにより指定された前記メディ
アのローカル時間の情報を使っても前記要求を実行する
ことができない場合には、該メディアのローカル時間を
前記要求の実行を可能とする他のメディアのローカル時
間に変換するプログラムコードと、前記要求を実行する
プログラムコードと、を具備することを特徴とする。

【００２５】（１４）本発明のプログラム製品は、複数
のメディアのデータと、前記複数のメディアの各々につ
いて該メディアを管理する時間タイプを示す第１の情
報、前記複数のメディアの各々について該メディアのデ
ータの存在区間を示す第２の情報、前記複数のメディア
間の時間の関係、もしくは該メディアの時間と該メディ
アに共通する基準時間との関係を示す第３の情報からな
る前記複数のメディアについてのメディア時間管理情報
と、前記メディア時間管理情報を用いて前記複数のメデ
ィアを管理する時間を変換するためのプログラムと、を
具備することを特徴とする。

【００２６】（１５）本発明のプログラム製品は、複数
のメディアの各々について該メディアを管理する時間タ
イプを示す第１の情報、前記複数のメディアの各々につ
いて該メディアのデータの存在区間を示す第２の情報、
前記複数のメディア間の時間の関係、もしくは該メディ
アの時間と該メディアに共通する基準時間との関係を示
す第３の情報からなるメディア時間管理情報と、ユーザ
から所望のメディアに対する所望の操作の要求を受け付
けるプログラムコードと、ユーザにより指定された前記
メディアのローカル時間の情報を使っても前記要求を実
行することができない場合には、該メディアのローカル
時間を前記要求の実行を可能とする他のメディアのロー
カル時間に変換するプログラムコードと、前記要求を実
行するプログラムコードと、を具備することを特徴とす
る。

【００２７】本発明では、各種メディア同士の同期を容
易にするために、各メディア毎の時間の相対関係を記す
ためのメディア時間管理情報（表）をあらかじめ作成し
一元管理を行う。メディア時間管理情報（表）には、少
なくとも１つの基準となる時間尺度を有し（時間と対等
な尺度であればよい）、各メディアを同定するＩＤ情報
と、メディアを管理するための時間の種類と、その種類
の時間を利用して表したメディアの存在区間と、もし時
間の種類が全体の基準となる絶対時間でなく、メディア
固有のローカル時間の場合に必要ならばローカル時間と
絶対時間の相互変換式（方法）と、必要ならばその時間
とフレームとの変換式（方法）を具備する時間管理表を
用いて、ビジュアルデータ、オーディオデータ、静止画
等がアクセス可能なポイントを時間やフレーム番号から
参照できる情報を記載する。これにより、任意のメディ
アの、任意の時間や任意フレーム番号から、直接アクセ
スすることができる。また、あるメディア固有の時間や
フレーム番号から、それと同時刻のもしくはその時刻に
関連する、他のメディアの時間やフレーム番号を直接ア
クセスできるようにすることよって、複数のメディアを
容易に同期再生することが可能となる。

【００２８】ところで、例えば、フレーム番号は、ビジ
ュアルデータと、そのビジュアルデータから取り出した
静止画とを関連付けるのに適している。ビジュアルデー
タとオーディオデータとの対応関係を取る場合は、オー
ディオデータにはフレームという概念がないため、タイ
ム・メジャーの方が適している。ＭＰＥＧ−２は、固定
のフレームレートであるため、フレーム番号とタイム・
メジャーとの間のマッピングは容易である。ＭＰＥＧ−
４は、可変のフレームレートを許しているため、フレー
ム番号とタイム・メジャーとの間のマッピングは容易で
ない。また、マルチメディアコンテンツを扱う場合、複
数のビジュアルデータ、複数のオーディオデータ、複数
の静止画を同時に同期させながら扱う必要がある。例え
ば、野球中継を二つのカメラとマイクで撮影し、その各
々の映像からハイライトシーンを静止画として取り出し
た場合、各々のイベントを相互に関係付ける必要があ
る。二つのカメラが同時に作動していない場合や断続的
に撮影されている場合を考えると対応付けは単純ではな
い。さらに複数の静止画をどのように対応付けるかはデ
ータの管理方法に係る問題となる。また、アプリケーシ
ョンによっては、個々のメディアを個々のメディア固有
のローカル時間で扱いたい場合や、タイム・メジャーで
はなくフレーム番号で扱いたい場合など、様々な要求が
考えられる。この点、本発明によれば、１つの基準時間
と個々のメディアのローカル時間との関係を記述するこ
とにより、相互の関係を容易に取り出すことができるだ
けでなく、時間管理も個々のアプリケーションに要求に
応じて、基準時間、ローカル時間（タイムメジャー）、
ローカル時間（フレーム番号）を自由に利用できる。ど
のようなケースおいても、少なくとも、基準時間を参照
することで相互の変換が可能になる。

【００２９】このように本発明によれば、多種多様な複
数の異なるタイムスタンプを持つビジュアルデータ、静
止画像、オーディオデータ等のメディアを組み合わせた
マルチメディアの相互のタイムスタンプの変換を容易に
行うことができ、効率良く途中再生等の操作に必要な各
メディアのアクセスポイントを知ることができ、同期再
生させることができる。

【００３０】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。

【００３１】また、装置または方法に係る本発明は、コ
ンピュータに当該発明に相当する手順を実行させるため
の（あるいはコンピュータを当該発明に相当する手段と
して機能させるための、あるいはコンピュータに当該発
明に相当する機能を実現させるための）プログラムを記
録したコンピュータ読取り可能な記録媒体としても成立
する。

【００３２】

【発明の実施の形態】以下図面を参照して本発明による
メディア時間管理情報記述方法、マルチメディア情報処
理装置、マルチメディア情報処理方法及び記録媒体の実
施形態を説明する。

【００３３】最初に、語句説明を行う。

【００３４】タイム・メジャーは、ビジュアルデータや
オーディオデータにおける時間の単位を用いた時間記述
である。

【００３５】本実施形態では、ビジュアルデータのタイ
ム・メジャーを、ｈｈ時間ｍｍ分ｓｓ秒ｘｘ／ｙｙフレ
ームで表現するものとする。

【００３６】上記のｘｘ／ｙｙは、１秒あたりのフレー
ム数が実数であることを利用しフレーム数を使って１秒
未満の部分を表現するためのもので、１秒間がｙｙ個の
フレームに対応するとした場合に、ｈｈ時間ｍｍ分ｓｓ
秒以降でｈｈ時間ｍｍ分（ｓｓ＋１）秒より前の範囲に
おけるｙｙ個のフレーム（０番目〜ｙｙ−１番目のフレ
ーム）のうちのｘｘ番目のフレームに対応する時間を表
すものである。例えば、１秒あたりのフレーム数を３０
とした場合に、ｘｘ／ｙｙとして０／３０〜２９／３０
が用いられる。なお、１秒あたりのフレーム数が現実に
は３０であっても、例えば、ｙｙを１２０とし、０／１
２０，４／１２０，…，１１６／１２０を用るようにす
ることも可能である。

【００３７】なお、ｈｈ時間ｍｍ分ｓｓ秒の部分を、秒
に展開して記述してもよい。

【００３８】また、ｘｘ／ｙｙの部分を、ｚ（ｚは所定
の有効桁を持つ０≦ｚ＜１の実数）で記述することも可
能である。

【００３９】一方、本実施形態では、オーディオデータ
のタイム・メジャーをｈｈ時間ｍｍ分ｓｓ秒ｔｔで表現
するものとする。なお、ｈｈ時間ｍｍ分ｓｓ秒の部分を
秒に展開して記述してもよい。

【００４０】フレーム番号は、ビジュアルデータにおけ
るフレーム番号（例えば、先頭フレームからのシーケン
ス番号）を用いた時間記述である。

【００４１】また、ビジュアルデータ、オーディオデー
タ、サムネール（静止画像）等の一纏まりのデータをメ
ディアと呼ぶ。ここでは、同じビジュアルデータでも例
えば異なるカメラで撮影された映像や、異なるチャンネ
ルからの番組映像のように種類の異なるものはそれぞれ
別個のメディアとして扱う。また、同一メディアのデー
タは、必ずしも時間的に連続である必要はなく、一時的
にデータ不存在の区間があってもよい。なお、メディア
は、メディアＩＤで識別されるものとする。

【００４２】本実施形態では、時間的な相互関係を持た
せた複数のメディアを含むデータ群（例えば、マルチメ
ディアデータ、デジタルコンテンツ等）を扱う。このデ
ータ群は、同種のメディアから構成されていてもよいし
（例えば、ビジュアルデータ１とビジュアルデータ２か
らなる場合）、複数種類のメディアから構成されていて
もよい（例えば、ビジュアルデータ１とオーディオデー
タ１からなる場合）。また、このデータ群には、同じ種
類のメディアを複数含むことができる。例えば、１つの
マルチメディアデータを、対になるビジュアルデータ１
／オーディオデータ１およびサムネール１（ビジュアル
データ１の一または複数のフレームからそれぞれ得られ
た静止画像を含む）と、対になるビジュアルデータ２／
オーディオデータ２およびサムネール２（ビジュアルデ
ータ２の一または複数のフレームからそれぞれ得られた
静止画像を含む）の６個のメディアから構成することも
可能である。

【００４３】ローカル時間とは、各メディアが持つ固有
の時間である。ローカル時間は、タイム・メジャーやフ
レーム番号で表現できる。

【００４４】絶対時間は、上記の時間的な相互関係を持
たせた複数のメディアについて通常１つ定められ、各メ
ディアの持つローカル時間との間で変換可能な時間で、
タイム・メジャーやフレーム番号で表現できる。なお、
本実施形態では、絶対時間としてタイム・メジャーを用
いた場合について説明する。

【００４５】基準時間とは、上記の時間的な相互関係を
持たせた複数のメディアのうちのいずれかのメディアが
持つローカル時間、あるいはどのローカル時間とも異な
る時間（例えば絶対時間）である。なお、本実施形態で
は、基準時間としてどのローカル時間とも異なる絶対時
間を用いた場合について説明する。

【００４６】実世界時間とは、この実際の世界における
時間（例えばグリニッジ標準時）である。

【００４７】図１に、本発明の一実施形態に係るマルチ
メディア情報処理システムの構成例を示す。なお、図
中、ＣＰＵやメモリ、必要に応じて設けられる外部記憶
装置やネットワーク通信装置、必要に応じて使用される
ドライバソフトやＯＳ等のソフトウェアについては省略
している。

【００４８】メディア時間管理表１０１は、あるデータ
群に含まれるの複数のメディア間の時間的な相互関係を
管理するための情報である。

【００４９】アプリケーション１０３は、基本的には、
ＧＵＩ等のユーザ・インタフェースを用いて、ユーザか
らマルチメディアデータ等に対する操作の指示を受け、
該当するビデオドライバやオーディオドライバ等に（図
示せず）、該当するメディアの該当個所からの該当する
操作（例えばランダムに途中再生、あるいはトリック再
生等）を要求することなどを行う。

【００５０】例えば、前述の例のサムネール１に含まれ
るいくつかの静止画像を呈示し、ユーザがその中から所
望の静止画像を選択し、その選択された静止画像に対応
するビジュアルデータ１の箇所からビジュアルデータ１
を通常再生するように指示した場合、ビデオドライバ
に、選択された静止画像のローカル時間に対応するビジ
ュアルデータ１のローカル時間を指定して通常再生を要
求する（この要求を受けたビデオドライバは、その仕様
にもよるが、例えば、指定されたフレーム番号からビジ
ュアルデータ１を通常再生する）。

【００５１】ここで、アプリケーション１０３は、上記
のようにユーザの指示に応じてドライバに要求を出す際
に、ユーザが指定したあるメディアにおけるローカル時
間から、目的となる他のメディアにおける対応するロー
カル時間がわからない場合（例えば、ビジュアルデータ
１とビジュアルデータ２が異なるローカル時間を持つ場
合に、上記の例のように、ユーザがサムネール１からあ
る静止画像を選択し、その静止画像に対応する箇所から
ビジュアルデータ２を通常再生するように指示した場
合）には、メディア間時間換算ルーチン１０２に、時間
の問い合わせを行って、変換元メディアのローカル時間
に対応する変換先メディアのローカル時間を算出させる
ことになる。

【００５２】メディア間時間換算ルーチン１０２は、ア
プリケーション１０３からの時間の問い合わせに対し
て、メディア時間管理表１０１を参照して（メディア時
間管理表から変換式または変換表を読み取り）、変換元
メディアのローカル時間から、変換先メディアのローカ
ル時間を求め（メディア間時間換算を行い）、それを回
答として返すものである。なお、絶対時間を返すことを
可能としてもよい。

【００５３】アプリケーション１０３は、受け取った時
間情報（ローカルなタイム・メジャーやフレーム番号）
を利用しドライバに要求を出すなどして、所望のメディ
アの所望の場所を直接アクセスし途中再生等を実現す
る。なお、絶対時間を用いる要求等を行うことを可能と
してもよい次に、メディア時間管理表１０１について説
明する。

【００５４】図２は、メディア時間管理表１０１を概念
的に示す図である。

【００５５】すなわち、図２は、絶対時間を基準時間と
した（あるいは、絶対時間を媒介にした）各メディアの
時間的な相互関係を概念的に表現したものであり、実際
には各メディア間の時間的な関係は後に示すような変換
式や変換表で表現される。特に、絶対時間を基準時間と
して用いる場合には、絶対時間は変換式もしくは変換表
の中に存在するものである。

【００５６】メディアＩＤの項目２０１は、アプリケー
ションが扱うビジュアルデータ、オーディオデータ、静
止画像（サムネール）などの各メディア（各データ）を
同定するための識別情報を表している。

【００５７】時間２０２の項目は、各メディアの時間的
な相対関係を概念的に示している。２１０は絶対時間を
示し、２１１〜２１６は各メディアのローカル時間を示
している。

【００５８】前述したように基準時間としては、絶対時
間２０３、もしくはローカル時間２１１〜２１６のいず
れを用いてもよい。ただし、後で扱うメディアを増やす
ことを考えるとメディアとは関係のない絶対時間とした
方が、都合がよい場合が多い。いずれにしても、アプリ
ケーションによって基準時間を決めればよい。

【００５９】絶対時間２０３は、基準点０（２１７）を
持ち、正負の方向にも尺度を持つことができる。しか
し、正の方向にのみ尺度を持つようにすることもでき
る。

【００６０】本実施形態では、絶対時間２０３のスケー
ルとして、ビジュアルデータに対しては先に例示したｈ
ｈ時間ｍｍ分ｓｓ秒ｘｘ／ｙｙフレームという単位を用
い、オーディオデータに対してはｈｈ時間ｍｍ分ｓｓ秒
ｔｔという単位を用いるものとして説明している。前述
したように、ｙｙは一秒あたりのフレーム数を表すこと
になる。

【００６１】なお、絶対時間２０３を、１秒あたりのフ
レーム数が互いに異なるような複数のメディアのローカ
ル時間と変換可能とすることを考慮すると、十分な精度
で各メディアのローカル時間との相互関係を表現するた
めに、ｙｙとして十分大きな値を用いるようにしてもよ
い。もしくは、ｙｙを一秒あたりのフレームが一番大き
なメディアのものと合わせてもよい。もしくは、ｙｙを
各メディアの、一秒間のフレーム数（フレームレイト）
の最小公倍数としてもよい。

【００６２】また、あらかじめ扱うことになっているメ
ディアの他に、新しく扱うべきメディアが入ってきたと
きに、絶対時間２０３の最小単位を変更してもよい。こ
の場合は、必要に応じて各メディアの時間の表現を絶対
時間２０３の最小単位に合わせて修正を行う（フレーム
番号を扱うｘｘ／ｙｙのｙｙの値を絶対時間の最小単位
に合わせる）。

【００６３】なお、前述と同様に、上記のｘｘ／ｙｙを
分数ではなく実数としてもよい。

【００６４】もちろん、本実施形態では、絶対時間２０
３のスケールは、ｈｈ時間ｍｍ分ｓｓ秒ｘｘ／ｙｙフレ
ームという単位に限らず、時間を表す他の単位を用いる
ことも可能である。例えば、時間と対応がつく整数でも
よい。また、フレーム番号と時間とを一意に対応付ける
ことができれば、フレーム番号を絶対時間として用いて
もよい。

【００６５】ところで、各メディアは、実際の時間、例
えばビジュアルデータが撮影された実世界時間を同時に
管理することもできる。例えば、実世界時間をメディア
の一つとしてとらえ、その実世界時間とビジュアルデー
タのローカル時間との対応を、メディア時間管理表で同
様に管理するようにしてもよい。または、実世界時間を
独立にして、実世界時間と絶対時間との関係を管理する
ようにしてもよい。または、基準時間に実世界時間を用
いるようにしてもよい。要は、実世界時間も他のメディ
アと同様に取り扱うことができ、メディアコンテンツの
閉じた時間関係ではなく、実世界時間との対応をとるこ
とも可能である。実世界時間としては、例えば、年月日
をもった世界標準の時間体系（例えば、グリニッジ標準
時）を用いることができる。

【００６６】さて、図２では、個々のメディア間の変換
式もしくは変換表は現れていない。個々のメディアの相
互関係を一元管理するための情報（変換式もしくは変換
表を含む）を提供することが、このメディア時間管理表
１０１の役割である。メディア時間管理表１０１が保持
すべき情報は、メディアの数や種類等に応じて適宜設定
して構わない。

【００６７】図３に、実際にメディアの時間を管理する
場合の個々のメディアに対するメディア時間管理表の一
例を示す。この場合、個々のメディアについて、次の情
報が記述される。 （１）メディアＩＤ （２）時間タイプ （３）存在区間 （４−１）絶対時間との間の変換式もしくは変換表 （４−２）他のメディアのローカル時間との間の変換式
もしくは変換表 （５）時間とフレームとの間の変換式もしくは変換表 （１）のメディアＩＤは、メディアを同定するための識
別情報である。メディアＩＤには、メディアを同定する
ためのユニークな名前の他に、実際のメディアがどこに
存在するかを示す位置情報を含んでもよい。

【００６８】（２）の時間タイプは、メディアの存在時
間を表す時間の種類を示す。選択肢としては、絶対時間
とローカル時間があり、単位としてタイム・メジャーや
フレーム番号を利用できる。なお、ローカル時間は、自
分のローカル時間だけではなく、他のメディアのローカ
ル時間でもよい。 （３）の存在区間は、（２）で示された時間タイプによ
る、開始時間と長さ、もしくは開始時間と終了時間、あ
るいは開始フレームとフレーム長、もしくは開始フレー
ムと終了フレームなどである。

【００６９】なお、（４−１），（４−２），（５）は
必要に応じて記述される場合と記述されない（用意され
ない）場合がある。

【００７０】もちろん全部のメディアのローカル時間に
ついて、絶対時間とローカル時間との間の変換をするた
めの変換式もしくは変換表（対応表）を用意するように
してもよい。

【００７１】また、絶対時間との間の変換をするための
変換式あるいは変換表が用意されないローカル時間につ
いては、これを、一旦、他のローカル時間に変換し、そ
れをさらに絶対時間に変換する、というようにすること
も可能である。

【００７２】また、全部のメディアに絶対時間を用いる
ことも可能である。

【００７３】また、例えばメディアの属性に関する情報
（例えばフレームレートが可変）やメディアの存在場所
に関する情報などをさらに記述するようにしてもよい。
なお、この情報は、メディアＩＤに付加する形で記述す
るようにしてもよい。

【００７４】ここで、図４に、全てのメディアを絶対時
間で記述した例を示す。

【００７５】各メディアの開始時間と長さが、絶対時間
をもとに表記されている。

【００７６】各メディアは、絶対時間とは別に、それぞ
れのローカル時間を持っている場合もある。その情報も
同時に管理してもよいし、絶対時間とローカル時間の関
係を記述し、ローカル時間でメディアを表記してもよ
い。

【００７７】また、一定のフレームレートである場合
は、一秒何フレームかの情報を記録してもよい。時間と
フレームとの関係は、メディアを途中再生する場合に重
要であるため、メディア自身のデータ内部に記述されて
いるか、または関係式（もしくはテーブル）がわかって
いる必要がある。高速にアクセスするためには、メディ
ア自身の内部だけでなく管理表に記録しておくことも好
ましい。

【００７８】図２のビジュアルデータ１（２０４）は、
ビジュアルデータのシーケンスが２箇所に分かれてい
る。そして、図４において、開始時間とその長さが絶対
時間をもとに示されている。ビジュアルデータ１は、Ｍ
ＰＥＧ−２のように固定のフレームレートなので１秒３
０フレームと記されている。

【００７９】また、図２のビジュアルデータ２（２０
５）も、図４において、絶対時間をもとに開始時間と長
さが示されている。例えば、ビジュアルデータ２がＭＰ
ＥＧ−４のように可変のフレームレートを持つ場合は、
メディアの属性情報としてフレームレートが可変(Varia
ble)である旨を記述し、各フレームがどの時間に該当す
るかの情報をこのメディア時間管理表で明に記述し管理
してもよい。また、ＭＰＥＧ−４の場合、可変フレーム
レートに関する情報が既にメディアに記録されているこ
とから、その情報を参照するようにしてもよい。メディ
ア自身の中にある情報から参照する場合は、多くの場
合、先頭から高速に該当場所をシークして探すことにな
るが、アプリケーションによっては、それでも十分な時
間で目的の途中再生ができるものもある。その場合は、
ビジュアルデータ２のローカル時間の開始時間を管理す
る必要がある。

【００８０】オーディオデータにおいても同様の情報を
管理する。ビジュアルデータと同じく開始時間と長さな
どである。

【００８１】サムネールは、しばしばビジュアルデータ
の中身をユーザに静止画像として一覧表示するためによ
く用いられる。その静止画像（サムネール）は、ビジュ
アルデータの時間的および空間的にサンプリングされた
元のビジュアルデータの、画像の大きさよりも小さいこ
とが多い。サムネールは、元のビジュアルデータから作
成されるため、時間的な対応関係がついている。サムネ
ール１は、ビジュアルデータ１から派生していることを
管理表の中で管理してもよい。

【００８２】また、サムネールは、フレームレートが極
めて粗い動画であるという考え方もできる。しかしなが
ら、動画として用いることはあまりなく、各フレームを
静止画像として取りだし利用されることがほとんどであ
る。よって、ビジュアルデータ１上の時間またはビジュ
アルデータ１のフレームに該当するサムネール１の静止
画像を検索する場合が一般的である。あるいは、サムネ
ール画像から、その場所に該当するビジュアルデータを
再生するというアプリケーションが多い。よって、サム
ネール１の各フレームの時間がルックアップテーブルと
して管理される方が、都合がよい。これは、サムネール
がビジュアルデータに比べて少ないフレーム数であり、
参照のための計算を速くするということに重きが置かれ
るためで、ルックアップテーブルにしてもデータ量は多
くないので問題ない。当然ながら、サムネールが等間隔
のフレーム数または等間隔な時間でビジュアルデータ１
から取得されている場合は、ビジュアルデータ１のフレ
ームまたは時間との関係式（変換式）でもよい。

【００８３】図４に示すように、サムネール１は、ビジ
ュアルデータ１からの派生なので２つに分割されたシー
ケンス（図中の１），２））からなる。各フレーム番号
に対してそれがどこに該当するかが絶対時間で記録され
ている。仮に、ビジュアルデータ１がビジュアルデータ
１自身のローカル時間を持っていたとした場合、サムネ
ール１の時間をビジュアルデータ１のローカル時間で記
録してもよい。その場合は、ビジュアルデータ１のロー
カル時間を利用していることを明記する。

【００８４】また、ビジュアルデータ１との対応関係を
時間ではなくビジュアルデータ１のフレーム番号で対応
を取ってもよい。サムネール１を絶対時間ではなくビジ
ュアルデータ１のローカル時間（ローカルフレーム）で
記述した方が、アプリケーションとして扱いやすい場合
が多いので、ローカル時間（ローカルフレーム）で書く
方が一般的である。例えば、高速に該当場所を検索する
というメリットがある。

【００８５】サムネール２は、ビジュアルデータ２から
派生した静止画像で、表記方法はサムネール１と同じで
ある。

【００８６】次に、図５に、全てのメディアをそれぞれ
のローカル時間で記述した例を示す。

【００８７】ビジュアルデータ１は、タイム・メジャー
で開始時間と長さが記述されている。また、絶対時間と
の関係が、絶対時間における開始時間として記述されて
いる。また、タイム・メジャーとフレームとの関係が、
１秒当たりのフレーム数として記述されている。

【００８８】オーディオデータ１は、タイム・メジャー
で開始時間と長さが記述されている。また、絶対時間と
の関係が、絶対時間における開始時間として記述されて
いる。

【００８９】サムネール１は、フレーム番号で、開始フ
レームとフレーム長が記述されている。また、ビジュア
ルデータ１との関係が、サムネール１におけるフレーム
番号とビジュアルデータ１におけるフレーム番号との関
係として記述されている。

【００９０】ビジュアルデータ２、オーディオデータ
２、サムネール２についても同様である。

【００９１】なお、ビジュアルデータ２（２０５）がＭ
ＰＥＧ−４のように可変のフレームレートを持つ場合
は、例えば、タイム・メジャーで開始時間と長さを記述
し、絶対時間との関係が絶対時間における開始時間とし
て記述する点は同じであるが、フレームレートが可変で
あるため、１秒当たりのフレーム数は記述しない。ま
た、この場合、オーディオデータ２は上記と同じでよい
が、サムネール２とビジュアルデータ２との関係は、例
えば、サムネール１におけるフレーム番号とビジュアル
データ２におけるタイム・メジャーとの関係として記述
する。

【００９２】次に、メディア間時間換算ルーチン群１０
２が、メディア時間管理表１０１を用いて、どのように
メディア間の時間を計算するかについて説明する。

【００９３】図６に、メディア間時間換算ルーチン群１
０２の一例を示す。

【００９４】メディア間の時間の換算は、もし絶対時間
にすべてを揃えれば換算ルーチンは必要としない。しか
し、もとのメディアに既に付与されているタイムスタン
プを変更することがわずらわしい場合があり、そのとき
は、キーとなる開始時間や終了時間等の相互関係をメデ
ィア間時間管理表で管理する方が扱いやすい場合があ
る。ローカルなタイムスタンプを変更せずに済むので元
の映像を変更したくない場合に適している。そこで、各
メディア間の時間換算ルーチンが必要となる。

【００９５】図６に挙げたルーチンがまったく必要でな
い場合もあれば、すべて必要な場合や一部が必要な場合
など、場合に応じて必要なルーチンを用意する。

【００９６】メディアローカル時間←→絶対時間４０１
は、あるメディアのローカル時間（タイムメジャーもし
くはフレーム番号）と絶対時間（ここではタイムメジャ
ーとする）との相互への変換ルーチンである。

【００９７】メディアローカル時間区間←→絶対時間区
間４０２は、あるメディアのローカル時間区間と絶対時
間区間との相互への変換ルーチンである。

【００９８】絶対時間←→絶対フレーム番号４０３は、
絶対時間（タイムメジャー）と絶対時間（フレーム番
号）との相互への変換ルーチンである。

【００９９】絶対時間区間←→絶対フレーム数４０４
は、絶対時間区間（絶対時間がタイムメジャーである場
合）と絶対フレーム数（絶対時間がフレーム番号ある場
合）との相互への変換ルーチンである。

【０１００】メディアローカル時間←→他のメディアロ
ーカル時間４０５は、あるメディアのローカル時間（タ
イムメジャー）と他のメディアのローカル時間（タイム
メジャー）との相互への変換ルーチンである。

【０１０１】メディアローカル時間区間←→他のメディ
アローカル時間区間４０６は、あるメディアのローカル
時間区間と他のメディアのローカル時間区間との相互へ
の変換ルーチンである。

【０１０２】メディアローカルフレーム番号←→他のメ
ディアローカルフレーム番号４０７は、あるメディアの
ローカル時間（フレーム番号）と他のメディアのローカ
ル時間（フレーム番号）との相互への変換ルーチンであ
る。

【０１０３】メディアローカルフレーム数←→他のメデ
ィアローカルフレーム数４０８は、あるメディアのロー
カル時間でのフレーム数と他のメディアのローカル時間
でのフレーム数との相互への変換ルーチンである。

【０１０４】メディアローカル時間←→メディアローカ
ルフレーム番号４０９は、あるメディアのローカル時間
（タイムメジャー）と、それ自身のメディアのローカル
時間（フレーム番号）との相互への変換ルーチンであ
る。

【０１０５】メディアローカル時間区間←→メディアロ
ーカルフレーム数４１０は、あるメディアのローカル時
間区間と、それ自身のメディアのローカルフレーム数と
の相互への変換ルーチンである。

【０１０６】次に、図７〜図１２を用いて種々のメディ
ア時間管理方法から一部の例を挙げて説明を行う。

【０１０７】図７は、全てのメディアに絶対時間５０１
のタイムスタンプを用いた場合の一例である。この場合
は、相互に参照するときの変換を必要とせず、時間の同
期を瞬時に把握できる利点がある。しかし、現状、実際
のメディアでは、そのメディアに固有のローカル時間に
より管理されるのが一般的であるから、あるメディアを
アクセスする場合には、絶対時間５０１の指示で各メデ
ィアが再生できるようなルーチン（例えばドライバ）を
提供するか、もしくは絶対時間５０１から各メディアの
ローカルフレームまたはローカル時間へ変換するルーチ
ンを用意し、その時間あるいはフレームを利用して各メ
ディアを途中再生する必要がある。

【０１０８】図８は、全てのメディアをメディア固有の
ローカル時間でそれぞれ管理し、そのローカル時間と絶
対時間の変換式または変換表を用意した場合の一例であ
る。これは、各メディアのローカル時間を書き換えなく
てよいという利点がある。変換式等は図８では円図形５
０５〜５０７で表示されている。メディア相互の参照は
絶対時間を通して行う。

【０１０９】上記した図７と図８の２つが比較的統一性
があり一般的な管理方法である。

【０１１０】図９の例では、オーディオデータ６０４が
絶対時間６０１を用いており、ビジュアルデータ６０２
がローカル時間を用いている（または、オーディオデー
タ６０４のローカル時間を絶対時間として用いてい
る）。ここで、絶対時間６０１とビジュアルデータ６０
２との間にある円図形６０５は、絶対時間６０１とビジ
ュアルデータ６０２との間のローカル時間の変換式等を
意味する。よって、ビジュアルデータ６０２とオーディ
オデータ６０４とは、絶対時間を媒介として関係付いて
いる。また、サムネール６０３は、ビジュアルデータ６
０２のローカル時間を用いて、時間が管理されている。
よって、ビジュアルデータ６０２とサムネール６０３と
の間では、ローカル時間を利用して相互にアクセスが可
能である。サムネール６０３のローカル時間からオーデ
ィオデータ６０４をアクセスするには、変換式等６０５
を用いて絶対時間６０１を求め、オーディオデータ６０
４の該当する場所をアクセスする。図９の例は、サムネ
ールからビジュアルデータ１を頻繁にアクセスする場合
には有効な管理方法である。

【０１１１】図１０の例では、ビジュアルデータ７０２
が絶対時間７０１と関係付いている。また、オーディオ
データ７０３とサムネール７０４とがビジュアルデータ
６０４のローカル時間を利用して時間管理されている。
円図形７０５は、図８の例と同様に絶対時間７０１とビ
ジュアルデータ７０２のローカル時間との間の変換式等
である。この場合、絶対時間７０１とビジュアルデータ
７０２のローカル時間とを同じにすれば、変換式は不要
となる。この例によれば、１つの映像をローカルタイム
で管理できる利点がある。なお、別の映像は絶対時間を
媒介して関係付けることができる。

【０１１２】図１１の例では、２つのビジュアルデータ
とそれぞれのサムネールを管理する方法である。絶対時
間８０１とビジュアルデータ１（８０２）とが関連づけ
られている。円図形８０６は、それらの間の変換式であ
る。サムネール１（８０３）は、ビジュアルデータ１
（８０２）のローカル時間を利用して時間管理されてい
る。同様に、ビジュアルデータ２（８０４）は、絶対時
間８０１と関係付いており、円図形８０７が変換式とな
っている。サムネール２は、ビジュアルデータ２（８０
４）のローカル時間を利用して時間管理されている。こ
の例では、サムネールとビジュアルデータ同士がビジュ
アルデータのローカル時間で関係付いているため、比較
的関係の深い２つのメディアの間では変換が不要という
利点がある。

【０１１３】例えば、サムネール１のローカル時間か
ら、対応するサムネール２のローカル時間を求める場
合、まず、サムネール１のフレーム番号からビジュアル
データ１のフレーム番号を求め、次に、ビジュアルデー
タ１のフレーム番号から絶対時間を求め（もしくは、ビ
ジュアルデータ１のフレーム番号からビジュアルデータ
１のタイム・メジャーを求め、ビジュアルデータ１のタ
イム・メジャーから絶対時間を求め）、次に、絶対時間
からビジュアルデータ２のローカル時間を求める。

【０１１４】図１２の例は、ビジュアルデータ２（９０
４）のローカル時間と、ビジュアルデータ１（９０２）
のローカル時間との相互の変換式９０７が存在する。ビ
ジュアルデータ１（９０２）とビジュアルデータ２（９
０４）とが同じローカル時間を用いていれば、変換式９
０７は不要である。この例は、絶対時間への変換があま
り頻繁でない場合に有効である。

【０１１５】図２０の例は、絶対時間１９０１と実世界
時間１９０９とを変換式等１９０８で関連付けたもので
ある。図２０の例は、図１１の例をベースとした例であ
るが、もちろん、実世界時間の利用の仕方にも種々の形
態が考えられる。

【０１１６】図１３に、アプリケーションからメディア
の時間の問い合わせがあったときのメディア間時間換算
ルーチン１０２の処理手順の一例を示す。

【０１１７】まず、実際にアプリケーションからメディ
アの時間の問い合わせがあったかどうかをチェックし
（ステップＳ１１）、問い合わせがあった場合には、問
い合わせの内容を分析し、どのメディアのどの時間また
はフレーム番号で示されたものと時間的に一致するどの
他のメディアの時間またはフレーム番号を求めようとし
ているかを調べ、最適な変換ルーチンを選択し組み合わ
せる（ステップＳ１２）。そして、ルーチン群を用いて
メディア時間管理表１０１を参照しながら、問い合わせ
の回答を計算して作成し（ステップＳ１３）、求まれば
アプリケーションに問い合わせの時間またはフレーム番
号を返す（ステップＳ１４）。求まらなければ、求まら
なかったことをアプリケーションに返す。

【０１１８】図１３を用いて、アプリケーションからの
メディアの時間の問い合わせがあった時の処理例を説明
したが、メディア時間管理情報（表）を用いて、具体的
にどのように処理されるかを、図５を使って説明する。
ここで、サムネールを用いて一覧表示された画面から、
所望のサムネールを、ＧＵＩを用いて選択し、そのサム
ネールが取り出された場所から、ビデオを再生するアプ
リケーションを考える。まず、一覧表示されているサム
ネールは図５のサムネール１であるとする。

【０１１９】アプリケーションは、選択されたサムネー
ル１のフレーム番号を得ることができ、そのフレーム番
号に対応するビデオ１のローカル時間を問い合わせる。
ここでは、サムネール１のフレーム番号５に対応する時
間を問い合わせたとする。まず、サムネール１からビジ
ュアルデータ１への換算ルート（変換ルート）を検索
し、そのために必要な換算ルーチン（変換ルーチン）の
選択を行う。前提として、少なくともひとつは、換算ル
ートが存在するように時間管理表が作成されているとす
る。まず、サムネール１というＩＤをもつ表を図５の
（１）の項目から検索する。該当するサムネール１の表
における（４）の項目を調べる。この場合、サムネール
１とビジュアルデータ１の対応表があるため、サムネー
ル１とビジュアルデータ１の時間管理表を用いて必要な
換算ルーチンを作られる。

【０１２０】実際には、すべての換算ルーチンを準備す
ることで選択と組み合わせを省くことも可能である。こ
こでは、簡単のためどのような組み合わせでも変換でき
るメディア間時間換算ルーチンが選択されたとする。

【０１２１】メディア間時間換算ルーチンは、（１）の
ＩＤを検索しサムネール１の時間管理情報を読み出す。
そして、（２）の項目から、このメディアがローカル時
間であり、フレーム番号で記述されている情報を取得す
る。次に、（３）の開始フレーム番号と長さの情報を取
得し、サムネールのフレーム番号５が存在することを確
認する。もし、ここでサムネールのフレーム番号５が存
在しないことがわかった場合は、アプリケーションに指
定されたフレーム番号がないことを通知する。この場合
は、存在するので、次に、（４）の項目を調べる。サム
ネールのフレーム番号５に対応するビジュアル１のフレ
ーム番号の情報１０３４を取得する。

【０１２２】次に、ビジュアル１というＩＤを持つ表を
図５の（１）の項目から検索する。該当するビジュアル
１の表における（２）を項目を調べるとローカル時間で
あり、タイムメジャーで記載されていることがわかる。
入手した情報がフレーム番号なので、（５）の項目を調
べフレーム番号からタイムメジャーへの変換を行うため
の情報を入手する。３０フレーム／秒という情報を入手
し、時間に換算する。このフレーム番号は、タイムメジ
ャーでは３４秒１４／３０フレームであることが計算で
きる。この時間をアプリケーションに回答する。アプリ
ケーションは、この情報に基づいてビジュアル１を３４
秒１４／３０フレームから途中再生することにより、所
望のサムネール１が取り出された時間からビジュアル１
を再生することができる。

【０１２３】次に、あるメディアとそのある時間または
フレーム番号を選択し、それに対応する時間の別のメデ
ィアを検索するアプリケーションの処理を一般的に説明
する。ここで、このアプリケーションの処理は、図１３
に示したものと基本的には同様である。図１３における
メディア時間管理表を参照し変換ルーチンが時間換算計
算（ステップＳ１３）する処理手順を一般的に説明す
る。この場合、上記で述べたように変換ルーチンがすべ
て用意されている場合を想定する。その計算処理部分を
図１４を用いて説明する。

【０１２４】まず、選択されたメディアのＩＤ及びフレ
ーム番号または時間タイプが入力される（ステップＳ２
１）。次に、そのＩＤを管理表の（１）の項目から検索
する（ステップＳ２２）。この場合、該当するＩＤが必
ずあるという前提でフローチャートは作成されている
が、ＩＤが無い場合は処理を停止させる。次に、見つか
ったＩＤに該当する表の（２）の項目を調べる（ステッ
プＳ２３）。時間タイプが入力されたものと同じかを検
査する（ステップＳ２４）。そうでない場合は、（４）
の項目から変換情報を得て時間を変換する（ステップＳ
２５）。（４）の項目に変換情報がない場合は想定され
ないが、仮に管理表の不備で準備されてない場合は、処
理を停止する。次に、（３）の項目を調べる（ステップ
Ｓ２６）。そのフレーム番号または時間タイプが存在す
るかどうかを調べる（ステップＳ２７）。存在しない場
合は処理を終了し、存在しないことをアプリケーション
に回答する。次に、（１）、（３）の項目を調べ対応す
るメディアＩＤと対応時間またはフレーム番号を取得す
る（ステップＳ２８）。取得したメディアＩＤが求める
メディアのＩＤかどうかを調べる（ステップＳ２９）。
そうでない場合は、処理Ａを繰り返す。そうであった場
合は、処理を終了し、アプリケーションに対応する時間
またはフレーム番号を回答する。回答された時間または
フレーム番号を利用して所望のメディアの対応する場所
から途中再生を行うことができる。

【０１２５】次に、メディア間時間変換ルーチンについ
て、機能を付加した場合について述べておく。

【０１２６】例えば、メディア間でフレームレートが異
なる場合、あるいは対象のメディアがサムネール画像の
ようにフレームの存在が離散的である場合には、該当す
る時間に対象となっているメディアのデータが存在しな
い場合がある。そのような場合には、そのメディアにお
ける該当する時間の最近傍にデータがある場所の時間ま
たはフレーム番号を返すようにしてもよい。また、最近
傍だけでなく時間的に未来の方向に一番近いものや過去
の方向に一番近いものの時間またはフレームを取得して
もよい。さらに、複数のメディア同士の関係条件を付帯
させて該当時間を求めることもできる。例えば、時間を
与えてその時間に最も近いサムネール１のフレームを求
め、その時間を求めてもよい。このようにすることによ
り、離散的なデータ構造を持つサムネールや事象といっ
たものにおいて、該当するデータがないということがな
くなり、所望のものに近い映像または画像を取得するこ
とができる。

【０１２７】以下では、ビジュアルデータとサムネール
とオーディオデータとを含むマルチメディアコンテンツ
を対象とした場合を例にとってより詳しく説明する。

【０１２８】まず、ビジュアルデータとサムネールをそ
れらの関連において説明する。

【０１２９】図１５に、ビジュアルデータ１２１とサム
ネールデータ１２２の概念図を示す。

【０１３０】ビジュアルデータ１２１は、例えば、ＭＰ
ＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４などにより圧縮
されたデジタル映像データまたはアナログデータであ
り、動画像を構成する映像フレームの集合（映像フレー
ム群）からなっている。

【０１３１】サムネールデータ１２２は、サムネール画
像２０１−１〜２０１−ｉを主体として構成されてい
る。サムネール画像２０１−１〜２０１−ｉは、例え
ば、ビジュアルデータ１２１を構成する映像フレーム群
を時間的に任意の間隔でかつ空間的に任意の大きさにサ
ンプリングして得られた標本画像フレームを用いること
ができる。なお、サムネールデータ１２２には、付帯画
像情報として、シーンチェンジ位置情報や各標本画像フ
レームの大きさを示す大きさ情報などが設定されていて
もよい。

【０１３２】なお、前述したように、ビジュアルデータ
１２１の各映像フレームの時間軸上の位置は例えばロー
カルなタイムメジャーやフレーム番号により管理され、
サムネールデータ１２２の各サムネール画像は例えばロ
ーカルなフレーム番号により管理され、サムネールとそ
のもととなったビジュアルデータのフレームとの関係は
例えばメディア時間管理表によりサムネールのローカル
なフレーム番号とビジュアルデータの該当フレームのロ
ーカルなフレーム番号との関係により管理される。

【０１３３】ビジュアルデータ１２１が圧縮されたディ
ジタル映像データのように既にディジタル化されている
場合には、サムネールデータ１２２の各サムネール画像
２０１−１〜２０１−ｉは、ビジュアルデータ１２１の
所望のフレームを復号または部分復号することで作成さ
れる。ビジュアルデータ１２１がアナログデータの場合
は、これをディジタル化してから各サムネール画像２０
１−１〜２０１−ｉを作成すればよい。

【０１３４】ここでは、前者の例としてビジュアルデー
タ１２１がＭＰＥＧ−２圧縮映像データである場合につ
いて説明する。この場合は、ＭＰＥＧ−２圧縮映像デー
タであるビジュアルデータ１２１を復号して例えば３０
フレームに１枚、かつ大きさを縦横１／８ずつ縮小して
サムネール画像群を作成する。また、このように固定の
時間サンプリングと固定の空間サンブリングでサムネー
ル画像群を作成するのでなく、これらを適宜変化させて
サムネール画像群を作成することもできる。画面変化が
少ないところでは、時間方向に粗くサンプリングし、画
面変化の多いところでは時間方向に細かくサンプリング
することも有効である。

【０１３５】ＭＰＥＧ−２圧縮映像データには、Ｉピク
チャ（フレーム内符号化フレーム）と呼ばれるイントラ
だけで圧縮したフレームが間欠的に存在する。Ｉピクチ
ャはＰピクチャ（前方予測フレーム間符号化フレーム）
やＢピクチャ（双方向予測フレーム間符号化フレーム）
のようにフレーム間の相関を用いて圧縮していないため
に、復号が容易である。そこで、サムネール画像群を作
成するに当たりＩピクチャのみについて、しかもＩピク
チャのＤＣＴ（離散コサイン変換）係数のうちのＤＣ成
分のみを復号すれば、より容易に時間的かつ空間的にサ
ンプリングしたサムネール画像を得ることができる。

【０１３６】Ｉピクチャは、必ずしもー定のフレーム間
隔で存在すると保証されていないが、ＭＰＥＧ−２によ
り圧縮されたビジュアルデータからビジュアルデータレ
ート以上のスピードで、時間的かつ空間的にサンプリン
グしたサムネール画像群を作成するにはＩピクチャを用
いる方法が有効である。

【０１３７】このようにＩピクチャからサムネール画像
群を作成する方法は、処理量が少ないために、特別なハ
ードウェアを用いなくとも、ＰＣ上のソフトウェアだけ
で処理が可能である。また、ネットワークを介してビジ
ュアルデータ１２１からサムネール画像群を作成する際
にも、Ｉピクチャを用いることでトラフィック増大の問
題を容易に回避することができる。

【０１３８】一方、サムネール画像群を作成する際のビ
ジュアルデータ１２１の空間方向のサンプリングも固定
である必要はなく、適宜可変とすることができ、場合に
よっては縮小のみでなく、特に重要な画面のフレームに
ついては拡大しても構わない。サムネールデータ１２２
の中のサムネール画像２０１−１から２０１−ｉには、
その属性情報が含まれており、属性情報にサムネール画
像の大きさ情報が含まれているので、検索または表示時
にサムネール画像を適宜所望の大きさに変換してから用
いることができる。

【０１３９】次に、図１６に、１組のビジュアルデータ
とオーディオデータとサムネールを扱うマルチメディア
情報処理システムの構成例を示す。

【０１４０】このシステムは、データベース１２０、ビ
ジュアル・オーディオデータ再生エンジン１２４、検索
／サムネール画像表示エンジン１２５、コントローラ１
２６、表示部１２７を含む。なお、ビジュアル・オーデ
ィオデータ再生エンジン１２４は説明上一つのブロック
として記述してあるが、実際には一つのブロックでも独
立したブロックでも構わない。

【０１４１】データベース１２０には、ビジュアルデー
タ１２１とサムネールデータ１２２とオーディオデータ
１２１とそれらの時間関係を対応付けるためのメディア
時間管理表１２３が記憶されている。なお、図中、ビジ
ュアルデータとオーディオデータは便宜上一つにまとめ
て記述してある。

【０１４２】データベース１２０は、一箇所に集中配置
されていても、複数箇所に分散配置されていてもよく、
要はビジュアル・オーディオデータ再生エンジン１２４
や検索／サムネール画像表示エンジン１２５でアクセス
することができればよい。ビジュアルデータ１２１とサ
ムネールデータ１２２とオーディオデータ１２１は、別
々の媒体に格納されていてもよいし、同一の媒体に格納
されていてもよい。媒体としては、例えばＤＶＤなどが
用いられる。また、それらはネットワークを介して伝送
されるデータであってもよい。

【０１４３】以下では、ビジュアルデータとサムネール
とを中心に説明し、オーディオデータの部分については
省略する。また、以下では、説明の便宜上、ビジュアル
データ・オーディオデータ再生エンジンを映像表示エン
ジンと呼んで説明する。

【０１４４】映像表示エンジン１２４は、コントローラ
１２６による制御の下でビジュアルデータ１２１を表示
部１２７で表示させるための処理を行う。さらに、映像
表示エンジン１２４は、検索／サムネール画像表示エン
ジン１２５によりサムネールデータ１２２に基づいてビ
ジュアルデータ１２１が検索された場合には、ビジュア
ルデータ１２１の検索された部分を表示部１２７で表示
させるための処理等も行う。

【０１４５】検索／サムネール画像表示エンジン１２５
は、コントローラ１２６による制御の下で、サムネール
データ１２２から、ビジュアルデータ１２１の所望フレ
ームの近傍の適切なサムネール画像を検索し、それらを
代表フレームとして表示部１２７で表示させたり、サム
ネールデータ１２２を用いてコントローラ１２６を介し
てビジュアルデータ１２１の検索を行う。

【０１４６】ここで、検索／サムネール画像表示エンジ
ン１２５と、映像表示エンジン１２４との違いについて
説明すると、前者は容量の少ないサムネールデータ１２
２の中のサムネール画像群を操作するので、ＰＣ上のソ
フトウェアとして実装しても十分な処理速度を得ること
ができる。

【０１４７】一方、後者はＭＰＥＧ−２映像データやア
ナログ映像データであるビジュアルデータ１２１を操作
するものであるため、特別のハードウェアを実装する必
要がある場合が多い。具体的には、ビジュアルデータ１
２１がＭＰＥＧ−２による圧縮映像データの場合は、映
像表示エンジン１２４に特別なデコードボード（ＭＰＥ
Ｇ−２デコーダ）が用いられ、またビジュアルデータ１
２１がアナログ映像信号の場合は、映像表示エンジン１
２４は早送り、巻き戻しをコントロールできるＶＴＲよ
うな映像再生装置が用いられる。

【０１４８】なお、ビジュアルデータ１２１がＭＰＥＧ
−１やＭＰＥＧ−４による圧縮映像データの場合は、Ｐ
Ｃ上のソフトウェアでも映像表示エンジン１２４の実装
は可能であり、システムのアーキテクチャとして分離す
る必要はない。

【０１４９】メディア時間管理表１２３における上下の
破線のコネクションは概念的なもので、ビジュアルデー
タ１２１およびサムネールデータ１２２と物理的につな
がっている必要はない。従って、ビジュアルデータ１２
１が格納された媒体は、映像表示エンジン１２４と同一
筐体内に納められる場合があり、またサムネールデータ
１２２が格納された媒体は、検索／サムネール画像表示
エンジン１２５と同じ筐体内に納められる場合もある。

【０１５０】ビジュアルデータ１２１が格納された媒
体、映像表示エンジン１２４、サムネールデータ１２２
が格納された媒体、検索／サムネール画像表示エンジン
１２５が離れた位置に存在していたとしても、サムネー
ルデータ１２２が格納された媒体と検索／サムネール画
像表示エンジン１２５を接続する回線としては、伝送容
量の比較的小さい例えば１０Ｍｂｐｓのネットワークで
も十分である。一方、ビジュアルデータ１２１が格納さ
れた媒体と映像表示エンジン１２４を接続する回線は、
メデイアの種類によっては１００Ｍｂｐｓ以上の回線を
用意する必要がある。

【０１５１】図１６に示したようなシステムアーキテク
チャの有利な点は、サムネールデータ１０２を対象に検
索を行うため、インタラクティブな操作を快適に行うこ
とができ、また全体的にトラフィックを低く抑えること
ができるという点である。

【０１５２】また、上記では、検索を例にして説明した
が、もちろん、検索したビジュアルデータのフレームも
しくはそのフレーム以前で最も近いＩピクチャからから
途中再生させる等の制御を行うことも可能である。

【０１５３】また、上記では、１組のビジュアルデータ
／オーディオデータ／サムネールを扱うものであった
が、もちろん、複数組のビジュアルデータ／オーディオ
データ／サムネールからなるマルチメディアを扱うこと
も可能である。

【０１５４】次に、図１７に、典型的なマルチメディア
コンテンツに対する時間管理の一例を示する。

【０１５５】このマルチメディアコンテンツは、ビジュ
アルデータ１（１１０２）およびビジュアルデータ２
（１１０６）と、それぞれのビジュアルデータから派生
したサムネール１（１１０３）およびサムネール２（１
１０７）と、ビジュアルデータ１（１１０２）のための
オーディオデータ１（１１０４）およびビジュアルデー
タ２（１１０６）のためのオーディオデータ２（１１０
７）とからなっている。ビジュアルデータ１とビジュア
ルデータ２との関係は、例えば、１つの被写体を２台の
カメラで同時に撮影したものである。サムネール１（１
１０３）は、ビジュアルデータ１（１１０２）のローカ
ル時間を利用し、サムネール２（１１０７）は、ビジュ
アルデータ２（１１０６）のローカル時間を利用してい
る。それ以外は、各々のローカル時間を持っており、絶
対時間との相互変換式等が管理されているとする。相互
変換式等は円図形１１０５，１１０９，１１１０，１１
１１である。

【０１５６】ここで、サムネールの一枚のフレームから
所望の位置のビジュアルデータを途中再生するアプリケ
ーションを考えてみる。

【０１５７】ここでは、１つの場面を２対のカメラ／マ
イクで別の位置から収録した映像に対して、それぞれハ
イライトシーンのキーフレームをサムネイルとして取り
だし、そのサムネイルの一覧表から映像をランダムアク
セスできるアプリケーションを考える。一対のカメラ／
マイクで同時に収録されるビジュアルデータとオーディ
オデータのローカル時間は同じであるとする。ただし、
別の一対のカメラ／マイクのローカル時間は、上記一対
のカメラ／マイクとは別々にスイッチが押されるため、
別のもの（同期していない）とする。個々のビジュアル
データを収録した映像のハイライトシーンのキーフレー
ムからサムネール画像を複数別々に作成し、その時のフ
レーム番号を取得したとする。一対のカメラ／マイクで
収録されたものをビジュアルデータ１，オーディオデー
タ１とする。そのビジュアルデータ１から取得したサム
ネールをサムネイル１とし、他の一対のカメラ／マイク
で収録されたものを、ビジュアルデータ２，オーディオ
データ２とし、それらからサムネイル２を作成したとす
る。

【０１５８】図１８は、そのアプリケーションのサムネ
ールを利用したＧＵＩの一例である。

【０１５９】このＧＵＩ画面では、ビジュアルデータ１
からハイライトシーンの場面を集め、その画像をサムネ
ールにして並べている。サムネール１は、ビジュアルデ
ータ１のローカル時間を用いているのでビジュアルデー
タ１のフレーム番号および時間を参照することができ
る。つまり、そのような情報がメディア時間管理表１０
１に管理されている。

【０１６０】このＧＵＩでは、あるサムネールをマウス
カーソルでクリックすると、そのサムネールを作成した
位置のビジュアルデータ１とオーディオデータ１が途中
再生されるようになっていたとする。このときの、時間
の取得方法を述べる。サムネールＡに該当するビジュア
ルデータ１のフレーム番号または時間はサムネールＡと
ビジュアルデータ１とが同じローカル時間を利用してお
り、容易に知ることができる。そのため、ビジュアルデ
ータ１の映像データと時間を用いて途中再生を行う。一
方、オーディオデータ１の所望の時間（オーディオデー
タ１のローカル時間）は、ビジュアルデータ１で指定さ
れたローカル時間を絶対時間に変換し、さらにオーディ
オデータ１のローカル時間に変換することにより知るこ
とができる。アプリケーションは、ビジュアルデータ１
の途中再生と同様にオーディオデータ１をそのローカル
時間から再生する。

【０１６１】次に、サムネールＡの時間と同じタイミン
グに撮影されたビジュアルデータ２を途中再生したいと
きは、変換された絶対時間からさらにビジュアルデータ
２のローカル時間に変換し、その時間を用いてビジュア
ルデータ２を途中再生すればよい。同様に、絶対時間を
オーディオデータ２のローカル時間へも変換し、オーデ
ィオデータ２を同時に途中再生する。

【０１６２】さらに、サムネールＡに最も近い時間のビ
ジュアルデータ２におけるハイライトシーンは、ビジュ
アルデータ２のローカル時間に変換された時間またはフ
レーム番号を用いて、その該当する時間またはフレーム
番号の（該当するものが存在しない場合には最も近い時
間またはフレーム番号の）ハイライトシーンを示すサム
ネール２から画像を選択すればよい。

【０１６３】図１９には、サムネールを利用した他のＧ
ＵＩの例を示す。図１９においては、ビジュアルデータ
全体を時間軸方向に延びた一本のバー６０１で表示し、
さらにバー６０１の指定した一部分を拡大したバー６０
２で表示した例である。拡大したバー６０２には、カッ
ト点のフレームから得たサムネール画像が見出しとして
表示されている。さらに拡大したバー６０２の上にマウ
スカーソル６０３を当てると、カット点の位置を考慮し
て最近傍のサムネール画像６０４を選択し、アイコンと
して表示できる。この処理が高速に行えるため、マウス
アイコンを左右にスライドさせることにより、アイコン
イメージをリアルタイムに動画のように表示することが
できる。

【０１６４】次に、マルチメディアデータやメディア時
間管理表の提供方法について説明する。

【０１６５】作成者側で作成されたマルチメディアデー
タがユーザの用に供される場合には、作成者側からユー
ザ側に何らかの方法でマルチメディアデータを提供する
必要がある。

【０１６６】この提供の方法としては以下に例示するよ
うに種々の形態が考えられる。 （１）マルチメディアデータとメディア時間管理表を１
つ（または複数の）記録媒体に記録して同時に提供する
形態（メディア時間換算ルーチンやアプリケーションは
別途提供する、もしくは汎用のものを使う）、（２）マ
ルチメディアデータとメディア時間管理表とメディア時
間換算ルーチンを１つ（または複数の）記録媒体に記録
して同時に提供する形態（アプリケーション（または、
メディア時間換算ルーチンとアプリケーション）は別途
提供する、もしくは汎用のものを使う）、（３）マルチ
メディアデータとメディア時間管理表とメディア時間換
算ルーチンとアプリケーションを１つ（または複数の）
記録媒体に記録して同時に提供する形態（ドライバ等は
別途提供する、もしくは汎用のものを使う）、（４）マ
ルチメディアデータとメディア時間管理表とメディア時
間換算ルーチンとアプリケーションとドライバを１つ
（または複数の）記録媒体に記録して同時に提供する形
態 上記は記録媒体により提供する場合であるが、その他に
も、一部または全部を通信媒体で提供する形態も考えら
れる。

【０１６７】なお、以上の各機能は、ソフトウェアとし
ても実現可能である。

【０１６８】また、本実施形態は、コンピュータに所定
の手段を実行させるための（あるいはコンピュータを所
定の手段として機能させるための、あるいはコンピュー
タに所定の機能を実現させるための）プログラムを記録
したコンピュータ読取り可能な記録媒体としても実施す
ることもできる。

【０１６９】なお、本願発明は上記実施形態に限定され
るものではなく、実施段階ではその趣旨を逸脱しない範
囲で種々に変形することが可能である。また、各実施形
態は可能な限り適宜組み合わせて実施してもよく、その
場合組合わせた効果が得られる。さらに、上記実施形態
には種々の段階の発明が含まれており、開示される複数
の構成要件における適宜な組合わせにより種々の発明が
抽出され得る。例えば、実施形態に示される全構成要件
から幾つかの構成要件が削除されても、発明が解決しよ
うとする課題の欄で述べた課題（の少なくとも１つ）が
解決でき、発明の効果の欄で述べられている効果（の少
なくとも１つ）が得られる場合には、この構成要件が削
除された構成が発明として抽出され得る。

【０１７０】

【発明の効果】本発明によれば、各メディアの時間を効
率良く管理することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るマルチメディア情報
処理システムの構成例を示す図。

【図２】メディア時間管理表の働きを概念的に説明する
ための図。

【図３】メディア時間管理表のフォーマットの一例を示
す図。

【図４】全てのメディアを絶対時間で記述した場合のメ
ディア時間管理表の一例を示す図。

【図５】全てのメディアをローカル時間で記述した場合
のメディア時間管理表の一例を示す図。

【図６】メディア間時間換算ルーチン群の一例を示す
図。

【図７】メディア時間管理方法の一例を示す図。

【図８】メディア時間管理方法の他の例を示す図。

【図９】メディア時間管理方法のさらに他の例を示す
図。

【図１０】メディア時間管理方法のさらに他の例を示す
図。

【図１１】メディア時間管理方法のさらに他の例を示す
図。

【図１２】メディア時間管理方法のさらに他の例を示す
図。

【図１３】アプリケーションからメディアの時間の問い
合わせがあったときのメディア間時間換算ルーチンの処
理手順の一例を示すフローチャート。

【図１４】図１３のメディア間の時間変換ルーチン（ス
テップＳ１３）の詳細を示すフローチャート。

【図１５】ビデオデータとサムネールデータとの関係を
概念的に説明するための図。

【図１６】本発明の一実施形態に係るマルチメディア情
報処理システムの他の構成例を示す図。

【図１７】典型的なマルチメディアコンテンツに対する
メディア時間管理方法の例を示す図。

【図１８】サムネールを利用したＧＵＩの一例を示す
図。

【図１９】サムネールを利用したＧＵＩの他の例を示す
図。

【図２０】メディア時間管理方法のさらに他の例を示す
図。

【符号の説明】

１０１，１２３…メディア時間管理表 １０２…メディア間時間換算ルーチン １０３…アプリケーション １２０…データベース １２１…ビデオデータ １２２…サムネールデータ １２４…ビデオ・オーディオ再生エンジン １２５…検索エンジン／サムネール画像表示エンジン １２６…コントローラ １２７…表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (15)

【特許請求の範囲】
1. 【請求項１】 複数のメディア間の時間の関係を管理す
   るメディア時間管理情報を記述するためのメディア時間
   管理情報記述方法であって、 前記複数のメディアの各々について該メディアを管理す
   る時間タイプを示す第１の情報と、 前記複数のメディアの各々について該メディアのデータ
   の存在区間を示す第２の情報と、 前記複数のメディア間の時間の関係、もしくは該メディ
   アの時間と該メディアに共通する基準時間との関係を示
   す第３の情報と、を記述することを特徴とするメディア
   時間管理情報記述方法。
2. 【請求項２】 前記第１の情報は前記複数のメディアに
   固有のローカル時間を含み、 前記第３の情報は互いに異なる前記ローカル時間の間の
   変換式、もしくは変換表、または該ローカル時間と前記
   基準時間との間の変換式、もしくは変換表の少なくとも
   一方を含むことを特徴とする請求項１に記載のメディア
   時間管理情報記述方法。
3. 【請求項３】 前記複数のメディアの属性情報を記述す
   ることを特徴とする請求項１に記載のメディア時間管理
   情報記述方法。
4. 【請求項４】 前記基準時間の最小単位は前記複数メデ
   ィアのローカル時間の最小単位を考慮して決定されるこ
   とを特徴とする請求項１に記載のメディア時間管理情報
   記述方法。
5. 【請求項５】 前記複数のメディアはビジュアルデー
   タ、該ビジュアルデータと関連するオーディオデータ、
   または該ビジュアルデータと関連するサムネールを含む
   ことを特徴とする請求項１に記載のメディア時間管理情
   報記述方法。
6. 【請求項６】 複数のメディアのデータと、 前記複数のメディアの各々について該メディアを管理す
   る時間タイプを示す第１の情報と、前記複数のメディア
   の各々について該メディアのデータの存在区間を示す第
   ２の情報と、前記複数のメディア間の時間の関係、もし
   くは該メディアの時間と該メディアに共通する基準時間
   との関係を示す第３の情報とからなる前記複数のメディ
   アについてのメディア時間管理情報と、を格納した記録
   媒体。
7. 【請求項７】 前記メディア時間管理情報を用いて前記
   複数のメディアを管理する時間を変換するためのプログ
   ラムをさらに格納することを特徴とする請求項６に記載
   の記録媒体。
8. 【請求項８】 複数のメディア間の時間関係を管理する
   機能を有するマルチメディア情報処理装置であって、 前記複数のメディアの各々について該メディアを管理す
   る時間タイプを示す第１の情報と、前記複数のメディア
   の各々について該メディアのデータの存在区間を示す第
   ２の情報と、前記複数のメディア間の時間の関係、もし
   くは該メディアの時間と該メディアに共通する基準時間
   との関係を示す第３の情報からなるメディア時間管理情
   報を管理する手段と、 前記メディア時間管理情報を用いて前記複数のメディア
   を管理する時間を変換する変換手段と、を備えたことを
   特徴とするマルチメディア情報処理装置。
9. 【請求項９】 前記第１の情報は前記複数のメディアに
   固有のローカル時間を含み、 前記第３の情報は互いに異なる前記ローカル時間の間の
   変換式、もしくは変換表、または該ローカル時間と前記
   基準時間との間の変換式、もしくは変換表の少なくとも
   一方を含み、 前記変換手段は前記変換式もしくは前記変換表に基づい
   て前記複数のメディアを管理する時間を変換することを
   特徴とする請求項８に記載のマルチメディア情報処理装
   置。
10. 【請求項１０】 ユーザから所望のメディアに対する所
    望の操作の要求を受け付ける手段と、該要求を実行する
    手段とをさらに備え、 前記変換手段は、ユーザにより指定された前記メディア
    のローカル時間の情報を使っても前記要求を実行するこ
    とができない場合には、該メディアのローカル時間を前
    記要求の実行を可能とする他のメディアのローカル時間
    に変換することを特徴とする請求項９に記載のマルチメ
    ディア情報処理装置。
11. 【請求項１１】 複数のメディアの各々について該メデ
    ィアを管理する時間タイプを示す第１の情報と、 前記複数のメディアの各々について該メディアのデータ
    の存在区間を示す第２の情報と、 前記複数のメディア間の時間の関係、もしくは該メディ
    アの時間と該メディアに共通する基準時間との関係を示
    す第３の情報とを有するメディア時間管理情報を用いる
    マルチメディア情報処理方法において、 ユーザから所望のメディアに対する所望の操作の要求を
    受け付けるステップと、 ユーザにより所望された前記メディアのローカル時間の
    情報を使っても前記要求を実行することができない場合
    には、該メディアのローカル時間を前記要求の実行を可
    能とする他のメディアのローカル時間に変換するステッ
    プと、 前記要求を実行するステップと、を具備することを特徴
    とするマルチメディア情報処理方法。
12. 【請求項１２】 前記第１の情報は前記複数のメディア
    に固有のローカル時間を含み、 前記第３の情報は互いに異なる前記ローカル時間の間の
    変換式、もしくは変換表、または該ローカル時間と前記
    基準時間との間の変換式もしくは変換表の少なくとも一
    方を含み、 前記変換するステップは前記変換式もしくは変換表に基
    づいて行われることを特徴とする請求項１１に記載のマ
    ルチメディア情報処理方法。
13. 【請求項１３】 複数のメディアの各々について該メデ
    ィアを管理する時間タイプを示す第１の情報と、前記複
    数のメディアの各々について該メディアのデータの存在
    区間を示す第２の情報と、前記複数のメディア間の時間
    の関係、もしくは該メディアの時間と該メディアに共通
    する基準時間との関係を示す第３の情報とを有するメデ
    ィア時間管理情報を用いて情報処理を行なうコンピュー
    タプログラムを記憶する記録媒体において、 前記コンピュータプログラムはユーザから所望のメディ
    アに対する所望の操作の要求を受け付けるプログラムコ
    ードと、 ユーザにより指定された前記メディアのローカル時間の
    情報を使っても前記要求を実行することができない場合
    には、該メディアのローカル時間を前記要求の実行を可
    能とする他のメディアのローカル時間に変換するプログ
    ラムコードと、 前記要求を実行するプログラムコードと、を具備するこ
    とを特徴とする記録媒体。
14. 【請求項１４】 複数のメディアのデータと、 前記複数のメディアの各々について該メディアを管理す
    る時間タイプを示す第１の情報と、前記複数のメディア
    の各々について該メディアのデータの存在区間を示す第
    ２の情報と、前記複数のメディア間の時間の関係、もし
    くは該メディアの時間と該メディアに共通する基準時間
    との関係を示す第３の情報とからなる前記複数のメディ
    アについてのメディア時間管理情報と、 前記メディア時間管理情報を用いて前記複数のメディア
    を管理する時間を変換するためのプログラムと、を具備
    するプログラム製品。
15. 【請求項１５】 複数のメディアの各々について該メデ
    ィアを管理する時間タイプを示す第１の情報と、前記複
    数のメディアの各々について該メディアのデータの存在
    区間を示す第２の情報と、前記複数のメディア間の時間
    の関係、もしくは該メディアの時間と該メディアに共通
    する基準時間との関係を示す第３の情報とを有するメデ
    ィア時間管理情報と、 ユーザから所望のメディアに対する所望の操作の要求を
    受け付けるプログラムコードと、 ユーザにより指定された前記メディアのローカル時間の
    情報を使っても前記要求を実行することができない場合
    には、該メディアのローカル時間を前記要求の実行を可
    能とする他のメディアのローカル時間に変換するプログ
    ラムコードと、 前記要求を実行するプログラムコードと、を具備するこ
    とを特徴とするプログラム製品。