JP2005269365A - コンテンツ再生装置及び方法 - Google Patents

Abstract

【課題】 記録を前提とするコンテンツ生成において、映像音声ストリームとマルチメディアデータの提示処理の同期を可能とするコンテンツ再生装置を提供することを目的とする。
【解決手段】 デジタルテレビ放送で配信されたタイムスタンプ付ＡＶストリーム及びマルチメディアデータストリームをハードディスク等の記憶手段１０１などに記憶し、それぞれのストリームを同期再生する。両ストリームが多重されタイムスタンプが付与されたタイムスタンプ付コンテンツストリームを記憶している場合、そのタイムスタンプを時計代わりに用い、コンテンツとして記述されているイベントを発火させる。この処理を可能とするために、コンテンツには、イベントの定義及び発火時刻情報を記述しておく。
【選択図】 図１

Description

本発明は、映像及び／または音声を含むＡＶデータとマルチメディアデータとを含むコンテンツを再生するコンテンツ再生装置に関する。

近年、映像や音声をデジタル化し、放送や通信により配信するのが主流になっている。例えば、ＢＳ(Broadcast Satellite)デジタル放送や、ＣＳ（Communication Satellite）デジタル放送では、ＭＰＥＧ２規格により映像や音声がデジタル化されて配信されている。また、地上波デジタル放送においても、ＭＰＥＧ２規格で映像や音声を含むＡＶデータが配信されている。また、デジタル化されて配信されるＡＶデータを記録媒体に記録した後に再生する視聴形態も盛んに行われている。例えば、テレビジョンで受信したＡＶデータがＤＶＤレコーダやＨＤＤレコーダに記録されたり、パーソナルコンピュータ端末で受信したＡＶデータがＨＤＤに記録されたりしている。特許文献１には、ＭＰＥＧ２規格によるＡＶビットストリームの記録再生方法に関する技術が開示されている。より具体的には、特許文献１には、ＡＶビットストリームに予め記録されている時刻情報に基づいて実質上固定した基準クロックを生成し、その固定基準クロックに従って生成したタイムスタンプを各パケットに付与する技術が記載されている。このようにして生成されたＡＶビットストリームを受信した受信機は、固定の基準クロックに従ったタイムスタンプに基づいてＡＶビットストリームを再生することができる。

一方、映像音声のデジタル化に伴い、ハイパーテキスト文書や画像データといったマルチメディアデータを映像や音声と共に配信するコンテンツ配信形態も盛んに行われている。ＢＳデジタル放送のデータ放送がその一例として挙げられる。ＢＳデジタル放送におけるデータ放送では、マルチメディアデータを、映像や音声の送信時間タイミングに合わせてカルーセル方式で繰り返し送信している。カルーセル方式で伝送できるモノメディアデータとしては、映像、静止画、図形、音声、文字が挙げられる。これらのモノメディアデータの配置や表示／非表示、拡大、縮小などは、ＢＭＬ(Broadcasting Markup Language)により記述される。また、イベントメッセージ方式で送信されるイベントメッセージもＢＳデジタル放送のデータ放送で送信され、イベントに関する記述はＢＭＬにより記述される。イベントメッセージ方式とは、ＢＳデジタル放送の受信機上で動作しているＢＭＬアプリケーションに対し、所望のタイミングでアクションを起こさせる場合に使用する伝送方式である。
特開２０００−１５６８３８号公報

デジタル放送をリアルタイムに受信し再生する場合、マルチメディアデータ及びイベントは同期して放送される。しかし、デジタル放送で配信されるコンテンツをＤＶＤレコーダやＨＤＤレコーダに一旦記憶し、その後再生して視聴する形態も増えてきている。その場合、マルチメディアデータの再生とイベントとを同期させるためには、何らかの方法で両者を時間的に関連づける必要がある。

例えば、マルチメディアデータとイベントの記述とをタイムスタンプ付のストリームに多重すれば、タイムスタンプに基づいて両者を同期処理することが可能である。しかしこのような処理を可能にしようとすると、マルチメディアデータとイベントの記述とを多重したストリームを生成し、その多重ストリームにタイムスタンプを付与する処理が予め必要となる。ここで、上記特許文献１は、ＡＶビットストリームにタイムスタンプを付与しているものの、データ放送で配信されるマルチメディアデータを扱うことを想定していない。

本発明は、デジタルテレビ放送のデータ放送で配信されたマルチメディアデータとメッセージデータとを、予め多重処理しなくても同期処理するコンテンツ再生技術を提供することを目的とする。

前記課題を解決するために、発明１は、コンテンツの再生とイベントの実行とを同期させる再生装置を提供する。この装置は、以下の手段を有する。
・前記コンテンツをパケット化したパケットにタイムスタンプが付与されたタイムスタンプ付パケットからなるタイムスタンプ付コンテンツストリームを取得し、タイムスタンプによるイベントの発火時刻の記述及びイベントの内容の記述を前記コンテンツストリームから抽出する解析手段、
・前記タイムスタンプ付コンテンツストリームの各パケットに記述された各タイムスタンプ値を前記イベントの発火時刻と比較し、前記イベントを実行するタイミングを決定する監視手段。

また、前記解析手段は、前記監視手段が決定したタイミングに、前記イベントを実行する。
この再生装置は、コンテンツストリームのパケットに記述されたタイムスタンプを時計代わりに用い、コンテンツストリームに記述されたイベントの発火時刻にそのイベントを実行する。従って、コンテンツストリームが記憶されているものであっても、コンテンツの中に含まれる音声や映像の再生とイベントの実行とを同期させることができる。

発明２は、前記発明１において、前記監視手段は、タイムスタンプ付コンテンツストリームのタイムスタンプ値が示す時刻が前記イベントの発火時刻を過ぎると、前記解析手段に前記イベントの実行を指示することを特徴とする再生装置を提供する。

タイムスタンプは一定の間隔で付与されているので、タイムスタンプ値とイベント発火時刻とが完全に一致しない場合もあるが、その場合でもコンテンツの再生とイベントの実行とを同期させることができる。

発明３は、前記発明１において、前記タイムスタンプ付コンテンツストリームは、複数のイベントの発火時刻の指定及び各時刻に対応するイベントの内容の記述を含んでいる場合の再生装置を想定している。この場合、前記解析手段は、取得したコンテンツストリームに含まれる全てのイベントの発火時刻及び各時刻に対応するイベントの内容の記述を抽出する。前記監視手段は、前記イベントの発火時刻順に各イベントを実行するタイミングを決定する。さらに、前記解析手段は、前記監視手段が決定したタイミングに、各イベントを実行する。

イベントが複数ある場合でも、コンテンツの再生と複数イベントの発火とを同期させることができる。例えば、あるページにおいて、時刻Ｔ１で第１イベントとしてボタンが点滅し、時刻Ｔ２で第２イベントとしてボタンの色が変化する、といった処理が可能となる。

発明４は、発明１において、前記コンテンツは、イベントの発火時刻及びイベントの内容に加え、さらに前記タイムスタンプ付コンテンツストリームの識別子または別のタイムスタンプ付マルチメディアストリームの識別子を含む場合の再生装置を想定する。この場合、前記監視手段は、前記識別子で特定されるタイムスタンプ付コンテンツストリームのタイムスタンプ値に基づいて、イベントを実行するタイミングを決定する。

ストリームの識別子を参照するにより、どのストリームのタイムスタンプを参照すべきかを決定することができる。例えば、データ放送で配信されるコンテンツ及びイベントとＡＶデータとがそれぞれ異なるストリームに記述され、ＡＶデータストリームのタイムスタンプを参照すべき場合がある。この場合、ＡＶデータストリームの識別子を参照することにより、ＡＶデータストリームのタイムスタンプ値に基づいてイベントの発火タイミングを決定することができる。

発明５は、コンテンツの再生とイベントの実行とを同期させる再生方法を提供する。この方法は以下のステップを含む。
・前記コンテンツをパケット化したパケットにタイムスタンプが付与されたタイムスタンプ付パケットからなるタイムスタンプ付コンテンツストリームを取得し、タイムスタンプによるイベントの発火時刻の記述及びイベントの内容の記述を前記コンテンツストリームから抽出する解析ステップ、
・前記タイムスタンプ付コンテンツストリームの各パケットに記述された各タイムスタンプ値を前記イベントの発火時刻と比較し、前記イベントを実行するタイミングを決定する監視ステップ、
・前記監視ステップで決定したタイミングに、前記イベントを実行する実行ステップ。

この方法は、発明１と同様の作用効果を奏する。

本発明を用いれば、データ放送で配信されるデータコンテンツを、配信前に同期処理することなく受信機側で同期出力することができる。

以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、本発明において、映像音声とは、一般的に映像と音声は対になって扱われるので両方を含んだものを対象としているが、映像のみ、音声のみでも構わない。また、タイムスタンプとは、上記特許文献１に記載されたタイムスタンプを対象としているが、パケットの再生タイミングを示す時刻情報であれば構わない。

なお、本発明において、ＡＶデータとは、映像データ及び音声データの両方、映像データのみ、または音声データのみを含む。また、コンテンツとは、ＡＶデータとマルチメディアデータとイベントに関する記述とを含む。以下、マルチメディアデータ及びイベントに関する記述を、データコンテンツと称することがある。イベントに関する記述には、イベントの内容とイベントを実行する時刻を示す時刻情報とが含まれる。時刻情報としては、例えばトランスポートストリームの各パケットに扶養されるタイムスタンプが挙げられる。タイムスタンプとは、記録されたトランスポートストリームを再生する際のパケット再生タイミングを示す時刻情報である。この時刻情報とは、日時を分や秒の単位で表される情報だけでなく、振動子の振動回数などであってもよい。

＜発明の概要＞
本発明の再生装置は、デジタルテレビ放送で配信されたタイムスタンプ付ＡＶストリーム及びマルチメディアデータストリームをハードディスクなどに記憶し、それぞれのストリームを同期再生する。両ストリームが多重されタイムスタンプが付与されたタイムスタンプ付コンテンツストリームを記憶している場合、そのタイムスタンプを時計代わりに用い、コンテンツとして記述されているイベントを発火させる。この処理を可能とするために、コンテンツには、イベントの定義及び発火時刻情報を記述しておく。なおＡＶストリームのタイムスタンプとしては、例えばＰＣＲ(Program Clock Reference、基準時刻信号)を用いることができる。

タイムスタンプ付ＡＶストリームとマルチメディアデータコンテンツとが多重されていなくても、本発明を適用可能である。その場合、ＡＶストリームのタイムスタンプを時計代わりに用い、マルチメディアデータコンテンツに記述されているイベントを発火させる。この場合、マルチメディアデータのコンテンツの中にイベントの定義及びその発火時刻情報を記述しておく。

以上のように、記憶された番組を再生する際に、タイムスタンプ付ストリームのタイムスタンプを時計代わりに用いることにより、記憶されたイベントを適切なタイミングで実行することができる。

＜第１実施形態＞
［構成］
（１）全体構成
図１は、再生装置１００の機能構成を示す説明図である。再生装置１００は、記憶手段１０１、パケット読出手段１０２、パケットフィルタリング手段１０３、データコンテンツ復号化手段１０４、音声復号化手段１０５、映像復号化手段１０６を有している。このような機能構成を有する再生装置１００は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニットなどから構成されるコンピュータシステムで実現される。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、生成装置１００の機能が実現される。

次に各手段の機能について具体的に説明する。
記憶手段１０１は、図示していない通信手段が放送局から受信したタイムスタンプ付コンテンツストリームを記憶する。この実施形態では、ＡＶデータ、マルチメディアデータ及びイベントがコンテンツとして記述されている。

パケット読出手段１０２は、記憶手段１０１に蓄積されているストリームをタイムスタンプに従って読み出し、パケットフィルタリング手段１０３に出力する。
パケットフィルタリング手段１０３は、タイムスタンプ付コンテンツストリームを記憶手段１０１から読み出す。さらに、各パケットに付与されたＰＩＤ（Packet Identifier、パケット識別子）に基づいて、データコンテンツ復号化手段１０４、音声復号化手段１０５、映像復号化手段１０６のいずれかに各パケットを振り分ける。

データコンテンツ復号化手段１０４は、振り分けられたパケットに記述されたデータをデータ種類毎につなぎ合わせ、復号化し、ＨＴＭＬやＢＭＬなどで記述されているデータコンテンツを得る。前述したように、データコンテンツには、マルチメディアデータやイベントが含まれる。更にデータコンテンツ復号化手段１０４は、データコンテンツを解釈し、静止画、文字、図形、字幕などの出力用データを生成する。

音声復号化手段１０５及び映像復号化手段１０６は、それぞれに振り分けられたパケットに記述されたデータをつなぎ合わせ、復号化し、音声及び映像の出力用データを生成する。

（２）データコンテンツ復号化手段の機能
データコンテンツ復号化手段１０４は、解析手段１０７、監視手段１０８及び監視バッファ１０９を有している。これらの構成要素により、イベントの発火時刻が設定され、設定された時刻の監視が実行される。以下、発火時刻の設定とイベントを実行するタイミングの決定とに分けて、各構成要素の機能を説明する。

（２−１）発火時刻の設定
解析手段１０７は、所定量のパケット、例えば１ページ分のパケットをパケットフィルタリング手段１０３から取得すると、イベントの内容及びその発火時刻の記述が取得したデータコンテンツに含まれているか否かを判断する。この記述があれば、解析手段１０７は、少なくとも、取得したデータコンテンツに含まれる全ての発火時刻を抽出し、監視バッファ１０９に書き込む。監視バッファ１０９は、解析手段１０７が書き込む発火時刻を一時的に記憶する。図１は、複数のイベントの発火時刻（第１発火時刻、第２発火時刻・・・）を監視バッファ１０９に蓄積した例を示している。イベントの内容とその発火時刻とを対応付けて監視バッファ１０９に書き込んでも良い。

さらに、解析手段１０７は、監視手段１０８からイベントの実行の指示を受け取り、指示に基づいてイベントを実行する。複数のイベントがデータコンテンツに記述されている場合、監視手段１０７は発火時刻順にイベントの内容を一時的に記憶しておき、実行したイベントを消去していくと良い（図示せず）。このようにしておけば、解析手段１０７は、イベントの実行が指示されると、発火時刻順にイベントを実行することができる。あるいは、解析手段１０７は、監視バッファ１０９にイベントの内容とその発火時刻とを書き込んでおき、発火時刻を含む指示に基づいてどのイベントを実行すべきかを決めても良い。

図２は、解析手段１０７が取得するデータコンテンツの一部の一例を示す。このデータコンテンツは、例えば１ページ分のデータコンテンツの一部であり、イベントの内容及びその発火時刻が一組記述されている。図中、１ページ分のマルチメディアデータの記述部分は省略されている。この例では、データコンテンツは、イベントの定義部、イベント発火時刻の定義部及びタイムスタンプ付ストリームの定義部を含む。

イベントの定義部は、イベントの内容の記述を含む。この例では、「function event_handler()」がイベントの定義部である。「browser.playRomSound(romsound://1)」により、「受信機の内蔵音を鳴らす」というイベントの内容が記述されている。

イベント発火時刻の定義部は、どのイベントをいつ発火させるかを定義する。具体的には、イベント発火時刻の定義部は、少なくとも、１）タイムスタンプの指定、２）イベント発火時刻を示すタイムスタンプ値、３）イベントの指定を含む。この例では、「<beitem id="timer"」から「/>」までが、イベント発火時刻の定義部に相当する。この中で、「type="TimerFired" time_mode="TTS"」が、タイムスタンプ指定を示す。「time_value="80000"」が、イベント発火時刻を示すタイムスタンプ値を示す。「onoccur="event_handler();"」が、イベントの指定を示す。指定するタイムスタンプの値は、タイムスタンプ値を参照するストリームのタイムスタンプ値を予め入手して絶対値で指定してもよいし、コンテンツの先頭からの相対値で指定してもよい。

タイムスタンプ付ストリームの定義部は、どのストリームのタイムスタンプを時計代わりに使用するかを定義する。具体的には、タイムスタンプ付ストリームの定義部は、少なくとも参照するタイムスタンプ付ストリーム（以下、参照ストリームという）の指定を含む。この例では、「<object」から 「</object>」までが、タイムスタンプ付ストリームの定義部を示す。「data="arib-file://AVTTS.tts"」が参照ストリームを示している。すなわち、この参照ストリームに付与されたタイムスタンプ値が、イベントの発火時刻を示すタイムスタンプ値と比較される。

図３は、解析手段１０７が取得するデータコンテンツの一部の別の例を示す。このデータコンテンツも、前記図２と同様に、例えば１ページ分のデータコンテンツの一部である。この例では、イベントの内容及びその発火時刻が一組記述されている。図中、１ページ分のマルチメディアデータの記述部分は省略されている。図２と同様に、データコンテンツは、イベントの定義部、イベント発火時刻の定義部及びタイムスタンプ付ストリームの定義部を含む。この例では、イベントの定義部及びタイムスタンプ付ストリームの定義部は、図２と同様である。イベント発火時刻の定義部に相当するのは、「ttsstreameventposition="80000"」と「ttsstreameventonoccur="event_handler()"」である。この中で、「ttsstreameventposition="80000"」が、タイムスタンプ指定とイベント発火時刻の指定を示す。また、「ttsstreameventonoccur="event_handler()"」がイベント指定を示す。

（２−２）イベントを実行するタイミングの決定
監視手段１０８は、再生装置１００が処理するパケットのタイムスタンプ値と最先の発火時刻とを順次比較し、比較結果に基づいてイベントを発火させるタイミングを決定する。例えば、タイムスタンプ値が示す時刻と発火時刻とが一致した場合や、タイムスタンプ値の示す時刻を発火時刻が過ぎた場合、解析手段１０７に対し、イベントの実行を指示する。この指示には、実行すべきイベントの発火時刻を含めても良い。また、監視手段１０８は、どのストリームのタイムスタンプを参照するかを、すなわち参照ストリームを決定する。更に、監視手段１０８は、全てのイベントが実行されるまで、参照ストリームのタイムスタンプとイベントの発火時刻との監視を続行する。

参照ストリームの決定は次のように行う。参照ストリームの記述がデータコンテンツに含まれていない場合、監視手段１０８は、データコンテンツ復号化手段１０４に渡されるデータコンテンツパケットのタイムスタンプを参照する。これは、ＡＶデータとデータコンテンツとが１つのタイムスタンプ付コンテンツストリームに多重されている場合である。従って、この場合はデータコンテンツ中の参照ストリームの記述は必ずしも必要ではない。

これとは逆に、参照ストリームの記述がデータコンテンツに含まれている場合、監視手段１０８はその記述に基づいて参照ストリームを決定する。参照ストリームの記述が必要になるのは、例えばタイムスタンプ付ＡＶストリームとデータコンテンツストリームとが多重されていない場合である。この場合、ＡＶストリームのタイムスタンプを参照ストリームとすれば、イベントの実行とＡＶデータの再生とを同期させることができる。参照ストリームとしてＡＶストリームが指定されている場合、監視手段１０８は、１０５１０６そのＡＶストリームのパケットのタイムスタンプを取得し、これらのタイムスタンプとイベントの発火時刻とを比較する。監視手段１０８は、参照ストリームに指定されたＡＶストリームのパケットに記録されているタイムスタンプ値を、パケット読出手段１０２から取得する。

［処理］
（１）メインルーチン
図４は、再生装置１００が行う再生処理のメインルーチンの流れの一例を示すフローチャートである。再生装置１００は、映像や音声の再生、マルチメディアデータに含まれる静止画像や文字などのデータの再生、イベントの実行を行う。

ステップＳ１０１：パケット１０３読出手段は、記憶手段１０１に蓄積されているストリームをタイムスタンプに従って読み出し、パケットフィルタリング手段１０３に出力する。

ステップＳ１０２：パケットフィルタリング手段１０３は、パケットのＰＩＤに基づいて、データコンテンツ復号化手段１０４、音声復号化手段１０５、映像復号化手段１０６のいずれかに各パケットを振り分ける。

ステップＳ１０３：映像復号化手段１０６は、各パケットの所定量毎にデータを復号化し、映像表示用プレーンを生成する。
ステップＳ１０４：音声復号化手段１０５は、各パケットの所定量毎にデータを復号化し、音声データをスピーカに出力する。

ステップＳ１０５：データコンテンツ復号化手段１０４は、各パケットのデータ種類毎に処理を行う。例えば文字や図形、静止画、字幕等のデータ種類毎にデータを復号化し、文字図形プレーン、静止画プレーン、字幕プレーンなどを生成する。
生成された各プレーンは、プレーンの論理構成の規定に従い合成出力される。

（２）イベント発生処理
図５は、再生装置１００のデータコンテンツ復号化手段１０４が行うイベント発生処理の流れの一例を示すフローチャートである。この処理は、前述のデータ放送用データ出力処理の中の一環として実行される。また、この処理は、前記メインルーチンにおいて、データコンテンツ復号化手段１０４に渡されるパケットがなくなるまで実行される。

ステップＳ２０１：データコンテンツ復号化手段１０４は、データコンテンツの内容を所定量、例えば１ページ分取得する。
ステップＳ２０２：解析手段１０７は、取得した１ページ分のデータコンテンツを解析し、その中にタイムスタンプによるイベント発火の記述があるかどうか判断する。イベントの記述がない場合には、ステップＳ２０１に戻り、次の１ページ分のデータコンテンツの取得を待機する。

ステップＳ２０３：取得したデータコンテンツに１以上のイベントが記述されている場合、解析手段１０７は記述されているイベントの発火時刻全てを抽出し、監視バッファ１０９に書き込む。このとき、イベントの内容とその発火時刻とを対にして監視バッファ１０９に書き込んでも良い。更に、解析手段１０７は、監視手段１０８に対し、監視を指示する。

ステップＳ２０４：監視手段１０８は、前述の方法により参照ストリームを決定し、そのストリームに付与されているタイムスタンプとイベントの発火時刻とを比較する。
ステップＳ２０５：監視手段１０８は、タイムスタンプ値が次イベントの発火時刻と等しいかそれを超えたか否かを判断する。タイムスタンプ値が次イベントの発火時刻に達していない場合、ステップＳ２０４に戻り、参照ストリームの次のパケットのタイムスタンプについて前述の処理を繰り返す。次イベントとは、未発火のイベントのうち発火時刻が最先のものである。

ステップＳ２０６：タイムスタンプ値が次イベントの発火時刻に達すると、監視手段１０８はイベントの発火を解析手段１０７に指示する。解析手段１０７は、監視手段１０８からの指示に基づいてイベントを実行する。複数のイベントが定義されている場合、どのイベントを実行するかは様々な方法で決定可能である。つまり、前述したように、解析手段１０７は発火時刻順にイベントを記憶しておき、その順に実行するのでもよい。また解析手段１０７は、監視バッファ１０９にイベントの内容と発火時刻とを対で書き込んでおき、監視手段１０８から指示された発火時刻に対応するイベントを実行しても良い。なお、解析手段１０７は、実行したイベントの内容やその発火時刻を、監視バッファ１０９から削除しても良い。あるいは、解析手段１０７は、実行したイベントの発火時刻に対応する実行済フラグを監視バッファ１０９にたてても良い。

ステップＳ２０７：監視手段１０８は、未発火のイベントが残っているか否かを判断する。例えば、実行したイベントの発火時刻が監視バッファ１０９から削除される場合、監視バッファ１０９に発火時刻の記述が残っているか否かによりこの判断を行うことができる。また、実行済フラグが監視バッファ１０９にたつ場合、監視手段１０８はこのフラグに基づいて未発火のイベントの有無を判断することができる。未発火のイベントがある場合、再びステップＳ２０４に戻る。すなわち、監視手段１０８は次のイベントの発火時刻の到来を監視する。取得したデータコンテンツに記述された全イベントが実行されると、ステップＳ２０１に戻り、次の１ページ分のデータコンテンツについて同様の処理を繰り返す。

［効果］
以上の処理により、再生装置１００は、記録されているコンテンツストリームにＡＶデータ及びデータコンテンツが含まれる場合に、ＡＶデータの再生とイベントの実行とを同期させることができる。

＜その他の実施形態＞
（Ａ）第１実施形態では、ＡＶデータとデータコンテンツとが多重されたタイムスタンプ付コンテンツストリームが記憶手段１０１に記憶されているが、タイムスタンプ付コンテンツストリームは記憶されたものでなくても良い。すなわち、再生装置１００は、図示しない通信手段により受信したタイムスタンプ付コンテンツストリームについて、前述と同様にしてデータの再生やイベントの実行を行うこともできる。

（Ｂ）ＡＶストリームとデータコンテンツとが多重されておらず、データコンテンツがファイルとして別途記録されている場合も、本発明を適用可能である。この場合、データコンテンツには、参照ストリームとしてＡＶストリームが指定される。

（Ｃ）前述した方法をコンピュータに実行させるプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。ここで、プログラムとは、コンピュータ読み取り可能な記録媒体に記録されているもの、通信回線を経由してダウンロードまたはアップロード可能なものを含む。さらに、記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

本発明は、ＡＶストリームとマルチメディアデータとの同期再生を可能とするコンテンツ再生装置に利用可能であり、特にタイムスタンプ付ＡＶストリームを再生する装置に好適である。

第１実施形態に係る再生装置の機能構成を示す説明図 データコンテンツの一部の一例を示す説明図 データコンテンツの一部の別の例を示す説明図 図１の再生装置が行う再生処理のメインルーチンの流れの一例を示すフローチャート データコンテンツ復号化手段が行うイベント発生処理の流れの一例を示すフローチャート

符号の説明

１００ 再生装置
１０１ 記憶手段
１０２ パケット読出手段
１０３ パケットフィルタリング手段
１０４ データコンテンツ復号化手段
１０５ 音声復号化手段
１０６ 映像復号化手段

Claims (5)

1. コンテンツの再生とイベントの実行とを同期させる再生装置であって、
   前記コンテンツをパケット化したパケットにタイムスタンプが付与されたタイムスタンプ付パケットからなるタイムスタンプ付コンテンツストリームを取得し、タイムスタンプによるイベントの発火時刻の記述及びイベントの内容の記述を前記コンテンツストリームから抽出する解析手段と、
   前記タイムスタンプ付コンテンツストリームの各パケットに記述された各タイムスタンプ値を前記イベントの発火時刻と比較し、前記イベントを実行するタイミングを決定する監視手段と、を有し、
   前記解析手段は、前記監視手段が決定したタイミングに、前記イベントを実行する、
   ことを特徴とする再生装置。
2. 前記監視手段は、タイムスタンプ付コンテンツストリームのタイムスタンプ値が示す時刻が前記イベントの発火時刻を過ぎると、前記解析手段に前記イベントの実行を指示することを特徴とする、請求項１に記載の再生装置。
3. 前記タイムスタンプ付コンテンツストリームは、複数のイベントの発火時刻の指定及び各時刻に対応するイベントの内容の記述を含み、
   前記解析手段は、取得したコンテンツストリームに含まれる全てのイベントの発火時刻及び各時刻に対応するイベントの内容の記述を抽出し、
   前記監視手段は、前記イベントの発火時刻順に各イベントを実行するタイミングを決定し、
   前記解析手段は、前記監視手段が決定したタイミングに、各イベントを実行する、
   ことを特徴とする、請求項１に記載の再生装置。
4. 前記コンテンツは、イベントの発火時刻及びイベントの内容に加え、さらに前記タイムスタンプ付コンテンツストリームの識別子または別のタイムスタンプ付コンテンツストリームの識別子を含み、
   前記監視手段は、前記識別子で特定されるタイムスタンプ付コンテンツストリームのタイムスタンプ値に基づいて、イベントを実行するタイミングを決定する、
   ことを特徴とする請求項１に記載の再生装置。
5. コンテンツの再生とイベントの実行とを同期させる再生方法であって、
   前記コンテンツをパケット化したパケットにタイムスタンプが付与されたタイムスタンプ付パケットからなるタイムスタンプ付コンテンツストリームを取得し、タイムスタンプによるイベントの発火時刻の記述及びイベントの内容の記述を前記コンテンツストリームから抽出する解析ステップと、
   前記タイムスタンプ付コンテンツストリームの各パケットに記述された各タイムスタンプ値を前記イベントの発火時刻と比較し、前記イベントを実行するタイミングを決定する監視ステップと、
   前記監視ステップで決定したタイミングに、前記イベントを実行する実行ステップと、
   を含むことを特徴とする再生方法。
   

Images