JP2008005198A - マルチａｖストリームの再生装置及び再生方法 - Google Patents

Abstract

【課題】独立した再生時刻情報を持つ複数のオブジェクトデータを同期再生する。
【解決手段】本発明に係る再生装置１０は、再生時刻情報を持つデータユニット群で構成される複数のオブジェクトデータであって、各オブジェクトデータの再生時刻情報がそれぞれ独立した複数のオブジェクトデータを取得するデータ取得手段９０，９２，９４，９６と、オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報を求め、オブジェクトデータの再生時刻情報を、オフセット時間情報を用いて基準時刻に合わせた再生時刻情報に書き換える書き換え手段１０２，１０８と、書き換え手段により書き換えられた再生時刻情報にしたがいオブジェクトデータを再生する再生処理手段１０３，１０４，１０５，１０９，１１０と、を備える。
【選択図】図１

Description

この発明は、マルチＡＶストリームの再生装置及び再生方法に関する。

近年、オーディオビデオ情報（ＡＶ情報）のデジタル化が進み、ＭＰＥＧエンコードされたＡＶ情報を記録するメディアが一般的に利用されるようになってきている。そのようなメディアの代表例としてＤＶＤ（digital versatile disc）がある。ＤＶＤは規格自体も進化しており、ハイビジョン対応のＤＶＤ規格としてＨＤ‐ＤＶＤ（high definition DVD）と称される規格が開発されている。このＨＤ‐ＤＶＤ規格では現世代ＤＶＤよりも格段に記録密度が高まるため、再生装置側でもそれに対応した高機能化を図ることが要求されている。すなわち、現世代ＤＶＤビデオ規格では１つのプログラムストリームのみの再生しかできないが、ＨＤ‐ＤＶＤ規格では、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（Primary Video Setを構成するPrimary Program StreamとSecondary Video Setを構成するSecondary Program Stream）を同期再生できることが必須事項となっている。

具体的には、ＨＤ‐ＤＶＤ規格の光ディスクにはPrimary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号とサブピクチャ信号が記録されており、ＨＤ‐ＤＶＤ規格の光ディスク再生装置はこれら５種類のPrimary Program Streamを選択的に再生できるように構成されている。

また、ＨＤ‐ＤＶＤ規格の再生装置は、ネットワークを介してサーバから、Secondary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号を取得可能であり、光ディスクから得られるサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号を、選択的に、サーバから得られたサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号に置き換えて、同期再生できるように構成される。

ところで、１つのプログラムストリーム内の別データ（ビデオとオーディオ、あるいはビデオとサブピクチャ）を同期再生することは従来から知られている（特許文献１参照）。
特開平２００４−２２８６２７号公報

特許文献１には、特殊再生モードおよび通常再生モードにおいて、ビデオデータとオーディオデータが同期して処理される装置が開示されている。しかし、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（複数の独立コンテンツ：より広義にはマルチＡＶストリーム）の同期再生については開示がない。

本発明は、上記の課題を解決するためになされたもので、独立した再生時刻情報を持つ複数のオブジェクトデータを同期再生することを目的とする。

上述した目的を達成するために、本発明に係る再生装置は、再生時刻情報を持つデータユニット群で構成される複数のオブジェクトデータであって、各オブジェクトデータの再生時刻情報がそれぞれ独立した複数のオブジェクトデータを取得するデータ取得手段と、オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報を求め、オブジェクトデータの再生時刻情報を、オフセット時間情報を用いて基準時刻に合わせた再生時刻情報に書き換える書き換え手段と、書き換え手段により書き換えられた再生時刻情報にしたがいオブジェクトデータを再生する再生処理手段と、を備えることを特徴とする。

また、本発明に係る再生方法は、再生時刻情報を持つデータユニット群で構成される複数のオブジェクトデータであって、各オブジェクトデータの再生時刻情報がそれぞれ独立した複数のオブジェクトデータを取得するデータ取得ステップと、オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報を求め、オブジェクトデータの再生時刻情報を、オフセット時間情報を用いて基準時刻に合わせた再生時刻情報に書き換える書き換えステップと、書き換えられた再生時刻情報にしたがいオブジェクトデータを再生する再生処理ステップと、を含む。

上述した再生装置および再生方法によれば、オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報が求められる。そして、オブジェクトデータの再生時刻情報が、オフセット時間情報を用いて基準時刻に合わせた再生時刻情報に書き換えられる。よって、基準時刻に合わせた再生時刻情報にしたがって、複数のオブジェクトデータを同期再生することができる。

本発明によれば、独立した再生時刻情報を持つ複数のオブジェクトデータを同期再生することができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

図１は、本発明の第１実施形態に係るマルチＡＶストリームの再生装置１０の要部を示す図である。ここでは、ブルーレーザ等を用いた光ディスクドライブ（Optical Disk Drive）９０、大容量のフラッシュメモリ等を用いた不揮発性記憶部（Persistent Storage）９２、インターネット等を介してコンテンツプロバイダに接続可能に構成されたネットワークインターフェース（Network I/F）９４、およびハードディスクドライブ（Hard Disk Drive）９６のうちのいずれか１つ以上から、ＨＤ‐ＤＶＤ規格に準拠したマルチＡＶストリームを取り出すことができるようになっている。

図１の再生装置１０に対する入力データ（マルチＡＶストリーム）は、プライマリ・エンハンスド・ビデオオブジェクト（Primary Enhanced Video Object：以下、P-EVOBと称する）１００、セカンダリ・エンハンスド・ビデオオブジェクト（Secondary Enhanced Video Object：以下、S-EVOBと称する）１０６として提供される。これらのデータは各々プライマリソースフィルタ（Primary Source Filter）１０１およびセカンダリソースフィルタ（SecondarySource Filter）１０７でバッファリングされ、その後メインデマルチプレクサ（Main Demux）１０２およびサブデマルチプレクサ（Sub Demux）１０８に供給される。ここで、P-EVOB内のメインデータはメインデマルチプレクサ１０２に送られ、サブデータはサブデマルチプレクサ１０８に送られる。同様に、S-EVOB内のメインデータはメインデマルチプレクサ１０２に供給され、サブデータはサブデマルチプレクサ１０８に供給される。メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８によりデマルチプレクスされたデータはそれぞれメインデコーダ１０３〜１０５およびサブデコーダ１０９〜１１０に送られデコードされる。

メインデコーダ１０３〜１０５およびサブデコーダ１０９〜１１０のうち、ビデオ系のデコーダ１０４，１０９はＭＰＥＧ２、ＭＰＥＧ４、ＶＣ−１等の方法でエンコードされたビデオ情報をデコードする。また、オーディオ系のデコーダ１０３，１１０はＭＰＥＧの他にＡＣ−３（Ｒ）、ＤＴＳ（Ｒ）、Ｌ−ＰＣＭ等の方法でエンコードされたオーディオ情報をデコードする。さらに、サブピクチャ系のデコーダ１０５はＨＤ‐ＤＶＤ規格で定められた方法（特別な符号を用いたランレングス圧縮）でエンコードされたビットマップ情報をデコードする。

ミキサー（Mixer）１３０は、メインデコーダ１０３〜１０５およびサブデコーダ１０９，１１０からビデオデータ、オーディオデータ、サブピクチャデータを取り込んで、これらのデータを元に生成されたビデオ出力信号およびオーディオ出力信号をディスプレイ１４０に出力する。ディスプレイ（Display）１４０は、ビデオ出力信号およびオーディオ出力信号を取り込んで、ビデオ出力信号を元に動画像を再生すると共に、オーディオ出力信号を元にスピーカから音声を再生する。

上述した構成において、光ディスクドライブ９０，不揮発性記憶部９２，ネットワークインターフェース９４およびハードディスクドライブ９６が、マルチＡＶストリームを取得するための取得手段となっている。また、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８が、再生時刻情報に書き換える書き換え手段となっている。また、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８の後段にあるメインデコーダ１０３〜１０５，サブデコーダ１０９〜１１０およびミキサー（Mixer）１３０が、再生時刻情報にしたがいオブジェクトデータを再生する再生処理手段となっている。

なお、図１の再生においては通常再生以外にもSlow再生、再生Pause、Step再生、FastForward（FF）再生、FastReverse（FR）再生などの再生モードがある。これら再生モードには、Normal、Slow、Pause、StepなどのＳＴＣ制御状態と、FastForward、FastReverseなどのＳＴＣ非制御状態（ＳＴＣフリー状態）が存在する。ＳＴＣ制御状態とはＳＴＣを参照して再生しているモードであり、ＳＴＣ非制御状態（ＳＴＣフリー状態）とはＳＴＣを参照せずに再生しているモードである。ＨＤ‐ＤＶＤでは、メインデータとサブデータの同期をとるため、ＳＴＣ非制御状態（ＳＴＣフリー状態）の際にも同期を取って再生する必要がある。

図２は、図１の再生装置１０で再生されるマルチＡＶストリームのデータ構造を示す図である。各EVOBは複数のデータユニット（Enhanced Video Object Unit：EVOBU）群で構成される（図２（ａ））。各EVOBUはその先頭にナビゲーションパックＮＶが配置され、その後に所定数のビデオパックＶ、オーディオパックＡ、副映像（サブピクチャ）パックＳＰが適宜配置される。各EVOBUは、0.4〜1.001秒の再生時刻に相当する大きさを持つ（但しEVOB末尾のEVOBUは0.4〜1.2012秒の再生時刻に相当する大きさ）。図１の光ディスクドライブ９０は、任意のEVOBUにその先頭のＮＶパックからアクセスできるように構成されている。通常再生時（Normal Play）は各EVOBUが順番に再生され（図２（ｂ））、早送り再生（Fast Forward：FF）では一部のEVOBUが飛び飛びに（例えばEVOBUの３つに１つの割合）再生される（図２（ｃ））。

マルチＡＶストリームとしては別々にマルチプレックスされ時間関係のない複数系統のProgram Streamsがあり、ＨＤ‐ＤＶＤ規格の場合では、Primary Video Setを構成するPrimary Program StreamsとSecondary Video Setを構成するSecondary Program Streamsがある。Primary Program StreamsにはMain Video Stream、Main Audio Streams、Sub Video Stream、Sub Audio Streams、Sub-picture Streams、Advanced Streamsがある。また、Secondary Program StreamsにはMain Video Stream、Main Audio Stream、Sub Video Stream、Sub Audio Streamがある。これらのStreamsのいずれも、１つのオブジェクト（Enhanced Video Object：EVOB）内で完結する。

PrimaryVideo Setの場合もSecondaryVideo Setの場合も、Main/SubVideo StreamsはビデオパックＶに格納され、Main/Sub Audio StreamsはオーディオパックＡに格納される。同様にSub-picture StreamsはサブピクチャパックＳＰに格納される。ビデオパックＶは再生タイムスタンプPTSとデコードタイムスタンプDTSを含むヘッダを持ち、オーディオパックＡは再生タイムスタンプPTSを含むヘッダを持ち、サブピクチャパックＳＰも再生タイムスタンプPTSを含むヘッダを持っている。

各EVOBUの先頭に配置されるナビゲーションパックＮＶ（図２（ｄ）ではNV_PCK#n）には全般制御情報（General Control Information）GCIが記録され、このGCIはその一般情報GCI_GI（図２（ｅ））を持つ。そして、このGCI_GIには、それが含まれるＮＶパックを先頭に持つEVOBUの再生開始時刻を示す情報EVOBU_S_PTM、表示制御情報DCI、コンテンツ保護情報（コピー制御情報）CPI等が含まれる（図２（ｆ））。

上記GCI内の再生時刻情報（EVOBU_S_PTM）およびＶパック、Ａパック、ＳＰパック内の再生時刻情報（PTS，DTS）は、それらを含む情報が再生される予定の時刻を示している。Primary Video Setの情報（P-EVOB）とSecondary Video Setの情報（S-EVOB）の同期再生には、上記GCI内の再生時刻情報（EVOBU_S_PTM）を利用することができる。また、Main/Sub Video Streams、Main/Sub Audio Streams間の同期再生には、これらのストリームを格納したパック（Ｖパック、Ａパック）内の再生時刻情報（PTS，DTS）を利用することができる。なお、デコードタイムスタンプDTSは、マルチＡＶストリームを再生するために用いられるタイムスタンプの一つであるため、本実施形態における再生時刻情報の定義にはデコードタイムスタンプDTSも含まれている。

図３は、図１の再生装置１０における同期再生処理を示すフローチャートである。

メインデマルチプレクサ１０２は、P-EVOBのメインデータから、そのナビゲーションパックに記録される再生時刻情報EVOBU_S_PTMを抽出する。また、メインデマルチプレクサ１０２は、S-EVOBのメインデータから、そのナビゲーションパックに記録される再生時刻情報EVOBU_S_PTMを抽出する。そして、メインデマルチプレクサ１０２は、P-EVOBから抽出された再生時刻情報EVOBU_S_PTMからS-EVOBから抽出された再生時刻情報EVOBU_S_PTMを減算することで、２つの再生時刻情報EVOBU_S_PTMの差分であるオフセット時間情報Offset_Timeを取得する（Ｓ３０１）。

次に、メインデマルチプレクサ１０２は、P-EVOBのメインデータから抽出された再生時刻情報EVOBU_S_PTMに基づいて、ベースＳＴＣを算出する（Ｓ３０２）。ここで、ベースＳＴＣとは、P-EVOBのメインデータから抽出された再生時刻情報EVOBU_S_PTMを基準とし、クロックに応じて増加する時刻情報である。このベースＳＴＣは、メインデコーダ１０３〜１０５，サブデコーダ１０９，１１０およびミキサー１３０に出力され、再生処理を同期させるために用いられる。

ここで、上記のステップ３０１およびステップ３０２の処理は、P-EVOBおよびS-EVOBの途中にあるNon-Seamless Connection Pointにて行われる。Non-Seamless Connection Pointとは途切れのない再生が必要のないタイミングのことであり、P-EVOBおよびS-EVOBはこのNon-Seamless Connection Pointに至ったところでデータが終了したものとして取り扱われる。よって、P-EVOBおよびS-EVOBはこのNon-Seamless Connection Pointに至ったところで図３のフローが一度終了し、その直後に図３のフローが再び開始して、上記のステップ３０１およびステップ３０２の処理が行われる。

次に、メインデマルチプレクサ１０２は、処理すべきメインデータがP-EVOBに含まれていたものか否かを判定する（Ｓ３０３）。ここで、処理すべきメインデータがP-EVOBに含まれていたものと判定された場合には、メインデマルチプレクサ１０２は、そのP-EVOBのメインデータを取得してから、取得されたメインデータをそのままデコーダに転送する（Ｓ３０４，Ｓ３０７）。

一方、ステップ３０３において、処理すべきメインデータがP-EVOBに含まれていたものでないと判定された場合には、処理すべきメインデータはS-EVOBに含まれていたものであるため、メインデマルチプレクサ１０２は、そのS-EVOBのメインデータを取得してから、取得されたS-EVOBのメインデータに含まれるタイムスタンプを、そのタイムスタンプの再生時刻にオフセット時間Offset_Timeを加算して算出される新たな再生時刻情報で書き換える（Ｓ３０５，Ｓ３０６）。この新たな再生時刻情報は、P-EVOBの再生時刻情報EVOBU_S_PTMを基準時刻とし、この基準時刻に合わせられたものである。

ここで、メインデマルチプレクサ１０２は、S-EVOBのメインデータに含まれるタイムスタンプをとして、ＮＶパックに含まれる再生時刻情報EVOBU_S_PTM、Ｖパックに含まれる再生時刻情報PTS，DTS、Ａパックに含まれる再生時刻情報PTS、ＳＰパックに含まれる再生時刻情報PTSを書き換える。そして、メインデマルチプレクサ１０２は、タイムスタンプが書き換えられたS-EVOBのメインデータをメインデコーダ１０３〜１０５に転送する（Ｓ３０７）。

次に、メインデマルチプレクサ１０２は、再生すべきデータが終了したか否かを判定する（Ｓ３０８）。ここで、再生すべきデータが終了していない場合には、メインデマルチプレクサ１０２は、ステップ３０３からステップ３０７までの処理を繰り返す。一方、再生すべきデータが全て終了した場合には、メインデマルチプレクサ１０２は、データの再生処理を終了する。

なお、上記に説明した同期再生処理はサブデマルチプレクサ１０８においても同様に行われる。すなわち、サブデマルチプレクサ１０８は、S-EVOBのサブデータに含まれるタイムスタンプを、そのタイムスタンプの再生時刻にオフセット時間Offset_Timeを加算して算出される新たな再生時刻情報で書き換える。

なお、上記に説明した同期再生処理では、P-EVOBに含まれるタイムスタンプを基準時刻として、S-EVOBに含まれるタイムスタンプをP-EVOBに含まれるタイムスタンプに合わせるようにS-EVOBに含まれるタイムスタンプが書き換えられている。但し、S-EVOBに含まれるタイムスタンプを基準時刻として、P-EVOBに含まれるタイムスタンプをS-EVOBに含まれるタイムスタンプに合わせるようにP-EVOBに含まれるタイムスタンプが書き換えられてもよい。

図４は、図３の同期再生処理の一例を示すタイムチャートである。

P-EVOBは、時刻ｔ０〜時刻ｔ７の間に継続して再生される。一方、S-EVOBは、時刻ｔ０〜時刻ｔ７の間に間欠的に再生される。S-EVOBは、時刻ｔ０〜時刻ｔ２の間と、時刻ｔ３〜時刻ｔ５の間と、時刻ｔ６〜時刻ｔ７の間で再生される。P-EVOBは継続して再生されるため、P-EVOBのタイムスタンプ（Original Time Stamp）は連続している。一方、S-EVOBのタイムスタンプ（Original Time Stamp）は、S-EVOBの再生が途中で途切れたところで連続性が失われている。なお、P-EVOBおよびS-EVOBは、時刻ｔ０，ｔ２，ｔ３，ｔ５，ｔ６においてNon-Seamless Connection Pointとなっている。

メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、時刻ｔ０において、P-EVOBのタイムスタンプ“０”からS-EVOBのタイムスタンプ“７”を減算して、オフセット時間として“−７”を算出する。そして、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、S-EVOBUのタイムスタンプを、元のS-EVOBUのタイムスタンプ“７”にオフセット時間“−７”を加算した値“０”に書き換える。その後も時刻ｔ１において、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、S-EVOBUのタイムスタンプを、元のS-EVOBUのタイムスタンプ“８”にオフセット時間“−７”を加算した値“１”に書き換える。

メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、時刻ｔ３において、オフセット時間を計算し直す。すなわち、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、P-EVOBのタイムスタンプ“３”からS-EVOBのタイムスタンプ“０”を減算して、オフセット時間として“３”を算出する。そして、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、S-EVOBUのタイムスタンプを、元のS-EVOBUのタイムスタンプ“０”にオフセット時間“３”を加算した値“３”に書き換える。その後も時刻ｔ４において、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、S-EVOBUのタイムスタンプを、元のS-EVOBUのタイムスタンプ“１”にオフセット時間“３”を加算した値“４”に書き換える。

メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、時刻ｔ６において、オフセット時間を計算し直す。すなわち、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、P-EVOBのタイムスタンプ“６”からS-EVOBのタイムスタンプ“２”を減算して、オフセット時間として“４”を算出する。そして、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、S-EVOBUのタイムスタンプを、元のS-EVOBUのタイムスタンプ“２”にオフセット時間“４”を加算した値“６”に書き換える。なお、図４に示される同期再生処理の一例では、説明の便宜を考慮してタイムスタンプの値を簡略化している。

上述した本実施形態の再生装置１０では、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８によりS-EVOBに含まれるタイムスタンプが書き換えられるため、P-EVOBに含まれるタイムスタンプとS-EVOBに含まれるタイムスタンプとを共通の基準時刻に適合したものとすることができる。よって、デコーダなどの後段の処理部は、P-EVOBに含まれるタイムスタンプとS-EVOBに含まれるタイムスタンプの相違を考慮した処理を行う必要なく、上記の基準時刻を参照してデコードタイムスタンプDTSのタイミングでデコードを行うと共に再生タイムスタンプPTSのタイミングで出力すればよく、このようにしてマルチＡＶストリームの同期再生を容易化することができる。

次に、第２の実施形態に係るマルチＡＶストリームの再生装置について説明する。図５は、第２の実施形態に係るマルチＡＶストリームの再生装置２０の要部を示す図である。第２の実施形態に係る再生装置２０では、基準時刻情報（Reference Time Information）がメインデマルチプレクサ１０２およびサブデマルチプレクサ１０８に入力されている。ここで、基準時刻情報とは、マルチＡＶストリームの再生開始から計時されてる再生経過時刻を示す情報であり、具体的には、ユーザにより再生装置２０の再生ボタンが押されたときから経過した時間を示す情報である。

図６は、図５の再生装置２０における同期再生処理を示すフローチャートである。なお、以下の説明において、クリップとはP-EVOBまたはS-EVOBのいずれか一方から切り出されたデータであり、複数のEVOBUを含むデータ単位である。また、セグメントとは複数のクリップを含むデータ単位である。

メインデマルチプレクサ１０２は、セグメントのいずれかの箇所にある１つのクリップのデータを取り込むと、そのクリップの先頭のナビゲーションパックに記録されるタイムスタンプEVOBU_S_PTMを、再生時刻情報First_Time_Stampとして抽出する。そして、メインデマルチプレクサ１０２は、セグメントの再生が開始した時刻を示す情報Segment_Start_Time，セグメントの再生が開始されてから経過した時間を示す情報Segment_Playing_Time，抽出されたクリップ先頭のタイムスタンプEVOBU_S_PTMである再生時刻情報First_Time_Stampを用いて次の数式（１）の演算を行うことで、オフセット時間情報Offset_Timeを算出する（Ｓ６０１）。

Offset_Time ＝ Segment_Start_Time ＋ Segment_Playing_Time
− First_Time_Stamp
・・・（１）

ここで、セグメント再生開始時刻Segment_Start_Timeは、基準時刻情報を参照して求められる。また、セグメント再生時間Segment_Playing_Timeは、既に再生されたクリップの再生時間を累積して求められる。よって、セグメント再生開始時刻Segment_Start_Timeとセグメント再生時間Segment_Playing_Timeとを加算した値は、処理対象のクリップの先頭における再生経過時刻Reference_Timeとなっている。すなわち、オフセット時間Offset_Timeは、処理対象のクリップの先頭に関して、再生時刻EVOBU_S_PTMと再生経過時刻Reference_Timeとの差分を表している。

上記のステップ６０１の処理は、クリップが変化したところで行われる。すなわち、クリップが変化したところでデータが終了したものとして取り扱われ、図６のフローが一度終了する。そして、その直後のクリップに応じて図６のフローが再び開始して、上記のステップ６０１の処理が行われる。

次に、メインデマルチプレクサ１０２は、そのクリップのデータを取得してから、取得されたデータに含まれるタイムスタンプを、そのタイムスタンプの再生時刻EVOBU_S_PTMにオフセット時間Offset_Timeを加算して算出された新たな再生時刻情報で書き換える（Ｓ６０２，Ｓ６０３）。この新たな再生時刻情報は、再生経過時刻Reference_Timeを基準時刻とし、この基準時刻に合わせられたものである。

ここで、メインデマルチプレクサ１０２は、タイムスタンプをとして、ＮＶパックに含まれる再生時刻情報EVOBU_S_PTM、Ｖパックに含まれる再生時刻情報PTS，DTS、Ａパックに含まれる再生時刻情報PTS、ＳＰパックに含まれる再生時刻情報PTSを書き換える。そして、メインデマルチプレクサ１０２は、タイムスタンプが書き換えられたデータをメインデコーダ１０３〜１０５に転送する（Ｓ６０４）。

次に、メインデマルチプレクサ１０２は、再生すべきデータが終了したか否かを判定する（Ｓ６０５）。ここで、再生すべきデータが終了していない場合には、メインデマルチプレクサ１０２は、ステップ６０２からステップ６０４までの処理を繰り返す。一方、再生すべきデータが全て終了した場合には、メインデマルチプレクサ１０２は、データの再生処理を終了する。

なお、上記に説明した同期再生処理はサブデマルチプレクサ１０８においても同様に行われる。すなわち、サブデマルチプレクサ１０８においてもクリップのデータが取り込まれるごとにオフセット時間Offset_Timeが算出され、クリップのデータに含まれるタイムスタンプが、オフセット時間Offset_Timeを加算した再生時刻情報に書き換えられる。

図７は、図６の同期再生処理の一例を示すタイムチャートである。

図７に示される一例では、P-EVOBの一部のクリップ１とS-EVOBの一部のクリップ２とがつなぎ合わされたセグメントが再生される。メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、クリップ１のデータを取り込むと、上記の数式（１）にしたがってクリップ１用のオフセット時間を算出する。すなわち、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、セグメント開始時刻Segment_Start_Time“２”にセグメント再生期間Segment_Playing_Time“０”を加算してから、クリップ１の先頭のナビゲーションパックに記録されるタイムスタンプFirst_Time_Stamp“１”を減算して、オフセット時間Offset_Time“１”を算出する。

そして、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、クリップ１に含まれるタイムスタンプOriginal_Time_Stamp“１”にオフセット時間Offset_Time“１”を加算することにより新たなタイムスタンプRewrite_Time_Stamp“２”を算出し、クリップ１に含まれるタイムスタンプOriginal_Time_Stamp“１”を新たなタイムスタンプRewrite_Time_Stamp“２”に書き換える。メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、その後も同様に、クリップ１に含まれるタイムスタンプOriginal_Time_Stampにオフセット時間Offset_Time“１”を加算することにより新たなタイムスタンプRewrite_Time_Stampを算出し、クリップ１に含まれるタイムスタンプOriginal_Time_Stampを新たなタイムスタンプRewrite_Time_Stampに書き換える。クリップ１の末尾では、タイムスタンプOriginal_Time_Stamp“６”にオフセット時間Offset_Time“１”が加算されて、新たなタイムスタンプRewrite_Time_Stamp“７”に書き換えられている。

次に、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、クリップ２のデータを取り込むと、クリップ２のデータを処理して、上記の数式（１）にしたがってクリップ２用のオフセット時間を算出する。すなわち、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、セグメント開始時刻Segment_Start_Time“２”にセグメント再生期間Segment_Playing_Period“５”を加算してから、クリップ２の先頭のナビゲーションパックに記録されるタイムスタンプFirst_Time_Stamp“２”を減算して、オフセット時間Offset_Time“５”を算出する。

そして、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、クリップ２に含まれるタイムスタンプOriginal_Time_Stamp“２”にオフセット時間Offset_Time“５”を加算することにより新たなタイムスタンプRewrite_Time_Stamp“７”を算出し、クリップ２に含まれるタイムスタンプOriginal_Time_Stamp“２”を新たなタイムスタンプRewrite_Time_Stamp“７”に書き換える。メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、その後も同様に、クリップ２に含まれるタイムスタンプOriginal_Time_Stampにオフセット時間Offset_Time“５”を加算することにより新たなタイムスタンプRewrite_Time_Stampを算出し、クリップ２に含まれるタイムスタンプOriginal_Time_Stampを新たなタイムスタンプRewrite_Time_Stampに書き換える。クリップ２の末尾では、タイムスタンプOriginal_Time_Stamp“４”にオフセット時間Offset_Time“５”が加算されて、新たなタイムスタンプRewrite_Time_Stamp“９”に書き換えられている。なお、図７に示される同期再生処理の一例では、説明の便宜を考慮してタイムスタンプの値を簡略化している。

上述した第２実施形態の再生装置２０では、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８によりP-EVOBおよびS-EVOBに含まれるタイムスタンプが書き換えられて、P-EVOBに含まれるタイムスタンプとS-EVOBに含まれるタイムスタンプとを共通の基準時刻に適合したものとすることができる。よって、デコーダなどの後段の処理部は、P-EVOBに含まれるタイムスタンプとS-EVOBに含まれるタイムスタンプの相違を考慮した処理を行う必要なく、上記の基準時刻を参照してデコードタイムスタンプDTSのタイミングでデコードを行うと共に再生タイムスタンプPTSのタイミングで出力すればよく、このようにしてマルチＡＶストリームの同期再生を容易化することができる。

ところで、上述した実施形態において、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８は、P-EVOBに含まれるタイムスタンプまたはS-EVOBに含まれるタイムスタンプを、EVOBUの最終フレームの時刻より大きな値に書き換えている。この理由は、以下のとおりである。ＨＤ‐ＤＶＤ Advancedにおいては、EVOBU内の途中のフレームから再生する機能であるフレームコントロール（Frame Control）が用意されている。このフレームコントロールは、デコーダがEVOBUの全フレームデータを取得し、指定された再生開始フレームから再生を開始することで実現される。よって、仮に、メインデマルチプレクサ１０２およびサブデマルチプレクサ１０８が、再生開始フレームのタイムスタンプを０に書き換えた場合には、再生開始フレームより前のフレームのタイムスタンプは０より小さな値となってしまい、デコーダによる処理が困難となる。これに対して、上述したように、P-EVOBに含まれるタイムスタンプまたはS-EVOBに含まれるタイムスタンプを、EVOBUの最終フレームの時刻より大きな値に書き換えれば、再生開始フレームより前のフレームのタイムスタンプを０より大きな値とすることができ、デコーダによる処理を容易にすることができる。具体的には、EVOBUの再生時間は最長で1.2012秒であるため、再生開始フレームのタイムスタンプを1.2012よりも大きな値としている。

図８は、上述した実施形態の変形例に係るマルチＡＶストリームの再生装置３０の要部を示す図である。上述した第１実施形態および第２実施形態の再生装置１０，２０は、時間的に互いに独立した２つのＡＶストリーム（P-EVOBおよびS-EVOB）を取り込んでこれらを同期再生するものであったが、本発明はこれに限らない。すなわち、図８に示されるように、再生装置３０は、時間的に互いに独立した３つ以上のＡＶストリーム（1st-EVOB,2nd-EVOB,・・・,Nth-EVOB）を取り込んでこれらを同期再生するものでもよい。

本発明の第１実施形態に係るマルチＡＶストリームの再生装置の要部を示す図である。 マルチＡＶストリームのデータ構造を示す図である。 第１実施形態に係るマルチＡＶストリームの再生処理を示すフローチャートである。 第１実施形態に係るマルチＡＶストリームの再生処理を説明するための図である。 本発明の第２実施形態に係るマルチＡＶストリームの再生装置の要部を示す図である。 第２実施形態に係るマルチＡＶストリームの再生処理を示すフローチャートである。 第２実施形態に係るマルチＡＶストリームの再生処理を説明するための図である。 変形例に係るマルチＡＶストリームの再生装置の要部を示す図である。

符号の説明

１０，２０，３０…再生装置、９０…オプティカルディスクドライブ、９２…不揮発性メモリ、９４…ネットワークインターフェイス、９６…ハードディスクドライブ、１００…P-EVOB、１０１…プライマリソースフィルタ、１０２…メインデマルチプレクサ、１０３…メインオーディオデコーダ、１０４…メインビデオデコーダ、１０５…サブピクチャデコーダ、１０６…S-EVOB、１０７…サブソースフィルタ、１０８…サブデマルチプレクサ、１０９…サブビデオデマルチプレクサ、１１０…サブオーディオデコーダ、１２０…ＳＴＣ、１３０…ミキサー、１４０…ディスプレイ。

Claims (8)

1. 再生時刻情報を持つデータユニット群で構成される複数のオブジェクトデータであって、各オブジェクトデータの再生時刻情報がそれぞれ独立した複数のオブジェクトデータを取得するデータ取得手段と、
   前記オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報を求め、前記オブジェクトデータの再生時刻情報を、前記オフセット時間情報を用いて前記基準時刻に合わせた再生時刻情報に書き換える書き換え手段と、
   前記書き換え手段により書き換えられた再生時刻情報にしたがい前記オブジェクトデータを再生する再生処理手段と、
   を備えることを特徴とする再生装置。
2. 前記基準時刻は、いずれか１つのオブジェクトデータの前記再生時刻であり、
   前記書き換え手段は、前記いずれか１つのオブジェクトデータの再生時刻と他のオブジェクトデータの再生時刻との差分であるオフセット時間情報を求め、前記他のオブジェクトデータの再生時刻情報を、前記オフセット時間情報を用いて前記基準時刻に合わせた再生時刻情報に書き換えることを特徴とする請求項１に記載の再生装置。
3. 前記基準時刻は、オブジェクトデータの再生開始から計時されている再生経過時刻であり、
   前記書き換え手段は、各オブジェクトデータの再生時刻と再生経過時刻との差分であるオフセット時間情報を求め、前記各オブジェクトデータの再生時刻情報を、前記オフセット時間情報を用いて前記基準時刻に合わせた再生時刻情報に書き換えることを特徴とする請求項１に記載の再生装置。
4. 前記書き換え手段は、前記オブジェクトデータの再生時刻情報を、一つのデータユニットを再生するために要する時間よりも大きな値に書き換えることを特徴とする請求項１に記載の再生装置。
5. 前記各オブジェクトデータは、メインビデオデータとメインオーディオデータとサブビデオデータとサブオーディオデータとを含み、
   前記書き換え手段は、前記各オブジェクトデータをデマルチプレクスしてメインビデオデータおよびメインオーディオデータを振り分けるメインデマルチプレクサと、前記各オブジェクトデータをデマルチプレクスしてサブビデオデータおよびサブオーディオデータを振り分けるサブデマルチプレクサとを有することを特徴とする請求項１に記載の再生装置。
6. 前記メインビデオデータおよびメインオーディオデータは所定の方法でエンコードされており、
   前記再生処理手段は、前記メインビデオデータをデコードするメインビデオデコーダと、前記メインオーディオデータをデコードするメインオーディオデコーダとを含んで構成されることを特徴とする請求項５に記載の再生装置。
7. 前記サブビデオデータおよびサブオーディオデータは所定の方法でエンコードされており、
   前記再生処理手段は、前記サブビデオデータをデコードするサブビデオデコーダと、前記サブオーディオデータをデコードするサブオーディオデコーダとを含んで構成されることを特徴とする請求項５に記載の再生装置。
8. 再生時刻情報を持つデータユニット群で構成される複数のオブジェクトデータであって、各オブジェクトデータの再生時刻情報がそれぞれ独立した複数のオブジェクトデータを取得するデータ取得ステップと、
   前記オブジェクトデータの再生時刻と基準時刻との差分であるオフセット時間情報を求め、前記オブジェクトデータの再生時刻情報を、前記オフセット時間情報を用いて前記基準時刻に合わせた再生時刻情報に書き換える書き換えステップと、
   書き換えられた再生時刻情報にしたがい前記オブジェクトデータを再生する再生処理ステップと、
   を含む再生方法。

Images