JP2007150977A

JP2007150977A - マルチａｖストリームの再生方法および再生装置

Info

Publication number: JP2007150977A
Application number: JP2005345385A
Authority: JP
Inventors: Kaoru Ukai; 薫鵜飼
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-11-30
Filing date: 2005-11-30
Publication date: 2007-06-14
Also published as: US20070122120A1

Abstract

【課題】時間関係のないマルチＡＶストリームの同期再生を実現する。
【解決手段】時間情報（PTSまたはEVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成されるものであって、メインＡＶデータおよびサブＡＶデータを含むオブジェクトデータ（EVOB Data：P-EVOB/S-EVOB）を用いる。このオブジェクトデータからメインＡＶデータおよびサブＡＶデータを同期再生するにあたって、再生されたメインＡＶデータおよびサブＡＶデータから時間情報を取得し（ＳＴ４０５、ＳＴ４１１）、取得したメインＡＶデータおよびサブＡＶデータの時間情報を用いてデータ再生を行なう（ＳＴ４０３、ＳＴ４１６）。
【選択図】図４

Description

この発明は、マルチＡＶストリームの再生方法および再生装置に関する。

近年、オーディオビデオ情報（ＡＶ情報）のデジタル化が進み、ＭＰＥＧエンコードされたＡＶ情報を記録するメディアが一般的に利用されるようになってきている。そのようなメディアの代表例としてＤＶＤ（digital versatile disc）がある。ＤＶＤは規格自体も進化しており、間もなくHD_DVD（high definition DVD）と称されるハイビジョン対応の次世代ＤＶＤ規格もリリースされる状態にある。このHD_DVD規格では現世代ＤＶＤよりも格段に記録密度が高まるため、再生装置側でもそれに対応した高機能化を図ることが要求されている。すなわち、現世代ＤＶＤビデオ規格では１つのプログラムストリームのみの再生しかできないが、HD_DVD規格では、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（Primary Video Setを構成するPrimary Program StreamとSecondary Video Setを構成するSecondary Program Stream）を同期再生できることが必須事項となっている。

具体的には、HD_DVD規格の光ディスクにはPrimary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号とサブピクチャ信号が記録されており、HD_DVD規格の光ディスク再生装置はこれら５種類のPrimary Program Streamを選択的に再生できるように構成される。

また、HD_DVD規格の再生装置は、ネットワークを介してサーバから、Secondary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号を取得可能であり、光ディスクから得られるサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号を、選択的に、サーバから得られたサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号に置き換えて、同期再生できるように構成される。

ところで、１つのプログラムストリーム内の別データ（ビデオとオーディオ、あるいはビデオとサブピクチャ）を同期再生することは従来から知られている（特許文献１参照）。
特開２００４−２２８６２７公報

特許文献１には、特殊再生モードおよび通常再生モードにおいて、ビデオデータとオーディオデータが同期して処理される装置が開示されている。しかし、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（複数の独立コンテンツ：より広義にはマルチＡＶストリーム）の同期再生については開示がない（この同期再生は次世代HD_DVDでは必須事項）。

この発明の課題の１つは、時間関係のないマルチＡＶストリームの同期再生を実現することである。

この発明の一実施の形態に係るマルチＡＶストリームの再生方法は、再生時間情報（PTSまたはEVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成されるものであって、メインオーディオビデオデータ（Main Video stream/Main Audio stream）およびサブオーディオビデオデータ（Sub Video stream/Sub Audio stream）を含むオブジェクトデータ（EVOB Data：P-EVOB/S-EVOB）から、メインオーディオビデオデータおよびサブオーディオビデオデータを同期再生する方法である。この方法では、再生された前記メインオーディオビデオデータおよび前記サブオーディオビデオデータから前記時間情報を取得し（ＳＴ４０５、ＳＴ４１１）、取得した前記メインオーディオビデオデータおよび前記サブオーディオビデオデータの時間情報を用いてデータ再生を行なう（ＳＴ４０３、ＳＴ４１６）ようにしている。

複数の独立コンテンツ（時間的相互関係を持たないメインＡＶデータとサブＡＶデータ）の同期再生を実現できる。

図１は、この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部（HD_DVDのデータフロー）を説明する図である。ここでは、ブルーレーザ等を用いたOptical Disc Drive９０、大容量フラッシュメモリ等を用いたPersistent Storage９２、インターネット等を介してコンテンツプロバイダに接続可能に構成さえたNetwork I/F９４、およびHard Disk Drive９６のうちのいずれか１つ以上から、HD_DVD規格に準拠したマルチＡＶストリームを取り出すことができるようになっている。また、図１の装置全体の動作タイミングはＳＴＣ（System Time Clock）１２０に基づいて決定でき、装置全体の動作はＭＰＵ１３０により制御されるようになっている。

図１の装置のシステム構成に対する入力データ（マルチＡＶストリーム）は、Primary Enhanced Video Object P-EVOB１００、Secondary Enhanced Video Object S-EVOB１０６として提供される。これらのデータは各々Primary Source Filter１０１およびSecondary Source Filter１０７でバッファリングされ、その後Main Demux１０２およびSub Demux１０８に供給される。Main Demux１０２およびSub Demux１０８により振り分けられた（デマルチプレクスされた）データはそれぞれMain Decoders１０３〜１０５およびSub Decoders１０９〜１１０に送られデコードされる。ここで、P-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。同様に、S-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。

Main Decoders１０３〜１０５およびSub Decoders１０９〜１１０のうち、ビデオ系のデコーダ（１０４、１０９）はＭＰＥＧ２、ＭＰＥＧ４、ＶＣ−１等の方法でエンコードされたビデオ情報をデコードする。また、オーディオ系のデコーダ（１０３、１１０）はＭＰＥＧの他にＡＣ−３（Ｒ）、ＤＴＳ（Ｒ）、Ｌ−ＰＣＭ等の方法でエンコードされたオーディオ情報をデコードする。さらに、サブピクチャ系のデコーダ（１０５）はHD_DVD規格で定められた方法（特別な符号を用いたランレングス圧縮）でエンコードされたビットマップ情報をデコードする。

図２は、図１の装置におけるメインデータ／サブデータの再生同期処理（早送り再生制御の場合の例）を行なうシステム（ファームウエア）の概要を説明する図である。図１、図２のシステムにおいて、通常再生（Normal Play）をする場合にはMain Demux１０２（図２では003）に送られたデータを元に時計（ＳＴＣ１２０）が計算され、Sub Demux１０８（図２では014）側も同じＳＴＣ１２０をみることにより同期再生を保証する。

図１、図２の再生システムにおいては、通常再生以外にもSlow再生、Pause、Step、FastForward（FF）、FastReverse（FR）などの再生モードがある。これら再生モードにはNormal、Slow、Pause、Step等のＳＴＣ制御状態とFastForward（FF）、FastReverse（FR）などのＳＴＣ非制御状態（ＳＴＣフリー状態）が存在する。ＳＴＣ制御状態とはＳＴＣ１２０を参照して再生しているモードであり、ＳＴＣ非制御状態（ＳＴＣフリー状態）とはＳＴＣ１２０を参照せずに再生しているモードである。

HD_DVD規格準拠の再生システムではメインデータとサブデータの同期をとるため、ＳＴＣ非制御状態（ＳＴＣフリー状態）の際にも同期を取って再生する必要がある。例えば、早送り（ＳＴＣ非制御／ＳＴＣフリー）から通常再生（ＳＴＣ制御）に遷移する際には、再度メインデータにより生成された時計（ＳＴＣ１２０）を基準として再生を開始する。その際にメインデータよりもサブデータの早送り再生時のデコードスピードが速かった場合は、サブのデータはメインの再生開始時間を通過しているため、サブデータは再生開始時間に戻って再生を開始することになる。そのため、早送り再生時にも同期をとって再生する必要がある。

図２は、ＳＴＣ非制御（ＳＴＣフリー）の際の同期をとるシステムを例示している。すなわち、ＳＴＣフリーではI-picture（MPEG2等）のみ再生するモードとReference Picture（MPEG4-AVC等）のみを再生するモードの２つが存在する。I-pictureのみ再生の場合はEVOBUデータをNavigation（010、019）がデータ送出側（001、012）に要求し、Demux（003、014）にはEVOBUデータのみ送られる。

ＳＴＣ制御状態（NormalPlay、Slow、Pause、Step）からＳＴＣ非制御状態（FF、FR）に遷移する場合は「メイン再生中のデコーダのPTSを取得し、その時間をサブデコーダ側に渡し、その時間の含まれるEVOBUを送り込む」ことにより同期をとることができる。そのための装置構成では、再生制御回路（図１の１２０、１３０）がシステムクロック（ＳＴＣ）を発生するシステムクロック発生器（１２０）を持つ。ここで、オブジェクトデータ（EVOB Data：P-EVOB/S-EVOB）の再生状態には、システムクロック（ＳＴＣ）により再生状態が管理されるシステムクロック制御状態（NormalPlay、Slow、Pause、Step）と、システムクロック（ＳＴＣ）により再生状態が管理されないシステムクロック非制御状態（FF、FR）があり、システムクロック制御状態からシステムクロック非制御状態に遷移する場合は、メインデコーダからサブデコーダに時間情報（PTSまたはEVOBU_S_PTM）に渡して、渡された時間情報に対応するデータユニット（EVOBU）の情報再生が行われるように、再生制御回路（図１の１２０、１３０）が構成される。

ＳＴＣ非制御状態からＳＴＣ制御状態への遷移の際には、一度再生を停止し、再度時計をメインデータより算出し設定することにより、同期を取ることができる。そのための装置構成において、システムクロック非制御状態（FF、FR）からシステムクロック制御状態（NormalPlay、Slow、Pause、Step）に遷移する場合は、オブジェクトデータ（P-EVOB/S-EVOB）の再生を一旦停止し、メインＡＶデータの時間情報を用いてシステクロック（ＳＴＣ）を設定するように構成される。

なお、再生状態がＳＴＣ制御状態（Pause等）からＳＴＣ制御状態（NormalPlay等）への遷移の場合は、遷移の際に時計（ＳＴＣ）を再計算し同期を取り直せばよい。

図３は、図１の装置（図２のシステム）で再生されるマルチＡＶストリームのデータ構造の一例を説明する図である。各EVOBは複数のデータユニット（Enhanced Video Object Unit：EVOBU）群で構成される（図３（ａ））。各EVOBUはその先頭にナビゲーションパックＮＶが配置され、その後に所定数のビデオパックＶ、オーディオパックＡ、副映像（サブピクチャ）パックＳＰが適宜配置される。各EVOBUは、0.4〜1.0秒の再生時間に相当する大きさを持つ（但しEVOB末尾のEVOBUは0.4〜1.2秒の再生時間に相当する大きさ）。図１のOptical Disc Drive９０は、任意のEVOBUにその先頭のＮＶパックからアクセスできるように構成されている。通常再生時（Normal Play）は各EVOBUが順番に再生され（図３（ｂ））、早送り再生（Fast Forward：FF）では一部のEVOBUが飛び飛びに（例えばEVOBUの３つに１つの割合）再生される（図３（ｃ））。

マルチＡＶストリームとしては別々にマルチプレックスされ時間関係のない複数系統のProgram Streamsがあり、HD_DVD規格の場合では、Primary Video Setを構成するPrimary Program StreamsとSecondary Video Setを構成するSecondary Program Streamsがある。Primary Program StreamsにはMain Video Stream、Main Audio Streams、Sub Video Stream、Sub Audio Streams、Sub-picture Streams、Advanced Streamsがある。また、Secondary Program StreamsにはMain Video Stream、Main Audio Stream、Sub Video Stream、Sub Audio Streamがある。これらのStreamsのいずれも、１つのオブジェクト（Enhanced Video Object：EVOB）内で完結する。
Primary Video Setの場合もSecondary Video Setの場合も、Main/Sub Video StreamsはビデオパックＶに格納され、Main/Sub Audio StreamsはオーディオパックＡに格納される。同様にSub-picture StreamsはサブピクチャパックＳＰに格納される。ビデオパックＶは再生タイムスタンプPTSとデコードタイムスタンプDTSを含むヘッダを持ち、オーディオパックＡは再生タイムスタンプPTSを含むヘッダを持ち、サブピクチャパックＳＰも再生タイムスタンプPTSを含むヘッダを持っている。

各EVOBUの先頭に配置されるナビゲーションパックＮＶ（図３（ｄ）ではNV_PCK#n）には全般制御情報（General Control Information）GCIが記録され、このGCIはその一般情報GCI_GI（図３（ｅ））を持つ。そして、このGCI_GIには、それが含まれるＮＶパックを先頭に持つEVOBUの再生開始時間を示す情報EVOBU_S_PTM、表示制御情報DCI、コンテンツ保護情報（コピー制御情報）CPI等が含まれる（図３（ｆ））。

Primary Video Setの情報（P-EVOB）とSecondary Video Setの情報（S-EVOB）の同期再生には、上記GCI内の再生時間情報（EVOBU_S_PTM）を利用することができる。また、Main/Sub Video Streams、Main/Sub Audio Streams間の同期再生（I-picture等の同期再生）には、これらのストリームを格納したパック（Ｖパック、Ａパック）内の再生時間情報（PTS）を利用することができる。

図４は、図２のシステム（ファームウエア）におけるメインデータ／サブデータの再生同期処理の一例（メインデータ／サブデータのＩピクチャのみ同期再生）を説明するフローチャート図である。この処理は、図１のＭＰＵ１３０に装備されたＲＯＭ内にファームウエアとして書き込んでおくことができる。図４は、サブデコーダとメインデータと同期をとって再生する方法を例示している。以下、図２のシステム構成を参照しつつ図４の説明を行なう。

MainNavi（010）は必要なEVOBデータをMain Data（001）に設定し（ステップＳＴ４０１）、設定されたデータをMain Demux（003）はMain Decoder（005）に送出する（ステップＳＴ４０２〜ＳＴ４０４）。Main Navi（010）はMain Decoder（005）で出力されたPTSを取得し（ステップＳＴ４０５）、Sub Navi（019）にPTSを通知する（ステップＳＴ４１１）。Sub Navi（019）は取得したPTSに基づいてそのPTSが含まれるEVOBを算出し（ステップＳＴ４１２〜ＳＴ４１５）、そのEVOBをSubDecoder（016）側に設定する（ステップＳＴ４１６）。

図５は、メインデータ／サブデータの再生同期処理の他例（ナビゲーションパックに含まれるEVOBU_S_PTMを利用した同期再生）を説明するフローチャート図である。この処理は、図１のＭＰＵ１３０に装備されたＲＯＭ内に、ファームウエアとして書き込んでおくことができる。

まず、図１、図２のシステム構成において、システム内の時間パラメータ（Main Data用のMain_S_PTMとSub Data用のSub_S_PTM）のレジスタ（図示せず）をゼロにリセットする（ステップＳＴ５０１）。その後、Main Demux１０２および／またはSub Demux１０８部分において、Main DataおよびSub DataそれぞれのEVOBU内ナビゲーションパックＮＶに含まれる再生時間情報（EVOBU_S_TPM）を取得する。

そして、取得したMain Dataの再生時間情報（EVOBU_S_TPM）の値を時間パラメータMain_S_PTMのレジスタにセットし（ステップＳＴ5０２）、取得したSub Dataの再生時間情報（EVOBU_S_TPM）の値を時間パラメータSub_S_PTMのレジスタにセットする（ステップＳＴ５０３）。なお、これらの時間パラメータレジスタは、図１のＭＰＵ１３０に装備されたＲＡＭエリアの一部に設けることができる。

次に、Main_S_PTMの値とSub_S_PTMの値を比較する（ステップＳＴ５０４）。その比較結果から、Sub Dataの再生開始時点（Sub_S_PTM）でMain Dataの再生開始時間（Main_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ５０４イエス）、その時点でのSub DataのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ５０６）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータSub_S_PTMのレジスタにセットする（ステップＳＴ５０８）。

一方、Main Dataの再生開始時点（Main_S_PTM）でSub Dataの再生開始時間（Sub_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ５０４ノー）、その時点でのMain DataのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ５０５）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータMain_S_PTMのレジスタにセットする（ステップＳＴ５０７）。

以上の動作は、P-EVOBおよび／またはS_EVOBについて、Main DataまたはSub Dataの入力データがある間は継続される（ステップＳＴ５０９ノー）。その間、Main Dataの再生時間情報およびSub Dataの再生時間情報のうちの一方（ＳＴ５０４イエスならEVOBU_S_PTM=Sub_S_PTM；ノーならEVOBU_S_PTM=Main_S_PTM）を用いて後段バッファ（各デコーダ）にデータ供給されることにより、Main DataとSub Dataの足並みが揃った再生（同期再生）が行われる。

ＳＴＣフリー状態ではReference Pictureのみを再生するモードとI-pictureのみ再生するモードが存在する。I-picture再生の場合（図６）もReference Picture再生の場合（図５）と同様に再生が可能である。

図６は、メインデータ／サブデータの再生同期処理のさらに他の例（ＥＶＯＢデータに含まれるＩピクチャの再生タイムスタンプPTSを利用した同期再生）を説明するフローチャート図である。この処理は、図１のＭＰＵ１３０に装備されたＲＯＭ内にファームウエアとして書き込んでおくことができる。この処理では、図５のEVOBU_S_PTMの代わりにI-pictureのPTS（図３（ａ）の例では、ビデオパックＶのヘッダに含まれるPTS）を利用してインデータ／サブデータの再生同期処理を実現している。

まず、図１、図２のシステム構成において、システム内の時間パラメータ（Main DataのI-picture用のMain_Picture_PTSとSub DataのI-picture用のSub_ Picture_PTS）のレジスタ（図示せず）をゼロにリセットする（ステップＳＴ６０１）。その後、Main Demux１０２および／またはSub Demux１０８部分において、Main DataおよびSub DataそれぞれのEVOBU内I-pictureのビデオパックＶに含まれる再生時間情報（タイムスタンプPTS）を取得する。

そして、取得したMain Dataの再生時間情報（PTS）の値を時間パラメータMain_Picture_PTSのレジスタにセットし（ステップＳＴ６０２）、取得したSub Dataの再生時間情報（PTS）の値を時間パラメータSub_Picture_PTSのレジスタにセットする（ステップＳＴ６０３）。なお、これらの時間パラメータレジスタは、図１のＭＰＵ１３０に装備されたＲＡＭエリアの一部に設けることができる。

次に、Main_Picture_PTSの値とSub_Picture_PTSの値を比較する（ステップＳＴ６０４）。その比較結果から、Sub DataのI-picture再生開始時点（Sub_Picture_PTS）でMain DataのI-picture再生開始時間（Main_Picture_PTS）が既に過ぎてしまっていたら（ステップＳＴ６０４イエス）、その時点でのSub DataのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ６０６）。そして、そのEVOBUのI-picture再生時間情報（PTS）を時間パラメータSub_Picture_PTSのレジスタにセットする（ステップＳＴ６０８）。このSub_Picture_PTSの値により図１のＳＴＣ１２０がセットされ、ＳＴＣの制御状態下（通常再生時等）では、再生システム全体がＳＴＣ１２０の管理下で再生動作する。

一方、Main DataのI-picture再生開始時点（Main_Picture_PTS）でSub DataのI-picture再生開始時間（Sub_Picture_PTS）が既に過ぎてしまっていたら（ステップＳＴ６０４ノー）、その時点でのMain DataのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ６０５）。そして、そのEVOBUのI-picture再生時間情報（PTS）を時間パラメータMain_Picture_PTSのレジスタにセットする（ステップＳＴ６０７）。このMain_Picture_PTSの値により図１のＳＴＣ１２０がセットされ、ＳＴＣの制御状態下（通常再生時等）では、再生システム全体がＳＴＣ１２０の管理下で再生動作する。

以上の動作は、P-EVOBおよび／またはS_EVOBについて、Main DataまたはSub Dataの入力データがある間は継続される（ステップＳＴ６０９ノー）。その間、Main DataのI-picture再生時間情報およびSub DataのI-picture再生時間情報のうちの一方（ＳＴ６０４イエスならSub_Picture_PTS= PTS；ノーならMain_Picture_PTS= PTS）を用いてＳＴＣ１２０がセットされることにより、Main DataとSub Dataの足並みが揃った再生（同期再生）が行われる。

＜実施の形態のまとめ＞
＜１＞HD_DVDプレーヤーにおいて、メイン、サブの２つのＡＶストリームがあった際に、これらを同期を取って再生させる。HD_DVDではPrimaryEVOB、SecondaryEVOBを再生する必要があり、これらのデータにmainデコーダ用データ、subデコーダ用データが存在する。ここで、PrimaryEVOB（main、sub）SecondaryEVOB（main、sub）のストリーム再生において同時に再生する必要があるデータはmainデータ１つ、subデータ１つとなる。これらのデータを再生するためにはデコーダが２つ必要となる。PrimaryEVOBファイルとSecondaryEVOBファイルとの接続の間にデータを振り分けるフィルタを設けmain用Demuxsub用Demuxに送出する。

＜２＞通常再生時（ノーマルスピード再生）の際には２つのストリームを制御するためメインデータにより生成された１つの時計を使用して同期を取る。しかし、早送り再生（FF）早戻し再生（FR）の場合には時計制御されていない（ＳＴＣフリー）ため、２つのストリーム間で同期をとる手段が必要となる。（早送りから通常再生に遷移する際には再度メインデータにより生成された時計を基準として再生を開始する。その際にメインデータよりサブデータの早送り再生時のデコードスピードが速かった場合は、サブのデータはメインの再生開始時間を通過しているため、サブデータは再生開始時間に戻って再生を開始することになる。そのため、早送り再生時にも同期をとって再生する必要がある。）そこで、メインデータ再生中のデコーダのPTS（Presentation Time Stamp）を取得し、その時間をサブデコーダ側に渡し、その時間の含まれるEVOBUをサブデコーダへ送り込むことによりメインとサブのデータの同期を取ることが可能になる。

＜３＞＜２＞において同期をとるためのタイムスタンプにNaviPack内のGCIに含まれるEVOBU_S_PTMを使用することができる。

＜４＞あるいは、＜２＞において同期をとるためのタイムスタンプにVideoPack内のI-pictureのPTSを使用することができる。

＜５＞通常再生時においてEVOB間の接続の際などにオーディオギャップなどが存在しメイン側とサブ側の同期がずれる可能性がある。その場合に再生状態が遷移にともない再度同期を取り直す。再生状態の遷移がＳＴＣ制御状態（NormalPlay、Slow、Pause、Step等）からＳＴＣ制御状態の場合は、遷移の際に時計を再計算し同期を取り直す。再生状態の遷移がＳＴＣ非制御状態（ＳＴＣフリー状態：FastForward、FastReverse等）からＳＴＣ制御状態の際には一度再生を停止し、再度時計をメインデータより算出し設定することにより、同期を取ることが可能となる。ＳＴＣ制御状態からＳＴＣ非制御状態（ＳＴＣフリー状態）に遷移する場合は＜２＞の手法を適用し、同期をとることが可能になる。このように２つのコンテンツ（メインとサブ）を同期を取って出力し、また、FF/FRの際にも同期を取って出力するシステムは新規で有用なものである。

なお、この発明は前述した実施の形態に限定されるものではなく、現在または将来の実施段階では、その時点で利用可能な技術に基づき、その要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、この構成要件が削除された構成が発明として抽出され得る。

この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部を説明する図。図１の装置におけるメインデータ／サブデータの再生同期処理を行なうシステム（ファームウエア）の概要を説明する図。図１の装置で再生されるマルチＡＶストリームのデータ構造の一例を説明する図。図２のシステム（ファームウエア）におけるメインデータ／サブデータの再生同期処理の一例（メインデータ／サブデータのＩピクチャのみ同期再生）を説明するフローチャート図。メインデータ／サブデータの再生同期処理の他例（ナビゲーションパックに含まれるEVOBU_S_PTMを利用した同期再生）を説明するフローチャート図。メインデータ／サブデータの再生同期処理のさらに他の例（ＥＶＯＢデータに含まれるＩピクチャの再生タイムスタンプPTSを利用した同期再生）を説明するフローチャート図。

符号の説明

９０…光ディスクドライブ（HD_DVDビデオディスク再生用）；９２…データ記憶装置（大容量フラッシュメモリ等）；９４…ネットワークインターフェイス；９６…ハードディスクドライブ；１０６…プライマリオブジェクトバッファ；１０６…セカンダリオブジェクトバッファ；１０１…プライマリソースフィルタ；１０７…セカンダリソースフィルタ；１０２…メインデマルチプレクサ；１０８…サブデマルチプレクサ；１０４…ビデオデコーダ（メインデータ用）；１０９…ビデオデコーダ（サブデータ用）；１０３…オーディオデコーダ（メインデータ用）；１１０…オーディオデコーダ（サブデータ用）；１０５…サブピクチャデコーダ（メインデータ用）；１２０…システムクロック発生器（ＳＴＣ）；１３０…マイクロコンピュータ（ＭＰＵ）。

Claims

再生時間情報を持つデータユニット群で構成されるものであって、メインオーディオビデオデータおよびサブオーディオビデオデータを含むオブジェクトデータから、メインオーディオビデオデータおよびサブオーディオビデオデータを同期再生する方法において、
再生された前記メインオーディオビデオデータおよび前記サブオーディオビデオデータから前記時間情報を取得し、
取得した前記メインオーディオビデオデータおよび前記サブオーディオビデオデータの時間情報を用いてデータ再生を行なうように構成した再生方法。
前記データユニットはその先頭にナビゲーションパックを持ち、このナビゲーションパックが前記再生時間情報としてこのデータユニットの再生開始時間情報を含み、
前記メインオーディオビデオデータに対する前記再生開始時間情報が前記サブオーディオビデオデータに対する前記再生開始時間情報よりも先行するときは、前記サブオーディオビデオデータに対する前記再生開始時間情報を前記再生時間情報として採用するように構成した請求項１に記載の方法。
前記メインオーディオビデオデータに対する前記再生開始時間情報が前記サブオーディオビデオデータに対する前記再生開始時間情報よりも後になるときは、前記メインオーディオビデオデータに対する前記再生開始時間情報を前記再生時間情報として採用するように構成した請求項２に記載の方法。
前記データユニットは前記再生時間情報として再生タイムスタンプを持つＩピクチャ情報を含み、
前記メインオーディオビデオデータに対する前記再生タイムスタンプが前記サブオーディオビデオデータに対する前記再生タイムスタンプよりも先行するときは、前記サブオーディオビデオデータに対する前記再生タイムスタンプを前記再生時間情報として採用するように構成した請求項１に記載の方法。
前記メインオーディオビデオデータに対する前記再生タイムスタンプが前記サブオーディオビデオデータに対する前記再生タイムスタンプよりも後になるときは、前記メインオーディオビデオデータに対する前記再生タイムスタンプを前記再生時間情報として採用するように構成した請求項４に記載の方法。
再生時間情報を持つデータユニット群で構成されるものであって、メインオーディオビデオデータおよびサブオーディオビデオデータを含むオブジェクトデータから、メインオーディオビデオデータおよびサブオーディオビデオデータを再生する情報再生部と、
再生された前記メインオーディオビデオデータおよび前記サブオーディオビデオデータから前記時間情報を取得し、取得した前記メインオーディオビデオデータおよび前記サブオーディオビデオデータの時間情報を用いてデータ再生を行なう制御をするように構成された再生制御回路と、
再生された前記メインオーディオビデオデータをデコードするメインデコーダと、
再生された前記サブオーディオビデオデータをデコードするサブデコーダとを具備した再生装置。
前記データユニットはその先頭にナビゲーションパックを持ち、このナビゲーションパックが前記再生時間情報としてこのデータユニットの再生開始時間情報を含み、
前記メインオーディオビデオデータに対する前記再生開始時間情報が前記サブオーディオビデオデータに対する前記再生開始時間情報よりも先行するときは、前記サブオーディオビデオデータに対する前記再生開始時間情報を前記再生時間情報として採用するように前記再生制御回路が構成される請求項６に記載の装置。
前記メインオーディオビデオデータに対する前記再生開始時間情報が前記サブオーディオビデオデータに対する前記再生開始時間情報よりも後になるときは、前記メインオーディオビデオデータに対する前記再生開始時間情報を前記再生時間情報として採用するように前記再生制御回路が構成される請求項７に記載の装置。
前記データユニットは前記再生時間情報として再生タイムスタンプを持つＩピクチャ情報を含み、
前記メインオーディオビデオデータに対する前記再生タイムスタンプが前記サブオーディオビデオデータに対する前記再生タイムスタンプよりも先行するときは、前記サブオーディオビデオデータに対する前記再生タイムスタンプを前記再生時間情報として採用するように前記再生制御回路が構成される請求項６に記載の装置。
前記メインオーディオビデオデータに対する前記再生タイムスタンプが前記サブオーディオビデオデータに対する前記再生タイムスタンプよりも後になるときは、前記メインオーディオビデオデータに対する前記再生タイムスタンプを前記再生時間情報として採用するように前記再生制御回路が構成される請求項９に記載の装置。
前記オブジェクトデータは別々にＭＰＥＧエンコードされたプライマリオブジェクトおよびセカンダリオブジェクトを含み、
前記情報再生部が、前記プライマリオブジェクトのデータストリームと前記セカンダリオブジェクトのデータストリームを振り分けるフィルタと、前記フィルタで振り分けられた前記プライマリオブジェクトのデータストリームおよび／または前記セカンダリオブジェクトのデータストリームから前記メインオーディオビデオデータの情報を取り出すメインデマルチプレクサと、前記フィルタで振り分けられた前記プライマリオブジェクトのデータストリームおよび／または前記セカンダリオブジェクトのデータストリームから前記サブオーディオビデオデータの情報を取り出すサブデマルチプレクサとを含んで構成される請求項６ないし請求項１０のいずれか１項に記載の装置。
前記再生制御回路はシステムクロックを発生するシステムクロック発生器を持ち、
前記オブジェクトデータの再生状態には、前記システムクロックにより再生状態が管理されるシステムクロック制御状態と、前記システムクロックにより再生状態が管理されないシステムクロック非制御状態があり、前記システムクロック制御状態から前記システムクロック非制御状態に遷移する場合は、前記メインデコーダから前記サブデコーダに前記時間情報に渡して、渡された時間情報に対応する前記データユニットの情報再生が行われるように前記再生制御回路が構成された請求項６ないし請求項１１のいずれか１項に記載の装置。
前記システムクロック非制御状態から前記システムクロック制御状態に遷移する場合は、前記オブジェクトデータの再生を一旦停止し、前記メインオーディオビデオデータの時間情報を用いて前記システクロックを設定するように構成された請求項１２に記載の装置。