JP2007228609A - 記録媒体、再生装置、記録方法、再生方法、プログラム - Google Patents

記録媒体、再生装置、記録方法、再生方法、プログラム Download PDF

Info

Publication number
JP2007228609A
JP2007228609A JP2007082097A JP2007082097A JP2007228609A JP 2007228609 A JP2007228609 A JP 2007228609A JP 2007082097 A JP2007082097 A JP 2007082097A JP 2007082097 A JP2007082097 A JP 2007082097A JP 2007228609 A JP2007228609 A JP 2007228609A
Authority
JP
Japan
Prior art keywords
time
picture data
stream
video stream
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007082097A
Other languages
English (en)
Other versions
JP4204621B2 (ja
Inventor
Ko Ikeda
航 池田
Tomoyuki Okada
智之 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007082097A priority Critical patent/JP4204621B2/ja
Publication of JP2007228609A publication Critical patent/JP2007228609A/ja
Application granted granted Critical
Publication of JP4204621B2 publication Critical patent/JP4204621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

【課題】スライドショーにおけるランダムアクセスを、高速に実現することができる記録媒体を提供する。
【解決手段】BD-ROMには、AVClipと、Clip情報とが記録されていいる。AVClipは、複数のピクチャデータを含み、Clip情報は、EP_mapと、アプリケーションタイプを示すフラグとを含み、EP_mapは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、AVClipにおける個々のピクチャデータは、EP_mapにおける個々の下位ビットエントリーにてポイントされている。
【選択図】図14

Description

本発明は、ランダムアクセス技術の技術分野に属する発明である。
ランダムアクセス技術とは、デジタルストリームがもつ時間軸上の任意の一時点を、デジタルストリーム上の記録位置に変換して、その記録位置からの再生を開始する技術であり、BD-ROMやDVD-Videoのような、記録媒体に記録されているデジタルストリームを再生するにあたって、なくてはならない基盤技術である。
デジタルストリームは、MPEG2-Video、MPEG4-AVC等の可変長符号化方式により符号化されており、フレーム当たりの情報量にばらつきがある。このことから、ランダムアクセスを実行する際、上述した変換を行うにあたっては、エントリーマップの参照が必要になる。ここでエントリーマップとは、時間軸上の複数のエントリー時刻を、デジタルストリームにおける複数のエントリー位置に対応づけて示す情報であり、エントリーマップにおける複数のエントリー時刻が、1秒という時間精度を有している場合、1秒という時間精度でのランダムアクセスを、高効率に行うことができる。
ビデオストリームに対するランダムアクセスでは、GOPの先頭に存在するI(Intra)ピクチャを探索する必要がある。Iピクチャの探索を支援するような、データ構造については下記の特許文献に記載された先行技術がある。
特開2000-228656号公報
時間軸をもつアプリケーションには、映画の他にスライドショーがある。スライドショーとは、複数の静止画からなり、各静止画が、予め定められた時間軸に沿って再生されるアプリケーションをいう。スライドショーも、再生のための時間軸を有しているので、時間軸上の複数のエントリー時刻を、エントリー位置に対応づけて示しておくことにより、時間軸上の任意の時点から、ストリーム上の記録位置を導くことができ、かかる記録位置からの再生を実行することができる。
ところがスライドショーは、静止画から構成されていることから、映画よりも、高精度なランダムアクセスが要求される。高精度なランダムアクセスとは、1枚先、10枚先というように、“一枚のピクチャ”をアクセス単位にしたランダムアクセスである。ビデオストリームのエントリーマップは、1秒間隔というように、1秒程度の時間精度をもち、この1秒という時間間隔には、20〜30枚のピクチャが包含され得る。そのため、上述したエントリーマップを用いてピクチャ精度でのランダムアクセスを実現しようとすると、エントリーマップの参照だけでは足りず、ストリームに対する解析が必要になる。
ここでの“ストリームの解析”とは、エントリーマップに記載されているエントリー位置から、ピクチャのヘッダを取り出し、このヘッダからピクチャのサイズを読み出して、そのサイズに基づき、次のピクチャの記録位置を特定するという処理を、何回も繰り返し、所望のピクチャの記録位置まで辿りつくというものである。かかる解析は、ストリームに対する高頻度のアクセスを伴うものなので、エントリー位置から3枚先、5枚先のピクチャを読み出すだけでも、相当の時間がかかる。ピクチャ精度のランダムアクセスに相当の時間がかかるため、ユーザ操作に即応して、前後のピクチャを表示させたり、10枚前後のピクチャを表示させうる機能をスライドショーに追加しようとしても、制作者サイドが期待するような、使い勝手にならないという問題点がある。
本発明の目的は、スライドショーにおけるランダムアクセスを、高速に実現することができる記録媒体を提供することである。
上記目的を達成するため、本発明に係る記録媒体は、ビデオストリームと、ストリーム管理情報とが記録された記録媒体であって、ビデオストリームは、複数のピクチャデータを含み、ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされている、ことを特徴としている。
ストリーム管理情報におけるフラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされているので、1枚先、3枚先というように、ピクチャ精度のランダムアクセスが要求されたとしても、ビデオストリームの解析を伴うことなく、ピクチャ精度のランダムアクセスを実現することができる。
時間軸上の任意の時点からビデオストリーム上の記録位置を導くことができ、また、1枚先、3枚先というピクチャ精度でのランダムアクセスを実現することができるので、ユーザ操作に即応して、前後のピクチャを表示させたり、数枚前後のピクチャを表示させうるアプリケーションを制作することができる。
スライドショーに対するエントリーマップのデータ構造が、外観上、動画に対するエントリーマップのデータ構造と同一であっても、再生装置は、動画再生と同じ再生制御を実行しつつ、フラグが、タイムベースドスライドショーのアプリケーションである旨を示している場合のみ、ピクチャ精度のランダムアクセスを実行すればよい。再生装置は、動画再生との互換性を維持する形で、ピクチャ精度のランダムアクセスを実現することができる。これにより、動画再生と、スライドショー再生との両機能を兼備した再生装置の普及を促進することができる。
(第1実施形態)
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図1は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図1において、本発明に係る記録媒体は、BD-ROM100である。このBD-ROM100は、再生装置200、リモコン300、テレビ400により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。
本図の第4段目にBD-ROMを示し、第3段目にBD-ROM上のトラックを示す。本図のトラックは、BD-ROMの内周から外周にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD-ROMの応用層フォーマット(ア
プリケーションフォーマット)を表現すると、図中の第1段目のようになる。この第1段目においてBD-ROMには、Rootディレクトリの下に、BDMVディレクトリがある。
BDMVディレクトリの配下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAM
ディレクトリと呼ばれる3つのサブディレクトリが存在する。
STREAMディレクトリには、いわばデジタルストリーム本体となるファイル群を格納しているディレクトリであり、拡張子m2tsが付与されたファイル(00001.m2ts,00002.m2ts,00003.m2ts)が存在する。
PLAYLISTディレクトリは、拡張子mplsが付与されたファイル(00001.mpls,00002.mpls,00003mpls)が存在する。
CLIPINFディレクトリには、拡張子clpiが付与されたファイル(00001.clpi,00002.clpi,00003.clpi)が存在する。
<AVClipの構成>
続いて拡張子.m2tsが付与されたファイルについて説明する。図3は、拡張子.m2tsが付与されたファイルがどのように構成されているかを模式的に示す図である。拡張子.m2ts
が付与されたファイル(00001.m2ts,00002.m2ts,00003.m2ts・・・・・)は、AVClipを格納している。AVClipは(第4段目)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデ
オストリーム、複数のオーディオフレームからなるオーディオストリームを(第1段目)、PESパケット列に変換し(第2段目)、更にTSパケットに変換して(第3段目)、これらを多
重化することで構成される。
尚、AVClipには、字幕系のプレゼンテーショングラフィクスストリーム(PGストリーム)や対話系のインタラクティブグラフィクスストリーム(IGストリーム)が多重化されることもある。また、テキストコードにより表現された字幕データ(テキスト字幕ストリーム)が、AVClipとして記録されることもある。
続いて、MPEG2-TS形式のデジタルストリームであるAVClipが、BD-ROMにどのように書き込まれるかを説明する。図4は、AVClipを構成するTSパケットがどのような過程を経てBD-ROMに書き込まれるかを示す図である。本図の第1段目にAVClipを構成するTSパケットを示す。
AVClipを構成するTSパケットは、第2段目に示すようにTS_extra_header(図中の「EX」)が付される。
第3段目、第4段目は、BD-ROMの物理単位と、TSパケットとの対応関係を示す。第4段目に示すように、BD-ROM上には複数セクタが形成されている。extra_header付きTSパケ
ット(以下EX付きTSパケットと略す)は、32個毎にグループ化されて、3つのセクタに書き
込まれる。32個のEX付きTSパケットからなるグループは、6144バイト(=32×192)であり、これは3個のセクタサイズ6144バイト(=2048×3)と一致する。3個のセクタに収められた32個のEX付きTSパケットを“AlignedUnit”といい、BD-ROMへの書き込みにあたっては、Aligned Unit単位で暗号化がなされる。
第5段目においてセクタは、32個単位で誤り訂正符号が付され、ECCブロックを構成す
る。再生装置はAligned Unitの単位でBD-ROMをアクセスする限り、32個の完結したEX付きTSパケットを得ることができる。以上がBD-ROMに対するAVClipの書き込みのプロセスである。
<ビデオストリーム>
ビデオストリームの内部構成について説明する。図5は、ビデオストリームの内部構成を示す図である。ビデオストリームには、映画により利用されるものと、スライドショーにより利用されるものの2つのタイプがある。本実施形態において、これら映画、スライ
ドショーで用いられるビデオストリームは何れもMPEG4-AVCで符号化されている点で共通
する。つまり、符号化方式の点において共通するものとする。
図5(a)は、映画に用いられるビデオストリームの内部構成を示す図である。図5(a)におけるビデオストリームは、符号化順序に配置された複数のピクチャからなる。
図中のI,P,Bは、それぞれIピクチャ、Bピクチャ、Pピクチャを意味する。Iピクチャに
は、IDRピクチャと、Non-IDR Iピクチャとの2種類がある。Non-IDRIピクチャ、Pピクチャ、Bピクチャは、他のピクチャとのフレーム相関性に基づき圧縮符号化されている。Bピクチャとは、Bidirectionallypredictive(B)形式のスライスデータからなるピクチャをいい、Pピクチャとは、Predictive(P)形式のスライスデータからなるピクチャをいう。Bピク
チャには、refrenceBピクチャと、nonrefrenceBピクチャとがある。
図5(a)では、Non-IDR Iピクチャを“I”と記述しており、IDRピクチャを“IDR”と記述している。以降、同様の表記を用いる。以上が映画に用いられる、ビデオストリームである。
続いてIDRピクチャ及びNon-IDR Iピクチャの内部構成について説明する。図6(a)は、IDRピクチャの内部構成を示す図である。本図に示すようにIDRピクチャは、複数のIntra形式のスライスデータからなる。図6(b)は、Non-IDRIピクチャの内部構成を示す。IDRピクチャがIntra形式のスライスデータのみから構成されているのに対し、Non-IDR IピクチャはIntra形式のスライスデータ、P形式のスライスデータ、B形式のスライスデータ
から構成されている。図6(c)は、Non-IDRIピクチャにおける依存関係を示す。Non-IDR Iピクチャは、B,Pスライスデータから構成されうるので、他のピクチャとの依存関係をもちうる。
<BD-ROMへの記録>
続いてIDRピクチャ、Non-IDR Iピクチャが、どのようにしてTSパケットに変換され、BD-ROMに記録されるかについて説明する。図7は、IDRピクチャ、Non-IDRIピクチャがTSパ
ケットに変換される過程を示す図である。図中の第1段目は、IDRピクチャ、Non-IDR Iピ
クチャを示す。第2段目は、MPEG4-AVCに規定されたAccessUnitを示す。IDRピクチャ、Non-IDR Iピクチャを構成する複数のスライスデータは、シーケンシャルに配置され、AUD(Access UnitDelimiter),SPS(Sequence Parameter Set),PPS(Picture ParameterSet),SEI(Supplemental Enhanced info)が付加されることにより、Access Unitに変換されることになる。
AUD,SPS,PPS,SEI、Access Unitのそれぞれは、MPEG4-AVCに規定された情報であり、ITU-TRecommendationH.264等の様々な文献に記載されているので、詳細については、これら
の文献を参照されたい。ここで重要であるのは、AUD,SPS,PPS,SEIが再生装置に供給され
ることがランダムアクセスの必須条件になるという点である。
第3段目はNAL unitを示す。第2段目におけるAUD,SPS,PPS,SEIに対し、ヘッダを付加す
ることにより、AUD,SPS,PPS,SEI、スライスデータは、それぞれNAL unitに変換されることになる。NAL unitとは、MPEG4-AVCのネットワーク抽象レイヤ(Network Abstraction Layer)において、規定された単位であり、ITU-T
Recommendation H.264等の様々な文献に記載されているので、詳細についてはこれらの文献を参照されたい。ここで重要であるのは、AUD,SPS,PPS,SEI,スライスデータは、それぞれ独立したNALunitに変換されているので、AUD,SPS,PPS,SEI,スライスデータのそれぞれ
は、ネットワーク抽象レイヤにおいて、それぞれ独立に取り扱われるという点である。
1つのピクチャを変換することで得られた複数のNAL unitは、第4段目に示すようにPES
パケットに変換される。そしてTSパケットに変換されてBD-ROM上に記録される。
1つのGOPを再生するには、そのGOPの先頭に位置するIDRピクチャ、Non-IDR Iピクチャ
を構成するNAL unitのうち、Access UnitDelimiterを含むものをデコーダに投入せねばならない。つまりAccess Unit Delimiterを含むNAL unitが、IDRピクチャ、Non-IDRIピクチャをデコードするための1つの指標になる。このAccess Unit Delimiterを含むNAL unitを、本実施形態では点(Point)として扱う。そして再生装置は、ビデオストリームを再生す
るにあたって、AccessUnit Delimiterを含むNAL unitを、Non-IDR Iピクチャ、IDRピクチャを再生するためのエントリー位置として解釈する。従って、AVClipにおいて、ランダムアクセスを実行するには、IDRピクチャ,Non-IDRIピクチャのAccess Unit Delimiterが何処に存在するかを、把握することが非常に重要になる。以上が映画に用いられる、MPEG4-AVC形式のビデオストリームの構成である。
<スライドショー>
続いて、スライドショーに用いられるビデオストリームについて説明する。図5(b)は、スライドショーに用いられるビデオストリームの内部構成を示す図である。本図に示すように、スライドショーに用いられるビデオストリームは、複数の静止画データから構成される。これらの静止画データは、何れも、IDRピクチャである。つまりスライドショ
ーでは、どのピクチャも単体でデコードされるように、IDRピクチャでデコードされてい
るのである。
本実施形態におけるスライドショーは、ビデオストリームとオーディオストリームとが多重化されており、ビデオストリームにおける個々の静止画が、オーディオストリームの再生進行に沿って再生されるタイプのスライドショー(TimebasedSlideShow)である。
BD-ROMに記録されうるスライドショーには、オーディオストリームが多重されておらず、オーディオストリームの再生とは無関係に、静止画の再生が進行するスライドショー(BrowsableSlideShow)が他に存在する。
これらのうち映画及びTimebased SlideShowは、何れも時間軸をもっているので、これ
らに対象を絞って説明を進めてゆく。
スライドショーを構成するビデオストリームの内部構成について説明する。
図8は、スライドショーにおけるIDRピクチャが、BD-ROMにどのように記録されるかを
図である。BD-ROMへの記録は、図7と同様である。つまりスライドショーを構成するIDR
ピクチャは、複数のスライスデータからなるので、各スライスデータを、動画のIDRピク
チャ同様、NALunitに変換して、BD-ROMに記録するのである。本図に示す記録が、図7の
ものと異なるのは、ピクチャを構成するスライスデータの末尾に、“End ofStreamコード”がある点である。このEnd of Streamコードは、デコーダ動作の凍結(Display Frozen)
を再生装置に命じる終端コードであり、スライスデータと同様、1つのNALunitに変換されてBD-ROMに記録される。
この図8に示すIDRピクチャが、順次デコーダに供給されることにより、図9に示すよ
うに、スライドショーの再生は進行する。図9は、スライドショーの再生進行を示す図で
ある。本図の第4段目は、TSパケット列を示し、第3段目は、この第4段目のTSパケットを
変換することで得られたPESパケット列を示す。第2段目は、スライドショーの時間軸を示し、第1段目は、スライドショーを構成する個々のIDRピクチャを示す。この第1段目のIDRピクチャは、第3段目のPESパケットにおけるPTSに示される時点に表示される。また第3段目のPESパケットには、図8に示したEndof Streamコードがあるので、再生装置は、PESパケットのPTSに示される時点においてIDRピクチャを表示した後、デコーダ動作を凍結した状態(DisplayFrozen)になる。このデコーダ動作の凍結状態は、次のIDRピクチャの表示がなされるまで、継続することになる。PESパケットのPTSに示された時点における表示と、Endof Streamコードによるデコーダ動作凍結とを繰り返すことにより、スライドショーを構成する個々のIDRピクチャは、順次再生されてゆく。以上が、スライドショーの再生進
行である。
<Clip情報>
続いて拡張子.clpiが付与されたファイルについて説明する。拡張子.clpiが付与されたファイル(00001.clpi,00002.clpi,00003.clpi・・・・・)は、Clip情報を格納している。Clip情報は、個々のAVClipについての管理情報である。図10は、Clip情報の内部構成を示す図である。本図の左側に示すようにClip情報は、
i)AVClipファイルの属性情報を格納した『ClipInfo()』、
ii)ATC Sequence,STC Sequenceに関する情報を格納した『Sequence Info()』
iii)Program Sequenceに関する情報を格納した『Program Info()』
iv)『Characteristic Point Info(CPI())』からなる。
図中の引き出し線cu1は、i番目のProgram Sequence(Program Sequence(i))の構成をク
ローズアップしている。本引き出し線に示すように、Program
Sequence(i)に対するProgram Infoは、Stream_PIDと、Stream_Coding_Infoとの組みをNs(i)個配列してなる(図中のStream_PID[i](0)、Stream_Coding_Info(i,0)〜Stream_PID[i](Ns(i)-1)、Stream_Coding_Info(i,Ns(i)-1))。
Stream_PIDは、AVClipを構成する個々のエレメンタリストリームについてのパケット
識別子を示し、Stream_Coding_Infoは、AVClipを構成する個々のエレメンタリストリームについての符号化方式を示す。
図11(a)は、ビデオストリームについてのStream_Coding_Infoを示し、図11(b)は、オーディオストリームについてのStream_Coding_Infoを示す。ビデオストリームのStream_Coding_Infoは、図11(a)に示すように、ビデオストリームの符号化方式が、MPEG4-AVC、MPEG2-Videoの何れであるかを示す『Stream_Coding_type』と、ビデオストリームの表示方式が480i,576i,480p,1080i,720p,1080pの何れであるかを示す『Video_format』,ビデオストリームのフレームレートが23.976Hz,29.97Hz,59.94Hzの何れで
あるかを示す『frame_rate』、ビデオストリームにおけるピクチャのアスペクト比が4:3,16:9の何れであるかを示す『aspect_ratio』を含む。
図11(b)は、オーディオストリームについてのStream_Coding_Infoを示す。本図に示すようにオーディオストリームについてのStream_Coding_Infoは、オーディオストリームの符号化方式がLPCM,Dolby-AC3,Dtsの何れであるかを示す『Stream_Coding_Type』、オーディオストリームの出力形式がステレオ、モノラル、マルチの何れであるかを示す『audio_Presentation_type』、オーディオストリームのサンプリング周波数を示す
『Sampling_Frenquency』、オーディオストリームに対応する言語を示す『audio_language_code』からなる。
このStream_Coding_Infoを参照することにより、AVClipにおける複数のエレメンタリ
ストリームのうち、どれがMPEG4-AVC形式であるかを知得することができる。
<CPI(EP_map)>
図10に戻って、CPIの説明を行う。図中の引き出し線cu2は、CPIの構成をクローズア
ップしている。引き出し線cu2に示すように、CPIはEP_mapからなる。EP_mapは、Ne個のEP_map_for_one_stream_PID(EP_map_for_one_stream_PID(0)〜EP_map_for_one_stream_PID(Ne-1))からなる。これらEP_map_for_one_stream_PIDは、AVClip
に属する個々のエレメンタリストリームについてのEP_mapである。EP_mapは、1つのエ
レメンタリストリーム上において、AccessUnit Delimiterが存在するエントリー位置のパケット番号(SPN_EP_start)を、エントリー時刻(PTS_EP_start)と対応づけて示す情報である。図中の引き出し線cu3は、EP_map_for_one_stream_PIDの内部構成をクロー
ズアップしている。
これによると、EP_map_for_one_stream_PIDは、Nc個のEP_High(EP_High(0)〜EP_High(Nc-1))と、Nf個のEP_Low(EP_Low(0)〜EP_Low(Nf-1))とからなることがわかる
。ここでEP_Highは、AccessUnit(Non-IDR Iピクチャ、IDRピクチャ)のSPN_EP_start及びPTS_EP_startの上位ビットを表す役割をもち、EP_Lowは、AccessUnit(Non-IDR Iピ
クチャ、IDRピクチャ)のSPN_EP_start及びPTS_EP_startの下位ビットを示す役割をもつ。
図中の引き出し線cu4は、EP_Highの内部構成をクローズアップしている。この引き出
し線に示すように、EP_High(i)は、EP_Lowに対する参照値である『ref_to_EP_Low_id[i]』と、AccessUnit(Non-IDR Iピクチャ、IDRピクチャ)のPTSの上位ビットを示す『PTS_EP_High[i]』と、Access Unit(Non-IDR Iピクチャ、IDRピクチャ)のSPNの上位ビットを示す『SPN_EP_High[i]』とからなる。ここでiとは、任意のEP_Highを識別するため
の識別子である。
図中の引き出し線cu5は、EP_Lowの構成をクローズアップしている。引き出し線cu5に
示すように、EP_Lowは、対応するAccess UnitがIDRピクチャか否かを示す『is_angle_change_point(EP_Low_id)』と、対応するAccessUnitのサイズを示す『I_end_position_offset(EP_Low_id)』と、対応するAccess Unit(Non-IDR Iピクチャ、IDRピクチャ)のPTSの下位ビットを示す『PTS_EP_Low(EP_Low_id)』と、対応するAccessUnit(Non-IDR Iピクチャ、IDRピクチャ)のSPNの下位ビットを示す『SPN_EP_Low(EP_Low_id)』とからなる。ここでEP_Low_idとは、任意のEP_Lowを識別するための識別子である。
これらのEP_mapのデータ構造は、基本的には上述した特許文献等に記載されたもので
あり、本明細書ではこれ以上詳しく触れない。
続いて、Clip情報におけるClip infoについて説明する。図12は、Clip情報におけるClip infoの内部構成を示す図である。図中の引き出し線はClipinfo()の構成をクローズアップしている。この引き出し線に示すように、Clip info()は、デジタルストリームの類
型を示す“clip_stream_type”,本AVClipを利用するアプリケーションの類型を示す“application_type”,AVClipの記録レートを示す“TS_recording_rate”,AVClipを構成
するTSパケット数を示す“number_of_source_packet”から構成されていることがわかる。このうちclip_stream_typeは、本Clip情報に対応するAVClipが、MovieApplication,TS for Timebased SlideShow,TS for MainPath of the BrowsableSlideShow,TS for SubPath of the Browsable SlideShowの何れであるかを示す。具体的には、
a)clip_stream_type=1である場合、AVClipの類型は、Movie Applicationであることを示す。
b)clip_stream_type=2である場合、AVClipの類型は、TS for Timebased SlideShow
であることを示す。
c)clip_stream_type=3である場合、AVClipの類型は、TS for MainPath of the BrowsableSlideShowであることを示す。ここで“MainPath”とは、Browsable SlideShowを構成するビデオストリーム−オーディオストリームの組みのうち、ビデオストリームであることを意味する。
d)clip_stream_type=4である場合、AVClipの類型は、TS for SubPath of the Browsable SlideShowであることを示す。ここで“SubPath”とは、BrowsableSlideShowを構成するビデオストリーム−オーディオストリームの組みのうち、オーディオストリームであることを意味する。
図12における矢印ct3,ct4は、このapplication_typeがもたらす副次的な意味内容を示す。副次的な意味内容とは、application_typeがそれぞれの値に設定された際、EP_mapのデータ構造がどのようなものになるかを意味する。
図中の矢印ct4は、application_typeが1,4である場合、EP_mapがどのようなデータ構造になるかを示す。具体的にいうと、application_typeが1,4である場合、EP_mapは、
隣り合う2つのPTS_EP_startの値の間隔が、1秒未満になればよいことを意味する。
図中の矢印ct3は、application_typeが2,3である場合、EP_mapがどのようなデータ構造になるかを示す。具体的にいうと、application_typeが2,3である場合、AVClipの全てのピクチャを指し示すように、PTS_EP_startの値が設定されることを意味する。つまりAVClipの全てのピクチャがEP_mapにて指し示されていることを保証している。
application_typeに、かかる副次的な意味をもたせることの、技術的意義について説
明する。
ここでスライドショーを作成するにあたって、全てのピクチャデータをIDRピクチャに
設定するというというのは、1つの考え方にすぎない。他のピクチャとの相関性を用いて
圧縮されたPピクチャや2枚以上の前後のピクチャとの相関性を用いて圧縮されたBピクチ
ャを用いることで、ビデオストリームを構成してもよい。従ってオーサリング者によっては、PピクチャやBピクチャを用いてスライドショーを構成しようとするかもしれない。
ところがPピクチャやBピクチャは、参照しているピクチャがないとデコードすることができない。そのため、ユーザー操作により、スライドショーを構成する任意のピクチャを再生しようとすると、間近にある参照ピクチャをデコードしてからでないと、所望のピクチャをデコードすることが不可能になる。
所望のピクチャを再生する度に、そのピクチャが参照している全てのピクチャをデコードせねばならないので、PピクチャやBピクチャからスライドショーを構成しようとすると、操作性が悪い、スライドショーを制作することになりかねない。
スライドショーは、動画のように、ある決まった順番で、個々のピクチャデータが再生されるとは限らない。ユーザー操作により、任意のピクチャデータを再生するという処理が必要になる。そこで、本実施形態では、どこからでも再生できることを保証するために、スライドショーを構成するビデオストリームは、単独でデコード可能なイントラ符号化されたIDRピクチャから構成している。つまり、PピクチャやBピクチャからスライドショ
ーを構成するという考えを排斥し、スライドショーを構成する全てのピクチャを、IDRピ
クチャにエンコードしている。
これに伴い、スライドショーにおいては、全てのピクチャのエントリー位置及びエントリー時刻をEP_mapに指し示しておく。こうすることにより、ユーザがどのピクチャデー
タをデコードしようとしても、そのピクチャデータをデコーダに供給するだけで、任意の静止画を再生に供することができる。
ビデオストリームがスライドショーに用いられるものであるか否かは、Clip_Infoにおけるapplication_typeに示されているので、このapplication_typeが“スライドショーを示しているか否か”は、“ビデオストリームを構成する各ピクチャデータの位置及び再生開始時刻が、EP_mapにより示されているか否か”という副次的な意味をもつことにな
る。
Clip_infoのapplication_typeがかかる意味をもつので、再生装置はこれから再生し
ようとするAVClipのClip_infoを参照することにより、ビデオストリームを構成する各ピクチャがIDRピクチャであり他のどのピクチャも参照していないこと、そして、何れのピ
クチャも、EP_mapから指示されていることを再生装置は知得することができる。
故に再生装置は、スライドショーを再生するにあたって、このapplication_typeを参
照することにより、前後のピクチャをデコードせずとも、所望のピクチャをデコードすることができる。
以上が、application_type及びEP_mapの技術的意義である。
以下、具体例を通じて、映画と、スライドショーとのEP_map設定の違いについて説明
する。図13は、映画のビデオストリーム(application_type=1or4)に対するEP_map設
定を示す図である。第1段目は、表示順序に配置された複数のピクチャを示し、第2段目は、そのピクチャにおける時間軸を示す。第4段目は、BD-ROM上のTSパケット列を示し、第3段目は、EP_mapの設定を示す。
第2段目の時間軸において、時点t1〜t7に、Access Unit(Non-IDR Iピクチャ、IDRピク
チャ)が存在するものとする。そしてこれらのt1〜t7のうち、t1〜t3の時間間隔、t3〜t5
の時間間隔、t5〜t7の時間間隔が、1秒程度であるとすると、映画に用いられるビデオス
トリームにおけるEP_mapは、t1〜t7のうち、t1,t3,t5をエントリー時刻(PTS_EP_start)として設定し、これに対応づけて記録位置(SPN_EP_start)を示すよう、設定される。
また、EntryPoint#1〜Entry Point#4のうち、Entry Point#1、Entry Point#3は、IDRピクチャに対応しているので、is_angle_change_pointは“1”に設定される。それ以外のEntryPoint#2、Entry Point#4におけるis_angle_change_pointは、“0”に設定される
図14は、図13におけるEntry Point#1〜Entry Point#5のPTS_EP_start、SPN_EP
_startを、EP_Low、EP_Highの組みで表現したものである。本図の左側にEP_Lowを示
し、右側にEP_Highを示す。
図14左側のEP_Low(0)〜(Nf-1)のうち、EP_Low(i)〜(i+1)のPTS_EP_Lowは、t1,t3,t5,t7の下位ビットを示す。EP_Low(0)〜(Nf-1)のうち、EP_Low(i)〜(i+1)のSPN_EP_Highは、n1,n3,n5,n7の下位ビットを示す。
図14右側は、EP_mapにおけるEP_High(0)〜(Nc-1)を示す。ここでt1,t3,t5,t7は共
通の上位ビットをもっており、またn1,n3,n5,n7も共通の上位ビットをもっているとする
と、この共通の上位ビットが、PTS_EP_High,SPN_EP_Highに記述される。そしてEP_Highに対応するref_to_EP_LOW_idは、t1,t3,t5,t7、n1,n3,n5,n7にあたるEP_Lowのうち、先頭のもの(EP_Low(i))を示すように設定しておく。こうすることにより、PTS_EP
_start、SPN_EP_startの共通の上位ビットは、EP_Highにより表現されることになる
そしてEP_Low(i)〜(i+3)におけるis_angle_change_point(i)〜(i+3)のうち、(i),(i+2)は、対応するAccessUnitがIDRピクチャであるので、is_angle_change_pointは“1”に設定されている。(i+1),(i+3)は、対応するAccessUnitがNon-IDR Iピクチャであるので、is_angle_change_pointは“0”に設定されている。
映画のような動画アプリケーションの場合は一度再生を開始すれば、以降のピクチャを連続的にデコードするため、EP_mapは、すべてのAccess Unitを指定しておく必要はなく、最低限再生開始したい点にのみEP_mapのエントリーが設定されていればよい。このよ
うに映画に用いられるビデオストリームにあたっては、隣り合うPTS_EP_startの値が、1秒未満になるように設定されればよいから、t2,t4,t6に存在するピクチャのように、隣
りのAccessUnitとの時間間隔が0.5秒程度になるAccess Unitについては、その再生時点がPTS_EP_startにて指示されないものも現れる。図15は、図13のビデオストリームに対するランダムアクセスがどのようになされるかを示す図である。
ここで図中のIn_time(=t6)から、ランダムアクセスを実行する場合を考える。図15
では、t6そのものは、PTS_EP_startにより指示されてはおらず、t5が、PTS_EP_startに指示されている。そしてこのt5に対応するEntry_Pointは、is_angle_change_point=1に設定され、IDRピクチャであることを示しているので、このt5の再生時点に位置するIDRピクチャの経由が必要になる。何故なら、IDRピクチャからランダムアクセスのアクセ
ス先までのピクチャをBD-ROMから読み出せば、ランダムアクセスのアクセス先のデコードに必要な全ての参照ピクチャをデコーダ内に準備することができるからである。
図中第4段目のke1は、このt5への経由を象徴的に示している。しかし、ランダムアクセスのアクセスをダイレクトにアクセスできないので、この経由が、ランダムアクセスのオーバーヘッドになる。
続いて、application_typeがスライドショー(application_type=2or3)である場合の
、EP_map設定について説明する。時間軸上の複数の時点(t1〜t7)において、再生がなさ
れるよう、PTSが設定されたIDRピクチャが、スライドショー内に存在するものとする。この場合、このスライドショーに対するEP_map設定は、図16のようになる。図16は、
スライドショーに対し、設定されたEP_mapの内部構成を示す図である。
スライドショーでは、全てのピクチャを指示するようEP_mapを設定するので、EP_mapにおける個々のEntry_Point#1〜#7は、スライドショーにおける個々のIDRピクチャの再
生時点t1,t2,t3,t4,t5,t6,t7を、エントリー時刻(PTS_EP_start)として特定し、エントリー位置(SPN_EP_start)と対応づけていることがわかる。
こうして、各IDRピクチャの再生時点が、エントリー時刻として、EP_mapにより指定されるので、t1〜t7のうち、どれかをランダムアクセスのアクセス先に選ぶ場合でも、先行するIDRピクチャを経由するという迂回のオーバーヘッドが発生することはない。図17
は、時間軸上の一時点へのランダムアクセスを、図16と同様の表記で、示した図である。本図における第1段目〜第4段目は、図16と同様である。第2段目における時点t2,t4,t6のうち、t6をアクセス先にしてランダムアクセスを実行しようとすると、時点t6そのも
のが、PTS_EP_startに指示されているので、先のIDRピクチャを経由することなく、時
点t6にあたる、記録位置(SPN=N6)をアクセスすることができる。
オーバーヘッドの発生がないように、全てのピクチャがIDRピクチャにエンコードされ
、どのピクチャの再生時点も、PTS_EP_startにより指示されているので、スライドショーにおける、時間情報を用いたランダムアクセスを高速に実行することができる。
上述したようなEP_map設定に伴い、CLIP.INFOにおけるApplication_Typeを2又は3に
示しておけば、スライドショーを構成するすべてのピクチャに対してEP_map上にエント
リーが存在することが識別できるので、EP_mapのエントリーを参照することにより、読
み出すデータの範囲が判明し、前後のストリームを余分に解析する必要がなくなる。
以上が、本実施形態にかかるClip情報についての説明である。尚、拡張子“mpls”が付与されたファイルについては、本実施形態での説明を省略し、第2実施形態で説明するものとする。
以上で本発明に係る記録媒体についての説明を終わる。続いて本発明に係る再生装置について説明する。
<再生装置の内部構成>
図18は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生装置は、本図に示す内部構成に基づき、工業的に生産される。本発明に係る再生装置は、主としてシステムLSIと、ドライブ装置という2つのパーツからなり、これらのパーツを装置のキャビネット及び基板に実装することで工業的に生産することができる。システムLSIは、
再生装置の機能を果たす様々な処理部を集積した集積回路である。こうして生産される再生装置は、BDドライブ1、Arrival
time Clock Counter2、Source de-packetetizer3、PID Filter4、Transport Buffer5、MultiplexedBuffer6、Coded Picture Buffer7、ビデオデコーダ8、Decoded Picture
Buffer10、ビデオプレーン11、TransportBuffer12、Coded Data Buffer13、Stream Graphics Processor14、Object Buffer15、CompositionBuffer16、Composition Controller17、Presentation Graphicsプレーン18、CLUT部19、TransportBuffer20、Coded Data Buffer21、Stream Graphics Processor22、Object Buffer23、CompositionBuffer24、Composition Controller25、Intaractive Graphicsプレーン26、CLUT部27、合成部28、合成部29、スイッチ30、NetworkDevice31、Local Storage32、Arrival Time Clock Counter33、Source De-Packetizer34、PIDフィル
タ35、スイッチ36、TransportBuffer37、Elementary Buffer38、オーディオデコーダ39、Transport Buffer40、バッファ41、テキスト字幕デコーダ42、シナリオメモリ43、制御部44、PSRセット46から構成される。本図における内部構成は、MPEGのT-STDモデルをベースとしたデコーダモデルであり、ダウンコンバートを想定した含めたデコーダモデルになっている。本図において一点鎖線で囲んだ部位は、システムLSIと
して、ワンチップ化されている部位を示す。
BD-ROMドライブ1は、BD-ROMのローディング/イジェクトを行い、BD-ROMに対するアクセスを実行して、32個のセクタからなるAlignedUnitをBD-ROMから読み出す。
Arrival time Clock Counter2は、27MHzの水晶発振器(27MHz X-tal)に基づき、Arrival Time Clockを生成する。ArrivalTime Clockとは、TSパケットに付与されたATSの基準となる時間軸を規定するクロック信号である。
Source de-packetetizer3は、BD-ROMから32個のセクタからなるAligned Unitが読み出されれば、Aligned Unitを構成するそれぞれのTSパケットから、TP_extra_headerを取
り外して、TSパケットのみをPIDフィルタ4に出力する。Source
De-Packetizer3によるPIDフィルタ4への出力は、Arrival time Clock Counter2が経時している時刻が、TP_extra_headerに示されるATSになったタイミングになされる。PID
フィルタ4への出力は、ATSに従いなされるので、たとえBD-ROMからの読み出しに1倍速、2倍速といった速度差があっても、PIDフィルタ4へのTSパケット出力は、ArrivalTime Clockが経時する現在時間に従いなされることになる。
PID Filter4は、TSパケットに付加されているPIDを参照することにより、TSパケット
が、ビデオストリーム、PGストリーム、IGストリームの何れに帰属するのかを判定して、TransportBuffer5、Transport Buffer12、Transport Buffer20、Transport Buffer
37のどれかに出力する。
Transport Buffer(TB)5は、ビデオストリームに帰属するTSパケットがPIDフィルタ4
から出力された際、一旦蓄積されるバッファである。
Multiplexed Buffer(MB)6は、Transport Buffer5からElementary Buffer7にビデオ
ストリームを出力するにあたって、一旦PESパケットを蓄積しておくためのバッファであ
る。
Coded Picture Buffer(CPB)7は、符号化状態にあるピクチャ(Non-IDR Iピクチャ、IDRピクチャ、Bピクチャ、Pピクチャ)が格納されるバッファである。
ビデオデコーダ8は、ビデオエレメンタリストリームの個々のフレーム画像を所定の復号時刻(DTS)ごとにデコードすることにより複数フレーム画像を得て、DecodedPicture Buffer10に書き込む。
Decoded Picture Buffer10は、復号されたピクチャが書き込まれるバッファである。
ビデオプレーン11は、非圧縮形式のピクチャを格納しておくためのプレーンである。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモリ領域である。ビデオプレーン11における解像度は1920×1080であり、このビデオプレーン11に格納されたピクチャデータは、16ビットのYUV値で表現された画素データにより構成
される。
Transport Buffer(TB)12は、PGストリームに帰属するTSパケットがPIDフィルタ4か
ら出力された際、一旦蓄積されるバッファである。
Coded Data Buffer(CDB)13は、PGストリームを構成するPESパケットが格納されるバ
ッファである。
Stream Graphics Processor(SGP)14は、グラフィクスデータを格納したPESパケット(ODS)をデコードして、デコードにより得られたインデックスカラーからなる非圧縮状態のビットマップをグラフィクスオブジェクトとしてObject
Buffer15に書き込む。
Object Buffer15は、Stream Graphics Processor14のデコードにより得られたグラフィクスオブジェクトが配置される。
Composition Buffer16は、グラフィクスデータ描画のための制御情報(PCS)が配置さ
れるメモリである。
Graphics Controller17は、Composition Buffer16に配置されたPCSを解読して、解読結果に基づく制御をする。
Presentation Graphicsプレーン18は、一画面分の領域をもったメモリであり、一画
面分の非圧縮グラフィクスを格納することができる。本プレーンにおける解像度は1920×1080であり、PresentationGraphicsプレーン18中の非圧縮グラフィクスの各画素は8ビ
ットのインデックスカラーで表現される。CLUT(Color Lookup Table)を用いてかかるインデックスカラーを変換することにより、PresentationGraphicsプレーン18に格納された非圧縮グラフィクスは、表示に供される。
CLUT部19は、Presentation Graphicsプレーン18に格納された非圧縮グラフィクス
におけるインデックスカラーを、Y,Cr,Cb値に変換する。
Transport Buffer(TB)20は、IGストリームに帰属するTSパケットが一旦蓄積されるバッファである。
Coded Data Buffer(CDB)21は、IGストリームを構成するPESパケットが格納されるバ
ッファである。
Stream Graphics Processor(SGP)22は、グラフィクスデータを格納したPESパケット
をデコードして、デコードにより得られたインデックスカラーからなる非圧縮状態のビッ
トマップをグラフィクスオブジェクトとしてObjectBuffer23に書き込む。
Object Buffer23は、Stream Graphics Processor22のデコードにより得られたグラフィクスオブジェクトが配置される。
Composition Buffer24は、グラフィクスデータ描画のための制御情報が配置されるメモリである。
Graphics Controller25は、Composition Buffer24に配置された制御情報を解読し
て、解読結果に基づく制御をする。
Interactive Graphicsプレーン26は、Stream Graphics Processor(SGP)22によるデコードで得られた非圧縮グラフィクスが書き込まれる。本プレーンにおける解像度は1920×1080であり、IntaractiveGraphicsプレーン26中の非圧縮グラフィクスの各画素は8ビットのインデックスカラーで表現される。CLUT(Color Lookup Table)を用いてかかるインデックスカラーを変換することにより、IntaractiveGraphicsプレーン26に格納された
非圧縮グラフィクスは、表示に供される。
CLUT部27は、Interactive Graphicsプレーン26に格納された非圧縮グラフィクスにおけるインデックスカラーを、Y,Cr,Cb値に変換する。
合成部28はビデオプレーン11に格納された非圧縮状態のフレーム画像と、Presentation Graphicsプレーン18に格納された非圧縮状態のグラフィクスオブジェクトとを合
成させる。かかる合成により、動画像上に、字幕が重ね合わされた合成画像を得ることができる。
合成部29は、Interactive Graphicsプレーン26に格納された非圧縮状態のグラフィクスオブジェクトと、合成部28の出力である合成画像(非圧縮状態のピクチャデータと
、PresentationGraphicsプレーン18の非圧縮グラフィクスオブジェクトとを合成したもの)とを合成する。
スイッチ30は、BD-ROMから読み出されたTSパケット、Local Storage32から読み出
されたTSパケットの何れか一方を、選択的にTransportBuffer20に供給する。
Network Device31は、再生装置における通信機能を実現するものであり、URLにあた
るwebサイトとのTCPコネクション、FTPコネクション等を確立する。
Local Storage32は、様々な記録媒体及び通信媒体から供給されたコンテンツを格納
しておくためのハードディスクである。Network Device31により確立されたコネクションを通じてwebサイトからダウンロードされたコンテンツ等も、このLocalStorage32に
格納される。
Source de-packetetizer34は、Local Storage32から読み出されたAVClipのTSパケ
ットから、TP_extra_headerを取り外して、TSパケットのみをPIDフィルタ35に出力する。Sourcede-packetizer34によるPIDフィルタ35への出力は、Arrival Time Clock Counter33が経時している時刻が、TP_extra_headerに示されるATSになったタイミングになされる。
PIDフィルタ35は、Local Storage32から読み出されたTSパケットを、IGストリームデコーダ側、オーディオデコーダ側、テキスト字幕デコーダ側の何れかに切り換える。
スイッチ36は、BD-ROMから読み出されたTSパケット、Local Storage32から読み出
されたTSパケットのどちらかをオーディオデコーダ39側に許可要求する。
Transport Buffer(TB)37は、オーディオストリームに帰属するTSパケットを蓄積する。
Elementary Buffer(EB)38は、オーディオストリームを構成するPESパケットが格納さ
れるバッファである。
オーディオデコーダ39は、Elementary Buffer38から出力されたPESパケットを復号して、非圧縮形式のオーディオデータを出力する。
Transport Buffer(TB)40は、テキスト字幕ストリームに帰属するTSパケットを蓄積する。
Elementary Buffer(EB)41は、テキスト字幕ストリームを構成するPESパケットが格納されるバッファである。
テキスト字幕デコーダ42は、バッファ41に読み出されたPESパケットをデコードし
て、表示に供する。このデコードは、Local Storage32から別途読み出されるフォント
を用いて、テキスト字幕ストリーム中のテキスト文字列を、ビットマップに展開することでなされる。デコードにより得られたテキスト字幕は、PresentationGraphicsプレーン18に書き込まれる。
シナリオメモリ43は、カレントのClip情報を格納しておくためのメモリである。カレントClip情報とは、BD-ROMに記録されている複数Clip情報のうち、現在処理対象になっているものをいう。
制御部44は、命令ROMと、CPUとからなり、命令ROMに格納されているソフトウェアを
実行して、再生装置全体の制御を実行する。この制御の内容は、ユーザ操作に応じて発生するユーザイベント、及び、PSRセット46における各PSRの設定値に応じて動的に変化する。
PSRセット46は、再生装置に内蔵される不揮発性のレジスタであり、64個のPlayer Status Register(PSR(1)〜(64))と、4096個のGeneralPurpose Register(GPR)とからなる。64個のPlayer Status Register(PSR)は、それぞれ現在の再生時点等、再生装置における
諸状態を示す。64個のPSR(PSR(1)〜(64))のうちPSR(8)は、0〜OxFFFFFFFFの値に設定されることで、45KHzの時間精度を用いて現在の再生時点(カレントPTM)を示す。
以上が再生装置の内部構成である。
続いて制御部44の処理手順について説明する。
制御部44は、MPEG4-AVC形式のビデオストリームの再生時においてランダムアクセス
を実行するよう、BDドライブ1、ビデオデコーダ8を制御する。
一方ランダムアクセスには、タイムサーチがある。タイムサーチとは、“何時何分何秒”に再生せよという時間情報をユーザから受け付けて、指示された再生開始時点にあたる位置から、ビデオストリームを再生する技術である。この際制御部44は、時間情報をBD-ROM上のAccessUnitアドレス(Iピクチャアドレスともいう)に変換するという変換処理を
行い、Access Unitのアドレスを求めてから、そのアドレス以降のTSパケットをBD-ROMか
ら読み出させ、そのTSパケットを順次デコーダに投入する。
これらの制御の根幹にあるのは、時間情報からAccess Unitアドレスを導く処理である
。図19は、映画に用いられるビデオストリームにおいて、時間情報をAccessUnitアドレスに変換する手順を示すフローチャートである。本フローチャートにおいて、ランダムアクセスのアクセス先を示す時間情報をIn_timeと表記している。図19のステップS1では、In_timeをPTS_EP_startとし、ステップS2では、PTS_EP_startに最も近い、EP_High_id、EP_Low_idの組みを求める。ここでEP_High_idとは、In_time以前の時
点を示すEP_Highであって、In_timeに最も近いものを特定する識別子である。一方、EP_Low_idとは、EP_High[EP_High_id]以降、In_time以前の時点を示すEP_Lowであって、In_timeに最も近いものを特定する識別子である。
EP_High_idを求めるため、制御部44は、複数EP_HighのPTS_EP_Highに示される
時間幅を足し合わせてゆく。ここでPTS_EP_Highに示される時間幅とは、PTS_EP_Highを上位ビットとする時間の単位である。そして何個目のEP_High_idにおいて、時間幅の総和ΣがIn_timeを越えるかを判定する。ここでk個目のEP_High_idにおいて、時間幅
の総和ΣがIn_timeを越えた場合、このkから1を減じた数値(k-1)を、EP_High_idとす
る。
EP_Low_idを求めるため、制御部44は、PTS_EP_High(EP_High_id)までの総和Σに、複数EP_LowのPTS_EP_Lowに示される時間幅を足し合わせてゆく。そして何個目のEP_Low_idにおいて、時間幅の総和がIn_timeを越えるかを判定する。ここでh個目のEP
_Low_idにおいて、時間幅の総和がIn_timeを越えた場合、このhから1を減じた数値(h-1)を、EP_Low_idとする。
このようにして求められたEP_High_id及びEP_Low_idの組みにより、In_timeに最
も近いEntry Pointが特定されることになる。
こうしてEP_Low_idを求めれば、ステップS3〜ステップS5からなるループ処理に
移行する。EP_Low_idを変数jに代入した上で(ステップS3)、ステップS4〜ステップS5からなるループ処理を実行するというものである。このループ処理は、ステップS5がYesと判定されるまで、変数jのデクリメント(ステップS4)を繰り返すものである。このステップS5は、変数jにて特定されるEntryPointのis_angle_change_point(PTS_EP_Low[j].is_angle_change_point)が1であるか否かを判定するものであり、変数jに
て特定されるEntryPointのis_angle_change_pointが連続して“0”を示している限り
、このループ処理は繰り返し実行される。
変数jにて特定されるEntry Pointのis_angle_change_pointが“1”になれば、この
ループ処理は終了することになる。ステップS5がYesになれば、変数jをEP_Low_idに
代入し(ステップS6)、このEP_Low_idに最も近いref_to_EP_Low_id[i]を有するEP_High[i]を求める(ステップS7)。こうしてEP_Low_idと、iとが求められれば、SPN_EP_Low[EP_Low_id]と、SPN_EP_High[i]とからSPN_EP_Startを求めて(ステップS
8)、このSPN_EP_Startを、AccessUnitアドレスに変換する(ステップS9)。
ここでSPNは、TSパケットのシリアル番号であるので、このSPNに基づきTSパケットを読み出すには、SPNを相対セクタ数に変換する必要がある。ここで図4に示したように、TS
パケットは32個毎に1つのAlignedUnitに変換され、3つのセクタに記録されるので、SPNを32で割ることにより商を得て、その商を、Access Unitが存在するAligned Unitの番号と
して解釈する。こうして得られたAlignedUnit番号に3を乗ずることにより、SPNに最も近
いAligned Unitのセクタアドレスを求めることができる。こうして得られたセクタアドレスは、1つのAVClipファイルの先頭からの相対セクタ数なので、この相対セクタ数をファ
イルポインタに設定して、AVClipを読み出すことにより、AccessUnitをビデオデコーダ8に読み出すことができる。
図20は、スライドショーに用いられるビデオストリームにおいて、時間情報をAccess
Unitアドレスに変換する手順を示すフローチャートである。
スライドショーでは、ビデオストリームにおける全てのピクチャがIDRピクチャであり
、その再生時点がPTS_EP_startにて指定されているので、図19のステップS3〜ステップS7の処理を行うことなく、In_timeをIDRピクチャのアドレスに変換することがで
きる。具体的にいうなら、S1では、In_timeをPTS_EP_startとし、ステップS2では、PTS_EP_startに最も近い、EP_High_id、EP_Low_idの組みを求めて、SPN_EP_Low[EP_Low_id]と、SPN_EP_High[EP_High_id]とからSPN_EP_Startを求めることに
より(ステップS8)、AccessUnitアドレスを得ればよい(ステップS9)。つまり、Access
Unitアドレスを得るための変換手順が大幅に簡略化されることになる。
ここで、スライドショー再生の場合であっても、図19におけるステップS1の手順を実行する。つまりEP_High_idを求めるため、制御部44は、複数EP_HighのPTS_EP_Highに示される時間幅を足し合わせてゆく。そして何個目のEP_High_idにおいて、時間
幅の総和ΣがIn_timeを越えるかを判定する。ここでk個目のEP_High_idにおいて、時
間幅の総和ΣがIn_timeを越えた場合、このkから1を減じた数値(k-1)を、EP_High_id
とする。
またEP_Low_idを求めるため、制御部44は、PTS_EP_High(EP_High_id)までの総和Σに、複数EP_LowのPTS_EP_Lowに示される時間幅を足し合わせてゆく。そして何個
目のEP_Low_idにおいて、時間幅の総和がIn_timeを越えるかを判定する。ここでh個目のEP_Low_idにおいて、時間幅の総和がIn_timeを越えた場合、このhから1を減じた数
値(h-1)を、EP_Low_idとする。
このようにして求められたEP_High_id及びEP_Low_idの組みにより、In_timeに合
致するEntry Point又は最も近いEntryPointが特定されることになる。
以上の手順により、In_timeに合致するPTS_EP_startが存在する場合、EP_mapにお
けるPTS_EP_startのうち、In_timeに合致するものに対応するSPN_EP_startからのピクチャデータの読み出しと、再生を実行することができる。
EP_mapにおけるPTS_EP_startのうち、当該時点に合致するものが存在しない場合、In_timeに最も近いPTS_EP_startに対応する、SPN_EP_startからのピクチャデータの
読み出しと、再生とを実行することになる。
以上のように本実施形態によれば、ユーザの操作により前後の映像を表示せず、スキップ操作などにより順序に関係なく静止画を表示する必要があるスライドショーにおいて、すべての静止画をIDRピクチャで構成して、EP_mapで指定しておき、ストリーム解析が必要になるようにしている。
また、各Access Unit(Non-IDR Iピクチャ、IDRピクチャ)をEP_mapにおけるEntry_Pointで指定しており、必要なAccessUnitのデータのみを直接アクセスしてデータを読み込み、デコーダに流すことができるため、アクセス効率がよく、表示までの時間も短くてすむ。
なお、前記ビデオストリームを構成する全てのピクチャデータのエントリーアドレスがEP_mapに含まれていることを保証するフラグを、EP_mapあるいは関連するナビゲーション情報内の一箇所に記録していてもよい。
(第2実施形態)
第2実施形態は、スライドショーにおける時間軸上に、チャプターを設定する改良に関する。以降、チャプター定義のための情報について説明する。
このチャプター定義のための情報は、PlayList情報であり、拡張子“mpls”が付与されたファイル内に存在する。以降、PlayList情報について説明する。
<PlayList情報>
拡張子“mpls”が付与されたファイル(00001.mpls,00002.mpls,00003.mpls・・・・・)は、PlayList情報を格納したファイルである。PlayList情報は、AVClipを参照してPlayListと呼ばれる再生経路を定義する情報である。図21は、PlayList情報の構成を示す図であり、本図の左側に示すように、PlayList情報は、複数のPlayItem情報からなる。PlayItemとは、1つ以上のAVClip時間軸上において、In_Time,Out_Timeを指定することで定義
される再生区間である。PlayItem情報を複数配置させることで、複数再生区間からなるPlayList(PL)が定義される。図中の破線hs1は、PlayItem情報の内部構成をクローズアップ
している。本図に示すようにPlayItem情報は、対応するClip情報を示す『Clip_information_file_name』と、対応するAVClipの符号化方式を示す『Clip_codec_indentifier
』と、AVClipの再生を開始すべき時刻を示す『In_time』と、AVClipの再生を終了すべき時刻を示す『Out_time』と、『Still_mode』と、『Still_time』とからなる。図22
は、AVClipと、PlayList情報との関係を示す図である。第1段目はAVClipがもつ時間軸を
示し、第2段目は、PlayListがもつ時間軸(PL時間軸という)を示す。PlayList情報は、PlayItem#1,#2,#3という3つのPlayItem情報を含んでおり、これらPlayItem#1,#2,#3のIn_time,Out_timeにより、3つの再生区間が定義されることになる。これらの再生区間を配列
させると、AVClip時間軸とは異なる時間軸が定義されることになる。これが第2段目に示
すPL時間軸である。このように、PlayItem情報の定義により、AVClipとは異なる時間軸の定義が可能になる。
このPlayList情報を構成する情報要素において特徴的であるのは、Still_mode及びStill_timeである。
『Still_mode』は、In_timeからOut_timeまでのピクチャを再生するにあたって、最後のピクチャデータを静止表示するか否かを示す。“00”に設定された場合、Still_modeは、静止表示を継続しない旨を表し、“01”に設定された場合、Still_modeは、静止表示を有限時間継続する旨を示す。“01”に設定された場合の、静止表示の時間長は、Still_timeに設定される。“02”に設定された場合、Still_modeは、静止表示を無限時間継続する旨を示す。静止表示を無限時間継続する場合の表示解除は、ユーザからの明示の操作による。
『Still_time』は、Still_modeが01に設定された場合、静止表示を継続させる時間長を秒単位で表す。
以上が、本実施形態に係るPlayItem情報についての説明である。続いてPLMark情報についてである。
図23は、第2実施形態に係るPlayList情報の、複数のPLMark情報の内部構成を示す図である。図23におけるPLmark情報(PLmark())は、PL時間軸のうち、任意の区間を、チャプター点として指定する情報である。図23の引き出し線pm1に示すようにPLmark情報は
、『ref_to_PlayItem_Id』と、『mark_time_stamp』とを含む。図24は、PLmark情報によるチャプター定義を示す図である。本図において第1段目は、AVClip時間軸を示し
、第2段目はPL時間軸を示す。図中の矢印pk1,2は、PLmark情報におけるPlayItem指定(ref_to_PlayItem_Id)と、一時点の指定(mark_time_stamp)とを示す。これらの指定によりPL時間軸には、3つのチャプター(Chapter#1,#2,#3)が定義されることになる。以上がPLmarkについての説明である。
図25は、PlayList情報によるスライドショーの指定を示す図である。本図の第2段目
は、PlayItem情報を示す。この第2段目は、6つのPlayItem情報#1〜#6からなる。図中の矢印yt1,2,3,4,5,6は、PlayItem情報におけるIn_time、Out_timeによる指定を象徴的に示し、矢印st1,2,3,4,5,6は、Still_Timeによる指定を象徴的に示す。この矢印からもわかるようにPlayItem情報は、ビデオストリームにおける個々のピクチャデータを指定するよう設定されている。またStill_Timeは、後続するピクチャデータを表示するまでの間隔
を示すよう、設定されている。このようにスライドショーを構成する個々のピクチャデータは、それぞれ6つのPlayItem情報により、再生開始点及び再生終了点として指定されて
いるのである。
図25の第1段目は、PLMark情報を示す。この第1段目には、6つのPLMark情報#1〜#6が
存在する。矢印kt1,2,3,4,5,6は、PLMark情報のref_to_PlayItem_Idによる指定を示す。この矢印からもわかるように、PLMark情報のref_to_PlayItem_Idは、PlayItem情報
のそれぞれを指定していることがわかる。
続いてPlayItem情報による再生について説明する。スライドショーにおける個々のピクチャデータが、PlayItem情報及びPLMark情報により指定されているので制御部44は、PlayItem情報のIn_time、Out_timeを、EP_mapを用いて、AVClipにおけるSPNに変換し、
そしてそのSPNに存在するピクチャデータをデコーダに投入する。こうすることにより、PlayItem情報のIn_time、Out_timeにて指定されているピクチャデータが表示されることになる。その後、Still_Timeに示されている期間だけ、表示の静止を継続する。以上の
ような処理を、全てのPlayItem情報について繰り返すことにより、本実施形態に係る制御部44は、スライドショーを再生する。
スライドショーを構成する個々のピクチャデータは、PlayItem情報及びPLMark情報を用いて指定されているので、チャプタースキップやチャプターサーチというような機能により、前後のピクチャデータを再生させてゆくことができる。
チャプターサーチ機能とは、PLMark情報に記述されているref_to_PlayItem_Idに対
応するPlayItem情報を、複数のPlayItem情報の中から特定して、特定したPlayItem情報が定義されているAVClipにおいて、PLMark情報に記述されたmark_time_stampに示される
位置からのランダムアクセスを行うものであり、この際、制御部44は、複数のEntryPointのうち、PLMark情報に記述されたmark_time_stampに最も近いPTS_EP_startをもつEntry Pointを特定して、特定したEntryPointのSPN_EP_startに対応するAccess Unitア
ドレスからの再生を行わせる。
チャプタースキップは、現在の再生位置にあたるチャプターの直前又は直後のチャプターを規定するPLMark情報を特定して、そのPLMark情報に対するチャプターサーチを実行するものである。上述のように、PLMark情報のmark_time_stampにて指定されるピクチャ
は、IDRピクチャにエンコードされており、is_angle_change_point“=1”に設定され
たEntryPointのPTS_EP_startは、このIDRピクチャの再生時刻を示しているので、Entry
PointのSPN_EP_startに示される位置以降のピクチャを読み出すことにより、IDRピク
チャをビデオデコーダ8に供給することができる。
以降、フローチャートを参照しながら、チャプターサーチ及びチャプタースキップの処理手順について説明する。図26は、チャプターサーチの処理手順を示すフローチャートである。
本フローチャートにおいて先ずチャプターメニューにおけるチャプター選択を待ち(ス
テップS124)、チャプター選択がなされれば、選択されたチャプターにあたるPLMark
情報をカレントPlayListMarkとする(ステップS125)。ステップS126では、カレントPlayListMarkのref_to_PlayItem_Idに記述されているPIを、PlayItem#xに設定し、
ステップS127では、PlayItem#xのClip_information_file_nameで指定されるClip
情報を読み込む。ステップS128では、カレントClip情報のEP_mapを用いて、カレン
トPlayListMarkのmark_time_stampを、AccessUnitアドレスuに変換する。ここでPLMark情報のmark_time_stampで指示されているピクチャは、is_angle_change_point“=1
”に設定されたEntryPointにより指示されている。そのため、Access Unitアドレスuは、IDRピクチャのアドレスを指示することになる。
一方ステップS129では、PlayItem#xのOut_timeを,カレントClip情報のEP_mapを
用いて,Access Unitアドレスvに変換する。ステップS130は、カレントPlayListMark
のmark_time_stampからPlayItem#xのOut_timeまでの出力をデコーダに命じる。以上がチャプターサーチの処理手順である。続いてチャプタースキップの処理手順について説明する。図27は、チャプタースキップの処理手順を示すフローチャートである。
ステップS131はリモコンに対するSkipNextキー、SkipBackキーに対する操作待ちを行う。もし操作がなされれば、ステップS132を実行する。ステップS132は、押下されたのがSkipNextキーであるか、SkipBackキーであるかの判定であり、SkipBackキーであるならステップS133において方向フラグを-1に設定し、SkipNextキーであるならステップS134において方向フラグを+1に設定する。
ステップS135は、カレントPI及びカレントPTMを変換して、カレントPLMarkを特定
するステップであり、ステップS136は、カレントPLMarkの番号に方向フラグの値を足した番号を、カレントPlayListMarkの番号として設定する。ここでSkipNextキーであるなら方向フラグは+1に設定されているのでカレントPlayListMarkはインクリメントされることになる。SkipBackキーであるなら方向フラグは-1に設定されているので、カレントPlayListMarkはデクリメントされることになる。このようにしてPLMark情報を設定すれば、図25同様、ステップS126〜ステップS130の処理手順を実行することにより、TSパケット読み出しを行う。
以上がPLMark情報に基づく、再生を行う際の再生装置の処理手順である。
ここで図25に示したビデオストリームに対し、PLMarkを設定する場合の設定例について説明する。スライドショーにおいて再生されうる各静止画が、第1段目における6つのPLMark#1〜#6にて指定されているので、本図の時点t1,t2,t3,t4,t5,t6の静止画が、チャプ
ターサーチ及びチャプタースキップの対象になりうる。
また、第4段目の時間軸における、それぞれの時点t1,t2,t3,t4,t5,t6は、何れも、第
5段目のEP_mapにおいて、PTS_EP_startとして指定されるので、チャプターサーチ及
びチャプタースキップにあたっては、“先のIDRピクチャを経由する”との迂回を行うこ
となく、所望のチャプターへのランダムアクセスを実行することができる。チャプターサーチ及びチャプタースキップを実行するにあたって、先のIDRピクチャの経由を行うこと
なく、所望の静止画を読み出すことができるので、スライドショーであっても、チャプターサーチ及びチャプタースキップを、高効率に実行することができる。
以上のように本実施形態によれば、チャプターサーチ及びチャプタースキップを実行するにあたって、先のIDRピクチャの経由を行うことなく、所望の静止画を読み出すことが
できるので、スライドショーであっても、チャプターサーチ及びチャプタースキップを、高効率に実行することができる。
(第3実施形態)
本実施形態は、第1実施形態、第2実施形態の応用であり、対話的な制御をスライドショーに導入するものである。かかる対話制御を導入するため、AVClipは、図3に示したビデオストリーム及びオーディオストリームの他に、IGストリームを多重化した構成になっている。図28は、第3実施形態に係る、AVClipの構成を示す図であり、本図に示すようにAVClipは(中段)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム
、複数のオーディオフレームからなるオーディオストリームを(上1段目)、PESパケット
列に変換し(上2段目)、更にTSパケットに変換し(上3段目)、同じく対話系のインタラクティブグラフィクスストリーム(下2段目のIGストリーム)をTSパケットに変換して(下3段
目)、これらを多重化することで構成されていることがわかる。図29は、IGストリーム
の内部構成を示す図である。
インタラクティブグラフィクスストリームは、ICS(Interactive Composition Segment)、PDS(PaletteDifinition Segment)、ODS(Object Definition Segment)、END(END of Display SetSegment)と呼ばれる機能セグメントからなる。
ODS(Object Definition Segment)は、ボタンを描画するにあたっての絵柄のグラフィクスを定義するグラフィクスデータである。
PDS(Palette Difinition Segment)は、グラフィクスデータの描画にあたっての、発色
を規定する機能セグメントである。
ICS(Interactive Composition Segment)は、ユーザ操作に応じてボタンの状態を変化させるという対話制御を規定する機能セグメントである。
図29(b)は、ICSの内部構成を示す図である。ICSは、複数のボタン情報からなる。ボタン情報は、対話制御画面における個々のボタンに対応するものである。具体的にいうと、対応するボタンにフォーカスが存在する状態において、移動キーの押下がなされた場合、どのボタンにフォーカス移動を移動させるかを示す『neighbor_info』と、対応するボタンのノーマル状態、セレクテッド状態といった各状態を、どのODSで表現するかを示
す『state_info』と、対応ボタンの確定時において、再生装置に実行させるべき『ナビ
ゲーションコマンド』とからなる。
以上説明したIGストリームのデータ構造は、以下の公知文献に記載されている内容を要約したものである。より、詳しい技術内容については、以下の公知文献を参照されたい。
国際公開公報WO 2004/077826号公報
以降、ICSの具体例について説明する。
ここでICSが、state_info、neighbor_info、ナビゲーションコマンドは、図30に示すように設定されているものとする。図30は、スライドショーにおける対話制御を規定するICSの一例を示す図である。
1.state_info
Button_info(0)のstate_infoは、Button_info(0)に対応するボタン(“top”ボタン)がノーマル状態である場合、“top”が付された三角図形を描画するよう規定されている
。また“top”ボタンにフォーカスが存在する場合(セレクテッド状態である場合)、“top”が付された三角図形を強調態様で描画するよう規定されている。かかる規定により、“top”ボタンは、先頭の静止画へのスキップを意図する、“top”ボタンとして扱われることになる。
Button_info(1)のstate_infoは、Button_info(1)に対応するボタン(“+1”ボタン)
がノーマル状態である場合、“+1”が付された三角図形を描画するよう規定されている。また“+1”ボタンがセレクテッド状態である場合、“+1”が付された三角図形を強調態様で描画するよう規定されている。かかる規定により、“+1”ボタンは、1つ後の静止画へ
のスキップを意図する、“+1”ボタンとして扱われることになる。
Button_info(2)のstate_infoは、Button_info(2)に対応するボタン(“-1”ボタン)
がノーマル状態である場合、“-1”が付された三角図形を描画するよう規定されている。また“-1”ボタンがセレクテッド状態である場合、“-1”が付された三角図形を強調態様で描画するよう規定されている。かかる規定により、“-1”ボタンは、1つ前の静止画へ
のスキップを意図する、“-1”ボタンとして扱われることになる。
Button_info(3)のstate_infoは、Button_info(3)に対応するボタン(“+10”ボタン)がノーマル状態である場合、“+10”が付された三角形を描画するよう規定されている。
また“+10”ボタンがセレクテッド状態である場合、“+10”を強調態様で描画するよう規定されている。かかる規定により、“+10”ボタンは、10枚後の静止画へのスキップを意
図する、“+10”ボタンとして扱われることになる。
Button_info(4)のstate_infoは、Button_info(4)に対応するボタン(“-10”ボタン)がノーマル状態である場合、“-10”が付された三角形を描画するよう規定されている。
また“-10”ボタンがセレクテッド状態である場合、“-10”を強調態様で描画するよう規定されている。かかる規定により、“-10”ボタンは、10枚前の静止画へのスキップを意
図する、“-10”ボタンとして扱われることになる。
ここで、図31(a)に示すように、“top”ボタン〜“-10”ボタンのstate_infoに
より指定されるグラフィクスは、IGストリームにおいてODS内に存在するものとする。state_infoがこのような内容に設定されており、そしてICSにおけるPTSが、図31(b)に示すように、時間軸において、x枚目のピクチャが表示される時点txを指し示しているも
のとする。そうすると、ビデオストリームの再生時点が、時点tx到達すると、図31(c)のようなメニューが、x枚目の静止画と合成されて表示されることになる。
2.ICSにおけるneighbor_info
図30において、各オブジェクトBのneighbor_infoを参照すると
Button_info(0)のneighbor_infoは、左キー押下時に“2”の番号を有する“-1”ボタンにフォーカスを移動し、右キー押下時に“1”の番号を有する“+1”ボタンにフォーカ
スを移動するよう規定され、
Button_info(1)のneighbor_infoは、上キー押下時に“0”の番号を有する“top”ボ
タンにフォーカスを移動するよう規定され、左キー押下時に“2”の番号を有する“-1”
ボタンにフォーカスを移動し、右キー押下時に3の番号を有する“+10”ボタンにフォーカスを移動するよう規定されている。
Button_info(2)のneighbor_infoは、左キー押下時に4の番号を有する“-10”ボタン
にフォーカスを移動し、右キー押下時に“1”の番号を有する“+1”ボタンにフォーカス
を移動するよう、上キー押下時に“0”の番号を有する“top”ボタンにフォーカスを移動するよう規定され、
Button_info(3)のneighbor_infoは、左キー押下時に“1”の番号を有する“+1”ボタンにフォーカスを移動するよう規定されている。
Button_info(4)のneighbor_infoは、右キー押下時に“2”の番号を有する“-1”ボタンにフォーカスを移動するよう規定されている。
以上のneighbor_infoの規定により、図32に示すような状態遷移を実現することができる。図32は、スライドショーで表示されるメニューにおける状態遷移を示す図である。
つまり、“+1”ボタンにフォーカス移動が存在する状態において、左キーが押下された場合、“-1”ボタンにフォーカス移動を移動させることができる(hh1)。
“+1”ボタンにフォーカス移動が存在する状態において、右キーが押下された場合、“+10”ボタンにフォーカス移動を移動させることができる(hh2)。更に、“+10”ボタンに
フォーカス移動が存在する場合において、左キーが押下された場合、“+1”ボタンにフォーカス移動を戻すことができる(hh4)。“+1”ボタンにフォーカス移動が存在する状態に
おいて、上キーが押下された場合、“top”ボタンにフォーカス移動を移動させることが
できる(hh3)。
上述したように、“top”ボタン、“+1”ボタン、“-1”ボタン、“+10”ボタン、“-10”ボタンは、先頭、1枚後、1枚前、10枚後、10枚前へのスキップを意図するものである
。またこれらのボタンの表示時において、ユーザによる上下左右キーの押下に従い、ボタン上のフォーカス移動を移動するので、“+1”ボタン〜“-10”ボタンのうち任意のもの
を、ユーザは選択対象にすることができる。
3.ICSにおけるナビゲーションコマンド
Button_info(0)のナビゲーションコマンドは、“top”ボタンに対し確定操作がなされた場合、Jmp PLMark(1)を実行するよう規定されている。
Button_info(1)のナビゲーションコマンドは、“+1”ボタンに対し確定操作がなされ
た場合、Jmp PLMark(x+1)を実行するよう規定されている。
Button_info(2)のナビゲーションコマンドは、“-1”ボタンに対し確定操作がなされ
た場合、Jmp PLMark(x-1)を実行するよう規定されている。
Button_info(3)のナビゲーションコマンドは、“+10”ボタンに対し確定操作がなされた場合、Jmp PLMark(x+10)を実行するよう規定されている。
これらのナビゲーションコマンドは、PLMarkを分岐先に指定するものである。PLMarkについての括弧内の数値は、分岐先となるピクチャを特定する。つまりPLMark(1)は、1枚目のピクチャを指し示すPLMarkであり、PLMark(x+1)は、x+1枚目のピクチャを指し示すPLMarkである。PLMark(x-1)は、x-1枚目のピクチャを指し示すPLMarkである。PLMark(x+10)は、x+10枚目のピクチャを指し示すPLMarkである。PLMark(x-10)は、x-10枚目のピクチャを指し示すPLMarkである。
各ボタン情報におけるナビゲーションコマンドは、これらのPLMark(1),(x+1),(x-1),(x+10),(x-10)を分岐先に指定するものであるから、各ボタンの確定時において、x枚目の静止画から、1枚目の静止画,x+1枚目の静止画,x-1枚目の静止画,x+10枚目の静止画,x-10枚
目の静止画へのランダムアクセスがなされることになる。
図30のようなフォーカス移動により、ユーザは任意のボタンにフォーカス移動を移動させることができるので、どれかのボタンにフォーカス移動がある状態で、ユーザが確定操作を行った場合、その確定操作がなされたボタンに対応するナビゲーションコマンドを、再生装置に実行させて、図32に示すような分岐を実行させることができる。図33は、スライドショーのナビゲーションコマンドによる分岐を示す図である本図の第1段目は
、スライドショーを構成する複数のピクチャと、これらピクチャへの分岐を示す。第2段
目は、スライドショーの時間軸であり、第3段目は、第2段目のピクチャ列に対し、設定されたエントリーマップを、第4段目は、BD-ROM上のTSパケット列を示す。
本図の第1段目の矢印は、図30に示した各ナビゲーションコマンド(JmpPLMark(1),JmpPLMark(x+1),JmpPLMark(x-1),JmpPLMark(x+10),JmpPLMark(x-10))による分岐を象徴的に
示す。この分岐により、先頭の静止画、1枚後の静止画、1枚前の静止画、10枚後の静止画、10枚前の静止画が再生されることになる。これらの分岐は、図30に示したナビゲーションコマンドに基づものなので、かかる分岐により、ユーザは自身の操作により、任意の静止画を再生させることができる。
ここで、先頭の静止画、1枚後の静止画、1枚前の静止画、10枚後の静止画、10枚前の静止画のそれぞれの再生時点が、EP_mapにおいて、PTS_EP_startとして指定されている
とすると、ストリームに対する解析を伴うことなく、所望のアクセス位置へのランダムアクセスを実行することができる。ナビゲーションコマンドによる対話的な再生にあたって、間近のエントリー位置の経由を行うことなく、所望の静止画を読み出すことができるので、対話的な再生を、高効率に実行することができる。
(備考)
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。 本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
(A)全ての実施形態では、本発明に係る記録媒体をBD-ROMとして実施したが、本発明の
記録媒体は、記録されるEP_mapに特徴があり、この特徴は、BD-ROMの物理的性質に依存
するものではない。EP_mapを記録しうる記録媒体なら、どのような記録媒体であっても
よい。例えば、DVD-ROM,DVD-RAM,DVD-RW,DVD-R,DVD+RW,DVD+R,CD-R,CD-RW等の光ディスク、PD,MO等の光磁気ディスクであってもよい。また、コンパクトフラッシュ(登録商標)カード、スマートメディア、メモリスティック、マルチメディアカード、PCM-CIAカード等
の半導体メモリカードであってもよい。フレキシブルディスク、SuperDisk,Zip,Clik!等
の磁気記録ディスク(i)、ORB,Jaz,SparQ,SyJet,EZFley,マイクロドライブ等のリムーバブルハードディスクドライブ(ii)であってもよい。更に、機器内蔵型のハードディスクであってもよい。
(B)全ての実施形態における再生装置は、BD-ROMに記録されたAVClipをデコードした上
でTVに出力していたが、再生装置をBD-ROMドライブのみとし、これ以外の構成要素をTVに具備させてもよい。この場合、再生装置と、TVとをIEEE1394で接続されたホームネットワークに組み入れることができる。また、実施形態における再生装置は、テレビと接続して利用されるタイプであったが、ディスプレィと一体型となった再生装置であってもよい。更に、各実施形態の再生装置において、処理の本質的部分をなすシステムLSI(集積回路)
のみを、実施としてもよい。
(C)各フローチャートに示したプログラムによる情報処理は、ハードウェア資源を用い
て具体的に実現されていることから、上記フローチャートに処理手順を示したプログラムは、単体で発明として成立する。全ての実施形態は、再生装置に組み込まれた態様で、本発明に係るプログラムの実施行為についての実施形態を示したが、再生装置から分離して、各実施形態に示したプログラム単体を実施してもよい。プログラム単体の実施行為には、これらのプログラムを生産する行為(1)や、有償・無償によりプログラムを譲渡する行
為(2)、貸与する行為(3)、輸入する行為(4)、双方向の電子通信回線を介して公衆に提供
する行為(5)、店頭、カタログ勧誘、パンフレット配布により、プログラムの譲渡や貸渡
を、一般ユーザに申し出る行為(6)がある。
(D)各実施形態におけるデジタルストリームは、BD-ROM規格のAVClipであったが、DVD-Video規格、DVD-Video Recording規格のVOB(VideoObject)であってもよい。VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818-1規格準拠のプログラムストリームである。またAVClipにおけるビデオストリームは、MPEG4やWMV方式であってもよい。更にオーディオストリームは、Linear-PCM方式、Dolby-AC3方式
、MP3方式、MPEG-AAC方式、dts方式であってもよい。
(E)第1実施形態におけるスライドショーは、TS for Timebased SlideShowであること
を前提にして説明を行ったが、TS forMainPath of the Browsable SlideShowに用いられ
るAVClipや、SubPath of the BrowsableSlideShowに用いられるAVClipであってもよい。
つまりTS for MainPath of the Browsable SlideShowに用いられるAVClipに対応するClip情報において、各ピクチャの再生時点及び記録位置を示すようEP_mapを設定しておいて
もよい。
(F)各実施形態ではMPEG4-AVC(H.264やJVTとも呼ばれる)をもとに説明したが、MPEG
2ビデオストリームであってもよく、また、その他の形式の画像形式(VC-1)の場合でも単独でデコード可能な画像であれば、容易に応用可能である。
本発明に係る記録媒体及び再生装置は、ホームシアターシステムでの利用のように、個人的な用途で利用されることがありうる。しかし本発明は、上記実施形態に内部構成が開示されており、この内部構成に基づき量産することが明らかであるので、本発明に係る記録媒体及び再生装置は、工業製品の生産分野において生産し、又は、使用することができる。このことから本発明に係る記録媒体及び再生装置は、産業上の利用可能性を有する。
本発明に係る記録媒体の使用行為についての形態を示す図である。 BD-ROMの内部構成を示す図である。 拡張子.m2tsが付与されたファイルがどのように構成されているかを模式的に示す図である。 AVClipを構成するTSパケットがどのような過程を経てBD-ROMに書き込まれるかを示す図である。 (a)映画に用いられるビデオストリームの内部構成を示す図である。 (b)スライドショーに用いられるビデオストリームの内部構成を示す図である。 (a)IDRピクチャの内部構成を示す図である。 (b)Non-IDR Iピクチャの内部構成を示す。 (c)Non-IDR Iピクチャにおける依存関係を示す。 IDRピクチャ、Non-IDR IピクチャがTSパケットに変換される過程を示す図である。 スライドショーにおけるIDRピクチャが、BD-ROMにどのように記録されるかを図である。 スライドショーの再生進行を示す図である。 Clip情報の内部構成を示す図である。 (a)ビデオストリームについてのStream_Coding_Infoを示す。 (b)オーディオストリームについてのStream_Coding_Infoを示す。 Clip情報におけるClip infoの内部構成を示す図である。 映画のビデオストリームに対するEP_map設定を示す図である。 図13におけるEntry Point#1〜Entry Point#5のPTS_EP_start、SPN_EP_startを、EP_Low、EP_Highの組みで表現したものである。 図13のビデオストリームに対するランダムアクセスがどのようになされるかを示す図である。 スライドショーに対し、設定されたEP_mapの内部構成を示す図である。 時間軸上の一時点へのランダムアクセスを、図16と同様の表記で、示した図である。 本発明に係る再生装置の内部構成を示す図である。 映画に用いられるビデオストリームにおいて、時間情報をIピクチャアドレスに変換する手順を示すフローチャートである。 スライドショーに用いられるビデオストリームにおいて、時間情報をIピクチャアドレスに変換する手順を示すフローチャートである。 PlayList情報の構成を示す図である。 AVClipと、PlayList情報との関係を示す図である。 第2実施形態に係るPlayList情報の、複数のPLMark情報の内部構成を示す図である。 PLmark情報によるチャプター定義を示す図である。 スライドショーで用いられるビデオストリームに対する、PLMark設定の具体例を示す図である。 チャプターサーチの処理手順を示すフローチャートである。 チャプタースキップの処理手順を示すフローチャートである。 第3実施形態に係る、AVClipの構成を示す図である。 (a)IGストリームの内部構成を示す図である。 (b)ICSの内部構成を示す図である。 スライドショーにおける対話制御を規定するICSの一例を示す図である。 (a)〜(c)ビデオストリームの再生時点が、時点txに到達した際、表示されるメニューを示す図である。 スライドショーで表示されるメニューにおける状態遷移を示す図である。 スライドショーのナビゲーションコマンドによる分岐を示す図である。
符号の説明
1 BDドライブ
2 Arrival time Clock Counter
3 Source de-packetetizer
4 PID Filter4
5 Transport Buffer5
6 Multiplexed Buffer6
7 Coded Picture Buffer7
8 ビデオデコーダ8
10 Decoded Picture Buffer10
11 ビデオプレーン11
12 Transport Buffer12
13 Coded Data Buffer13
14 Stream Graphics Processor14
15 Object Buffer15
15 Composition Buffer16
17 Composition Controller17
18 Presentation Graphicsプレーン18
19 CLUT部19
20 Transport Buffer20
21 Coded Data Buffer21
22 Stream Graphics Processor22
23 Object Buffer23
24 Composition Buffer24
25 Composition Controller25
26 Intaractive Graphicsプレーン26
27 CLUT部27
28 合成部28
29 合成部29
30 スイッチ30
31 Network Device31
32 Local Storage32
33 Arrival Time Clock Counter33
34 Source De-Packetizer34
35 PIDフィルタ
36 スイッチ
37 Transport Buffer
38 Elementary Buffer
39 オーディオデコーダ
40 Transport Buffer
41 バッファ
42 テキスト字幕デコーダ
43 シナリオメモリ
44 制御部
46 PSRセット
100 BD-ROM
200 再生装置
300 リモコン
400 テレビ

Claims (5)

  1. ビデオストリームと、ストリーム管理情報とが記録された記録媒体であって、
    ビデオストリームは、複数のピクチャデータを含み、
    ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、
    エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、
    アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、
    フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされている、ことを特徴とする記録媒体。
  2. 記録媒体からストリーム管理情報を読み出し、このストリーム管理情報に基づき、記録媒体に記録されているビデオストリームを再生する再生装置であって、
    ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、
    エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、
    アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、
    フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされており、
    記録媒体に記録されたビデオストリームに含まれるピクチャデータを、記録媒体から読み出す読出手段と、
    ビデオストリームに含まれるピクチャデータのそれぞれをデコードすることにより、映像の再生を行う再生手段と、
    前記フラグがタイムベースドスライドショーを意味する所定の値に設定されている場合、前記エントリーマップを参照して、再生時刻の指定に基づく再生開始又は再生位置の変更を実行するよう、読出手段及び再生手段を制御する制御手段と
    を備えることを特徴とする再生装置。
  3. ボリュームデータを生成して、ボリュームデータが記録された記録媒体を得る記録方法であって、
    ボリュームデータは、 ビデオストリームと、ストリーム管理情報とを含み、
    ビデオストリームは、複数のピクチャデータを含み、
    ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、
    エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、
    アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、
    フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされている、ことを特徴とする記録方法。
  4. 記録媒体からストリーム管理情報を読み出し、このストリーム管理情報に基づき、記録媒体に記録されているビデオストリームを再生する再生方法であって、
    ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、
    エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、
    アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、
    フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされており、
    記録媒体に記録されたビデオストリームに含まれるピクチャデータを、記録媒体から読み出す読出ステップと、
    ビデオストリームに含まれるピクチャデータのそれぞれをデコードすることにより、映像の再生を行う再生ステップと、
    前記フラグがタイムベースドスライドショーを意味する所定の値に設定されている場合、前記エントリーマップを参照して、再生時刻の指定に基づく再生開始又は再生位置の変更を実行するよう、読出ステップ及び再生ステップを制御する制御ステップと
    を有することを特徴とする再生方法。
  5. 記録媒体からストリーム管理情報を読み出し、このストリーム管理情報に基づき、記録媒体に記録されているビデオストリームを再生する処理をコンピュータに実行させるプログラムであって、
    ストリーム管理情報は、エントリーマップと、アプリケーションタイプを示すフラグとを含み、
    エントリーマップは、ピクチャデータのアドレスの下位ビットを、ピクチャデータの再生時刻に対応付けて示す複数の下位ビットエントリーを含み、
    アプリケーションタイプには、ムービーのアプリケーション、タイムベースドスライドショーのアプリケーションがあり、
    フラグが、タイムベースドスライドショーを意味する所定の値に設定されている場合、ビデオストリームにおける個々のピクチャデータは、エントリーマップにおける個々の下位ビットエントリーにてポイントされており、
    記録媒体に記録されたビデオストリームに含まれるピクチャデータを、記録媒体から読み出す読出ステップと、
    ビデオストリームに含まれるピクチャデータのそれぞれをデコードすることにより、映像の再生を行う再生ステップと、
    前記フラグがタイムベースドスライドショーを意味する所定の値に設定されている場合、前記エントリーマップを参照して、再生時刻の指定に基づく再生開始又は再生位置の変更を実行するよう、読出ステップ及び再生ステップを制御する制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2007082097A 2004-06-02 2007-03-27 再生装置、記録方法、再生方法、プログラム Active JP4204621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007082097A JP4204621B2 (ja) 2004-06-02 2007-03-27 再生装置、記録方法、再生方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004164203 2004-06-02
JP2007082097A JP4204621B2 (ja) 2004-06-02 2007-03-27 再生装置、記録方法、再生方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006519582A Division JP4027408B2 (ja) 2004-06-02 2005-06-02 再生装置、プログラム、再生方法

Publications (2)

Publication Number Publication Date
JP2007228609A true JP2007228609A (ja) 2007-09-06
JP4204621B2 JP4204621B2 (ja) 2009-01-07

Family

ID=38549881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007082097A Active JP4204621B2 (ja) 2004-06-02 2007-03-27 再生装置、記録方法、再生方法、プログラム

Country Status (1)

Country Link
JP (1) JP4204621B2 (ja)

Also Published As

Publication number Publication date
JP4204621B2 (ja) 2009-01-07

Similar Documents

Publication Publication Date Title
TWI405466B (zh) A regeneration device, a regeneration program, a regeneration method, and a regeneration system
JP4750824B2 (ja) 記録媒体、再生装置、プログラム
JP4268637B2 (ja) 記録媒体、再生装置、プログラム、再生方法。
JP4295801B2 (ja) 記録方法、記録媒体再生システム
US8391672B2 (en) Recording medium, reproduction device, program, and reproduction method
JP4027408B2 (ja) 再生装置、プログラム、再生方法
JP4308863B2 (ja) 再生装置、記録方法、再生方法、プログラム
JP4764855B2 (ja) 記録方法、再生システム
JP4658986B2 (ja) システムlsi
JP4204621B2 (ja) 再生装置、記録方法、再生方法、プログラム
KR100884148B1 (ko) 슬라이드 쇼에서 랜덤 액세스를 고속으로 실현할 수 있는 기록매체, 재생장치, 컴퓨터 판독 가능한 기록매체, 기록방법, 재생방법

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4204621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141024

Year of fee payment: 6