JP2010028456A - データ構造、再生装置および方法、並びにプログラム - Google Patents

データ構造、再生装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2010028456A
JP2010028456A JP2008187427A JP2008187427A JP2010028456A JP 2010028456 A JP2010028456 A JP 2010028456A JP 2008187427 A JP2008187427 A JP 2008187427A JP 2008187427 A JP2008187427 A JP 2008187427A JP 2010028456 A JP2010028456 A JP 2010028456A
Authority
JP
Japan
Prior art keywords
image
signal
data
display
data structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008187427A
Other languages
English (en)
Inventor
Masami Ogata
昌美 緒形
Jun Yonemitsu
潤 米満
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008187427A priority Critical patent/JP2010028456A/ja
Priority to TW098123929A priority patent/TW201018212A/zh
Priority to PCT/JP2009/062940 priority patent/WO2010008063A1/ja
Priority to BRPI0915483A priority patent/BRPI0915483A2/pt
Priority to RU2011100152/07A priority patent/RU2011100152A/ru
Priority to CN2009801267661A priority patent/CN102090071B/zh
Priority to EP09797987A priority patent/EP2302945A4/en
Priority to US13/003,147 priority patent/US20110115881A1/en
Publication of JP2010028456A publication Critical patent/JP2010028456A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/10611—3D video data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】各3Dディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となるようにする。
【解決手段】発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPのベース信号BSと、サイドバイドサイド画像SbSPのＬ画像LPについての次の３つの画像を並べてひとつにまとめたサブ画像SuPのオプショナル信号OSを用いることが規定される。サブ画像SuPは、Ｌ画像のDepth画像、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。本発明は3Dディスプレイに適用可能である。
【選択図】図６

Description

本発明は、データ構造、再生装置および方法、並びにプログラムに関し、特に、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットを提供できるようになった、データ構造、再生装置および方法、並びにプログラムに関する。
3D（３Dimensional）の映像の表示機能を持つディスプレイ(以下、3Dディスプレイ)には様々な種類が存在する。また、3D表示用のビデオのフォーマット(以下、3Dビデオフォーマットと称する)にも様々なものが存在する。
従って、理論上、3Dディスプレイの種類と3Dビデオフォーマットとの組み合わせは、多数存在する。ただし、ビデオ表示の信号処理を容易にかつ最適にできるように、最適な組み合わせが存在する。
例えば、いわゆる偏光フィルタ方式や液晶シャッタ方式の3Dディスプレイには、左目用の画像(以下、Ｌ画像と称する)と右目用の画像(以下、Ｒ画像と称する)を用いる3Dビデオフォーマットが適している。なお、以下、かかる方式の3Dディスプレイを、ＬＲ画像表示方式の3Dディスプレイと称する。
また例えば、３点以上の視点の画像(Multi-views)を使用する方式、具体的には例えば、いわゆるレンチキュラ方式の3Dディスプレイには、2次元画像とDepth画像を用いる3Dビデオフォーマットが適している（例えば非特許文献１参照）。
（株）PHILIPSのHP＞Home＞3D Solutions＞About「２００８年７月７日検索」「http://www.business-sites.philips.com/3dsolutions/about/Index.html」
しかしながら、様々な種類の3Dディスプレイに共通に適用できて、かつ、ディスプレイ表示のための信号処理が容易な、3Dビデオフォーマットが存在しない現状である。
例えば、ＬＲ画像表示方式の一般の民生用の3Dディスプレイは、上述の如く、Ｌ画像とＲ画像を用いる3Dビデオフォーマットを前提にしている。そのため、ＬＲ画像表示方式の3Dディスプレイが、2次元画像とDepth画像を用いる3Dビデオフォーマットの3D映像を表示するためには、その3Dビデオフォーマットを元にして、Ｌ画像とＲ画像を作る機能が必要となる。しかしながら、この機能の追加の実装負担は大きく現実的でない。即ち、2次元画像とDepth画像を用いる3Dビデオフォーマットは、ＬＲ画像表示方式の3Dディスプレイには適さない。
一方で、例えば、レンチキュラ方式の3Dディスプレイが、Ｌ画像とＲ画像を用いる3Dビデオフォーマットの3D映像を表示するためには、そのビデオフォーマットを元にして、2次元画像やDepth画像を作成する機能が必要となる。しかしながら、この機能の実現は技術的に非常に困難である。即ち、Ｌ画像とＲ画像とを用いる3Dビデオフォーマットは、レンチキュラ方式のディスプレイには適さない。同様の理由から、Ｌ画像とＲ画像とを用いる3Dビデオフォーマットは、レンチキュラ方式以外の３点以上の視点の画像(Multi-views)を使用する方式のディスプレイには適さない。
従って、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットの実現が要望されている。しかしながら、かかる要望に充分に応えられていない現状である。
本発明は、このような状況に鑑みてなされたものであり、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットを提供できるようにするものである。
本発明の一側面のデータ構造は、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含む。
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含む。
本発明の一側面のデータ構造においては、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とが含まれている。
本発明の一側面の再生装置は、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含むデータ構造の画像データを再生する場合、前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する。
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含み、前記再生装置は、前記第２映像表示方式を採用した表示部に対しては、前記第２のデータ構造の画像データから、前記Depth画像に加えてさらに、前記物体の背景に隠れた画像と、そのDepth画像とを再生する。
本発明の一側面の再生方法およびプログラムは、上述した本発明の一側面の再生装置に対応する。
本発明の一側面の再生装置および方法並びにプログラムにおいては、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記３点以上の視点の画像の生成に用いられる前記2次元画像として前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含むデータ構造の画像データが次のようにして再生される。即ち、前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとが再生される。前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データが再生され、前記第２のデータ構造の画像データから、前記Depth画像が再生される。
本発明によれば、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式、即ち、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像(Multi-views)を生成する方式（レンチキュラ方式）との各ディスプレイに共通に適用できるようになる。また、それらのディスプレイ表示のための信号処理が容易となる。また、そのようなことを実現可能な3Dビデオフォーマットを提供できる。
はじめに、本発明の理解を容易なものとすべく、従来の3Dビデオフォーマットについて説明する。
Ｌ画像とＲ画像とを用いる3Dビデオフォーマットでは、例えば図１に示されるように、Ｌ画像LPとＲ画像RPとの水平方向の画素数をそれぞれ半分にした各画像を左右に並べてひとつにまとめた画像SbSPのビデオ信号を用いることが規定されている。なお、以下、かかる画像SbSPを、サイドバイドサイド画像SbSPと称する。
ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイは、サイドバイサイド画像SbSPのビデオ信号に対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
この場合、ユーザは、特殊なメガネをかけて3Dディスプレイを見ると、右目にＬ画像LPが映り左目にＲ画像RPが写り、その結果として、3D画像を視認することになる。
これに対して、2次元画像とDepth画像を用いる3Dビデオフォーマットでは、図２に示されるような2次元画像2DPのビデオ信号と、図３に示されるようなDepth画像DePのビデオ信号とを用いることが規定されている。
2次元画像2DPとは、３Dディスプレイではない普通のディスプレイでも表示できる画像である。
Depth画像DePとは、2次元画像2DPの奥行き情報をグレースケールで示した画像である。Depth画像DePは、グレースケールが明るい領域ほど3D表示されたときに手前に見えるという性質を有している。例えば、図２と図３の例では、サッカーボールが手前に見えることになる。なお、Depth画像Depの符号化方法については、MPEG-C(ISO/IEC 23002)にて標準化されている。
さらに、非特許文献１に記載のレンチキュラ方式の3Dビデオフォーマットでは、2次元画像2DPとDepth画像DePのビデオ信号とに加えてさらに、図４に示されるような「物体の背景に隠れた画像BP」と、図５に示されるような「そのDepth画像BDep」とのビデオ信号を用いることが規定されている。
「物体の背景に隠れた画像BP」とは、2次元画像2DPとDepth画像DePとを元にして、３点以上の視点の画像(Multi-views)を作成するときに、とある視点から見える物体（2次元画像2DPに含まれる画像。図２乃至図４の例では、サッカーボール）の背景の画像（図４の例では家）を描画するために必要になる２次元画像をいう。
「そのDepth画像BDep」とは、「物体の背景に隠れた画像BP」の奥行き情報をグレースケールで示した画像である。
レンチキュラ方式の3Dディスプレイは、これらの2次元画像2DPとDepth画像DePとを元にして、３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイは、３点以上の視点の画像(Multi-views)を作成するとき、「物体の背景に隠れた画像BP」と「そのDepth画像BDep」とを用いる。
レンチキュラ方式の3Dディスプレイは、メガネ無しでユーザに立体視させることが可能なディスプレイである。即ち、3Dディスプレイの表面が、かまぼこ型のレンズで構成されている。よって、3Dディスプレイの表面を見るユーザの目の位置に応じて、右目に入る画像と左目に入る画像が変化することになる。これにより、ユーザは、３以上の視点の異なる画像をそれぞれ視認できる。
以上、図１乃至図５を参照して、従来の3Dビデオフォーマットについて説明した。
次に、図６を参照して、本発明が適用される3Dビデオフォーマット（以下、本発明3Dビデオフォーマットと称する）の一例について説明する。
図６の例の本発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPのビデオ信号に加えてさらに、サイドバイドサイド画像SbSPのＬ画像LPについての次の３つの画像を並べてひとつにまとめた画像SuP（以下、サブ画像SuPと称する）のビデオ信号を用いることが規定される。サブ画像SuPは、Ｌ画像のDepth画像、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。この場合の各画像の配置方法は特に限定されないが、図６の例では、Ｌ画像LPに対して水平および垂直方向の各画素数を半分にしたＬ画像の中の物体の背景に隠れた画像およびそのDepth画像がその順番で上下に配置されて、それらの左側に、Ｌ画像LPに対して水平方向の画素数を半分にしたＬ画像のDepth画像が配置されることで、サブ画像SuPが構成されている。
なお、以下、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイに対する3D表示に必須なビデオ信号を、ベース信号BSと称する。それ以外のビデオ信号、即ち、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）の3Dディスプレイを用いる場合に必要となるビデオ信号を、オプショナル信号OSと称する。
即ち、図６の例では、サイドバイドサイド画像SbSPのビデオ信号が、ベース信号BSとなる。また、サブ画像SuPのビデオ信号が、オプショナル信号OSである。
よって、この呼称を用いて表現しなおすと、本発明の3Dビデオフォーマットでは、ベース信号BSとオプショナル信号OSとを用いることが規定されている。
この場合、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイは、ベース信号BSに対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示することができる。よって、ユーザは、特殊なメガネをかけて3Dディスプレイを見ると、右目にＬ画像LPが映り左目にＲ画像RPが写り、その結果として、3D画像を視認することになる。
換言すると、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3DディスプレイにおいてＬ画像LPとＲ画像RPがそれぞれ表示されるフォーマットであれば、ベース信号BSは、図６の例に特に限定されない。ただし、ベース信号BSの別の例については、図１０を用いて後述する。
また、レンチキュラ方式の3Dディスプレイは、ベース信号BSのＬ画像LPを2次元画像2DPとして用い、オプショナル信号OSのＬ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイは、３点以上の視点の画像(Multi-views)を作成するとき、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
換言すると、レンチキュラ方式の3Dディスプレイによって３点以上の視点の画像(Multi-views)の作成が可能となる画像を含むフォーマットであれば、オプショナル信号OSは、図６の例に特に限定されない。
例えば、ベース信号BSのＲ画像RPを2次元画像2DPとして用いることもできる。この場合、オプショナル信号OSは、例えば、図７に示されるように、サイドバイドサイド画像SbSPのＲ画像RPについての次の３つの画像を並べてひとつにまとめた画像を、サブ画像SuPとして採用することができる。図７の例のサブ画像SuPは、Ｒ画像のDepth画像、Ｒ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。この場合の各画像の配置方法は特に限定されないが、図７の例では、図６の例とあわせて、Ｒ画像RPに対して水平および垂直方向の各画素数を半分にしたＲ画像の中の物体の背景に隠れた画像およびそのDepth画像がその順番で上下に配置されて、それらの左側に、Ｒ画像RPに対して水平方向の画素数を半分にしたＲ画像のDepth画像が配置されることで、サブ画像SuPが構成されている。
図８は、このような図６または図７の例の本発明の3Dフォーマットに従った再生装置の構成例を示している。即ち、図８の再生装置２１は、本発明が適用される再生装置の一実施の形態である。
図８の例の再生装置２１は、主制御部３１、読み出し部３２、ベース信号復号部３３、オプショナル信号復号部３４、および48HZプログレッシブ信号生成部３５から構成されている。
メディア２２には、本発明の3Dビデオフォーマットの2本のビデオ信号（ベース信号BSとオプショナル信号OS）が符号化されたストリームが記録されている。それぞれのビデオ信号は24Hz プログレッシブ（progressive）で記録されているとする。
また、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイ２３と、レンチキュラ方式の3Dディスプレイ２４とが、再生装置２１に接続可能であるとする。
主制御部３１は、再生装置２１の全体の動作を制御する。即ち、主制御部３１は、読み出し部３２、ベース信号復号部３３、オプショナル信号復号部３４、および48HZプログレッシブ信号生成部３５の各ブロックの動作を制御する。なお、図面の視覚性向上のため、主制御部３１から各ブロックへの接続を示す矢印の図示は省略され、その代わりに白抜き矢印が図示されている。この白抜き矢印の意味は、他の図面でも同様である。
読み出し部３２は、ベース信号BSをメディア２２から読み出して、ベース信号復号部３３に提供する。また、読み出し部３２は、オプショナル信号OSをメディア２２から読み出して、オプショナル信号復号部３４に提供する。
なお、ベース信号BSとオプショナル信号OSは、別々のストリームとしてメディア２２に記録されていてもよいし、1つの多重化ストリームとしてメディア２２に記録されても良い。後者の場合、読み出し部３２は、1つの多重化ストリームをメディア２２から読み出し、それをベース信号BSとオプショナル信号OSに分離して、後段の各信号処理部に提供する。
ベース信号復号部３３は、符号化されたベース信号BSを復号し、その結果得られる24Hz プログレッシブのベース信号BSを、ＬＲ画像表示方式の3Dディスプレイ２３や48HZプログレッシブ信号生成部３５に提供する。
ＬＲ画像表示方式の3Dディスプレイ２３は、24Hz プログレッシブのベース信号BSに対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
オプショナル信号復号部３４は、符号化されたオプショナル信号OSを復号し、その結果得られる24Hz プログレッシブのオプショナル信号OSを、48HZプログレッシブ信号生成部３５に提供する。
48HZプログレッシブ信号生成部３５は、24Hz プログレッシブのベース信号BSと24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ２４に提供する。
レンチキュラ方式の3Dディスプレイ２４は、48HZプログレッシブ信号生成部３５からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像LPを2次元画像2DPとして用い、Ｌ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイ２４は、３点以上の視点の画像(Multi-views)を作成するとき、48HZプログレッシブ信号生成部３５からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
図９は、このような図８の構成の再生装置２１が実行する処理（以下、再生処理と称する）の一例を説明するフローチャートである。
ステップＳ１において、再生装置２１の主制御部３１は、出力対象がレンチキュラ方式の3Dディスプレイ２４であるか否かを判定する。
出力対象がＬＲ画像表示方式の3Dディスプレイ２３である場合、ステップＳ１の処理でＮＯであると判定される。すると、読み出し部３２によって、ベース信号BSがメディア２２から読み出されて、ベース信号復号部３３に提供される。これにより、処理はステップＳ２に進む。
ステップＳ２において、ベース信号復号部３３は、符号化されたベース信号BSを復号し、出力信号としての24Hz プログレッシブ信号（ベース信号BS）を生成する。ステップＳ６において、ベース信号復号部３３は、出力信号を、ＬＲ画像表示方式の3Dディスプレイ２３に出力する。これにより、再生処理は終了となる。
これに対して、出力対象がレンチキュラ方式の3Dディスプレイ２４である場合、ステップＳ１の処理でＹＥＳであると判定される。すると、読み出し部３２によって、ベース信号BSがメディア２２から読み出されて、ベース信号復号部３３に提供される。また、読み出し部３２によって、オプショナル信号OSがメディア２２から読み出されて、オプショナル信号復号部３４に提供される。これにより、処理はステップＳ３に進む。
ステップＳ３において、ベース信号復号部３３は、符号化されたベース信号BSを復号し、第１の24Hzプログレッシブ信号（ベース信号BS）を生成する。第１の24Hzプログレッシブ信号（ベース信号BS）は、48HZプログレッシブ信号生成部３５に提供される。
ステップS４において、オプショナル信号復号部３４は、符号化されたオプショナル信号OSを復号し、第２の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第２の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部３５に提供される。
なお、ステップＳ３とＳ４の処理順番は、図９の順番に特に限定されない。即ち、ステップＳ４の処理が先に実行された後にステップＳ３の処理が実行されてもよいし、ステップＳ３とＳ４の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ３とＳ４の両処理が終了すると、処理はステップＳ５に進む。
ステップＳ５において、48HZプログレッシブ信号生成部３５は、第１の24Hzプログレッシブ信号（ベース信号BS）と第２の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
ステップＳ６において、48HZプログレッシブ信号生成部３５は、出力信号を、レンチキュラ方式の3Dディスプレイ２４に出力する。これにより、再生処理は終了となる。
以上、本発明の3Dフォーマットの一例として、図６と図７の例を説明した。その後、図６または図７の例の本発明の3Dフォーマットに従った再生装置の一実施の形態について説明した。
ただし、本発明は、このような実施の形態に特に限定されず、様々な実施の形態を取ることができる。
例えば、図１０は、本発明の3Dビデオフォーマットの一例であって、図６や図７の例とは異なる例を示す図である。
図１０の例の本発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPの代わりに、その元となるＬ画像LPとＲ画像RPとが採用されている。即ち、Ｌ画像LPとＲ画像RPとの各ビデオ信号がベース信号として用いられることが規定されている。以下、前者のベース信号、即ち、Ｌ画像LPのビデオ信号を、Ｌベース信号LBSと称する。また、後者のベース信号、即ち、Ｒ画像RPのビデオ信号を、Ｒベース信号RBSと称する。
即ち、図１０の例の本発明の3Dビデオフォーマットでは、ベース信号BSとオプショナル信号OSとを用いることが規定されている。
図１０の例では、オプショナル信号OSとしては、図６の例と同一フォーマットのサブ画像SuPのビデオ信号が採用されている。ただし、オプショナル信号OSは、図６の例に限定されず、その他例えば、図７の例と同一フォーマットのサブ画像SuPのビデオ信号を採用することもできる。
図１１は、このような図１０の例の本発明の3Dフォーマットに従った再生装置の構成例を示している。即ち、図１０の再生装置４１は、本発明が適用される再生装置の一実施の形態であって、図８の再生装置２１とは異なる実施の形態である。
図１１の例の再生装置４１は、主制御部５１、読み出し部５２、Ｌベース信号復号部５３、Ｒベース信号復号部５４、オプショナル信号復号部５５、48HZプログレッシブ信号生成部５６、サイドバイサイド信号生成部５７、および48HZプログレッシブ信号生成部５８から構成されている。
メディア４２には、本発明の3Dビデオフォーマットの3本のビデオ信号（Ｌベース信号LBS、Ｒベース信号RBS、およびオプショナル信号OS）が符号化されたストリームが記録されている。それぞれのビデオ信号は24Hz プログレッシブ（progressive）で記録されているとする。
また、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイ４３と、レンチキュラ方式の3Dディスプレイ４４とが、再生装置４１に接続可能であるとする。
主制御部５１は、再生装置４１の全体の動作を制御する。即ち、主制御部５１は、読み出し部５２、Ｌベース信号復号部５３、Ｒベース信号復号部５４、オプショナル信号復号部５５、48HZプログレッシブ信号生成部５６、サイドバイサイド信号生成部５７、および48HZプログレッシブ信号生成部５８の各ブロックの動作を制御する。
読み出し部５２は、Ｌベース信号LBSをメディア４２から読み出して、Ｌベース信号復号部５３に提供する。読み出し部５２は、Rベース信号RBSをメディア４２から読み出して、Ｒベース信号復号部５４に提供する。また、読み出し部５２は、オプショナル信号OSをメディア４２から読み出して、オプショナル信号復号部５５に提供する。なお、Ｌベース信号LBS，Rベース信号RBSとオプショナル信号OSは、別々のストリームとしてメディア上に記録されていても良いし、または、1つの多重化ストリームとしてメディア上に記録されても良い。後者の場合、読み出し部３２は、1つの多重化ストリームをメディア上から読み出し、それをＬベース信号LBS，Rベース信号RBSとオプショナル信号OSに分離して、後段の各信号処理部に供給する。
Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、その結果得られる24Hz プログレッシブのＬベース信号LBSを、48HZプログレッシブ信号生成部５６とサイドバイサイド信号生成部５７に提供する。
Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、その結果得られる24Hz プログレッシブのＲベース信号RBSを、48HZプログレッシブ信号生成部５６とサイドバイサイド信号生成部５７に提供する。
48HZプログレッシブ信号生成部５６は、24HzプログレッシブのＬベース信号LBSと、24HzプログレッシブのＲベース信号RBSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、ＬＲ画像表示方式の3Dディスプレイ４３に提供する。
ＬＲ画像表示方式の3Dディスプレイ４３は、48Hzプログレッシブ信号に対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、その結果得られる24Hzプログレッシブのオプショナル信号OSを、48HZプログレッシブ信号生成部５８に提供する。
サイドバイサイド信号生成部５７は、24HzプログレッシブのＬベース信号LBSと24HzプログレッシブのＲベース信号RBSとから、サイドバイサイド画像SbSPの24Hzプログレッシブのビデオ信号（以下、サイドバイサイド信号と称する）を生成し、48HZプログレッシブ信号生成部５８に提供する。即ち、サイドバイサイド信号とは、図８のベース信号復号部３３から出力される24Hzプログレッシブのベース信号BSと同一フォーマットの信号をいう。
48HZプログレッシブ信号生成部５８は、24Hzプログレッシブのサイドバイサイド信号と24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ４４に提供する。
レンチキュラ方式の3Dディスプレイ４４は、48HZプログレッシブ信号生成部５８からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像LPを2次元画像2DPとして用い、Ｌ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイ４４は、３点以上の視点の画像(Multi-views)を作成するとき、48HZプログレッシブ信号生成部５８からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
図１２は、このような図１１の構成の再生装置４１が実行する再生処理の一例を説明するフローチャートである。
ステップＳ２１において、再生装置４１の主制御部５１は、出力対象がレンチキュラ方式の3Dディスプレイ４４であるか否かを判定する。
出力対象がＬＲ画像表示方式の3Dディスプレイ４３である場合、ステップＳ２１の処理でＮＯであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。また、Ｒベース信号RBSがメディア４２から読み出されて、Ｒベース信号復号部５４に提供される。これにより、処理はステップＳ２２に進む。
ステップＳ２２において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、48HZプログレッシブ信号生成部５６に提供される。
ステップＳ２３において、Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、第２の24Hzプログレッシブ信号（Ｒベース信号RBS）を生成する。第２の24Hzプログレッシブ信号（Ｒベース信号RBS）は、48HZプログレッシブ信号生成部５６に提供される。
なお、ステップＳ２２とＳ２３の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２３の処理が先に実行された後にステップＳ２２の処理が実行されてもよいし、ステップＳ２２とＳ２３の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２２とＳ２３の両処理が終了すると、処理はステップＳ２４に進む。
ステップＳ２４において、48HZプログレッシブ信号生成部５６は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ信号（Ｒベース信号RBS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
ステップＳ３０において、48HZプログレッシブ信号生成部５６は、出力信号を、ＬＲ画像表示方式の3Dディスプレイ４３に出力する。これにより、再生処理は終了となる。
これに対して、出力対象がレンチキュラ方式の3Dディスプレイ４４である場合、ステップＳ２１の処理でＹＥＳであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。読み出し部５２によって、Ｒベース信号RBSがメディア４２から読み出されて、Ｒベース信号復号部５４に提供される。また、読み出し部５２によって、オプショナル信号OSがメディア４２から読み出されて、オプショナル信号復号部５５に提供される。これにより、処理はステップＳ２５に進む。
ステップＳ２５において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、サイドバイサイド信号生成部５７に提供される。
ステップＳ２６において、Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、第２の24Hzプログレッシブ信号（Ｒベース信号RBS）を生成する。第２の24Hzプログレッシブ信号（Ｒベース信号RBS）は、サイドバイサイド信号生成部５７に提供される。
なお、ステップＳ２５とＳ２６の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２６の処理が先に実行された後にステップＳ２５の処理が実行されてもよいし、ステップＳ２５とＳ２６の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２５とＳ２６の両処理が終了すると、処理はステップＳ２７に進む。
ステップＳ２７において、サイドバイサイド信号生成部５７は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ（Ｒベース信号RBS）とから、第３の24Hzプログレッシブ信号つぃてのサイドバイサイド信号を生成する。第３の24Hzプログレッシブ信号は、48HZプログレッシブ信号生成部５８に提供される。
ステップＳ２８において、オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、第４の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第４の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部５８に提供される。
なお、ステップＳ２７とＳ２８の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２８の処理が先に実行された後にステップＳ２７の処理が実行されてもよいし、ステップＳ２７とＳ２８の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２７とＳ２８の両処理が終了すると、処理はステップＳ２９に進む。
ステップＳ２９において、48HZプログレッシブ信号生成部５８は、第３の24Hzプログレッシブ信号（サイドバイサイド信号）と第４の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
ステップＳ３０において、48HZプログレッシブ信号生成部５８は、出力信号を、レンチキュラ方式の3Dディスプレイ４４に出力する。これにより、再生処理は終了となる。
ところで、図１２，図１３の例では、レンチキュラ方式3Dディスプレイ４４は、図８の例のレンチキュラ方式3Dディスプレイ２４と同種類の3Dディスプレイを想定している。このため、レンチキュラ方式3Dディスプレイ４４に入力される信号を、レンチキュラ方式3Dディスプレイ２４と同種類の信号とすべく、Ｌベース信号LBSとＲベース信号RBSとからサイドバイサイド信号が再生装置４１内で作り出されている。
しかしながら、３点以上の視点の画像(Multi-views)を作る際に必要となる2次元画像2DPは、サイドバイドサイド画像SbSPではなく、Ｌ画像LPまたはＲ画像RPである。例えば、図１０の例のサブ画像SuPが採用されている場合には、2次元画像2DPとしてＬ画像LPが採用される。
よって、レンチキュラ方式3Dディスプレイ４４自体が、Ｌベース信号LBSまたはＲベース信号RBSと、オプショナル信号OSとがフレーム毎に交互に配置されて生成される48Hzプログレッシブ信号を取り扱える機能を有している場合、再生装置側でのサイドバイサイド信号の生成は不要になる。
このような場合、例えば図１３に示されるように再生装置４１を構成することが可能である。換言すると、図１３は、図１０の例の本発明の3Dフォーマットに従った再生装置の構成例であって、図１１の例とは異なる構成例を示している。即ち、図１３の再生装置４１は、本発明が適用される再生装置の一実施の形態であって、図８や図１１とは異なる実施の形態である。
図１３の例の再生装置４１では、図１１の例の構成と比較して、サイドバイサイド信号生成部５７が省略されている。即ち、48HZプログレッシブ信号生成部５８は、24HzプログレッシブのＬベース信号LBSと24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ４４に提供することになる。なお、それ以外の図１３の例の再生装置４１の構成は、図１１の例と同様であるため、その説明は省略する。
また、図１３の例の再生装置４１による再生処理の一例は、図１４に示されるようになる。
ステップＳ４１乃至Ｓ４４の処理は、図１２のステップＳ２２乃至Ｓ２４の処理と基本的に同様である。即ち、出力対象がＬＲ画像表示方式の3Dディスプレイ４３である場合の処理は、図１２の例の処理と基本的に同様である。よって、これらの処理の説明は省略する。
即ち、以下、出力対象がレンチキュラ方式の3Dディスプレイ４４である場合の処理について説明する。
この場合、ステップＳ４１の処理でＹＥＳであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。また、読み出し部５２によって、オプショナル信号OSがメディア４２から読み出されて、オプショナル信号復号部５５に提供される。これにより、処理はステップＳ４５に進む。
ステップＳ４５において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、48HZプログレッシブ信号生成部５８に提供される。
ステップＳ４６において、オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、第２の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第２の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部５８に提供される。
なお、ステップＳ４５とＳ４６の処理順番は、図１４の順番に特に限定されない。即ち、ステップＳ４６の処理が先に実行された後にステップＳ４５の処理が実行されてもよいし、ステップＳ４５とＳ４６の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ４５とＳ４６の両処理が終了すると、処理はステップＳ４７に進む。
ステップＳ４７において、48HZプログレッシブ信号生成部５８は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
ステップＳ４８において、48HZプログレッシブ信号生成部５８は、出力信号を、レンチキュラ方式の3Dディスプレイ４４に出力する。これにより、再生処理は終了となる。
なお、オプショナル信号OSとして、図１０の例のサブ画像SuPの代わりに、図７の例と同一フォーマットのサブ画像SuPのビデオ信号が採用された場合、上述のＬベース信号LBSをＲベース信号RBSに代えればよい。
ところで、以上説明した本発明の3Dビデオフォーマットとして、上述の各種画像の映像信号のみならず、それらの各種画像に関する情報（以下、メタデータと称する）を規定してもよい。
例えば、メタデータの１種として、図１５に示されるように、Ｌ画像LP／Ｒ画像RPの視点の正面からの角度θを採用することができる。図１５において、カメラ７１ＬがＬ画像LPを撮影し、カメラ７１ＲがＲ画像RPを撮影する。
この角度θは、例えば、メディアには、符号化されたストリームとは別の領域に記録させることができる。なお、「符号化されたストリーム」とは、図８のメディア２２が採用されている場合にはベース信号BSとオプショナル信号OSをいい、図１１や図１３のメディア４２が採用されている場合にはＬベース信号LBSおよびＲベース信号RBS並びにオプショナル信号OSをいう。
例えばメディアがブルーレイディスク（Blu-ray Disc）で構成される場合、例えば、ブルーレイディスクのフォーマットにて規定されているクリップインフォメーションファイルのExtensionDataに、角度θを記録させることができる。
具体的には例えば、図１６は、"Blu-ray Disc Read Only Format part3"で規定された管理構造であって、ブルーレイディスクに記録されるファイルの管理構造の一例を示している。図１６に示されるように、ファイルは、ディレクトリ構造により階層的に管理される。メディア上には、先ず、１つのディレクトリ（図１６の例ではルート(root)ディレクトリ）が作成される。このディレクトリの下が、１つの記録再生システムで管理される範囲となる。
ルートディレクトリの下に、ディレクトリ"BDMV"およびディレクトリ"CERTIFICATE"が
置かれる。
このディレクトリ"BDMV"の直下のディレクトリのひとつとして、クリップのデータベースが置かれるディレクトリ"CLIPINF"が存在する。即ち、ディレクトリCLIPINF"は、クリップＡＶストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル"zzzzz.clpi"を含む。ファイル名において、"."（ピリオド）の前の"zzzzz"は、５桁の数字とされ、ピリオドの後ろの"clpi"は、このタイプのファイルに固定的とされた拡張子である。
例えば、図１６の例では、クリップインフォメーションファイルのExtensionDataに、角度θを記録させることができる。
図１７は、このようなクリップインフォメーションファイル８１の構造例を表すシンタクスを示している。
フィールドtype_indicatorは、３２ビット（４バイト）のデータ長を有し、このファイルがクリップインフォメーションファイルであることを示す。フィールドversion_numberは、３２ビット（４バイト）のデータ長を有し、このクリップインフォメーションファイルのバージョンを示す。
このクリップインフォメーションファイルは、ブロックClipInfo()、ブロックSequence
Info()、ブロックProgramInfo()、ブロックCPI()、ブロックClipMark()およびブロックExtensionData()を有し、それぞれ３２ビットのデータ長を有するフィールドSequenceInfo_start_address、フィールドProgramInfo_start_address、フィールドCPI_start_address、フィールドClipMark_start_addressおよびフィールドExtensionData_start_addressは、各々対応するブロックの開始アドレスを示す。
フィールドExtensionData_start_addressは、このクリップインフォメーションファイルの最初のバイトからの相対バイト数で、ブロックExtensionData()８２の開始アドレスを示す。相対バイト数は、"０"から開始される。若しくは、このフィールドExtensionData_start_addressの値が"０"であれば、このファイル"index.bdmv"内に、ブロックExtensionData()８２が存在しないことを示す。
ブロックClipInfo()は、これらの開始アドレスを示すフィールドに続く、９６ビットのデータ長を有する将来の使用のために予約された領域の次から開始される。ブロックClipInfo()は、このクリップインフォメーションファイルが管理するクリップＡＶストリームに関する情報が記述される。例えば、このクリップインフォメーションファイルが管理するクリップＡＶストリームが保持するソースパケット数、クリップＡＶストリームがどのようなストリームであるかを示す情報、最大記録レートを示す情報などが、ブロックClipInfo()に管理される。
ブロックSequenceInfo()は、ＳＴＣやＡＴＣ（アライバルタイムベース）が連続しているシーケンスをまとまりとして管理する情報が記述される。ブロックProgramInfo()は、このクリップインフォメーションファイルに管理されるクリップＡＶストリームがどのようなコーデック（例えばＭＰＥＧ２方式あるいはＭＰＥＧ４ ＡＶＣ方式）を用いて記録されているか、クリップＡＶストリーム中のビデオデータのアスペクト比などの情報が記述される。
ブロックCPI()は、ランダムアクセス開始点などの、ＡＶストリーム中の特徴的な箇所を表す特徴点情報ＣＰＩに関する情報が格納される。ブロックClipMark()は、チャプタ位置などの、クリップに付された頭出しのためのインデックス点（ジャンプポイント）が記述される。ブロックExtensionData()８２は、この発明の実施の一形態に係るデータ、即ち角度θが記述される。
なお、角度θの条件を標準化（規格化）する場合には、メディアに記録する必要はない点留意すべきである。
この場合、図８の再生装置２１や図１１，図１３の再生装置４１等（以下、これらをまとめて、本発明の再生装置と称する）は、メディア２２やメディア４２等（以下、これらをまとめて、本発明のメディアと称する）から角度θを読み出し、レンチキュラ方式の3Dディスプレイ２４，４４等（以下、これらをまとめて本発明の3Dレンチキュラ方式のディスプレイと称する）に転送する。
なお、転送手法自体は特に限定されない。例えば、HDMI（High-Definition Multimedia Interface）等を経由して転送する手法を採用できる。また、角度θの条件を標準化（規格化）する場合には、転送する必要がない点留意すべきである
本発明のレンチキュラ方式の3Dディスプレイは、角度θを用いることで、Ｌ画像LPを変換(写像変換)して３点以上の視点の画像(Multi-views)を作成して、表示することができる。その際、必要に応じて、Ｌ画像のDepth画像, L画像の物体の背景に隠れた画像、そのDepth画像も用いられる。図１８の例では、視点１の画像としてＲ画像RPが、視点２の画像として画像M2Pを、視点３の画像として画像M3Pが、視点４の画像として画像M4Pが、それぞれ作成されて表示される。
さらに、3Dディスプレイではなく、普通のディスプレイも、角度θを用いることで、Ｌ画像LPを変換(写像変換)して、図１５に示される正面画像DPを生成して、表示させることができる。その際、必要に応じて、Ｌ画像のDepth画像, L画像の物体の背景に隠れた画像、そのDepth画像も用いられる。
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、上述した情報処理システムの少なくとも一部として、例えば、図１９に示されるパーソナルコンピュータを採用してもよい。
図１９において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図１９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)，ブルーレイディスクを含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
なお、本発明は、3D表示非対応のディスプレイも含めてディスプレイの方式を識別した上で、ディスプレイの方式に適した出力映像信号に切り替えて出力する再生装置にも適用可能である。
従来のＬ画像とＲ画像とを用いる3Dビデオフォーマットを説明する図である。 従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。 従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。 従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。 従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。 本発明の3Dビデオフォーマットの一例を説明する図である。 本発明の3Dビデオフォーマットの別の例を説明する図である。 図６または図７の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置の構成例を示すブロック図である。 図８の再生装置の再生処理の一例を説明するフローチャートである。 本発明の3Dビデオフォーマットのさらに別の例を説明する図である。 図１０の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置の別の構成例を示すブロック図である。 図１１の再生装置の再生処理の一例を説明するフローチャートである。 図１０の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置のさらに別の構成例を示すブロック図である。 図１３の再生装置の再生処理の一例を説明するフローチャートである。 本発明の３Ｄビデオフォーマットのメタデータの一例としての角度θを説明する図である。 図１５の角度θのメディアへの記録場所の一例を説明する図である。 図１５の角度θのメディアへの記録場所の一例を説明する図である。 図１５の角度θの使い方の一例を説明する図である。 本発明が適用される再生装置としてのコンピュータの構成例を示すブロック図である。
符号の説明
２１ 再生装置， ２２ メディア， ２３ LR画像表示方式の3Dディスプレイ， ２４ レンチキュラ方式の3Dディスプレイ， ３１ 主制御部， ３２ 読み出し部， ３３ ベース信号復号部， ３４ オプショナル信号復号部， ３５ 48Hzプログレッシブ信号生成部， ４１ 再生装置， ４２ メディア， ４３ LR画像表示方式の3Dディスプレイ， ４４ レンチキュラ方式の3Dディスプレイ， ５１ 主制御部， ５２ 読み出し部， ５３ Ｌベース信号復号部， ５４ Ｒベース信号復号部， ５５ オプショナル信号復号部， ５６ 48Hzプログレッシブ信号生成部， ５７ サイドバイドサイド信号生成部， ５８ 48Hzプログレッシブ信号生成部， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (6)

  1. 左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
    2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
    を含むデータ構造。
  2. 前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含む
    請求項１に記載のデータ構造。
  3. 左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
    2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
    を含むデータ構造の画像データを再生する場合、
    前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
    前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
    再生装置。
  4. 前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含み、
    前記再生装置は、前記第２映像表示方式を採用した表示部に対しては、前記第２のデータ構造の画像データから、前記Depth画像に加えてさらに、前記物体の背景に隠れた画像と、そのDepth画像とを再生する
    請求項４に記載の再生装置。
  5. 左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
    2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
    を含むデータ構造の画像データを再生する再生装置が、
    前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
    前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
    ステップを含む再生方法。
  6. 左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
    2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
    を含むデータ構造の画像データを再生する制御を実行するコンピュータに、
    前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
    前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
    ステップを含む制御処理を実行させるプログラム。
JP2008187427A 2008-07-18 2008-07-18 データ構造、再生装置および方法、並びにプログラム Pending JP2010028456A (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2008187427A JP2010028456A (ja) 2008-07-18 2008-07-18 データ構造、再生装置および方法、並びにプログラム
TW098123929A TW201018212A (en) 2008-07-18 2009-07-15 Data structure, reproduction device, method, and program
PCT/JP2009/062940 WO2010008063A1 (ja) 2008-07-18 2009-07-17 データ構造、再生装置および方法、並びにプログラム
BRPI0915483A BRPI0915483A2 (pt) 2008-07-18 2009-07-17 estrutura de dados, aparelho de reprodução, método de reprodução, e, programa.
RU2011100152/07A RU2011100152A (ru) 2008-07-18 2009-07-17 Структура данных, устройство воспроизведения, и программа
CN2009801267661A CN102090071B (zh) 2008-07-18 2009-07-17 数据结构生成方法、再现设备和再现方法
EP09797987A EP2302945A4 (en) 2008-07-18 2009-07-17 DATA STRUCTURE AND REPRODUCTION DEVICE, METHOD AND PROGRAM
US13/003,147 US20110115881A1 (en) 2008-07-18 2009-07-17 Data structure, reproducing apparatus, reproducing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008187427A JP2010028456A (ja) 2008-07-18 2008-07-18 データ構造、再生装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2010028456A true JP2010028456A (ja) 2010-02-04

Family

ID=41550463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008187427A Pending JP2010028456A (ja) 2008-07-18 2008-07-18 データ構造、再生装置および方法、並びにプログラム

Country Status (8)

Country Link
US (1) US20110115881A1 (ja)
EP (1) EP2302945A4 (ja)
JP (1) JP2010028456A (ja)
CN (1) CN102090071B (ja)
BR (1) BRPI0915483A2 (ja)
RU (1) RU2011100152A (ja)
TW (1) TW201018212A (ja)
WO (1) WO2010008063A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012054251A3 (en) * 2010-10-18 2012-06-14 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3266199B1 (en) 2015-03-01 2019-09-18 NEXTVR Inc. Methods and apparatus for supporting content generation, transmission and/or playback

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160381A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp ファイル生成方法および装置並びに立体画像の表示制御方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
MXPA03001029A (es) * 2000-08-04 2003-05-27 Dynamic Digital Depth Res Pty Tecnica de codificacion y conversion de imagen.
AU2003231510A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
EP1587329B1 (en) * 2003-01-20 2015-04-15 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
US7716702B2 (en) * 2004-06-10 2010-05-11 Time Warner Cable, Inc. Technique for delivering via a communications network data for image display with a desired aspect ratio
CN101203881B (zh) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 图像和相关数据的组合交换
JP2009521137A (ja) * 2005-11-14 2009-05-28 リアルデー 一体的交互嵌合を有するモニタ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160381A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp ファイル生成方法および装置並びに立体画像の表示制御方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5009002862; Ｃ．　Ｆｅｈｎ　（外８名）: 'ＡＮ　ＥＶＯＬＵＴＩＯＮＡＲＹ　ＡＮＤ　ＯＰＴＩＭＩＳＥＤ　ＡＰＰＲＯＡＣＨ　ＯＮ　３Ｄ-ＴＶ' ＩＢＣ　２００２　［ＯＮＬＩＮＥ］ , 20020913, Ｐ．３５７-３６４, Ｐｒｏｃｅｅｄｉｎｇｓ　ＩＢＣ'０２ *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012054251A3 (en) * 2010-10-18 2012-06-14 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Also Published As

Publication number Publication date
CN102090071B (zh) 2012-12-19
EP2302945A4 (en) 2011-11-16
RU2011100152A (ru) 2012-07-20
EP2302945A1 (en) 2011-03-30
BRPI0915483A2 (pt) 2015-11-10
US20110115881A1 (en) 2011-05-19
WO2010008063A1 (ja) 2010-01-21
CN102090071A (zh) 2011-06-08
TW201018212A (en) 2010-05-01

Similar Documents

Publication Publication Date Title
JP5341946B2 (ja) 立体視再生を行う再生方法、立体視再生装置
JP5395117B2 (ja) 立体視再生が可能な再生装置、再生方法、プログラム
CN102833573B (zh) 接收装置
CN101911713B (zh) 再现装置、集成电路、再现方法、记录方法、记录介质再现系统
JP5491437B2 (ja) ３ｄ映像を再生するための再生装置
JP4724255B1 (ja) 再生装置
WO2010143439A1 (ja) 再生装置、集積回路、記録媒体
JPWO2010038409A1 (ja) 再生装置、記録媒体、及び集積回路
JPWO2009090868A1 (ja) ３ｄ映像が記録された記録媒体、３ｄ映像を記録する記録装置、並びに３ｄ映像を再生する再生装置及び再生方法
JP2010245761A (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101176065B1 (ko) 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
WO2010008063A1 (ja) データ構造、再生装置および方法、並びにプログラム
JP5778673B2 (ja) コンテンツ配信システム、再生装置、配信サーバ、再生方法及び配信方法
JP2010263613A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体
WO2012161077A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
JP2011028791A (ja) 再生装置、再生方法、およびプログラム、並びに記録媒体
JP4707766B1 (ja) 三次元ビデオストリームへの映像変換方法
JP2012130033A (ja) 記録方法
JP2012130045A (ja) 記録方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130702