JP2015146626A - 映像再生方法、映像再生装置、光ディスク - Google Patents

Abstract

【課題】本発明は、従来よりも目の疲れを軽減できる立体映像の映像再生方法、映像再生装置、及び光ディスクを提供することを目的とする。【解決手段】本発明に係る解決手段の１つは、映像ストリームに含まれる右目映像１と左目映像２から視差を利用して立体映像を再生する映像再生方法である。立体映像を再生する際、映像ストリームの付帯情報５１に含まれる奥行き位置６９Ｆに応じてＯＳＤ情報を重畳することで、目の疲れを軽減する。【選択図】図１

Description

本発明は、立体映像の映像再生方法、映像再生装置、及び光ディスクに関するものである。

デジタル映像信号を圧縮する符号化技術が進むにつれ、圧縮された映像信号を光ディスクに記録することによって、検索性や操作性に優れた光ディスク装置を実現することが可能となった。このような光ディスク装置は、映像をデジタル信号として記録するため、アナログ映像信号を記録する場合に比べてダビングによる劣化が無い他、光記録再生であるため、非接触で信頼性に優れている。

一方、上記のようなデジタル映像信号をデータ圧縮する符号化方法としては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によるものがあるが、この圧縮方法はモーションＪＰＥＧ等の面内圧縮方法に比べ圧縮効率は良いものの、時間方向の動き補償予測を用いているため、複数枚の映像グループからなる（ＧＯＰ）映像単位でしか検索できなかったり、ディスク上のアクセスも面内圧縮からなるＩピクチャにまずアクセスしなければならない等の制約条件が存在していた。
そのため、特許文献１では、光ディスク上のデータフォーマットを工夫することが提案されている。

また、特許文献１のデータフォーマットは、あくまで２次元の平面映像をファイルするためのものである。立体映像をファイルする場合、ＴＶ信号の第一フィールドと第二フィールドとで、それぞれ右目左目の映像を別々に表示し、偏向メガネ等で２つの映像をそれぞれのフィールド映像をそれぞれの目にのみ見せる特許文献２の方法を採用することが必要である。

特開２００５−２６０９８８号公報 特開２００７−１６６６５１号公報

しかし、従来の方法では、映像ストリームにグラフィックスの奥行きに関する情報が重畳されていないため、グラフィックスが切り替わる際などに目の疲れを生じる、という課題があった。

本発明は上記の課題を解決するためになされたものであり、従来よりも目の疲れを軽減できる立体映像の映像再生方法、映像再生装置、及び光ディスクを提供することを目的とする。

本発明に係る解決手段によれば、左目映像と右目映像との視差を用いて立体映像を再生する映像再生方法であって、左目映像または右目映像として用いられる主映像のデジタル映像ブロックをデコードして主映像を生成し、左目映像及び右目映像のうち主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックをデコードして副映像を生成し、デコードした主映像及び副映像を用いて立体映像を再生し、映像ストリームにおいて副映像のデジタル映像ブロックより前に設けられたグラフィックスの奥行きに関する情報に応じて、立体映像にグラフィックスを重畳することを特徴とする映像再生方法が提供される。

本発明に係る解決手段によれば、左目映像と右目映像との視差を用いて立体映像を再生する映像再生装置であって、左目映像または右目映像として用いられる主映像のデジタル映像ブロックをデコーダし、左目映像及び右目映像のうち主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックをデコーダするデコーダと、デコードした主映像及び副映像を用いて立体映像を再生する再生部と、映像ストリームにおいて副映像のデジタル映像ブロックより前に設けられたグラフィックスの奥行きに関する情報に応じて、立体映像に前記グラフィックスを重畳する回路と、を備えることを特徴とする映像再生装置が提供される。

本発明に係る別の解決手段によれば、立体映像の再生に用いられる映像データが記録された光ディスクであって、立体映像を再生する際に左目映像または右目映像として用いられる主映像のデジタル映像ブロックと、立体映像を再生する際に左目映像と右目映像のうち主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックと、主映像のデジタル映像ブロック及び副映像のデジタル映像ブロックを含む映像ストリームにおいて、副映像のデジタル映像ブロックより前に設けられ、再生時に前記立体映像に重畳されるグラフィックスの奥行きに関する情報と、を有することを特徴とする光ディスクが提供される。

上記各解決手段によれば、映像ストリームにおいて副映像のデジタル映像ブロックより前に設けられたグラフィックスの奥行きに関する情報に応じて、立体映像にグラフィックスを重畳することができるので、従来よりも目の疲れを軽減できる。

本発明の実施の形態１に係るシャッタを用いた立体映像表示システムの概念図である。 本発明の実施の形態１に係る偏光フィルタを用いた立体映像表示システムの概念図である。 本発明の実施の形態１に係る回転偏光フィルタを用いた立体映像表示システムの概念図である。 本発明の実施の形態１に係る多重情報を用いた立体映像表示システムの概念図である。 本発明の実施の形態１に係る立体映像の模試図である。 本発明の実施の形態１に係る字幕表示を含む立体映像の模試図である。 本発明の実施の形態１に係る目の疲労度を説明するための図である。 本発明の実施の形態１に係る奥行き方向の加速度と目の疲労度を説明するための図である。 本発明の実施の形態１に係る字幕の表示範囲を説明するための図である。 本発明の実施の形態２に係る記録媒体上の情報記録領域を示す図である。 本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。 本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。 本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。 本発明の実施の形態２に係る付帯情報のコンテンツ情報を説明するための図である。 本発明の実施の形態２に係る付帯情報のタイムコード情報を説明するための図である。 本発明の実施の形態２に係る付帯情報の配置情報を説明するための図である。 本発明の実施の形態２に係る付帯情報の映像情報を説明するための図である。 本発明の実施の形態２に係る付帯情報を用いたＴＶ表示の概念図である。 本発明の実施の形態２に係るマルチアングル情報の模試図である。 本発明の実施の形態２に係るＯＳＤ情報を説明するための図である。 本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報を説明するための図である。 本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報とＯＳＤ情報を説明するための図である。 本発明の実施の形態２に係る映像制御情報のシーケンス情報とＯＳＤ情報と映像属性情報を説明するための図である。 本発明の実施の形態３に係る立体映像記録装置のブロック図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態３に係る立体映像記録装置のブロック図である。 本発明の実施の形態３に係る差分情報の圧縮の原理を説明するための視差画像概念図である。 本発明の実施の形態３に係る立体映像記録装置のブロック図である。 本発明の実施の形態３に係る視差情報画像変換の圧縮を説明するための模試図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態３に係る立体映像記録装置のブロック図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。 本発明の実施の形態４に係る立体映像再生装置のブロック図である。 本発明の実施の形態４に係る立体映像再生装置のブロック図である。 本発明の実施の形態４に係る立体映像再生装置を説明するための図である。 本発明の実施の形態４に係る立体映像再生装置を説明するための図である。 本発明の実施の形態４に係る立体映像再生装置を説明するための図である。

（実施の形態１）
本発明の実施の形態１について、図に従い以下に説明する。図１は、本実施の形態に係る立体映像システムの全体構成を示すブロック図である。図１に示す立体映像システムでは、立体映像が記録されたメディアを再生して右目映像１及び左目映像２を出力する立体映像記録装置６（以下、単に記録装置６ともいう）、ＴＶやプロジェクター等の表示装置３、液晶等で構成され２つの透過偏向光を切り替える事ができるシャッタ４、シャッタ４を介したフレーム順からなる映像５Ａ，５Ｂを見るために左右それぞれに液晶シャッタもしくは左右それぞれに異なる偏向板が構成されたメガネ７Ａとで構成されている。図２は、本実施の形態１に係る立体映像システムの別の構成例を示している。図２に示す立体映像システムでは、図１と異なり２つの表示装置Ａ，Ｂを備え、且つそれぞれ方向の異なる特定の偏向成分の光のみを通すための偏向板９，１０、表示パネル１２に投影させるための光学系１１、偏向板９，１０を介して得られるフレーム順からなる映像５Ｃ，５Ｄを見るために左右異なる偏向板を有するメガネ７Ｂとで構成されている。

図３は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図３に示す立体映像システムでは、図１と異なりそれぞれ方向の異なる特定の偏向成分の光のみを通す半円の偏向板を張り合わせた円形の回転円盤を有する同期回転部材１３と、同期回転部材１３に光を投射する光源１４とを備えている。図４は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図４に示す立体映像システムでは、図１と異なり、映像信号２２に基づく複数の映像を投影するための表示デバイス１５〜１９と、投影された立体映像を再現するための回転ミラー２１とを備えている。

図５は、人間が知覚する立体映像を模試したものである。図５では、無限遠方１１１から順に奥行き位置１１２〜１１７として、奥行き位置１１７が一番飛び出した（目に近い）位置としている。さらに、図５では、奥行き位置１１５上に表示された人間１１８、奥行き１１４上に表示された人間１１９、遠方から流れてくる川１２０、遠方に見える山１２１が図示されている。図６は、図５の表示にさらに字幕表示を追加表示したもので、それぞれの奥行き位置に表示された字幕１２２Ａ〜１２２Ｃと、当該字幕の奥行き範囲１２３Ａ〜１２３Ｃとを図示している。

図７（ａ），図７（ｂ）は、視差の角度変化加速度・変化にかかる時間・回数と目の疲労度を示した図である。図７（ａ）では、目の疲労度１２４を縦軸、角度変化加速度・変化の積１２５を横軸とし、注目点や字幕に対する目の疲労度１２６、注目点や字幕に対する最高疲労点１２７、背景画像の目の疲労度１２８、背景映像における酔いが発生する限界点１２９、人の目に対する安全領域１３０、人の目に対する危険領域１３１、人の目に対する３Ｄ酔いが発生する領域１３２をそれぞれ図示している。また、図７（ｂ）は、目の視差運動を示すための模試図であり、注目点の遠くの映像１２６Ａ、注目点の近くの映像１２６Ｂ、近くにある場合の視野角１２６Ｄ、遠くにある場合の視野角１２６Ｅ、人間の目１２６Ｆ、映像１２６Ｂが表示されている奥行き１２６ＧＧ、映像１２６Ａが表示されている奥行き１２６ＨＨをそれぞれ図示している。

また、図８は、注目点の奥行き方向の加速度と移動時間×回数との関係を示したグラフである。図８に示すグラフでは、注目点の奥行き方向の加速度１３３を縦軸、移動時間と回数の積（移動時間×回数）１３４を横軸として、安全領域１３０と危険領域１３１の境界１３５、危険領域１３１と３Ｄ酔い発生領域１３２との境界１３６とを図示している。また、図９は、字幕表示における奥行き位置と奥行き位置変化量の関係を示したものである。図９では、奥行き位置１３７を縦軸、奥行き変化量１４０を横軸として、無限遠の位置１３８、目の位置（一番手前）１３９、奥行き変化量制限値１４１、手前の奥行き制限（飛び出し制限）１４２、遠方の奥行き制限１４３をそれぞれ示している。

ここで、一般的にＴＶやプロジェクターを用いた立体映像システムでは、図１から図３に示されるように、人間の目の視差情報を利用したものが多く、メガネによって左右にそれぞれの映像情報を投影し、立体に見せるものである。一般的には映像の撮影の際も２台のカメラを用いて、左右の目に入力させるための映像を撮影するため、２つのストリームが構成されることになる。ここではまず記録装置６に蓄積された左右の映像情報を、ＴＶやプロジェクターの表示装置に入力させる。この際、記録装置６と表示装置間の情報インターフェイスとしてアナログ方式の場合は、左右それぞれ別々の情報伝送が必要となるが、ＨＤＭＩ（登録商標）等のデジタルインターフェイスの場合は左右の情報を交互にシリアル伝送させることも可能である他、記録装置６側で圧縮して伝送し、ＴＶ側で解凍させる方法もある。また。左右の映像情報はＴＶ表示の場合フィールド毎に、左と右を切り替えて表示する事となるが、近年の倍スキャン表示を用いたＴＶを用いれば再生映像を、フィールド毎に左右に分けるにあたり、フリッカ等の問題を解消する事ができ、スムーズな立体映像再生が可能になっている。

さらに、図１に示すように液晶等で構成され２つの透過偏向光を切り替える事ができるシャッタ４を構成した場合は、透過するフィールド映像５Ａを例えば縦偏向、映像５Ｂを横偏向とするように、シャッタ４を制御する事でフィールド毎の光の偏向角を変える事ができる。この場合はメガネ７Ａ側は左右異なる偏向板（縦偏向と横偏向）を貼り付けたものでよく、ケーブル３Ａを介して表示装置３がシャッタ４を制御するタイミングに対応する信号を表示装置３からメガネ７Ａに供給するケーブル３Ｂが不要となる。一方、シャッタ４を用いない場合は、メガネ７Ａ側に液晶シャッタを設ける必要があり、ケーブル３Ｂのフィールド同期信号ケーブルが必要となる。メガネ７Ａ側の液晶シャッタで対応する場合は偏向光を用いていないため、首を傾けたりする等のメガネの角度が変わっても立体表示に対する影響は小さく抑えられる効果がある。

また、図２の方式では、ＰＬＤ素子や透過型液晶タイプを有する表示デバイスを２つ有することにより、それぞれに左右別々の映像を表示させる方法である。この場合は表示装置（Ａ，Ｂ）７，８の前面に異なる偏向方向を持つ偏向板９，１０を取りつけておく。このことで、それぞれの表示発光部分から出射される光が異なる偏向となっており、これを光学系１１を介して表示パネル１２に投影する事で、例えば右目は縦偏向の映像５Ｃ、左目は横偏向の映像５Ｄを映し出す事が可能となる。ここではさらに、偏向メガネ７Ｂを用いてそれぞれの目に視差のある映像情報を入力させる。

また、図３の方式ではＰＬＤ等の光学素子に入射させる光源の部分において、ＴＶのフィールド表示のタイミングに同期して回転する同期回転部材１３を有する偏向光切換え機構を構成し、フィールド表示のタイミングにあわせた偏向光を有する光をＰＬＤ素子等に入射させる方式である。この場合、映像表示パネル上にはフィールド毎に異なる偏向光を有する映像が投射される。これを図２と同様な方式の偏向メガネ７で見ることにより視差映像を目に入れることが可能となる。また、図４にように複数の表示デバイス１５〜１９によって複数角度から撮影した映像を投影し、立体映像を再現する方法もある。この場合は立体用の映像ストリームは２本ではなく複数本のストリームを蓄積し再生しなければならない。

さらに、ＴＶのフィールド表示のタイミングに同期して回転する上記同期回転部材１３をＲＧＢの特定の波長のみを通す光学フィルタにて構成し、円盤の半分を左目用残りの半分を右目用として、それぞれのＲＧＢの波長をずらす事によって、右目用の光と左目用に光の波長を変え、またメガネ７をそれぞれ右目用と左目用の波長しか通さない光学フィルタから構成する事によっても左右の映像をそれぞれの目に入射させる事ができる。この場合、左右のＲＧＢのずれはＴＶの表示側の色調整によって補正し、色再現上遜色ないようにする事が可能で、またこのＲＧＢ波長を左右でずらす方式ではメガネを傾けてもメガネ７からの光が減衰したりする事がない。

また、図４の回転ミラー２１を用いた方式では、複数の視点による映像を表示デバイス１５〜１９によって、回転ミラー２１に立体映像が投影されるため、実際の立体映像においてみる側の視点を変えても実物のように見える（極端な場合は裏側等隠れて見えなかった部分も見えるようになる。）ものである。

次に、実際の立体映像について説明する。視差を利用した映像再現の場合であっても、人間の目においては図５のように知覚される。この場合、奥行き位置の無限遠１１１から目の位置１１７までの奥行きを分解表現すると、奥行き位置１１２〜１１５までの奥行き平面上にそれぞれの画像が表示されている事となる。例えば、注目点となる登場人物は手前にあれば大きく人間１１８のように見え、離れると人間１１９のように見える。背景情報である川１２１などは手前に近づけば大きく遠くなれば小さく見え、大きな山１２１などは背景であっても大きく見える。例えば、図５に示すような立体映像に字幕を表示させた場合、図６のように表現される。近くにある字幕１２２Ａは、字幕１２２Ｂ，１２２Ｃと表示が少しずつ遠ざかっていく。この注目点である登場人物である人間１１９Ａ〜１１９Ｃはシーンにより奥行き位置が変化しているとすると、字幕もそれにあわせて変化させれば目の焦点の動きを少なくさせるため疲れにくくなる。そのため、登場人物である人間１１９Ａのシーンでは字幕１２２Ａを、登場人物である人間１１９Ｂのシーンでは字幕１２２Ｂを、登場人物である人間１１９Ｃのシーンでは字幕１２２Ｃを表示させる事が望ましい。従来の２Ｄ映像においてはもともと奥行き位置の変化がないため、ユーザとＴＶとの距離が人間の目の焦点であり、目の焦点方向の筋肉を動かすことはないが、立体映像では視差を利用したものであっても視差分の目の移動が必要となるためである。

また、図７（ａ）に示すように登場人物等の注目点の焦点方向の移動においては、その視差角度の変化速度や変化にかかる時間やその回数に比例して目の疲れが発生する。特に注目点においては目が追随しなければならないため、目の疲労は激しく、視差角度の変化速度や変化にかかる時間やその回数が少ない段階で疲労のピークに達するものと考えられる。特に、図７（ｂ）に示す視野角１２６Ｄのように手前の映像は視差角度が大きく、遠くのものは視野角１２６Ｅのように視差角度が小さい。遠近が変化すると視差角度が変化し両目１２６Ｆはこの角度をつけて目標に焦点を合わせる必要が生じ、遠近の変化に視差角に追従しなければならない。従来の平面映像を表示するＴＶは遠近の映像がないため目の奥行き方向認知に必要な視差角は常に一定であるが立体映像の場合は、平面内の目の動きの他に奥行き方向（視差角をもたせる）の目の動きをつけなければならないため、目の負担は増大する。ただし、目の応答よりも早い動きをした場合は追従できないので逆に疲労も減少するため目の疲労度１２６のカーブのようになるものと予想される。また、背景情報については元々目が追随していないものの遠近が変化する視差角度の変化速度や変化にかかる時間やその回数が増えると増加傾向にあるものと推定される。これを奥行き方向加速度と、移動時間と回数の積の関係で表したものが図８であり、奥行き方向の加速度が小さくても回数や距離が増えると危険領域や酔いの発生が見られるが、あるレベルを下回った場合、移動時間と回数の積が増えても疲れない状態になると推定する。

ここで、評価値としての目の疲労度は、画面サイズが大きくなると面内方向の目の移動も大きくなり疲労も増大する事から、これを配慮した場合とそうでない場合とで２つの評価関数が考えられる。まず、評価関数１は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数に比例する。評価関数２は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数×画面サイズに比例する。ＴＶ画面のサイズが検知できる場合は評価関数２を、できない場合は評価関数１を用いる。なお、実施の形態２以降では上記評価値（目の疲労度）は奥行き変化度として記載している。

１本の立体映像を製作する際、１本の映像コンテンツにおける立体映像の視差角変化量と変化に関わる時間と変化した回数を評価係数としてもっておき、これが図７の危険領域１３１に入らないように再エンコードする事で立体映像コンテンツを製作する事ができる。また、この立体映像コンテンツにおいても評価関数としての奥行き変化度を記述しておくことで、映画視聴前に目の疲労度を提示しユーザに２Ｄ再生とするか３Ｄ再生とするかの選択をさせる事ができる。この際、再エンコードの方法としては視差映像を撮影するカメラの視差間隔を小さくする（２台のカメラの距離を小さくする）といった撮影上の工夫や、後述する視差情報を用いた画素変換処理によって視差を小さくするような画像処理を行う方法、アニメーション等ではＣＧ等でのコンテンツ制作時に飛び出し量を制限させる方法等が行われる。

このような映画等のストーリを把握するため、ユーザが必ず読まなければならない字幕表示については、図９に示すように奥行き方向の変化量を制限する必要がある。あまり目の焦点方向の追従速度が速くなると図７や図８のように目の疲れが増大し３Ｄ酔いが発生しやすくなるからである。また、あまり遠方すぎる位置の字幕は、字幕の大きさと背景との関係で、図６にあるように違和感があるため遠方位置についても制限を加えたほうがよいと思われる。また、目に近い手前側についても制限が必要である。これは特に目に近すぎる位置は視野角の関係で目の角度変化量が大きくなるため元々目の疲労が大きくなるほか、飛び出し量が大きいと「びっくりする」，「おどろく」といった影響を及ぼす場合もあるからである。また、表示するＴＶ画面が大きくなる場合、面内方向の目の動き量も増大するとともに、上述の「びっくりする」，「おどろく」といった心理的効果も増大するため、より制限を大きくする事が望ましい。再生装置とＴＶがリンク接続されている場合、ＴＶ画面の大きさに関する情報を再生装置との間でやりとりし、字幕等の飛び出し範囲制限をきびしくする。また、飛び出し量の異なる複数のストリームが配置されている場合、ＴＶ画面の大きい場合は飛び出し量の小さいストリームを選択し、ＴＶ画面が小さい場合は飛び出し量の大きなストリームを選択する等の構成が考えられる。また、後述する装置側の設定によって飛び出し量が可変できる場合には、ＴＶのサイズ情報やユーザの状態（年齢等）を配慮し自動設定する事も考えられる。

この際、上記評価値や視野角である最大飛び出し量からなる立体映像パレンタルレベルを規定し、立体映像パレンタルレベルに応じて、視聴する年齢の制限やお年寄りや病人に対する危険告知を行う事が可能となる。例えば、立体映像パレンタルレベルとして、レベル１は疲労・危険が大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが高い場合とする。レベル２は疲労・危険がやや大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが普通以下の場合、又は評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが高いの場合とする。レベル３は疲労・危険が中として、評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが普通以下の場合とする。レベル４は疲労・危険なしとして、評価値（目の疲労度）＞ｇ，最大飛び出し量＞ｈ，通常のパレンタルレベルが普通以下とする。

なお、上記の立体映像パレンタルレベルの例では、ｃ＞e＞ｇ，ｄ＞ｆ＞ｈの関係を有し、通常のパレンタルレベル（平面画像パレンタルレベル）が、ホラー映画等に対し現行の２Ｄ映像のＤＶＤ等で規定されている安全のための視聴制限を指すものとする。また、このような立体映像パレンタルレベルの設定は製品購入時や、初期設定時に設定・変更する事ができ、例えば暗証番号等を記憶させる事によって、後での解除変更をできるようにしておけばより有用である。

（実施の形態２）
次に、本実施の形態２について、図に従い以下に説明する。図１から図３のような特に視差情報を用いた立体映像においては、そのままＴＶ放送すると２重写しのような画面になり、上述したような専用の立体表示装置を構成しなければ見ることができない。従って、放送において立体映像を行う事は視聴者側の機器のインフラにも左右されるため、一般には視聴できない専用のチャンネルを設けるか、３Ｄ映像である事のフラグを放送の情報に重畳する等が必要となる。そのため、通常では記録メディア等で配信され、専用のプレーヤもしくは本機能が搭載されたプレーヤで見るのが都合が良い。このような状況から、上記のような立体映像を記録メディアに保存するための方法やフォーマットを、以下に説明する。

図１０は、本実施の形態２に係る記録媒体２６である。本発明に係る記録媒体（映像メディア）は、ＤＶＤやＢＤ、ＨＤ−ＤＶＤ、ＭＯ等の光ディスク媒体の他、ＨＤＤ媒体であっても良いことはいうまでもない。ＨＤＤの場合はそれ自体可搬できない場合が多いものの、放送された立体映像情報を記録する際には容量の点からも有利である。一方、ＲＯＭメディア等の光ディスク媒体においては、放送される前の立体のキラーコンテンツや、立体有料コンテンツを配信するのに有効である。図１０に示す円盤状の記録媒体２６では、映像情報に関する制御情報を格納している領域（映像制御情報２３）、立体映像が格納されている領域（映像タイトル２４）、通常の２Ｄ映像が格納されている領域（映像タイトル２５）に分けられている。

図１１は、図１０の映像タイトル（映像コンテンツ）２４部分の映像ストリームの構造例を示したものである。図１１では、映像タイトル２７が２Ｄ映像情報２８、ユーザの選択が可能な２Ｄ映像情報３０，３１、表示装置が立体映像表示可能な場合に自動的に選択もしくはユーザの選択により選ばれる３Ｄ映像情報２９、上記映像情報２９〜３１に引き続いて再生される２Ｄ映像情報３２、映像タイトル２７の最後の２Ｄ映像情報３３で構成されている。また、図１１では、ＧＯＰレイヤのストリーム情報として、後に続くＧＯＰ映像情報３５，３６の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３４、ＧＯＰ映像情報３８の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３７、ＧＯＰ映像情報４０，４１の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３９が図示されている。

また、図１１では、ピクチャレイヤのストリーム情報として、付帯情報を記載したパケットデータ部４２、面内符号化データから構成されたＩピクチャデータ４３、Ｉピクチャデータ４３とＰピクチャ４５とから時間方向に予測された符号化データであるＢピクチャ４４、Ｉピクチャデータ４３から片方向のみの時間方向に予測された符号化データであるＰピクチャ４５が図示されている。また、図１１では、トランスポートパケットデータのレイヤとして、付帯情報を記載したトランスポートパケットデータ部でパケットデータ部４２と同じパケット４６、Ｉピクチャデータ４３をトランスポートパケットで分割した先頭のパケット４７、Ｉピクチャデータ４３の最後のデータが格納されたトランスポートパケット４８、トランスポートパケット４８の中のＩピクチャデータの最後の部分４９、トランスポートパケット４８の中のパディング処理された部分５０が図示されている。

また、図１２は、映像タイトル（映像コンテンツ）２７における３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域の階層のデータ構造を示したものである。図１２では、３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域における先頭に配置された本映像列に関連した情報が格納された付帯情報５１、当該領域におけるＧＯＰ映像情報列５２、ＧＯＰ映像情報列５４に関連した情報が格納されている付帯情報５３、当該領域の最後のＧＯＰ映像情報列５６に関連した情報が格納されている付帯情報５５が図示されている。また、図１２では、ピクチャレイヤのストリーム情報として、面内符号化データから構成されたＩピクチャデータ５７、Ｉピクチャデータ５７とＰピクチャ５９とから時間方向に予測された符号化データであるＢピクチャ５８、Ｉピクチャデータ５７から片方向のみの時間方向に予測された符号化データであるＰピクチャ５９が図示されている。

また、図１２では、トランスポートパケットデータのレイヤとして、Ｉピクチャデータ５７をトランスポートパケットで分割した先頭のパケット６０、Ｉピクチャデータ５７の最後のデータが格納されたトランスポートパケット６１、トランスポートパケット６１の中のＩピクチャデータの最後の部分６２、トランスポートパケット６１の中のパディング処理された部分６３が図示されている。また、図１２に示す矢印Ａは再生部分、矢印Ｂは３Ｄ再生を行った場合にジャンプする部分、矢印Ｃは３Ｄ再生を行うために再生する部分であり、右目映像のＧＯＰ映像情報と左目映像のＧＯＰ映像情報とが配置されているものである。図１３では、映像タイトル２７における３Ｄ映像情報２９、２Ｄ映像情報３１とが選択的に選べる領域の階層のデータ構造を示したものであり、基本的に図１２と同じであるため同じ構成要素については同符号を付して説明を省略する。

光ディスクやＨＤＤ媒体に記録されるデータの構造としては、図１０に示されるように映像関連の付帯情報やシーケンス等を記録した映像制御情報２３の領域と実際の映像タイトル（映像コンテンツ）２４，２５の領域とから構成される。この時、３Ｄ映像は必ずしも全編が３Ｄ映像となっているわけではなく、２Ｄ映像との混在である場合や、これら映像がユーザの選択により切り替えられる場合が想定される。特に、ＤＶＤ規格においてはマルチアングルといったユーザの選択可能な映像情報列を切り替えて表示できるようになっており、３Ｄ映像情報の場合も、ユーザの機器がすべて３Ｄ映像対応になっていない事を考慮すると、２Ｄ映像ストリームの上に、追加的に３Ｄ映像ストリームが構築される。そして、ユーザの表示機器が３Ｄ対応の場合、ＨＤＭＩ端子のリンク機能等により自動的に識別し３Ｄ映像ストリームを選択的に表示させるか、ユーザのボタン操作により選択的に３Ｄ映像側に決定し動作させる方法が考えられる。もちろん、全てのコンテンツが２Ｄ映像のみもしくは３Ｄ映像のみの形態もある事はいうまでもないが、フォーマットとしてはこのような複合形態への配慮が必要である。

また、映像タイトル２４の映像情報ストリームにおいても、映像情報ストリーム上にこれに関連する付帯情報領域を設け、情報のアクセスと管理や、機器の設定切換えの対応等を行う事が望ましい。特に、２Ｄ映像と３Ｄ映像とが混在するコンテンツにおいては、ＴＶ側で映像ストリームの２Ｄ映像か３Ｄ映像かの判定を行う必要があり、ストリーム上に付帯情報領域があればこの情報に基づき、ＴＶ側の設定を簡便にかつ自動的に切り替える事が可能となる。記録媒体を再生もしくは記録するプレーヤ・レコーダですべての設定を閉じて行う場合、制御情報をディスクの一部に集約して配置する映像制御情報２３に記載するのみでも良い。しかし、ＴＶとの接続連携を行う場合では、特に再生中にＴＶを切り替える等の処置を行う場合は、映像情報自体に、必要最低限の制御情報を重畳させておくことで、ＴＶ側の自動切換え設定等が行えるようになる。上記映像情報中の制御情報がない場合は、ＴＶの接続切換えを検出し、別途制御情報をプレーヤ・レコーダから送出しＴＶ側の設定を変更した後、映像情報を送出する事となる。これらＴＶ側の設定変更については、立体映像再生の処理自体が偏向光を切り替える等表示装置側で行われるため、表示装置の設定変更処理を迅速に行うようなしくみが必要となる事はいうまでもない。

付帯情報５１は、情報のアクセス管理にも使用する事が可能であり、ＤＶＤ規格ではＮａｖｉ情報として定着しているものである。ここで、２Ｄ映像と３Ｄ映像とが混在している場合、図１１に示す３Ｄ映像情報２９，２Ｄ映像情報３０，３１のようにコンテンツの時系列上は並列する形となる。そこで、先頭にある付帯情報３４はＧＯＰデータ情報群の頭に配置される必要があり、まず付帯情報の内容を読み取る事により、次のＧＯＰ列の情報が２Ｄ映像なのか、３Ｄ映像なのか、３Ｄ映像であれば左目映像なのか右目映像なのか、またＧＯＰ映像情報群におけるそれらの配置情報（どこにアクセスすれば良いか）を判断する事ができる。ここで、付帯情報５１を先頭に含むＧＯＰ映像情報群はビデオユニットとしてＧＯＰ映像情報よりもさらに大きな映像単位として定義される。

また、ＭＰＥＧ等の時間方向にも圧縮をかけた映像情報データの場合は、Ｉピクチャを先頭とするＧＯＰ映像情報単位で情報が存在するため、映像データのアクセスはこのＧＯＰ映像情報単位となる事はいうまでもない。また、付帯情報は最初に読み取る必要があるためＧＯＰ映像情報群の先頭に配置しなければならず、例えば図１２のように３Ｄ映像情報部分を再生する場合は、まず付帯情報５１を再生（図中矢印Ａ）した後、２Ｄ映像情報３０，３１をジャンプして、３Ｄ映像情報２９を再生する。この際、２Ｄ映像情報３０，３１は図中矢印Ｂのようにジャンプし再生機器のメモリに不要な情報（この場合は２Ｄ映像情報３０，３１）を取り込まないようにして不要なメモリの増大を回避するとともに、映像の途切れが生じないように図中矢印Ｃの３Ｄ映像情報２９を再生する。

また、上記ＧＯＰ映像情報の先頭の付帯情報５１は、その下のピクチャレイヤの状態で示すと、Ｉピクチャ５７の先頭位置に配置されている。さらに、地上波や衛星・ケーブル等のデジタル放送等との親和性を持たせるため、これら圧縮映像データはトランスポートパケットで分割しておく事が便利であるため、最下層のデータとしては図１２のようにトランスポートパケット６０，６１に分割する。この場合でも付帯情報５１はＧＯＰ映像情報群５２の先頭のトランスポートパケットにて記載される事となる。なお、トランスポートパケットにおける新たに定義されたプライベートパケットを使用する事はいうまでもない。さらに、上記ＧＯＰ映像情報群の最後のトランスポートパケット６１は、必ずしも一定のトランスポートパケット単位でデータが切れるわけではないので、最後の部分６３を「００」や「ＦＦ」でパディングしてＧＯＰ映像情報単位でパケットのデータが完結するようにしておく事が良い。また、図１３のように１つの２Ｄ映像３１と１つの３Ｄ映像２９との２本に分岐している場合は、図１２と比べ図中矢印ＢのジャンプするＧＯＰ映像情報量が少ないだけであり、基本的な動作は図１１と変わらない。

なお、上記付帯情報の内容についてさらに説明する。図１４に示す付帯情報５１は、コンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９で構成されている。そして、図１４に示すコンテンツ情報６４は、コンテンツ名７０、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４で構成されている。

また、図１５に示すタイムコード情報領域６５は、プレゼンテーションタイム６５Ａ、同期情報６５Ｂで構成されている。図１６に示す配置情報６６は、シームレス情報７５、ジャンプ先情報７６、アングル情報７７、ＧＯＰ内配置情報７８で構成されている。図１７に示す映像情報６７は、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。

また、図１８は、上記付帯情報を表示装置であるＴＶに表示させた場合の模試図である。図１９（ａ），図１９（ｂ）は、複数のカメラからマルチアングル撮影した場合の模試図である。また、図２０に示すＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂ、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅ、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。

ここで、図１４における付帯情報５１は、まずストリーム上のＧＯＰ映像情報群毎に記述されたものであり、ＴＶ等にＨＤＭＩ伝送された場合でも、映像情報とともに伝送されるものである。従って、特に３Ｄ映像表示に関するＴＶ側の設定にも必要な情報も含まれることはいうまでもない。

次に、図１４に示すコンテンツ情報６４について説明する。コンテンツ名７０は、（１）コンテンツ名，（２）出演者名，（３）製作時期，（４）配給会社，（５）関連する作品名，（６）あらましをＴＶ側のＯＳＤ情報として表示させる場合がある。当該コンテンツ名７０は、映像ストリーム上に重畳された付帯情報５１が含まれるのであれば、途中でＴＶ側の入力を３Ｄ映像情報に切り替えた場合でも、コンテンツ名７０の内容を表示する事が可能となる。

図１４に示す著作権情報７１として、（７）著作権者，（８）配給会社，（９）輸入業者，（１０）資本参加社を記載しておくことで、映像ストリームの著作権所有者の情報も同時に配信する事ができ、本再生データを用いて不正な使用を行った場合でも著作権者の権利を主張する事ができる。また、本情報は映像ストリームに重畳されるため、ＴＶをつなぎかえた場合においても常にＴＶ側に情報配信されるため、著作権に関する表示を行う事も可能となる。

また、図１４に示す暗号情報７２は、（１１）暗号の有無，（１２）暗号方式を記載しておく事で、暗号化された機密性の高い情報なのか、コマーシャル等の機密性の無い情報なのか伝送先の機器へ送付する事ができる。

また、図１４に示す３Ｄ映像情報７３は、（１３）３Ｄ映像対応の有無，（１４）全２Ｄ映像対応かどうか（２Ｄ映像表示のみで最後まで再生できるかどうか？），（１５）３Ｄ映像対応の場合、３Ｄ映像再生が優先かどうかを記載する事で、３Ｄ映像対応でないＴＶと接続した場合には非対応である事をユーザに表示させる事ができるようになる。また、ＴＶとＨＤＭＩでリンク接続している場合は、ＴＶ側を自動的に３Ｄ映像設定に切り替えたり（例えば、図１から図３に示すように自動的に２映像ストリームをフィールド毎に表示させる）、ＴＶ側に３Ｄ映像機能が無い場合は、ＴＶや再生装置側でＴＶが未対応と表示させたり、ディスクを吐き出す等の処置を行う事ができる。

また、図１４に示す有効地域７４は、（１６）２Ｄ映像の再生許可地域，（１７）３Ｄ映像の再生許可地域を記述する事で、本ディスクの再生許可地域を限定するだけではなく、２Ｄ映像のみ許可し３Ｄ映像対応の表示を許可する地域を限定して指定する事もできる。これは、３Ｄ映像再生に関するライセンス条件が整っていない場合に、特定の地域で２Ｄ映像再生のみを許可するケースが生じるからである。３Ｄ映像の再生許可地域が許可されていない地域であれば、３Ｄ映像表示装置と接続してあっても２Ｄ映像のみの再生となったり、ディスクを吐き出す等の処置が行われる事となる。

次に、図１５に示すタイムコード情報６５について説明する。２Ｄ映像と３Ｄ映像とが混在する映像コンテンツにおいては、ユーザによって途中の切換え（例えば３Ｄ映像から２Ｄ映像）が発生した場合でも、映像情報の流れを途切れたり省略したりする事なく連続的に再生させなければならない。また、ユーザの指示から例えば１０分前に戻る・進む等のタイムサーチが発生する場合がある。そのためＧＯＰ映像情報群の先頭には以下に示す、その映像のタイトル開始時点からの再生時間情報であるプレゼンテーションタイム６５Ａを記録しておく必要がある。なお、タイトル再生終了までの残り時間情報もしくはタイトル再生全時間を記載しておく事でＴＶ側で残時間表示等を行う事が可能となる。

また、３Ｄ映像は実施の形態１で説明した目の疲れ等を誘発しやすいため、３Ｄ映像再生開始からのタイムコード（連続してどれだけの３Ｄ映像を視聴したか）や、本映像コンテンツのトータルでどれだけの３Ｄ映像を視聴したかについて表示し、目の疲れを防ぐための休憩の指示や危険表示を行う事ができる。また、３Ｄ映像における右目・左目それぞれのＧＯＰ映像情報があった場合、その再生順序に対応するフィールド指定を行う事が可能となる。つまり、プレゼンテーションタイム６５Ａには、（１８）タイトル開始時点からのタイムコード（プレゼンテーションタイム），（１９）タイトル再生終了までの残り時間情報もしくはタイトル再生全時間，（２０）３Ｄ映像再生開始からのタイムコード（３Ｄプレゼンテーションタイム），（２３）トータル３Ｄ再生時間，（２４）左右映像の再生順もしくはフィールド指定を記載しておく。また、同期情報６５Ｂは、映像コンテンツの同期を規定し左右映像の再生順もしくはフィールドを指定して行う。

次に、図１６に示す配置情報６６について説明する。特に２Ｄ映像コンテンツと３Ｄ映像コンテンツとが混在する場合、再生に不要な情報を飛ばしたり、必要なデータの先頭位置にＧＯＰ映像情報群における配置情報の記述が必要となる。また、特殊再生動作を行う場合はＭＰＥＧ等の時間軸方向の圧縮映像の特性からまず面内圧縮画像からアクセスが必要となる点も配慮しなければならない。そのため、シームレス情報７５には、（２５）シームレス再生の有無（次のＧＯＰ映像情報群までの）が記録される。また、ジャンプ先情報７６には、（２６）ジャンプ先（正方向と逆方向）アドレス１、アドレス２等，（２７）ジャンプ先のタイムコード情報１、タイムコード情報２等（複数のジャンプ先情報をテーブル情報として有する），（２８）ジャンプ先の３Ｄ映像情報有無が記録される。なお、（２８）ジャンプ先の３Ｄ映像情報有無の情報に基づきジャンプ先に３Ｄ映像情報が無い場合、ストリーム再生中にＴＶの設定を２Ｄ映像に戻すことができる。

アングル情報７７には、（２９）複数のアングルに対応したＧＯＰ映像情報のアドレス１、アドレス２等，（３０）複数のアングルに対応したＧＯＰ映像情報のタイムコード情報１、タイムコード情報２等が記録される。ＧＯＰ内配置情報７８には、（３１）各ＧＯＰ内のＰピクチャの配置情報としてのアドレス情報１、アドレス情報２等が記録されることになる。以上のように、シームレス情報７５を有することにより、必要なアングルをつなぎながら順次再生する事も可能になるほか、ＧＯＰ内の配置情報によりＩピクチャのみを再生したり、ＩとＰピクチャのみを再生する事による早送りや早戻し再生が可能となる。

次に、図１７に示す映像情報６７について説明する。映像情報６７において立体映像情報として特に必要となるものを以下に示す。まず、解像度情報７９には、（３２）２Ｄ映像再生の場合の解像度（面内方向）、ＰｉｎＰ画像の解像度（面内方向），（３３）３Ｄ再生時の解像度（面内方向）を記憶する。３Ｄ映像有無方式８５には、（３４）３Ｄの有無，（３５）３Ｄ映像方式指定（倍スキャンレート指定，偏向メガネありなし，液晶シャッタありなし）が記録される。３Ｄフレームレート８６には、（３６）２Ｄ映像再生時のフレームレート、３Ｄ映像再生時のフレームレートが記録される。

３Ｄ映像情報数８７には、（３７）並行して再生される独立した３Ｄ映像情報ストリーム数が記録される。なお、別々のアングルがｎ本ある場合は、ｎ＝アングル番号と記載される。本情報に基づき、再生中にアングル数を表示し、ユーザからの選択によるアングルの切換えとともに、アングル番号の表示による認識を行わせる事が可能となる。３Ｄ映像情報数８７には、（３８）左右映像を順次切換える場合の３Ｄ映像ストリーム数とカメラ情報も記録される。例えば、図１９（ａ）に示すように、５本の視差分だけずれたカメラＤ〜Ｈを用いて映像を撮影、もしくは、アニメ画像等をＣＧによって５本の視差映像情報にして記録した場合、これらの本数と、各カメラの間隔もしくは角度を記載する。付帯情報の記載一例としては、総合情報−映像本数５−カメラ間隔＊＊ｍｍ，カメラＤによる映像１−角度１，カメラＥによる映像２−角度２，カメラＦによる映像３−角度３，カメラＧによる映像４−角度４，カメラＨによる映像５−角度５となる。

視差分だけずれた映像が５本あった場合、実際のアングル映像としては、アングルＤは映像１が左、映像２が右，アングルＥは映像２が左、映像３が右，アングルＦは映像３が左、映像４が右，アングルＧは映像４が左、映像５が右と５本の視差映像情報で、図１９（ｂ）に示すように少しずつアングルの異なる４つの立体アングル映像を再生する事ができる。このとき順次アングル情報をずらす事で映像を回転させたりする事も可能である。従って、各映像ストリームが１つのアングル情報を指すのではなく、隣接する視差角を持った映像との組み合わせで新たなアングル情報が構築できる。近年、ＣＧ技術の進化により、アニメーション映像では容易に立体映像を作る事が可能となっており、このような複数アングルの視差情報を準備し、ユーザからのリモコンの指定によりおのおのにアクセスする事で、アングルずらしによる視点変更も可能になる。

奥行き解像度８８には、（３９）３Ｄ映像における奥行き解像度１、解像度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向解像度を記載する。例えば、ＣＧ映像等により極端に奥行き解像度が低く、時間的にもカクカク動くような場合は、本情報に基づき、時間方向に奥行きを補完して、なめらかに表示させる事も可能になる。奥行き変化度８９には、（４０）３Ｄ映像における奥行き変化度１、変化度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。特に、変化度については実施の形態１に示すような人間の目の疲れに関連するため、安全性を確保するために、記載しておき、ユーザへの警告や休憩指示等に用いる事ができる。

字幕許可奥行き９０には、（４１）字幕許可奥行き範囲（最大視野角１、最小視野角１、最大視野角２、最小視野角２等）が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。字幕情報については、後述する立体映像視聴の際に、字幕焦点位置と注目点とで焦点を頻繁に合わせる必要がある事から、目の疲れに影響しやすく、表示範囲を十分限定しておくことが必要となる。また、奥行き情報の記載は、実距離にした場合、遠い方が無限遠になるため数値化しずらく、視野角情報で記載する事が望ましい。また、無限遠に近い場合は詳細数値を記載する事に意味をなさないため、例えば視野角１ｄｅｇ以下は省略する等の下限を設けても良い。プレーヤではこれら情報に基づいて、ＯＳＤの表示における字幕の奥行き位置を設定する。

奥行き制限１００には、（４２）奥行き制限（最大視野角１、最大視野角２等）が記録される。あまり近くに飛び出してくる立体映像においては、心理的な効果からびっくりする等の感覚を与える。そのため、字幕ではなく立体映像そのものの飛び出し量を制限し、目にやさしい効果や、あまりびっくりさせないような配慮を行う。この場合プレーヤでは、図１７に示すように映像コンテンツで予め飛び出しの最大量となる視野角を記録しておく事により、図１８のように小さなお子さま等の視聴者に警告したり視聴制限させる事が可能となる。

視差量制限１０１には、（４３）視差量制限（撮影時の最大視野角１、最小視野角１、最大視野角２、最小視野角２等）を記載する。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。本情報は撮影時の２つのカメラの距離である視差基準量は人の目の間隔によって異なるため、この基準角度のずれ量の範囲を規定したものである。これにより両目の間隔の小さな子供等が視聴した場合の違和感を予め把握する事ができる。

このように、違和感の解消のために、同一映像コンテンツにおいて視差基準量の異なる複数立体映像を用意し、視聴者の目の間隔に合わせて選択する方法等も考えられる。複数の視差基準量については、近年ＣＧ技術が革新し、アニメーション映像等においてはコンピュータにより容易に変更できるようなっている。この場合、このような視差量制限情報を付帯情報に記載することによって、プレーヤでは図１８に示すように＊＊才〜＊＊才、大人等の選択キーを用意し、これを選択する事で元の映像コンテンツにおける視差基準量を視聴者にあわせて、正確な立体視聴が可能となる。また、視差のずれた映像を長時間見る事による目の疲れ等も回避できる。さらに、パレンタル８２においては、通常の平面映像２Ｄパレンタルレベル以外に３Ｄ映像対応した立体映像パレンタルレベルが規定される。パレンタル８２には、（４４Ａ）平面映像パレンタルレベル（現行ＤＶＤ等と同等のパレンタル表記），（４４Ｂ）立体映像パレンタルレベル（実施の形態１にて説明した立体映像パレンタルレベル）とを記録する。

また、図２０に示すようにＯＳＤ情報６９には、まずＯＳＤ自体の付帯情報となる配置情報６９Ａと、ＯＳＤそのものの情報が格納されているアドレスを記載したＯＳＤ情報格納先６９Ｂとを記録する。ＯＳＤ表示６９には、まずこの付帯情報を取り込みマイコン等で理解した上で、この格納先情報により実際のＯＳＤを取得し表示させる事となる。

ここで、字体の大きさ等の情報６９Ｃには、（４５）字体フォント、字体大きさを記録する。面内配置情報６９Ｄには、（４６）字体の配置情報（Ｘ位置、Ｙ位置）を記録する。

奥行き方向ＯＳＤ配置情報６９Ｅには、（４７）奥行き位置６９Ｆ，（４８）奥行き許可制限６９Ｇ（遠方制限位置、手前制限位置、奥行き変化量制限等の実施の形態１における目の疲れを軽減するための制限），（４９）奥行きズーミング速度６９Ｈ（ズーミングありなし、ズーミング速度）が記録される。なお、奥行きズーミング速度６９Ｈでズーミングを規定する事により、ある字幕から次の字幕に切りかわる際に、瞬時に奥行き位置を変化させるのではなく、すこしずつズームするように変化させ、目の疲れを軽減させるためのものである。

なお、上記（１）から（４３）までの３Ｄ映像情報における付帯情報は、映像情報ストリームに重畳されたものとして、映像情報とともに配信されるが、以下に述べる映像情報そのものとは別の領域に記載された映像制御情報２３にも同様な記載を行う事ができる。また、プレーヤ起動時の最初にすべての情報を読み込めるため、各種初期設定を行う事が可能である他、ビットレートやメモリの制限にかかる事なく映像情報に重畳するよりも多くの情報を記述できるため、より詳細な制御情報を記述する事が可能である。

次に、記録媒体のある領域に映像情報とは別に配置されている制御情報の構造について説明する。図２１は、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２１に示す映像制御情報２３は、コンテンツ情報６４、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４、ＧＯＰテーブル情報１０２、シーケンス情報１０３、メニュー情報１０４、メニューのＯＳＤデータ１０５を備えている。そして、ＧＯＰテーブル情報１０２は、図２１に示すように表形式となっており、ＧＯＰ番号、論理アドレス、タイムコード、シーケンス、配置、映像、音声、ＯＳＤの各欄が設けられている。

図２１では、特に映像欄の構成が図示されており、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４で構成されている。さらに、図２１では、３Ｄ映像情報８１が３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されていることが図示されている。

また、図２２も、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２２では、特にＯＳＤ欄の構成が図示されており、字幕の有無１０６とＯＳＤ情報６９とで構成されている。ＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂで構成され、ＯＳＤ配置情報６９Ａは、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅで構成され、奥行き方向のＯＳＤ配置情報６９Ｅは、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。

また、図２３は、記録媒体のある領域に映像情報とは別にまとめて配置されている映像制御情報のシーケンス情報の構造について説明したもので、シーケンス情報１０３が表形式で記録されていることを示している。図２３の映像欄には、解像度情報７９、フレームレート情報８０、アングル情報８３、３Ｄ映像情報８１、パレンタル情報８２が記録されている。なお、３Ｄ映像情報８１は、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。一方、図２３のＯＳＤ欄には、字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０とが記録されている。

記録媒体のある領域に映像情報とは別に配置されている制御情報については、映像情報ストリーム上に重畳された付帯情報３４、５１の情報を含めてすべての情報が記載されている。これはプレーヤ・レコーダの立ち上げ時にまず制御情報を読みこみ、各種初期設定を行うためである。

まず、映像制御情報２３は図２１のように記載されており、図１４の映像情報中に重畳された付帯情報５１と同じくコンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９を含んでいる。しかしながら、より多くの情報を格納できる映像制御情報２３においては、ＧＯＰテーブル１０２といった全ＧＯＰに関するテーブル情報を記載する事ができ、映像再生しなくてもＧＯＰ映像情報単位での情報内容を把握する事が可能となる。ここでＧＯＰテーブル１０２は図２１中の表のように記載され、論理アドレスがある事から、所定のセクタ領域から読み出された信号から上記データ・ファイル識別情報を検出し、検出された上記データ・ファイル識別情報にもとづいて、上記位置識別信号によって示された位置にある上記符号化単位に対応した上記データ・ファイルがディスク媒体上に記録されている位置を識別する。識別された上記ディスク媒体上の位置にもとづいて上記データ・ファイルを読み出し、読み出された上記データ・ファイルに含まれる上記符号化単位で符号化された信号を復号化して画像信号を再生する事ができる。これにより、所望の時点にある符号化単位が記録されている位置を容易にしかも即座に特定して再生することを可能にする。

また、上記ＧＯＰテーブル１０２においては映像に関する付帯情報において３Ｄ映像情報を含み上記（３２）〜（４３）の映像ストリーム中に記述された項目と同じ項目の付帯情報をＧＯＰ映像情報毎に記述する事が可能となる。また、字幕情報に関しても、図２２に示すように字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０を記述する事で（４４）〜（４９）に示す情報と同様な情報をＧＯＰ映像情報単位に字幕の付帯情報を記載可能となる。

また、上記映像制御情報２３には図２３に示すようにＧＯＰ映像情報単位のシーケンス情報を記載する事も可能である。これにより再生開始時に、データ・ファイルの再生順序を示す情報が記録された所定のセクタ領域のセクタ・アドレスを生成し、データ読み出し手段によって読み出されたデータから再生順序情報を読む事によって再生順序情報が検出され、その後再生順序情報にもとづいてセクタ・アドレスを生成する。これにより、記録媒体上に分散したセクタに記録された画像信号も再生することが可能となっている。このようなシーケンステーブル情報にも上記（３２）〜（４９）に示す付帯情報を記載することが可能となる。

（実施の形態３）
次に、本実施の形態３について以下に説明する。図２４は、本実施の形態３に係る立体映像記録装置のブロック図である。図２４に示す立体映像記録装置は、視差情報を利用した立体映像の右目映像と左目映像のそれぞれの映像信号をデジタル化するためのＡＤコンバータ１４６と、時間方向に画像圧縮するために必要な動きベクトル検出（動き検出）１４７と、面内圧縮に必要なＤＣＴ変換回路１４８と、面内圧縮に必要な適応量子化回路１４９、ローカルデコーダにおける逆量子化回路１５０とを備えている。さらに、図２４に示す立体映像記録装置は、面内圧縮に必要な可変長符号化回路１５１と、ローカルデコーダにおけるＤＣＴ逆変換回路１５２と、ローカルデコーダにおけるフレームメモリ１５３と、圧縮後のデータを格納するバッファメモリ１５４と、ＯＳＤ情報のエンコーダ１５５と、音声エンコーダ１５６と、フォーマットエンコーダ１５７と、光ディスク１６５に書き込む信号を生成するための変調手段１５８と、ＬＤ変調回路１５９とを備えている。
さらに、図２４に示す立体映像記録装置は、光ディスク１６５に記録するアドレスを抽出するためのアドレスヘッダ認識回路１６０と、光ヘッド１６４からの信号を再生するための再生アンプ１６１と、光ヘッド１６４や送りモータ１６３や回転モータ１６６を制御するためのサーボ回路１６２と、装置全体のシーケンスを制御管理するためのシステムコントローラ１６７とを備えている。

また、図２５は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造を示した図である。図２５に示す立体映像信号のストリーム構造は、付帯情報５１以降に、右目映像のＧＯＰ１６８、左目映像のＧＯＰ１６９、音声情報に関する情報６８、ＯＳＤ情報６９の構成が順に繰り返す構造である。また、図２５に示す右目映像のＧＯＰ１６８は、ＧＯＰヘッダ１７０、ピクチャヘッダ１７１，１７３、Ｉピクチャデータ１７２、Ｂピクチャデータ１７４で構成されている。さらに、図２５に示すＧＯＰヘッダ１７０は、ＧＯＰヘッダ１７０内にあるユーザデータスタートコード１７５、ＧＯＰヘッダ１７０内にある３Ｄ映像情報１７６で構成されている。さらに、図２５に示す３Ｄ映像情報１７６は、左目映像か右目映像かを記載した情報１７７、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。

また、図２６は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造において下位の構造部分を図示したものである。図２６では、右目映像のＧＯＰ１６８のトランスポートストリームパケット１７８〜１８２で示しており、左目映像のＧＯＰ１６９のトランスポートストリームパケット１８５〜１８８で示している。ＧＯＰ映像情報の最後のデータが記述されたトランスポートパケット１８２，１８８の最後のデータがそれぞれデータ１８３，１８９であり、データ１８３，１８９のそれぞれにパディング処理された部分１８４，１９０が付加されている。

ここで、図２４に示す立体映像記録装置は、左目と右目のそれぞれで同じ映像圧縮を行うようにしたものであり、ＡＤコンバータ１４６でデジタル化された右目映像は動き検出１４７の処理によって各映像マクロブロック単位での動きベクトルが抽出される。また、映像データの最初は面内符号化処理されているため、ＤＣＴ変換回路１４８にてＤＣＴ変換した後、適応量子化回路１４９で量子化され、可変長符号化回路１５１にて可変長符号化してバッファメモリへと送付される。この時、適応量子化後の映像データは逆量子化回路１５０、ＤＣＴ逆変換回路１５２によるローカルデコーダによって元の映像信号が復元され、さらにフレームメモリ１５３にて動き補償した映像と比較する事で、以降の時間軸方向の圧縮を行う画面において差分情報のみを使用して圧縮していく事が可能となっている。このような圧縮方式はＭＰＥＧやＨ．２６４等の圧縮方法において基本的な方式となっており広く用いられているものである。

ここで、図２４では右目映像と左目映像とをそれぞれ独立した映像ストリームとして入力し、それぞれ別々のエンコードブロックにてエンコードされる。そのため図２４では右目及び左目が同じブロックをそれぞれ並列に配した構造となっている。ただし、入力部分にメモリを配置し、一旦左目映像と右目映像とを蓄積した上で、同じエンコード回路を倍の速度で処理し、１つのエンコードブロックで同様に処理を行う事も可能である。これらエンコードされた立体映像情報は、バッファメモリ１５４でＯＳＤエンコーダ１５５からのＯＳＤ情報、音声エンコーダ１５６からの音声情報、フォーマットエンコーダ１５７からのフォーマットに必要な付帯情報を追記し、記録媒体である光ディスク１６５に記録するデータ形式に整えられる。ここで、フォーマットエンコーダ１５７は、従来の光ディスクフォーマットに必要とされるＮａｖｉ情報やメニュー情報に加えて、本発明に係る３Ｄ映像情報の記録に必要な付帯情報も追記する。

なお、光ディスクに記録される形式の映像データは、変調手段１５８で光ディスク１６５に物理的に書き込むための情報として誤り訂正符号を付加するとともに変調処理され、ＬＤ変調回路１５９にて光ヘッド１６４に搭載されたレーザを変調させるための信号を生成する。この際、光ディスク１６５に安定的に記録させるためのサーボ回路１６２によって、光ヘッド１６４を移動させる送りモータ１６３やディスク１６５を回転させる回転モータ１６６や光ヘッド１６４内の対物レンズアクチュエータを制御しトラックあわせや焦点あわせを行っている。また記録時には光ディスク１６５上のアドレスを読み込む必要があり、光ヘッドにて受光した信号を光電変換した微小信号を再生アンプ１６１で再生し、アドレスヘッダ認識回路１６０でアドレス情報を生成する。これらアドレス情報はシステムコントローラ１６７で各ブロックの起動設定とあわせシーケンス処理され、特に高速なタイミングが必要とられる書き込みタイミング処理等は専用のハードウェアで行われ、プログラミングが必要なシーケンス設定部分はＣＰＵ等で行われる。

ここで、立体映像記録装置によって生成される映像ストリームは、図２５に示す構造となる。まずＭＰＥＧ等の時間軸方向の圧縮映像を含む圧縮映像データは一般的にＧＯＰと呼ばれる面内圧縮符号映像を含む。例えば１５ピクチャ単位程度の映像ブロックとして構成される。ここでは視差情報を利用した右目映像ブロックと左目映像ブロックとの２つあるため、付帯情報５１を先頭とし右目映像のＧＯＰ１６８と左目映像のＧＯＰ１６９とがシーケンシャルに配置させる。なお、右目映像及び左目映像がそれぞれ１ＧＯＰの例を示しているが、映像条件が変わらない範囲で同一ＧＯＰ数であれば複数個のＧＯＰから構成してもよい。また、付帯情報５１については実施の形態２で説明した通りであるが、ここではさらにＧＯＰヘッダ部分に新たなユーザデータスタートコードを定義し、その後ろに３Ｄ映像情報１７６を記載する事も可能である。

まず、３Ｄ映像情報１７６には左目映像か右目映像かを識別するための情報（フラグでもよい）１７７を配置するとともに、実施の形態２にて説明した３Ｄ映像方式の有無８５や、３Ｄ映像フレームレート８６、３Ｄ映像情報数８７、奥行き情報１００、視差量制限情報１０１を記録する。また、図２６に示すように付帯情報５１は、トランスポートパケットのレイヤにおいてプライベートパケット（ＴＳＰ１）１７８を設け、これをトランスポートデコーダの部分で分離抽出する事となる。図２５のように構成する事でＭＰＥＧデータの階層レベルでも同じ３Ｄ情報を抽出する事が可能となる。これらは再生装置とＴＶがリンク接続され自動的に３Ｄ映像設定する場合や、映像再生中にＴＶを切り替えたりする場合に、ＴＶ側にトランスポートデコーダでの付帯情報抽出設定が有効であれば付帯情報５１が有効になるし、ＭＰＥＧレイヤでの立体映像付帯情報が有効であれば３Ｄ映像情報１７６が有効になってくる。

また、図２５の映像ストリームはＭＰＥＧ情報レイヤの単位で記載したものであるが、もう１段下のトランスポートパケットの単位で記述したものが図２６である。図２６において、右目及び左目映像のＧＯＰ１６８，１６９のブロック単位での映像データは、トランスポートパケット１７８の先頭からスタートしＧＯＰ映像情報の終端では必ずしもトランスポートパケットの整数倍のデータには収まらないため、最終のトランスポートパケット１８２内の残りをパディングし、最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。これによりトランスポートパケット１７９からトランスポートパケット１８２までを取り出すことにより右目映像のＧＯＰ１６８のみを抽出する事が可能となる。左目映像のＧＯＰ１６９においても右目と同様な処理が行われ、トランスポートパケット１８５を先頭に、パディングデータ１９０を含むトランスポートパケット１８８までを抽出する事により左目映像のみを取り出す事が可能となる。

なお、図２４の立体映像記録装置においては、左目映像と右目映像とをそのままエンコードしていたが、左目映像と右目映像とは基本的には視差分だけずれた映像情報であり相関性が非常に高いものであるから、例えば左目映像については右目映像からの差分情報のみを記録するように構成すれば、全体の情報量も圧縮が可能である。そのための立体映像記録装置のブロック図を図２７に示す。図２７に示す立体映像記録装置は、右目映像のブロック部分を主映像として図２４で示した映像圧縮のブロック構成と同じ構成を採用している。しかし、左目映像においては、左目映像の動き検出１４７の出力を右目映像のフレームメモリ１５３の出力と差分を取り、左目映像と右目映像との差分情報のみを抽出する。この差分情報は、左目映像のラインにおけるＤＣＴ変換１４８及び適応量子化１４９の処理を経て、可変長符号化処理１５１を行う事で左目映像の差分情報のみをバッファメモリ１５４に記録させる。以降の光ディスクに書き込むまでの処理は図２４と同じである。
なお、図２７に示す例では、右目映像を主映像とし、左目映像を差分をとる副映像としたが、左右が逆（左目映像が主映像で右目映像が差分をとる副映像）であっても良いことはいうまでもない。

また、図２７に示す立体映像記録装置では、左目映像と右目映像との差分をとることで、片方の映像情報量をさらに圧縮する方法について述べたが、本映像情報が視差情報によるものである事からさらに情報圧縮をかける事が可能である。図２８（ａ），図２８（ｂ）に視差映像の原理を模式的に示した図である。図２８（ａ）では、奥行き位置１２６Ｍにある手前の映像物１２６Ｇと、奥行き位置１２６Ｌにある奥の映像物１２６Ｈ、両目１２６Ｆまでの奥行き位置（一番手前）１２６Ｎとし、映像物１２６Ｇの視野角１２６Ｄ、映像物１２６Ｈの視野角１２６Ｅとしている。また、図２８（ｂ）では、映像物１２６Ｇの左目映像１２６ＧＡ、映像物１２６Ｇの右目映像１２６ＧＢ、左目映像１２６ＧＡと右目映像１２６ＧＢとの視差量１２６Ｉ、左目映像と右目映像との同一画素点１２６Ｋとしている。さらに、図２８（ｂ）では、映像物１２６Ｈの左目映像１２６ＨＡ、映像物１２６Ｈの右目映像１２６ＨＢ、左目映像１２６ＨＡと右目映像１２６ＨＢとの視差量１２６Ｊ、左目映像と右目映像との同一画素点１２６ＫＫとしている。

図２９は、片方の映像をさらに圧縮する立体映像記録装置のブロック図である。図２９に示す立体映像記録装置は、左目映像と右目映像とからの視差量を演算するための視差情報演算回路１９１Ａと、奥行き方向の動き検出回路１９１Ｃと、推定視差情報生成回路１９１Ｄとを備えている。さらに、図２９に示す立体映像記録装置は、推定視差情報から元の左目映像を右目映像に変換するための逆視差演算処理回路１９１Ｂと、右目映像と逆視差演算処理回路１９１Ｂによって生成した右目映像とを比較した結果よりＤＣＴ変換するＤＣＴ変換回１９１Ｅと、適応量子化回路１９１Ｆと、可変長符号化１９１Ｇとを備えている。なお、視差情報演算回路１９１Ａから可変長符号化１９１Ｇまでが立体映像圧縮処理を行う部分である。

また、図３０は、図２９の立体映像記録装置による圧縮方法での映像ストリームのエンコードとデコードを説明するための図である。図３０では、右目映像１９２Ａ〜１９２Ｇ、左目映像右目映像の視差情報演算値１９３、左目映像１９４Ａ〜１９４Ｇ、奥行き方向動きベクトル演算値１９６、推定視差情報１９７、右目主映像の圧縮映像１９５Ａ〜１９５Ｇが図示されている。さらに、図３０では、右目主映像の圧縮映像１９５Ａ〜１９５Ｇに基づく再生主映像１９８Ａ〜１９８Ｇ、再生主映像１９８Ａ〜１９８Ｇにそれぞれ対応する推定視差情報２０４〜２１０、再生副映像２１１〜２１７とが図示されている。また、図３１は、図２７もしくは図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造を示した図である。図３１に示す映像ストリーム構造は、基本的に図２５と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点と、３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９が追加されている点とが異なる。また、図３２は、図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造におけるトランスポートレベルの階層でのストリーム構造を示したものである。図３２は、基本的に図２６と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点が異なる。

ここで、視差を利用した右目映像と左目映像とから立体方向を図示すると図２８（ａ）のようになる。図２８（ａ）では、両目１２６Ｆから見た視差角度が奥行きに応じて異なって見える。そのため、左右の視差映像となった場合は図２８（ｂ）のように手前の映像物１２６Ｇは大きく、左目映像１２６ＧＡと右目映像１２６ＧＢとが離れて見え、視差量１２６Ｉも大きくなる。一方、遠方にある映像物１２６Ｈは小さく、左目映像１２６ＨＡと右目映像１２６ＨＢとが離れて見え、視差量１２６Ｊも小さくなる。

そのため、視差量（１２６Ｉもしくは１２６Ｊ）又は視差角情報（１２６Ｄもしくは１２６Ｅ）の情報があれば、図２８（ｂ）のように左目映像から右目映像を推定（視差情報変換による映像生成）する（１２６Ｋ及び１２６ＫＫ）事が可能である。この条件としては、見る角度によって輝度や色が変わらない事が前提となるため、角度による映像の回り込みや影等の変化については本推定では推定できない情報となる。

ここで、図２９に示す立体映像記録装置では、左目映像及び右目映像の動き検出ブロック１４７から得られる映像物の面内位置情報から視差角を抽出し、視差情報演算回路１９１Ａによってマクロブック単位もしくは画素単位での視差情報を演算する。さらに、時間軸方向での圧縮を行うため奥行き方向動き検出回路１９１Ｃにおいて、画面単位での奥行き方向の動きベクトルを抽出する。推定視差情報生成回路１９１Ｄでは、この奥行き方向の動き情報と視差情報をもって推定視差情報として生成する。また、上述したように片方の映像（ここでは右目映像として説明）情報から視差情報だけで逆側（ここでは左目映像として説明）の映像を完全に再現できるわけではなく、画像の回り込みによる変化（隠れた部分が見えてくる等）等については推定できない情報として残ってしまう。

そのため、図２９に示す立体映像記録装置では、立体映像圧縮において推定視差情報から逆視差演算処理回路１９１Ｂによってまず不完全ながら逆側（ここでは左目映像として説明）の映像を視差情報を利用しローカルデコード再現し、これと実際に撮影した逆側の映像を圧縮処理したもの（ローカルデコーダにおけるフレームメモリ１５３上の映像）との差分をとる。この差分をとった情報が上述した画像の回り込みによる変化した再現できない部分の情報であり、視差情報を利用した圧縮ストリームにおいても視差情報で完全に再現できない部分をカバーする事ができる。また、図示していないが、奥行き方向の動きベクトルを抽出した場合、さらに視差の変化量も情報として利用するため、通常の情報圧縮のローカルデコーダと同じく、逆量子化回路とＤＣＴ逆変換回路、フレームメモリを用い、奥行き方向の動きベクトルから元の映像をローカルデコーダにより再現し再比較する事で、奥行き方向の動きベクトルを利用し圧縮効率をアップさせる事ができるようになる。

ここで、画面単位での映像データは図３０のように示される。図３０にある右目カメラから右目主映像１９２Ａ〜１９２Ｇ、左目カメラから左目副映像１９４Ａ〜１９４Ｇが取り出される。ここで、図２９の視差情報演算回路１９１Ａにより、右目主映像１９２Ａ〜１９２Ｇと左目副映像１９４Ａ〜１９４Ｇとから視差情報１９３が演算される。また、奥行き方向の動きベクトル演算１９１Ｃは、視差情報１９３の画面単位での変化から奥行き方向動きベクトル演算値１９６が抽出され推定視差情報１９７として生成される。この推定視差情報１９７自体は、画像のマクロブロック単位であったり画素単位であってもよい。

一方、映像の再生時には、右目主映像１９２Ａ〜１９２Ｇは映像圧縮により符号化され右目主映像の圧縮映像１９５Ａ〜１９５Ｇとなっている。具体的に右目主映像の圧縮映像は、面内圧縮映像のＩピクチャ１９５Ａと、面内動きベクトルを用いた時間方向の圧縮を行ったＰピクチャ１９５Ｄ及び１９５Ｇと、Ｂピクチャ１９５Ｂ，１９５Ｃ，１９５Ｅ，１９５Ｆから構成されている。この右目主映像の圧縮映像は、通常の圧縮映像伸張回路により再生主映像１９８Ａ〜１９８Ｇとして右目映像に再現される。そして、それぞれの再生主映像（右目映像）１９８Ａ〜１９８Ｇと、画面毎の推定視差情報２０４〜２１０と、画面毎の差分情報を逆量子化し逆ＤＣＴ変換した情報とで再生副映像（左目映像）２１１〜２１７が復元される。ここで、差分情報からの復元映像部分は、画像の回りこみ等推定視差情報では再現できない部分を補完する役割を担っている。

図２９又は図２７に示す立体映像記録装置での圧縮映像を用いた映像ストリームは、図３１のように示され、あくまでもＧＯＰ映像情報単位のデータとして単位化される。これは右目映像が元々ＧＯＰ映像情報単位で単位化されており、左目の差分圧縮データもこの右目映像を利用する関係で画像の単位化レベルを合わせこむ必要があるからである。ここでは右目映像のＧＯＰ１６８内のＧＯＰヘッダ１７０において、図２５で説明したような立体映像に関する付帯情報が付加される。ただし、左目映像に関し図２９に示した推定視差情報１９７を用いた圧縮情報なのか、図２７に示した差分圧縮情報なのか、図２４に示した立体映像としての圧縮は行わない方式であるか等の識別情報を図３１に示すように３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９を記述しておく必要がある。また、トランスポートパケットのレベルでストリーム構造を見た場合、図３２のように示され、図２６と同様にＧＯＰ映像データの終端部分はトランスポートパケット内でパディングさせるほか、立体方向の圧縮映像データであっても終端部分はトランスポートパケット内でパディングさせる。なお、上述は右目映像が主映像、左目映像が立体方向に圧縮をかけた副映像としているが、逆であってもまったく問題なく、右目映像が主映像で左目映像が副映像、左目映像が主映像で右映像が副映像と混在した映像ストリームであってもよい。ただし、規格上混在を許可させる場合は、どちらの映像が主映像でどちらが副映像であるかの識別情報の記述が必要となる。

また、左目及び右目の立体映像をもっと簡便に映像ストリーム化することも可能である。例えば、図３３に示す立体映像記録装置は、簡便に映像ストリーム化する画像構成処理部である合成回路２２０を備えている。また、図３４は、図３３に示す立体映像記録装置における映像ストリームの構造を示したもので、左目又は右目映像のＧＯＰ２２１が１つのＧＯＰ映像情報単位となっている。また、図３５は、図３３に示す立体映像記録装置における映像ストリームのトランスポートパケットレベル階層での構造を示したものである。

ここで、入力される左目及び右目の視差映像は一旦合成回路２２０に入力され、図３３に示すように１つの画面内に縦長の２つの画面として挿入される。この際、各映像の画素は単に映像ラインで間引かれるのではなく、フィルタ処理を施され水平方向に圧縮された後、左目右目映像に合成される。このように各画面は縦長の２枚の左目映像と右目映像とで構成されることになるが、以降は通常の画像圧縮処理の方法を用いてストリーム生成される。この場合でも図３４に示す映像ストリームにおいては付帯情報５１もしくはＧＯＰヘッダ１７０内の３Ｄ情報領域１７６において、水平方向に圧縮された映像情報である事が記述され、通常のＴＶでそのまま再生されないようにする事が必要である。また、図３５に示す映像ストリーム構造を採用する場合でも、トランスポートパケットのレベルにおいては図２６や図３２と同様に、ＧＯＰ映像情報の終端におけるトランスポートパケットの最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。なお、本発明では光ディスクに記録された立体映像記録装置や立体映像記録方法について記載したが、記録媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。

（実施の形態４）
次に、本実施の形態４について、図に従い以下に説明する。実施の形態３においては、立体映像記録装置について説明したが、本実施の形態では立体映像再生装置について説明する。図３６は、本実施の形態に係る立体映像再生装置のブロック図である。図３６に示す立体映像再生装置では、復調訂正回路２２２と、アドレスヘッダ認識回路２２３と、光ディスクドライブ部分と映像音声処理部分であるバックエンドとを接続するためのＩＦ（インターフェイス）２２４と、光ディスクドライブ部分からのデータを一旦蓄えるためのデータバッファ２２５とを備えている。また、図３６に示す立体映像再生装置では、映像音声データ等のストリームを分離するためのシステムデコーダ２２６と、圧縮映像を伸張するためのＭＰＥＧ，Ｈ２６４デコーダ２２７と、オーディオデコーダ２２８と、字幕表示等のためのＯＳＤデコーダ２２９と、ＯＳＤ情報の奥行き生成回路２２９Ａとを備えている。さらに、図３６に示す立体映像再生装置では、３Ｄ映像処理回路２３０と、映像にＯＳＤ情報をかぶせるためのブレンディング処理回路２２９Ｂと、外部との汎用ＩＦ２３１と、右目専用ＩＦ２３２と、左目専用ＩＦ２３３と、バッファ回路２３４と、バックエンド全体のシステムコントローラ２３５とを備える。

また、図３７は、実施の形態３で示した立体方向の圧縮映像から左目映像をデコードする部分を示したブロック図である。図３７では、映像ストリームの視差情報や奥行き動きベクトル情報を抽出するためのシステムデコーダ２３６と、ＭＰＥＧやＨ２６４等の圧縮映像ストリームをデコードするＭＰＥＧ、Ｈ２６４デコーダ２３７と、視差情報２３８と、動きベクトル情報２３９と、視差情報演算回路２４０と、左目映像再現回路２４１とを備えている。なお、視差情報２３８、動きベクトル情報２３９、視差情報演算回路２４０及び左目映像再現回路２４１が３Ｄ映像処理回路２３０を構成している。

ここで、図３６に示す立体映像再生装置では、まず光ディスクドライブ内の復調訂正回路２２２よって光ディスク１６５に記載された映像音声データや付帯データが再生される。この際、サーボ回路１６２は光ヘッド１６４からの再生信号を高品位に抽出し続けるように作用し、アドレスヘッダ認識回路２２３は所定のアドレスの瞬時にアクセスするために作用する。ここで、光ディスクドライブから再生されたデータはＩＦ回路２２４を介して一旦データバッファ回路２２５に入力された後、システムデコーダ２２６に入力される。システムデコーダ２２６では、映像音声データ等のストリームを分離し、音声情報はオーディオデコーダ２２８、ＯＳＤ情報はＯＳＤデコーダ２２９、映像情報はＭＰＥＧ，Ｈ２６４デコーダ２２７に入力される。

なお、ＯＳＤ情報はＯＳＤ奥行き生成回路２２９Ａでシステムデコーダ２２６から得られる付帯情報により奥行きをもったＯＳＤ情報として生成される。また、ＭＰＥＧ，Ｈ２６４デコーダ２２７でデコードされた映像ストリームは３Ｄ映像処理回路２３０にて３Ｄ映像情報として処理され、ブレンディング回路２２９Ｂで奥行きをもったＯＳＤ映像とブレンディングされ、転送レートが低い場合はＨＤＭＩ等の汎用ＩＦで出力したり、左目映像を左目専用ＩＦ２３３で、右目映像を右目専用ＩＦ２３２で、それぞれ出力させる事が可能となる。

また、実施の形態３で示したような片側映像が視差情報を用いた圧縮をさらに行っている場合、立体映再生装置における３Ｄ映像処理２３０は図３７のように構成される。ここで、システムデコーダ２３６で抽出した左目の圧縮映像情報である視差情報２３８と奥行き動きベクトル２３９を用いて各画素もしくはマクロブロック単位での視差情報演算を視差情報演算回路２４０で行い、右目映像から左目映像を生成するための変換係数を生成する。この変換係数を用いてＭＰＥＧ，Ｈ２６４デコーダで生成した右目映像から、左目映像再現回路２４１にて左目映像を再現する。ここで、圧縮された左目映像が視差情報による圧縮のみであれば視差情報演算回路２４０の出力に基づく再変換のみであるが、図３３に示す立体映像記録装置のようにＤＣＴ変換と適応量子化を行った圧縮情報であれば、逆量子化と逆変換回路とを左目映像再現回路２４１内に内蔵する必要がある。

次に、左目及び右目の立体映像から立体でない２Ｄ映像を再現する立体再生装置について説明する。図３８（ａ）は、２Ｄ映像を再現する立体再生装置のブロック図である。図３８（ａ）では、視差情報に基づく合成処理回路２４２を備えている。また、図３８（ｂ）は、合成処理回路２４２で構成される映像を模式的に説明する図であり、左目映像２３２Ａと、右目映像２３３Ａとが合成された映像が２Ｄ映像２３１Ａである。ここで、一般的なＴＶ等の表示装置においては、必ずしも３Ｄ映像対応であるとは限らず、むしろ２Ｄ映像対応である事の方が多い。従って３Ｄ映像のみが記載されたメディアを再生する場合、２Ｄ映像でも再生できるようにしておく事が望ましい。最も簡単な方法としては、右目映像もしくは左目映像のみを表示させる事で２Ｄ映像を再現できる。例えば、ＴＶが２Ｄ映像しか対応していない場合は、プレーヤとＴＶの間でのリンク接続処理において自動検知し、片方の映像のみを常に再生しておく事となる。

しかしながらこの方法では、奥行きが目に近い（飛び出して見える）映像の場合、視差量が大きく、図３８（ｂ）に示す左目映像２３２Ａや右目映像２３３Ａのように、左右位置が大きくずれた映像となってしまう問題があった。そのため、左目及び右目映像における視差情報を用いてこれを合成し、２Ｄ映像２３１Ａのような中間位置の映像を再現する事で違和感のない２Ｄ映像を再現する事ができる。ただし、この場合の画面の両サイドは、視差量が大きいと演算できないため、元の映像が左目映像の場合は左側に広く、右目映像の場合は右側に広く撮影されていないと、映像２４１Ａの部分（画面の両サイド）がカットされたような映像となる。

さらに、実施の形態２で示したように画面の飛び出し量が大きいと目の疲れやびっくりした感じを増大する懸念がある。そのため、飛び出し量を可変できるようにした立体映像再生装置のブロック図を図３９（ａ）に示す。図３９（ａ）では、係数変更視差による左目映像再現回路２４３と、係数変更視差による右目映像変換処理回路２４４と、飛び出し量可変のためのユーザインターフェイス２４５と、視差情報係数変更部２４６とを備えている。また、図３９（ｂ）は、立体映像再生装置の飛び出し量の可変を説明するための図である。さらに、図３９（ｃ）は、図３９（ａ）の回路により飛び出し量を変化させた場合の結果を説明する図である。また、図３９（ｄ）は、立体映像再生装置を接続した表示装置に表示されている飛び出し量を可変するためのＯＳＤバー２４６Ａを図示している。

図２９に示す立体映像記録装置のように片側映像を視差情報により圧縮した方式においては、画素もしくはマクロブロック単位でそのまま飛び出し量と関連している視差情報がリンクされている。そのため、ユーザからの飛び出し量可変指示があった場合、図３９（ｄ）のユーザインターフェイス２４５に、例えばＴＶ画面のＯＳＤバー２４６Ａに示されるようなＯＳＤ画面を使って指示を入力させ、視差情報係数変更部２４６にてどの程度飛び出し度合いを減衰させるのか変換係数を決定する。この変換係数によって視差情報演算回路２４０での視差演算量を決定し、左目映像であれば係数変更視差による左目映像再現回路２４３により、右目映像であれば係数変視差情報に基づく画像変換処理回路２４４により左目映像と右目映像との視差量を、図３９（ｂ）に示すよう左目映像１２６ＧＡと右目映像１２６ＧＢとが破線から実線となるように小さく変換して表示させる。結果的には、専用ＩＦ２３２，２３３の出力から得られる立体映像は図３９（ｃ）の立体視された三角図形のように飛び出し量が小さく再現される。

また、図３９（ａ）に示す立体映像再生装置では、あくまで映像ストリーム上に視差情報が記録されている場合にこれを用いて飛び出し量の変換を行うものであったが、視差情報がない場合が考えられる。そこで、図４０に示す立体映像再生装置では、映像ストリーム上に視差情報が記録されていない場合でも飛び出し量を制御できる構成を示す。図４０に示す立体映像再生装置では、左目映像と右目映像とにそれぞれＭＰＥＧ，Ｈ２６４デコーダ２３７Ａ，２３７Ｂと、視差情報抽出部２４７と、右目映像の視差変換部２４８と、左目映像の視差変換部２４９とを備えている。図４０に示す立体映像再生装置では、視差映像抽出部２４７にて左目映像及び右目映像のデコード映像から、新たに視差情報を検出すればよい。また、この視差情報は図３９（ａ）の場合と同様にユーザインターフェイス２４５を介し、視差情報係数変更部２４６を介して新たな視差情報を視差情報演算部２４０で生成し、右目映像の視差変換部２４８及び左目映像の視差変換部２４９に供給される。

なお、本実施の形態では光ディスクに記録された立体映像情報を再生する装置や再生方法について記載したが、記憶媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。

＜補足事項＞
なお従来、立体（以下、３Ｄともいう）映像を長時間視聴する場合、焦点方向に目を動かす頻度が増大し、目の疲れや３Ｄ酔いのような症状が頻発する事が懸念され、特に奥行き方向の注目点の移動が激しい場合において、３Ｄ視聴に支障をきたす場合があった。また、特に字幕等の表示においては、目の焦点を次々と切り替える必要があり、通常の３Ｄ映像に対し、さらに目の疲れや３Ｄ酔いの症状を増大させる等の懸念があった。

また、立体映像情報の記録において、右目映像と左目映像との視差を利用した立体映像を光ディスク上にファイルする際に、平面（以下、２Ｄともいう）映像と立体（３Ｄ）映像とが混在した映像ストリームに対応できない問題があった。特に、立体映像を再生中の再生装置に表示装置を切り替えたり、新たに接続しようとした場合に、３Ｄ表示に必要な情報をリンクして表示装置側に送付できないため、瞬時に表示装置の設定を切り替える事ができない等の問題があった。

また、立体映像情報の記録において、右目映像と左目映像との視差を利用した立体映像を光ディスク上にファイルする際に、放送で実施される立体映像を記録でき、且つ表示装置や再生装置の設定が可能な、画像制御情報が設けられていない問題があった。

また、映画等の配給コンテンツにおいては映画館等の先行視聴ビジネスとメディア配給とをリリース時期を異なるように設定しており、映画配給の状況から視聴可能地域を限定するコードが設けられていた。さらに、配給コンテンツが立体映像の場合、さらに対応表示装置の普及状況にも左右されるため、３Ｄ映像と２Ｄ映像とによって、さらに視聴可能地域を分ける事が必要となっていた。しかし、従来のシステムではこれに対応していない問題があった。

また、立体映像ストリームにおいて、ストリーム上からコンテンツに関する情報や、著作権に関する情報、３Ｄ表示方法に関する情報、ＯＳＤ表示に関する情報、マルチアングルの情報等を重畳させる事ができないため、再生装置側ではなく表示装置側で機器の設定変更を瞬時に行う事ができない問題があった。

また、視差を利用した３Ｄ映像情報においては、通常の２Ｄ映像情報と比べて左目の情報と右目の情報とがあり、そのままでは情報量が２倍となるためファイル効率が劣化する等の問題があった。

また、３Ｄ映像の再生時において、立体度合いがきつい映像では目の疲労が大きくなるため、コンテンツの立体度合いに応じて、予めユーザに警告を発したり、ユーザの年齢等で視聴制限したりする事ができない問題があった。さらに、３Ｄ映像の再生時において、立体度合いがきつい映像では目の疲労が大きくなるため、コンテンツの立体度合いを再生装置側で緩和する処置ができない問題があった。

そこで、本発明は、上記の課題を解決するためになされた発明であり、立体映像の記録、再生をより最適に行うことが可能な立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置を提供することを目的とする。

本願発明によれば、圧縮効率の高い圧縮処理で処理された立体映像データを平面映像再生との互換性を持たせた形で光ディスク上に最適配置することができ、又、これを利用することができる。

１ 右目映像、２ 左目映像、３，８ 表示装置、４ シャッタ、５ 映像、６ 記録装置、７ メガネ、９，１０ 偏向板、１１ 表示光学系、１２ 表示パネル、１３ 同期回転部材、１４ 光源、１５〜２０ 表示デバイス、２１ 回転ミラー、２２ 像信号、２３ 映像制御情報、２４，２５ 映像タイトル、２６ 記録媒体、１４６ ＡＤコンバータ、１４７ 動き検出回路、１４８ ＤＣＴ変換回路、１４９ 適応量子化回路、１５０ 逆量子化回路、１５１ 可変長符号化回路、１５２ ＤＣＴ逆変換回路、１５３ フレームメモリ、１５４ バッファメモリ、１５５ ＯＳＤエンコーダ、１５６ 音声エンコーダ、１５７ フォーマットエンコーダ、１５８ 変調回路、１５９ ＬＤ変調回路、１６０ アドレスヘッダ認識回路、１６１ 再生アンプ、１６２ サーボ回路、１６３ 送りモータ、１６４ 光ヘッド、１６５ 光ディスク、１６６ 回転モータ、１６７ システムコントローラ、１９１Ａ 視差情報演算回路、１９１Ｂ 逆視差演算処理回路、１９１Ｃ 奥行き方向動き検出回路、１９１Ｄ 推定視差情報生成回路、１９１Ｅ ＤＣＴ変換回路、１９１Ｆ 適応量子化回路、１９１Ｇ 可変長符号化回路、２２２ 復調訂正回路、２２３ アドレスヘッダ認識回路、２２４ インターフェイス回路、２２５ データバッファ、２２６，２３６ システムデコーダ、２２７，２３７ ＭＰＥＧ・Ｈ２６４デコーダ、２２８ オーディオデコーダ、２２９ ＯＳＤデコーダ、２２９Ａ ＯＳＤ奥行き生成回路、２２９Ｂ ブレンディング回路、２３０ ３Ｄ映像処理回路、２３１ 汎用ＩＦ、２３２，２３３ 専用ＩＦ、２３４ バッファ、２３５ システムデコーダ、２３８ 視差情報生成回路、２３９ 動きベクトル生成回路、２４０ 視差情報演算回路、２４１ 左目映像再現回路、２４２，２４４ 視差情報に基づく合成処理回路、２４３ 左目映像再現回路、２４５Ａ ＯＳＤバー、２４６ 視差情報係数変更部、２４５ ユーザインターフェイス、２４７ 視差情報抽出部、２４８ 右目映像視差変換回路、２４９ 左目映像視差変換回路。

Claims (3)

1. 左目映像と右目映像との視差を用いて立体映像を再生する映像再生方法であって、
   前記左目映像または前記右目映像として用いられる主映像のデジタル映像ブロックをデコードして主映像を生成し、
   前記左目映像及び前記右目映像のうち前記主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックをデコードして副映像を生成し、
   デコードした前記主映像及び前記副映像を用いて前記立体映像を再生し、
   映像ストリームにおいて前記副映像のデジタル映像ブロックより前に設けられたグラフィックスの奥行きに関する情報に応じて、前記立体映像に前記グラフィックスを重畳する
   ことを特徴とする映像再生方法。
2. 左目映像と右目映像との視差を用いて立体映像を再生する映像再生装置であって、
   前記左目映像または前記右目映像として用いられる主映像のデジタル映像ブロックをデコーダし、前記左目映像及び前記右目映像のうち前記主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックをデコーダするデコーダと、
   デコードした前記主映像及び前記副映像を用いて前記立体映像を再生する再生部と、
   映像ストリームにおいて前記副映像のデジタル映像ブロックより前に設けられたグラフィックスの奥行きに関する情報に応じて、前記立体映像に前記グラフィックスを重畳する回路と、
   を備えることを特徴とする映像再生装置。
3. 立体映像の再生に用いられる映像データが記録された光ディスクであって、
   前記立体映像を再生する際に左目映像または右目映像として用いられる主映像のデジタル映像ブロックと、
   前記立体映像を再生する際に前記左目映像と前記右目映像のうち前記主映像とは異なる側の映像として用いられる副映像のデジタル映像ブロックと、
   前記主映像のデジタル映像ブロック及び前記副映像のデジタル映像ブロックを含む映像ストリームにおいて、前記副映像のデジタル映像ブロックより前に設けられ、再生時に前記立体映像に重畳されるグラフィックスの奥行きに関する情報と、
   を有することを特徴とする光ディスク。

Images