JP2015516751A - 奥行きシグナリングデータ - Google Patents

Abstract

様々な種類の３Ｄディスプレイに３Ｄデータを伝送するための３Ｄビデオシステムについて説明する。３Ｄ発生源装置４０が、三次元（３Ｄ）ビデオ信号４１を３Ｄ送信先装置５０に与える。３Ｄ送信先装置は、３Ｄビデオ信号を受け取り、３Ｄディスプレイのビューのワーピングを可能にする送信先奥行きマップを提供するための、送信先奥行きプロセッサ５２を有する。３Ｄ発生源装置が、送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させるための奥行き処理条件を表す、奥行きシグナリングデータを生成する。３Ｄビデオ信号は奥行きシグナリングデータを含む。送信先奥行きプロセッサは、奥行きシグナリングデータに依存して送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させる。奥行きシグナリングデータは、描画プロセスが実際の３Ｄディスプレイ用の奥行きデータからより優れた結果を得ることを可能にする。

Description

本発明は、３Ｄ送信先装置に転送するための三次元（３Ｄ）ビデオ信号を提供するための３Ｄ発生源装置に関する。３Ｄビデオ信号は、３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを含む。３Ｄ送信先装置は、３Ｄビデオ信号を受信するための受信機と、ビューをワーピングできるようにする送信先奥行きマップを３Ｄディスプレイに提供するための送信先奥行きプロセッサとを含む。３Ｄ発生源装置は、３Ｄビデオ信号を生成し、その３Ｄビデオ信号を３Ｄ送信先装置に転送するための出力ユニットを含む。

本発明は更に、３Ｄ送信先装置に転送するための３Ｄビデオ信号を提供する方法に関する。

本発明は、発生源装置、例えば放送装置、インターネットウェブサイトサーバ、認証システム、ブルーレイディスクの製造業者等において３Ｄビデオ信号を生成し、複数のビューを描画するために奥行きマップを必要とする３Ｄ送信先装置、例えばブルーレイディスクプレーヤ、３Ｄ ＴＶセット、３Ｄディスプレイ、モバイルコンピューティング装置等に転送する分野に関する。

文献「Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension, by Shinya Shimizu, Hideaki Kimata, and Yoshimitsu Ohtani, NTT Cyber Space Laboratories, NTT Corporation, 3DTV-CON, IEEE 2009」は、ＭＰＥＧ符号化されたビデオ転送信号と共に３Ｄビデオ技術、具体的にはビデオフォーマット内に奥行きマップを含めるためのマルチビュー符号化（ＭＶＣ:Multi View Coding）拡張について記載している。奥行きマップビデオ符号化を含めるためのＭＶＣ拡張は、関係する複数の補足ビュー、即ち奥行きマップビューと共に複数のビューを表すビットストリームを構築できるようにする。この文献によれば、３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを有する３Ｄビデオデータストリームに奥行きマップが追加され得る。復号器側では、奥行きマップは、例えばオートステレオスコピックディスプレイのために、左ビュー及び右ビューに加えて更なるビューを生成することを可能にする。

ビデオ素材には、奥行きマップが与えられる場合がある。更に、奥行きマップのデータを有しない既存の多くの３Ｄビデオ素材がある。かかる素材では、送信先装置が、第１のビデオ情報及び第２のビデオ情報に基づき生成済み奥行きマップを生成するためのステレオ−奥行き変換器を有し得る。

本発明の目的は、奥行き情報をもたらし、３Ｄビデオの描画を向上させるためのより柔軟な奥行き情報を転送するためのシステムを提供することである。

このために、本発明の第１の態様によれば、導入部に記載の発生源装置が、奥行きシグナリングデータを提供するための発生源奥行きプロセッサを含み、奥行きシグナリングデータは送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させるための処理条件を表し、出力ユニットが奥行きシグナリングデータを３Ｄビデオ信号内に含めるように構成される。

この方法は、３Ｄビデオ信号を生成するステップと、送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させるための処理条件を表す奥行きシグナリングデータを提供するステップと、奥行きシグナリングデータを３Ｄビデオ信号内に含めるステップとを含む。

３Ｄビデオ信号は奥行きシグナリングデータを含み、奥行きシグナリングデータは、送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させるための処理条件を表す。

送信先装置内では、受信機が３Ｄビデオ信号から奥行きシグナリングデータを取得するように構成される。送信先奥行きプロセッサは、奥行きシグナリングデータに依存して送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合させるように構成される。

これらの手段には、送信先装置が３Ｄビデオ信号内の奥行きシグナリングデータを用いて、送信先奥行きマップ又はビューのワーピングを３Ｄディスプレイに適合できるようにされる効果がある。従って、入手可能な場合、送信先奥行きマップ又はワーピングを向上させるために奥行きシグナリングデータが適用される。事実上、送信先装置には発生源の制御下で追加の奥行きシグナリングデータ、例えば処理のパラメータや命令が与えられ、かかるデータは発生源が送信先奥行きマップに基づき３Ｄディスプレイ内のビューのワーピングを制御し、向上させることを可能にする。有利には、処理資源が利用可能であり、オフライン生成が有効にされる発生源において奥行きシグナリングデータが生成される。奥行きマップ及びビューのワーピングがそれぞれのディスプレイについて最適化されるので、送信先側での処理要件が減らされ、３Ｄ効果が強化される。

本発明は以下の認識にも基づく。本発明者らは、送信先側での奥行きマップの処理又は生成及びその後のビューのワーピングが、非常に好ましい結果を通常もたらすと考えてきた。しかしながら、様々な奥行きにおける画像の鮮明度等、３Ｄディスプレイの能力に鑑みて、或る瞬間又は位置において、奥行きを操作することにより、例えば送信先奥行きマップにオフセットを適用することにより実際のビデオコンテンツが視聴者により上手く提示される場合がある。特定の３Ｄディスプレイにおけるかかる操作の必要性、量、及び／又はパラメータは発生源において予測可能であり、前述の奥行きシグナリングデータを処理条件として追加することは、転送されなければならない奥行きシグナリングデータの量が制限されながら、送信先側で奥行きマップ又はビューのワーピングを強化できるようにする。

任意選択的に、３Ｄ発生源装置内で、発生源奥行きプロセッサは、オフセット、利得、スケーリングの種類、エッジの種類のうちの少なくとも１つを処理条件として含む奥行きシグナリングデータを提供するように構成される。オフセットは、送信先奥行きマップに適用されるとき、ディスプレイ面に対して物体を後ろに又は前に効果的に動かす。有利には、オフセットをシグナリングすることは、発生源側が重要な物体を３Ｄディスプレイ面に近い位置に移動させることを可能にする。利得は、送信先奥行きマップに適用されるとき、３Ｄディスプレイ面から離して又は３Ｄディスプレイ面の方に物体を効果的に動かす。有利には、利得をシグナリングすることは、発生源側が３Ｄディスプレイ面に対して重要な物体の動き、即ちピクチャ内の奥行きの量を制御することを可能にする。スケーリングの種類は、奥行きマップ内の値がビューをワーピングするときに使用される実際の値にどのように変換されるのか、例えば双一次スケーリング、双三次スケーリング、又はビューコーンをどのように適合させるのかを示す。奥行き情報内のエッジの種類は、３Ｄビデオ内の物体の特性、例えばコンピュータによって生成されるコンテンツに由来する奥行きの鋭いエッジ、例えば自然の発生源からの緩やかなエッジ、例えば処理されたビデオ素材のぼやけたエッジ等を示す。有利には、これらの３Ｄビデオの特性は、ビューをワーピングさせるために送信先奥行きデータを処理するときに使用され得る。

任意選択的に、発生源奥行きプロセッサは、３Ｄビデオ信号内のショットに依存して或る期間にわたり奥行きシグナリングデータを提供するように構成される。事実上、奥行きシグナリングデータは、同じ３Ｄ構成、例えば特定のカメラ及びズーム構成を有する３Ｄビデオ信号の期間に当てはまる。通常、この構成はビデオ番組のショットの間ほぼ一定である。ショットの境界は発生源側において知られていても良く、又は発生源側で容易に検出されても良く、ショットに対応する期間について１組の奥行きシグナリングデータが有利には集められる。

任意選択的に、発生源奥行きプロセッサは、関心領域を３Ｄディスプレイの好ましい奥行き範囲内に表示できるようにするために、関心領域の領域データを含む奥行きシグナリングデータを処理条件として提供するように構成される。事実上、関心領域は視聴者の注意を引くと見なされる３Ｄビデオ素材内の要素又は物体によって構成される。関心領域は発生源側において知られていても良く、又は発生源側で容易に検出されても良く、関心領域に対応する位置、領域、又は奥行き範囲を示すために１組の奥行きシグナリングデータが有利に集められ、そのことは、関心領域を３Ｄディスプレイの最適な奥行き範囲の近く（例えばディスプレイ面の近く）に表示するように、ビューのワーピングが適合されることを可能にする。

任意選択的に、発生源奥行きプロセッサは、顔の奥行き位置の大幅な変化等、所定の閾値を上回る関心領域の変化に依存して領域データを更新するように更に構成され得る。更に、発生源奥行きプロセッサは、領域データとして、関心領域の奥行き範囲を示す領域奥行きデータを与えるように更に構成され得る。領域奥行きデータは、かかる奥行き範囲内にある物体を３Ｄ表示装置の好ましい奥行き範囲に移動させながら、送信先装置がビューをワープさせることを可能にする。発生源奥行きプロセッサは、領域データとして、３Ｄビデオ信号内の少なくとも１つのマクロブロックに整列される関心領域のエリアを示す領域エリアデータを与えるように更に構成されても良く、マクロブロックは、圧縮ビデオデータの所定のブロックを表す。かかる領域エリアデータは、効率的に符号化され処理される。

任意選択的に、３Ｄビデオ信号は奥行きデータを含む。発生源奥行きプロセッサは、ビューのワーピングを調節するために送信先奥行きマップに適用される処理条件として、奥行きデータの種類を含む奥行きシグナリングデータを提供するように更に構成され得る。奥行きデータの種類は、
− 焦点データに基づき生成される奥行きデータを示す焦点指標、
− 遠近データに基づき生成される奥行きデータを示す遠近指標、
− 動きデータに基づき生成される奥行きデータを示す動き指標、
− 特定の発生源から生じる奥行きデータを示す発生源指標、
− 特定のアルゴリズムによって処理される奥行きデータを示すアルゴリズム指標、及び
− 奥行きデータ内の物体の境界において使用される拡張（dilation）の量を示す拡張指標
の少なくとも１つを含み得る。それぞれの指標は、送信先側にある奥行きプロセッサが３Ｄビデオ信号に含まれる奥行きデータをしかるべく解釈し、処理することを可能にする。

本発明による装置及び方法の更なる好ましい実施形態は、その開示が参照により本明細書に援用される添付の特許請求の範囲の中で示されている。

本発明のこれらの及び他の態様が、以下の説明の中で例として記載される実施形態を参照し、添付図面を参照することで明らかになり更に説明される。

３Ｄビデオデータを処理し、その３Ｄビデオデータを表示するためのシステムを示す。 奥行きシグナリングデータを使用する３Ｄ復号器を示す。 奥行きシグナリングデータを与える３Ｄ符号器を示す。 オートステレオ表示装置及びワーピングする複数のビューを示す。 デュアルビューステレオ表示装置及びワーピングが強化されたビューを示す。 ３Ｄビデオ信号内の奥行きシグナリングデータを示す。 ３Ｄビデオ信号内の関心領域の奥行きシグナリングデータを示す。 複数の３Ｄディスプレイ用の奥行きシグナリングデータを示す。 ビューコーンを適合させるためのスケーリングを示す。

これらの図面は全く概略的であり、縮尺通りに描かれていない。図中、既に記載されている要素に対応する要素は同じ参照番号を有し得る。

所謂３Ｄビデオフォーマットに従い、３Ｄビデオ信号がフォーマットされ、転送され得る多くの異なる方法がある。一部のフォーマットは、同じくステレオ情報を運ぶために２Ｄチャネルを使用することに基づく。３Ｄビデオ信号では、画像が画素の二次元配列内の画像値によって表される。例えば、フレーム内で左右のビューがインタレースされることができ、又は並べて若しくは上下に（互いの上・下に）配置されることができる。更に、奥行きマップが転送されても良く、場合によりオクルージョンや透明性データ等の更なる３Ｄデータが転送されてもよい。本文では、視差マップも一種の奥行きマップと見なされる。奥行きマップは、画像に対応する二次元配列内にも奥行き値を有するが、奥行きマップは異なる解像度を有し得る。３Ｄビデオデータは、それ自体で知られている圧縮方法、例えばＭＰＥＧに従って圧縮されても良い。インターネットやブルーレイディスク（ＢＤ）等、任意の３Ｄビデオシステムも、提案される機能強化の恩恵を受けることができる。

３Ｄディスプレイは、比較的小さなユニット（例えば携帯電話）、シャッタグラスを必要とする大きいステレオディスプレイ（ＳＴＤ:Stereo Display）、任意の立体視ディスプレイ（ＳＴＤ:stereoscopic display）、可変ベースラインを考慮に入れる高度なＳＴＤ、視点追従に基づきＬビュー及びＲビューを視聴者の眼に照準合わせするアクティブＳＴＤ、又はオートステレオスコピックマルチビューディスプレイ（ＡＳＤ:auto-stereoscopic multiview display）等とすることができる。

従来、様々な種類の３Ｄディスプレイを駆動するのに必要な全てのコンポーネントが伝送され、例えば「Call for Proposals on 3D Video Coding Technology」- MPEG document N12036, March 2011, Geneva, Switzerlandの中で論じられているように、その伝送は、複数のビュー（カメラ信号）及びその対応する奥行きの圧縮と伝送とを概して伴う。復号器における自動変換（ステレオから自動で得られる奥行き）は、例えば「Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI」MPEG document M22668, Nov 2011, Geneva, Switzerlandによりそれ自体知られている。前述の様々な種類のディスプレイ向けに、例えばＡＳＤや高度なＳＴＤ向けに、３Ｄ信号内の奥行きデータに基づき、可変ベースラインについてビューがワープされる必要がある。しかしながら、様々な種類の奥行きデータに基づきワープされるビューの品質は限られている。

図１は、３Ｄビデオデータを処理し、その３Ｄビデオデータを表示するためのシステムを示す。３Ｄ発生源装置４０と呼ばれる第１の３Ｄビデオ装置が、３Ｄビデオ信号をもたらし、３Ｄ送信先装置５０と呼ばれる更なる３Ｄ画像処理装置に伝送し、３Ｄ送信先装置５０は、３Ｄ表示信号５６を転送するために３Ｄ表示装置６０に結合される。ビデオ信号は、例えば１／２ＨＤフレーム準拠、マルチビュー符号化（ＭＶＣ）又はフレーム準拠フル解像度（例えばDolby Laboratories, Inc.によって提唱されるＦＣＦＲ）を使用する標準ステレオ伝送等の３Ｄ ＴＶ放送信号とすることができる。フレームに準拠したベースレイヤに基づき、Dolbyはフル解像度の３Ｄ画像を再現するための強化レイヤを開発した。この技術は規格化のためにＭＰＥＧに提案されており、約１０％のビットレートの増加しか必要としない。以下で説明されるように、従来の３Ｄビデオ信号は奥行きシグナリングデータによって向上される。

図１は、３Ｄビデオ信号の担体としての記録担体５４を更に示す。記録担体はディスク状であり、トラックと中央の穴を有する。物理的に検出可能なマークのパターンによって構成されるトラックは、１つ又は複数の情報レイヤ上にほぼ平行なトラックを構成する螺旋状又は同心円状の曲線パターンに従って配列される。記録担体は光学的に読み取ることができても良く、光学ディスク、例えばＤＶＤやＢＤ（ブルーレイディスク）と呼ばれる。情報は、トラックに沿った光学的に検出可能なマーク、例えばピットやランドにより、情報レイヤ上に具体化される。このトラック構造は、情報ブロックと通常呼ばれる情報単位の位置を示すための位置情報、例えばヘッダやアドレスも含む。記録担体５４は、例えばＭＰＥＧ２やＭＰＥＧ４符号化システムに従い、ＤＶＤやＢＤフォーマット等の既定の記録フォーマットに符号化されるビデオ等、デジタル符号化された３Ｄ画像データを表す情報を担持する。

３Ｄ発生源装置は、入力ユニット４７を介して受信される３Ｄビデオデータを処理するための発生源奥行きプロセッサ４２を有する。入力３Ｄビデオデータ４３は、記憶システム、レコーディングスタジオ、３Ｄカメラ等から入手可能であり得る。発生源システムは、３Ｄ画像データのために与えられる奥行きマップを処理することができ、この奥行きマップは、システムの入力部において元からあっても良く、又は以下で説明される高品質処理システムにより、例えばステレオ（Ｌ＋Ｒ）ビデオ信号内の左／右フレームから、又は２Ｄビデオから自動生成されても良く、場合により、付随する２Ｄ画像データ又は左／右フレームに対応する奥行き値を正確に表す発生源奥行きマップをもたらすために、更に処理され又は補正されても良い。

発生源奥行きプロセッサ４２は、３Ｄビデオデータを含む３Ｄビデオ信号４１を生成する。３Ｄビデオ信号は、３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを含む。発生源装置は、出力ユニット４６を介して３Ｄビデオ信号をビデオプロセッサから更なる３Ｄビデオ装置に転送するように、又は３Ｄビデオ信号を例えば記録担体によって配るために提供するように構成され得る。３Ｄビデオ信号は、例えば３Ｄビデオデータを既定のフォーマットに従って符号化しフォーマットすることにより、入力３Ｄビデオデータ４３を処理することに基づく。

３Ｄ発生源装置は、第１のビデオ情報及び第２のビデオ情報に基づき生成済み奥行きマップを生成するための、発生源ステレオ−奥行き変換器４８を有し得る。奥行きマップを生成するためのステレオ−奥行き変換器は動作中、３Ｄ効果を発生させるために視聴者のそれぞれの眼に表示される左右のビューを表す左フレームＬ及び右フレームＲの時系列を有する、左右ビデオ信号とも呼ばれるステレオ３Ｄ信号を受け取る。このユニットは、左ビュー及び右ビューの視差推定によって生成済み奥行きマップを作り出し、左ビュー及び／又は右ビューに基づき２Ｄ画像を更に提供することができる。視差推定は、ＬフレームとＲフレームとを比較するために使用される動き推定アルゴリズムに基づいても、画像データに由来する遠近的特徴等に基づいても良い。或る物体のＬビューとＲビューとの大きな差は、差の方向に依存して表示画面の前の又はその後ろの奥行き値に変換される。生成器ユニットの出力は、生成済み奥行きマップである。

生成済み奥行きマップ及び／又は高品質の発生源の奥行きマップは、送信先側で必要とされる奥行きシグナリングデータを求めるために使用され得る。発生源奥行きプロセッサ４２は、次に論じるように奥行きシグナリングデータをもたらすように構成される。

奥行きシグナリングデータは、奥行き誤差が検出される場合、例えば発生源奥行きマップと生成済み奥行きマップとの差が所定の閾値を上回る場合に生成され得る。例えば、所定の奥行きの差が前述の閾値を構成しても良い。閾値は、奥行き誤差の視認性に影響する更なる画像特性、例えば局所的な画像の輝度、コントラスト、テクスチャに依存させても良い。閾値は、以下の通り、生成済み奥行きマップの品質水準を検出することによって求められても良い。生成済み奥行きマップが、所与の異なるビューに対応する向きを有するビューをワープさせるために使用される。例えばＲ’ビューが、元のＬ画像データ及び生成済み奥行きマップに基づく。その後、Ｒ’ビューと元のＲビューとの差が、例えば良く知られているＰＳＮＲ関数（ピーク信号対雑音比）によって計算される。ＰＳＮＲとは、信号表現の再現性に影響を与える、信号の最大可能パワーと劣化を招く雑音のパワーとの比率である。多くの信号は非常に広いダイナミックレンジを有するので、ＰＳＮＲは通常１０を底にした常用対数で表される。今度は、生成済み奥行きマップの品質の尺度としてＰＳＮＲが使用され得る。この場合の信号は元のデータＲであり、雑音は、生成済み奥行きマップに基づきＲ’をワープさせることによって引き起こされる誤差である。更に閾値も、更なる視認性の基準に基づき、又はエディタが生成済み奥行きマップに基づき結果をオーサリング若しくは精査し、３Ｄビデオのどのセクション及び／又は期間が奥行きシグナリングデータによって強化される必要があるのかを制御することによって審査され得る。

奥行きシグナリングデータは、送信先側におけるビューのワーピングを調節するための奥行き処理条件を表す。ワーピングは、実際の３Ｄディスプレイに３Ｄビデオ信号によって運ばれる３Ｄビデオコンテンツに適合するように、即ち３Ｄディスプレイの特性を最適に使用して、実際の３Ｄビデオコンテンツ及び３Ｄビデオディスプレイの機能に依存して視聴者に３Ｄ効果を与えるように調節され得る。例えば、３Ｄディスプレイは、表示画像の鮮明度が高い限定的な奥行き範囲をディスプレイの周りに有し得る一方で、画面の前の奥行き位置における画像又は画面のはるか後ろの奥行き位置における画像の鮮明度はより低い。

奥行きシグナリングデータは、ビューのワーピングを調節するために送信先奥行きマップに適用される処理条件として、様々なパラメータ、例えばオフセット、利得、スケーリングの種類、エッジの種類のうちの１つ又は複数を含み得る。オフセットは、送信先奥行きマップに適用されるとき、ディスプレイ面に対して物体を後ろに又は前に効果的に動かす。オフセットをシグナリングすることは、発生源側が重要な物体を３Ｄディスプレイ面に近い位置に移動させることを可能にする。利得は、送信先奥行きマップに適用されるとき、３Ｄディスプレイ面から離して又は３Ｄディスプレイ面の方に物体を効果的に動かす。例えば、送信先奥行きマップはディスプレイ面における奥行きについてゼロ値を有するように定められても良く、利得は値に対する増倍（multiplication）として適用されても良い。利得をシグナリングすることは、発生源側が３Ｄディスプレイ面に対して重要な物体の動きを制御することを可能にする。３Ｄ画像を表示するとき、利得は最も近い要素と最も遠い要素との差を決定する。

スケーリングの種類は、奥行きマップ内の値がビューをワーピングするときに使用される実際の値にどのように変換されるのか、例えば双一次スケーリング、双三次スケーリング、又は所定の種類の非線形スケーリングを示す。更なる種類のスケーリングは、図９に関して以下で説明される、ビューコーンの形状をスケーリングすることを指す。

奥行き情報内のエッジの種類は、３Ｄビデオ内の物体の特性、例えばコンピュータによって生成されるコンテンツの鋭いエッジ、例えば自然の発生源からの緩やかなエッジ、例えば処理されたビデオ素材のぼやけたエッジ等を示し得る。これらの３Ｄビデオの特性は、ビューをワーピングさせるために送信先奥行きデータを処理するときに使用され得る。

出力ユニット４６は、３Ｄビデオ信号内に奥行きシグナリングデータを含めるように構成される。奥行きプロセッサ４２、任意選択的なステレオ−奥行き変換器４８、及び出力ユニット４６の機能を有する処理装置は、３Ｄ符号器と呼ばれ得る。

３Ｄ発生源は、サーバ、放送装置、記録装置、又はブルーレイディスク等の光学的記録担体を製造するためのオーサリングシステム及び／若しくは製造システムであり得る。ブルーレイディスクは、コンテンツクリエータにビデオを配るための相互作用プラットフォームを提供する。ブルーレイディスクのフォーマットについての情報は、オーディオビジュアルアプリケーションフォーマットに関する論文、例えばhttp://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf内で、ブルーレイディスクアソシエーションのウェブサイトから入手することができる。光学記録担体の製造過程は、マークの物理パターンをトラック内に与えるステップであって、そのパターンは奥行きシグナリングデータを含む３Ｄビデオ信号を具体化するステップと、その後、少なくとも１つの記憶レイヤ上にマークのトラックを与えるために、パターンに従って記録担体の材料を形作るステップとを更に含む。

３Ｄ送信先装置５０は、３Ｄビデオ信号４１を受信するための受信機を有し、その受信機は１つ又は複数の信号インターフェイスユニットと、入力ビデオ信号をパーズするための入力ユニット５１とを有する。例えば、受信機は、ＤＶＤやブルーレイディスク等の光学的記録担体５４から３Ｄビデオ情報を取得するために入力ユニットに結合される光学ディスクユニット５８を含み得る。或いは（又は加えて）、受信機は、ネットワーク４５、例えばインターネットやブロードキャストネットワークに結合するためのネットワークインターフェイスユニット５９を含んでも良く、かかる装置はセットトップボックスや、携帯電話やタブレットコンピュータ等のモバイルコンピューティング装置である。３Ｄビデオ信号は、離れたウェブサイト又はメディアサーバ、例えば３Ｄ発生源装置４０から取得され得る。３Ｄ画像処理装置は、画像入力信号を、所要の奥行き情報を有する画像出力信号に変換する変換器とすることができる。かかる変換器は、特定の種類の３Ｄディスプレイ向けの様々な入力３Ｄビデオ信号、例えば標準的な３Ｄコンテンツを、特定の種類又は供給元のオートステレオスコピックディスプレイに適したビデオ信号に変換するために使用され得る。実際には、この装置は、３Ｄ対応の増幅器若しくは受信機、３Ｄ光学ディスクプレーヤ、衛星放送受信機やセットトップボックス、又は任意の種類のメディアプレーヤとすることができる。

３Ｄ送信先装置は、３Ｄ情報を処理し、出力インターフェイスユニット５５を介して表示装置に転送される３Ｄ表示信号５６、例えばＨＤＭＩ（登録商標）規格による表示信号（その３Ｄの部分が公開ダウンロード用にhttp://hdmi.org/manufacturer/specification.aspxで入手可能な「High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010」参照）を生成するために入力ユニット５１に結合される奥行きプロセッサ５２を有する。

３Ｄ送信先装置は、第１のビデオ情報及び第２のビデオ情報に基づき送信先生成奥行きマップを生成するための、ステレオ−奥行き変換器５３を有しても良い。このステレオ−奥行き変換器の動作は、上記の発生源装置内のステレオ−奥行き変換器と同等である。送信先奥行きプロセッサ５２、ステレオ−奥行き変換器５３、及び入力ユニット５１の機能を有するユニットは、３Ｄ復号器と呼ばれ得る。

送信先奥行きプロセッサ５２は、表示装置６０上に表示するために３Ｄ表示信号５６内に含まれる画像データを生成するように構成される。奥行きプロセッサは、３Ｄディスプレイのためにビューをワーピングできるようにする送信先奥行きマップを提供するように構成される。入力ユニット５１は、３Ｄビデオ信号から奥行きシグナリングデータを取得するように構成され、その奥行きシグナリングデータは、ビデオ情報に関係する発生源奥行き情報に基づき、ビューのワーピングを調節するための奥行き処理条件を表す。送信先奥行きプロセッサは、３Ｄビデオ信号から取得される奥行きシグナリングデータに依存し、ビューをワーピングさせるための送信先奥行きマップを適合させるように構成される。奥行きシグナリングデータの処理については、以下で更に説明されている。

３Ｄ表示装置６０は、３Ｄ画像データを表示するためのものである。この装置は、３Ｄ送信先装置５０から転送される、３Ｄビデオデータ及び送信先奥行きマップを含む３Ｄ表示信号５６を受信するための入力インターフェイスユニット６１を有する。この装置は、送信先奥行きマップに依存して第１のビデオ情報及び第２のビデオ情報に基づき３Ｄビデオデータの複数のビューを生成するためのビュープロセッサ６２と、その３Ｄビデオデータの複数のビューを表示するための３Ｄディスプレイ６３とを有する。３Ｄディスプレイ６３、例えばマルチビューＬＣＤ上に表示するためにビューをワーピングさせるために、転送される３Ｄビデオデータが処理装置６２内で処理される。表示装置６０は、３Ｄディスプレイとも呼ばれる任意の種類のステレオスコピックディスプレイとすることができる。

３Ｄ表示装置６０内のビデオプロセッサ６２は、１つ又は複数の新たなビューを描画するための表示制御信号を生成するために３Ｄビデオデータを処理するように構成される。ビューは、知られている位置における２Ｄビュー及び送信先奥行きマップを用いて３Ｄ画像データから生成される。知られている位置におけるビュー及び奥行きマップを使用することに基づき、異なる３Ｄ表示眼球位置用のビューを生成するプロセスは通常、ビューのワーピングと呼ばれる。或いは、３Ｄプレーヤ装置内のビデオプロセッサ５２は、前述の奥行きマップの処理を行うように構成され得る。指定の３Ｄディスプレイ用に生成される複数のビューは、３Ｄディスプレイに向けて専用インターフェイスを介して３Ｄ画像信号と共に転送され得る。

更なる実施形態では、送信先装置と表示装置とが単一の装置へと組み合わせられる。奥行きプロセッサ５２及び処理装置６２の機能、並びに出力ユニット５５及び入力ユニット６１の残りの機能は、単一のビデオ処理装置によって実行され得る。

奥行きシグナリングデータの原理は、例えばスタジオ又は作者と、消費者に伝送するために強化された奥行きマップを更に符号化する放送装置との間の全ての３Ｄビデオ転送ステップにおいて適用され得ることを指摘しておく。更に、この奥行きシグナリングデータシステムは、連続した転送に対して実行されても良く、例えば更に改善された発生源奥行きマップに基づく第２の奥行きシグナリングデータを含めることにより、初期バージョンに基づき更に改善されたバージョンが作成され得る。このことは、３Ｄディスプレイ上で実現可能な品質、奥行き情報の伝送に必要なビットレート、又は３Ｄコンテンツの作成費の面で著しい柔軟性をもたらす。

図２は、奥行きシグナリングデータを使用する３Ｄ復号器を示す。３Ｄ復号器２０は、ＢＳ３（ベース信号３Ｄ）で示される３Ｄビデオ信号用の入力部を有して概略的に図示されている。入力デマルチプレクサ２１（ＤＥＭＵＸ）が、入力データを左右のビューのためのビットストリーム（LR-bitstr）及び奥行きシグナリングデータ（DS-bitstr）にパーズする。第１の復号器２２（ＤＥＣ）が左右のビューを、消費者タイプステレオ−奥行き変換器（CE-S2D）にも結合される出力Ｌ及び出力Ｒに復号し、CE-S2Dは、第１の左の奥行きマップLD1及び第１の右の奥行きマップRD1を生成する。或いは、単一の第１の奥行きマップだけが生成され、又は奥行きマップが入力信号内で直接入手可能である。第２の復号器２３がDS-bitstrを復号し、１つ又は複数の奥行き制御信号２６、２７を提供する。奥行き制御信号は、例えば奥行きシグナリングデータの有無を示すフラグに基づき送信先奥行きマップを生成する、奥行きマッププロセッサ２５に結合される。この例では、左の送信先奥行きマップLD3及び右の送信先奥行きマップRD3が、最初の奥行きマップLD1、RD1を修正するための奥行きシグナリングデータを用いることによって提供される。ディスプレイの種類にもよるが図４又は図５を用いて論じられるように、次いで、この３Ｄ復号器の最終的な送信先奥行きマップの出力（LD3／RD3）がビューワーピングブロックに転送される。

この３Ｄ復号器は、奥行きシグナリングデータシステムによるビットストリーム（ＢＳ３）を受信する消費者側にあるセットトップボックス（ＳＴＢ）の一部とすることができ、ビットストリームは２つのストリーム、つまり左右のビューを有する１つのビデオストリームと、奥行きシグナリング（ＤＳ:depth signaling）データを有する１つの奥行きストリームとにデマルチプレックスされ、その後これらはどちらもそれぞれの復号器（例えばＭＶＣ／Ｈ．２６４）に送られる。

図３は、奥行きシグナリングデータを与える３Ｄ符号器を示す。３Ｄ符号器３０は、３Ｄビデオ信号を受信するための入力部（Ｌ、Ｒ）を有して概略的に図示されている。発生源生成済み奥行きマップと呼ばれる左の奥行きマップLD4及び右の奥行きマップRD4を生成するために、ステレオ−奥行き変換器（例えば高品質のプロフェッショナルタイプＨＱ−Ｓ２Ｄ）が設けられても良い。或いは更なる入力部が、オフラインで（例えば手動で編集され若しくは改善される、又はコンピュータによって生成されるコンテンツの場合は計算されるカメラ入力から）与えられ得る、又は入力３Ｄビデオ信号と共に入手できても良い発生源奥行きマップ（LD-man、RD-manで示す）を受信することができる。奥行き処理装置３２は、発生源生成済み奥行きマップLD4、RD4並びに発生源奥行きマップLD-man及びRD-manの一方又は両方を受け取り、奥行きシグナリングデータが生成されるべきかどうかを判定する。この例では、２つの奥行きシグナリングデータ信号３６、３７が、符号器３４に結合されている。奥行きシグナリングデータに関する様々な任意選択肢が以下に示されている。

符号化後、出力マルチプレクサ３５（ＭＵＸ）により、奥行きシグナリングデータが出力信号内に含められる。このマルチプレクサは、第１の符号器３３から符号化済みのビデオデータビットストリーム（ＢＳ１）を、第２の符号器３４からは符号化済みの奥行きシグナリングデータビットストリーム（ＢＳ２）を受け取り、ＢＳ３で示す３Ｄビデオ信号を生成する。任意選択的に、発生源奥行きプロセッサは、３Ｄビデオ信号内のショットに依存して或る期間にわたり奥行きシグナリングデータを生成するように構成される。事実上、奥行きシグナリングデータは、同じ３Ｄ構成、例えば特定のカメラ及びズーム構成を有する３Ｄビデオ信号の期間に当てはまる。通常、この構成はビデオ番組のショットの間ほぼ一定である。ショットの境界は発生源側において知られていても良く、又は発生源側で容易に検出されても良く、ショットに対応する期間について１組の奥行きシグナリングデータが有利に集められる。

発生源奥行きプロセッサは、３Ｄビデオ信号内のショットに依存する期間にわたり奥行きシグナリングデータを生成するように構成され得る。ショットの境界の自動検出は、それ自体知られている。更に、境界は発生源におけるビデオ編集過程中に既に印付けされ、又は決定されても良い。奥行きシグナリングデータが或る単一のショットについてもたらされても良く、次のショットで変えられても良い。例えば、顔のクローズアップショットについて与えられるオフセット値の後に、離れた風景の次のショットのための次のオフセット値が続いても良い。

発生源奥行きプロセッサは、関心領域の領域データを含む奥行きシグナリングデータを生成するように構成され得る。送信先側において分かっている場合、関心領域は送信先奥行きマップに適用される処理条件として使用されても良く、関心領域を３Ｄディスプレイの好ましい奥行き範囲内に表示できるようにするために、ビューのワーピングが調節され得る。事実上、関心領域は視聴者の注意を引くと見なされる３Ｄビデオ素材内の要素又は物体によって構成される。例えば関心領域データは、視聴者の注意を恐らく引く多くの詳細を有する画像領域を示し得る。次いで送信先奥行きプロセッサは、要素が画面の前に飛び出るのを回避しながら、指示領域内の奥行き値が３Ｄディスプレイの高画質範囲内、通常、表示画面付近又は画面のすぐ後ろの範囲に表示されるように奥行きマップを適合させることができる。関心領域は、発生源側において分かっていても良く、又は例えば自動顔検出器やスタジオエディタによって、若しくは画像内の物体の動きや詳細な構造に応じて発生源側において検出されても良い。関心領域に対応する位置、領域、又は奥行き範囲を示すために、１組の対応する奥行きシグナリングデータが自動的に生成されても良い。関心領域データは、関心領域を３Ｄディスプレイの最適な奥行き範囲の近くに表示するように、ビューのワーピングが適合されることを可能にする。

発生源奥行きプロセッサは、関心領域を構成する顔の奥行き位置や場所の大幅な変化等、所定の閾値を上回る関心領域の変化に依存して領域データを更新するように更に構成され得る。更に、発生源奥行きプロセッサは、領域データとして、関心領域の奥行き範囲を示す領域奥行きデータを与えるように構成され得る。領域奥行きデータは、かかる奥行き範囲内にある物体を３Ｄ表示装置の好ましい奥行き範囲に移動させながら、送信先装置がビューをワープさせることを可能にする。発生源奥行きプロセッサは、領域データとして、３Ｄビデオ信号内の少なくとも１つのマクロブロックに整列される関心領域エリアのエリアを示す領域エリアデータを与えるように更に構成されても良く、マクロブロックは、圧縮ビデオデータの所定のブロックを表す。マクロブロックは、例えばＭＰＥＧ符号化されたビデオ信号内の圧縮ビデオデータの所定のブロックを表す。かかる領域エリアデータは、効率的に符号化され処理される。マクロブロックに整列される関心領域エリアは、関心領域の一部ではない位置の更なる奥行きデータを含むことができる。かかる関心領域は、その奥行き値又は画像値が３Ｄエクスペリエンスに重要ではない画素も含む。かかる画素が関心領域の一部ではないことを、選択された値、例えば０または２５５が示し得る。

３Ｄビデオ信号は、画像データに加えて奥行きデータ、例えば奥行きマップを含むことができる。奥行きマップは、左ビューに対応する奥行きデータ、右ビューに対応する奥行きデータ、及び／又は中心ビューに対応する奥行きデータの少なくとも１つを含み得る。３Ｄビデオ信号は、奥行き情報が存在するビューの数を示すパラメータ（例えばnum_of_views）を含んでも良い。更に、奥行きデータは、第１のビデオ情報又は第２のビデオ情報よりも低い解像度を有しても良い。発生源奥行きプロセッサは、ビューのワーピングを調節するために送信先奥行きマップに適用される処理条件として、奥行きデータの種類を含む奥行きシグナリングデータを生成するように構成され得る。奥行きデータの種類は、３Ｄビデオ信号に含まれる奥行きデータの特性を示し、その特性は奥行きデータがどのように生成され、送信先側において奥行きデータを適合させるためにどの後処理が適切であり得るのかを規定する。奥行きデータの種類は、以下の特性指標、つまり焦点データに基づき生成される奥行きデータを示す焦点指標、遠近データに基づき生成される奥行きデータを示す遠近指標、動きデータに基づき生成される奥行きデータを示す動き指標、特定の発生源から生じる奥行きデータを示す発生源指標、特定のアルゴリズムによって処理される奥行きデータを示すアルゴリズム指標、奥行きデータ内の物体の境界において使用される拡張の例えば０から１２８の量を示す拡張指標のうちの１つ又は複数を含み得る。それぞれの指標は、送信先側にある奥行きプロセッサが３Ｄビデオ信号に含まれる奥行きデータをしかるべく解釈し、処理することを可能にする。

一実施形態では、３Ｄビデオ信号が符号化済みのビデオデータストリームを含むようにフォーマットされ、既定の規格、例えばＢＤ規格による復号情報を運ぶように構成される。３Ｄビデオ信号内の奥行きシグナリングデータは、かかる規格の拡張に従って復号情報として、例えばユーザデータメッセージ内に又はシグナリングエレメンタリストリーム情報［ＳＥＩ］メッセージ内に、これらのメッセージがビデオエレメンタリストリーム内で運ばれるとき含められる。或いは、３Ｄビデオ信号内に別のテーブル又はＸＭＬベースの記述が含められても良い。奥行きマップを解釈するときに奥行きシグナリングデータが使用される必要があるとき、奥行きデータを運ぶビデオストリームの一部を形成する追加の所謂ＮＡＬユニット内にシグナリングが含められても良い。かかるＮＡＬユニットについては、導入部で言及した文献「Working Draft on MVC extensions」の中で説明されている。例えば、Depth_Signalingデータが入力されるテーブルを用いてdepth_range_updateＮＡＬユニットが拡張されても良い。

図４は、オートステレオ表示装置及びワーピングする複数のビューを示す。オートステレオディスプレイ（ＡＳＤ:auto-stereo display）４０３が、奥行きプロセッサ４００によって生成される複数のビューを受け取る。奥行きプロセッサは、この図面の下部に示されているように、完全な左ビューＬ及び送信先奥行きマップＬＤ３から１組のビュー４０５を生成するためのビューワーピングユニット４０１を有する。奥行きシグナリングデータは別々に転送されても、奥行きマップＬＤ３内に含められても良い。ディスプレイ入力インターフェイス４０６は、ＲＧＢ及び奥行きを転送するように拡張されるＨＤＭＩ（登録商標）規格（ＲＧＢＤ ＨＤＭＩ（登録商標））によるものとすることができ、奥行きシグナリングデータＨＤに基づき完全な左ビューＬ及び送信先奥行きマップＬＤ３を含めることができる。生成されるビューは、インタリーブユニット４０２を介してディスプレイ４０３に転送される。例えば上記のようにオフセットや利得を適用することによりビューのワーピングを調節するための奥行きシグナリングデータに基づき、送信先奥行きマップが奥行き後処理プロセッサＺ−ＰＰ４０４によって処理されても良い。

奥行きデータを正しく解釈するためのシグナリングに加え、ディスプレイに関係するシグナリングも提供される。ビューの数、最適な視聴距離、画面の大きさ、最適な３Ｄボリューム等、ディスプレイの設計におけるパラメータは、コンテンツがディスプレイ上でどのように見えるのかに影響し得る。最も優れた性能を実現するために、描画が、画像及び奥行き情報の描画をディスプレイの特性に適合させる必要がある。これを実現できるようにするために、ディスプレイの設計が幾つかのカテゴリ（Ａ、Ｂ、Ｃ等）に分類されても良く、ビデオを伝送する際、パラメータのテーブルが、特定のディスプレイカテゴリに結び付けられ得る様々なパラメータ値と共に含められる。ディスプレイ内の描画は、独自の分類に基づき、どのパラメータ値を使用するのかを選ぶことができる。或いは、ディスプレイ内の描画は利用者を関与させることができ、利用者はどの組合せが自身の好みに従っているかを選択する。

図５は、デュアルビューステレオ表示装置及びワーピングが強化されたビューを示す。デュアルビューステレオディスプレイ（ＳＴＤ）５０３は、奥行きプロセッサ５０１によって生成される２つの強化されたビュー（new_L、new_R）を受け取る。奥行きプロセッサは、この図面の下部に示されているように、元の完全な左ビューＬ及び完全なＲビュー並びに送信先奥行きマップから強化されたビューを生成するためのビューワーピング機能を有する。ディスプレイ入力インターフェイス５０２は、ビュー情報ＩＦを転送するように拡張されるＨＤＭＩ（登録商標）規格（ＨＤＭＩ（登録商標） ＩＦ）によるものとすることができる。新たなビューは、表示中のベースライン（ＢＬ）を示すパラメータＢＬに対してワープされる。３Ｄビデオ素材のベースラインは、元々は（光学的特性、ズーム比等のために補正される）Ｌ及びＲのカメラ位置間の実効距離である。素材を表示するとき、大きさ、解像度、視聴距離、視聴者の好みの設定等の表示構成により、ベースラインが有効に変換される。具体的には、ベースラインは、奥行きプロセッサ５０１に転送される奥行きシグナリングデータに基づき調節され得る。表示中にベースラインを変更するために、元のベースラインよりも大きくても（＞１００％）小さくても（＜１００％）良い新たなベースライン距離を形成するnew_L及びnew_Rと呼ばれる新たなビューをワーピングすることにより、Ｌ及びＲビューの位置がシフトされ得る。ＢＬ＝１００％では、新たなビューが、元の完全なＬ及びＲビューに対して外側に又は内側にシフトされる。第３の例（０％＜ＢＬ＜５０％）では、単一のビュー（Full_L）に基づき両方の新たなビューがワープされる。完全なビューに近い新たなビューをワーピングさせることは、ワーピングアーティファクトを回避する。示された３つの例により、０％＜ＢＬ＜１５０％の制御範囲を可能にしながら、ワープされた新たなビューと元のビューとの間の距離は２５％未満である。

図６は、３Ｄビデオ信号内の奥行きシグナリングデータを示す。この図面では、３Ｄビデオ信号内で転送される、例えばパケットのコンテンツが奥行きシグナリングデータであることを示すパケットヘッダを有するパケット内で転送される奥行きシグナリングデータのテーブルが示されている。この図面は、３Ｄビデオ信号内の様々な奥行きシグナリングデータを含んで示す。第１のテーブル６１は、以下の要素、つまりオフセット、利得、スケーリング種類の指標、エッジ種類の指標、奥行きアルゴリズム種類の指標、及び拡張指標を有する。第２のテーブル６２は、スケーリングの種類を定める符号化、つまり双一次を示す第１の値、双三次を示す第２の値等を有する。第３のテーブル６３は、エッジの種類を定める符号化、つまり鋭いエッジを示す第１の値、ぼやけたエッジを示す第２の値、緩やかなエッジを示す第３の値等を有する。第４のテーブル６４は、奥行きマップを生成することによって使用される奥行きアルゴリズムの種類を定める符号化、つまり手動で作成された奥行きマップを示す第１の値、動きに由来する奥行きを示す第２の値、焦点に由来する奥行きを示す第３の値、遠近法に由来する奥行きを示す第４の値を有する。上記の要素の如何なる組合せも使用され得る。

図７は、３Ｄビデオ信号内の関心領域の奥行きシグナリングデータを示す。この図面では、３Ｄビデオ信号内で転送される、例えばパケットのコンテンツが関心領域の奥行きシグナリングデータであることを示すパケットヘッダを有するパケット内で転送される関心領域データのテーブル７１が示されている。関心領域は、奥行きマップと比較される２つの値を用いる奥行き範囲によって規定され、lower_luma_valueは低位境界を示し、upper_luma_valueは高位境界を示す。そのため、前述の境界間の奥行き値は関心領域を含むように示され、従って奥行きマップは、好ましくはかかる奥行き値が３Ｄディスプレイの好ましい奥行き範囲内に表示されるように処理されるべきである。

加えて、奥行きデータ値の解釈は差の表れによって示されても良く、つまり、より低いlower_luma_value＜upper_luma_valueは、例えば高い輝度値が３Ｄディスプレイの３Ｄボリュームのゼロ面（スクリーンの奥行き）の前の位置を決定するという意味では、奥行き情報の実際の解釈を示し得る。

関心領域データはオフセット及び利得の値と異なり、それは後者が変化する頻度がはるかに低く、データの種類も異なるからである。好ましい実施形態では、テーブル７１内にあるような関心領域が、「奥行き範囲の更新」等の他の奥行きデータを運ぶＮＡＬユニット内で運ばれる。

図８は、複数の３Ｄディスプレイ用の奥行きシグナリングデータを示す。この図面では、３Ｄビデオ信号内で転送される、例えばパケットのコンテンツが複数の３Ｄディスプレイの奥行きシグナリングデータであることを示すパケットヘッダを有するパケット内で転送される、多数の異なる３Ｄディスプレイの種類のための奥行きシグナリングデータのテーブル８１が示されている。最初にエントリ数が示されており、各エントリは特定のディスプレイの種類に割り当てられている。ディスプレイの種類は、符号化された値としてテーブル内に追加されても良い。その後、エントリごとに幾つかの奥行きシグナリングパラメータ、この例では奥行きのオフセット及び奥行きの利得が示されており、これらのパラメータはそれぞれの３Ｄディスプレイの種類について最適化される。

発生源装置内では、発生源奥行きプロセッサ４２が、複数の異なるそれぞれの３Ｄディスプレイの種類のために、複数の異なる奥行きシグナリングデータを生成するように構成され得る。出力ユニットは、複数の異なる奥行きシグナリングデータを３Ｄビデオ信号内に含めるように構成される。送信先装置内では、送信先奥行きプロセッサが、複数組の奥行きシグナリングデータを有するテーブル８１から、ビューがワープされる実際の３Ｄディスプレイに適したそれぞれの組を選択するように構成される。

図９は、ビューコーンを適合させるためのスケーリングを示す。ビューコーンとは、マルチビュー３Ｄディスプレイ用の一連のワープされたビューを指す。スケーリングの種類は、連続した各ビューが直前のビューと同じ視差を有する通常のコーンに比べ、ビューコーンが適合される方法を示す。コーンの形状を変えることは、近くのビューの相対的視差を前述の同じ視差よりも少ない量で変えることを意味する。

図９の左上は、通常のコーン形状を示す。通常のコーン形状９１は、従来のマルチビューレンダラで一般に使用される。この形状は、コーンの大部分について等しい量のステレオ、及びコーンの次の反復に向けた鋭い遷移を有する。この遷移領域内に置かれる利用者は、大量のクロストーク及び逆ステレオを認識する。この図面では、鋸歯状の曲線が、コーン内のその位置に直線的に相関した視差を有する通常のコーン形状９１を示す。ビューイングコーン内のビューの位置は、コーンの中心でゼロに、完全に左では−１に、完全に右では＋１であるように定められる。

コーンの形状を変えることは、ディスプレイ上のコンテンツの描画（即ちビュー合成、インタリービング）しか変えず、ディスプレイの物理的調節を必要としないことを理解すべきである。ビューイングコーンを適合させることによってアーティファクトを低減することができ、ステレオ視聴能力を有しない若しくは限られたステレオ視聴能力を有する、又は限られた３Ｄビデオ若しくは２Ｄビデオを観ることを好む人間に対応するために、３Ｄ効果が低減された区域が作られ得る。奥行きシグナリングデータは、コーンの形状を変えるのに発生源側において３Ｄビデオ素材に適していると判断されるスケーリングの種類を含み得る。例えば、ビューコーンを適合させるための１組の可能なスケーリングコーンの形状が予め定められても良く、各形状に指標が与えられ得る一方で、実際の指標値は奥行きシグナリングデータに含まれる。

この図面の更なる３つのグラフの中で、第２の曲線は適合されたコーンの形状を示す。第２の曲線上のビューは、近くのビューに対して低減された視差を有する。このビューイングコーンの形状は、最大描画位置を低減することにより、アーティファクトの視認性を減じるように適合される。中心部では、この代替的コーン形状は通常のコーンと同じ傾斜を有し得る。中心から更に離れると、画像のワーピングを制限するようにコーンの形状が（通常のコーンに比べ）変えられている。

図９の左下は、周期的なコーンの形状を示す。周期的なコーンの形状９２は、より大きいがより弱い逆ステレオ領域を作ることにより、鋭い遷移を回避するように適合される。

図９の右上は、制限されたコーンを示す。制限されたコーンの形状９３は、最大描画位置を通常のコーンの約４０％に制限するコーン形状の一例である。利用者がコーンを進むとき、利用者はステレオ、低減されたステレオ、逆ステレオ、再び低減されたステレオのサイクルを経験する。

図９の右下は、２Ｄ−３Ｄコーンを示す。この２Ｄ−３Ｄコーンの形状９４も最大描画位置を制限するが、コーンの外側の部分を再利用してモノラル（２Ｄ）ビューエクスペリエンスを与える。利用者がこのコーンを進むとき、利用者はステレオ、逆ステレオ、モノラル、再び逆ステレオのサイクルを経験する。このコーンの形状は、人々の集団であって、その集団の一部のメンバしかモノラルよりもステレオを選ばない、人々の集団が３Ｄ映画を観ることを可能にする。

要約すれば、奥行きシグナリングデータは、調節が発生源側によって相変わらず制御されながら、描画プロセスが実際の３Ｄディスプレイ用の奥行きデータからより優れた結果を得ることを可能にする。奥行きシグナリングデータは、３Ｄディスプレイ内のビューのワーピングを調節することに関連する画像パラメータ又は奥行き特性、例えば図６〜図８に示されているテーブルから成ることができる。例えば、テーブルに含まれる奥行き情報内のエッジの種類は、レンダラが奥行きデータから最大限の結果を得るのを支援するための特定の種類のエッジを示す。更に、レンダリングシステムがこの値を解釈し、そこからどのように奥行きデータを描画し、ビューをワープさせるのかを推論できるようにするために、奥行きデータを生成するために使用されるアルゴリズムが含められても良い。

本発明は、静止画像であろうと動画であろうと、任意の種類の３Ｄ画像データに使用され得ることを指摘しておく。３Ｄ画像データは、電子的なデジタル符号化データとして入手可能であると見なされる。本発明はかかる画像データに関し、画像データをデジタル領域内で操作する。

本発明は、プログラム可能コンポーネントを用いてハードウェア及び／又はソフトウェアによって実装され得る。本発明を実施するための方法は、図１〜図５に関して記載されたシステム向けに規定された機能に対応するステップを有する。

上記の説明では、明瞭にするために、本発明の実施形態が様々な機能ユニット及びプロセッサに関して説明されたことが理解される。しかしながら、様々な機能ユニット又はプロセッサ間での任意の適切な機能分散が、本発明から逸脱することなしに使用され得ることが明らかである。例えば、別々のユニット、プロセッサ、又はコントローラによって実行されるように示されている機能が、同じプロセッサ又はコントローラによって実行されても良い。従って、特定の機能ユニットへの言及は、厳密な論理的又は物理的構造若しくは構成を示すのではなく、記載された機能を提供するための適切な手段への言及に過ぎないと見なされるべきである。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せを含む任意の適切な形式で実装され得る。

本明細書では「含む」という語は、挙げられているもの以外の要素又はステップの存在を排除せず、或る要素の前にくる語「a」又は「an」はその要素の複数形の存在を排除せず、如何なる参照記号も特許請求の範囲を限定せず、本発明はハードウェア及びソフトウェアの両方によって実施されても良く、幾つかの「手段」又は「ユニット」がハードウェア若しくはソフトウェアの同一アイテムによって表されても良く、プロセッサが場合によりハードウェア要素と共同して１つ又は複数のユニットの機能を果たし得ることを指摘しておく。更に、本発明は上記の実施形態に限定されず、上記の又は互いに異なる従属請求項の中で列挙される全ての新規の特徴若しくは特徴の組合せに存する。

Claims (15)

1. ３Ｄ送信先装置に転送するための三次元（３Ｄ）ビデオ信号を提供するための３Ｄ発生源装置であって、
   前記３Ｄビデオ信号が、
   − ３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、
   − 前記３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報と
   を含み、前記３Ｄ送信先装置が、
   − 前記３Ｄビデオ信号を受信するための受信機と、
   − ビューをワーピングできるようにする送信先奥行きマップを前記３Ｄディスプレイに提供するための送信先奥行きプロセッサと
   を含み、前記３Ｄ発生源装置が、
   − 前記３Ｄビデオ信号を生成し、前記３Ｄビデオ信号を前記３Ｄ送信先装置に転送するための出力ユニット
   を含み、前記３Ｄ発生源装置が、
   − 前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させるための処理条件を表す、奥行きシグナリングデータを提供するための発生源奥行きプロセッサ
   を含み、
   前記出力ユニットが前記奥行きシグナリングデータを前記３Ｄビデオ信号内に含め、
   前記送信先奥行きプロセッサが、
   − 前記奥行きシグナリングデータに依存して、前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させる
   ３Ｄ発生源装置。
2. 前記発生源奥行きプロセッサが、前記処理条件として
   − オフセット、
   − 利得、
   − スケーリングの種類、
   − エッジの種類
   の少なくとも１つを含む奥行きシグナリングデータを提供する、請求項１に記載の３Ｄ発生源装置。
3. 前記発生源奥行きプロセッサが、複数の異なる奥行きシグナリングデータを複数の異なるそれぞれの３Ｄディスプレイの種類に与え、前記出力ユニットが、前記複数の異なる奥行きシグナリングデータを前記３Ｄビデオ信号内に含める、請求項１又は２に記載の３Ｄ発生源装置。
4. 前記発生源奥行きプロセッサが、前記３Ｄビデオ信号内のショットに依存して、或る期間にわたり前記奥行きシグナリングデータを提供する、請求項１又は２に記載の３Ｄ発生源装置。
5. 前記発生源奥行きプロセッサが、関心領域を前記３Ｄディスプレイの好ましい奥行き範囲内に表示できるようにするために前記処理条件として、前記関心領域の領域データを含む奥行きシグナリングデータを提供する、請求項１に記載の３Ｄ発生源装置。
6. 前記発生源奥行きプロセッサが、
   − 所定の閾値を上回る前記関心領域の変化に依存して前記領域データを更新すること、
   − 前記領域データとして、前記関心領域の奥行き範囲を示す領域奥行きデータを与えること、及び
   − 前記領域データとして、前記３Ｄビデオ信号内の圧縮ビデオデータの所定のブロックを表す少なくとも１つのマクロブロックに整列される前記関心領域エリアのエリアを示す領域エリアデータを与えることビデオ
   の少なくとも１つを行う、請求項５に記載の３Ｄ発生源装置。
7. 前記３Ｄビデオ信号が奥行きデータを含み、前記発生源奥行きプロセッサが、前記処理条件として奥行きデータの種類を含む前記奥行きシグナリングデータを提供し、前記奥行きデータの種類は、
   − 焦点データに基づき生成される奥行きデータを示す焦点指標、
   − 遠近データに基づき生成される奥行きデータを示す遠近指標、
   − 動きデータに基づき生成される奥行きデータを示す動き指標、
   − 特定の発生源から生じる奥行きデータを示す発生源指標、
   − 特定のアルゴリズムによって処理される奥行きデータを示すアルゴリズム指標、及び
   − 前記奥行きデータ内の物体の境界において使用される拡張の量を示す拡張指標
   の少なくとも１つを含む、請求項１に記載の３Ｄ発生源装置。
8. ３Ｄ発生源装置から三次元（３Ｄ）ビデオ信号を受信するための３Ｄ送信先装置であって、
   前記３Ｄ発生源装置が、
   − 前記３Ｄビデオ信号を生成し、前記３Ｄビデオ信号を前記３Ｄ送信先装置に転送するための出力ユニットを含み、
   前記３Ｄビデオ信号が、
   − ３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、
   − 前記３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報と
   を含み、前記３Ｄ送信先装置が、
   − 前記３Ｄビデオ信号を受信するための受信機と、
   − ビューをワーピングできるようにする送信先奥行きマップを前記３Ｄディスプレイに提供するための送信先奥行きプロセッサと
   を含み、前記受信機が、前記３Ｄビデオ信号から奥行きシグナリングデータを取得し、前記奥行きシグナリングデータは、前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させるための処理条件を表し、
   前記送信先奥行きプロセッサが、
   − 前記奥行きシグナリングデータに依存して、前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させる
   ３Ｄ送信先装置。
9. 前記送信先奥行きプロセッサが、前記処理条件としてオフセット、利得、スケーリングの種類、エッジの種類の少なくとも１つを含む前記奥行きシグナリングデータを処理するか、
   前記送信先奥行きプロセッサが、複数の異なるそれぞれの３Ｄディスプレイの種類のために複数の異なる奥行きシグナリングデータの１つを選択するか、
   前記送信先奥行きプロセッサが、関心領域を前記３Ｄディスプレイの好ましい奥行き範囲内に表示できるようにするために前記処理条件として、前記関心領域の領域データを含む前記奥行きシグナリングデータを処理するか、又は、
   前記３Ｄビデオ信号が奥行きデータを含み、前記送信先奥行きプロセッサが、前記処理条件として奥行きデータの種類を含む前記奥行きシグナリングデータを処理し、前記奥行きデータの種類が、
   − 焦点データに基づき生成される奥行きデータを示す焦点指標、
   − 遠近データに基づき生成される奥行きデータを示す遠近指標、
   − 動きデータに基づき生成される奥行きデータを示す動き指標、
   − 特定の発生源から生じる奥行きデータを示す発生源指標、
   − 特定のアルゴリズムによって処理される奥行きデータを示すアルゴリズム指標、及び
   − 前記奥行きデータ内の物体の境界において使用される拡張の量を示す拡張指標
   の少なくとも１つを含む、請求項８に記載の送信先装置。
10. 前記受信機が、前記３Ｄビデオ信号を受け取るために記録担体を読み取るための読取りユニットを含むか、又は前記装置が、
    − 前記送信先奥行きマップに依存して前記第１のビデオ情報及び前記第２のビデオ情報に基づき前記３Ｄビデオデータの複数のビューを生成するためのビュープロセッサと、
    − 前記３Ｄビデオデータの前記複数のビューを表示するための３Ｄディスプレイと
    を含む、請求項８に記載の送信先装置。
11. ３Ｄ送信先装置に転送するための三次元（３Ｄ）ビデオ信号を提供するための方法であって、
    前記３Ｄビデオ信号が、
    − ３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、
    − 前記３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報と
    を含み、前記３Ｄ送信先装置が、
    − 前記３Ｄビデオ信号を受信するための受信機と、
    − ビューをワーピングできるようにする送信先奥行きマップを前記３Ｄディスプレイに提供するための送信先奥行きプロセッサと
    を含み、前記方法が、
    前記３Ｄビデオ信号を生成するステップと、
    前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させるための処理条件を表す奥行きシグナリングデータを提供し、前記奥行きシグナリングデータを前記３Ｄビデオ信号内に含めるステップと
    を含み、前記送信先奥行きプロセッサが、
    − 前記奥行きシグナリングデータに依存して、前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させる、
    方法。
12. 前記３Ｄビデオ信号を表すマークのトラックを備える記録担体を製造するステップを含む、請求項１１に記載の方法。
13. ３Ｄ発生源装置から３Ｄ送信先装置に３Ｄビデオデータを転送するための三次元（３Ｄ）ビデオ信号であって、
    前記３Ｄビデオ信号が、
    − ３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、
    − 前記３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報と
    を含み、前記３Ｄ送信先装置が、
    − 前記３Ｄビデオ信号を受信するための受信機と、
    − ビューをワーピングできるようにする送信先奥行きマップを前記３Ｄディスプレイに提供するための送信先奥行きプロセッサと
    を含み、前記３Ｄビデオ信号が、
    − 前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させるための処理条件を表す、奥行きシグナリングデータ
    を含み、前記送信先奥行きプロセッサが、
    − 前記奥行きシグナリングデータに依存して、前記送信先奥行きマップ又は前記ビューのワーピングを前記３Ｄディスプレイに適合させる
    ３Ｄビデオ信号。
14. 請求項１３に記載の三次元（３Ｄ）ビデオ信号を含む、記録担体。
15. ３Ｄ送信先装置に転送するための三次元（３Ｄ）ビデオ信号を提供するためのコンピュータプログラムであって、請求項１１に記載の方法のそれぞれのステップをプロセッサに実行させるように動作可能である、コンピュータプログラム。