JP2016506137A - マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法 - Google Patents

Abstract

本発明は、マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法と、ビデオデータ信号を復号化する方法と、ビデオデータ信号と、マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号の符号化器と、ビデオデータ信号の復号化器と、ビデオデータ信号を符号化するための命令を含むコンピュータプログラムプロダクトと、ビデオデータ信号を復号化するための命令を含むコンピュータプログラムプロダクトとに関する。符号化方法は、マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法に関し、当該方法は、入力視点から見たシーンの第１の画像を提供するステップと、第１の画像に関連付けられた奥行きマップを提供するステップと、第１の画像及び奥行きマップに基づいたビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータを提供するステップと、第１の画像、奥行きマップ及びプレファランスデータを表す符号化データを含むビデオデータ信号を生成するステップとを含み、中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連する。

Description

本発明は、マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法と、ビデオデータ信号を復号化する方法と、ビデオデータ信号と、マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号の符号化器と、ビデオデータ信号の復号化器と、ビデオデータ信号を符号化するための命令を含むコンピュータプログラムプロダクトと、ビデオデータ信号を復号化するための命令を含むコンピュータプログラムプロダクトとに関する。

過去２０年間で、３次元ディスプレイ技術は成熟した。３次元（３Ｄ）ディスプレイデバイスは、視聴者の両目に、それぞれ、見ているシーンの異なるビューを提供することによって、視聴経験に第３の次元（奥行き）を追加する。

結果として、今日では、３次元画像／ビデオ信号を視聴するために様々な方法がある。一方で、ユーザがユーザの左目と右目とに別個の画像が提示される眼鏡に基づいた３次元ディスプレイシステムがあり、他方で、視聴者の裸眼にシーンの３次元ビューを提供する自動立体視３次元ディスプレイシステムがある。

眼鏡に基づいたシステムでは、アクティブ／パッシブ眼鏡が、視聴者の対応する目に対し画面上に表示される別個の画像を分離するフィルタを提供する。眼鏡を必要としない、即ち、自動立体視システムでは、デバイスは、通常、左画像を左目に、右画像を右目に向ける例えばバリア又はレンチキュラの形である光方向付け手段を使用するマルチビューディスプレイである。

立体視マルチビューディスプレイデバイスと共に使用するコンテンツを提供するために、長年、様々な入力フォーマットがデザインされてきている。このようなフォーマットの一例は、国際特許公開公報ＷＯ２００６／１３７０００Ａ１に見出せる。この文書は、奥行き及び／又はオクルージョン奥行きといった更なる情報と組み合わせた画像及び奥行き情報の画像交換フォーマットについて開示している。この方法で提供される情報は、レンチキュラ又はバリア技術に基づいて、自動立体視マルチビューディスプレイと共に使用する画像にレンダリングするように使用される。

P. A. Redert、E. A. Hendriks及びJ. Biemondによる論文「Synthesis of multi viewpoint images at non-intermediate positions」（International Conference on Acoustics, Speech and Signal Processingのプロシーディング、第ＩＶ巻、ＩＳＢＮ０−８１８６−７９１９−０、２７４９〜２７５２頁、IEEE Computer Society、カリフォルニア州ロスアラミトス、１９９７年）は、奥行き情報を抽出し、入力画像及び奥行きマップに基づいてマルチビュー画像をレンダリングする方法について開示している。

上記の画像に基づいたレンダリング技術の結果を向上させるために、国際特許公開公報ＷＯ２００６／１３７０００Ａ１に開示されるように、追加のオクルージョンテクスチャ及びオクルージョン奥行きを使用する様々な技術が考案されている。しかし、オクルージョンテクスチャ及びオクルージョン奥行きマップの追加は、レンダリングに使用する追加の画像及び奥行きマップの送信を必要とする点で、比較的費用がかかる。

更なる画像及び奥行きマップの形で追加の画像データを追加すること以外に、画像に基づいたレンダリングの質を向上させるために、追加のメタデータを提供することも知られている。このようなメタデータの一例は、国際特許公開公報ＷＯ２０１１／０３９６７９Ａ１に提供されている。この文書は、ビデオデータ信号を符号化し、更なるビューのレンダリングに使用する好適なレンダリング方向インジケータを提供する方法について開示している。

発明者は、レンダリング方向インジケータの符号化は、特に、立体視マルチビューディスプレイ用の画像及び奥行きに基づいたコンテンツのレンダリングを考慮すると、更に向上されることが分かった。

本発明の第１の態様によれば、マルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を符号化する方法が提供される。当該方法は、入力視点から見たシーンの第１の画像を提供するステップと、第１の画像に関連付けられた奥行きマップを提供するステップと、ビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータを提供するステップと、第１の画像、奥行きマップ及びプレファランスデータを表す符号化データを含むビデオデータ信号を生成するステップとを含み、中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している。

このようにビデオデータ信号を符号化する利点は、マルチビューディスプレイ用のビューをレンダリングするためのコンテンツを使用する復号化器が、対応するビューイングコーンの適切な中心ビューを選択できるようにする点である。したがって、ターゲットディスプレイデバイスに依存した方法で、当該ディスプレイデバイスのビューイングコーンの知覚的に好ましい、即ち、好適な中心位置を選択することができる。

本願では、中心ビューを参照する。マルチビュー立体視ディスプレイデバイスは、複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューは、当該ビューイングコーンの中心位置にある。なお、奇数のビューを有するマルチビュー立体視ディスプレイもあれば、偶数のビューを有するマルチビュー立体視ディスプレイもある。マルチビュー立体視ディスプレイの場合、中心ビューは、ビューイングコーンにおける中間ビュー、即ち、通常は、ディスプレイパネルに対し垂直なビューに対応する。偶数ビューの場合の中心ビューは、ビューイングコーンの中心に最も近い２つのビュー間の中間にある位置に対応する。

任意選択的に、プレファランスデータは、マルチビュー立体視ディスプレイ上での表示のために画像をレンダリングする際に使用する中心ビュー位置の好適な位置を示すインジケータを含む。

任意選択的に、プレファランスデータは、入力視点のベースラインに対する関係に依存するプレファランスデータを含み、基準左ビュー及び基準右ビューが、単一ビューに対する意図する左ビュー位置及び意図する右ビュー位置を表す入力視点を構成する単一ビューしか有さないビデオ信号について、単一ビューに対する好適な位置を示すインジケータとして提供される単一ビュー中心オフセット値を含む。プレファランスデータは更に、当該単一ビュー中心オフセット値が提供されると設定される単一ビュー中心オフセットフラグを含む。

任意選択的に、プレファランスデータは、入力視点のベースラインに対する関係に依存するプレファランスデータを含み、基準左ビュー及び基準右ビューを構成する左ビュー及び右ビューを有するビデオ信号について、基準左ビューと基準右ビューとの間の中心位置に対する好適な位置を示すインジケータとして提供される単一ビュー処理中心オフセット値を含む。プレファランスデータは更に、単一ビュー処理中心オフセット値が提供されると設定される単一ビュー処理中心オフセットフラグと、単一ビュー処理が好適である場合に設定される、単一ビューが好適であることを示すフラグと、基準左ビューが、単一ビュー処理に好適なビューであること、又は、基準右ビューが、単一ビュー処理に好適なビューであることを示す好適なビューインジケータとのうちの少なくとも１つを含む。

任意選択的に、プレファランスデータは、基準左ビューと基準右ビューとの間のベースラインの１／１００の精度でベースラインに対する中心ビューの位置の好適な位置を示す。このようにすると、精度とストレージ要件との間の妥協点が見出される。

任意選択的に、プレファランスデータは、左基準ビューと右基準ビューとの間の中心に対するオフセット値によって、中心ビューの位置の好適な位置を示す。０のオフセット値は、入力視点に対応する。このようにすると、中心位置は、選択された入力を、レンダリングに使用する入力視点及びターゲットの好適な位置に関連付ける特異値として表現される。

任意選択的に、中心ビューの好適な位置は、基準ディスプレイに対する複数の異なる中心ビュー位置についてコンテンツをレンダリングした後に知覚される画質の評価に基づいて決定される。このようにすると、知覚的に好ましい中心位置が選択され、これにより、例えばデオクルージョンによってもたらされる誤差が改善又は実質的に低減されるが、他の可能なオーサリング検討事項は把握される。例えば人が、片側で白い壁の前に立ち、もう片側で高度にテクスチャード加工されたカーテンの前に立っているシーンを考える。特定の方向におけるレンダリングを選択することによって、カーテンのデオクルージョンによってもたらされるオクルージョンアーチファクトは減少させることができる。しかし、当該シーン内の人が窓の外を見ている場合、当該方向にシーンを遠くまで広げ過ぎると、当該窓のかなりの関心領域が影響を受ける点で、厄介となる場合がある。

本実施形態による方法によって、上記のような状況が検出され、自動立体視マルチビューディスプレイ上で適切にレンダリング可能な妥協が選択される。

任意選択的に、プレファランスデータは、フレーム毎、フレームグループ毎、ショット／シーン毎のうちの１つに対し設定される。シーン内の中心視点の変更は不必要であるため、フレーム毎、フレームグループ毎、又は、ショット若しくはシーン毎に、プレファランスデータを設定することができる。後者が、実際では、一番目立たないと考えられる。更に、必要に応じて、プレファランスデータのフレーム毎の符号化は、各フレームのデータアップデートを含むことによって直接的に、又は、例えば幾つかの後続フレームに対し一組のプレファランスデータインクリメントを示すことによって若しくは将来の特定フレームに対しターゲット値を設定することによって間接的に、プレファランスデータの経時的に滑らかな遷移を可能にする。

本発明の第２の態様によれば、ビデオデータ信号を復号化する方法が提供される。当該ビデオデータ信号は、入力視点から見たシーンの第１の画像と、第１の画像に関連付けられた奥行きマップと、ビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータとを表す符号化データを含む。中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している。当該方法は、ビデオデータ信号を取得するステップと、レンダリングされるビューがビデオデータ信号内に符号化される中心ビューの好適な位置と一致して又は好適な位置の周りにあるように、複数のビューを、第１の画像、奥行きマップ及びプレファランスデータに基づいてレンダリングするステップとを含む。

好適な実施形態では、復号化方法は更に、ターゲット立体視マルチビューディスプレイを駆動する際に使用するレンダリングされたビューをウィービングするステップを含む。

本発明の第３の態様によれば、ビデオデータ信号が提供される。当該ビデオデータ信号は、入力視点から見たシーンの第１の画像と、第１の画像に関連付けられた奥行きマップと、ビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータとを表す符号化データを含み、中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している。

任意選択的に、プレファランスデータは更に、複数のビューの好適な位置を含み、各ビューの好適な位置は、入力視点と、基準左ビューと基準右ビューとの間のベースラインとに関連付けられる。

本発明の第４の態様によれば、非一時的な形式のビデオデータ信号を含むデータ担体が提供される。当該データ担体は、光ディスク、ハードディスクドライブ、固体ドライブ又は固体メモリといった既知のデバイスから多種多様であってよい。

本発明の第５の態様によれば、マルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を符号化する符号化器が提供される。当該符号化器は、入力視点から見たシーンの第１の画像を提供する第１の取得ユニットと、第１の画像に関連付けられた奥行きマップを提供する第２の取得ユニットと、ビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータを提供する第３の取得ユニットと、第１の画像、奥行きマップ及びプレファランスデータを表す符号化データを含むビデオデータ信号を生成する生成器とを含み、中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している。

本発明の第６の態様によれば、ビデオデータ信号を復号化する復号化器が提供される。当該ビデオデータ信号は、入力視点から見たシーンの第１の画像と、第１の画像に関連付けられた奥行きマップと、ビューレンダリングに使用する中心ビューの好適な位置を示すインジケータを含むプレファランスデータとを表す符号化データを含み、中心ビューの好適な位置及び入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している。当該復号化器は、第１の画像、奥行きマップ及びプレファランスデータに多重分離するデマルチプレクサと、レンダリングされるビューがビデオデータ信号内に符号化される中心ビューの好適な位置と一致して又は好適な位置の周りにあるように、複数のビューを、第１の画像、奥行きマップ及びプレファランスデータに基づいてレンダリングするビューレンダラとを含む。

任意選択的に、復号化器は更に、好適な中心位置及びレンダリングに利用可能な視差量に基づいて、マルチビューディスプレイと共に使用するための相互に等距離のビューをレンダリングする。

任意選択的に、プレファランスデータは更に、ターゲットディスプレイのすべてのビューの好適な位置を含み、各ビューの好適な位置は、入力視点と、基準左ビューと基準右ビューとの間のベースラインとに関連付けられる。

本発明の第７の態様によれば、本発明による符号化方法をプロセッサシステムに実行させる命令を含むコンピュータプログラムプロダクトが提供される。

本発明の第８の態様によれば、本発明による復号化方法をプロセッサシステムに実行させる命令を含むコンピュータプログラムプロダクトが提供される。

本発明のこれらの及び他の態様は、以下に説明される実施形態を参照することにより明らかとなろう。

図１Ａは、立体視４ビューマルチビューディスプレイの簡略化されたビューイングコーン表現を示す。 図１Ｂは、立体視５ビューマルチビューディスプレイの簡略化されたビューイングコーン表現を示す。 図２は、本発明による符号化器及び復号化器のブロック図を示す。 図３は、プレファランスデータ表現の概略図を示す。 図４は、プレファランスデータに基づいた可能なレンダリングされるビューの概略図を示す。 図５は、符号化方法のフローチャートを示す。 図６は、好適な位置を選択する好適な方法のフローチャートの詳細を示す。 図７は、復号化方法のフローチャートを示す。

なお、様々な図面において同じ参照符号を有する要素は、同じ構造上の特徴及び同じ機能を有するか、又は、同じ信号である。そのような要素の機能及び／又は構造が説明されている場合には、詳細な説明では、その説明を繰り返す必要はない。

発明の説明に入る前に、まず、マルチビュー自動立体視ディスプレイにおいてよく見られるビューイングコーンの概念を紹介する。このようなマルチビューディスプレイの特に有利な形式については、米国特許第６，８０１，２４３Ｂ１号を参照されたい。当該特許は、レンチキュラに基づいたマルチビュー自動立体視ディスプレイの一例を示す。

図１Ａは、立体視４ビューマルチビューディスプレイの簡略化されたビューイングコーン表現を示す。ビューイングコーン２６は、視聴者が見ることになるビューを示す。視聴者が、ディスプレイパネル（図示せず）の中心において、当該ディスプレイパネルの前に着席した場合、視聴者は、その左目でビュー−１を見て、その右目でビュー１を知覚する。適切にレンダリングされたビュー（即ち、左目用にレンダリングされたビューと右目用にレンダリングされたビュー）を提供することによって、視聴者２１は、立体画像を知覚する。しかし、視聴者２１が、ディスプレイ面と平行な線に沿って右側に、図１Ａに示されるような位置に移動すると、視聴者は、ビュー１及びビュー２を知覚する。これは、ビュー１及びビュー２もステレオペアのビューを提示する必要があることを意味する。図１Ａに示される状況では、ディスプレイデバイスのビューイングコーンの中心は、ビュー−１とビュー１との間の中間点にある。つまり、ビューの中心は、「仮想」ビュー０にあると言える。ここでは、当該ビューが仮想であるのは、ディスプレイは、当該ビューは見せないからである。

図１Ｂは、立体視５ビューマルチビューディスプレイの簡略化されたビューイングコーン表現を示す。視聴者２３は、ディスプレイパネル２４に面している。当該ディスプレイパネルは、ディスプレイパネルから生じた５つのビューを、図１Ｂに示されるように５つの別個の方向に方向付けるように例えば傾斜されたレンチキュラホイル又はスイッチ可能なバリアが重ねられていてもよい。視聴者２３の右目は、ディスプレイパネルの中央において、ディスプレイパネルに面するように位置付けられ、結果として、ディスプレイ画面に垂直な角度に方向付けられているビュー０が、視聴者２３の右目に可視である。同様に、ビュー−１が視聴者２３の左目に可視である。図１Ｂに示される場合では、ビューの中心は、ビューイングコーンの中心に位置付けられたビュー０にあると言える。

図２は、本発明による符号化器２００及び復号化器３００のブロック図を示す。図２の左側に示される符号化器２００は、後に送信器７０によって送信されるビデオデータ信号５０を準備する。送信器７０は、上記されたように、ビデオデータ信号５０をデータ担体上に記録する記録デバイスによって具現化されるか、或いは、有線媒体７３、無線媒体７２又はそれらの組み合わせ（図示せず）を介する送信のためにビデオデータ信号を整える。

送信されたデータは、右側に示される復号化器３００において受信される。復号化器３００は、ビデオデータ信号を受信し、コンテンツを多重分離し、当該コンテンツを使用して、レンダリングユニット９０上でビューをレンダリングする。図示されるように、復号化器は、外部マルチビュー立体視ディスプレイを駆動するデバイス１０５内に具現化されても、マルチビュー立体視ディスプレイを含むデバイス１０５’内に具現化されてもよい。

デバイス１０５の復号化器機能は、例えばセットトップボックスに組み込まれてもよく、その場合、ディスプレイデバイスは、当業者には良く知られている、例えばＨＤＭＩ（登録商標）、ＤＶＩ又はＤｉｓｐｌａｙＰｏｒｔ形式インターフェースを使用して駆動される。或いは、復号化器機能は、レンダリングされインタリーブされたビデオコンテンツをワイヤレスＨＤ又はＷｉＧｉＧインターフェースを介して送信するラップトップ、タブレット又はスマートホンに組み込まれてもよい。

より詳細には、図２は、マルチビュー立体視ディスプレイデバイス１００と共に使用するビデオデータ信号５０を符号化する符号化器２００を示す。符号化器は、入力視点から見たシーンの第１の画像１０を取得する第１の取得ユニット１５と、第１の画像１０に関連付けられた奥行きマップ２０を取得する第２の取得ユニット２５と、第１の画像及び奥行きマップに基づいたビューレンダリングに使用する中心ビューの好適な位置を示すプレファランスデータ（preference data）３０を取得する第３の取得ユニット３５とを含む。中心ビューの好適な位置は、入力視点を、基準左ビューと基準右ビューとの間のベースラインに関連付ける。取得ユニットは、符号化器用の入力を記憶手段又はネットワークから読み出してもよい。

取得後、生成器６０が、第１の画像１０、奥行きマップ２０及びプレファランスデータ３０を表す符号化されたデータを含むビデオデータ信号５０を生成する。入力データは、後にビデオデータ信号５０に多重化される１つ以上のストリームで符号化されてもよい。

また、図２は、有線ネットワーク７３、無線ネットワーク７２から受信される、又は、場合によっては、データ担体７１から読み出されるビデオデータ信号５０を復号化する復号化器３００を示す。ビデオデータ信号５０は、入力視点から見たシーンの第１の画像１０、第１の画像１０に関連付けられた奥行きマップ２０、並びに、第１の画像及び奥行きマップに基づいたビューレンダリングに使用する中心ビューの好適な位置を示すプレファランスデータ３０を表す符号化データを含む。中心ビューの好適な位置は、入力視点を、基準左ビューと基準右ビューとの間のベースラインに関連付ける。図示される復号化器は、更なる処理のために第１の画像データ１０、奥行きマップ２０及びプレファランスデータ３０に多重分離するデマルチプレクサ８０を含む。次に、レンダリングされるビューがビデオデータ信号５０内に符号化された中心ビューの好適な位置と一致して又はその周りにレンダリングされるように、ビューレンダラ９０が、第１の画像１０、奥行きマップ２０及びプレファランスデータ３０に基づいて、複数のビューをレンダリングする。

なお、奇数のビューがレンダリングされるディスプレイに対しビューがレンダリングされる場合、レンダリングされる中心ビューは、プレファランスデータ３０によって示される好適な位置と一致し、その他のビューは、中心ビューの好適な位置の周りに左右対称に位置付けられる。同様に、偶数のビューを有するディスプレイに対しビューがレンダリングされる場合、すべてのビューは、中心ビューの好適な位置の周りに左右対称に位置付けられ、好適な位置に最も近い２つのビューが、好適な位置の周りに左右対称に位置付けられる。

ビデオにおけるプレファランス位置の符号化
第１の画像及び関連付けられる奥行きマップを使用する現行のビデオデータ信号符号化システムでは、実際のビデオデータは、しばしば、ＡＶＣ規格又はＨＥＶＣ規格に基づいて符号化される。

このようなシステムでは、奥行き情報は、しばしば、ビデオデータ信号を、ビデオ及び適用可能なメタデータと組み合わせてレンダリングし、符号化ビデオシーケンスから直接的に利用可能ではないビューを作成しようとするディスプレイデバイスによって使用される。奥行きは、符号化データストリーム中にある場合もない場合もある。符号化ビデオシーケンス中に奥行きがない場合、奥行きマップが、ディスプレイデバイスによってビデオから生成される。

奥行きがある場合、当該奥行きは、ディスプレイデバイスが復号化できる形式に符号化されなければならない。本明細書に提供される例の多くは、平面視ビデオ（１ビュー）から構成されるビデオを示すが、本発明は、ビューのうちの１つのみがビューをレンダリングするために使用される場合、立体視ビデオ（２ビュー）と共に使用されてもよい。立体視ビデオの場合、奥行きは、両方のビュー、又は、２つのビューのうちの１つのビューに提供される。

画像及び奥行き情報は、幾つかのフォーマットにパッケージ化される。そのようなフォーマットの１つは、上記国際特許公開公報ＷＯ２００６／１３７０００Ａ１に示されるフォーマットである。或いは、データは、別のフレームに適合可能な２Ｄビデオ及び奥行きフォーマットにパッケージ化されてもよい。

フレームに適合可能な２Ｄビデオ及び奥行き符号化では、２Ｄビデオ及び関連付けられる奥行きマップは、幾つかの可能な方法の１つによって、符号化ビデフレームにパックされる。例えばサイドバイサイド構成では、ビデオは、水平方向に、２倍でサブサンプリングされ、画像の左半分に配置される一方で、関連する奥行きは、画像の右半分の輝度に符号化される。この方法の主な利点は、規格化されているＡＶＣ／ＨＥＶＣトランスポートチャネルが分配に利用可能であり、ＡＶＣ／ＨＥＶＣ復号化器を復号化に使用できる点である。ビデオ及び奥行きは、単一のＡＶＣ又はＨＥＶＣビデオストリーム内に、復号化器において、復号化された画像の各フレームが２Ｄビデオ及び関連付けられた奥行き（Ｚ）のスケーリングされたバージョンを有するように含まれる。サイドバイサイド及びトップボトムといったフォーマットが予想される。

或いは、垂直方向及び／又は水平方向に更にスケーリング又はサブサンプリングすることによって、奥行き情報の量を更に減少させることができる。これにより、より多くの帯域幅がもたらされる。

奥行きマップは、次に、例えば８ビット又は１６ビット値を使用して符号化される。８ビットの場合、これは、０以上２５５以下の範囲を表す。奥行きマップが、画像のある領域の一部に格納される場合、奥行き値は、奥行きを格納するために指定された当該画像の領域内の画素のルマ（luma）サンプルに格納される。

プレファランスデータ３０は、レンダリングの質を向上させるために、画像及び奥行き情報に加えて提供されるメタデータを表す。このようなメタデータは、ＡＶＣ又はＨＥＶＣベースの符号化ビデオシーケンス内のＳＥＩメッセージ内に含まれる。好適には、このようなメタデータは、ユーザデータ未登録ＳＥＩメッセージ内に含まれる。これらのメタデータＳＥＩメッセージは、奥行きを含むエレメンタリストリームに含まれる。これは、選択されたフォーマットに応じて、ビデオ及び奥行きを有する単一のエレメンタリストリームであっても、別個の奥行きエレメンタリストリームであってもよい。

表１：メタデータＳＥＩメッセージコンテナシンタックス

メタデータは、固定値を有する１２８ビット識別子によって一意に特定される１つ以上のユーザデータ未登録ＳＥＩメッセージによって符号化ビデオシーケンスに含まれる。幾つかのタイプのメタデータが定義されている。同じタイプのメタデータが、単一のＳＥＩメッセージに含まれ、当該メッセージについて、タイプはmetadata_typeフィールドによって示される。

複数のメタデータＳＥＩメッセージが単一のアクセスユニットに関連付けられてもよいが、多くても１つの特定のタイプのメタデータＳＥＩメッセージが当該アクセスユニットに関連付けられる。

以下の表２は、上記の表１に記載されるdepth_processing_informationの例示的なシンタックスを示す。


表２：奥行き処理情報シンタックス

様々な要素の更なる説明を以下に述べる。
depth_coding_formatは、複数の奥行き符号化フォーマットが利用可能である場合に、どの特定の奥行き符号化フォーマットが使用されているのかを示すために使用される。
dual_depthは、ステレオコンテンツの場合に、１つ又は２つの奥行きマップが提供されているのかどうかを示すフラグを表し、値１は、２つの奥行きマップが提供されていることを示す。特に、１つの奥行きマップしか利用可能ではない場合、当該１つの奥行きマップに関連付けられるビューに基づいて追加のビューをレンダリングするように本発明が使用される。
preferred_viewは、１に設定されていると、左ビューが、ディスプレイによる単一ビュー処理に好適なビューであることを示す。このフィールドが２に設定されていると、右ビューが、ディスプレイによる単一ビュー処理に好適なビューであることを示す。

この値は、単一のビューから複数のビューを生成するディスプレイデバイスに特に関連する。ビュー生成に複数のビューを使用可能なディスプレイデバイスでは、preferred_viewは、single_depth_preferredが１に設定される場合は、ビューレンダリングに最善のビューを示す。

dual_depthが０である場合、又は、好適なビューがない場合、このフィールドは、０に設定される。
single_view_preferredは、１に設定される場合、ディスプレイデバイスによる単一ビュー処理が好適であることを示す。dual_depthが０である場合、このフィールドは、０に設定される。
single_view_processing_center_offsetは、dual_depth情報を利用しないマルチビューディスプレイデバイスのレンダリングされる中心ビューの推奨される位置を指定する整数値を含む。このフィールドは、dual_depthが１に設定される場合にのみ存在する。表２における条件付き「if」関数によって示されるように、single_view_processing_center_offset_flagは、single_view_processing_center_offsetの値が提供されると設定される。

中心オフセットパラメータは、−１２８以上１２７以下の範囲内の値を含み、左ビューと右ビューとの間のベースラインの１／１００を単位にして左ビューと右ビューとの間の正確な中心位置（０のオフセット値を表す）に関連している。値は、左から右への位置と共に増加し、−５０が元の左ビュー位置を表し、５０が元の右ビュー位置を表す。
single_view_center_offsetは、マルチビューディスプレイデバイスのレンダリングされる中心ビューの推奨される位置を指定する整数値を含む。このフィールドは、dual_depthが０に設定される場合にのみ、又は、single_view_preferredが１に設定される場合にのみ存在する。表２における条件付き「if」関数によって示されるように、single_view_center_offset_flagは、single_view_center_offsetの値が提供されると設定される。

単一ビュー中心オフセットパラメータは、−１２８以上１２７以下の範囲内の値を含み、意図する左ビューと右ビューとの間のベースラインの１／１００を単位にして提供されたビュー（０のオフセット値を表す）に関連している。値は、左から右への位置と共に増加し、−５０が意図する左ビュー位置を表し、５０が意図する右ビュー位置を表す。

本発明は、第１の画像、奥行きマップ及びプレファランスデータを含むビデオデータ信号を参照して説明されたが、ビデオデータ信号内の他のデータの存在を除外するわけではない。例えば本発明は、左画像及び左奥行きマップ、右画像及び右奥行きマップとして提供されるコンテンツをレンダリングする場合にも存分に使用される。大抵の場合、左及び右からのデータの両方を使用するとより優れたレンダリング結果を達成することができるが、これは、必ずしもそうとは限らない。

したがって、利用可能なステレオデータと２つの奥行きマップがある状況においても、右画像及び右奥行きマップを使用しなくても、第１の画像と関連付けられる奥行きマップだけに基づいて、複数のビューをレンダリングすることができる。

次に、図３及び図４を参照して、中心ビュー位置の符号化について、より詳細に説明する。図３は、８ビット整数表現を使用したsingle_view_processing_center_offset又はsingle_view_center_offset値の可能な整数符号化を図示する。入力視点は、０のオフセットにマッピングされる一方で、−５０のオフセットは、通常、左画像がレンダリングされるビューに対応する。５０のオフセットは、通常、ステレオペアの右ビューがレンダリングされるビューに対応する。

この符号化の基礎になっている考えは、あらゆるマルチビューディスプレイは、視差の総量がレンダリングされるような方法で立体視コンテンツをレンダリングしなければならないというものである。即ち、最左ビューと最右ビューとの間の視差の差が、視聴者に許容可能にビデオコンテンツをレンダリングするために使用されなければならない。

結果として、高品質の自動立体視ディスプレイデバイスは、左ビューと右ビューとがある立体視コンテンツをレンダリング可能でなければならない。本発明の発明者は、この特徴を利用して、立体視コンテンツのベースラインに関してオフセットを定義できることを認識した。結果として、単一の定義を、広範囲のマルチビュー立体視ディスプレイデバイスに使用できる。この場合、ベースラインは、立体視コンテンツを撮影するために使用されるベースラインと一致するように選択される。

基準左ビュー及び基準右ビュー
しかし、単一の画像と関連付けられた奥行きとに基づいてレンダリングする場合、同じ問題が生じる。つまり、ビューのレンダリングを向上させるためには、中心位置の配置を可能にするベースラインを定義しなければならない。しかし、この場合、左画像及び右画像の厳密な定義はない。

このため、発明者は、ベースライン上に左基準ビューと右基準ビューとを定義し、また、それに基づいて中心位置を定義することが有益であることを認識している。これは、ベースラインの位置を適切に選択可能であるという問題については対処するが、問題を左及び右の基準ビューの定義に移す。

発明者は、これを行うために様々な方法を使用できることを認識している。これを行うための第１の方法は、ディスプレイデバイス自体の特性に基づいてベースラインを定義する方法である。例えばベースラインは、中心ビューのために画像＋奥行きに基づいたコンテンツをレンダリングする際に、当該デバイスによって使用されるベースラインに一致するように定義されてもよい。偶数のビューの場合、これは、仮想ビューイングコーンの中心に最も近い２つのビューに対応するベースラインに一致する。このようにすると、−５０の値が、ビューイングコーンにおける最も中心のビューペアの左ビューの位置に一致する。この状況では、基準左ビューが、ビューイングコーンにおける最も中心のビューペアの左ビューに一致する。

或いは、ベースラインは、ビューイングコーンの最左ビュー及び最右ビューに基づいて定義されてもよい。このシナリオでは、−５０が、ビューイングコーンの最左ビューに対応する。

更に、或いは、ベースラインは、ビューのオンスクリーン視差に関連するメタデータに基づいて、即ち、ディスプレイスクリーンサイズ、好適なビューイング距離及び視聴者の目の距離に基づいて定義されてもよい。

より更に、或いは、ディスプレイが立体視コンテンツもサポートする場合は、左ステレオビューを左基準ビューとして、右ステレオビューを右基準ビューとして選択することも可能である。ステレオコンテンツをレンダリングするマルチビュー自動立体視ディスプレイでは、左と右との間の視差量は、通常、複数のビューに亘って分割される。つまり、ビューイングコーンの２つのビュー間の視差量は、ステレオ入力コンテンツの視差量に比べて大幅に少ない。

しかし、中心を定義するために、元のステレオ左ビュー及び右ビューによって定義されるベースラインを使用することも可能である。

当業者には明らかなように、多くの様々な定義が可能であり、すべて、同じ概念に基づいている。即ち、左及び右基準ビューが定義され、中心がこれらの２つのビュー間のベースラインの一部として定義される。

実際に、どの特定のタイプの基準ビュー定義が選択されるかは、予め決められるか、又は、或いは、ビデオデータ信号自体にメタデータとして符号化される。

再び図３を参照するに、−５０のオフセットは、ディスプレイがレンダリングするすべてのビューの中心が、当該マルチビュー立体視ディスプレイデバイスがオフセットなしで立体視画像ペアの左画像をレンダリングする位置に置かれることを意味する。同様に、５０のオフセットは、ディスプレイがレンダリングするすべてのビューの中心が、当該マルチビュー立体視ディスプレイデバイスがオフセットなしで立体視画像ペアの右画像をレンダリングする位置に置かれることを意味する。

図４は、ステレオペアの左画像５０１及び右画像５０２の位置に対する１５個のビュー５１０〜５５０のビュー配置の一連の例を示す。入力視点（ＩＶ）５０３は、ビューイングコーンの中心ビューの好適な位置（ＰＰ）５０４に対する入力視点の位置を示す。

ビュー配置５１０は、０のオフセットに対応し、この状況では、好適な位置５０４が入力ビュー５０３に重なる。同様に、ビュー配置５２０は、−１２（１２．５％の近似値）のオフセットに対応する。ビュー配置５３０は、次に、−２５のオフセットに対応し、ビュー配置５４０は、−３７（３７．５％の近似値）のオフセットに対応し、ビュー配置５５０は、−５０のオフセットに対応する。この状況では、中心ビューは、ビューイングペアの左画像が通常レンダリングされる位置と重なる。

特に、ここに提案されるオフセットの仕様によって、ターゲットディスプレイデバイスは、ビューイングコーンにおける個々のビューの配置を十分に制御することができる。これは、様々なマルチビュー立体視ディスプレイデバイスが様々なビュー割り当て方法を有するので、特に有利である。例えば図４は、隣接するビュー間の視差が変わらない等距離ビュー位置決めを示すが、或いは、視差が最も高いビューイングコーンの中心に人を移動させるようにビューイングコーンの脇に向かってビュー間の視差を減少させることも可能である。

図５を参照するに、図５は、マルチビュー立体視ディスプレイデバイス１００と共に使用するビデオデータ信号５０を符号化する方法のフローチャートを示す。当該方法は、入力視点から見たシーンの第１の画像１０を提供するステップ４０１と、第１の画像１０に関連付けられた奥行きマップ２０を提供する第２のステップ４０２と、第１の画像及び奥行きマップに基づいたビューレンダリングに使用する中心ビューの好適な位置を示すプレファランスデータ３０を提供するステップ４０３と、第１の画像１０、奥行きマップ２０及びプレファランスデータ３０を表す符号化データを含むビデオデータ信号５０を生成するステップ４０４とを含み、中心ビューの好適な位置は、入力視点を、基準左ビューと基準右ビューとの間のベースラインに関連付ける。

オプションとして示されるように、当該方法は更に、ターゲット立体視マルチビューディスプレイ１００を駆動する際に使用するレンダリングされたビューをウィービング（weaving）するステップ４０５を含む。ビューウィービングに関する更なる情報は、例えば米国特許第６，８０１，２４３Ｂ１号に見出される。

図６を参照するに、図６は、中心ビューの好適な位置を確立する際に使用されるフローチャートを示す。ここに提示される処理は、プレファランスデータ３０を取得するために従われる。ステップｅｎｃ３＿０において、レンダリングのための一組のオフセットが決定される。次に、ステップｅｎｃ３＿１において、未評価オフセットが選択され、続いて、ステップｅｎｃ３＿２において、このオフセット設定を使用して、第１の画像及び関連付けられる奥行きマップについてビューがレンダリングされる。ステップｅｎｃ３＿３において、レンダリングされたビューはウィービングされて表示される。次に、ステップｅｎｃ３＿４において、表示されたビューに、人間に支援されて、又は、例えば高度にテクスチャード加工された構造体付近のデオクルージョンの量の計量を求め評価することによってマシンに基づいたランク付け方法によって、ランクが付けられる。

次に、ステップＱ？において、すべてのオフセットにランクが付けられたかどうかが評価され、すべてのオフセットにランクが付けられているわけではない場合は、処理は、ステップｅｎｃ３＿６に続き、そうでなければ、処理は、ステップｅｎｃ３＿５に続き、ここでは、ベストランクのオフセットが選択され、プレファランスデータ３０を生成するために使用される。

図７を参照するに、図７は、ビデオデータ信号５０を復号化する方法のフローチャートを示す。当該ビデオデータ信号５０は、入力視点から見たシーンの第１の画像１０、第１の画像１０に関連付けられた奥行きマップ２０、及び、第１の画像及び奥行きマップに基づいたビューレンダリングに使用する中心ビューの好適な位置を示すプレファランスデータ３０を表す符号化データを含む。中心ビューの好適な位置は、入力視点を、基準左ビューと基準右ビューとの間のベースラインに関連付ける。当該方法は、ビデオデータ信号５０を取得するステップｄｅｃ１を含む。これは、メモリ、ハードディスク記憶装置からビデオデータ信号を読み出すことであっても、有線又は無線ネットワークから当該データを受信することであってもよい。

次に、ビデオデータ信号は、ステップｄｅｃ２において、多重分離される。これにより、ビデオデータ信号５０内に含まれていた個々の成分が、例えば入力ビデオストリームのコンテナフォーマットを多重分離することによって及び／又はその中に含まれるエレメンタリストリームを続けて多重分離することによって、抽出される。特に、このような多重分離ステップは、必ずしも必要なわけではなく、復号化されるビデオデータ信号の入力フォーマットに依存する。

復号化後、レンダリングステップｄｅｃ３が適用される。このステップでは、複数のビュー９５は、レンダリングされたビュー９５がビデオデータ信号５０内に符号化された中心ビューの好適な位置と一致して又はその周りにレンダリングされるように、第１の画像１０、奥行きマップ２０及びプレファランスデータ３０に基づいてレンダリングされる。

当業者には明らかであるように、奥行きは、大まかに、視差に反比例する。しかし、奥行きのディスプレイデバイスにおける視差への実際のマッピングは、ディスプレイによって生成される視差の総量、特定の奥行き値をゼロ視差に割り当てる選択、交差視差の許容量等といった様々なデザイン上の選択の影響を受ける。しかし、入力データと共に提供された奥行きデータが、画像を奥行きに依存する方法でワープするために使用される。したがって、ここでは、視差データが、奥行きデータと定性的に解釈される。

当然ながら、本発明は、コンピュータプログラム、特に、本発明を実現するように適応された担体上又は内のコンピュータプログラムにも拡大される。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形式といったコード中間ソース及びオブジェクトコードの形式、又は、本発明による方法の実施における使用に適した任意の他の形式であってよい。当然ながら、当該プログラムは、多くの異なるアーキテクチャデザインを有する。例えば本発明による方法又はシステムの機能を実施するプログラムコードは、１つ以上のサブルーチンに分割されてもよい。

当業者には、これらのサブルーチン間で機能を分配する多くの様々な方法が明らかであろう。サブルーチンは、自己充足型のプログラムを形成するように１つの実行可能なファイル内にまとめて格納されてもよい。このような実行可能なファイルは、例えばプロセッサ命令及び／又はインタプリタ命令（例えばＪａｖａ（登録商標）インタプリタ命令）であるコンピュータ実行可能な命令を含む。或いは、サブルーチンの１つ以上又は全部は、少なくとも１つの外部ライブラリファイルに格納され、メインプログラムに静的に又は例えばランタイム時といったように動的にリンクされてもよい。メインプログラムは、サブルーチンの少なくとも１つに対し少なくとも１つの呼び出しを含む。また、サブルーチンは、互いに対する関数呼び出しを含んでもよい。コンピュータプログラムプロダクトに関する一実施形態は、上記された方法の少なくとも１つの方法の処理ステップのそれぞれに対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに分割されても、及び／又は、静的若しくは動的にリンクされている１つ以上のファイルに格納されてもよい。

コンピュータプログラムプロダクトに関連する別の実施形態は、上記されたシステム及び／又はプロダクトの少なくとも１つの手段のそれぞれに対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに分割されても、及び／又は、静的若しくは動的にリンクされている１つ以上のファイルに格納されてもよい。

コンピュータプログラムの担体は、プログラムを担持可能である任意のエンティティ又はデバイスであってよい。例えば、担体は、ＲＯＭ（例えばＣＤ ＲＯＭ若しくは半導体ＲＯＭ）、又は、磁気記録媒体（例えばフロッピー（登録商標）ディスク若しくはハードディスク）といった記憶媒体を含む。更に、担体は、電気若しくは光ケーブルを介して、又は、無線若しくは他の手段によって伝送される電気信号又は光信号といった送信可能な媒体であってもよい。プログラムが、そのような信号内に具現化される場合、担体は、そのようなケーブル又は他のデバイス若しくは手段によって構成される。或いは、担体は、その中にプログラムが埋め込まれる集積回路であってもよい。当該集積回路は、関連の方法の実行又は実行における使用に適応される。

なお、上記実施形態は、発明を例示するものであって、限定するものではない。当業者であれば、添付された請求項の範囲から離れることなく、代替実施形態をデザインすることができよう。請求項において、括弧内に置かれた任意の参照符号は、当該請求項を限定するものと解釈されるべきではない。「含む」との動詞及びその活用形の使用は、請求項に記載された要素又はステップ以外の要素又はステップの存在を排除するものではない。また、要素に先行する「ａ」又は「ａｎ」との冠詞は、当該要素が複数存在することを排除するものではない。本発明は、幾つかの別個の要素を含むハードウェア手段によって、また、適切にプログラムされたコンピュータによって実現される。幾つかの手段を列挙する装置クレームにおいて、これらの手段のうちの幾つかは、同一のハードウェアアイテムによって具現化されてもよい。特定の手段が相互に異なる従属請求項に記載されるからといって、これらの手段の組み合わせを有利に使用することができないことを示すものではない。

Claims (16)

1. 複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューが前記ビューイングコーンの中心位置にあるマルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を符号化する方法であって、
   入力視点から見たシーンの第１の画像を提供するステップと、
   前記第１の画像に関連付けられた奥行きマップを提供するステップと、
   前記第１の画像及び前記奥行きマップに基づいたビューレンダリングに使用する前記中心ビューの好適な位置を示すインジケータを含むプレファランスデータを提供するステップと、
   前記マルチビュー立体視ディスプレイデバイスが、前記中心ビューの前記好適な位置と一致して又は前記好適な位置の周りでビューをレンダリングできるように、前記第１の画像、前記奥行きマップ及び前記プレファランスデータを表す符号化データを含む前記ビデオデータ信号を生成するステップと、
   を含み、
   前記中心ビューの前記好適な位置及び前記入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連している、方法。
2. 前記プレファランスデータは、前記入力視点の前記ベースラインに対する関係に依存するプレファランスデータを含み、前記基準左ビュー及び前記基準右ビューが前記単一ビューに対する意図する左ビュー位置及び意図する右ビュー位置を表す前記入力視点を構成する単一ビューしか有さないビデオ信号について、前記単一ビューに対する前記好適な位置を示す前記インジケータとして提供される、単一ビュー中心オフセット値を含む、請求項１に記載の符号化方法。
3. 前記プレファランスデータは、前記単一ビュー中心オフセット値が提供されると設定される単一ビュー中心オフセットフラグを含む、請求項２に記載の符号化方法。
4. 前記プレファランスデータは、前記入力視点の前記ベースラインに対する関係に依存するプレファランスデータを含み、前記基準左ビュー及び前記基準右ビューを構成する左ビュー及び右ビューを有するビデオ信号について、前記基準左ビューと前記基準右ビューとの間の中心位置に対する前記好適な位置を示す前記インジケータとして提供される、単一ビュー処理中心オフセット値を含む、請求項１に記載の符号化方法。
5. 前記プレファランスデータは、
   前記単一ビュー処理中心オフセット値が提供されると設定される単一ビュー処理中心オフセットフラグと、
   単一ビュー処理が好適である場合に設定される、単一ビューが好適であることを示すフラグと、
   前記基準左ビューが、前記単一ビュー処理に好適なビューであること、又は、前記基準右ビューが、前記単一ビュー処理に好適なビューであることを示す好適なビューインジケータと、
   のうちの少なくとも１つを含む、請求項４に記載の符号化方法。
6. 前記プレファランスデータは、前記基準左ビューと前記基準右ビューとの間の前記ベースラインの１／１００の精度で前記ベースラインに対する前記中心ビューの位置の前記好適な位置を示す、請求項１乃至５の何れか一項に記載の符号化方法。
7. 前記中心ビューの前記好適な位置は、基準ディスプレイに対する複数の異なる中心ビュー位置についてコンテンツをレンダリングした後に知覚される画質の評価に基づいて決定される、及び／又は、前記プレファランスデータは、フレーム毎、フレームグループ毎、シーン毎のうちの１つに対し設定される、請求項１乃至６の何れか一項に記載の符号化方法。
8. 複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューが前記ビューイングコーンの中心位置にあるマルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を復号化する方法であって、
   前記ビデオデータ信号は、
   入力視点から見たシーンの第１の画像と、
   前記第１の画像に関連付けられた奥行きマップと、
   前記第１の画像及び前記奥行きマップに基づいたビューレンダリングに使用する前記中心ビューの好適な位置を示すインジケータを含むプレファランスデータと、
   を表す符号化データを含み、前記中心ビューの前記好適な位置及び前記入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連し、
   前記方法は、
   前記ビデオデータ信号を取得するステップと、
   レンダリングされるビューが前記ビデオデータ信号内に符号化される前記中心ビューの前記好適な位置と一致して又は前記好適な位置の周りにあるように、複数のビューを、前記第１の画像、前記奥行きマップ及び前記プレファランスデータに基づいてレンダリングするステップと、
   を含む、方法。
9. 複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューが前記ビューイングコーンの中心位置にあるマルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号であって、
   入力視点から見たシーンの第１の画像と、
   前記第１の画像に関連付けられた奥行きマップと、
   前記第１の画像及び前記奥行きマップに基づいたビューレンダリングに使用する前記中心ビューの好適な位置を示すインジケータを含むプレファランスデータと、
   を表す符号化データを含み、前記マルチビュー立体視ディスプレイデバイスが、前記中心ビューの前記好適な位置と一致して又は前記好適な位置の周りでビューをレンダリングできるように、前記中心ビューの前記好適な位置及び前記入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連する、ビデオデータ信号。
10. 前記プレファランスデータは更に、複数のビューの好適な位置を含み、各ビューの前記好適な位置は、前記入力視点と、前記基準左ビューと前記基準右ビューとの間の前記ベースラインとに関連付けられる、請求項９に記載のビデオデータ信号。
11. 請求項９又は１０に記載のビデオデータ信号を含むデータ担体。
12. 複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューが前記ビューイングコーンの中心位置にあるマルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を符号化する符号化器であって、
    入力視点から見たシーンの第１の画像を提供する第１の取得ユニットと、
    前記第１の画像に関連付けられた奥行きマップを提供する第２の取得ユニットと、
    前記第１の画像及び前記奥行きマップに基づいたビューレンダリングに使用する前記中心ビューの好適な位置を示すインジケータを含むプレファランスデータを提供する第３の取得ユニットと、
    前記マルチビュー立体視ディスプレイデバイスが、前記中心ビューの前記好適な位置と一致して又は前記好適な位置の周りでビューをレンダリングできるように、前記第１の画像、前記奥行きマップ及び前記プレファランスデータを表す符号化データを含む前記ビデオデータ信号を生成する生成器と、
    を含み、
    前記中心ビューの前記好適な位置及び前記入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連する、符号化器。
13. 複数のビューを有するビューイングコーンのビューレンダリングのために構成され、中心ビューが前記ビューイングコーンの中心位置にあるマルチビュー立体視ディスプレイデバイスにおいて使用するビデオデータ信号を復号化する復号化器であって、
    前記ビデオデータ信号は、
    入力視点から見たシーンの第１の画像と、
    前記第１の画像に関連付けられた奥行きマップと、
    前記第１の画像及び前記奥行きマップに基づいたビューレンダリングに使用する前記中心ビューの好適な位置を示すインジケータを含むプレファランスデータと、
    を表す符号化データを含み、前記中心ビューの前記好適な位置及び前記入力視点は、基準左ビューと基準右ビューとの間のベースラインに関連し、
    前記復号化器は、
    前記第１の画像、前記奥行きマップ及び前記プレファランスデータに多重分離するデマルチプレクサと、
    レンダリングされるビューが前記ビデオデータ信号内に符号化される前記中心ビューの前記好適な位置と一致して又は前記好適な位置の周りにあるように、複数のビューを、前記第１の画像、前記奥行きマップ及び前記プレファランスデータに基づいてレンダリングするビューレンダラと、
    を含む、復号化器。
14. 相互に等距離のビューをレンダリングする、請求項１３に記載の復号化器。
15. 請求項１乃至７のうち何れか一項に記載の方法をプロセッサシステムに実行させる命令を含むコンピュータプログラム。
16. 請求項８に記載の方法をプロセッサシステムに実行させる命令を含むコンピュータプログラム。