JP2012501580A - ヒューリスティックなビューマージングによるビュー合成 - Google Patents

Abstract

幾つかの実現は、3Dビデオ（3DV）応用のヒューリスティックなビューマージングによるビュー合成に関する。１態様によれば、第一の瞬間移動された基準のビューからの第一の候補となる画素及び第二の瞬間移動された基準のビューからの第二の候補となる画素は、前記第一の候補となる画素及び前記第二の候補なる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価される。この評価は、第一の瞬間移動された基準のビュー及び第二の瞬間移動された基準のビューを１つの合成されたビューにマージするプロセスの一部として行われる。この評価に基づいて、１つの合成されたビューにおける所与の目標となる画素について結果が判定される。この結果は、所与の目標となる画素の値を決定すること、又は所与の目標となる画素をホールとして記録することである。

Description

本発明は、符号化システムに関する。
様々な特定の実現は、3D映像（3DV）応用向けのヒューリスティックなビューマージングによるビュー合成に関する。
本出願は、（1）“View Synthesis with Boundary-Splatting and Heuristic View Merging for 3DV Applications”と題された2008年9月19日に提出された米国特許仮出願61/192612、及び（2）“View Synthesis with Adaptive Splatting for 3D Video(3DV) Application”と題された2008年8月29日に提出された米国特許仮出願61/092967の両者の利益を特許請求するものである。これらの米国特許仮出願の内容は、引用によりそれらの完全な形で本明細書に盛り込まれる。

３次元映像（3DV）は、多視点映像及び奥行き情報の符号化表現を含み、たとえば受信での高品質3Dレンダリングの生成を狙いとする新たなフレームワークである。これにより、オートステレオスコピックディスプレイによる3Dの視覚的な体験、自由視点応用及び立体ディスプレイを可能にする。更なるビューを生成する更なる技術を有することが望まれる。

一般的な態様によれば、第一の瞬間移動（ワープ）された基準のビュー（a first warped reference view）からの第一の候補となる画素、及び第二の瞬間移動された基準のビューからの第二の候補となる画素は、第一及び第二の候補となる画素の品質を評価する後方合成プロセス、第一及び第二の候補となる画素の周囲のホール分布、又は特定の周波数を超える第一及び第二の候補となる画素の周囲のエネルギー量の少なくとも１つに基づいて評価される。評価は、少なくとも第一及び第二の移動された基準のビューを１つの合成されたビューにマージするプロセスの一部として行われる。評価に基づいて、１つの合成されたビューにおける所与の目標とする画素について、結果が決定される。

１以上の実現の詳細は、添付図面及び以下の詳細な説明において述べられる。１つの特定のやり方で記載されるとしても、実現は様々なやり方で構成又は実施される場合があることが明らかである。たとえば、実現は、方法として実行されるか、たとえば動作のセットを実行するためにコンフィギュされる装置又は動作のセットを実行する命令を記憶する装置として実施されるか、或いは信号で実施される場合がある。他の態様及び特徴は、添付図面及び特許請求の範囲と共に考慮される以下の詳細な説明から明らかとなるであろう。

補正されないビュー合成の実現に関する図である。 補正されたビュー合成の実現に関する図である。 画像合成装置の実現に関する図である。 画像合成装置の実現に関する図である。 ビデオ送信システムの実現に関する図である。 ビデオ受信システムの実現に関する図である。 ビデオ処理装置の実現に関する図である。 奥行き情報をもつ多視点映像を送信及び受信するシステムの実現に関する図である。 ビュー合成及びマージングプロセスの実現に関する図である。 奥行き、ホール分布及びカメラパラメータを利用したマージングプロセスの実現に関する図である。 奥行き、後方合成エラー、カメラパラメータを利用したマージングプロセスの実現に関する図である。 奥行き、後方合成エラー、カメラパラメータを利用したマージングプロセスの別の実現に関する図である。 奥行き、後方合成エラー、カメラパラメータを利用したマージングプロセスの別の実現に関する図である。 高周波エネルギーを利用したマージングプロセスの実現に関する図である。

幾つかの3DV応用は、入力ビューに厳密な制約を課す。入力ビューは、ある画素があるビューから別のビューにどのように移されるかを１次元（1D）の視差が表すことができるように、典型的に良好に補正される必要がある。

DIBR（Depth-Image-Based Rendering）は、多数の較正されたカメラから捕捉された多数の画像及び関連する画素当たりの立体情報を使用するビュー合成の技術である。概念的に、このビュー生成方法は、（１）3Dイメージワーピング及び（２）再構成及びリサンプリング、といった２ステッププロセスとして理解することができる。３Dイメージワーピングに関して、参照画像からの画素を適切な3D位置に投影せずに、それらを新たな画像空間に再投影するため、奥行きデータ及び関連するカメラパラメータが使用される。再構成及びリサンプリングに関して、合成されたビューにおける画素値の決定が含まれる。

レンダリング方法は、画素に基づくか（splatting）又はメッシュに基づく（triangular）ことができる。3DVについて、レーザレンジのスキャニング又はコンピュータグラフィックスモデルから生成されるのではなく、ステレオのような受動的なコンピュータビジョン技術により１画素当たりの奥行きが典型的に推定される。したがって、3DVにおけるリアルタイム処理について、雑音のある奥行き情報のみが与えられた場合、複雑且つ計算コストが高いメッシュ生成を回避するために、画素に基づく方法が好まれるべきである。これは、ロバストな3D triangulation（表面再構成）は、困難な幾何学的な問題であるためである。

既存のスプラッティングアルゴリズムは、幾つかの非常に印象的な結果を達成する。しかし、高い精度の奥行きで動作するように設計され、低品質の奥行きについて十分ではない場合がある。さらに、3DVに存在しない、１画素当たりの正常な表面又は3Dにおける曇り点のような、多くの既存のアルゴリズムが当然のこととする態様が存在する。そこで、これらの特定の問題に対処するため、新たな合成アルゴリズムが望まれる。

奥行き情報及びカメラパラメータが与えられると、参照画像を合成されたビューにワープさせることは簡単である。大部分の重要な問題は、ワープされた参照画像の画素から目標となるビューにおける画素値をどのように予測するかである。図１Ａ及び図１Ｂは、この基本的な問題を例示する。図１Ａは、補正されていないビュー合成１００を示す。図１Ｂは、補正されたビュー合成１５０を示す。図１Ａ及び図１Ｂでは、文字“Ｘ”は、推定されるべき目標とするビューにおける画素を表し、円及び四角は、異なる基準とするビューからワープされた画素を表す。この場合、異なる形状は、異なる基準とするビューを示す。

簡単な方法は、ワープされたサンプルを、目標とするビューにおけるその最も近い画素の位置に丸めることである。多数の画素が合成されたビューにおける同じ位置にマッピングされたとき、Ｚバッファリングは典型的なソリューションであり、すなわちカメラに最も近い画素が選択される。この（最も近い画素の位置に丸める）方式は、特にオブジェクトの境界に沿って、僅かにアンダーサンプルされた任意の表面においてピンホールを生じさせる可能性がある。このピンホールの問題に対処する最も一般的な方法は、基準とするビューにおけるある画素を目標とするビューにおける幾つかの画素にマッピングすることである。このプロセスは、スプラッティング（splatting）と呼ばれる。

基準とする画素が目標とするビューにおける多数の周囲の目標とする画素にマッピングされる場合、大部分のピンホールを除去することができる。しかし、幾つかの画像の詳細が失われる。ピンホールの除去と詳細の損失との間の同じトレードオフは、トランスペアレントなスプラット型の再構成カーネルを使用するときに生じる。問題は、「スプラッティングの程度をどのように制御するか」である。たとえば、それぞれのワープされた画素について、全ての周囲の目標とする画素にマッピングするか、そのワープされた画素に最も近い画素にマップするか、である。この問題は、概して、文献において対処されていない。

多数の基準とするビューが使用されるとき、一般的な方法は、それぞれの基準とするビューからの合成を個別に処理し、次いで、多数の合成されたビューを互いに合成する。問題は、それらをどのようにマージすべきかであり、たとえば、ある種の重み付け方式が使用される場合がある。たとえば、角距離、画像の解像度等に基づいて異なる基準とするビューに異なる重みが適用される場合がある。なお、これらの問題は、雑音が多い奥行き情報に対してロバストであるやり方で対処されるべきである。

DIBRを使用して、この文脈では基準とするビューとも呼ばれる、捕捉されたビューから仮想的なビューが生成される。仮想的なビューの生成は、特に入力の奥行き情報が雑音が多く且つシーンの3D表面特性のような他のシーン情報が既知ではないときに骨が折れる作業である。

最も困難な問題の１つは、基準とするビューにおけるサンプルの画素がワープされた後に、合成されたビューにおけるそれぞれの画素の値をどのように推定すべきかである。たとえば、それぞれの目標とする合成された画素について、どのような基準とする画素が利用されるべきか、及びそれらをどのように結合すべきか。

少なくとも１つの実現では、3DV応用のために境界スプラッティングによるビュー合成のフレームワークを提案する。本発明者は、仮想的なビューの生成を含む（たとえばDIBRを使用した）3DV応用において、係る生成は、特に入力の奥行き情報が雑音が多く且つシーンの3D表面特性のような他のシーン情報が既知ではないときに骨が折れる作業であると述べた。

本発明者は、さらに、基準とする画素が目標とするビューにおける多数の周辺の目標とする画素にマッピングされる場合、大部分のピンホールが除去される一方で、残念なことに幾つかの画像の詳細が失われることを述べた。ピンホールの除去と詳細の損失との間の同じトレードオフは、トランスペアレントなスプラット型の再構成カーネルを使用したときに生じる。問題は、「スプラッティングの程度をどのように制御するか」である。たとえば、それぞれのワープされた画素について、全てのその周囲の目標とする画素にマッピングするか、又はワープされた画素に最も近い画素にマッピングするか、である。

少なくとも１つの実現では、（１）境界レイヤ周辺の画素にのみスプラッティングを適用すること、すなわち、それらの最も近い周囲の画素にのみ、奥行き不連続さを有さない領域における画素をマッピングすること、及び（２）複数の基準とするビューから合成された画像をマージするとき、Zバッファによるホール分布又は後方合成エラーを使用したヒューリスティックなマージングスキームを適用することを提案する。

さらに、本発明者は、基準とするビューから仮想的なビューを合成するため、３つのステップが一般的に必要とされることを述べた。すなわち、（１）フォワードワープ（forward warping）、（２）ブレンディング（blending: 単一視点の合成及び多視点のマージング）及び（３）ホールフィリング（hole-filling）である。少なくとも１つの実現は、雑音の多い奥行き情報により生じる問題に対処するため、ブレンディングを改善する幾つかのアルゴリズムに寄与する。本発明のシミュレーションは、3DVにおける幾つかの既存のスキームに比較して優れた品質を示している。

基準とするビューから仮想的なビューを合成することに関して、上述された３つのステップのワープステップに関して、基本的に、どのようにワープ結果が処理されるか、すなわちマージング及びブレンディングに関して、２つのオプションを考慮することができる。

マージングに関して、それぞれのビューを完全にワープさせて、それぞれの基準について最終的にワープされたビューを形成することができる。次いで、これらの最終的にワープされたビューを「マージ」して、１つの実際に最終の合成されたビューを得ることができる。「マージング（merging）」とは、たとえば（N個の最終的にワープされたビューを想定して）N個の候補の間で選択すること、又はそれらを幾つかのやり方で結合することを含む。勿論、目標とする画素値を決定するために使用される候補の数は、ワープされるビューの数と同じである必要はない。すなわち、多数の候補（又は全くなし）は、単一のビューから到来する場合がある。

ブレンディングに関して、それぞれのビューを更にワープさせるが、それぞれの基準について最終的にワープされたビューを形成しない。最終的にワープされたビューに進まないことで、ブレンディングするときに更なるオプションを維持する。これは、幾つかの場合、異なるビューは合成された目標とするビューの異なる部分について最良の情報を提供する場合があるので都合がよい。従って、ブレンディングは、それぞれの画素での異なるビューからの情報の正しい結合を選択する柔軟性を提供する。従って、マージングは、２ステップのブレンディングの特別のケースとして考慮され、それぞれのビューからの候補は、はじめに個別に処理され、次いで結果が結合される。

図１Ａを再び参照して、図１Ａは、典型的なブレンディング動作への入力を示すように解釈することができる。これは、図１Ａが異なる基準とするビュー（円及び四角形のそれぞれ）からワープされた画素を含むためである。対照的に、典型的なマージングアプリケーションについて、円又は四角のいずれかのみを見ることを期待する。これは、それぞれの基準とするビューが典型的に個別にワープされ、次いで、それぞれの基準について最終的にワープされたビューを形成するために処理されるためである。次いで、多数の基準について最終的にワープされたビューは、典型的なマージングアプリケーションにおいて結合される。

ブレンディングに戻り、ブレンディングに関連する１つの可能なオプション／検討事項として、全てのホールを充填するのを望まないため、スプラッティングを実行しない場合がある。これらのオプション及び他のオプションは、本発明の精神を維持しつつ、当業者により容易に決定される。

従って、本発明の１以上の実施の形態は、マージングに向けられる一方で、本発明の他の実施の形態は、ブレンディングに向けられる場合があることを理解されたい。勿論、更なる実施の形態は、マージング及びブレンディングの組み合わせを含む場合がある。本出願で説明される特徴及び概念は、ブレンディング又はマージングのうちの１つのみの文脈でのみ議論されるとしても、ブレンディング及びマージングの両者に適用される場合がある。本実施の形態で提供される本発明の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、マージング及び／又はブレンディングに関する様々な応用を容易に予期するであろう。

本発明は、一般に、通信システム、より詳細には、たとえば地上波放送、セルラー方式、Wi-Fi（Wireless-Fidelty）、衛星等のような無線システムに関することを理解されたい。さらに、本発明は、たとえばエンコーダ、デコーダ、プリプロセッサ、ポストプロセッサ、及び（これらの１以上を含む）受信機で実現される場合があることを理解されたい。たとえば、符号化目的で使用するために仮想イメージを生成することが望まれる応用では、本発明は、エンコーダで実現される場合がある。エンコーダに関する更なる例として、係るエンコーダは、その仮想的なビューの位置からの実際の画像を符号化するか、又は仮想的なビューの位置に近い仮想的な位置からの画像を符号化するため、仮想的なビューを合成するために使用される。２つの参照画像を含む実現では、両者は、仮想的なビューに対応する仮想イメージと共に符号化される。勿論、本明細書で提供される本発明の原理の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、先に記載の応用に対する変形例と同様に、これらの応用及び他の応用を考えるであろう。

更に、１以上の実施の形態はH.264/MPEG-4 AVC(AVC)標準に関して本実施の形態で記載されるが、本発明はこれに限定されるものではなく、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、多視点映像符号化（MVC）、他の映像符号化標準、仕様、及び／又は勧告と同様に、現在及び将来的な3DV標準に容易に適用される場合があることを理解されたい。

「スプラッティング」は、基準とするビューからの１つのワープされた画素を目標とするビューにおける幾つかの画素にマッピングするプロセスを示す。

「奥行き情報」は、奥行きに関する様々な種類の情報を示す一般的な用語である。あるタイプの奥行き情報は、「奥行きマップ」であり、この奥行きマップは、１画素当たりの奥行き画像を一般的に示す。他のタイプの奥行き情報は、たとえば、それぞれの符号化画素ではなく、それぞれの符号化ブロックについて単一の深度値を使用することを含む。

図２Ａは、本発明の実施の形態に係る、本発明が適用される例示的なビューシンセサイザ２００を示す。ビューシンセサイザ２００は、フォワードワーパ（forward warper）２１０−１〜２１０−Ｋ、ビューマージャ（view merger）２２０及びホールフィラー（hole-filler）２３０を含む。フォワードワーパ２１０−１〜２１０−Ｋのそれぞれの出力は、画像シンセサイザ２１５−１〜２１５−Ｋのそれぞれの入力と接続される。イメージシンセサイザ２１５−１〜２１５−Ｋのそれぞれの出力は、ビューマージャ２２０の第一の入力と接続される。ビューマージャ２２０の出力は、ホールフィラー２３０の第一の入力と接続される。フォワードワーパ２１０−１〜２１０−Ｋの第一のそれぞれの入力は、基準とするビュー１〜Ｋを受信するビューシンセサイザ２００の入力として利用可能である。フォワードワーパ２１０−１〜２１０−Ｋの第二のそれぞれの入力及びイメージシンセサイザ２１５−１〜２１５−Ｋの第二のそれぞれの入力は、ビュー１及び目標とするビューの奥行きマップ並びにこれらに対応するカメラパラメータから、ビューＫ及び目標とするビューの奥行きマップ並びにこれらに対応するカメラパラメータまでをそれぞれ受信するため、ビューシンセサイザ２００の入力として利用可能である。ビューマージャ２２０の第二の入力は、全てのビューの奥行きマップ及びカメラパラメータを受信するため、ビューシンセサイザの入力として利用可能である。ホールフィラー２３０の第二の（任意の）入力は、全てのビューの奥行きマップ及びカメラパラメータを受信するため、ビューシンセサイザ２００の入力として利用可能である。ホールフィラー２３０の出力は、目標とするビューを出力するため、ビューシンセサイザ２００の出力として利用可能である。

図２Ｂは、本発明の実施の形態に係る、本発明が適用される、例示的なイメージシンセサイザ２５０を示す。イメージシンセサイザ２５０は、ターゲットピクセルエバルエータ（target pixel evaluator）２６０の入力に接続される出力を有するスプラッタ（splatter）２５５を含む。ターゲットピクセルエバルエータ２６０の出力は、ホールマーカ（hole marker）２６５の入力と接続される。スプラッタ２５５の入力は、基準とするビューからのワープされた画素を受信するため、イメージシンセサイザ２５０の入力として利用可能である。ホールマーカ２６５は任意であり、ホールマーキングが必要とされないが、目標とする画素の評価が十分である実現において省略される場合があることを理解されたい。

スプラッタ２５５は、様々なやり方で実現される場合がある。たとえば、スプラッティングの機能を実行するソフトウェアアルゴリズムは、たとえば汎用コンピュータ又はビデオエンコーダのような専用コンピュータで実現される場合がある。スプラッティングの一般的な機能は、当業者に知られている。係る実現は、たとえばワープされた基準における画素が１以上の奥行きの境界から指定された距離にあるかに基づいてスプラッティング機能を実行するため、この応用において記載されるように変更される場合がある。スプラッティング機能は、この応用において記載される実現により変更されるとき、（特定用途向け集積回路（ASIC）のような）専用集積回路又は他のハードウェアで代替的に実現される場合がある。また、実現は、ソフトウェア、ハードウェア及びファームウェアの組み合わせを使用する場合がある。

たとえばフォワードワーパ２１０、ホールマーカ２６５及びターゲットピクセルエバルエータ２６０のような図２Ａ及び図２Ｂの他のエレメントは、スプラッタ２５５のように実現される場合がある。たとえば、フォワードワーパ２１０の実現は、汎用コンピュータ又は特定用途向け装置又は特定用途向け集積回路で公知のワーピング機能を実行するため、ソフトウェア、ハードウェア及び／又はファームウェアを使用する場合がある。さらに、ホールマーカ２６５の実現は、ホールをマークする様々な実施の形態で記載される機能を実行するため、たとえばソフトウェア、ハードウェア、及び／又はファームウェアを使用する場合があり、これらの機能は、たとえば汎用コンピュータ又は特定用途向け装置又は特定用途向け集積回路で実行される場合がある。さらに、ターゲットピクセルエバルエータ２６０の実現は、目標とする画素を評価する様々な実施の形態で記載される機能を実行するため、たとえばソフトウェア、ハードウェア及び／又はファームウェアを使用する場合がある、これらの機能は、たとえば汎用コンピュータ又は特定用途向け装置又は特定用途向け集積回路で実行される場合がある。

さらに、ビューマージャ２２０は、ホールマーカ２６５又はホールマーカ２６５の変形のようなホールマーカを含む。係る実現では、ビューマージャ２２０は、たとえば実施の形態２及び３並びに図８及び９の説明において記載される、ホールを記録することができる。

さらに、ビューマージャ２２０は、様々なやり方で実現される場合がある。たとえば、ビューマージングの機能を実行するソフトウェアアルゴリズムは、汎用コンピュータ、又はたとえばビデオエンコーダのような専用マシンで実現される場合がある。ビューマージングの一般的な機能は、当業者に知られている。しかし、係る実現は、たとえば本出願の１以上の実現について説明されるビューマージング技術を実現するため、本出願において記載されるように変更される場合がある。本出願で記載される実現により変更されるように、ビューマージング機能は、（特定用途向け集積回路（ASIC）のような）専用集積回路又は他のハードウェアで代替的に実現される場合がある。実現は、ソフトウェア、ハードウェア及びファームウェアの組み合わせを使用する場合がある。

ビューマージャ２２０の幾つかの実現は、第一の候補となる画素及び第二の候補となる画素の品質を評価する後方合成プロセス（backward synthesis process）、第一及び第二の候補となる画素の周囲のホール分布、及び指定された周波数を超える第一及び第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて、第一のワープされた基準とするビューからの第一の候補となる画素と第二のワープされた基準とするビューからの第二の候補となる画素とを評価する機能を含む。ビューマージャ２２０の幾つかの実現は、上記評価に基づいて、１つの合成されたビューにおける所与の目標とする画素について結果を判定する機能を更に含む。たとえば、図１０の説明及び本出願の他の部分において、これらの機能の両者が記載される。係る実現は、たとえばこれらの機能のそれぞれを実行するための命令からなる単一のセット又は命令からなる（オーバラップを含む）異なるセットを含む場合があり、係る命令は、たとえば汎用コンピュータ、（たとえばビデオエンコーダのような）専用マシン、或いは特定用途向け集積回路で実現される場合がある。さらに、係る機能は、ソフトウェア、ハードウェア又はファームウェアの様々な組み合わせを使用して実現される。

図３は、本発明の実現に係る、本発明が適用される例示的なビデオ送信システム３００を示す。ビデオ送信システム３００は、たとえば衛星、ケーブル、電話回線又は地上波放送のような様々な媒体の何れかを使用した信号を送信するヘッドエンド又は送信システムである場合がある。この送信は、インターネット又は幾つかの他のネットワークを通して提供される場合がある。

ビデオ送信システム３００は、奥行きによる視点間のスキップモードを使用して符号化されたビデオコンテンツを生成及び転送可能である。これは、奥行き情報を含む符号化信号であるか、又はたとえばデコーダを有する受信機のエンドで奥行き情報を合成するために使用可能な情報を生成することで達成される。

ビデオ送信システム３００は、符号化された信号を送信可能であるエンコーダ３１０及び送信機３２０を含む。エンコーダ３１０は、ビデオ情報を受信し、奥行きによる視点間のスキップモードを使用して、符号化された信号を生成する。エンコーダ３１０は、たとえば、AVCエンコーダである場合がある。エンコーダ３１０は、様々な情報の部分を受信して、記憶又は送信用の構造化されたフォーマットにアセンブルすることを含むサブモジュールを含む場合がある。様々な情報の部分は、たとえば、符号化又は非符号化されたビデオ、符号化又は非符号化された奥行き情報、及びたとえば動きベクトル、符号化モードインジケータ及びシンタックスエレメントのような符号化又は非符号化エレメントを含む場合がある。

送信機３２０は、たとえば符号化画像及び／又は該符号化画像に関連する情報を表す１以上のビットストリームを有するプログラム信号を送信する場合がある。典型的な送信機は、たとえば誤り訂正符号化を提供すること、信号におけるデータをインタリーブすること、信号におけるエネルギーをランダム化すること、及び信号を１以上のキャリアに変調することのうちの１つ以上のような機能を実行する。送信機は、アンテナ（図示せず）を含んでおり、アンテナと連動する。従って、送信機３２０の実現は、変調器を含んでいる。

図４は、本発明の実施の形態に係る、本発明が適用される例示的なビデオ受信システム４００を示す。ビデオ受信システム４００は、たとえば衛星、ケーブル、電話回線又は地上波放送のような様々な媒体を通して信号を受信する。信号は、インターネット又は幾つかの他のネットワークを通して受信される場合がある。

ビデオ受信システム４００は、たとえば携帯電話、コンピュータ、セットトップボックス、テレビジョン、又はたとえば符号化されたビデオを受信し、ユーザに表示のため又は記憶のために復号化されたビデオを提供する他の装置である場合がある。従って、ビデオ受信システム４００は、その出力を、たとえばテレビジョンのスクリーン、コンピュータのモニタ、（記憶、処理又は表示向け）コンピュータ、又は他の記憶、処理又は表示装置に提供する。

ビデオ受信システム４００は、ビデオ情報を含むビデオコンテンツを受信及び処理可能である。ビデオ受信システム４００は、本出願の実現において記載される信号のような符号化された信号を受信可能な受信機４１０、及び受信された信号を復号化可能なデコーダ４２０を含む。

受信機４１０は、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信する。典型的な受信機は、たとえば変調及び符号化されたデータ信号を受信すること、１以上の搬送波からデータ信号を復調すること、信号におけるエネルギーを逆ランダム化すること、信号におけるデータをデインタリーブすること、信号を誤り訂正復号化すること、のうちの１以上のような機能を実行する。受信機４１０は、たとえばアンテナ（図示せず）を含んでいる。受信機４１０の実現は、復調器を含んでいる場合がある。

デコーダ４２０は、ビデオ情報及び奥行き情報を含むビデオ信号を出力する。デコーダ４２０は、たとえばAVCデコーダである場合がある。

図５は、本発明の実施の形態に係る、本発明が適用される例示的なビデオ処理装置５００を示す。ビデオ処理装置５００は、たとえばセットトップボックス、又は符号化されたビデオを受信し、ユーザへの表示のために又は記憶のために復号化されたビデオを提供する他の装置である場合がある。従って、ビデオ処理装置５００は、その出力を、テレビジョン、コンピュータモニタ、コンピュータ或いは他の処理装置に提供する場合がある。

ビデオ処理装置５００は、フロントエンド（FE）装置５０５及びデコーダ５１０を含む。フロントエンド装置５０５は、たとえば符号化された画像を表す複数のビットストリームを有するプログラム信号を受信し、複数のビットストリームから復号化のために１以上のビットストリームを選択する。典型的な受信機は、たとえば変調及び符号化されたデータ信号を受信すること、データ信号を復調すること、データ信号の１以上の符号化（たとえばチャネル符号化及び／又はソース符号化）を復号化すること、及び／又はデータ信号を誤り訂正すること、のうちの１以上のような機能を実行する。フロントエンド装置５０５は、たとえばアンテナ（図示せず）からプログラム信号を受信する。フロントエンド装置５０５は、受信されたデータ信号をデコーダ５１０に供給する。

デコーダ５１０は、データ信号５２０を受信する。データ信号５２０は、たとえば１以上のAVC（Advanced Video Coding）、SVC（Scalable Video Coding）又はMVC（Multi-view Video Coding）に互換性のあるストリームを含む場合がある。

AVCは、既存のISO/IEC（International Organization for Standardization/International Electrotechnical Commission）MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）標準／ITU-T（International Telecomminication Union Telecommunication Sector）H.264勧告（以下、「H.264/MPEG-4 AVC標準」、或いはその変形である「AVC標準」又は単に「AVC」と呼ぶ）においてより詳細に説明されている。

MVCは、H.264/MPEG-4 AVC MVC拡張（「MVC拡張」又は単に「MVC」）と呼ばれるAVC標準の多視点映像符号化（MVC）拡張（Annex H）においてより詳細に説明されている。

SVCは、H.264/MPEG-4 AVC SVC拡張（「SVC拡張」又は単に「SVC」）と呼ばれるAVC標準のスケーラブルビデオ符号化（SVC）拡張（Annex G）においてより詳細に説明されている。

デコーダ５１０は、受信された信号５２０の全部又は一部を復号化し、復号化されたビデオ信号５３０を出力として供給する。復号化されたビデオ５３０は、セレクタ５５０に供給される。装置５００は、ユーザ入力５７０を受信するユーザインタフェース５６０を含む。ユーザインタフェース５６０は、ユーザ入力５７０に基づいて、画像選択信号５８０をセレクタ５５０に供給する。画像選択信号５８０及びユーザ入力５７０は、複数の画像のうちのどの画像を、複数の系列のうちのどの系列を、複数のスケーラブルバージョンのうちのどのバージョンで、複数のビューのうちのどのビューに、複数の利用可能な復号化されたデータの他の選択のうちのどの選択で、ユーザが表示させるのを望むかを示す。セレクタ５５０は、選択された画像を出力５９０として提供する。セレクタ５５０は、画像選択情報５８０を使用して、復号化されたビデオ５３０におけるどの画像を選択して出力５９０として供給するかを選択する。

様々な実現では、セレクタ５５０は、ユーザインタフェース５６０を含んでおり、他の実現では、個別のインタフェース機能が実行される必要なしにセレクタ５５０はユーザ入力５７０を受信するので、ユーザインタフェース５６０は必要とされない。セレクタ５５０は、たとえば、ソフトウェアで実現されるか、又は集積回路として実現される場合がある。１実現では、セレクタ５５０は、デコーダ５１０と組み合わされ、別の実現では、デコーダ５１０、セレクタ５５０及びユーザインタフェース５６０が全て統合される。

１つの応用では、フロントエンド５０５は、様々なテレビ番組の放送を受信し、そのうちの１つを処理のために選択する。ある番組の選択は、視聴すべき所望のチャネルのユーザ入力に基づく。フロントエンド装置５０５へのユーザ入力は図５に示されていないが、フロントエンド装置５０５は、ユーザ入力５７０を受信する。フロントエンド装置５０５は、ブロードキャストを受信し、ブロードキャストされたスペクトルの関連する部分を復調して、復調された番組の外側の符号化を復号化することで、所望の番組を処理する。フロントエンド装置５０５は、復号化された番組をデコーダ５１０に供給する。デコーダ５１０は、装置５６０及び５５０を含む集積ユニットである。従って、デコーダ５１０は、番組において視聴すべき所望のビューのユーザが供給した情報であるユーザ入力を受信する。デコーダ５１０は、他のビューからの任意の必要とされる参照画像と同様に、選択されたビューを復号化し、テレビジョン（図示せず）に表示のために復号化されたビュー５９０を提供する。

引き続き、ユーザは、表示されるビューを切り替えるのを望み、次いで、新たな入力をデコーダ５１０に供給する場合がある。ユーザから「ビューの切り替え」を受けた後、デコーダ５１０は、古いビューと新たなビューとの間にあるビューと同様に、古いビューと新たなビューの両者を復号化する。すなわち、デコーダ５１０は、古いビューを撮影するカメラと新たなビューを撮影するカメラとの間に物理的に位置されるカメラで撮影されたビューを復号化する。また、フロントエンド装置５０５は、古いビュー、新たなビュー、及びその間にあるビューを識別する情報を受ける。係る情報は、たとえばビューの位置に関する情報を有するコントローラ（図５に図示せず）、又はデコーダ５１０により供給される場合がある。他の実現は、フロントエンド装置と統合されるコントローラを有するフロントエンド装置を使用する場合がある。

デコーダ５１０は、出力５９０としてこれらの復号化されたビューの全てを供給する。ポストプロセッサ（図５に図示せず）は、古いビューから新たなビューへの滑らかな遷移を提供するためにビュー間を補間して、この遷移をユーザに表示する。新たなビューへの遷移の後、ポストプロセッサは、（図示しない１以上の通信リンクを通して）デコーダ５１０及びフロントエンド装置５０５に、新たなビューのみが望まれることを通知する。その後、デコーダ５１０は、新たなビューを出力５９０として供給する。

システム５００は、画像の系列からなる複数のビューを受信し、表示用に１つのビューを表示し、滑らかなやり方で様々なビュー間で切り替えを行うために使用される。滑らかなやり方は、別のビューに移るために、ビュー間を補間することを含む場合がある。さらに、システム５００は、オブジェクト又はシーンをユーザが回転するのを可能にするか、さもなければオブジェクト又はシーンの３次元表示をユーザが見るのを可能にする。たとえばオブジェクトの回転は、あるビューから別のビューに移り、ビュー間の滑らかな遷移を得るか又は単に３次元表示を得るためにビュー間を補間することに対応する。すなわち、ユーザは、表示すべき「ビュー」として補間されたビューを「選択する」場合がある。

図２Ａ及び図２Ｂのエレメントは、図３〜５における様々な位置で組み込まれる。たとえば、図２Ａ及び図２Ｂの１以上のエレメントは、エンコーダ３１０及びデコーダ４２０に位置される。更なる例として、ビデオ処理装置５００の実現は、図２Ａ及び図２Ｂの１以上のエレメントをデコーダ５１０に含むか、図５の説明で言及されたポストプロセッサに含む場合があり、このポストプロセッサは、受信されたビュー間を補間する。

本発明及び本発明が適用される場合がある環境の説明に戻り、有利なことに、本発明は3Dビデオ（3DV）に適用されることを理解されたい。3Dビデオは、多視点映像及び奥行き情報の符号化された表現を含み、受信機での高品質の3Dレンダリングの生成を狙いとする新たなフレームワークである。これにより、オートマルチスコピックディスプレイによる3Dの視覚的体験を可能にする。

図６は、本発明の実施の形態に係る、本発明が適用される、奥行き情報をもつ多視点映像を送信及び受信する例示的なシステム６００を示す。図６では、ビデオデータは、実線で示されており、奥行きデータは、破線により示されており、メタデータは、点線により示されている。システム６００は、たとえば限定されるものではないが、自由視点のテレビジョンシステムである場合がある。送信機側６１０で、システム６００は、それぞれの複数のソースからの１以上のビデオ、奥行き及びメタデータを受信する複数の入力を有する３次元（3D）コンテンツプロデューサ６２０を含む。係るソースは、限定されるものではないが、ステレオカメラ６１１、奥行きカメラ６１２、マルチカメラセットアップ６１３及び２次元／３次元（2D/3D）変換プロセス６１４を含む。１以上のネットワーク６３０は、多視点映像符号化（MVC）及びデジタルビデオ放送（DVB）に関連する１以上のビデオ、奥行き、及びメタデータを送信するために使用される場合がある。

受信機側６４０で、奥行き画像に基づくレンダリング手段（depth image-based renderer）６５０は、奥行き画像に基づくレンダリングを実行して、信号を様々なタイプのディスプレイに投影する。本出願のシナリオは、狭角（＜20°）での取得のような特定の制約を課す場合がある。奥行き画像に基づくレンダリング手段６５０は、ディスプレイのコンフィギュレーション情報及びユーザプリファレンスを受信可能である。奥行き画像に基づくレンダリング手段６５０の出力は、１以上の2Dディスプレイ６６１、M視点3Dディスプレイ６６２及び／又はヘッドトラックステレオディスプレイ６６３に供給される場合がある。

［フォワードワーピング］
ビュー合成の実行における最初のステップは、フォワードワーピングであり、これは、基準とするビューにおけるそれぞれの画素について、その対応する位置を目標とするビューにおいて発見することを含む。この3Dのイメージワープは、コンピュータグラフィックスにおいて知られている。入力ビューが補正されているかに依存して、異なる式を使用することができる。

（ａ）補正されていないビュー（non-rectified view）
その同次座標Ｐ＝［ｘ,ｙ,ｚ,ｌ］^Tにより3Dポイントを定義する場合、且つその基準とする画像平面における透視投影（すなわち2D画像位置）がｐ_r＝［ｕ_r,ν_r,ｌ］^Tである場合、以下の式を有する。

ここでｗ_rは奥行き要素であり、PPM_rは、カメラパラメータから知られる3×4の透視投影マトリクスである。それに応じて、以下のような合成された（目標とする）ビューの式を得る。

PPM_rの12個の要素をｑ_ijとして示す。ここでi＝1,2,3及びj＝1,2,3,4である。画像ポイントｐ_r及びその奥行きｚから、3DポイントPの他の２つの成分は、以下のように線形方程式により推定することができる。

なお、基準とするビューにおけるそれぞれの画素の入力の奥行きレベルは、3DVにおいて８ビットに量子化される（すなわち256レベル、この場合、大きな値は、カメラに近いことを示す）。ワーピングの間に使用される奥行き要素ｚは、以下の式により入力の奥行きレベルYに直接にリンクされる。

ここでZ_near及びZ_farは、そのシーンにおける最も近い画素及び最も遠い画素の奥行き要素にそれぞれ対応する。奥行き情報を量子化するために8ビットを超える（又は8ビット未満の）ビット数が使用されるとき、式（４）における値255は、Bをビット深度として２^B−１で置き換えられる。

Pの3D位置が既知であり、且つこの3D位置を合成された画像平面に式（２）により投影し直すとき、目標とするビューｐ_Sにおけるその位置（すなわちワープされた画素の位置）を得る。

（ｂ）補正されているビュー（rectified view）
補正されているビューについて、（典型的に水平線に沿った）1Dの視差は、ある画素があるビューから別のビューにどのように移動されるかを示す。以下のカメラパラメータが与えられるとする。
（i）f：カメラレンズの焦点距離
（ii）l：カメラ距離としても知られるベースライン間隔
（iii）du：主点のオフセットにおける差。

入力ビューが良好に補正されていると考えると、基準とするビューにおける画素ｐ_r＝［ｕ_r,ν_r,ｌ］^Tから、目標とするビューにおけるワープされた位置ｐ_S＝［ｕ_S,ν_S,ｌ］^Tを計算するために以下の式を使用することができる。

［基準とするビュー及び合成されたビューでのサブピクセルの精度］
合成されたビューでの画質を改善するため、基準とするビューをアップサンプルすることができ、すなわち新たなサブピクセルは半画素の位置に挿入され、４分の１画素の位置又は更に精度の細かい解像度となる。これに応じて奥行き画像をアップサンプルすることができる。基準とするビューにおけるサブピクセルは、整数の基準とする画素と同じやり方でワープされる（すなわち画素はフルピクセルの位置にワープされる）。同様に、合成されたビューにおいて、新たな目標とする画素は、サブピクセルの位置に挿入することができる。

２分の１画素及び２分の１画素の位置に関して１以上の実現が記載されるが、本発明は、本発明の精神を維持しつつ、任意のサイズのサブピクセルに容易に適用可能であることを理解されたい。

［提案される方法：ビューブレンディング］
ビューワーピングの結果は、図１Ａ及び図１Ｂに例示される。ここで、目標とするビューにおける画素の値をその周囲のワープされた基準とする画素からどのように推定するかに関する問題に対処する。図７は、本発明の実施の形態に係る、ビュー合成及びマージングプロセス７００を示す。プロセス７００は、ワーピング後に実行され、単一のビューの合成及び新たなビューのマージングスキームのための境界レイヤのスプラッティングを含む。ステップ７０２で、基準とするビュー１は、プロセス７００に入力される。ステップ７０４で、基準とするビュー２は、プロセス７００に入力される。ステップ７０５で、（アップサンプリングにより挿入されたサブピクセルを含む）それぞれの基準とする画素がワープされる。ステップ７１０で、奥行き画像に基づいて境界が検出される。ステップ７１５で、ワープされた画素が境界に近いか否かが判定される。ワープされた画素が境界に近い場合、制御はステップ７２０に進む。さもなければ、制御はステップ７３５に進む。

ステップ７２０で、ワープされた画素は、その左及び右に関して最も近い目標とする画素にマッピングされる。

ステップ７２５で、多数の画素が同じ目標とする画素にマッピングされる場合に、Zバッファリングが実行される。

ステップ７３０で、基準とするビュー１から合成された画像は、前の処理から入力／取得される。ステップ７４０で、基準とするビュー１に関して実行された処理と同様に、基準とするビュー２に関して処理が実行される。ステップ７４５で、基準とするビュー２から合成された画像は、前の処理から入力／取得される。

ステップ７５０で、基準とするビュー１から合成された画像と基準とするビュー２から合成された画像とをマージするためにビューマージングが実行される。

［実施の形態１：境界レイヤのスプラッティング］
先に説明されたように、ピンホールを低減するため、ワープされた画素は、複数の隣接した目標とする画素にマッピングされる。補正されたビューの場合、典型的に、その左及び右にある目標とする画素にマッピングされる。簡単にするために、補正されたビューの場合（図１Ｂ）について提案される方法を説明する。たとえば、図１Ｂでは、ワープされた画素Ｗ１は、目標とする画素Ｓ１及びＳ２にマッピングされる。しかし、この方法は、特にサブピクセルの精度が使用されるとき、画質に影響を及ぼすことが分かる（すなわち、スプラッティングのために高周波の詳細が失われる）。ピンホールが前景と後景との間の境界、すなわち大きな奥行きの不連続さをもつ境界の周辺で大部分が生じることを考慮して、境界に近い画素についてのみスプラッティングを適用することが提案される。図１Ｂの場合、（たとえば境界から50画素の距離よりも離れているといった）画素Ｗ１が境界に近くない場合、この画素は、その最も近い目標とする画素Ｓ１にマッピングされる。勿論、先の50画素の距離は単なる例示であって、当業者により容易に考えられるように、本発明の精神を維持しつつ、他の画素の距離が使用される場合がある。

本実施の形態における「境界」とは、大きな奥行きの不連続さをもつ画像の一部分のみを示し、基準とするビューの奥行き画像から容易に検出される。境界として見なされる画素について、フォワードワーピングにおいてスプラッティングが実行される。他方で、境界から離れている画素についてスプラッティングは機能せず、これにより、特に、合成された画像でサブピクセルの精度が使用されるとき、多くの奥行きが変動することなしに、オブジェクト内の高周波の詳細を保存することができる。別の実施の形態では、基準とするビューの奥行き画像は、仮想的な位置に前方向にワープされ、次いで合成された奥行き画像における境界レイヤの抽出が続く。ひとたび、ある画素が境界領域にワープされると、スプラッティングが実行される。

多数のワープされた画素が合成されたビューにおける同じ目標とする画素にマッピングされたとき、奥行きレベルを比較することにより、（カメラに近い画素を採取する）Zバッファリング方法が適用される。勿論、本発明の精神を維持しつつ、それらを平均する他の重み付け方法を使用することもできる。

［実施の形態２：Zバッファリング、ホール分布及びカメラ位置に基づいたマージング］
１を超える基準とするビューが利用可能であるとき、２つのビューの場合に図７で例示されるように、合成された画像がそれぞれのビューから個別に生成されるとき、マージングプロセスが一般に必要とされる。問題は、それらのビューをどのように結合するか、すなわちｐ１（基準とするビューから合成された画像で配列される画素）及びｐ２（基準とするビュー２から合成された画像で配置される画素）から、マージされる画像における目標とする画素ｐの値をどのように取得するか、である。

合成された画像における幾つかの画素には、ある値がブレンディングステップの間に割り当てられない。これらの位置は、ホールと呼ばれ、ディスオクルージョン（視点における違いによる合成されたビューにおいてカバーされない基準とするビューにおける前の目に見えないシーンポイント）により引き起こされるか、又は入力の奥行きのエラーにより生じることがある。

ｐ１又はｐ２の何れかがホールであるとき、非ホールの画素の画素値は、最終的にマージされた画像においてｐに割り当てられる。ｐ１及びｐ２の何れもホールでないときにコンフリクトが生じる。ｐ１及びｐ２の両者がホールである場合、ホールフィリング方法が使用され、様々な係る方法は、当該技術分野において知られている。最も簡単な方法は、Zバッファリングを適用すること、すなわちそれらの奥行きレベルを比較することでカメラに近い画素を選択することである。しかし、入力の奥行き画像は雑音が多く、且つｐ１及びｐ２はその奥行き画像が一致しない場合がある２つの異なる基準とするビューからの画素であるので、Zバッファリングを単に適用することは、最終的にマージされた画像に多くのアーチファクトを生じる場合がある。この場合には、以下のようにｐ１及びｐ２を平均することは、アーチファクトを低減する場合がある。

ｗ１及びｗ２はビューの重み付け要素である。１実現では、これらはシンプルに１に設定することができる。補正されたビューについて、これらを、たとえばｗ_i＝１／ｌ_iといった、ベースライン間隔ｌ_i（ビューｉと合成されたビューとの間のカメラ距離）に基づいて設定することを勧める。さらに、１又は複数のパラメータを結合して、他の既存の重み付け方法を適用することができる。

図８は、本発明の実施の形態に係る、奥行き、カメラパラメータを利用したマージングプロセスを示す。ステップ８０５で、ｐ１，ｐ２（ｐをもつ同じ画像の位置）は、プロセス８００に入力される。ステップ８１０で、｜depth(p1) − depth(p2)｜> depthThresholdであるか否かが判定される。｜depth(p1) − depth(p2)｜> depthThresholdであると判定された場合、制御はステップ８１５に進み、｜depth(p1) − depth(p2)｜> depthThresholdであると判定されない場合、制御はステップ８３０に進む。

ステップ８１５で、カメラに近い（ｐ１又はｐ２の何れかの）画素（すなわち、Zバッファリング）がｐについて選択される。

ステップ８３０で、それぞれの合成された画像において、どの位多くのホールがｐ１及びｐ２の周囲にあるかに関するカウントが実行される。

ステップ８２０で、｜holeCount1 − holeCount2｜> holeThresholdであるか否かが判定される。｜holeCount1 − holeCount2｜> holeThresholdであると判定された場合、制御はステップ８２５に進む。｜holeCount1 − holeCount2｜> holeThresholdであると判定されない場合、制御はステップ８３５に進む。

ステップ８２５で、その周囲にホールを持たない（ｐ１又はｐ２の何れかの）画素がｐについて選択される。
ステップ８３５で、ｐ１及びｐ２は、式（６）を使用して平均される。

プロセス８００に関して、基本的な考えは、奥行きがかなり異なるか否かに関わらず、Zバッファリングを適用することである（たとえば、｜depth(p1) − depth(p2)｜> depthThreshold）。先の使用される奥行き量は、単なる例示的なものであって、従って、本発明の精神を維持しつつ、他の量が使用される場合があることを理解されたい。奥行きレベルが類似しているとき、ｐ１及びｐ２の周囲のホール分布をチェックする。１例では、ｐ１及びｐ２を取り囲んでいるホール画素の数がカウントされ、すなわちholeCount1及びholeCount2が発見される。これらがかなり異なる場合（たとえば｜holeCount1 − holeCount2｜> holeThreshold）、その周囲でホールを持たない画素が選択される。先の使用されるホールカウント量は例示的なものであって、従って本発明の精神を維持しつつ、他の量を使用することもできる。さもなければ、平均化のために式（６）が適用される。なお、たとえば画像のサイズ又は計算上の制約に基づいて、ホールの数をカウントするために異なる隣接画素を使用することができる。さらに、ビューの重み付け要素を計算するためにホールのカウントを使用することができる。

シンプルなホールのカウントに加えて、ホールの位置を考慮することもできる。たとえば、大部分のホールが一方の側（水平カメラの配置においてその左側又はその右側の何れか）に位置される画素に比較して、散乱されているホールを持つ画素は好ましくない。

異なる実現では、ｐ１及びｐ２の両者は、それらの何れもが十分であると考えられる場合に捨てられる。結果として、ｐは、ホールとしてマークされ、その値はホールフィリングアルゴリズムに基づいて導出される。たとえば、ｐ１及びｐ２は、それらのホールカウントが共に閾値holeThreshold2を超える場合に捨てられる。

「取り囲んでいるホール（surrounding hole）」は、１実現において特定の目標とする画素に対する隣接画素のみを含むか、特定の目標とする画素から予め決定された画素数の距離内にある画素を含む場合がある。これらの変形例及び他の変形例は、本発明の精神を維持しつつ、当業者により容易に考えることができる。

［実施の形態３：後方合成エラーの使用］
実施の形態２では、雑音が多い奥行き画像を処理するマージングプロセスについて、Zバッファリングと共に周囲のホール分布が使用される。ここで、図９に示されるビューマージングに役立つ別の方法を提案する。図９は、本発明の実施の形態に係る、奥行き、後方合成エラー、カメラパラメータを利用したマージングプロセスを示す。ステップ９０２で、基準とするビュー１からの合成された画像は、プロセス９００に入力される。ステップ９０４で、基準とするビュー２からの合成された画像は、プロセス９００に入力される。ステップ９０３で、ｐ１，ｐ２（ｐと同じ画像の位置）は、プロセスに入力される。ステップ９０５で、基準とするビュー１は、後方合成され、再合成された基準とするビュー１は、入力の基準とするビュー１と比較される。ステップ９１０で、入力の基準とするビューとの差（エラー）D1は、プロセス９００に入力される。ステップ９１５で、ｐの周りの小さな領域でD1及びD2は比較され、これらが類似しているか否かが判定される。これらが類似していると判定された場合、制御は機能ブロック９３０に移る。これらが類似していると判定されない場合、制御は機能ブロック９３５に移る。

ステップ９３０で、ｐ１及びｐ２は、式（６）を使用して平均される。

ステップ９３５で、エラーを持たない（ｐ１又はｐ２の何れか）画素がｐについて選択される。
ステップ９２０で、｜depth(p1) − depth(p2)｜> depthThresholdであるか否かが判定される。｜depth(p1) − depth(p2)｜> depthThresholdであると判定された場合、制御はステップ９２５に移る。｜depth(p1) − depth(p2)｜> depthThresholdであると判定されない場合、制御はステップ９１５に移る。
ステップ９２５で、カメラに近い（ｐ１又はｐ２の何れかの）画素がｐについて選択される。
ステップ９５０で、基準とするビュー２が後方合成され、再合成された基準とするビュー２は、入力の基準とするビュー２と比較される。ステップ９５５で、入力の基準とするビューとの差（エラー）D2は、プロセス９００に入力される。

（合成された奥行きと共に）それぞれ合成された画像から、オリジナルの基準とするビューを再合成し、後方合成された画像と入力の参照画像との間でエラーが発見される。これを後方合成誤り画像と呼ぶ。このプロセスを基準画像１及び２に適用して、D1及びD2を得る。マージングステップの間、ｐ１及びｐ２が類似の奥行きからなるとき、ｐ１の周囲の領域における後方合成エラーD1（たとえば5×5の画素範囲におけるエラーの合計）がｐ２の周囲で計算されるD2よりも非常に大きい場合、ｐ２が選択される。同様に、D2がD1よりも大きい場合、ｐ１が選択される。この考えは、大きい後方合成エラーが大きい入力の奥行き画像の雑音に密に関連するという想定に基づく。エラーD1及びD2が類似している場合、式（６）が使用される。

実施の形態２に類似して、異なる実現では、ｐ１及びｐ２の両者は、それらの何れもが十分でない場合に捨てられる。たとえば、図１０に例示されるように、対応する後方合成エラーD1（D2）が所与の閾値を超える場合に、ｐ１（ｐ２）は捨てられる。

図１０Ａ及び図１０Ｂは、本発明の実施の形態に係る、奥行き、後方合成エラー、及びカメラパラメータを利用した別のマージングプロセスを示す。ステップ１００２で、基準とするビュー１は後方合成され、再合成された基準とするビュー１は、入力の基準とするビュー１と比較される。ステップ１０１０で、入力の基準とするビューとの差（エラー）D1は、プロセス１０００に入力される。

ステップ１００４で、基準とするビュー２からの合成された画像は、プロセス１０００に入力される。ステップ１０５０で、基準とするビュー２は、後方合成され、再合成された基準とするビュー２は、入力の基準とするビュー２と比較される。ステップ１０５５で、入力の基準とするビューとの差（エラー）D2は、プロセス１０００に入力される。D1及びD2は、ステップ１０４０及びステップ１０４０後の後続するステップで使用される。

ステップ１００３で、ｐ１，ｐ２（ｐと同じ画像位置）は、プロセスに入力される。ステップ１０２０で、｜depth(p1) − depth(p2)｜> depthThresholdであるか否かが判定される。｜depth(p1) − depth(p2)｜> depthThresholdであると判定された場合、制御はステップ１０２５に進む。｜depth(p1) − depth(p2)｜> depthThresholdである判定されない場合、制御はステップ１０４０に進む。

ステップ１０２５で、カメラに近い（ｐ１又はｐ２の何れかの）画素（すなわちZバッファリング）は、ｐについて選択される。

ステップ１０４０で、D1及びD2の両者がｐの周囲の小さな領域で閾値よりも小さいか否かが判定される。D1及びD2の両者がｐの周囲の小さな領域で閾値よりも小さいと判定された場合、制御はステップ１０１５に進む。D1及びD2の両者がｐの周囲の小さな領域で閾値よりも小さいと判定されない場合、制御はステップ１０６０に進む。

ステップ１０１５で、D1及びD2は、ｐの周囲の小さな領域で比較され、これらが類似しているか否かが判定される。類似していると判定された場合、制御は機能ブロック１０３０に進む。類似していると判定されない場合、制御は機能ブロック１０３５に進む。

ステップ１０３０で、ｐ１及びｐ２は、式（６）を使用して平均される。

ステップ１０３５で、エラーを持たない（ｐ１又はｐ２の何れかの）画素は、ｐについて選択される。

ステップ１０６０で、D1がｐの周囲の小さな領域で閾値よりも小さいか否かが判定される。小さいと判定された場合、制御は機能ブロック１０６５に進む。小さいと判定されない場合、制御は機能ブロック１０７０に進む。

ステップ１０６５で、ｐについてｐ１が選択される。
ステップ１０７０で、D2がｐの周囲の小さな領域で閾値よりも小さいか否かが判定される。小さいと判定された場合、制御はステップ１０７５に進む。小さいと判定されない場合、制御はステップ１０８０に進む。

ステップ１０７５で、ｐについてｐ２が選択される。

ステップ１０８０で、ｐはホールとしてマークされる。

［実施の形態４：高周波エネルギーの使用］
この実施の形態では、ワープされた画素の品質を評価する基準として、高周波エネルギーが提案される。フォワードワーピング後の空間アクティビティにおける有意な増加は、（たとえば粗悪な奥行き情報によるような）ワーピングプロセスの間のエラーの存在を示す可能性がある。空間アクティビティが高くなると高周波におけるエネルギーが高くなるので、（たとえば、限定されるものではないがＭ×Ｎ画素のブロックのような）画像のパッチで計算される高周波のエネルギー情報を使用することを提案する。特定の実現では、全ての基準とするビューから、ある画素の周囲に多くのホールが存在しない場合、ある画素の周りのブロックを処理するために高周波フィルタを使用して、高周波において低いエネルギーをもつ画素を選択することが提案される。最終的に、全てが高周波で高いエネルギーを有する場合に、画素は選択されない。この実施の形態は、実施の形態３の代替又は相補となるものである。

図１１は、本発明の実施の形態に係る、高周波エネルギーを利用したマージングプロセスを示す。ステップ１１０５で、ｐ１，ｐ２（ｐと同じ画像の位置）がプロセス１１００に入力される。ステップ１１１０で、それぞれの合成された画像におけるｐ１及びｐ２の周囲の高周波エネルギーが計算される（すなわちhfEnergy1及びhfEnergy2を発見する）。ステップ１１１５で、｜hfEnergy1 − hfEnergy2｜> hfEnergyThresholdであるか否かが判定される。｜hfEnergy1 − hfEnergy2｜> hfEnergyThresholdであると判定された場合、制御はステップ１１２０に移る。｜hfEnergy1 − hfEnergy2｜> hfEnergyThresholdであると判定されない場合、制御はステップ１１２５に移る。

ステップ１１２０で、その周囲の低い高周波エネルギーを持つ画素（ｐ１又はｐ２の何れか）がｐについて選択される。ステップ１１２５で、たとえば式（６）を用いてｐ１及びｐ２は平均される。

他の実現では、合成された画像における高周波エネルギーは、ワーピングの前に、参照画像の高周波エネルギーに比較される。比較において、閾値が使用される場合があり、この閾値は、ワーピング前の参照画像の高周波エネルギーに基づいている。

［ポストプロセッシング：ホールフィリング］
これらのホールに対処する最も簡単なアプローチは、ホールに隣接する画素を調べて、それらの幾つかを使用してホールを充填することである。しかし、任意の既存のホールフィリング方法を適用することもできる。

したがって、要約すると、少なくとも１つの実現では、（１）境界レイヤの周囲の画素にのみスプラッティングを適用すること、（２）ホール分布又はZバッファリングによる後方合成エラーを使用した２つのマージングスキームを適用することが提案される。ヒューリスティックなソリューション及び実現について、多数の潜在的な変形例が存在する。

これらの変形例の幾つかは、本実施の形態で記載される様々な実施の形態に関連するもものとして以下に示される。しかし、本実施の形態で提供される本発明の教示の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、本発明のこれらの変形例及び他の変形例を考えるであろうことを理解されたい。

実施の形態１の記載の間、補正されたビューの合成の例を使用する。補正されていないビューに適用されるべき同じ境界レイヤのスプラッティング方法を妨げるものではない。この場合、それぞれのワープされる画素は、その４つの隣接する目標とする画素にマッピングされる。実施の形態１によれば、非境界部分におけるそれぞれのワープされた画素について、それを１以上の最も近い目標とする画素にのみマッピングするか、又は非常に小さい重みを他の隣接する目標とする画素に与える。

実施の形態２及び３では、ｐ１及びｐ２の周囲のホールの数又はｐ１及びｐ２の周囲の後方合成エラーは、それらの１つを、マージされた画像における最終的な画素ｐの値として選択するために使用される。この２進の重み付け方法（０又は１）は、非２進の重み付けに拡張することができる。実施の形態２の場合、画素がその周囲のより多くのホールを有する場合に、（図８におけるような０の代わりに）より少ない重みを与えることができる。同様に、実施の形態３について、画素の周囲が高い後方合成エラーを有する場合に、（図９におけるような０の代わりに）より少ない重みを与えることができる。

実施の形態２及び３では、候補となる画素ｐ１及びｐ２は、十分ではない場合にｐの計算のために完全に捨てられる。候補となる画素が良好であるかを判定するため、ホールの数、後方合成エラー又は要素の組み合わせのような、異なる基準を使用することができる。同じことが、２を超える基準とするビューが使用されるときに当てはまる。

実施の形態２、３及び４において、２つの基準とするビューを想定する。ホールの数、合成された画像の間の後方合成エラー又はそれぞれの基準とするビューからの高周波エネルギーを比較しているので、係る実施の形態は、任意の数の基準とするビューに対する比較を含むように容易に拡張される場合がある。この場合、非２進の重み付け方法が良好に機能する。

実施の形態２では、候補となる画素の周囲におけるホールの数は、ブレンディングプロセスにおけるその使用を判定するために使用される。ホールの数に加えて、ホールのサイズ、それらの密度等が考慮される場合がある。一般に、本発明の精神を維持しつつ、候補となる画素の周囲におけるホールに基づく基準が使用される場合がある。

実施の形態２及び３において、それぞれの候補となる画素の周囲における奥行きマップの雑音の多さを評価する基準として、ホールのカウント及び後方合成エラーが使用される。論理的根拠は、その周辺における奥行きマップの雑音が多くなると、候補となる画素の信頼性が低くなることである。一般に、本発明の精神を維持しつつ、奥行きマップの局所的な雑音性の推定を導出するために任意の基準を使用することができる。

様々な実現が記載された。これらの実現のうちの１以上は、第一のワープされた基準とするビューからの第一の候補となる画素と第二のワープされた基準とするビューからの第二の候補となる画素とを評価するものである。この評価は、第一の及び第二の候補となる画素の品質を評価する後方合成プロセス、第一及び第二の候補となる画素の周辺のホール分布、及び指定された周波数を超える第一及び第二の候補となる画素の周囲のエネルギー量の少なくとも１つに基づいている。この評価は、少なくとも第一及び第二のワープされた基準となるビューを１つの合成されたビューにマージするプロセスの一部として行われる。たとえば、ホール分布、高周波エネルギーの内容、及び／又は後方合成されたビューと入力の基準とするビューとの間のエラーに基づいて（たとえば図１０のエレメント１０５５を参照）、品質が示される場合がある。また、２つの異なる基準とするビューの係るエラーの比較、及び／又は係るエラー（又は係るエラー間の差）の１以上の閾値への比較により、品質が示される場合がある。さらに、様々な実現は、この評価に基づいて、１つの合成されたビューにおける所与の目標とする画素の結果を判定する。係る結果は、たとえば、所与の目標とする画素について値を決定すること、又は所与の目標とする画素をホールとしてマークすることである場合がある。

上述した内容を考慮して、上述した内容は本発明の原理を単に例示するものであって、当業者であれば、本実施の形態において明示的に記載されていないが、本発明を実施する様々な代替となるアレンジメントであって、本発明の精神及び範囲にあるアレンジメントを考えることができることを理解されたい。従って、特定の特徴及び態様を有する１以上の実現が提供された。しかし、記載された実現の特徴及び態様は、他の実現について適応される場合がある。これに応じて、本実施の形態で記載される実現が特定の文脈において記載されたが、係る記載は、特徴及び概念を係る実現又はコンテキストに限定するものとして解釈されるべきではない。

本発明の「１実施の形態」、「実施の形態」、「１実現」又は「実現」といった明細書における参照は、その他の変形と同様に、実施の形態に関して記載された特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書を通して様々な位置で現れる他の変形例と同様に、記載「１実施の形態では」、「実施の形態では」、「１実現では」又は「実現では」の出現は、必ずしも同じ実施の形態を全て参照するものではない。

以下の「／」、「及び／又は」、及び「少なくとも１つ」の使用について、たとえば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合では、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。更なる例として、「Ａ，Ｂ及び／又はＣ」、「Ａ、Ｂ及びＣの少なくとも１つ」の場合、係る記載は、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、第三に列挙されたオプション（Ｃ）のみの選択、第一及び第二のオプション（Ａ及びＢ）の選択、第一及び第三のオプション（Ａ及びＣ）の選択、第二及び第三のオプション（Ｂ及びＣ）の選択、又は第一、第二及び第三のオプション（Ａ、Ｂ及びＣ）の選択を包含することが意図される。これは、多数の列挙されるアイテムについて、当業者により容易に明らかであるように拡張される場合がある。

実現は、限定されるものではないが、帯域内情報、帯域外情報、データストリームのデータ、暗黙的なシグナリング及び明示的なシグナリングを含む様々な技術を使用して情報を伝送する場合がある。帯域内の情報及び明示的なシグナリングは、様々な実現及び／標準について、スライスヘッダ、SEIメッセージ、他の高水準シンタックス、及び非高水準シンタックスを含む場合がある。本実施の形態で記載される実現は特定のコンテキストで記載される場合があるが、係る記載は、特徴及び概念を係る実現又はコンテキストに限定するものとして解釈されるべきではない。

本実施の形態で記載される実現及び特徴は、MPEG-4 AVC標準、又はMVC拡張によるMPEG-4 AVC標準、又はSVC拡張によるMPEG-4 AVC標準のコンテキストで使用される場合がある。しかし、これらの実現及び特徴は、（既存の又は将来的な）別の標準及び／又は勧告のコンテキストで使用されるか、標準及び／又は勧告を含まないコンテキストで使用される場合がある。

本実施の形態で記載された実現は、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム又は信号で実現される場合がある。（たとえば、方法としてのみ記載された）実現の１つの形式のコンテキストでのみ記載されたとしても、記載された特徴の実現は、（たとえば装置又はプログラムといった）他の形式で実現される場合がある。装置は、たとえば適切なハードウェア、ソフトウェア及びファームウェアで実現される場合がある。本方法は、たとえばコンピュータ、マイクロプセッサ、集積回路、又はプログラマブルロジックデバイスを含む、一般の処理装置を示すプロセッサのような装置で実現される場合がある。また、プロセッサは、たとえばコンピュータ、携帯電話、携帯用／パーソナルデジタルアシスタント（PDA）、及びエンドユーザ間の情報の伝達を容易にする他の装置のような通信装置を含む。

本実施の形態で記載された様々なプロセス及び特徴の実現は、たとえば、データ符号化及び復号化に関連する機器又はアプリケーションといった、様々な異なる機器又はアプリケーションで実施される場合がある。係る機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプロプロセッサ、ビデオコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA及び他の通信装置を含む。明らかであるように、機器は、移動体であり、移動車両にインストールされる場合もある。

さらに、本方法は、プロセッサにより実行される命令により実現される場合があり、係る命令（及び／又は実現により生成されるデータ）は、たとえば集積回路、ソフトウェアキャリア、又はたとえばハードディスク、コンパクトディスク、ランダムアクセスメモリ（RAM）又はリードオンリメモリ（ROM）のような他の記憶装置、のようなプロセッサが読み取り可能な媒体に記憶される場合がある。命令は、プロセッサにより読み取り可能な媒体で実施されるアプリケーションプログラムを形成する場合がある。命令は、たとえばハードウェア、ファームウェア、ソフトウェア又はその組み合わせである場合がある。命令は、たとえばオペレーティングシステム、個別のアプリケーション又は両者の組み合わせで発見される場合がある。プロセッサは、プロセスを実行するようにコンフィグされる装置及びプロセスを実行する命令を有する（記憶装置のような）プロセッサ読み取り可能な媒体を含む装置の両者として特徴付けされる場合がある。さらに、プロセッサ読み取り可能な媒体は、命令に加えて又は命令の代わりに、実現により生成されるデータ値を記憶する場合がある。

当業者にとって明らかであるように、たとえば記憶又は送信される情報を搬送するためにフォーマット化される様々な信号が実現において生成される場合がある。たとえば、情報は、方法を実行する命令、又は記載された実現のうちの１つにより生成されるデータを含む場合がある。たとえばワープされた基準とするビューをブレンド又はマージするデータ、又はワープされた基準とするビューをブレンド又はマージするアルゴリズムを搬送する信号がフォーマット化される場合がある。係る信号は、たとえば（スペクトルの無線周波部分を使用した）電磁波として、又はベースバンド信号としてフォーマット化される場合がある。フォーマット化は、たとえばデータストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含む場合がある。信号が搬送する情報は、たとえばアナログ又はデジタル情報である場合がある。知られているように、様々な異なる有線又は無線リンクを通して信号が送信される。信号は、プロセッサ読み取り可能な媒体に記憶される場合がある。
多数の実現が記載された。しかし、様々な変更が行われる場合があることが理解される。たとえば、異なる実現のエレメントが結合、補充、変更、又は除去されて他の実現を生成する場合がある。さらに、当業者であれば、他の構造及び処理が開示された構造又は処理と置き換えられること、結果的に得られる実現は、少なくとも実質的に開示される実現と同じ結果を達成するため、少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を実行することを理解されるであろう。従って、これらの実現及び他の実現は、本出願により考えられ、以下の特許請求の範囲に包含されるものである。

Claims (36)

1. 第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価するステップと、前記評価は、前記第一の移動された基準のビューと前記第二の移動された基準のビューとを１つの合成されたビューにマージする処理の一部として行われ、
   前記評価に基づいて、前記１つの合成されたビューにおける所与の目標となる画素について結果を判定するステップと、
   を含むことを特徴とする方法。
2. 前記結果を判定するステップは、前記所与の目標となる画素の値を決定するステップを含む、
   請求項１記載の方法。
3. 前記結果を判定するステップは、前記所与の目標となる画素がホールであることを判定するステップを含む、
   請求項１記載の方法。
4. 前記ホールの分布は、前記第一の候補となる画素の周囲のホールの数を示す第一のホールカウントと、前記第二の候補となる画素の周囲のホールの数を示す第二のホールカウントとを含み、
   前記所与の目標となる画素の値を決定するステップは、前記所与の目標となる画素の値として、前記第一のホールカウント及び前記第二のホールカウントのなかから最小のホールカウント値を有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップを含む、
   請求項２記載の方法。
5. 前記所与の目標となる画素の値として、前記第一のホールカウント及び前記第二のホールカウントのなかから前記最小のホールカウント値を有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップは、前記第一のホールカウントと前記第二のホールカウントの間の差が予め決定された差の閾値よりも大きいときにのみ実行される、
   請求項４記載の方法。
6. 前記所与の目標となる画素の値として、前記第一のホールカウント及び前記第二のホールカウントのなかから前記最小のホールカウント値を有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップは、前記第一のホールカウントと前記第二のホールカウントの間の差が、予め決定された差の閾値よりも大きいとき、前記第一の候補となる画素の奥行きと前記第二の候補となる画素の奥行きの間の差が予め決定された奥行きの閾値よりも大きくないときにのみ実行される、
   請求項４記載の方法。
7. 前記所与の目標となる画素の値を決定するステップは、前記第一のホールカウントと前記第二のホールカウントの間の差が前記予め決定された差の閾値よりも大きくないとき、前記第一の候補となる画素及び前記第二の候補となる画素の値を平均するステップを含む、
   請求項４記載の方法。
8. 前記第一の候補となる画素と前記第二の候補となる画素の値を平均するステップは、前記第一のホールカウントと前記第二のホールカウントの間の差が予め決定された差の閾値よりも大きくないときであって、前記第一の候補となる画素の奥行きと前記第二の候補となる画素の奥行きとの差が予め決定された奥行きの閾値よりも大きくないときにのみ実行される、
   請求項７記載の方法。
9. 前記第一の候補となる画素と前記第二の候補となる画素の値を平均するステップは、前記第一の候補となる画素と前記第二の候補となる画素のそれぞれの重み付け要素を使用するステップを含む、
   請求項７記載の方法。
10. 前記重み付け要素は、前記第一の移動された基準のビューと前記１つの合成されたビューとの間の距離及び前記第二の移動された基準のビューと前記１つの合成されたビューとの間の距離のうちの少なくとも１つに基づいて決定される、
    請求項９記載の方法。
11. 前記重み付け要素は、前記第一のホールカウント及び前記第二のホールカウントに基づいて決定される、
    請求項８記載の方法。
12. 前記重み付け要素は、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの位置に基づいて決定される、
    請求項８記載の方法。
13. 前記ホール分布は、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの位置に基づいており、
    前記所与の目標となる画素の値を決定するステップは、前記所与の目標となる画素の値として、前記第一の候補となる画素又は前記第二の候補となる画素の所与の側に多く位置されるホールを有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップ、又は、前記第一の候補となる画素及び前記第二の候補となる画素の何れかに高い重み付け要素を割り当てるステップを含む、
    請求項１１記載の方法。
14. 前記ホール分布は、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの位置を更に含み、
    前記所与の目標となる画素の値を決定するステップは、前記所与の目標となる画素の値として、前記第一の候補となる画素又は前記第二の候補となる画素の所与の側に多く位置されるホールを有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップ、又は、前記第一の候補となる画素及び前記第二の候補となる画素の何れかに高い重み付け要素を割り当てるステップを含む、
    請求項２記載の方法。
15. 前記第一の候補となる画素及び前記第二の候補となる画素の両者は、前記第一のホールカウントと前記第二のホールカウントの両者が予め決定されたホールカウントの閾値を超えるときに、前記所与の目標となる画素の値の決定における使用から除かれる、
    請求項４記載の方法。
16. 前記後方合成プロセスは、
    前記第一の基準のビューと前記第二の基準のビューを再合成して、再合成された第一の移動された基準のビュー及び再合成された第二の移動された基準のビューをそれぞれ供給するステップと、
    前記再合成された第一の基準のビューと、前記第一の移動された基準のビューが取得された第一の基準のビューとの間の第一の差を計算するステップと、
    前記再合成された第二の基準のビューと、前記第二の移動された基準のビューが取得された第二の基準のビューとの間の第二の差を計算するステップと、
    前記第一の候補となる画素の周囲の領域に適用される前記第一の差に関する第一の合計を計算するステップと、
    前記第二の候補となる画素の周囲の領域に適用される前記第二の差に関する第二の合計を計算するステップと、
    当該方法は、前記第一の合計と前記第二の合計の少なくとも１つに基づいて前記所与の目標となる画素の値を決定するステップを更に含む、
    請求項２記載の方法。
17. 前記第一の合計と前記第二の合計の少なくとも１つに基づいて前記所与の目標となる画素の値を決定するステップは、
    前記所与の目標となる画素の値として、前記第一の合計が前記第二の合計未満であって、前記第一の合計と前記第二の合計の間の差が予め決定された差の閾値よりも大きいときに前記第一の候補となる画素を選択し、前記第二の合計が前記第一の合計未満であって、前記第一の合計と前記第二の合計の間の差が予め決定された差の閾値よりも大きいときに前記第二の候補となる画素を選択し、前記第一の合計と前記第二の合計の間の差が予め決定された差の閾値よりも大きくないとき、前記第一の候補となる画素と前記第二の候補となる画素の値を平均するステップを含む、
    請求項１６記載の方法。
18. 前記第一の候補となる画素と前記第二の候補となる画素の値を平均するステップは、前記第一の候補となる画素と前記第二の候補となる画素のそれぞれについて重み付け要素を使用するステップを含む、
    請求項１７記載の方法。
19. 前記第一の合計と前記第二の合計の少なくとも１つが予め決定された合計の閾値よりも大きいとき、前記第一の候補となる画素と前記第二の候補となる画素の少なくとも１つを除くステップを更に含む、
    請求項１６記載の方法。
20. 前記第一の合計及び前記第二の合計が前記予め決定された合計の閾値よりも大きいとき、前記所与の目標となる画素をホールとして記録するステップを更に含む、
    請求項１９記載の方法。
21. 前記ホール分布は、前記第一の候補となる画素の周囲のホールの数を示す第一のホールカウントと前記第二の候補となる画素の周囲のホールの数を示す第二のホールカウントとを含み、
    前記１つの合成されたビューにおける前記所与の目標となる画素について、前記第一の候補となる画素及び前記第二の候補となる画素を選択するステップは、前記第一のホールカウントと前記第二のホールカウントが所与のホールカウントの閾値以下であるとき、エネルギー量について低い値を有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを選択するステップを含む、
    請求項２記載の方法。
22. 所与の閾値を超えるエネルギー量を有する前記第一の候補となる画素及び前記第二の候補となる画素の何れかを除くステップを更に含む、
    請求項２記載の方法。
23. 前記１つの合成されたビューにおける前記所与の目標となる画素の値を決定するステップは、
    前記第一の候補となる画素の周囲のエネルギー量を決定して第一の量を取得するステップと、
    前記第二の候補となる画素の周囲のエネルギー量を決定して第二の量を取得するステップと、
    前記第一の量及び前記第二の量の少なくとも１つに基づいて、前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを選択するステップ、前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを削除するステップ、又は前記第一の候補となる画素と前記第二の候補となる画素とを結合するステップと、
    を含む請求項２記載の方法。
24. 前記ホール分布は、前記第一の候補となる画素の周囲のホールの数を示す第一のホールカウントと前記第二の候補となる画素の周囲のホールの数を示す第二のホールカウントとを含み、
    前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを選択する前記ステップ、前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを削除する前記ステップ、又は前記第一の候補となる画素と前記第二の候補となる画素とを結合する前記ステップは、前記第一のホールカウント及び前記第二のホールカウントの少なくとも１つに更に基づく、
    請求項２３記載の方法。
25. 前記ホール分布は、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの位置に基づいており、前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを選択する前記ステップ、前記第一の候補となる画素及び前記第二の候補となる画素のうちの１つを除く前記ステップ、又は前記第一の候補となる画素と前記第二の候補となる画素とを結合する前記ステップは、前記第一の候補となる画素の周囲のホールの位置及び前記第二の候補となる画素の周囲のホールの位置の少なくとも１つに更に基づく、
    請求項２４記載の方法。
26. 第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価する手段と、前記評価は、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として行われ、
    前記評価に基づいて、前記１つの合成されたビューにおける所与の目標となる画素について結果を判定するステップと、
    を含むことを特徴とする方法。
27. プロセッサに、
    第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価するステップと、前記評価は、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として行われ、
    前記評価に基づいて、前記１つの合成されたビューにおける所与の目標となる画素について結果を判定するステップと、
    を実行させる命令を記憶したプロセッサ読み取り可能な記録媒体。
28. 第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価するステップと、前記評価は、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として行われ、
    前記評価に基づいて、前記１つの合成されたビューにおける所与の目標となる画素について結果を判定するステップと、
    を実行させる命令を記憶したプロセッサ読み取り可能な記録媒体。
29. 第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価し、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として前記評価を行う手段と、
    前記評価に基づいて、前記１つの合成されたビューにおける所与の目標となる画素について結果を判定する手段と、
    を有するビューマージ手段を備える装置。
30. 当該装置は、エンコーダを含む、
    請求項２９記載の装置。
31. 前記当該装置は、デコーダを含む、
    請求項２９記載の装置。
32. 前記ビューマージ手段は、前記所与の目標となる画素をホールとして記録するホールマーカを有する、
    請求項２９記載の装置。
33. 第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価し、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として前記評価を行ない、前記評価に基づいて、前記１つの合成されたビューにおける所与の目標とする画素について結果を判定するビューマージ手段と、
    前記１つの合成されたビューを含む信号を変調する変調手段と、
    を備える装置。
34. 当該装置は、エンコーダを含む、
    請求項３３記載の装置。
35. 当該装置は、デコーダを含む、
    請求項３３記載の装置。
36. 第一の移動された基準のビューと第二の移動された基準のビューとを含む信号を復調する復調手段と、
    第一の移動された基準のビューからの第一の候補となる画素と、第二の移動された基準のビューからの第二の候補となる画素とを、前記第一の候補となる画素及び前記第二の候補となる画素の品質を評価する後方合成プロセス、前記第一の候補となる画素及び前記第二の候補となる画素の周囲のホールの分布及び指定された周波数を超える前記第一の候補となる画素及び前記第二の候補となる画素の周囲のエネルギーの量の少なくとも１つに基づいて評価し、前記第一の移動された基準のビュー及び前記第二の移動された基準のビューを１つの合成されたビューにマージする処理の一部として前記評価を行い、前記評価に基づいて、前記１つの合成されたビューにおける所与の目標とする画素について結果を判定するビューマージ手段と、
    を備える装置。

Images