JP2013521686A - ３ｄｔｖのための視差分布推定 - Google Patents

Abstract

本発明は、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、視差の最大範囲（Ｄｍｉｎ及びＤｍａｘ）を提供するステップと、左画像領域（７４）と右画像領域（７５）との双方の画像のうちの一方が視差シフト値（Δｄ）だけシフトされた状態で、左画像領域（７４）と右画像領域（７５）との相関をとるステップと、相関の結果は、双方の画像の間の画像マッチの指標であることと、視差の最大範囲（Ｄｍｉｎ、Ｄｍａｘ）内において視差シフト値（Δｄ）のセットについて相関をとるステップを繰り返すステップと、相関の結果から視差分布を得るステップとを含む方法に関する。本発明は、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、所与の視差の最大範囲内における視差シフト値のセットについて上記相関を繰り返し、相関の結果から視差分布を得て、得られた視差分布を出力することを備える装置にも関する。
【選択図】図６ｂ

Description

本発明は、各画像が画素のアレイを有する、立体３Ｄ映像（stereoscopic 3D picture）の左画像と右画像との間の視差分布（display distribution）を推定するための方法に関する。本発明は、視差分布を推定するための装置及び立体３Ｄ映像を表示するためのテレビジョン装置にも関する。さらに、本発明は、３Ｄ映像を記録し、処理し及び／又は表示するための装置と、コンピュータプログラムプロダクトとに関する。

立体３Ｄシネマトグラフィの原理は長い間知られているが、近年は大変人気があり、立体３Ｄコンテンツを表示することが可能な装置への需要は急速に増加している。特に、エンターテインメント産業は、立体３Ｄ性能を有するテレビジョン装置の開発を開始している。しかしながら、立体３Ｄコンテンツの表示に伴う原理的な問題は、視聴者によって知覚される奥行き感（depth impression）に関連する撮影状況と視聴状況との間にしばしば生じる矛盾である。奥行き感についての要因は、テレビ受像機のディスプレイの画面サイズ、ディスプレイの正面の視聴者の距離及び位置、並びに、個人の瞳孔間隔である。目の距離は、成人の間ではあまり変わらないと考えられているが、問題は特に子供について存在する。大抵の場合、コンテンツが制作されるときに視聴状況は知得されていない。一方、撮影状況を記述するメタデータをコンテンツに付加し得るが、これは標準化されていない。映画館における状況と比較して、テレビ受像機の様々な異なるディスプレイ画面のサイズ、視聴者の様々な異なる距離及び位置のために、この問題には特に興味がある。

従って、３Ｄコンテンツの表示は、視聴者に問題を提示し得る。よくある問題は、シーンの遠い地点をみている場合の目の開散の経験、又は、ディスプレイ画面からの見掛けの距離があまりに大きいオブジェクトを凝視する場合の、目の輻輳と目の調節との間の混乱する印象であり得る。

従来技術において、いわゆる「コンフォートゾーン（comfort zone）」の使用が確立されてきた。「コンフォートゾーン」は、如何なる目の輻輳及び目の調節の問題も無しに視聴者によってオブジェクトの凝視が為され得るテレビ受像機の画面又はディスプレイ面の前方及び後方の領域を定義する。換言すれば、コンフォートゾーンは、オブジェクトを表示するために用いられるべきディスプレイ画面に対する深度を記述する。

このコンフォートゾーンは、画面又はディスプレイ面の周りの深度範囲（depth range）を定義し、左視野（view）と右視野との間の視差に密接に関連する。従って、視聴者についての知覚される深度を変化させるための方法は、左視野と右視野との間の視差を変化させることである。最も簡単な形において、これは、ディスプレイ上に表示される場合の左画像及び右画像のシフト演算（shift operation）と水平目盛とによって達成されることができる。双方の画像に等しく適用されるスケール演算（scale operation）は、視差範囲を同じ量だけスケーリングする。左画像対右画像の水平シフト（horizontal shift）は、ゼロ視差の平面を再配置するであろう。即ち、ディスプレイのコンフォートゾーン内におけるシーンの深度を調節するために、シーンにおける特定の深度平面をディスプレイ画面の平面において位置付けることができる。

換言すると、３Ｄコンテンツを表示する主な問題の１つは、与えられる（delivered）立体３Ｄコンテンツにおいて用いられる深度範囲を、例えばテレビ受像機といったディスプレイ装置のコンフォートゾーン内にすることである。これは、与えられるコンテンツの最大深度範囲がコンフォートゾーンの深度範囲に実質的に対応するように深度範囲をスケーリングすることによって達成される。さらに、与えられるコンテンツの深度範囲は、ディスプレイ画面平面に対してシフトされ得る。

３Ｄコンフォートゾーンのような、３Ｄシネマトグラフィの原理についてのより詳細な情報は、非特許文献１の特にチャプター５に見出し得る。非特許文献１の内容は、参照することによって本明細書に組み込まれる。

"3D Movie Making, Stereoscopic Digital Cinema from Script to Screen" Bernard Mendiburu, Focal Press, ISBN 978-0-240-81137-6

スケール演算及びシフト演算について適当なパラメータを導くために、視差の範囲は、予め知得されていなければならない。本文脈において、視差の範囲は、コンテンツに存在する少なくとも最小及び最大の視差を表すものとして定義される。好適には、これらの極値間の視差レベルの分布も知得されている。この情報は、通常、コンテンツに付加されたメタデータから入手可能ではく、画像コンテンツ自体からリカバーされ（recovered）なければならない。

視差分布を生成するための単純な（naive）アプローチは、入力画像における各画素位置に視差値が割り当てられる高密度視差マップ（dense disparity map）の推定である。次いで、高密度視差マップからヒストグラムが算出される。この方法の不都合な点は、局所的な（localized）深度情報を最初に探索し、その後、それを破棄することの非効率性である。

本発明の目的は、左視野画像と右視野画像との間の視差のグローバルな分布を推定することが可能な効率的な方法を提供することである。本発明のさらなる目的は、視差のグローバルな分布を効率的に推定することが可能な装置を提供することである。

本発明のある観点によれば、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、視差の最大範囲を提供するステップと、左画像領域と右画像領域との双方の画像のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとるステップと、相関の結果は、双方の画像の間の画素マッチの指標であることと、視差の最大範囲内において視差シフト値のセットについて相関をとるステップを繰り返すステップと、相関の結果から視差分布を得るステップとを含む方法が提供される。

つまり、換言すると、双方の画像の間でいくつの画素が一致するかを判定するために、左画像領域及び右画像領域のうちの一方が、視差シフト値だけシフトされる他の画像領域と比較される。例えば、一方の画像領域の全ての画素が、シフトされた他方の画像領域と完全に一致する場合、コンテンツ全体は、用いられる視差シフト値に対応する視差（これは、ディスプレイ平面に対する深度平面の位置の指標である）を有する同じ深度平面に位置する。

この相関をとるステップは、所与の視差の最大範囲内における幾つかの視差シフト値について繰り返される。最後には、用いられる視差シフト値全てについての相関結果が得られ、当該結果は視差分布に結合される。

この視差分布は、立体３Ｄ映像をコンフォートゾーンへ移動させるために用いられる、さらなる画像処理に使用されることができる。

従って、提案される発明の方法のコア原則は、左画像と右画像との非線形相関に基づく。２つの画像のうちの一方は、他方に対してｄ画素列（即ち、視差シフト値）だけ水平にシフトされ、第１の画像及び他方の画像のシフトされたバージョンの同じ領域について相関演算（correlation operation）が行われる。スケーリング及びシフト演算についての適当なパラメータ、即ち、視差分布を適用するためのこの方法は、必要な画素演算が簡単なため、非常に効率的である。

好適な実施形態によれば、視差シフト値のセットは視差の最大範囲内の全ての整数値を含み、視差シフト値及び視差の最大範囲の単位は、画素である。

つまり、換言すると、相関をとるステップは、所与の視差の最大範囲内における全ての視差シフト値について実行される。この視差の最大範囲は、最小の視差値と最大の視差値とによって定義される。双方の視差値は、上記範囲が０に対して対称になるように、異なる符号を有して等しくてもよい。しかしながら、それぞれの情報が入手可能な場合には、双方の値が非対称的に選択されてもよい。一般に、視差の最大範囲は、与えられる立体３Ｄコンテンツの期待される最大深度範囲、又は、換言すると、コンテンツに含まれる最大の期待される視差を定義する。上記の視差値も、計算資源の制約、又は、期待される視差と計算資源の制約との間の妥協に基づいて定義されてもよい。

好適な実施形態において、相関をとることに用いられる画像領域は、一方の画像領域とシフトされた他方の画像領域とが重複する領域である。より好適には、相関をとることのための左画像領域と右画像領域とは、左境界と右境界とにおいて、好適には視差の最大範囲に対応する値だけトリミングされる。

この方策は、相関領域がいずれかの画像の境界をまたぐことを回避する。

さらなる好適な実施形態において、相関をとるステップは、双方の画像領域を互いに画素単位で比較するステップと、
比較の結果に応じてカウンタを増加させることとを含み、当該カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、視差シフト値だけシフトされている。より好適には、双方の画像領域を画素単位で比較するステップは、双方の画像領域のうちの一方の各画素の値を他方の画像領域の各画素（each respective pixel）の値から減算するステップを含む。より好適には、比較の結果の絶対値が、好適には１である所定の閾値よりも小さい場合、カウンタが増加される。

換言すれば、相関をとるステップは、２つの画素値の間の簡単な減算演算を含み、この減算の結果の絶対値が所定の閾値よりも小さい場合、カウンタが１だけ増加される。従って、画素が、シフトされた画像におけるそれぞれの画素と一致する度に、カウンタが増加される。従って、カウンタが大きいほど、一致する画素の数は大きくなる。

しかしながら、相関の結果は、一致する画素に関する如何なる空間的な情報も含まないことに留意すべきである。換言すると、相関をとるステップは、ある視差値及び画像領域内のそれぞれの領域（region）に関する如何なる情報も供給しない。このことは、本方法を非常に効率的にする。

さらなる好適な実施形態によれば、画像領域は互いに対して水平にシフトされる。

さらなる好適な実施形態において、左画像領域及び右画像領域は、複数のサブ領域に分割され、相関をとるステップは、視差分布が全ての画像サブ領域について得られるように、各サブ領域について別々に実行される。好適には、サブ領域の視差分布は、単一の分布に結合される。より好適には、サブ領域の数は９である。

発明者は、上述された方法によって得られる視差分布が、非常に滑らかであり、立体的な入力における大きなオブジェクトにピークが対応するという特性を有することに気付いた。異なる深度平面におけるより小さなオブジェクトに対応するピークのマスキングを回避するために、複数の相関領域を用いることが有利であることを発明者は見出した。

さらなる好適な実施形態において、各サブ領域は構造的な要素を含むかが分析される。好適には、各サブ領域についての重み係数（weight factor）は、分析の結果に応じて判定され、重み係数は、視差分布の結合に用いられる。

視差を推定することができるのは、画像コンテンツが幾つかの最小の構造を提示する場合だけであるので、各サブ領域が、構造を含むか、又は、均一な若しくは同一の明度のみを含むかがテストされる。計算効率の良いテストは、相関から取得される分布に行うことができ、コンテンツにおける充分な構造は、鮮明に示される、目立ったピークをもたらすことが観察される。弱い構造のみ又は構造が存在しない場合、ピークも弱くなり、おそらく探索範囲全体を超えて広がる。好適には、ピーク曲線は、後続の結合ステップにおいて用いられる重み係数を判定するための、ピーク曲線の二次導関数を用いて評価される。

さらなる好適な実施形態において、サブ領域視差分布を結合して大きなピークを強調し、小さなピーク及びノイズを低減する前に、非線形伝達関数が各サブ領域視差分布に適用される。

さらなる好適な実施形態において、サブ領域視差分布のセットが結合される。好適には、サブ領域視差分布のセットは、画像境界、好適には上端部画像境界及び下端部画像境界に位置付けられるサブ領域に関連するサブ領域視差分布のみを含む。

従って、提案される方法の別の観点は、サブ領域分布の結合は、画像領域全体の代わりに異なるサブセットを含むことができることである。例えば、上端部画像境界及び下端部画像境界に位置付けられる全てのサブ領域の分布を結合して、境界領域の視差分布を取得することができる。そのような分布は、シーンコンテンツの境界バイオレーション、即ち、視聴者により近い深度平面に位置付けられるオブジェクトが、ディスプレイ平面に位置付けられる画像境界によってカットされる場合を探索するために用いられ得る。

さらなる好適な実施形態において、提案される方法は、修正された（rectified）左視野及び右視野を含む、即ち、固有の視聴時の幾何学的配置のエピポーラ線が画像行と並べられた立体的なマテリアル（material）にも適している。さらに、左視野及び右視野は、等しい露出及び輝度を有するべきである。これらの要件は立体的なディスプレイ上の最良の描写を確保するが、これらは依然として今日のコンテンツの大部分によって侵されている。

従って、提案される方法は、左視野と右視野との間のグローバルイルミネーションの差をまず補償する前処理手段も含むように拡張されることができる。次に、左相関領域と右相関領域との間の垂直シフトは、各相関領域について判定される。最後に、水平分布が上述したように推定され得る。

本発明のさらなる観点によれば、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、所与の視差の最大範囲内における視差シフト値のセットについて相関を繰り返し、相関の結果から視差分布を得て、得られた視差分布を出力するように適合される推定装置を備える装置が提供される。

発明の装置は、発明の方法に関して上述されたものと同じ利点を有する。従って、上記説明のそれぞれが参照され得る。さらに、装置は、方法に関して説明されたものと類似の及び／又は同一の好適な実施形態を有する。従って、これらの実施形態及び対応する利点を繰り返すことは控えてもよい。

最後に、本発明のさらなる観点によれば、上述した発明の装置を含む立体３Ｄ映像を再生するための装置、好適にはテレビ受像機が提供される。

まとめると、本発明は、上記の単純なアプローチよりも計算効率が良い方法を提案する。さらに、発明の方法は、単純なアプローチよりも複雑度が低い。従って、発明の方法は、ベクトル化された計算ユニットを有するプロセッサ（例えば、ＶＬＩＷ、ＣＥＬＬ）のためのソフトウェア又はハードウェア（例えば、ＡＳＩＣ）に、より簡単に実装されることができる。さらに、発明の方法は、周期的な構造を提示するコンテンツ又は単純なアプローチよりもロバストである。

発明の方法によって提供される視差分布に基づいて実行される、画像ペアの奥行き感（depth impression）を変更することとは別に、特にレンズからリビングルームまであらゆる種類の装置について考えられる、発明の方法についての他の潜在的な用途は、
ａ）例えば、シーンの前に字幕又は画面上のメニューを適切に配置するために、視聴者に最も近い深度距離（depth distance）を発見するためのオンザフライのメタデータ生成、
ｂ）静止画像カメラ装置又はビデオカメラ装置、
ｃ）ホームビデオ用又は放送会社によって用いられるようなコンテンツポストプロダクションシステム、
ｄ）ブルーレイのようなパッケージ化された媒体又はインターネットからのストリーミングメディアを用いるゲーム機又はコンピュータプロダクトに基づくメディア再生装置、
ｅ）テレビジョン装置に限定されず、立体モニタ装置及びプロジェクションシステムを含むディスプレイ装置、
を含み得る。

ケースｅ）の用途は、後述されるようにディスプレイ／視聴者の状況に基づく知覚される深度の制御に注目する一方で、ケースｂ）及びｃ）の潜在的な用途は、あまりにも高い視差範囲は処理過程（processing chain）の下流において問題を引き起こすことが知得されている、悪い状態の撮影状況を示す、写真家又は製造オペレータへのインタラクティブなフィードバックであり得る。ケースｃ）、ｄ）及びｅ）の場合、用途は、キャプション又は字幕の深度位置調整（positioning）、及び、そのような装置を制御する画面上のメニューの位置調整である。ケースｃ）又はｄ）の場合、情報を用いて、ストリームの映像品質及び／又は計算量の観点において、インタビュー予測（interview prediction）に関するコーデック効率を改善し得る。

上述された特徴及び以下に説明される特徴は、述べられるそれぞれの組み合わせにおいてだけでなく、本発明の範囲を逸脱することなく、他の組み合わせにおいて又は分離して用いられることができることが理解されるべきである。

本発明のこれら及び他の観点は、以下に記載される実施形態を参照しつつ明らかになり、以下により詳細に説明されるであろう。以下の図面において、

ディスプレイ平面及びオブザーバを有する典型的な視聴時の幾何学的配置（viewing geometry）を示す。 ディスプレイコンフォートゾーンを有する視聴時の幾何学的配置を示す。 視差分布の例を示す。 視差分布の例を示す。 画像分析及び画像変換部を有するブロック図を示す。 本発明のコア原則を説明するためのブロック図を示す。 本発明の相関をとるステップを説明するための処理フロー図を示す。 上記相関をとるステップの間に用いられる画像領域の一例を示す。 本発明のさらなる実施形態において用いられる複数のサブ領域に分割される画像領域を示す。 視差分布の後処理のブロック図を示す。 視差分布の後処理のブロック図を示す。 図８Ａにおいて使用される非線形マッピングの入力と出力との関係の一例を示す。 画像境界における視差分布をどのように推定するかの例を示す。 画像境界における視差分布をどのように推定するかの例を示す。

好適な実施形態の詳細な説明に入る前に、図１及び図２に関する立体３Ｄ原理についての幾つかの一般的な背景情報、及び、本発明が適用される技術分野が最初に与えられる（図３Ａ，図３Ｂ及び図４）。

特に、ある用語が本明細書において異なる意味で用いられるために生じ得る如何なる曖昧さも回避するために、こうした概論は以下で用いられる用語を定義する役割も果たす。

図１は、典型的な視聴時の幾何学的配置（viewing geometry）を概略的に示す。図１の左側にはディスプレイ平面が示され、符号１０で表される。ディスプレイ平面は、３Ｄ映画を表示するために使用されるテレビ受像機の一部である。

図１の右側にはオブザーバの両目が概略的に示され、左目と右目との目距離はｂで表される。オブザーバとディスプレイ平面１０との間の距離はＺで表され、典型的には１メートルから５メートルの範囲にある。

一般に知られているように、各３Ｄ画像は、交互に表示される右画像と左画像とを含む。オブザーバは、典型的には、例えば、ディスプレイ平面と同期されたシャッターメガネをかけて、オブザーバが、左画像を左目のみで、右画像を右目のみで見るようにする。

説明の目的のため、図１は、画像におけるオブジェクトを象徴する長方形を示す。３Ｄ知覚を達成するために、右画像におけるオブジェクト１１は、左画像における当該オブジェクトに対して距離ｄだけシフトされ得る。換言すると、オブジェクト１１は、右目及び左目についてディスプレイ平面上の異なる位置においてオブザーバに提示され得る。水平方向における右画像中のオブジェクトと左画像中のオブジェクトとの間の距離は、以下、「視差（disparity）」ｄと呼ばれる。この視差に応じて、オブザーバは、オブジェクトがディスプレイ平面の前方又はディスプレイ平面の後方にあるという印象を有する。

視差がゼロの場合、右画像中のオブジェクトは、左画像中のオブジェクトとディスプレイ上の同じ位置に表示されることを意味し、オブザーバは、ディスプレイ平面１０においてオブジェクトを知覚する。

図１に示される例において、左画像中のオブジェクトは、ディスプレイの右半分において表示されるのに対して、右画像中のオブジェクトは、ディスプレイの左半分において表示される。この場合、視差は正であると見なされ、知覚されるオブジェクトはディスプレイ平面の正面に位置し、距離はｚ（深度範囲）で表される。視差ｄが小さくなる場合、知覚されるオブジェクトは、ディスプレイ平面に向かって動く。視差ｄが負になり次第、知覚されるオブジェクトはディスプレイ平面の後ろに位置する。

テレビ受像機のディスプレイは画素ベースであるという事実に起因して、視差の単位は、以下、画素である。これは、換言すると、１つの視差は、左画像が右画像に対して水平方向において１画素だけシフトされることを意味する。

図１から、ディスプレイ平面とオブザーバによって知覚されるオブジェクトとの間の距離ｚは、視差ｄの単調関数であることは明らかである。

理論上は、ディスプレイ平面に対する知覚されるオブジェクトの距離ｚは、正の視差についてはゼロとオブザーバの距離Ｚとの間の任意の値を、負の視差についてはゼロから無限大の任意の値をとり得る。特に、視差ｄがあまりにも大きくなる場合、オブザーバは頭痛を起こし得る。

この知識に起因して、いわゆる「コンフォートゾーン」が確立される。コンフォートゾーンは、知覚されるオブジェクトがこのゾーン内にある場合、オブザーバへの如何なる攪乱効果も生じさせない、ディスプレイ平面の前方及び後方の深度範囲を定義する。このコンフォートゾーンは、図２において符号１２で表される。コンフォートゾーンは、ディスプレイ平面の前方のｚ_ｍａｘ及びディスプレイ平面の後方のｚ_ｍｉｎに関する距離又は深度だけ広がる。コンフォートゾーンのより詳細な説明は、参照によって本明細書に組み込まれる上述した非特許文献１のチャプター５において見出し得る。

以下において、ｚ_ｍｉｎは負の値であり、ｚ_ｍａｘは正の値であると見なされる。さらに、ｚ_ｍｉｎの絶対値とｚ_ｍａｘの絶対値とは等しいと見なされ、コンフォートゾーンはディスプレイ平面に対して対称であることを意味する。ただし、ｚ_ｍｉｎの絶対値とｚ_ｍａｘの絶対値とは同等でなくてもよいことに留意すべきである。コンフォートゾーンは、視聴時の幾何学的配置に依存し、当該視聴時の幾何学的配置は、ディスプレイサイズのような、使用中のテレビ受像機についてのあるパラメータと、視聴者の位置と、個人の瞳孔間距離とを含む。

コンフォートゾーンとテレビ受像機のパラメータとの間のこの従属関係に起因して、映画放送局が例えばコンフォートゾーンを定義するメタデータによって情報を供給することは殆ど不可能である。それ故に、供給される画像を処理し、視差をコンフォートゾーンに適合させる需要及び必要がある。つまり、換言すると、テレビ受像機は、コンフォートゾーンの外側にある全てのオブジェクトをコンフォートゾーン内へシフトさせるタスクを有する。深度ｚは視差ｄの単調関数であるので、そのような画像処理は、入力引数としての視差に基づき得る。特に、左画像と右画像との間の視差分布は、入力引数として用いられる。視差分布は、例えば、画像における最小視差及び最大視差を供給し、それ故に、コンフォートゾーン内へスケーリングされなければならない画像の最大深度範囲を供給する。

図３Ａ及び図３Ｂにおいて、視差分布の２つの例が示される。図３Ａにおいて、視差分布Ｐ_{ｉｎ（ｄ）}は、ｄ_ｍｉｎ及びｄ_ｍａｘによって表されるコンフォートゾーンの境界を越えて広がっている。視差範囲ｄ１からｄ２がコンフォートゾーンの視差範囲よりも大きいことは明らかである。さらに、分布のメインエリア又は中心は、本例においてはディスプレイ平面であるコンフォートゾーンの中心からずれている（offset）。

それ故に、オブザーバに対する如何なる攪乱効果も回避するために、画像は、視差分布をコンフォートゾーン内に移動させるように処理されなければならない。この処理は、分布の中心をコンフォートゾーンの中心に移動させるシフティングステップと、視差範囲ｄ１からｄ２をコンフォートゾーンの視差範囲ＤｍｉｎからＤｍａｘにスケーリングするスケーリングステップとを必要とする。このような画像処理の結果は、次いで、図３Ｂにおいて示される。この画像処理又は変換は、オブザーバによって知覚される全てのオブジェクトがコンフォートゾーンにある画像を提供する。

図４において、テレビジョン装置において使用される画像プロセッサの一部のブロック図が示され、符号４０によって表される。画像プロセッサ４０の１つのタスクは、前述したような画像変換を実行することである。そのために、画像プロセッサは、画像変換手段４２を備える。画像変換手段４２は、オリジナルの右画像及びオリジナルの左画像を入力として受け取る。画像変換手段４２の出力は、変換された左画像及び変換された右画像である。

画像変換のための引数として、画像変換手段４２は、視差分布Ｐ_{ｉｎ（ｄ）}を入力として受け取る。この視差分布を算出するために、画像プロセッサ４０は、視差分析手段４４を備え、当該視差分析手段４４も、オリジナルの左画像及びオリジナルの右画像を入力として受け取る。

本願のテーマは、視差分析手段４４によって処理された視差分布Ｐ_{ｉｎ（ｄ）}の提供である。画像変換は、譲受人の日本特許出願第２００９−１９９１３９号（ソニー整理番号０９９００６６０）の一部であり、その内容は参照することによって本明細書に組み込まれるため、以下、これ以上は説明されないであろう。

以下においては、視差分析手段４４、及び、特にその機能性が説明されるであろう。

図５は、視差分析手段４４の一部のブロック図である。

視差分析手段４４は、複数のセンターカット要素５２を備え、１つは左画像を処理するため、１つは右画像を処理するためにある。センターカット要素５２は、供給される画像をカットし又はトリミングして、画像幅を削減する機能を果たす。換言すると、センターカット要素５２は、画像の左マージン及び右マージンを切除し、このマージンの幅は、Ｄｍａｘによって表される。センターカット要素５２の出力は、オリジナルの幅Ｗに対して２×Ｄｍａｘだけ削減された画像幅を有する画像である。

視差分析手段４４は、図５において右画像の信号経路に割り当てられる水平シフト要素５３をさらに備える。シフト要素５３は、シフト値Δｄを入力引数として受け取り、供給される画像のシフトを水平方向においてΔｄ画素だけ実行する。Δｄの符号に応じて、画像は左又は右へシフトされる。

視差分析手段は、センターカットされた左画像とセンターカットされ水平方向にシフトされた右画像とを入力として受け取る相関要素５４も備える。相関要素５４は、左画像と右画像とを画素単位で（pixelwise）比較するように適合される。画素単位での比較の結果は、次いで、閾値と比較される。比較結果の絶対値が閾値よりも小さい又は等しい場合、カウンタ信号が生成される。それ以外の場合、つまり、比較結果の絶対値が閾値よりも大きい場合、カウンタ信号は生成されない。カウンタ信号は、カウンタ信号を受け取る場合にカウンタを１だけ増加させるカウンタ要素５６に供給される。カウンタ要素５６の出力は、特定の視差Δｄについての視差分布値である。

図５に示される視差分析手段は、本発明のコア原則を実装するように適合される。視差分析手段は、数個の異なるΔｄの値について左画像と右画像とのペアの間の視差分布を推定することを可能とする。換言すると、この視差分析手段は、所定の範囲のΔｄの値について画像ペアの画素マッチを判定して、所望の視差分布を得ることを可能とする。

ここで、図６Ａ及び図６Ｂを参照しつつ、視差分析手段４４によって実行される方法の詳細な説明が記載される。

図６Ａは、左画像及び右画像のペアについての視差分布を判定するためのコア原則を説明する機能を果たすフロー図である。

まず、幾つかのパラメータが初期値に設定される。ブロック６０において、視差シフト値は、Ｄｍｉｎに設定される。この値Ｄｍｉｎは、一般に負の値であり、画像において期待される最小視差に基づいて選択される。値Ｄｍｉｎに並行して、最大視差値Ｄｍａｘも提供される。この値は、画像において期待される最大視差に基づいて判定され、通常、正符号を有する。好適な実施形態において、Ｄｍｉｎ及びＤｍａｘの絶対値が等しくなり、双方の値Ｄｍｉｎ、Ｄｍａｘによって定義される範囲がゼロに対して対称となるように、Ｄｍｉｎは−Ｄｍａｘに設定される。

さらに、カウンタ値はゼロに設定される（ブロック６１）。カウンタ値は、カウンタ要素５６において用いられる。また、ブロック６１において、画像の２次元の画素アレイにおける特定の画素を記述するインデックス値ｘ、ｙが設定される。ｙインデックスは、ゼロに設定され、ｘインデックスは、ｄ_ｏｆｆの値に設定される。この値ｄ_ｏｆｆは、（図５においてＤｍａｘとして表される）カットオフマージンの幅を判定する。値ｄ_ｏｆｆは、Ｄｍｉｎ及びＤｍａｘの絶対値よりも大きい又は等しいべきである。好適な実施形態において、ｄ_ｏｆｆはＤｍａｘに設定される。

次のステップ（ブロック６２）において、相関ステップが実行される。この相関ステップは、左画像の画素値ｐ（ｘ，ｙ）からの右画像の画素値ｐ（ｘ−Δｄ，ｙ）の減算を含む。差の符号は考慮されるべきではないので、絶対値が算出され、以降のステップで用いられる。減算の差Δｐの絶対値は、左画像と右画像との画素マッチの度合い（extent）を表す。換言すると、差Δｐがゼロである場合、画像ペアにおける双方の画素は等しい。差Δｐの絶対値が所定の閾値ＴＨＲよりも大きい場合、双方の画素は一致しない。好適な実施形態において、所定の閾値ＴＨＲは１である。

ブロック６３において、差Δｐの絶対値が評価され、当該絶対値が閾値ＴＨＲよりも小さい場合、カウンタが１だけ増加される（ブロック６４）。それ以外の場合、即ち、双方の画素が一致しない場合、カウンタは増加されない。

次に、ブロック６５において、ｘインデックスが１だけ増加され、次いで、値Ｗ−ｄ_ｏｆｆと比較される。ここで、Ｗは、画像の幅である（ブロック６６）。インデックスｘがＷ−ｄ_ｏｆｆよりも小さい又は等しい場合、相関ステップは、同じ画素行における次の画素について繰り返される（即ち、ｙインデックスは不変のままである）。

画素アレイの１つの行における全ての画素を比較した後、上述したのと同じステップは、画像の画素アレイの次の行について繰り返される。従って、ｘインデックスは、ｄ_ｏｆｆに再び設定され、ｙインデックスは、１だけ増加される（ブロック６７）。次いで、新たな行における全ての画素の相関がとられ（correlated）、画素マッチが判定される場合、カウンタは再び１だけ増加される。

図６Ａから明らかなように、トリミングされた左画像の全ての画素は、Δｄだけシフトされた画像部分の画素と相関がとられる。

画像の画素行の全てが処理されるとすぐに（ブロック６８）、カウンタの値がアレイインデックスΔｄについて視差分布アレイＰ（Δｄ）に記憶される（ブロック６９）。次いで、視差シフト値が１だけ増加され、カウンタはゼロにリセットされる。次いで、上述された処理が、新たな視差シフト値Δｄについて繰り返される。

ＤｍｉｎからＤｍａｘの範囲内におけるあらゆる値Δｄについて処理が実行されるとすぐに、処理は終了され（ブロック７０）、視差分布アレイＰ（ＤｍｉｎからＤｍａｘ）がさらなる処理のために出力される（ブロック７１）。

図６Ｂは、画像ペアのどの画像領域の相関がとられる（あるいは、換言すると、一致する、又は比較される）のかを説明するために、３つの異なるシフト値の状況を示す。

第１の例は、視差シフト値Δｄ＝Ｄｍａｘの状況を示す。既に前述したように、トリミングされた画像領域のみが相関（correlation）のために処理される（taken）。それ故に、画像のセンターカット領域７４のみが使用されるように、左画像はマージン７３だけトリミングされる。マージン７３の幅は、ｄ_ｏｆｆで表される。

相関のために使用される右画像は、Ｄｍａｘだけシフトされ、この実施形態においてＤｍａｘは正の値である。従って、左画像７４の画像領域と同じサイズを有する画像領域が左へシフトされる。

この図から、マージンｄ_ｏｆｆの幅は、Ｄｍａｘの絶対値よりも大きく又は等しくなければならないのは明らかである。そうでなければ、シフトされた画像領域７５の一部が有効領域の外部に位置するであろう。

第２の例において、視差シフト値Δｄはゼロである。従って、相関について用いられる左画像領域７４と右画像領域７５とは、画像全体内における位置に関して同一である（identical）。換言すると、右画像の画像領域７５はシフトされない。

第３の例において、視差シフト値ΔｄはＤｍｉｎであり、Ｄｍｉｎは負の値である。ここで、相関又はマッチングに用いられる画像領域７５は、右へＤｍｉｎ画素だけシフトされる。

マージンｄ_ｏｆｆの幅はＤｍａｘ及びＤｍｉｎの絶対値よりも大きく又は等しくなければならないことにも留意すべきである。そうでなければ、右画像のシフトされた領域７５の一部が有効領域の外部に位置するであろう。

繰り返すが、図６Ｂは、発明の方法のコア原則、即ち、１つの画像の画像領域と他の画像のシフトされた画像領域とを相関させることを明瞭に説明する。相関（これは、通常、比較又はマッチングである）の結果は、用いられるシフト値について記憶される。次いで、好適には１画素だけさらにシフトされた他の画像の画像領域について、相関は繰り返される。処理は、他の画像の画像領域が視差シフト範囲の左境界（Ｄｍｉｎ）から右境界（Ｄｍａｘ）までシフトされるまで繰り返される。

結果は、ＤｍｉｎとＤｍａｘとの間の全ての視差値についての視差分布である。

図６Ｂを参照すると、左画像は参照フレームとしての役割を果たし、相関が右画像において「探索される（searched）」ことに留意すべきである。ただし、他の実施形態において、右画像が参照フレームとしての役割を果たし、相関が左画像において探索されることもあり得る。既に前述したように、ＤｍｉｎからＤｍａｘまでの値を対称的な探索範囲を有するように設定することが好適である。

上述の相関の結果は、画像変換手段４２に視差分布Ｐ_ｉｎ（ｄ）として供給される視差分布Ｐ（ｄ）である（図４を参照）。

前述の詳細な説明から、相関が２つの画素値の減算を用いるだけの画素ベース演算（operation）であることは明らかである。結果として、視差分布を判定するための相関方法が非常に効率的に実装され得る。

相関の精度を増加させるために、上述された相関は、以下のように変更されることができる。

画像領域７４、７５全体について相関が実行される場合に起こり得る、異なる深度平面におけるより小さなオブジェクトに対応するピークのマスキングを回避するために、画像領域７４、７５は、複数のサブ領域又はサブウィンドウに分割される。図７において、画像領域７４（マージン７３無しの画像領域）は、９つの等しいサイズのサブ領域７７に分割される。上述された相関は、９つの画像サブ領域の全てに適用される。その結果、相関は、画像サブ領域７７ごとに１つずつ、９つの異なる視差分布を提供する。

画像サブ領域を用いることの利点は、例えば、個別のサブ領域視差分布を結合して、画像変換手段４２に供給されるトータル視差分布とする場合、個別のサブ領域視差分布に異なる重みづけができることである。

画像サブ領域を用いることのさらなる利点は、いわゆるオブジェクトフレームバイオレーション、即ち、画像平面の正面に位置付けられるが、画像境界によってカットされるオブジェクトは、最上部の行及び／又は最下部の行のサブ領域のそれぞれのサブ領域視差分布に基づいて検出されてもよい。

図８及び図９を参照しつつ、図７に示されるサブ領域の視差分布の後処理が説明される。

図８Ａは、図５に示される視差分析手段の一部によって供給される視差分布の後処理に用いられる視差分析手段の一部のブロック図を示す。画像サブ領域についての視差分布Ｐ_Ｗ，ｋ（ｄ）は、正規化（normalizing）要素８１に供給される。正規化要素８１は、各視差分布Ｐ_Ｗ，ｋ（ｄ）を正規化して、発生値又は疑似確率値（occurrence or pseudo-probability value）Ｐがインターバル０から１にマッピングされるように適合される。つまり、各画像サブ領域についての視差分布は、０と１との間の値のみを含む。

サブ領域Ｐ_{ｌｉｎ，ｋ}についての正規化された視差分布は、次いで、非線形マッピング要素８２に供給される。正規化された視差分布は、大きな疑似確率値よりも小さな疑似確率値を効果的に低減させる非線形単調関数によって変換される。

非線形マッピング要素８２の出力Ｐ_ｎｌ，ｋは、次いで、非正規化要素８３に供給される。この要素は、正規化要素８１によって行われる正規化の反転によって視差分布Ｐ_ｎｌ，ｋを非正規化する。その結果は、各画像サブ領域についての視差分布Ｐ_ｎｗ，ｋ（ｄ）として出力される。

サブ領域についての後処理された視差分布Ｐ_ｎｗ，ｋ（ｄ）は、次いで、好適には加算要素８６である結合要素８５によって結合される。結合要素８５によって出力される結果は、立体入力画像ペア（stereoscopic input image pair）についての推定される視差分布を表す単一の分布Ｐ_ｉｎ（ｄ）であり、これは画像変換手段４２に供給される。Ｎ個のサブ領域視差分布の入力を有する結合要素８５は、図８Ｂに示される。

前述したように、非線形マッピング要素８２は、非線形単調関数を用いる。そのような関数の一例は、図９に示される。パラメータＱ_ｋは、マッピング結果を重みづけするために用いることができる。一実施形態において、１の値がＱ_ｋに割り当てられる。別の実施形態において、弱い画像構造のみを有するサブ領域からの測定値を低減し又は排除するために、値Ｑ_ｋは、例えば正規化された分布のバリアント（variants）又はその導関数（derivative）に応じて、適応的に判定される。従って、パラメータＱ_ｋについての好適な値の範囲は、値０から値１までの範囲である。図９に示される図から、小さな値Ｐ_{ｌｉｎ，ｋ}が０に近い値まで大幅に低減される一方で、１に近いより大きな値が低減されないことが明らかである。

相関のために用いられる画像領域が左境界及び右境界においてトリミングされることを上記で指摘した。さらに、図６Ｂに関して、探索が画像境界の外側に拡大する可能性に起因して、視差範囲全体を用いることはできないことが示された。特に、図６Ｂに示される例において、ＤｍｉｎとＤｍａｘとの間の全ての視差シフト値について、左画像領域が参照領域として用いられた。しかしながら、境界（左又は右）及び探索視差（search disparity）の符号に応じて、左画像及び右画像における参照領域７４及びマッチ領域７５の役割を切り替えることも可能である。

図１０Ａにおいて、参照領域及びマッチ領域は、視差シフト範囲の正のローブに示される。

図１０Ｂにおいて、参照領域及びマッチ領域は、視差探索範囲の負のローブに示され、図１０Ｃは、図１０Ａ及び図１０Ｂに従って正のローブ及び負のローブから構築される（assembled）、結果として得られる完全な境界視差分布を表示する。

特に、図１０ａ〜図１０ｃは、Ｄｍｉｎが０よりも小さく、且つ、Ｄｍａｘが０よりも大きい場合の、ＤｍｉｎからＤｍａｘまでの全範囲について左映像境界及び右映像境界における視差分布の算出を表現する。左画像境界及び右画像境界における視差分布を推定するために用いられる有効測定領域（effective measurement area）も示されている。探索が画像境界の外部の領域に拡大する可能性に起因して、図６に示されるアプローチを全視差範囲について用いることはできないため、境界（左又は右）及び探索視差ｄの符号に応じて、左画像及び右画像における基準領域及び探索領域の役割が切り換えられる。図１０ａは、視差探索範囲の正のローブについての基準領域及びマッチ領域を示す。図１０ｂは、視差探索範囲の負のローブについての基準領域及びマッチ領域を示し、図１０ｃは、正のローブ及び負のローブから構築される、結果として得られる完全な境界視差分布を示す。

画像ペアの視差分布を推定するための上記の方法は、修正された左視野及び右視野を含む、即ち、固有の視聴の幾何学的配置（inherent view geometry）のエピポーラ線が画像行と並べられた（aligned）、立体的なマテリアルに適する。さらに、左視野及び右視野は、等しい露出及び輝度を有するべきである。これらの要件はステレオスコピックディスプレイ（stereoscopic display）上の最良の描写を確保するが、これらは依然として今日のコンテンツの大部分によって侵されている。

従って、提案され、上述される方法は、左視野と右視野との間のグローバルイルミネーションの差をまず補償する前処理手段も含むことができる。次に、左相関画像と右相関画像との間の垂直シフト（vertical shift）は、各相関領域について判定される。最後に、水平分布が上述したように推定される。

本発明の主な利点をまとめると、上記の単純なアプローチよりも計算的により効率的である。さらに、単純なアプローチよりも複雑度が低い。そのため、ベクトル化された計算ユニット（例えば、ＶＬＩＷ、ＣＥＬＬ）を有するプロセッサのためのソフトウェア又はハードウェア（ＡＳＩＣ）に、より簡単に実装することができる。また、発明の方法は、周期的な（periodic）構造を提示する（exposes）コンテンツについて、単純なアプローチよりもロバストである。

本発明は、図面及び前述の説明において詳細に図解され、説明されたが、そのような図解及び説明は実例又は例示的なものとして考慮されるべきであって、限定的なものではない。本発明は、開示される実施形態に限定されない。開示される実施形態の他のバリエーションは、図面、開示内容、及び添付の特許請求の範囲から、請求項に記載された発明の実施をする際に当業者によって理解され、達成されることができる。

特許請求の範囲において、「含む／備える（comprising）」という用語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は、複数を排除しない。単一の要素又は他のユニットが、特許請求の範囲に記載される幾つかのアイテムの機能を実現し得る。ある方策（measures）が互いに異なる従属項において記載されるという単なる事実は、これらの方策の組み合わせを有利に用いることができないということを表さない。

特許請求の範囲における如何なる符号も、その範囲を限定するものとして解釈されるべきではない。

Claims (42)

1. 各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、
   視差の最大範囲（Ｄｍｉｎ及びＤｍａｘ）を提供するステップと、
   左画像領域（７４）と右画像領域（７５）との双方の画像のうちの一方が視差シフト値（Δｄ）だけシフトされた状態で、左画像領域（７４）と右画像領域（７５）との相関をとるステップと、
   前記相関の結果は、双方の画像の間の画像マッチの指標であることと、
   視差の最大範囲（Ｄｍｉｎ、Ｄｍａｘ）内における視差シフト値（Δｄ）のセットについて前記相関をとるステップを繰り返すステップと、
   前記相関の前記結果から前記視差分布を得るステップと、
   を含む、方法。
2. 前記視差シフト値のセットは、前記視差の最大範囲内の全ての整数値を含み、前記視差シフト値及び前記視差の最大範囲の単位は、画素である、請求項１に記載の方法。
3. 相関をとることに用いられる前記画像領域（７４、７５）は、一方の前記画像領域とシフトされた他方の前記画像領域とが重複する領域である、請求項１又は請求項２に記載の方法。
4. 相関をとることのための前記左画像領域と前記右画像領域とは、これらの左境界と右境界とにおいて、値（ｄ_ｏｆｆ）だけトリミングされ、当該値（ｄ_ｏｆｆ）は好適には前記視差の最大範囲に対応する、先行する請求項のいずれか１項に記載の方法。
5. 前記相関をとるステップは、
   双方の画像領域を互いに画素単位で比較することと、
   前記比較の結果に応じてカウンタを増加させることと、を含み、
   前記カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、前記視差シフト値だけシフトされている、
   先行する請求項のいずれか１項に記載の方法。
6. 双方の画像領域を画素単位で比較する前記ステップは、双方の画像領域のうちの一方の各画素の値を他方の前記画像領域の各画素の値から減算するステップを含む、請求項５に記載の方法。
7. 前記比較の前記結果の絶対値が所定の閾値よりも小さい場合、前記カウンタが増加される、請求項５又は請求項６に記載の方法。
8. 前記閾値として１が選択される、請求項７に記載の方法。
9. 前記画像領域は、互いに対して水平にシフトされる、先行する請求項のいずれか１項に記載の方法。
10. 前記左画像領域及び前記右画像領域（７４、７５）は、複数のサブ領域（７７）に分割され、前記相関をとるステップは、視差分布が全ての画像サブ領域（７７）について得られるように、各サブ領域について別々に実行される、先行する請求項のいずれか１項に記載の方法。
11. 前記サブ領域の前記視差分布は、単一の分布に結合される、請求項１０に記載の方法。
12. 前記サブ領域（７７）の数は９である、請求項１０又は請求項１１に記載の方法。
13. 各サブ領域が構造化された要素を含むかを分析するステップを含む、請求項１０、請求項１１又は請求項１２に記載の方法。
14. 前記分析の結果に応じて各サブ領域についての重み係数を判定するステップを含み、当該重み係数は前記視差分布の前記結合に用いられる、請求項１３に記載の方法。
15. 前記サブ領域視差分布を結合する前に非線形伝達関数を各サブ領域視差分布に適用して、大きなピークを強調し、小さなピーク及びノイズを低減するステップ、
    を含む、請求項１０〜１４のいずれか１項に記載の方法。
16. 前記視差分布を結合するステップは、前記サブ領域視差分布を加算するステップを含む、請求項１１に記載の方法。
17. サブ領域視差分布のセットが結合される、請求項１０〜１６のいずれか１項に記載の方法。
18. 前記サブ領域視差分布のセットは、画像境界に位置付られるサブ領域に関連するサブ領域視差分布のみを含む、請求項１７に記載の方法。
19. 前記サブ領域視差分布のセットは、境界バイオレーションを探索するために用いられる、請求項１８に記載の方法。
20. 左画像と右画像との間のグローバルイルミネーションの差を補償するステップと、及び／又は、
    前記左画像領域と前記右画像領域との間の垂直シフトを判定するステップと、
    双方のステップは前記相関をとるステップの前に実行されることと、
    を含む、請求項１〜１９のいずれか１項に記載の方法。
21. 各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、
    双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、
    所与の視差の最大範囲内における視差シフト値のセットについて前記相関を繰り返し、
    前記相関の前記結果から前記視差分布を得て、
    前記得られた視差分布を出力する、
    ように適合される推定装置（４４）、
    を備える、装置。
22. 前記視差シフト値のセットは、前記視差の最大範囲内における全ての整数値を含み、前記視差シフト値及び前記視差の最大範囲の単位は、画素である、請求項２１に記載の装置。
23. 相関をとることに用いられる前記画像領域は、一方の前記画像領域とシフトされた他方の前記画像領域とが重複する領域である、請求項２１又は請求項２２に記載の装置。
24. 前記推定装置（４４）は、相関をとることのために、前記左画像領域と前記右画像領域とを、これらの左境界と右境界とにおいて、前記の最大範囲に対応する値だけトリミングするように適合される、請求項２１〜２３のいずれか１項に記載の装置。
25. 前記推定装置（４４）は、
    双方の画像領域を互いに画素単位で比較し、
    前記比較の結果に応じてカウンタを増加させ、前記カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、前記視差シフト値だけシフトされている、
    ようにさらに適合される、請求項２１〜２４のいずれか１項に記載の装置。
26. 前記推定装置（４４）は、双方の画像領域のうちの一方の各画素の値を他方の前記画像領域の各画素の値から減算するようにさらに適合される、請求項２５に記載の装置。
27. 前記推定装置（４４）は、前記比較の前記結果の絶対値が所定の閾値よりも小さい場合、前記カウンタを増加させるように適合される、請求項２５又は請求項２６に記載の装置。
28. 前記閾値として１が選択される、請求項２７に記載の装置。
29. 前記画像領域は、互いに対して水平にシフトされる、請求項２１〜２８のいずれか１項に記載の装置。
30. 前記推定装置（４４）は、前記左画像領域及び前記右画像領域を複数のサブ領域に分割し、全ての画像サブ領域について視差分布が得られるように、各サブ領域の相関を別々にとるように適合される、請求項２１〜２９のいずれか１項に記載の装置。
31. 前記推定装置（４４）は、前記サブ領域の前記視差分布を単一の分布に結合させるように適合される、請求項３０に記載の装置。
32. 前記サブ領域の数は９である、請求項３０又は請求項３１に記載の装置。
33. 前記推定装置（４４）は、各サブ領域が構造化された要素を含むかを分析するように適合される、請求項３０、請求項３１又は請求項３２に記載の装置。
34. 前記推定装置（４４）は、前記分析の結果に応じて各サブ領域についての重み係数を判定するステップを含み、当該重み係数は、前記視差分布の前記結合に用いられるように適合される、請求項３３に記載の装置。
35. 前記推定装置（４４）は、前記サブ領域視差分布を結合する前に非線形伝達関数を各サブ領域視差分布に適用して、大きなピークを強調し、小さなピーク及びノイズを低減するように適合される、請求項３０〜３４のいずれか１項に記載の装置。
36. 前記推定装置（４４）は、前記視差分布を結合するために前記サブ領域視差分布を加算するように適合される、請求項３１に記載の装置。
37. 前記推定装置（４４）は、サブ領域視差分布のセットを結合するように適合される、請求項３０〜３６のいずれか１項に記載の装置。
38. 前記サブ領域視差分布のセットは、画像境界に位置付られるサブ領域に関連するサブ領域視差分布のみを含む、請求項３７に記載の装置。
39. 前記推定装置（４４）は、ＡＳＩＣとして提供される、請求項２１〜３８のいずれか１項に記載の装置。
40. 立体３Ｄ映像を記録、処理及び／又は表示するための装置であって、請求項２１〜３９のいずれか１項に記載の装置を備える、装置。
41. 前記装置は、テレビ受像機、静止画像カメラ装置、ビデオカメラ装置、メディアプレーヤ装置、ゲーム機、コンテンツポストプロダクションシステムのうちの１つである、請求項４０に記載の装置。
42. デジタルシステムの内部メモリにロード可能なコンピュータプログラムプロダクトであって、当該システム上で実行される場合に、当該システムが請求項１〜２０のいずれか１項に記載の方法を実行することを可能とするソフトウェアコード部を備える、コンピュータプログラムプロダクト。
    

Images