JP2008518317A - 視差マップ - Google Patents

Abstract

第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するための方法が開示される。前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づく。前記方法は、所定の基準に基づいて入力視差マップに基づいて特定の入力値（２０６）を決定するステップと、特定の入力要素の入力値（２０６）がゼロに略等しい所定の出力値（２０８）にマッピングされるようなマッピング関数を、前記特定の入力要素の入力値（２０６）に基づいて決定するステップと、前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするステップと、を有する。

Description

本発明は、第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するための方法であって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づく方法に関する。

本発明は更に、第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するためのユニットであって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づくユニットに関する。

本発明は更に、出力視差マップを計算するための斯かるユニットを有する画像処理装置に関する。

本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するためのコンピュータプログラムであって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づきするための命令を有するコンピュータプログラムに関する。

表示装置の導入以来、現実感の高い３次元（３−Ｄ）表示装置は多くにとっての夢であった。斯かる表示装置に導くような多くの原理が研究されてきた。幾つかの原理は、特定の体積で、現実感の高い３−Ｄオブジェクトを生成しようと試みる。例えば、A. Sullivanによる論文「Solid-state Multi-planar Volumetric Display」（SID'03のプロシーディング、1531-1533、2003年）に開示される表示装置においては、高速投射器により情報が平面のアレイにおいて移動させられる。各面は切り換え可能なディフューザである。該面の数が十分に多ければ、人間の脳は画像を統合して、現実感の高い３−Ｄオブジェクトを観測する。この原理は、観測者が、或る程度オブジェクトを見回すことを可能とする。該表示装置においては、全てのオブジェクトが（半）透明である。

他の多くのものは、両眼視差のみに基づく３−Ｄ表示装置を作り出そうと試みている。これらのシステムにおいては、観測者の左眼と右眼とが別の画像を知覚し、それにより観測者が３−Ｄ画像を知覚する。これらの概念の概要は、書籍「Stereo Computer Graphics and Other True 3-D Technologies」（D.F.McAllister（Ed.）、Princeton University Press、1993年）に見出される。第１の原理は、例えばＣＲＴと組み合わせて、シャッタグラスを利用する。奇数フレームが表示される場合に左眼への光が遮断され、偶数フレームが表示される場合には右眼への光が遮断される。

付加的な器具の必要なく３−Ｄを表示する表示装置は、自動立体視（auto-stereoscopic）表示装置と呼ばれる。

第１の眼鏡不要の表示装置は、観測者の左眼及び右眼に向けられる光の円錐を生成する障壁を有する。前記円錐は例えば、奇数及び偶数のサブ画素列に対応する。適切な情報を用いてこれらの列をアドレス指定することにより、観測者が適切な地点に位置している場合には、観測者は左眼と右眼とで異なる画像を取得し、３−Ｄ画像を知覚することが可能である。

第２の眼鏡不要の表示装置は、観測者の左眼及び右眼に、奇数及び偶数のサブ画素列の光を投影するためのレンズのアレイを有する。

上述の眼鏡不要の表示装置の欠点は、観測者が一定の位置に留まる必要があることである。観測者をガイドするため、該観測者が適切な位置に居ることを示すインジケータが提案されてきた。例えば、障壁板が赤及び緑のＬＥＤと組み合わせられた、米国特許番号US5986804を参照されたい。観測者が適切な位置に居る場合には該観測者は緑色の光を見、そうでなければ赤い光を見ることになる。

観測者が一定に位置に座る必要をなくすため、マルチビュー型自動立体視表示装置が提案されてきた。例えば、米国特許US60064424及びUS20000912を参照されたい。US60064424及びUS20000912において開示されたような表示装置においては、斜めに配置されたレンチキュラが利用され、該レンチキュラの幅は２つのサブ画素よりも大きい。このようにして、互いに隣り合う幾つかの画像があり、観測者は左及び右へと移動する幾分かの自由度を持つ。

マルチビュー型表示装置において３Ｄの印象を生成するために、異なる仮想的な視点からの画像がレンダリングされる必要がある。このことは、複数の入力ビュー又は幾つかの３Ｄ若しくは奥行情報が存在することを必要とする。該奥行情報は記録されていても良いし、マルチビューカメラシステムから生成されても良いし、又は従来の２Ｄビデオマテリアルから生成されても良い。２Ｄビデオから奥行情報を生成するために、動きからの構造、フォーカス情報、幾何形状及び動的な隠蔽（occlusion）のような、幾つかのタイプの奥行の手掛かりが利用され得る。目的は、密な奥行マップ即ち画素毎の奥行値を生成することである。該奥行マップは続いて、観測者に奥行の印象を与えるためにマルチビュー画像をレンダリングする際に利用される。P.A.Redert、E.A.Hendriks及びJ.Biemondによる「Synthesis of multi viewpoint images at non-intermediate positions」（International Conference on Acoustics, Speech and Signal Processingのプロシーディング、Vol. IV, ISBN 0-8186-7919-0, 2749-2752頁, IEEE Computer Society, Los Alamitos, California, 1997）と題された論文において、奥行情報を抽出し、入力画像及び奥行マップに基づいてマルチビュー画像をレンダリングする方法が開示されている。マルチビュー画像は、３Ｄの印象を生成するために、マルチビュー表示装置により表示されるべき、画像のセットである。一般に、該セットの画像は、入力画像に基づいて生成される。これら画像の１つを生成することは、入力画像の画素を、それぞれのシフトの量だけシフトさせることにより為される。該シフトの量は、視差（disparity）と呼ばれる。従って一般に、各画素について、対応する視差値が存在し、合わせて視差マップを形成する。視差値及び奥行値は一般に反比例する。即ち、
Ｓ＝Ｃ／Ｄ （１）
である。ここでＳは視差であり、Ｃは一定値であり、Ｄが奥行である。

例えば、２Ｄ画像のシーケンス及び対応する深度マップを表す信号を受信するように構成され、また当該入力をマルチビュー画像のシーケンスに変換するように構成されたマルチビュー表示装置のような、画像処理装置を考える。該マルチビュー表示装置は、同時に９個の画像を表示するように構成される、即ち各マルチビュー画像が９個の異なる画像のセットを有すると仮定する。奥行マップは、式１に規定される線形演算により視差マップに変換され、前記マルチビュー表示装置の能力に基づいて、及び任意にユーザの好みに基づいて、マルチビュー画像を計算するために利用される。変換とは、奥行値の範囲が視差値の範囲にマッピングされることを意味する。例えば、奥行値が［５０，２００］メートルの範囲内にあれば、視差値が［０，５］画素の範囲内にある。一般に当該マッピングは線形のスケーリングに対応し、それにより奥行値の最低値が視差範囲の最低値に直接マッピングされ、奥行値の最高値が視差マップの最高値に直接マッピングされる。不運にも、このことはマルチビュー画像の最良の画質に帰着しない。

本発明の目的は、マルチビュー表示装置において表示されるべきマルチビュー画像を計算するために出力視差マップが利用される場合に、比較的高画質のマルチビュー画像に帰着する、最初のパラグラフにおいて記載した種類の方法を提供することにある。

本発明の本目的は、
所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定するステップと、
前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定するステップと、
前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするステップと、
を有する方法により達成される。

マルチビュー表示装置は一般に、場面の一部が該表示装置の画面の平面の前方に位置するように見え、他の一部が該画面の平面の後方に位置するように見えるように駆動される。このことは、該表示装置の奥行範囲の最適な利用に帰着する。該表示装置により表示される異なる画像間のクロストークにより、画面の平面から離れて（前方に又は後方に）存在するオブジェクトはぼやけて見える。なぜなら、該場面の斯かる部分のシフトされたバージョンが混合されて見えるからである。この効果は、ゴーストとして知られている。しかしながら、前記画面の平面の比較的近くに位置するオブジェクトは、比較的鮮明に見える。一般に、場面において重要なオブジェクトは比較的鮮明に可視化される必要があり、重要でないオブジェクトは鮮明でなく可視化され得る。本発明は、この洞察に基づくものである。このことは、所定の基準に基づいて特定の入力要素の入力値が決定され、ここで前記所定の基準は一般に、当該特定の入力要素が比較的重要なオブジェクトに対応するという条件を満たすことを意味する。特定の入力要素の入力値の、出力要素のそれぞれの出力値へのマッピングは、当該特定の入力要素が、ゼロに略等しい所定の出力値にマッピングされるように実行される。このことの効果は、マルチビュー画像の異なる画像をレンダリングするために、当該入力要素に対応するそれぞれの画素に対して、画素シフトが適用される必要が無いか又は殆ど無いことである。画素シフトを利用しないこと又は殆ど利用しないことは、画面の平面に比較的近くに見えることに帰着する。上述したように、このことは比較的鮮明な表現が達成されること意味する。その結果、当該特定の入力要素の値から比較的大きく離れた奥行値即ち視差値を持つオブジェクトが、よりぼやけて可視化される。

本発明による方法の実施例においては、前記マッピング関数は、前記入力要素の入力値に一定値を加算すること又は前記入力要素の入力値から一定値を減算することに対応し、前記一定値は、前記特定の入力値と前記所定の出力値との間の差の計算に基づく。一般に、前記入力値と前記所定の出力値との差は、オフセットの符号に依存して加算又は減算されるべき一定値として利用されるオフセットに対応する。

本発明による方法の実施例においては、前記所定の基準は前記第１の画像に基づく。このことは、前記第１の画像の輝度値及び／又は色値の解析に基づいて、前記特定の入力値が決定されることを意味する。

本発明による方法の実施例においては、前記所定の基準は前記第１の画像に基づき、前記所定の基準は、前記特定の入力値が、前記第１の画像のそれぞれの他の画素の値の他の鮮明度値に比べて比較的高い鮮明度値を持つ、前記第１の画像の特定の画素に対応する特定の入力要素に属することである。好ましくは、前記特定の画素の鮮明度値は、前記特定の画素の輝度及び／又は色値と、前記特定の画素に隣接する画素の輝度及び／又は色値との差を計算することにより決定される。カメラにより捕捉される典型的な画像は、画像捕捉光学系の焦点にあった場面の部分が比較的鮮明になり、該場面の他の部分が比較的不鮮明に即ちぼやけたものである。本発明による方法の当該実施例の利点は、画像の捕捉の間に焦点の合っていた場面の部分が、表示装置の画面の平面にマッピングされる点である。焦点の合っていなかった該場面の他の部分は、表示装置の画面の平面の前方又は後方に見えるようになる。

本発明による方法の実施例においては、前記所定の基準は、前記特定の入力値が、所定の位置に位置する前記第１の画像の特定の画素に対応する特定の入力要素に属することである。一般に、比較的重要なオブジェクトは、画像における所定の位置に見える。なぜなら例えば、画像を作成する人物が斯かる構成を好むからである。例えば、前記所定の位置は前記第１の画像の中心に近い。例えば、１人の人物が中央に居る画像について考慮されたい。代替として、前記所定の位置は前記第１の画像の境界に近い。例えば、２人の人物が互いに会話をしており、画像のそれぞれの境界に位置する例を考慮されたい。本発明による方法の当該実施例の利点は、単純さにある。当該基準即ち座標に基づく特定の入力要素の入力値の決定は比較的容易であることに留意されたい。

本発明による方法の実施例においては、前記所定の基準は、前記第１の画像及び第３の画像に基づいて計算された動きベクトル場に基づき、前記第１の画像及び前記第３の画像は、時間的に連続する画像のシーケンスに属する。動きベクトル場の解析は、画像におけるオブジェクトの相対的な重要度についての情報も提供する。静止した背景の場合には、前方で比較的高速に移動するオブジェクトは、重要なものであると予想される。従って、前記所定の基準は、前記特定の入力値が、比較的大きな動きベクトルを持つ前記第１の画像の特定の画素に対応する特定の入力要素に属することであっても良い。代替としては、前記所定の基準は、前記特定の入力値が、比較的小さな動きベクトルを持つ前記第１の画像の特定の画素に対応する特定の入力要素に属することである。このことは、移動するオブジェクトに追従するために、カメラがパンしている場合に対応する。

本発明による方法の実施例においては、前記所定の基準は、前記特定の入力値が、前記入力視差マップの一部において比較的高い出現の頻度を持つ、とり得る入力値の範囲の値に等しいことである。本発明による当該実施例の利点は、比較的頑強であるという点である。一般に、時間的に連続する視差マップについての出現の頻度のスペクトルは、比較的一定である。連続するマルチビュー画像は、同一のオブジェクトが、表示装置の画面の平面に対して同一の奥行に留まるようにレンダリングされる。

本発明による方法の実施例においては、前記特定の入力値は、以上に記載されたような所定の基準に基づいて決定される２つの更なる入力値の組み合わせに基づく。いずれも重要ではあるが異なる視差を持つ複数のオブジェクトが場面中に存在することもあり得る。マルチビュー型表示装置において、これらのオブジェクトのうち１つを選択して比較的鮮明にレンダリングすることは、他のオブジェクトの方をぼやけるようにレンダリングすることに帰着する。妥協点を採ること、即ち双方のオブジェクトを適度に鮮明にすることは、斯かる状況においては有利である。典型的には、前記組み合わせとは、前記２つの更なる入力値の重み付けされた平均である。

本発明による方法の実施例においては、前記マッピング関数は鮮明度マップに基づくスケーリングを有し、前記鮮明度マップは、第１の画像の対応する画素とそれぞれの隣接する画素との差に基づく鮮明度値の要素を有する。典型的には、マッピング関数を定義するためには、上述したようにオフセットのみならず、スケーリング因子も必要とされる。入力画像の鮮明さに基づいて出力範囲及び従ってスケーリング因子を限定することが有利である。本発明による方法の当該実施例によれば、第１の画像の固有の鮮明さ及び対応する視差値に基づいて、最適なスケーリング因子が決定される。

本発明の他の目的は、マルチビュー表示装置において表示されるべきマルチビュー画像を計算するために出力視差マップが利用される場合に、比較的高画質のマルチビュー画像に帰着する、最初のパラグラフにおいて記載した種類のユニットを提供することにある。

本発明の本目的は、
所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定する第１の決定手段と、
前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定する第２の決定手段と、
前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするマッピング手段と、
を有するユニットにより達成される。

本発明の他の目的は、マルチビュー表示装置において表示されるべきマルチビュー画像を計算するために出力視差マップが利用される場合に、比較的高画質のマルチビュー画像に帰着する、最初のパラグラフにおいて記載した種類の画像処理装置を提供することにある。

本発明の本目的は、請求項１７に記載された、出力視差マップを計算するためのユニットを有する画像処理装置により達成される。

本発明の他の目的は、マルチビュー表示装置において表示されるべきマルチビュー画像を計算するために出力視差マップが利用される場合に、比較的高画質のマルチビュー画像に帰着する、最初のパラグラフにおいて記載した種類のコンピュータプログラムを提供することにある。

本発明の本目的は、ロードされた後に、
所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定するステップと、
前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定するステップと、
前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするステップと、
を実行する機能を処理手段に提供するコンピュータプログラムにより達成される。

出力視差マップを計算するユニットの変更及び該ユニットの変形例は、記載される画像処理装置、方法及びコンピュータプログラムの変更及びそれらの変形例に対応しても良い。

本発明による出力視差マップを計算するためのユニット、画像処理装置、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装例及び実施例に関連して、添付図面を参照しながら説明され明らかとなるであろう。

図を通して、同一の参照番号が、類似する部分を示すために利用される。

図１は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいて出力視差マップを計算するためのユニット１００を模式的に示す。出力視差マップは、第２の画像を計算するために第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する。これらのシフトは、整数シフトに対応しても良い。代替としては非整数値が利用され、このことは第２の画像の画素値を計算するために補間が必要とされることを意味する。典型的には、入力視差マップが入力コネクタ１０８において供給される。代替としては、奥行マップが入力コネクタ１０８において供給される。この場合には、奥行マップから入力視差マップへの変換が、出力視差マップを計算するためのユニット１００によって実行される。

出力視差マップは、出力コネクタ１１２において供給される。任意に、出力視差マップのセットが供給され、当該セットの視差マップがマルチビュー画像のそれぞれの画像に対応しても良い。

出力視差マップを計算するためのユニット１００は、
−所定の基準に基づいて、入力視差マップの特定の入力要素の入力値を決定するための第１の決定手段１０２と、
−前記特定の入力要素の入力値に基づいてマッピング関数を決定するための第２の決定手段１０４と、
を有し、ここでマッピングは、前記特定の入力要素の入力値が、略ゼロに等しい所定の出力値にマッピングされるような関数であり、ユニット１００は更に、
−前記マッピング関数に基づいて、前記入力要素の入力値を、出力要素のそれぞれの出力値にマッピングするマッピング手段１０６を有する。

第１の決定手段１０２、第２の決定手段１０４及びマッピング手段１０６は、１つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、該ソフトウェアプログラムは通常、ＲＡＭのようなメモリにロードされ、該メモリから実行される。該プログラムは、ＲＯＭ、ハードディスク若しくは磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が開示される機能を提供する。

任意に、出力視差マップを計算するためのユニット１００は、例えば図４及び５にそれぞれ開示されるようなビデオデータ又は動きベクトル場のような、付加的な情報を供給するための第２の入力コネクタ１１０を有する。

マッピング関数は、入力要素をそれぞれの出力要素にマッピングするための、いずれの種類の演算であっても良い。一般には、入力要素は入力範囲内の値を持ち、出力要素は出力範囲内の値を持ち、該入力範囲と該出力範囲とは異なる。図２は、入力視差マップの値の入力範囲２００、並びに第１の出力視差マップの値の出力範囲２０２及び第２の出力視差マップの出力範囲を示す。図２に示されるように、入力視差マップの入力要素は、０から１０までの範囲の値を持つ。第１の出力視差マップを計算することは、以下のステップを有する：
−第１に、所定の基準に基づいて、入力視差マップの特定の要素の入力値２０６が決定される。本例においては、該特定の要素の入力値２０６は、１．５に等しい。
−第２に、前記特定の入力要素の入力値２０６に基づいて、マッピング関数が決定される。該マッピング関数は、前記特定の入力要素の入力値２０６が、ゼロに略等しい所定の出力値２０８にマッピングされるようなものである。この場合、マッピング関数は比較的容易である。この目的のため、入力値２０６と出力値２０８との差を計算することにより、オフセットが計算される。オフセットは１．５である。
−第３に、前記マッピング関数に基づいて、前記入力要素の入力値が、出力要素のそれぞれの出力値にマッピングされる。このことは、各入力要素から、１．５であるオフセットが減算され、対応する出力要素が計算されることを意味する。結果は、第１の出力視差マップである。

任意に、表示装置に適した又はユーザの好みに対応する値の範囲２０４に値の範囲をマッピングするために、第１の出力視差マップ２０２が、第２の出力視差マップにスケーリングされる。該スケーリングは、範囲のシフトが起こらないようなもの、即ち第２の出力視差マップの特定の値２１０が、第１の出力視差マップの出力値２０８に対応するようなものであることに留意されたい。

好ましくは、マッピング関数は、鮮明度マップに基づくスケーリングを有する。該鮮明度マップは、第１の画像の対応する画素とそれぞれの隣接する画素との間の差に基づく鮮明度値の要素を有する。何らかのものが既に不鮮明である場合には、これに比較的大きな視差を与えること、即ち表示装置の画面の平面から比較的離して表示することは問題とはならない。比較的大きな視差による付加的な不鮮明さは、可視となり難い。しかしながら、ぼけを防ぐために、比較的鮮明なオブジェクトは、比較的小さな量の視差を伴ってレンダリングされるべきである。

入力視差マップを出力視差マップにスケーリングするために適用され得るスケーリング因子Ｇを決定するため、以下のストラテジが好適である。画像の画素についてそれぞれの鮮明度値を有する鮮明度マップがあり、且つ該画像の画素についてそれぞれの視差値を有する入力視差マップがあると仮定する。座標（ｘ，ｙ）を持つ画素についての鮮明度値はＥ（ｘ，ｙ）により示され、座標（ｘ，ｙ）を持つ画素についての入力視差値はＳ_ｉｎ（ｘ，ｙ）により示される。各鮮明度値Ｅ（ｉ）について、許容可能な最大視差値Ｓ_ｍａｘ（ｉ）があると仮定する。このことは、鮮明度値を最大視差値にマッピングする関数が存在することを意味する。
ｆ（Ｅ（ｉ））＝Ｓ_ｍａｘ（ｉ） （２）

一般に、該関数は、比較的低い鮮明度値が、比較的高い最大視差値にマッピングされるようなものである。該関数は、例えば以下の式に規定されるような、線形関数であっても良い。
ｆ（Ｅ（ｉ））＝Ｃ_１Ｅ（ｉ）＋Ｃ_２

許容可能な最大視差と特定の画素の入力視差との間の関係は、該特定の画素についての最大許容可能スケール因子ｇ（ｘ，ｙ）によって決定される。

全体の入力視差マップについてのスケーリング因子Ｇを決定するために、入力視差マップの最大許容可能スケール因子ｇ（ｘ，ｙ）の最小値が決定される必要がある。特定の画素についての最大スケール因子より大きな特定のスケール因子は、当該特定の画素についての許容可能な最大視差値よりも高い出力視差値に帰着することに留意されたい。従って、入力視差マップについてスケーリング因子Ｇを見つけるためには、最小のｇ（ｘ，ｙ）が決定される必要がある。
Ｇ＝ｍｉｎ_{（ｘ，ｙ）}（ｇ（ｘ，ｙ）） （４）

図３は、出力視差マップを計算するためのユニット１００の第１の実施例、及びレンダリングユニット３０２を模式的に示す。第１の入力コネクタ３１０においてビデオデータが供給され、第２の入力コネクタ３０８において、対応する視差データが供給される。一般に、このことは、各ビデオフレームについて対応する視差マップ又は代替として奥行マップが供給されることを意味する。奥行マップは、ユニット１００を有する画像処理装置においてビデオデータから導出されても良い。代替としては、視差マップが、外部的に決定され、ビデオデータと組み合わせて供給される。出力視差マップを計算するためのユニット１００の第１の実施例は、各受信された入力視差マップについて、９個の異なる出力視差マップからなるセットを決定するように構成される。レンダリングユニット３０２は、各受信された入力ビデオ画像から、前記９個の異なる出力視差マップからなるセットに基づいて、９個の出力画像からなるセットを有するマルチビュー画像を計算するように構成される。

出力視差マップを計算するためのユニット１００の第１の実施例は、入力視差マップに基づいて、マッピング関数を決定するように構成される。このことは好ましくは、視差値のヒストグラムを作成することにより、即ち種々の視差値の出現の頻度を計数することにより実行される。次のステップは、比較的高い出現の頻度を持つ特定の値を決定することである。該特定の値は、ゼロに略等しい所定の出力値にマッピングされる。ゼロに略等しいとは、レンダリングのためにシフトが適用されないか又は限られたシフトのみが適用され、これにより画像の選択された領域が表示装置の画面の平面内に見えることに対応する値の範囲を意味する。

比較的高い出現の頻度を持つ１つの特定の値を決定する代わりに、例えば２又は３個の値のような、斯かる値の限られたセットが選択されても良い。次いで、該値のセットの平均が計算され、所定の値即ちゼロにマッピングされるべき値として利用される。任意に、それぞれの決定された出現の頻度が、重み付けされた平均を計算するために値を重み付けするために利用されても良い。

値のヒストグラムを決定する代わりに又はこれに加えて、出力視差マップを計算するためのユニット１００の第１の実施例は、他の所定の基準に基づいて所定の値にマッピングされるべき特定の値を決定するように構成される。前記基準は、例えば画像の中心又は境界に位置し従ってそれぞれ中心の又は境界の視差マップに入力されるといった、座標に基づいて特定の値を選択することであっても良い。

連続する視差マップにおける一定の変化、及び結果の場面の前方向又は逆方向の移動を避けるため、連続する入力又は出力視差マップは、例えば幾つかのビデオフレームの半分の時間を持つＩＩＲフィルタを用いて、ローパスフィルタリングされる。

図４は、出力視差マップを計算するためのユニット１００の第２の実施例、レンダリングユニット３０２及び画像コンテンツ解析ユニット４０２を模式的に示す。好ましくは、画像コンテンツ解析ユニット４０２は、ビデオ画像における比較的重要な領域を決定するように構成される。ディジタル写真の応用分野から、カメラのセンサに場面をフォーカスさせるためにカメラにより感知されたプレ画像（pre-image）を利用する、幾つかの自動フォーカスアルゴリズムが知られている。一般に、プレ画像における１以上の領域が分析され、画像における高いエネルギーの量を最大化する構成にフォーカスが設定される。マルチビュー画像のためのレンダリングが問題となる設定においては、画面の平面が、画像における最も鮮明な領域に対応する奥行に設定されることが好ましい。なぜなら、これら領域は元の２Ｄ画像が捕捉されたときにフォーカスが合っていた見込みが高く、マルチビュー表示装置用のレンダリングの際にもフォーカスが合っているままであるべきであるからである。好ましくは、画像コンテンツ解析ユニット４０２は、フォーカスマップを決定するように構成される。このことは、入力画像の各画素について、相対的な鮮明度を表す値のフォーカス（ブラー半径とも呼ばれる）が決定されることを意味する。或る画素についてのブラー半径は、当該画素と隣接する画素との間の差を分析することにより計算される。輝度及び／又は色値の間の比較的大きな差は、比較的高い鮮明度値を意味する。比較的高い鮮明度を持つ画素を比較的多く持つ画像中の領域は、重要な領域であると想定される。斯かる領域から、特定の画素が選択される。例えば、斯かる領域の中心に位置する画素、又は最も高い鮮明度値を持つ画素が選択される。当該画素の座標は、入力視差マップの特定の要素を選択するために利用される。該特定の要素の値は、前記所定の値にマッピングされるべき値である。

図５は、出力視差マップを計算するためのユニット１００の第３の実施例、レンダリングユニット３０２及び動き場解析ユニット５０２を模式的に示す。動き場解析ユニット５０２は、ビデオデータの連続する画像に基づいて、動きベクトル場を計算するための動き推定器を有する。前記動き推定器は、例えばG. de Haanらによる「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transaction on circuits and systems for video technology」、vol. 3、no. 5、1993年10月、368-379頁）と題された論文に明示されている。動き場解析ユニット５０２は、動き推定器により計算された動きベクトル場を解析するように構成される。解析手段は例えば、比較的高い値を持つ動きベクトルを探し出す、又は代替として比較的低い値を持つ動きベクトルを探し出すものである。好ましくは、動き場解析ユニット５０２は、画像についての全体の動きモデルを決定するように構成される。斯かるモデルに基づいて、画像のシーケンスが移動するオブジェクトの追跡に対応するか否かを決定することが可能となる。この場合、カメラは移動するオブジェクトを追従していたことになる。背景についての動きベクトルは比較的高く、低い動きベクトルは該オブジェクトに対応する。このとき、斯かる比較的低い動きベクトルが決定された画素の１つに対応する入力視差マップの特定の要素が、前記所定の出力値にマッピングされるべき値を持つ特定の要素として選択される。

代替としては、画像のシーケンスが、前をオブジェクトが移動する静的な背景に対応する。この場合には、比較的高い動きベクトルは、移動するオブジェクトに対応する。このとき、斯かる比較的高い動きベクトルが決定された画素の１つに対応する入力視差マップの特定の要素が、前記所定の出力値にマッピングされるべき値を持つ特定の要素として選択される。

図６は、
ビデオ画像を表す信号を受信するための受信手段６０２と、
図３乃至５のいずれかにおいて開示された出力視差マップを計算するためのユニット１００及びレンダリングユニット３０２を有する処理ユニットの組み合わせ６０４と、
レンダリングユニット３０２の出力画像を表示するための表示装置６０６と、
を有する画像処理装置６００を模式的に示す。

前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Disk）のような記憶装置からの信号であっても良い。該信号は、入力コネクタ６１０において供給される。画像処理装置６００は、例えばＴＶであっても良い。代替としては、画像処理装置６００は、任意の表示装置を有さず、表示装置６０６を有する装置に出力画像を供給する。このとき、画像処理装置６００は例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理装置６００は、ハードディスク又は例えば光ディスクのような着脱可能な媒体における記憶のための手段のような、記憶手段を有する。画像処理装置６００は、映画スタジオ又は放送局により利用されるシステムであっても良い。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprise）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記したユニットの請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。「第１」、「第２」及び「第３」等といった語の使用は、いずれの順序を示すものではない。これらの語は名称として解釈されるべきである。

出力視差マップを計算するためのユニットを模式的に示す。 入力視差マップの値の範囲及び出力視差マップの値の範囲を模式的に示す。 出力視差マップを計算するためのユニットの第１の実施例及びレンダリングユニットを模式的に示す。 出力視差マップを計算するためのユニットの第２の実施例及びレンダリングユニットを模式的に示す。 出力視差マップを計算するためのユニットの第３の実施例及びレンダリングユニットを模式的に示す。 本発明による出力視差マップを計算するためのユニットを有する画像処理装置を模式的に示す。

Claims (19)

1. 第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するための方法であって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づき、前記方法は、
   所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定するステップと、
   前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定するステップと、
   前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするステップと、
   を有する方法。
2. 前記マッピング関数は、前記入力要素の入力値に一定値を加算すること又は前記入力要素の入力値から一定値を減算することに対応し、前記一定値は、前記特定の入力値と前記所定の出力値との間の差の計算に基づく、請求項１に記載の方法。
3. 前記所定の基準は前記第１の画像に基づく、請求項１又は２に記載の方法。
4. 前記所定の基準は、前記特定の入力値が、前記第１の画像のそれぞれの他の画素の値の他の鮮明度値に比べて比較的高い鮮明度値を持つ、前記第１の画像の特定の画素に対応する特定の入力要素に属することである、請求項３に記載の方法。
5. 前記特定の画素の鮮明度値は、前記特定の画素の輝度及び／又は色値と、前記特定の画素に隣接する画素の輝度及び／又は色値との差を計算することにより決定される、請求項４に記載の方法。
6. 前記所定の基準は、前記特定の入力値が、所定の位置に位置する前記第１の画像の特定の画素に対応する特定の入力要素に属することである、請求項１又は２に記載の方法。
7. 前記所定の位置は前記第１の画像の境界に近い、請求項６に記載の方法。
8. 前記所定の位置は前記第１の画像の中心に近い、請求項６に記載の方法。
9. 前記所定の基準は、前記第１の画像及び第３の画像に基づいて計算された動きベクトル場に基づき、前記第１の画像及び前記第３の画像は、時間的に連続する画像のシーケンスに属する、請求項３に記載の方法。
10. 前記所定の基準は、前記特定の入力値が、比較的大きな動きベクトルを持つ前記第１の画像の特定の画素に対応する特定の入力要素に属することである、請求項９に記載の方法。
11. 前記所定の基準は、前記特定の入力値が、比較的小さな動きベクトルを持つ前記第１の画像の特定の画素に対応する特定の入力要素に属することである、請求項９に記載の方法。
12. 前記所定の基準は、前記特定の入力値が、前記入力視差マップの一部において比較的高い出現の頻度を持つ、とり得る入力値の範囲の値に等しいことである、請求項１又は２に記載の方法。
13. 前記特定の入力値は、請求項１乃至１２のいずれか一項に記載の前記所定の基準に基づいて決定される２つの更なる入力値の組み合わせに基づく、請求項１又は２に記載の方法。
14. 前記組み合わせとは、前記２つの更なる入力値の重み付けされた平均である、請求項１３に記載の方法。
15. 前記マッピング関数は鮮明度マップに基づくスケーリングを有し、前記鮮明度マップは、第１の画像の対応する画素とそれぞれの隣接する画素との差に基づく鮮明度値の要素を有する、請求項１に記載の方法。
16. 前記マッピング関数は、前記鮮明度マップに基づくクリッピングを有する、請求項１５に記載の方法。
17. 第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するためのユニットであって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づき、前記ユニットは、
    所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定する第１の決定手段と、
    前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定する第２の決定手段と、
    前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするマッピング手段と、
    を有するユニット。
18. 第１の画像に対応する信号を受信する受信手段と、
    請求項１７に記載の出力視差マップを計算するためのユニットと、
    前記第１の画像及び前記出力視差マップに基づいて第２の画像を計算するレンダリング手段と、
    を有する画像処理装置。
19. 第２の画像を計算するため、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを計算するための命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づき、前記コンピュータ装置は、処理手段とメモリとを有し、前記コンピュータプログラムは、ロードされた後、
    所定の基準に基づいて入力視差マップに基づいて特定の入力値を決定するステップと、
    前記特定の入力値がゼロに略等しい所定の出力値にマッピングされるようなマッピング関数を、前記特定の入力値に基づいて決定するステップと、
    前記マッピング関数に基づいて、前記入力要素の入力値を、前記出力要素のそれぞれの出力値にマッピングするステップと、
    を実行する機能を前記処理手段に提供するコンピュータプログラム。

Images