JP2023501175A - 仮想画像におけるピクセルの透明度値及び色値を設定する画像処理方法 - Google Patents

Abstract

仮想画像内のピクセルの透明度設定及び色値を選択する方法が提供される。仮想画像は異なる角度で撮影された基準画像を組み合わせて、オブジェクトを新しい、キャプチャされていない角度で見る仮想画像を生成することによって形成することができる。この方法は、仮想画像の各ピクセルについて、それが基準ビュー画像からどの情報を有するかを決定することを含む。ピクセルの情報は、ピクセルカテゴリを定義するために使用され、このカテゴリは、論理条件に基づいて、どの情報がそのピクセルによって表示されるかを選択し、ピクセルの色を設定するために使用される。

Description

本発明は画像処理の分野に関し、より詳細には、基準ビュー画像の組み合わせから仮想画像を生成する分野に関する。本発明は特に、仮想画像内のピクセルの透明度値及び色値を設定する方法に関する。

オブジェクトの仮想画像は、複数の異なる視点からキャプチャされたオブジェクトの基準ビュー画像を組み合わせて作成されることができる。基準ビュー画像の組み合わせから生成されることができる仮想画像は、基準ビュー画像がキャプチャされなかった角度を含む任意の角度からオブジェクトを観察するように生成されることができる。

基準ビュー画像は、しばしばクロマキー背景に対してキャプチャされて、結果としてのターゲットの仮想画像は、例えば、バーチャルリアリティまたは拡張現実（VR/AR）において様々なグラフィック背景上で使用されることができる。基準ビュー画像の組み合わせから形成される仮想画像は、基準ビュー画像の各々からの背景領域及び/又はオブジェクト領域の任意の組み合わせの重複領域を含む可能性がある。

既存の画像処理技術は、画像内のレイヤの色値と透明度値との線形結合によって表面ピクセルの色を計算することによってレイヤ化された画像に対処する。US 2009/102857はこの技術の一例であり、表面ピクセルの透明度の値、下のピクセルの透明度、および下のピクセルの色に従って、表面ピクセルの色を計算する。

米国特許出願公開第2009/102857号のような線形結合技術は、仮想画像上で使用されるときに疑似透明度の領域を導入する。疑似透明度のこれらの領域は、各基準ビュー画像からのオブジェクトのエッジの近くで発生し、これは、基準ビュー画像の重複する組み合わせから形成される仮想画像が疑似透明度の多くの領域を含むことができることを意味する。

疑似透明度領域は一般に、ゴースト領域と呼ばれる。これらのゴースト領域は、オブジェクトと共に使用されるグラフィックス背景がオブジェクトを通して見えてしまう事態を引き起こし、仮想画像の品質、ひいては仮想画像が使用され得るVR/ARの品質を低下させる。VR/ARのユーザは、参加しているシナリオへの没入感を失う可能性があり、オブジェクトを見るかまたは読み取ることを妨げるゴースト領域のために、それらに必要なタスクを実行できない可能性がある。

したがって、ゴースト領域を引き起こすことなく、仮想画像内のピクセルの透明度および色値を設定することができる画像処理方法が必要とされている。

本発明は、特許請求の範囲により規定される。

本発明の一態様による例によれば、仮想画像において、複数の仮想画像ピクセルのそれぞれの色値および透明度値を設定する方法が提供され、当該方法は、

不透明なオブジェクトの複数の基準ビュー画像を受信するステップであって、複数の基準ビュー画像の各々は、異なる視点からキャプチャされる 、ステップと、

前記複数の基準ビュー画像を結合して前記オブジェクトの仮想画像を生成するステップであって、前記仮想画像は、前記複数の基準ビュー画像のいずれとも異なる視点にあり、各基準ビュー画像ピクセルは、マッピングによって仮想画像ピクセルに対応する、ステップとを有し、前記仮想画像を生成するステップは、

複数の仮想画像ピクセルの各々について、複数の基準ビュー画像の各々からの対応するピクセルから導出される、少なくとも前景情報及び背景情報の成分を含む透明度情報を決定するステップ、

前景情報及び背景情報の成分の組み合わせに基づいて複数の仮想画像ピクセルの各々を分類するステップ、

オブジェクトのエッジから離れた領域について、前景または背景情報を表示するために、それらの分類に基づいて、複数の仮想画像ピクセルの各々について2値透明度値を選択するステップ、表示されるように選択された前景または背景情報に基づいて、複数の仮想画像ピクセルの各々の色値を設定するステップを有する。

複数の基準ビュー画像の各々は、奥行き情報を含むことができる。基準ビュー画像ピクセルと仮想画像ピクセルとの間のマッピングは、奥行き情報に基づくことができる。

この方法は、異なる角度又は視点から撮影された複数の基準画像から形成された仮想画像内の各ピクセルを分類する。仮想画像は、基準画像を組み合わせることによって作成され、これは、仮想画像の各ピクセルが、複数の基準画像からの情報成分を使用して構築されることを意味する。基準ビュー画像の各ピクセルは、少なくとも1つの仮想画像ピクセルにマッピングされる。複数の仮想画像ピクセルの各々にマッピングされた透明度情報成分（例えば、基準ビュー画像1からの前景情報及び基準ビュー画像2からの背景情報）を決定することができ、前景/背景情報成分の組み合わせに基づいて各ピクセルのための分類を生成する。仮想ピクセル分類は、どの成分が表示されるべきかを決定するために使用され、その後、仮想画像ピクセルの色が特定のそれぞれの値に設定される。表示されるべき透明度情報の成分の1つを選択することによって、本発明は、オブジェクトの仮想画像が、オブジェクトに重なる背景アーチファクトを含まないこと、または、オブジェクトが（緑のスクリーンのような）クロマキー上でキャプチャされた場合、背景の上に投影されたときにゴーストを引き起こさないことを保証する。

透明度値は、ピクセルが前景にあるか背景にあるかを示す。

構築された仮想画像の各ピクセルは、例えば、RGBA値を含み、アルファチャネル（A）は、必要とされる背景/前景情報を含む。基準画像は、RGBAピクセルと同じフォーマットで符号化されてもよい。それらは、仮想画像を生成するためにワープされる。基準画像はまた、典型的には、カメラシフトがローカルの3D情報によって誘導されるワープされた画像をもたらすように、3D情報を含む関連する奥行きまたは視差マップ（D）を有する。したがって、基準画像は、5つのチャネル、すなわちRGBADを含むことができる。

基準ビューピクセルの各々は、例えば、前景情報、背景情報又は未確定情報の形の透明度情報を含み、透明度情報を決定することは、複数の仮想画像ピクセルの各々について未確定成分を決定することをさらに含む。

したがって、基準画像内のピクセルは、前景、背景または未確定として符号化され得る。複数の基準画像からのこれら3つの状態の組み合わせは、各ピクセルに対する分類を決定し、次に透明度情報を決定する。

オブジェクトのエッジ領域は背景成分と前景成分との組み合わせを含む可能性があり、ゴースト効果の原因となる可能性がある。この未確定成分は、ゴースト領域が識別されることを可能にする。

仮想画像ピクセル（本明細書でピクセルと呼ぶ）の分類は、未確定領域の成分と前景情報との組み合わせを含むピクセルについてのゴースト領域の分類をさらに含み得る。

この分類は、ゴースト領域が位置特定されて補正の対象とされることを可能にする。

本方法は、前景情報のみの成分を含む透明度情報を有する仮想画像ピクセルの各々について、前景に対応する透明度値を選択するステップを含むことができる。

表示のために前景情報のみを選択することは、ゴースト領域によって導入されるオブジェクトの表面上での背景色の存在を除去するのに役立つので、ゴースト効果を除去するのに寄与することができる。さらに、画像の背景情報成分が、前景成分と背景成分の両方を含むピクセルにおいて前景情報成分にオーバーレイしないことを保証することができる。

背景情報および未確定成分の成分の組み合わせのみ、または複数の未確定成分の組み合わせのみを含む透明度情報を有するすべての仮想画像ピクセルについて、前景に対応する透明度値を選択することによって、仮想画像内にオブジェクトの新しい外側境界を作成することができる。

この新しい外側境界は、基準ビュー画像からの重なり合った境界を単一の連続した外側エッジに接続することができる。

ピクセル分類のこの選択は、オブジェクトの重なり合う基準ビュー画像の外側境界にあるか、またはその近くにあるピクセルを選択し、新しい外側境界を定義する際に生じ得るオブジェクトサイズの縮小を低減する。

本方法における色値の設定は、各ピクセルに対応する基準ビュー画像ピクセルからのそれぞれの前景情報成分の平均色値として前景情報の成分のみを含む透明度情報を有するピクセルの各々のそれぞれの色値を設定してもよい。重み付けされた組み合わせが使用されてもよく、ターゲット仮想視点が特定の基準ビューにより近い場合に、重みがより高くなる。

これにより、基準ビュー画像が、照明、反射及び/又は異なる面で異なる色を有するオブジェクトに起因して、オブジェクトを異なる色で示すことができるので、仮想画像内のオブジェクトは、その表面にわたる色の円滑な遷移を有することが可能になる。

本方法は、仮想画像の全てについて2値透明度値を選択するステップを含むことができる。したがって、仮想画像全体のピクセルは、前景または背景として分類されることができる。

透明度の一方の限界値は背景用であり、他方の限界値は前景用である。オブジェクトのエッジの領域に対して、これらの限界値の間の透明度値を設定することができる。

このようにして、オブジェクトのエッジにおける背景への色遷移の鮮明さを低減することができる。

本方法は、例えば、未確定成分を含み前景成分を含まない透明度情報を有する複数の仮想画像ピクセルのそれぞれに対して、ピクセルと少なくとも1つの隣接ピクセルとの間の色差を用いてピクセルの各々の透明度値を設定することを含む。

未確定成分を含み前景成分を含まない仮想画像ピクセルは、オブジェクトのエッジを定義するものである。これらは、２進前景/背景設定ではなく、中間透明度値に設定される。透明度は、前景情報を含む隣接する仮想画像ピクセルの色に基づいて設定される。

これは、オブジェクトのエッジと新しい背景との混合を可能にし、鮮明でなく非現実的に見えない円滑な遷移を可能にする。透明度は隣接ピクセルの色差を使用して計算されることができ、既知の（例えば、緑色の）背景色との色差は、隣接ピクセルに対するユークリッド距離重み付け組み合わせを使用して計算されることができ、または、当技術分野で知られている他の平均化方法、およびそれらの任意の組合せを使用して計算されることができる。

複数の仮想ピクセルの各々の透明度情報成分は、複数の仮想ピクセルのそれぞれに対応する基準ビュー画像ピクセルの色から導出され得る。仮想画像ピクセルを形成するために組み合わされる各基準ビュー画像ピクセルは、仮想画像ピクセルにある程度の色を寄与する。この色を使用して、ピクセルが画像背景の一部またはターゲットオブジェクトの一部を表示しているかどうかを判定することができる。

基準ビュー画像の背景はクロマキー背景であってもよい。

これは、背景が既知の一貫した色であるので、色選択によって背景および前景成分を識別することを簡単にする。

前記方法は、コンピュータ上で実行されるときに本方法を実施するように適合されたコンピュータプログラムコード手段を含むコンピュータプログラムであってもよい。

画像処理装置も提供され、画像処理装置は、

オブジェクトの複数の基準ビュー画像を受信するための入力であって、複数の基準ビュー画像の各々は、異なる視点から取り込まれた前景情報および背景情報を含む、入力と、

複数の基準ビュー画像を処理して仮想画像を生成するプロセッサと、前記仮想画像を出力するための出力と、を有し、前記プロセッサは、上記で定義された方法を実装するように構成される。

本発明のこれらおよび他の態様は以下に記載される実施形態から明らかになり、これらを参照して説明される。

本発明をより良く理解し、本発明をどのように実施することができるかをより明確に示すために、単なる例として、添付の図面を参照する。
背景を見ることができる半透明ウィンドウの基準ビュー画像をキャプチャするための例示的なセットアップを示す図。 クロマキー背景の前にあるオブジェクトの基準ビュー画像をキャプチャするための例示的なセットアップを示す字。 クロマキー背景に対するオブジェクトの基準ビュー画像をキャプチャする2つの基準カメラの上面図の一例を示す図。 本発明の方法で使用するための分類を有する2つの基準ビュー画像から形成された仮想画像の一例を示す図。 本発明の一例のステップによるフローチャート。 本発明の実施例に従って色及び透明度値が設定された後の図3の仮想画像を示す図。 画像処理装置を示す図。

本発明は、図面を参照して説明される。

詳細な説明および特定の例は、装置、システムおよび方法の例示的な実施形態を示しているが、例示のみを目的としたものであり、本発明の範囲を限定することを意図したものではないことを理解されたい。本発明の装置、システムおよび方法のこれらおよび他の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および添付の図面からより良く理解されるであろう。図面は単に概略的なものであり、一定の縮尺で描かれていないことを理解されたい。また、同じ参照番号が同じまたは類似の部分を示すために、図面全体にわたって使用されることを理解されたい。

本発明は、仮想画像内のピクセルの透明度値及び色値を設定する方法を提供する。仮想画像は、異なる角度で撮影された基準画像を組み合わせて、オブジェクトを新しい、キャプチャされていない角度で見る仮想画像を生成することによって、形成されることができる。この方法は、仮想画像の各ピクセルについて、基準ビュー画像からのどの情報を有するかを決定することを含む。ピクセルの情報は、ピクセルカテゴリを定義するために使用され、このカテゴリは、論理条件に基づいて、どの情報がそのピクセルによって表示されるかを選択し、そのピクセルの色値および透明度値を設定するために使用される。本発明は特に、オブジェクトの仮想画像と、常にオブジェクトよりも遠くにあると仮定される新しい背景との混合に関する。

本発明を詳細に説明する前に、まず、画像の透明度および奥行きに関する問題、ならびに異なる視点から新しい画像（「仮想画像」と呼ばれる）を作成するための従来の手法について説明する。

図1Aは、マルチカメラキャプチャにおける透明度の発生の一例を示す。キャプチャされているシーンは、前景100を有するオブジェクトと背景102とを有し、半透明ウィンドウ104を通して背景102が見える。シーン全体が一組のカメラ106によってキャプチャされ、その各々は基準画像を生成する。画像は、カメラのセット106の各カメラとは異なる視点における仮想カメラ108からの新しい画像を生成するために処理される。この新しい画像は仮想画像と呼ばれる。これは、仮想的なカメラ位置、すなわち、実際のカメラ画像が利用できない位置からキャプチャされるであろう画像であることを意味する。

半透明ウィンドウ104については、各カメラ106は、前景100と背景102との異なる混合を見る。仮想カメラ108の視点からの新しい仮想画像を合成するための標準的なアプローチは、ポーズ近接、デオクルージョン（伸張）、および場合によっては奥行きに基づいて、2つ以上の基準ビューのワープされたバージョンを重み付けすることである。合成するビューのポーズが基準ビューのポーズに近い場合、この素朴なアプローチは十分な画質を与えることができる。

図1Bは、クロマキーを使用する場合の透明度の関連性の例を示す。この場合、背景は、緑などの既知の色のスクリーンに設定される。これにより、画像処理において背景から前景を容易に抽出することができる。

これは、キャプチャされるべきオブジェクトが不透明であり、その外側境界の外側では（背景スクリーンを示すように）完全に透明であると考えられるという点で、透明度の特別な場合である。もちろん、オブジェクトは、閉じた中実形状である必要はなく、それを通してスクリーンが見える開口部を有していてもよい。

ここでの問題は、緑のスクリーンの背景102を新しい背景に置き換えて仮想画像を生成する必要があるため、より深刻である。たとえば、前景が別の背景上にスーパーインポーズされ、所望の画像全体が作成される。透明度が無視される場合、緑色成分を依然として含む混合ピクセルは、オブジェクト境界に残る。これは、透明度を無視する素朴なビューブレンディング方法を使用する場合、または線形結合方法を使用する場合、非常に目につく。

クロマキーに対する標準的なアプローチは、透明度マップを計算することである。標準的なアルファマッティング式を使用して、ピクセルの画像色は、前景色と背景色の線形結合、i= αf+(1-α)bとして記述できる。

この式において、iは決定されるピクセル色、fは前景色、bは背景色、αは透明度値である。この式は、ピクセルごとに画像全体に適用され、透明度マップが作成される。

クロマキーイングに使用される特定の背景の色特性（緑など）が与えられると、あるピクセルに対する前景色fおよび透明度値αは、文献に存在する多くのアルゴリズムの1つを使用して推定されることができる。色データは、それを既知の背景色と比較することによって、各基準画像ピクセルの透明度を決定するために使用されることができる。ピクセル色=クロマキー色である場合、ピクセルは透明にある。ピクセルが分数量のクロマキー色のみを含む場合、それは半透明である。それがクロマキー色を全く含まない場合、それは透明ではない。

この目的のために、異なるアルゴリズムが存在する。それらは、典型的には、ピクセルの周りのローカル近傍における処理と組み合わせて、背景材料の既知の色特性を使用する。緑スクリーンがなくても、透明度は、奥行きマップ内の検出された奥行きステップの周りで依然として推定されることができる。このような状況では、混合ピクセルは、通常、デフォーカスされた前景エッジの周囲に存在する。

αの値は、0と1との間で変化する。本明細書では、前景色が見えるゼロの透明度を1が示し、背景色が見える完全な透明度を0が示す表記法が選択されている。

したがって、画像の透明度（α=0）は背景が可視である領域であり、画像の透明でない領域（α=1）は、前景が可視である領域である。

典型的には、ピクセルの小さな近傍がこれらの変数を推定するために使用される。k=1…N基準ビュー画像に適用され、奥行きセンサまたは奥行き推定処理から生じる遠近感の存在を考慮すると、以下のデータが得られる:
f_1, d₁, α₁, b₁

…
f_N, d_N, α_N, b_N

このデータは、仮想画像のピクセルに対応する、基準画像1…Nのそれぞれのピクセルについてのものである。仮想画像は、全体として、このデータの多くのセットを使用して、そのピクセルの全てに対する値を決定する。

緑スクリーンの全ての元のピクセルに対して、クロマキーカラーのみが見られるのでα=0である。前景オブジェクト上のピクセルについては、クロマキーカラーのいずれも見られないので、α=1である。境界上または透明領域内のピクセルについては、ピクセル色の一部がクロマキー色であるので、0≦α≦1である。

透明度マップ、すなわち、画像全体に対する値のセットは、単一の基準ビューを新しい背景と混合するために使用されることができる。しかしながら、複数の基準ビューを使用する既知のレンダリングアプローチは、透明度を扱うことができない。

現在、複数の基準ビューは、それぞれ、合成される視点にワープされ、その後、複数の予測がブレンドされて、単一の新しい合成ビュー（仮想画像）が予測される。以下の式は、単一の仮想画像ピクセルの色を、その特定の仮想画像ピクセルにマッピングされる各基準ビュー画像からの基準ビュー画像ピクセルに基づいて、計算する:

ここで、iの上のチルダ"~"は、重み付き予測を形成するために結合される前に基準ビュー画像がワープされたことを示す。この式において、値wは、基準ビュー画像の各々または基準ビュー画像の各々のピクセルに与えられる重み付け係数である。沿え字のある

の値は、特定の基準ビュー画像内のピクセルの色値を指し、基準ビュー画像は、下付きの番号として与えられる。添え字のない

は、全ての基準ビュー画像ピクセルが対応する仮想画像ピクセルの計算された色値である。

2つの間のマッピングが基準画像と基準画像の所望の視点との間で変化するので、どの基準ビュー画像ピクセルが仮想画像ピクセルに対応するかを決定するために、基準ビュー画像は結合の前にワープされる。この式は、各仮想画像ピクセルに対して適用され、その対応する基準画像ピクセルに基づいてその色を決定しなければならない。上記の式は、αの存在を無視するに過ぎない。

率直なアプローチは、色が平均化される方法と同様の方法で、αをワープさせて重み付けすることである。この場合も、プロセスは、単一のピクセルについての値を、その特定の仮想ピクセルにマッピングする基準画像ピクセルの特性に基づいて、計算し、各仮想ピクセルについて実行されなければならない。ここでも、値ｗは、基準ビュー画像の各々または基準ビュー画像の各々のピクセルに与えられる重み係数である。添え字を付したα値は、特定の基準ビュー画像内のピクセルの透明度値を指し、基準ビュー画像は、添え字の数によって特定される。添え字のないαは、基準画像ピクセルの各々が下式に対応する仮想画像ピクセルに対する計算された透明度値である:

結果として得られる仮想画像ピクセルの色

および透明度

を使用して、キャプチャされたマルチビュー前景オブジェクトを新しい（グラフィックス）背景上に合成することができる。

しかしながら、透明度を扱うこのアプローチは、前景オブジェクトの境界の周りにアーチファクトをもたらす。

図2は、グリーンスクリーン102の前に前景オブジェクト202をキャプチャするための2つの基準カメラ106、C₁、およびC₂を示す。

基準ビューの透明度値の素朴な重み付けされた組み合わせは、背景が前景オブジェクトを通して「光る」ゴースト領域200をもたらす。これらの半透明ゴースト領域200は、この方法によって生成された前景オブジェクト202の境界付近に生じる。

図2は、グリーンスクリーン102に沿った異なる領域を示す。2つの基準カメラ106は、それらの領域に向くと、シーンの異なる部分を見ることになる。最初の領域はB₁、B₂と表示される。これは、第1のカメラC₁が、その方向を撮影するときに背景情報B₁ を観察し、第2のカメラC₂が、その方向を撮影するときに背景情報B₂ を観察することを意味する。最後の領域はF₁、F₂と表示される。これは、第1のカメラC₁がその方向を撮影するときに前景情報F₁を観察し、第2のカメラC₂がその方向を撮影するときに前景情報F₂を観察することを意味する。他の領域では、基準画像間に矛盾がある。Uは、境界に近い未定義領域を示す。

オブジェクトの3D形状は、ゴースト問題を引き起こす可能性がある。しかしながら、奥行き推定及び/又はフィルタリング誤差もこの問題を引き起こす可能性がある。

図3は、シーンを撮像するために使用された2つの異なる位置に配置された基準カメラからワープされた前景オブジェクトの2つの楕円形画像300, 302を示す。

図2のように、2つの文字の組み合わせは、各々のワープされた基準ビューについて、ピクセルが前景ピクセル（F）、背景ピクセル（B）、または前景と背景の両方からの着色を特徴とする未確定なピクセル（U）であるかどうかを示す。添字は、ピクセルが、どの参照ビュー画像から、従ってどちらのカメラから、発生したかを示す。

カメラC₁によってキャプチャされたオブジェクト202の基準ビュー画像は、楕円300である。これは、カメラC₂によってキャプチャされたオブジェクト202の基準ビュー画像、楕円302と組み合わされている。基準ビュー画像楕円の一方のエッジが他方の基準ビュー画像楕円の内部と重なる仮想画像内の領域がゴースト領域200を生成する。

次に、本発明のアプローチについて説明する。

図4は、仮想画像において、複数の仮想画像ピクセルに対するそれぞれの色値及び透明度値を設定するための方法400を示す。

ステップ402において、オブジェクトの複数の基準ビュー画像が受信される。複数の基準ビュー画像の各々は、異なる視点からキャプチャされた前景情報及び背景情報を含む。

次に、ステップ403において、基準ビュー画像は、各参照画像のピクセル間に単一の仮想画像へのマッピングが存在するようにマッピングされる。このマッピングは、各基準画像の視点に依存し、例えば、画像をワーピングし、結合することを含む。そして、基準画像のピクセルと仮想画像のピクセルとの間に対応がある。特に、仮想画像の各ピクセルの内容は、基準画像からの「対応する」（すなわち、マッピングによってリンクされた）ピクセルの内容から決定される。典型的にはこれは多対1マッピングであるが、これは必須ではない。例えば、遮蔽のために、2つ以上の入力ピクセルが1つの同じ出力にマッピングされる。

次に、ステップのセット404が実行されて、複数の基準ビュー画像を結合して、オブジェクトの仮想画像を生成する。仮想画像は、複数の基準ビュー画像のいずれとも異なる視点にある。

ステップ406では、少なくとも複数の仮想画像ピクセルの各々に対する前景情報及び背景情報の成分を含む透明度情報が決定される。これらの成分は、複数の基準ビュー画像の対応するピクセルから導出する。

例えば、図3の画像の1つの領域はB₁、F₂と表される。B₁は基準画像カメラC₁から得られた背景情報の成分であり、F₂は基準画像カメラC₂から得られた前景情報の成分である。

その領域の1ピクセルに対して、セットB₁、F₂ は「前景情報と背景情報の成分」を構成する。

ステップ408において、複数の仮想画像ピクセルの各々は、前景情報及び背景情報の成分の組み合わせに基づいて分類される。

分類は、どの成分が表示されるべきかを決定するために使用される。具体的には、仮想画像内の各ピクセルについて、複数の基準ビュー画像内の対応するピクセルから（すなわち、基準画像から仮想画像を導出するために使用されるマッピングに基づいて）導出する前景/背景情報の成分が決定される。ピクセルは、前景/背景情報の成分に従って分類される。次に、透明度値を導出することができる。透明度値は、最も単純な実装では「前景」または「背景」に対応するバイナリ成分のみを持つことができる。以上の説明から明らかなように、透明度データは、色データから導出されてもよい。透明度値によって、前景のシーンデータが記録されているかまたは背景のシーンデータが記録されているかが決まる。グリーンスクリーンの色は基本的に測定され、透明度値は、観察される色がグリーンスクリーンの色にどれだけ近いかに依存する。より洗練された方法が存在する。

本発明は、前景/背景/未確定情報（F、B及びU）の成分の透明度に対する非線形依存性を利用する。これは、例えば、3つの異なる成分の1つによる基準の各ピクセルの分類である:

ここで、Fは明確に前景を意味し、Bは明確に背景を意味し、Uは「未確定」ピクセルを示す。Δは、ピクセル透明度αが比較される閾値透明度値である。閾値透明度は、撮像されているオブジェクトに応じて設定されてもよく、0.5以下であってもよい。

あるいは、ピクセルは、例えば以下のように、無関係な範囲に従って分類されてもよい:

クロマキーイングの例では、これらの未確定なピクセルは、混ざり合った色値を持つピクセルであり、背景の色が出力色においてまだ見える。いくつかの例では、より多くの分類が、特に様々なレベルの透明度を有するオブジェクトに対して、使用されてもよい。複数の前景オブジェクトを持つ画像や、さまざまな透明度を持つオブジェクトでは、各オブジェクトまたは各オブジェクトの領域に対応する複数の前景分類が存在してもよい。

全ての取り得る値がF及びBのみによって包含されることを保証するようにαの閾値を調整することができるので、本発明は、F及びB成分のみで実施することもできる。

ステップ410では、前景情報または背景情報のいずれかが、それらの分類に基づいて、複数の仮想画像ピクセルの各々によって表示されるように選択される。これは、2つの二進数値のうちの1つから透明度値を選択することを含む。従って、仮想画像ピクセルは、ゴースト問題を回避するために、前景又は背景情報のみを2進法で表示するように選択される。これについては、以下でさらに説明する。

ステップ412において、複数の仮想画像ピクセルの各々の色値が、表示されるように選択された情報に基づいて設定される。

再び図3を参照すると、ゴースト領域は、成分の組み合わせの以下のセットからのものである:
C₁, C₂ = {(F₁, U₂),(U₁, F₂)}

この値のセットは、仮想画像のその部分の性質の分類を表す。特定のピクセルに対するこの分類は、適切な透明度値を符号化することによって、どの成分がピクセルによって表示されるかを選択するために使用され、それぞれの色を設定するために使用される。

基準ビュー画像の透明度情報に基づいて表示する成分を選択し、色を設定するアルゴリズムの一例を以下に示す:
if (C₁==F)

if (C₂==F)

基準色の重み付けを作成し、出力透明度を1に設定する

（すなわち、透明度設定=前景）

else 透明度1 のFを選択する（すなわち、透明度設定= 前景）
else

if (C₂==F)

透明度1のFを選択（すなわち、透明度設定= 前景）

else

透明度0の任意の色を選択する（すなわち、透明度設定=背景）

この例のアルゴリズムは、次の場合には常に0に等しい透明度を返す:
C₁, C₂=U₁, U₂

この場合、分類が正しく行われる限り、正確な透明度推定の必要はない。上記のアルゴリズムは、0または1のいずれかの透明度値（したがって、背景または前景として分類されるピクセル）のみを戻し、したがって、中間値は生成されない。

図5は、上記のアルゴリズムを図3の仮想画像に適用して作成された仮想画像の一例を示す。全ての基準ビューの組み合わされた投影前景は、楕円形画像300,302の組み合わせである新しい外側境界をもたらす。この新しい外側境界は、以下のクラスの組み合わせによって識別可能である:
C₁, C₂ = {(B₁, U₂), (U₁, B₂), (U₁, U₂)}

これらは、未確定成分を含み、前景成分を含まない透明度情報を有する仮想ピクセルである。

例えば、上記の例示的なアルゴリズムは、任意の所望の色を選択し、新しい背景と混合するために、新しい外側境界ピクセルを完全に透明にする。しかしながら、これの影響は、オブジェクトの外縁の周りの点で生じる未確定情報のみの成分を有するピクセルが透明にされるので、前景オブジェクトのサイズがわずかに低減されることである。

別の問題は、オブジェクトが背景への鮮明な色遷移を有するように見えることである。各仮想画像ピクセル1...Nの前景色f₁ ... f_N及び対応する透明度値α₁ ... α_Nが正確に知られている場合、それらは、エッジを新しい背景と混合するために直接使用されることができる。しかしながら、実際には、これらのパラメータを正確に推定することは非常に困難である。

したがって、本発明の一例は、この境界領域に対して中間透明度値を使用することができる。したがって、オブジェクトのエッジの領域については、限界値の間に透明度値を設定することができる。このエッジ領域内のピクセルの各透明度値は、少なくとも1つの隣接ピクセルの色を使用して設定されることができる。

このようにして、オブジェクトの新しい外側境界を混合する方法を実施することができる。この方法は、仮想画像の各ピクセルに対して、当該ピクセルの隣、周囲または近傍の空間近傍からの純粋な前景ピクセルを使用して、前景色

の推定値を形成する。これらの前景ピクセルは、定義として、ワープされた基準ビューのいずれか1つにおける前景を含むピクセルセットからのものである:
C₁, C₂ = {(F₁, B₂), (B₁, F₂), (F₁, F₂)}

平均化で使用されているピクセルに対して、両方の前景が使用可能である場合、当該方法は、基準ビュー画像の一方から1つの色を選択するか、その2つの平均の色値を使用することができる。結果として得られる透明度は、現在の（未確定の）ピクセルと近傍のピクセルとの間の色差から、及び／又は、近傍のピクセルに対するユークリッド距離による重み付けの組み合わせとして、及び／又は、当技術分野で知られている他の平均化若しくは重み付け方法を用いて計算されることが可能である。

オブジェクトのエッジに近づくにつれて、クロマキー色であるピクセル色の割合が増加するので、オブジェクトの境界に向かうほど出力ピクセルはより透明になるはずである。これは、オブジェクトの新しい外側境界を背景と滑らかに混合させる。

本発明は、実施例で使用される2つよりも多くの基準ビューを使用することに一般化される。この場合も、複数の基準ビューから導出されたピクセルクラスの組み合わせを使用して、出力色（複数の色の選択または混合）および出力透明度の設定を決定することができる。

上述のアプローチは、ピクセル分類に基づく透明度の二値選択とともに、基準画像ピクセルを処理するための非線形方法である。これは、（オプションで完全に透明な領域を有するが）不透明なオブジェクトに関連して上述されている。

オブジェクトが半透明領域を有する場合、上述のアプローチを修正することができる。例えば、最も透明でない基準画像が支配的であってもよく、その透明度の値が、仮想画像ピクセルに対する出力透明度値として使用される。これは、例えば、曇った、霧状の又は汚れたウィンドウの画像、又は毛髪の画像を処理することを可能にする。最小透明度を選択する代わりに、非線形選択を行うことができる。

基準画像を結合するプロセスのGPU実装を以下に示す。

このコードは、基準ビュー画像からの2ベクトル成分（ピクセルのx, y位置）を受信し、4ベクトル（3つの色成分及び透明度成分）を出力する。2つの基準ビュー画像ピクセルt1およびt2について、それらの不透明度「a」は、不透明度基準「opaque = 0.9f」と比較される。両方の基準画像ピクセルがこの不透明度閾値を満たすかまたは超えることが分かった場合、仮想ピクセルt3の色はt1とt2の混合として設定され、仮想ピクセルの不透明度は1.0に設定される。

不透明度基準によると両方の基準画像ピクセルが不透明でない場合、それらの不透明度が比較される。仮想画像ピクセルt3は、最も不透明な基準画像ピクセルの色及び不透明度に一致するように設定される。この場合、仮想画像ピクセルは、0でも1でもないが中間値である不透明度を有することができる。

図6は、画像処理装置600を示す。入力602は、カメラのセット106によってキャプチャされたオブジェクトの複数の基準ビュー画像を受信する。

プロセッサ604は、仮想画像を生成するために複数の基準ビュー画像を処理する。これは、出力606において、例えば、ディスプレイ608に提供される。プロセッサは、上述の方法を実施する。

代替例では、アルゴリズムは、ピクセルが設定され得る１つの中間透明度値または複数の中間透明度値を含んでもよい。さらに、アルゴリズムは、例えば、各視点から様々な程度の透明度を有するオブジェクトの、または人工的に透明にする必要があるオブジェクトのための仮想画像を作成する場合、C₁, C₂ = U₁, U₂の場合のピクセルの透明度を1以外の値に設定することができる。

開示された実施形態に対する変形例は、図面、開示および添付の特許請求の範囲の検討から、特許請求された発明を実施する際に当業者によって理解され、実施されることができる。請求項において、「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に列挙されるいくつかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムが上述される場合、コンピュータプログラムは適切な媒体、例えば他のハードウェアと一緒に或いはその一部として供給される光記憶媒体若しくはソリッドステート媒体で記憶又は配布されることができるが、他の形態、例えばインターネット又は他の有線若しくは無線電気通信システムを介して配布されてもよい。「するように適応される」という用語は、請求項又は明細書おいて用いられる場合、「するように構成される」と言う用語と同様であることを意味する。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

一般に、画像処理装置、画像処理方法及びその方法を実現するコンピュータプログラムの一例を以下の実施形態に示す。

実施形態:

1. 仮想画像において、複数の仮想画像ピクセルのためのそれぞれの色値及び透明度値を設定する方法（400）であって、当該方法は、
(402)不透明なオブジェクトの複数の基準ビュー画像を受信するステップであって、前記複数の基準ビュー画像の各々は、異なる視点からキャプチャされた奥行き情報を有する、ステップと、
(404)前記複数の基準ビュー画像を結合して前記オブジェクトの仮想画像を生成するステップであって、前記仮想画像は前記複数の基準ビュー画像のいずれとも異なる視点にあり、各基準ビュー画像ピクセルはマッピングによって仮想画像ピクセルに対応するステップとを有し、前記仮想画像を生成するステップは、
(406)前記複数の仮想画像ピクセルの各々についての前景情報及び背景情報の少なくとも成分を有する透明度情報を決定するステップであって、前記成分は前記複数の基準ビュー画像の対応するピクセルから導出される、ステップと、
(408)前景情報及び背景情報の成分の組み合わせに基づいて前記複数の仮想画像ピクセルの各々を分類するステップと、
（410）前記不透明なオブジェクトのエッジから離れた領域について、それらの分類に基づいて、前記仮想画像ピクセルの各々について二進の透明度値を選択する
(412)表示するように選択された情報に基づいて、前記複数の仮想画像ピクセルの各々の色値を設定するステップとを有する。

2. 前記基準ビューピクセルの各々は、前景情報、背景情報又は未確定情報の形の奥行き情報を有し、透明度情報を決定するステップは、前記複数の仮想画像ピクセルの各々について未確定成分を決定することを更に有する、実施形態1に記載の方法。

3. 未確定成分および前景情報の成分の組み合わせとして透明度情報を有する前記複数の仮想画像ピクセルの各々に対して、前記仮想画像ピクセルをゴースト効果の原因となるゴースト領域として分類することを有する、実施形態2に記載の方法。

4. 前景情報の成分のみを含む透明度情報を有する複数の仮想画像ピクセルの各々について、不透明に対応する第1の二進透明度値を選択するステップと、
背景情報の成分のみを含む透明度情報を有する複数の仮想画像ピクセルの各々について、透明に対応する第2の二進透明度値を選択するステップと、を有する実施形態2または3に記載の方法。

5. 背景情報の成分と未確定成分との組み合わせのみ、または複数の未確定成分の組み合わせのみを有する透明度情報を有する仮想画像ピクセルについて不透明に対応する第1の二進透明度値を選択することによって、前記仮想画像内の前記オブジェクトの新しい外側境界を作成するステップを有する、実施形態2から4のいずれか一つに記載の方法。

6. 前景情報の成分のみを含む透明度情報を有する前記複数の仮想画像ピクセルの各々について、当該ピクセルの色を、前記基準ビュー画像の前景成分の平均色として設定するステップを含む、実施形態1から5のいずれか一つに記載の方法。

7. 前記仮想画像の全てのピクセルについて二進透明度値を選択するステップを有する、実施形態1から6のいずれか一つに記載の方法。

8. 前記オブジェクトのエッジにある領域に対して、前記二値間の透明度値を設定するステップを含む、実施形態1から6のいずれか1つに記載の方法。

9. 未確定成分を含み前景成分を含まない透明度情報を有する複数の仮想画像ピクセルのそれぞれに対して、少なくとも1つの隣接ピクセルの色を使用して、当該ピクセルの各々の透明度値を設定するステップを含む、実施形態8に記載の方法。

10. 複数の仮想画像ピクセルの各々に対して、対応する基準ビュー画像ピクセルの色を使用して、基準ビュー画像から導出される透明度情報を決定するステップを含む、実施形態1から9のいずれか一項に記載の方法。

11. 前記背景はクロマキーである、先行する実施形態のいずれかに記載の方法。

12. コンピュータ上で実行されて、実施形態1から11のいずれか1つに記載の方法を実施するように適合されたコンピュータプログラムコード手段を含むコンピュータプログラム。

13. 画像処理装置（600）であって、当該画像処理装置は、
オブジェクトの複数の基準ビュー画像を受信するための入力部（602）であって、前記複数の基準ビュー画像の各々は、異なる視点からキャプチャされた前景情報及び背景情報を含む、入力部と、
前記複数の基準ビュー画像を処理して仮想画像を生成するためのプロセッサ（604）と、
前記仮想画像を出力するための出力部（606）とを有し、
前記プロセッサは、実施形態1から12のいずれか1つに記載の方法を実施するように適合される。

より具体的には、本発明は添付の特許請求の範囲によって定義される。

Claims (14)

1. 仮想画像において、複数の仮想画像ピクセルのためのそれぞれの色値及び透明度値を設定する方法であって、
   不透明なオブジェクトの複数の基準ビュー画像を受信するステップであって、前記複数の基準ビュー画像の各々は、異なる視点からキャプチャされる奥行き情報を有する、ステップと、
   前記複数の基準ビュー画像を結合して前記オブジェクトの仮想画像を生成するステップであって、前記仮想画像は、前記複数の基準ビュー画像のいずれとも異なる視点にあり、各基準ビュー画像ピクセルは、マッピングによって仮想画像ピクセルに対応するステップと、
   を有し、前記仮想画像を生成する前記ステップは、
   前記複数の仮想画像ピクセルの各々についての前景情報及び背景情報の成分を少なくとも有する透明度情報を決定するステップであって、前記成分は、前記複数の基準ビュー画像の対応するピクセルから導出される、ステップ、
   前景情報及び背景情報の前記成分の組み合わせに基づいて前記複数の仮想画像ピクセルの各々を分類するステップ、
   前景または背景情報を表示するために、それらの分類に基づいて、前記不透明なオブジェクトのエッジから離れた領域について、前記仮想画像ピクセルの各々について二進の透明度値を選択するステップ、
   表示されるように選択された前景または背景情報に基づいて、前記複数の仮想画像ピクセルの各々の色値を設定するステップ、を有する方法。
2. 前記基準ビューピクセルの各々は、前景情報、背景情報または未確定情報の形の透明度情報を含み、前記透明度情報は、前景情報または背景情報として分類されない前記複数の基準ビュー画像のピクセルから導出された未確定情報の成分をさらに含む、請求項1に記載の方法。
3. 未確定情報のコンポーネントと前景情報のコンポーネントとの組み合わせとして透明度情報を有する前記複数の仮想画像ピクセルの各々について、当該仮想画像ピクセルをゴースト効果の原因となるゴースト領域として分類し、前記ゴースト領域内の当該仮想画像ピクセルの各々について二値透明度値を選択することを含む、請求項2に記載の方法。
4. 前景情報の成分のみを含む透明度情報を有する前記複数の仮想画像ピクセルの各々について、不透明に対応する第1の二進透明度値を選択し、
   背景情報の成分のみを含む透明度情報を有する前記複数の仮想画像ピクセルの各々について、透明に対応する第2の二値透明度値を選択する、請求項2または3に記載の方法
5. 背景情報および未確定情報の成分の組み合わせのみ、または未確定情報の成分の組み合わせのみを有する透明度情報を有する仮想画像ピクセルの透明度に対応する第1の二進透明度値を選択することによって前記仮想画像において前記オブジェクトの新しい外側境界を生成する、請求項2から4のいずれか一項に記載の方法。
6. 未確定情報の成分を含みかつ前景情報の成分を含まない透明度情報を有する前記複数の仮想画像ピクセルの各々に対して、少なくとも1つの隣接ピクセルの色を用いて、前記ピクセルの各々の前記透明度値を設定する、請求項2から5のいずれか一項に記載の方法。
7. 前景情報の成分のみを含む透明度情報を有する前記複数の仮想画像ピクセルの各々について、当該ピクセルの色を基準ビュー画像の前景成分の平均色として設定する、請求項1から6のいずれか一項に記載の方法。
8. 前記仮想画像の全てのピクセルについて二進透明度値を選択することを含む、請求項1から7のいずれか一項に記載の方法。
9. 前記オブジェクトのエッジにおける領域について、二進値の間の透明度値を設定する、請求項1から7のいずれか一項に記載の方法。
10. 前記複数の仮想画像ピクセルの各々について、対応する基準ビュー画像ピクセルの色を使用して前記基準ビュー画像から導出された透明度情報を決定することを含む、請求項1から9のいずれか一項に記載の方法。
11. 前記背景がクロマキーである、請求項1から１０のいずれか一項に記載の方法。
    
12. 透明度情報を決定するステップにおいて、
    前景情報の成分は、それぞれの基準ビューの対応するピクセルの透明度値を第1の閾値と比較することによって決定され、
    背景情報の成分は、それぞれの基準ビューの対応するピクセルの透明度値を第2の閾値と比較することによって決定され、
    未確定情報の成分は、それぞれの基準ビューの対応するピクセルの透明度値が第1の閾値も第2の閾値も満たさないときに決定される、
    請求項１から１１のいずれか一項に記載の方法。
13. コンピュータ上で実行されると、請求項1から12のいずれか一項に記載の方法を実施するように適合されたコンピュータプログラム。
14. 画像処理装置であって、
    オブジェクトの複数の基準ビュー画像を受信するための入力部であって、前記複数の基準ビュー画像の各々は、異なる視点からキャプチャされた前景情報及び背景情報を有する、入力部と、
    前記複数の基準ビュー画像を処理して仮想画像を生成するためのプロセッサと
    前記仮想画像を出力するための出力部と、
    を有し、前記プロセッサは、請求項1から12のいずれか一項に記載の方法を実施するように適合される、画像処理装置。

Images