JP2007257623A - あるシーンについて取得されたビデオのアルファマットを求める方法およびシステム - Google Patents

Abstract

【課題】ビデオのアルファマットを求める方法およびシステムが提示される。
【解決手段】一組のビデオがカメラアレイにより取得される。アレイ内の中央に位置するカメラが基準カメラとして指定され、基準ビデオを取得する。一組のビデオから前景奥行き面が選択される。各画像の画素強度の分散からｔｒｉｍａｐが求められる。背景としてラベル付けされた画素および前景としてラベル付けされた画素の強度の分散がｔｒｉｍａｐにおいて未知としてラベル付けされた画素に外挿される。背景としてラベル付けされた画素の強度の平均が、未知としてラベル付けされた画素に外挿されて、基準ビデオのアルファマットが求められる。
【選択図】図１

Description

本発明は、包括的には画像処理に関し、特にビデオマッティングに関する。

画像の効率的で高品質な合成は、特殊効果業界における重要なタスクである。通常、映画シーンは、前景と背景との２つの異なるレイヤから合成され、各レイヤは、コンピュータにより生成されるかまたは実際のものであることができ、異なる場所で撮影され得る。多くの場合、ソースビデオの前景の内容が合成ビデオの前景レイヤとして用いられるが、これには、ソースビデオ中の前景と背景との分割が必要である。

画像を前景と背景とに分割するプロセスは、アルファマットの「抜き出し（pulling）」すなわち「マッティング」と呼ばれる。アルファマットを抜き出す最も一般的な方法は、青または緑の背景の前で俳優を撮影するブルースクリーンマッティングである。ブルースクリーンマッティングの限界は、スタジオまたは同様に制御された環境でしか使用できず、自然の屋内または屋外セッティングでは使用できないということである。

自然なビデオマッティングとは、自然な環境で取得されたビデオからアルファマットを抜き出すことをいう。単一のビデオストリームを用いる場合、マット抽出の問題は、いくつかの未知項、すなわち、アルファ（α）、ＲＧＢ前景（Ｆ_ＲＧＢ）、ＲＧＢ背景（Ｂ_ＲＧＢ）の等式として提示することができる。各画素におけるＲＧＢのビデオフレームＩは、次のように表される。
Ｉ_ＲＧＢ＝αＦ_ＲＧＢ＋（１−α）Ｂ_ＲＧＢ （１）
単一の画像を用いる場合、この問題は、過分に制約不足である。

最初のマッティングの方法およびシステムは、およそ５０年前に記載されている。ブルースクリーンマッティングは、SmithおよびBlinn著「Blue screen matting」（Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, pp. 259-268, ACM Press, 1996）によって形式化された。SmithおよびBlinnは、前景を２つの異なる背景に対して撮影することにより、アルファおよび背景色の両方に対してロバストなソリューションが得られることを示した。この方法は、より複雑な光輸送効果、例えば、屈折も扱うように拡張されている。しかし、それらの方法は、能動的な照明および複数の画像の取得を必要とする。

ベイズ理論に基づく（Bayesian）マッティングは、当初、静的シーン用に開発された。これは、低周波数の背景およびユーザにより指定されるｔｒｉｍａｐを仮定する。概して、ｔｒｉｍａｐは、前景としてラベル付けされた画素と、背景としてラベル付けされた画素と、未知としてラベル付けされた画素とを含む。マッティングは、未知の画素が正確にラベル付けされることを必要とする。

この方法は、後にビデオに拡張された。しかし、ｔｒｉｍａｐは、依然として、キーフレームについて手作業で指定される必要がある。別の拡張では、３Ｄシーンの幾何形状を再構成するためにマルチカメラシステムが用いられている。高品質のアルファマットが奥行きの不連続点において求められる。

ポアソンマッティングは、アルファマッティングを、マット勾配場のポアソン方程式を解くものとして位置付ける。これは、アルファに直接作用するのではなく、導出された測定値に作用し、従来は静止画に作用し、いくらかのユーザによる介入を必要とし、１つのフレームを処理するのに数分を要する。

自然なシーンのビデオマッティングは、Wang他著「Interactive video cutout」（ACM Transactions on Graphics, August 2005）およびLi他著「Video object cut and paste」（ACM Transactions on Graphics, August 2005）に記載されている。Wang他は、このタスクを達成するために、効率的なユーザインタフェースを提供することに焦点を当てているが、Li他は、新規の３Ｄグラフカットアルゴリズムを用いてから、手動で精緻化を行い、アルファマッティングのためのデータを準備する。

別の方法は、共通の投影中心を共有するが、被写界深度および焦点面の異なる３つのビデオストリームを用いて自然なビデオストリームのためのアルファマットを求める（McGuire他著「Defocus Video Matting」（ACM Transactions on Graphics, August 2005））。McGuire他の方法は、自動的であるが、この方法のランニングタイムは、１フレームにつき何分もかかる。さらに、前景物体にフォーカスが合っていなければならない。

他の方法は、制限付き（bounded）再構成およびグラフカットを考慮する。Wexler他著「Bayesian estimation of layers from multiple images」（Proceedings of 7th European Conference on Computer Vision (ECCV)、およびKolmogorov他著「Bi-layer segmentation of binocular stereo video」（Proceedings of CVPR05, 2005））を参照願いたい。Wexler他は、ベイズ理論に基づくフレームワークにおける問題を提起し、制限付き再構成、α分布および空間的一貫性を含むいくつかの異なる従来方法（priors）を検討する。Wexler他は、そのシステムのリアルタイムな側面を記載していない。一方で、Kolmogorov他は、アルファマッティングに焦点を当てておらず、むしろ、ステレオビデオに対してグラフカットを使用して前景と背景との分割を行うリアルタイムシステムを記載している。

カメラアレイは、コンピュータグラフィックスおよびコンピュータビジョンにおける様々な用途に用いられてきた。概略は、Wilburn他著「High performance imaging using large camera arrays」（ACM Transactions on Graphics, vol. 24, no. 3, pp. 765-776, 2005）を参照願いたい。

本発明の実施の形態は、カメラアレイを用いた高品質の自然なビデオマッティングを提供する。

本システムは、前景にフォーカスした合成開口画像を生成することにより、自然なシーンに存在する高周波数を取得する。これにより、前景から再投影される画素の分散が低減する一方で、背景から再投影される画素の分散が増加する。

本方法は、分散測定値を直接扱い、これらの統計値を用いてｔｒｉｍａｐを構築し、このｔｒｉｍａｐをその後アルファマットにアップグレードする。プロセス全体が完全に自動的であり、合成開口画像のためのオートフォーカス方法と、ｔｒｉｍａｐおよびアルファマットを求めるための自動方法とを含む。

本方法は、効率的であり、１画素当たりのランニングタイムがカメラの台数に対して直線性を有する。本システムは、数フレーム毎秒で動作し、高品質なアルファマットをリアルタイムに近いレートで、能動的な照明または特別な背景を用いずに求めることができる。

本発明は、カメラアレイを用いた自然なビデオマッティングの問題を解決する。この解決策は、自然なシーンが高周波の細部を含むという事実に依存する。本発明では、カメラからの画像を合成によりリフォーカスして、中央の基準カメラのビューと位置合わせされ、かつ前景物体にフォーカスした合成開口画像を構築する。合成開口画像は、前景の基準面に位置合わせされた画像の平均値を取ることにより計算される。本発明では、また、再位置合わせされた画像の分散を計算する。画像は、前景にフォーカスしているため、前景物体の画素の分散値は、背景のそれよりも遥かに低い。これにより、分散画像が生じ、この分散画像は、次に２重しきい値処理されてｔｒｉｍａｐが得られ、このｔｒｉｍａｐは、アルファマットの計算に用いられる。このプロセスは、従来方法と対照的に、完全に自動的である。

平均および分散の測定値に依存することにより、本発明では、背景の奥行きの計算または３Ｄシーンの再構築という難しい問題を回避する。本発明は、画素強度値を直接扱う代わりに、画素強度分散を扱うアップグレードされたマッティング方程式を用いてアルファマットを計算する。この結果は、高速で自動的であり、任意の複雑な背景シーンを扱うことができる。本発明の方法の付加的な利点は、１画素当たりのランニングタイムがカメラの台数に比例することである。

図１は、本発明の一実施形態による方法１００を示す。図２は、本発明の一実施形態によるシステム２００を示す。方法１００およびシステム２００は、アルファマット（α）１０８およびアルファを乗算した前景（αＦ）１０９を求める。方法１００は、プロセッサ２２０において実行される命令に従って動作する。

本方法およびシステムに対する入力は、カメラアレイ２１０（例えば、８台のカメラ）により取得されるシーン１０２の一組のビデオ１０１である。１台の実質的に中央に位置するカメラが、基準カメラ（ＲＣ）２１１として指定される。アルファマットは、この基準カメラ２１１により取得される基準ビデオ１０３について求められる。

前景奥行き面１１１を選択した（１１０）後、本方法は、ｔｒｉｍａｐ１２１を求める（１２０）。概して、ｔｒｉｍａｐは、前景としてラベル付けされた画素と、背景としてラベル付けされた画素と、未知としてラベル付けされた画素とを含む。マッティングは、未知の画素が正確にラベル付けされることを必要とする。正確にラベル付けされたｔｒｉｍａｐは、その後、アルファマット１０８となる。

従来技術と対照的に、ｔｒｉｍａｐは、自動的に、すなわち、ユーザとの対話なしに求められる。また、本方法は、画像測定値の高次の統計値、すなわち、分散１３２を用いる。高次の統計値は、ｔｒｉｍａｐの未知の領域１３１に外挿される（１３０）。未知の領域は、前景または背景であり得る画素を含む。目標は、未知の画素を確実に前景または背景としてラベル付けすることである。

従来技術の方法の中には、測定値を未知の領域に外挿するものもあるが、これらの方法は、画素強度値を直接外挿し、シーンの内容に関して限定した仮定を行う。分散の外挿は、限定度が遥かに低い。

具体的には、本発明の方法は、以下のように行われる。前景奥行き面１１１を自動的に選択する（１１０）。画素分散に基づいてｔｒｉｍａｐ１２１を求める（１２０）。背景領域および前景領域からの分散１３２をｔｒｉｍａｐ１２１の未知の領域１３１に外挿する(１３０)。平均１４１を背景から未知の領域１３１に外挿し（１４０）、α１０８およびαＦ１０９を求める（１５０）。

本発明では、８台のBasler社製カメラから成る線形アレイを用いる。各カメラの解像度は、６４０×４８０画素である。カメラは、外部ハードウェアトリガを有し、最高３０フレーム毎秒で同期されたビデオを提供することができる。全てのカメラが、３ＧＨｚプロセッサ２２０に接続される。

従来のコンピュータビジョン方法を用いて、本発明のカメラアレイの外部パラメータおよび内部パラメータを幾何学的に較正する。本発明のカメラの投影中心は、一直線状に配置される。さらに、本発明では、全てのカメラ面を修正するホモグラフィを求める。本発明では、マクベスカラーチェッカーを全てのカメラが観測可能なようにシーンに配置することにより、基本色の較正を行う。本発明では、各カメラのカラーチェッカーの画像が基準カメラ２１１のそれに合うように、各カメラの色変換を計算する。本発明は、また、分散推定値、ひいてはｔｒｉｍａｐ１２１およびアルファマット１０８の品質を大幅に高めるビネッティング較正を行う。

本方法は、リアルタイムで行われる場合、ＱＶＧＡ画像を数フレーム毎秒で処理することができる。オフラインモードでは、高画質なＶＧＡの結果が約１フレーム毎秒で生成される。２つのモード間の違いは、その探索段階にある。

具体的には、オフラインモードでは、全ての画素について奥行き探索を行うが、オンラインモードでは、分散を１つの奥行き面のみについて計算し、前景が平面でないことによる高分散を除去し、次に、奥行き探索をｔｒｉｍａｐの未知の領域の画素のみについて行う。

方法１００は、合成開口画像、分散画像、およびｔｒｉｍａｐを前景奥行き面１１１について求める。

前景の奥行きを自動的に選択
本発明では、合成リフォーカシングを用いて前景奥行き面１１１を選択する（１１０）。本発明は、空間において平面を掃引し、画像中の事前に定義された三角形内の分散が最小化される最も近い奥行きを選択することにより、前景の奥行きを自動的に選択する。分散が小さい場合、その奥行き面において、いくつかの特徴が位置合わせされる。前景物体は、画像の様々な部分にある可能性があるため、本発明では、そのような三角形をいくつか定義し、分散の最も小さい三角形を選択する。「手動フォーカス」は、ユーザが必要なときに自動フォーカスを無効にできるようにする。

本発明は、ユーザがシーンを通して合成焦点面を対話によりスライドさせることにより、前景の奥行きを選択することを可能にする。合成開口画像は、リアルタイムで表示され、前景物体が最も良くフォーカスされる平面をユーザが選択できるようにする。本発明者らは、この方法が、前景の奥行きを選択するために比較的単純で直感的であることを見出した。本発明のカメラアレイの手法の利点は、本発明のシステムが、方法１００を数回、パス毎に異なる前景奥行き面を用いて行って複数の奥行き面を求めることにより、複数の前景物体を処理できることである。

自動的ｔｒｉｍａｐ算出
従来のマッティング方程式は、画素毎のものである。したがって、本発明では、全ての画像について、各シーン点の分散を求める。本発明では、画像Ｉにおいてシーン全体を取得するため、近くのシーン点を用いて前景Ｆおよび背景Ｂの分散を近似しなければならない。

ｔｒｉｍａｐにおいて未知としてラベル付けされた各点について、本発明では、それに最も近い前景点および背景点の分散を用いて、ｖａｒ（Ｆ）およびｖａｒ（Ｂ）を推定する。本発明では、次に、アルファマットを後述のように求めることができる。

ｔｒｉｍａｐは、過去において、アルファマット問題を解くための１ステップとして用いられてきたが、ユーザによって対話により供給されるものであり、本発明のシステムのように、自動的に計算されるものではないと見なされることが多かった。

本発明では、各カラーチャネルの分散を計算し、全ての画素のこのベクトルの大きさを取ることにより、ｔｒｉｍａｐの構築を開始する。次に、本発明では、２重しきい値処理および膨張処理を用いてｔｒｉｍａｐを計算する。具体的には、本発明では、低いしきい値を用いてｂｉｍａｐ（すなわち、前景の画素対未知の画素のラベル化）を計算する。

本発明では、膨張処理およびよい高いしきい値の組み合わせを用いて未知の領域を求める。すなわち、高分散画素が前景としてラベル付けされた画素の隣に位置する場合、その画素は、前景（すなわち、鏡面性（specularity））部分として見なされる。一方、比較的低分散の画素が前景から遠く離れている場合、その画素は、背景として分類される。この空間分析と強度分析との組み合わせは、高品質なｔｒｉｍａｐを確実に構築することを可能にする。

本発明では、前景物体は、全体が指定された前景面上にあると仮定する。しかし、平面は、前景物体の奥行きの大まかな近似でしかない場合が多い。非平面の前景物体を扱うために、本発明では、奥行き値の局所探索を行い、奥行きの不確かさを考慮に入れる。この探索は、前景基準面の近くの小さな奥行き範囲にわたって平面を掃引し、その範囲にわたって画素毎に最小分散値を記憶することによって行われる。これにより、フォーカスを画素毎にわずかに自動調節することができる。

細部
所与の時刻について、本発明では、シーンのｎ個（例えば８個）の画像を有する。本発明では、所与のシーン点（画素）ｐの以下のマッティング方程式を考慮する。
Ｉ＝１，・・・，ｎについて
｛Ｉ_ｉ（ｐ）＝α（ｐ）Ｆ_ｉ（ｐ）＋（１−α（ｐ））Ｂ_ｉ（ｐ）｝ 、（２）
ここで、Ｉ_ｉ（ｐ）は、画像ｉにおいて記録された点ｐの実際の強度情報に対応する。Ｆ_ｉ（ｐ）およびＢ_ｉ（ｐ）は、ｐの透明度の関数として混合されて所与のＩ_ｉ（ｐ）を与える前景および背景の値であり、α（ｐ）は、この透明度の値である。本明細書では、ｐという表記を可能な場所ではどこでも省略して読み易さを高める。全ての画素について異なるＦ_ｉを指定することは、鏡面性等のビューに依存する効果を許容することを意味する。しかし、本発明では、点の透明度は、ビューに依存すると仮定する。したがって、αは、全ての画像にわたって固定である。

本発明では、｛Ｉ_ｉ（ｐ）｝、｛Ｆ_ｉ（ｐ）｝、｛Ｂ_ｉ（ｐ）｝をそれぞれ、ランダム変数Ｉ、Ｆ、およびＢをサンプリングする際に考慮し、これらの変数を用いてマッティング方程式を書き換える。
Ｉ＝αＦ＋（１−α）Ｂ （３）
本発明では、これらのランダム変数を用いてαおよびαＦを解き、これを、Ｉ、Ｆ、およびＢの二次モーメント（すなわち分散）を用いてαを解き、ＩおよびＢの一次モーメント（すなわち、平均）を用いてαＦを解くことによって行う。本発明では、Ｆの平均を用いないことに留意願いたい。

本発明の方法の第３のステップ１３０および第４のステップ１４０が前景および背景としてラベル付けされた画素からの画像測定値を未知の画素に外挿することを思い起こされたい。前景物体の平均画素値を外挿し、平均統計値のみを用いてアルファマットを解くこともできるが、これは、前景物体が低周波数のアルベドを有するものと仮定し（非常に限定された仮定である）、一方で、分散の外挿は、低周波数アルベドおよび高周波数アルベドの両方を有する物体を可能にする。これは、重要な点であり、本発明のシステムおよび方法の利点の１つである。

具体的には、ｐを考慮中のシーン点とし、ｐ_Ｆおよびｐ_Ｂを、ｔｒｉｍａｐにおいて、それぞれ前景および背景としてラベル付けされた、基準画像（すなわち、中央のカメラ２１１からの画像）の横線上の最も近い点として示す。本発明では、以下の式（４）〜（６）の近似を行う。

画像Ｉ_１、Ｉ_２、およびＩ_３について図３に示すように、これらの近似は、以下の２つの仮定を行う。最も近い背景点ｐ_Ｂの一次統計値および二次統計値（例えば平均および分散）は、そのシーン点ｐが対比して観察される対応する背景色の統計値と同じである。これは、大体において、カメラ中心から点ｐおよびｐ_Ｂを通る光線は、必ずしも同じ順番ではないものの、同様の背景点と交差するため、もっともらしい仮定である。

サンプルの順序は、分散の推定がサンプルの順番に対して不変であるため、この場合には、無関係である。実際には、背景が前景物体から大きく離れており、ｐとｐ_Ｂとの間の距離が小さいため、これらの２点を通る光線束は、大きく重なる。最も近い前景点ｐ_Ｆの二次統計値は、シーン点ｐの二次統計値と同じである。これは、シーン点およびそれに最も近い前景点のビューに依存しない特性（例えばアルベド）は、全く異なる可能性があるが、それらのビューに依存する特性（例えば反射光レベル）は、同じであると言うことに等しい。

シーン点ｐについて全てのカメラにわたり観測される値が２つの統計的に独立した変数（すなわち、前景および背景）の固定された一次結合であると仮定すると、従来のマッティング方程式をランダム変数Ｉ、ＦおよびＢに関して、
Ｉ＝αＦ＋（１−α）Ｂ （７）
のように書き換えることができ、これらの変数の分散を次のように表すことができる。
ｖａｒ（Ｉ）＝ｖａｒ［αＦ＋（１−α）Ｂ］ （８）

ＢおよびＦが統計的に独立していると仮定すると、次式が成り立つ。
ｖａｒ（Ｉ）＝ｖａｒ［αＦ＋（１−α）Ｂ］、
＝｛［（αＦ＋（１−α）Ｂ）−｛Ｆ＋（１−α）Ｂ｝］^２｝、
＝｛［α（Ｆ−｛Ｆ｝）＋（１−α）（Ｂ−｛Ｂ｝）］^２｝、
＝α^２｛（Ｆ−｛Ｆ｝）^２｝＋（１−α）^２｛（Ｂ−｛Ｂ｝）^２｝、
＝α^２ｖａｒ（Ｆ）＋（１−α）^２ｖａｒ（Ｂ） （９）
ここで、これらの式中の｛Ｘ｝は、Ｘの平均値を表す。ＢおよびＦが統計的に独立しているという仮定は、式（９）の３行目から４行目への移行部分に示され、ここで、項α（１−α）（Ｆ−｛Ｆ｝）（Ｂ−｛Ｂ｝）は、ゼロに等しいものと仮定される。αを求めるために、αの二次方程式を解かなければならない。
［ｖａｒ（Ｆ）＋ｖａｒ（Ｂ）］α^２−２ｖａｒ（Ｂ）α
＋［ｖａｒ（Ｂ）−ｖａｒ（Ｉ）］＝０ （１０）

この二次方程式の解は、次のようになる。
α＝（ｖａｒ（Ｂ）±√Δ）／（ｖａｒ（Ｆ）＋ｖａｒ（Ｂ）） （１１）
ここで、Δは、下式（１２）である。
Δ＝ｖａｒ（Ｉ）［ｖａｒ（Ｆ）＋ｖａｒ（Ｂ）］−ｖａｒ（Ｆ）ｖａｒ（Ｂ）
（１２）

この方程式は、放物線として図式で表すことができる。この方程式の最小値は、
α_ｍｉｎ＝（ｖａｒ（Ｂ））／（ｖａｒ（Ｂ）＋ｖａｒ（Ｆ）） （１３）
において到達し、これは、縦軸ｘ＝α_ｍｉｎに沿って対称である。ｖａｒ（Ｆ）＝ｖａｒ（Ｂ）である場合、常に２つの有効解があり、この方程式のみに基づいて曖昧さを解消することはできない。

幸いにも、実際には、この放物線は、大きく右にシフトしている。これは、ｖａｒ（Ｂ）が、通常は、ｖａｒ（Ｆ）よりも数桁大きいためである。したがって、２つの場合がある。ｖａｒ（Ｉ）≧ｖａｒ（Ｆ）である場合、解は
（ｖａｒ（Ｂ）±√Δ）／（ｖａｒ（Ｆ）＋ｖａｒ（Ｂ））＞１
となり、無効な解となる。

ｖａｒ（Ｉ）＜ｖａｒ（Ｆ）である場合、放物線の幅（すなわち２つの解の間の距離）は、次式によって与えられる。
（２ｖａｒ（Ｆ））／（ｖａｒ（Ｂ）＋ｖａｒ（Ｆ））
これは、非常に小さいため、α_ｍｉｎは、いずれにも良好な近似として機能することができる。

具体的には、本発明では、次式（１４）を用いてαを評価する。

本発明のシーンが拡散である、すなわちｖａｒ（Ｆ）＝０であると仮定した場合、この方程式に曖昧さはない。

αを回復した後、次式（１６）を用いてαＦを回復する。

ここで、Ｉ（￣）は、全ての画像における対応する画素値の平均を示し、これは、実際には、合成開口画像における画素値である（ただし（￣）は、（）の前の記号の上に￣が付された記号を意味する）。値αは、式（１４）から回復され、Ｂ（￣）は、背景画素値の平均である。結果を改善するために、本発明では、中央の基準カメラ２１１から取得された画像に最も高い重みをかけ、中央から遠く離れたカメラほど重みを減らして背景色の加重平均を求める。

本発明では、アルファが固定されており、ビューに依存しないと仮定する。実際には、多くの物体について当てはまるが、物体によっては、ビューに依存したアルファを示すものもある。最も一般的には、これは、自己遮蔽によるものである。自己遮蔽は、合成によりリフォーカスされた画像において画素について高い分散を生じる。これにより、不正確なアルファ値が生じる。本発明のカメラについて、狭いベースラインを用いることにより、これらの誤差は、制限される。背景が前景から数メートルのところにある場合、０．５メートルのベースラインが良好に機能する。また、ビューに依存した効果を保存するように設計されたカメラ毎の重み項を用いることにより、これらの誤差を低減することができる。基準ビューにより近いカメラをより重く重み付けすることにより、自己遮蔽の効果を制限することができる。

本発明は、また、光照射野のエイリアシングにより制限される。実際には、本発明者らは、エイリアシングによる誤差が、背景の画素の測定値についてのみ顕著であることを見出した。エイリアシングは、合成によりデータをリフォーカスすると周期的なテクスチャが位置合わせされることにより分散測定値を不正確にする。これにより、背景画素は、非ゼロのアルファを持つようになる。これらの問題を軽減することのできる改良がいくつかある。第１は、より多くのカメラを用いることである。本発明者らは、本発明の方法が、大きく密なカメラアレイを用いて良好に働くと信じている。少数のカメラを用いる場合でも、様々なカメラ分布によりエイリアシングアーティファクトを低減することができる。例えば、カメラは、中心の基準カメラに向かって集中させることができる。２Ｄアレイを用いる場合、本システムは、水平方向および垂直方向の両方で生じる背景色の変動から利益を得る。さらに、ほとんどの背景構造は、水平方向および垂直方向であるため、斜め方向の十字配置を用いることは、これらの特徴を合成によりリフォーカスされる画像において最大限に広げるために有利であり得る。

本発明では、また、背景の分散が統計的に独立しており、前景の分散よりも数桁大きいと仮定する。これは、ほとんどのシーンに当てはまる。実際には、非常に反射率の高い表面でさえ、背景の分散よりも数桁小さいｖａｒ（Ｆ）を有する。本発明のシーンでは、ｖａｒ（Ｆ）は、およそ数百以下であり、ｖａｒ（Ｂ）は、数千以上である。これらの単位は、およそ８ビットＲＧＢレベルの二乗、すなわち０〜２５５^２である。

しかし、背景の分散が小さい場合、入力は、既知の背景値において取られる１つのカメラ入力に低減される。この場合、本発明では、ブルースクリーンマッティングまたはベイズ理論に基づくマッティング、または両技法を統一的に結合したもの等の既存の方法を用いることができる。

低分散の背景の場合、１画素につき４つの未知数αおよびαＦがあり、３つの線形制約しかないため、問題は、制約不足であることに留意する。背景の色が分かっており、かつ背景が低周波数であることが分かっていたとしても、さらなる仮定（例えば、前景色またはアルファおよび前景の空間周波数に関する仮定）を行うことによって問題を解くことは可能である。本発明では、式（９）を、より高次の統計値に一般化することができる。これは、有用な拡張である。より一般的には、本発明では、マットを抜き出すために、平均および分散だけでなく、分布を考慮することができる。分布の平均および分散を推定するには、８台のカメラで十分であり得るが、上述したエイリアシングの問題のために、分布を明示的にモデル化するためには十分でない。しかし、例えば、１００台のカメラから成るカメラアレイを用いれば、本発明の方法を、より高度な分布モデルを用いるように拡張することが可能である。

本発明の一実施形態による、アルファマットを抽出するフロー図である。 本発明の一実施形態による、アルファマットを抽出するシステムのブロック図である。 本発明の一実施形態による、前景面においてラベル付けすべき点の概略図である。

Claims (14)

1. あるシーンについて取得されたビデオのアルファマットを求める方法であって、
   各カメラにより取得されるビデオが１つずつあり、各ビデオは画像シーケンスを含み、各画像は画素を含み、中央に位置するカメラが、指定される基準ビデオを取得するように構成される基準カメラとして指定され、カメラアレイによって取得された一組のビデオから前景奥行き面を選択することと、
   各画像中の画素の強度の分散から、前景としてラベル付けされた画素と、背景としてラベル付けされた画素と、未知としてラベル付けされた画素とを含むｔｒｉｍａｐを求めることと、
   前記背景としてラベル付けされた画素および前記前景としてラベル付けされた画素の前記強度の分散を前記未知としてラベル付けされた画素に外挿することと、
   前記基準ビデオのアルファマットを求めるために、前記背景としてラベル付けされた画素の前記強度の平均を前記未知としてラベル付けされた画素に外挿することと
   を含むあるシーンについて取得されたビデオのアルファマットを求める方法。
2. 前記カメラアレイは、線形アレイである請求項１に記載の方法。
3. 前記一組のビデオが取得される間に該ビデオを同期することをさらに含む請求項１に記載の方法。
4. 前記カメラアレイの外部パラメータおよび内部パラメータを幾何学的に較正することをさらに含む請求項１に記載の方法。
5. 前記前景奥行き面は、前記画像中の事前に定義された三角形内の画素の分散が最小化される最も近い奥行きとなるように選択される請求項１に記載の方法。
6. 複数の前景奥行き面が選択される請求項１に記載の方法。
7. 前記前景奥行き面は、対話により選択される請求項１に記載の方法。
8. 高分散画素が前記前景としてラベル付けされた画素の比較的近くに位置する場合、該高分散画素は、前記前景の部分であると見なされ、低分散画素が該前景から比較的遠くにある場合、該低分散画素は、前記背景の部分として見なされる請求項１に記載の方法。
9. 各画像Ｉ中の前記画素の前記分散は、ｖａｒ（Ｉ）であり、前記前景としてラベル付けされた画素の前記分散は、ｖａｒ（Ｆ）であり、前記背景としてラベル付けされた画素の前記分散は、ｖａｒ（Ｂ）であり、前記アルファマットは、
   α＝（ｖａｒ（Ｂ）±√Δ）／（ｖａｒ（Ｆ）＋ｖａｒ（Ｂ））
   であり、ここで、
   Δ＝ｖａｒ（Ｉ）［ｖａｒ（Ｆ）＋ｖａｒ（Ｂ）］−ｖａｒ（Ｆ）ｖａｒ（Ｂ）
   である請求項１に記載の方法。
10. αＦは、
    

    

    であり、ここで、
    

    

    は、全ての画像中の対応する画素値の平均を示し、
    

    

    は、前記背景としてラベル付けされた画素の平均であり、Ｆは、前景画像である請求項９に記載の方法。
11. 前記強度は、重み付けされる請求項１に記載の方法。
12. 前記カメラアレイは、実質的に２Ｄの同一平面上にある構成で配置される請求項１に記載の方法。
13. 前記前景奥行き面は、合成開口画像を用いて選択される請求項１に記載の方法。
14. あるシーンについて取得されたビデオのアルファマットを求めるシステムであって、
    各カメラにより取得されるビデオが１つずつあり、各ビデオは画像シーケンスを含み、各画像は画素を含み、中央に位置するカメラが、指定される基準ビデオを取得するように構成される基準カメラとして指定され、カメラアレイによって取得された一組のビデオから前景奥行き面を選択する手段と、
    各画像中の画素の強度の分散から、前景としてラベル付けされた画素と、背景としてラベル付けされた画素と、未知としてラベル付けされた画素とを含むｔｒｉｍａｐを求める手段と、
    前記背景としてラベル付けされた画素および前記前景としてラベル付けされた画素の前記強度の分散を前記未知としてラベル付けされた画素に外挿する手段と、
    前記基準ビデオのアルファマットを求めるために、前記背景としてラベル付けされた画素の前記強度の平均を前記未知としてラベル付けされた画素に外挿する手段と
    を備えるあるシーンについて取得されたビデオのアルファマットを求めるシステム。

Images