JP2016508652A - 画像シーケンスにおける物体のオクルージョンの決定 - Google Patents

Abstract

一対の画像間におけるオクルージョン領域の検出及び測定のための方法及びシステムが開示される。処理デバイスは第１の画像及び第２の画像を受信する。処理デバイスは、第１の画像と第２の画像との間の動きベクトル場を推定する。処理デバイスは、第２の画像に向けて第１の画像を動き補償して、動き補償された画像を取得する。処理デバイスは、動き補償された画像の複数のピクセル値と第１の画像の複数のピクセルとを比較して、誤差場を推定する。処理デバイスは、誤差場を重み付き誤差コスト関数に入力して、初期オクルージョンマップを取得する。処理デバイスは、初期オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得する。【選択図】図４

Description

［関連出願の相互参照］
本出願は、２０１３年２月２６日に出願された米国仮特許出願第６１／７６９３１１号に対する優先権を主張する。この米国仮特許出願の開示は、引用することにより本明細書の一部をなす。

本発明は、包括的にはデジタル画像処理に関し、より詳細には、一対の画像間のオクルージョン領域の存在、場所、及び種類を自動決定する方法及びシステムに関する。

２つの画像間で、特に、ビデオフレーム及び／又はビデオフィールドのシーケンスについてオプティカルフロー又は動きベクトル場を決定することは、符号化、フレームレート変換、ノイズ除去等の多くの高価値なビデオ処理作業で頻繁に直面する。オプティカルフローを計算する従来の方法は、幾つかの障害に直面し、これらの障害のうちの多くの解決策が特許文献１に記載され、この特許文献１は引用することによりその全体が本明細書の一部をなす。特許文献１で教示されているように、物体のオクルージョンは、オプティカルフロー推定システム等のあらゆる動き推定システムにとっての課題を提示している。

図１は、前景物体１１５が運動している背景１０５及び前景１１０を有し、オクルージョン領域１２０及び脱オクルージョン領域１２５を示す画像対１００ａ、１００ｂの一例を示している。前景物体１１５がビデオシーケンス内で運動するとき、運動前方方向にある画像１００ｂの背景ピクセル（本明細書ではオクルージョン又はオクルージョン領域１２０として知られる）は隠される一方で、運動の後方にある画像１００ｂの背景ピクセル（本明細書では脱オクルージョン又は脱オクルージョン領域１２５として知られる）は明らかにされる。画像の遮蔽されたエリアでは、背景に帰せられる確定的な運動は存在せず、同時に、画像の露出された領域では、前景物体に帰せられる確定的な運動は存在しない。一対の画像内におけるこれらの２種類のエリア（本明細書では集合的にオクルージョン領域として知られる）は、一般に、動き推定、特に多くのオプティカルフローシステムにとって非常に問題となる。なぜならば、これらの領域における誤った動きベクトル値は非オクルージョン領域に波及する傾向があり、オプティカルフロー推定の全体の正確性に悪影響を及ぼすからである。オクルージョン領域の決定は、オプティカルフロー及び動き推定の改善に加えて、視差推定及び深度推定、画像分割、物体認識、並びに３Ｄ変換及び３Ｄ投影等の他の高価値なビデオ分析作業にとって多くの利得を有する。

オクルージョンの検出は、動き推定、深度推定、及び画像／ビデオ分割に関連して多くの注目を受けている。オクルージョンは、明示的に又は暗黙的に推定することもできるし、計算することもできる。オクルージョン境界は、それ自体が３Ｄシーン再構成に対して強力な手がかりを与える。非特許文献１及び非特許文献２に記載されるような方法は、過剰分割及び教師あり学習によって、単一のフレームを用いてオクルージョン境界を発見することを提案する。動き情報を全く用いないと、オクルージョン境界検出は本質的に曖昧な問題である。他の方法は、入力ビデオを柔軟なスプライトにレイヤー化し、遮蔽されたピクセル／領域を推定するように試みる（例えば、非特許文献３を参照）。レイヤー化方法はオクルージョン境界の現実的なモデル化を与えるが、これらの方法は連続領域、表面の相対的順序、及び所定の動きを有する必要がある。非特許文献４に記載される方法は、オクルージョンを明示的にモデル化し、得られる結果は比較的正確性が高いが、この方法は膨大な計算負荷を有する。オクルージョン領域を発見することは、マルチビュー３Ｄの投影及び表示方法における共通の問題を表わす。このエリアにおいて研究された最新の方法は、これらの領域で背景又は前景の基礎をなしているピクセルデータが均一であるか、又はテクスチャ情報を全く有しないときに、依然として大きな誤りを受けやすい。

非特許文献５（以下、Alvarez）では、拡散テンソル及びその後の固有値解析の役割に一時的な興味が向けられているが、これはオプティカルフロー解決の前方対称性及び後方対称性を分析するためにのみ使用されており、オプティカルフロー計算の正確性を直接的に向上させるために使用されているわけでも、オクルージョン計算の正確性を直接的に向上させるために使用されているわけでもない。

非特許文献６（以下、「Ince」）は、オプティカルフロー及びオクルージョンの一体的な決定のための方法及びシステムを開示しているが、システムは結合されており、この方法はブロックマッチング等の非オプティカルフロー動き推定システムに結合するためには適用することができない。さらに、Inceは、ロバスト性を改善するために、画像の拡散テンソルの概念か又は構造テンソルの概念を考慮していない。

モーションキューはオクルージョン領域及び境界を識別するために非常に重要である。上述したように、いかなる動き推定の目的も、２つの連続フレームにおける点の運動を表す流れ場を計算することであり、最も正確性が高い動き推定技法はオクルージョンを扱うことが可能であるべきである。Alvarez及びInceに記載されているような、運動に基づく幾つかのオクルージョン検出作業は、後方運動及び前方運動を一体的に推定し、一貫性のないピクセルを遮蔽された領域としてマーキングする。そのような状況では、オクルージョンは暗黙的に検出され、オクルージョン検出は動き推定方法それ自体と結合されている。これらの方法は、非常に粗い画像エリア内では問題に直面し、大きな変位又はオクルージョン領域では成功しない。

非特許文献７は、オプティカルフロー及びオクルージョンを計算する別の一体的な方法を開示するが、その２つの計算は一体的な正規化フレームワークに密接に結合されている。さらに、この方法は開示された正規化関数の収束のために複数回の反復を必要とし、そのため１０８０及び４Ｋ等の現代的なビデオ解像度についてはリアルタイム計算に適していない。

オクルージョン検出システムと結びついた従来の最良の動き推定方法でさえ、２つの主要な不都合に悩まされている。第一に、これらの方法はリアルタイム処理にはあまりにも計算上複雑である。第二に、これらの方法が生み出すオクルージョン領域マップは本質的にノイズを有する。オクルージョンとしてマーキングされたピクセルが、誤検出又は検出漏れである場合が頻繁にあり、これらを後のビデオ処理及び分析作業に使用することを困難又は不可能にしている。

米国特許第８３５５５３４号明細書

A. Saxena、M. Sun及びA. Y. Ng「Make3D: Learning 3D Scene structure form a Single Image」 PAMI, 31: 824-840, 2009 D. Hoiem、A. A. Efros及びA.Hebert「Recovering Occlusion Boundaries from an Image」 International Journal on Computer Vision, pages 1-19, 2010 N. Jojic及びB. J. Frey「Learning Flexible Sprites in Video layers」 CVPR, 2001 Sun, D.、Sudderth, E. B.及びBlack, M. J.「Layered image motion with explicit occlusions, temporal consistency, and depth ordering」 Advances in Neural Information Processing Systems, pp. 2226-2234 (2010) Alvarez他「Symmetrical dense optical flow estimation with occlusions detection」 International Journal of Computer Vision 75(3), 371-385 (2007) Ince, S及びKonrad, J「Occlusion-aware optical flow estimation」 IEEE Trans. Image Processing 17(8), 1443-1451 (2008) Xiao他「Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection」 Leonardis, A., Bischof, H., Pinz, A. (eds.) ECCV 2006, Part I. LNCS, vol. 3951, pp. 211-224, Springer, Heidelberg (2006)

したがって、正確性が高く、精密で、計算上の複雑性が低いオクルージョン推定システム及び方法であって、大きな運動と結果として生じる大きなオクルージョン領域とが存在する中で、動き推定システムと連動して、そのようなシステムのロバスト性及び正確性を増加させるオクルージョン推定システム及び方法が必要とされている。

一対の画像間のオクルージョン領域検出及び測定のための方法及びシステムを提供することによって、当該技術分野における上記の問題が対処され、技術的解決策が達成される。処理デバイスは第１の画像と第２の画像とを受信する。処理デバイスは、第１の画像と第２の画像との間の動きベクトル場を推定する。処理デバイスは第２の画像に向けて第１の画像を動き補償し、動き補償された画像を取得する。処理デバイスは、動き補償された画像の複数のピクセル値を、第１の画像の複数のピクセルと比較し、誤差場を推定する。処理デバイスは、誤差場を重み付き誤差コスト関数に入力し、初期オクルージョンマップを取得する。処理デバイスは、初期オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得する。

１つの例では、正規化することは、正規化された誤差場を取得することを更に含むことができる。１つの例では、比較することと正規化することは、正規化されたオクルージョンマップ又は正規化された誤差場のうちの少なくとも１つに基づく値が閾値未満になるまで繰り返すことができる。１つの例では、第２の画像に向けて第１の画像を動き補償することは、第１の画像から第２の画像に向けて動きベクトル場を画像ワーピングすることを含む。１つの例では、初期オクルージョンマップ及び正規化されたオクルージョンマップはそれぞれ、重み付き誤差コスト関数に基づく。重み付き誤差コスト関数は、差分二乗和測度、局所的にスケーリングされた差分二乗和測度、正規化相互相関測度、ゼロ平均正規化相互相関測度のうちの少なくとも１つとすることができる。重み付き誤差コスト関数は、局所的なサポート領域にわたる局所的な重み付けに基づくことができる。１つの例では、局所的なサポート領域にわたる局所的な重み付けは、動き補償された画像の局所構造テンソルの固有値解析に基づくことができる。別の例では、局所的なサポート領域にわたる局所的な重み付けは、局所的なサポート領域にわたる勾配エネルギー重み付けである。局所的なサポート領域にわたる勾配エネルギー重み付けは、局所的なサポート領域にわたる統計的分散又は局所的なコントラストの和とすることができる。

１つの例では、オクルージョンマップを正規化して正規化されたオクルージョンマップを取得することは、オクルージョンマップにマルチシグマ正規化を適用することを含むことができる。オクルージョンマップにマルチシグマ正規化を適用することは、オクルージョンマップに４因子シグマフィルターを適用することを含むことができる。多因子シグマフィルターへの入力重みは、粗い初期オクルージョン場推定値、第１の画像と第２の画像との間の色値若しくは輝度の１つ若しくは複数の類似度、動きベクトル方向の角度値の類似度、又は動きベクトルの大きさの類似度を含むことができる。多因子シグマフィルターは、深度又は目標範囲となるフィールドの不連続点等の１つ又は複数の重みを組み込むことができる。

本開示の例は、シーンタイプ、動きタイプ、又は監督される学習データセットに依拠する何らの仮定を置くことなく、オクルージョン領域を検出し、特徴づける方法及びシステムを提供する。本開示の例は、正確で精密なオクルージョン領域マップを提供する。オクルージョン検出は、動き推定それ自体からは切り離され、任意の適切なオプティカルフロー又は動き推定のシステム又は方法に柔軟な追加を提供する。

前景物体が運動している背景及び前景を有し、オクルージョン領域及び脱オクルージョン領域を示す画像対の一例を示す図である。 画像シーケンスにおける１つ又は複数のオクルージョン領域を検出し、本開示の例が動作することができる、一例示の計算システムのブロック図である。 例示的なオクルージョン場／マップを示す図である。 図２の計算システムを用いて、画像のシーケンスにおけるオクルージョン領域及び／又は脱オクルージョン領域を検出する方法の一例を示す流れ図である。 図４の方法を実装するモジュール間の一例示のデータフローのブロック図である。 図５の重み付き距離場モジュールを実装するモジュール間の一例示のデータフローのブロック図である。 図５の正規化モジュールにおいて用いられる４因子シグマフィルターを通じた一例示のデータフローのブロック図である。 本明細書において論述した方法論のうちの任意の１つ又は複数をマシンに実行させる一組の命令を実行することができる例示の形態のコンピューターシステムにおける上記マシンの図的表現を示す図である。

当該技術分野において、動き推定が広範に研究されてきており、画像間の正確な動きベクトルを決定することは依然として困難な問題である。単純なブロックマッチング、階層的ブロックマッチング、及びオプティカルフロー推定等の、幾つかの解決策が動き推定のためにこれまで用いられてきた。正確な動きベクトル場を推定するために、オクルージョン問題には明示的に取り組む必要がある。オクルージョン検出はまた、ステレオマッチングのための視差マップを推定する上でも非常に重要である。オクルージョンのマーキングは、動き推定及び視差マップ推定を超えて、ビデオ監視物体選別／物体除去、並びにマルチビュービデオ及びイメージの再投影等の、独立した用途を有する。また、オクルージョンのマーキングは、画像分割、動き分割、画像修復、及び視差修復にとって非常に有用である。

オクルージョンは、次の条件のうちの１つの下で発生する。すなわち、カメラ若しくはキャプチャシステムがズームイン／アウトするか、新たな物体がフレーム内に出現するか、又は古い物体がフレーム外へ消失し、運動している前景物体が背景ピクセルを明らかにすることである。例えば、立体画像対では、２つの画像が異なるアングルから捉えられ、幾つかのピクセルは１つのビューのみに存在する。本明細書で用いるとき、これらのピクセルは遮蔽されたピクセルとして知られる。同様に、ビデオ監視では、カメラから遠ざかる人又はカメラの前に出現する新たな人はオクルージョンを導入する。

図２は、本開示の例が動作することができる、画像シーケンスにおける１つ又は複数のオクルージョン領域を検出するための一例示の計算システム２００のブロック図である。非限定的な例として、計算システム２００はビデオカメラ、静止カメラ、オンライン記憶デバイス、又は伝送媒体等の１つ又は複数のデータソース２０５からデータを受信する。計算システム２００はデジタルビデオキャプチャシステム２１０及び計算プラットフォーム２１５も備えることができる。デジタルビデオキャプチャシステム２１０は、デジタルビデオストリームを計算プラットフォーム２１５によりデータソース２０５として処理することができる形式に処理、すなわち、アナログビデオをデジタルビデオに変換する。計算プラットフォーム２１５は、１つ又は複数の中央処理装置２３０ａ〜２３０ｎ等の、例えば、処理デバイス２２５を備えることができるホストシステム２２０を備える。処理デバイス２２５は、ホストメモリ２３５に接続される。

処理デバイスは、グラフィックス処理装置２４０（ＧＰＵ）を更に実装することができる。当業者は、ＧＰＵに加えて、限定することなく、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ又は処理デバイス２２５それ自体の補助的な固定機能部等の、他のコプロセッサアーキテクチャを利用することができることを認識するであろう。当業者は更に、移動電話及びタブレット等で見られる「ＡＰＵ」としても知られるように、ＧＰＵ２４０は中央処理装置２３０ａ〜２３０ｎと同じ物理チップ又は論理デバイス上に配置することができることを認識するであろう。別個のＧＰＵ及びＣＰＵの機能が、ＧＰＵが物理拡張カードであるコンピューターサーバーシステム、パーソナルコンピューターシステム、及びラップトップ上に見ることができる。ＧＰＵ２４０はＧＰＵメモリ２３７を備えることができる。当業者は、ホストメモリ２３５及びＧＰＵメモリ２３７を、ＡＰＵ上等の、同一の物理チップ（複数の場合もある）又は論理デバイス上に配置することもできることを認識するであろう。

処理デバイス２２５は、画像のシーケンス内におけるオクルージョン領域及び／又は脱オクルージョン領域を検出するためのオクルージョンマップ生成器２４５を実装するように構成される。オクルージョンマップ生成器２４５は、データソース２０５からデータ（例えば、第１の画像及び第２の画像）を受信するとともに、画像バッファ２５５としてＧＰＵメモリ２３７に転送される画像データバッファ２５０を受信するように構成することができる。１つの例では、処理デバイス２２５は、オクルージョンマップ生成器２４５をＧＰＵ２４０の構成要素として実装することができる。オクルージョンマップ生成器２４５は、図３に示すように、画像バッファ２５５から正規化されたオクルージョンマップを取得するように構成される。本明細書で用いるとき、所与の画像に対する遮蔽された領域の全体をオクルージョンマップと言う。１つの例では、正規化されたオクルージョンマップはディスプレイ２７０上に表示することができる。別の例では、オクルージョンマップ生成器２４５は、正規化されたオクルージョンマップを１つ又は複数の下流デバイス２９０に直接的に又はネットワーク２９５を通じて送信することができる。

図４は、画像のシーケンスにおけるオクルージョン領域及び／又は脱オクルージョン領域を検出するための方法４００の一例を示す流れ図である。この方法４００は、図２のコンピューターシステム２００によって実行することができ、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコード等）、ソフトウェア（例えば、処理デバイス上で実行される命令）、又はそれらの組み合わせを備えることができる。１つの例では、方法４００は、図２の計算システム２００のオクルージョンマップ生成器２４５によって実行される。

図４に示すように、画像のシーケンスから、正規化されたオクルージョンマップを生成することを計算システム２００に許可するために、ブロック４１０において、オクルージョンマップ生成器２４５は、画像バッファ２５５から受信したデータに基づいて、第１の画像と第２の画像との間の動きベクトル場を推定する。ブロック４２０において、オクルージョンマップ生成器２４５は、動きベクトル場に作用して、第２の画像に向けて第１の画像を動き補償し、動き補償された画像を取得する。１つの例では、オクルージョンマップ生成器２４５が第２の画像に向けて第１の画像を動き補償するとき、オクルージョンマップ生成器２４５は第１の画像から第２の画像に向けて動きベクトル場の画像ワーピングを行う。

ブロック４３０において、オクルージョンマップ生成器２４５は、動き補償された画像の複数のピクセル値と第１の画像の複数のピクセルとを比較して、誤差場を推定する。ブロック４４０において、オクルージョンマップ生成器２４５は、誤差場を重み付き誤差コスト関数に入力し、初期オクルージョンマップを取得する。１つの例では、重み付き誤差コスト関数は、差分二乗和測度、局所的にスケーリングされた差分二乗和測度、正規化相互相関測度、ゼロ平均正規化相互相関測度のうちの少なくとも１つとすることができる。１つの例では、重み付き誤差コスト関数は、局所的なサポート領域にわたる局所的な重み付けに基づくことができる。局所的なサポート領域にわたる局所的な重み付けは、動き補償された画像の局所構造テンソルの固有値解析に基づくことができる。１つの例では、局所的なサポート領域にわたる局所的な重み付けは、局所的なサポート領域にわたる勾配エネルギー重み付けとすることができる。或る例では、局所的なサポート領域にわたる勾配エネルギー重み付けは、局所的なサポート領域にわたる統計的分散又は局所的なコントラストの和とすることができる。

ブロック４５０において、オクルージョンマップ生成器２４５は初期オクルージョンマップを正規化し、正規化されたオクルージョンマップを取得する。１つの例では、オクルージョンマップ生成器２４５が初期オクルージョンマップを正規化するとき、オクルージョンマップ生成器２４５は更に誤差場を正規化することができる。

１つの例では、オクルージョンマップを正規化して正規化されたオクルージョンマップを取得することは、オクルージョンマップ及び誤差場にマルチシグマ正規化を適用することを含むことができる。１つの例では、オクルージョンマップ及び誤差場にマルチシグマ正規化を適用することは、オクルージョンマップに４因子シグマフィルターを適用することを含むことができる。

ブロック４６０において、正規化されたオクルージョンマップ又は正規化された誤差場のうちの少なくとも１つに基づく値が閾値を超えている場合、オクルージョンマップ生成器２４５は比較ステップ及び正規化ステップ（すなわち、ステップ４３０〜４６０を繰り返す）を繰り返し、そうでなければ、処理は終了する。

ｆ（ｘ，ｙ，ｔ）を、フレームを示す現在のフレームとし、ｆ（ｘ，ｙ，ｔ−１）を前回のフレームとする。ｆ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ−１）との間の関係は式１のように示すことができる。

ここで、Ｗ_{ｔ−＞（ｔ−１）}は、フレームｆ（ｘ，ｙ，ｔ−１）からフレームｆ（ｘ，ｙ，ｔ）への動き補償されたマッピングを示す。

そのため、この演算子は２つのフレーム間のピクセルごとのマッピングを与え、これは任意の動きモデル及び視差マップの推定に適用することができる。式（１）は、遮蔽された領域ｏ（ｘ，ｙ，ｔ−ｌ）を除くビデオフレームのいずれの場所においても当てはまる。所与の画像について遮蔽された領域の全体をオクルージョンマップと言う。このマップは、グレースケールの画像マスクを表すか、代替的には、理想的な状況下で各ピクセルが遮蔽されていると正確に識別する、正値２次元マトリックスを表す。ここで、中間範囲の値は、遮蔽している物体（複数の場合もある）の信頼度の変動を表すか、代替的には遮蔽している物体（複数の場合もある）の透明度を表すことができる。本開示では、対処される問題は、画像のシーケンスの遮蔽された領域を発見し、結果として得られるオクルージョンマップを正規化することで、経時安定性を達成し、反復的な誤差の伝播を防ぐことである。

図５は、図３のオクルージョンマップ生成器２４５を備えるモジュール５００のシーケンスを通じたデータフローの一例のブロック図である。動き推定モジュール５０８は、第一のフレーム５０４（例えば、前回のフレーム５０４）ｆ（ｘ，ｙ，ｔ−１）から第２のフレーム５０６（例えば、元のフレーム５０６）フレームｆ（ｘ，ｙ，ｔ）への動きベクトル場５０２の動きベクトルを推定する。動き推定モジュール５０８は、例えば、サブピクセルの階層的ブロックベースの方法、オプティカルフロー、又は双眼写真の反復的な視差推定とすることができる動き推定方法を実装することができる。計算された動きベクトルｍｖ_ｕ（ｘ，ｙ，ｔ−１）及びｍｖ_ｖ（ｘ，ｙ，ｔ−１）に基づいて、動き補償ワーピングモジュール５１０は、動き補償ワーピング関数Ｗ_{ｔ−＞（ｔ−１）}を動きベクトル場５０２に適用し、動きワーピングされた第１のフレーム５１２（例えば、動きワーピングされた前回のフレーム５１２）を取得することができる。或る例では、関数Ｗ_{ｔ−＞（ｔ−１）}は式２のように展開することができる。

当業者は、任意の数の動き補償方式を用いることができ、上記の例は説明を明確にするために提供されていることを認識するであろう。遮蔽された領域は、動き推定システムが全く情報を利用できないため、正しい動きベクトルを持たない。理想的な動き推定システムは、これらの領域に大きさ０の動きベクトルを設定することができるか、又は少なくとも、信頼度マップを伝達すること等による帯域外の方法によって、それらの正確性に関する信頼度の欠如をシグナリングすることができる。

通常の動き補償方式を用いて説明されるワーピング方法を区別することは重要である。ほとんどの動き補償システムにおいて、

を満たすような「収集」方法が適用される。

式３のような方式は、補償における全ての対象ピクセルがアクセスされることを確実にし、高密度な画像を確保する一方で、オクルージョンを考慮に入れない。比較すると、式２のワーピング方法は、補償された画像の全てのピクセルがアクセスされるとは限らないか、又は埋められるとは限らない「散乱」方法と言うことができる。補償される画像のバッファを単一の値で事前に埋めることにより、散乱ベースのワーピング操作においてアクセスされない領域は、この単一の値が妨げられることなく、残される。これはその後、オクルージョンマップ５１４の出発点を形成する。

次に、第２の又は元の（正しい）ｆ（ｘ，ｙ，ｔ）フレーム５０６は既知であるため、重み付け関数ブロック５１６は重み付け関数を動きワーピングされた第１の（例えば、前回の）フレーム５１２に適用して、各ピクセルの誤差コスト関数解析に適用されることになる重みのその後の処理ステップを通知する重み付け場５１３を取得することができる。或る例では、重み付け場５１３は動きワーピングされた第１の（例えば、前回の）フレーム５１２の別個のデータバッファ、アルファチャネル、又は第四のチャネルにおいて保存することができる。重み付け関数は、単純な恒等関数を含むこともできるし、局所構造テンソルの固有値解析等のより複雑な関数を含むこともできる。

重み付き誤差コスト関数ブロック５１８は、重み付け場５１３によって提供された重みを用いて、重み付き誤差コスト関数を適用することができる。動きワーピングされた第１の（例えば、前回の）フレーム５１２のエラーピクセルは、重み付き誤差コスト関数から計算することができ、それにより、遮蔽された領域は、既にマーキングされた領域を避けつつ、更にマーキングすることができる。

それにもかかわらず、誤差を推定するために誤差コスト関数を選ぶ際には特別な考慮が必要とされる。なぜならば、単純なピクセルごとの差分（一般的に差分絶対値和として知られている）又は重み付られていない差分二乗和は、均一な領域及び低いテクスチャを有する物体については検出漏れのマーキングをし、強いコントラスト及びエッジを有する画像領域では誤検出のマーキングをする場合があるからである。フレームにおける各ピクセルについてエラーピクセルを推定するための以下の相関ベースの類似度測度（例えば、Nuno Roma、Jose Santos-Victor、Jose Tome「A Comparative Analysis Of Cross-Correlation Matching Algorithms Using a Pyramidal Resolution Approach」2002を参照されたい）は、好ましい実施形態の目的のために有益であるが、これは限定的な例ではない。
差分二乗和（ＳＳＤ）、

局所的にスケーリングされた差分二乗和（ＬＳＳＤ）、

正規化相互相関（ＮＣＣ）、

及び、ゼロ平均正規化相互相関（ＺＮＣＣ）、

上に示した式（４）〜（７）について、Ｒは相関マッチングで考慮されるサポート領域であり、Ｒを３×３ピクセルとして選択することは、リアルタイム処理に適している場合があり、５×５ピクセルはオフライン処理に適している場合がある。当業者は、基礎となるシステムのスピードと複雑さとが増加するにつれて、時間と共に、より大きなサポート領域がリアルタイム処理及びオフライン処理のために用いられる場合があることを認識するであろう。３×３及び５×５サポート領域は、例として提供することができる。

相関ベースのマッチングメトリックは、非常に計算上高くつくものであるが、動きベクトルは既に外部システムから推定されているため、差分メトリックはより小さな領域について推定することができ、より大きなピクセルサポート領域での検索は必要としない。

上記の式４〜７で開示されるような大域的平均及び局所的平均等の局所的な重み付けを求めるための数値的な方法に加えて、固有値解析を利用して、より精密で正確な重み付けを提供することができる。特許文献１に記載される方法は、引用することにより本明細書の一部をなすが、特に有益であり、特にここで注意することは、局所的なサポート領域の勾配構造テンソルの固有値を使用して、その領域が等方性を有するか、均一な領域であるか、著しい画像テクスチャを含むか、又は強いコントラストエッジを含むかを判定することである。そのようなテンソル解析に基づき、均一で等方性を有する領域画像の差分は、例えば、より高いテクスチャを有する領域よりも小さく重み付けられる。

オプティカルフロー動きベクトル及び視差マップは、共通して正規化ステップ及び平坦化ステップを使用して、不連続点及び外れ値を平坦化し、ビデオの場合には、時間軸に沿って動きベクトル場を安定化させることに更に役立つ。オクルージョン及び誤差場は、動きベクトル場及び画像フィールドとは別に、正規化モジュール５２０を用いて、同様な方法で別個の扱いから利得を得ることに注意されたい。

最終的に結果として得られるオクルージョンマップ５１４における、従来技術のノイズ、誤検出、及び検出漏れの問題に対処するために、重み付け関数５１６及び重み付き誤差コスト関数５１８は、図６に描かれるような固有値解析を含むことができる。まず、特許文献１で教示されるように、時空勾配推定６３０を前回のフレーム６１０及び今回のフレーム６２０のピクセルのフィールドに適用することができ、結果として二次元勾配場６４０が得られる。ここで、勾配導関数を、例えば式９において推定することができる。

勾配場６４０は勾配テンソル解析６５０に入力され、ここで勾配値はテンソルに入力され、テンソルは式１０のような固有値解析を受ける。

式１０の固有値解析は、それぞれの及び全てのピクセルについての２つの固有値λ_１及びλ_２をもたらし、ここで各固有値の組み合わせは、前述した任意のピクセルを取り囲む画像の局所構造を識別する。

勾配テンソル解析６５０から取得された固有値は、固有値場６６０をもたらし、入力画像６１０及び６２０の各ピクセルについて局所構造テンソルの固有値を識別する。それぞれの及び全てのピクセルについての２つの固有値λ_１及びλ_２は、高い均一性（例えば、低いλ_１及びλ_２）及び低いエッジ支配（例えば、λ_２に対して低いλ_１）を有する領域における誤差値を差し引くことによって、重み付け関数６７０に影響を与えることができる。

重み付けサポート領域６７０で重み付け場６７５を計算した後に、重み付き誤差コスト関数６８０は、図５の重み付け関数ブロック５１６に記載されているように、重み付き誤差場６９０を計算する。

図７を参照すると、前回のフレーム７１０、今回のフレーム７２０、結果として得られる誤差場７３０、及び初期オクルージョンマップ７４０は多因子シグマフィルター７５０に入力することができ、この多因子シグマフィルター７５０は初期オクルージョンマップ７４０及び場７３０に作用する（Tomasi他「Bilateral filtering for gray and color images」 International Conference on Computer Vision, (1998) pp 839-846」において教示されるような既知の２因子バイラテラルフィルターと同様に）が、これは４つ以上のシグマ（因子）を含むことができる。すなわち、前回のフレーム７１０と、今回のフレーム７２０と、重み付き距離場７３０に基づく２Ｄ動きベクトルについての方向距離関数と、重み付き距離場７３０に基づく２Ｄ動きベクトルについての大きさ距離関数と、初期オクルージョンマップ７４０で最初にマーキングされたようなオクルージョンとに基づく画像色距離関数（ＲＧＢ／ＹＵＶ）である。

空間上の平坦化が適用されるときにピクセル位置が遮蔽されているとマーキングされている場合、フィルターバンク係数への寄与に重いペナルティを与えることができ、それによって物体の境界におけるいかなる望まない歪みも避けるように、多因子シグマフィルター７５０を実装することができる。加えて、関連付けられた動きベクトルの方向又は大きさによる外見上異なる動き領域からの差分データは、それらが外見上似ていない場合にペナルティを与えることができる。元の提案されたフィルターは２つのパラメーター、すなわち空間半径及び画像の色差しか用いていないため、多因子シグマフィルター７５０は多くの点でバイラテラルフィルター及びそれらの派生物とは異なる。１つの例では、多因子シグマフィルター７５０は式１１のような式の形式で表すことができる。

ここで、ｅ（）は画像の誤差場６９０であり、ｏ（）はワーピング補償５１０によって提供された初期オクルージョン場６８５を表し、ｅ’（）は結果的に得られる正規化されたオクルージョンマップ７６０であり、さらにここでｇ（）は式１２のようなガウスの空間距離関数である。

ここで、式１１のｒ（）はラジオシティ関数であり、この関数は色差及び／又は輝度値を観測し、式１２のｒ（）は式１３のような画像Ｉに存在するＲＧＢ又はＹＵＶの値に基づく適切な色差関数である。

ここで、式１３のｆＣ（）は、式１４〜１９のように、１つの例では、ＲＧＢ又はＹＵＶの値をＨＳＶ色空間の表現に変換することができる。

そして、ここで関数ｆＣ（）は、１つの例では式２０のように、ＨＳＶ色空間における色類似度を測定する。

ここで、ａ、ｂ及びｃはユーザーによって提供された重み付け値であり、これは非限定的な例として、それぞれ０．５、０．５、及び１．０とすることができる。そして、ここで式１１の関数ｄ（）は動きベクトルの類似度を測定し、これは例えば、式２１のような単純な大きさ差分測定関数を含むことができる。

ここで、ｄ（）は動きベクトル間の単純なユークリッド距離を測定する関数であり、Ｄ（）は式２２〜２５のような関数である。これにより、動きベクトル方向の類似度を独立して評価する方法が提供される。

フレームからフレームへの動きベクトル間の方向差分の測度として、式２４のように、互いに反対を指す動きベクトル（１８０度反対）が最も異なると考えられる。２つのそのようなベクトルは方向（シータ）及び大きさ（距離、すなわちＤ）において差分を有し得る。

さらに、動きベクトルの角度差を数値的に強調するために、角度差は対数尺度に変換される。特定の空間位置についての動きベクトルの向きが大きく変化する場合、その差分Ｄ（）は式２５のような対数重み付け尺度において計算される。

そして、各空間位置のそれぞれのオプティカルフローベクトルの式２１の大きさ差分ｄ（）は対数尺度に変換される。これは、小さな差分に対して大きな差分を強調する。１つの例では、これらについての値は、式２６のように計算される。

式１１の出力されたオクルージョン場の値ｏ（）及び誤差場の値ｅ’（）の正規化は、単に考慮されている半径を用いるだけではなく、動きベクトルの差分、画像輝度及びオクルージョンのマーキングも含む。これは、作用から、遮蔽された領域を除外し、不完全な動き推定ベクトルに起因する歪みを一切導入しない。

そして、このとき誤差場は単純で一貫性のある閾値操作によく調整されており、それによって所与の閾値を下回る誤差場の値に対応するオクルージョン場ピクセルが、最終的なオクルージョンマップＯ（）における非オクルージョンとしてマーキングされ、この閾値を上回る誤差場の値に対応するオクルージョン場ピクセルが最終的なオクルージョンマップＯ（）におけるオクルージョンとして断定的にマーキングされる。非限定的な例が式２７において提供される。

ここで、関数Ｏ（）の計算は、図５に示されるように、最終的な洗練されたオクルージョンマップをもたらし、非限定的な例として、通常の閾値は０．００３から０．００６の範囲である。

図８は、本明細書において論述した方法論のうちの任意の１つ又は複数をマシンに実行させる一組の命令を実行することができるコンピューターシステム８００の例示の形態のマシンの図的表現を示している。幾つかの例では、このマシンは、ＬＡＮ、イントラネット、エクストラネット、又はインターネット内の他のマシンに接続（例えば、ネットワーク接続）することができる。このマシンは、クライアントサーバーネットワーク環境ではサーバーマシンの資格で動作することができる。このマシンは、パーソナルコンピューター（ＰＣ）、セットトップボックス（ＳＴＢ）、サーバー、ネットワークルーター、ネットワークスイッチ、若しくはネットワークブリッジ、又はそのマシンによって行われる動作を指定する一組の命令（逐次又は別の方法）を実行することが可能な任意のマシンとすることができる。さらに、単一のマシンしか図示されていないが、「マシン」という用語は、本明細書において論述した方法論のうちの任意の１つ又は複数を実行する一組（又は複数組）の命令を個々に又は共同で実行するマシンの任意の集合体も含むものと解釈されるものとする。

この一例示のコンピューターシステム８００は、処理デバイス（プロセッサ）８０２、メインメモリ８０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ８０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ））、及びデータ記憶デバイス８１６を備える。これらは、バス８０８を介して互いに通信する。

プロセッサ８０２は、マイクロプロセッサ、中央処理装置等の１つ又は複数の汎用処理デバイスを表している。より詳細には、プロセッサ８０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実装するプロセッサ若しくは命令セットの組み合わせを実装するプロセッサとすることができる。プロセッサ８０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ等の１つ又は複数の専用処理デバイスとすることもできる。図２に示すオクルージョンマップ生成器２４５は、本明細書において論述した動作及びステップを実行するように構成されたプロセッサ８０２によって実行することができる。

コンピューターシステム８００は、ネットワークインターフェースデバイス８２２を更に備えることができる。コンピューターシステム８００は、ビデオディスプレイユニット８１０（例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ））、英数字入力デバイス８１２（例えば、キーボード）、カーソル制御デバイス８１４（例えば、マウス）、及び信号発生デバイス８２０（例えば、スピーカー）も備えることができる。

ドライブユニット８１６は、本明細書において説明した方法論又は機能のうちの任意の１つ又は複数を具現化する一組又は複数組の命令（例えば、オクルージョンマップ生成器２４５の命令）が記憶されているコンピューター可読媒体８２４を備えることができる。オクルージョンマップ生成器２４５の命令は、コンピューターシステム８００によるこれらの命令の実行中は、メインメモリ８０４及び／又はプロセッサ８０２内にも完全に又は少なくとも部分的に存在することができ、メインメモリ８０４及びプロセッサ８０２もコンピューター可読媒体を構成する。オクルージョンマップ生成器２４５の命令は、ネットワークインターフェースデバイス８２２を介してネットワーク上で更に送信又は受信することができる。

コンピューター可読記憶媒体８２４は、一例では、単一の媒体であるとして示されているが、「コンピューター可読記憶媒体」という用語は、一組又は複数組の命令を記憶する単一の非一時的媒体又は複数の非一時的媒体（例えば、集中型若しくは分散型のデータベース、及び／又は関連付けられたキャッシュ及びサーバー）を含むものと解釈されるべきである。「コンピューター可読記憶媒体」という用語は、マシンによって実行される一組の命令を記憶、符号化、又は担持することが可能であるとともに、本開示の方法論のうちの任意の１つ又は複数をマシンに実行させる任意の媒体も含むものと解釈されるものとする。「コンピューター可読記憶媒体」という用語は、したがって、固体メモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないものと解釈されるものとする。

上記説明では、多数の詳細が述べられている。しかしながら、この開示の利益を有する当業者には、これらの特定の詳細がなくても、この開示の例を実施することができることは明らかである。幾つかの場合には、よく知られた構造及びデバイスは、説明を分かりにくくしないように、詳細には示されず、ブロック図の形態で示されている。

詳細な説明の幾つかの部分は、コンピューターメモリ内のデータビットに対する操作のアルゴリズム及びシンボル表現の点から提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術における当業者が、自身の作業を他の当業者に最も効果的に伝達するのに用いる手段である。アルゴリズムは、本明細書において及び一般的には、所望の結果をもたらす自己矛盾のないステップのシーケンスであると考えられる。これらのステップは、物理量の物理的な操作を必要とするものである。必ずしもそうとは限らないが通常、これらの量は、記憶、転送、組み合わせ、比較、及びそれ以外の操作が可能な電気信号又は磁気信号の形態を取る。主として共通使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数等と呼ぶことが時に便利であることが分かっている。

しかしながら、これらの用語及び類似の用語の全ては、適切な物理量と関連付けられるべきであり、これらの量に適用された便利なラベルにすぎないことに留意すべきである。特に別段の指定がない限り、上記論述から明らかであるように、この説明全体を通じて、「受信する」、「書き込む」、「維持する」等の用語を利用している論述は、コンピューターシステムのレジスター及びメモリ内の物理（例えば、電子）量として表されたデータを、新たな座標系に対して操作して、そのコンピューターシステムのメモリ若しくはレジスター、又は他のそのような情報記憶デバイス、伝送デバイス、若しくはディスプレイデバイス内の物理量として同様に表される他のデータに変換するコンピューターシステム又は同様の電子コンピューティングデバイスの動作及びプロセスを指すことが理解される。

本開示の例は、本明細書における動作を実行する装置にも関係している。この装置は、必要とされる目的用に特別に構築することもできるし、コンピューターに記憶されたコンピュータープログラムによって選択的にアクティブ化又は再構成される汎用コンピューターを含むこともできる。知覚品質及び／又は既存画像の伝送率又は格納率を向上させる本明細書に開示されるハイスループットのシステム及び方法と、ビデオ圧縮又は伝送のシステム及び方法とは、多くのフィールドにおける問題を解決し、ほんの数例として、限度を超えたビデオ送達のリアルタイムの効率性、移動デバイスからビデオデータ及び画像データを同時にアップロード及びダウンロードするときの公衆無線アクセスネットワークの輻輳に対する費用対効果に優れたリアルタイムの削減、リアルタイムの通過帯域テレビ送達容量の増加、衛星トランスポンダー容量の増加、コンテンツマネジメントシステム及びネットワークＤＶＲアーキテクチャの保存コストの削減、並びに分配ネットワークコアにおける画像及びビデオのハイスループット処理がある。

そのようなコンピュータープログラムは、コンピューター可読記憶媒体に記憶することができる。このコンピューター可読記憶媒体は、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光カード、又は電子命令を記憶するのに適した任意のタイプの媒体等であるが、これらに限定されるものではない。

本明細書において提示したアルゴリズム及び表示は、本質的には、どの特定のコンピューターにも他の装置にも関係付けられていない。様々な汎用システムを、本明細書における教示によるプログラムとともに用いることもできるし、必要とされる方法ステップを実行するより特殊化された装置を構築することが便利であると分かる場合もある。様々なこれらのシステムの例示の構造は、本明細書における説明から見えてくる。加えて、本開示は、どの特定のプログラミング言語に関しても説明されていない。様々なプログラミング言語を、本明細書において説明した開示の教示内容を実施するのに用いることができることが理解されるであろう。

上記説明は、限定ではなく例示であるように意図されていることが理解されるべきである。上記説明を読んで理解すると、他の多くの例が当業者には明らかであろう。したがって、本開示の範囲は、添付の特許請求の範囲が権利を有する均等なものの全範囲とともに、そのような特許請求の範囲に関して決定されるべきである。

Claims (25)

1. オクルージョン領域検出のための方法であって、
   処理デバイスで第１の画像及び第２の画像を受信することと、
   前記処理デバイスを用いて、前記第１の画像と前記第２の画像との間の動きベクトル場を推定することと、
   前記処理デバイスを用いて、前記第２の画像に向けて前記第１の画像を動き補償して、動き補償された画像を取得することと、
   前記処理デバイスを用いて、前記動き補償された画像の複数のピクセル値と前記第一１の画像の複数のピクセルとを比較して、誤差場を推定することと、
   前記処理デバイスを用いて、前記誤差場を重み付き誤差コスト関数に入力して、初期オクルージョンマップを取得することと、
   前記処理デバイスを用いて、前記初期オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得することと、
   を含む、方法。
2. 正規化することは、正規化された誤差場を取得することをさらに含む、請求項１に記載の方法。
3. 前記正規化されたオクルージョンマップ又は前記正規化された誤差場のうちの少なくとも１つに基づく値が閾値を下回るまで、前記比較することと前記正規化することとを繰り返すことをさらに含む、請求項２に記載の方法。
4. 前記第２の画像に向けて前記第１の画像を動き補償することは、前記第１の画像から前記第２の画像に向けて前記動きベクトル場を画像ワーピングすることを含む、請求項１に記載の方法。
5. 前記初期オクルージョンマップ及び前記正規化されたオクルージョンマップは、それぞれ重み付き誤差コスト関数に基づく、請求項１に記載の方法。
6. 前記重み付き誤差コスト関数は、差分二乗和測度、局所的にスケーリングされた差分二乗和測度、正規化相互相関測度、又はゼロ平均正規化相互相関測度のうちの少なくとも１つである、請求項５に記載の方法。
7. 前記重み付き誤差コスト関数は、局所的なサポート領域にわたる局所的な重み付けに基づく、請求項６に記載の方法。
8. 前記局所的なサポート領域にわたる局所的な重み付けは、前記動き補償された画像の前記局所構造テンソルの固有値解析に基づく、請求項７に記載の方法。
9. 前記局所的なサポート領域にわたる局所的な重み付けは、前記局所的なサポート領域にわたる勾配エネルギー重み付けである、請求項７に記載の方法。
10. 前記局所的なサポート領域にわたる勾配エネルギー重み付けは、前記局所的なサポート領域にわたる統計的分散又は局所的なコントラストの和である、請求項９に記載の方法。
11. 前記オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得することは、マルチシグマフィルターを前記オクルージョンマップに適用することを含む、請求項１に記載の方法。
12. マルチシグマフィルターを前記オクルージョンマップに適用することは、４因子シグマフィルターを前記オクルージョンマップに適用することを含む、請求項１１に記載の方法。
13. 前記多因子シグマフィルターへの入力重みは、粗い初期オクルージョン場推定値、及び前記第１の画像と前記第２の画像との間の色値若しくは輝度の１つ若しくは複数の類似度、動きベクトル方向の角度値の類似度、又は動きベクトルの大きさの類似度を含む、請求項１２に記載の方法。
14. 前記多因子シグマフィルターは、深度又は目標範囲となるフィールドの不連続点等の１つ又は複数の重みを組み込む、請求項１３に記載の方法。
15. システムであって、
    メモリと、
    前記メモリに接続され、該メモリを利用する処理デバイスと、
    を備え、前記処理デバイスは、
    第１の画像及び第２の画像を受信し、
    前記第１の画像と前記第２の画像との間の動きベクトル場を推定し、
    前記第２の画像に向けて前記第１の画像を動き補償して、動き補償された画像を取得し、
    前記動き補償された画像の複数のピクセル値と前記第１の画像の複数のピクセルとを比較して、誤差場を推定し、
    前記誤差場を重み付き誤差コスト関数に入力して、初期オクルージョンマップを取得し、
    前記初期オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得する、システム。
16. 正規化することは、正規化された誤差場を取得することをさらに含む、請求項１５に記載のシステム。
17. 前記正規化されたオクルージョンマップ又は前記正規化された誤差場のうちの少なくとも１つに基づく値が閾値を下回るまで、前記比較することと前記正規化することとを繰り返すことをさらに含む、請求項１６に記載のシステム。
18. 命令を含む非一時的なコンピューター可読記憶媒体であって、前記命令は、処理デバイスによってアクセスされると、前記処理デバイスに、
    第１の画像及び第２の画像を受信することと、
    前記第１の画像と前記第２の画像との間の動きベクトル場を推定することと、
    前記第２の画像に向けて前記第１の画像を動き補償して、動き補償された画像を取得することと、
    前記動き補償された画像の複数のピクセル値と前記第１の画像の複数のピクセルとを比較して、誤差場を推定することと、
    前記誤差場を重み付き誤差コスト関数に入力して、初期オクルージョンマップを取得することと、
    前記初期オクルージョンマップを正規化して、正規化されたオクルージョンマップを取得することと、
    を含む操作を実行させる、非一時的なコンピューター可読記憶媒体。
19. 正規化することは、正規化された誤差場を取得することをさらに含む、請求項１８に記載の非一時的なコンピューター可読記憶媒体。
20. 前記正規化されたオクルージョンマップ又は前記正規化された誤差場のうちの少なくとも１つに基づく値が閾値を下回るまで、前記比較することと前記正規化することとを繰り返すことをさらに含む、請求項１９に記載の非一時的なコンピューター可読記憶媒体。
21. 前記初期オクルージョンマップ及び前記正規化されたオクルージョンマップは、それぞれ重み付き誤差コスト関数に基づく、請求項１８に記載の非一時的なコンピューター可読記憶媒体。
22. 前記重み付き誤差コスト関数は、局所的なサポート領域にわたる局所的な重み付けに基づく、請求項２１に記載の非一時的なコンピューター可読記憶媒体。
23. 前記局所的なサポート領域にわたる局所的な重み付けは、前記動き補償された画像の前記局所構造テンソルの固有値解析に基づく、請求項２２に記載の非一時的なコンピューター可読記憶媒体。
24. 前記オクルージョンマップを正規化し、正規化されたオクルージョンマップを取得することは、マルチシグマフィルターを前記オクルージョンマップに適用することを含む、請求項１８に記載の非一時的なコンピューター可読記憶媒体。
25. マルチシグマフィルターを前記オクルージョンマップに適用することは、４因子シグマフィルターを前記オクルージョンマップに適用することを含む、請求項２４に記載の非一時的なコンピューター可読記憶媒体。

Images