JP2006512833A - 立体画像のためのビデオフィルタ処理 - Google Patents

Abstract

画像処理システムが、出力画像を入力画像から深度依存性変換を介して発生する。画像は、対応するピクセルアレイとして表される。入力部（１１１０）は、各入力ピクセルに対して、関連する入力ピクセル値及び入力ピクセル深さを入力する。各入力ピクセルは、対応する再構築フィルタフットプリントに関連付けられる。ビデオプロセッサは上記出力ピクセルを、各入力ピクセルに関して、入力ピクセルを関連する入力ピクセル深さの関数として変換入力ピクセルに変換（１１２０）すると共に、前記関連するフィルタフットプリントを関連する入力ピクセル深さの関数として変換フィルタフットプリントに変換することにより作成する。該プロセッサは、複数の上記変換入力ピクセルに対して上記の変換フィルタフットプリントを用いて再構築フィルタ処理演算（１１５０）も実行する。出力部（１１６０）は、後続のレンダリングのために出力画像を供給すべく使用される。

Description

本発明は、入力視点に関連された入力画像から深さ依存性変換を介して少なくとも１つの出力視点に関連された出力画像を発生する画像処理システムに関する。

２Ｄ表示器上に画像を表示する場合に深さ（奥行き）感覚を提供することに対する興味は、特に仮想現実用途及びコンピュータゲームにおいて急速に増大している。被写体（オブジェクト）の輝度レベル又は大きさに影響を与える等の深さの指示を提供する種々の形態が既知である。特に、立体映像又は立体ビジョンは、深さ感覚を提供する技術として多くの注目を受けている。立体映像は、人に対し、僅かに離れた２つの位置から見られる同一の情景（シーン）の２つの２Ｄ画像を提示することにより再現される。これら画像の一方は左目に提示され、他方は右目に提示される。２つの画像は視差的に関連している。“視差”なる用語は、被写体に対して直線上にない２つの異なる点から見た、該物体の見掛けの変位又は見掛けの方向の差を指す。視差は、人が景色における被写体の深さを知覚するのを可能にする。

立体画像を表示するための多くの表示技術が知られている。時間並列技術を使用して、両出力画像が１つ又は２つの表示器に同時に提示される。例えば、両画像を補色によりフィルタ処理し、１つの表示器上で重畳することができる。観察者は該投影フィルタに整合するフィルタの眼鏡を装着する。他の例として、両画像を１つの表示器上に並んで表示し、各画像を正しい目に向けるビューワを使用して見ることができる。他の例として、２つの表示器を２つの異なるように偏光された画像を提示するために使用することができ、これら画像は対応して偏光された眼鏡を介して見られる。他の例として、両画像を、各目に対して別個の表示器を備える頭部装着装置を用いて提示することができる。時間多重化技術を使用することもでき、その場合には、左及び右の画像が１つの表示器上に交互に表示される。一例として、一方の画像はモニタの偶数走査線に書き込まれ、他方の画像は奇数走査線に書き込まれる。右目画像が表示される場合に左目を遮蔽し、左目画像が表示される場合に右目を遮蔽するために、シャッタシステムが使用される。該シャッタシステムは観察者により装着される眼鏡に取り付けることができる。他の例として、調整可能な偏光子を備えるシャッタが表示器の前に配置され、観察者は偏光眼鏡を備える頭部装着装置を装着する。

異なる視点から２Ｄ画像をレンダリングするのに適した、可能性のあるビデオフォーマットは、深さ情報により強化された２Ｄビデオフォーマットである。典型的には、該２Ｄ入力画像はピクセルのアレイの形態で与えられる。これは、例えば、カメラ又はコンピュータグラフィックスを用いて得られたものであり得る。入力画像のピクセルの各々に対して、追加の深さ情報が利用可能であるか、又は同様にして、当該シーンにおける各点に対して、当該点のカメラまでの（又は、投影スクリーン等の他の基準点、ライン又は面までの）距離が付与される。このようなフォーマットは、通常、２．５Ｄビデオフォーマットと呼ばれる。斯かる深さ情報は、元の画像の、平らな画像の一群のサンプルとしてのみならず、地形（テレイン：terrain）上に投影された画像の一群のサンプルとしてのモデル化を可能にする。図２Ａは、サンプリングされたテレインの断面を示している。カメラ位置からスクリーンの各ピクセルに対して光線が投射される。これら光線に沿う矢印の長さは、テクセル（texel：テクスチャエレメント）とも呼ばれる、ピクセルサンプルの深さ値を示す。２．５Ｄビデオフォーマットは、界（world）の完全３Ｄモデルの部分集合を表す。他の視点からのレンダリングは、所望の視点からテレインを画像面に投影することにより達成することができる。同一の被写体を目の視点から及びカメラ点から観察する場合の視差に基づいて、左目画像及び右目画像のピクセルを、入力画像のピクセルから斯かるピクセルをずらすことにより導出することができる。当該座標系の水平軸を、両眼を接続する線に平行になるように選択することにより、水平のずれのみが生じる。ピクセルのずれの量は深さ情報に依存する。図２Ｂは、視点変換の後に、投影される入力ピクセルの密度が出力ドメインにおいて均一にならないことを示している。従って、再サンプリング処理が必要となる。放送ビデオ信号を処理するように設計された既存のビデオ処理ハードウェア／ソフトウェアは、高品質出力画像を生じさせることができる。このようなＨＷ／ＳＷは、画像を４：３及び１６：９のような異なる表示フォーマットにスケーリングすると共に、斯様な変換のために当該信号の再サンプリング及び帯域制限を実行することができる。斯かるビデオ処理は当該画像の水平走査ライン毎に行われる。

本発明の目的は、視覚的アーチファクトを生じることなく視点変換を実行することができるようなビデオ処理システム及び方法を提供することにある。このような変換は低コストで実行され、且つ放送ビデオ信号を処理するように設計された既存のビデオ処理ハードウェア／ソフトウェアと統合することができることが好ましい。

本発明の上記目的を達成するために、画像処理システムは、出力視点に関連する少なくとも１つの出力画像を入力視点に関連する入力画像から深さ依存性変換を介して発生するように動作し、前記各画像は入力ピクセルアレイ及び出力ピクセルアレイとして表され、当該画像処理システムは、前記入力画像を入力する入力部であって、前記入力画像が各入力ピクセルに対して関連する入力ピクセル値及び入力ピクセル深さを含み、各入力ピクセルが対応する再構築フィルタフットプリントに関連付けられるような入力部と；前記出力画像の出力ピクセルを、
各入力ピクセルに対して、当該入力ピクセルを前記関連する入力ピクセル深さの関数として変換入力ピクセルに変換すると共に、前記関連付けられたフィルタフットプリントを前記関連する入力ピクセル深さの関数として変換フィルタフットプリントに変換し、
複数の前記変換入力ピクセルに、前記変換フィルタフットプリントを用いて再構築フィルタ処理演算を実行する、
ことにより作成するように動作するビデオプロセッサと；前記出力画像を後のレンダリングのために供給する出力部とを含む。

本発明によれば、各入力ピクセルは初期フィルタフットプリントに関連付けられ、該初期フィルタフットプリントは例えば当該ピクセルの長さに対応し得る。このフィルタフットプリントは、ピクセルの深さに基づいて変換される。この変換は、典型的には、入力視点から出力視点への視差変換である。該変換は、入力ピクセルをずらすのみならず、フィルタフットプリントのサイズも変化させる（例えば当該フットプリントを伸張又は縮小させる）。結果として、変換後には、斯かるフットプリントは部分的に又は完全に重なり得る。従って、当該視点により近いピクセルは、該視点から更に移動された入力ピクセルと部分的に又は完全に重なり得る。また、変換された入力ピクセルは、通常は、出力ピクセルグリッド（アレイとして表される）に従っては最早整列されない。出力ピクセルは、変換された入力ピクセルフットプリントに基づいて再構築される。異なる画像比を扱うように設計された既存のビデオ再構築フィルタは、伸張された又は縮小されたフットプリントを用いて出力信号を再構築することができる。このような既存のフィルタは、当該深さ依存性変換により決定されるフィルタフットプリントサイズが供給されるようにして使用することができる。

従属請求項２の構成によれば、上記プロセッサは、何の変換フィルタフットプリントが出力視点から完全には遮蔽されないかを判断する。該プロセッサは、これらのフットプリントを再構築フィルタ処理に用いる。完全に見えるフットプリントのみを使用することにより、速度が向上される。

従属請求項３の構成によれば、部分的に遮蔽されるフットプリントも、見える部分に比例して使用される。これは、出力画像の品質を向上させる。

従属請求項４の構成によれば、完全に遮蔽されるフットプリントはフィルタ処理から削除され、出力信号に寄与することがない。

従属請求項５の構成によれば、ピクセルを行毎に入力視点から出力視点への変位と反対の方向に順次処理することが、遮蔽の検出を容易にする。これは、今まで変換されたピクセルのフットプリント及び斯かるピクセルの最遠のｘ座標を示す一次元的区域（extent）を維持することにより実行することができる。次のフットプリントの変換が、結果として上記区域の増加となる場合、該変換される次のフットプリントは少なくとも部分的には遮蔽されない。この様にして、当該フィルタ処理からピクセルを除外するか否かを容易に決定することができる。好ましくは、ｘ軸は水平とし、カメラ変位も水平とする。もしその様に望むなら、他の方向も同様に可能である。

従属請求項６の構成によれば、隠れた画像も入力することができ、該隠れた画像は、隠れたピクセルの各々に対して、関連する隠れたピクセル値及び隠れたピクセル深さを含む。前記ビデオプロセッサは、出力ピクセルが前記出力視点から暴露される（de-occluded）か否かを判断することができ、暴露されるピクセルに関して、変換された隠れた画像のピクセルに再構築フィルタ処理を実行する。従って、変換後に入力画像に現れる欠落（holes）は、該隠れた画像からのピクセルにより充填される。これら隠れた画像のピクセルは、入力画像から取り出されたかの如くに処理される（変換され、フィルタ処理される）。好ましくは、隠れた画像は幾つかの隠れた層から形成される。

従属請求項７の構成によれば、前記ビデオプロセッサは、前記変換された入力ピクセルが前記ｘ座標区域を所定の閾より大きく増加させた場合に出力ピクセルが暴露されたと判断するように動作する。好ましくは、変換後の入力ピクセルのｘ座標が出力画像における最後のピクセル位置から１．５ピクセルより大きく移動されたら、欠落は大き過ぎ、隠れた層から充填される。

従属請求項８の構成によれば、好ましくは、前記再構築フィルタはボックスフィルタ又は高次フィルタに基づくものとする。

従属請求項９の構成によれば、再構築された信号はレンダリングの前に前置フィルタ処理される。前置フィルタは各出力ピクセルに対して規定されたフットプリントを有する。このフットプリントが入力ピクセルの変換再構築フィルタフットプリントと重なる場合、この入力ピクセルは出力ピクセルの値に貢献する。貢献度は、前置フィルタの形状により重み付けされる。このような再サンプリング方法は、フォワードテクスチャマッピング又はテクセルスプラッティングとして知られている。テクセルスプラッティングは、高次フィルタと容易に統合することができる。従来のテクセルスプラッティングの欠点は、遮蔽の処理と統合が困難である点にある。従来は、フォワードテクスチャマッピング方法が、出力ピクセルに対する貢献度を記憶するフラグメントバッファ及び深さ情報を用いることにより遮蔽を処理している。該バッファは、全体のスクリーンの貢献度を蓄積し、これらを前方から後方へソートする。全スクリーンを処理した後、上記バッファはシーンを前方から後方へレンダリングするために使用することができる。この方法の欠点は、フラグメントバッファのサイズが、ビデオフィルタのフットプリントの面積に出力画像のサイズを乗算したものに比例することにある。本発明による方法を使用すれば、フラグメントバッファは不要であり、高次のフィルタ処理を適用することが容易となる。

従属請求項１０の構成によれば、上記前置フィルタは好ましくは水平にのみ動作し、ピクセルの簡単な順次処理を可能にし、テレビジョンにおける現在のビデオ処理に良く適合する。より高い品質を達成するために、上記前置フィルタは１より多い行のピクセルに広がることができる。

本発明のこれら及び他の態様は、以下に記載する実施例から明らかとなり、斯かる実施例を参照して説明されるであろう。

本発明によるシステムを説明するために、図１ないし４を参照して深さ依存性変換を説明する。この概略説明においては、ピクセルは点（無次元）と見なされる。図１は従来のシステムのブロック図を示し、該システムにおいては本発明による画像処理システムを有利に使用することができる。該従来のシステムは、２Ｄ入力画像１１０を記憶するためのグラフィックスメモリのようなメモリ１００を有している。入力画像１１０は行及び列に分割されたピクセルのアレイを含む。各ピクセルにはピクセル値が付与される。ＲＧＢ（赤、緑、青）又はＹＵＶ符号化等の、ピクセル値を表す種々の方法が良く知られている。斯かるピクセル値は、例えばピクセル当たりに１６又は２４ビットを使用して、完全に記憶することができる。他の例として、ピクセル値を例えば８ビット等の一層少ないビットを用いて符号化するために、カラールックアップテーブル（ＣＬＵＴ）方法を使用することもできる。上記ピクセル値に加えて、各ピクセルに対し深さ値がメモリ１００に入力デプス１２０として記憶される。該深さ値は、例えば、ピクセル当たり１６ビットを用いて記憶することができる。必要なら、入力デプス１２０を記憶するために別のメモリを使用することもできる。上記入力画像１１０及び入力デプス１２０は、如何なる適正な方法においても発生することができる。一例として、好ましくは各々が異なる目を表すような、異なる位置に配置された２つのカメラを使用することができる。斯かるカメラから得られた２つの２Ｄ画像から、１つの画像及び深さ情報を形成することができる。次いで、上記深さ情報は、単一の２Ｄ画像に加えて、且つ、好ましくは該２Ｄ画像の従来の供給法と互換性を以って供給することができ、当該シーンが従来の２Ｄ表示システム又は立体表示システムの何れを用いても見られるのを可能にする。ゲームコンピュータ又はパーソナルコンピュータ上では、入力画像１１０及び入力デプス１２０は、通常は、メモリに記憶された３Ｄモデルから当該情報を導出する３Ｄレンダリング処理により発生される。典型的には、該メモリはコンピュータの主メモリの一部である。遠隔通信手段、オーディオ／ビデオ放送又はケーブルネットワーク等の通信手段を、入力画像１１０及び入力デプス１２０を当該画像処理システムに供給するために使用することができる。

プロセッサ１６０は、上記入力画像１１０及び入力デプス１２０を使用して、少なくとも１つの出力画像を発生する。図１に示す例においては、左画像１７０及び右画像１８０が発生される。左画像１７０は、３Ｄシーンの観察者の左目に一致する観察点から見た２Ｄ表現を表す。同様に、右画像１８０は、３Ｄシーンの観察者の右目に一致する観察点から見た２Ｄ表現を表す。プロセッサ１６０は該出力画像をグラフィックスメモリ等のメモリ１９０内に構築することができる。本発明によるシステムは、ピクセル行毎の処理を可能にし、メモリ要件を低減させる。従って、上記メモリは画像の１つの走査ラインのみを記憶するラインバッファを使用することができる。画像データ自体は、ストリームとして処理することができる。垂直フィルタ処理が適用される場合は、数行が記憶される必要がある。通常、Ｄ／Ａコンバータ２００が上記出力画像を立体表示器等の適切な表示器２１０上に提示する。放送受信機においては、プロセッサ１６０は上記入力画像及び入力デプスに対して、この情報の供給にピクセルレベルで時間同期して作用することができる。該同期は、入力画像１１０及び入力デプス１２０の各コピーであるような入力画像２２０及び入力デプス２３０を記憶するメモリ２１０を使用することにより緩和することができる。かくして、プロセッサ１６０は入力画像２２０及び入力デプス２３０に対して、入力画像１１０及び入力デプス１２０の供給とは独立して作用することができる。完全な新たな画像が作成された場合のような、適切な時点において、入力画像１１０及び入力デプス１２０は入力画像２２０及び入力デプス２３０に各々コピーされる。メモリ１００及びメモリ２１０が１つのメモリブロックに物理的に組み合わされるような状況では、上記コピー処理は、データを物理的にコピーすることなく、例えばポインタレジスタを再割り付けすることにより実行することができる。完全な画像のコピーを維持する代わりに、適用されるフィルタに依存して、１つの行の数ピクセル又は数行を記憶することもできることが分かる。

入力画像の出力画像への深さ依存性変換は、３Ｄ被写体（オブジェクト）の互いの変位に関連する。ここで説明する変換は、視差変換とも呼ばれる。変位は、例えば観察者のシーンに対する位置の変化、観察者のシーンに対する向きの変化、被写体の相対速度による互いに対する変化する位置、又はこれらの組合せの結果として生じる。

図２Ａは、カメラの視点２０５から見られ、画像面２１０上に投影されたテレイン２００を示している。通常、画像面は一様なピクセル（可能性として、ｘ及びｙ方向に異なる密度を伴う）により形成される。この例では、当該画像面の各ピクセルに対して、テレインの対応するテクセル（テクスチャエレメント）が決定される（カメラからの光線のテレインを介しての当該ピクセルとの交差）。深さは、如何なる好適な形態で表すこともできる（例えば、当該テクセルから当該ピクセルまでの長さ、テクセルのカメラまでの距離、テクセルの投影面までの距離等を表す）。また、深さは如何なる好適な形態でも符号化することができ、例えば線形目盛上の１６ビット符号化を使用することができ、その場合において最小の許容される深さを持つオブジェクトの深さは００００Ｈ（１６進）と符号化され、最大の許容される深さを持つオブジェクトの深さはＦＦＦＦＨと符号化される。当業者であれば、所望なら、適切な他の表現も選択することができる。図２Ｂは同じテレインが視点２２０から見られた場合に何が起きるかを示している。明らかなように、遮蔽（テクセルが、最早、見えない）２３０、縮小２４０及び拡大２５０が発生し得る。元のオブジェクトがテレインではなく、真の３Ｄ物体であったとしても、同じことが成り立つ。

図３Ａは、透視投影を示している。図示したものは、ｘ軸３００、ｙ軸３１０及びｚ軸３２０を有する３Ｄ座標系である。２Ｄ画像は、行及び列に配列された離散ピクセルのアレイを含む。本状況に置けるピクセルは、本発明による画像処理により考察される最小の主体である。当該画像における特定の行の各ピクセルは、一連の離散位置の対応する１つのみを呈することができる。画像におけるピクセルの各行は、ｘ軸３００に平行に走るので、１つの行における個々のピクセルは対応するｘ座標に基づいて区別することができる。ピクセルの各列は、ｘ軸３００に垂直な方向を指すｙ軸３１０に平行に走る。シーンの深さはｚ軸３２０に沿って測定され、該ｚ軸はｘ軸３００及びｙ軸３１０の両者に対して垂直に走る。各々の特定のピクセルには、当該シーンの該特定のピクセルに関する深さを表すために、対応するｚ値が割り当てられる。ピクセルの視差的ずれを説明するために、当該座標系のオリジンＯ＝（0,0,0）及び向きは、点Ｐ＝(x,y,z)により表される３Ｄオブジェクトが観察点Ｏ₁＝(D,0,0)から観察されるように選択される。面ｚ＝ｚ_ｐは、焦点面（観察者の目が焦点を合わせる面）３４０となるように選択される。通常、表示器の面は焦点面に一致するように選択される。点Ｏ_１から観察される２Ｄ画像は、投影面とも呼ばれる焦点面上への３Ｄオブジェクトの投影により形成される。点ＰはＰ_１＝(x_p,y_p,z_p)上に投影される。

図３Ｂは、図３Ａの面ｙ＝０への投影を示している。Ｐは、Ｐ’＝(x,0,z)；Ｐ”＝(D,0,z)に投影される。三角形Ｏ_１，Ｐ’，Ｐ”からz_p/z=(x_p-D)/(x-D)が成り立ち、 x_p =D+(x-D)・z_p/zとなる。

図３Ｃは、図３Ａの面ｘ＝Ｄへの投影を示している。Ｐは、Ｐ’＝(D,y,z)；Ｐ”＝(D,0,z)に投影される。三角形Ｏ_１，Ｐ’，Ｐ”からz_p/z=ｙ_ｐ/ｙが成り立ち、 ｙ_p =ｙ・z_p/zとなる。

この結果、P₁=(D+(x-D)・z_p/z, y.z_p/z, z_p)となる。同様に、P₂ =(-D+(x+D)・z_pz, y・z_p/z, z_p)となる。同様の式が、[IEEE Computer graphics & Applications,
Tutorial: Time-Multiplexed Stereoscopic Computer Graphics, March 1992]にも示されている。これら式から、ｘ軸を観察点を経るラインに平行となるように選択することにより、Ｐ_１及びＰ_２のｙ座標は同一となるということが成り立つ。従って、Ｏ_２から観察される画像を、Ｏ_１から観察される画像から導出する場合に、垂直方向の視差は生じない。一般的に、このようにしてｘ軸を選択することにより、視差の計算は簡単になる。出力画像のピクセルは、入力画像から導出することができる。入力画像はＯ_１から観察される画像に対応し、出力画像はＯ_２から観察される画像に対応すると仮定する。更に、入力ピクセルp_i=(x_i, y_i)に対して、ピクセル値が与えられ、p_iが導出される３Ｄ点P(x, y_i,
z_i)の深さz_iも与えられると仮定する。y_o =y_iの、対応する出力ピクセルp_o=(x_o, y_o)は、同一の３Ｄ点P(x, y_i, z_i)に関係する。この結果、x_i=D+(x-D)・z_p/z_i、及びx_o=-D+(x+D)・z_p/z_iとなる。これは、x_oをx_o=x_i-2D+2D・z_p/z_i=x_i+2D(z_p/z_i-1)のよう導出することができることを意味する。従って、出力画像は、
d=2D(z_p /z-1). (1).
なる水平シフトｄ（ｘ方向にのみ）を実行することにより入力画像から導出することができる。この式から、該シフトは深さの逆数に比例することが理解され得る。上記式において、２Ｄは観察点Ｏ_１とＯ_２との間のオフセットに対応する。これは、最も遠い許容される点（ｚ＝∞）における視差にも対応する。

図４Ａは、入力画像に対応する、観察点Ｏ_１から見たシーンを示し、近くのオブジェクト４００は更に移動されたオブジェクト４１０と部分的に重なっている。明瞭化のために、図にはｙ座標は示されていない。重なりのために、観察される画像４２０により示されるように、入力画像はオブジェクト４００の全てのピクセル及びピクセル４１０の幾つかのみを有する。図４Ｂは、出力画像に対応する、観察点Ｏ_２から見られる同一のシーンを示している。図４Ｂから明らかなように、重なりが増加している。図４Ｂの出力画像４３０が図４Ａの入力画像４２０から導出されたら、この増加された重なりは、背景オブジェクト４１０に対応する入力ピクセルが前景オブジェクト４００に対応する入力ピクセルにより遮蔽されることにより反映されるであろう。再生されるピクセルのフットプリントは大きさを有するので、該重なりは部分的であり得る。重なりの領域においては、出力画像におけるピクセル値に対して幾つかの候補が存在する。本発明によるシステムは、出力ピクセル位置に対して（即ち、出力画像のグリッドに従い）、変換後に出力ピクセル位置に部分的に又は完全に重なる入力ピクセル（又は複数の入力ピクセル）を決定するために再構築フィルタを使用する。

入力画像の異なるピクセルが同一の出力ピクセル位置にシフトされるのとは対照的に、図５は、出力画像５３０における位置を充填するための入力ピクセルが存在しないという事実により該出力画像５３０に“欠落（hole）”が発生するような例を示している。図５Ａは、入力画像５２０において、背景オブジェクト５１０が前景５００により少なくとも部分的に見えなくされていることを示している。図５Ｂにおいては、観察点Ｏ_２から見られる出力画像５３０に示されるようにオブジェクト５００と５１０との間には重なりは発生しない（又は少ない重なりしか発生しない）。

特に放送テレビジョンシステムにおいて使用するために異なる視点からの高品質の再レンダリングのためには、下記の４つのステップを実行することが望ましい：
１．サンプリングされたテレインデータから連続した信号を再構築する
２．該連続した信号を所望の視点に対して変形する
３．該変形された信号を帯域制限する
４．該帯域制限された信号をサンプリングする
当該再サンプリング処理の４つの全ステップは、フラグメントバッファの使用は避けるが、テクセルスプラッティングを使用することにより実行することができ、これにより画像品質を低コストで改善する。統合された前置フィルタ処理（ステップ３）の、レンダリング時間又は必要とされる余分なシリコンの点でのコストは、前置フィルタのフットプリントの出力画像の長さ倍に比例する。ステップ１及び２は、以下に詳述するように再構築フィルタ処理演算に組み込むことができる。説明される再構築フィルタ処理演算は、元の画像を視点変換に基づいて再サンプリングしながら高次のビデオフィルタ処理をサポートする。この演算のためには、ピクセルの遮蔽を検出することができることが望ましい。本発明によるシステムは、遮蔽を検出するために効果的な方法を使用する。この検出方法は前記再構築フィルタ処理と組み合わせて使用することができるが、他のビデオ処理システムにおいても使用することができる。ステップ３及び４は前置フィルタ処理を使用して実行されるであろう。

［遮蔽の検出］
本発明による遮蔽検出は、入力画像の変形が水平となるように制約される水平カメラ平行移動（３Ｄテレビジョンの水平視差をサポートする平行移動）という特別なケースのために設計される。これは、入力画像の走査ライン順の処理を可能にする。該検出を、一次元の区分的に線形なテレインを種々の視点から画像ライン上に投影する“１．５Ｄ”問題に関して詳細に説明する。一次元テレインは、入力画像の走査ライン及び対応する深さ値から導出される。本発明によれば、遮蔽は、この走査ラインの横断の間に進行しながら決定することができる。図６は、視点ｖに関する入力サンプル点ａの画像ライン上への投影ｐ_v(a)を図示している。元のカメラ視点はｖ_０により示されている。走査ラインの順序と他の視点に関する遮蔽との間の関係は以下のように表すことができる。ａ，ｂは、ｐ_v0(a)＜ｐ_v0(b)となるような元のカメラ視点ｖ_０に対する深さテレインの入力走査ライン上の続くサンプルであり、ｖ_１＞ｖ_０は所望のカメラ視点であると仮定する。この場合、視点ｖ_１からの線分（ａ；ｂ）により遮蔽されるサンプル点ｃに関して、ｐ_v0(c)＜ｐ_v0(a)が成り立つ。線分（ａ；ｂ）が視点ｖ_１から見えるためには、ｖ_１は（ａ；ｂ）によりサポートされるラインのｖ_０と同じ側でなければならない。従って、ｐ_v1(a)＜ｐ_v1(b)となる。ｃの遮蔽から、ｐ_v1(a)＜ｐ_v1(c)＜ｐ_v1(b)が成り立つ。構造により、ｃは視点ｖ_０から見えるので、ｐ_v0(c)＜ｐ_v0(a)又はｐ_v0(c)＞ｐ_v0(b)の何れかである。ｖ_１＞ｖ_０であるので、ｐ_v1(b)＜ｐ_v0(b)であり、これはｐ_v0(c)＞ｐ_v0(b)が成り立ち得ないことを意味する。かくして、確かにｐ_v0(c)＜ｐ_v0(a)となる。このことから、所望の視点ｖ_１＞ｖ_０に対して、入力走査ラインの減少するｘ座標による横断は、当該テレインの遮蔽する部分に遮蔽される部分より前に遭遇させることになる。従って、遮蔽は、図７に図示されるように、以下のように解くことができる。先ず、出力ドメインに投影されたピクセルのｘ区域７００を維持するような変数が導入される。次いで、変換されたピクセルが上記区域を延長しない場合は、該ピクセルは以前に処理されたピクセルにより遮蔽される筈であると結論することができる。視点変換ｖ_１＜ｖ_０に対しても、説明は同様である。即ち、その場合には、走査ラインは増加するｘ座標で横断される。

［再構築フィルタ］
好ましい実施例においては、テクスチャのマッピングは２段階で実行される。第１段階は、再サンプリング処理におけるステップ１及び２の統合である。第１段階は再構築フィルタを使用する。該再構築フィルタのフットプリントはボックスであり得る。これが図８に示されている。この図は出力ピクセルのグリッドを示している。各出力ピクセルは、当該ピクセルにより覆われる画像表面を表す長方形として示されている。好ましい実施例においては、このような長方形が、再構築フィルタ処理に使用されるボックスの基を形成する。１つのピクセルの表面に一致するもの以外の他のフットプリント、例えば２以上のピクセルを覆う異なる形状（より高次のフィルタ処理）等を使用することができることも分かるであろう。本発明によれば、入力ピクセルのフットプリントが取り込まれ、変換される。これは、これら入力フットプリントの位置のみならず、大きさ（サイズ）も変化させる。例示的な変換のサイズ及び位置が、図８において点線による長方形として示されている。中実の点は、変換後の無次元の入力ピクセル座標の位置（典型的には入力ピクセルフットプリントの中間に一致する）を示している。当該変換の一部として、出力ドメインにおけるボックスのサイズが計算される。これは、画像ライン上の投影されたピクセルの密度に依存する。単純な実施例では、再構築フィルタ処理の間に、テレインの横断の間に遮蔽されるように見える入力ピクセルは破棄され、再構築されない。好ましい実施例においては、より洗練された再構築、特には当該画像の一次再構築されたピクセルの非遮蔽部分に比例する貢献度、が使用される。図８は、ボックス再構築及び遮蔽処理の結果を示している。これらボックスのサイズは、元のピクセルの貢献度に関する尺度である。例えば、入力ピクセル８２０の再構築されたフットプリント（即ち、変換後のフットプリント）は、セグメント８４０により示されている。この例では、再構築されたフットプリントは出力ピクセルのフットプリントの約７５％である。この場合、入力ピクセルの出力ピクセルに対する貢献度は０.７５なる係数に設定される。入力ピクセル８３０の再構築されたフットプリントは、一部は入力ピクセル８１０に入り、一部は８１０の右の出力ピクセルに入る。入力ピクセル８３０の再構築されたフットプリントは、出力ピクセル８１０のフットプリントの大凡２５％及び上記の隣接する出力ピクセルのフットプリントの大凡７５％である。この場合、入力ピクセル８３０の合計の貢献度は、２５％＋７５％となる。結果として、入力ピクセル８３０は１なる係数により乗算される。

［前置フィルタ］
第２段階は、前記再サンプリング枠組のステップ３及び４を、出力画像をレンダリングする前に前置フィルタを用いて実行することである。各出力ピクセルは前置フィルタフットプリントを用いてフィルタ処理される。好ましい実施例においては、このフットプリントは数ピクセルにわたって延びる。該フィルタは水平にのみ延びることができる。図９は３ピクセルだけ延びるフィルタの形状を示し、該フィルタが属するピクセル上に中心が合わされ、２つの隣接するピクセルをカバーする。好ましい実施例では、前記フィルタフットプリントは垂直にも延びる。図９に示したのと同様の形状を用いて、出力ピクセルの該前置フィルタフットプリントは８個の隣接するピクセルをカバーする。如何なる好適な形状及びフットプリントの広がりを使用することもできることが分かるであろう。

図１０に示すように、入力ピクセル１０００は、前置フィルタフットプリントが出力ドメインにおける再構築されたボックスと重なるピクセルにスプラット（即ち、分配）される。ピクセル１０００の該再構築ボックスは、強調された長方形１０１０により示されている。この場合、１２個の出力ピクセルが貢献を受ける。これら出力ピクセルの各々に対して、対応する前置フィルタの形状を用いて貢献度が決定され、入力ピクセル値を加重する。前述したように、入力ピクセルを同一の走査ライン上の出力ピクセルのみにスプラットすることが可能である。好ましくは、画像品質を一層改善するために、垂直フィルタ処理も実行される。

図１１は、好ましい実施例の概略ハードウェア構成を示す。入力画像はカラー値１１０２及び深さ１１０４を伴うピクセルのシーケンスとして入力され、ラインバッファ１１１０に記憶される。この画像は、視点ｖ_０から記録される。新たな視点のｘ座標ｖ_１１１０６も入力される。ブロック１１２０はｐ_v1(x)を計算することにより入力ピクセル（及び、それらのフットプリント）の変換を実行する横断ロジックを示す。該変換の区域（extent）はレジスタ１１３０に記憶される。ブロック１１４０は、遮蔽、拡大又は縮小があるかを決定する：
ｐ_v1(x)＜区域→遮蔽
ｐ_v1(x)＞区域＋１→拡大
それ以外→縮小。
ブロック１１５０はフィルタ（再構築フィルタ及び前置フィルタ）を示す。フィルタ処理された信号は、レンダリングされる前に出力ラインバッファ１１６０に記憶される。ブロック１１２０、１１４０及び１１５０の機能は、ＤＳＰのようなプログラマブル（ビデオ）プロセッサにより実行することもできることが分かるであろう。

［“欠落”アーチファクト］
“画像＋深さ”（２．５Ｄ）データとして供給される入力画像を僅かに異なる仮想カメラ位置からレンダリングする場合、或る出力ピクセルに対しては何の入力データも変換されない（暴露：de-occlusion）ということが生じ得る。原理的に、このような欠落アーチファクトは、当該欠落の左及び右で利用可能な水平方向に（及び／又は垂直方向に）隣接するピクセルの値の補間を介して得られるピクセル値を代入することにより除去することができる。簡単な代替例として、当該値は最大のｚ値を有する利用可能な隣接ピクセルにより置換される。このような置換は、観察者が前景オブジェクトの背後から出現する背景オブジェクトを見る場合の実生活経験に整合する。前述したような前置フィルタにより実行されるテクセルのスプラッティングは、このような補間を実行する進んだ方法である。欠落が大きすぎる場合、補間が良好な結果を生じないであろうことが理解される。大きな欠落は、深さの著しい変化を伴う深さ境界において出現し得る。レンダリングの間に斯様な欠落を充填するために、現入力画像においては見られないが、他の観察点（例えば、第２カメラ）からは見え得る空間位置からの情報を有することが望まれる。

これらの隠れた部分についての情報を含むような余分はデータを伝送すること自体は知られている。これを実行する１つの既知の方法は、動く画像を幾つかの層を用いて表すものであり、各層はオブジェクトを整合する動きフィールドと共に記憶する。オブジェクト及び層は、動く画像における光流動（optic flow）から計算される。層は、複数のフレームにわたって積算される。完全に又は大きく遮蔽されたオブジェクトは、通常は、深い層の１つで完全に表される。Nelson L. Chang及びAvideh Zakhorによる "View generation for three-dimensional scenes from video equences",1997, IEEE Transactions on Image Processing,第６巻、第584-598頁は、或る基準フレームに基づく複数レベルでのシーンを記載している。第１レベルは基準フレームにおける可視部分である。レベル１は、かくして、全ての近くのオブジェクトのみならず、他の移動されたオブジェクトの可視部分も含む。一般的に、レベルｋは、基準画像に対する（即ち、基準画像の視点からの）ｋ−１回遮蔽されたピクセルからなる。従来の層型方法と比較して、この方法によれば、通常は３レベルで充分であると言える。層は、複数のビューに対応する独立に計算された三次元モデルから構築される。この後者の方法においては、冗長な情報の量は大幅に低減される。残りには、完全な三次元オブジェクトが利用可能でない場合においても斯様な隠された層を発生する効率的方法、及び深さ順序情報しか存在しない場合においてさえも異なる視点から画像をレンダリングする効率的方法が記載されている。本発明による発生方法は、好ましくは、上記Changの層化と組み合わされる。この層化は、これ以上説明しないが、参照により本明細書に含まれるものとする。

図１２は、本発明による方法を、画像が立体カメラを用いて記録される例示的構成に関して図示している。左カメラは基本画像（図１２Ａ）を供給し、右カメラは二次視点からの画像（図１２Ｃ）を供給する。追加の画像を取り込むために他の方法も使用することができることが理解されるであろう。本質的に、上記基本画像が伝送される。異なる視点（例えば元の２つの視点間の視点）からの画像（図１２Ｂ）をレンダリングすることができることが望まれる。示されるべきピクセルの殆どは、基本（左）画像（当該画像の明るい及び暗い部分）から取り出すことができるが、中間部分１２１０は基本画像では見られず、二次（右）画像から取り出さなければならない。しかしながら、該追加の画像は、伝送帯域幅を低減するため及びレンダリング装置における処理を減らすために完全には伝送されない。代わりに、図１３に示すように、基本画像（図１３Ａ）及びピクセル毎の深さマップ（図１３Ｂ）が伝送される（画像＋深さ、“２．５Ｄ”）。新たな視点から画像をレンダリングするために、ここでも、ピクセルの大多数は基本画像から取り出される。しかしながら、今度は、欠落を充填することができるような二次画像は存在しない。かくして、レンダリングされた画像（図１３Ｃ）には欠落１３１０が発生する。何故なら、中間の画像において見えるシーンの一部は基本画像では遮蔽されるからである。上述したように、基本画像において前景オブジェクトにより隠された情報を含むような追加の層を使用することができる。この方法では、基本画像の画像＋深さ表現を依然として使用することができるのみならず、該追加の情報は、図１４に示すように、欠落を充填することができることを保証する。図１４Ａ及び１４Ｂは、図１３Ａ及び１３Ｂに各々対応する。図１４Ｃ及び１４Ｄは、隠れた層に関するピクセル値及び深さを各々示す。図１４Ｅは図１３Ｃに対応するが、この場合は上記の隠れた層からの情報を用いて充填されている。

［隠れた層の発生］
ビデオデータの２Ｄ／３Ｄ変換における基本ステップのうちの２つは、セグメント化及び動き推定である。セグメント毎の動きは、後の段階において、動きからの構造（structure-from-motion）を介しての深さ、又は動的遮蔽を介しての深さ順序のために使用することができる。図１５、１６及び１７には解析処理が示されている。説明目的で、全てのセグメントは水平方向に移動すると仮定する。先ず、元の画像のセグメント化が計算され、元の画像から一致する画像までの動き推定が実行される。原理的に、セグメント化及び動き推定は、良く知られているので、ここでは詳細に説明されないであろう。この処理の間において、基本的に、図１２Ａの基本画像における各ピクセルに対して、このピクセルが図１２Ｃの追加画像において見付けられるかがチェックされる。もしそうなら、動きベクトルが決定される。ピクセル毎に斯様な処理を実行する代わりに、斯かる処理を同様の深さのセグメント毎に実行することもできる。

次に、基本画像が追加の画像のカメラ位置に向かって動き補償される。これは、図１５に示すように、各セグメントを、斯かるセグメントの計算された動きベクトルにわたってシフトすることになる。物事を簡単にするために、動きベクトルは整数の動きに丸めることができる。精度を上げるために、線形補間方法を使用することができる。当該基本画像が左目に対応すると仮定すると、これは、予測右画像、予測セグメントマップ及び予測深さマップ（カメラパラメータが利用可能なら）又は動きフィールドを提供する。深さ依存性変換に関しては、通常、深さ及び動きは等価であることが分かるであろう。かくして、幾つかのピクセルが、割り当てられた予測セグメントを有さないと結論することができる。これらは、暴露されたピクセルである。好ましくは、同一の走査ライン上の後の暴露されるピクセルは、擬似セグメントに一緒にグループ化される。

次に、深さ値が上記擬似セグメントに（又は該擬似セグメントの個々のピクセルに）割り当てられる。好ましくは、当該深さは、左側及び右側で決定される２つの隣接する非遮蔽ピクセルのピクセル値に基づくものとする。有利には、最大の深さを持つ非遮蔽隣接セグメント／ピクセルの深さ又は動きベクトルが、遮蔽された擬似セグメントに割り当てられる。これは深さ順序の知識のみを要することに注意されたい。境界における擬似セグメントは、斯かるセグメントの単一の隣接者の深さ値を割り当てることができることが分かる。このようにして、背景セグメントは、図１６に示すように、暴露されるピクセルに拡張される（即ち、暴露されるピクセルに背景セグメントの深さを与える）。

好ましい実施例においては、ノイズの影響を軽減するために、暴露されたピクセルの領域は１ピクセルだけ、先ず腐食（erode）され次いで膨張（dilate）される（形態学的フィルタ）。このようにして、暴露される如くに現れるピクセルとなるような、誤った深さ値を持つ個々のピクセルは補正される。

かくして、実際に暴露されたピクセルに対して、深さ値が分かる。これらピクセルの位置は、前記追加の画像を参照して分かる。好ましくは、上述したのと同様の方法に従って、これらの暴露されたピクセルに対して逆の動き補償が行われる。この様にして、暴露されたピクセルは基本画像のカメラ位置に向かって動き補償され、図１７に示すように隠れた層及び隠れた深さマップを発生する。結果として、第１画像に対する位置を持つ暴露されるピクセルを伴う隠れた層が、深さ又は動きベクトルと共に作成される。該隠れた層を第１画像の視点から表すことにより、該第１画像を選択可能な視点からの出力画像に変換するために使用される当該変換は、該新たな視点からの暴露されるピクセルを発生させるために該隠れた層にも適用することができる。該選択された視点からの出力画像は、図１２Ｃの前記追加の画像とは相違し得る。

逆動き補償後の暴露されるピクセルが元の画像の範囲内に入らない（元の画像の境界外となる）ことが起こり得る。このような場合は、該暴露されるピクセルのデータを隠れた層における非占有位置に記憶するためにルックアップテーブルを作成することができる。最終的に、当該暴露されるピクセルが元の画像の範囲内に入らない（元の画像の境界外となる）場合、ルックアップテーブルを発生し、該暴露されるピクセルのデータを隠れた層の非占有位置に記憶することができる。該ルックアップテーブルは前記マッピングを維持する。

上記隠れた層が、一般的に、基本画像と比較して相対的に少ないピクセルしか含まないことがわかるであろう。隠れた層を全画像として伝送する代わりに、好ましくは、該隠れた層は、ランレングス符号化等の何らかの適切な技術を用いて圧縮されるようにする。このような符号化方法を用いれば、暴露されるピクセルを伴う基本画像の境界を、該基本画像の外側の座標で含めることもできる。

当該方法は、基本画像が左カメラにより記録され、追加の画像が右カメラにより記録されるような固定立体カメラに関して説明されたが、同じ技術を他の状況にも同様に適用することができることが分かるであろう。例えば、当該技術を移動するカメラによるシーンに適用することもできる。これは、元の画像には存在しないが、一致する画像には存在する全てのシーン情報を含むような隠れた層を本質的に発生する（この場合、動き推定は、異なる視点からの２つの同時に記録される画像の間においてではなく、時間順の画像の間においてである）。この場合、当該動きは、少なくとも部分的にカメラの動きにより生じる。同様に、深さ情報は、動くオブジェクトから画像の時間順序に基づいて導出することができる。

本発明は水平移動に関して説明されたが、同じ技術を垂直の又は任意の移動に対して適用することもできることが理解されるであろう。

［追加の画像のレンダリング］
追加の画像をレンダリングするための基本処理は、好ましくは、基本画像の第１層のレンダリングと同様に実行されるようにする。前述したように、他の視点からのレンダリングは、元の画像を所望の視点からの投影により課されるサンプリンググリッドへ再サンプリングすることと見ることができる。前述したように、視点変換後には、投影された入力ピクセルの密度は出力ドメインにおいては均一ではない。従って、再サンプリング処理が必要となる。該再サンプリング処理の間において、元の画像の縮小された又は遮蔽された領域に、及び拡大され又は暴露された領域に遭遇する。残りにおいては、視点変換により拡大された領域をレンダリングするための好ましい方法を説明する。拡大された領域は、隠れた層からの入力による充填することができる。記載されるレンダリング方法は、緩やかな劣化（graceful degradation）を有すると共に、所望の視点における暴露された領域をレンダリングするための高次再構築ビデオフィルタの統合もサポートすることができる。残りにおいては、隠れた層におけるフィーチャは基本層の座標フレームにおいて特定されると仮定し、該隠れた層のレンダリングの、前述した単層２．５ビデオシーケンスのためのレンダリング処理内に統合する簡単な方法を可能にする。当業者であれば、上記隠れた層が異なる方法で指定されても、当該方法を適応化することができるであろう。本説明においては、レンダリングされる画像の視点は、最高の品質を与える、元の及び一致する画像の視点の間であると仮定する。本発明は、原理的に、これが当てはまらない場合にも使用することができる。しかしながら、その場合には、再構築フィルタが最終画像における拡大された領域に対して支配的役割を果たす。

本説明においては、新たな視点は、カメラを水平方向の平行移動により達成されると仮定する。このことは、上記再サンプリング処理が水平視差のみを扱えば良く、画像の各走査ラインは個別に処理することができることを意味する。要約すると、当該レンダリング処理は：
− 入力走査ラインを単一走査で横断する。
− 走査ラインの処理の間において、出力走査ラインが単一変数でレンダリングされる区域を維持する。この区域は単調に増加する。即ち、レンダリング部は出力走査ラインの部分を決して再レンダリングする必要はない。
− 走査ラインの横断の間において、入力画像ピクセル毎の拡大係数を計算する。
− 遮蔽されて現れるピクセルは、破棄することができる。他のピクセルは、スクリーン解像度（出力画像の解像度）で前置フィルタ処理及びサンプリングするＦＩＲビデオフィルタブロックに即座に供給することができる。

隠れた層からのサンプルは、相対的に大きな拡大係数が存在する場合にのみ必要であると記すことができる。好ましい実施例においては、閾は１.５なる拡大係数に設定される。より小さな拡大係数に対しては、隠れた層からは何の情報も取り出されず、より大きな拡大係数に対しては、隠れた層から情報（もし利用可能なら）が取り出される。

隠れた層からの貢献を効率的に加入することができるように、基本画像層及び隠れた層の処理をインターリーブするのが好ましい。両走査に対して、出力走査ラインにおける区域（extent）は維持される。前述したように、区域は“変換後の最も遠いｘ座標”である。基本画像の区域はbase_extentと呼ばれ、隠れた層の区域はhidden_extentと呼ばれる。以下の擬似コードにおいては、変数“extent”は当該変換が出力画像に入った最も遠くを示し、この位置は基本画像から又は隠れた層からのピクセルによりカバーされる。この様にして、基本画像走査ライン上の単一走査が、隠れた画像の走査ライン上の単一走査とインターリーブされる。以下の擬似コードは、カメラ視点から出力画像の一層左の観察点への変換のためのインターリーブされた走査の処理を示す。

上記擬似コードは１つの走査ラインの処理を示す。ステップ４は、基本画像における変換後に遮蔽されない次のピクセルを見付ける。当該ピクセルが遮蔽される限り(base_extent <extent)、ステップ4.1.1において基本画像の次のピクセルが取り込まれて変換され、変換されたｘ座標が変数output_base_xに割り当てられる。これがbase_extentを増加させたら、ステップ4.1.2において該base_extentが調整される。ステップ4.1のループは、変換後に遮蔽されないピクセルが見つかったら終了する。ステップ4.2は、隠れた層に対して全く同一の処理を実行する。従って、ステップ4.3に入る際には、基本画像において及び隠れた層において変換後に遮蔽されないピクセルが見つかっている。ここで、優先権は基本画像からのピクセルをレンダリングすることに与えられる。前述したように、斯様なピクセルは、これが過度に大きな欠落を形成しない場合にのみ使用される。この目的のため、ステップ4.3においては、変換後の当該ピクセルが、前にレンダリングされたピクセルから１．５ピクセル内に位置するかがチェックされる。もしそうなら、過度に大きな欠落は存在せず、ステップ4.3.2において基本画像からのピクセルがレンダリングされ、ステップ4.3.3において全体の区域の変数が新たな点に（即ち、base_extent）に設定される。一方、欠落が１．５ピクセル幅より大きい場合は、隠れた層が良好な候補（即ち、最後にレンダリングされた出力ピクセルから１．５より少なく移動されて位置するピクセル）を有するかが判定される。もしそうなら、このピクセルがステップ4.4.1において取り出され、区域変数がhidden_extent変数に設定される。基本画像及び隠れた層が共に良い候補を有さない場合は、拡大処理が必要となる（例えば、補間を用いて）。

上述した説明は、変換が水平方向のみである通常の状況に焦点を合わせている。当業者であれば、同じ概念を垂直の変換にも容易に適用することができるであろう。任意の方向の変換は２つの順次のパス（水平のパス及び垂直のパス）で実行することができる。そのように望むなら、これらのパスは記憶及び帯域幅要件を低減するためにインターリーブすることができる。

尚、上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱すること無しに他の実施例を設計することができることに注意すべきである。また、請求項において括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。また、“有する”及び“含む”なる用語は、請求項に記載されたもの以外の他の構成要素及びステップの存在を排除するものではない。また、本発明は幾つかの個別の構成要素を有するハードウェアにより、及び適切にプログラミングされたコンピュータにより実施化することができる。また、システム／デバイス／装置の請求項が幾つかの手段を列挙する場合、これら手段の幾つかは１つの同一のハードウェア品目により具現化することができる。コンピュータプログラム製品は、光記憶部のような適切な媒体上で記憶／配信することができるのみならず、インターネット又は無線通信システムを介して配信される如く、他の形態で配信することもできる。

図１は、画像処理システムを含む従来のシステムのブロック図を示す。 図２Ａは、或る視点から見たテレインを示す。 図２Ｂは、異なる視点から見たテレインを示す。 図３Ａは、透視投影を示す。 図３Ｂも、透視投影を示す。 図３Ｃも、透視投影を示す。 図４Ａは、或る位置から見た場合の被写体の重なりを示す。 図４Ｂは、別の位置から見た場合の被写体の重なりの増加を示す。 図５Ａは、被写体を別の位置から見た場合の欠落の出現を説明する図である。 図５Ｂも、被写体を別の位置から見た場合の欠落の出現を説明する図である。 図６は、面上への投影を更に示す。 図７は、遮蔽の検出を示す。 図８は、再構築フィルタ処理を示す。 図９は、前置フィルタの形状を示す。 図１０は、前置フィルタにより実行されるテクセルのスプラッティングを示す。 図１１は、好ましい実施例のブロック図を示す。 図１２Ａは、異なる視点から記録された２つの入力画像から編集される出力画像を示すための図である。 図１２Ｂも、異なる視点から記録された２つの入力画像から編集される出力画像を示すための図である。 図１２Ｃも、異なる視点から記録された２つの入力画像から編集される出力画像を示すための図である。 図１３Ａは、２．５Ｄベース画像の深さ依存性変換後に出現し得る欠落を示すための図である。 図１３Ｂも、２．５Ｄベース画像の深さ依存性変換後に出現し得る欠落を示すための図である。 図１３Ｃも、２．５Ｄベース画像の深さ依存性変換後に出現し得る欠落を示すための図である。 図１４Ａは、隠れた層を用いた欠落の充填を示すための図である。 図１４Ｂも、隠れた層を用いた欠落の充填を示すための図である。 図１４Ｃも、隠れた層を用いた欠落の充填を示すための図である。 図１４Ｄも、隠れた層を用いた欠落の充填を示すための図である。 図１４Ｅも、隠れた層を用いた欠落の充填を示すための図である。 図１５Ａは、第１画像の動き補償を示すための図である。 図１５Ｂも、第１画像の動き補償を示すための図である。 図１６Ａは、隠れた層に対する深さ値の発生を示すための図である。 図１６Ｂも、隠れた層に対する深さ値の発生を示すための図である。 図１７Ａは、ベース入力画像の座標に対する隠れた層の動き補償を示すための図である。 図１７Ｂも、ベース入力画像の座標に対する隠れた層の動き補償を示すための図である。

Claims (11)

1. 出力視点に関連する少なくとも１つの出力画像を入力視点に関連する入力画像から深さ依存性変換を介して発生する画像処理システムであって、前記各画像が入力ピクセルアレイ及び出力ピクセルアレイとして表されるような画像処理システムにおいて、
   前記入力画像を入力する入力部であって、前記入力画像は、各入力ピクセルに対して、関連する入力ピクセル値及び入力ピクセル深さを含み、各入力ピクセルが対応する再構築フィルタフットプリントに関連付けられるような入力部と、
   前記出力画像の出力ピクセルを、
   （ｉ）各入力ピクセルに対して、当該入力ピクセルを前記関連する入力ピクセル深さの関数として変換入力ピクセルに変換すると共に、前記関連付けられたフィルタフットプリントを前記関連する入力ピクセル深さの関数として変換フィルタフットプリントに変換し、
   （ii）複数の前記変換入力ピクセルに、前記変換フィルタフットプリントを用いて再構築フィルタ処理演算を実行する、
   ことにより作成するように動作するビデオプロセッサと、
   前記出力画像を後のレンダリングのために供給する出力部と、
   を含むことを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、前記ビデオプロセッサは前記変換フィルタフットプリントの何れが完全に遮蔽されないかを決定するように動作すると共に、前記再構築フィルタ処理演算を完全に遮蔽されていない変換フィルタフットプリントに基づいて実行するように動作することを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムにおいて、前記ビデオプロセッサは前記変換フィルタフットプリントの何れが部分的に遮蔽されるかを決定するように動作し、前記再構築フィルタ処理演算は前記部分的に遮蔽された変換フィルタフットプリントにも基づくものであり、前記部分的に遮蔽された変換フィルタフットプリントの各々には当該変換フィルタフットプリントの遮蔽されていない部分に比例する重みが割り当てられることを特徴とする画像処理システム。
4. 請求項２又は請求項３に記載の画像処理システムにおいて、前記ビデオプロセッサは前記変換フィルタフットプリントの何れが完全に遮蔽されるかを決定すると共に前記再構築フィルタ処理演算を完全には遮蔽されていない変換フィルタフットプリントに対して排他的に実行するように動作することを特徴とする画像処理システム。
5. 請求項２、３又は４に記載の画像処理システムにおいて、前記入力画像は入力視点に関連する一方、前記出力画像は出力視点に関連し、ピクセルはｘ座標及びｙ座標により示され、前記ビデオプロセッサは行の入力ピクセルを前記入力視点から前記出力視点へのｘ軸に沿う変位とは反対の方向に順次処理するように動作し、該処理が、
   既に処理された入力ピクセルに関し所定の開始位置に対して少なくとも１つの変換された入力ピクセルにより既に遮蔽された最遠のｘ座標を示すようなｘ座標区域を維持する処理であって、前記最遠のｘ座標は当該処理の方向が左から右の場合は最大のｘ座標である一方、当該処理の方向が右から左の場合は最小のｘ座標であるような処理と、
   関連する入力ピクセルの処理の結果前記ｘ座標区域が増加しない場合は変換された入力ピクセルが前記出力視点から遮蔽されないと判断する処理と、
   を含むことを特徴とする画像処理システム。
6. 請求項５に記載の画像処理システムにおいて、前記入力部は隠れた画像を入力するように動作し、前記隠れた画像は各隠れたピクセルに対して関連する隠れたピクセル値と隠れたピクセル深さとを含み、前記ビデオプロセッサは、前記出力視点から出力ピクセルが暴露されるか否かを判断すると共に、暴露された出力ピクセルに関しては変換された隠れた画像ピクセルに対して前記再構築フィルタ処理を実行するように動作することを特徴とする画像処理システム。
7. 請求項６に記載の画像処理システムにおいて、前記ビデオプロセッサは、前記変換された入力ピクセルが前記ｘ座標区域を所定の閾より大きく増加させた場合に出力ピクセルが暴露されたと判断するように動作することを特徴とする画像処理システム。
8. 請求項１ないし７の何れか一項に記載の画像処理システムにおいて、前記ビデオプロセッサは前記再構築フィルタ処理演算をボックスフィルタ又は高次フィルタを用いて実行するように動作することを特徴とする画像処理システム。
9. 請求項１ないし８の何れか一項に記載の画像処理システムにおいて、前記ビデオプロセッサは各出力ピクセルが所定のフィルタ形状及び前置フィルタフットプリントに従ってフィルタ処理されるような前置フィルタ処理演算を実行するように動作し、該前置フィルタ処理演算は、各入力ピクセルに関して前置フィルタフットプリントが当該入力ピクセルの変換再構築フィルタフットプリントと重なるような一群の関連する出力ピクセルを決定する処理と、前記決定された群の各出力ピクセルに対して、対応するフィルタ形状により重み付けられた当該入力ピクセルの貢献度を供給する処理とを含むことを特徴とする画像処理システム。
10. 請求項９に記載の画像処理システムにおいて、前記ピクセルアレイのピクセルの行は連続する表示ライン上での水平表示のためのものであり、前記前置フィルタ形状は水平の広がりのみを有し、前記ビデオプロセッサは行毎に入力ピクセルを順次処理するように動作することを特徴とする画像処理システム。
11. 請求項１０に記載の画像処理システムにおいて、前記前置フィルタ形状が垂直の広がりも有することを特徴とする画像処理システム。
    

Images