JP2004005596A - 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの３ｄ復元用方法及びシステム - Google Patents
変化するサーチ経路及びオクルージョンモデリングでの複数ビューの３ｄ復元用方法及びシステム Download PDFInfo
- Publication number
- JP2004005596A JP2004005596A JP2003113735A JP2003113735A JP2004005596A JP 2004005596 A JP2004005596 A JP 2004005596A JP 2003113735 A JP2003113735 A JP 2003113735A JP 2003113735 A JP2003113735 A JP 2003113735A JP 2004005596 A JP2004005596 A JP 2004005596A
- Authority
- JP
- Japan
- Prior art keywords
- image
- views
- seed
- image features
- depth information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複数個の２Ｄ画像ビューから３Ｄ画像表現を復元するロバストで信頼性のある画像処理システム及び方法を提供する。
【解決手段】本発明の画像処理システム及び方法は、シーンの複数個の２Ｄ画像からそのシーンに対応する３Ｄ画像情報を復元する。本方法は、シーンの異なる２Ｄビューの間で対応付けされた複数個の画像特徴を受取り、その対応付けされた画像特徴はカメラの相対的な運動の結果として異なるビューの間でずれている。本方法は、オクルージョンが発生したビューである受取った複数個の画像特徴の中の画像特徴を決定し、３Ｄ深さ情報と関連するコンフィデントシードである受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンが発生したビューであると決定された画像特徴を回避しながらコンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる。例えばシーンのビジュアルウォークスルーのために３Ｄ画像情報をレンダリングさせ且つ表示させることが可能である。
【選択図】 図１０
【解決手段】本発明の画像処理システム及び方法は、シーンの複数個の２Ｄ画像からそのシーンに対応する３Ｄ画像情報を復元する。本方法は、シーンの異なる２Ｄビューの間で対応付けされた複数個の画像特徴を受取り、その対応付けされた画像特徴はカメラの相対的な運動の結果として異なるビューの間でずれている。本方法は、オクルージョンが発生したビューである受取った複数個の画像特徴の中の画像特徴を決定し、３Ｄ深さ情報と関連するコンフィデントシードである受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンが発生したビューであると決定された画像特徴を回避しながらコンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる。例えばシーンのビジュアルウォークスルーのために３Ｄ画像情報をレンダリングさせ且つ表示させることが可能である。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は、大略、画像処理システム及び方法の分野に関するものであって、更に詳細には、複数個の２Ｄ画像ビューから１つのシーンを表わす３Ｄ画像を復元する技術に関するものである。
【０００２】
【従来の技術】
１つのシーンの複数個の二次元（２Ｄ）画像ビューから三次元（３Ｄ）情報を復元する一部として、画像処理システムは、典型的に、最初に、該複数個の２Ｄ画像ビューにわたって対応するピクセルを見つけ出し且つマッチさせる。与えられた数の２Ｄ画像から３Ｄ情報を復元するために、基本的なステップは、１つのビューにおける各ピクセルに対して対応するピクセルを探索／マッチさせることである。これらの対応するピクセルは、典型的に、これらの２Ｄ画像ビューへのボクセル即ち体素の結果的に得られる投影である。
【０００３】
１つのビューにおける各ピクセルに対してこれらの対応するピクセルを探索する一般的な方法は、マッチング目的関数を最適化させ且つマッチさせることである。マッチングは対応するピクセルの類似度測定である。マッチングエラーが低ければ低い程、対応するピクセルは一層類似している。然しながら、マッチングアルゴリズムは、しばしば、多数の異なる組の対応するピクセルが可能性のあるマッチ（一致）であるとして判別する。
【０００４】
図１に示したように、これらの可能性のあるマッチは、マッチング曲線１０６上に示された場合に、局所的最小１０８によって表わされ、それらの局所的最小はゼロからＸ軸１０４に従って外側への曲線上のサーチ経路に沿って予め定めたスレッシュホールド値より下側のものである。このサーチ経路は、Ｘ軸に沿って測定されるピクセルのマッチング曲線に対する３Ｄ深さ値に変換される。Ｙ軸１０２はＹ軸に沿って測定されたピクセルのマッチング曲線に対するマッチングエラー値に変換される。マッチング曲線は、複数個のビューにわたって対応されるべき１つのビュー内の各ピクセル（特徴）と関連している。
【０００５】
１つのピクセルに対する明確な深さ値は、複数個の局所的最小１０８が存在する場合に決定することは困難である。最適化アルゴリズムの目標は、これらの局所的最小１０８をグローバル即ち大域的最小１１０へ還元させることであった。然しながら、大域的最小１１０は１つのピクセルに対する正しい深さを保証するものではない。このことは、そのシーンがテクスチャのない大きな領域を有する場合に特に言えることである。
【０００６】
現実的には、１つのビューのピクセル内には両方のタイプのマッチング曲線、即ち局所的最小のもの及び大域的最小のものが常に共存している。更に、マッチング曲線は大域的最小よりも局所的最小を発生することが多い。
【０００７】
本発明者による最近の研究が「３−Ｄビジュアルモデリング及びバーチャルビュー合成：全方向画像を使用した相助レンジスペースステレオアプローチ（３−Ｄ Ｖｉｓｕａｌ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ：Ａ Ｓｙｎｅｒｇｉｓｔｉｃ， Ｒａｎｇｅ−Ｓｐａｃｅ Ｓｔｅｒｅｏ Ａｐｐｒｏａｃｈ Ｕｓｉｎｇ Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅｓ）」、という題名で２０００年１１月における刊行物において発表された。この発表されたアプローチはロバストマッチング用のマッチング曲線の特性を利用することを説明している。その発表された方法は与えられたバーチャル即ち仮想的な視点から開始してバーチャルスペース即ち仮想空間に沿って３Ｄ空間において直接的にサーチを行い、マッチングを行い、且つレンダリングを行っていた。仮想的視点は、実際のカメラの投影中心と一致することのない視点である。サーチ間隔は、画像分解能及びカメラ配置に依存して非一様である。仮想光線上のインクリメンタルなボクセルがカメラへ後方投影され、最良の対応をサーチする。マッチング属性が保存される。連続性拘束条件でのマッチング曲線の特性に基づいて３Ｄ領域成長方法が適用される。この開示された方法は、以下に説明するように、本発明に対して認識されている多くの特徴及び利点を欠如している。
【０００８】
殆どのマッチングアルゴリズムに関する１つの重要な一般的なコメントは、それらがマッチングを行い次いで誤ったマッチを除去せんとすることである。その後に、最良のマッチとして最良の各ピクセルにおける最も低いエラーを選択するか又は大域的最小のまばらな数を採用して、例えばスプライン又はラグランジェ等のアルゴリズムで残りのピクセルを補間する。これらの手法は、多数のカメラが使用される場合であっても、大きなエラーを発生する場合がある。実世界においては、信頼性のある大域的最小を得ることは困難である。多数の局所的最小はサーチプロセスにおいて常に存在している。見掛け上の大域的最小は、特にシーンがむしろ均一なカラー（色）を有している場合に、だまされ易い場合がある。仮想光線に沿って大域的最小が存在する場合であっても、推定される範囲は、常に、その真の３Ｄ位置から遠く離れている場合がある。何故ならば、最も低いエラーは種々の均一な位置に該当する場合があるからである。この推定された範囲はその隣りのピクセルから著しく異なるものである場合がある。
【０００９】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、複数の２Ｄ画像ビューから３Ｄ画像表現を復元する画像処理システム用のロバストで且つ信頼性のある技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の好適実施例によれば、１つのシーンの複数個の２Ｄ画像から３Ｄ画像情報を復元する方法が提供され、その方法は、１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、オクルージョンによって隠されたビューである前記受取った複数個の画像特徴のうちの画像特徴を決定し、３Ｄ深さ情報と関連したコンフィデントシード（ｃｏｎｆｉｄｅｎｔ ｓｅｅｄ）である前記受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンによって隠されたビューであると決定された画像特徴を回避しながら該コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、上記各ステップを有している。
【００１１】
本発明の好適実施例によれば、画像処理システムが提供され、該システムは、メモリ、該メモリへ電気的に結合されている制御器／プロセッサ、該制御器／プロセッサへ及び該メモリへ電気的に結合されており１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、オクルージョンによって隠されたビューである該受取った複数個の画像特徴のうちの画像特徴を決定し、３Ｄ深さ情報と関連しているコンフィデントシードである該受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンによって隠されたビューであると決定された画像特徴を回避して該コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる３Ｄ画像復元器を有している。
【００１２】
本発明の好適実施例は、集積回路及び回路支持基板のうちの少なくとも１つで実現することが可能である。更に、好適なシステム実現例は、シーンの複数個の２Ｄビューから復元した３Ｄ画像情報を使用してシーンのバーチャルウォークスルーを提供することが可能である。
【００１３】
【発明の実施の形態】
本発明の好適実施例によれば、画像処理システム及び方法が１つのシーンの複数個のビューのマッチング曲線のある特性を利用するものである。このような特性は１つのシーンの画像情報の３Ｄ復元用の従来のシステム及び方法によっては認識されていなかったものである。好適には、本発明による好適システム及び方法は複数個の２Ｄ画像ビューを介して観察されるシーン内のオブジェクトに対する一貫性のある３Ｄ深さ情報をより信頼性を持って決定する。
【００１４】
本発明に基づく好適な方法は、局所的最小及び大域的最小の両方のタイプのマッチング曲線が１つのビュー内に常に共存しているという認識に立脚するものである。より一般的なものは局所的最小を有するマッチング曲線である。好適な方法は、複数個のビューのマッチング曲線の特性を使用することにより且つ、以下に説明するように、マッチング曲線内に局所的最小のみが存在する場合であっても（大域的最小に対する必要性はない）、よりロバスト的に深さ情報を派生するものである。主要なロバスト性は複数個の２Ｄビューの間での一貫性のチェックから得られる。更に、局所的最小のマッチングプロセスにおいて高いエラーを発生する２Ｄビューが識別され且つオクルージョンが発生したビューとして記録される。これらのオクルージョンが発生したビューはマッチング曲線の特定の局所的最小においてのピクセルの深さを決定する最終的結果に提供を与えることから排除される。全ての局所的最小はこれらのオクルージョンが発生したビューを記録している。更に、以下に説明するように、他のビューにおける対応するピクセルのサーチプロセスは異なる視点から非常に異なる画像経路を介して移動し、マッチング曲線上の幾つかの局所的最小は、この異なる視点から見ることにより回避することが可能である。この好適な方法は、従来技術と異なり、真のマッチがマッチング曲線に沿っての最も低い最小にあることを仮定するものではない。
【００１５】
従来における殆どのマッチングアルゴリズムはマッチングを実施し次いで誤ったマッチを除去せんとするものである。その後に、最良のマッチとして各ピクセルにおける最も低いエラーを選択するか又は大域的最小のまばらな数を採用してピクセルの残部をスプライン又はラグランジェ等のアルゴリズムで補間する。これらの手法は、多数のカメラが使用される場合であってもかなりのエラーを発生する傾向がある。３Ｄ画像復元システムの実世界実現例は、マッチング曲線において信頼性のある大域的最小を得ることは困難であることが判明した。典型的に、マッチング曲線から深さ情報を決定するためにサーチプロセスにおいて複数個の局所的最小が常に存在する。見掛け上の大域的最小は、特にそのシーンがむしろ均一なカラー即ち色を有している場合には、だまされる場合がある。大域的最小が存在する場合であっても最も低いエラーは種々の均一な位置に該当する場合があるので、推定される範囲は常にシーンの３Ｄ深さ位置から遠く離れたものである場合がある。この推定された範囲はその隣りのピクセルから著しく異なる場合がある。
【００１６】
本発明の好適実施例によれば、好適な方法は、以下に説明するように、変化するサーチ経路及びオクルージョンモデリングの効果に基づいてシーンの複数個の２Ｄビューからシーンの３Ｄ情報を同時的に且つ一貫性を持って復元する。本発明の好適実施例によれば、好適な方法は、以下に更に詳細に説明する以下のステップを包含している。
【００１７】
（１）全てのビューにおける各ピクセルに対して同時的にサーチ及びマッチングを実施する。
【００１８】
（２）サーチ及びマッチングプロセス期間中に全てのビューにおける各ピクセルに対してマッチング曲線の属性を同時的に記録する。各ピクセルはカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線と関連している。
【００１９】
（３）複数個の２Ｄビューのマッチング曲線特性を使用して、それらの隣りのピクセル及びそれらのオクルージョンが発生していない対応するピクセルの結果に影響を与えるコンフィデントシードを探し出す。
【００２０】
（４）複数個のビューのマッチング曲線特性を使用して基準ビューにおいて及びオクルージョンが発生していない対応するビューにおいてエッジに沿って良好なマッチを伝播させる。全てのビュー自身は基準ビューであり、基準ビューのピクセルに対応されているビューを有するその他のビューは対応するビューである。
【００２１】
（５）複数個のビューのマッチング曲線特性を使用して、エッジ部分からの良好なマッチを基準ビューの均一な領域内及びそのオクルージョンが発生していない対応するビュー内へ伝播させる。
【００２２】
より詳細に説明すると、方法ステップ１及び２はサーチ及びマッチングから情報を得る。このサーチ及びマッチは全てのビューにおける全てのピクセルに対して同時的に実施される。全てのビューにおける全てのピクセルは例えばカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線を有している。各マッチング曲線は複数個のエラー領域の確立を有している。局所的最小はエラー領域のエンベロープ内に拘束されている。エンベロープは、マッチングエラーが最初に設定されたスレッシュホールドより低い場合に開始し、且つマッチングエラーがそのスレッシュホールドより高い場合に終了する。マッチング曲線の属性は、以下に更に詳細に説明するように、局所的最小の記述である。マッチング曲線の属性は爾後のステップ３−５において後に使用するために記録される。
【００２３】
主題ピクセルのサーチ経路に沿って対応されるべきボクセルが与えられると、その対応するアウトライヤー（即ち、外れ値）ピクセル（即ち、これらの対応されたピクセルは主題ピクセル及び／又はそれらの隣りのピクセルのカラー及び／又はその他の特性にマッチするものではない）が記録され且つオクルージョンが発生したものと考えられる。これらのオクルージョンが発生したピクセルは主題ピクセルのその特定のエラー領域に対して方法ステップ３乃至５から結果に影響を与えることから排除される。アウトライヤー即ち外れ値はマッチング処理において高いエラーを発生する対応するピクセルである。アウトライヤーは、それらのすぐ隣りのピクセルとは著しく異なるカラー、輝度、色合い又はその他の特徴を有するもの等の属性から決定することが可能である。これらのアウトライヤーはオクルージョンが発生したビューであると識別され、次いでそのようなものとして記録されて、これらのオクルージョンが発生したビューがそれらの隣りのピクセルの深さ情報の決定に影響を与えることを回避する。好適には、メモリの使用を減少させるために、画像処理システムはこのオクルージョンが発生したビューの情報をエラー領域の局所的最小においてのみ格納する。全てのエラー領域内の局所的最小は、好適には、このオクルージョン情報を記録させる。
【００２４】
ステップ３−５において、シードを探し出し且つ成長させるプロセスが決定されるべき深さにおいてオクルージョンが発生していない対応するビューの全ての間においての一貫性に対してクロスチェックされる。１つのビュー内のエラー領域内において決定される深さは、その他のオクルージョンが発生していない対応するビューのエラー領域内側になければならない。更に、主題ピクセルマッチング曲線の特性及びその他のオクルージョンが発生していない対応するビューにおける対応するピクセルマッチング曲線の特性は意図した特性対とマッチせねばならない。この意図した特性対は特定され且つ成長段階のシーケンスにおいて異なる。基準が合致する場合には、オクルージョンが発生していない対応するビューは決定した深さにおいて一貫性がある。従って、その深さは一貫性がありオクルージョンが発生していない対応するビューの全てにおいて同時的に成長され／明らかにされる。
【００２５】
ステップ３はコンフィデントシードを見つけ出す処理を有している。エラー領域の（エッジェル（ｅｄｇｅｌ）の）局所的最小において決定されるべきボクセルは、その投影したピクセルもそのシーンの対応されたビューのエッジ上にある場合にのみ初期的なシード（ｓｅｅｄ）となることが可能である。これらの基準エッジェル（ｅｄｇｅｌ）及びそれらのオクルージョンが発生していない対応するエッジェルは、通常、カラーマッチング曲線に対して及びカラー・エッジマッチング曲線に対して単一のエラー領域を有するべきである。カラーマッチの局所的最小はカラー・エッジマッチと同一のボクセル位置に存在している。このコンフィデントシードボクセル位置は主題ピクセル及びそのその他のオクルージョンが発生していない対応ピクセルの全ての局所的最小において共通である。
【００２６】
ステップ４及び５において、好適な方法はコンフィデントシードボクセルを各規準ビュー内のそれらのより確かでない隣りのピクセルへ伝播させる。このプロセスは反復的であり且つ種々の段階を有している。新たに成長されたピクセル／ボクセルは爾後の反復及び段階におけるコンフィデントシードとなる。この成長プロセスは、その段階における成長基準を更に満足することが可能な入力ビュー内にピクセルが存在しない場合に停止する。ステップ４とステップ５との間の主要な差異は、ステップ４においては、主題ピクセルとそのオクルージョンが発生していない対応ピクセルが夫々のビューにおける表面のエッジ領域上に位置されていることである。ステップ５において、主題ピクセル及びそのオクルージョンが発生していない対応ピクセルは夫々のビュー内の表面の均一な領域上に位置されている。
【００２７】
本発明の好適実施例によれば、そのシーン内の共通表面内に位置している全てのピクセルに対して表面連続性拘束条件を満足することを確保するために、コンフィデントシードピクセル／ボクセルがその８個の隣りのピクセル内に伝播することが可能であるのは、そのシードボクセルがそれらの夫々のマッチング曲線の８個の隣りのピクセルのエラー領域のうちの１つの体積内に包含されている場合のみであり、且つそのシードボクセルは、好適には、その夫々のエラー領域の局所的最小から離れて１ステップサーチ長内にある。１ステップサーチ長離れているという用語は１ボクセル長離れていることを意味し、その場合に、典型的にカメラの形態及び画像分解能に基づいてボクセルは寸法及び形状を変化させることが可能であることは明らかである。更に、理解すべきことであるが、ボクセルは８個の隣りのピクセルを超えて伝播することが可能である。然しながら、好適な方法は、２つの条件、即ちシードボクセルがその８個の隣りのピクセルのエラー領域のうちの１つの体積内に包含されていること及びそのシードボクセルが、好適には、局所的最小から離れて１ステップサーチ長内にあること、を満足することを必要とすることによりボクセルの８個の隣りのピクセルへの伝播の条件付けを行う。基準ピクセルの局所的最小において決定されるべきボクセル、即ち基準ビュー内の主題ピクセルは、オクルージョンが発生していない対応するピクセルの全ての間での一貫性に対してクロスチェックされる。決定されるべくボクセルもオクルージョンが発生していない対応するピクセルのエラー領域内に包含される場合には、そのボクセル位置は主題ピクセル及びその夫々のエラー領域内にボクセルを包含しているオクルージョンが発生していない対応ピクセルの両方に割当てられる。このことは、意図したマッチング曲線特性対が満足されることを仮定する。即ち、主題ピクセルマッチング曲線の特性及びそのオクルージョンが発生していない対応するピクセルのマッチング曲線の特性は、夫々、以下の如くに、意図した特性対とマッチするものでなければならない。好適には、意図した特性対は、以下のシーケンスの成長段階を使用して特定される。これらの段階は以下の順番を経るものであり、即ち、（１）単一エラー領域を有する主題ピクセル対単一エラー領域を有するそのオクルージョンが発生していない対応するピクセル、（２）単一エラー領域を有する主題ピクセル対複数個のエラー領域を有するそのオクルージョンが発生していない対応ピクセル、（３）単一又は複数個のエラー領域を有する主題ピクセル対単一のエラー領域を有するそのオクルージョンが発生していない対応ピクセル、（４）単一又は複数個のエラー領域を有する主題ピクセル対単一又は複数個のエラー領域を有するそのオクルージョンが発生していない対応するピクセル、である。注意すべきことであるが、伝搬は、好適には、上述した段階のシーケンスに従う。これらの段階は、より信頼性のあるものからより信頼性のないマッチング曲線特性へシーケンスする。更に注意すべきことであるが、伝搬は、好適には、最初にエッジ部分（例えば、エッジェルにおいて）に関して行われ、次いで伝播は均一な領域について継続して行われる。このことも、より信頼性のある主題ピクセルからより信頼性のない主題ピクセルへ伝播をピクセルに対して適用する。これらの段階に従って、最初に、シードからの伝播は単一エラー領域を有する主題ピクセル及び単一エラー領域を有するオクルージョンが発生していない対応ピクセルを使用して行われる。このマッチング曲線特性条件を満足する全ての主題ピクセルに対してこの第一段階に対しての伝播が完了した後に、該伝播はそれらのマッチング曲線に対して第二段階特性を満足するピクセルに対して行われる。このシーケンスは第三段階に対して、次いで第四段階に対して繰返され、それにより、最初に、最も信頼性のあるマッチング曲線特性を有する主題ピクセルへ伝播することによりシードピクセルから隣りのピクセルへ伝播し且つ該段階に従って最後に最も信頼性の低いマッチング曲線特性を有する残りの主題ピクセルへ伝播する。
【００２８】
体積成長プロセスの基本的な案内原理は、高い確実性の領域からより低い確実性の領域へ進行することである。エッジェルは均一な領域よりもより確実性が高く、単一の局所的最小も複数個の局所的最小よりも確実性が高い。単一の局所的最小を有する１個のエッジェルは、従って、複数個の局所的最小を有する１個のエッジェルよりも確実性が高い。従って、この好適な方法は、これら４つの段階を最初にエッジェルに対して適用し、次いで、これら４つの段階をエッジ部分周りのピクセルに対して、次いで、均一な領域内のピクセルに対して適用を継続する。
【００２９】
主題ピクセルを取囲む１個を超えるシードボクセルが存在する場合には、他の適格なエラー領域よりもカメラビューポイント（視点）へより近い最初の適格なエラー領域が割当てられた深さを決定する。このことは、通常、ビューイングフラストラム（ｖｉｅｗｉｎｇ ｆｒｕｓｔｒｕｍ）即ち観察用錐形上の後方ボクセルを前方ボクセルがオクルージョンを発生することを確保する。本発明に基づく好適な方法は、全てのピクセルが一意性拘束条件（即ち、ピクセル当たり単一の真のマッチ／ボクセルのみが存在すること）を満足することを仮定するものではない。各ピクセルがこの一意性拘束条件を満足することを仮定することのないこの好適な方法の別の利点は、この方法がオブジェクトトランスペアレンシィ（ｔｒａｎｓｐａｒｅｎｃｙ）即ち透明度効果をより良く取扱うことが可能であるということである。コンフィデントシードボクセルがエラー領域の局所的最小から高々１ステップサーチ長離れていなければならないという条件でステップ４における４つを段階を介して反復した後に、この好適な方法は緩和した条件でこれら４つの段階を繰返す。エラー領域の局所的最小がコンフィデントシードボクセルから１ステップサーチ長より更に離れている場合には、この緩和した条件は、その局所的最小におけるボクセルを使用する代わりに、決定されるべきボクセルをシードボクセルの１ステップサーチ長内の位置へ移行させる。この補正機構も、表面を成長させながら連続性拘束条件が満足されることを確保する。コンフィデントシードボクセルが夫々のマッチング曲線のその８個の隣りのピクセルのエラー領域のいずれの中にも束縛されていない場合に深さ不連続性が検知される。
【００３０】
オクルージョンが発生していない対応するビューの間での一貫性チェックにより、このマッチングは単一のビューのマッチング情報のみを使用するよりもよりローバスト即ち堅牢性となる。その決定された深さは、表面連続性拘束条件を満足するばかりでなく、オクルージョンが発生していない対応するビューの間での一貫性を満足せねばならない。他のビューにおける主題ピクセルのサーチプロセスは、非常に異なる画像経路を介して移動し、マッチング曲線上の幾つかの局所的最小は異なるビューポイント即ち視点を使用することによって回避することが可能である。オクルージョンが発生していない対応するビューの殆どが決定された深さと合致する場合には、その回答はより統計的に正しいものである。オクルージョンが発生していない対応するビューの間での一貫性は、又、殆どのその他のマッチングアルゴリズムにおいて困難性とエラーとを発生する画像均一性の問題を解消する。
【００３１】
好適なことであるが、オクルージョンが発生したビューを除外しながらオクルージョンが発生していない対応するビューの間での一貫性チェックにより、マッチングプロセスは非常にロバスト即ち堅牢なものとなる。これはいずれの公知の従来システムにおいても見られない本発明の顕著な利点である。非常に重要なことであるが、決定された深さは、ピクセルから隣りのピクセルへの連続性拘束条件を満足せねばならないだけでなく、同一の主題ピクセルに対してオクルージョンが発生していない対応するビューの間での一貫性条件を満足せねばならない。
【００３２】
他のオクルージョンが発生していないビューにおける対応するピクセルのサーチプロセスは、異なるビューポイント即ち視点から非常に異なる画像経路を介して移動する。従って、マッチング曲線上の幾つかの局所的最小は、この異なるビューポイント（視点）から見ることにより回避することが可能である。オクルージョンが発生していない対応するビューの殆ど（又は、少なくとも複数個のオクルージョンが発生していない対応するビュー）が決定した深さと合致する場合には、その回答はより統計的に正しい。オクルージョンが発生していない対応するビューの間での一貫性は、殆どのその他のマッチングアルゴリズムにおいて困難性とエラーとを発生する画像均一性の問題を解消する。
【００３３】
マッチング曲線は３Ｄシーンの２Ｄの各ビューピクセルに対して形成される。このマッチング曲線は２Ｄビューのピクセルを介して観察される３Ｄシーンにおけるオブジェクトの表面に対する３Ｄ深さ値の間の相関関係を記述する。該ピクセルはピクセルフラスタム（ｐｉｘｅｌ ｆｒｕｓｔｕｍ）、即ちピクセル錐台を介して、３Ｄシーンにおいてビューポイント、又はオブジェクトの表面へ投影される。
【００３４】
マッチング曲線は当業者に明らかなように、多くの異なる態様で形成することが可能であるが、本件においては、本発明の好適実施例によって使用することが可能なマッチング曲線を形成する例示的な方法について説明する。図２を参照すると、例示的な三次元のシーン（場面）を例えば第一ビュー２４０、第二ビュー２５０、第三ビュー２６０によって例示した如く複数個の二次元ビューから観察する。この例においては、３つの２Ｄビューが３Ｄシーンを観察している３つのカメラに対応している。これら３つのカメラの精密な位置はワールド座標系２３０において既知であり、ワールド座標系２３０は、３つのカメラの各々に対して及び３Ｄシーンにおいて可視的なオブジェクトの表面に対して三次元位置情報を画定する。
【００３５】
これら３つの２Ｄビューの各々は各２Ｄビューに対する２Ｄ画像を構成する複数個のピクセルを有している。各ピクセルは観察されている画像の属性と関連している。例えば、第一ビュー２４０内に示したＰ１ ２４２等のピクセルは、例えばＲ，Ｇ，Ｂに対する値等のピクセルのあるカラー情報と関連している場合があり、又、輝度（ルミネセンス）等の情報を包含している場合があり、且つ、モノクロ画像の場合には、グレイスケールを包含している場合がある。この例においては、説明の便宜上、各ビューにおける各ピクセルと関連しているカラー情報のみについて検討し、そのカラー情報はＲ，Ｇ，Ｂに対する３つの値によって定義されるものとする。然しながら、各ピクセルに対するカラー情報を表わすその他の態様を、当業者にとって自明な代替的な実施形態において使用することも可能である。ピクセルＰ１ ２４２はそれと関連しているカラー値Ｃ１を有しており、それはＲ１，Ｇ１，Ｂ１に対する３つの値の関数である。このピクセルＰ１２４２と関連しているカラー値Ｃ１は、第一ビュー２４０から観察される三次元シーンを表わすためにピクセルＰ１において表わされるカラー情報を表わしている。
【００３６】
ピクセルＰ１ ２４２に対するマッチング曲線３５０（図３参照）を形成する例示的な方法について以下に説明する。ピクセルＰ１ ２４２はそれと関連している上述した如きカラー値Ｃ１を有している。カラー値Ｃ１は、第一ビュー２４０内の異なる深さに対して観察される場合にピクセルＰ１に対して同一に止まる。この第一ビュー２４０は基準ビューとして指定され、それは、同一のシーンのその他の２Ｄビューに対してピクセルＰ１ ２４２を対応させるために使用される。第一深さ２４４においてピクセルＰ１ ２４２（第一ビュー２４０において）は第二ビュー２５０におけるピクセルＰ２１ ２５４に対して対応付けされる。同様に、第一深さ２４４において、第一ビュー２４０内のピクセルＰ１ ２４２は第三ビュー２６０におけるピクセルＰ３１ ２６４に対して対応付けされる。この第一ビュー２４４と第二ビュー２５０と第三ビュー２６０の間の対応付けは、当業者にとって明らかなように、複数個のビューにわたってピクセルのマッチング及び対応付けを行う別の方法によって達成することも可能である。例えば、第一ビュー２４０におけるピクセルＰ１ ２４２は、第二ビュー２６０におけるピクセルＰ２１ ２５４と対応付けさせ且つ第三ビュー２５０におけるピクセルＰ３１ ２６４と対応付けさせるために第一深さ２４４における推定ボクセル位置から後方投影させることが可能である。
【００３７】
注意すべきことであるが、第二ビュー２５０におけるピクセルＰ２１ ２５４はそれと関連するカラー情報を有しており、それはＲ２１，Ｇ２１，Ｂ２１に対する値の関数であり、それはピクセルＰ２１ ２５４に対するカラー値Ｃ２１となる。同様に、第三ビュー２６０におけるピクセルＰ３１ ２６４はカラー値Ｃ３１を有している。同様の態様で、第二深さＤ２ ２４６において、第一ビュー２４０のピクセルＰ１ ２４２に対するボクセルは、第二ビュー２５０におけるピクセルＰ２２ ２５６に対して対応付けさせることが可能であり且つ第三ビュー２６０におけるピクセルＰ３２ ２６６に対して対応付けさせることが可能である。ピクセルＰ２２ ２５６のカラーは、カラー値Ｃ２２によって画定され、第三ビュー２６０のピクセルＰ３２ ２６６のカラーはカラー値Ｃ３２によって画定される。
【００３８】
例えば、ピクセルＰ１ ２４２に対するボクセルに対しての提案された深さの各々においてマッチングエラーを計算する平方差の和の方法を使用することにより、第一ビュー２４０のピクセルＰ１ ２４２に対してマッチング曲線３５０（図３参照）を定義することが可能である。ボクセルは対応するピクセルＰ１ ２４２と関連する深さ情報を識別する。平方差の和の方法は、基準ビューピクセルＰ１ ２４２及び例えば第二ビュー２５０及び第三ビュー２６０等のその他のビューにおけるその対応するピクセルのカラー値の平方差の和の平方根をとることにより例えば第一深さＤ１ ２４４及び第二深さＤ２ ２４６における等のボクセルに対する異なる提案された深さに対して計算される。第一深さＤ１ ２４４及び第二深さＤ２ ２４６におけるマッチングエラーを計算するための図２に示した方程式を参照すると良い。マッチングエラー（Ｙ軸）３４０がマッチング曲線３５０に対して深さ（Ｘ軸）３３０に対してプロットした図３に示してある。
【００３９】
第一深さＤ１ ２４４において、第一点３３４がマッチング曲線３５０上で計算される。第二深さＤ２ ２４６において、第二点３３６がマッチング曲線３５０上で計算される。思い起されるように、図３において深さ情報がＸ軸３３０に沿って直線的に示されているが、マッチング曲線３５０に対するマッチングエラーに対して計算される見こみのあるボクセルの各々は、実際には、ワールド座標系２３０に対して正規化されている。このワールド座標系２３０は２Ｄビュー２４０，２５０，２６０の全てにわたって使用される「ユニバーサル」ワールド座標系２３０における深さ情報を画定する。従って、例えば、第一ビューの１つのピクセルに対して特定されたマッチング曲線における局所的最小は、第二ビューの１つのピクセルに対して特定されたマッチング曲線における局的最小と直接的に比較することが可能である。これらの局所的最小が、異なるビューにわたってみた場合に概略的にオーバーラップする場合には、真のボクセルの検知及び対応付けしたピクセルに対する深さ情報の一貫性のある決定の高い確率が存在している。
【００４０】
更に、図３に示したように、マッチング曲線３５０の解析を簡単化させるためにスレッシュホールド３３２を合理的に設定することが可能である。スレッシュホールド３３２より高い、即ち高いマッチングエラーを有しているマッチング曲線上の点は、真のボクセルであることの蓋然性がないものと考えることが可能である。スレッシュホールド３３２より低いマッチング曲線３５０上の点は、特定のピクセルＰ１ ２４２に対する真のボクセルを識別するための候補者として考えることが可能である。この例においては、マッチング曲線３５０上の第一点３３４（第一深さＤ１ ２４４）におけるマッチングエラーは、スレッシュホールド３３２より上方に示されており、一方マッチング曲線３５０上の第二点３３６（第二深さＤ２ ２４６）におけるマッチングエラーはスレッシュホールド３３２より下側に示されている。この例におけるマッチング曲線３５０は、第二点３３０に関する局所的最小を例示しており、その場合に第二深さＤ２ ２４６は異なるビューにわたって対応付けされている。この第二点３３６に関する局所的最小は、ピクセルＰ１ ２４２に対して、観察中のシーン内に位置されているオブジェクトに対する真のボクセル位置がワールド座標系２３０における第二深さ位置Ｄ２ ２４６に対して示された深さと近似する深さにおいてそのシーン内において見つけ出すことが可能であることを示す傾向にある。
【００４１】
このように、第一ビュー２４０（即ち、基準ビューとして）におけるピクセルの全てに対して上述した処理を繰返すことにより、第一ビュー２４０のピクセルに対して一群のマッチング曲線を形成することが可能である。この処理は、次いで、第二ビュー２５０に対して繰返すことが可能であり、即ち、第二ビュー２５０を基準ビューとして設定し、第二ビュー２５０のピクセルに対して一群のマッチング曲線を形成することが可能である。更に、このプロセスは、第三ビュー２６０に対して繰返すことが可能であり、その場合に第三ビュー２６０を基準ビューとして設定して、第三ビュー２６０のピクセルに対して一群のマッチング曲線を形成することが可能である。理解されるように、一群のマッチング曲線が、３Ｄシーンを観察する２Ｄビュー２４０，２５０，２６０の各々に対する夫々のピクセルに対して定義される。種々のビュー２４０，２５０，２６０のピクセルに対してマッチング曲線が使用可能となると、本発明に基づく好適な方法が種々の２Ｄビューのピクセルに対してのマッチング曲線の属性及び特性を解析し、以下に詳細に説明するように、種々の２Ｄビューによって観察される３Ｄシーンのオブジェクトに対する３Ｄ情報を復元する（即ち、体積を成長させる）。
【００４２】
図４Ａ及び４Ｂは理想的なマッチング曲線を示しており、且つ図４Ｃは誤ったマッチを有するマッチング曲線を示している。図４Ａ，４Ｂ，４Ｃにおけるマッチング曲線は、特定のピクセルにおける深さ情報を決定するために異なる条件の下で示されている。図４Ａにおいては、真のボクセル２０２の位置が示されており、その場合にマッチングエラーがゼロに等しい真のボクセル２０２の位置における場合を除いてマッチングエラーは高い。これは特定のピクセルにおける精密な深さ情報を表わす理想的な条件である。図４Ｂにおいては、複数個の真のボクセル候補者２１２，２１３，２１５，２１７が特定のピクセルに対する複数個の深さに対して示されている。注意すべきことであるが、最初の真のボクセル２１３はマッチング曲線上の最初の最小位置に位置されており、左から右へマッチング曲線をトラバースする。好適なサーチ方法は、ゼロの深さ（最も左側の点）からサーチを開始し、次いで、深さを増加させることにより（Ｘ軸に沿って）且つ最初の真のボクセル候補者２１３に到達することによりサーチを行う。
【００４３】
図４Ｂから理解されるように、第二深さ２１２、第三深さ２１５、第四深さ２１７におけるようなその他の潜在的な候補の真のボクセルが存在している。好適なサーチ方法によれば、真のボクセル候補２１２，２１３，２１５，２１７のシーケンスの各候補が、以下に説明するように、マッチング曲線と関連する特定のピクセルに対して正しい真のボクセルの決定がなされるまで、順番に解析が行われる。
【００４４】
図４Ｃにおいて、付加的な候補真ボクセル２２２，２２５以外の候補ボクセルに対して誤ったマッチ２２４，２２６が示されている。この例においては、真のボクセル候補２２２，２２５以外に、他のビューのピクセルとの不正確な対応付けに起因して誤ったマッチ２２４，２２６が存在している。然しながら、従来の実現例は、単一のマッチング曲線を解析し、それにより候補ボクセルに対して誤ったマッチ２２４深さを検知し且つその結果例えば第一の真のボクセル２２２等の真のボクセル深さを検知することに失敗する蓋然性がある。このことはシーンに対しての３Ｄ情報の復元において顕著な甚だしいエラーとなる場合がある。一方、誤ったマッチ２２４，２６６が存在する場合であっても、本発明に基づく好適な方法は、複数個のビューの対応するピクセルに対して複数個のマッチング曲線を効果的に解析する。複数個のマッチング曲線（異なるビューの対応付けしたピクセルから）が特定の深さ近傍におけるエラー領域とオーバーラップする場合には、これは真のボクセルに対する統計的に蓋然性のある位置を表わす。このアプローチは、通常、誤ったマッチを回避し、更に、複数個の２Ｄビューから３Ｄ情報を復元するための真のボクセルの深さ位置をより信頼性を持って且つロバスト的に決定する。このことは本発明の顕著な利点である。
【００４５】
上述したように理想的なマッチング曲線は真のボクセルに対する候補を容易に提供するように見えるが、実世界の実現例はかなりの量の不確実性を包含しており、真のボクセル候補の深さを決定することをより困難なものとしている。この体積の不確実性は真のボクセルに対する深さを一貫性を持って検知する方法を複雑なものとする。例えば、図５Ａ，５Ｂ，５Ｃを参照すると、付加的な体積不確実性と共に３つのマッチング曲線が示されている。図４Ａ，４Ｂ，４Ｃに関して説明したマッチング曲線の場合と異なり、より現実的なマッチング曲線の表示が図５Ａ，５Ｂ，５Ｃに示されており、その場合に、例えば不確実性３０２，４０２，４０３，４０５，４０７，５０２，５０４，５０５，５０６等の体積不確実性はボクセルに対する蓋然性のある深さ情報を決定するためのマッチング曲線の計算を行う場合に通常包含されている。比較のために、図５Ａ，５Ｂ，５Ｃにおける点線を参照すると、それらは図４Ａ，４Ｂ，４Ｃに前に示した曲線を表わしている。本発明に基づく好適な方法は、局所的最小又は大域的最小によって示される候補ボクセルの深さ情報に対するエラー領域を識別することを助けるためにスレッシュホールド３０１，４０１，５０１を使用する。局所的最小又は大域的最小のうちの１つのエラー領域内に真のボクセルが見つかる蓋然性がある。特定のピクセルと関連する単一のマッチング曲線を解析することにより、可能であるとしても、観察中のシーンにおけるオブジェクトの体積の外側表面と関連する３Ｄ深さ情報を有する真のボクセルを識別することは非常に困難である。然しながら、複数個の２Ｄビューにわたって対応付けしたピクセルに対する複数個のマッチング曲線を解析することにより、マッチング曲線の局所的最小又は大域的最小の間のオーバーラップ領域はシーン内のオブジェクトに対する蓋然性のある真のボクセルを識別する。この深さ情報は、複数個のマッチング曲線のオーバーラップ領域によって示される。その結果、３Ｄシーンの複数個の２Ｄビューから３Ｄ情報を抽出する信頼性があり且つロバストな方法となる。
【００４６】
然しながら、ある場合においては、あるマッチング曲線が局所的最小又は大域的最小を信頼性を持って示すものでない場合がある。従来行われているように、２Ｄビューのピクセルに対する単一のマッチング曲線の解析は、ボクセル位置を決定するための深さ情報を推定する上で大きな甚だしいエラーを発生する。例えば，図６Ａ及び６Ｂに示したように、マッチングエラー領域６０２，６０４は非常に多数の潜在的なボクセル位置へ延在する場合があり、それによりピクセルに対する候補ボクセルと関連する真の深さ情報に関しての不確実性が高くなる。特に、注意すべきことであるが、図６Ｂにおいて、あるマッチング曲線特性は深さ情報を推定することを可能とする局所的最小又は大域的最小を発生しない場合がある。このことは深さ情報を決定するために単一のマッチング曲線を使用し、それによりシーンに対する３Ｄ情報を復元する上で大きな甚だしいエラーを発生する場合がある従来技術の顕著な欠点である。本発明の好適実施例は、以下に更に詳細に説明するように、複数個のビューにわたっての局所的最小又は大域的最小のオーバーラップ領域を解析することにより複数個の２Ｄビューから３Ｄ情報を抽出する信頼性及びロバスト性を著しく改善している。特定の２Ｄビューのマッチング曲線が、例えば図６Ａ及び６Ｂに示したマッチング曲線領域６０２，６０４において示したような過剰な体積不確実性を有している場合には、本発明に基づく好適な方法は必ずしも破綻を来すものではない。何故ならば、それは局所的最小又は大域的最小のオーバーラップ領域を決定するために複数個のビューに対する複数個のマッチング曲線を使用するからである。更に、例えばマッチング曲線領域６０２，６０４に示したような非常に体積不確実性を有するマッチング曲線を識別し且つオクルージョンが発生したビューとしたマーク付けする可能性がある。オクルージョンが発生したビューはボクセル候補に対する深さ情報の決定において回避される。更に、以下に更に詳細に説明するように、蓋然性のあるボクセルを直接的に発生するものではないピクセルは、真のボクセル（それから深さ情報を伝播させるコンフィデントシード）であるとより信頼性を持って決定された隣りのボクセルから同様の深さ情報を伝播させることにより深さ情報に対して計算される。このことは、従来技術においては見られない本発明の主要な利点である。
【００４７】
図７及び８を参照して、複数個の２Ｄビューによって観察されるシーンから３Ｄ情報を信頼性を持って復元するのに重要なマッチング曲線のある属性について検討する。シーンにおけるカラーの均一性は局所的／大域的最小領域に対するより広いエンベロープを有するマッチング曲線を発生する。例えば、図７に示したマッチング曲線７０４を参照すると良い。エンベロープは、最初にマッチングエラーが予め定めたスレッシュホールド７０２より低くなる時と最初にマッチングエラーが予め定めたスレッシュホールド７０２より高くなる時との間の距離である。局所的／大域的最小のエンベロープが図７に示したように幅広であると、決定された深さはそのエンベロープ内の多数の異なる３Ｄ深さ位置に該当する場合がある。このことは、例え３Ｄ深さ位置が多数のエラー領域から１つのエラー領域（幅広のエンベロープを有する）内にあるものと正しく識別される場合であっても、復元された３Ｄ構成内において不規則性を発生する。換言すると、３Ｄ復元プロセスはボクセルに対する深さ値を決定する場合に構造的ノイズを発生する。このピクセルに対して復元した３Ｄ情報に対するエラー深さ情報は、隣りのピクセルに対して適合され（伝播され）一般にパッチを形成する。然しながら、このパッチは、１つのシーンにおけるオブジェクトの体積の連続的な表面を形成せんとするその他の隣りのパッチと一貫性のある深さを有するものではない。然しながら、パッチ間の深さ情報の不規則性はシーン内の３Ｄ構成の現実性を変更させる。このことは、均一なカラー及び低いコントラストを有する領域において特に顕著である。２Ｄ画像における低いコントラスト及び均一なカラー領域は、典型的に、例えば図７に示したようなマッチング曲線７０４において非常に低い周波数を示す。この低い周波数のマッチング曲線７０４は例えばシーン内の空のビュー又は海のビューを見ている場合等の画像内の均一なカラーで低いコントラストの領域から発生する現象である。低い周波数で低いコントラスト領域の場合にこのような条件下で特定のピクセルに対して３Ｄ情報を抽出することは非常に困難であることが多い。
【００４８】
一方、高コントラスト領域は、ピクセルと関連する正しい３Ｄ深さ情報を決定するために著しくより容易に解析することが可能である。高コントラスト領域は、典型的に、シーン内のオブジェクト間のエッジ周りに見出される。１つのビュー内のピクセルからピクセルへの高コントラストは、典型的に、例えば図８に示したマッチング曲線８０４のような高い周波数のマッチング曲線を発生する。マッチング曲線局所的最小８０６（即ち、予め定めたスレッシュホールド８０２の下側に存在するマッチング曲線８０４の部分）の狭いエンベロープは、そのマッチング曲線と関連するピクセルに対する正しい深さ情報を決定する精度を増加させる。本発明に基づく好適な方法は、真のボクセルに対応する適切なエラー領域（複数個のエラー領域から）をより容易に識別することを可能とする。即ち、シーンの高コントラスト領域においては、３Ｄ情報は同一のマッチングピクセルの異なるビューの間で非常に遠く変化することはない。例えばシーン内のオブジェクト間のエッジ周り等、高コントラスト領域周りのシーンの種々のビューの間でオーバーラップするエラー領域を検知することがより信頼性がある。
【００４９】
本発明に基づく好適な方法は、３Ｄデータがマッチング曲線から派生された後に構造的不規則性を平滑化させるためにマッチング曲線の属性及びそれからのその他の情報を最も良く利用する。その場合の仮定は、深さがそれらの夫々の局所的最小内において正確に決定されるということである。本発明に基づく好適な方法は以下の手順を使用する。
【００５０】
（１）全てのビューにおける各ピクセルに対してサーチ及びマッチングを同時的に実施する。
【００５１】
（２）サーチ及びマッチング処理期間中に全てのビューにおける各ピクセルに対してマッチング曲線の属性を同時的に記録する。各ピクセルは例えばカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線と関連している。
【００５２】
（３）それらの隣りのピクセル及びそれらのオクルージョンが発生していない対応するピクセルの結果に影響を与えるコンフィデントシードを探し出すために複数個の２Ｄビューのマッチング曲線特性を使用する。
【００５３】
（４）基準ビューにおいて及びそのオクルージョンが発生していない対応するビューにおいてエッジェル（ｅｄｇｅｌ）に沿って良好なマッチを伝播させるために複数個のビューのマッチング曲線特性を使用する。全てのビュー自身が基準ビューであり、該基準ビューのピクセルに対して対応付けされたピクセルを有するその他のビューは対応するビューである。更に、マッチングプロセスにおいてコンフィデント即ち信頼性があるものと考えられる（例えば、エッジェルにおいて）復元された３Ｄを基準データとして割当てる。これらの基準データはステップ６及び７における３Ｄスムージング即ち平滑化のために使用され、且つそれらの値が変更されることはない。それらは均一な領域に対するサポート構造のように動作する。
【００５４】
（５）エッジ部分から基準ビューの均一な領域及びそのオクルージョンが発生していない対応するビュー内へ良好なマッチを伝播させるために複数個のビューのマッチング曲線特性を使用する。
【００５５】
（６）主題ピクセルをウインドウの中心に位置した状態で基準ビュー内の各及び全てのオクルージョンが発生していない対応するピクセルに対して反復的に固定ウインドウ寸法を適用し、次いで該ウインドウによってカバーされる隣りのピクセルに対する平均深さ値を計算する。注意すべきことであるが、隣りのピクセルの３Ｄ深さ情報は表面連続性拘束条件が満足されることを確保するために基準ビュー内の主題ピクセルのエラー領域内に存在すべきである。更に、平均を計算した深さは、対応するビューにわたって３Ｄ一貫性条件が満足されることを確保するために、主題ピクセル及びそのオクルージョンが発生していない対応ピクセル（対応するビューにおいて）のエラー領域内に束縛されるべきである。
【００５６】
（７）計算した平均深さが基準ビュー画像内の主題ピクセルのいずれかに対する予め定めた平滑化スレッシュホールド範囲を超えるものである場合には、主題ピクセルの深さの各々を新たな夫々の計算した平均深さで置換させ、且つ夫々のオクルージョンが発生していない対応ピクセルの深さを新たに計算した平均深さで置換させ、次いで再度ステップ６及び７を繰返す。代替的に、計算した平均深さが基準ビュー内の主題ピクセルの全てに対する予め定めた平滑化スレッシュホールド範囲内にある場合には、平滑化プロセスはこの基準ビュー画像に対して停止することが可能である。注意すべきことであるが、本発明の好適実施例によれば、反復的平滑化処理ステップ６及び７に従って基準ビューピクセルの全てが同時的に処理される。処理ステップ６及び７の各繰返しにおいて、この好適な方法は基準ビュー内の各々及び全ての主題ピクセルに対する計算した平均深さを予め定めたスレッシュホールド範囲と比較する。このスレッシュホールド範囲は、好適には、各々及び全ての主題ピクセルに対する平均深さ情報における変化が滑らかな表面を表わすために許容可能なものとして充分に小さいものである場合に、画像処理システムの動作シーケンスにおける平滑化処理の繰返しを停止させるために設定される。その結果得られる３Ｄ画像はユーザにとってより視覚的に好ましいものである。
【００５７】
ステップ６において、主題ピクセルの深さがその中に存在する主題ピクセルのエラー領域のエンベロープによってその深さが束縛される場合にのみ隣りのピクセルの深さは深さ平均化処理に向かってカウントされる。主題ピクセルは矩形状ウインドウの中心にある。このウインドウ寸法は、好適には、例えば７×７等の奇数の倍数を有するように選択される。主題ピクセルの深さは、そのピクセルがステップ４において割当てられた３Ｄ深さを有している場合には変更することは不可能である。ステップ６及び７において反復的に平均化プロセスを行うことにより、ステップ４において割当てられた基準３Ｄ深さデータによって限定される深さ値にその深さは究極的に隣りのピクセルに対して安定化する。更に、主題ピクセルの深さは、（１）主題ピクセルのエラー領域の境界、及び（２）オクルージョンが発生していない対応するピクセルのエラー領域の境界のうちのいずれかの外側にある深さ値で置換されることはない。上述した平均化処理は、基準深さマッチング曲線の境界内に止まるが、隣りのピクセルに対して伝播した深さ値の信頼性を顕著に増加させる。最後に、より大きなウインドウ寸法が使用される場合には、収束はより速く近付くが、体積の詳細な表面はそれ程滑らかなものでない場合がある。ウインドウ実現例の１つの例についてより詳細に以下に説明する。
【００５８】
図９を参照すると、ウインドウ（即ち、隣りのピクセルからなるグリッドによって表わしてある）が画像内の特定のピクセル周りに定義されている。解析中の特定のピクセルがこのグリッドの中心ピクセル９０２に位置されている。中心ピクセル９０２は文字Ｃによって表わしてある。好適には、このウインドウグリッドは中心ピクセル周りに奇数個のピクセル行及び列で配列されており、中心ピクセルは解析中の興味のあるピクセルであり且つ潜在的にその隣りのピクセルへ伝播される。
【００５９】
図９に示した例示的なグリッドにおいて数字１，２，３，４，６，７，９で示した隣りのピクセルは、各々、その夫々のマッチング曲線から深さ情報に対して同時に計算される。隣りのピクセルは中心点ピクセルとマッチング曲線において関連する同一の３Ｄ中心点深さ情報を有するものでなければならず、そうでなければ、スムージング（平滑化）アルゴリズムは現在の平均化関数に対して隣りのものを使用することはない。中心ピクセルに対する深さ情報はウインドウ（全ての隣りのピクセルを包含するグリッド）内において継続的に平均化される。このように、隣りのピクセルに対してピックアップされる潜在的に著しく異なる深さ情報を有する低コントラスト領域は、典型的に、全体的な均一な領域にわたって一貫性があり且つ信頼性のある平均深さとなる。このことは、ピクセル毎に計算される深さの変化を減少させることによりこのような均一の領域に対して３Ｄ情報を復元する上での不確実性を減少させることに貢献する。典型的に、前述した如く、これらの均一な領域は隣りのピクセルの間での深さの計算の大きな変化から問題を発生する。このことは画像内の構造的ノイズとして表われる。均一な領域内のピクセルに対する不確実性のボリュームは非常に大きい。均一な領域はテクスチャが付けられておらず一般的に一定のカラーを有する画像の部分を包含している。上述した如く、深さ情報を平均化し且つこの平均化した深さ情報を主題ピクセルに対する信頼性のある基準３Ｄデータからそれらの隣りのピクセルへ伝播させることによりより視覚的に優れた３Ｄ画像の表示が得られる。
【００６０】
本発明に基づく好適な方法は、初期的に、信頼性のある深さ情報と関連するコンフィデントシードピクセルを識別し、次いで、これらのコンフィデントシードからシーン内のオブジェクトの体積の表面を成長させる。好適には、本方法は、シーン内のオブジェクトのエッジ部分周りのコンフィデント即ち信頼性のあるピクセルを探し出す。何故ならば、エッジ部分は、通常、深さ計算における変化が非常に低く高いコントラスト区域だからである。次いで、この好適な方法は、平均化をコンフィデントシードピクセルからの深さの一貫性のある決定を基礎としながら、上述した如く隣りのピクセルの深さを平均化することにより表面を平滑化すべく動作する。この好適な方法は、エッジ周りのピクセルからの深さ情報をシーン内のオブジェクトの体積の表面の均一な領域を介して内側へ伝播させる。この処理は、好適には、均一な表面にわたっての変動を平滑化しその結果視覚的に優れた３Ｄ画像情報を表示する。
【００６１】
特定のピクセルの深さが決定されると、本発明に基づく好適な方法はその画像内の別の隣りのピクセル位置における次のボクセルへ深さ情報を成長させ且つ伝播させる。この方法は、深さ情報を平均化させるために隣りのピクセル位置にわたってウインドウグリッド９００を移動させながら、上述した平均化処理を反復的に適用する。本方法は、それにより、隣りのピクセルの深さ情報を決定し、従って、そのシーン内のオブジェクトの体積の表面を成長させる。平均化処理をシーン内のオブジェクトの均一な領域にわたって隣りのピクセルに対して適用した後に、結果的に得られる３Ｄ画像は画像処理システムのユーザに対して比較的により好ましい表示を与える。残りのステップは、ユーザに対して３Ｄ画像情報をレンダリングし且つ表示することである。処理した画像の３Ｄ表示はシーンに対する３Ｄ画像情報のより信頼性のある決定となる。更に、上述した平均化プロセスは、３Ｄデータ情報に対して適用し均一な領域にわたってのピクセル深さの変化を平滑化させ、その結果視覚的により好ましい３Ｄ画像がユーザに対して表示されることとなる。このことは従来技術によっては得ることの不可能な本発明の顕著な利点である。
【００６２】
例示的なシステム実現例
図１０に示したように、本発明の好適実施例によれば、例示的な３Ｄ画像処理システム１０００は１組のデジタル（スチル又はビデオ）カメラ１００２を有しており、尚３つのカメラ１００４，１００６，１００８が示されており、それらは異なる姿勢で配設されており且つ例えば電気的信号バス１０１０を介して電子的に同期される。任意の時刻において、カメラ１００２が１組の画像１０１２、例えば３個の画像１０１４，１０１５，１０１８を発生し、それらは３つのカメラ１００４，１００６，１００８に対して３つの夫々のデジタルキャプチャインターフェース１０１５，１０１７，１０１９に対して示されている。１組の画像１０１２の各々は、カメラの相対的な運動だけ１組の画像１０１２における他の画像からずれている。然しながら、カメラ１００２はカメラ１００２によって観察されるシーン１０２６内の全てのオブジェクトを包含する「ユニバーサル」ワールド座標系内の既知の位置にある。例えば、第一画像１０１４及び第二画像１０１６は、シーン１０２６と相対的にカメラ１００４，１００６の異なる姿勢に起因して両方の画像１０１４，１０１６上に見つけられる対応する特徴点の間の距離だけ互いにずれる場合がある。２つの画像１０１４，１０１６の間のこのカメラの相対的な運動は、２つの画像１０１４，１０１６の間に対応する（即ち、マッチする）特徴点の間の運動ベクトルによって表わすことが可能である。更に、スチルカメラ１００４，１００６，１００８及びスチルシーン１０２６がこの例において示されているが、本明細書の記載を参考に当業者にとって、静止及び／又は動くシーン１０２６及び／又はカメラ１００４，１００６，１００８のいずれかの組合わせを本発明の変形実施例に基づいて表現することが可能であることは自明である。例えば、移動オブジェクトシーン１０２６及びスチルカメラ１００４，１００６，１００８を使用することは、本発明のある適用例に対して完全に望ましいものである場合がある。従って、本明細書において使用されるように、カメラの相対的運動という用語は、静止及び／又は移動シーン１０２６及び／又はカメラ１００４，１００６，１００８の任意の組合わせを表現することが可能である本発明のこのような変形実施例の全てを広くカバーすることを意図している。
【００６３】
３個の夫々のデジタルキャプチャインターフェース１０１５，１０１７，１０１９がコンピュータシステムと通信可能に結合されている（図１０には示していない）。１組の画像１０１２がハードウエア１０２０、コンピュータシステム（不図示）、且つ１組のカメラ１００２によって観察されたシーン１０２６の復元された３Ｄ画像情報１０３４を出力するためのシステム１０００のソフトウエア１０２２によって処理される。ソフトウエア１０２２は、好適には、シーン１０２６の複数個のビュー１０１４，１０１６，１０１８にわたってピクセルをマッチングさせるためのピクセルマッチングモジュール１０２８を有している。この画像マッチングモジュール１０２８は、前述した如く、１０１４，１０１６，１０１８の各々における夫々のピクセルに対してマッチング曲線を与える。３Ｄ画像復元モジュール１０３０は、マッチング曲線属性及び特性を包含するマッチング曲線を解析し、シーン１０２６におけるオブジェクトの体積の表面に対する３Ｄ深さ情報を抽出するための更なる処理のためのシード点を与える。３Ｄ画像復元モジュール１０３０は、以下により詳細に説明するように、画像特徴点が検知され且つビュー１０１４，１０１６，１０１８にわたってマッチングされた後に、画像情報の付加的な処理を与える。次いで、ビュー１０１４，１０１６，１０１８におけるピクセルのマッチング曲線を解析してシーン１０３４の３Ｄ画像を復元する。更に、３Ｄ画像平滑化モジュール１０３２が復元された３Ｄ画像データに関して処理を行い、シーン１０２６におけるオブジェクトの体積の表面における不規則性を平滑化させる。この３Ｄ画像平滑化モジュール１０３２はシステム１０００のユーザに対して表示される（例えば、ディスプレイを介して）３Ｄ画像情報を著しく向上させる。
【００６４】
図１１は本発明の好適実施例に基づく図１０の３Ｄ画像処理システム１０００のより詳細な構成を示している。デジタルキャプチャインターフェース１０１５，１０１７，１０１９の各々は、キャプチャした画像１０１４，１０１６，１０１８を格納するための夫々の画像キャプチャメモリ１１０４，１１０６，１１０８を有している。デジタルキャプチャインターフェース１０１５，１０１７，１０１９は３Ｄ画像復元コンピュータシステム１１０２の入力／出力インターフェース１１１０へ通信可能に結合されている。更に、電気的信号バス１０１０が入力／出力インターフェース１１１０へ通信可能に結合されている。３Ｄ画像復元コンピュータシステム１１０２は、データメモリ１１１４へ及びプログラムメモリ１１１６へ電気的に結合されている制御器／プロセッサ１１１２を有している。制御器／プロセッサ１１１２は、又、ユーザインターフェース１１１８へ電気的に結合されており、該ユーザインターフェースは例えばモニタディスプレイ（不図示）等を介してユーザに対して情報を提供し且つ例えばキーボード（不図示）及びマウス（不図示）等を介してユーザからのユーザ入力を受取る。
【００６５】
データメモリ１１１４は画像情報を格納するための画像メモリ１１２０を有している。画像メモリ１１２０は、誤った画像情報である高い蓋然性を有するピクセルを追従するオクルージョンが発生したビューのメモリ１１５０、シーンの画像内に位置しているコンフィデントシードピクセルを追従するサーチメモリ１１５２、隣りのピクセルにわたって平均化される深さ表面を伝播させるために解析されるピクセルを取囲むウインドウを追従するウインドウグリッドメモリ１１５４、及びシーン内のオブジェクトの体積にわたって深さ表面の伝播された部分を追従する３Ｄ表面メモリ１１５６に対するデータ構造を有している。これらのデータ構造は、３Ｄ画像復元機能モジュール１０３０及び３Ｄ画像平滑化モジュール１０３２によって以下に更に詳細に説明するように使用される。更に、データメモリ１１１４はパラメータメモリ１１２２を有しており、その場合に３Ｄ画像復元コンピュータシステム１１０２は３Ｄ画像処理システム１０００に対するコンフィギュレーションパラメータを格納する。
【００６６】
プログラムメモリ１１１６は、本発明の好適実施例に基づいて３Ｄ画像処理システム１０００に対する動作シーケンスを実施するために制御器／プロセッサ１１１２に対してコンピュータプログラム命令を供給する。プログラムメモリ１１１６は４個の機能モジュールを有している。これら４個の機能モジュールは、画像マッチングモジュール１０２８、シーン内の表面に対する深さの３Ｄ伝播を計算するための伝播モジュール１１３２、シーン内のオブジェクトの体積の表面の隣りのピクセルの３Ｄ情報から不規則性を平滑化するための平滑化モジュール、及び３Ｄ画像情報を表示するための３Ｄ画像レンダリングモジュールを有している。これら４個の機能モジュールの動作について例示的システムに関して以下に詳細に説明する。
【００６７】
更に、３Ｄ画像復元コンピュータシステム１０２０は、好適には、コンピュータによって読取可能な媒体１１４２を受取るためのドライブ１１４０を有している。これは、３Ｄ画像復元コンピュータシステム１１０２と情報を伝達するための手段を提供している。例えば、コンピュータプログラム（及びそのアップデート）は３Ｄ画像復元コンピュータシステム１１０２へ供給することが可能であり且つ当業者にとって公知の態様でコンピュータによって読取可能な媒体１１４２を介してプログラムメモリ１１１６内に格納させることが可能である。更に、画像情報及び関連するパラメータはコンピュータによって読取可能な媒体１１４２とデータメモリ１１１４との間で転送させることが可能である。
【００６８】
本発明の好適実施例によれば、画像マッチングモジュール１０２８は３Ｄ画像復元コンピュータシステム１１０２において動作し且つプログラムメモリ１１１６内に格納される。本発明の１実施例に基づく画像マッチングモジュール１０２８は、シーンを表わす複数個の画像にわたって画像情報の対応性を示す画像情報（例えば、マッチング曲線）に関して動作を行う。３Ｄ画像復元モジュール１０３０は本発明に基づいて、複数個のビューにわたって対応する画像情報を解析して上述した如く３Ｄ画像深さ情報を復元するために３Ｄ画像復元コンピュータシステム１１０２に対するコンフィデントシード（ｃｏｎｆｉｄｅｎｔ ｓｅｅｄ）即ち信頼性のある種として画像特徴（例えばピクセル）を提供する。３Ｄ画像平滑化モジュール１０３２は平均化処理を実施して観察中のシーンにおけるオブジェクトのカラムの表面の復元された３Ｄ深さ情報の間の不規則性を減少させる。
【００６９】
本発明の好適実施例によれば、３Ｄ画像処理システム１０００のかなりの部分が集積回路で実現することが可能である。例えば、３Ｄ画像復元コンピュータシステム１１０２の機能的コンポーネントは少なくとも１個の集積回路において実現することが可能である。同様に、デジタルキャプチャモジュール１０１５，１０１７，１０１９のかなりの部分を少なくとも１個の集積回路で実現することが可能である。
【００７０】
本発明の別の実施例によれば、３Ｄ画像処理システム１０００は、例えば、三次元スキャナ、ファクシミリ装置、ビデオ通信装置、ビデオ処理装置等の装置において実現することが可能である。
【００７１】
図１２，１３，１４は、本発明の好適実施例に基づいて図１０及び１１に例示した画像処理システム１０００に対する好適な動作シーケンスを示している。図１２は全体的な動作シーケンスを示しており、一方図１３は復元用３Ｄデータ１２０８動作シーケンスのより詳細な図を示しており、且つ図１４は平滑化用３Ｄデータ１２１０動作シーケンスのより詳細な図を示している。復元用３Ｄデータ動作シーケンス１２０８は好適な実現例を示している。然しながら、３Ｄデータを復元するためのその他の別の動作シーケンスを本明細書の記載を参考に当業者にとって自明であるように画像処理システム１０００において使用することが可能である。更に、平滑用３Ｄデータ動作シーケンス１２１０は本発明に基づく好適な実現例を示している。然しながら、平滑化用３Ｄデータ動作シーケンス１２１０はオプションであり且つ画像処理システム１０００の全てのシステムの実現において存在するものではない場合がある。然しながら、それは復元した３Ｄデータに対して顕著な利点を与え、画像処理システム１０００のユーザに対してより視覚的に優れた３Ｄ画像表示を与え、そのことは従来技術においては見られない本発明の顕著な利点である。
【００７２】
図１２を参照すると、その動作シーケンスはステップ１２０２でエンターする。３Ｄ画像復元コンピュータシステム１１０２がステップ１２０４において１つのシーンの複数個の２Ｄビューにわたって特徴をサーチし且つマッチさせる。
【００７３】
ステップ１２０４に関して、特徴をサーチし且つマッチする動作シーケンスは、例えば、本明細書に鑑み当業者にとって自明であるように、複数個のビューにわたって対応するピクセルをサーチし且つマッチさせるためにスキャンラインアプローチ又は仮想光線アプローチ等の方法を包含することが可能である。例えば、スキャンラインアプローチにおいては、スキャンラインにわたっての全てのピクセルが比較され且つマッチされて解析され且つ対応付けされる特定のピクセルに対する深さを復元する。このことは、非常に効率の悪い場合がある。何故ならば、全てのピクセルが対応性を決定するために比較されるからである。２番目のアプローチは仮想光線アプローチであり、それは復元中の仮想光線内において可視的なピクセルのみを解析する。この２番目のアプローチはスキャンラインアプローチよりも著しく効率的である場合がある。更に、ステップ１２０４において、この動作シーケンスは当業者にとって公知の如く、複数個の２Ｄビューによって観察されている３Ｄシーンの２Ｄビューにおけるピクセルに対する深さを決定する場合のエラーの確率を表わすマッチング曲線を与えることが可能な別のサーチ及びマッチ方法を使用することが可能である。
【００７４】
複数個のビューにわたっての例えばピクセル等の特徴のマッチングは、複数個のビューにわたって特徴をマッチングさせ且つ例えばピクセル等の各特徴に対するマッチング曲線記述を発生し、次いでサーチメモリ１１５２内に格納する公知の方法のいずれかにより取扱われる。注意すべきことであるが、マッチング曲線は多くの異なる態様で表現し、次いで、好適にはメモリ内に格納することが可能である。例えば、マッチング曲線はテーブル、データベース、パラメータを有する方程式、又は本明細書に鑑み当業者にとって自明なその他の手段によってメモリ内において表現することが可能である。
【００７５】
マッチング曲線の重要な特徴は、それが画像ビュー内の例えばピクセル等の特定の特徴に対してマッチングされるある深さの確率を画定するために解釈することが可能であるということである。この３Ｄ復元に対する深さ値の確率は、又、特定の深さ値を選択する場合のエラーの確率として表現することが可能である。次に、ステップ１２０６において、本システム１１０２は１つのビューにおける例えばピクセル等の各特徴に対するマッチング曲線の属性を記録する。次いで、ステップ１２０８において、システム１１０２は、好適な３Ｄ復元方法を使用して複数個のビューから３Ｄデータを復元すべく動作する。１つの好適なこのような方法を図１３を参照して説明する。次に、システム１１０２は、オプションとして、ステップ１２１０において平滑化３Ｄデータ方法を動作させてユーザに対して３Ｄデータの視覚的表現を著しく改善することが可能である。このオプションの平滑化３Ｄデータ処理は図１４を参照して説明する。最後に、本システムはステップ１２１２において動作シーケンスから抜け出る。
【００７６】
図１３を参照すると、３Ｄデータ１２０８を復元するための好適な動作シーケンスにステップ１３０２においてエンターし、次いで１３０４において、システム１１０２は複数個のビューに対するマッチング曲線特性を使用してステップ１３０６において複数個のビューにおけるオブジェクトのエッジを成長させる。ここで、システム１１０２は、殆どのビューにわたって局所的最小を有するコンフィデントシードを決定するために複数個のビューにわたって特性対（１つの局所的最大対１つの局所的最小）を位置決めすることによりコンフィデントシードを見つけ出す。システム１１０２は、好適には、複数個のビューにおける複数個の対応する画像特徴にわたってオーバーラップを有する各コンフィデントシードを決定することにより複数個のビューにわたってのコンフィデントシードを見つけ出す。これらのコンフィデントシードは、次いで、シードボクセルが隣りのピクセルへ（又はそれらの夫々の投影したビューへ）伝播させるために不確実性の隣りの体積内にあることが決定される限り、それらの隣りのピクセルへ伝播される。即ち、不確実性（即ちエラー領域）の主題のピクセルの体積は、シードボクセルをその隣りのものへ伝播させることが可能であるためにはシードボクセル局所的最小位置と一致せねばならない。オブジェクトのエッジェルは、図３を参照して前に説明したように、エッジにおける高いコントラストのために検知することが一層容易である。注意すべきことであるが、複数個のビューにわたっての局所的最小と相対的な非常に高いエラーの確率を有しているピクセルがオクルージョンが発生しているビューであると決定され、且つそれらの参照がメモリ１１５０内に格納される。このように、システム１１０２はオクルージョンが発生したビューを追従し且つこれらがシードボクセルをそれらの隣りへ伝播させるための計算から保護する。ステップ１３０６においてエッジが画定されると、システム１１０２はステップ１３０８において複数個のビューにおける均一な領域を成長させるべく進行する。複数個のビューに対するマッチング曲線の特性を、ここで再度使用して、複数個のビューにわたっての局所的最小の特性対をマッチングすることによってシードボクセルを見つけ出し、次いでシードボクセルを夫々の隣のピクセルへ伝播させるために不確実性の隣りのピクセル体積内に位置しているシードボクセル深さを有する隣りのピクセルへシードボクセルを成長させる。不確実性の体積もエラー領域として知られている。最後に、ステップ１３１０において、システム１１０２は３Ｄ復元動作シーケンスから抜け出る。
【００７７】
図１４を参照すると、オプションの３Ｄ平滑化動作シーケンス１２１０がステップ１４０２においてエンターされる。本発明の好適実施例に基づく動作シーケンス１２１０は、各ビューにおけるピクセルの全てが予め定めた平滑化スレッシュホールド範囲を満足するように処理されるまで、ステップ１４０４，１４０６，１４０８，１４１０において各及び全ての主題ピクセルの３Ｄ深さ情報に対する平均３Ｄ深さの再計算を介して反復的に進行する。前述したように、計算した平均深さが平滑化のために処理中の基準ビュー内の主題ピクセルの全てに対する予め定めた平滑化スレッシュホールド範囲内にある場合には、この動作シーケンスはステップ１４１２において抜け出す。
【００７８】
ステップ１４０４において基準ビューの各々及び全てのピクセルの３Ｄ深さ情報を介して進行する間に、コンピュータシステム１１０２は、通常、例えば図９に関して例示したような基準ビュー内の各々及び全ての主題ピクセルに関しての固定したウインドウ寸法を使用する。好適には、システム１１０２は各反復ステップにおいて基準ビューの各々及び全てのピクセルを同時的に処理する。ステップ１４０６において、システム１１０２は該ウインドウによってカバーされている全てのオクルージョンが発生していない隣りのピクセル（主題ピクセル以外）の平均深さを計算する。然しながら、この平均深さはそれらの深さがそれらの夫々のマッチング曲線の不確実性（又はエラー領域）の主題ピクセルの体積内に存在する隣りのものからのみ計算される。注意すべきことであるが、隣りのピクセルの３Ｄ深さ情報は表面連続性拘束条件が満足されることを確保するために基準ビュー内の主題ピクセルのエラー領域内とすべきである。更に、平均を計算した深さは、対応するビューにわたっての３Ｄ一貫性条件も満足されることを確保するために、主題ピクセル及びそのオクルージョンが発生していない対応するピクセル（対応するビュー内において）のエラー領域内に束縛されるべきである。
【００７９】
計算した平均深さが夫々の主題ピクセルの３Ｄ深さから予め定めた平滑化スレッシュホールド範囲の外にある場合には、主題ピクセルの夫々の計算した平均深さがステップ１４０８において主題ピクセルの３Ｄ深さ値に置換される。各ウインドウに対する夫々の計算した平均深さが基準ビュー内の主題ピクセルの全てに対する夫々の主題ピクセルの３Ｄ深さから予め定めた平滑化スレッシュホールド範囲内にある限り、平滑化中の特定の基準ビューにおける主題ピクセルの全てに対してこの処理はステップ１４１０において繰返す。このように、動作シーケンス１２１０はユーザに対して３Ｄ画像の視覚的様相を著しく改善する。この平滑化特徴は、３Ｄ画像を使用して観察中のシーンにおける均一な領域の比較的様相を向上させるために特に有用である。
【００８０】
図１４を参照して上述した動作シーケンスに対する別の平滑化処理は以下に説明するように、異なるアプローチを使用して主題ピクセルに対して平滑化ウインドウを適用することが可能である。最初に、ピクセルの各々は、既に、３Ｄ深さ情報と関連付けされており且つシーン内において観察中の表面のエッジ領域及び均一な領域と相対的に識別されるそれらの夫々の位置を有している蓋然性がある。特定の基準ビューに対しては、固定したウインドウを基準ビュー内のエッジ部分周りに位置しているピクセルに対して最初に適用される。エッジ部分、例えばエッジェルに関してのピクセルの３Ｄ深さ情報は、通常、それらの真の３Ｄ深さ情報の非常に近い推定を有する傾向がある。平均化計算は３Ｄ深さ情報の主題ピクセルの推定に非常に近い平均深さ値となる。次いで、該ウインドウを隣りのピクセルへ前進させ、その隣りのピクセルを隣りのオクルージョンが発生していないピクセルの平均深さの計算のための主題ピクセルとさせる。このウインドウはエッジェルから均一な領域周りに位置しているピクセルへ次第に前進される。隣りのピクセルの平均化計算が均一な領域内深くの新たな主題ピクセルに対して次第に適用されるに従い、即ち該ウインドウをエッジ部分から均一部分へ参照ビューの画像にわたって移動させることにより、移動ウインドウ内のこれらの新たな主題ピクセルはそれらの隣りのピクセルから計算した平均３Ｄ深さ情報が割当てられ、それは、エッジ部分に関する隣りのピクセルからの計算した平均３Ｄ深さ情報が割当てられている可能性がある。均一な領域内深くのピクセルと関連している３Ｄ深さ情報のこの更なる平均化は、３Ｄ深さ情報を、表面の端部部分周りのピクセルの平均３Ｄ深さ情報近くの均一な領域のピクセルへ割当てる傾向がある。この処理は例えば端部部分から次いで均一な部分を介して移動する基準ビュー内の全てのピクセルが該移動ウインドウと共に主題ピクセルであり且つそれらの３Ｄ深さ情報をそれらの夫々のオクルージョンが発生していない隣りのピクセルの全ての計算した平均から割当てられる機会を持った場合に終了する。この可動ウインドウアプローチは前述した実施例に対する変形実施例である。前述した如く、この好適なアプローチは基準ビュー内の各々且つ全ての主題ピクセルにわたって同時的にウインドウを適用し且つ平滑化スレッシュホールド範囲が全ての主題ピクセルに対して満足されるまで全ての主題ピクセルに対して平均化計算を繰返し行う。この好適な方法はコンピューティングシステムにとって非常に実現可能なものであり且つ不規則性を平滑化させ且つユーザにとって視覚的に優れた結果的に得られる３Ｄ情報を提供するために全ての主題ピクセルの効率的な処理を発生する。
【００８１】
要するに、本発明の好適実施例に基づくシステム及び方法は、１つのシーンの複数個のビューにわたっての対応するピクセルをサーチし且つマッチさせる。各シーンにおけるピクセルの各々に対して、マッチング曲線が関連付けられている。本方法は複数個のビューにわたって対応付けされているピクセルのマッチング曲線の特性を解析し、且つ本方法は、あるピクセルがオクルージョンが発生したビューである場合を決定する。オクルージョンが発生したビューは、高いマッチングエラーによって特性付けられ、且つ典型的に、複数個のビューにわたってその他の対応付けされたピクセルとカラー又はその他の特性においてマッチするものではない。これらのオクルージョンが発生したビューは、シーンにおけるオブジェクトの３Ｄ情報を復元する方法ステップにおいて回避される。
【００８２】
次いで、この好適な方法はコンフィデントシードを探し出す。好適には、第一ピクセルのマッチング曲線のエラー領域がそのシーンのその他のビューのうちの１つからの少なくとも２番目の対応するピクセルのエラー領域とオーバーラップする場合には、画像処理システムは、該複数個のマッチング曲線のオーバーラップするエラー領域において維持しているボクセルがコンフィデントシードであると決定する。更に、そのボクセルと関連するピクセルが、例えばシーン内のオブジェクトのエッジ周り等の高コントラスト領域に位置している場合には、このことはそのピクセルと関連する３Ｄ深さ情報がそのシーンにおける体積の表面を伝播する処理に依存することが可能なコンフィデントシードであることのコンフィデンス即ち信頼度を増加させる。勿論、このピクセルは、更に、オクルージョンが発生していないビューでなければならない。
【００８３】
次に、画像処理システムが、好適には、シーン内のオブジェクト周りのコンフィデントシードから開始してコンフィデントシードからの３Ｄ深さ情報を該コンフィデントシード周りの隣りのピクセルへ伝播させる。例えば、図９に示したように、画像処理システムは、中心ピクセル９０２ ３Ｄ深さ情報を決定するためにウインドウグリッド９００の中心９０２である主題ピクセルを選択する。コンフィデントシードが解析中の中心ピクセル９０２周りの８個の隣りのピクセルのうちの１つである場合には、本画像処理システムは、コンフィデントシードの深さ情報が解析中のウインドウの中心における主題ピクセル９０２のエラー領域（即ち、不確実性の体積）内にあるか否かを決定する。オーバーラップが存在しており且つ主題ピクセルのマッチング曲線のエラー領域が付加的に該シーンのその他の対応するビュー内の少なくとも１つのその他の対応するピクセルのエラー領域とオーバーラップしている場合には、本画像処理システムはコンフィデントシードの３Ｄ深さ情報を主題ピクセル９０２へ割当てる。このように、３Ｄ情報はコンフィデントシードから本解析の主題である中心ピクセルである隣りのピクセル９０２へ伝播される。
【００８４】
一方、主題ピクセル９０２が該シーンの複数個のビューにわたって少なくとも１つのその他の対応するピクセルとオーバーラップするエラー領域を有しているが、主題ピクセル９０２のエラー領域内におけるコンフィデントシードの３Ｄ深さ情報のオーバーラップが存在しない場合には、この好適な方法は、該シーンにおいて可視的な表面内に不連続が存在することを決定する。即ち、１つのシーン内のオブジェクト間のエッジに本処理が到達した蓋然性がある。このような場合には、隣りのコンフィデントシードから主題ピクセルのボクセルへの３Ｄ深さ情報の伝播は存在しない。主題ピクセルのボクセルが隣りのコンフィデントシードによって伝播される表面からの不連続である表面に対する３Ｄ深さ情報を識別する。次いで、この３Ｄ画像処理システムは、コンフィデントシードとしてこの主題ピクセル９０２を識別し、次いで、３Ｄ深さ情報を主題ピクセル９０２からその隣りのピクセルへ伝播させる。最後に、主題ピクセル９０２が複数個のビューにわたってのその対応するピクセルのエラー領域のうちのいずれかとオーバーラップするエラー領域を有しておらず、又エラー領域及び隣りのコンフィデントシードの３Ｄ深さ情報とのオーバーラップが存在しない場合には、３Ｄ深さ情報の割当てに関する限り、このピクセル９０２は暫時放置される。次いで、この画像処理システムは、図９に示したように、このウインドウ９００を移動させることにより別の隣りのピクセルへ進行し且つ別の隣りのピクセルを解析して３Ｄ深さ情報を伝播させる。
【００８５】
究極的に、表面伝播フロントが互いに出会う場合に、ピクセルが３Ｄ深さ情報を決定しないままでいる位置が存在する。これらのピクセルは、通常、それらの隣りのピクセルの大多数に割り当てられた３Ｄ深さ情報が通常割当てられる（これらの隣りのピクセルは、３Ｄ深さ情報が決定されていない主題ピクセル９０２の周りのウインドウグリッド９００内に示されている）。表面３Ｄ深さ情報伝播に対する表面連続性条件は、隣りのピクセルが定義された３Ｄ深さ情報を有している場合には、残りのピクセルの未知の３Ｄ深さ情報は隣りのピクセル９００の全てにわたっての共通の表面の連続性テストとマッチングするために同一の３Ｄ深さ情報が割当てられねばならないということを要求する。このように、画像処理システムは、好適にはエッジ近くに位置しているコンフィデントシードから開始してそれらの隣りのピクセルへ３Ｄ深さ情報を信頼性を持って伝播させることを可能とする。更に、３Ｄ深さ情報の伝播は、例えばエッジ等の高コントラスト領域からシーン内のオブジェクトの体積の表面の例えば均一な領域等の低コントラスト領域へ伝播するフロントを介して継続して行われる。最後に、これらの未だに３Ｄ深さ情報が割当てられていない残りのピクセルは３Ｄ深さ情報を有する取り囲む隣りのものを有しており、それらは、連続性テスト条件を満足させるために、３Ｄ深さ情報が残りのピクセルに割当てられねばならないことを決定することとなる。これは、１つのシーンの複数個の２Ｄビューから３Ｄ深さ情報を復元する信頼性があり且つロバストな方法である。
【００８６】
最後に、ピクセルに対して割当てられた３Ｄ深さ情報に関してスムージング即ち平滑化プロセスを実施することが可能である。このプロセスは、３Ｄシーンにおける低コントラスト、即ち均一な領域内に通常見られるピクセルの３Ｄ深さ情報の間の不規則性を平均化させるのに特に有用である。好適には、図９に示したようなウインドウを繰り返し処理で各々及び全てのピクセルに適用し、その場合に、前述した如く、全ての主題ピクセルに対して予め定めたスムージング（平滑化）スレッシュホールド範囲が満足されるまで、オクルージョンが発生していない隣りのピクセルの全ての平均３Ｄ深さ情報を計算し且つその計算した平均値を夫々の主題ピクセルに対して割当てる繰返し処理を行う。一方、平滑化処理は、例えばエッジ等の高コントラスト領域からシーン内において可視的な例えば均一な領域等の低コントラスト領域へ基準ビュー内におけるピクセルにわたって移動ウインドウを適用することが可能である。この方法はオクルージョンが発生していない隣りのピクセル９００の全ての３Ｄ深さ情報の平均によって主題ピクセル９０２に対する３Ｄ深さ情報を決定する。この付加的な平滑化処理は、例えばユーザによって観察するためのシーンの３Ｄ画像情報をより視覚的に優れたものとさせる。この付加的な特徴は従来技術においては見られない本発明の顕著な利点を提供している。
【００８７】
本発明はハードウエア、ソフトウエア、又はハードウエアとソフトウエアの組合わせで実現することが可能である。本発明の好適実施例に基づくシステムは、１つのコンピュータシステムにおいて中央化した態様で実現することが可能であり、又は異なる要素を幾つかの相互接続したコンピュータシステムにわたって分散させた分散型の態様で実現することも可能である。任意の種類のコンピュータシステム、又は本明細書に記載した方法を実施するのに適したその他の装置又は集積回路が適しており、そのことは本明細書に鑑み等業者にとって自明なことである。ハードウエアとソフトウエアとの典型的な組合わせは、ロードされ且つ実行された場合に、それが本明細書に記載した方法を実施するコンピュータシステムを制御するコンピュータプログラムを具備する汎用コンピュータシステムとすることが可能である。
【００８８】
本発明は、又、コンピュータプログラムプロダクトで実現することが可能であり、それは、本明細書に記載した方法の実現を可能とする全ての特徴を有しており、且つそれは、コンピュータシステムにロードされた場合に、これらの方法を実施することが可能である。この文脈においてのコンピュータプログラム手段又はコンピュータプログラムは、直接的に又は（ａ）別の言語、コード、又は表記法への変換及び（ｂ）異なる形態での再現の後のいずれか一方又は両方の後に、情報処理能力を具備するシステムをして特定の機能を実行させるべく意図されている１組の命令の任意の言語、コード又は表記法での任意の表現を意味している。
【００８９】
各コンピュータシステムは、１個又はそれ以上のコンピュータ及び、コンピュータがデータ、命令、メッセージ又はメッセージパケット、及びその他のコンピュータが読取可能な情報をコンピュータが読取可能な媒体から読取ることを可能とする少なくとも１個のコンピュータによって読取可能な媒体を有することが可能である。コンピュータが読取可能な媒体は、例えばＲＯＭ、フラッシュメモリ、ディスクドライブメモリ、ＣＤ−ＲＯＭ、その他の永久的な記憶装置等の非揮発性メモリを有することが可能である。一方、コンピュータによって読取可能な媒体は、例えば、ＲＡＭ、バッファ、キャッシュメモリ、ネットワーク回路等の揮発性記憶装置を有することが可能である。更に、コンピュータによって読取可能な媒体は、コンピュータがコンピュータによって読取可能な情報を読取ることを可能とする有線ネットワーク又は無線ネットワークを包含するネットワークリンク及び／又はネットワークインターフェース等の一時的な状態の媒体内にあるコンピュータによって読取可能な情報を包含することが可能である。
【００９０】
本発明に基づく画像処理システムは従来技術と比較して顕著な利点を提供している。本発明画像処理システムは従来システムと比較してシーンの複数個の２Ｄ画像（ビュー）から３Ｄ画像情報を復元するにおいてより一貫性があり、信頼性があり且つロバストなものである。更に、本発明に基づく好適な平滑化処理はシーン内のオブジェクトのボリューム（体積）に対して滑らかな３Ｄ表面を形成し、その結果ユーザに対して視覚的により優れた表示を与える。このことは従来技術と比較して顕著な利点である。
【００９１】
従って、本発明の好適実施例に基づく３Ｄ復元システム及び方法によって３Ｄデータの復元における顕著な信頼性及びロバスト性のために、３Ｄを使用するバーチャルウォークスルーシステムは極めて実現可能であり且つ望ましいものである。一般的に、回路支持基板及び例えばＩＣ、回路基板、プリント回路基板及び前述した如き本発明に基づく機能モジュールを包含するその他の同様の実施例によって提供されるような関連する回路は、本発明に基づく非常に一貫性があり且つ信頼性のある３Ｄ画像復元及び平滑化方法からコンピュータシステムが利点を享受することを可能とするためのモジュール型解決方法を提供することが可能である。三次元スキャナ及び三次元ビデオ画像キャプチャシステム等の電子装置が商用的に実現可能である。
【００９２】
更に、本発明は、複数個の２Ｄ画像に対応する信号を受取り且つ複数個の２Ｄ画像によって観察された３Ｄシーンを表わす３Ｄ復元情報に対応する信号を発生する電気回路において実現することが可能である。１例として、３Ｄ復元画像情報を表示するためのテレビモニタディスプレイと例えばアンテナ、ＲＦ受信機、ケーブルＴＶシステム、ＶＣＲシステム、及び衛星受信機システムのうちの少なくとも１つのような少なくとも１つの信号供給源との間に介在させてセットトップボックス内に電気回路を包含させることが可能である。このセットトップボックスは着脱自在であり且つディスプレイ及び信号供給源から離脱可能である。一方、電気回路はプリント回路基板を有することが可能である。このプリント回路基板は、テレビシステム、パソコンシステム及び／又はアクセサリカード又はその他の画像ディスプレイシステム用のスタンダードのコネクタを具備するエンターテイメントシステム内に据え付けることが可能である。別の例においては、この電気回路は応用特定集積回路、カスタム集積回路又は在庫用集積回路（マイクロプロセッサを包含する）からなる装置又はその組合わせとして１個又はそれ以上の集積回路内に設けることが可能である。更に、本発明は１個又はそれ以上の電気回路及びコンピュータによって読取可能な情報、命令又はソフトウエアの組合わせに組込むことが可能である。
【００９３】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】（Ａ）及び（Ｂ）は局所的最小と大域的最小を示した例示的マッチング曲線を示した各グラフ図。
【図２】１つの３Ｄシーンの３つの２Ｄビューを示しており且つシーンの基準ビュー内の１つのピクセルに対する例示的なマッチング曲線上の点の例示的な計算を示した概略図。
【図３】図２の例示的なマッチング曲線を示したグラフ図。
【図４】（Ａ）及び（Ｂ）は例示的な理想的なマッチング曲線を示した２つの各グラフ図、（Ｃ）は誤ったマッチを具備するマッチング曲線を示したグラフ図。
【図５】（Ａ）、（Ｂ）、（Ｃ）は深さボリューム（体積）不確実性を有する例示的なマッチング曲線を示した各グラフ図。
【図６】（Ａ）及び（Ｂ）は極限深さ体積不確実性を具備する例示的なマッチング曲線を示した各グラフ図。
【図７】典型的な低コントラスト領域に対する例示的なマッチング曲線を示したグラフ図。
【図８】典型的な高コントラスト領域に対する例示的なマッチング曲線を示したグラフ図。
【図９】本発明の好適実施例に基づいて画像ビュー内の隣りのピクセルをトラッキング即ち追従するための例示的なウインドウグリッドを示した概略図。
【図１０】本発明の好適実施例に基づく例示的画像処理システムを示した概略ブロック図。
【図１１】本発明の好適実施例に基づいて図１０の例示的な画像処理システムのより詳細な構成を示した機能的概略ブロック図。
【図１２】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【図１３】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【図１４】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【符号の説明】
１０００ ３Ｄ画像処理システム
１００２ デジタルカメラの組
１００４，１００６，１００８ カメラ
１０１０ 信号バス
１０１５，１０１７，１０１９ デジタルキャプチャインターフェース
１０２０ ハードウエア
１０２２ ソフトウエア
１０２８ ピクセルマッチングモジュール
１０３０ ３Ｄ画像復元モジュール
１０３２ ３Ｄ画像平滑化モジュール
【発明の属する技術分野】
本発明は、大略、画像処理システム及び方法の分野に関するものであって、更に詳細には、複数個の２Ｄ画像ビューから１つのシーンを表わす３Ｄ画像を復元する技術に関するものである。
【０００２】
【従来の技術】
１つのシーンの複数個の二次元（２Ｄ）画像ビューから三次元（３Ｄ）情報を復元する一部として、画像処理システムは、典型的に、最初に、該複数個の２Ｄ画像ビューにわたって対応するピクセルを見つけ出し且つマッチさせる。与えられた数の２Ｄ画像から３Ｄ情報を復元するために、基本的なステップは、１つのビューにおける各ピクセルに対して対応するピクセルを探索／マッチさせることである。これらの対応するピクセルは、典型的に、これらの２Ｄ画像ビューへのボクセル即ち体素の結果的に得られる投影である。
【０００３】
１つのビューにおける各ピクセルに対してこれらの対応するピクセルを探索する一般的な方法は、マッチング目的関数を最適化させ且つマッチさせることである。マッチングは対応するピクセルの類似度測定である。マッチングエラーが低ければ低い程、対応するピクセルは一層類似している。然しながら、マッチングアルゴリズムは、しばしば、多数の異なる組の対応するピクセルが可能性のあるマッチ（一致）であるとして判別する。
【０００４】
図１に示したように、これらの可能性のあるマッチは、マッチング曲線１０６上に示された場合に、局所的最小１０８によって表わされ、それらの局所的最小はゼロからＸ軸１０４に従って外側への曲線上のサーチ経路に沿って予め定めたスレッシュホールド値より下側のものである。このサーチ経路は、Ｘ軸に沿って測定されるピクセルのマッチング曲線に対する３Ｄ深さ値に変換される。Ｙ軸１０２はＹ軸に沿って測定されたピクセルのマッチング曲線に対するマッチングエラー値に変換される。マッチング曲線は、複数個のビューにわたって対応されるべき１つのビュー内の各ピクセル（特徴）と関連している。
【０００５】
１つのピクセルに対する明確な深さ値は、複数個の局所的最小１０８が存在する場合に決定することは困難である。最適化アルゴリズムの目標は、これらの局所的最小１０８をグローバル即ち大域的最小１１０へ還元させることであった。然しながら、大域的最小１１０は１つのピクセルに対する正しい深さを保証するものではない。このことは、そのシーンがテクスチャのない大きな領域を有する場合に特に言えることである。
【０００６】
現実的には、１つのビューのピクセル内には両方のタイプのマッチング曲線、即ち局所的最小のもの及び大域的最小のものが常に共存している。更に、マッチング曲線は大域的最小よりも局所的最小を発生することが多い。
【０００７】
本発明者による最近の研究が「３−Ｄビジュアルモデリング及びバーチャルビュー合成：全方向画像を使用した相助レンジスペースステレオアプローチ（３−Ｄ Ｖｉｓｕａｌ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ：Ａ Ｓｙｎｅｒｇｉｓｔｉｃ， Ｒａｎｇｅ−Ｓｐａｃｅ Ｓｔｅｒｅｏ Ａｐｐｒｏａｃｈ Ｕｓｉｎｇ Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅｓ）」、という題名で２０００年１１月における刊行物において発表された。この発表されたアプローチはロバストマッチング用のマッチング曲線の特性を利用することを説明している。その発表された方法は与えられたバーチャル即ち仮想的な視点から開始してバーチャルスペース即ち仮想空間に沿って３Ｄ空間において直接的にサーチを行い、マッチングを行い、且つレンダリングを行っていた。仮想的視点は、実際のカメラの投影中心と一致することのない視点である。サーチ間隔は、画像分解能及びカメラ配置に依存して非一様である。仮想光線上のインクリメンタルなボクセルがカメラへ後方投影され、最良の対応をサーチする。マッチング属性が保存される。連続性拘束条件でのマッチング曲線の特性に基づいて３Ｄ領域成長方法が適用される。この開示された方法は、以下に説明するように、本発明に対して認識されている多くの特徴及び利点を欠如している。
【０００８】
殆どのマッチングアルゴリズムに関する１つの重要な一般的なコメントは、それらがマッチングを行い次いで誤ったマッチを除去せんとすることである。その後に、最良のマッチとして最良の各ピクセルにおける最も低いエラーを選択するか又は大域的最小のまばらな数を採用して、例えばスプライン又はラグランジェ等のアルゴリズムで残りのピクセルを補間する。これらの手法は、多数のカメラが使用される場合であっても、大きなエラーを発生する場合がある。実世界においては、信頼性のある大域的最小を得ることは困難である。多数の局所的最小はサーチプロセスにおいて常に存在している。見掛け上の大域的最小は、特にシーンがむしろ均一なカラー（色）を有している場合に、だまされ易い場合がある。仮想光線に沿って大域的最小が存在する場合であっても、推定される範囲は、常に、その真の３Ｄ位置から遠く離れている場合がある。何故ならば、最も低いエラーは種々の均一な位置に該当する場合があるからである。この推定された範囲はその隣りのピクセルから著しく異なるものである場合がある。
【０００９】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、複数の２Ｄ画像ビューから３Ｄ画像表現を復元する画像処理システム用のロバストで且つ信頼性のある技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の好適実施例によれば、１つのシーンの複数個の２Ｄ画像から３Ｄ画像情報を復元する方法が提供され、その方法は、１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、オクルージョンによって隠されたビューである前記受取った複数個の画像特徴のうちの画像特徴を決定し、３Ｄ深さ情報と関連したコンフィデントシード（ｃｏｎｆｉｄｅｎｔ ｓｅｅｄ）である前記受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンによって隠されたビューであると決定された画像特徴を回避しながら該コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、上記各ステップを有している。
【００１１】
本発明の好適実施例によれば、画像処理システムが提供され、該システムは、メモリ、該メモリへ電気的に結合されている制御器／プロセッサ、該制御器／プロセッサへ及び該メモリへ電気的に結合されており１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、オクルージョンによって隠されたビューである該受取った複数個の画像特徴のうちの画像特徴を決定し、３Ｄ深さ情報と関連しているコンフィデントシードである該受取った複数個の画像特徴のうちの画像特徴を決定し、且つオクルージョンによって隠されたビューであると決定された画像特徴を回避して該コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる３Ｄ画像復元器を有している。
【００１２】
本発明の好適実施例は、集積回路及び回路支持基板のうちの少なくとも１つで実現することが可能である。更に、好適なシステム実現例は、シーンの複数個の２Ｄビューから復元した３Ｄ画像情報を使用してシーンのバーチャルウォークスルーを提供することが可能である。
【００１３】
【発明の実施の形態】
本発明の好適実施例によれば、画像処理システム及び方法が１つのシーンの複数個のビューのマッチング曲線のある特性を利用するものである。このような特性は１つのシーンの画像情報の３Ｄ復元用の従来のシステム及び方法によっては認識されていなかったものである。好適には、本発明による好適システム及び方法は複数個の２Ｄ画像ビューを介して観察されるシーン内のオブジェクトに対する一貫性のある３Ｄ深さ情報をより信頼性を持って決定する。
【００１４】
本発明に基づく好適な方法は、局所的最小及び大域的最小の両方のタイプのマッチング曲線が１つのビュー内に常に共存しているという認識に立脚するものである。より一般的なものは局所的最小を有するマッチング曲線である。好適な方法は、複数個のビューのマッチング曲線の特性を使用することにより且つ、以下に説明するように、マッチング曲線内に局所的最小のみが存在する場合であっても（大域的最小に対する必要性はない）、よりロバスト的に深さ情報を派生するものである。主要なロバスト性は複数個の２Ｄビューの間での一貫性のチェックから得られる。更に、局所的最小のマッチングプロセスにおいて高いエラーを発生する２Ｄビューが識別され且つオクルージョンが発生したビューとして記録される。これらのオクルージョンが発生したビューはマッチング曲線の特定の局所的最小においてのピクセルの深さを決定する最終的結果に提供を与えることから排除される。全ての局所的最小はこれらのオクルージョンが発生したビューを記録している。更に、以下に説明するように、他のビューにおける対応するピクセルのサーチプロセスは異なる視点から非常に異なる画像経路を介して移動し、マッチング曲線上の幾つかの局所的最小は、この異なる視点から見ることにより回避することが可能である。この好適な方法は、従来技術と異なり、真のマッチがマッチング曲線に沿っての最も低い最小にあることを仮定するものではない。
【００１５】
従来における殆どのマッチングアルゴリズムはマッチングを実施し次いで誤ったマッチを除去せんとするものである。その後に、最良のマッチとして各ピクセルにおける最も低いエラーを選択するか又は大域的最小のまばらな数を採用してピクセルの残部をスプライン又はラグランジェ等のアルゴリズムで補間する。これらの手法は、多数のカメラが使用される場合であってもかなりのエラーを発生する傾向がある。３Ｄ画像復元システムの実世界実現例は、マッチング曲線において信頼性のある大域的最小を得ることは困難であることが判明した。典型的に、マッチング曲線から深さ情報を決定するためにサーチプロセスにおいて複数個の局所的最小が常に存在する。見掛け上の大域的最小は、特にそのシーンがむしろ均一なカラー即ち色を有している場合には、だまされる場合がある。大域的最小が存在する場合であっても最も低いエラーは種々の均一な位置に該当する場合があるので、推定される範囲は常にシーンの３Ｄ深さ位置から遠く離れたものである場合がある。この推定された範囲はその隣りのピクセルから著しく異なる場合がある。
【００１６】
本発明の好適実施例によれば、好適な方法は、以下に説明するように、変化するサーチ経路及びオクルージョンモデリングの効果に基づいてシーンの複数個の２Ｄビューからシーンの３Ｄ情報を同時的に且つ一貫性を持って復元する。本発明の好適実施例によれば、好適な方法は、以下に更に詳細に説明する以下のステップを包含している。
【００１７】
（１）全てのビューにおける各ピクセルに対して同時的にサーチ及びマッチングを実施する。
【００１８】
（２）サーチ及びマッチングプロセス期間中に全てのビューにおける各ピクセルに対してマッチング曲線の属性を同時的に記録する。各ピクセルはカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線と関連している。
【００１９】
（３）複数個の２Ｄビューのマッチング曲線特性を使用して、それらの隣りのピクセル及びそれらのオクルージョンが発生していない対応するピクセルの結果に影響を与えるコンフィデントシードを探し出す。
【００２０】
（４）複数個のビューのマッチング曲線特性を使用して基準ビューにおいて及びオクルージョンが発生していない対応するビューにおいてエッジに沿って良好なマッチを伝播させる。全てのビュー自身は基準ビューであり、基準ビューのピクセルに対応されているビューを有するその他のビューは対応するビューである。
【００２１】
（５）複数個のビューのマッチング曲線特性を使用して、エッジ部分からの良好なマッチを基準ビューの均一な領域内及びそのオクルージョンが発生していない対応するビュー内へ伝播させる。
【００２２】
より詳細に説明すると、方法ステップ１及び２はサーチ及びマッチングから情報を得る。このサーチ及びマッチは全てのビューにおける全てのピクセルに対して同時的に実施される。全てのビューにおける全てのピクセルは例えばカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線を有している。各マッチング曲線は複数個のエラー領域の確立を有している。局所的最小はエラー領域のエンベロープ内に拘束されている。エンベロープは、マッチングエラーが最初に設定されたスレッシュホールドより低い場合に開始し、且つマッチングエラーがそのスレッシュホールドより高い場合に終了する。マッチング曲線の属性は、以下に更に詳細に説明するように、局所的最小の記述である。マッチング曲線の属性は爾後のステップ３−５において後に使用するために記録される。
【００２３】
主題ピクセルのサーチ経路に沿って対応されるべきボクセルが与えられると、その対応するアウトライヤー（即ち、外れ値）ピクセル（即ち、これらの対応されたピクセルは主題ピクセル及び／又はそれらの隣りのピクセルのカラー及び／又はその他の特性にマッチするものではない）が記録され且つオクルージョンが発生したものと考えられる。これらのオクルージョンが発生したピクセルは主題ピクセルのその特定のエラー領域に対して方法ステップ３乃至５から結果に影響を与えることから排除される。アウトライヤー即ち外れ値はマッチング処理において高いエラーを発生する対応するピクセルである。アウトライヤーは、それらのすぐ隣りのピクセルとは著しく異なるカラー、輝度、色合い又はその他の特徴を有するもの等の属性から決定することが可能である。これらのアウトライヤーはオクルージョンが発生したビューであると識別され、次いでそのようなものとして記録されて、これらのオクルージョンが発生したビューがそれらの隣りのピクセルの深さ情報の決定に影響を与えることを回避する。好適には、メモリの使用を減少させるために、画像処理システムはこのオクルージョンが発生したビューの情報をエラー領域の局所的最小においてのみ格納する。全てのエラー領域内の局所的最小は、好適には、このオクルージョン情報を記録させる。
【００２４】
ステップ３−５において、シードを探し出し且つ成長させるプロセスが決定されるべき深さにおいてオクルージョンが発生していない対応するビューの全ての間においての一貫性に対してクロスチェックされる。１つのビュー内のエラー領域内において決定される深さは、その他のオクルージョンが発生していない対応するビューのエラー領域内側になければならない。更に、主題ピクセルマッチング曲線の特性及びその他のオクルージョンが発生していない対応するビューにおける対応するピクセルマッチング曲線の特性は意図した特性対とマッチせねばならない。この意図した特性対は特定され且つ成長段階のシーケンスにおいて異なる。基準が合致する場合には、オクルージョンが発生していない対応するビューは決定した深さにおいて一貫性がある。従って、その深さは一貫性がありオクルージョンが発生していない対応するビューの全てにおいて同時的に成長され／明らかにされる。
【００２５】
ステップ３はコンフィデントシードを見つけ出す処理を有している。エラー領域の（エッジェル（ｅｄｇｅｌ）の）局所的最小において決定されるべきボクセルは、その投影したピクセルもそのシーンの対応されたビューのエッジ上にある場合にのみ初期的なシード（ｓｅｅｄ）となることが可能である。これらの基準エッジェル（ｅｄｇｅｌ）及びそれらのオクルージョンが発生していない対応するエッジェルは、通常、カラーマッチング曲線に対して及びカラー・エッジマッチング曲線に対して単一のエラー領域を有するべきである。カラーマッチの局所的最小はカラー・エッジマッチと同一のボクセル位置に存在している。このコンフィデントシードボクセル位置は主題ピクセル及びそのその他のオクルージョンが発生していない対応ピクセルの全ての局所的最小において共通である。
【００２６】
ステップ４及び５において、好適な方法はコンフィデントシードボクセルを各規準ビュー内のそれらのより確かでない隣りのピクセルへ伝播させる。このプロセスは反復的であり且つ種々の段階を有している。新たに成長されたピクセル／ボクセルは爾後の反復及び段階におけるコンフィデントシードとなる。この成長プロセスは、その段階における成長基準を更に満足することが可能な入力ビュー内にピクセルが存在しない場合に停止する。ステップ４とステップ５との間の主要な差異は、ステップ４においては、主題ピクセルとそのオクルージョンが発生していない対応ピクセルが夫々のビューにおける表面のエッジ領域上に位置されていることである。ステップ５において、主題ピクセル及びそのオクルージョンが発生していない対応ピクセルは夫々のビュー内の表面の均一な領域上に位置されている。
【００２７】
本発明の好適実施例によれば、そのシーン内の共通表面内に位置している全てのピクセルに対して表面連続性拘束条件を満足することを確保するために、コンフィデントシードピクセル／ボクセルがその８個の隣りのピクセル内に伝播することが可能であるのは、そのシードボクセルがそれらの夫々のマッチング曲線の８個の隣りのピクセルのエラー領域のうちの１つの体積内に包含されている場合のみであり、且つそのシードボクセルは、好適には、その夫々のエラー領域の局所的最小から離れて１ステップサーチ長内にある。１ステップサーチ長離れているという用語は１ボクセル長離れていることを意味し、その場合に、典型的にカメラの形態及び画像分解能に基づいてボクセルは寸法及び形状を変化させることが可能であることは明らかである。更に、理解すべきことであるが、ボクセルは８個の隣りのピクセルを超えて伝播することが可能である。然しながら、好適な方法は、２つの条件、即ちシードボクセルがその８個の隣りのピクセルのエラー領域のうちの１つの体積内に包含されていること及びそのシードボクセルが、好適には、局所的最小から離れて１ステップサーチ長内にあること、を満足することを必要とすることによりボクセルの８個の隣りのピクセルへの伝播の条件付けを行う。基準ピクセルの局所的最小において決定されるべきボクセル、即ち基準ビュー内の主題ピクセルは、オクルージョンが発生していない対応するピクセルの全ての間での一貫性に対してクロスチェックされる。決定されるべくボクセルもオクルージョンが発生していない対応するピクセルのエラー領域内に包含される場合には、そのボクセル位置は主題ピクセル及びその夫々のエラー領域内にボクセルを包含しているオクルージョンが発生していない対応ピクセルの両方に割当てられる。このことは、意図したマッチング曲線特性対が満足されることを仮定する。即ち、主題ピクセルマッチング曲線の特性及びそのオクルージョンが発生していない対応するピクセルのマッチング曲線の特性は、夫々、以下の如くに、意図した特性対とマッチするものでなければならない。好適には、意図した特性対は、以下のシーケンスの成長段階を使用して特定される。これらの段階は以下の順番を経るものであり、即ち、（１）単一エラー領域を有する主題ピクセル対単一エラー領域を有するそのオクルージョンが発生していない対応するピクセル、（２）単一エラー領域を有する主題ピクセル対複数個のエラー領域を有するそのオクルージョンが発生していない対応ピクセル、（３）単一又は複数個のエラー領域を有する主題ピクセル対単一のエラー領域を有するそのオクルージョンが発生していない対応ピクセル、（４）単一又は複数個のエラー領域を有する主題ピクセル対単一又は複数個のエラー領域を有するそのオクルージョンが発生していない対応するピクセル、である。注意すべきことであるが、伝搬は、好適には、上述した段階のシーケンスに従う。これらの段階は、より信頼性のあるものからより信頼性のないマッチング曲線特性へシーケンスする。更に注意すべきことであるが、伝搬は、好適には、最初にエッジ部分（例えば、エッジェルにおいて）に関して行われ、次いで伝播は均一な領域について継続して行われる。このことも、より信頼性のある主題ピクセルからより信頼性のない主題ピクセルへ伝播をピクセルに対して適用する。これらの段階に従って、最初に、シードからの伝播は単一エラー領域を有する主題ピクセル及び単一エラー領域を有するオクルージョンが発生していない対応ピクセルを使用して行われる。このマッチング曲線特性条件を満足する全ての主題ピクセルに対してこの第一段階に対しての伝播が完了した後に、該伝播はそれらのマッチング曲線に対して第二段階特性を満足するピクセルに対して行われる。このシーケンスは第三段階に対して、次いで第四段階に対して繰返され、それにより、最初に、最も信頼性のあるマッチング曲線特性を有する主題ピクセルへ伝播することによりシードピクセルから隣りのピクセルへ伝播し且つ該段階に従って最後に最も信頼性の低いマッチング曲線特性を有する残りの主題ピクセルへ伝播する。
【００２８】
体積成長プロセスの基本的な案内原理は、高い確実性の領域からより低い確実性の領域へ進行することである。エッジェルは均一な領域よりもより確実性が高く、単一の局所的最小も複数個の局所的最小よりも確実性が高い。単一の局所的最小を有する１個のエッジェルは、従って、複数個の局所的最小を有する１個のエッジェルよりも確実性が高い。従って、この好適な方法は、これら４つの段階を最初にエッジェルに対して適用し、次いで、これら４つの段階をエッジ部分周りのピクセルに対して、次いで、均一な領域内のピクセルに対して適用を継続する。
【００２９】
主題ピクセルを取囲む１個を超えるシードボクセルが存在する場合には、他の適格なエラー領域よりもカメラビューポイント（視点）へより近い最初の適格なエラー領域が割当てられた深さを決定する。このことは、通常、ビューイングフラストラム（ｖｉｅｗｉｎｇ ｆｒｕｓｔｒｕｍ）即ち観察用錐形上の後方ボクセルを前方ボクセルがオクルージョンを発生することを確保する。本発明に基づく好適な方法は、全てのピクセルが一意性拘束条件（即ち、ピクセル当たり単一の真のマッチ／ボクセルのみが存在すること）を満足することを仮定するものではない。各ピクセルがこの一意性拘束条件を満足することを仮定することのないこの好適な方法の別の利点は、この方法がオブジェクトトランスペアレンシィ（ｔｒａｎｓｐａｒｅｎｃｙ）即ち透明度効果をより良く取扱うことが可能であるということである。コンフィデントシードボクセルがエラー領域の局所的最小から高々１ステップサーチ長離れていなければならないという条件でステップ４における４つを段階を介して反復した後に、この好適な方法は緩和した条件でこれら４つの段階を繰返す。エラー領域の局所的最小がコンフィデントシードボクセルから１ステップサーチ長より更に離れている場合には、この緩和した条件は、その局所的最小におけるボクセルを使用する代わりに、決定されるべきボクセルをシードボクセルの１ステップサーチ長内の位置へ移行させる。この補正機構も、表面を成長させながら連続性拘束条件が満足されることを確保する。コンフィデントシードボクセルが夫々のマッチング曲線のその８個の隣りのピクセルのエラー領域のいずれの中にも束縛されていない場合に深さ不連続性が検知される。
【００３０】
オクルージョンが発生していない対応するビューの間での一貫性チェックにより、このマッチングは単一のビューのマッチング情報のみを使用するよりもよりローバスト即ち堅牢性となる。その決定された深さは、表面連続性拘束条件を満足するばかりでなく、オクルージョンが発生していない対応するビューの間での一貫性を満足せねばならない。他のビューにおける主題ピクセルのサーチプロセスは、非常に異なる画像経路を介して移動し、マッチング曲線上の幾つかの局所的最小は異なるビューポイント即ち視点を使用することによって回避することが可能である。オクルージョンが発生していない対応するビューの殆どが決定された深さと合致する場合には、その回答はより統計的に正しいものである。オクルージョンが発生していない対応するビューの間での一貫性は、又、殆どのその他のマッチングアルゴリズムにおいて困難性とエラーとを発生する画像均一性の問題を解消する。
【００３１】
好適なことであるが、オクルージョンが発生したビューを除外しながらオクルージョンが発生していない対応するビューの間での一貫性チェックにより、マッチングプロセスは非常にロバスト即ち堅牢なものとなる。これはいずれの公知の従来システムにおいても見られない本発明の顕著な利点である。非常に重要なことであるが、決定された深さは、ピクセルから隣りのピクセルへの連続性拘束条件を満足せねばならないだけでなく、同一の主題ピクセルに対してオクルージョンが発生していない対応するビューの間での一貫性条件を満足せねばならない。
【００３２】
他のオクルージョンが発生していないビューにおける対応するピクセルのサーチプロセスは、異なるビューポイント即ち視点から非常に異なる画像経路を介して移動する。従って、マッチング曲線上の幾つかの局所的最小は、この異なるビューポイント（視点）から見ることにより回避することが可能である。オクルージョンが発生していない対応するビューの殆ど（又は、少なくとも複数個のオクルージョンが発生していない対応するビュー）が決定した深さと合致する場合には、その回答はより統計的に正しい。オクルージョンが発生していない対応するビューの間での一貫性は、殆どのその他のマッチングアルゴリズムにおいて困難性とエラーとを発生する画像均一性の問題を解消する。
【００３３】
マッチング曲線は３Ｄシーンの２Ｄの各ビューピクセルに対して形成される。このマッチング曲線は２Ｄビューのピクセルを介して観察される３Ｄシーンにおけるオブジェクトの表面に対する３Ｄ深さ値の間の相関関係を記述する。該ピクセルはピクセルフラスタム（ｐｉｘｅｌ ｆｒｕｓｔｕｍ）、即ちピクセル錐台を介して、３Ｄシーンにおいてビューポイント、又はオブジェクトの表面へ投影される。
【００３４】
マッチング曲線は当業者に明らかなように、多くの異なる態様で形成することが可能であるが、本件においては、本発明の好適実施例によって使用することが可能なマッチング曲線を形成する例示的な方法について説明する。図２を参照すると、例示的な三次元のシーン（場面）を例えば第一ビュー２４０、第二ビュー２５０、第三ビュー２６０によって例示した如く複数個の二次元ビューから観察する。この例においては、３つの２Ｄビューが３Ｄシーンを観察している３つのカメラに対応している。これら３つのカメラの精密な位置はワールド座標系２３０において既知であり、ワールド座標系２３０は、３つのカメラの各々に対して及び３Ｄシーンにおいて可視的なオブジェクトの表面に対して三次元位置情報を画定する。
【００３５】
これら３つの２Ｄビューの各々は各２Ｄビューに対する２Ｄ画像を構成する複数個のピクセルを有している。各ピクセルは観察されている画像の属性と関連している。例えば、第一ビュー２４０内に示したＰ１ ２４２等のピクセルは、例えばＲ，Ｇ，Ｂに対する値等のピクセルのあるカラー情報と関連している場合があり、又、輝度（ルミネセンス）等の情報を包含している場合があり、且つ、モノクロ画像の場合には、グレイスケールを包含している場合がある。この例においては、説明の便宜上、各ビューにおける各ピクセルと関連しているカラー情報のみについて検討し、そのカラー情報はＲ，Ｇ，Ｂに対する３つの値によって定義されるものとする。然しながら、各ピクセルに対するカラー情報を表わすその他の態様を、当業者にとって自明な代替的な実施形態において使用することも可能である。ピクセルＰ１ ２４２はそれと関連しているカラー値Ｃ１を有しており、それはＲ１，Ｇ１，Ｂ１に対する３つの値の関数である。このピクセルＰ１２４２と関連しているカラー値Ｃ１は、第一ビュー２４０から観察される三次元シーンを表わすためにピクセルＰ１において表わされるカラー情報を表わしている。
【００３６】
ピクセルＰ１ ２４２に対するマッチング曲線３５０（図３参照）を形成する例示的な方法について以下に説明する。ピクセルＰ１ ２４２はそれと関連している上述した如きカラー値Ｃ１を有している。カラー値Ｃ１は、第一ビュー２４０内の異なる深さに対して観察される場合にピクセルＰ１に対して同一に止まる。この第一ビュー２４０は基準ビューとして指定され、それは、同一のシーンのその他の２Ｄビューに対してピクセルＰ１ ２４２を対応させるために使用される。第一深さ２４４においてピクセルＰ１ ２４２（第一ビュー２４０において）は第二ビュー２５０におけるピクセルＰ２１ ２５４に対して対応付けされる。同様に、第一深さ２４４において、第一ビュー２４０内のピクセルＰ１ ２４２は第三ビュー２６０におけるピクセルＰ３１ ２６４に対して対応付けされる。この第一ビュー２４４と第二ビュー２５０と第三ビュー２６０の間の対応付けは、当業者にとって明らかなように、複数個のビューにわたってピクセルのマッチング及び対応付けを行う別の方法によって達成することも可能である。例えば、第一ビュー２４０におけるピクセルＰ１ ２４２は、第二ビュー２６０におけるピクセルＰ２１ ２５４と対応付けさせ且つ第三ビュー２５０におけるピクセルＰ３１ ２６４と対応付けさせるために第一深さ２４４における推定ボクセル位置から後方投影させることが可能である。
【００３７】
注意すべきことであるが、第二ビュー２５０におけるピクセルＰ２１ ２５４はそれと関連するカラー情報を有しており、それはＲ２１，Ｇ２１，Ｂ２１に対する値の関数であり、それはピクセルＰ２１ ２５４に対するカラー値Ｃ２１となる。同様に、第三ビュー２６０におけるピクセルＰ３１ ２６４はカラー値Ｃ３１を有している。同様の態様で、第二深さＤ２ ２４６において、第一ビュー２４０のピクセルＰ１ ２４２に対するボクセルは、第二ビュー２５０におけるピクセルＰ２２ ２５６に対して対応付けさせることが可能であり且つ第三ビュー２６０におけるピクセルＰ３２ ２６６に対して対応付けさせることが可能である。ピクセルＰ２２ ２５６のカラーは、カラー値Ｃ２２によって画定され、第三ビュー２６０のピクセルＰ３２ ２６６のカラーはカラー値Ｃ３２によって画定される。
【００３８】
例えば、ピクセルＰ１ ２４２に対するボクセルに対しての提案された深さの各々においてマッチングエラーを計算する平方差の和の方法を使用することにより、第一ビュー２４０のピクセルＰ１ ２４２に対してマッチング曲線３５０（図３参照）を定義することが可能である。ボクセルは対応するピクセルＰ１ ２４２と関連する深さ情報を識別する。平方差の和の方法は、基準ビューピクセルＰ１ ２４２及び例えば第二ビュー２５０及び第三ビュー２６０等のその他のビューにおけるその対応するピクセルのカラー値の平方差の和の平方根をとることにより例えば第一深さＤ１ ２４４及び第二深さＤ２ ２４６における等のボクセルに対する異なる提案された深さに対して計算される。第一深さＤ１ ２４４及び第二深さＤ２ ２４６におけるマッチングエラーを計算するための図２に示した方程式を参照すると良い。マッチングエラー（Ｙ軸）３４０がマッチング曲線３５０に対して深さ（Ｘ軸）３３０に対してプロットした図３に示してある。
【００３９】
第一深さＤ１ ２４４において、第一点３３４がマッチング曲線３５０上で計算される。第二深さＤ２ ２４６において、第二点３３６がマッチング曲線３５０上で計算される。思い起されるように、図３において深さ情報がＸ軸３３０に沿って直線的に示されているが、マッチング曲線３５０に対するマッチングエラーに対して計算される見こみのあるボクセルの各々は、実際には、ワールド座標系２３０に対して正規化されている。このワールド座標系２３０は２Ｄビュー２４０，２５０，２６０の全てにわたって使用される「ユニバーサル」ワールド座標系２３０における深さ情報を画定する。従って、例えば、第一ビューの１つのピクセルに対して特定されたマッチング曲線における局所的最小は、第二ビューの１つのピクセルに対して特定されたマッチング曲線における局的最小と直接的に比較することが可能である。これらの局所的最小が、異なるビューにわたってみた場合に概略的にオーバーラップする場合には、真のボクセルの検知及び対応付けしたピクセルに対する深さ情報の一貫性のある決定の高い確率が存在している。
【００４０】
更に、図３に示したように、マッチング曲線３５０の解析を簡単化させるためにスレッシュホールド３３２を合理的に設定することが可能である。スレッシュホールド３３２より高い、即ち高いマッチングエラーを有しているマッチング曲線上の点は、真のボクセルであることの蓋然性がないものと考えることが可能である。スレッシュホールド３３２より低いマッチング曲線３５０上の点は、特定のピクセルＰ１ ２４２に対する真のボクセルを識別するための候補者として考えることが可能である。この例においては、マッチング曲線３５０上の第一点３３４（第一深さＤ１ ２４４）におけるマッチングエラーは、スレッシュホールド３３２より上方に示されており、一方マッチング曲線３５０上の第二点３３６（第二深さＤ２ ２４６）におけるマッチングエラーはスレッシュホールド３３２より下側に示されている。この例におけるマッチング曲線３５０は、第二点３３０に関する局所的最小を例示しており、その場合に第二深さＤ２ ２４６は異なるビューにわたって対応付けされている。この第二点３３６に関する局所的最小は、ピクセルＰ１ ２４２に対して、観察中のシーン内に位置されているオブジェクトに対する真のボクセル位置がワールド座標系２３０における第二深さ位置Ｄ２ ２４６に対して示された深さと近似する深さにおいてそのシーン内において見つけ出すことが可能であることを示す傾向にある。
【００４１】
このように、第一ビュー２４０（即ち、基準ビューとして）におけるピクセルの全てに対して上述した処理を繰返すことにより、第一ビュー２４０のピクセルに対して一群のマッチング曲線を形成することが可能である。この処理は、次いで、第二ビュー２５０に対して繰返すことが可能であり、即ち、第二ビュー２５０を基準ビューとして設定し、第二ビュー２５０のピクセルに対して一群のマッチング曲線を形成することが可能である。更に、このプロセスは、第三ビュー２６０に対して繰返すことが可能であり、その場合に第三ビュー２６０を基準ビューとして設定して、第三ビュー２６０のピクセルに対して一群のマッチング曲線を形成することが可能である。理解されるように、一群のマッチング曲線が、３Ｄシーンを観察する２Ｄビュー２４０，２５０，２６０の各々に対する夫々のピクセルに対して定義される。種々のビュー２４０，２５０，２６０のピクセルに対してマッチング曲線が使用可能となると、本発明に基づく好適な方法が種々の２Ｄビューのピクセルに対してのマッチング曲線の属性及び特性を解析し、以下に詳細に説明するように、種々の２Ｄビューによって観察される３Ｄシーンのオブジェクトに対する３Ｄ情報を復元する（即ち、体積を成長させる）。
【００４２】
図４Ａ及び４Ｂは理想的なマッチング曲線を示しており、且つ図４Ｃは誤ったマッチを有するマッチング曲線を示している。図４Ａ，４Ｂ，４Ｃにおけるマッチング曲線は、特定のピクセルにおける深さ情報を決定するために異なる条件の下で示されている。図４Ａにおいては、真のボクセル２０２の位置が示されており、その場合にマッチングエラーがゼロに等しい真のボクセル２０２の位置における場合を除いてマッチングエラーは高い。これは特定のピクセルにおける精密な深さ情報を表わす理想的な条件である。図４Ｂにおいては、複数個の真のボクセル候補者２１２，２１３，２１５，２１７が特定のピクセルに対する複数個の深さに対して示されている。注意すべきことであるが、最初の真のボクセル２１３はマッチング曲線上の最初の最小位置に位置されており、左から右へマッチング曲線をトラバースする。好適なサーチ方法は、ゼロの深さ（最も左側の点）からサーチを開始し、次いで、深さを増加させることにより（Ｘ軸に沿って）且つ最初の真のボクセル候補者２１３に到達することによりサーチを行う。
【００４３】
図４Ｂから理解されるように、第二深さ２１２、第三深さ２１５、第四深さ２１７におけるようなその他の潜在的な候補の真のボクセルが存在している。好適なサーチ方法によれば、真のボクセル候補２１２，２１３，２１５，２１７のシーケンスの各候補が、以下に説明するように、マッチング曲線と関連する特定のピクセルに対して正しい真のボクセルの決定がなされるまで、順番に解析が行われる。
【００４４】
図４Ｃにおいて、付加的な候補真ボクセル２２２，２２５以外の候補ボクセルに対して誤ったマッチ２２４，２２６が示されている。この例においては、真のボクセル候補２２２，２２５以外に、他のビューのピクセルとの不正確な対応付けに起因して誤ったマッチ２２４，２２６が存在している。然しながら、従来の実現例は、単一のマッチング曲線を解析し、それにより候補ボクセルに対して誤ったマッチ２２４深さを検知し且つその結果例えば第一の真のボクセル２２２等の真のボクセル深さを検知することに失敗する蓋然性がある。このことはシーンに対しての３Ｄ情報の復元において顕著な甚だしいエラーとなる場合がある。一方、誤ったマッチ２２４，２６６が存在する場合であっても、本発明に基づく好適な方法は、複数個のビューの対応するピクセルに対して複数個のマッチング曲線を効果的に解析する。複数個のマッチング曲線（異なるビューの対応付けしたピクセルから）が特定の深さ近傍におけるエラー領域とオーバーラップする場合には、これは真のボクセルに対する統計的に蓋然性のある位置を表わす。このアプローチは、通常、誤ったマッチを回避し、更に、複数個の２Ｄビューから３Ｄ情報を復元するための真のボクセルの深さ位置をより信頼性を持って且つロバスト的に決定する。このことは本発明の顕著な利点である。
【００４５】
上述したように理想的なマッチング曲線は真のボクセルに対する候補を容易に提供するように見えるが、実世界の実現例はかなりの量の不確実性を包含しており、真のボクセル候補の深さを決定することをより困難なものとしている。この体積の不確実性は真のボクセルに対する深さを一貫性を持って検知する方法を複雑なものとする。例えば、図５Ａ，５Ｂ，５Ｃを参照すると、付加的な体積不確実性と共に３つのマッチング曲線が示されている。図４Ａ，４Ｂ，４Ｃに関して説明したマッチング曲線の場合と異なり、より現実的なマッチング曲線の表示が図５Ａ，５Ｂ，５Ｃに示されており、その場合に、例えば不確実性３０２，４０２，４０３，４０５，４０７，５０２，５０４，５０５，５０６等の体積不確実性はボクセルに対する蓋然性のある深さ情報を決定するためのマッチング曲線の計算を行う場合に通常包含されている。比較のために、図５Ａ，５Ｂ，５Ｃにおける点線を参照すると、それらは図４Ａ，４Ｂ，４Ｃに前に示した曲線を表わしている。本発明に基づく好適な方法は、局所的最小又は大域的最小によって示される候補ボクセルの深さ情報に対するエラー領域を識別することを助けるためにスレッシュホールド３０１，４０１，５０１を使用する。局所的最小又は大域的最小のうちの１つのエラー領域内に真のボクセルが見つかる蓋然性がある。特定のピクセルと関連する単一のマッチング曲線を解析することにより、可能であるとしても、観察中のシーンにおけるオブジェクトの体積の外側表面と関連する３Ｄ深さ情報を有する真のボクセルを識別することは非常に困難である。然しながら、複数個の２Ｄビューにわたって対応付けしたピクセルに対する複数個のマッチング曲線を解析することにより、マッチング曲線の局所的最小又は大域的最小の間のオーバーラップ領域はシーン内のオブジェクトに対する蓋然性のある真のボクセルを識別する。この深さ情報は、複数個のマッチング曲線のオーバーラップ領域によって示される。その結果、３Ｄシーンの複数個の２Ｄビューから３Ｄ情報を抽出する信頼性があり且つロバストな方法となる。
【００４６】
然しながら、ある場合においては、あるマッチング曲線が局所的最小又は大域的最小を信頼性を持って示すものでない場合がある。従来行われているように、２Ｄビューのピクセルに対する単一のマッチング曲線の解析は、ボクセル位置を決定するための深さ情報を推定する上で大きな甚だしいエラーを発生する。例えば，図６Ａ及び６Ｂに示したように、マッチングエラー領域６０２，６０４は非常に多数の潜在的なボクセル位置へ延在する場合があり、それによりピクセルに対する候補ボクセルと関連する真の深さ情報に関しての不確実性が高くなる。特に、注意すべきことであるが、図６Ｂにおいて、あるマッチング曲線特性は深さ情報を推定することを可能とする局所的最小又は大域的最小を発生しない場合がある。このことは深さ情報を決定するために単一のマッチング曲線を使用し、それによりシーンに対する３Ｄ情報を復元する上で大きな甚だしいエラーを発生する場合がある従来技術の顕著な欠点である。本発明の好適実施例は、以下に更に詳細に説明するように、複数個のビューにわたっての局所的最小又は大域的最小のオーバーラップ領域を解析することにより複数個の２Ｄビューから３Ｄ情報を抽出する信頼性及びロバスト性を著しく改善している。特定の２Ｄビューのマッチング曲線が、例えば図６Ａ及び６Ｂに示したマッチング曲線領域６０２，６０４において示したような過剰な体積不確実性を有している場合には、本発明に基づく好適な方法は必ずしも破綻を来すものではない。何故ならば、それは局所的最小又は大域的最小のオーバーラップ領域を決定するために複数個のビューに対する複数個のマッチング曲線を使用するからである。更に、例えばマッチング曲線領域６０２，６０４に示したような非常に体積不確実性を有するマッチング曲線を識別し且つオクルージョンが発生したビューとしたマーク付けする可能性がある。オクルージョンが発生したビューはボクセル候補に対する深さ情報の決定において回避される。更に、以下に更に詳細に説明するように、蓋然性のあるボクセルを直接的に発生するものではないピクセルは、真のボクセル（それから深さ情報を伝播させるコンフィデントシード）であるとより信頼性を持って決定された隣りのボクセルから同様の深さ情報を伝播させることにより深さ情報に対して計算される。このことは、従来技術においては見られない本発明の主要な利点である。
【００４７】
図７及び８を参照して、複数個の２Ｄビューによって観察されるシーンから３Ｄ情報を信頼性を持って復元するのに重要なマッチング曲線のある属性について検討する。シーンにおけるカラーの均一性は局所的／大域的最小領域に対するより広いエンベロープを有するマッチング曲線を発生する。例えば、図７に示したマッチング曲線７０４を参照すると良い。エンベロープは、最初にマッチングエラーが予め定めたスレッシュホールド７０２より低くなる時と最初にマッチングエラーが予め定めたスレッシュホールド７０２より高くなる時との間の距離である。局所的／大域的最小のエンベロープが図７に示したように幅広であると、決定された深さはそのエンベロープ内の多数の異なる３Ｄ深さ位置に該当する場合がある。このことは、例え３Ｄ深さ位置が多数のエラー領域から１つのエラー領域（幅広のエンベロープを有する）内にあるものと正しく識別される場合であっても、復元された３Ｄ構成内において不規則性を発生する。換言すると、３Ｄ復元プロセスはボクセルに対する深さ値を決定する場合に構造的ノイズを発生する。このピクセルに対して復元した３Ｄ情報に対するエラー深さ情報は、隣りのピクセルに対して適合され（伝播され）一般にパッチを形成する。然しながら、このパッチは、１つのシーンにおけるオブジェクトの体積の連続的な表面を形成せんとするその他の隣りのパッチと一貫性のある深さを有するものではない。然しながら、パッチ間の深さ情報の不規則性はシーン内の３Ｄ構成の現実性を変更させる。このことは、均一なカラー及び低いコントラストを有する領域において特に顕著である。２Ｄ画像における低いコントラスト及び均一なカラー領域は、典型的に、例えば図７に示したようなマッチング曲線７０４において非常に低い周波数を示す。この低い周波数のマッチング曲線７０４は例えばシーン内の空のビュー又は海のビューを見ている場合等の画像内の均一なカラーで低いコントラストの領域から発生する現象である。低い周波数で低いコントラスト領域の場合にこのような条件下で特定のピクセルに対して３Ｄ情報を抽出することは非常に困難であることが多い。
【００４８】
一方、高コントラスト領域は、ピクセルと関連する正しい３Ｄ深さ情報を決定するために著しくより容易に解析することが可能である。高コントラスト領域は、典型的に、シーン内のオブジェクト間のエッジ周りに見出される。１つのビュー内のピクセルからピクセルへの高コントラストは、典型的に、例えば図８に示したマッチング曲線８０４のような高い周波数のマッチング曲線を発生する。マッチング曲線局所的最小８０６（即ち、予め定めたスレッシュホールド８０２の下側に存在するマッチング曲線８０４の部分）の狭いエンベロープは、そのマッチング曲線と関連するピクセルに対する正しい深さ情報を決定する精度を増加させる。本発明に基づく好適な方法は、真のボクセルに対応する適切なエラー領域（複数個のエラー領域から）をより容易に識別することを可能とする。即ち、シーンの高コントラスト領域においては、３Ｄ情報は同一のマッチングピクセルの異なるビューの間で非常に遠く変化することはない。例えばシーン内のオブジェクト間のエッジ周り等、高コントラスト領域周りのシーンの種々のビューの間でオーバーラップするエラー領域を検知することがより信頼性がある。
【００４９】
本発明に基づく好適な方法は、３Ｄデータがマッチング曲線から派生された後に構造的不規則性を平滑化させるためにマッチング曲線の属性及びそれからのその他の情報を最も良く利用する。その場合の仮定は、深さがそれらの夫々の局所的最小内において正確に決定されるということである。本発明に基づく好適な方法は以下の手順を使用する。
【００５０】
（１）全てのビューにおける各ピクセルに対してサーチ及びマッチングを同時的に実施する。
【００５１】
（２）サーチ及びマッチング処理期間中に全てのビューにおける各ピクセルに対してマッチング曲線の属性を同時的に記録する。各ピクセルは例えばカラーマッチのマッチング曲線及び／又はカラー・エッジマッチのマッチング曲線等の少なくとも１つのマッチング曲線と関連している。
【００５２】
（３）それらの隣りのピクセル及びそれらのオクルージョンが発生していない対応するピクセルの結果に影響を与えるコンフィデントシードを探し出すために複数個の２Ｄビューのマッチング曲線特性を使用する。
【００５３】
（４）基準ビューにおいて及びそのオクルージョンが発生していない対応するビューにおいてエッジェル（ｅｄｇｅｌ）に沿って良好なマッチを伝播させるために複数個のビューのマッチング曲線特性を使用する。全てのビュー自身が基準ビューであり、該基準ビューのピクセルに対して対応付けされたピクセルを有するその他のビューは対応するビューである。更に、マッチングプロセスにおいてコンフィデント即ち信頼性があるものと考えられる（例えば、エッジェルにおいて）復元された３Ｄを基準データとして割当てる。これらの基準データはステップ６及び７における３Ｄスムージング即ち平滑化のために使用され、且つそれらの値が変更されることはない。それらは均一な領域に対するサポート構造のように動作する。
【００５４】
（５）エッジ部分から基準ビューの均一な領域及びそのオクルージョンが発生していない対応するビュー内へ良好なマッチを伝播させるために複数個のビューのマッチング曲線特性を使用する。
【００５５】
（６）主題ピクセルをウインドウの中心に位置した状態で基準ビュー内の各及び全てのオクルージョンが発生していない対応するピクセルに対して反復的に固定ウインドウ寸法を適用し、次いで該ウインドウによってカバーされる隣りのピクセルに対する平均深さ値を計算する。注意すべきことであるが、隣りのピクセルの３Ｄ深さ情報は表面連続性拘束条件が満足されることを確保するために基準ビュー内の主題ピクセルのエラー領域内に存在すべきである。更に、平均を計算した深さは、対応するビューにわたって３Ｄ一貫性条件が満足されることを確保するために、主題ピクセル及びそのオクルージョンが発生していない対応ピクセル（対応するビューにおいて）のエラー領域内に束縛されるべきである。
【００５６】
（７）計算した平均深さが基準ビュー画像内の主題ピクセルのいずれかに対する予め定めた平滑化スレッシュホールド範囲を超えるものである場合には、主題ピクセルの深さの各々を新たな夫々の計算した平均深さで置換させ、且つ夫々のオクルージョンが発生していない対応ピクセルの深さを新たに計算した平均深さで置換させ、次いで再度ステップ６及び７を繰返す。代替的に、計算した平均深さが基準ビュー内の主題ピクセルの全てに対する予め定めた平滑化スレッシュホールド範囲内にある場合には、平滑化プロセスはこの基準ビュー画像に対して停止することが可能である。注意すべきことであるが、本発明の好適実施例によれば、反復的平滑化処理ステップ６及び７に従って基準ビューピクセルの全てが同時的に処理される。処理ステップ６及び７の各繰返しにおいて、この好適な方法は基準ビュー内の各々及び全ての主題ピクセルに対する計算した平均深さを予め定めたスレッシュホールド範囲と比較する。このスレッシュホールド範囲は、好適には、各々及び全ての主題ピクセルに対する平均深さ情報における変化が滑らかな表面を表わすために許容可能なものとして充分に小さいものである場合に、画像処理システムの動作シーケンスにおける平滑化処理の繰返しを停止させるために設定される。その結果得られる３Ｄ画像はユーザにとってより視覚的に好ましいものである。
【００５７】
ステップ６において、主題ピクセルの深さがその中に存在する主題ピクセルのエラー領域のエンベロープによってその深さが束縛される場合にのみ隣りのピクセルの深さは深さ平均化処理に向かってカウントされる。主題ピクセルは矩形状ウインドウの中心にある。このウインドウ寸法は、好適には、例えば７×７等の奇数の倍数を有するように選択される。主題ピクセルの深さは、そのピクセルがステップ４において割当てられた３Ｄ深さを有している場合には変更することは不可能である。ステップ６及び７において反復的に平均化プロセスを行うことにより、ステップ４において割当てられた基準３Ｄ深さデータによって限定される深さ値にその深さは究極的に隣りのピクセルに対して安定化する。更に、主題ピクセルの深さは、（１）主題ピクセルのエラー領域の境界、及び（２）オクルージョンが発生していない対応するピクセルのエラー領域の境界のうちのいずれかの外側にある深さ値で置換されることはない。上述した平均化処理は、基準深さマッチング曲線の境界内に止まるが、隣りのピクセルに対して伝播した深さ値の信頼性を顕著に増加させる。最後に、より大きなウインドウ寸法が使用される場合には、収束はより速く近付くが、体積の詳細な表面はそれ程滑らかなものでない場合がある。ウインドウ実現例の１つの例についてより詳細に以下に説明する。
【００５８】
図９を参照すると、ウインドウ（即ち、隣りのピクセルからなるグリッドによって表わしてある）が画像内の特定のピクセル周りに定義されている。解析中の特定のピクセルがこのグリッドの中心ピクセル９０２に位置されている。中心ピクセル９０２は文字Ｃによって表わしてある。好適には、このウインドウグリッドは中心ピクセル周りに奇数個のピクセル行及び列で配列されており、中心ピクセルは解析中の興味のあるピクセルであり且つ潜在的にその隣りのピクセルへ伝播される。
【００５９】
図９に示した例示的なグリッドにおいて数字１，２，３，４，６，７，９で示した隣りのピクセルは、各々、その夫々のマッチング曲線から深さ情報に対して同時に計算される。隣りのピクセルは中心点ピクセルとマッチング曲線において関連する同一の３Ｄ中心点深さ情報を有するものでなければならず、そうでなければ、スムージング（平滑化）アルゴリズムは現在の平均化関数に対して隣りのものを使用することはない。中心ピクセルに対する深さ情報はウインドウ（全ての隣りのピクセルを包含するグリッド）内において継続的に平均化される。このように、隣りのピクセルに対してピックアップされる潜在的に著しく異なる深さ情報を有する低コントラスト領域は、典型的に、全体的な均一な領域にわたって一貫性があり且つ信頼性のある平均深さとなる。このことは、ピクセル毎に計算される深さの変化を減少させることによりこのような均一の領域に対して３Ｄ情報を復元する上での不確実性を減少させることに貢献する。典型的に、前述した如く、これらの均一な領域は隣りのピクセルの間での深さの計算の大きな変化から問題を発生する。このことは画像内の構造的ノイズとして表われる。均一な領域内のピクセルに対する不確実性のボリュームは非常に大きい。均一な領域はテクスチャが付けられておらず一般的に一定のカラーを有する画像の部分を包含している。上述した如く、深さ情報を平均化し且つこの平均化した深さ情報を主題ピクセルに対する信頼性のある基準３Ｄデータからそれらの隣りのピクセルへ伝播させることによりより視覚的に優れた３Ｄ画像の表示が得られる。
【００６０】
本発明に基づく好適な方法は、初期的に、信頼性のある深さ情報と関連するコンフィデントシードピクセルを識別し、次いで、これらのコンフィデントシードからシーン内のオブジェクトの体積の表面を成長させる。好適には、本方法は、シーン内のオブジェクトのエッジ部分周りのコンフィデント即ち信頼性のあるピクセルを探し出す。何故ならば、エッジ部分は、通常、深さ計算における変化が非常に低く高いコントラスト区域だからである。次いで、この好適な方法は、平均化をコンフィデントシードピクセルからの深さの一貫性のある決定を基礎としながら、上述した如く隣りのピクセルの深さを平均化することにより表面を平滑化すべく動作する。この好適な方法は、エッジ周りのピクセルからの深さ情報をシーン内のオブジェクトの体積の表面の均一な領域を介して内側へ伝播させる。この処理は、好適には、均一な表面にわたっての変動を平滑化しその結果視覚的に優れた３Ｄ画像情報を表示する。
【００６１】
特定のピクセルの深さが決定されると、本発明に基づく好適な方法はその画像内の別の隣りのピクセル位置における次のボクセルへ深さ情報を成長させ且つ伝播させる。この方法は、深さ情報を平均化させるために隣りのピクセル位置にわたってウインドウグリッド９００を移動させながら、上述した平均化処理を反復的に適用する。本方法は、それにより、隣りのピクセルの深さ情報を決定し、従って、そのシーン内のオブジェクトの体積の表面を成長させる。平均化処理をシーン内のオブジェクトの均一な領域にわたって隣りのピクセルに対して適用した後に、結果的に得られる３Ｄ画像は画像処理システムのユーザに対して比較的により好ましい表示を与える。残りのステップは、ユーザに対して３Ｄ画像情報をレンダリングし且つ表示することである。処理した画像の３Ｄ表示はシーンに対する３Ｄ画像情報のより信頼性のある決定となる。更に、上述した平均化プロセスは、３Ｄデータ情報に対して適用し均一な領域にわたってのピクセル深さの変化を平滑化させ、その結果視覚的により好ましい３Ｄ画像がユーザに対して表示されることとなる。このことは従来技術によっては得ることの不可能な本発明の顕著な利点である。
【００６２】
例示的なシステム実現例
図１０に示したように、本発明の好適実施例によれば、例示的な３Ｄ画像処理システム１０００は１組のデジタル（スチル又はビデオ）カメラ１００２を有しており、尚３つのカメラ１００４，１００６，１００８が示されており、それらは異なる姿勢で配設されており且つ例えば電気的信号バス１０１０を介して電子的に同期される。任意の時刻において、カメラ１００２が１組の画像１０１２、例えば３個の画像１０１４，１０１５，１０１８を発生し、それらは３つのカメラ１００４，１００６，１００８に対して３つの夫々のデジタルキャプチャインターフェース１０１５，１０１７，１０１９に対して示されている。１組の画像１０１２の各々は、カメラの相対的な運動だけ１組の画像１０１２における他の画像からずれている。然しながら、カメラ１００２はカメラ１００２によって観察されるシーン１０２６内の全てのオブジェクトを包含する「ユニバーサル」ワールド座標系内の既知の位置にある。例えば、第一画像１０１４及び第二画像１０１６は、シーン１０２６と相対的にカメラ１００４，１００６の異なる姿勢に起因して両方の画像１０１４，１０１６上に見つけられる対応する特徴点の間の距離だけ互いにずれる場合がある。２つの画像１０１４，１０１６の間のこのカメラの相対的な運動は、２つの画像１０１４，１０１６の間に対応する（即ち、マッチする）特徴点の間の運動ベクトルによって表わすことが可能である。更に、スチルカメラ１００４，１００６，１００８及びスチルシーン１０２６がこの例において示されているが、本明細書の記載を参考に当業者にとって、静止及び／又は動くシーン１０２６及び／又はカメラ１００４，１００６，１００８のいずれかの組合わせを本発明の変形実施例に基づいて表現することが可能であることは自明である。例えば、移動オブジェクトシーン１０２６及びスチルカメラ１００４，１００６，１００８を使用することは、本発明のある適用例に対して完全に望ましいものである場合がある。従って、本明細書において使用されるように、カメラの相対的運動という用語は、静止及び／又は移動シーン１０２６及び／又はカメラ１００４，１００６，１００８の任意の組合わせを表現することが可能である本発明のこのような変形実施例の全てを広くカバーすることを意図している。
【００６３】
３個の夫々のデジタルキャプチャインターフェース１０１５，１０１７，１０１９がコンピュータシステムと通信可能に結合されている（図１０には示していない）。１組の画像１０１２がハードウエア１０２０、コンピュータシステム（不図示）、且つ１組のカメラ１００２によって観察されたシーン１０２６の復元された３Ｄ画像情報１０３４を出力するためのシステム１０００のソフトウエア１０２２によって処理される。ソフトウエア１０２２は、好適には、シーン１０２６の複数個のビュー１０１４，１０１６，１０１８にわたってピクセルをマッチングさせるためのピクセルマッチングモジュール１０２８を有している。この画像マッチングモジュール１０２８は、前述した如く、１０１４，１０１６，１０１８の各々における夫々のピクセルに対してマッチング曲線を与える。３Ｄ画像復元モジュール１０３０は、マッチング曲線属性及び特性を包含するマッチング曲線を解析し、シーン１０２６におけるオブジェクトの体積の表面に対する３Ｄ深さ情報を抽出するための更なる処理のためのシード点を与える。３Ｄ画像復元モジュール１０３０は、以下により詳細に説明するように、画像特徴点が検知され且つビュー１０１４，１０１６，１０１８にわたってマッチングされた後に、画像情報の付加的な処理を与える。次いで、ビュー１０１４，１０１６，１０１８におけるピクセルのマッチング曲線を解析してシーン１０３４の３Ｄ画像を復元する。更に、３Ｄ画像平滑化モジュール１０３２が復元された３Ｄ画像データに関して処理を行い、シーン１０２６におけるオブジェクトの体積の表面における不規則性を平滑化させる。この３Ｄ画像平滑化モジュール１０３２はシステム１０００のユーザに対して表示される（例えば、ディスプレイを介して）３Ｄ画像情報を著しく向上させる。
【００６４】
図１１は本発明の好適実施例に基づく図１０の３Ｄ画像処理システム１０００のより詳細な構成を示している。デジタルキャプチャインターフェース１０１５，１０１７，１０１９の各々は、キャプチャした画像１０１４，１０１６，１０１８を格納するための夫々の画像キャプチャメモリ１１０４，１１０６，１１０８を有している。デジタルキャプチャインターフェース１０１５，１０１７，１０１９は３Ｄ画像復元コンピュータシステム１１０２の入力／出力インターフェース１１１０へ通信可能に結合されている。更に、電気的信号バス１０１０が入力／出力インターフェース１１１０へ通信可能に結合されている。３Ｄ画像復元コンピュータシステム１１０２は、データメモリ１１１４へ及びプログラムメモリ１１１６へ電気的に結合されている制御器／プロセッサ１１１２を有している。制御器／プロセッサ１１１２は、又、ユーザインターフェース１１１８へ電気的に結合されており、該ユーザインターフェースは例えばモニタディスプレイ（不図示）等を介してユーザに対して情報を提供し且つ例えばキーボード（不図示）及びマウス（不図示）等を介してユーザからのユーザ入力を受取る。
【００６５】
データメモリ１１１４は画像情報を格納するための画像メモリ１１２０を有している。画像メモリ１１２０は、誤った画像情報である高い蓋然性を有するピクセルを追従するオクルージョンが発生したビューのメモリ１１５０、シーンの画像内に位置しているコンフィデントシードピクセルを追従するサーチメモリ１１５２、隣りのピクセルにわたって平均化される深さ表面を伝播させるために解析されるピクセルを取囲むウインドウを追従するウインドウグリッドメモリ１１５４、及びシーン内のオブジェクトの体積にわたって深さ表面の伝播された部分を追従する３Ｄ表面メモリ１１５６に対するデータ構造を有している。これらのデータ構造は、３Ｄ画像復元機能モジュール１０３０及び３Ｄ画像平滑化モジュール１０３２によって以下に更に詳細に説明するように使用される。更に、データメモリ１１１４はパラメータメモリ１１２２を有しており、その場合に３Ｄ画像復元コンピュータシステム１１０２は３Ｄ画像処理システム１０００に対するコンフィギュレーションパラメータを格納する。
【００６６】
プログラムメモリ１１１６は、本発明の好適実施例に基づいて３Ｄ画像処理システム１０００に対する動作シーケンスを実施するために制御器／プロセッサ１１１２に対してコンピュータプログラム命令を供給する。プログラムメモリ１１１６は４個の機能モジュールを有している。これら４個の機能モジュールは、画像マッチングモジュール１０２８、シーン内の表面に対する深さの３Ｄ伝播を計算するための伝播モジュール１１３２、シーン内のオブジェクトの体積の表面の隣りのピクセルの３Ｄ情報から不規則性を平滑化するための平滑化モジュール、及び３Ｄ画像情報を表示するための３Ｄ画像レンダリングモジュールを有している。これら４個の機能モジュールの動作について例示的システムに関して以下に詳細に説明する。
【００６７】
更に、３Ｄ画像復元コンピュータシステム１０２０は、好適には、コンピュータによって読取可能な媒体１１４２を受取るためのドライブ１１４０を有している。これは、３Ｄ画像復元コンピュータシステム１１０２と情報を伝達するための手段を提供している。例えば、コンピュータプログラム（及びそのアップデート）は３Ｄ画像復元コンピュータシステム１１０２へ供給することが可能であり且つ当業者にとって公知の態様でコンピュータによって読取可能な媒体１１４２を介してプログラムメモリ１１１６内に格納させることが可能である。更に、画像情報及び関連するパラメータはコンピュータによって読取可能な媒体１１４２とデータメモリ１１１４との間で転送させることが可能である。
【００６８】
本発明の好適実施例によれば、画像マッチングモジュール１０２８は３Ｄ画像復元コンピュータシステム１１０２において動作し且つプログラムメモリ１１１６内に格納される。本発明の１実施例に基づく画像マッチングモジュール１０２８は、シーンを表わす複数個の画像にわたって画像情報の対応性を示す画像情報（例えば、マッチング曲線）に関して動作を行う。３Ｄ画像復元モジュール１０３０は本発明に基づいて、複数個のビューにわたって対応する画像情報を解析して上述した如く３Ｄ画像深さ情報を復元するために３Ｄ画像復元コンピュータシステム１１０２に対するコンフィデントシード（ｃｏｎｆｉｄｅｎｔ ｓｅｅｄ）即ち信頼性のある種として画像特徴（例えばピクセル）を提供する。３Ｄ画像平滑化モジュール１０３２は平均化処理を実施して観察中のシーンにおけるオブジェクトのカラムの表面の復元された３Ｄ深さ情報の間の不規則性を減少させる。
【００６９】
本発明の好適実施例によれば、３Ｄ画像処理システム１０００のかなりの部分が集積回路で実現することが可能である。例えば、３Ｄ画像復元コンピュータシステム１１０２の機能的コンポーネントは少なくとも１個の集積回路において実現することが可能である。同様に、デジタルキャプチャモジュール１０１５，１０１７，１０１９のかなりの部分を少なくとも１個の集積回路で実現することが可能である。
【００７０】
本発明の別の実施例によれば、３Ｄ画像処理システム１０００は、例えば、三次元スキャナ、ファクシミリ装置、ビデオ通信装置、ビデオ処理装置等の装置において実現することが可能である。
【００７１】
図１２，１３，１４は、本発明の好適実施例に基づいて図１０及び１１に例示した画像処理システム１０００に対する好適な動作シーケンスを示している。図１２は全体的な動作シーケンスを示しており、一方図１３は復元用３Ｄデータ１２０８動作シーケンスのより詳細な図を示しており、且つ図１４は平滑化用３Ｄデータ１２１０動作シーケンスのより詳細な図を示している。復元用３Ｄデータ動作シーケンス１２０８は好適な実現例を示している。然しながら、３Ｄデータを復元するためのその他の別の動作シーケンスを本明細書の記載を参考に当業者にとって自明であるように画像処理システム１０００において使用することが可能である。更に、平滑用３Ｄデータ動作シーケンス１２１０は本発明に基づく好適な実現例を示している。然しながら、平滑化用３Ｄデータ動作シーケンス１２１０はオプションであり且つ画像処理システム１０００の全てのシステムの実現において存在するものではない場合がある。然しながら、それは復元した３Ｄデータに対して顕著な利点を与え、画像処理システム１０００のユーザに対してより視覚的に優れた３Ｄ画像表示を与え、そのことは従来技術においては見られない本発明の顕著な利点である。
【００７２】
図１２を参照すると、その動作シーケンスはステップ１２０２でエンターする。３Ｄ画像復元コンピュータシステム１１０２がステップ１２０４において１つのシーンの複数個の２Ｄビューにわたって特徴をサーチし且つマッチさせる。
【００７３】
ステップ１２０４に関して、特徴をサーチし且つマッチする動作シーケンスは、例えば、本明細書に鑑み当業者にとって自明であるように、複数個のビューにわたって対応するピクセルをサーチし且つマッチさせるためにスキャンラインアプローチ又は仮想光線アプローチ等の方法を包含することが可能である。例えば、スキャンラインアプローチにおいては、スキャンラインにわたっての全てのピクセルが比較され且つマッチされて解析され且つ対応付けされる特定のピクセルに対する深さを復元する。このことは、非常に効率の悪い場合がある。何故ならば、全てのピクセルが対応性を決定するために比較されるからである。２番目のアプローチは仮想光線アプローチであり、それは復元中の仮想光線内において可視的なピクセルのみを解析する。この２番目のアプローチはスキャンラインアプローチよりも著しく効率的である場合がある。更に、ステップ１２０４において、この動作シーケンスは当業者にとって公知の如く、複数個の２Ｄビューによって観察されている３Ｄシーンの２Ｄビューにおけるピクセルに対する深さを決定する場合のエラーの確率を表わすマッチング曲線を与えることが可能な別のサーチ及びマッチ方法を使用することが可能である。
【００７４】
複数個のビューにわたっての例えばピクセル等の特徴のマッチングは、複数個のビューにわたって特徴をマッチングさせ且つ例えばピクセル等の各特徴に対するマッチング曲線記述を発生し、次いでサーチメモリ１１５２内に格納する公知の方法のいずれかにより取扱われる。注意すべきことであるが、マッチング曲線は多くの異なる態様で表現し、次いで、好適にはメモリ内に格納することが可能である。例えば、マッチング曲線はテーブル、データベース、パラメータを有する方程式、又は本明細書に鑑み当業者にとって自明なその他の手段によってメモリ内において表現することが可能である。
【００７５】
マッチング曲線の重要な特徴は、それが画像ビュー内の例えばピクセル等の特定の特徴に対してマッチングされるある深さの確率を画定するために解釈することが可能であるということである。この３Ｄ復元に対する深さ値の確率は、又、特定の深さ値を選択する場合のエラーの確率として表現することが可能である。次に、ステップ１２０６において、本システム１１０２は１つのビューにおける例えばピクセル等の各特徴に対するマッチング曲線の属性を記録する。次いで、ステップ１２０８において、システム１１０２は、好適な３Ｄ復元方法を使用して複数個のビューから３Ｄデータを復元すべく動作する。１つの好適なこのような方法を図１３を参照して説明する。次に、システム１１０２は、オプションとして、ステップ１２１０において平滑化３Ｄデータ方法を動作させてユーザに対して３Ｄデータの視覚的表現を著しく改善することが可能である。このオプションの平滑化３Ｄデータ処理は図１４を参照して説明する。最後に、本システムはステップ１２１２において動作シーケンスから抜け出る。
【００７６】
図１３を参照すると、３Ｄデータ１２０８を復元するための好適な動作シーケンスにステップ１３０２においてエンターし、次いで１３０４において、システム１１０２は複数個のビューに対するマッチング曲線特性を使用してステップ１３０６において複数個のビューにおけるオブジェクトのエッジを成長させる。ここで、システム１１０２は、殆どのビューにわたって局所的最小を有するコンフィデントシードを決定するために複数個のビューにわたって特性対（１つの局所的最大対１つの局所的最小）を位置決めすることによりコンフィデントシードを見つけ出す。システム１１０２は、好適には、複数個のビューにおける複数個の対応する画像特徴にわたってオーバーラップを有する各コンフィデントシードを決定することにより複数個のビューにわたってのコンフィデントシードを見つけ出す。これらのコンフィデントシードは、次いで、シードボクセルが隣りのピクセルへ（又はそれらの夫々の投影したビューへ）伝播させるために不確実性の隣りの体積内にあることが決定される限り、それらの隣りのピクセルへ伝播される。即ち、不確実性（即ちエラー領域）の主題のピクセルの体積は、シードボクセルをその隣りのものへ伝播させることが可能であるためにはシードボクセル局所的最小位置と一致せねばならない。オブジェクトのエッジェルは、図３を参照して前に説明したように、エッジにおける高いコントラストのために検知することが一層容易である。注意すべきことであるが、複数個のビューにわたっての局所的最小と相対的な非常に高いエラーの確率を有しているピクセルがオクルージョンが発生しているビューであると決定され、且つそれらの参照がメモリ１１５０内に格納される。このように、システム１１０２はオクルージョンが発生したビューを追従し且つこれらがシードボクセルをそれらの隣りへ伝播させるための計算から保護する。ステップ１３０６においてエッジが画定されると、システム１１０２はステップ１３０８において複数個のビューにおける均一な領域を成長させるべく進行する。複数個のビューに対するマッチング曲線の特性を、ここで再度使用して、複数個のビューにわたっての局所的最小の特性対をマッチングすることによってシードボクセルを見つけ出し、次いでシードボクセルを夫々の隣のピクセルへ伝播させるために不確実性の隣りのピクセル体積内に位置しているシードボクセル深さを有する隣りのピクセルへシードボクセルを成長させる。不確実性の体積もエラー領域として知られている。最後に、ステップ１３１０において、システム１１０２は３Ｄ復元動作シーケンスから抜け出る。
【００７７】
図１４を参照すると、オプションの３Ｄ平滑化動作シーケンス１２１０がステップ１４０２においてエンターされる。本発明の好適実施例に基づく動作シーケンス１２１０は、各ビューにおけるピクセルの全てが予め定めた平滑化スレッシュホールド範囲を満足するように処理されるまで、ステップ１４０４，１４０６，１４０８，１４１０において各及び全ての主題ピクセルの３Ｄ深さ情報に対する平均３Ｄ深さの再計算を介して反復的に進行する。前述したように、計算した平均深さが平滑化のために処理中の基準ビュー内の主題ピクセルの全てに対する予め定めた平滑化スレッシュホールド範囲内にある場合には、この動作シーケンスはステップ１４１２において抜け出す。
【００７８】
ステップ１４０４において基準ビューの各々及び全てのピクセルの３Ｄ深さ情報を介して進行する間に、コンピュータシステム１１０２は、通常、例えば図９に関して例示したような基準ビュー内の各々及び全ての主題ピクセルに関しての固定したウインドウ寸法を使用する。好適には、システム１１０２は各反復ステップにおいて基準ビューの各々及び全てのピクセルを同時的に処理する。ステップ１４０６において、システム１１０２は該ウインドウによってカバーされている全てのオクルージョンが発生していない隣りのピクセル（主題ピクセル以外）の平均深さを計算する。然しながら、この平均深さはそれらの深さがそれらの夫々のマッチング曲線の不確実性（又はエラー領域）の主題ピクセルの体積内に存在する隣りのものからのみ計算される。注意すべきことであるが、隣りのピクセルの３Ｄ深さ情報は表面連続性拘束条件が満足されることを確保するために基準ビュー内の主題ピクセルのエラー領域内とすべきである。更に、平均を計算した深さは、対応するビューにわたっての３Ｄ一貫性条件も満足されることを確保するために、主題ピクセル及びそのオクルージョンが発生していない対応するピクセル（対応するビュー内において）のエラー領域内に束縛されるべきである。
【００７９】
計算した平均深さが夫々の主題ピクセルの３Ｄ深さから予め定めた平滑化スレッシュホールド範囲の外にある場合には、主題ピクセルの夫々の計算した平均深さがステップ１４０８において主題ピクセルの３Ｄ深さ値に置換される。各ウインドウに対する夫々の計算した平均深さが基準ビュー内の主題ピクセルの全てに対する夫々の主題ピクセルの３Ｄ深さから予め定めた平滑化スレッシュホールド範囲内にある限り、平滑化中の特定の基準ビューにおける主題ピクセルの全てに対してこの処理はステップ１４１０において繰返す。このように、動作シーケンス１２１０はユーザに対して３Ｄ画像の視覚的様相を著しく改善する。この平滑化特徴は、３Ｄ画像を使用して観察中のシーンにおける均一な領域の比較的様相を向上させるために特に有用である。
【００８０】
図１４を参照して上述した動作シーケンスに対する別の平滑化処理は以下に説明するように、異なるアプローチを使用して主題ピクセルに対して平滑化ウインドウを適用することが可能である。最初に、ピクセルの各々は、既に、３Ｄ深さ情報と関連付けされており且つシーン内において観察中の表面のエッジ領域及び均一な領域と相対的に識別されるそれらの夫々の位置を有している蓋然性がある。特定の基準ビューに対しては、固定したウインドウを基準ビュー内のエッジ部分周りに位置しているピクセルに対して最初に適用される。エッジ部分、例えばエッジェルに関してのピクセルの３Ｄ深さ情報は、通常、それらの真の３Ｄ深さ情報の非常に近い推定を有する傾向がある。平均化計算は３Ｄ深さ情報の主題ピクセルの推定に非常に近い平均深さ値となる。次いで、該ウインドウを隣りのピクセルへ前進させ、その隣りのピクセルを隣りのオクルージョンが発生していないピクセルの平均深さの計算のための主題ピクセルとさせる。このウインドウはエッジェルから均一な領域周りに位置しているピクセルへ次第に前進される。隣りのピクセルの平均化計算が均一な領域内深くの新たな主題ピクセルに対して次第に適用されるに従い、即ち該ウインドウをエッジ部分から均一部分へ参照ビューの画像にわたって移動させることにより、移動ウインドウ内のこれらの新たな主題ピクセルはそれらの隣りのピクセルから計算した平均３Ｄ深さ情報が割当てられ、それは、エッジ部分に関する隣りのピクセルからの計算した平均３Ｄ深さ情報が割当てられている可能性がある。均一な領域内深くのピクセルと関連している３Ｄ深さ情報のこの更なる平均化は、３Ｄ深さ情報を、表面の端部部分周りのピクセルの平均３Ｄ深さ情報近くの均一な領域のピクセルへ割当てる傾向がある。この処理は例えば端部部分から次いで均一な部分を介して移動する基準ビュー内の全てのピクセルが該移動ウインドウと共に主題ピクセルであり且つそれらの３Ｄ深さ情報をそれらの夫々のオクルージョンが発生していない隣りのピクセルの全ての計算した平均から割当てられる機会を持った場合に終了する。この可動ウインドウアプローチは前述した実施例に対する変形実施例である。前述した如く、この好適なアプローチは基準ビュー内の各々且つ全ての主題ピクセルにわたって同時的にウインドウを適用し且つ平滑化スレッシュホールド範囲が全ての主題ピクセルに対して満足されるまで全ての主題ピクセルに対して平均化計算を繰返し行う。この好適な方法はコンピューティングシステムにとって非常に実現可能なものであり且つ不規則性を平滑化させ且つユーザにとって視覚的に優れた結果的に得られる３Ｄ情報を提供するために全ての主題ピクセルの効率的な処理を発生する。
【００８１】
要するに、本発明の好適実施例に基づくシステム及び方法は、１つのシーンの複数個のビューにわたっての対応するピクセルをサーチし且つマッチさせる。各シーンにおけるピクセルの各々に対して、マッチング曲線が関連付けられている。本方法は複数個のビューにわたって対応付けされているピクセルのマッチング曲線の特性を解析し、且つ本方法は、あるピクセルがオクルージョンが発生したビューである場合を決定する。オクルージョンが発生したビューは、高いマッチングエラーによって特性付けられ、且つ典型的に、複数個のビューにわたってその他の対応付けされたピクセルとカラー又はその他の特性においてマッチするものではない。これらのオクルージョンが発生したビューは、シーンにおけるオブジェクトの３Ｄ情報を復元する方法ステップにおいて回避される。
【００８２】
次いで、この好適な方法はコンフィデントシードを探し出す。好適には、第一ピクセルのマッチング曲線のエラー領域がそのシーンのその他のビューのうちの１つからの少なくとも２番目の対応するピクセルのエラー領域とオーバーラップする場合には、画像処理システムは、該複数個のマッチング曲線のオーバーラップするエラー領域において維持しているボクセルがコンフィデントシードであると決定する。更に、そのボクセルと関連するピクセルが、例えばシーン内のオブジェクトのエッジ周り等の高コントラスト領域に位置している場合には、このことはそのピクセルと関連する３Ｄ深さ情報がそのシーンにおける体積の表面を伝播する処理に依存することが可能なコンフィデントシードであることのコンフィデンス即ち信頼度を増加させる。勿論、このピクセルは、更に、オクルージョンが発生していないビューでなければならない。
【００８３】
次に、画像処理システムが、好適には、シーン内のオブジェクト周りのコンフィデントシードから開始してコンフィデントシードからの３Ｄ深さ情報を該コンフィデントシード周りの隣りのピクセルへ伝播させる。例えば、図９に示したように、画像処理システムは、中心ピクセル９０２ ３Ｄ深さ情報を決定するためにウインドウグリッド９００の中心９０２である主題ピクセルを選択する。コンフィデントシードが解析中の中心ピクセル９０２周りの８個の隣りのピクセルのうちの１つである場合には、本画像処理システムは、コンフィデントシードの深さ情報が解析中のウインドウの中心における主題ピクセル９０２のエラー領域（即ち、不確実性の体積）内にあるか否かを決定する。オーバーラップが存在しており且つ主題ピクセルのマッチング曲線のエラー領域が付加的に該シーンのその他の対応するビュー内の少なくとも１つのその他の対応するピクセルのエラー領域とオーバーラップしている場合には、本画像処理システムはコンフィデントシードの３Ｄ深さ情報を主題ピクセル９０２へ割当てる。このように、３Ｄ情報はコンフィデントシードから本解析の主題である中心ピクセルである隣りのピクセル９０２へ伝播される。
【００８４】
一方、主題ピクセル９０２が該シーンの複数個のビューにわたって少なくとも１つのその他の対応するピクセルとオーバーラップするエラー領域を有しているが、主題ピクセル９０２のエラー領域内におけるコンフィデントシードの３Ｄ深さ情報のオーバーラップが存在しない場合には、この好適な方法は、該シーンにおいて可視的な表面内に不連続が存在することを決定する。即ち、１つのシーン内のオブジェクト間のエッジに本処理が到達した蓋然性がある。このような場合には、隣りのコンフィデントシードから主題ピクセルのボクセルへの３Ｄ深さ情報の伝播は存在しない。主題ピクセルのボクセルが隣りのコンフィデントシードによって伝播される表面からの不連続である表面に対する３Ｄ深さ情報を識別する。次いで、この３Ｄ画像処理システムは、コンフィデントシードとしてこの主題ピクセル９０２を識別し、次いで、３Ｄ深さ情報を主題ピクセル９０２からその隣りのピクセルへ伝播させる。最後に、主題ピクセル９０２が複数個のビューにわたってのその対応するピクセルのエラー領域のうちのいずれかとオーバーラップするエラー領域を有しておらず、又エラー領域及び隣りのコンフィデントシードの３Ｄ深さ情報とのオーバーラップが存在しない場合には、３Ｄ深さ情報の割当てに関する限り、このピクセル９０２は暫時放置される。次いで、この画像処理システムは、図９に示したように、このウインドウ９００を移動させることにより別の隣りのピクセルへ進行し且つ別の隣りのピクセルを解析して３Ｄ深さ情報を伝播させる。
【００８５】
究極的に、表面伝播フロントが互いに出会う場合に、ピクセルが３Ｄ深さ情報を決定しないままでいる位置が存在する。これらのピクセルは、通常、それらの隣りのピクセルの大多数に割り当てられた３Ｄ深さ情報が通常割当てられる（これらの隣りのピクセルは、３Ｄ深さ情報が決定されていない主題ピクセル９０２の周りのウインドウグリッド９００内に示されている）。表面３Ｄ深さ情報伝播に対する表面連続性条件は、隣りのピクセルが定義された３Ｄ深さ情報を有している場合には、残りのピクセルの未知の３Ｄ深さ情報は隣りのピクセル９００の全てにわたっての共通の表面の連続性テストとマッチングするために同一の３Ｄ深さ情報が割当てられねばならないということを要求する。このように、画像処理システムは、好適にはエッジ近くに位置しているコンフィデントシードから開始してそれらの隣りのピクセルへ３Ｄ深さ情報を信頼性を持って伝播させることを可能とする。更に、３Ｄ深さ情報の伝播は、例えばエッジ等の高コントラスト領域からシーン内のオブジェクトの体積の表面の例えば均一な領域等の低コントラスト領域へ伝播するフロントを介して継続して行われる。最後に、これらの未だに３Ｄ深さ情報が割当てられていない残りのピクセルは３Ｄ深さ情報を有する取り囲む隣りのものを有しており、それらは、連続性テスト条件を満足させるために、３Ｄ深さ情報が残りのピクセルに割当てられねばならないことを決定することとなる。これは、１つのシーンの複数個の２Ｄビューから３Ｄ深さ情報を復元する信頼性があり且つロバストな方法である。
【００８６】
最後に、ピクセルに対して割当てられた３Ｄ深さ情報に関してスムージング即ち平滑化プロセスを実施することが可能である。このプロセスは、３Ｄシーンにおける低コントラスト、即ち均一な領域内に通常見られるピクセルの３Ｄ深さ情報の間の不規則性を平均化させるのに特に有用である。好適には、図９に示したようなウインドウを繰り返し処理で各々及び全てのピクセルに適用し、その場合に、前述した如く、全ての主題ピクセルに対して予め定めたスムージング（平滑化）スレッシュホールド範囲が満足されるまで、オクルージョンが発生していない隣りのピクセルの全ての平均３Ｄ深さ情報を計算し且つその計算した平均値を夫々の主題ピクセルに対して割当てる繰返し処理を行う。一方、平滑化処理は、例えばエッジ等の高コントラスト領域からシーン内において可視的な例えば均一な領域等の低コントラスト領域へ基準ビュー内におけるピクセルにわたって移動ウインドウを適用することが可能である。この方法はオクルージョンが発生していない隣りのピクセル９００の全ての３Ｄ深さ情報の平均によって主題ピクセル９０２に対する３Ｄ深さ情報を決定する。この付加的な平滑化処理は、例えばユーザによって観察するためのシーンの３Ｄ画像情報をより視覚的に優れたものとさせる。この付加的な特徴は従来技術においては見られない本発明の顕著な利点を提供している。
【００８７】
本発明はハードウエア、ソフトウエア、又はハードウエアとソフトウエアの組合わせで実現することが可能である。本発明の好適実施例に基づくシステムは、１つのコンピュータシステムにおいて中央化した態様で実現することが可能であり、又は異なる要素を幾つかの相互接続したコンピュータシステムにわたって分散させた分散型の態様で実現することも可能である。任意の種類のコンピュータシステム、又は本明細書に記載した方法を実施するのに適したその他の装置又は集積回路が適しており、そのことは本明細書に鑑み等業者にとって自明なことである。ハードウエアとソフトウエアとの典型的な組合わせは、ロードされ且つ実行された場合に、それが本明細書に記載した方法を実施するコンピュータシステムを制御するコンピュータプログラムを具備する汎用コンピュータシステムとすることが可能である。
【００８８】
本発明は、又、コンピュータプログラムプロダクトで実現することが可能であり、それは、本明細書に記載した方法の実現を可能とする全ての特徴を有しており、且つそれは、コンピュータシステムにロードされた場合に、これらの方法を実施することが可能である。この文脈においてのコンピュータプログラム手段又はコンピュータプログラムは、直接的に又は（ａ）別の言語、コード、又は表記法への変換及び（ｂ）異なる形態での再現の後のいずれか一方又は両方の後に、情報処理能力を具備するシステムをして特定の機能を実行させるべく意図されている１組の命令の任意の言語、コード又は表記法での任意の表現を意味している。
【００８９】
各コンピュータシステムは、１個又はそれ以上のコンピュータ及び、コンピュータがデータ、命令、メッセージ又はメッセージパケット、及びその他のコンピュータが読取可能な情報をコンピュータが読取可能な媒体から読取ることを可能とする少なくとも１個のコンピュータによって読取可能な媒体を有することが可能である。コンピュータが読取可能な媒体は、例えばＲＯＭ、フラッシュメモリ、ディスクドライブメモリ、ＣＤ−ＲＯＭ、その他の永久的な記憶装置等の非揮発性メモリを有することが可能である。一方、コンピュータによって読取可能な媒体は、例えば、ＲＡＭ、バッファ、キャッシュメモリ、ネットワーク回路等の揮発性記憶装置を有することが可能である。更に、コンピュータによって読取可能な媒体は、コンピュータがコンピュータによって読取可能な情報を読取ることを可能とする有線ネットワーク又は無線ネットワークを包含するネットワークリンク及び／又はネットワークインターフェース等の一時的な状態の媒体内にあるコンピュータによって読取可能な情報を包含することが可能である。
【００９０】
本発明に基づく画像処理システムは従来技術と比較して顕著な利点を提供している。本発明画像処理システムは従来システムと比較してシーンの複数個の２Ｄ画像（ビュー）から３Ｄ画像情報を復元するにおいてより一貫性があり、信頼性があり且つロバストなものである。更に、本発明に基づく好適な平滑化処理はシーン内のオブジェクトのボリューム（体積）に対して滑らかな３Ｄ表面を形成し、その結果ユーザに対して視覚的により優れた表示を与える。このことは従来技術と比較して顕著な利点である。
【００９１】
従って、本発明の好適実施例に基づく３Ｄ復元システム及び方法によって３Ｄデータの復元における顕著な信頼性及びロバスト性のために、３Ｄを使用するバーチャルウォークスルーシステムは極めて実現可能であり且つ望ましいものである。一般的に、回路支持基板及び例えばＩＣ、回路基板、プリント回路基板及び前述した如き本発明に基づく機能モジュールを包含するその他の同様の実施例によって提供されるような関連する回路は、本発明に基づく非常に一貫性があり且つ信頼性のある３Ｄ画像復元及び平滑化方法からコンピュータシステムが利点を享受することを可能とするためのモジュール型解決方法を提供することが可能である。三次元スキャナ及び三次元ビデオ画像キャプチャシステム等の電子装置が商用的に実現可能である。
【００９２】
更に、本発明は、複数個の２Ｄ画像に対応する信号を受取り且つ複数個の２Ｄ画像によって観察された３Ｄシーンを表わす３Ｄ復元情報に対応する信号を発生する電気回路において実現することが可能である。１例として、３Ｄ復元画像情報を表示するためのテレビモニタディスプレイと例えばアンテナ、ＲＦ受信機、ケーブルＴＶシステム、ＶＣＲシステム、及び衛星受信機システムのうちの少なくとも１つのような少なくとも１つの信号供給源との間に介在させてセットトップボックス内に電気回路を包含させることが可能である。このセットトップボックスは着脱自在であり且つディスプレイ及び信号供給源から離脱可能である。一方、電気回路はプリント回路基板を有することが可能である。このプリント回路基板は、テレビシステム、パソコンシステム及び／又はアクセサリカード又はその他の画像ディスプレイシステム用のスタンダードのコネクタを具備するエンターテイメントシステム内に据え付けることが可能である。別の例においては、この電気回路は応用特定集積回路、カスタム集積回路又は在庫用集積回路（マイクロプロセッサを包含する）からなる装置又はその組合わせとして１個又はそれ以上の集積回路内に設けることが可能である。更に、本発明は１個又はそれ以上の電気回路及びコンピュータによって読取可能な情報、命令又はソフトウエアの組合わせに組込むことが可能である。
【００９３】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】（Ａ）及び（Ｂ）は局所的最小と大域的最小を示した例示的マッチング曲線を示した各グラフ図。
【図２】１つの３Ｄシーンの３つの２Ｄビューを示しており且つシーンの基準ビュー内の１つのピクセルに対する例示的なマッチング曲線上の点の例示的な計算を示した概略図。
【図３】図２の例示的なマッチング曲線を示したグラフ図。
【図４】（Ａ）及び（Ｂ）は例示的な理想的なマッチング曲線を示した２つの各グラフ図、（Ｃ）は誤ったマッチを具備するマッチング曲線を示したグラフ図。
【図５】（Ａ）、（Ｂ）、（Ｃ）は深さボリューム（体積）不確実性を有する例示的なマッチング曲線を示した各グラフ図。
【図６】（Ａ）及び（Ｂ）は極限深さ体積不確実性を具備する例示的なマッチング曲線を示した各グラフ図。
【図７】典型的な低コントラスト領域に対する例示的なマッチング曲線を示したグラフ図。
【図８】典型的な高コントラスト領域に対する例示的なマッチング曲線を示したグラフ図。
【図９】本発明の好適実施例に基づいて画像ビュー内の隣りのピクセルをトラッキング即ち追従するための例示的なウインドウグリッドを示した概略図。
【図１０】本発明の好適実施例に基づく例示的画像処理システムを示した概略ブロック図。
【図１１】本発明の好適実施例に基づいて図１０の例示的な画像処理システムのより詳細な構成を示した機能的概略ブロック図。
【図１２】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【図１３】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【図１４】本発明の好適実施例に基づいて図１０及び１１の例示的な画像処理システムに対する例示的な動作シーケンスを示したフローチャート。
【符号の説明】
１０００ ３Ｄ画像処理システム
１００２ デジタルカメラの組
１００４，１００６，１００８ カメラ
１０１０ 信号バス
１０１５，１０１７，１０１９ デジタルキャプチャインターフェース
１０２０ ハードウエア
１０２２ ソフトウエア
１０２８ ピクセルマッチングモジュール
１０３０ ３Ｄ画像復元モジュール
１０３２ ３Ｄ画像平滑化モジュール
Claims (35)
- １つのシーンの複数個の２Ｄ画像から３Ｄ画像情報を復元する方法において、
１つのシーンの異なる２Ｄビューの間で対応する複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、
オクルージョンによって隠された前記受取った複数個の画像特徴のうちの画像特徴を決定し、
３Ｄ深さ情報に関連するコンフィデントシードである前記受取った複数個の画像特徴のうちの画像特徴を決定し、
オクルージョンによって隠されたビューとして決定された画像特徴を回避しながら、前記コンフィデントシードから３Ｄ深さ情報を隣りの画像特徴へ伝播させる、
上記各ステップを有していることを特徴とする方法。 - 請求項１において、前記伝播させるステップが、
前記シーンにおける高コントラスト領域周りに見えるコンフィデントシードを位置決めし、
高コントラスト領域周りに見える前記コンフィデントシードから低コントラスト領域周りに見える画像特徴へオブジェクトの体積の表面を成長させる、
ことを特徴とする方法。 - 請求項１において、前記伝播させるステップが、
前記シーンにおけるオブジェクトのエッジ周りに見えるコンフィデントシードを位置決めし、
前記オブジェクトのエッジ周りに見えるコンフィデントシードから前記シーン内の均一な領域周りに見える画像特徴へオブジェクトの体積の表面を成長させる、
ことを特徴とする方法。 - 請求項１において、前記シーンの異なる２Ｄビューの間で対応された前記複数個の画像特徴の各々がマッチング曲線と関連しており、且つコンフィデントシードである前記受取った複数個の画像特徴の画像特徴を決定するステップが、
前記複数個のビューにおける複数個の対応する画像特徴にわたってオーバーラップするエラー領域を有しているコンフィデントシードを決定するために前記複数個のビューにわたって特性対（１個の局所的最大対１個の局所的最小）を位置決めすることにより前記コンフィデントシードを探し出す、
ことを特徴とする方法。 - 請求項１において、前記コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させるステップが、
コンフィデントシードが隣りの画像特徴の不確実性体積、即ちエラー領域内にあると決定される限り前記コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、
ことを特徴とする方法。 - 請求項５において、隣りの画像特徴の不確実性体積、すなわちエラー領域が、コンフィデントシードの局所的最小位置及び大域的最小位置のうちの少なくとも１つと実質的に一致する限り、３Ｄ深さ情報が前記コンフィデントシードから隣の画像特徴へ伝播させることを特徴とする方法。
- 請求項１において、前記シーンの異なる２Ｄビューの間で対応された前記複数個の画像特徴が前記異なる２Ｄビューにおいて可視的なピクセルであることを特徴とする方法。
- 請求項１において、前記画像特徴に対する３Ｄ深さ情報が画像特徴と関連するボクセルの位置を表わしていることを特徴とする方法。
- 請求項１において、コンフィデントシードに対して且つ隣りの画像特徴に対して決定される３Ｄ深さ情報が決定されるべき深さにおいてオクルージョンによって隠されていないビューの全ての間での一貫性に対してクロスチェックされることを特徴とする方法。
- 請求項９において、前記オクルージョンによって隠されていないビューの間での一貫性のクロスチェックが、
画像特徴に対する３Ｄ深さ情報が複数個の前記オクルージョンによって隠されていないビューの各々においてエラー領域内に存在することを決定する、
ことを特徴とする方法。 - 請求項９において、前記オクルージョンによって隠されていないビューの間での一貫性クロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が実質的に互いにマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定する、
ことを特徴とする方法。 - 請求項９において、前記オクルージョンによって隠されていないビューの間の一貫性クロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が特定した特性対で実質的にマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定する、
ことを特徴とする方法。 - 請求項９において、オクルージョンによって隠されていないビューの間のクロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が特定した特性対と実質的にマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定し、
前記オクルージョンによって隠されていないビューの間で前記主題の画像特徴からその隣りの画像特徴へ連続性拘束条件が実質的に満足されていることを決定する、
ことを特徴とする方法。 - 画像処理システムにおいて、
メモリ、
前記メモリへ電気的に結合されている制御器／プロセッサ、
前記制御器／プロセッサ及び前記メモリへ電気的に結合されている３Ｄ画像復元器、
を有しており、前記復元器が、
１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、
オクルージョンによって隠されているビューである前記受取った複数個の画像特徴のうちの画像特徴を決定し、
３Ｄ深さ情報と関連しているコンフィデントシードである前記受取った複数個の画像特徴のうちの画像特徴を決定し、
オクルージョンによって隠されているビューであると決定された画像特徴を回避しながら、前記コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、
ことを特徴とする画像処理システム。 - 請求項１４において、更に、前記制御器／プロセッサへ電気的に結合されており、少なくとも１個のカメラから前記制御器／プロセッサへ画像情報を送るための少なくとも１個のカメラインターフェースを有していることを特徴とする画像処理システム。
- 請求項１４において、前記制御器／プロセッサ、前記メモリ、前記画像特徴検知器、前記画像マッチングモジュールが集積回路及び回路支持基板のうちの少なくとも１つにおいて実現されていることを特徴とする画像処理システム。
- 請求項１４において、更に、前記シーンの３Ｄ深さ情報に対応する３Ｄ画像を表示するための少なくとも１個のディスプレイインターフェースを有していることを特徴とする画像処理システム。
- ３Ｄ画像復元コンピュータシステム用のコンピュータ命令を有するコンピュータによって読取可能な媒体において、前記コンピュータ命令が、
１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的な運動の結果として異なるビューの間でずれている複数個の画像特徴を受取り、
オクルージョンによって隠されたビューである前記受取った複数個の画像特徴のうちの画像特徴を決定し、
３Ｄ深さ情報と関連しているコンフィデントシードである前記受取った複数個の画像特徴のうちの画像特徴を決定し、
オクルージョンによって隠されたビューであると決定された画像特徴を回避しながら前記コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、
上記各命令を有していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項１８において、前記伝播が、
前記シーンにおける高コントラスト領域周りにおいて可視的なコンフィデントシードを位置決めし、
高コントラスト領域周りの可視的なコンフィデントシードから低コントラスト領域周りにおいて可視的な画像特徴へオブジェクトの体積の表面を成長させる、を包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項１８において、前記伝播が、
前記シーンにおけるオブジェクトのエッジ周りにおいて可視的なコンフィデントシードを位置決めし、
オブジェクトのエッジ周りにおいて可視的なコンフィデントシードから前記シーンにおける均一な領域周りにおいて可視的な画像特徴へオブジェクトの体積の表面を成長させる、
ことを包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項１８において、前記シーンの異なる２Ｄビューの間で対応された前記複数個の画像特徴の各々がマッチング曲線と関連しており、且つコンフィデントシードである前記受取った複数個の画像特徴のうちの画像特徴を決定する場合に、
前記複数個のビューにおいて複数個の対応する画像特徴にわたってオーバーラップしているエラー領域を有しているコンフィデントシードを決定するために前記複数個のビューにわたって特性対（１個の局所的最大対１個の局所的最小）を位置決めすることにより前記コンフィデントシードを見つけ出す、
ことを包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項１８において、前記伝播が、コンフィデントシードが隣りの画像特徴の不確実性体積、即ちエラー領域内にあることが決定される限り前記コンフィデントシードから隣りの画像特徴への３Ｄ深さ情報を伝播させる、ことを特徴とするコンピュータによって読取可能な媒体。
- 請求項２２において、隣りの画像特徴の不確実性体積、即ちエラー領域が、前記コンフィデントシードの局所的最小位置及び大域的最小位置のうちの少なくとも１つと実質的に一致する限り３Ｄ深さ情報を前記コンフィデントシードから隣りの画像特徴へ伝播させることを特徴とするコンピュータによって読取可能な媒体。
- 請求項１８において、前記シーンの異なる２Ｄビューの間で対応された前記複数個の画像特徴が前記異なる２Ｄビューにおいて可視的なピクセルであることを特徴とするコンピュータによって読取可能な媒体。
- 請求項１８において、画像特徴に対する３Ｄ深さ情報が該画像特徴と関連するボクセルの位置を表わしていることを特徴とするコンピュータによって読取可能な媒体。
- 請求項１８において、コンフィデントシードに対して且つ隣りの画像特徴に対して決定された３Ｄ深さ情報を決定されるべき深さにおいてオクルージョンによって隠されていないビューの全ての間での一貫性に対してクロスチェックさせることを特徴とするコンピュータによって読取可能な媒体。
- 請求項２６において、前記オクルージョンによって隠されていないビューの間での一貫性クロスチェックが、
複数個の前記オクルージョンによって隠されていないビューの各々において画像特徴に対する３Ｄ深さ情報がエラー領域内にあることを決定する、
ことを包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項２６において、前記オクルージョンによって隠されていないビューの間での一貫性クロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が実質的に互いにマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定する、
ことを包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項２６において、前記オクルージョンによって隠されていないビューの間での一貫性クロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が特定した特性対と実質的にマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定する、
ことを包含していることを特徴とするコンピュータによって読取可能な媒体。 - 請求項２６において、前記オクルージョンによって隠されていないビューの間のクロスチェックが、
主題の画像特徴のマッチング曲線の特性及びその他のオクルージョンによって隠されていないビューにおける対応する画像特徴のマッチング曲線の特性が特定した特性対と実質的にマッチすることをクロスチェックすることによって画像特徴に対する３Ｄ深さ情報を決定し、
前記オクルージョンによって隠されていないビューの間で前記主題の画像特徴からその隣りの画像特徴まで一貫性拘束条件が実質的に満足されていることを決定する、
ことを特徴とするコンピュータによって読取可能な媒体。 - 電気装置において、
データメモリ、
３Ｄ画像復元用のコンピュータ命令を有するプログラムメモリ、
第一インターフェースと、前記データメモリと、前記プログラムメモリとに電気的に結合されている制御器／プロセッサであって、
１つのシーンの異なる２Ｄビューの間で対応された複数個の画像特徴であってカメラの相対的な運動の結果として異なるビューの間でずれている複数個の画像特徴に対応する画像情報を格納し、
オクルージョンによって隠されたビューである前記格納された複数個の画像特徴のうちの画像特徴を決定し、
３Ｄ深さ情報と関連しているコンフィデントシードである前記格納されている複数個の画像特徴のうちの画像特徴を決定し、
オクルージョンによって隠されているビューであると決定された画像特徴を回避しながら、前記コンフィデントシードから隣りの画像特徴へ３Ｄ深さ情報を伝播させる、
制御器／プロセッサ、
を有していることを特徴とする電気装置。 - 請求項３１において、更に、前記制御器／プロセッサへ電気的に結合されており、３Ｄ深さ情報に対応する３Ｄ画像ディスプレイ情報をディスプレイへ供給するディスプレイインターフェースを有していることを特徴とする電気装置。
- 請求項３２において、前記ディスプレイインターフェースが前記シーンのバーチャルウォークスルーのために３Ｄ画像ディスプレイ情報をディスプレイへ供給することを特徴とする電気装置。
- 請求項３１において、本電気装置が集積回路及び回路支持基板のうちの少なくとも１つを有していることを特徴とする電気装置。
- 請求項３１において、更に、少なくとも１個のカメラからの画像情報を受取るための少なくとも１個のカメラインターフェースを有していることを特徴とする電気装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/125,004 US6856314B2 (en) | 2002-04-18 | 2002-04-18 | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004005596A true JP2004005596A (ja) | 2004-01-08 |
Family
ID=28674705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003113735A Pending JP2004005596A (ja) | 2002-04-18 | 2003-04-18 | 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの３ｄ復元用方法及びシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6856314B2 (ja) |
| EP (1) | EP1355274A3 (ja) |
| JP (1) | JP2004005596A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013525821A (ja) * | 2010-05-07 | 2013-06-20 | 深▲せん▼泰山在線科技有限公司 | 構造化光測定方法及びシステム |
| CN103279993A (zh) * | 2013-05-29 | 2013-09-04 | 苏州市米想网络信息技术有限公司 | 一种图片转三维软件的实现方法 |
| JP2014140158A (ja) * | 2012-12-20 | 2014-07-31 | Ricoh Co Ltd | オクルージョンを意識した明視野像からの３次元シーンの再構成 |
Families Citing this family (119)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003209553A1 (en) * | 2002-03-13 | 2003-09-22 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
| US7031512B2 (en) * | 2002-04-18 | 2006-04-18 | Stmicroelectronics, Inc. | Method and system for 3D smoothing within the bound of error regions of matching curves |
| ITRM20020477A1 (it) * | 2002-09-25 | 2004-03-26 | Consiglio Nazionale Ricerche | Procedimento per la realizzazione di un fantoccio stereolitografato biomorfo, multicompartimentale e per esami multianalitici, e relativo dispositivo. |
| AU2003282364A1 (en) * | 2002-11-25 | 2004-06-18 | Mentorwave Technologies Ltd. | Method and apparatus for virtual walkthrough |
| US7069108B2 (en) | 2002-12-10 | 2006-06-27 | Jostens, Inc. | Automated engraving of a customized jewelry item |
| WO2005059835A1 (en) * | 2003-12-15 | 2005-06-30 | Koninklijke Philips Electronics N.V. | Contour recovery of occluded objects in images |
| US20050232463A1 (en) * | 2004-03-02 | 2005-10-20 | David Hirvonen | Method and apparatus for detecting a presence prior to collision |
| CA2563700C (en) * | 2004-04-19 | 2014-07-08 | Jostens, Inc. | System and method for smoothing three-dimensional images |
| US20070064099A1 (en) * | 2004-06-18 | 2007-03-22 | Raphaele Balter | Method of representing a sequence of pictures using 3d models, and corresponding devices and signals |
| CA2636858C (en) * | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| KR101423915B1 (ko) * | 2006-04-21 | 2014-07-29 | 삼성전자주식회사 | 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치 |
| US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
| EP2033164B1 (en) * | 2006-06-23 | 2015-10-07 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| WO2008089441A1 (en) | 2007-01-18 | 2008-07-24 | Jostens, Inc. | System and method for generating instructions for customization |
| WO2008112796A1 (en) | 2007-03-12 | 2008-09-18 | Jostens, Inc. | Method for embellishment placement |
| US8331674B2 (en) | 2007-04-06 | 2012-12-11 | International Business Machines Corporation | Rule-based combination of a hierarchy of classifiers for occlusion detection |
| KR101327791B1 (ko) * | 2007-09-11 | 2013-11-20 | 삼성전자주식회사 | 영상 매칭 장치 및 방법 |
| CN101822068B (zh) | 2007-10-11 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于处理深度图的方法和设备 |
| KR101367284B1 (ko) * | 2008-01-28 | 2014-02-26 | 삼성전자주식회사 | 시점 변화에 따른 영상 복원 방법 및 장치 |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| EP3876510A1 (en) | 2008-05-20 | 2021-09-08 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8243334B2 (en) * | 2008-06-06 | 2012-08-14 | Virginia Venture Industries, Llc | Methods and apparatuses for printing three dimensional images |
| US9792718B2 (en) * | 2008-07-25 | 2017-10-17 | Qualcomm Incorporated | Mapping graphics instructions to associated graphics data during performance analysis |
| US8587593B2 (en) * | 2008-07-25 | 2013-11-19 | Qualcomm Incorporated | Performance analysis during visual creation of graphics images |
| US8254724B2 (en) * | 2008-11-06 | 2012-08-28 | Bausch & Lomb Incorporated | Method and apparatus for making and processing aberration measurements |
| TWI384887B (zh) * | 2009-06-11 | 2013-02-01 | Univ Nat Central | 多視點影像編解碼方法 |
| EP2275989B1 (de) | 2009-07-06 | 2012-09-12 | Sick Ag | Stereoskopische 3D-Kamera |
| US8457155B2 (en) * | 2009-09-11 | 2013-06-04 | Nokia Corporation | Encoding and decoding a multi-view video signal |
| EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
| CN102762997B (zh) * | 2010-02-22 | 2015-05-27 | 皇家飞利浦电子股份有限公司 | 用于涉及并行mri的多核mr图像重构的rf天线装置和方法 |
| US8977377B2 (en) | 2010-02-25 | 2015-03-10 | Jostens, Inc. | Method for digital manufacturing of jewelry items |
| CN103004180A (zh) | 2010-05-12 | 2013-03-27 | 派力肯影像公司 | 成像器阵列和阵列照相机的架构 |
| KR20120049636A (ko) * | 2010-11-09 | 2012-05-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| JP6396658B2 (ja) | 2010-12-02 | 2018-09-26 | ウルトラデント プロダクツ インコーポレイテッド | 立体視ビデオ画像を観察および追跡するためのシステムおよび方法 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
| US8305456B1 (en) | 2011-05-11 | 2012-11-06 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
| US9536312B2 (en) | 2011-05-16 | 2017-01-03 | Microsoft Corporation | Depth reconstruction using plural depth capture units |
| US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
| WO2013079660A1 (en) * | 2011-11-30 | 2013-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Disparity map generation including reliability estimation |
| US9208265B2 (en) | 2011-12-02 | 2015-12-08 | Jostens, Inc. | System and method for jewelry design |
| US9235920B2 (en) | 2011-12-22 | 2016-01-12 | Telefonaktiebolaget L M Ericsson (Publ) | Method and processor for 3D scene representation |
| WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| KR101706216B1 (ko) | 2012-04-03 | 2017-02-13 | 한화테크윈 주식회사 | 고밀도 삼차원 영상 재구성 장치 및 방법 |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| US9047507B2 (en) * | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| AU2013202775B2 (en) * | 2012-06-01 | 2015-09-17 | Ultradent Products, Inc. | Stereoscopic video imaging |
| KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| EP3869797B1 (en) | 2012-08-21 | 2023-07-19 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
| US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| WO2014052974A2 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating images from light fields utilizing virtual viewpoints |
| US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| US20140192052A1 (en) * | 2013-01-09 | 2014-07-10 | Advanced Micro Devices, Inc. | 2d rendering on 3d graphics hardware |
| US9582615B2 (en) | 2013-01-16 | 2017-02-28 | Jostens, Inc. | Modeling using thin plate spline technology |
| KR20140094395A (ko) * | 2013-01-22 | 2014-07-30 | 삼성전자주식회사 | 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 |
| US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| WO2014145856A1 (en) * | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| JP6097150B2 (ja) * | 2013-05-24 | 2017-03-15 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
| USD789228S1 (en) | 2013-11-25 | 2017-06-13 | Jostens, Inc. | Bezel for a ring |
| US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
| EP2933779A1 (en) * | 2014-04-15 | 2015-10-21 | Alcatel Lucent | Capturing an environment with objects |
| CN105323573B (zh) * | 2014-07-16 | 2019-02-05 | 北京三星通信技术研究有限公司 | 三维图像显示装置和方法 |
| US9712807B2 (en) * | 2014-09-08 | 2017-07-18 | Intel Corporation | Disparity determination for images from an array of disparate image sensors |
| KR102347658B1 (ko) * | 2014-09-19 | 2022-01-05 | 한화테크윈 주식회사 | 영상 처리 방법 |
| WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
| US9629698B2 (en) | 2014-11-04 | 2017-04-25 | James R. Glidewell Dental Ceramics, Inc. | Method and apparatus for generation of 3D models with applications in dental restoration design |
| KR102312334B1 (ko) * | 2015-02-17 | 2021-10-13 | 삼성전자주식회사 | 프린팅 정보를 생성하는 디바이스 및 프린팅 정보를 생성하는 방법 |
| CN104699842B (zh) * | 2015-03-31 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 图片展示方法和装置 |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| EP3200151A1 (en) * | 2016-01-29 | 2017-08-02 | Thomson Licensing | Method and device for obtaining a depth map |
| US10136116B2 (en) | 2016-03-07 | 2018-11-20 | Ricoh Company, Ltd. | Object segmentation from light field data |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| US11559378B2 (en) | 2016-11-17 | 2023-01-24 | James R. Glidewell Dental Ceramics, Inc. | Scanning dental impressions |
| US10284731B2 (en) | 2016-11-29 | 2019-05-07 | Echostar Technologies L.L.C. | Apparatus, systems and methods for generating 3D model data from a media content event |
| EP3559740A4 (en) * | 2016-12-22 | 2020-09-09 | EVA - Esthetic Visual Analytics Ltd. | REAL-TIME TRACKING FOR THREE-DIMENSIONAL IMAGING |
| EP3559741B1 (en) | 2016-12-22 | 2021-09-22 | Cherry Imaging Ltd | Three-dimensional image reconstruction using multi-layer data acquisition |
| US11402740B2 (en) | 2016-12-22 | 2022-08-02 | Cherry Imaging Ltd. | Real-time tracking for three-dimensional imaging |
| US11412204B2 (en) | 2016-12-22 | 2022-08-09 | Cherry Imaging Ltd. | Three-dimensional image reconstruction using multi-layer data acquisition |
| TWI658720B (zh) | 2016-12-30 | 2019-05-01 | 創研光電股份有限公司 | 運用變焦影像資訊以改善原視差影像匹配錯誤之方法 |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US11599968B2 (en) * | 2017-10-11 | 2023-03-07 | Nokia Technologies Oy | Apparatus, a method and a computer program for volumetric video |
| US10484667B2 (en) * | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
| US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
| CN109272543B (zh) * | 2018-09-21 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| US11354862B2 (en) | 2019-06-06 | 2022-06-07 | Universal City Studios Llc | Contextually significant 3-dimensional model |
| US11540906B2 (en) | 2019-06-25 | 2023-01-03 | James R. Glidewell Dental Ceramics, Inc. | Processing digital dental impression |
| US11622843B2 (en) | 2019-06-25 | 2023-04-11 | James R. Glidewell Dental Ceramics, Inc. | Processing digital dental impression |
| US11534271B2 (en) | 2019-06-25 | 2022-12-27 | James R. Glidewell Dental Ceramics, Inc. | Processing CT scan of dental impression |
| BR112022004811A2 (pt) | 2019-09-17 | 2022-06-21 | Boston Polarimetrics Inc | Sistemas e métodos para modelagem de superfície usando indicações de polarização |
| KR20210036574A (ko) * | 2019-09-26 | 2021-04-05 | 삼성전자주식회사 | 자세 추정 방법 및 장치 |
| CN114746717A (zh) | 2019-10-07 | 2022-07-12 | 波士顿偏振测定公司 | 利用偏振进行表面法线感测的系统和方法 |
| WO2021108002A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
| JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
| WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
| US11544846B2 (en) | 2020-08-27 | 2023-01-03 | James R. Glidewell Dental Ceramics, Inc. | Out-of-view CT scan detection |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5537494A (en) * | 1990-05-29 | 1996-07-16 | Axiom Innovation Limited | Video image data encoding and compression system using edge detection and luminance profile matching |
| US6246784B1 (en) * | 1997-08-19 | 2001-06-12 | The United States Of America As Represented By The Department Of Health And Human Services | Method for segmenting medical images and detecting surface anomalies in anatomical structures |
| US6297825B1 (en) * | 1998-04-06 | 2001-10-02 | Synapix, Inc. | Temporal smoothing of scene analysis data for image sequence generation |
-
2002
- 2002-04-18 US US10/125,004 patent/US6856314B2/en not_active Expired - Lifetime
-
2003
- 2003-04-16 EP EP03252417A patent/EP1355274A3/en not_active Withdrawn
- 2003-04-18 JP JP2003113735A patent/JP2004005596A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013525821A (ja) * | 2010-05-07 | 2013-06-20 | 深▲せん▼泰山在線科技有限公司 | 構造化光測定方法及びシステム |
| JP2014140158A (ja) * | 2012-12-20 | 2014-07-31 | Ricoh Co Ltd | オクルージョンを意識した明視野像からの３次元シーンの再構成 |
| CN103279993A (zh) * | 2013-05-29 | 2013-09-04 | 苏州市米想网络信息技术有限公司 | 一种图片转三维软件的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1355274A3 (en) | 2008-01-16 |
| US6856314B2 (en) | 2005-02-15 |
| EP1355274A2 (en) | 2003-10-22 |
| US20030198377A1 (en) | 2003-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004005596A (ja) | 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの３ｄ復元用方法及びシステム | |
| US7031512B2 (en) | Method and system for 3D smoothing within the bound of error regions of matching curves | |
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| US9426444B2 (en) | Depth measurement quality enhancement | |
| JP5011319B2 (ja) | 画像における指向性の穴埋め | |
| RU2504010C2 (ru) | Способ и устройство заполнения зон затенения карты глубин или несоответствий, оцениваемой на основании по меньшей мере двух изображений | |
| Tsai et al. | Dense disparity estimation with a divide-and-conquer disparity space image technique | |
| KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
| KR101618776B1 (ko) | 3차원 깊이 영상의 개선 방법 | |
| US8994722B2 (en) | Method for enhancing depth images of scenes using trellis structures | |
| EP1063614A2 (en) | Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium | |
| Oliveira et al. | Selective hole-filling for depth-image based rendering | |
| JP2011141710A (ja) | 奥行推定装置、奥行推定方法および奥行推定プログラム | |
| JP2007053621A (ja) | 画像生成装置 | |
| Kim et al. | Depth image filter for mixed and noisy pixel removal in RGB-D camera systems | |
| JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
| EP3127087A1 (en) | Motion field estimation | |
| GB2537831A (en) | Method of generating a 3D representation of an environment and related apparatus | |
| EP3115964A1 (en) | Method and device for removing an object in a video | |
| WO2022122701A1 (en) | Apparatus and method for processing a depth map | |
| EP3809372B1 (en) | Method of real-time generation of 3d imaging | |
| JP4775221B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
| JP2013114682A (ja) | 仮想画像を生成する方法 | |
| Kim et al. | Disparity space image-based stereo matching using optimal path searching | |
| Kang et al. | Generation of multi-view images using stereo and time-of-flight depth cameras |