JP2006509211A - 多重同期ビデオストリームからの動的奥行き復元 - Google Patents
多重同期ビデオストリームからの動的奥行き復元 Download PDFInfo
- Publication number
- JP2006509211A JP2006509211A JP2004558654A JP2004558654A JP2006509211A JP 2006509211 A JP2006509211 A JP 2006509211A JP 2004558654 A JP2004558654 A JP 2004558654A JP 2004558654 A JP2004558654 A JP 2004558654A JP 2006509211 A JP2006509211 A JP 2006509211A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- image
- images
- depth
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
複数台のカメラからの画像のシーケンスの動的奥行きマップを生成する方法は、カラーに基づく画像セグメンテーションによって誘起された3次元区分的に平坦な表面パッチの集合によってシーンをモデル化する。この表現は、3次元幾何、運動、及び大域的な可視性制約が空間と時間に亘って実施される増分解析を使用して連続的に評価される。提案されたアルゴリズムは、空間カラー整合性制約を組み込むコスト関数と、滑らかなシーン運動モデルとを最適化する。
Description
[0001]本発明は、奥行き情報を復元する画像処理アルゴリズムに関し、特に、簡易化された客観的な関数によって最適化されたカラーセグメンテーションとオプティカルフローとを用いて奥行きマップを生成する増分アルゴリズムに関する。
[0002]多視点から同時に撮影された画像を使用して奥行き情報を復元する問題は広く研究されている。近年、コンピューティングテクノロジー及びイメージングテクノロジーの進歩に伴って、多重同期高品質ビデオストリームの撮影は容易化し、同期撮影を使用して動的シーンの奥行きマップを復元する問題が徐々に注目されている。以下の内容では、この問題は動的奥行き復元と呼ばれる。動的奥行き復元は、奥行き解法が、望ましくは、複数の視野だけでなく、異なる時刻に亘る画像の整合性を取る従来のステレオ計算問題の拡張であるとみなされる。
[0003]動的奥行き復元の簡単なアプローチは標準的なステレオ推定アルゴリズムを各時刻で適用することである。初期のステレオアルゴリズムに関する包括的な調査は、論文:U.R.Dhondら著、「Structure From Stereo: a Review」、IEEE Transactions on System, Man and Cybernetics、vol.19、No.6、pp.1489−1510、1989に記載されている。二つの画像シーケンスから奥行き情報を見つける1つの新しいアプローチは、論文:H.Taoら著、「Global Matching Criterion and Color Segmentation Based Stereo」、Proc.Workshop on the Application of Computer Vision (WACV2000)、pp.246−253、2000年12月に記載されている。これらのアルゴリズムの基礎となる原理は、全視野に亘って画像一致指標を最適化する奥行き解法を見つけることである。この指標は空間一致指標と称される。しかし、この簡単な解法は多重視野画像シーケンスに存在する二つの制約を無視する。
[0004]第1の制約は、シーン点の3次元運動と、多重同期画像内のその2次元投影との間の幾何学的な関係を符号化する。この関係はシーンフロー制約と称される。この制約を適用することにより、時間的な2次元画像の対応は、3次元シーン運動を推論するため、したがって、長時間に亘る奥行き情報を制約するため使用される。オプティカルフロー技術を使用して処理されたステレオ画像に関して、正確なオプティカルフロー計算は、シーンフロー制約を奥行き推定に巧く直接適用するために重要である。これらの計算が重要であるのは、物体境界とテクスチャのない領域における不確実なフローの影響が最終的な奥行きマップに波及するからである。
[0005]第2の制約は、シーン内の物体が一般に滑らかに変形又は移動するという観察から生じる。この制約を適用することは、時間的に整合性のある奥行き解法を獲得し、単一の時刻で解明することが容易ではない曖昧さを除去するために役立つ。この制約は、論文:K.Hannaら著、「Combining Stereo and Motion Analysis for Direct Estimation of Scene Structure」、Proc.Int.Conf.on Computer Vision、pp.357−365、1993に記載されているような剛体パラメトリック運動モデルを使用して適用されている。この制約はまた、論文:Y.Zhangら著、「Integrated 3D Scene Flow and Structure Recovery from Multiview Image Sequences」、Proc.IEEE Conf.on Computer Vision and Pattern Recognition (CVPR ’00)、pp.II−674−681、2000に記載されているような非剛体パラメトリック運動モデルを使用して適用されている。
[0006]本発明は、各組が様々な視点から得られた画像を含む、シーンの分割された画像の組のシーケンスからシーンの動的奥行きマップを生成する方法に具現化される。この方法は、現在の分割された画像の組内の各セグメントに対する時間的奥行き予測値を得るため、現在の組内の1つの画像におけるセグメントと前の画像の組における画像内の対応するセグメントとの間に時間的な対応を定める。この方法は、次に、現在の画像の組の1つの画像内の各セグメントに対する空間的奥行き予測値を得るため、現在の分割された画像の組内のセグメント間に空間的な対応を定める。この方法は、次に、セグメントのそれぞれに対する初期奥行き推定値として時間的奥行き予測値又は空間的奥行き予測値を選択し、ワープ画像を作成するため現在画像を現在の画像の組における他の各画像の座標系に歪ませる。この方法は、次に、ワープ画像と現在の画像の組内の他の画像のそれぞれとの間の差の指標を生成する。奥行き値を選択するステップ、画像を歪ませるステップ及び差の指標を生成するステップは、差の最小指標が見つけられるまで繰り返される。
概要
[0007]本発明は、以下の詳細な説明を添付図面と共に読むときに最もよく理解される。なお、慣行に従って、図面の種々の特徴は縮尺が正しくないことを強調しておく。これに対して、種々の特徴の寸法は明確にするため任意に拡大又は縮小される。図面には後述の図が含まれる。
[0007]本発明は、以下の詳細な説明を添付図面と共に読むときに最もよく理解される。なお、慣行に従って、図面の種々の特徴は縮尺が正しくないことを強調しておく。これに対して、種々の特徴の寸法は明確にするため任意に拡大又は縮小される。図面には後述の図が含まれる。
[0017]本発明は、区分的に平坦な表面パッチにより構成されたシーン表現が増分解析の範囲内で推定される動的奥行き復元方法を対象とする。典型的なアルゴリズムでは、この表現は、1つには入力画像のカラーセグメンテーションに基づいて、もう1つにはオプティカルフローに基づいて導出される。提案された解析は、空間と時間の両方に亘る幾何、運動、及び可視性に関する制約を統合する。より詳細には、画像内の各均一色領域と各テクスチャ領域に対応するシーン表面は、3次元平面としてモデル化される。この平面の運動は定速度モデルを使用して記述される。この表現のための空間一致指標及びシーンフロー制約が解析される。典型的な動的奥行き復元アルゴリズムは、空間一致指標が各平坦な表面の平面外運動だけに依存するという観察に基づいて開発された。この典型的な方法は、シーンフロー制約を明示的に使用することなく運動モデルを実施し、したがって、オプティカルフロー計算における誤差の奥行き推定への伝播を回避する。上記のTaoらによる論文で提案された大域的マッチングフレームワークは、可視性制約を実施し、同時に、奥行き解法を初期化し改良するため採用される。その結果として、可視性制約は様々な視野と様々な時刻の両方に亘って実施される。
[0018]図1A及び1Bは、マルチカメラビデオ撮影システムの構成を示す。簡潔にするため、また、一般性を失わないように、単一の平坦な構造体の運動に関する解析を最初に説明する。この解析は区分的に平坦なシーンの記述を取り扱うためにそのまま適用される。本明細書において説明される実施形態のすべてにおいて、多重画像を復元するカメラの固有パラメータ及び外部パラメータの両方は既知であると仮定する。カメラ外部パラメータ、すなわち、カメラの相対的位置及び方向は、基準視野のカメラ座標系に関して表現される。平坦なシーン表面はまたこの座標系で表現される。M+1台のカメラの較正マトリックスは、KV,ν=0,...,Mである。回転と並進のペア(R0,T0)=(I,0)は基準カメラ0のカメラ姿勢を表現し、ペア(Rν,Tν)は検査カメラν∈{1,...,M}の姿勢を表現する。本発明は以下で単一の基準カメラ及び単一の検査カメラの点から説明されているが、複数台の検査カメラを使用して実施することが考慮されている。これは、時刻tにおけるセグメントs 100と、時刻t+1におけるセグメントs 102を表す図1Aに示されている。時刻tとt+1との間のセグメントsの運動は、回転と並進のペア
Rs,t→t+1、Ts,t→t+1によって表現される。
Rs,t→t+1、Ts,t→t+1によって表現される。
[0019]時刻tの間に、基準視野内の奥行きマップだけが推定される。この表現において、基準視野内のS個の均一色セグメントのそれぞれはワールド内の平坦な表面に対応する。したがって、奥行きマップは、平面パラメータ
から導出され、式中、ns,t,0は時刻tにおけるセグメントs内の平坦な表面の法線ベクトルであり、ds,t,0はその平面から基準カメラの中心までの距離である。
から導出され、式中、ns,t,0は時刻tにおけるセグメントs内の平坦な表面の法線ベクトルであり、ds,t,0はその平面から基準カメラの中心までの距離である。
[0020]いかなる時刻でも、シーン平面の関係する複数の視野は空間マッチング制約の原因となる。これらの視野の中で同じシーン平面上の一致した画像点は平面の幾何を過度に制約する。他方で、時間経過中にシーン平面の関係する複数の視野は平坦なシーンフロー制約の原因となる。時間経過中に同じシーン平面上の一致した画像点は、平面の3次元運動を過剰に制約し、次に、平面の幾何を過剰に制約する。典型的な動的奥行き復元アルゴリズムは、運動の滑らかさによる事前制約を受ける空間一致指標及び時間一致指標を最適化する区分的に平坦な奥行きマップを提供する。
空間一致指標
[0021]Taoらによる上記の論文に記載された大域的マッチングフレームワークを採用して、典型的な方法は、実際の検査視野と、基準画像及びその奥行きマップに基づいて予測された検査視野との間の差の関数である一致指標を計算する。予測は、大域的可視性がzバッファリングを使用して取り扱われる奥行きに基づく前方ワーピングによって行われる。各セグメントのワーピング関数は、その平面パラメータによって決まるホモグラフィである。簡潔に言うと、本発明の典型的な実施形態において、大域的一致指標は、実際の検査画像と、ホモグラフィを使用して基準画像を前方ワーピングすることにより得られた予測された検査画像との間の平方差の合計の、全画像セグメントと全検査画像に関する合計である。図1Bに示されているように、
[0021]Taoらによる上記の論文に記載された大域的マッチングフレームワークを採用して、典型的な方法は、実際の検査視野と、基準画像及びその奥行きマップに基づいて予測された検査視野との間の差の関数である一致指標を計算する。予測は、大域的可視性がzバッファリングを使用して取り扱われる奥行きに基づく前方ワーピングによって行われる。各セグメントのワーピング関数は、その平面パラメータによって決まるホモグラフィである。簡潔に言うと、本発明の典型的な実施形態において、大域的一致指標は、実際の検査画像と、ホモグラフィを使用して基準画像を前方ワーピングすることにより得られた予測された検査画像との間の平方差の合計の、全画像セグメントと全検査画像に関する合計である。図1Bに示されているように、
[0022]より詳細に説明すると、時刻tにおいて、基準視野It,0と、検査視野It,v,ν=1,...,Mに関して、大域的一致指標は式(1)によって与えられる。
式中、
であり、g()は平方差を合計する関数である。なお、検査視野内で可視的な画素だけが考慮されることに注意すべきである。セグメントsに関して、前方ワーピング関数は、平面モデルによって導入されたホモグラフィHs,t,0→s,t,vによって、セグメントIs,t,0の画像100を検査視野ν 100’へ歪ませる。このホモグラフィは式(2)に示されるように計算される。
式中、R0→ν及びT0→νは、基準視野0と検査視野νとの間の相対的回転及び並進である。このホモグラフィは、セグメントsの平面に対する法線であるベクトルと、カメラ中心から平面までの距離だけによって決定される。したがって、ホモグラフィは平面外運動だけによる影響を受け、その理由は平面内運動が平面法線と距離を変わらない状態のままにするからである。
式中、
であり、g()は平方差を合計する関数である。なお、検査視野内で可視的な画素だけが考慮されることに注意すべきである。セグメントsに関して、前方ワーピング関数は、平面モデルによって導入されたホモグラフィHs,t,0→s,t,vによって、セグメントIs,t,0の画像100を検査視野ν 100’へ歪ませる。このホモグラフィは式(2)に示されるように計算される。
式中、R0→ν及びT0→νは、基準視野0と検査視野νとの間の相対的回転及び並進である。このホモグラフィは、セグメントsの平面に対する法線であるベクトルと、カメラ中心から平面までの距離だけによって決定される。したがって、ホモグラフィは平面外運動だけによる影響を受け、その理由は平面内運動が平面法線と距離を変わらない状態のままにするからである。
シーンフロー制約
[0023]図1Bは、基準画像110と検査画像112の二つの画像を表す。これらの画像のそれぞれにおいて、平面セグメントsは並進と回転を行う。画像110において、セグメントの初期位置はセグメント100として示され、その並進及び回転させられた位置はセグメント102として示される。基準画像112において、初期位置はセグメント100’によって表現され、並進及び回転させられた位置はセグメント102’によって表現される。これらのシーンフロー制約は、平面の3次元運動と、得られた2次元オプティカルフロー場又は画像対応を関係づける。図1Bを参照すると、セグメントsの平面100は、平面102を作成するため、回転/並進ペア
(Rs,t→t+1,Ts,t→t+1)によって記述された運動をさせられる。時刻tとt+1の間の基準視野内の平面100の画像投影は式(3)のホモグラフィによって関係づけられる。
また、時刻tにおける基準視野内の平面100と、時刻t+1における検査視野内の並進及び回転させられた平面102’との間のホモグラフィは式(4)によって与えられる。
式中、第1項は二つの時刻の間のセグメントsの視野νにおけるホモグラフィであり、視野νのカメラ座標系において式(3)を用いて計算可能である。第2項は前のセクションで定義された空間ホモグラフィである。したがって、式(4)は、検査画像112内の平面102’と一致させることを試みるべく基準画像110内の平面100を前方ワープするため使用される。
[0023]図1Bは、基準画像110と検査画像112の二つの画像を表す。これらの画像のそれぞれにおいて、平面セグメントsは並進と回転を行う。画像110において、セグメントの初期位置はセグメント100として示され、その並進及び回転させられた位置はセグメント102として示される。基準画像112において、初期位置はセグメント100’によって表現され、並進及び回転させられた位置はセグメント102’によって表現される。これらのシーンフロー制約は、平面の3次元運動と、得られた2次元オプティカルフロー場又は画像対応を関係づける。図1Bを参照すると、セグメントsの平面100は、平面102を作成するため、回転/並進ペア
(Rs,t→t+1,Ts,t→t+1)によって記述された運動をさせられる。時刻tとt+1の間の基準視野内の平面100の画像投影は式(3)のホモグラフィによって関係づけられる。
また、時刻tにおける基準視野内の平面100と、時刻t+1における検査視野内の並進及び回転させられた平面102’との間のホモグラフィは式(4)によって与えられる。
式中、第1項は二つの時刻の間のセグメントsの視野νにおけるホモグラフィであり、視野νのカメラ座標系において式(3)を用いて計算可能である。第2項は前のセクションで定義された空間ホモグラフィである。したがって、式(4)は、検査画像112内の平面102’と一致させることを試みるべく基準画像110内の平面100を前方ワープするため使用される。
[0024]平面の3次元運動によって誘導されたセグメントsの時間一致指標
は式(5)によって与えられる。
この誤差関数は、運動前の視野0と運動後の視野νとの間の一致指標を計算する。なお、ちょうど1つの視野に対する時間ホモグラフィ制約は平面運動パラメータの解法のために十分であることに注意すべきである。したがって、誤差関数は平面の運動パラメータを過剰に制約する。時間一致指標が平面内運動及び平面外運動の両方による影響を受けることは明らかである。
は式(5)によって与えられる。
この誤差関数は、運動前の視野0と運動後の視野νとの間の一致指標を計算する。なお、ちょうど1つの視野に対する時間ホモグラフィ制約は平面運動パラメータの解法のために十分であることに注意すべきである。したがって、誤差関数は平面の運動パラメータを過剰に制約する。時間一致指標が平面内運動及び平面外運動の両方による影響を受けることは明らかである。
運動の滑らかさ制約
[0025]定速度モデル又は定加速度モデルのような種々の運動モデルは、奥行き推定プロセスを制約するため利用される。本発明の典型的な実施形態は、各セグメントの局所座標系における一定並進/回転速度モデルを使用する。この座標系は基準カメラ座標系の原点を画像セグメントの重心に対応する平面上の点に並進させることにより得られる。後述の瞬時的な運動定式化を使用して、このモデルはまた法線ベクトルn及び平面距離
に一定速度を生じさせることがわかる。すなわち、平面の運動に対する定速度モデルによってその平面外運動パラメータに対する定速度モデルが生じる。このモデルからの逸脱は、奥行き推定プロセスに統合された運動の滑らかさコスト関数によってペナルティが科される。
[0025]定速度モデル又は定加速度モデルのような種々の運動モデルは、奥行き推定プロセスを制約するため利用される。本発明の典型的な実施形態は、各セグメントの局所座標系における一定並進/回転速度モデルを使用する。この座標系は基準カメラ座標系の原点を画像セグメントの重心に対応する平面上の点に並進させることにより得られる。後述の瞬時的な運動定式化を使用して、このモデルはまた法線ベクトルn及び平面距離
に一定速度を生じさせることがわかる。すなわち、平面の運動に対する定速度モデルによってその平面外運動パラメータに対する定速度モデルが生じる。このモデルからの逸脱は、奥行き推定プロセスに統合された運動の滑らかさコスト関数によってペナルティが科される。
[0026]本発明の典型的な実施形態で使用される瞬時的な運動定式化が平面とそのパラメータn及びdの両方に関して一定である運動を生じさせることは次のように明らかにされる。平坦なシーンが、ω及びτがそれぞれ回転及び並進であるとき、
P’=ω×P+τによって記述される運動を行うならば、平面nTP=dの平面外運動は、n’=ω×n及びd’=nTτによって与えられる。その結果、定速度ω及びτに対し、平面パラメータn及びdに対して誘導される速度も一定である。
P’=ω×P+τによって記述される運動を行うならば、平面nTP=dの平面外運動は、n’=ω×n及びd’=nTτによって与えられる。その結果、定速度ω及びτに対し、平面パラメータn及びdに対して誘導される速度も一定である。
バッチ解析及び増分推定
[0028]上記の幾何制約及び運動モデルが定義されると、時刻1からTまでの奥行きマップを推定することは、式(7)で与えられるコスト関数を最小にする平面パラメータを見つけることと等価である。
式中、定数α、β、γ、λ∈[0,1]は各項の重みである。理想的には、上記関数のすべての項が最適奥行きマップを見つけるため利用されるべきである。しかし、第2項、すなわち、シーンフロー制約は、長時間に亘るホモグラフィに依拠し、次に、このホモグラフィがフロー又は区分的にパラメトリックである運動推定の精度に依存する。この項はテクスチャのない領域又は小さい空間サポートを備えたセグメントに対して不確実になるかもしれない。したがって、この項は本発明の典型的な実施形態で使用するアルゴリズムのためのコスト関数から削除される。したがって、1つの典型的なコスト関数は、奥行きマップを計算するため空間一致指標と運動の時間的な滑らかさだけに依存する。
[0028]上記の幾何制約及び運動モデルが定義されると、時刻1からTまでの奥行きマップを推定することは、式(7)で与えられるコスト関数を最小にする平面パラメータを見つけることと等価である。
式中、定数α、β、γ、λ∈[0,1]は各項の重みである。理想的には、上記関数のすべての項が最適奥行きマップを見つけるため利用されるべきである。しかし、第2項、すなわち、シーンフロー制約は、長時間に亘るホモグラフィに依拠し、次に、このホモグラフィがフロー又は区分的にパラメトリックである運動推定の精度に依存する。この項はテクスチャのない領域又は小さい空間サポートを備えたセグメントに対して不確実になるかもしれない。したがって、この項は本発明の典型的な実施形態で使用するアルゴリズムのためのコスト関数から削除される。したがって、1つの典型的なコスト関数は、奥行きマップを計算するため空間一致指標と運動の時間的な滑らかさだけに依存する。
[0029]平面内運動の滑らかさ項Eiもまた同じ理由から落とされる。このモードでは、オプティカルフローの項における運動推定は依然として利用されるが、画素又はセグメント間の時間的対応関係を設定することだけを目的とする。この対応関係は、運動の滑らかさ制約を使用して平面パラメータを予測するために続いて利用される。このような簡単化はオプティカルフローの精度の必要条件を下げるが、その理由は、対応する画素が正しいセグメント内にある限り、フロー場の誤差が平面パラメータの予測に影響を与えないからである。この簡単化の利点はさらに後述される。したがって、式(7)のコスト関数は式(8)に示されたコスト関数に簡単化される。
[0030]時刻tより前の奥行き情報が与えられるか、又は既に推定されているとき、時刻tの奥行きは増分解析を使用して計算できる。コスト関数は、時刻tにおける空間一致指標と、運動の滑らかさ指標とにより構成される。より詳細には、増分解析のためのコスト関数は式(9)によって与えられる。
式中、
は滑らかな運動モデルに基づく予測された平面パラメータを表す。関数
は2組の平面パラメータ
と
との間の差を表す。この関数はセグメントの内部の点間の平均距離として計算される。
式中、
は滑らかな運動モデルに基づく予測された平面パラメータを表す。関数
は2組の平面パラメータ
と
との間の差を表す。この関数はセグメントの内部の点間の平均距離として計算される。
[0031]上記の解析は、本発明の典型的な実施形態によって使用されるアルゴリズムを定式化する。上記の増分解析に基づく典型的なアルゴリズムの基本フローチャートは図2に示される。
[0032]このアルゴリズムの第1のステップであるステップ200は初期基準画像及び検査画像を取得する。次に、ステップ205において、このプロセスはこれらの画像を使用して初期奥行きマップを生成する。この奥行きマップは、初期基準視野及び1つ以上の初期検査視野を二つのステレオ画像として使用して、上記のステレオマッチングアルゴリズムの何れにより生成してもよい。これらの画像の時刻パラメータはt=0である。初期奥行きマップを見つける1つの方法は、後述するように、カラーセグメンテーションアルゴリズムを初期基準視野及び検査視野に適用することである。
[0033]ここに説明するカラーセグメンテーションアルゴリズムは画像の組に対する初期奥行きマップを取得するため使用される。このアルゴリズムは、しかし、後述のように、各時刻における画像に対する奥行きマップを生成する増分解析においても使用される。
[0034]ステレオマッチングは、曖昧さ、シーン構造の変化を原因とする画像歪み、シャープな表面境界の描写、及び二つの画像のオクルージョン/オクルージョン解消を原因とする不一致領域のマッチングの問題を取り扱う。典型的に、マッチングの曖昧さを取り扱うため、ウィンドウ操作が実行され、画素よりも広い領域に亘って情報が統合される。これにより、伝統的なマッチング曖昧性除去と奥行き精度は両立しなくなる。十分なディテールを含むエリアでは、小さいウィンドウが十分なマッチング情報を与えるが、より広い奥行き変動(視差)の範囲に亘るマッチングは曖昧な一致が原因となって不可能である。
[0035]多数の既存のステレオアルゴリズムにおける困難なタスクの1つは、テクスチャ無しの領域において正確な奥行きを見つけることである。小さいウィンドウは本質的にこれらの領域において曖昧であるため、最良マッチングスコアを選ぶことにより作成される奥行きマップは一般にノイズを含む。
[0036]典型的なカラーセグメンテーションアプローチに重要である観察は、均一色の領域の範囲内では一般に大きい奥行き不連続が存在しないことである。この観察は基準画像の均一色領域への分割に基づく奥行き表現が有用であることを示唆する。各カラーセグメントに対する平面と残存視差による表現は、典型的な局所奥行きマッピングのカラーセグメンテーション方法を作成するため使用されている。より詳細には、各カラーセグメントにおいて、奥行き表面は、平坦な表面に画素ごとの小さい奥行き変動を加えたものとしてモデル化される。この表現を用いることにより、テクスチャのない領域における奥行きは滑らかであることが保証される。さらに、近傍領域に基づく所定の領域の奥行きを仮定することにより、一致しない領域に対しても合理的な奥行き推定値を得る方法が利用される。
[0037]このモデルはテクスチャのない領域に滑らかさを保証する。滑らかではあるが、多数の小さいセグメントが存在し、テクスチャのある領域の場合、滑らかさはセグメントを越えて適用されない。しかし、奥行き推定は、滑らかさ制約が無くてもこれらのエリアにおいて信頼できる傾向がある。
[0038]本発明の典型的な実施形態は、奥行き境界がカラーセグメンテーション境界と一致するという一般的に有効なヒューリスティックに基づいている。カラーセグメントと意味的/物体領域との関連付けは、一般には、カラーセグメンテーション作業として試行しなくてもよい。各セグメントの表現を初期化する方法は、画像視差に基づく局所マッチングスコアを計算することである。次に、セグメント内の各画素に対する最良一致を見つけ出し、平面をそのセグメントに当てはめる。簡単な帰納的アルゴリズムが平面を調整するため使用される。
[0039]さらにまた、局所マッチングスコアに基づく、又は走査線だけに沿った大域的可視性を実施しようとするのではなく、より基本的な大域的マッチング規準が利用される。この規準は、奥行きが正確であるならば、奥行きに従って第2の視点へ描写された画像はその視点からの実際の視野に類似するに違いないことを主張する。この規準は、合成による解析のパラダイムに追随し、究極的なマッチング規準である。それは、大域的可視性を適用することにより、あらゆる奥行きマップの優秀性をチェックする方法を提供する。精密な奥行き境界及び薄い構造もまたこの規準に基づいて取得される。
[0040]このアプローチに関する二つの当面の関心事は、解空間が膨大であること、並びに、合成プロセスがコスト高であることである。N画素を含む画像に対して、各画素がd個の異なる量子化された奥行き値を有するならば、種々の考えられる奥行きマップの総数はdN個である。徹底的な探索は、これらのコンフィギュレーションのそれぞれをワープし、解として最良のコンフィギュレーションを見つける。
[0041]提案されたアプローチに関する第2の問題点はあらゆる反復における合成のコストである。たとえ解空間が画素の個数に線形であるとしても、例えば、0.5Nであるとしても、最良奥行きマップを見つけるために基準画像を0.5N回ワープさせることは計算能力の点で依然として非現実的である。
[0042]第1の問題点を解決するため、カラーセグメンテーションに基づく表現及び近傍奥行き仮定方法は局所探索アルゴリズムにおいて組み合わされる。計算能力の考慮よりも重要なことは、このアプローチが均一色領域内で奥行き滑らかさを課し、また一致しない領域に対して合理的な奥行きを推論できるようにすることである。
[0043]簡単な局所貪欲(greedy)探索アルゴリズムが使用される。典型的なアルゴリズムでは、所定のセグメントのすべての近傍奥行き仮説は、すべての他のセグメントが固定されている間に検証される。最良一致マッチングスコアを生成する近傍奥行き仮説は記録される。すべてのセグメントが検証された後、それらの奥行きは、初期奥行きと、マッチングスコアによる最良近傍仮説から選択することにより更新される。このプロセスは、奥行きが変化するセグメントの総数が少なくなるか、又は反復の回数がある値を超えるまで反復的に実行される。
[0044]このプロセスは正確な奥行きが伝播することを可能にさせるが、その理由は、正確な奥行きを仮定することにより、ワープされた画像がより良いマッチングを生じるからである。例えば、背景セグメントの奥行きは、近隣のテクスチャ付きの背景領域からの奥行きの伝播のため、背景奥行きとして誤って計算されることがある。しかし、その誤差は、背景セグメントが正確な近傍背景セグメントの奥行きを有することが仮定され、その仮説が成り立つならば、訂正可能である。このプロセスは大きい初期奥行き誤差を許容することが判明した。
[0045]近傍における奥行きを仮定することの別の利点は、それが一致しない領域に対して合理的な奥行きを導き出すために役立つことである。一致しない領域に対し、奥行きは、図5に示されるように、近傍背景セグメントの拡張である可能性が高い。図5の図面は、基準画像内の3個のセグメント、すなわち、背景のセグメント500と、前景のセグメント504と、第2の画像(図示しない)の隠蔽されたセグメント502とを例示する。点線506は第2の画像内のセグメント504の位置を示す。セグメント502は画像の一方だけに現れるので、ステレオマッチングアルゴリズムを使用してある種の奥行きを取得することは不可能である。本発明の典型的なカラーセグメンテーション方法において、セグメントの奥行きは、未定義のままにされるのではなく、セグメント500と同じ奥行きであると仮定される。この推定は付加的な画像からの情報によって改良される。
[0046]初期奥行きマップが図2のステップ205で生成された後、プロセスは、奥行きマップが基準画像及び検査画像の新しい組ごとに徐々に更新されるループに入る。このプロセスの次のステップであるステップ210は、前の時刻から平面パラメータ
を予測する。このステップは、3個のタスク、すなわち、(1)セグメントごとに、前の時刻で対応する領域を見つけるタスクと、(2)それらの領域内で平面パラメータを検出又は推定するタスクと、(3)現在時刻で対応する平面パラメータを予測するタスクとにより構成される。これらのタスクはより詳細に後述される。時間的奥行き予測プロセスが実行された後、ステップ212は、空間一致指標
だけを使用して、基準視野内の区分的に平坦な奥行き表現
の空間的奥行き初期化を実行する。次に、ステップ214において、このプロセスは大域的奥行き仮説検証を実行する。セグメントsごとに、プロセスは、その奥行き表現として、
又は初期奥行き推定における平面パラメータのいずれかを選択する。次に、局所探索を使用して、式(9)におけるコスト関数の局所最適解が見つけられる。上記の貪欲仮説検証アルゴリズムはこの目的のため適当である。
を予測する。このステップは、3個のタスク、すなわち、(1)セグメントごとに、前の時刻で対応する領域を見つけるタスクと、(2)それらの領域内で平面パラメータを検出又は推定するタスクと、(3)現在時刻で対応する平面パラメータを予測するタスクとにより構成される。これらのタスクはより詳細に後述される。時間的奥行き予測プロセスが実行された後、ステップ212は、空間一致指標
だけを使用して、基準視野内の区分的に平坦な奥行き表現
の空間的奥行き初期化を実行する。次に、ステップ214において、このプロセスは大域的奥行き仮説検証を実行する。セグメントsごとに、プロセスは、その奥行き表現として、
又は初期奥行き推定における平面パラメータのいずれかを選択する。次に、局所探索を使用して、式(9)におけるコスト関数の局所最適解が見つけられる。上記の貪欲仮説検証アルゴリズムはこの目的のため適当である。
平面パラメータ予測
[0047]セグメントの平面パラメータを予測するため、このプロセスは、最初に、前の画像内の平面の対応する位置を決定する。前の画像内のこれらの領域の奥行き情報に基づいて、現在時刻における奥行き表現が予測される。本発明の典型的な実施形態において、二つの補完的な方法がこの時間的画像対応関係を見つけるため使用される。第1の方法は時間的カラーセグメンテーションに基づき、比較的大きい均一色領域に対して優れ、第2の方法はオプティカルフローに基づき、テクスチャ付きの領域に対して巧く働く。
[0047]セグメントの平面パラメータを予測するため、このプロセスは、最初に、前の画像内の平面の対応する位置を決定する。前の画像内のこれらの領域の奥行き情報に基づいて、現在時刻における奥行き表現が予測される。本発明の典型的な実施形態において、二つの補完的な方法がこの時間的画像対応関係を見つけるため使用される。第1の方法は時間的カラーセグメンテーションに基づき、比較的大きい均一色領域に対して優れ、第2の方法はオプティカルフローに基づき、テクスチャ付きの領域に対して巧く働く。
[0048]後述のように、カラーセグメンテーション奥行きマッピング技術は、大型のテクスチャ無しのシーン表面のため使用され、オプティカルフロー奥行きマッピング技術はテクスチャ付きの表面(例えば、スレッショルドよりも大きい空間的変動を有するセグメント、又は隣接する小さいセグメントのグループ)と、前の画像内に対応するセグメントをもたない現在画像内の表面のため使用される。最初に、画像は、ステップ310で、カラーセグメントに分割される。画像を均一色領域に分解するアルゴリズムであれば、どのようなものでもその目的のため機能する。アルゴリズムにおける最重要パラメータは、領域を多数のサブ領域に分割するスレッショルドとして選択された画素値の範囲(又はサブピクセル値の結合範囲)である。この範囲が小さい場合、画像は過剰に分割される可能性がある。この範囲が大きい場合、画像は不十分に分割される。典型的なアルゴリズムは各セグメント内で完全に奥行き連続性を適用するので、不十分な分割は回避されるであろう。D.ComaniciuとP.Meerによる論文、Robust Analysis of Feature Spaces: Color Image Segmentation、Proceedings of IEEE Conference on Computer Vision and Pattern Recognition、1997において提案された方法は使用される方法の1つである。
[0049]次に、ステップ312において、このプロセスは前の画像からセグメントを選択する。ステップ314において、そのセグメントがスレッショルド値よりも小さいか、又はテクスチャ付きであるならば、そのセグメントはカラーセグメンテーションアルゴリズムによっては処理されず、したがって、制御はステップ318へ移動し、次のセグメントを選択する。セグメントがスレッショルド値よりも大きく、かつ、テクスチャ無しであるならば、後述のように、現在フレーム内でそのセグメントに対応した1個又は複数のセグメントがステップ316において識別される。ステップ316の後、ステップ318が実行され、画像内の最後のセグメントが処理されたかどうかを判定する。処理されていないならば、制御はステップ312へ戻り、次のセグメントを選択する。ステップ318において、すべてのセグメントがカラーセグメンテーションアルゴリズムを介して処理済みであることが判定されるならば、前のフレームからの対応するセグメントが関連付けられなかったセグメントが処理される。この処理は、現在画像からセグメントを選択するステップ320で始まる。ステップ322は、次に、選択されたセグメントが前の画像内に対応するセグメントを有するか否かを判定する。対応するセグメントがあるならば、制御はステップ326へ移動し、さもなければ、プロセスは、ステップ324において、オプティカルフロー技術を使用して、前のフレームから対応するセグメントを見つける。ステップ326において、このプロセスは、最後のセグメントが処理されたかどうかを判定する。まだ処理されていないならば、制御はステップ320へ移動し、次のセグメントを選択する。ステップ326において、画像内の最後のセグメントが処理済みであるならば、セグメントのすべては前のフレームからの対応するセグメントへの割り当てが完了し、プロセスはステップ328で終了する。ステップ320から328の間に、隣接する小さいセグメントのグループはオプティカルフロー技術によって処理される単一のセグメントに結合される。
[0050]ステップ316のカラーセグメンテーションプロセスは以下のように動作する。大きいテクスチャ無しの表面に対し、異なる時刻における対応するカラーセグメントは、それらの運動が比較的小さいときには、大きいオーバーラップエリアを有する傾向がある。この特性は、対応するセグメントを長時間に亘って追跡するため、本発明の典型的な実施形態によって利用される。簡潔に、かつ、図6Aを参照して、このアルゴリズムのステップを次に説明する。時刻t−1における前の画像610内のあらゆる大きいセグメントsに関して、このプロセスはそのセグメントを時刻tにおける現在画像に投影する。この投影されたセグメントは図6Aの画像612内にセグメントSfとして表されている。時刻tにおいて、このプロセスは以下の規準、すなわち、1)面積の85%がSfによって覆われたセグメント、及び2)セグメントsの色と類似した色を有するセグメント、を満たすセグメントを見つける。時刻tにおけるこれらのセグメントは時刻t−1における画像セグメントsに対応すると考えられ、セグメントsと同じ初期奥行き値が割り当てられる。
[0051]ステップ324のオプティカルフロー方法の動作はやや異なる。前の画像内のセグメントを現在画像内の1つ以上のセグメントに適合させるのではなく、オプティカルフロー方法は現在の画像内のセグメントを複数の前の画像内の対応するセグメントに適合させる。時刻tにおけるセグメントs内のあらゆる画素に関して、オプティカルフローが利用可能であるならば、前のフレーム内のその画素の対応する位置が見つけられる。このプロセスは、図6Bに示されるように、3個の隣接する画像620、622及び624の間のフロー場を連結することにより、複数の前のフレーム内のその画像対応関係を見つけるためにも使用される。対応するセグメントが見つけられたとき、現在画像内のセグメントsに対する初期奥行き値は前のフレームからの奥行き値にセットされる。典型的なオプティカルフロー技術は、Adivによる論文:「Determining Three−Dimensional Motion and Structure from Optical Flow Generated by Several Moving Objects」、IEEE Translations on Pattern Analysis and Machine Intelligence、Vol.7、no.4、1985に記載されている。
[0052]オプティカルフローは、平面モデルを当てはめるべく前のフレーム内のセグメントの対応する領域を見つけるためだけに使用されるので、画像対応関係が正しい領域にある限り、誤差は得られる平面パラメータに影響を与えない。その上、オプティカルフローの誤差は時間的平面予測だけに影響を与え、時間的平面予測は多数の異なる仮説の中で検証される。したがって、誤った奥行き値は一般に残らない。
[0053]セグメントが現在画像内に初めて出現したならば、それは前の画像からの対応するセグメントが割り当てられない。上記のように、図5を参照すると、これらのセグメントは隣接するセグメントの奥行きが割り当てられる。この場合も、各セグメントの奥行きは多数の仮説の中で検証されるので、誤った初期奥行き値は訂正される。
平面パラメータ予測
[0054]セグメンテーションに基づく方法又はオプティカルフローに基づく方オフのいずれかによって、各セグメントの前のフレーム内のセグメントへの画像対応関係が見つけられると、関連した平面パラメータは対応するセグメントの平面パラメータをコピーするだけで取得される。或いは、これらのパラメータは現在画像内の平面を前の画像からの追跡された画素の奥行き値に当てはめることによって取得される。前の画像内の平面パラメータに基づいて、現在時刻の平面パラメータは滑らかな運動モデルを使用して予測される。例えば、2個の前のフレームt−1及びt−2から平面パラメータを予測するため、これらの2フレームにおける平面パラメータが、
及び
として表されるならば、時刻tにおける法線ベクトルは、
の解として計算され、それは、
である。平面距離パラメータは次に、
として計算される。
[0054]セグメンテーションに基づく方法又はオプティカルフローに基づく方オフのいずれかによって、各セグメントの前のフレーム内のセグメントへの画像対応関係が見つけられると、関連した平面パラメータは対応するセグメントの平面パラメータをコピーするだけで取得される。或いは、これらのパラメータは現在画像内の平面を前の画像からの追跡された画素の奥行き値に当てはめることによって取得される。前の画像内の平面パラメータに基づいて、現在時刻の平面パラメータは滑らかな運動モデルを使用して予測される。例えば、2個の前のフレームt−1及びt−2から平面パラメータを予測するため、これらの2フレームにおける平面パラメータが、
及び
として表されるならば、時刻tにおける法線ベクトルは、
の解として計算され、それは、
である。平面距離パラメータは次に、
として計算される。
初期奥行き推定
[0055]Taoらによる上記の引用文献に記載されたカラーセグメンテーションに基づくステレオアルゴリズムは現在時刻の奥行き解を初期化するため実施された。このアルゴリズムは、空間一致指標
を最小化し、大域的マッチング規準において可視性を内在的に考慮する。このアルゴリズムにおける4ステップは、(1)カラーセグメンテーション、(2)相関に基づく初期奥行き計算、(3)初期奥行きに基づく各セグメント内の平面当てはめ、並びに、(4)各セグメントに対する、初期奥行き表現とその近傍セグメントからの奥行き仮説との比較及び解としての
を改善する1つの選択である。セグメントsに対して推定された初期奥行き表現は、
のように表される。
[0055]Taoらによる上記の引用文献に記載されたカラーセグメンテーションに基づくステレオアルゴリズムは現在時刻の奥行き解を初期化するため実施された。このアルゴリズムは、空間一致指標
を最小化し、大域的マッチング規準において可視性を内在的に考慮する。このアルゴリズムにおける4ステップは、(1)カラーセグメンテーション、(2)相関に基づく初期奥行き計算、(3)初期奥行きに基づく各セグメント内の平面当てはめ、並びに、(4)各セグメントに対する、初期奥行き表現とその近傍セグメントからの奥行き仮説との比較及び解としての
を改善する1つの選択である。セグメントsに対して推定された初期奥行き表現は、
のように表される。
[0056]このアルゴリズムは図4を参照して説明される。上記のように画像が分割された後、ステップ402は各セグメントの初期奥行き推定値を推定する。初期奥行き表現のための3ステップは、(i)画像視差ボリューム内のマッチングスコアの計算、(ii)各セグメント内の平面当てはめ、及び(iii)各セグメント内の残存視差計算である。
[0057]標準的な(平行)ステレオセットアップの場合、第2の視野内の点の対応は基準視野と同じ走査線上にある。対応点の水平位置ずれは視差と称される。同様に、任意の二つの視野に関して、マッチング点は第2の画像のエピポーラ線上にある。標準的なステレオセットアップの場合、稠密な点対応を計算するため、画像視差ボリューム内のマッチングスコアが最初に計算される。より詳細には、(ある範囲内に収まり、一定の位置ずれ間隔をもつ)考えられるすべての水平位置ずれに対するマッチングスコアが最初に計算される。これは3次元マッチングスコア配列を形成し、それは本明細書中で画像視差マッチングボリュームと称される。各セル(x,y,d)は基準画像内の画素(x,y)と第2の画像内の画素(x+d,y)との間の相関に対するマッチングスコアを保持する。次に、画素ごとに、最良スコアが選ばれ、対応する位置ずれが奥行きに変換される。同じ考え方は、定式化がより複雑である点を除いて、任意の視野に適用される。両方のケースにおいて、等視差表面は基準視野内の前面である。
[0058]画像視差マッチングボリュームが計算されると、平面がカラーセグメントごとに当てはめられる。最初に、セグメント内の画素ごとに最良奥行き値を見つけ、次に、その奥行き値への最良適合平面を計算する。より詳細には、各セグメント内の平面方程式は式(10)によって与えられる。
式中、(x,y)は画像点であり、Zは基準カメラ座標系におけるその奥行きである。このとき、a,b,cは式(11)に示された線形システムの最小自乗解である。
式中、Aの各行は画素の[x,y,1]ベクトルであり、Bの各行はその対応する1/Zである。
式中、(x,y)は画像点であり、Zは基準カメラ座標系におけるその奥行きである。このとき、a,b,cは式(11)に示された線形システムの最小自乗解である。
式中、Aの各行は画素の[x,y,1]ベクトルであり、Bの各行はその対応する1/Zである。
[0059]反復当てはめプロセスは異常値の影響を低減するため採用される。この考え方は図7a〜7cに示されている。最初に、画像内のすべての画素の奥行きが最良マッチングスコアを選ぶことにより決定される。マッチングスコアは、点の周りの中間調又はカラーウィンドウの正規化相関マッチング(又は絶対差の合計)スコア、近傍画素間の運動の類似性などのような多数の指標によって計算される。アライメント品質をチェックする様々なアプローチは、K.Hannaらによる米国特許第6,629,175号明細書、「METHOD AND APPARATUS FOR ENHANCING REGIONS OF ALIGNED IMAGES USING FLOW ESTIMATION」に記載されている。
[0060]最良マッチングスコアが決定されると、平面700がセグメント内で当てはめられる。次の反復において、各画素の奥行きが、範囲内の最良マッチングスコアを見つけることにより、当てはめられた平面の所定の範囲708内で選択される。図7bにおいて、範囲外にある画素704及び706は範囲708の内部に当てはまるように変更されている。平面パラメータはしたがってこれらの奥行きに基づいて更新される。図7Cは、新平面702及び新範囲710を示している。このプロセスは、平面パラメータが有意に変化しなくなるまで複数回反復する。このプロセスは、マッチング曖昧性が生じる大きいテクスチャ無しの領域内で平面を当てはめるため特に有用である。より一般的には、M−推定、最小メジアン自乗(Least Median Squares)、又はRANSACのような任意のその他のロバスト平面当てはめ方法が利用される。
[0062]平面パラメータが決定されると、画素ごとに、Zpは既知である。ZrはZpの小さい範囲内で画像視差ボリュームにおける最良マッチを見つけることによって計算される。残存視差Zrは、初期カラーセグメンテーションに基づく奥行き表現を取得するため各セグメント内で平滑化される。
[0063]図4を参照すると、このプロセスの次のステップであるステップ408は、最良積極改善に関する仮説を使用して各セグメントの奥行きを更新する。積極改善を与える仮説が無い場合、そのセグメントに対する初期奥行きを維持する。
時間的奥行き仮説検証
[0064]各セグメントsの仮説は、予測された平面パラメータ
初期平面パラメータ
及びsの近傍セグメントの初期平面パラメータである。他のセグメントの平面パラメータを固定して、これらの仮説が式(9)のコスト関数を使用して比較される。このプロセスは以下の通り要約される。時刻tにおいて、基準視野内の各セグメントsに対し、式(9)のコスト関数が、sの近傍セグメントの要素としてのkと、
と、
と、
に関して計算される。次に、平面パラメータ
が最低コスト値をもつものになるようにセットされる。これらのステップは図4及び8に詳細に示されている。
[0064]各セグメントsの仮説は、予測された平面パラメータ
初期平面パラメータ
及びsの近傍セグメントの初期平面パラメータである。他のセグメントの平面パラメータを固定して、これらの仮説が式(9)のコスト関数を使用して比較される。このプロセスは以下の通り要約される。時刻tにおいて、基準視野内の各セグメントsに対し、式(9)のコスト関数が、sの近傍セグメントの要素としてのkと、
と、
と、
に関して計算される。次に、平面パラメータ
が最低コスト値をもつものになるようにセットされる。これらのステップは図4及び8に詳細に示されている。
[0065]図4において、ステップ404で、このプロセスはカラーセグメントごとに多数の奥行き仮説を作成する。各セグメントのための仮説は各近傍セグメントから生成される。所定のセグメントの平面パラメータは、仮説を作成するため近傍セグメントの平面パラメータを用いて置換される。次に、各画素の残存視差が平面の周りを探索し、所定のセグメント内で平滑化を行うことにより見つけられる。
[0066]次に、ステップ406で、単一セグメントの奥行き仮説が検証され、その間に他のすべてのセグメントは初期奥行きに維持される。奥行き表現は検証がすべてのセグメントに対して実行された後に更新される。1回につき1つのセグメントの奥行きだけが変更されるので、画像の一部分だけが検証される。この事実を巧く利用する典型的なアルゴリズムが開発された。このアルゴリズムは図8a〜8dに示されている。図8aの基準画像は、最初に、初期奥行き(例えば、セグメントごとの初期奥行き仮説)を使用して第2の視野へワープされる。この画像は図8bのベースワープと称される。
[0067]セグメント800の奥行きがそのマッチング指標を計算するためにその近傍仮説のうちの1つによって置換されるならば、奥行き変更による影響を受ける画素だけが考慮される。例えば、図8cにおいて、セグメント800の奥行きは変更される。ワープ画像、すなわち、図8dにおいて、セグメント802の領域806は可視的になり、一方、セグメント800は不可視的になる。新しい奥行きマップのマッチングスコアは、領域806のマッチングスコアをベースワープスコアに加算し、セグメント800のマッチングスコアを減算することにより計算される。この実施例はこれらの仮説を検証する典型的なアルゴリズムを示唆する。
[0068]この典型的なアルゴリズムにおいて、ベースワープに対して、画素ごとに、ワープさせられた奥行き、セグメンテーションID、及び最上層の2層のマッチングスコアが保存される。ベースワープ全域のマッチングスコアの変化が可視的になる画素のマッチングスコアを加算し、不可視的になる画素のスコアを減算することにより計算される。検証ごとに、1つのセグメントの奥行きだけが変更されるので、最上層の2層だけが可視的になり、これらの2層に関する情報が記録されるべきである。3番目の層は最初にその層の前方にある2層のうちの少なくとも一方によって遮られ、常に不可視的であるので、マッチングスコアに影響を与えない。
[0069]図4に関して、ステップ410において、局所奥行きマップを改善するプロセスは所定の最大反復回数に到達したかどうかが判定される。この回数に到達したならば、今の奥行きマップがステップ414において最終的な局所奥行きマップとして選択される。この回数に到達していないならば、最新の奥行き変化の組がステップ412で解析される。変化が所定のスレッショルド未満であるならば、今の奥行きマップがステップ414で最終的な局所奥行きマップとして選択される。そうでなければ、このプロセスはステップ404へ戻り、別の奥行き仮説の反復が開始される。なお、ステップ410は計算能力の点であまり不利ではないので、ステップ410及び412の典型的な順序が選ばれているが、これらのステップは逆転させてもよく、或いは、一方を省いてもよいことに注意すべきである。
[0070]平面と、さらにその上の小さい残存視差による表現は、非常に湾曲した表面をもつ物体に対して十分でないかもしれない。この問題を解決するためより柔軟性のある奥行き表現を使用することが検討される。また、奥行き境界が均一色セグメントに出現することもある。問題のあるセグメント内での分割、又はインターナショナル過剰セグメンテーションを仮定する方法は、これらの問題点を解決するため使用される。
[0071]さらに、カラーセグメンテーションはオプティカルフロー計算のためにも使用されることに注意する必要がある。奥行きに基づく前方ワープをオクルージョン互換性のある横ワープで置き換えることにより、これらの方法が組み合わされる。エピポーラの位置のようなある種の情報が大まかにわかっているとき、これは有利なアプローチであることがわかる。
[0072]区分的に平坦なシーン表現に基づいて、本発明は、適用可能な3個の制約を動的奥行き復元の問題に適用する。平面の定速度運動が平面外運動パラメータに一定の変化を生じさせるという観察は、3次元仮説の推定における2次元オプティカルフロー場と得られた平面的な速度とを使用することなく、長時間に亘って運動の滑らかさを実施する簡単なアルゴリズムを可能にする。オプティカルフローは、平面パラメータを予測する目的のためフレーム間の時間的対応を見つけるためだけに使用される。平面内運動は予測された平面パラメータを変化させないので、オプティカルフロー場におけるより大きい誤差が許容される。
[0073]大域的マッチングフレームワークに基づくアルゴリズムが提案される。実験的な結果は、奥行き推定における時間的整合性が達成され、シャープな奥行き境界が保たれることを明らかにする。
[0074]本発明は典型的な実施形態に関して説明されているが、本発明は特許請求の範囲に記載された事項の範囲内で変更を加えて実施されることが考えられる。
Claims (6)
- シーンの分割画像の組のシーケンスが現在の分割画像の組及び前の分割画像の組を含み、分割画像の各組がそれぞれの時刻における前記シーンの複数の様々な視野を表現し、分割画像の各組の中の各画像がそれぞれの座標の組を含み、前記シーンの分割画像の組のシーケンスから前記シーンの動的奥行きマップを生成する方法であって、
a)前記現在の分割画像の組の中のセグメントごとに時間的奥行き予測値を得るため、前記現在の分割画像の組の中の少なくとも1つの画像内のセグメントと前記前の分割画像の組の中の少なくとも1つの画像内の対応するセグメントとの間で時間的対応を判定するステップと、
b)前記現在の画像の組の中の少なくとも1つの画像内のセグメントごとに空間的奥行き予測値を得るため、前記現在の分割画像の組の中のセグメントの間で空間的対応を判定するステップと、
c)前記現在の分割画像の組の中の少なくとも1つの画像内のセグメントごとに、前記セグメントの初期奥行き推定値として前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップと、
d)前記現在の分割画像の組の中の前記少なくとも1つの画像と前記現在の分割画像の組の中の他の各画像との間の差の指標を生成するステップと、
e)ステップc)及びステップd)を繰り返し、差の指標の最小値がステップd)で生成されるまで異なる初期奥行き値を選択するステップと、
を含む方法。 - 前記現在の分割画像の組の中の前記少なくとも1つの画像と前記現在の分割画像の組の中の他の各画像との間の差の指標を生成するステップが、
それぞれのワープ画像の組を得るため、前記現在の分割画像の組の中の前記少なくとも1つの画像を前記現在の分割画像の組の中の前記他の各画像の座標系に歪ませるステップと、
第1項を得るため、前記ワープ画像と前記現在の分割画像の組の中のそれぞれの前記他の各画像との間の差を測定し、その結果を加算するステップと、
第2項を得るため、前記ワープ画像の対応するセグメント内の点と前記現在の分割画像の組の中のそれぞれの前記他の各画像内の点との間の平均距離を測定し、その結果を加算するステップと、
前記差の指標を得るため、前記第1項と前記第2項を加算するステップと、を含む、請求項1記載の方法。 - 前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップが、前記少なくとも1つの画像内の1つのセグメントに対する値を選択し、同時に他の隣接するセグメントの前記奥行き値を変化しない状態に保ち、
前記現在の画像の組の中の前記少なくとも1つの画像と前記現在の画像の組の中の他の各画像との間の差の指標を生成するステップが、前記1つのセグメントと、前記1つのセグメントに隣接する前記少なくとも1つの画像内のセグメントとの差だけを生成する、請求項1記載の方法。 - 前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントと前記前の分割画像の組の中の前記少なくとも1つの画像内の対応するセグメントとの間で時間的対応を判定するステップが、
前記前の分割画像の組の中の前記少なくとも1つの画像内の各セグメントをテクスチャ付きセグメント又はテクスチャ無しセグメントとして分類するステップと、
テクスチャ無しセグメントごとに、前記現在の分割画像の組の中の前記少なくとも1つの画像内の少なくとも1つの対応するセグメントを関連付けるステップと、
前記テクスチャ無しセグメントの1つが関連付けられていない前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントごとに、前記セグメントをテクスチャ付きセグメントとして識別し、オプティカルフロー技術を使用して前記前の画像の組の中の前記少なくとも1つの画像からの対応するセグメントと一体として前記現在の画像の組の中の前記少なくとも1つの画像内の各テクスチャ付きセグメントを識別するステップと、
前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントごとに、前記前の画像の組の中の前記少なくとも1つの画像の前記対応するセグメントの奥行き値を前記時間的奥行き予測値として割り当てるステップと、
を含む、請求項1記載の方法。 - 前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップが、前記少なくとも1つの画像内の1つのセグメントに対する値を選択し、同時に他の隣接するセグメントの前記奥行き値を変化しない状態に保ち、
前記現在の画像の組の中の前記少なくとも1つの画像と前記現在の画像の組の中の他の各画像との間の差の指標を生成するステップが、前記1つのセグメントと、前記1つのセグメントに隣接する前記少なくとも1つの画像内のセグメントとの差だけを生成する、請求項2記載の方法。 - 前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントと前記前の分割画像の組の中の前記少なくとも1つの画像内の対応するセグメントとの間で時間的対応を判定するステップが、
前記前の分割画像の組の中の前記少なくとも1つの画像内の各セグメントをテクスチャ付きセグメント又はテクスチャ無しセグメントとして分類するステップと、
テクスチャ無しセグメントごとに、前記現在の分割画像の組の中の前記少なくとも1つの画像内の少なくとも1つの対応するセグメントを関連付けるステップと、
前記テクスチャ無しセグメントの1つが関連付けられていない前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントごとに、前記セグメントをテクスチャ付きセグメントとして識別し、オプティカルフロー技術を使用して前記前の画像の組の中の前記少なくとも1つの画像からの対応するセグメントと一体として前記現在の画像の組の中の前記少なくとも1つの画像内の各テクスチャ付きセグメントを識別するステップと、
前記現在の分割画像の組の中の前記少なくとも1つの画像内のセグメントごとに、前記前の画像の組の中の前記少なくとも1つの画像の前記対応するセグメントの奥行き値を前記時間的奥行き予測値として割り当てるステップと、を含む、請求項5記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/315,291 US6847728B2 (en) | 2002-12-09 | 2002-12-09 | Dynamic depth recovery from multiple synchronized video streams |
PCT/US2003/039254 WO2004054228A2 (en) | 2002-12-09 | 2003-12-09 | Dynamic depth recovery from multiple synchronized video streams |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006509211A true JP2006509211A (ja) | 2006-03-16 |
Family
ID=32468655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004558654A Pending JP2006509211A (ja) | 2002-12-09 | 2003-12-09 | 多重同期ビデオストリームからの動的奥行き復元 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6847728B2 (ja) |
EP (1) | EP1570642A2 (ja) |
JP (1) | JP2006509211A (ja) |
WO (1) | WO2004054228A2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
JP2011504262A (ja) * | 2007-11-09 | 2011-02-03 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
US20110110583A1 (en) * | 2008-06-24 | 2011-05-12 | Dong-Qing Zhang | System and method for depth extraction of images with motion compensation |
JP2012516176A (ja) * | 2009-01-30 | 2012-07-19 | マウナ ケア テクノロジーズ | 医療装置を介してリアルタイムで取得された画像を処理するための方法およびシステム |
JP2013186789A (ja) * | 2012-03-09 | 2013-09-19 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2015019346A (ja) * | 2013-06-12 | 2015-01-29 | 日本放送協会 | 視差画像生成装置 |
JP2019109219A (ja) * | 2017-10-27 | 2019-07-04 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1721287A4 (en) * | 2004-03-02 | 2009-07-15 | Sarnoff Corp | METHOD AND APPARATUS FOR DETECTING PRESENCE |
US8345988B2 (en) * | 2004-06-22 | 2013-01-01 | Sri International | Method and apparatus for recognizing 3-D objects |
US7324687B2 (en) * | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
JP3937414B2 (ja) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
US20070070069A1 (en) * | 2005-09-26 | 2007-03-29 | Supun Samarasekera | System and method for enhanced situation awareness and visualization of environments |
US8340349B2 (en) * | 2006-06-20 | 2012-12-25 | Sri International | Moving target detection in the presence of parallax |
JP2010506482A (ja) * | 2006-10-02 | 2010-02-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオストリームの視差回復方法及びフィルタ |
US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
US7865285B2 (en) * | 2006-12-27 | 2011-01-04 | Caterpillar Inc | Machine control system and method |
KR100888459B1 (ko) * | 2007-03-14 | 2009-03-19 | 전자부품연구원 | 피사체의 깊이 정보 검출 방법 및 시스템 |
EP2174293B1 (en) * | 2007-07-03 | 2011-04-27 | Koninklijke Philips Electronics N.V. | Computing a depth map |
WO2009011492A1 (en) * | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
DE102007033239A1 (de) * | 2007-07-13 | 2009-01-15 | Visumotion Gmbh | Verfahren zur Bearbeitung eines räumlichen Bildes |
US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
KR20100095465A (ko) * | 2007-12-20 | 2010-08-30 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 데이터의 세그먼테이션 |
US8736669B2 (en) * | 2007-12-27 | 2014-05-27 | Sterrix Technologies Ug | Method and device for real-time multi-view production |
CN101680756B (zh) * | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | 复眼摄像装置、测距装置、视差算出方法以及测距方法 |
JP5425897B2 (ja) * | 2008-05-28 | 2014-02-26 | トムソン ライセンシング | 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 |
KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
US8233664B2 (en) * | 2008-11-12 | 2012-07-31 | Eastman Kodak Company | Determining relative depth of points in multiple videos |
US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
US8270752B2 (en) * | 2009-03-17 | 2012-09-18 | Mitsubishi Electric Research Laboratories, Inc. | Depth reconstruction filter for depth coding videos |
US20100246893A1 (en) * | 2009-03-26 | 2010-09-30 | Ashwin Dani | Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras |
CN102413756B (zh) * | 2009-04-29 | 2015-04-01 | 皇家飞利浦电子股份有限公司 | 从单目内窥镜图像估计实时深度 |
JP2011060216A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 画像処理装置および画像処理方法 |
US10198792B2 (en) * | 2009-10-14 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Method and devices for depth map processing |
US8515134B2 (en) * | 2009-12-11 | 2013-08-20 | Nxp B.V. | System and method for motion estimation using image depth information |
CN101739684B (zh) * | 2009-12-17 | 2011-08-31 | 上海交通大学 | 基于彩色分割和像素显著性估计的视差估计方法 |
US20110158503A1 (en) * | 2009-12-28 | 2011-06-30 | Microsoft Corporation | Reversible Three-Dimensional Image Segmentation |
US8369609B2 (en) * | 2010-02-01 | 2013-02-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Reduced-complexity disparity map estimation |
US8619122B2 (en) * | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8687044B2 (en) * | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US9131155B1 (en) * | 2010-04-07 | 2015-09-08 | Qualcomm Technologies, Inc. | Digital video stabilization for multi-view systems |
JP5197683B2 (ja) * | 2010-06-30 | 2013-05-15 | 株式会社東芝 | 奥行き信号生成装置及び方法 |
US8666144B2 (en) * | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8582866B2 (en) * | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8655093B2 (en) * | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US20120250984A1 (en) * | 2010-12-01 | 2012-10-04 | The Trustees Of The University Of Pennsylvania | Image segmentation for distributed target tracking and scene analysis |
US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
GB201102794D0 (en) * | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
KR101792501B1 (ko) * | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
TWI481262B (zh) | 2011-07-28 | 2015-04-11 | Ind Tech Res Inst | 影像編碼系統及影像編碼方法 |
US8995755B2 (en) | 2011-09-30 | 2015-03-31 | Cyberlink Corp. | Two-dimensional to stereoscopic conversion systems and methods |
US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
TWI504233B (zh) * | 2011-12-22 | 2015-10-11 | Teco Elec & Machinery Co Ltd | 深度估測方法及其裝置 |
KR101938205B1 (ko) | 2012-03-19 | 2019-01-14 | 한국전자통신연구원 | 깊이 영상 필터링 방법 및 그 장치 |
EP2670146A1 (en) * | 2012-06-01 | 2013-12-04 | Alcatel Lucent | Method and apparatus for encoding and decoding a multiview video stream |
CN102903096B (zh) * | 2012-07-04 | 2015-06-17 | 北京航空航天大学 | 一种基于单目视频的对象深度提取方法 |
US8866938B2 (en) | 2013-03-06 | 2014-10-21 | International Business Machines Corporation | Frame to frame persistent shadow reduction within an image |
US20140363073A1 (en) * | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
WO2015025073A1 (en) * | 2013-08-19 | 2015-02-26 | Nokia Corporation | Method, apparatus and computer program product for object detection and segmentation |
US9426539B2 (en) * | 2013-09-11 | 2016-08-23 | Intel Corporation | Integrated presentation of secondary content |
EP2858032A1 (en) * | 2013-10-02 | 2015-04-08 | Thomson Licensing | Method and apparatus for generating temporally consistent depth maps |
CN103578113A (zh) * | 2013-11-19 | 2014-02-12 | 汕头大学 | 前景图像提取方法 |
US11176655B2 (en) | 2014-01-27 | 2021-11-16 | Cognex Corporation | System and method for determining 3D surface features and irregularities on an object |
DE102015101079A1 (de) * | 2014-01-27 | 2015-07-30 | Cognex Corp. | System und verfahren zum ermitteln von 3d-oberflächenmerkmalen und unregelmässigkeiten auf einem objekt |
US10088736B2 (en) * | 2015-09-24 | 2018-10-02 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
US9741125B2 (en) * | 2015-10-28 | 2017-08-22 | Intel Corporation | Method and system of background-foreground segmentation for image processing |
WO2017143572A1 (en) * | 2016-02-25 | 2017-08-31 | Intel Corporation | Calculation of temporally coherent disparity from sequence of video frames |
US20170302910A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for merging depth maps in a depth camera system |
EP3252713A1 (en) * | 2016-06-01 | 2017-12-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses |
KR101816663B1 (ko) | 2016-10-20 | 2018-01-09 | 광주과학기술원 | 뉴럴 네트워크를 이용한 3차원 형상 복원 방법 |
EP3343506A1 (en) * | 2016-12-28 | 2018-07-04 | Thomson Licensing | Method and device for joint segmentation and 3d reconstruction of a scene |
CN107248143B (zh) * | 2017-04-26 | 2020-12-25 | 中山大学 | 一种基于图像分割的深度图像修复方法 |
US10402646B2 (en) | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5109425A (en) * | 1988-09-30 | 1992-04-28 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Method and apparatus for predicting the direction of movement in machine vision |
US6046763A (en) * | 1997-04-11 | 2000-04-04 | Nec Research Institute, Inc. | Maximum flow method for stereo correspondence |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6664962B1 (en) * | 2000-08-23 | 2003-12-16 | Nintendo Co., Ltd. | Shadow mapping in a low cost graphics system |
US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
-
2002
- 2002-12-09 US US10/315,291 patent/US6847728B2/en not_active Expired - Lifetime
-
2003
- 2003-12-09 JP JP2004558654A patent/JP2006509211A/ja active Pending
- 2003-12-09 EP EP03808452A patent/EP1570642A2/en not_active Withdrawn
- 2003-12-09 WO PCT/US2003/039254 patent/WO2004054228A2/en active Application Filing
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
JP2011504262A (ja) * | 2007-11-09 | 2011-02-03 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
US8411934B2 (en) | 2007-11-09 | 2013-04-02 | Thomson Licensing | System and method for depth map extraction using region-based filtering |
US20110110583A1 (en) * | 2008-06-24 | 2011-05-12 | Dong-Qing Zhang | System and method for depth extraction of images with motion compensation |
JP2011525657A (ja) * | 2008-06-24 | 2011-09-22 | トムソン ライセンシング | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 |
US8422766B2 (en) * | 2008-06-24 | 2013-04-16 | Thomson Licensing | System and method for depth extraction of images with motion compensation |
JP2012516176A (ja) * | 2009-01-30 | 2012-07-19 | マウナ ケア テクノロジーズ | 医療装置を介してリアルタイムで取得された画像を処理するための方法およびシステム |
US8600134B2 (en) | 2009-01-30 | 2013-12-03 | Mauna Kea Technologies | Method and system for processing images acquired in real time through a medical device |
JP2013186789A (ja) * | 2012-03-09 | 2013-09-19 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2015019346A (ja) * | 2013-06-12 | 2015-01-29 | 日本放送協会 | 視差画像生成装置 |
JP2019109219A (ja) * | 2017-10-27 | 2019-07-04 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム |
US11758111B2 (en) | 2017-10-27 | 2023-09-12 | Baidu Usa Llc | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
Also Published As
Publication number | Publication date |
---|---|
US6847728B2 (en) | 2005-01-25 |
EP1570642A2 (en) | 2005-09-07 |
US20040109585A1 (en) | 2004-06-10 |
WO2004054228A2 (en) | 2004-06-24 |
WO2004054228A3 (en) | 2004-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006509211A (ja) | 多重同期ビデオストリームからの動的奥行き復元 | |
CN109242873B (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
Zhu et al. | Spatial-temporal fusion for high accuracy depth maps using dynamic MRFs | |
Tao et al. | A global matching framework for stereo computation | |
EP0606385B1 (en) | Method for determining sensor motion and scene structure and image processing system therefor | |
US8711206B2 (en) | Mobile camera localization using depth maps | |
EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Wedel et al. | Detection and segmentation of independently moving objects from dense scene flow | |
WO2006083297A2 (en) | Method and apparatus for aligning video to three-dimensional point clouds | |
Usenko et al. | Reconstructing street-scenes in real-time from a driving car | |
JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
Tao et al. | Dynamic depth recovery from multiple synchronized video streams | |
KR20210141668A (ko) | 서로 상대적으로 움직이는 복수의 정형 객체의 검출, 3d 재구성 및 추적 | |
CN112802096A (zh) | 实时定位和建图的实现装置和方法 | |
Fei et al. | Ossim: An object-based multiview stereo algorithm using ssim index matching cost | |
CN112005273A (zh) | 具有倾斜支持窗口的分层视差假设生成 | |
O’Donovan | Optical flow: Techniques and applications | |
Koch | Automatic reconstruction of buildings from stereoscopic image sequences | |
JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
Ghuffar et al. | Motion estimation and segmentation in depth and intensity videos | |
EP1580684A1 (en) | Face recognition from video images | |
El Ansari et al. | A real-time spatio-temporal stereo matching for road applications | |
Laskar et al. | Robust loop closures for scene reconstruction by combining odometry and visual correspondences | |
Hatzitheodorou et al. | Stereo matching using optic flow |