JP2004252714A - 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 - Google Patents
空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004252714A JP2004252714A JP2003042469A JP2003042469A JP2004252714A JP 2004252714 A JP2004252714 A JP 2004252714A JP 2003042469 A JP2003042469 A JP 2003042469A JP 2003042469 A JP2003042469 A JP 2003042469A JP 2004252714 A JP2004252714 A JP 2004252714A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- points
- image
- feature
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】時系列画像データから、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元する。
【解決手段】特徴点追跡処理部３は、時系列画像データベース１に蓄積されたカメラによる時系列画像上の特徴点を自動的に追跡して特徴点の画像座標値を測定し計測行列を出力する。入力アウトライア除去部５は、計測行列入力部４から入力された計測行列を基に、特徴点追跡で得られた特徴点の中から移動点群やアウトライアを除去し、計測行列入力部４は、除去後に残った特徴点のみから計測行列を生成して、以降の処理に入力する。空間情報処理部６は、アウトライアを取り除いた計測行列から物体形状を復元する。センサ運動行列生成部７は、姿勢情報データベース２から取り出したカメラの時系列の姿勢情報からセンサ運動行列を生成し、空間情報出力部８は、物体形状に関する空間情報を獲得する。
【選択図】 図１
【解決手段】特徴点追跡処理部３は、時系列画像データベース１に蓄積されたカメラによる時系列画像上の特徴点を自動的に追跡して特徴点の画像座標値を測定し計測行列を出力する。入力アウトライア除去部５は、計測行列入力部４から入力された計測行列を基に、特徴点追跡で得られた特徴点の中から移動点群やアウトライアを除去し、計測行列入力部４は、除去後に残った特徴点のみから計測行列を生成して、以降の処理に入力する。空間情報処理部６は、アウトライアを取り除いた計測行列から物体形状を復元する。センサ運動行列生成部７は、姿勢情報データベース２から取り出したカメラの時系列の姿勢情報からセンサ運動行列を生成し、空間情報出力部８は、物体形状に関する空間情報を獲得する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元すること、並びに、画像入力装置の光学的視点の運動、および、時系列映像中の被写体が移動物体か、静止物体かを画像的に理解する技術に関係する。
【０００２】
特に、特徴点が移動物体上の点（移動点群）か、特徴点追跡時の追跡エラーが原因で発生するアウトライア（以下、移動点群とアウトライア点群を合わせてアウトライアと称する）かどうかの自動判定を行い、この特徴点を計測行列から除去し、画像入力装置の運動と特徴点の３次元座標値を高精度に獲得、復元することに好適に利用できるものである。また、本発明は、車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能である。
【０００３】
【従来の技術】
コンピュータビジョンの分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
因子分解法は、３次元空間座標値と２次元画像座標値間の光学的射影モデルに基づいて、特異値分解や雑音除去を行い、カメラ運動に関する幾何的拘束条件のもとで雑音にロバストにカメラ運動と物体形状を同時に復元する手法である。これまで、因子分解法アルゴリズムは線形演算が主体の手法であった。つまり、実際の透視投影は非線形な射影モデルあるのに対して、線形近似の射影モデルが用いられてきた。特に、下記の非特許文献１，２，３は、線形なアフィンカメラモデルを用いて、反復的に透視投影の射影モデルに漸近させる手法として存在している。非特許文献１，２，３の方法は、数回程度の反復的な因子分解法を繰り返すだけで、カメラ運動と物体形状を、透視投影モデルに近い状態で同時に復元することができ、３次元獲得手法、カメラ運動推定などに利用されている。
【０００５】
さらに、移動する被写体の運動までも同時に復元する手法として、非特許文献４，５がある。この手法は、カメラ運動に対して、被写体が線形運動する、または、対象とする時系列な映像シーンの時間区間において、被写体が時間的に線形運動するという仮定に基づいて、因子分解法を利用し、カメラの運動、物体（被写体）の運動と形状を同時に復元する手法である。この手法は、空撮映像などの映像シーンにおいて、車両などの移動物体と建物形状を復元する手法としても応用が考えられる。
【０００６】
【非特許文献１】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｒｎ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”， ＩＮＲＩＡ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＲＲ−２４２１， １ ９９４．
【０００７】
【非特許文献２】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ＰＡＭＩ， Ｖｏｌ．１８， Ｎ０．１１， ｐｐ．２４９５−２５０３， １９９６．
【０００８】
【非特許文献３】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｒｏｎ ｆｒｏｍ Ｐａｒａｐｅｒｓｐｅｃｔｒｖｅ ｔｏ Ｐｅｒｓｐｅｃｔｉｖｅ”， ＥＣＣＶ９６， １９９６．
【０００９】
【非特許文献４】
Ｍ．Ｈａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｔｈｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｗｉｔｈ Ｌｉｎｅａｒ Ｍｏｔｉｏｎ”， ＣＭＵ−ＲＩ−ＴＲ−９９−２３， １９９９．
【００１０】
【非特許文献５】
Ｍ．Ｈａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ａ Ｓｃｅｎｅ ｗｉｔｈ Ｍｕｌｔｉｐｌｅ Ｌｉｎｅａｒｌｙ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ”， ＣＶＰＲ’ＯＯ， ２０００．
【００１１】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元する代表的な手法として、反復的透視投影型因子分解法（非特許文献１，２，３）がある。しかし、静止物体を被写体とした前提に基づいており、移動物体と静止物体の同定は困難である。ところで、特徴点は特徴点追跡により、時系列にわたって特徴点の画像座標値を計測するのが一般的であり、代表的な手法として、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（ＫＬＴ法）を利用することができる。この追跡処理において、特徴点を正確に追跡できず他の座標値を追跡し、または、周辺画素のぼけなどにより正確な座標値を得ることができないことがある。これはアウトライア（Ｏｕｔｌｉｅｒ）となり、被写体の３次元空間情報を獲得、復元する場合に悪影饗を及ぼす。特に、反復的透視投影型因子分解法（非特許文献１，２，３）では、移動物体の動きもアウトライアの原因となり、時系列映像中に移動物体や追跡エラーを含む特徴点が存在すると、反復的な透視投影モデルへの漸近過程において、解が収束しなかったり、正確なカメラ運動と物体形状を復元できなかったりする。
【００１２】
一方、移動物体を線形運動と仮定した因子分解法（非特許文献４，５）は、カメラ運動、物体形状、物体の移動速度を同時に復元する手法として提案されているが、移動物体以外に特徴点の追跡エラーが移動物体のように振る舞うと、静止物体か、移動物体か、追跡エラーによるアウトライアなのか、同定することは難しい。さらに、この手法において、ランク５までの行列成分を利用しているが、ランク４以降の成分は雑音混入の可能性も高く、雑音除去と移動点群の分離が暖昧である。したがって、移動手段を使って撮影カメラを動かしながら撮影する撮影環境では、移動手段との関係、屋外環境との関係でカメラが微小に動くため、ランダム性雑音の影響も大きく、安定的に、カメラの動き、物体の運動、並びに、物体の形状を、同時に、かつ、高精度に復元することは不可能であった。
【００１３】
非特許文献１，２，３を利用する場合に、アウトライア除去の手法として、カメラ運動と物体形状を復元した後に、各フレームの画像面に再投影して、特徴点追跡により測定した画像座標値と再投影誤差との誤差が、ある一定値以上の誤差を有する場合の特徴点をアウトライアとして認識することも可能だが、反復的透視投影型因子分解法の処理では、移動点群やアウトライアが透視投影の漸近過程に埋もれやすく、静止物体のごとく透視投影にフィックスされる可能性もある。したがって、反復的透視投影過程では、透視投影射影にフィックスする前の段階でアウトライアを除去することが重要である。
【００１４】
本発明は、上記従来技術の問題点を解決するためのものであって、カメラ等の画像入力装置により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元することができ、並びに、画像入力装置の光学的視点の運動、および、時系列映像中の被写体が移動物体か、静止物体かを画像的に理解することができる空間情報獲得方法および装置を提供することが課題である。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、画像入力装置の姿勢を計測するセンサを使って、第１ステップで使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２ステップと、第１ステップにおいて除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３ステップと、第３ステップにて得た画像運動行列と、第２ステップで生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３ステップで得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４ステップと、を有することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１６】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、第１ステップにおいて残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２ステップと、を有することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１７】
あるいは、上記の空間情報獲得方法であって、第４ステップで獲得した物体形状に関する空間情報と、第２ステップで生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３ステップ、並びに、第４ステップを繰り返し、物体形状に関する空間情報を獲得することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１８】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１９】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００２０】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００２１】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、画像入力装置の姿勢を計測するセンサを使って、第１の手段で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２の手段と、第１の手段において除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３の手段と、第３の手段にて得た画像運動行列と、第２の手段で生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３の手段で得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４の手段と、を有することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２２】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、第１の手段において残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２の手段と、を有することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２３】
あるいは、上記の空間情報獲得装置であって、第４の手段で獲得した物体形状に関する空間情報と、第２の手段で生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３の手段の処理、並びに、第４の手段の処理を繰り返し、物体形状に関する空間情報を獲得することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２４】
あるいは、上記の空間情報獲得装置であって、第１の手段は、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２５】
あるいは、上記の空間情報獲得装置であって、第１の手段は、計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２６】
あるいは、上記の空間情報獲得装置であって、第１の手段は、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２７】
あるいは、上記の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする空間情報獲得プログラムを、その解決の手段とする。
【００２８】
あるいは、上記の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする空間情報獲得プログラムを記録した記録媒体を、その解決の手段とする。
【００２９】
本発明では、対象物の外観に関する特徴点の画像座標値の時間的変化量から、特徴点の動き情報を使って、移動点群や特徴点追跡処理にて正確に求められなかった点を除去し、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元することにより、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することが可能とし、また、これまでの測量技術並の高精度な３次元立体視が可能とし、さらには、時系列映像から、静止物体、並びに移動物体の画像認識、画像理解が可能とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３１】
『実施形態例１』
図１は、本発明の第１の実施形態例を示す処理構成図であり、図２が、本発明の第１の実施形態例の処理フローである。これらの図をもとに本発明の第１の実施形態例を説明する。
【００３２】
なお、画像入力装置としてカメラを、時系列画像として空撮画像の場合を説明する。空撮画像の場合、カメラの姿勢はＧＰＳセンサなどを利用して姿勢情報を得ることができ、本実施形態例では、この姿勢情報を使った場合を説明している。本実施形態例では、移動物体上の点群（移動点群）と特徴点追跡の追跡エラーなどが原因で発生する復元誤差、すなわち特徴点追跡処理において正確に求められなかった点群を、以降、特に断らない限り、まとめてアウトライアと称し、これらの点群を除去することで高精度な特徴点を得る。
【００３３】
本実施形態例は、時系列画像を蓄積した時系列画像データベース１、カメラの姿勢情報を蓄積した姿勢情報データベース２、時系列画像上の特徴点を自動的に追跡して、各フレームでの特徴点の画像座標値を測定し、計測行列を出力する特徴点追跡処理部３、移動点群やアウトライア除去に必要な計測行列の入力、並びに、特徴点追跡で得た特徴点の中から移動点群やアウトライアを除去した後に残った特徴点のみから計測行列を生成して、以降の処理に入力データとして与える計測行列入力部４、入力された計測行列からアウトライアを除去するアウトライア除去部５、アウトライアを取り除いた計測行列から物体形状を復元する空間情報処理部６、姿勢情報データベース２から取り出した時系列の姿勢情報等からセンサ運動行列を生成するセンサ運動行列生成部７、並びに、物体形状に関する空間情報を獲得する空間情報出力部８から構成される。
【００３４】
まず、特徴点追跡処理部３は、時系列画像が、時間管理で格納されている時系列画像データベース１から１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。このとき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾配などの画像処理や追跡する画像間における相関情報（例えば、ＫＬＴ法を利用するときのヘッセ行列の固有値など）を使ってにより自動的に、初期画像上にＰ個（ｊ＝１，２，…，Ｐ）の特徴点を配置する。ここで、初期画像（ｉ＝１）での特徴点の２次元画像座標値（ｘ１ｊ，ｙ１ｊ）； ｊ＝１，２，…，Ｐを記録しておく。
【００３５】
次に、特徴点追跡処理部３は、特徴点追跡処理にて、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化などに着目した手法（ＫＬＴ法）などを利用して追跡し、計測行列入力部４にて、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘｉｊ，ｙｉｊ）を記録する。このような時系列的に追跡する処理を続けて、ある時系列区間のフレームにおいて特徴点の画像座標値（ｘｉｊ，ｙｉｊ）を測定する。この処理において、初期画像に配置した特徴点が追跡途中で画像中から消失する、または、オクルージョンなどにより隠れてしまったときは、その特徴点に関する追跡を停止して特徴点から外し、記録上も残さない。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００３６】
計測行列入力部４には、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録されている。特徴点の時間的な画像座標的配置の変化を行列としてデータ化したものを計測行列［Ａ］と称し、式（１）のデータ形式とする。
【００３７】
【数１】
【００３８】
さらに、計測行列入力部４は、式（２）に従って計測行列［Ａ］から各フレーム（ｉ−１，２．…．Ｆ）にわたって特徴点の重心座標値（Ｔｘｉ，Ｔｙｉ）を計算する。この重心座標値（Ｔｘｉ，Ｔｙｉ）を、各時系列での並進成分として、計測行列［Ａ］の各要素から差し引き、式（３）の行列［Ｂ］を保持しておく。
【００３９】
【数２】
【００４０】
【数３】
【００４１】
次のアウトライア除去部５の説明をする。図３はアウトライア除去の処理フローである。最初に、計測行列［Ｂ］を入力し、特異値分解処理を行い、式（４）に示すように３つの行列に分解する。分解した行列の中で、式（５）のような行列要素を取り出し、３×Ｐサイズの行列［Ｖ］を速度行列として保持しておく（速度行列抽出）。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
アウトライア除去処理では、この速度行列［Ｖ］の各特徴点に対応する速度ベクトル値（ｖｘｊ，ｖｙｊ，ｖｚｊ）によりアウトライアか否かを判定する。そのために、速度行列［Ｖ］に関する３×３サイズの共分散行列［Ｖｃ］を計算する。さらに、この共分散行列を固有値分解し、式（６）の右辺のように固有値（ｅ１，ｅ２，ｅ３）を得る。
【００４５】
【数６】
【００４６】
次に、この固有値の平方根を使って、式（７）に示すスケール変換を行い、速度行列［Ｖ２］を保持しておく。さらに、正規化した速度行列［Ｖ２］の各速度成分の標準偏差σｘ，σｙ，σｚを計算し、この標準偏差値σｘ，σｙ，σｚとパラメータγで式（７−ａ）、または、（７−ｂ）の変換を行い、行列［Ｖ３］を得る。ここで式（７−ｂ）のγは適当な実数であり、通常２．０を入れておく。
【００４７】
【数７】
【００４８】
図４は、アウトライア判定の説明図である。図４のｖ”ｘ，ｖ”ｙ，ｖ”ｚ空間において、各特徴点の速度ベクトル（ｖ”ｘｊ，ｖ”ｙｊ，ｖ”ｚｊ）が、原点からの距離を１とした球の内部にあるときはアウトライアでない、逆に、単位球の外部にあるときはアウトライアであると判定して、計測行列から外す。この図では、点ｐ１，ｐ２がアウトライアでなく、点ｐ３，ｐ４がアウトライアと判定される。アウトライア除去処理でアウトライアとして除去された特徴点の個数をＮ個だとして、残った特徴点数Ｌ（＝Ｐ−Ｎ）を全体の特徴点とした計測行列を［Ｃ］とする（式（８））。これを計測行列として記録しておく。
【００４９】
【数８】
【００５０】
次に、この計測行列から物体形状に関する空間情報を獲得する処理について説明する。図５は空間情報処理部における処理フローである。アウトライアを除去した計測行列［Ｃ］において、式（９）に示す重心座標値を各フレームにおいて求め、各フレームでの特徴点座標値から引いた行列［Ｄ］を式（１０）として計算しておく。
【００５１】
【数９】
【００５２】
【数１０】
【００５３】
さらに、この行列［Ｃ］を特異値分解にて３つの行列に分解し、ランク４以上の成分を削除して、式（１１）の部分行列を求めておく。
【００５４】
【数１１】
【００５５】
次に、式（１２）、式（１３）の画像運動行列［Ｍ］ａ、物体行列［Ｓ］ａを計算しておく。
【００５６】
【数１２】
【００５７】
【数１３】
【００５８】
一方、カメラの姿勢情報を蓄積した姿勢情報データベース２から、時系列画像に対応するカメラの姿勢（αｉ，βｉ，γｉ）、すなわち、Ｒｏｌｌ回転αｉ，Ｐｉｔｃｈ回転βｉ，Ｙａｗ回転γｉ、並びに、ある基準面からの奥行きＴｚｉ（空撮映像の場合は、ＧＰＳセンサを利用して計測したカメラの海抜水平面からの標高値）を取り出す。さらに、式（１５）に示す行列を計算し、式（１４）のセンサ運動行列［Ｍ］を求める。
【００５９】
【数１４】
【００６０】
【数１５】
【００６１】
このセンサ運動行列［Ｍ］と先に分解して求めておいた画像運動行列［Ｍ］ａから、式（１６）にしたがって、変換行列［Ｑ］を求める。
【００６２】
【数１６】
【００６３】
さらに、式（１７）にしたがって行列［Ｓ］求める。この行列［Ｓ］の各列ベクトルが特徴点の３次元座標値として獲得されている。
【００６４】
【数１７】
【００６５】
引き続き、透視投影型因子分解法を行うために、復元した物体形状行列［Ｓ］から各フレームの画像面に再投影して、式（１８）にしたがって再投影した画像座標値（ｕｉｊ，ｖｉｊ）を得る。再投影とは、獲得したカメラ運動と物体形状から、例えば、図１０の関係を用いて、画像面に再度投影して２次元座標値を求めることを意味する。
【００６６】
【数１８】
【００６７】
この再投影座標値と計測行列［Ｄ］の各行列要素から再投影誤差ΔＡを算出する。ここで、εｉｊを奥行き情報とし、ｋｉ、並びに，Ｔｉは、式（１５）から算出する。ここで、式（１８）で求めた投影結果（ｕｉｊ，ｖｉｊ）と（ｘｉｊ，ｙｉｊ）を成分とする計測行列［Ａ］との誤差行列［δＡ］を計算（式（１９））し、この誤差行列［δＡ］から、［δＡ］Ｔ［δＡ］を求め、この対角要素を加算した量を計測行列との誤差ΔＡとする（式（２０））。
【００６８】
【数１９】
【００６９】
【数２０】
【００７０】
この再投影誤差ΔＡの値が収束しているか否かを判定して次の反復を行うかどうかを決定する。この誤差ΔＡが、１つ前の反復時の誤差との差が許容範囲σ以下であると判定した場合は、収束したと判定し、このときの物体形状行列［Ｓ］を出力する。一方、許容誤差σを超えると判定した場合は、式（２１），（２２）に従って、次の反復で使用する計測行列［Ｄ（ｔ）］を生成する。次の因子分解法では、この［Ｄ（ｔ）］を行列［Ｄ］と置き換えて、これまでの処理を続ける。
【００７１】
【数２１】
【００７２】
【数２２】
【００７３】
以上の発明により、時系列映像からの移動点群やアウトライアなどを除去して、静止物体の特徴点のみから構成される物体形状を表す３次元的空間座標値を高精度に復元することが可能となる。
【００７４】
『実施形態例２』
本実施形態例では、本発明を時系列画像のみからカメラ運動と物体形状を求める手法、例えば、反復的透視投影型因子分解法（非特許文献１，２，３）と組み合わせて実現する例について記載する。図６は、本実施形態例の構成図であり、図７が処理フローである。
【００７５】
本実施形態例は、時系列画像を蓄積した時系列画像データベース１、時系列画像上の特徴点を自動的に追跡して、各フレームでの特徴点の画像座標値を測定し、計測行列を出力する特徴点追跡処理部３、移動点群やアウトライア除去に必要な計測行列の入力、並びに、特徴点追跡で得た特徴点の中から移動点群やアウトライアを除去した後に残った特徴点のみから計測行列を生成して、以降の処理に入力データとして与える計測行列入力部４、入力された計測行列からアウトライアを除去するアウトライア除去部５、アウトライアを取り除いた計測行列から因子分解法を使ってカメラ運動と物体形状を復元する透視投影型因子分解処理部１１、復元したカメラ運動と物体形状から各画像面へ再投影を行い計測行列との誤差を求める再投影誤差計測部１２、透視投影に漸近させるために反復的に因子分解処理を行うかどうかを判定し、反復を行うときに透視投影に漸近するように計測行列を更新する計測行列更新処理部１３、並びに、物体形状に関する空間情報を獲得する空間情報出力部８から構成される。
【００７６】
本実施形態例は、第１の実施形態例と同様に、特徴点追跡処理部３が、時系列画像データベース１からの時系列画像に対して、特徴点を自動的に求め、あるフレームにわたって追跡を行い、式（１）の形式の計測行列［Ａ］を得る。次に、アウトライア除去部５により、第１の実施形態例で説明したアウトライア除去を行って、計測行列からアウトライアのみを削除した計測行列［Ｃ］を得る。
【００７７】
この後の処理は、透視投影型因子分解処理部１１、再投影誤差計測部１２および計測行列更新処理部１３により、非特許文献１，２，３の反復的透視投影型因子分解法を利用して、カメラ運動と物体形状を復元する。空間情報出力部８は、この手法に得られた物体形状、すなわち、特徴点の３次元座標値（空間情報）を出力する。
【００７８】
『実施形態例３』
本実施形態例は、上記第１、第２の実施形態例に対して、アウトライア除去部５によるアウトライア除去処理だけが異なるので、その部分のみを記載する。その箇所の処理フローを図８に示す。
【００７９】
特徴点追跡処理部３から得る計測行列を、特異値分解し、速度行列［Ｖ］を抽出する。このとき、図３の単位球より外の特徴点はアウトライアとして除去する。つまり、最初の１回目の処理で計測行列から、アウトライアとした特徴点を削除し、これを新たな計測行列とする。この残った特徴点から構成される計測行列をさらに特異値分解して、速度行列を求め、図３において、単位球より外の特徴点をアウトライアとして除去する。このアウトライアと認識した特徴点を外した計測行列を新たな計測行列とする。このような反復処理を繰り返し、除去するアウトライアが無い、または、単位球内に全ての特徴点が収まっている場合は、計測行列の中に、もうアウトライアが無いと判定して、次の処理へ進む。以降は、残った特徴点から構成される計測行列を入力データとして、これまでの実施形態例の処理が行われる。
【００８０】
本実施形態例によれば、除去すべき点の精度を上げることが可能となる。
【００８１】
『実施形態例４』
本実施形態例は、これまでの実施形態例に、アウトライア除去処理する前段階で、特異値分解する行列データを生成する箇所のみ異なっているため、その部分のみを記載する。
【００８２】
本実施形態例では、図１、または、図６の特徴点追跡処理部３で得た計測行列から時間差分型計測行列データを作成する。その処理フローを図９に示す。本実施形態例では、この処理フローにより得られた計測行列から、空間情報を復元する。
【００８３】
まず、特徴点追跡により得られた計測行列［Ａ］から、重心座標値を引いた計測行列［Ｂ］を入力データとして、式（２３）に示すフレーム間の差分した座標値を生成する。これを行列［ｄＢ］（時間差分型計測行列データ）として保持し、この行列を式（２４）に示すように特異値分解する。
【００８４】
【数２３】
【００８５】
【数２４】
【００８６】
ここで、分解された行列の要素から、式（２５）に示す速度行列［ｄＶ］を得る。
【００８７】
【数２５】
【００８８】
以降は、この行列をアウトライア除去処理で使う速度行列として、式（６）の共分散行列の固有値を求め、式（７）、式（７−ａ）、式（７−ｂ）のスケール変換した速度行列を得て、各特徴点の速度ベクトルが単位球の中、または、外かを判定してアウトライアを除去する。
【００８９】
なお、図１や図６により示した装置における各処理部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図３、図５、図７、図８、および図９で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００９０】
【発明の効果】
本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することができる。また、これまでの測量技術並の高精度な３次元立体視が可能である。また、時系列映像から、静止物体、並びに移動物体の画像認識、画像理解が可能である。
【図面の簡単な説明】
【図１】本発明による第１の実施形態例の基本構成図
【図２】第１の実施形態例の処理フロー図
【図３】第１の実施形態例のアウトライア除去部の処理フロー図
【図４】アウトライア判定の説明図
【図５】第１の実施形態例の空間情報処理部の処理フロー図
【図６】本発明による第２の実施形態例の基本構成図
【図７】第２の実施形態例の処理フロー図
【図８】本発明による第３の実施形態例のアウトライア除去部の処理フロー図
【図９】本発明による第４の実施形態例のアウトライア除去部の処理フロー図
【図１０】再投影の説明図
【符号の説明】
１…時系列画像データベース
２…姿勢情報データベース
３…特徴点追跡処理部
４…計測行列入力部
５…アウトライア除去部
６…空間情報処理部
７…センサ運動行列生成部
８…空間情報出力部
１１…透視投影型因子分解処理部
１２…再投影誤差計測部
１３…計測行列更新処理部
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元すること、並びに、画像入力装置の光学的視点の運動、および、時系列映像中の被写体が移動物体か、静止物体かを画像的に理解する技術に関係する。
【０００２】
特に、特徴点が移動物体上の点（移動点群）か、特徴点追跡時の追跡エラーが原因で発生するアウトライア（以下、移動点群とアウトライア点群を合わせてアウトライアと称する）かどうかの自動判定を行い、この特徴点を計測行列から除去し、画像入力装置の運動と特徴点の３次元座標値を高精度に獲得、復元することに好適に利用できるものである。また、本発明は、車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能である。
【０００３】
【従来の技術】
コンピュータビジョンの分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
因子分解法は、３次元空間座標値と２次元画像座標値間の光学的射影モデルに基づいて、特異値分解や雑音除去を行い、カメラ運動に関する幾何的拘束条件のもとで雑音にロバストにカメラ運動と物体形状を同時に復元する手法である。これまで、因子分解法アルゴリズムは線形演算が主体の手法であった。つまり、実際の透視投影は非線形な射影モデルあるのに対して、線形近似の射影モデルが用いられてきた。特に、下記の非特許文献１，２，３は、線形なアフィンカメラモデルを用いて、反復的に透視投影の射影モデルに漸近させる手法として存在している。非特許文献１，２，３の方法は、数回程度の反復的な因子分解法を繰り返すだけで、カメラ運動と物体形状を、透視投影モデルに近い状態で同時に復元することができ、３次元獲得手法、カメラ運動推定などに利用されている。
【０００５】
さらに、移動する被写体の運動までも同時に復元する手法として、非特許文献４，５がある。この手法は、カメラ運動に対して、被写体が線形運動する、または、対象とする時系列な映像シーンの時間区間において、被写体が時間的に線形運動するという仮定に基づいて、因子分解法を利用し、カメラの運動、物体（被写体）の運動と形状を同時に復元する手法である。この手法は、空撮映像などの映像シーンにおいて、車両などの移動物体と建物形状を復元する手法としても応用が考えられる。
【０００６】
【非特許文献１】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｒｎ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”， ＩＮＲＩＡ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＲＲ−２４２１， １ ９９４．
【０００７】
【非特許文献２】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ＰＡＭＩ， Ｖｏｌ．１８， Ｎ０．１１， ｐｐ．２４９５−２５０３， １９９６．
【０００８】
【非特許文献３】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ， “Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｒｏｎ ｆｒｏｍ Ｐａｒａｐｅｒｓｐｅｃｔｒｖｅ ｔｏ Ｐｅｒｓｐｅｃｔｉｖｅ”， ＥＣＣＶ９６， １９９６．
【０００９】
【非特許文献４】
Ｍ．Ｈａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｔｈｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｗｉｔｈ Ｌｉｎｅａｒ Ｍｏｔｉｏｎ”， ＣＭＵ−ＲＩ−ＴＲ−９９−２３， １９９９．
【００１０】
【非特許文献５】
Ｍ．Ｈａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ， “Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ａ Ｓｃｅｎｅ ｗｉｔｈ Ｍｕｌｔｉｐｌｅ Ｌｉｎｅａｒｌｙ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ”， ＣＶＰＲ’ＯＯ， ２０００．
【００１１】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元する代表的な手法として、反復的透視投影型因子分解法（非特許文献１，２，３）がある。しかし、静止物体を被写体とした前提に基づいており、移動物体と静止物体の同定は困難である。ところで、特徴点は特徴点追跡により、時系列にわたって特徴点の画像座標値を計測するのが一般的であり、代表的な手法として、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（ＫＬＴ法）を利用することができる。この追跡処理において、特徴点を正確に追跡できず他の座標値を追跡し、または、周辺画素のぼけなどにより正確な座標値を得ることができないことがある。これはアウトライア（Ｏｕｔｌｉｅｒ）となり、被写体の３次元空間情報を獲得、復元する場合に悪影饗を及ぼす。特に、反復的透視投影型因子分解法（非特許文献１，２，３）では、移動物体の動きもアウトライアの原因となり、時系列映像中に移動物体や追跡エラーを含む特徴点が存在すると、反復的な透視投影モデルへの漸近過程において、解が収束しなかったり、正確なカメラ運動と物体形状を復元できなかったりする。
【００１２】
一方、移動物体を線形運動と仮定した因子分解法（非特許文献４，５）は、カメラ運動、物体形状、物体の移動速度を同時に復元する手法として提案されているが、移動物体以外に特徴点の追跡エラーが移動物体のように振る舞うと、静止物体か、移動物体か、追跡エラーによるアウトライアなのか、同定することは難しい。さらに、この手法において、ランク５までの行列成分を利用しているが、ランク４以降の成分は雑音混入の可能性も高く、雑音除去と移動点群の分離が暖昧である。したがって、移動手段を使って撮影カメラを動かしながら撮影する撮影環境では、移動手段との関係、屋外環境との関係でカメラが微小に動くため、ランダム性雑音の影響も大きく、安定的に、カメラの動き、物体の運動、並びに、物体の形状を、同時に、かつ、高精度に復元することは不可能であった。
【００１３】
非特許文献１，２，３を利用する場合に、アウトライア除去の手法として、カメラ運動と物体形状を復元した後に、各フレームの画像面に再投影して、特徴点追跡により測定した画像座標値と再投影誤差との誤差が、ある一定値以上の誤差を有する場合の特徴点をアウトライアとして認識することも可能だが、反復的透視投影型因子分解法の処理では、移動点群やアウトライアが透視投影の漸近過程に埋もれやすく、静止物体のごとく透視投影にフィックスされる可能性もある。したがって、反復的透視投影過程では、透視投影射影にフィックスする前の段階でアウトライアを除去することが重要である。
【００１４】
本発明は、上記従来技術の問題点を解決するためのものであって、カメラ等の画像入力装置により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元することができ、並びに、画像入力装置の光学的視点の運動、および、時系列映像中の被写体が移動物体か、静止物体かを画像的に理解することができる空間情報獲得方法および装置を提供することが課題である。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、画像入力装置の姿勢を計測するセンサを使って、第１ステップで使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２ステップと、第１ステップにおいて除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３ステップと、第３ステップにて得た画像運動行列と、第２ステップで生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３ステップで得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４ステップと、を有することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１６】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、第１ステップにおいて残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２ステップと、を有することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１７】
あるいは、上記の空間情報獲得方法であって、第４ステップで獲得した物体形状に関する空間情報と、第２ステップで生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３ステップ、並びに、第４ステップを繰り返し、物体形状に関する空間情報を獲得することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１８】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００１９】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００２０】
あるいは、上記の空間情報獲得方法であって、第１ステップでは、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去することを特徴とする空間情報獲得方法を、その解決の手段とする。
【００２１】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、画像入力装置の姿勢を計測するセンサを使って、第１の手段で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２の手段と、第１の手段において除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３の手段と、第３の手段にて得た画像運動行列と、第２の手段で生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３の手段で得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４の手段と、を有することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２２】
あるいは、画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、第１の手段において残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２の手段と、を有することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２３】
あるいは、上記の空間情報獲得装置であって、第４の手段で獲得した物体形状に関する空間情報と、第２の手段で生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３の手段の処理、並びに、第４の手段の処理を繰り返し、物体形状に関する空間情報を獲得することを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２４】
あるいは、上記の空間情報獲得装置であって、第１の手段は、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２５】
あるいは、上記の空間情報獲得装置であって、第１の手段は、計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２６】
あるいは、上記の空間情報獲得装置であって、第１の手段は、各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去するものであることを特徴とする空間情報獲得装置を、その解決の手段とする。
【００２７】
あるいは、上記の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする空間情報獲得プログラムを、その解決の手段とする。
【００２８】
あるいは、上記の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする空間情報獲得プログラムを記録した記録媒体を、その解決の手段とする。
【００２９】
本発明では、対象物の外観に関する特徴点の画像座標値の時間的変化量から、特徴点の動き情報を使って、移動点群や特徴点追跡処理にて正確に求められなかった点を除去し、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元することにより、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することが可能とし、また、これまでの測量技術並の高精度な３次元立体視が可能とし、さらには、時系列映像から、静止物体、並びに移動物体の画像認識、画像理解が可能とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３１】
『実施形態例１』
図１は、本発明の第１の実施形態例を示す処理構成図であり、図２が、本発明の第１の実施形態例の処理フローである。これらの図をもとに本発明の第１の実施形態例を説明する。
【００３２】
なお、画像入力装置としてカメラを、時系列画像として空撮画像の場合を説明する。空撮画像の場合、カメラの姿勢はＧＰＳセンサなどを利用して姿勢情報を得ることができ、本実施形態例では、この姿勢情報を使った場合を説明している。本実施形態例では、移動物体上の点群（移動点群）と特徴点追跡の追跡エラーなどが原因で発生する復元誤差、すなわち特徴点追跡処理において正確に求められなかった点群を、以降、特に断らない限り、まとめてアウトライアと称し、これらの点群を除去することで高精度な特徴点を得る。
【００３３】
本実施形態例は、時系列画像を蓄積した時系列画像データベース１、カメラの姿勢情報を蓄積した姿勢情報データベース２、時系列画像上の特徴点を自動的に追跡して、各フレームでの特徴点の画像座標値を測定し、計測行列を出力する特徴点追跡処理部３、移動点群やアウトライア除去に必要な計測行列の入力、並びに、特徴点追跡で得た特徴点の中から移動点群やアウトライアを除去した後に残った特徴点のみから計測行列を生成して、以降の処理に入力データとして与える計測行列入力部４、入力された計測行列からアウトライアを除去するアウトライア除去部５、アウトライアを取り除いた計測行列から物体形状を復元する空間情報処理部６、姿勢情報データベース２から取り出した時系列の姿勢情報等からセンサ運動行列を生成するセンサ運動行列生成部７、並びに、物体形状に関する空間情報を獲得する空間情報出力部８から構成される。
【００３４】
まず、特徴点追跡処理部３は、時系列画像が、時間管理で格納されている時系列画像データベース１から１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。このとき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾配などの画像処理や追跡する画像間における相関情報（例えば、ＫＬＴ法を利用するときのヘッセ行列の固有値など）を使ってにより自動的に、初期画像上にＰ個（ｊ＝１，２，…，Ｐ）の特徴点を配置する。ここで、初期画像（ｉ＝１）での特徴点の２次元画像座標値（ｘ１ｊ，ｙ１ｊ）； ｊ＝１，２，…，Ｐを記録しておく。
【００３５】
次に、特徴点追跡処理部３は、特徴点追跡処理にて、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化などに着目した手法（ＫＬＴ法）などを利用して追跡し、計測行列入力部４にて、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘｉｊ，ｙｉｊ）を記録する。このような時系列的に追跡する処理を続けて、ある時系列区間のフレームにおいて特徴点の画像座標値（ｘｉｊ，ｙｉｊ）を測定する。この処理において、初期画像に配置した特徴点が追跡途中で画像中から消失する、または、オクルージョンなどにより隠れてしまったときは、その特徴点に関する追跡を停止して特徴点から外し、記録上も残さない。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００３６】
計測行列入力部４には、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録されている。特徴点の時間的な画像座標的配置の変化を行列としてデータ化したものを計測行列［Ａ］と称し、式（１）のデータ形式とする。
【００３７】
【数１】
さらに、計測行列入力部４は、式（２）に従って計測行列［Ａ］から各フレーム（ｉ−１，２．…．Ｆ）にわたって特徴点の重心座標値（Ｔｘｉ，Ｔｙｉ）を計算する。この重心座標値（Ｔｘｉ，Ｔｙｉ）を、各時系列での並進成分として、計測行列［Ａ］の各要素から差し引き、式（３）の行列［Ｂ］を保持しておく。
【００３９】
【数２】
【数３】
次のアウトライア除去部５の説明をする。図３はアウトライア除去の処理フローである。最初に、計測行列［Ｂ］を入力し、特異値分解処理を行い、式（４）に示すように３つの行列に分解する。分解した行列の中で、式（５）のような行列要素を取り出し、３×Ｐサイズの行列［Ｖ］を速度行列として保持しておく（速度行列抽出）。
【００４２】
【数４】
【数５】
アウトライア除去処理では、この速度行列［Ｖ］の各特徴点に対応する速度ベクトル値（ｖｘｊ，ｖｙｊ，ｖｚｊ）によりアウトライアか否かを判定する。そのために、速度行列［Ｖ］に関する３×３サイズの共分散行列［Ｖｃ］を計算する。さらに、この共分散行列を固有値分解し、式（６）の右辺のように固有値（ｅ１，ｅ２，ｅ３）を得る。
【００４５】
【数６】
次に、この固有値の平方根を使って、式（７）に示すスケール変換を行い、速度行列［Ｖ２］を保持しておく。さらに、正規化した速度行列［Ｖ２］の各速度成分の標準偏差σｘ，σｙ，σｚを計算し、この標準偏差値σｘ，σｙ，σｚとパラメータγで式（７−ａ）、または、（７−ｂ）の変換を行い、行列［Ｖ３］を得る。ここで式（７−ｂ）のγは適当な実数であり、通常２．０を入れておく。
【００４７】
【数７】
図４は、アウトライア判定の説明図である。図４のｖ”ｘ，ｖ”ｙ，ｖ”ｚ空間において、各特徴点の速度ベクトル（ｖ”ｘｊ，ｖ”ｙｊ，ｖ”ｚｊ）が、原点からの距離を１とした球の内部にあるときはアウトライアでない、逆に、単位球の外部にあるときはアウトライアであると判定して、計測行列から外す。この図では、点ｐ１，ｐ２がアウトライアでなく、点ｐ３，ｐ４がアウトライアと判定される。アウトライア除去処理でアウトライアとして除去された特徴点の個数をＮ個だとして、残った特徴点数Ｌ（＝Ｐ−Ｎ）を全体の特徴点とした計測行列を［Ｃ］とする（式（８））。これを計測行列として記録しておく。
【００４９】
【数８】
次に、この計測行列から物体形状に関する空間情報を獲得する処理について説明する。図５は空間情報処理部における処理フローである。アウトライアを除去した計測行列［Ｃ］において、式（９）に示す重心座標値を各フレームにおいて求め、各フレームでの特徴点座標値から引いた行列［Ｄ］を式（１０）として計算しておく。
【００５１】
【数９】
【数１０】
さらに、この行列［Ｃ］を特異値分解にて３つの行列に分解し、ランク４以上の成分を削除して、式（１１）の部分行列を求めておく。
【００５４】
【数１１】
次に、式（１２）、式（１３）の画像運動行列［Ｍ］ａ、物体行列［Ｓ］ａを計算しておく。
【００５６】
【数１２】
【数１３】
一方、カメラの姿勢情報を蓄積した姿勢情報データベース２から、時系列画像に対応するカメラの姿勢（αｉ，βｉ，γｉ）、すなわち、Ｒｏｌｌ回転αｉ，Ｐｉｔｃｈ回転βｉ，Ｙａｗ回転γｉ、並びに、ある基準面からの奥行きＴｚｉ（空撮映像の場合は、ＧＰＳセンサを利用して計測したカメラの海抜水平面からの標高値）を取り出す。さらに、式（１５）に示す行列を計算し、式（１４）のセンサ運動行列［Ｍ］を求める。
【００５９】
【数１４】
【数１５】
このセンサ運動行列［Ｍ］と先に分解して求めておいた画像運動行列［Ｍ］ａから、式（１６）にしたがって、変換行列［Ｑ］を求める。
【００６２】
【数１６】
さらに、式（１７）にしたがって行列［Ｓ］求める。この行列［Ｓ］の各列ベクトルが特徴点の３次元座標値として獲得されている。
【００６４】
【数１７】
引き続き、透視投影型因子分解法を行うために、復元した物体形状行列［Ｓ］から各フレームの画像面に再投影して、式（１８）にしたがって再投影した画像座標値（ｕｉｊ，ｖｉｊ）を得る。再投影とは、獲得したカメラ運動と物体形状から、例えば、図１０の関係を用いて、画像面に再度投影して２次元座標値を求めることを意味する。
【００６６】
【数１８】
この再投影座標値と計測行列［Ｄ］の各行列要素から再投影誤差ΔＡを算出する。ここで、εｉｊを奥行き情報とし、ｋｉ、並びに，Ｔｉは、式（１５）から算出する。ここで、式（１８）で求めた投影結果（ｕｉｊ，ｖｉｊ）と（ｘｉｊ，ｙｉｊ）を成分とする計測行列［Ａ］との誤差行列［δＡ］を計算（式（１９））し、この誤差行列［δＡ］から、［δＡ］Ｔ［δＡ］を求め、この対角要素を加算した量を計測行列との誤差ΔＡとする（式（２０））。
【００６８】
【数１９】
【数２０】
この再投影誤差ΔＡの値が収束しているか否かを判定して次の反復を行うかどうかを決定する。この誤差ΔＡが、１つ前の反復時の誤差との差が許容範囲σ以下であると判定した場合は、収束したと判定し、このときの物体形状行列［Ｓ］を出力する。一方、許容誤差σを超えると判定した場合は、式（２１），（２２）に従って、次の反復で使用する計測行列［Ｄ（ｔ）］を生成する。次の因子分解法では、この［Ｄ（ｔ）］を行列［Ｄ］と置き換えて、これまでの処理を続ける。
【００７１】
【数２１】
【数２２】
以上の発明により、時系列映像からの移動点群やアウトライアなどを除去して、静止物体の特徴点のみから構成される物体形状を表す３次元的空間座標値を高精度に復元することが可能となる。
【００７４】
『実施形態例２』
本実施形態例では、本発明を時系列画像のみからカメラ運動と物体形状を求める手法、例えば、反復的透視投影型因子分解法（非特許文献１，２，３）と組み合わせて実現する例について記載する。図６は、本実施形態例の構成図であり、図７が処理フローである。
【００７５】
本実施形態例は、時系列画像を蓄積した時系列画像データベース１、時系列画像上の特徴点を自動的に追跡して、各フレームでの特徴点の画像座標値を測定し、計測行列を出力する特徴点追跡処理部３、移動点群やアウトライア除去に必要な計測行列の入力、並びに、特徴点追跡で得た特徴点の中から移動点群やアウトライアを除去した後に残った特徴点のみから計測行列を生成して、以降の処理に入力データとして与える計測行列入力部４、入力された計測行列からアウトライアを除去するアウトライア除去部５、アウトライアを取り除いた計測行列から因子分解法を使ってカメラ運動と物体形状を復元する透視投影型因子分解処理部１１、復元したカメラ運動と物体形状から各画像面へ再投影を行い計測行列との誤差を求める再投影誤差計測部１２、透視投影に漸近させるために反復的に因子分解処理を行うかどうかを判定し、反復を行うときに透視投影に漸近するように計測行列を更新する計測行列更新処理部１３、並びに、物体形状に関する空間情報を獲得する空間情報出力部８から構成される。
【００７６】
本実施形態例は、第１の実施形態例と同様に、特徴点追跡処理部３が、時系列画像データベース１からの時系列画像に対して、特徴点を自動的に求め、あるフレームにわたって追跡を行い、式（１）の形式の計測行列［Ａ］を得る。次に、アウトライア除去部５により、第１の実施形態例で説明したアウトライア除去を行って、計測行列からアウトライアのみを削除した計測行列［Ｃ］を得る。
【００７７】
この後の処理は、透視投影型因子分解処理部１１、再投影誤差計測部１２および計測行列更新処理部１３により、非特許文献１，２，３の反復的透視投影型因子分解法を利用して、カメラ運動と物体形状を復元する。空間情報出力部８は、この手法に得られた物体形状、すなわち、特徴点の３次元座標値（空間情報）を出力する。
【００７８】
『実施形態例３』
本実施形態例は、上記第１、第２の実施形態例に対して、アウトライア除去部５によるアウトライア除去処理だけが異なるので、その部分のみを記載する。その箇所の処理フローを図８に示す。
【００７９】
特徴点追跡処理部３から得る計測行列を、特異値分解し、速度行列［Ｖ］を抽出する。このとき、図３の単位球より外の特徴点はアウトライアとして除去する。つまり、最初の１回目の処理で計測行列から、アウトライアとした特徴点を削除し、これを新たな計測行列とする。この残った特徴点から構成される計測行列をさらに特異値分解して、速度行列を求め、図３において、単位球より外の特徴点をアウトライアとして除去する。このアウトライアと認識した特徴点を外した計測行列を新たな計測行列とする。このような反復処理を繰り返し、除去するアウトライアが無い、または、単位球内に全ての特徴点が収まっている場合は、計測行列の中に、もうアウトライアが無いと判定して、次の処理へ進む。以降は、残った特徴点から構成される計測行列を入力データとして、これまでの実施形態例の処理が行われる。
【００８０】
本実施形態例によれば、除去すべき点の精度を上げることが可能となる。
【００８１】
『実施形態例４』
本実施形態例は、これまでの実施形態例に、アウトライア除去処理する前段階で、特異値分解する行列データを生成する箇所のみ異なっているため、その部分のみを記載する。
【００８２】
本実施形態例では、図１、または、図６の特徴点追跡処理部３で得た計測行列から時間差分型計測行列データを作成する。その処理フローを図９に示す。本実施形態例では、この処理フローにより得られた計測行列から、空間情報を復元する。
【００８３】
まず、特徴点追跡により得られた計測行列［Ａ］から、重心座標値を引いた計測行列［Ｂ］を入力データとして、式（２３）に示すフレーム間の差分した座標値を生成する。これを行列［ｄＢ］（時間差分型計測行列データ）として保持し、この行列を式（２４）に示すように特異値分解する。
【００８４】
【数２３】
【数２４】
ここで、分解された行列の要素から、式（２５）に示す速度行列［ｄＶ］を得る。
【００８７】
【数２５】
以降は、この行列をアウトライア除去処理で使う速度行列として、式（６）の共分散行列の固有値を求め、式（７）、式（７−ａ）、式（７−ｂ）のスケール変換した速度行列を得て、各特徴点の速度ベクトルが単位球の中、または、外かを判定してアウトライアを除去する。
【００８９】
なお、図１や図６により示した装置における各処理部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図３、図５、図７、図８、および図９で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００９０】
【発明の効果】
本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状を高精度に獲得、復元することができる。また、これまでの測量技術並の高精度な３次元立体視が可能である。また、時系列映像から、静止物体、並びに移動物体の画像認識、画像理解が可能である。
【図面の簡単な説明】
【図１】本発明による第１の実施形態例の基本構成図
【図２】第１の実施形態例の処理フロー図
【図３】第１の実施形態例のアウトライア除去部の処理フロー図
【図４】アウトライア判定の説明図
【図５】第１の実施形態例の空間情報処理部の処理フロー図
【図６】本発明による第２の実施形態例の基本構成図
【図７】第２の実施形態例の処理フロー図
【図８】本発明による第３の実施形態例のアウトライア除去部の処理フロー図
【図９】本発明による第４の実施形態例のアウトライア除去部の処理フロー図
【図１０】再投影の説明図
【符号の説明】
１…時系列画像データベース
２…姿勢情報データベース
３…特徴点追跡処理部
４…計測行列入力部
５…アウトライア除去部
６…空間情報処理部
７…センサ運動行列生成部
８…空間情報出力部
１１…透視投影型因子分解処理部
１２…再投影誤差計測部
１３…計測行列更新処理部
Claims (14)
- 画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、
時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、
画像入力装置の姿勢を計測するセンサを使って、第１ステップで使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２ステップと、
第１ステップにおいて除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３ステップと、
第３ステップにて得た画像運動行列と、第２ステップで生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３ステップで得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４ステップと、を有する
ことを特徴とする空間情報獲得方法。 - 画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する方法であって、
時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１ステップと、
第１ステップにおいて残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２ステップと、を有する
ことを特徴とする空間情報獲得方法。 - 請求項１記載の空間情報獲得方法であって、
第４ステップで獲得した物体形状に関する空間情報と、第２ステップで生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３ステップ、並びに、第４ステップを繰り返し、物体形状に関する空間情報を獲得する
ことを特徴とする空間情報獲得方法。 - 請求項１ないし請求項３のいずれかに記載の空間情報獲得方法であって、
第１ステップでは、
各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去する
ことを特徴とする空間情報獲得方法。 - 請求項１ないし請求項３のいずれかに記載の空間情報獲得方法であって、
第１ステップでは、
計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する
ことを特徴とする空間情報獲得方法。 - 請求項１ないし請求項３のいずれかに記載の空間情報獲得方法であって、
第１ステップでは、
各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去する
ことを特徴とする空間情報獲得方法。 - 画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、
時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動物体上の点並びに移動する点（以下では、これらを移動点群と称する）や特徴点追跡処理において正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、
画像入力装置の姿勢を計測するセンサを使って、第１の手段で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対し計測した姿勢情報から、各時系列画像に対応する運動情報としてセンサ運動行列を生成する第２の手段と、
第１の手段において除去されなかった特徴点から構成される計測行列を行列分解して、画像入力装置の時系列的動きとしての画像運動行列と特徴点の３次元情報を表す形状情報としての物体形状行列を得る第３の手段と、
第３の手段にて得た画像運動行列と、第２の手段で生成したセンサ運動行列との間の変換行列を算出し、該変換行列を用いて、第３の手段で得た物体形状行列から、特徴点の３次元座標値、すなわち、物体形状に関する空間情報を獲得する第４の手段と、を有する
ことを特徴とする空間情報獲得装置。 - 画像入力装置で対象物を撮影して取得した時系列画像中にて、対象物の外観に関する特徴点の画像座標値の時間的変化量から、対象物の形状、並びに、時系列に対する画像入力装置の運動を獲得、復元する装置であって、
時系列画像中の特徴点の時間的変化量を時系列にわたって集計したデータである計測行列から、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去する第１の手段と、
第１の手段において残った特徴点から構成される計測行列から画像入力装置の運動と物体形状を求めるコンピュータビジョン的手法を利用して、物体形状に関する空間情報を獲得する第２の手段と、を有する
ことを特徴とする空間情報獲得装置。 - 請求項７記載の空間情報獲得装置であって、
第４の手段で獲得した物体形状に関する空間情報と、第２の手段で生成したセンサ運動行列をもとに画像面の再投影誤差を算出し、この誤差が収束しているか、または、ある一定以下の誤差になっているかどうかを判定し、誤差が収束していない、または、ある一定量を超えていると判定した場合は、新たな計測行列を生成し、この生成した計測行列を使って、誤差が収束、または、一定値以下になるまで反復的に第３の手段の処理、並びに、第４の手段の処理を繰り返し、物体形状に関する空間情報を獲得する
ことを特徴とする空間情報獲得装置。 - 請求項７ないし請求項９のいずれかに記載の空間情報獲得装置であって、
第１の手段は、
各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列から、さらに移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群、正確に求められなかった点を除去するものである
ことを特徴とする空間情報獲得装置。 - 請求項７ないし請求項９のいずれかに記載の空間情報獲得装置であって、
第１の手段は、
計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、移動点群や該正確に求められなかった点を除去するものである
ことを特徴とする空間情報獲得装置。 - 請求項７ないし請求項９のいずれかに記載の空間情報獲得装置であって、
第１の手段は、
各特徴点の動き情報が、ある閾値を超える場合、その特徴点を計測行列から除去し、残りの特徴点から構成される計測行列の各特徴点画像座標値から、各特徴点の時間的な差分情報を生成して、これを要素とする時間差分的計測行列にて、移動点群や特徴点追跡処理にて正確に求められなかった点を抽出し、特徴点の動き情報を使って、同様に、ある閾値を超える特徴点を除去し、このような反復処理を、ある閾値内に特徴点が留まるまで繰り返すことで、移動点群や該正確に求められなかった点を除去するものである
ことを特徴とする空間情報獲得装置。 - 請求項１ないし請求項６のいずれかに記載の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとした
ことを特徴とする空間情報獲得プログラム。 - 請求項１ないし請求項６のいずれかに記載の空間情報獲得方法におけるステップを、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする空間情報獲得プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003042469A JP2004252714A (ja) | 2003-02-20 | 2003-02-20 | 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003042469A JP2004252714A (ja) | 2003-02-20 | 2003-02-20 | 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004252714A true JP2004252714A (ja) | 2004-09-09 |
Family
ID=33025741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003042469A Pending JP2004252714A (ja) | 2003-02-20 | 2003-02-20 | 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004252714A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100735555B1 (ko) * | 2005-09-15 | 2007-07-04 | 삼성전자주식회사 | 동작에 따른 기능을 수행하는 장치 및 방법 |
| JP2013508844A (ja) * | 2009-10-20 | 2013-03-07 | トタル・イメルジヨン | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 |
| WO2023032600A1 (ja) * | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
-
2003
- 2003-02-20 JP JP2003042469A patent/JP2004252714A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100735555B1 (ko) * | 2005-09-15 | 2007-07-04 | 삼성전자주식회사 | 동작에 따른 기능을 수행하는 장치 및 방법 |
| JP2013508844A (ja) * | 2009-10-20 | 2013-03-07 | トタル・イメルジヨン | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 |
| WO2023032600A1 (ja) * | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10460463B2 (en) | Modelling a three-dimensional space | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| US20170278302A1 (en) | Method and device for registering an image to a model | |
| Chen et al. | A particle filtering framework for joint video tracking and pose estimation | |
| CN111680573B (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| US20170178347A1 (en) | Dynamic particle filter parameterization | |
| Vo et al. | Spatiotemporal bundle adjustment for dynamic 3d human reconstruction in the wild | |
| CN103886287A (zh) | 一种基于3d投影的跨视角步态识别方法 | |
| JP2007271408A (ja) | 三次元環境情報取得装置，三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体 | |
| Zheng et al. | Self-expressive dictionary learning for dynamic 3d reconstruction | |
| JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
| JP2006195790A (ja) | レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム | |
| JP5281479B2 (ja) | カメラ運動・物体形状復元方法、カメラ運動・物体形状復元装置、カメラ運動・物体形状復元プログラム及びこのプログラムを記録した記録媒体 | |
| CN111316323A (zh) | 一种三维轨迹数据的异常值处理方法及装置 | |
| JP2004252714A (ja) | 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 | |
| JP3871582B2 (ja) | 物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体 | |
| Amamra et al. | Crime scene reconstruction with RGB-D sensors | |
| JP6641313B2 (ja) | 領域抽出装置及びプログラム | |
| WO2009104965A2 (en) | A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product | |
| JP2009129049A (ja) | 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 | |
| CN113034345A (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
| JP3759712B2 (ja) | カメラパラメータ推定方法、装置、プログラム、および記録媒体 | |
| Chugunov et al. | Shakes on a plane: Unsupervised depth estimation from unstabilized photography | |
| US20240029283A1 (en) | Image depth prediction method, electronic device, and non-transitory storage medium | |
| JP3901552B2 (ja) | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |