JP2023104399A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の画像を用いて対象物の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減する。【解決手段】画像処理装置１０は、対象物の複数画像から特徴点の組合せを抽出する組合せ抽出部１１と、特徴点の組合せを用いて対象物の仮の３次元形状を構築する仮３次元形状構築部１２と、画像の１つで指定された対象物上の位置に応じて特徴点を特定し、別の画像で、対応する特徴点を特定する特徴点特定部１３と、位置指定の画像で特徴点を選択し、別画像で選択した特徴点に対応する特徴点を抽出する特徴点抽出部１４と、特徴点間の幾何学的関係を表す数値行列を算出する行列算出部１５と、数値行列を用いて幾何学的関係が矛盾する特徴点の組合せを特定し、この組合せ以外の組合せを用いて３次元形状を構築する３次元形状構築部１６と、を備えている。【選択図】図１

Description

本開示は、複数の画像からの３次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。

近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、対象の視点の異なる複数枚の画像それぞれ毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペアが抽出され、例えば、ロバスト推定（Robust Estimation）によって、特徴点ペアの幾何学的な関係が計算され、誤った特徴点ペアが除外される。

その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群）が構築される。

また、上述のロバスト推定では、間違った特徴点ペアの除去は完全ではなく、復元される３次元形状の精度が高くないことから、特許文献１は、間違った特徴点ペアの抽出を抑制する技術を開示している。

具体的には、特許文献１に開示された技術では、まず、上述した従来からの手法を用いて、複数の画像から、対応する特徴点ペアが抽出され、抽出された特徴点ペアを用いて仮の３次元形状が構築される。続いて、対象を撮影した各画像において、互いに対応する点又は線分が指定される。このとき指定される点又は線分の合計は２以上となる。

次に、指定された点間又は線分間の幾何学的関係を示す数値行列が算出され、算出された数値行列を用いて、先に抽出された特徴点ペアの中から間違った特徴点ペアが排除される。その後、排除されなかった特徴点ペアのみを用いて、再度、３次元形状が構築される。特許文献１に開示された技術を用いれば、復元される３次元形状の精度の向上が図られる。

国際公開第２０１９／０６５７８４号

ところで、特許文献１に開示された技術では、上述したように、画像毎に、対応する点又は線分が指定されるが、点又は線分の指定は、作業者が肉眼で対応する点又は線分を見つけ出すことによって行われている。このため、点または線分の指定は、作業者にとって大きな負担になる。

本開示の目的の一例は、上記問題を解消し、複数の画像を用いて対象物の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本開示の一側面における画像処理装置は、
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定部と、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出部と、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えていることを特徴とする。

また、上記目的を達成するため、本開示の一側面における画像処理方法は、
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、ことを特徴とする。

以上のように本開示によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。

図１は、実施の形態１における画像処理装置の概略構成を示すブロック図である。 図２は、実施の形態１における画像処理装置の具体的構成を示すブロック図である。 図３は、処理対象となる複数の画像の一例を示す図である。 図４は、画面上に表示された対象物の複数枚の画像の一例を示す図である。 図５は、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。 図６は、特徴点の組合せが抽出されたペア画像の一例を示す図である。 図７は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図８は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図９は、対象物における特徴点の再投影誤差の算出処理を説明する図である。 図１０は、実施の形態１における画像処理装置の動作を示すフロー図である。 図１１は、実施の形態２における画像処理装置の機能を説明するための説明図である。 図１２は、実施の形態２における画像処理装置の動作を示すフロー図である。 図１３は、実施の形態１及び２における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態１）
以下、実施の形態１における画像処理装置について、図１～図１０を参照しながら説明する。

［装置構成］
最初に、実施の形態１における画像処理装置の概略構成について図１を用いて説明する。図１は、実施の形態１における画像処理装置の概略構成を示すブロック図である。

図１に示す、実施の形態１における画像処理装置１０は、対象物の複数の画像から対象物の３次元形状を構築する装置である。図１に示すように、画像処理装置１０は、組合せ抽出部１１と、仮３次元形状構築部１２と、特徴点特定部１３と、特徴点抽出部１４と、行列算出部１５と、３次元形状構築部１６とを備えている。

組合せ抽出部１１は、対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する。仮３次元形状構築部１２は、抽出された特徴点の組合せを用いて、特徴点の点群で構成された、対象物の仮の３次元形状を構築する。

特徴点特定部１３は、複数の画像の１つの画像において、対象物上の位置が指定されると、指定された位置に応じて対応する特徴点を特定する。また、特徴点特定部１３は、位置が指定されていない別の前記画像において、特定した特徴点に対応する特徴点を特定する。

特徴点抽出部１４は、対象物上の位置が指定された画像において、特定された特徴点のなかから、設定条件を満たすいずれかの特徴点を選択する。また、特徴点抽出部１４は、別の画像において、選択した特徴点に対応する特徴点を抽出する。行列算出部１５は、選択された特徴点と抽出された特徴点との幾何学的関係を表現する、数値行列を算出する。

３次元形状構築部１６は、数値行列を用いて、抽出された特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定し、特定した特徴点の組合せ以外の特徴点の組合せを用いて、対象物の３次元形状を構築する。

このように、実施の形態１では、一旦、対象物の３次元形状を構築した後に、３次元形状の精度を高めるために、１つの画像上で、位置が指定され、指定された位置の周辺の特徴点が特定される。更に、そのうちの１つが選択されると、残りの画像上で、対応する特徴点が抽出される。そして、選択又は抽出された特徴点を用いて、対象物の３次元形状が再構築される。

従って、実施の形態１によれば、複数の画像を用いて対象物の３次元形状を構築する際において、３次元形状の精度を向上させることができる。また、実施の形態１では、３次元形状の構築において、ユーザは、画像上の点又は線分を厳密に指定する必要はなく、画像上の大体の位置を指定するだけで良いため、従来に比べて、ユーザの負担が軽減される。

続いて、図２～図９を用いて、実施の形態１における画像処理装置の構成及び機能について具体的に説明する。図２は、実施の形態１における画像処理装置の具体的構成を示すブロック図である。

図２に示すように、実施の形態１では、画像処理装置１０は、組合せ抽出部１１、仮３次元形状構築部１２、特徴点特定部１３、特徴点抽出部１４、行列算出部１５、及び３次元形状構築部１６に加えて、画像取得部１７と、フィルタリング部１８と、入力受付部１９と、表示部２０とを更に備えている。図２において、２１は、表示装置である。

画像取得部１７は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、対象物の複数の画像データを取得する。図３は、処理対象となる複数の画像の一例を示す図である。図３の例では、４枚の画像が例示されているが、実施の形態１において対象となる画像の枚数は特に限定されるものではない。図３において、３０は、対象物を示している。

組合せ抽出部１１は、実施の形態１では、まず、画像データ毎に、画像から例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定する。そして、組合せ抽出部１１は、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。図３の例では、丸で囲まれた部分は、対象物３０の特徴点の一つを示している。対応する特徴点の組合せが抽出された複数枚の画像は、以降においては、「グループ画像」と表記する。

フィルタリング部１８は、特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する。フィルタリング部１８によるフィルタリング処理は、従来からのＳｆＭと同様に、ロバスト推定を用いて行われる。実施の形態１では、後述する３次元形状構築部１６によるフィルタリング処理（以下「第２のフィルタリング処理」と表記する。）に加えて、フィルタリング部１８によるフィルタリング処理（以下「第１のフィルタリング処理」と表記する。）も行われるので、より確実に間違った特徴点の組合せが排除される。

仮３次元形状構築部１２は、実施の形態１では、抽出された特徴点の組合せを用いて、仮の３次元座標を算出し、更に、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する。

なお、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理は、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理と同様に行われる。両者の違いは、処理対象となる特徴点の組合せに対して第２のフィルタリング処理が行われているかどうかのみである。従って、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理の詳細については、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理の詳細説明に代える。

入力受付部１９は、処理対象となる画像上において位置の指定を受け付ける。位置の指定は、例えば、表示装置２１の画面上に表示された画像上で、ユーザによって、タッチパネル、マウスといった入力装置を用いて行われる。また、位置の指定は、ユーザによって、外部の端末装置を介して行われていても良い。

表示部２０は、３次元形状構築部１６によって対象物の３次元形状が構築されると、構築された３次元形状を、２次元画像として、表示装置２１の画面上に表示させる。具体的には、表示部２０は、構築された３次元形状を二次元画面上に表示するための画像データを生成し、生成した画像データを表示装置２１に出力する。

また、表示部２０は、画像取得部１７によって複数の画像の画像データが取得されると、取得された画像データの画像を、表示装置２１の画面上に表示させることもできる。この場合、ユーザは、図４に示すように、入力受付部１９を介して、画面に表示された画像の１つにおいて、対象物上の位置を指定することができる。図４は、画面上に表示された対象物の複数枚の画像の一例を示す図である。図４の例では、ユーザは、画面に表示されるカーソル（矢印）３１で、対象物３０上の位置を指定する。

特徴点特定部１３は、実施の形態１では、図４に示すように、ユーザがカーソル３１によって対象物３０上で位置を指定すると、指定された位置に対応する特徴点３２を特定する。具体的には、特徴点特定部１３は、位置が指定された画像において、例えば、指定された位置を中心とした半径ｒの円形の領域を設定し、設定した領域に存在する特徴点を特定する。なお、円形の領域の半径ｒは、適宜設定される。

また、特徴点特定部１３は、位置が指定された画像以外の画像においても、特定した特徴点に対応する特徴点を特定する。なお、特定の対象となる特徴点は、組合せ抽出部１１によって既に画像から抽出され、更にフィルタリング部１８によってフィルタリングされた、特徴点である。

更に、特徴点特定部１３は、対象物３０上の特定した特徴点を、複数の画像それぞれと共に、画面上に提示する。具体的には、特徴点特定部１３は、画像毎の特定した特徴点の座標を示すデータを、表示部２０に送る。表示部２０は、データを受け取ると、各画像に特徴点を示すマーク（図４における●）が重ねあわされた画像データを生成し、生成した画像データを表示装置２１に出力する。これにより、図４に示すように、特定された特徴点３２と各画像（画像１～４）とが、表示装置２１の画面上に表示される。

ユーザは、図４に示すように、指定した位置の周辺の特徴点が画面上に表示されると、入力装置を用いて、位置を指定した画像上において、いずれかの特徴点を指定することができる。この場合、入力受付部１９は、指定された特徴点を、特徴点特定部１３に通知する。

特徴点抽出部１４は、実施の形態１では、画面上で、対象物３０上の位置が指定された画像上で、いずれかの特徴点が指定されると、指定された特徴点を選択する。実施の形態１では、ユーザによって指定された特徴点が、上述した「設定条件を満たす特徴点」に該当する。そして、特徴点抽出部１４は、上述したように、対象物３０上の位置が指定された画像以外の画像において、選択した特徴点に対応する特徴点を抽出する。

行列算出部１５は、実施の形態１では、位置が指定された画像上で選択された特徴点と、他の画像から抽出された対応する特徴点と、の幾何学的関係を表現する、数値行列として、下記数１に示したFundamental行列（参照文献）を求める。

参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.

３次元形状構築部１６は、実施の形態１では、まず、行列算出部１５によって算出された数値行列（Fundamental行列）を用いて、組合せ抽出部１１で抽出された特徴点の組合せ（フィルタリング部１８で除外されたものを除く）から、幾何学的関係が矛盾する特徴点の組合せを特定する。

図５を用いて、３次元形状構築部１６による幾何学的関係が矛盾する特徴点の組合せの特定処理について具体的に説明する。図５は、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。図５の例では、特徴点ｐ_ｉと特徴点ｐ’_ｉとの組合せが、間違っているかどうかの判断対象となっている。

また、図５において、Ｅはエピポーラ面を示し、Ｏ_ｉは一方の画像のカメラの中心位置を示し、Ｏ’_ｉは他方の画像のカメラの中心位置を示している。ｅ_ｉは一方の画像とエピポーラ面との交点を示し、ｅ’_ｉは他方の画像とエピポーラ面との交点を示している。更に、図５において、左右に示された並行四辺形はそれぞれ画像のフレームを示している。

また、図５においては、一方の画像における点Ｐは指定された位置を示す点（指定点）であり、他方の画像における点Ｐ’は指定点に対応する点（対応点）である。そして、指定点Ｐと交わるエピポーラ線を、エピポーラ線ｌ_ｎと定義し、対応点Ｐ’と交わるエピポーラ線を、エピポーラ線ｌ’_ｎと定義する。

３次元形状構築部１６は、エピポーラ線についての下記の数２に示す関係を用いて、特徴点ｐ_ｉが存在しているエピポーラ線ｌ_１に対応するエピポーラ線ｌ’_１を算出する。数２において、Ｆは、数１に示したFundamental行列である。ｘは、エピポーラ線ｌの座標である。

そして、３次元形状構築部１６は、算出したエピポーラ線ｌ’_１と特徴点ｐ’_ｉとの距離ｄが閾値以上となっているかどうかを判定し、距離ｄが閾値以上となっている場合は、特徴点ｐ_ｉと特徴点ｐ’_ｉとの組合せは間違っていると判定する。この場合、３次元形状構築部１６は、特徴点ｐ_ｉと特徴点ｐ’_ｉとの組合せを、幾何学的関係が矛盾する特徴点の組合せとして特定する。

また、３次元形状構築部１６は、幾何学的関係が矛盾する特徴点の組合せを特定すると、特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する。

図６～図８を用いて、３次元形状構築部１６による３次元座標の算出処理について具体的に説明する。図６は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図７は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図８は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。

図６示すように、３次元形状構築部１６は、最初に、一組のペア画像（初期ペア画像）として画像５１と画像５２とを選択する。そして、この場合、画像５１から抽出されている特徴点（ｍ_１～ｍ_５）と、画像５２から抽出されている特徴点（ｍ’_１～ｍ’_５）とは対応している。ｍ_１とｍ’_１、ｍ_２とｍ’_２、ｍ_３とｍ’_３、ｍ_４とｍ’_４、ｍ_５とｍ’_５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図６の例では、画像５１はカメラ４１によって撮影され、画像５２はカメラ４２によって撮影されている。図６において、Ｍ（Ｍ_１～Ｍ_５）は、各特徴点に対応する対象物３０上の３次元座標である。

続いて、３次元形状構築部１６は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ_１～ｍ_５、ｍ’_１～ｍ’_５）を用いて、画像５１を撮影したカメラ４１のカメラ行列Ｑと、画像５２を撮影したカメラ４２のカメラ行列Ｑ’とを算出する。また、カメラ行列Ｑ及びカメラ行列Ｑ’は、カメラ４１の位置を原点とすると、それぞれ下記の数３及び数４によって表すことができる。

上記数３において、Ｉは、カメラ４１の回転行列である。図７に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数４において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒ_ｘ，Ｒ_ｙ，Ｒ_ｚ））。ｔは、並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ））。

従って、この場合は、カメラ行列Ｑ及びカメラ行列Ｑ’から逆算することによって、回転行列Ｒと並進行列ｔとを算出することが出来る。具体的には、３次元形状構築部１６は、各特徴点の座標を用いて、下記の数５～数７に示す方程式を解くことによって、回転行列Ｒと並進行列ｔとを算出する。数５～数７において、ｍハットは、ｍ（ｍ_１～ｍ_５）を正規化して得られた画像５１上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’_１～ｍ’_５）を正規化して得られた画像５２上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。

また、キャリブレーション行列Ｋは、下記の数８及び数９から求めることができる。なお、ｃ_ｘ、ｃ_ｙは、カメラの中心座標である。

次に、３次元形状構築部１６は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ_１～Ｍ_５）を算出する。具体的には、３次元形状構築部１６は、下記の数１０を解くことで３次元座標Ｍを算出する。また、数１０における行列Ａは、数１１で示される。数１１において、ｑ^ｉＴは、カメラ行列Ｑの行であり、ｑ’^ｉＴは、カメラ行列Ｑ’の行である。

次に、図８に示すように、３次元形状構築部１６は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像５３を新たに選択し、新たに選択した画像５３と初期ペア画像の１つとを新たなペア画像とする。画像５３は、カメラ４３によって撮影されている。

そして、３次元形状構築部１６は、画像５２の特徴点に対応する画像５３の特徴点（ｍ’’_１～ｍ’’_３）を特定し、画像５２の特徴点と画像５３との特徴点とを特徴点ペアとする。そして、３次元形状構築部１６は、画像５３を撮影したカメラ４３のカメラ行列Ｑｎを算出する。カメラ行列Ｑｎは、下記の数１２によって表すことができる。

具体的には、３次元形状構築部１６は、画像５３の特定された特徴点を用いて、下記の数１３に示す方程式を解くことによって、カメラ４３のカメラ行列ＱｎのＲｎ及びｔｎを算出する。

数１３において、Ｍ_ｉは、新たに選択された画像５３における画像５２と共通する特徴点の３次元座標である。ｍ_ｉハットは、新たに選択された画像５３における特徴点の正規化された座標である。ｄｉは、下記の数１４に示すように、画像５３を撮影したカメラ４３とｍ_ｉハットとの距離を示している。

次に、３次元形状構築部１６は、算出したカメラ４３のカメラ行列ＱｎのＱｎ及びｔｎを用いて、画像５３の特定された特徴点（ｍ’’_１～ｍ’’_３）の３次元座標Ｍ_ｉを算出する。この場合も、３次元形状構築部１６は、上記数１０を解くことで、特徴点の３次元座標Ｍ（Ｍ_１～Ｍ_３）を算出する。以上の処理により、３次元形状構築部１６は、対象物の３次元座標を算出することができる。

また、実施の形態１では、３次元形状構築部１６は、３次元座標が算出された特徴点が適正かどうかを、再投影誤差を用いて判定することができる。具体的には、３次元形状構築部１６は、特徴点の組合せの一つについて、それから得られる３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の画像上に再投影を行い、投影された位置の２次元座標と、抽出時の位置の２次元座標とを比較する。そして、３次元形状構築部１６は、実施の形態１では、比較結果として、前者の２次元座標と後者の２次元座標との差分（再投影誤差）を算出し、算出した再投影誤差が閾値以下の場合に、対象となった特徴点が適正であると判定する。一方、３次元形状構築部１６は、算出した再投影誤差が閾値を越える場合は、対象となった特徴点が適正でないと判定する。

また、実施の形態１では、３次元形状構築部１６は、３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定することもできる。例えば、特徴点の組合せが３つの特徴点で構成されている場合は、３次元形状構築部１６は、３つの特徴点について１つずつ適正かどうかを判定しても良いし、このうち２つのみを選択し、選択した２つの特徴点について１つずつ適正かどうかを判定しても良い。

図９を用いて、３次元形状構築部１６による特徴点の適性の判定処理について具体的に説明する。図９は、対象物における特徴点の再投影誤差の算出処理を説明する図である。また、図９の例では、図６に示した画像５２上の特徴点の一つを再投影する例について示している。更に、図９において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）とし、特徴点の抽出時の位置の２次元座標を（ｘ_ｆ，ｙ_ｆ）とする。また、特徴点のカメラ座標系での座標を（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）とする。

まず、３次元形状構築部１６は、下記の数１５を用いて、カメラ行列Ｑ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）とから、特徴点のカメラ座標系での座標（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）を算出する。

続いて、３次元形状構築部１６は、下記の数１６を用いて、特徴点のカメラ座標系での座標（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）を正規化する。

続いて、３次元形状構築部１６は、上記数１６で正規化された座標と、カメラの内部パラメータ（図９の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃ_ｘ，ｃ_ｙ）とを、下記の数１７に適用して、特徴点を画像５２に再投影した時の２次元座標（ｘ_ｐ，ｙ_ｐ）を算出する。

次に、３次元形状構築部１６は、下記の数１８を用いて、上記数１７から算出した再投影後の２次元座標（ｘ_ｐ，ｙ_ｐ）と特徴点の抽出時の位置の２次元座標（ｘ_ｆ，ｙ_ｆ）との差分ｄｆを算出する。

その後、３次元形状構築部１６は、算出した差分ｄｆが閾値Ｇ以下の場合に、対象となった特徴点が適正であると判定し、算出した差分ｄｆが閾値Ｇを越える場合は、対象となった特徴点が適正でないと判定する。

判定後、３次元形状構築部１６は、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する全ての特徴点を除外する。また、３次元形状構築部１６は、実施の形態１では、適正でないと判定された特徴点のみを除外し、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する特徴点の組み合わせのうち、適正でないと判定された特徴点以外の特徴点は除外しないことも可能である。但し、この場合は、３次元形状構築部１６は、全ての特徴点の適合性判定が完了したときに、全ての３次元座標に対して、それぞれの３次元座標に対応する特徴点の数が２個未満の３次元座標は除外する。

そして、３次元形状構築部１６は、残りの特徴点を用いて、３次元座標を再計算し、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする。

また、上述の例では、３次元形状構築部１６は、特徴点の組合せを用いて、再度、ゼロから３次元形状を構築しているが、実施の形態は当該例に限定されることはない。例えば、３次元形状構築部１６は、行列算出部１５が算出した数値行列を用いたバンドル調整を行うことによって、仮の３次元形状を構成する各特徴点の座標を調整することによって、最終的な３次元形状を構築することもできる。なお、この態様においても、実質的に、特徴点間の幾何学的関係が矛盾する特徴点の組合せについて、特定及び除外が行われている。

［装置動作］
次に、実施の形態１における画像処理装置１０の動作について図１０を用いて説明する。図１０は、実施の形態１における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図９を参照する。また、実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態１における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

図１０に示すように、最初に、画像取得部１７は、外部の装置から、対象物の複数の画像データを取得する（ステップＡ１）。また、ステップＡ１が実行されると、表示部２０は、取得された各画像データの画像を表示装置２１の表示画面に表示させる。

次に、組合せ抽出部１１は、ステップＡ１で取得された画像データ毎に、画像から特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＡ２）。

次に、フィルタリング部１８は、ステップＡ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＡ３）。

次に、仮３次元形状構築部１２は、ステップＡ３の処理後の特徴点の組合せを用いて、仮の３次元座標を算出し、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する（ステップＡ４）。

次に、表示装置２１の画面上に表示されている画像上で、ユーザが対象物の位置を指定すると、入力受付部１９は、位置の指定を受け付ける（ステップＡ５）。

次に、特徴点特定部１３は、ステップＡ５で受け付けられた位置に対応する特徴点を特定し、更に、位置が指定された画像以外の画像において、先に特定した特徴点に対応する特徴点も特定する（ステップＡ６）。更に、特徴点特定部１３は、表示部２０を介して、特定した特徴点を、表示装置２１の表示画面に表示させる（ステップＡ７）。

次に、特徴点抽出部１４は、表示装置２１の画面において、位置が指定された画像上で、いずれかの特徴点が指定されると、指定された特徴点を選択し、更に、他の画像上で、選択した特徴点に対応する特徴点を抽出する（ステップＡ８）。

次に、行列算出部１５は、位置が指定された画像上で選択された特徴点と、他の画像から抽出された特徴点と、の幾何学的関係を表現する、数値行列を算出する（ステップＡ９）。

次に、３次元形状構築部１６は、ステップＡ９で算出された数値行列を用いて、ステップＡ３の処理後の特徴点の組合せの中から、幾何学的関係が矛盾する特徴点の組合せを特定する（ステップＡ１０）。

次に、３次元形状構築部１６は、ステップＡ１０で特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する（ステップＡ１１）。

次に、３次元形状構築部１６は、ステップＡ１１で３次元座標が算出された特徴点の適性を判定し、更に、適正でない特徴点を排除し、適正な特徴点を用いて３次元座標を再計算する。そして、３次元形状構築部１６は、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする（ステップＡ１２）。

その後、表示部２０は、ステップＡ１２で構築された３次元形状を、２次元の画像として表示装置２１の画面上に表示させる（ステップＡ１３）。

［実施の形態１における効果］
以上のように、実施の形態１によれば、ユーザは、画像上で、位置を指定するだけで、画像中の特徴点を確認でき、任意の特徴点を指定できる。そして、特徴点が指定されると、指定された特徴点とそれに対応する特徴点との幾何学的関係に基づいて、対象物の３次元形状が再構築される。この結果、３次元形状の精度の向上が図られることになる。また、ユーザは、画像上の点又は線分を厳密に指定する必要はなく、画像上の大体の位置を指定するだけで良いため、従来に比べて、ユーザの負担が軽減される。

［プログラム］
実施の形態１におけるプログラムは、コンピュータに、図１０に示すステップＡ１～Ａ１３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、組合せ抽出部１１、仮３次元形状構築部１２、特徴点特定部１３、特徴点抽出部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

また、実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、組合せ抽出部１１、仮３次元形状構築部１２、特徴点特定部１３、特徴点抽出部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０のいずれかとして機能しても良い。

（実施形態２）
以下、実施の形態２における画像処理装置について、図１１及び図１２を参照しながら説明する。

［装置構成］
最初に、実施の形態２における画像処理装置の構成について説明する。実施の形態２における画像処理装置は、図２に示した実施の形態１における画像処理装置１０と同様の構成を有している。このため、以下の説明では、適宜図２～図９を参照する。

但し、実施の形態２における画像処理装置は、特徴点特定部１３の機能の点で、実施の形態１における画像処理装置と異なっている。以下に、実施の形態１との相違点を、図１１を用いて説明する。図１１は、実施の形態２における画像処理装置の機能を説明するための説明図である。

実施の形態２においても、特徴点特定部１３は、実施の形態１と同様に、１つの画像上で、指定された位置に応じた特徴点を特定し、更に、位置が指定されていない別の前記画像において、この特徴点に対応する特徴点を特定する。

但し、実施の形態２では、特徴点特定部１３は、各画像上で特徴点を特定すると、特定した特徴点それぞれ毎に、仮の３次元形状を用いて３次元座標を算出する。更に、特徴点特定部１３は、特定した特徴点それぞれ毎に、算出した３次元座標と、それぞれが特定された画像上での２次元座標と、それぞれが特定された画像のカメラパラメータと、を用いて、算出した３次元座標についての指標を算出する。指標は、算出した３次元座標と対象物３０の対応する位置における実際の３次元座標との誤差を示すものである。

ここで、指標の具体例について説明する。指標の具体例としては、再投影誤差、及びエピポーラ誤差等が挙げられる。

まず、指標として再投影誤差が用いられる場合について説明する。この場合、特徴点特定部１３は、３次元座標と、特定元の画像のカメラパラメータ（カメラ行列）とを用いて、特徴点を、特定元の画像上に再投影し、再投影後の２次元座標と、特定時の２次元座標と、の差分を、再投影誤差として算出する。具体的には、特徴点特定部１３は、図１０に示したように、特定した特徴点それぞれ毎に、上述した数１５～数１８を用いて、差分ｄｆを算出する。

続いて、指標としてエピポーラ誤差が用いられる場合について説明する。この場合、特徴点特定部１３は、図５で示したように、特定した特徴点それぞれ毎に、各特徴点が存在する画像上で、上記数１を用いて、対応する特徴点が存在しているエピポーラ線に対応したエピポーラ線を求める。そして、特徴点特定部１３は、特定した特徴点それぞれ毎に、各特徴点とそのエピポーラ線との距離ｄを算出し、算出した距離ｄをエピポーラ誤差とする。

そして、特徴点特定部１３は、特定した特徴点に加えて、算出した指標についても提示する。この場合、図１１に示すように、特徴点特定部１３は、算出した指標の値に応じて変化するアイコンによって、指標の提示を行うこともできる。図１１の例では、特徴点の箇所に、アイコン３３が表示されている。特徴点特定部１３は、指標が示す誤差の大きさに応じて、アイコン３３の大きさを設定し、設定した大きさのアイコン３３を、表示部２０を介して表示装置２１の表示画面に表示させる。

ユーザは、実施の形態１と同様に、図１１に示すように、指定した位置の周辺の特徴点がアイコン３３によって表示されると、入力装置を用いて、位置を指定した画像上において、いずれかの特徴点を指定する。

但し、実施の形態２においては、特徴点における指標がアイコン３３の大きさによって示されているので、ユーザは、全ての画像において、アイコン３３が小さくなるように、特徴点を指定することができる。この場合、特徴点抽出部１４によって選択及び抽出される特徴点は、再投影誤差又はエピポーラ誤差が小さい特徴点である。従って、行列算出部１５によって算出される数値行列は正確なものとなり、結果、対象物の３次元形状の精度が向上することになる。

また、実施の形態２において、アイコンの変化は、大きさの変化に限定されない。アイコンの変化は、色（色彩、濃淡等）の変化、形状の変化等であっても良い。具体的には、特徴点における指標は、アイコン３３の色の変化（誤差大：赤、誤差中：黄、誤差小：青等）によって示されていても良いし、アイコン３３の形状の変化（誤差大：×、誤差中：△、誤差小：○等）によって示されていても良い。なお、誤差大、誤差中、誤差小の範囲は予め閾値によって適宜設定される。

［装置動作］
次に、実施の形態２における画像処理装置の動作について図１２を用いて説明する。図１２は、実施の形態２における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図９及び図１１を参照する。また、実施の形態２でも、画像処理装置を動作させることによって、画像処理方法が実施される。よって、実施の形態２における画像処理方法の説明は、以下の画像処理装置の動作説明に代える。

図１２に示すように、最初に、画像取得部１７は、外部の装置から、対象物の複数の画像データを取得する（ステップＢ１）。ステップＢ１は、図１０に示したステップＡ１と同様のステップである。ステップＢ１が実行されると、表示部２０は、取得された各画像データの画像を表示装置２１の表示画面に表示させる。

次に、組合せ抽出部１１は、ステップＢ１で取得された画像データ毎に、画像から特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＢ２）。ステップＢ２は、図１０に示したステップＡ２と同様のステップである。

次に、フィルタリング部１８は、ステップＢ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＢ３）。ステップＢ３は、図１０に示したステップＡ３と同様のステップである。

次に、仮３次元形状構築部１２は、ステップＢ３の処理後の特徴点の組合せを用いて、仮の３次元座標を算出し、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する（ステップＢ４）。ステップＢ４は、図１０に示したステップＡ４と同様のステップである。

次に、表示装置２１の画面上に表示されている画像上で、ユーザが対象物の位置を指定すると、入力受付部１９は、位置の指定を受け付ける（ステップＢ５）。ステップＢ５は、図１０に示したステップＡ５と同様のステップである。

次に、特徴点特定部１３は、ステップＢ５で受け付けられた位置に対応する特徴点を特定し、更に、位置が指定された画像以外の画像において、先に特定した特徴点に対応する特徴点も特定する（ステップＢ６）。ステップＢ６は、図１０に示したステップＡ６と同様のステップである。

次に、特徴点特定部１３は、特徴点毎に指標を算出し、算出した値に応じてアイコン３３の大きさを設定する。そして、特徴点特定部１３は、表示部２０を介して、大きさが設定されたアイコンを、特定した特徴点として、表示装置２１の表示画面に表示させる（ステップＢ７）。

次に、特徴点抽出部１４は、表示装置２１の画面において、位置が指定された画像上で、いずれかの特徴点が指定されると、指定された特徴点を選択し、更に、他の画像上で、選択した特徴点に対応する特徴点を抽出する（ステップＢ８）。

次に、行列算出部１５は、位置が指定された画像上で選択された特徴点と、他の画像から抽出された特徴点と、の幾何学的関係を表現する、数値行列を算出する（ステップＢ９）。ステップＢ９は、図１０に示したステップＡ９と同様のステップである。

次に、３次元形状構築部１６は、ステップＢ９で算出された数値行列を用いて、ステップＢ３の処理後の特徴点の組合せの中から、幾何学的関係が矛盾する特徴点の組合せを特定する（ステップＢ１０）。ステップＢ１０は、図１０に示したステップＡ１０と同様のステップである。

次に、３次元形状構築部１６は、ステップＢ１０で特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する（ステップＢ１１）。ステップＢ１１は、図１０に示したステップＡ１１と同様のステップである。

次に、３次元形状構築部１６は、ステップＢ１１で３次元座標が算出された特徴点の適性を判定し、更に、適正でない特徴点を排除し、適正な特徴点を用いて３次元座標を再計算する。そして、３次元形状構築部１６は、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする（ステップＢ１２）。ステップＢ１２は、図１０に示したステップＡ１２と同様のステップである。

その後、表示部２０は、ステップＡ１２で構築された３次元形状を、２次元の画像として表示装置２１の画面上に表示させる（ステップＢ１３）。ステップＢ１３は、図１０に示したステップＡ１３と同様のステップである。

［実施の形態２における効果］
以上のように、実施の形態２においては、画像に表示されるアイコン３３により、ユーザは指定すべき特徴点を確認することができる。つまり、実施の形態２では、ユーザは、再投影誤差又はエピポーラ誤差等が小さくなるように特徴点を指定できるので、よりいっそう、３次元形状の精度の向上が図られることになる。

［変形例］
上述した例では、画像処理装置は、算出した指標を必ず画面に表示し、ユーザに特徴点を指定させているが、実施の形態２は、これとは別の態様であっても良い。具体的には、実施の形態２は、特徴点特定部１３が、各特徴点について指標を算出した後に、特徴点抽出部１４が、ユーザからの指定を受け付けることなく、算出された指標に基づいて、画像毎の特徴点の選択及び抽出を実行する、態様であっても良い。この態様では、自動的に適切な特徴点が抽出されることになる。

［プログラム］
実施の形態１におけるプログラムは、コンピュータに、図１２に示すステップＢ１～Ｂ１３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、組合せ抽出部１１、仮３次元形状構築部１２、特徴点特定部１３、特徴点抽出部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

また、実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、組合せ抽出部１１、仮３次元形状構築部１２、特徴点特定部１３、特徴点抽出部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０のいずれかとして機能しても良い。

［物理構成］
ここで、実施の形態１及び２におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図１３を用いて説明する。図１３は、実施の形態１及び２における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図１３に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における画像処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定部と、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出部と、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする画像処理装置。

（付記２）
付記１に記載の画像処理装置であって、
前記特徴点特定部が、更に、特定した前記特徴点を、前記複数の画像それぞれと共に、画面上に提示し、
前記特徴点抽出部が、前記画面上で、前記対象物上の位置が指定された前記画像における前記特徴点のいずれかが指定されると、指定されたことを前記設定条件として、指定された前記特徴点を選択する、
ことを特徴とする画像処理装置。

（付記３）
付記１または２に記載の画像処理装置であって、
前記特徴点特定部が、
特定した前記特徴点それぞれ毎に、前記仮の３次元形状を用いて３次元座標を算出し、算出した前記３次元座標と、それぞれが特定された前記画像上での２次元座標と、それぞれが特定された前記画像のカメラパラメータと、を用いて、算出した前記３次元座標と前記対象物の対応する位置における実際の３次元座標との誤差を示す指標を算出し、
特定した前記特徴点に加えて、算出した前記指標を提示する、
ことを特徴とする画像処理装置。

（付記４）
付記３に記載の画像処理装置であって、
前記特徴点特定部が、前記指標として、前記特徴点の再投影誤差を算出し、算出した前記再投影誤差の値に応じてサイズが変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とする画像処理装置。

（付記５）
付記３に記載の画像処理装置であって、
前記特徴点特定部が、前記指標として、前記特徴点のエピポーラ誤差を算出し、算出した前記エピポーラ誤差の値に応じて変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とする画像処理装置。

（付記６）
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする画像処理方法。

（付記７）
付記６に記載の画像処理方法であって、
前記特徴点特定ステップにおいて、更に、特定した前記特徴点を、前記複数の画像それぞれと共に、画面上に提示し、
前記特徴点抽出ステップにおいて、前記画面上で、前記対象物上の位置が指定された前記画像における前記特徴点のいずれかが指定されると、指定されたことを前記設定条件として、指定された前記特徴点を選択する、
ことを特徴とする画像処理方法。

（付記８）
付記６または７に記載の画像処理方法であって、
前記特徴点特定ステップにおいて、
特定した前記特徴点それぞれ毎に、前記仮の３次元形状を用いて３次元座標を算出し、算出した前記３次元座標と、それぞれが特定された前記画像上での２次元座標と、それぞれが特定された前記画像のカメラパラメータと、を用いて、算出した前記３次元座標と前記対象物の対応する位置における実際の３次元座標との誤差を示す指標を算出し、
特定した前記特徴点に加えて、算出した前記指標を提示する、
ことを特徴とする画像処理方法。

（付記９）
付記８に記載の画像処理方法であって、
前記特徴点特定ステップにおいて、前記指標として、前記特徴点の再投影誤差を算出し、
算出した前記再投影誤差の値に応じてサイズが変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とする画像処理方法。

（付記１０）
付記８に記載の画像処理方法であって、
前記特徴点特定ステップにおいて、前記指標として、前記特徴点のエピポーラ誤差を算出し、算出した前記エピポーラ誤差の値に応じて変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とする画像処理方法。

（付記１１）
コンピュータに、
対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、プログラム。

（付記１２）
付記１１に記載のプログラムであって、
前記特徴点特定ステップにおいて、更に、特定した前記特徴点を、前記複数の画像それぞれと共に、画面上に提示し、
前記特徴点抽出ステップにおいて、前記画面上で、前記対象物上の位置が指定された前記画像における前記特徴点のいずれかが指定されると、指定されたことを前記設定条件として、指定された前記特徴点を選択する、
ことを特徴とするプログラム。

（付記１３）
付記１１または１２に記載のプログラムであって、
前記特徴点特定ステップにおいて、
特定した前記特徴点それぞれ毎に、前記仮の３次元形状を用いて３次元座標を算出し、算出した前記３次元座標と、それぞれが特定された前記画像上での２次元座標と、それぞれが特定された前記画像のカメラパラメータと、を用いて、算出した前記３次元座標と前記対象物の対応する位置における実際の３次元座標との誤差を示す指標を算出し、
特定した前記特徴点に加えて、算出した前記指標を提示する、
ことを特徴とするプログラム。

（付記１４）
付記１３に記載のプログラムであって、
前記特徴点特定ステップにおいて、前記指標として、前記特徴点の再投影誤差を算出し、
算出した前記再投影誤差の値に応じてサイズが変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とするプログラム。

（付記１５）
付記１３に記載のプログラムであって、
前記特徴点特定ステップにおいて、前記指標として、前記特徴点のエピポーラ誤差を算出し、算出した前記エピポーラ誤差の値に応じて変化するアイコンを提示することで、前記指標を提示する、
ことを特徴とするプログラム。

以上のように本開示によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。本発明は、画像から対象物の３次元形状を構築することが求められる分野において有用である。

１０ 画像処理装置
１１ 組合せ抽出部
１２ 仮３次元形状構築部
１３ 特徴点特定部
１４ 特徴点抽出部
１５ 行列算出部
１６ ３次元形状構築部
１７ 画像取得部
１８ フィルタリング部
１９ 入力受付部
２０ 表示部
３０ 対象物
３１ カーソル
３２ 特徴点
３３ アイコン
４１、４２ カメラ
５１、５２ 画像
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (7)

1. 対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
   前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定部と、
   前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出部と、
   前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出部と、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
   特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
   を備えている、ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記特徴点特定部が、更に、特定した前記特徴点を、前記複数の画像それぞれと共に、画面上に提示し、
   前記特徴点抽出部が、前記画面上で、前記対象物上の位置が指定された前記画像における前記特徴点のいずれかが指定されると、指定されたことを前記設定条件として、指定された前記特徴点を選択する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記特徴点特定部が、
   特定した前記特徴点それぞれ毎に、前記仮の３次元形状を用いて３次元座標を算出し、算出した前記３次元座標と、それぞれが特定された前記画像上での２次元座標と、それぞれが特定された前記画像のカメラパラメータと、を用いて、算出した前記３次元座標と前記対象物の対応する位置における実際の３次元座標との誤差を示す指標を算出し、
   特定した前記特徴点に加えて、算出した前記指標を提示する、
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記特徴点特定部が、前記指標として、前記特徴点の再投影誤差を算出し、算出した前記再投影誤差の値に応じてサイズが変化するアイコンを提示することで、前記指標を提示する、
   ことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記特徴点特定部が、前記指標として、前記特徴点のエピポーラ誤差を算出し、算出した前記エピポーラ誤差の値に応じて変化するアイコンを提示することで、前記指標を提示する、
   ことを特徴とする画像処理装置。
6. 対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
   前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
   前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
   前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
   特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
   を有する、ことを特徴とする画像処理方法。
7. コンピュータに、
   対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
   前記複数の画像の１つの前記画像において、前記対象物上の位置が指定されると、指定された位置に応じて対応する前記特徴点を特定し、更に、位置が指定されていない別の前記画像において、特定した前記特徴点に対応する前記特徴点を特定する、特徴点特定ステップと、
   前記対象物上の位置が指定された前記画像において、特定された前記特徴点のなかから、設定条件を満たすいずれかの特徴点を選択し、前記別の画像において、選択した前記特徴点に対応する前記特徴点を抽出する、特徴点抽出ステップと、
   前記選択された特徴点と抽出された前記特徴点との幾何学的関係を表現する、数値行列を算出する、行列算出ステップと、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、そして、
   特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
   を実行させる、プログラム。
   

Images