JP2018097795A - 法線推定装置、法線推定方法、及び法線推定プログラム - Google Patents

Abstract

【課題】平面物体を表す入力画像における平面物体の法線を精度良く推定することができる法線推定装置、法線推定方法、及び法線推定プログラムを提供する。【解決手段】入力画像群中の画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定し、推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの複数の解候補を算出し、予め定められた制約に基づいて、複数の解候補から、物理的に実現不可能な解を除去し、除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、画像ペアの各々についての１つの前記解候補の組み合わせを選択し、選択された解候補の組み合わせを用いて、入力画像の各々から見たときの平面物体の法線を決定する。【選択図】図１

Description

本発明は、画像に写り込む平面物体の法線を推定する法線推定装置、法線推定方法、及び法線推定プログラムに関する。

同一の平面物体が写り込んだ２枚の画像から、平面物体の向き（法線）を推定する公知の方法は、まず２枚の画像から算出される射影変換行列をカメラ間の回転成分／並行移動成分及び平面物体の法線に分解し、得られた（最大８つの候補解）の中から条件を満たす解を選択する方法である。

入力画像に写り込む物体の姿勢を精度良く推定することは、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）データを現実世界に重畳表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）アプリケーションを高品質に実現するうえで必要不可欠である。入力画像に写り込む物体が、例えば看板、ポスター等の平面物体である場合、物体の姿勢を推定することは、平面を定義する法線を推定することに帰着する。

同一の平面物体が写り込んだ２枚の画像が与えられた場合に各々の画像に写り込む平面物体の法線を推定する公知の技術としては、非特許文献１〜３に開示された技術が知られている。これらの技術は何れも、各画像を撮影したカメラ座標系間の射影変換行列（ホモグラフィ）を、カメラ間の回転成分及び並行移動成分と、平面物体の法線とに分解するアルゴリズムであり、何らの制約を置かない場合、最大８つの解の候補が得られる。

このように、簡単な物理的制約を置くことで、解の候補を２つに絞り込むことまでは容易に実現可能であるものの、残った２つの解から実際の法線を一意に特定することは一般には難しい。例えば、カメラは平面物体の正面付近から撮影されるといった制約を置けば、カメラ座標平面の法線と平面物体の法線がなす角がより小さくなるような法線を選択する等することで、解を一意に特定することは可能である。

O. Faugeras et al., Motion and structure from motion in a piecewise planar environment, International Journal of Pattern Recognition and Artificial Intelligence, 1988. https://hal.inria.fr/inria‐00075698. Z. Zhang et al., 3D Reconstruction based on Homography Mapping, in ARPA, 1996. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.54.5975&rep=rep1&type=pdf. E. Malis et al., Deeper Understanding of the Homography Decomposition for Visionbased Control, INRIA Research Report, 2007. https://hal.inria.fr/inria‐00174036.

しかし、上記のような制約を置いたとき、当然ながら平面物体をより斜めから撮影した場合には法線を精度良く推定することはできない。すなわち、比較的強い制約（例えば、平面物体はおよそ正面近くからしか撮影されない等）を置くことで、残った２つの解の候補を１つに特定することは可能であるものの、そのような制約は技術の適用範囲を狭めてしまうという問題がある。

本発明は、以上のような事情に鑑みてなされたものであり、平面物体を表す入力画像における平面物体の法線を精度良く推定することができる法線推定装置、法線推定方法、及び法線推定プログラムを提供することを目的とする。

上記目的を達成するために、本発明の法線推定装置は、平面物体を表す複数の入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定する射影変換行列推定部と、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出する法線候補推定部と、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去する不可能解除去部と、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択する法線選択部と、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定する法線決定部と、を含む。

なお、前記入力画像群に含まれる前記入力画像の各々から局所特徴を抽出する局所特徴抽出部と、前記画像ペアの各々について、前記局所特徴抽出部により抽出された前記画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定する暫定対応点決定部と、前記画像ペアの各々について、前記暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める幾何検証部と、前記画像ペアの各々について前記幾何検証部により求められた前記インライア対応点に基づいて、前記画像ペアをスコアリングする信頼度算出部と、を更に含み、
前記射影変換行列推定部は、前記信頼度算出部によりスコアリングされた信頼度が閾値より大きい前記画像ペアの各々について、前記インライア対応点に基づいて前記画像ペアの座標系の射影変換行列を推定する
ようにしても良い。

また、前記法線選択部は、他の画像ペアについて選択される前記解候補との誤差を表す、劣モジュラ性を満たす目的関数に基づいて、前記解候補の組み合わせを選択するようにしても良い。

また、前記入力画像群は、３以上の前記入力画像からなるようにしても良い。

上記目的を達成するために、本発明の法線推定方法は、射影変換行列推定部、法線候補推定部、不可能解除去部、法線選択部、及び法線決定部を有する法線推定装置における法線推定方法であって、前記射影変換行列推定部が、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定するステップと、前記法線候補推定部が、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、前記不可能解除去部が、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去するステップと、前記法線選択部が、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択するステップと、前記法線決定部が、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定するステップと、を含む。

上記目的を達成するために、本発明の法線推定プログラムは、コンピュータを、上記法線推定装置の各部として機能させるためのプログラムである。

本発明によれば、平面物体を表す入力画像における平面物体の法線を精度良く推定することができることが可能となる。

第１実施形態に係る法線推定装置の機能的な構成を示すブロック図である。 第１実施形態に係る法線推定処理の流れを示すフローチャートである。 第２実施形態に係る法線推定装置の機能的な構成を示すブロック図である。 第２実施形態に係る法線推定処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を用いて説明する。

＜第１実施形態＞

図１は、第１実施形態に係る法線推定装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る法線推定装置１０は、射影変換行列推定部１２、法線候補推定部１４、不可能解除去部１６、解候補記憶部１８、法線選択部２０、及び法線決定部２２を有している。

射影変換行列推定部１２は、同一の平面物体が写り込んだＮ（≧３）枚の入力画像に写り込む平面物体の対応点（４点以上）のピクセル座標を、画像ペア毎に入力し、各画像ペアについて、射影変換行列を推定する。射影変換行列を推定する方法は任意の方法を用いることが可能で、例えば、最小二乗法、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）等を用いることができる。

法線候補推定部１４は、得られた各画像ペアに対応する射影変換行列を、カメラ間の回転成分及び並行移動成分と、画像ペアの各入力画像から見たときの平面物体の法線とに分解し、解の候補を出力する。射影変換行列を分解する方法は任意であり、例えば、上記非特許文献１〜３に開示されている技術等を用いることができる。

ここで、上記非特許文献１に開示されている技術を用いたときの、画像ペアＩ_ｉとＩ_ｊとに対応する射影変換行列Ｈ_ｉｊの分解手法について説明する。

例えば、射影変換行列推定部１２で算出された任意の画像ペアに対応する射影変換行列

を、回転行列

、並進ベクトル

、画像Ｉ_ｉの座標系から見たときの平面物体の法線ベクトルｎ_ｉに分解する。

射影変換行列推定部１２は、射影変換行列を推定する際、公知の方法を用いることができる。例えば、上記非特許文献１で開示されている技術を用いると、８通りの解候補｛Ｒ_ｉｊ，ｔ_ｉｊ，ｎ_ｉ，ｎ_ｊ｝が得られる。すなわち、下記（１）式にｅ_１＝±１、ｅ_３＝±１を当てはめることにより４通りの解候補が得られ、また、下記（２）式にｅ_１＝±１、ｅ_３＝±１を当てはめることにより４通りの解候補が得られる。なお、解候補｛Ｒ_ｉｊ，ｔ_ｉｊ，ｎ_ｉ，ｎ_ｊ｝は、回転行列、並進ベクトル、及び２つの法線ベクトルの組み合わせである。

…（１）

…（２）

なお、解候補は、例えば、上記非特許文献１で開示されているように、下記（３）式〜下記（１４）式を用いて、ＳＶＤ（singular value decomposition）による行列分解を行うことにより求められる。

…（３）

…（４）

…（５）

…（６）

…（７）

…（８）

…（９）

…（１０）

…（１１）

…（１２）

…（１３）

…（１４）

不可能解除去部１６は、得られた各画像ペアに対応する解候補として、法線候補推定部１４により射影変換行列Ｈ_ｉｊを分解することで得られた解候補｛Ｒ_ｉｊ，ｔ_ｉｊ，ｎ_ｉ，ｎ_ｊ｝を入力し、予め定めた物理的な制約を置くことで、解候補のうち現実的には有り得ない解を除去する。

物理的に不可能な解を除去する方法としては、以下に示す２つの方法が挙げられる。一般的に、以下に示す２つの制約の双方を適用することで、解候補を２通りにまで絞り込むことができる。

＜制約１＞２つの画像が、平面物体から見て同じ側から撮影されたという制約（ただし、平面物体は透明ではない）を適用する。

すなわち、

を満たさなければ棄却する。

＜制約２＞２つの画像間の対応点は、どちらの画像からも見えるという制約を適用する。

すなわち、画像Ｉ_ｉ中の対応点の同次座標をｍ（ベクトル）として、

を満たさなければ棄却する。

本実施形態では、対応点を、入力として与えられた対応点から選べば良い。なお、後述する第２実施形態では、対応点を、後述する幾何検証部４６で得られたインライア対応点から選べば良い。

不可能解除去部１６は、除去されずに残った解候補を解候補記憶部１８に記憶させる。

法線選択部２０は、解候補記憶部１８に記憶されている解候補を入力し、解候補の集合から、他の画像ペアについて選択される解候補との誤差を表す目的関数ｆ（Ｘ）が最適化されるように、画像ペアの各々について１つの候補を選択する。上述した事項は、解候補の各々にラベルを付与し、射影変換行列集合

に対応する画像ペアの各々についてのラベルからなるラベル集合

を変数とし、上記を表現した目的関数ｆ（Ｘ）を最大化するような、画像ペアの各々についてのラベルの組み合わせＸ^＊を求める問題として定義できる。なお、目的関数ｆ（Ｘ）は、上述した事項を満たすものであれば任意の形態をとることが可能である。例えば、下記（１６）式で定義することができる。

目的関数ｆ（Ｘ）を最大化するような、画像ペアの各々についてのラベルの組み合わせＸ^＊を求める最も簡単な方法は、ラベルＸのあらゆるパターンに対応する目的関数ｆ（ｘ）の値を算出し、最も値が高くなるようなパターンを、目的関数ｆ（Ｘ）を最大化するような組み合わせＸ^＊として出力する方法である。この方法では、

通り（ｚは解候補の数）の目的関数ｆ（ｘ）を計算する必要がある。例えば、下記（１６）式及び下記（１７）式のように目的関数を設定した場合、射影変換行列推定部１２による射影変換行列の推定方法によっては目的関数が劣モジュラ性を満たす。そのため、例えば、下記（１５）式に示すように、劣モジュラ性が成立するときの下記（１６）式の解を高速に求めるアルゴリズムのような貪欲アルゴリズムを用いることで、高速に、画像ペアの各々についてのラベルの組み合わせＸ^＊を求めることができる。

…（１５）

・
…（１６）

…（１７）

上記目的関数ｆ（Ｘ）を最適化することにより、互いの法線推定誤差が最も小さくなるように、画像ペアの各々について、解候補の中から解を選択することで、各画像ペアに対応する解候補を一意に絞り込む。

このように、法線選択部２０によって、各画像ペアにから算出される射影変換行列に対応する平面物体の法線ベクトルは一意に決まる。

法線決定部２２は、法線選択部２０によって一意に決められた、各画像ペアから算出される射影変換行列に対応する平面物体の法線ベクトルを入力とし、各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを算出する。

各画像ペアから算出される射影変換行列に対応する平面物体の法線ベクトルから、各カメラ座標系から見たときの法線ベクトルを求める方法としては、任意の方法を用いることができる。例えば、ある入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルの平均を計算することにより、当該入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを算出する。

また、法線決定部２２は、算出した各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを、各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトル

として、出力する。

なお、本実施形態に係る法線推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、法線推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。

本実施形態に係る法線推定装置１０による学習処理の流れを、図２に示すフローチャートを用いて説明する。本実施形態では、法線推定装置１０に、法線推定処理の実行を開始するための予め定めた情報が入力されたタイミングで法線推定処理が開始されるが、法線推定処理が開始されるタイミングはこれに限らず、例えば、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々における対応点が入力されたタイミングで法線推定処理が開始されても良い。

ステップＳ１０１では、射影変換行列推定部１２が、平面物体を表す３枚以上の入力画像からなる入力画像群中の画像ペアの各々の対応点を入力する。

ステップＳ１０３では、射影変換行列推定部１２が、入力した画像ペアの各々について、当該画像ペアの対応点から当該画像ペアの座標系の射影変換行列を推定する。

ステップＳ１０５では、法線候補推定部１４が、入力した画像ペアの各々について、射影変換行列推定部１２により推定された当該画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と当該画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線の組み合わせで表される複数の解候補を算出する。

ステップＳ１０７では、不可能解除去部１６が、入力した画像ペアの各々について、例えば、上述した予め定められた２つの制約に基づいて、法線候補推定部１４により算出された複数の解候補から、物理的に実現不可能な解を除去する。

ステップＳ１０９では、法線選択部２０が、入力した画像ペアの各々について不可能解除去部により除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差を表す目的関数を最適化するように、画像ペアの各々についての１つの解候補を選択する。

ステップＳ１１１では、法線決定部２２が、選択された解候補に基づいて、入力画像の各々から見たときの平面物体の法線を算出し、算出された法線に関するデータを出力し、本法線推定処理のプログラムの実行を終了する。なお、本実施形態では、選択された法線を示すデータをディスプレイ等の表示手段に表示させたり、推定された法線を示すデータを記憶手段に記憶させたりすることにより、選択された法線に関するデータを出力する。

このように、本実施形態では、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定し、画像ペアの各々について、推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの複数の解候補を算出する。また、画像ペアの各々について、予め定められた制約に基づいて、法線候補推定部により算出された複数の解候補から、物理的に実現不可能な解を除去し、画像ペアの各々について、除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差が最も小さくなるように、画像ペアの各々についての１つの解候補の組み合わせを選択する。そして、選択された解候補の組み合わせを用いて、入力画像の各々から見たときの平面物体の法線を決定する。

すなわち、上述したように、画像に写り込む平面物体の法線を推定する上記非特許文献１〜３に開示されている技術では、同一の平面物体が写り込んだ２枚の画像を用いて平面物体の法線を推定している。一方、本実施形態では、同一の平面物体が写り込んだ３枚以上の画像を入力とし、３枚以上の画像の各々の画像ペアについて射影変換行列を推定し、公知の技術を用いて法線候補を算出する。また、得られた法線候補の集合について、互いの画像ペアにおける推定誤差が最も小さくなるような候補解を選択することによって、各画像ペアにおける法線の解を一意に決定し、その結果から、各画像から見たときの平面物体の法線を算出する。

これにより、法線の候補解を一意に絞り込むために何らの仮定を置く必要はないため、技術の適用領域を狭めることはない。すなわち、本実施形態によると、何らの制約を置くことなく精度良く各画像から見たときの平面物体の法線（すなわち向き）を推定することが可能になる。

＜第２実施形態＞

次に、第２実施形態に係る法線推定装置について説明する。

上述した第１実施形態では、各入力画像に写り込む平面物体の法線を推定するために各画像について４点以上の対応点の座標を手動で入力する必要がある。一方、本第２実施形態では、平面物体が写り込んだＮ枚の画像そのものを入力として、各画像に写り込む平面物体の法線を推定する。本第２実施形態によると、複数の画像を入力とする際のユーザの手間及びコストを削減することができ、本第２実施形態は、特に、多量の画像を入力とする場合に有用である。

図３は、第２実施形態に係る法線推定装置１０Ａの機能を示すブロック図である。図３に示すように、法線推定装置１０Ａは、第１実施形態に係る法線推定装置１０の構成に加えて、局所特徴抽出部４０、暫定対応付け決定部４４、幾何検証部４６、及び、信頼度推定部４８を有している。

第２実施形態に係る法線推定装置１０Ａのその他の構成は、上記第１実施形態に係る法線推定装置１０と同じであるため、上記第１実施形態に係る法線推定装置１０と同じ構成については同一の符号を付し、説明を省略する。

局所特徴抽出部４０は、入力された各画像から局所特徴量および各局所特徴に対応する属性情報を抽出する。抽出する局所特徴量は任意の公知の技術を用いることが可能であり、例えば、上記非特許文献１で開示されているＳＩＦＴを用いることができ、他にもＳＵＲＦ、ＢＥＩＥＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ、ＡＫＡＺＥ等を用いることができる。

また属性情報としては、上記非特許文献１で開示されている技術と同様に、位置（ｘ,ｙ）、スケール、回転量の４つを取得しても良いし、上記非特許文献２で開示されている技術を用いて位置（ｘ，ｙ）、スケール、回転（ロー、ピッチ、ヨー）の６つを取得しても良い。

局所特徴抽出部４０は、求めた局所特徴及び属性情報を、解候補記憶部１８に記憶させる。

暫定対応付け決定部４４は、入力された各画像からなる画像ペアの各々について、解候補記憶部１８から当該画像ペアに対応する局所特徴の情報を読み出し、局所特徴を比較することで、当該画像ペア間で局所特徴を暫定的に対応付ける。

比較の方法は任意であり、例えば局所特徴ベクトル間のＬ２ノルムを計算し、その値が最も小さい画像間局所特徴ペアを対応付けるなどすれば良い。

幾何検証部４６は、入力された各画像からなる画像ペアの各々について、暫定対応付け決定部４４により求められた当該画像ペア間の対応付け結果から、所定の幾何モデルのパラメータを推定し、その結果を用いて、当該画像ペア間の暫定対応付け結果から誤対応を除去する。

所定の幾何モデルは任意であり、例えばアフィン変換、ホモグラフィ変換等を用いることができる。また、上記非特許文献３で開示されている技術を用いて、局所特徴抽出部４０により得られた属性情報を用いて投票空間を構築し、投票数の多いセル単位で幾何モデルのパラメータを推定し誤対応除去を実施しても良い。

信頼度推定部４８は、画像ペアの各々について、幾何検証部４６で得られた対応付け（インライア対応点）の結果を用いて、当該画像ペア間で幾何的な整合性がとれているか否かを評価する。

信頼度の算出方法は任意であり、例えば、上記非特許文献３に開示された技術のように、推定した幾何変換パラメータを用いて、画像ペアの何れか一方であるテスト画像を、他方の訓練画像上にマッピングし、当該マッピング領域内の局所特徴点数に応じて誤対応が生じる確率を算出するといった技術を用いることができる。

ここで、算出された信頼度が所定の閾値以下である画像ペアについては、画像間で局所特徴の対応付けに失敗していると判定し、以降の処理は行わないものとする。

すなわち、本実施形態では、射影変換行列推定部１２は、信頼度推定部４８により算出された子音ライドが、所定の閾値より大きい各画像ペアについて、幾何検証部４６により得られたインライア対応点を用いて、所定の幾何モデルを仮定したときの画像ペア間の射影変換行列を推定する。また、法線候補推定部１４、不可能解除去部１６、及び法線選択部２０の各処理においても、信頼度推定部４８により算出された信頼度が、所定の閾値より大きい各画像ペアについて処理が行われる。

なお、本実施形態に係る法線推定装置１０Ａは、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、法線推定装置１０Ａを構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。

次に、本実施形態に係る法線推定装置１０Ａによる法線推定処理の流れを、図４に示すフローチャートを用いて説明する。本実施形態では、法線推定装置１０Ａに、適用処理の実行を開始するための予め定めた情報が入力されたタイミングで法線推定処理が開始されるが、法線推定処理が開始されるタイミングはこれに限らず、例えば、平面物体を表す入力画像からなる入力画像群が入力されたタイミングで法線推定処理が開始されても良い。

ステップＳ２０１では、局所特徴抽出部４０が、平面物体を表す３枚以上の入力画像からなる入力画像群を入力する。

ステップＳ２０３では、局所特徴抽出部４０が、入力した入力画像群中の入力画像の各々の局所特徴を抽出する。

ステップＳ２０５では、暫定対応付け決定部４４が、入力画像群中の画像ペアの各々について、当該画像ペアの入力画像の各々について抽出された局所特徴を比較して、暫定的な対応点を決定する。

ステップＳ２０７では、幾何検証部４６が、入力した入力画像群中の画像ペアの各々について、暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める。

ステップＳ２０９では、信頼度推定部４８が、入力した入力画像群中の画像ペアの各々について、求められた当該画像ペアのインライア対応点に基づいて、当該画像ペアをスコアリングする。

ステップＳ２１１では、射影変換行列推定部１２が、信頼度が閾値より大きい画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定する。

ステップＳ２１３では、法線候補推定部１４が、信頼度が閾値より大きい画像ペアの各々について、射影変換行列推定部１２により推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線の組み合わせで表される複数の解候補を算出する。

ステップＳ２１５では、不可能解除去部１６が、信頼度が閾値より大きい画像ペアの各々について、例えば、上述した予め定められた２つの制約に基づいて、法線候補推定部１４により算出された複数の解候補から、物理的に実現不可能な解を除去する。

ステップＳ２１７では、法線選択部２０が、信頼度が閾値より大きい画像ペアの各々について不可能解除去部により除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差を表す目的関数を最適化するように、画像ペアの各々についての１つの解候補の組み合わせを選択する。

ステップＳ２１９では、法線決定部２２が、選択された解候補の組み合わせに基づいて、入力画像の各々から見たときの平面物体の法線を算出し、算出された法線に関するデータを出力し、本法線推定処理のプログラムの実行を終了する。なお、本実施形態では、選択された法線を示すデータをディスプレイ等の表示手段に表示させたり、推定された法線を示すデータを記憶手段に記憶させたりすることにより、選択された法線に関するデータを出力する。

このようにして、本実施形態では、入力画像群に含まれる入力画像の各々から局所特徴を抽出し、画像ペアの各々について、抽出された画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定し、画像ペアの各々について、暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める。また、画像ペアの各々について、求められたインライア対応点に基づいて、画像ペアをスコアリングし、スコアリングされた信頼度が閾値より大きい画像ペアの各々について、インライア対応点に基づいて画像ペアの座標系の射影変換行列を推定する。

なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、法線推定装置１０、１０Ａとして利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。

また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。

１０ 法線推定装置
１２ 射影変換行列推定部
１４ 法線候補推定部
１６ 不可能解除去部
１８ 解候補記憶部
２０ 法線選択部
２２ 法線決定部
４０ 局所特徴抽出部
４４ 暫定対応付け決定部
４６ 幾何検証部
４８ 信頼度推定部

Claims (6)

1. 平面物体を表す複数の入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定する射影変換行列推定部と、
   前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出する法線候補推定部と、
   前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去する不可能解除去部と、
   前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択する法線選択部と、
   前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定する法線決定部と、
   を含む法線推定装置。
2. 前記入力画像群に含まれる前記入力画像の各々から局所特徴を抽出する局所特徴抽出部と、
   前記画像ペアの各々について、前記局所特徴抽出部により抽出された前記画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定する暫定対応点決定部と、
   前記画像ペアの各々について、前記暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める幾何検証部と、
   前記画像ペアの各々について前記幾何検証部により求められた前記インライア対応点に基づいて、前記画像ペアをスコアリングする信頼度算出部と、を更に含み、
   前記射影変換行列推定部は、前記信頼度算出部によりスコアリングされた信頼度が閾値より大きい前記画像ペアの各々について、前記インライア対応点に基づいて前記画像ペアの座標系の射影変換行列を推定する
   請求項１記載の法線推定装置。
3. 前記法線選択部は、他の画像ペアについて選択される前記解候補との誤差を表す、劣モジュラ性を満たす目的関数に基づいて、前記解候補の組み合わせを選択する
   請求項１又は２記載の法線推定装置。
4. 前記入力画像群は、３以上の前記入力画像からなる
   請求項１〜３の何れか１項記載の法線推定装置。
5. 射影変換行列推定部、法線候補推定部、不可能解除去部、法線選択部、及び法線決定部を有する法線推定装置における法線推定方法であって、
   前記射影変換行列推定部が、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定するステップと、
   前記法線候補推定部が、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、
   前記不可能解除去部が、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去するステップと、
   前記法線選択部が、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択するステップと、
   前記法線決定部が、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定するステップと、
   を含む法線推定方法。
6. コンピュータを、請求項１〜４の何れか１項記載の法線推定装置の各部として機能させるための法線推定プログラム。