JP2019200516A

JP2019200516A - テンプレート姿勢推定装置、方法、及びプログラム

Info

Publication number: JP2019200516A
Application number: JP2018093705A
Authority: JP
Inventors: 島村　潤; Jun Shimamura; 潤島村; 之人渡邉; Yukito Watanabe; 杵渕　哲也; Tetsuya Kinebuchi; 哲也杵渕
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2019-11-21
Anticipated expiration: 2038-05-15
Also published as: WO2019221149A1; JP6973285B2; US20210217196A1; US11651515B2

Abstract

【課題】入力画像とテンプレート画像との間の幾何変換を表す幾何変換行列を精度よく求めることができる。【解決手段】幾何変換行列・インライヤ推定部３２が、インライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定する。散布度推定部３４が、インライヤとなる対応点群に基づいて、対応点の散布度を推定する。平面追跡収束判定閾値算出部３６が、推定された前記散布度に基づいて、平面追跡部３８での前記幾何変換行列の繰り返し更新を行う際の収束判定に用いる閾値を算出する。平面追跡部３８は、算出された閾値を用いて収束したと判定されるまで、入力画像及びテンプレート画像の一方を、幾何変換行列を用いて変換した幾何変換画像との間における対応する画素値の差を最小化するように、幾何変換行列を更新することを繰り返す。【選択図】図１

Description

本発明は、テンプレート姿勢推定装置、方法、及びプログラムに係り、特に、実空間中に存在する平面を撮影した入力画像と所定のテンプレート画像から、入力画像とテンプレートとの間の幾何変換行列を推定し出力する、テンプレート姿勢推定装置、方法、及びプログラムに関する。

実空間中に存在する平面を撮影した入力画像と所定のテンプレート画像から、前記入力画像と前記テンプレート間の幾何変換行列を推定する技術は、例えば前記平面をマーカと見做して、該マーカの位置・姿勢に併せてコンピュータグラフィックス（ＣＧ）を重畳表示する拡張現実などを可能としている。幾何変換行列としては、ホモグラフィと呼ばれる３＊３の行列やアフィン変換行列と呼ばれる２＊３の行列がよく用いられる。

例えば非特許文献１の方法では、テンプレート画像と入力画像間で抽出した特徴点を、特徴点近傍から抽出した特徴量を比較することで対応付け、ＲＡＮＳＡＣと呼ばれる外れ値除去の方法を用いて、テンプレート画像と入力画像間の幾何変換行列を精度よく推定している。

Matthew Brown, David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features", International Journal of Computer Vision, Volume 74, Issue 1, pp 59-73, August 2007.

従来の方法では、テンプレート画像間と入力画像での対応点を用いて幾何変換行列の推定を実現している。この時、テンプレート画像から抽出した特徴点が、テンプレート画像中の或る部分に集中するなど、幾何変換行列の推定に用いる対応点の位置に偏りがあると、量子化誤差の影響等によって、幾何変換行列の推定精度が悪くなるといった問題がある。

本発明は、上記問題点を解決するために成されたものであり、入力画像とテンプレート画像との間の幾何変換を表す幾何変換行列を精度よく求めることができるテンプレート姿勢推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係るテンプレート姿勢推定装置は、入力画像とテンプレート画像との間での対応する特徴点同士の複数の対応点からなる対応点群を抽出する対応付け部と、前記抽出された前記対応点群に基づいて、前記抽出された前記対応点群から誤対応点を除去したインライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列・インライヤ推定部と、前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列・インライヤ推定部によって求められた前記幾何変換行列又は前回更新された前記幾何変換行列を用いて変換した幾何変換画像と、前記入力画像及び前記テンプレート画像の他方との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、最適な幾何変換行列を求める平面追跡部と、を含んで構成されている。

本発明に係るテンプレート姿勢推定方法は、対応付け部が、入力画像とテンプレート画像との間での対応する特徴点同士の複数の対応点からなる対応点群を抽出し、幾何変換行列・インライヤ推定部が、前記抽出された前記対応点群に基づいて、前記抽出された前記対応点群から誤対応点を除去したインライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定し、平面追跡部が、前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列・インライヤ推定部によって求められた前記幾何変換行列又は前回更新された前記幾何変換行列を用いて変換した幾何変換画像と、前記入力画像及び前記テンプレート画像の他方との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、最適な幾何変換行列を求める。

本発明に係るプログラムは、コンピュータを、上記の発明に係るテンプレート姿勢推定装置の各部として機能させるためのプログラムである。

本発明のテンプレート姿勢推定装置、方法、及びプログラムによれば、インライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定し、前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列を用いて変換した幾何変換画像との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、入力画像とテンプレート画像との間の幾何変換を表す幾何変換行列を精度よく求めることができる、という効果が得られる。

本発明の第１の実施の形態に係るテンプレート姿勢推定装置の構成を示すブロック図である。本発明の第１の実施の形態に係るテンプレート姿勢推定装置におけるテンプレート姿勢推定処理ルーチンを示すフローチャートである。本発明の第１の実施の形態に係るテンプレート姿勢推定装置における散布度推定処理を示すフローチャートである。テンプレート画像と入力画像の一例を示す図である。テンプレート画像と入力画像との間の対応点群の一例を示す図である。テンプレート画像と入力画像との間のインライヤとなる対応点群の一例を示す図である。散布度を推定する方法を説明するための図である。散布度を推定する方法を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。

テンプレート画像と入力画像と間での特徴点同士の対応点を用いて幾何変換行列を推定した後に、空間を運動する平面の画像上の位置と姿勢を高速に追跡する平面追跡法を適用する。平面追跡処理の時に必要となる収束判定の閾値を、特徴点同士の対応点位置から散布度を推定して自動決定することで、幾何変換行列の推定に用いる対応点の位置に偏りがある場合でも、テンプレート画像と入力画像間の幾何変換行列を高精度に推定することができる。

＜本発明の実施の形態に係るテンプレート姿勢推定装置の構成＞
次に、本発明の実施の形態に係るテンプレート姿勢推定装置の構成について説明する。図１に示すように、本発明の実施の形態に係るテンプレート姿勢推定装置１００は、ＣＰＵと、ＲＡＭと、後述するテンプレート姿勢推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このテンプレート姿勢推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部６０とを備えている。

入力部１０は、少なくともテンプレート画像と入力画像の入力を受け付ける。例えば、図４に示すような、実空間中に存在する同一平面を撮影したテンプレート画像と入力画像とを受け付ける。

演算部２０は、対応付け部３０と、幾何変換行列・インライヤ推定部３２と、散布度推定部３４と、平面追跡収束判定閾値算出部３６と、平面追跡部３８と、メモリ４０とを含んで構成されている。

対応付け部３０は、入力画像とテンプレート画像との間での特徴点の対応付けを行って、対応する特徴点同士の対応点を求め、複数の対応点からなる対応点群を抽出し、メモリ４０に格納する。

幾何変換行列・インライヤ推定部３２は、抽出された対応点群を入力とし、外れ値除去の方法を用いて、抽出された対応点群から誤対応点を除去したインライヤとなる対応点群を求めると共に、インライヤとなる対応点群から入力画像とテンプレート画像との間の幾何変換を表す幾何変換行列を推定し、メモリ４０に格納する。

散布度推定部３４は、インライヤとなる対応点群を入力とし、対応点群の位置のばらつき度合いを算出し、対応点の散布度としてメモリ４０に格納する。具体的には、インライヤとなる対応点群に基づいて得られる座標値の最小値及び最大値、インライヤとなる対応点群に基づいて得られる面積、インライヤとなる対応点群に基づいて得られる座標値の標準偏差、又はインライヤとなる対応点群に基づいて得られる座標値の四分位範囲から、散布度を推定する。

平面追跡収束判定閾値算出部３６は、散布度を入力とし、散布度と所定の閾値とから、平面追跡部３８での幾何変換行列の繰り返し更新を行う際の収束判定に用いる閾値を算出する。

平面追跡部３８は、平面追跡処理の収束判定に用いる閾値と、入力画像と、テンプレート画像と、幾何変換行列・インライヤ推定部３２によって求められた前記幾何変換行列とを入力とし、該幾何変換行列を初期値とし、平面追跡処理の収束判定に用いる閾値を用いて収束したと判定されるまで、入力画像及びテンプレート画像の一方を、初期値又は前回更新した幾何変換行列を用いて変換した幾何変換画像と、入力画像及びテンプレート画像の他方との間における対応する画素値の差を最小化するように、幾何変換行列を更新することを繰り返すことにより、最適な幾何変換行列を求めて出力部６０により出力する。

＜本発明の実施の形態に係るテンプレート姿勢推定装置の作用＞
次に、本発明の実施の形態に係るテンプレート姿勢推定装置１００の作用について説明する。入力部１０において入力画像とテンプレート画像の入力を受け付けると、テンプレート姿勢推定装置１００は、図２に示すテンプレート姿勢推定処理ルーチンを実行する。

まず、ステップＳ１００において、対応付け部３０による対応付け処理が起動される。対応付け部３０にはテンプレート画像と入力画像が入力される。本実施の形態では図４に示すようなテンプレート画像と入力画像がそれぞれ入力されたものとして以降の説明を進める。対応付け部３０はテンプレート画像と入力画像の両画像間で対応する特徴点同士の対応点を決定する。この対応点決定処理は例えば非特許文献１や非特許文献２など従来の方法によって実現できるため、ここでは簡単に説明する。対応付け部３０ではまず、テンプレート画像と入力画像それぞれから、画像上でのコーナーやエッジなどを示す特徴点を抽出する。すべての特徴点について特徴点近傍の画素を用いて特徴量記述を行う。次に一方の画像上のある特徴点の特徴量に最も類似する特徴量を、他方の画像上の全特徴点の中から決定し、これを対応点とする。この処理をすべてに特徴点にわたって行うことで、対応点群を決定する。

[非特許文献２]David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.

対応付け部３０は、最後に、決定した対応点群を出力して処理を終える。本実施の形態では図５に示す対応点群が決定され、出力されたものとして以降説明する。

次に、ステップＳ１０２において、幾何変換行列・インライヤ推定部３２による幾何変換行列・インライヤ推定処理が起動される。上記ステップＳ１００で得られた対応点群を入力し、外れ値除去の方法を用いて幾何変換行列とインライヤとなる対応点群を推定する。この処理は例えば、ロバスト推定を用いることによって実現できる。つまり、幾何モデルを示す幾何変換行列としてアフィン変換行列やHomography変換行列などを用い、RANSACなどのロバスト推定を適用することで誤対応点を除去しながら同じ平面上の対応点を推定する。この処理によって平面上以外の対応点が誤対応点として除去されながら幾何変換行列が推定される。例えば、図５において類似パターンの存在等によって生じた誤対応点（図５の（ａ）参照）は除去され、それ以外はインライヤとして残される。ここで、ロバスト推定の手法としてRANSAC以外に、PROSAC（非特許文献３）やMLESAC（非特許文献４）を用いてもよい。

[非特許文献３]Chum, O.; and Matas, J.: Matching with PROSAC - Progressive Sample Consensus, CVPR 2005

[非特許文献４]P. H. S. Torr and A. Zisserman,“MLESAC: a new robust estimator with application to estimating image geometry,” Computer Vision and Image Understanding - Special issue on robusst statistical techniques in image understanding archive, Volume 78, Issue 1, April 2000, Pages 138-156

幾何変換行列・インライヤ推定部３２は、最後に決定した幾何変換行列とインライヤとなる対応点群を出力して処理を終える。本実施の形態では図６に示す対応点群がインライヤとして出力されたものとして以降説明する。

次に、ステップＳ１０４において、散布度推定部３４による散布度推定処理が起動される。散布度推定部３４で行われる処理を図３のフローチャートに基づき説明する。散布度推定部３４による散布度推定処理が起動されると、ステップＳ１１０において、インライヤとなる対応点群を入力として受け付ける。次に、ステップＳ１１２において、散布度推定方法として、“最大値・最小値”、“標準偏差”、及び“四分位範囲”の何れを用いるかを判定する。

“最大値・最小値”を用いた散布度推定方法であると定められている場合には、以下のステップＳ１１４、Ｓ１１６の処理を行う。

まず、ステップＳ１１４では、インライヤとなる対応点群を構成する特徴点のうち、テンプレート画像上の特徴点群を包含するバウンディングボックスを特定する。本実施の形態では図６に示すインライヤとなる対応点群のうち、テンプレート画像上の特徴点は図７に示すものとなる。この特徴点を包含するバウンディングボックスは図８に示すような枠となる。次に該バウンディングボックスの横幅・縦幅、及びテンプレート画像の横幅・縦幅から、後段の平面追跡収束判定閾値算出部３６において利用する散布度を算出する。

例えば、バウンディングボックスの右上座標を(min_x, min_y)、右下座標を(max_x, max_y)、テンプレート画像の横幅をTw、縦幅をTh、αを0〜1の値とすると、散布度Ｗは例えば以下の式（１）で算出できる。

W = α*(max_x-min_x) / Tw + (1-α)*(max_x-min_x) / Th・・・（１）

ここでバウンディングボックスの代わりに、与えられた２次元点集合を囲む、回転を考慮した最小の矩形を求めても良い。また、最大値・最小値の代わりにバウンディングボックスもしくは回転を考慮した最小矩形の面積S_areaを用いて、散布度Ｗを式（２）で算出しても良い。

W = S_area / Tw*Th・・・（２）

また、“標準偏差”を用いた散布度推定方法であると定められている場合には、以下のステップＳ１１８、Ｓ１２０の処理を行う。

ステップＳ１１８では、インライヤとなる対応点群を構成する特徴点のうち、テンプレート画像上の特徴点群のX座標、Y座標の標準偏差をそれぞれ算出する。次に、ステップＳ１２０において、X座標の標準偏差stddev_x、Y座標の標準偏差stddev_y、テンプレート画像の横幅Tw・縦幅Thから、散布度Wを式（３）により算出する。

W =α*stddev_x / Tw + (1-α)* stddev_y / Th・・・（３）

また、“四分位範囲” を用いた散布度推定方法であると定められている場合には、以下のステップＳ１２２、Ｓ１２４の処理を行う。

ステップＳ１２２では、インライヤとなる対応点群を構成する特徴点のうち、テンプレート画像上の特徴点群のX座標、Y座標の四分位範囲をそれぞれ算出する。次に、ステップＳ１２４では、X座標の四分位範囲IQR_x、Y座標の四分位範囲IQR_y、テンプレート画像の横幅Tw・縦幅Thから散布度Wを式（４）により算出する。

W =α*IQR_x / Tw + (1-α)*IQR_y / Th・・・（４）

ここで、データを大きさの順に並べたときに下から25％に位置する値・50%に位置する値・75%に位置する値のことを第1四分位数・第2四分位数・第3四分位数と呼び、第3四分位数から第1四分位数を引いた値が四分位範囲である。四分位範囲は、極端な値に比較的影響されない特徴がある。本実施の形態では、インライヤに例えば図５の(b)に示すような実際には誤対応である対応点が含まれていた場合でも、四分位範囲を用いることでこの存在の影響を受けずに正しく散布度を算出することが可能となる。例えば、図５の(b)のような誤対応点には影響されない値となる。

このようにして算出された散布度Ｗは、テンプレート画像に対してインライヤとなる対応点群を構成する特徴点位置の散布度が大きいほど大きな値を取り、或る部分に特徴点が集中するなど偏りがある場合は小さい値となる。

ステップＳ１２６において、散布度推定部３４は、算出した散布度をメモリ４０に記録して処理を終える。

次に、ステップＳ１０６では、平面追跡収束判定閾値算出部３６による平面追跡収束判定閾値算出処理が起動される。平面追跡収束判定閾値算出部３６は散布度を入力し、該散布度と所定の閾値から、平面追跡処理の収束判定に用いる閾値を算出する。平面追跡処理とは、実空間中の平面を捉えた入力画像上でその位置と姿勢を高速に追跡する方法であり、特徴抽出を行わず、平面の見えを直接用いた最適化計算により少ない計算量で追跡可能である。最適化計算とは、例えばテンプレート画像を、幾何変換行列を用いて変換することにより入力画像に位置合わせした幾何変換画像と、入力画像との対応する画素値の差を最小化するように、幾何変換行列を繰り返し処理で更新することで最適な幾何変換行列を推定する方法である。繰り返し処理の収束判定の閾値には、最大繰り返し回数や前記幾何変換画像と入力画像の差を示すRoot mean square(RMS) Error値がよく用いられる。例えば非特許文献５の方法では、最大繰り返し回数Iterを超えた場合、もしくは、幾何変換行列更新前のRMS値から更新後のRMS値を引いたΔRMSが所定の要求精度閾値ΔRMS_thを下回った場合に収束したと判定する。最大繰り返し回数Iterが大きいほど、ΔRMS_thの値が小さいほど、収束条件は厳しいことを意味し、繰り返し回数が多くなる。逆に、最大繰り返し回数Iterが小さいほど、ΔRMS_thの値が大きいほど、収束条件が緩いことを意味し、繰り返し回数が小さくなる。

[非特許文献５]Selim, Benhimane and Ezio Malis, “Real-time image-based tracking of planes using efficient second-order minimization,”IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 1. pp. 943-948 vol.1, 2004.

この閾値の設定は、正しい幾何変換行列の推定に大きく影響するが、その設定は経験に委ねられており、スキルの無い者にとっては非常に難しい。この問題を解消するために、平面追跡収束判定閾値算出部３６では、散布度推定部３４から受信した散布度と所定の閾値を用いて、平面追跡処理に必要な閾値を自動決定する。

前述のとおり、入力された散布度推定部３４で算出した散布度Ｗは、テンプレート画像に対してインライヤとなる対応点群を構成する特徴点位置の散布度が大きいほど大きな値を取り、或る部分に特徴点が集中するなど偏りがある場合は小さい値となる。つまり、散布度Ｗが小さい時はテンプレート画像中の一部に偏った対応点群から幾何変換行列を推定したこととなり、その精度は悪いと推定される。このような場合は、収束条件を厳しくする必要がある。逆に散布度Ｗが大きい時は、テンプレート画像中の全体から抽出された対応点群から幾何変換行列を推定したこととなり、その精度は良いと推定される。このような場合は、収束条件を緩くしても良いことになる。平面追跡収束判定閾値算出部３６では、この考えに基づき入力された散布度Ｗ、所定の閾値である最大繰り返し回数Iter_ini、要求精度閾値ΔRMS_iniから、最大繰り返し回数Iter、要求精度閾値ΔRMS_thを自動決定する。具体的には、自動決定する最大繰り返し回数Iter、要求精度閾値ΔRMS_thはそれぞれ式（５）、式（６）で算出できる。

Iter = Iter_ini / W・・・（５）
ΔRMS_th = ΔRMS_ini*W*W・・・（６）

最後に平面追跡収束判定閾値算出部３６は、平面追跡処理の収束判定に用いる最大繰り返し回数Iter、要求精度閾値ΔRMS_thを出力して処理を終える。

最後に、ステップＳ１０８において、平面追跡部３８による平面追跡処理が起動される。平面追跡部３８は、平面追跡処理の収束判定に用いる閾値である最大繰り返し回数Iter、要求精度閾値ΔRMS_thと、テンプレート画像、入力画像、及び、幾何変換行列・インライヤ推定部３２で算出された幾何変換行列を入力し、該幾何変換行列を初期値とし、平面追跡処理の収束判定に用いる閾値を用いて収束したと判定されるまで平面追跡処理を実施することで、幾何変換行列を更新し、これを出力する。この処理は非特許文献５に記載の方法と何らか変わらないため、ここでの詳述は割愛する。

以上説明したように、本発明の実施の形態に係るテンプレート姿勢推定装置によれば、インライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定し、前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列を用いて変換した幾何変換画像との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、幾何変換行列の推定に用いる特徴点の位置に偏りがある場合でも、入力画像とテンプレート画像との間の幾何変換を表す幾何変換行列を精度よく求めることができる。

また、対応点の散布度に応じて、平面追跡処理の収束判定に用いる閾値を算出することにより、実空間中に存在する平面を撮影した入力画像と所定のテンプレート画像から、幾何変換行列の推定に用いる特徴点の位置に偏りがある場合でも、より高精度に入力画像とテンプレート間の幾何変換行列を推定することができる。

以上、本発明を実施形態の例に基づき具体的に説明したが、上述の実施形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定しあるいは範囲を減縮するように解すべきではない。また、本発明の各手段構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。

例えば、最適化計算において、入力画像を、幾何変換行列を用いて変換することによりテンプレート画像に位置合わせした幾何変換画像と、テンプレート画像との対応する画素値の差を最小化するように、幾何変換行列を更新するようにしてもよい。

１０入力部
２０演算部
３０対応付け部
３２幾何変換行列・インライヤ推定部
３４散布度推定部
３６平面追跡収束判定閾値算出部
３８平面追跡部
４０メモリ
６０出力部
１００テンプレート姿勢推定装置

Claims

入力画像とテンプレート画像との間での対応する特徴点同士の複数の対応点からなる対応点群を抽出する対応付け部と、
前記抽出された前記対応点群に基づいて、前記抽出された前記対応点群から誤対応点を除去したインライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列・インライヤ推定部と、
前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列・インライヤ推定部によって求められた前記幾何変換行列又は前回更新された前記幾何変換行列を用いて変換した幾何変換画像と、前記入力画像及び前記テンプレート画像の他方との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、最適な幾何変換行列を求める平面追跡部と、
を含むテンプレート姿勢推定装置。
前記インライヤとなる対応点群に基づいて、対応点の散布度を推定する散布度推定部と、
前記推定された前記散布度に基づいて、前記平面追跡部での前記幾何変換行列の繰り返し更新を行う際の収束判定に用いる閾値を算出する平面追跡収束判定閾値算出部と、を更に含み、
前記平面追跡部は、前記算出された閾値を用いて収束したと判定されるまで、前記幾何変換行列を更新することを繰り返す請求項１記載のテンプレート姿勢推定装置。
前記散布度推定部は、
前記インライヤとなる対応点群に基づいて得られる座標値の最小値及び最大値、
前記インライヤとなる対応点群に基づいて得られる面積、
前記インライヤとなる対応点群に基づいて得られる座標値の標準偏差、又は
前記インライヤとなる対応点群に基づいて得られる座標値の四分位範囲から、前記散布度を推定する請求項２記載のテンプレート姿勢推定装置。
前記閾値は、最大繰り返し回数又は前記画素値の差に関する閾値であって、
前記平面追跡収束判定閾値算出部は、前記散布度に基づいて、前記インライヤとなる対応点群の分布に偏りがあるほど、前記最大繰り返し回数を多くするように、又は前記画素値の差に関する閾値を小さくするように算出する請求項２又は３記載のテンプレート姿勢推定装置。
対応付け部が、入力画像とテンプレート画像との間での対応する特徴点同士の複数の対応点からなる対応点群を抽出し、
幾何変換行列・インライヤ推定部が、前記抽出された前記対応点群に基づいて、前記抽出された前記対応点群から誤対応点を除去したインライヤとなる対応点群を求めると共に、前記入力画像と前記テンプレート画像との間の幾何変換を表す幾何変換行列を推定し、
平面追跡部が、前記入力画像及び前記テンプレート画像の一方を、前記幾何変換行列・インライヤ推定部によって求められた前記幾何変換行列又は前回更新された前記幾何変換行列を用いて変換した幾何変換画像と、前記入力画像及び前記テンプレート画像の他方との間における対応する画素値の差を最小化するように、前記幾何変換行列を更新することを繰り返すことにより、最適な幾何変換行列を求める
テンプレート姿勢推定方法。
散布度推定部が、前記インライヤとなる対応点群に基づいて、対応点の散布度を推定し、
平面追跡収束判定閾値算出部が、前記推定された前記散布度に基づいて、前記平面追跡部での前記幾何変換行列の繰り返し更新を行う際の収束判定に用いる閾値を算出することを更に含み、
前記平面追跡部が求めることでは、前記算出された閾値を用いて収束したと判定されるまで、前記幾何変換行列を更新することを繰り返す請求項５記載のテンプレート姿勢推定方法。
前記散布度推定部が推定することでは、
前記インライヤとなる対応点群に基づいて得られる座標値の最小値及び最大値、
前記インライヤとなる対応点群に基づいて得られる面積、
前記インライヤとなる対応点群に基づいて得られる座標値の標準偏差、又は
前記インライヤとなる対応点群に基づいて得られる座標値の四分位範囲から、前記散布度を推定する請求項６記載のテンプレート姿勢推定方法。
コンピュータを、請求項１〜請求項４のいずれか１項に記載のテンプレート姿勢推定装置の各部として機能させるためのプログラム。