JP2011022066A - ３次元物体位置姿勢計測方法 - Google Patents

Abstract

【課題】入力画像から物体の３次元空間における位置姿勢を計測する。
【解決手段】ある観測方向から撮像した物体のステレオ画像を入力し、ステレオ画像から物体のエッジを抽出し、抽出したエッジをセグメントに分割し、前記セグメントに対して局所的幾何特徴のデータ頂点・データ円弧の特徴データを付加する。次に、データ頂点・データ円弧の特徴データと、予め作成して格納してある物体を離散的に設定した様々な観測方向から観測して生成した特徴量モデルの局所的幾何特徴であるモデル頂点・モデル円弧のデータとを照合し、該物体が存在するセグメント候補を検出する。セグメント候補を物体の詳細な表面形状を持つ三角パッチからなる詳細モデルと照合することにより微調整を行い、物体モデルの３次元位置姿勢を計測する。
【選択図】図５

Description

本発明は、入力画像と物体モデルとを照合することにより物体の３次元位置姿勢を計測する方法において高精度に３次元位置姿勢を計測できる方法に関するものである。

システムが持つ物体モデルに対応する物体をシーン（撮影された入力画像）の中から検出し、その３次元の位置姿勢を計測することはコンピュータビジョンの重要な課題の一つである。入力画像と物体モデルの照合により物体の３次元位置姿勢を計測する場合においては、まず、物体モデルを作成する。このため、離散的に設定した様々な観測方向から物体を観測し、モデル化する。モデル化により作成した物体モデルを利用して、入力画像と物体モデルの照合により物体の３次元位置姿勢を計測する。この種の入力画像と物体モデルの照合による物体の３次元物体位置姿勢計測方法に関係する技術として、次の特許文献１乃至特許文献３が参照できる。

特許文献１に記載されている「画像処理装置」では、物体を様々な方向から観測したモデル画像と、それよりも観測方向の間隔を細かくしたモデル画像の２段階でのモデル画像を用意し、入力画像との２段階での照合を行い、物体の姿勢を計測する。

また、特許文献２に記載されている「３次元物体位置姿勢決定方法」では、様々な方向から観測した輪郭線から局所的幾何特徴量を算出して、ひとつのモデルとして保持し、入力ステレオ画像から抽出したエッジに付加された局所的幾何特徴と照合して３次元の位置姿勢の候補を求め、見かけの輪郭線に対応する物体モデルのサンプル点を抽出し、各候補を検証する。

特許文献３に記載されている「３次元物体モデル生成方法」は、複数の異なる観測方向から観測されたステレオ画像から、ステレオビジョンによって復元された３次元情報を位置合わせして統合し、物体の３次元幾何モデルを自動生成する方法である。

特許第３８３４２９７号明細書 特許第２９２０５１３号明細書 特許第２９６１２６４号明細書

３次元物体位置姿勢計測方法において、物体の３次元位置の位置姿勢の計測の精度を向上するためには、計測対象となる物体のモデルを作成する際の観測方向の数を増やすことが有効であるが、精度の向上とともに計算量が増えるという問題点がある。また、データ処理する特徴量が増えることになるので、本来の位置姿勢とは全く異なった位置姿勢として計測される恐れがある。

特許文献１の方法では、入力画像とモデル画像との照合を行うので、観測方向の間隔を細かくしたモデル画像よりも高精度の姿勢計測を行うことが困難である。また、位置の計測については明記されていない。

特許文献２の方法では、物体のモデルのサンプル点を算出する際、自己遮蔽（物体自身により観測ができなくなる部分）への対処がなされていないため、本来は観測されない部分のモデル点まで照合に用いることとなり、本来とは全く異なった位置姿勢として計測される恐れがある。

本発明は、このような問題点を解決するためになされたものであり、本発明の目的は、入力画像と物体モデルとを照合することにより物体の３次元位置姿勢を計測する方法において高精度に３次元位置姿勢を計測できる方法を提供することにある。

上記のような目的を達成するため、本発明による３次元物体位置姿勢計測方法は、基本的には、物体モデルを用いてシーン（入力画像）中に存在する物体の３次元位置姿勢を計測する方法を用いる。物体モデルはモデル点とモデル幾何特徴、三角パッチデータからなる。モデル点とモデル幾何特徴は、離散的に設定した観測方向ごとに三角パッチデータを投影して得られる遮蔽輪郭線に対する輪郭生成線から生成し、観測方向ごとに保持する。モデル幾何特徴とシーンの幾何特徴とを照合することにより、モデルのおおまかな３次元位置姿勢の候補を算出する。この際、モデル幾何特徴を生成した際の観測方向を用いることによって、組み合わせ数を制限する。モデル点はセグメントベーストステレオによって復元した３次元輪郭線との対応付けを行い、候補の検証と位置姿勢の高精度化に用いる。さらに、三角パッチデータと３次元輪郭線とを対応付けることにより、得られた候補の位置姿勢の高精度化をはかる。

具体的に、本発明による３次元物体位置姿勢計測方法は、あらかじめ用意した物体モデルと入力画像とを照合し物体モデルの物体の３次元の位置姿勢を計測する３次元物体位置姿勢計測方法であって、ある観測方向から撮像した物体のステレオ画像を入力する入力ステップと、ステレオ画像から物体のエッジを抽出する抽出ステップと、抽出したエッジをセグメントに分割する分割ステップと、前記セグメントに対して局所的幾何特徴のデータ頂点・データ円弧の特徴データを付加する特徴付加ステップと、データ頂点・データ円弧の特徴データと、予め作成して格納してある物体を離散的に設定した様々な観測方向から観測して生成した特徴量モデルの局所的幾何特徴であるモデル頂点・モデル円弧のデータとを照合する照合ステップと、該物体が存在するセグメント候補を検出する候補検出ステップと、このセグメント候補を物体の詳細な表面形状を持つ三角パッチからなる詳細モデルと照合することにより微調整を行い、物体モデルの物体の３次元位置姿勢を計測する計測ステップとを有することを特徴とする３次元物体位置姿勢計測方法である。

この場合に、本発明の３次元物体位置姿勢計測方法において、前記照合ステップは、ステレオ画像から得られたセグメントに付加された局所的幾何特徴と物体モデルの特徴量モデルの局所的幾何特徴を照合する際、物体モデル作成時の観測方向を利用して、本来の位置姿勢と大きく異なる候補を削減し、前記候補検出ステップは、モデル点とセグメントとの対応付けにより、物体モデルが存在するセグメント候補を検出し、前記計測ステップは、そのセグメント候補と物体モデルの詳細モデルの表面形状を照合し、入力されたステレオ画像から物体の位置姿勢を計測する。

また、本発明の３次元位置姿勢計測方法において、物体モデルは、離散的に設定した観測方向毎に、モデルを観測した方向と、輪郭線から算出される局所的幾何特徴量と、自己遮蔽への対処を行った見かけの輪郭線に対応するモデル点を持つ特徴量モデルと、物体の詳細な表面形状を示す三角パッチからなる詳細モデルからなる。

本発明の３次元物体位置姿勢計測方法によれば、特徴量モデルとの照合を行う場合に詳細モデルでの微調整の照合により、高精度に物体モデルの３次元位置姿勢を計測することが可能となる。

本発明による３次元物体位置姿勢計測方法を一態様で実施するコンピュータシステムのシステム構成を示すブロック図である。 本発明における物体モデル生成の処理の流れを示すフローチャートである。 特徴量モデルを生成するための観測方向を説明する図である。 局所的幾何特徴とモデル点の生成を説明する図である。 本発明の３次元物体の位置姿勢計測の処理を示すフローチャートである。 詳細モデルの対応三角パッチの探索を説明する図である。 データ点と三角パッチ上の対応点を説明する図である。 位置姿勢計測結果を示す図である。 様々な方向からの位置姿勢計測結果を示す第１の図である。 様々な方向からの位置姿勢計測結果を示す第２の図である。 様々な方向からの位置姿勢計測結果を示す第３の図である。

図１は、本発明による３次元物体位置姿勢計測方法を一態様で実施するコンピュータシステムのシステム構成を示すブロック図である。同図中１はシステム全体を制御するコンピュータであり、データバス２を通じて、システム要素の各部と接続されている。

３はテレビカメラであり、テレビカメラ３で撮影された入力画像のアナログ出力はアナログデジタル変換器（Ａ／Ｄ変換器）４によりデジタル信号に変換されてデータバス２に送出される。ここでは、ステレオ画像を得るためのカメラ３は、複数個が設けられているが、時間的に撮像角度を変化させることによりステレオ画像のための複数の入力画像を取得する場合には、単一のカメラであっても良い。

５はレンジファインダであり、その出力であるレンジデータが三角パッチからなる詳細モデルに変換され、データパス２に送出される。レンジデータの獲得および三角パッチへの変換について、特許文献２における方法と同様であり、詳細については省略する。

６は画像メモリであり、画像メモリ６にはテレビカメラ３で撮像した物体の画像が格納される。７は物体の画像などを表示するモニタ装置である。８は画像データ、特徴量モデルおよび詳細モデルを保存するためのデータを格納するハードディスク装置である。９はキーボードターミナルである。

図２は、本発明における物体モデル生成の処理の流れを示すフローチャートである。図１のコンピュータシステムにより、前処理として、本発明の３次元物体位置姿勢計測手法の処理のために用いる物体モデルを生成するための処理が実行される。図２の処理の流れを示すフローチャートを参照して、物体モデルの生成の処理を説明する。なお、（Ｓｍ１）〜（Ｓｍ９）は各ステップを示す。

まず、三角パッチからなる物体の詳細モデルを入力する（Ｓｍ１）。詳細モデルの重心を中心とする単位球上に離散的に観測方向を設定し（Ｓｍ２）、各観測方向に従い、詳細モデルを画像面に投影し（Ｓｍ３）、輪郭線を抽出して輪郭線に３次元情報を付加する（Ｓｍ４）、この輪郭線をセグメントへ分割する（Ｓｍ５）。それぞれの輪郭線のセグメントから局所的幾何特徴を生成し（Ｓｍ６）、それぞれのセグメントにモデル点を生成する（Ｓｍ７）。こうして生成された局所的幾何特徴と、モデル点と、観測方向の情報を統合した情報とを、特徴量モデルとしてハードディスク装置８に登録する（Ｓｍ８）。次に、離散的に設定したすべての観測方向の特徴量モデルを生成したか否かを判定し（Ｓｍ９）、このステップＳｍ９の判定において、すべての観測方向の特徴量モデルを生成した判定が否定されると、ステップＳｍ２に戻って、ステップＳｍ２からの処理を繰り返す。また、ステップＳｍ９の判定において、すべての観測方向の特徴量モデルを生成したことが肯定されると処理を終了する。

次に図３および図４を参照して、物体モデル生成の処理を詳細に説明する。図３は特徴量モデルを生成するための観測方向を説明する図であり、図４は局所的幾何特徴とモデル点の生成を説明する図である。詳細モデルと観測方向を示す多面体が、図３に示されている。詳細モデルは三角パッチからなる。各三角パッチは３つの頂点と外向きの法線からなる。三角パッチの大きさは対象の物体の大きさと位置姿勢計測システムの設定に依存する（おもちゃのアヒル程度の物体であれば１辺０．５ｍｍ程度である）。

多面体の面の大きさを細かくすれば、モデルを作成する観測方向が増えるので位置姿勢計測精度が向上するが、計算量が増える。また、特徴量が増えるので、誤った照合が発生し、本来とはまったく異なった位置姿勢と計測される可能性も発生する。

図４に、異なる複数の観測方向について局所的幾何特徴とモデル点を生成する手順が示されている。このように、詳細モデルを観測方向に従って画像面に投影し、輪郭線を取得する。このようにして、投影した画像の輪郭線をモデル化することにより、自己遮蔽への対応を行う。

次に、輪郭点位置の奥行き情報を取得して、各輪郭点に対応する３次元座標を求める。３次元情報を持つ輪郭線をセグメントに分割し、局所的幾何特徴を算出する。局所的幾何特徴はモデル頂点・モデル円弧からなる。モデル頂点・モデル円弧は特徴点の３次元座標と２つの方向ベクトルからなる。モデル円弧はさらに半径を特徴として持つ。このセグメントへの分割、局所的幾何特徴の生成については、前述した特許文献２に詳細に記載されており、公知であるので、ここでの詳細な説明は省略する。

セグメントを等間隔に分割することにより、モデル点を生成する。分割の間隔は、対象物体の大きさと位置姿勢計測システムの設定に依存する（おもちゃのアヒル程度の物体であれば３ｍｍ程度である）。モデル点から詳細モデルのすべての三角パッチの重心への距離を計算し、最も距離が近い三角パッチのインデックスを記録しておく。

生成された局所的幾何特徴とモデル点と観測方向を統合し、特徴量モデルとしてハードディスク７に保存する。なお、図４では図３における観測方向（ａ）、観測方向（ｂ）、観測方向（ｃ）の各方向での特徴量モデルの生成を示しているが、実際のシステムでは観測方向を示す多面体における全ての面から観測した特徴量モデルを生成する。

図５は、図１のシステムにおいて、本発明の３次元物体位置姿勢計測方法の処理の流れを示すフローチャートであり、入力画像を物体モデルと照合して物体の位置姿勢を決定する処理の流れを示している。なお、（Ｓ１）〜（Ｓ８）は各ステップを示す。

まず、ある観測方向から撮像した物体のステレオ画像を入力し（Ｓ１）、ステレオ画像から物体のエッジを抽出し（Ｓ２）、セグメントに分割し（Ｓ３）、このセグメントに局所的幾何特徴であるデータ頂点・データ円弧を付加する（Ｓ４）。次に、この局所的幾何特徴と特徴量モデルの局所的幾何特徴を照合して（Ｓ５）、該物体が存在するセグメント候補を検出する（Ｓ６）。この候補を、詳細モデルと照合することにより微調整を行って（Ｓ７）、上記物体モデルの３次元位置姿勢を計測する（Ｓ８）。

次に、上述した３次元物体位置姿勢計測の処理の詳細について説明する。なおステップ（Ｓ１）からステップ（Ｓ４）までの処理において、ステレオ画像入力から局所的幾何特徴の付加までについては、前述した特許文献２に詳細に説明されているので、ここでの詳細な説明は省略する。データ頂点・データ円弧は、特徴点の３次元座標と２つの方向ベクトルからなる。モデル円弧はさらに半径を特徴として持つ。３次元復元された点をデータ点と呼ぶことにする。

物体の３次元位置姿勢は、モデルを認識データ中の対応する場所に移動させる４×４行列Ｔで表現できる。
ここで、Ｒは３×３回転行列、ｔは３×１平行移動ベクトルである。

局所的幾何特徴であるデータ頂点・データ円弧と特徴量モデルのモデル頂点・データ円弧を照合することにより、３次元位置姿勢に関する仮位置データ（仮説）を構築する。この照合は、各観測方向の特徴量モデルごとに独立して処理を行う。なお、この局所的幾何特徴の照合については、前述した特許文献２や特許文献３に詳細に説明されているので、ここでの詳細な説明は省略する。

特許文献２または特許文献３に説明されている幾何照合と同様にして、幾何特徴の照合を行い、この幾何特徴の照合により求まった回転行列Ｒ，平行移動ベクトルｔを用いて仮位置データ（仮説）の妥当性を検証し、まず、明らかに本来の位置姿勢とは異なる仮位置データ（仮説）を除外する。

詳細モデルの重心Ｐ_ＭＧを回転行列Ｒ，平行移動ベクトルｔに従って移動させ、照合に用いた局所的幾何特徴が属する特徴量モデルの観測方向Ｗ_ｄを回転させる。

Ｐ’_ＭＧ＝ＲＰ_ＭＧ＋ｔ
Ｗ’_ｄ＝ＲＷ_ｄ

ここで、この位置姿勢の仮位置データ（仮説）が本来の位置姿勢に近いならば、観測方向ＯからＰ’_ＭＧへのベクトルと、Ｗ’_ｄはほぼ等しいと考えられる。そこで、これらのなす角度を、次式
から計算し、値が十分に小さい仮位置データ（仮説）のみを採用する。この処理により、仮位置データ（仮説）の数を減らすことができるので、処理時間が短縮される。

次に、残った仮位置データ（仮説）の検証と高精度化を行う。モデル点の近傍にデータ点が存在するとき、モデル点とデータ点の組をそれぞれＰ_Ｍｉ、Ｐ_Ｄｉ（ｉ＝１、…ｎ）とする。ｎはモデル点とデータ点の組の数である。Ｐ_ＭｉをＰ_Ｄｉに一致するように移動させるＴ’を、次式
を最小にするように、最小二乗法により算出する。精度が十分でない場合は、Ｔ＝Ｔ’Ｔとして処理を繰り返す。十分な回数の繰り返し処理を行っても精度が収束しない場合は、仮位置データ（仮説）が誤りであったとみなして、このデータを除外する。

ここまでの処理は、特徴量モデルごとに並列処理が可能であるので、例えば、パイプライン処理により処理を高速に実行できる。

次に、このようにして処理の結果、得られた仮位置データ（仮説）の高精度化を行う。モデル点は離散的に設定した観測方向から生成しているため、データ点とモデル点の照合には誤差が含まれている。この誤差を低減するため、モデル点と対応が取れたデータ点と詳細モデルとの照合を行う。

まず、Ｔ’’＝Ｔ^−１として、Ｔの逆行列を求め、データからモデルへの変換行列を求める。Ｔ’’に従い、モデル点と対応付けられたデータ点Ｐ_Ｄｉを移動する。

次に、データ点Ｐ_Ｄｉと最も距離が近い重心を持つ詳細モデルの三角パッチのインデックスを、詳細モデルの三角パッチをトレースすることにより求める。この処理では、図６に示すように、データ点と対応付けられている三角パッチの頂点Ｖ_１，Ｖ_２，Ｖ_３との距離を求め、距離が最大となる頂点と向かい合う三角パッチを新しい対応三角パッチ候補とする。データ点と新しい対応三角パッチの重心との距離と、データ点と現在の三角パッチの重心の距離が小さい場合は、新しい対応三角パッチを、現在の対応三角パッチとする。距離が小さくなる限り、対応三角パッチの更新を繰り返す。なお、前述のように、初期の対応三角パッチはモデル点作成時に登録してある。

次に、データ点Ｐ_Ｄｉから対応三角パッチへの対応点を求める。図７は、データ点と三角パッチ上の対応点を説明する図である。まず、図７（ａ）に示すように、データ点Ｐ_Ｄｉから三角パッチの法線を用いて、三角パッチへ降ろした垂線の足が、三角パッチと交差する場合、その足を対応モデル点Ｐ_Ｍｉ’とする。この点が存在しない場合、図７（ｂ）に示すように、データ点Ｐ_Ｄｉから三角パッチの辺Ｅ_ｊ（ｊ＝１，２，３）へ降ろした垂線の足がＥ_ｊと交わる場合、その交点をモデル点Ｐ_Ｍｉ’とする。この点も存在しない場合には、図７（ｃ）に示すように、データ点Ｐ_Ｄｉから三角パッチの頂点Ｖ_ｋ（ｋ＝１、２、３）への距離を求め、距離が最小となる頂点を対応モデル点Ｐ_Ｍｉ’とする。

対応点間の距離が十分に近いデータ点とモデル点の組を用いて、データ点Ｐ_Ｄｉをモデル点Ｐ_Ｍｉ’へ移動させる変換行列Ｔ’’’を、次式
を最小にするように、最小二乗法により算出する。ここで、ｍは対応点間の距離が十分に近いデータ点とモデル点の組の数であり、ｎ以下である。精度が十分でない場合はＴ’’＝Ｔ’’’Ｔ’’として処理を繰り返す。

最後に、Ｔ＝Ｔ’’^−１としてＴ’’の逆行列を計算し、モデルを認識データ中の対応する場所に移動させる行列へ戻す。

詳細モデルを用いて照合を行った全ての仮位置データ（仮説）に対して上記の処理を行い、最大のｍが得られた候補を位置姿勢計測結果とする。前述したように、この照合の処理は、仮位置データ（仮説）ごとに並列処理が可能であるので、高速に処理ができる。

図８に示すようなアヒル形状の物体を用いた実験を行った。実験では、物体モデルの構築には１辺の長さの平均が０．５ｍｍであり、１２７１６２の三角パッチからなる詳細モデルを生成して用いた。また、一例として８０方向から観測した特徴量モデルを用いた。モデル点の間隔は３ｍｍとした。

位置姿勢計測の結果の例を図８〜図１１に示す。図８は、位置姿勢計測結果を示す図であり、図９〜図１１は、様々な方向からの位置姿勢計測結果を示す図である。図８には、行列Ｔによって詳細モデルを移動させ、入力ステレオ画像に投影し、画像上で得られた輪郭線を連結して表示している。また、図９〜図１１には、それぞれに異なる３つの観測方向からの位置姿勢の計測結果を示している。このように、本発明による３次元物体位置姿勢計測方法によれば、高速に高精度に３次元物体の位置姿勢が計測できる。

入力画像から観測対象の物体の３次元位置姿勢を計測できるので、予め観測対象の物体モデルを生成して登録しておくことにより、例えば、産業用ロボットにおいてバラずみされた物体をロボットによりピッキングすることに利用できる。

１ コンピュータ
２ データバス
３ カメラ
４ Ａ／Ｄ変換器
５ レンジファインダ
６ 画像メモリ
７ モニタ装置
８ ハードディスク装置
９ キーボードターミナル

Claims (6)

1. あらかじめ用意した物体モデルと入力画像とを照合し物体モデルの物体の３次元の位置姿勢を計測する３次元物体位置姿勢計測方法であって、
   ある観測方向から撮像した物体のステレオ画像を入力する入力ステップと、
   ステレオ画像から物体のエッジを抽出する抽出ステップと、
   抽出したエッジをセグメントに分割する分割ステップと、
   前記セグメントに対して局所的幾何特徴のデータ頂点・データ円弧の特徴データを付加する特徴付加ステップと、
   データ頂点・データ円弧の特徴データと、予め作成して格納してある物体を離散的に設定した様々な観測方向から観測して生成した特徴量モデルの局所的幾何特徴であるモデル頂点・モデル円弧のデータとを照合する照合ステップと、
   該物体が存在するセグメント候補を検出する候補検出ステップと、
   このセグメント候補を物体の詳細な表面形状を持つ三角パッチからなる詳細モデルと照合することにより微調整を行い、物体モデルの物体の３次元位置姿勢を計測する計測ステップと
   を有することを特徴とする３次元物体位置姿勢計測方法。
2. 請求項１に記載の３次元物体位置姿勢計測方法において、
   前記照合ステップは、
   ステレオ画像から得られたセグメントに付加された局所的幾何特徴と物体モデルの特徴量モデルの局所的幾何特徴を照合する際、物体モデル作成時の観測方向を利用して、本来の位置姿勢と大きく異なる候補を削減し、
   前記候補検出ステップは、
   モデル点とセグメントとの対応付けにより、物体モデルが存在するセグメント候補を検出し、
   前記計測ステップは、
   そのセグメント候補と物体モデルの詳細モデルの表面形状を照合し、入力されたステレオ画像から物体の位置姿勢を計測する
   ことを特徴とする３次元位置姿勢計測方法。
3. 請求項２に記載の３次元位置姿勢計測方法において、
   物体モデルは、離散的に設定した観測方向毎に、モデルを観測した方向と、輪郭線から算出される局所的幾何特徴量と、自己遮蔽への対処を行った見かけの輪郭線に対応するモデル点を持つ特徴量モデルと、物体の詳細な表面形状を示す三角パッチからなる詳細モデルからなる
   ことを特徴とする３次元位置姿勢計測方法。
4. あらかじめ用意した物体モデルと入力画像とを照合し物体モデルの物体の３次元の位置姿勢を計測する３次元物体位置姿勢計測処理をコンピュータにより実行するプログラムであって、
   ある観測方向から撮像した物体のステレオ画像を入力する入力ステップと、
   ステレオ画像から物体のエッジを抽出する抽出ステップと、
   抽出したエッジをセグメントに分割する分割ステップと、
   前記セグメントに対して局所的幾何特徴のデータ頂点・データ円弧の特徴データを付加する特徴付加ステップと、
   データ頂点・データ円弧の特徴データと、予め作成して格納してある物体を離散的に設定した様々な観測方向から観測して生成した特徴量モデルの局所的幾何特徴であるモデル頂点・モデル円弧のデータとを照合する照合ステップと、
   該物体が存在するセグメント候補を検出する候補検出ステップと、
   このセグメント候補を物体の詳細な表面形状を持つ三角パッチからなる詳細モデルと照合することにより微調整を行い、物体モデルの物体の３次元位置姿勢を計測する計測ステップと
   の処理をコンピュータにより実行するプログラム。
5. 請求項４に記載の３次元物体位置姿勢計測処理をコンピュータにより実行するプログラムにおいて、
   前記照合ステップは、
   ステレオ画像から得られたセグメントに付加された局所的幾何特徴と物体モデルの特徴量モデルの局所的幾何特徴を照合する際、物体モデル作成時の観測方向を利用して、本来の位置姿勢と大きく異なる候補を削減し、
   前記候補検出ステップは、
   モデル点とセグメントとの対応付けにより、物体モデルが存在するセグメント候補を検出し、
   前記計測ステップは、
   そのセグメント候補と物体モデルの詳細モデルの表面形状を照合し、入力されたステレオ画像から物体の位置姿勢を計測する
   処理をコンピュータにより実行するプログラム。
6. 請求項５に記載の３次元物体位置姿勢計測処理をコンピュータにより実行するプログラムにおいて、
   物体モデルは、離散的に設定した観測方向毎に、モデルを観測した方向と、輪郭線から算出される局所的幾何特徴量と、自己遮蔽への対処を行った見かけの輪郭線に対応するモデル点を持つ特徴量モデルと、物体の詳細な表面形状を示す三角パッチからなる詳細モデルからなる
   ことを特徴とするプログラム。