JP2002063567A

JP2002063567A - 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法

Info

Publication number: JP2002063567A
Application number: JP2000251772A
Authority: JP
Inventors: Rui Ishiyama; 塁石山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-08-23
Filing date: 2000-08-23
Publication date: 2002-02-28

Abstract

(57)【要約】【課題】エッジが明確である多面体等の単純な形状の
物体に限らず、凹形状を持つ等の複雑な形状である物体
やエッジが明確でない物体に対しても適用可能な物体位
置姿勢推定装置を提供する。【解決手段】記憶手段１には対象物体の３次元形状と
表面の色情報と物体の特徴点の位置とが記憶されてい
る。撮影手段２は入力画像を撮影し、特徴点抽出手段３
は入力画像から物体の特徴点の位置を抽出する。位置姿
勢推定手段４は抽出された特徴点位置と登録されている
特徴点位置の３次元座標とを用いて物体の位置姿勢を計
算する。比較画像生成手段５は推定された位置姿勢にお
ける物体の画像を生成し、比較画像上での特徴点の位置
を登録されている特徴点の位置から計算する。特徴点位
置修正手段６は比較画像と入力画像とを比較し、入力画
像から抽出された特徴点位置の修正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は物体位置姿勢推定装
置及びその方法並びにそれを用いた特徴点位置抽出方法
及び画像照合方法に関し、特に画像による物体の認識技
術において認識対象となる物体の３次元形状や表面反射
率、及び色情報等を予め登録しておくことによって画像
上での物体の位置や姿勢を高精度に推定する方法に関す
る。

【０００２】

【従来の技術】画像による物体の位置姿勢の推定技術と
は、図２に示すように、カメラ８等の撮影装置を用いて
３次元物体（対象物体７）を撮影した画像を入力とし、
その入力画像に写っている物体の位置や姿勢のパラメタ
を推定する技術である。

【０００３】画像から３次元物体の位置姿勢を認識する
技術としては、予め登録時に物体の３次元形状モデルや
特徴点の３次元座標を記憶しておき、認識時にはカメラ
８で対象物体７の画像を撮影し、その入力画像から特徴
点の画像上の位置を抽出し、登録されている３次元座標
と画像上の位置との対応関係を用いて物体の位置姿勢を
推定するものが多い。

【０００４】例えば、特開平６−２５８０２８号公報
（文献１）に開示された「資格に基づく三次元位置及び
姿勢の認識物体の姿勢推定方法及びその装置」では、図
７に示すような構成をとっている。

【０００５】図７において、登録時には記憶手段１１に
物体の様々な姿勢における見え方と特徴点の３次元座標
を記憶しておき、認識時にはカメラ１２で入力画像を撮
影し、特徴点位置抽出手段１３で入力画像から対象物体
の特徴点の画像上での位置を抽出し、位置姿勢推定手段
１４で予め登録されている特徴点の３次元座標を用いて
カメラ１２の透視変換行列を計算し、物体の位置姿勢を
求めて出力する。

【０００６】また、画像から物体の照合を行う技術にお
いても、物体の位置姿勢が変化した時の画像の変化を補
正するために、物体の位置姿勢を精度よく推定すること
が必要である。

【０００７】例えば、特開平６−１６８３１７号公報
（文献２）に開示された「個人識別装置」では、図８に
示すような構成をとっている。図８において、登録時に
は記憶手段２３において、物体の画像中で輝度変動の大
きな画素となる位置を特徴点位置として記憶しておく。
同時に、標準的な物体の３次元形状モデルを予め用意し
て記憶しておく。

【０００８】照合時にはカメラ２２によって入力画像と
して２次元画像を撮影し、特徴点位置抽出手段２３にお
いては輝度変動の大きな画素位置を検出して特徴点位置
を抽出し、位置姿勢推定手段２４においては標準的な物
体の３次元形状モデルを利用し、入力画像から抽出した
特徴点位置から物体の姿勢を求める。

【０００９】位置姿勢正規化手段２５においては特徴点
位置の補正を行い、照合手段２６においては登録されて
いる特徴点位置と補正された入力画像の特徴点位置とを
比較することで照合を行っている。

【００１０】

【発明が解決しようとする課題】上述した従来の画像に
よる物体の位置姿勢の推定技術では、文献１に記載され
た技術の場合、入力画像における物体の特徴点の位置を
正確に抽出することができれば、物体の位置姿勢は正確
に計算することができる。

【００１１】しかしながら、様々な位置姿勢にある物体
の画像から特徴点の位置を正確に抽出することは非常に
困難であり、この特徴点抽出における誤差が位置姿勢の
推定結果に誤差を生じる原因となってしまうという問題
がある。

【００１２】また、文献２に記載された技術の場合に
は、画像による物体の照合を行う際に、物体の位置姿勢
の変化による画像の変動を補正するために画像中に写っ
ている物体の位置姿勢を正確に推定することが必要であ
る。

【００１３】しかしながら、文献２に記載された技術の
場合でも、入力画像からの特徴点位置の抽出に誤差が生
じると位置姿勢の補正が正確に行えないために、照合性
能が悪化するという問題がある。

【００１４】すなわち、上記の技術のいずれもが入力画
像から特徴点の位置を抽出する際の誤差が認識結果に大
きく影響する。この特徴点位置の抽出を自動的に行うた
めに用いる技術としては、対象物体が多面体等の単純な
形状である場合、エッジや輪郭線の交点等を検出するこ
とによって特徴点抽出を行うのが一般的である。

【００１５】文献２に記載された技術でも輝度変動の大
きな画素位置を検出して特徴点位置を抽出している。し
かしながら、撮影された画像のぼけの影響によってエッ
ジの検出位置がずれることや、エッジが明確でないよう
な形状の物体を対象とする場合にはこれを正確に行うこ
とが困難である。

【００１６】また、文献２に記載された技術のように人
の顔等の複雑な形状の物体である場合には、物体の姿勢
によって特徴点の見え方が異なるため、特徴点の画像中
の位置を正確にかつ自動的に抽出することが非常に困難
であり、例え人間が手動で注意深く特徴点の抽出作業を
行った場合でも、作業の担当者によって指定する位置が
微妙に異なってしまうという問題がある。

【００１７】例えば、人の顔の目じりの部分のように、
凹の形状である部分を特徴点とした場合、図９（ａ）〜
（ｃ）に示すように、物体の姿勢によって特徴点の見え
方が異なってくる。図９（ａ）は人の目を正面から見た
画像を示す図、図９（ｂ）は目を上から見た場合の断面
図、図９（ｃ）は目を図９（ｂ）の方向Ｃから見た画像
を示す図である。

【００１８】正面から見た場合には、図９（ａ）に示す
ように、正しい目じり特徴点位置である点Ａが見えてい
るため、正確に点Ａを抽出することが可能である。しか
しながら、図９（ｂ）の方向Ｃから見た画像の場合、画
像が図９（ｃ）に示すようになり、点Ｂが目尻点である
ように見えてしまう。

【００１９】したがって、点Ｂが特徴点位置として抽出
されるが、登録されている目尻特徴点Ａとは位置が異な
る点であるため、物体の姿勢の計算に誤差を与える結果
となる。原理的に、図９（ｃ）において正しい目尻点Ａ
は見えないので、図９（ｃ）の画像上で正しい目尻点を
抽出することは極めて困難である。

【００２０】そこで、本発明の目的は上記の問題点を解
消し、エッジが明確である多面体等の単純な形状の物体
に限らず、凹形状を持つ等の複雑な形状である物体や、
エッジが明確でない物体に対しても適用することができ
る物体位置姿勢推定装置及びその方法並びにその制御プ
ログラムを記録した記録媒体を提供することにある。

【００２１】

【課題を解決するための手段】本発明による物体位置姿
勢推定装置は、予め登録される対象物体の３次元形状モ
デルと前記対象物体の特徴点の位置情報と前記対象物体
の表面の色情報とを記憶する記憶手段と、前記対象物体
の入力画像を撮影する撮影手段と、前記撮影手段で撮影
された入力画像から前記対象物体の特徴点の位置を抽出
する抽出手段と、前記記憶手段に登録されている特徴点
の３次元座標と前記抽出手段で抽出された特徴点位置と
を用いて物体の位置姿勢を推定する推定手段と、前記対
象物体が前記推定手段で推定された位置姿勢にある時の
画像を前記記憶手段に登録されている３次元形状と表面
の色情報とを用いて比較画像として生成する生成手段
と、前記生成手段で生成された比較画像を参照して前記
抽出手段で抽出された入力画像上の特徴点の位置を修正
する修正手段とを備え、前記修正手段で修正された特徴
点位置と前記記憶手段に登録されている特徴点の３次元
座標とを用いて物体の位置姿勢を推定し、その推定され
た位置姿勢を結果として出力するようにしている。

【００２２】本発明による他の物体位置姿勢推定装置
は、予め登録される対象物体の３次元形状モデルと前記
対象物体の特徴点の位置情報と前記対象物体の表面の色
情報とを記憶する記憶手段と、前記対象物体の入力画像
を撮影する撮影手段と、前記撮影手段で撮影された入力
画像から前記対象物体の特徴点の位置を抽出する抽出手
段と、前記記憶手段に登録されている特徴点の３次元座
標と前記抽出手段で抽出された特徴点位置とを用いて物
体の位置姿勢を推定する推定手段と、前記対象物体が前
記推定手段で推定された位置姿勢にある時の画像を前記
記憶手段に登録されている３次元形状と表面の色情報と
を用いて比較画像として生成しかつその比較画像上での
特徴点位置を計算する生成手段と、前記生成手段で生成
された比較画像及びその比較画像上での特徴点位置を参
照して前記抽出手段で抽出された入力画像上の特徴点の
位置を修正する修正手段とを備え、前記修正手段で修正
された特徴点位置と前記記憶手段に登録されている特徴
点の３次元座標とを用いて物体の位置姿勢を推定し、そ
の推定された位置姿勢を結果として出力するようにして
いる。

【００２３】本発明による別の物体位置姿勢推定装置
は、予め登録される対象物体の３次元形状モデルと前記
対象物体の特徴点の位置情報と前記対象物体の表面の色
情報とを記憶する記憶手段と、前記対象物体の入力画像
を撮影する撮影手段と、前記撮影手段で撮影された入力
画像から前記対象物体の特徴点の位置を抽出する抽出手
段と、前記記憶手段に登録されている特徴点の３次元座
標と前記抽出手段で抽出された特徴点位置とを用いて物
体の位置姿勢を推定する推定手段と、前記対象物体が前
記推定手段で推定された位置姿勢にある時の画像を前記
記憶手段に登録されている３次元形状と表面の色情報と
を用いて比較画像として生成する生成手段と、前記生成
手段で生成された比較画像と前記入力画像とを比較する
ことで前記抽出手段で抽出された特徴点の位置を修正す
る修正手段とを備え、前記位置姿勢の推定から前記特徴
点位置の修正までの処理を繰り返し、最終的に推定され
た位置姿勢を結果として出力するようにしている。

【００２４】本発明による物体位置姿勢推定方法は、予
め登録される対象物体の３次元形状モデルと前記対象物
体の特徴点の位置情報と前記対象物体の表面の色情報と
を記憶するステップと、前記対象物体の入力画像を撮影
するステップと、その撮影された入力画像から前記対象
物体の特徴点の位置を抽出するステップと、その抽出さ
れた特徴点位置と登録されている特徴点の３次元座標と
を用いて物体の位置姿勢を推定するステップと、前記対
象物体が推定された位置姿勢にある時の画像を登録され
ている３次元形状と表面の色情報とを用いて比較画像と
して生成するステップと、その生成された比較画像を参
照して抽出された入力画像上の特徴点の位置を修正する
ステップとを備え、その修正された特徴点位置と登録さ
れている特徴点の３次元座標とを用いて物体の位置姿勢
を推定し、その推定された位置姿勢を結果として出力す
るようにしている。

【００２５】本発明による他の物体位置姿勢推定方法
は、予め登録される対象物体の３次元形状モデルと前記
対象物体の特徴点の位置情報と前記対象物体の表面の色
情報とを記憶するステップと、前記対象物体の入力画像
を撮影するステップと、その撮影された入力画像から前
記対象物体の特徴点の位置を抽出するステップと、その
抽出された特徴点位置と登録されている特徴点の３次元
座標とを用いて物体の位置姿勢を推定するステップと、
前記対象物体が推定された位置姿勢にある時の画像を登
録されている３次元形状と表面の色情報とを用いて比較
画像として生成しかつその比較画像上での特徴点位置を
計算するステップと、これら生成された比較画像及びそ
の比較画像上での特徴点位置を参照して抽出された入力
画像上の特徴点の位置を修正するステップとを備え、そ
の修正された特徴点位置と登録されている特徴点の３次
元座標とを用いて物体の位置姿勢を推定し、その推定さ
れた位置姿勢を結果として出力するようにしている。

【００２６】本発明による別の物体位置姿勢推定方法
は、予め登録される対象物体の３次元形状モデルと前記
対象物体の特徴点の位置情報と前記対象物体の表面の色
情報とを記憶するステップと、前記対象物体の入力画像
を撮影するステップと、その撮影された入力画像から前
記対象物体の特徴点の位置を抽出するステップと、その
抽出された特徴点位置と登録されている特徴点の３次元
座標とを用いて物体の位置姿勢を推定するステップと、
前記対象物体が推定された位置姿勢にある時の画像を登
録されている３次元形状と表面の色情報とを用いて比較
画像として生成するステップと、その生成された比較画
像と前記入力画像とを比較することで抽出された特徴点
の位置を修正するステップとを備え、前記位置姿勢の推
定から前記特徴点位置の修正までの処理を繰り返し、最
終的に推定された位置姿勢を結果として出力するように
している。

【００２７】本発明による特徴点位置抽出方法は、上記
の本発明による別の物体位置姿勢推定方法において、最
終的な出力として修正された特徴点位置を出力してい
る。

【００２８】本発明による他の特徴点位置抽出方法は、
上記の本発明による特徴点位置抽出方法において、前記
特徴点位置の修正が、前記比較画像の特徴点位置の周辺
画像を比較部分画像として切り出し、前記入力画像の特
徴点位置の周辺において前記比較部分画像と最も似てい
る領域を探索し、その領域の位置を正しい特徴点の位置
として前記入力画像の特徴点位置を修正するようにして
いる。

【００２９】本発明による画像照合方法は、上記の本発
明による特徴点位置抽出方法において、前記最終的な出
力が修正された入力画像における特徴点の位置及び比較
画像上での特徴点位置であり、その特徴点位置の情報を
利用して前記入力画像中に写っている物体が登録されて
いる物体であるか否かの照合処理と登録されているどの
物体であるかの照合処理とのいずれかを行うようにして
いる。

【００３０】すなわち、本発明の第１の物体位置姿勢推
定装置は、予め対象物体の３次元形状モデルと特徴点の
位置情報と表面の色情報とを登録しておき、対象物体の
入力画像を撮影し、該入力画像から対象物体の特徴点の
位置を手動または自動的に抽出し、登録されている特徴
点の３次元座標と抽出された特徴点位置とを用いて物体
の位置姿勢を推定し、物体が推定された位置姿勢にある
時の画像を、登録されている３次元形状モデルと表面の
色情報とを用いて比較画像として生成し、該比較画像を
参照して抽出された入力画像上の特徴点の位置を手動ま
たは自動的に修正し、該修正された特徴点位置と登録さ
れている特徴点の３次元座標とを用いて物体の位置姿勢
を推定し、該推定された位置姿勢を結果として出力する
ことを特徴としている。

【００３１】本発明の第２の物体位置姿勢推定装置は、
予め対象物体の３次元形状モデルと特徴点の位置情報と
表面の色情報とを登録しておき、対象物体の入力画像を
撮影し、該入力画像から対象物体の特徴点の位置を手動
または自動的に抽出し、登録されている特徴点の３次元
座標と抽出された特徴点位置とを用いて物体の位置姿勢
を推定し、物体が推定された位置姿勢にある時の画像
を、登録されている３次元形状モデルと表面の色情報と
を用いて比較画像として生成し、同時に比較画像上での
特徴点位置を計算し、比較画像及び比較画像上での特徴
点位置を参照して抽出された入力画像上の特徴点の位置
を自動または手動により修正し、該修正された特徴点位
置と登録されている特徴点の３次元座標とを用いて物体
の位置姿勢を推定し、該推定された位置姿勢を結果とし
て出力することを特徴としている。

【００３２】本発明の第３の物体位置姿勢推定装置は、
予め対象物体の３次元形状モデルと特徴点の位置情報と
表面の色情報とを登録しておき、対象物体の入力画像を
撮影し、該入力画像から対象物体の特徴点の位置を抽出
し、登録されている特徴点の３次元座標と抽出された特
徴点位置とを用いて物体の位置姿勢を推定し、物体が推
定された位置姿勢にある時の画像を、登録されている３
次元形状モデルと表面の色情報とを用いて比較画像とし
て生成し、該比較画像と入力画像とを比較することで特
徴点の位置を修正し、位置姿勢の推定から特徴点位置の
修正までの処理を繰返し、最終的に推定された位置姿勢
を結果として出力することを特徴としている。

【００３３】本発明の第４の物体位置姿勢推定装置は、
上記の本発明の第３の物体位置姿勢推定装置において、
最終的な出力として修正された特徴点位置を出力するこ
とを特徴としている。

【００３４】本発明の第５の物体位置姿勢推定装置は、
上記の本発明の第３及び第４の物体位置姿勢推定装置の
いずれかにおいて、特徴点位置の修正が、比較画像の特
徴点位置の周辺画像を比較部分画像として切り出し、入
力画像の特徴点位置の周辺において比較部分画像と最も
似ている領域を探索し、該領域の位置を正しい特徴点の
位置として入力画像の特徴点位置を修正するものである
ことを特徴としている。

【００３５】本発明の第６の物体位置姿勢推定装置は、
上記の本発明の第３の物体位置姿勢推定装置において、
特徴点位置の修正が、入力画像において抽出された特徴
点位置の周辺の画像を比較部分画像として切り出し、比
較画像の特徴点位置の周辺において比較部分画像と最も
似ている領域の位置を探索し、該位置に対応する３次元
形状モデル上の点を正しい特徴点としてその点の３次元
座標をもって登録されている特徴点の３次元座標を修正
するものであることを特徴としている。

【００３６】本発明の第７の物体位置姿勢推定装置は、
上記の本発明の第４の物体位置姿勢推定装置において、
最終的な出力が修正された入力画像における特徴点の位
置及び比較画像上での特徴点位置であり、入力画像と比
較画像との特徴点位置の誤差をもって入力画像中に写っ
ている物体が登録されている物体であるか否かの照合処
理を行うことを特徴としている。

【００３７】上記のような構成及び処理動作をとること
によって、エッジが明確である多面体等の単純な形状の
物体に限らず、凹形状を持つ等の複雑な形状である物体
や、エッジが明確でない物体に対しても、様々な位置姿
勢にある物体の画像から正確に特徴点位置を抽出するこ
とが可能となり、物体の位置姿勢を正確に推定すること
が可能となる。また、特徴点位置に基づいた物体照合シ
ステムの性能を向上させることも可能となる。

【００３８】

【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は本発明の一実施例による
物体位置姿勢推定装置の構成を示すブロック図であり、
図２は本発明の一実施例による画像による物体の位置姿
勢推定方法の一例を示す図であり、図３は本発明の一実
施例による比較画像からの部分画像の切り出しを説明す
るための図であり、図４は本発明の一実施例による特徴
点位置の修正を説明するための図である。

【００３９】図１において、本発明の一実施例による物
体位置姿勢推定装置は記憶手段１と、撮影手段２と、特
徴点抽出手段３と、位置姿勢推定手段４と、比較画像生
成手段５と、特徴点位置修正手段６とから構成されてい
る。これらの手段による処理は図２の処理装置９での処
理に相当する。

【００４０】記憶手段１は図２の対象物体７の３次元形
状と表面の色情報と物体の特徴点の位置とを予め記憶し
ている。物体の３次元形状及び色情報は設計図が存在す
る物体であれば図面から入力したり、測定装置を利用す
る等の種々の方法が利用可能である。この測定装置とし
ては、例えば本願出願人から提案されている３次元形状
計測装置を利用して計測することが可能である。特徴点
の位置の入力については、手動で行うこともできるし、
表面の色、表面形状の曲率の変化が大きい部位等を検出
する等の方法によって自動的に行うこともできる。

【００４１】撮影手段２は図２のカメラ８等の撮像装置
を用いて対象物体７の画像を撮影し、入力画像として出
力する。特徴点抽出手段３は入力画像から物体の特徴点
の位置を抽出する。本実施例では手動で利用者が位置を
入力するものとする。この特徴点抽出方法は一例であ
り、この他にも種々の自動的に行う等の手法が利用可能
である。

【００４２】位置姿勢推定手段４は特徴点抽出手段３で
抽出された特徴点位置と、登録されている特徴点位置の
３次元座標を用いて、物体の位置姿勢を計算する。これ
には「ＡｎＥｆｆｉｃｉｅｎｔａｎｄＡｃｃｕｒ
ａｔｅＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＴｅ
ｃｈｎｉｑｕｅｆｏｒ３ＤＭａｃｈｉｎｅＶｉ
ｓｉｏｎ」（ＲｏｇｅｒＹ．Ｔｓａｉ，Ｐｒｏｃ．Ｃ
ＶＰＲ’８６，ｐｐ．３６４−３７４，１９８６）（文
献３）に記載の技術等の様々な技術が利用可能である
が、本実施例では一例として位置姿勢のパラメタとして
物体の平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ）、ｘｙｚ軸の
周りの回転角度（Ｒｘ，Ｒｙ，Ｒｚ）、カメラ８の焦点
距離ｆを、カメラモデルとしてピンホールカメラを用い
て次のような方法をとる。

【００４３】上記のように、焦点距離等の撮像装置のパ
ラメタも含めて位置姿勢と呼ぶ。特徴点の３次元位置Ｐ
_i（ｘ_i，ｙ_i，ｚ_i）と、入力画像における特徴点位
置Ｆ _i（ｕ_i，ｖ_i）との間の関係は、

【数１】 ……（１）で表される。但し、ａ，ｂ，ｃは、

【数２】 ……（２）で表される値である。

【００４４】Ｒは、

【数３】 ……（３）で表される回転を表す行列である。

【００４５】各特徴点についての（１）式で計算される
値と入力画像から抽出された特徴点位置の値の誤差の総
和が最小になるように、回転角度（Ｒｘ，Ｒｙ，Ｒ
ｚ）、平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ）、焦点距離ｆ
を最適化計算によって求める。この最適化の計算には様
々な方法が利用できる。

【００４６】最適化計算によって求めた回転角度（Ｒ
ｘ，Ｒｙ，Ｒｚ）、平行移動距離（Ｔｘ，Ｔｙ，Ｔ
ｚ）、焦点距離ｆを位置姿勢として出力する。上述した
位置姿勢パラメタやカメラモデルの定義と計算方法はあ
くまで一例であり、この他にも様々な方法が利用可能で
ある。

【００４７】比較画像生成手段５は位置姿勢推定手段４
で推定された位置姿勢における物体の画像を生成する。
これに利用できる技術は「ＯｐｅｎＧＬプログラミング
ガイド」（ＭａｓｏｎＷｏｏ，ＪａｃｋｉｅＮｅｉ
ｄｅｒ，ＴｏｍＤａｖｉｓ，アジソン・ウェスレイ・
パブリシャーズ・ジャパン）（文献４）に詳しく述べら
れている。この生成された画像を比較画像と呼ぶ。

【００４８】同時に、比較画像上での特徴点の位置を登
録されている特徴点の位置から計算する。各特徴点の登
録されている３次元座標をＰ_i（ｘ_i，ｙ_i，ｚ_i）と
すれば、上記で生成された画像上での位置Ｑ_i（ｓ_i，
ｔ_i）は、

【数４】 ……（４）で表される。但し、ａ，ｂ，ｃは、（２）式で表される
値である。

【００４９】特徴点位置修正手段６は比較画像と入力画
像とを比較し、入力画像から抽出された特徴点位置の修
正を行う。特徴点位置修正手段６はまず、図３に示すよ
うに、比較画像から計算された特徴点位置Ｑ_i（ｓ_i，
ｔ_i）周辺の画像を部分画像として切り出す。

【００５０】次に、特徴点位置修正手段６は、図４に示
すように、入力画像の特徴点位置Ｆ _i（ｕ_i，ｖ_i）の
周辺領域で探索領域を設定し、部分画像と最も似ている
領域の位置Ｆ_i’を探索する。この時の画像の類似度の
評価値としては様々なものを利用可能であるが、本実施
例では一例として輝度値の差の二乗和を用いることとす
る。

【００５１】最後に、特徴点位置修正手段６は該探索位
置Ｆ_i’を正しい特徴点位置として特徴点位置Ｆ_iを修
正する。この時の修正量が予め定めておいた閾値以下に
なるまで、位置姿勢推定手段５以降の処理を修正された
特徴点をもって初期特徴点位置に置き換えて繰り返し行
う。特徴点位置の修正量が閾値以下となったら、推定さ
れた位置姿勢または修正された特徴点位置を結果として
出力する。

【００５２】上記のように処理動作を行うことで、エッ
ジが明確である多面体等の単純な形状の物体に限らず、
凹形状を持つ等の複雑な形状である物体や、エッジが明
確でない物体に対しても、様々な位置姿勢にある物体の
画像から正確に特徴点位置を抽出することができ、物体
の位置姿勢を正確に推定することができる。また、特徴
点位置に基づいた物体照合システムの性能を向上させる
こともできる。

【００５３】以上、本発明の一実施例について具体的に
説明したが、本発明は本実施例に限定されるものではな
く、その要旨を逸脱しない範囲において種々変更可能で
あることは言うまでもない。また、本発明をコンピュー
タプログラムによって実現することももちろん可能であ
る。

【００５４】図５は本発明の他の実施例による物体位置
姿勢推定方法の処理動作を示すフローチャートである。
この図５を参照して本発明の他の実施例による物体位置
姿勢推定方法の処理動作について説明する。

【００５５】本発明では物体の３次元形状と表面の色情
報とを登録しておくことで、任意の位置姿勢における物
体の入力画像に対し、抽出された特徴点位置から求めた
位置姿勢における物体の画像を生成し、生成した画像と
入力画像とを比較することで特徴点位置の誤差を修正可
能であることを利用している。

【００５６】すなわち、初期推定として抽出された特徴
点位置が誤差を含んでいても、ある程度の精度をもって
物体の位置姿勢を計算することができる。この初期推定
値に対応する位置姿勢での物体の画像はある程度の誤差
を含むが、入力画像と十分近い画像である。したがっ
て、この画像を利用して特徴点位置を再探索することに
よって、より正確に特徴点の位置を修正することができ
る。

【００５７】こうして修正された特徴点位置を使って位
置姿勢を再計算し、以降の処理を繰り返していけば、特
徴点位置は正確な位置に向かって収束していく。こうし
て最終的に正確な位置姿勢を計算することができる。ま
た、エッジ特徴等を用いず、画像を直接比較することに
よって、エッジが明確でない物体に対しても適用可能で
ある。

【００５８】まず、事前の登録処理について説明する。
本発明の他の実施例では、予め対象物体の３次元形状モ
デルと表面の色情報とを登録しておく（図５ステップＳ
１）。同時に、位置姿勢の推定に用いる物体の特徴的な
部位である特徴点の３次元座標を登録しておく（図５ス
テップＳ２）。

【００５９】物体の３次元形状と色情報とは設計図が存
在する物体であれば図面から入力したり、測定装置を利
用する等の種々の方法が利用可能である。この測定装置
としては、例えば本願出願人から提案されている３次元
形状計測装置を利用して計測することが可能である。特
徴点の位置の入力については手動で行うこともできる
し、表面の色の変化が大きい部位を検出する等の方法に
よって自動的に行うこともできる。

【００６０】次に、初期推定の特徴点抽出が行われる
（図５ステップＳ３）。これ初期推定の特徴点抽出には
種々の方法が利用可能であるが、例えば特開平６−４４
３６５号公報に記載された「顔基準点抽出方法」等の方
法を利用することもできる。また、入力された画像をみ
ながら利用者が手動で入力することもできる。

【００６１】次に、位置姿勢の計算方法について説明す
る。入力画像上で抽出されている特徴点位置と、該特徴
点の３次元座標とを用いて物体の位置姿勢を計算する
（図５ステップＳ４）。この物体の位置姿勢の計算には
種々の手法が適用可能であり、その一例として上記の文
献３に記載の方法等があるが、その詳しい説明について
は省略する。

【００６２】次に、比較画像の生成について説明する。
上記のように、ステップＳ４で計算された位置姿勢にあ
る物体の画像を、登録されている３次元形状モデルと表
面の色情報とを用いて生成する（図５ステップＳ５）。
その生成手段の一例としてコンピュータグラフィックス
の基本機能を利用する方法がある。コンピュータグラフ
ィックスの機能については上記の文献４に詳しく述べら
れているので、ここではその説明を省略する。

【００６３】同時に、特徴点の３次元座標と位置姿勢と
を用いて、各特徴点の画像上の位置も計算することがで
きる。この計算された各特徴点位置を中心とする部分領
域を切り出して比較画像とする。

【００６４】次に、特徴点位置の修正について説明す
る。初期推定で抽出された特徴点位置は誤差を含んでい
る。そこで、入力画像中の初期推定特徴点位置の周囲の
領域において、比較画像と最も似ている部分領域を探索
する。その探索された部分領域位置の中心を正しい位置
として、初期推定の特徴点位置を修正する（図５ステッ
プＳ６）。

【００６５】図９に示すような例のように、正しい特徴
点位置が見えなかったり、見え方が変化するような場合
にも、この比較画像に似ている領域を探索し、探索され
た領域の中心位置として正しい特徴点位置を抽出するこ
とが可能になる。

【００６６】修正された特徴点位置と登録されている特
徴点の３次元座標とを使って、物体の位置姿勢を再計算
する（図５ステップＳ７）。これによって、最終的な特
徴点位置が求められれば（図５ステップＳ８）、最終的
に求まった特徴点位置を使って計算される位置姿勢を結
果として出力する（図５ステップＳ９）。

【００６７】一方、最終的な特徴点位置が求められなけ
れば（図５ステップＳ８）、該再計算された位置姿勢を
用いて（図５ステップＳ１０）、ステップＳ５の比較画
像の生成処理以降の処理を繰り返し行い、入力画像から
抽出される特徴点位置を正しい特徴点位置へ向かって修
正していき、最終的に正確な特徴点位置へと収束する
（図５ステップＳ５〜Ｓ１０）。こうして最終的に求ま
った特徴点位置を使って計算される位置姿勢を結果とし
て出力することで、正確な位置姿勢を得ることができ
る。

【００６８】上記のように、入力画像における特徴点の
抽出位置を修正する方法とは別に、登録してある特徴点
の位置を修正する方法も可能である。この方法では、比
較画像の生成及び特徴点位置の修正のみが上記の方法と
は異なり、その他の処理は上記の方法とまったく同等で
ある。

【００６９】図６は本発明の別の実施例による物体位置
姿勢推定方法の処理動作を示すフローチャートである。
この図６を参照して本発明の別の実施例による物体位置
姿勢推定方法の処理動作について説明する。尚、ステッ
プＳ１１〜Ｓ１４は上述した本発明の他の実施例による
物体位置姿勢推定方法のステップＳ１〜Ｓ４と同様の動
作なので、その動作についての説明を省略する。

【００７０】まず、比較画像の生成について説明する。
上記の方法とまったく同様に、計算された位置姿勢にあ
る物体の画像を生成し、同時に特徴点の３次元座標と位
置姿勢とを用いて、各特徴点の画像上の位置も計算す
る。ここで、入力画像の初期推定特徴点位置の周辺領域
を切出し、比較画像とする（図６ステップＳ１５）。

【００７１】次に、特徴点位置の修正について説明す
る。ここでは、生成された画像上の、計算された特徴点
位置の周辺領域において、比較画像と最も似ている領域
を探索する。その探索された位置を正しい位置として、
該位置に対応する３次元形状モデル上の点を求め、その
点の３次元座標をもって登録されている特徴点位置を修
正する（図６ステップＳ１６）。

【００７２】すなわち，図９に示す例においては、生成
された画像上において点を探索し、登録されている特徴
点位置を３次元形状モデル上の点の位置へと修正するこ
とになる。

【００７３】修正された特徴点位置と初期推定特徴点位
置とを使って、物体の位置姿勢を計算し直し（図６ステ
ップＳ１７）、以下の処理を繰返し行う。この処理は繰
返し行うこともでき、登録されている特徴点位置が入力
画像から抽出された初期推定特徴点位置に対応する３次
元モデル上の位置へ向かって修正されていき（図６ステ
ップＳ１８）、最終的に初期推定において入力画像上で
抽出された特徴点に対応する正確な特徴点位置へと収束
する。

【００７４】こうして最終的に求まった特徴点位置を使
って計算される位置姿勢を結果として出力することで
（図６ステップＳ１９，Ｓ２０）、正確な位置姿勢を得
ることができる。

【００７５】

【発明の効果】以上説明したように本発明によれば、予
め登録される対象物体の３次元形状モデルと対象物体の
特徴点の位置情報と対象物体の表面の色情報とを記憶
し、対象物体の入力画像を撮影し、その撮影された入力
画像から対象物体の特徴点の位置を抽出し、その抽出さ
れた特徴点位置と登録されている特徴点の３次元座標と
を用いて物体の位置姿勢を推定し、対象物体が推定され
た位置姿勢にある時の画像を登録されている３次元形状
と表面の色情報とを用いて比較画像として生成し、その
生成された比較画像を参照して抽出された入力画像上の
特徴点の位置を修正し、その修正された特徴点位置と登
録されている特徴点の３次元座標とを用いて物体の位置
姿勢を推定し、その推定された位置姿勢を結果として出
力することによって、エッジが明確である多面体等の単
純な形状の物体に限らず、凹形状を持つ等の複雑な形状
である物体や、エッジが明確でない物体に対しても適用
することができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による物体位置姿勢推定装置
の構成を示すブロック図である。

【図２】本発明の一実施例による画像による物体の位置
姿勢推定方法の一例を示す図である。

【図３】本発明の一実施例による比較画像からの部分画
像の切り出しを説明するための図である。

【図４】本発明の一実施例による特徴点位置の修正を説
明するための図である。

【図５】本発明の他の実施例による物体位置姿勢推定方
法の処理動作を示すフローチャートである。

【図６】本発明の別の実施例による物体位置姿勢推定方
法の処理動作を示すフローチャートである。

【図７】従来の物体の位置姿勢推定技術の一構成例を示
すブロック図である。

【図８】従来の物体の位置姿勢推定技術を用いた画像照
合技術の一構成例を示すブロック図である。

【図９】（ａ）は人の目を正面から見た画像を示す図、
（ｂ）は目を上から見た場合の断面図、（ｃ）は目を
（ｂ）の方向Ｃから見た画像を示す図である。

【符号の説明】

１記憶手段２撮影手段３特徴点抽出手段４位置姿勢推定手段５比較画像生成手段６特徴点位置修正手段７対象物体８カメラ９処理装置

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA12 AA37 BB05 BB27 DD03 FF21 FF44 GG10 HH02 JJ03 JJ26 QQ17 QQ21 QQ24 QQ28 QQ32 QQ38 QQ41 5B057 AA01 BA24 CA01 CA13 CB13 CC03 CH11 DA07 DB06 DC08 DC32 5L096 AA09 CA04 EA14 EA31 FA34 FA67 FA69 GA38 LA05

Claims

【特許請求の範囲】

【請求項１】予め登録される対象物体の３次元形状モ
デルと前記対象物体の特徴点の位置情報と前記対象物体
の表面の色情報とを記憶する記憶手段と、前記対象物体
の入力画像を撮影する撮影手段と、前記撮影手段で撮影
された入力画像から前記対象物体の特徴点の位置を抽出
する抽出手段と、前記記憶手段に登録されている特徴点
の３次元座標と前記抽出手段で抽出された特徴点位置と
を用いて物体の位置姿勢を推定する推定手段と、前記対
象物体が前記推定手段で推定された位置姿勢にある時の
画像を前記記憶手段に登録されている３次元形状と表面
の色情報とを用いて比較画像として生成する生成手段
と、前記生成手段で生成された比較画像を参照して前記
抽出手段で抽出された入力画像上の特徴点の位置を修正
する修正手段とを有し、前記修正手段で修正された特徴
点位置と前記記憶手段に登録されている特徴点の３次元
座標とを用いて物体の位置姿勢を推定し、その推定され
た位置姿勢を結果として出力するようにしたことを特徴
とする物体位置姿勢推定装置。
【請求項２】前記抽出手段は、手動による前記特徴点
の位置の抽出と自動的に行う前記特徴点の位置の抽出と
のいずれかによって前記入力画像から前記対象物体の特
徴点の位置を抽出するようにしたことを特徴とする請求
項１記載の物体位置姿勢推定装置。
【請求項３】予め登録される対象物体の３次元形状モ
デルと前記対象物体の特徴点の位置情報と前記対象物体
の表面の色情報とを記憶する記憶手段と、前記対象物体
の入力画像を撮影する撮影手段と、前記撮影手段で撮影
された入力画像から前記対象物体の特徴点の位置を抽出
する抽出手段と、前記記憶手段に登録されている特徴点
の３次元座標と前記抽出手段で抽出された特徴点位置と
を用いて物体の位置姿勢を推定する推定手段と、前記対
象物体が前記推定手段で推定された位置姿勢にある時の
画像を前記記憶手段に登録されている３次元形状と表面
の色情報とを用いて比較画像として生成しかつその比較
画像上での特徴点位置を計算する生成手段と、前記生成
手段で生成された比較画像及びその比較画像上での特徴
点位置を参照して前記抽出手段で抽出された入力画像上
の特徴点の位置を修正する修正手段とを有し、前記修正
手段で修正された特徴点位置と前記記憶手段に登録され
ている特徴点の３次元座標とを用いて物体の位置姿勢を
推定し、その推定された位置姿勢を結果として出力する
ようにしたことを特徴とする物体位置姿勢推定装置。
【請求項４】前記抽出手段は、手動による前記特徴点
の位置の抽出と自動的に行う前記特徴点の位置の抽出と
のいずれかによって前記入力画像から前記対象物体の特
徴点の位置を抽出するようにしたことを特徴とする請求
項３記載の物体位置姿勢推定装置。
【請求項５】前記修正手段は、手動による前記特徴点
の位置の修正と自動的に行う前記特徴点の位置の修正と
のいずれかによって前記入力画像上の特徴点の位置を修
正するようにしたことを特徴とする請求項３または請求
項４記載の物体位置姿勢推定装置。
【請求項６】予め登録される対象物体の３次元形状モ
デルと前記対象物体の特徴点の位置情報と前記対象物体
の表面の色情報とを記憶する記憶手段と、前記対象物体
の入力画像を撮影する撮影手段と、前記撮影手段で撮影
された入力画像から前記対象物体の特徴点の位置を抽出
する抽出手段と、前記記憶手段に登録されている特徴点
の３次元座標と前記抽出手段で抽出された特徴点位置と
を用いて物体の位置姿勢を推定する推定手段と、前記対
象物体が前記推定手段で推定された位置姿勢にある時の
画像を前記記憶手段に登録されている３次元形状と表面
の色情報とを用いて比較画像として生成する生成手段
と、前記生成手段で生成された比較画像と前記入力画像
とを比較することで前記抽出手段で抽出された特徴点の
位置を修正する修正手段とを有し、前記位置姿勢の推定
から前記特徴点位置の修正までの処理を繰り返し、最終
的に推定された位置姿勢を結果として出力するようにし
たことを特徴とする物体位置姿勢推定装置。
【請求項７】前記抽出手段は、手動による前記特徴点
の位置の抽出と自動的に行う前記特徴点の位置の抽出と
のいずれかによって前記入力画像から前記対象物体の特
徴点の位置を抽出するようにしたことを特徴とする請求
項６記載の物体位置姿勢推定装置。
【請求項８】前記特徴点位置の修正が、前記比較画像
の特徴点位置の周辺画像を比較部分画像として切り出
し、前記入力画像の特徴点位置の周辺において前記比較
部分画像と最も似ている領域を探索し、その領域の位置
を正しい特徴点の位置として前記入力画像の特徴点位置
を修正するようにしたことを特徴とする請求項６または
請求項７記載の物体位置姿勢推定装置。
【請求項９】前記特徴点位置の修正が、前記入力画像
において抽出された特徴点位置の周辺の画像を比較部分
画像として切り出し、前記比較画像の特徴点位置の周辺
において前記比較部分画像と最も似ている領域の位置を
探索し、その位置に対応する３次元形状モデル上の点を
正しい特徴点とし、その点の３次元座標をもって登録さ
れている特徴点の３次元座標を修正するようにしたこと
を特徴とする請求項６または請求項７記載の物体位置姿
勢推定装置。
【請求項１０】予め登録される対象物体の３次元形状
モデルと前記対象物体の特徴点の位置情報と前記対象物
体の表面の色情報とを記憶するステップと、前記対象物
体の入力画像を撮影するステップと、その撮影された入
力画像から前記対象物体の特徴点の位置を抽出するステ
ップと、その抽出された特徴点位置と登録されている特
徴点の３次元座標とを用いて物体の位置姿勢を推定する
ステップと、前記対象物体が推定された位置姿勢にある
時の画像を登録されている３次元形状と表面の色情報と
を用いて比較画像として生成するステップと、その生成
された比較画像を参照して抽出された入力画像上の特徴
点の位置を修正するステップとを有し、その修正された
特徴点位置と登録されている特徴点の３次元座標とを用
いて物体の位置姿勢を推定し、その推定された位置姿勢
を結果として出力するようにしたことを特徴とする物体
位置姿勢推定方法。
【請求項１１】前記対象物体の特徴点の位置を抽出す
るステップは、手動による前記特徴点の位置の抽出と自
動的に行う前記特徴点の位置の抽出とのいずれかによっ
て前記入力画像から前記対象物体の特徴点の位置を抽出
するようにしたことを特徴とする請求項１０記載の物体
位置姿勢推定方法。
【請求項１２】予め登録される対象物体の３次元形状
モデルと前記対象物体の特徴点の位置情報と前記対象物
体の表面の色情報とを記憶するステップと、前記対象物
体の入力画像を撮影するステップと、その撮影された入
力画像から前記対象物体の特徴点の位置を抽出するステ
ップと、その抽出された特徴点位置と登録されている特
徴点の３次元座標とを用いて物体の位置姿勢を推定する
ステップと、前記対象物体が推定された位置姿勢にある
時の画像を登録されている３次元形状と表面の色情報と
を用いて比較画像として生成しかつその比較画像上での
特徴点位置を計算するステップと、これら生成された比
較画像及びその比較画像上での特徴点位置を参照して抽
出された入力画像上の特徴点の位置を修正するステップ
とを有し、その修正された特徴点位置と登録されている
特徴点の３次元座標とを用いて物体の位置姿勢を推定
し、その推定された位置姿勢を結果として出力するよう
にしたことを特徴とする物体位置姿勢推定方法。
【請求項１３】前記対象物体の特徴点の位置を抽出す
るステップは、手動による前記特徴点の位置の抽出と自
動的に行う前記特徴点の位置の抽出とのいずれかによっ
て前記入力画像から前記対象物体の特徴点の位置を抽出
するようにしたことを特徴とする請求項１２記載の物体
位置姿勢推定方法。
【請求項１４】前記入力画像上の特徴点の位置を修正
するステップは、手動による前記特徴点の位置の修正と
自動的に行う前記特徴点の位置の修正とのいずれかによ
って前記入力画像上の特徴点の位置を修正するようにし
たことを特徴とする請求項１２または請求項１３記載の
物体位置姿勢推定方法。
【請求項１５】予め登録される対象物体の３次元形状
モデルと前記対象物体の特徴点の位置情報と前記対象物
体の表面の色情報とを記憶するステップと、前記対象物
体の入力画像を撮影するステップと、その撮影された入
力画像から前記対象物体の特徴点の位置を抽出するステ
ップと、その抽出された特徴点位置と登録されている特
徴点の３次元座標とを用いて物体の位置姿勢を推定する
ステップと、前記対象物体が推定された位置姿勢にある
時の画像を登録されている３次元形状と表面の色情報と
を用いて比較画像として生成するステップと、その生成
された比較画像と前記入力画像とを比較することで抽出
された特徴点の位置を修正するステップとを有し、前記
位置姿勢の推定から前記特徴点位置の修正までの処理を
繰り返し、最終的に推定された位置姿勢を結果として出
力するようにしたことを特徴とする物体位置姿勢推定方
法。
【請求項１６】前記対象物体の特徴点の位置を抽出す
るステップは、手動による前記特徴点の位置の抽出と自
動的に行う前記特徴点の位置の抽出とのいずれかによっ
て前記入力画像から前記対象物体の特徴点の位置を抽出
するようにしたことを特徴とする請求項１５記載の物体
位置姿勢推定方法。
【請求項１７】前記特徴点位置の修正が、前記比較画
像の特徴点位置の周辺画像を比較部分画像として切り出
し、前記入力画像の特徴点位置の周辺において前記比較
部分画像と最も似ている領域を探索し、その領域の位置
を正しい特徴点の位置として前記入力画像の特徴点位置
を修正するようにしたことを特徴とする請求項１５また
は請求項１６記載の物体位置姿勢推定方法。
【請求項１８】前記特徴点位置の修正が、前記入力画
像において抽出された特徴点位置の周辺の画像を比較部
分画像として切り出し、前記比較画像の特徴点位置の周
辺において前記比較部分画像と最も似ている領域の位置
を探索し、その位置に対応する３次元形状モデル上の点
を正しい特徴点とし、その点の３次元座標をもって登録
されている特徴点の３次元座標を修正するようにしたこ
とを特徴とする請求項６または請求項７記載の物体位置
姿勢推定方法。
【請求項１９】請求項１５また請求項１６記載の物体
位置姿勢推定方法において、最終的な出力として修正さ
れた特徴点位置を出力することを特徴とする特徴点位置
抽出方法。
【請求項２０】請求項１９記載の特徴点位置抽出方法
において、前記特徴点位置の修正が、前記比較画像の特
徴点位置の周辺画像を比較部分画像として切り出し、前
記入力画像の特徴点位置の周辺において前記比較部分画
像と最も似ている領域を探索し、その領域の位置を正し
い特徴点の位置として前記入力画像の特徴点位置を修正
するようにしたことを特徴とする特徴点位置抽出方法。
【請求項２１】請求項１９記載の特徴点位置抽出方法
において、前記最終的な出力が修正された入力画像にお
ける特徴点の位置及び比較画像上での特徴点位置であ
り、その特徴点位置の情報を利用して前記入力画像中に
写っている物体が登録されている物体であるか否かの照
合処理と登録されているどの物体であるかの照合処理と
のいずれかを行うようにしたことを特徴とする画像照合
方法。