JP2004144660A

JP2004144660A - Solid structure, method, system, and program for detecting 3-d position/attitude, and medium recorded with the program

Info

Publication number: JP2004144660A
Application number: JP2002311198A
Authority: JP
Inventors: Takaichi Hiraga; 平賀　▲高▼市; Akio Shio; 塩　昭夫; Kenichi Arakawa; 荒川　賢一; Tomohiko Arikawa; 有川　知彦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2004-05-20

Abstract

<P>PROBLEM TO BE SOLVED: To detect a 3-D position/attitude of a solid structure with a high precision while restraining a calculation cost. <P>SOLUTION: A position calculating part 31 of a system for detecting 3-D position/attitude is constituted so that it detects an outline of the solid structure 1 in an image captured by a camera 2, and the 3-D position of the solid structure 1 is calculated from the outline. A figure detecting part 32 detects and determine a position of a 1st symmetric figure of revolution and that of a 2nd figure of revolution. An attitude calculating part 33 calculates the 3-D attitude of the solid structure 1 based on the 3-D position calculated by the position calculating part 31, and the positions of the 1st symmetric figure of revolution and the 2nd figure of revolution detected by the figure detecting part 32. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明はカメラで撮像した画像から対象物の３次元位置・姿勢を特定するための方法および装置に関する。
【０００２】
【従来の技術】
従来、デザインが既知である立体をカメラで撮像し、その画像において、立体の「辺」や「頂点」といった特徴点の位置を基にするか、立体全体の画像のテンプレート（３次元モデル）を用いるなどして、該立体の姿勢を算出していた（特許文献１、特許文献２参照）。
【０００３】
【特許文献１】
特許第２７９１２７５号公報
【特許文献２】
特開平５−１４９７４８号公報
【０００４】
【発明が解決しようとする課題】
特許文献１については、ドットを自動的に識別するための仕組みが備わっておらず、また、数個の特徴位置を用いているだけなので、位置検出において画素の量子化誤差等の影響を受け易いという欠点がある。
【０００５】
特許文献２については、マーク自体に識別の仕組みを設けている。色により識別する方式では、画像上で色を識別するためにマークはある程度の大きさが必要となる。大きさの違いにより識別する方式でも、マークはある程度の大きさが必要となる。何れの方式でも、マークはある程度の大きさが必要となるが、透視投影した画像上でこのようなマークの位置を高精度で検出するためには計算コストがかかることになり、一方、計算コストを抑えるためにマークの位置として画像上でのマークの重心位置を用いると精度が悪くなる、という欠点がある。
【０００６】
本発明の目的は、計算コストを抑えつつ、高精度に立体の位置と姿勢を検出することができる３次元位置・姿勢検出用立体、３次元位置・姿勢検出方法、装置、プログラム、および該プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の３次元位置・姿勢検出用立体は、円板状もしくはリング状の主要部と、中心が主要部の回転対称軸上にあり、かつ主要部を含まない主要部と平行な平面上に配置された第１の回転対称図形と、主要部を含む平面上で、かつ主要部の縁に囲まれた領域の外に配置された第２の回転対称図形とを有する。
【０００８】
また、本発明の３次元位置・姿勢検出方法は、上記３次元位置・姿勢検出用立体の撮像画像から、該立体の３次元位置および姿勢を検出する方法であって、
撮像画像において主要部の輪郭を検出し、輪郭から立体の３次元位置を求める位置算出段階と、
撮像画像において第１の回転対称図形および第２の回転対称図形の位置を検出および判別する図形検出段階と、
位置算出段階で求められた立体の３次元位置と図形検出段階で検出された第１の回転対称図形および第２の回転対称図形の位置、もしくは前記位置算出段階で検出された前記輪郭を含む平面の法線ベクトルおよび求められた前記立体の３次元位置と前記図形検出段階で検出された前記第２の回転対象図形の位置に基づき立体の３次元姿勢を算出する姿勢算出段階とを有する。
【０００９】
また、本発明の３次元位置・姿勢検出装置は、上記３次元位置・姿勢検出用立体の撮像画像を入力することによって、該立体の３次元位置および姿勢を検出する装置であって、
撮像画像において主要部の輪郭を検出し、輪郭から立体の３次元位置を求める位置算出手段と、
撮像画像において第１の回転対称図形および第２の回転対称図形の位置を検出および判別する図形検出手段と、
位置算出手段で求められた立体の３次元位置と図形検出手段で検出された第１の回転対称図形および第２の回転対称図形の位置、もしくは前記位置算出手段で検出された前記輪郭を含む平面の法線ベクトルおよび求められた前記立体の３次元位置と前記図形検出手段で検出された前記第２の回転対象図形の位置に基づき立体の３次元姿勢を算出する姿勢算出手段とを有する。
【００１０】
表面に図形が配置された既知の立体をカメラで撮影し、該立体の撮像画像上での形から、同立体の空間上での位置および姿勢を検出する方法・装置において、立体の主要部を円板もしくはリングにすることにより、立体の主要部の輪郭から該立体の位置が算出でき、別に設けられた回転対称図形から該立体の姿勢が算出できる。
【００１１】
また、図形の位置を検出するマッチング処理において、立体の一部に描かれた比較的小さなサイズの図形を用いることにより、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いることができ、テンプレート画像の記憶容量およびマッチング処理の計算コストを小さく抑えることができる。
【００１２】
このように、位置の算出と姿勢の算出とを分離でき、かつ、マッチング処理におけるテンプレート画像の記憶容量および計算コストを小さく抑えることができるため、高精度を確保しつつ、全体の計算コストを大幅に抑えることができる。
【００１３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１４】
［第１の実施形態］
図１は本発明の第１の実施形態の３次元位置・姿勢検出用立体と３次元位置・姿勢検出装置を示した図である。
【００１５】
３次元位置・姿勢検出装置３は位置算出部３１と図形検出部３２と姿勢算出部３３から構成され、３次元位置・姿勢検出用立体（以下、立体と称す）１をカメラ２で撮像して得られた撮像画像から、立体１の３次元位置および姿勢を検出する。
【００１６】
図２は立体１の一例を示す図、図３はその各部の位置関係を示す図である。
【００１７】
立体１は、縁１１１を有する薄い円板（半径ｒ）からなる主要部１０１と、これに細い構造体を介して支持されている同一サイズで、同一色の２個のドット状の第１、第２の回転対称図形１２１、１３１が描かれた円板とからなっている。第１の回転対称図形１２１は中心が主要部１０１の回転対称軸上にあり、かつ主要部１０１の表面を含む平面と平行な、該表面から距離ｈ離れた平面上にある。
第２の回転対称図形１３１は主要部１０１を含む平面上で、主要部の縁１１１に囲まれた領域の外で、主要部１０１の回転対称軸から距離ｇ離れた位置にある。
回転対称図形１２１および１３１は、サイズを小さくするほど、高精度にその位置検出ができ、また、立体１全体とのサイズ差が大きくなるため、高精度に立体１の３次元姿勢を算出できる。したがって、撮像画像上での位置が識別可能な最小のサイズとすることが望ましい。以下では、回転対象図形１２１および１３１がドット状の図形であるとして説明を行う。
【００１８】
本実施形態では、立体１の位置は、撮像画像上において、主要部１０１の縁１１１が楕円に近似できる程度にカメラ２から離れているとする。また、本実施形態では、立体１の傾きは、撮像画像上において、回転対称図形１２１が主要部１０１の縁１１１の外部に出ない範囲内であるとする。
【００１９】
３次元位置・姿勢検出装置３は、まず、位置算出部３１によって、撮像画像上における立体１の主要部１０１の輪郭から、立体１の位置を算出し、次に、図形検出部３２によって、撮像画像上における回転対称図形１２１、１３１の位置を検出し、さらに、姿勢算出部３３によって、立体１の主要部１０１の回転対称軸の向きおよび該回転対称軸周りの回転角度、すなわち立体１の姿勢を算出する。
【００２０】
以下、本実施形態で、この立体１を用い、その撮像画像から立体１の３次元位置および姿勢を求める方法を説明する。
【００２１】
図４はカメラ２のレンズの光学中心Ｃを原点とし、レンズの光軸をＺ軸とする、カメラ２を基準とした実空間での座標系において、位置（ｘ，ｙ，ｚ）に立体１が置かれている様子を示した図である。Ｘは実空間での水平方向の軸、Ｙは実空間での垂直方向の軸である。立体１は図２に示したものと同一のデザインである。カメラ２については、撮像画像の光学的歪みを補正することにより、レンズ歪等のない理想的なカメラとして扱うことができる。
【００２２】
図５はドット状の図形１２１、１３１を検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【００２３】
図６（ａ）は立体１の撮像画像、図６（ｂ）は前記撮像画像における立体１の主要部１０１の輪郭１１１およびドット状の各回転対称図形１２１、１３１の検出結果を示す図である。ｕは画像の水平方向の軸、ｖは画像の垂直方向の軸である。図６（ｂ）において、１１１ｓは検出した立体１の主要部１０１の縁１１１にフィットさせて得られた輪郭を表わす楕円、１２１ｓは検出されたドット状の図形１２１の位置、１３１ｓは検出されたドット状の図形１３１の位置である。
ここで、撮像画像上の点を座標（ｕ，ｖ）で表すと、楕円１１１ｓは次式によって表すことができる。
【００２４】
【数１】

【００２５】
図７は撮像画像上でのドット状の図形の位置１２１ｓ、１３１ｓと実空間での座標系ＸＹＺにおけるドット状の回転対称図形の位置との幾何的関係を示す図である。４は式（１）によって表される楕円１１１ｓに対応する円の中心、すなわち立体１の主要部１０１の中心の実空間における位置である。５は前記円を含む平面、すなわち立体１の主要部１０１およびその縁１１１を含む平面である。６は４を中心とする半径ｈの球である。７は１２１ｓに対応する点、すなわち回転対称図形１２１の実空間における位置、８は１３１ｓに対応する点、すなわち回転対称図形１３１の実空間における位置である。Ｃはカメラ２のレンズの光学中心である。位置７は、位置１２１ｓとレンズ中心Ｃとを結ぶ直線と球６との交点である。また、位置８は、位置１３１ｓとレンズ中心Ｃとを結ぶ直線と平面５との交点である。
【００２６】
図７で示した立体１の主要部１０１の中心の実空間における位置４および主要部１０１およびその縁１１１を含む平面５は、式（１）の各係数α、β、γ、δ、ε、およびζを用いて、以下の方法によって求めることができる（例えば、文献　Ｋｅｎｉｃｈｉ　Ｋａｎａｔａｎｉ，　敵　ｅｏｍｅｔｒｉｃ　Ｃｏｍｐｕｔａｔｉｏｎ　ｆｏｒ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　　　Ｐ．２２８　を参照）。
【００２７】
まず、次式で表されるマトリックスＱを作り、Ｑの固有値λ_１、λ_２、λ_３、および、これら固有値に対応する単位固有ベクトルｎ_１、ｎ_２、ｎ_３を計算する。ここで、固有値はλ_３＜０＜λ_１≦λ_２となるように選ぶ。
【００２８】
【数２】

【００２９】
ただし、ｆは図７におけるｕｖ平面とレンズの光学中心Ｃとの距離であり、また、κはｄｅｔＱ＝−１となるように選ぶ。
【００３０】
次に、上記で得られたＱの固有値λ_１、λ_２、λ_３、および単位固有ベクトルｎ_１、ｎ_２、ｎ_３を用いて、次式によって、平面５の法線ベクトルｎ、および平面５とレンズの光学中心Ｃとの距離ｄを計算する。
【００３１】
【数３】

【００３２】
ただし、ｒは主要部の縁１１１の半径である。平面５は、この法線ベクトルｎおよび距離ｄにより求められる。
【００３３】
さらに、上記で得られたＱの逆行列Ｑ^−１、および法線ベクトルｎを用いて、次式によって、レンズの光学中心Ｃを始点とする位置ベクトルｍを計算する。
【００３４】
【数４】

【００３５】
位置４は、この位置ベクトルｍと平面５との交点として求められる。
【００３６】
図８は立体１の３次元位置および姿勢を求める手順を示すフローチャートである。
１．撮像画像（図６（ａ））において、ハフ変換等を用いて、立体１の主要部１０１の輪郭１１１にフィットさせた楕円１１１ｓを検出し、式（１）における各係数α、β、γ、δ、ε、およびζを求める（ステップ２０１）。
２．１で求められたα、β、γ、δ、ε、およびζから、式（１）〜式（５）で示した方法により、立体１の主要部１０１およびその縁１１１を含む平面５の法線ベクトルおよび主要部１０１の中心の位置４を求め、さらに平面５を求める（ステップ２０２）。
３．ドット状の図形を検出するためのテンプレート画像（図５）と撮像画像（図６（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する（ステップ２０３）。
４．３で検出された位置の各々と楕円１１１ｓとの位置関係から各位置が回転対称図形１２１および回転対称図形１３１のいずれに対応しているかを判別する（ステップ２０４）。すなわち、検出された位置のうち楕円１１１ｓの内側のものを１２１ｓ、外側のものを１３１ｓとする。
５．図７に示した幾何的関係から、位置７および位置８を求める（ステップ２０５）。
６．位置４および位置７から、立体１の主要部１０１の回転対称軸の向きを求め、位置４および位置８から、立体１の該回転対称軸周りの回転角度を求める（ステップ２０６）。
７．２で求められた位置４を立体１の３次元位置とし、６で求められた立体１の主要部１０１の回転対称軸の向きおよび該回転対称軸周りの回転角度を立体１の３次元姿勢とする（ステップ２０７）。
【００３７】
なお、上記の手順において、式（３）で求めた法線ベクトルｎの傾きが、所定の値より小さい場合には、位置４および位置７から立体１の主要部１０１の回転対称軸の傾きを求め、所定の値より大きい場合には、式（３）で求めた法線ベクトルｎから立体１の主要部１０１の回転対称軸の傾きを求める等としてもよい。
このような工夫を行うことにより、より高精度に立体１の姿勢を求めることができる。
【００３８】
［第２の実施形態］
第１の実施形態では、立体１に設けた第１および第２の回転対象図形１２１、１３１が同一の色であり、立体１の傾きは、撮像画像上において、図形１２１が主要部１０１の縁１１１の外部に出ない範囲内であるとした。
【００３９】
これに対し、本実施形態では、立体１に設けた第１および第２の回転対象図形を互いに異なる色とし、立体１の傾きの制限をなくすものである。
【００４０】
図９は立体１の一例である。この立体１は、縁１１２を有する薄いリングである主要部１０２と、これに細い構造体を介して支持されている同一サイズで互いに異なる色の２個のドット状の図形１２２および１３２が描かれた円板とから構成されている。ここでは、図形１２２が赤、図形１３２が青でそれぞれ描かれているとする。図形１２２および１３２のサイズについては、第１の実施形態と同様、撮像画像上で位置、色ともに識別可能な最小のサイズとすることが望ましい。
【００４１】
本実施形態における３次元位置および姿勢の検出方法は、検出されたドット状の図形の位置の各々が２個のドット状の図形１２２、１３２のいずれに対応しているかを判別する手順のみが、第１の実施形態と異なっている。そのため、本実施形態の方法も、第１の実施形態と同様、図４ないし図７を用いて説明する。ただし、本実施形態においては、図６に相当する撮像画像が色情報を有するカラー画像であるとし、各図において、１１１、１２１、１３１、１１１ｓ、１２１ｓ、１３１ｓ、を夫々、１１２、１２２、１３２、１１２ｓ、１２２ｓ、１３２ｓと置き換えて説明する。
【００４２】
図１０は立体１の３次元位置および姿勢を求める手順を示すフローチャートである。
１．撮像画像（図６（ａ））において、ハフ変換等を用いて、立体１の主要部１０２の輪郭にフィットさせた楕円１１２ｓを検出し、式（１）における各係数α、β、γ、δ、ε、およびζを求める（ステップ３０１）。ただし、ここでは撮像画像の濃淡情報のみ使用する。
２．１で求められたα、β、γ、δ、ε、およびζから、式（１）〜式（５）で示した方法により、立体１の主要部１０２およびその縁１１２を含む平面５の法線ベクトルおよび主要部１０２の表面の中心の位置４を求め、さらに平面５を求める（ステップ３０２）。
３．ドット状の図形を検出するためのテンプレート画像（図５）と撮像画像（図６（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する（ステップ３０３）。ただし、ここでは撮像画像の濃淡情報のみ使用する。
４．３で検出された位置の各々における撮像画像（図６（ａ））の色情報から各位置が図形１２２および図形１３２のいずれに対応しているかを判別する（ステップ３０４）。すなわち、検出された位置の画素が赤の色情報を有していればその位置を１２２ｓ、青の色情報を有していればその位置を１３２ｓとする。
５．図７に示した幾何的関係から位置７と位置８を求める（ステップ３０５）。
６．位置４および位置７から立体１の主要部１０２の回転対称軸の向きを求め、位置４および位置８から、立体１の該回転対称軸周りの回転角度を求める（ステップ３０６）。
７．３で求められた位置４を立体１の３次元位置とし、５で求められた立体１の主要部１０２の回転対称軸の向き、および該回転対称軸周りの回転角度を立体１の３次元姿勢とする（ステップ３０７）。
【００４３】
図１１ないし図１３は第１または第２の実施形態で示した手順で３次元位置および姿勢を検出することができる立体１のその他の例を示している。ただし、立体１に設けた第１および第２の回転対象図形が同一の色の場合には、第１の実施形態で示した手順が適用でき、立体１に設けた第１および第２の回転対象図形が互いに異なる色の場合には、第１および第２の実施形態で示した手順が適用できる。
【００４４】
図１１に示す立体は、リングである主要部１０３と、これに細い構造体を介して支持されている同一サイズの２個の小球１２３、１３３とから構成されている。
【００４５】
図１２に示す立体は、縁１１４を有する円板である主要部１０４と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形１２４、１３４が描かれた棒状および板状の構造体とから構成されている。
【００４６】
図１３に示す立体は、リング状の主要部１０５と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形１２５、１３５が描かれた筒状および板状の構造体とから構成されている。
【００４７】
以上説明したように、本実施形態の立体の３次元位置および姿勢を求める方法では、立体の主要部を円板もしくはリングにしたので、位置の算出と姿勢の算出とを分離でき、高精度を確保しつつ、計算コストを抑えることができる。また、立体の一部に描かれた比較的小さなサイズの図形を用いるので、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いればよく、マッチング処理におけるテンプレート画像の記憶容量および計算コストを小さく抑えることができる。その結果、高精度を確保しつつ、全体の計算コストを大幅に抑えることができる。
【００４８】
なお、以上の実施形態では、立体１の２個の回転対称図形として、同一サイズ、同一形状の図形である例を示した。しかし、これらの図形を検出する際に必要となるテンプレート画像を変えることにより、２個の回転対称図形は、互いに異なるサイズ、異なる形状（例えば、ドット状の図形と円状の図形など）であっても、本発明は同様の効果を奏することができる。
【００４９】
なお、本発明の３次元位置・姿勢検出方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００５０】
【発明の効果】
以上説明したように、本発明は下記の効果がある。
１）立体の主要部を円板もしくはリングにすることにより、位置の算出と姿勢の算出とを分離でき、高精度を確保しつつ、計算コストを抑えることができる。
２）立体の一部に描かれた比較的小さなサイズの図形を用いることにより、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いることができ、マッチング処理におけるテンプレート画像の記憶容量および計算コストを小さく抑えることができる。
３）位置検出を輪郭をもとに行い、その輪郭は多くのエッジ点を基にしているため、位置検出において画素の量子化誤差等の影響を受けずにすむ。
【図面の簡単な説明】
【図１】本発明の一実施形態の３次元位置・姿勢検出装置の構成を示す図である。
【図２】３次元位置・姿勢検出用立体１の第１の例を示す図である。
【図３】図２に示す立体１における主要部１０１と回転対称図形１２１、１３１との位置関係を示す図である。
【図４】カメラ２のレンズの光学中心Ｃを原点とし、レンズの光軸をＺ軸とする、カメラ２を基準とした実空間での座標系において、立体１が置かれている様子を示す図である。
【図５】ドット状の図形を検出するためのテンプレート画像を示す図である。
【図６】立体１の撮像画像（同図（ａ））と、撮像画像における立体１の主要部１０１の輪郭および各ドット状の図形の検出結果を示す図である。
【図７】撮像画像上でのドット上の図形の位置と実空間での座標系におけるドット状の図形１２１、１３１との幾何的関係を示す図である。
【図８】立体１の３次元位置および姿勢を求める手順を示すフローチャートである。
【図９】立体１の第２の例を示す図である。
【図１０】図９に示す立体１の３次元位置および姿勢を求める手順を示すフローチャートである。
【図１１】立体１の第３の例を示す図である。
【図１２】立体１の第４の例を示す図である。
【図１３】立体１の第５の例を示す図である。
【符号の説明】
１　　３次元位置・姿勢検出用立体
２　　カメラ
３　　３次元位置・姿勢検出装置
４　　楕円１１１ｓに対応する円の中心
５　　円を含む平面
６　　４を中心とする球
７　　図形１２１の実空間の位置
８　　位置１３１ｓとレンズ中心Ｃとを結ぶ直線と平面５の交点
３１　　位置算出部
３２　　図形検出部
３３　　姿勢算出部
１０１，１０２，１０３，１０４，１０５　　主要部
１１１，１１４　　縁
１２１，１２２，１２３，１２４，１２５　　第１の回転対称図形
１３１，１３２，１３３，１３４，１３５　　第２の回転対称図形
１１１ｓ　　縁１１１にフィットさせて得られた輪郭を表わす楕円
１２１ｓ　　検出されたドット状の図形１２１の位置
１３１ｓ　　検出されたドット状の図形１３１の位置
２０１〜２０７，３０１〜３０７　　ステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and an apparatus for specifying a three-dimensional position / posture of an object from an image captured by a camera.
[0002]
[Prior art]
Conventionally, a three-dimensional object whose design is already known is imaged by a camera, and in the image, a template (three-dimensional model) of an image of the entire three-dimensional object is obtained based on the position of a feature point such as “side” or “vertex” of the three-dimensional object. The posture of the three-dimensional object is calculated by using the method (see Patent Documents 1 and 2).
[0003]
[Patent Document 1]
Japanese Patent No. 2791275 [Patent Document 2]
JP-A-5-149748
[Problems to be solved by the invention]
Patent Document 1 does not have a mechanism for automatically identifying dots, and uses only a few feature positions. Therefore, position detection is easily affected by pixel quantization errors and the like. There is a disadvantage that.
[0005]
In Patent Document 2, an identification mechanism is provided in the mark itself. In the color identification method, the mark needs to have a certain size in order to identify the color on the image. Even in the identification method based on the difference in size, the mark needs to have a certain size. In either method, the mark requires a certain size. However, to detect the position of such a mark on a perspectively projected image with high accuracy, a calculation cost is required. If the position of the center of gravity of the mark on the image is used as the position of the mark in order to suppress the problem, there is a disadvantage that the accuracy deteriorates.
[0006]
An object of the present invention is to provide a three-dimensional position / posture detection three-dimensional position / posture detection method, apparatus, program, and program capable of detecting a position and posture of a three-dimensional object with high accuracy while suppressing calculation cost. To provide a recording medium on which is recorded.
[0007]
[Means for Solving the Problems]
The three-dimensional position / posture detection solid according to the present invention has a disk-shaped or ring-shaped main part, and a center on a rotationally symmetric axis of the main part and on a plane parallel to the main part not including the main part. It has a first rotationally symmetrical figure arranged and a second rotationally symmetrical figure arranged on a plane including the main part and outside a region surrounded by the edge of the main part.
[0008]
Further, the three-dimensional position / posture detection method of the present invention is a method for detecting a three-dimensional position and posture of the three-dimensional position / posture detection stereoscopic image from the captured image of the three-dimensional position / posture detection,
Detecting a contour of a main part in the captured image and calculating a three-dimensional three-dimensional position from the contour;
A graphic detection step of detecting and determining the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic in the captured image;
A plane including the three-dimensional position of the solid determined in the position calculating step and the positions of the first rotationally symmetrical figure and the second rotationally symmetrical figure detected in the figure detecting step, or the contour including the contour detected in the position calculating step And a posture calculation step of calculating a three-dimensional posture of the three-dimensional object based on the three-dimensional position of the three-dimensional object determined in the figure and the position of the second rotation target graphic detected in the figure detection step.
[0009]
Further, the three-dimensional position / posture detection device of the present invention is a device that detects a three-dimensional position and posture of the three-dimensional position / posture by inputting a captured image of the three-dimensional position / posture detection solid,
Position calculating means for detecting an outline of a main part in the captured image and obtaining a three-dimensional position of a three-dimensional object from the outline;
Figure detection means for detecting and determining the positions of the first rotationally symmetric figure and the second rotationally symmetric figure in the captured image;
A plane including the three-dimensional position of the solid determined by the position calculating means and the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic detected by the graphic detecting means, or the contour detected by the position calculating means And a posture calculating means for calculating a three-dimensional posture of the three-dimensional object based on the three-dimensional position of the three-dimensional object and the position of the second rotation target graphic detected by the graphic detecting means.
[0010]
In a method / apparatus for photographing a known solid having a figure arranged on a surface with a camera, and detecting a position and a posture in a space of the solid from a shape on a captured image of the solid, a main part of the solid is described. By using a disk or a ring, the position of the solid can be calculated from the contour of the main part of the solid, and the posture of the solid can be calculated from a separately provided rotationally symmetrical figure.
[0011]
Also, in the matching process for detecting the position of a figure, by using a relatively small-sized figure drawn on a part of the three-dimensional object, it is possible to use a template image corresponding only to the area of the figure rather than the entire three-dimensional object. In addition, the storage capacity of the template image and the calculation cost of the matching process can be reduced.
[0012]
As described above, the calculation of the position and the calculation of the posture can be separated, and the storage capacity and the calculation cost of the template image in the matching processing can be reduced, so that the overall calculation cost is significantly increased while ensuring high accuracy. Can be suppressed.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0014]
[First Embodiment]
FIG. 1 is a diagram showing a three-dimensional position / posture detection solid and a three-dimensional position / posture detection device according to a first embodiment of the present invention.
[0015]
The three-dimensional position / posture detection device 3 includes a position calculation unit 31, a figure detection unit 32, and a posture calculation unit 33. The three-dimensional position / posture detection solid (hereinafter, referred to as “solid”) 1 is imaged by the camera 2. From the obtained captured image, the three-dimensional position and orientation of the three-dimensional object 1 are detected.
[0016]
FIG. 2 is a diagram showing an example of the solid 1, and FIG. 3 is a diagram showing a positional relationship of each part thereof.
[0017]
The three-dimensional body 1 is composed of a main part 101 made of a thin disk (radius r) having an edge 111 and two first dots of the same size and the same color supported by a thin structure. It comprises a disk on which the second rotationally symmetric figures 121 and 131 are drawn. The first rotationally symmetric graphic 121 has a center on the rotationally symmetric axis of the main part 101 and is on a plane parallel to a plane including the surface of the main part 101 and at a distance h from the surface.
The second rotationally symmetric graphic 131 is located on a plane including the main part 101 at a distance g from the rotational symmetry axis of the main part 101 outside the region surrounded by the edge 111 of the main part.
The smaller the size of the rotationally symmetric figures 121 and 131, the more accurately the position can be detected, and the size difference from the entire solid 1 becomes large, so that the three-dimensional attitude of the solid 1 can be calculated with high accuracy. Therefore, it is desirable to set the minimum size at which the position on the captured image can be identified. In the following, a description will be given assuming that the rotation target figures 121 and 131 are dot figures.
[0018]
In the present embodiment, it is assumed that the position of the three-dimensional object 1 is far from the camera 2 such that the edge 111 of the main part 101 can approximate an ellipse on the captured image. In the present embodiment, it is assumed that the inclination of the solid 1 is within a range in which the rotationally symmetrical figure 121 does not go outside the edge 111 of the main part 101 on the captured image.
[0019]
The three-dimensional position / posture detection device 3 first calculates the position of the three-dimensional object 1 from the contour of the main part 101 of the three-dimensional object 1 on the captured image by the position calculating unit 31, The positions of the rotationally symmetric figures 121 and 131 on the image are detected, and the orientation calculating unit 33 further detects the orientation of the rotationally symmetric axis of the main part 101 of the solid 1 and the rotation angle around the rotationally symmetric axis, that is, the attitude of the solid 1 Is calculated.
[0020]
Hereinafter, in the present embodiment, a method of obtaining the three-dimensional position and orientation of the three-dimensional object 1 from the captured image using the three-dimensional object 1 will be described.
[0021]
FIG. 4 shows a three-dimensional object 1 at a position (x, y, z) in a coordinate system in real space based on the camera 2 with the optical center C of the lens of the camera 2 as the origin and the optical axis of the lens as the Z axis. It is the figure which showed a mode that was placed. X is a horizontal axis in the real space, and Y is a vertical axis in the real space. The solid 1 has the same design as that shown in FIG. The camera 2 can be treated as an ideal camera having no lens distortion or the like by correcting the optical distortion of the captured image.
[0022]
FIG. 5 shows a template image for detecting dot-like figures 121 and 131, which is actually created by performing a blurring process using a Gaussian filter or the like.
[0023]
FIG. 6A is a diagram illustrating a captured image of the solid 1, and FIG. 6B is a diagram illustrating detection results of the contour 111 of the main part 101 and the dot-shaped rotationally symmetric figures 121 and 131 in the captured image. . u is the horizontal axis of the image, and v is the vertical axis of the image. In FIG. 6B, 111 s is an ellipse representing an outline obtained by fitting the edge 111 of the main part 101 of the detected solid 1, 121 s is the position of the detected dot-shaped figure 121, and 131 s is detected This is the position of the dot graphic 131.
Here, when a point on the captured image is represented by coordinates (u, v), the ellipse 111s can be represented by the following equation.
[0024]
(Equation 1)

[0025]
FIG. 7 is a diagram illustrating a geometric relationship between the

positions

121s and 131s of the dot-shaped figures on the captured image and the positions of the dot-shaped rotationally symmetric figures in the coordinate system XYZ in the real space. 4 is the center of the circle corresponding to the ellipse 111s represented by the equation (1), that is, the position of the center of the main part 101 of the solid 1 in the real space. 5 is a plane including the circle, that is, a plane including the main portion 101 of the solid 1 and its edge 111. Reference numeral 6 denotes a sphere having a radius h centered at 4. Reference numeral 7 denotes a point corresponding to 121 s, that is, the position of the rotationally symmetrical graphic 121 in the real space, and reference numeral 8 denotes a point corresponding to 131 s, that is, the position of the rotationally symmetrical graphic 131 in the real space. C is the optical center of the lens of the camera 2. The position 7 is an intersection of the straight line connecting the position 121 s and the lens center C with the sphere 6. The position 8 is the intersection of the straight line connecting the position 131 s and the lens center C with the plane 5.
[0026]
The position 4 in the real space of the center of the main part 101 of the solid 1 shown in FIG. 7 and the plane 5 including the main part 101 and its edge 111 are the coefficients α, β, γ, δ, ε, It can be obtained by the following method by using ζ and ζ (for example, refer to the document Kenichi Kanatani, enemy Ecomic Composition for Machine Vision P.228).
[0027]
First, a matrix Q represented by the following equation is created, and eigenvalues λ ₁ , λ ₂ , λ _{3 of} Q and unit eigenvectors n ₁ , n ₂ , n ₃ corresponding to these eigen values are calculated. Here, the eigenvalue is selected so that λ ₃ <0 <λ ₁ ≦ λ ₂ .
[0028]
(Equation 2)

[0029]
Here, f is the distance between the uv plane in FIG. 7 and the optical center C of the lens, and κ is selected so that detQ = −1.
[0030]
Next, using the eigenvalues λ ₁ , λ ₂ , λ _{3 of} Q obtained above and the unit eigenvectors n ₁ , n ₂ , n ₃ , the normal vector n of the plane 5 and the plane 5 And the distance d between the lens and the optical center C of the lens are calculated.
[0031]
[Equation 3]

[0032]
Here, r is the radius of the edge 111 of the main part. The plane 5 is determined by the normal vector n and the distance d.
[0033]
Further, using the inverse matrix Q ^{−1 of} Q obtained above and the normal vector n, a position vector m starting from the optical center C of the lens is calculated by the following equation.
[0034]
(Equation 4)

[0035]
The position 4 is obtained as an intersection between the position vector m and the plane 5.
[0036]
FIG. 8 is a flowchart showing a procedure for obtaining the three-dimensional position and orientation of the solid 1.
1. In the captured image (FIG. 6 (a)), an ellipse 111s fitted to the contour 111 of the main part 101 of the three-dimensional object 1 is detected using Hough transform or the like, and the coefficients α, β, γ, δ, ε, and ζ are obtained (step 201).
From the α, β, γ, δ, ε, and ζ obtained in 2.1, the plane 5 including the main part 101 of the solid 1 and its edge 111 is obtained by the method shown in Expressions (1) to (5). And the position 4 of the center of the main part 101 are obtained, and the plane 5 is obtained (step 202).
3. A template image (FIG. 5) for detecting a dot-shaped figure and a captured image (FIG. 6A) are subjected to a matching process using a normalized correlation method or the like, and a dot on the captured image at which the matching score is maximized is obtained. The position of the figure is detected (step 203).
From the positional relationship between each of the positions detected in 4.3 and the ellipse 111s, it is determined whether each position corresponds to the rotationally symmetrical graphic 121 or the rotationally symmetrical graphic 131 (step 204). That is, among the detected positions, the one inside the ellipse 111s is 121s, and the outside one is 131s.
5. The position 7 and the position 8 are obtained from the geometric relationship shown in FIG. 7 (step 205).
6. From the positions 4 and 7, the orientation of the rotationally symmetric axis of the main part 101 of the solid 1 is determined, and from the positions 4 and 8, the rotation angle of the solid 1 around the rotationally symmetric axis is determined (step 206).
The position 4 obtained in 7.2 is defined as the three-dimensional position of the solid 1, and the direction of the rotational symmetry axis of the main part 101 of the solid 1 and the rotation angle about the rotational symmetry axis obtained in 6 are three-dimensional. The posture is set (step 207).
[0037]
In the above procedure, when the inclination of the normal vector n obtained by the equation (3) is smaller than a predetermined value, the inclination of the rotational symmetry axis of the main part 101 of the solid 1 from the positions 4 and 7 is calculated. If it is larger than the predetermined value, the inclination of the rotationally symmetric axis of the main part 101 of the solid 1 may be obtained from the normal vector n obtained by the equation (3).
By performing such a contrivance, the posture of the three-dimensional object 1 can be obtained with higher accuracy.
[0038]
[Second embodiment]
In the first embodiment, the first and second rotation target figures 121 and 131 provided in the solid 1 have the same color, and the inclination of the solid 1 is such that the figure 121 is the edge of the main part 101 on the captured image. It is assumed that the value is within a range that does not come out of the area 111.
[0039]
On the other hand, in the present embodiment, the first and second rotation target figures provided on the solid 1 have different colors from each other, and the limitation on the inclination of the solid 1 is eliminated.
[0040]
FIG. 9 is an example of the solid 1. The solid 1 has a main portion 102, which is a thin ring having an edge 112, and two dot-shaped figures 122 and 132 of the same size and different colors supported by a thin structure. And a disc. Here, it is assumed that the figure 122 is drawn in red and the figure 132 is drawn in blue. As in the first embodiment, it is desirable that the sizes of the figures 122 and 132 be the minimum size that can be identified in both the position and the color on the captured image.
[0041]
The method of detecting the three-dimensional position and orientation in the present embodiment is based on only the procedure of determining which of the two dot-shaped figures 122 and 132 corresponds to each of the detected positions of the dot-shaped figure. This is different from the first embodiment. Therefore, the method according to the present embodiment will be described with reference to FIGS. 4 to 7 as in the first embodiment. However, in the present embodiment, it is assumed that the captured image corresponding to FIG. 6 is a color image having color information, and in each figure, 111, 121, 131, 111s, 121s, and 131s are denoted by 112, 122, and 132, respectively. , 112s, 122s, and 132s.
[0042]
FIG. 10 is a flowchart showing a procedure for obtaining the three-dimensional position and orientation of the solid 1.
1. In the captured image (FIG. 6A), an ellipse 112s fitted to the contour of the main part 102 of the three-dimensional object 1 is detected using Hough transform or the like, and the respective coefficients α, β, γ, and δ in the equation (1) are detected. , Ε, and ζ (step 301). However, only the density information of the captured image is used here.
From α, β, γ, δ, ε, and ζ obtained in 2.1, the plane 5 including the main portion 102 of the solid 1 and its edge 112 is obtained by the method shown in Expressions (1) to (5). And the position 4 of the center of the surface of the main part 102 are obtained, and the plane 5 is obtained (step 302).
3. A template image (FIG. 5) for detecting a dot-shaped figure and a captured image (FIG. 6A) are subjected to a matching process using a normalized correlation method or the like, and a dot on the captured image at which the matching score is maximized is obtained. The position of the figure is detected (step 303). However, only the density information of the captured image is used here.
Based on the color information of the captured image (FIG. 6A) at each of the positions detected in 4.3, it is determined whether each position corresponds to FIG. 122 or 132 (step 304). That is, if the pixel at the detected position has red color information, the position is set to 122 s, and if the pixel has blue color information, the position is set to 132 s.
5. The positions 7 and 8 are obtained from the geometric relationship shown in FIG. 7 (step 305).
6. The direction of the rotationally symmetric axis of the main part 102 of the solid 1 is determined from the positions 4 and 7, and the rotation angle of the solid 1 around the rotationally symmetric axis is determined from the positions 4 and 8 (step 306).
The position 4 obtained in 7.3 is defined as the three-dimensional position of the solid 1, and the direction of the rotational symmetry axis of the main part 102 of the solid 1 obtained in 5 and the rotation angle around the rotational symmetry axis are determined as 3 of the solid 1. A dimensional posture is set (step 307).
[0043]
FIGS. 11 to 13 show other examples of the solid body 1 capable of detecting a three-dimensional position and orientation by the procedure shown in the first or second embodiment. However, when the first and second rotation target figures provided on the solid 1 have the same color, the procedure described in the first embodiment can be applied, and the first and second rotations provided on the solid 1 can be applied. When the target graphics have different colors, the procedures described in the first and second embodiments can be applied.
[0044]
The solid shown in FIG. 11 is composed of a main part 103 which is a ring and two small balls 123 and 133 of the same size supported via a thin structure.
[0045]
The solid shown in FIG. 12 includes a main portion 104 which is a disk having an edge 114 and a rod-like shape which is supported by the main portion 104 and has dot-like figures 124 and 134 of the same size respectively drawn on a part of the surface. And a plate-like structure.
[0046]
The three-dimensional structure shown in FIG. 13 is a cylindrical and plate-like structure in which a ring-shaped main portion 105 and dot-like figures 125 and 135 of the same size are drawn on a part of the surface and are respectively supported on a part of the surface. Consisting of body and body.
[0047]
As described above, in the method for determining the three-dimensional position and orientation of a solid according to the present embodiment, the main part of the solid is a disk or a ring. The calculation cost can be reduced while securing the same. Further, since a relatively small-sized figure drawn on a part of the three-dimensional object is used, a template image corresponding to only the area of the figure rather than the entire three-dimensional object may be used. Can be kept small. As a result, the overall calculation cost can be significantly reduced while ensuring high accuracy.
[0048]
In the above embodiment, an example has been described in which the two rotationally symmetric figures of the solid 1 have the same size and the same shape. However, by changing the template images required for detecting these figures, the two rotationally symmetric figures have different sizes and different shapes (for example, a dot figure and a circular figure). However, the present invention can provide the same effect.
[0049]
The three-dimensional position / posture detection method of the present invention is not limited to a method realized by dedicated hardware, and a program for realizing the function is recorded on a computer-readable recording medium, and is recorded on the recording medium. The recorded program may be read by a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is one that dynamically holds the program for a short time (transmission medium or transmission wave), such as a case where the program is transmitted via the Internet, and serves as a server in that case. It also includes those that hold programs for a certain period of time, such as volatile memory inside a computer system.
[0050]
【The invention's effect】
As described above, the present invention has the following effects.
1) The calculation of the position and the calculation of the posture can be separated by using a disk or a ring as the main part of the three-dimensional object, and the calculation cost can be reduced while ensuring high accuracy.
2) By using a relatively small-sized figure drawn on a part of the three-dimensional object, a template image corresponding to only the area of the figure, not the entire three-dimensional object, can be used. The calculation cost can be reduced.
3) Since the position detection is performed based on the contour and the contour is based on many edge points, the position detection does not need to be affected by the quantization error of the pixel.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a three-dimensional position / posture detection device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a first example of a three-dimensional position / posture detecting solid 1;
FIG. 3 is a diagram showing a positional relationship between a main part 101 and rotationally symmetric figures 121 and 131 in the solid 1 shown in FIG.
FIG. 4 shows a state where the solid 1 is placed in a coordinate system in a real space with respect to the camera 2 with the optical center C of the lens of the camera 2 as the origin and the optical axis of the lens as the Z axis. FIG.
FIG. 5 is a diagram showing a template image for detecting a dot-shaped figure.
FIG. 6 is a diagram illustrating a captured image of the three-dimensional object 1 (FIG. 6A), and the detection results of the outline of the main part 101 of the three-dimensional object 1 and each dot-shaped figure in the captured image.
FIG. 7 is a diagram illustrating a geometric relationship between a position of a graphic on a dot on a captured image and dot-

like graphics

121 and 131 in a coordinate system in a real space.
FIG. 8 is a flowchart showing a procedure for obtaining a three-dimensional position and orientation of the solid 1;
FIG. 9 is a diagram illustrating a second example of the solid 1. FIG.
FIG. 10 is a flowchart showing a procedure for obtaining a three-dimensional position and orientation of the solid 1 shown in FIG.
FIG. 11 is a diagram illustrating a third example of the three-dimensional object 1.
FIG. 12 is a diagram showing a fourth example of the solid 1;
FIG. 13 is a diagram illustrating a fifth example of the solid 1;
[Explanation of symbols]
Reference Signs List 1 3D position / posture detection stereoscopic camera 2 Camera 3 3D position / posture detection device 4 Center of circle 5 corresponding to ellipse 111s 5 Sphere centered on plane 64 including circle 7 Position in real space of figure 121 Position 8 Position Intersection 31 of a straight line connecting 131s and lens center C and plane 5 31 Position calculating unit 32 Graphic detecting unit 33

Attitude calculating units

101, 102, 103, 104, 105

Main parts

111, 114

Edges

121, 122, 123, 124, 125 First rotationally symmetrical graphic 131, 132, 133, 134, 135 Second rotationally symmetrical graphic 111s Ellipse 121s representing an outline obtained by fitting to edge 111 Detected position 131s of dot-shaped graphic 121 Detected Positions 201 to 207, 301 to 307 of the dot-shaped figure 131 Step

Claims

A three-dimensional object capable of detecting its three-dimensional position and orientation by inputting a captured image to the three-dimensional position / posture detection device,
A disk-shaped or ring-shaped main part,
A first rotationally symmetric figure whose center is on the axis of rotational symmetry of the main part and is arranged on a plane parallel to the main part and not including the main part;
A three-dimensional position / posture detection solid body having a second rotationally symmetrical figure arranged on a plane including the main part and outside a region surrounded by an edge of the main part.

The three-dimensional position / posture detection solid according to claim 1, wherein the first and second rotationally symmetric figures have the same size and the same shape.

The three-dimensional position / posture detection solid according to claim 1, wherein the first and second rotationally symmetric figures have different colors.

A disk-shaped or ring-shaped main part, and a first rotationally symmetric figure whose center is on the axis of rotational symmetry of the main part, and which is arranged on a plane parallel to the main part not including the main part. A three-dimensional position / posture detection stereoscopic image having a second rotationally symmetric figure arranged on a plane including the main part and outside a region surrounded by the edge of the main part, A method for detecting a three-dimensional position and orientation of a three-dimensional object,
Detecting a contour of the main part in the captured image and calculating a three-dimensional position of the three-dimensional object from the contour;
A figure detection step of detecting and determining the positions of the first rotationally symmetric figure and the second rotationally symmetric figure in the captured image;
The three-dimensional position of the three-dimensional object determined in the position calculation step and the positions of the first rotationally symmetrical figure and the second rotationally symmetrical figure detected in the figure detecting step, or detected in the position calculating step Posture calculation for calculating the three-dimensional posture of the solid based on the normal vector of the plane including the contour, the obtained three-dimensional position of the solid and the position of the second rotation target graphic detected in the graphic detection step And a three-dimensional position / posture detection method.

The figure detecting step includes:
A first step of detecting a position of the rotationally symmetric graphic on the captured image by comparing the captured image with a template image of the rotationally symmetric graphic;
A second step of determining which of the first rotationally symmetrical figure and the second rotationally symmetrical figure each position corresponds to from the positional relationship between each of the positions detected in the first step and the contour; The three-dimensional position / posture detection method according to claim 4, comprising:

The first and second rotationally symmetric figures of the three-dimensional position / posture detection solid are different colors from each other,
The figure detecting step includes:
A first step of detecting a position of the rotationally symmetric graphic on the captured image by comparing the captured image with a template image of the rotationally symmetric graphic;
A second step of determining which of the first rotationally symmetrical figure and the second rotationally symmetrical figure each position corresponds to from the color information of the captured image at each of the positions detected in the first step. 5. The three-dimensional position / posture detection method according to claim 4, comprising:

A disk-shaped or ring-shaped main part, and a first rotationally symmetric figure whose center is on the axis of rotational symmetry of the main part, and which is arranged on a plane parallel to the main part not including the main part. Inputting a three-dimensional position / posture detection stereoscopic image having a second rotationally symmetrical figure arranged on a plane including the main part and outside a region surrounded by an edge of the main part. Thereby detecting the three-dimensional position and orientation of the solid,
Position calculating means for detecting an outline of the main part in the captured image and obtaining a three-dimensional position of the three-dimensional object from the outline;
Figure detection means for detecting and determining the positions of the first rotationally symmetric figure and the second rotationally symmetric figure in the captured image;
The three-dimensional position of the three-dimensional object determined by the position calculating means and the positions of the first rotationally symmetric graphic and the second rotationally symmetric graphic detected by the graphic detecting means, or the positions detected by the position calculating means Posture calculation for calculating a three-dimensional posture of the solid based on a normal vector of a plane including the contour, the obtained three-dimensional position of the solid, and the position of the second rotation target graphic detected by the graphic detecting means. And a three-dimensional position / posture detecting device having means.

The figure detecting means includes:
First means for detecting a position of the rotationally symmetric graphic on the captured image by comparing the captured image with a template image of the rotationally symmetric graphic;
A second step of determining which of the first rotationally symmetrical figure and the second rotationally symmetrical figure each position corresponds to from the positional relationship between each of the positions detected in the first step and the contour; The three-dimensional position / posture detection apparatus according to claim 7, comprising:

The first and second rotationally symmetric figures of the three-dimensional position / posture detection solid are different colors from each other,
The figure detecting means includes:
First means for detecting a position of the rotationally symmetric graphic on the captured image by comparing the captured image with a template image of the rotationally symmetric graphic;
A second step of determining which of the first rotationally symmetrical figure and the second rotationally symmetrical figure each position corresponds to from the color information of the captured image at each of the positions detected in the first step. The three-dimensional position / posture detecting apparatus according to claim 7, comprising means.

A three-dimensional position / posture detection program for causing a computer to execute the three-dimensional position / posture detection method according to any one of claims 4 to 6.

A computer-readable recording medium which stores a program for causing a computer to execute the three-dimensional position / posture detection method according to claim 1.