JP2023125328A - 位置姿勢推定システム、及び、位置姿勢推定方法 - Google Patents

Abstract

【課題】 マーカによる位置姿勢推定における誤検知を排除する。【解決手段】 対象物の外面に設置したマーカを撮像して画像を出力する撮像部と、前記画像から前記マーカの各辺の長さを検出するマーカ特徴量検出部と、前記撮像部と前記マーカの相対位置関係を判定する相対位置関係判定部と、前記相対位置関係から前記マーカの位置姿勢を推定するマーカ位置姿勢推定部と、前記マーカの位置姿勢に基づいて前記対象物の位置姿勢を推定する対象物位置姿勢推定部と、推定した前記対象物の位置姿勢を全体座標系に統合する全体座標系統合部と、を備える位置姿勢推定装置。【選択図】 図２

Description

本発明は、マーカを撮像することで、マーカが設置された対象物の位置と姿勢を推定する、位置姿勢推定システム、及び、位置姿勢推定方法に関する。

人間の立ち入りが困難な高放射線量下などの過酷環境においては、人間に代わって遠隔作業装置が各種の作業を実施する。この種の遠隔作業装置に適切な位置姿勢で作業させるには、オペレータが遠隔操作する場合でも、自律制御される場合でも、遠隔作業装置や作業対象物の現状の位置姿勢を正確に把握する必要がある。

しかしながら、遠隔作業装置や作業対象物の位置姿勢を検出できる一般的なセンサに高い放射線耐性を持たせることは技術的または費用的に困難であるため、遠隔作業装置や作業対象物の外面に設置したマーカを、放射線耐性が比較的高くかつ比較的安価なデジタルカメラで撮像することで、デジタルカメラの位置姿勢に対する遠隔作業装置や作業対象粒の相対的な位置姿勢を推定する技術が提案されている。

例えば、特許文献１の要約書には、課題として「対象物との位置姿勢関係が既知のマーカの撮影画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め当該対象物の位置及び姿勢を求める場合に、広い領域で測定可能な３次元位置姿勢センシング装置を提供する。」と記載されており、解決手段として「本発明は、画像撮影部１で撮影した複数のコードマーカ５のうちの１つのコードマーカ５の画像を解析して、該コードマーカ５と上記画像撮影部１の相対的位置姿勢関係を求め、上記対象物４と上記画像撮影部１との３次元位置姿勢関係を求める３次元位置姿勢センシング装置に関する。」と記載されている。すなわち、特許文献１の３次元位置姿勢センシング装置では、複数のコードマーカ（同文献の図１、２など参照）のうちの１つのコードマーカの画像を解析することで対象物と画像撮像部間の相対的な３次元位置姿勢関係を求めていた（同文献の図７など参照）。

特開２００２－９０１１８号公報

ここで、マーカを利用する場合の一般的な問題として、マーカ特徴量の検出時に誤差が生じることがある。例えば、本来マーカ画像の一部であるべき画素がマーカでないと誤って判定されたり、本来マーカ画像でないはずの画素がマーカの一部と誤って判定されたりした結果、検出したマーカ特徴量が本来あるべきマーカ特徴量と異なってしまう場合がある。

そのような誤ったマーカ特徴量が検出された場合には、特許文献１の３次元位置姿勢センシング装置では、正確なマーカ特徴量から求まるはずの適切な３次元位置姿勢関係ではなく、誤ったマーカ特徴量に基づく不適切な３次元位置姿勢関係を、対象物と画像撮像部の相対的な３次元位置姿勢関係と誤解する可能性があった。

しかしながら、特許文献１の３次元位置姿勢センシング装置では、マーカ特徴量の正誤を判定できないため、マーカ特徴量に基づいて求めた３次元位置姿勢関係の適否を判定することもできなかった。このため、特許文献１の技術で求めた３次元位置姿勢関係に依拠して遠隔作業装置を操作すると、遠隔作業装置が不適切な位置姿勢で作業を実施する可能性があった。

本発明は上述した事情に鑑みてなされたものであり、マーカ特徴量の正誤を判定することで、適切なマーカ画像に基づいては対象物の位置姿勢を推定する一方、不適なマーカ画像に基づいては対象物の位置姿勢を推定しない、位置姿勢推定システム、及び、位置姿勢推定方法を提供することを目的とする。

上記課題を解決するため本発明の位置姿勢推定装置は、対象物の外面に設置したマーカを撮像して画像を出力する撮像部と、前記画像から前記マーカの各辺の長さを検出するマーカ特徴量検出部と、前記撮像部と前記マーカの相対位置関係を判定する相対位置関係判定部と、前記相対位置関係から前記マーカの位置姿勢を推定するマーカ位置姿勢推定部と、前記マーカの位置姿勢に基づいて前記対象物の位置姿勢を推定する対象物位置姿勢推定部と、推定した前記対象物の位置姿勢を全体座標系に統合する全体座標系統合部と、を備える位置姿勢推定装置とした。

本発明の位置姿勢推定システム、及び、位置姿勢推定方法によれば、マーカ特徴量の正誤を判定することで、適切なマーカ画像に基づいては対象物の位置姿勢を推定する一方、不適なマーカ画像に基づいては対象物の位置姿勢を推定しないため、対象物の位置姿勢の誤推定を回避することができる。

実施例１の位置姿勢推定システムの概略構成図。 実施例１の位置姿勢推定システムの機能ブロック図。 あるマーカ画像に対応する２種類のマーカ座標を示す概略図。 実施例１の位置姿勢推定方法を説明するフローチャート。 実施例２のマーカと補助マーカの関係を説明する概略図。 実施例２のマーカ位置姿勢の適否判断方法を説明するフローチャート。

以下、図面を参照し、本発明の位置姿勢推定システムの実施例を説明する。

図１は、実施例１の位置姿勢推定システム１００と、同システムによって現状の位置姿勢が推定される遠隔作業装置（以下、「移動体１」と称する）の概略構成図である。ここに示すように、本実施例の位置姿勢推定システム１００は、撮像装置２と、中継装置３と、演算装置４を有している。以下、各装置の詳細を順次説明する。

移動体１は、例えば、人間の立ち入りが困難な高放射線量下などの過酷環境で使用される遠隔操作可能なロボットであり、その外面の一部にマーカＭが設置されている。マーカＭは、例えば、正方形のＡＲマーカであるが、上辺と下辺が平行かつ同じ長さであるか、左辺と右辺が平行かつ同じ長さであれば、他形状のＡＲマーカであっても良い。また、マーカＭは、移動体１に貼り付けられたステッカーであっても良いし、移動体１に塗装や刻印されたものであっても構わない。また、図１では、１台の移動体１を例示しているが、同じ場所で複数の移動体１を連携動作させても良く、その場合は、それらの移動体１の位置姿勢を個々に推定できるように、各々の移動体１にユニークなマーカＭを設置すれば良い。

マーカＭには、図示するようなマーカ座標系（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）が設定されている。マーカ座標系の縦軸Ｘ_Ｍは、マーカＭの左辺および右辺と平行な方向（マーカＭに対して上向き）に設定されており、横軸Ｙ_Ｍは、マーカＭの上辺および下辺と平行な方向（マーカＭに対して左向き）に設定されており、法線軸Ｚ_Ｍは、縦軸Ｘ_Ｍおよび横軸Ｙ_Ｍと直交する方向（マーカＭの表面方向）に設定されている。

また、移動体１には、図示するような移動体座標系（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）が設定されている。マーカ座標系と移動体座標系の位置姿勢の関係は固定されているため、マーカ座標系の位置姿勢を特定できれば、移動体座標系の位置姿勢（すなわち、移動体１の位置姿勢）を演算して求めることができる。

撮像装置２は、移動体１を撮像可能な位置に配置したデジタルカメラであり、撮像した画像Ｐを外部に送信する。なお、撮像装置２には、図示するようなカメラ座標系（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）が設定されており、Ｚ_Ｃは撮像装置２の光軸方向（撮像方向）を示している。

中継装置３は、撮像装置２から演算装置４への画像Ｐの送信や、演算装置４から移動体１への動作指令Ｃの送信などを中継する通信装置である。装置間の通信には無線通信を利用しても良いし、有線通信を利用しても良い。なお、移動体１、撮像装置２、演算装置４の間で直接通信可能な場合は、中継装置３を省略しても良い。

演算装置４は、画像Ｐ中のマーカ特徴量を基にして移動体１の現状の位置姿勢を推定するとともに、推定した位置姿勢を基に所望の動作シーケンスを規定する動作指令Ｃを生成して移動体１に送信する。この演算装置４は、具体的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等のハードウエアを備えた、パソコン等のコンピュータであり、ＣＰＵが所定のプログラムを実行することで、後述する、マーカ特徴量検出部４１や相対位置関係判定部４２等の各機能部を実現する。なお、演算装置４には、液晶ディスプレイ等の表示装置と、マウス、キーボード（図示せず）等の入力装置が接続されており、オペレータは、画面を見ながら演算装置４を操作することができる。

＜位置姿勢推定システムの機能ブロック図＞
次に、図２の機能ブロック図を用いて、本実施例の位置姿勢推定システム１００と移動体１の機能部の詳細を説明する。なお、図２では、装置間の通信を中継するにすぎない中継装置３の図示を省略している。

移動体１は、上記したマーカＭに加え、可動部１１と通信部１２を備えている。可動部１１は、動作指令Ｃに基づいて制御される、作業用のマニピュレータや、移動用の駆動機構などである。通信部１２は、中継装置３を介して演算装置４から受信した動作指令Ｃを可動部１１に送信する。

撮像装置２は、撮像部２１と通信部２２を備えている。撮像部２１は、撮像素子と画像処理回路を有しており、移動体１の現状の位置姿勢、および、その動作状態を画像Ｐとして撮像する。通信部２２は、撮像部２１が撮像した画像Ｐを、中継装置３を介して演算装置４に送信する。なお、撮像部２１で移動体１を撮像すると、移動体１の外面に設けたマーカＭも撮像されるため、移動体１を撮像した画像Ｐの一部にはマーカ画像が含まれる。

演算装置４は、マーカ特徴量検出部４１と、相対位置関係判定部４２と、マーカ位置姿勢推定部４３と、移動体位置姿勢推定部４４と、全体座標系統合部４５と、位置姿勢制御部４６と、通信部４７を備えている。これらの機能部によって、演算装置４は、移動体１の現状の位置姿勢およびその動作状態から、予め定めた目標位置姿勢や動作シーケンスとの差分を算出し、当該差分を低減する動作指令Ｃを移動体１に送信する。これにより、移動体１を予め定めた位置姿勢の最終状態に推移させることができる。以下、演算装置４の各機能部の動作を順次説明する。

演算装置４では、移動体１を撮像した画像Ｐからマーカ画像を取得し、一般的に知られているＡＲマーカの位置姿勢推定技術（例えば、http://www.hitl.washington.edu/artoolkit/）を用いることで、マーカＭの位置姿勢を認識する。

しかしながら、特許文献１などで利用される従来技術においては、位置姿勢推定時に、マーカ座標系の法線軸Ｚ_Ｍの方向を特定できない場合がある。例えば、図３の中央に示すようなマーカＭを含む画像Ｐが撮像された場合、仮に撮像装置２ａの位置からマーカＭを撮像したのであれば、マーカ座標系の法線軸Ｚ_Ｍは図中のＺ_Ｍａ方向であるはずだし、仮に撮像装置２ｂの位置からマーカＭを撮像したのであれば、マーカ座標系の法線軸Ｚ_Ｍは上記したＺ_Ｍａ方向とは異なる方向のＺ_Ｍｂ方向であるはずである。すなわち、法線軸Ｚ_Ｍの方向が異なる２つのマーカ座標系は何れも正しい可能性があるが、画像Ｐ上に写っているマーカＭの形状からだけではどちらのマーカ座標系が正しいのかを判断できない。

ところで、図３に示すマーカＭの対向２辺（上辺Ｌ１と下辺Ｌ２、または、左辺Ｌ３と右辺Ｌ４）の画像Ｐ上での長さは、撮像装置２に近い位置にあるほど、遠近法によって長い辺として撮像される。このため、原理的には、マーカＭの対向２辺の画像Ｐ上での長さを比較することで、撮像装置２がマーカＭに対して上下左右の何れの方向に設置されているかを特定でき、結果として、図３に例示したような２つの選択肢から正しいマーカ座標系を選択することができる。

しかしながら、マーカＭの対向２辺の画像Ｐ上での長さ（マーカ特徴量の一種）の差分は微小であるため、マーカ特徴量検出部４１において、画像Ｐ上のマーカＭの各頂点をピクセル単位で誤検出した場合、各辺の長さはピクセル単位で長短関係が逆転する場合があり、その場合はマーカ座標系の法線軸Ｚ_Ｍの検知に誤りが発生することになる。このような場合、画像Ｐ上のマーカＭの各辺の長さの長短が、撮像装置２とマーカＭとの位置関係に対して物理的に正しい長さになっているかを判定し、誤検知である場合はマーカ座標を誤検知したと判断することで、マーカ位置姿勢推定部４３での誤推定を排除することができる。

従って、撮像装置２とマーカＭとの相対位置関係が既知である場合、例えば、図３のマーカＭでいえば、撮像装置２ｂはマーカＭの右下方から撮像しているため、画像Ｐ上の上辺Ｌ１と下辺Ｌ２を比較すると、下辺Ｌ２の方が撮像装置２ｂに近くにあるため下辺Ｌ２の方が上辺Ｌ１よりも長く写っているはずである。ここで、ＡＲマーカの位置姿勢推定技術を用いてマーカＭの四隅の座標を抽出し、上辺Ｌ１および下辺Ｌ２の長さを算出し、Ｌ２＞Ｌ１であれば当該位置姿勢推定技術で得られたマーカ座標系は物理的に正しいと判断する。それに対して、Ｌ１＞Ｌ２となっていた場合は、物理的に誤った画像認識結果となっているため、マーカ特徴量の誤検知があったと判断し、そこで得られたマーカ座標系は排除してその後の処理に用いないこととする。これにより、ＡＲマーカの位置姿勢推定技術で画像Ｐ上のマーカＭを誤検知した場合の結果を排除することができる。

＜移動体１の相対位置姿勢の推定処理のフローチャート＞
図４は、上記したＡＲマーカの位置姿勢推定技術でのマーカＭの誤検知を排除する機能を流れ図で表したフローチャートである。

まず、ステップＳ１では、マーカ特徴量検出部４１は、周知のマーカ位置姿勢推定技術を用いてマーカＭの四隅の座標を推定し、その値をマーカ特徴量として検出する。

次に、ステップＳ２では、相対位置関係判定部４２は、得られた四隅の座標から各辺の長さ（Ｌ１～Ｌ４）を算出し、撮像装置２とマーカＭとの位置関係からマーカＭの各辺同士の長短関係を特定し、得られた各辺の長さがその順列どおりになっているかを比較する。

ステップＳ３では、マーカ位置姿勢推定部４３は、そのマーカ各辺の長さの相関関係が正しいかを判定する。例えば、撮像装置２ａの位置（マーカＭに対して左上）から撮像していることが既知であれば、Ｌ１＞Ｌ２かつＬ３＞Ｌ４であるかを判定する。同様に、撮像装置２ｂの位置（マーカＭに対して右下）から撮像していることが既知であれば、Ｌ１＜Ｌ２かつＬ３＜Ｌ４であるかを判定する。そして、正しければ、Ｓ４に進み、誤っていれば、Ｓ１に戻る。

ステップＳ４では、移動体位置姿勢推定部４４は、画像Ｐ上のマーカＭから得られたマーカ座標系の位置姿勢情報を基に移動体座標系の位置姿勢情報を演算し、移動体１の位置姿勢を推定する。なお、ここで推定した移動体１の位置姿勢が相対的に正しくなければ、得られているマーカ座標系は誤っていると判断し、別の画像Ｐに対しステップＳ１のマーカ特徴量検出処理を実行する。

以上の処理により、マーカＭと撮像装置２の既知の相対的位置関係と矛盾しないマーカ特徴量を抽出することができ、移動体１の正しい位置姿勢を推定することができる。

＜移動体１の相対位置姿勢の推定後の処理＞
全体座標系統合部４５は、図４の処理で求めた、移動体１の相対的な位置姿勢を全体座標系に統合する。位置姿勢制御部４６は、全体座標系における移動体１の位置姿勢と、他の情報（移動体１の目的地、作業対象物の位置姿勢など）を考慮して、移動体１に対する動作指令Ｃを生成する。通信部４７は、位置姿勢制御部４６が生成した動作指令Ｃを移動体１に送信する。これにより、移動体１は所望の作業を実施することができる。なお、作業対象物の外面にマーカＭを設置すれば、上記同様の方法で、作業対象物の位置姿勢を推定することもできる。なお、その場合は、上記した移動体位置姿勢推定部４４と略同等の機能を持つ、作業対象物位置姿勢推定部を用意すれば良い。

以上で説明した、本実施例の位置姿勢推定システムによれば、マーカ特徴量の正誤を判定することで、適切なマーカ画像に基づいては対象物（移動体または作業対象物）の位置姿勢を推定する一方、不適なマーカ画像に基づいては対象物の位置姿勢を推定しないため、対象物の位置姿勢の誤推定を回避することができる。

次に、図５，６を用いて、本発明の実施例２を説明する。なお、実施例１との共通点は重複説明を省略する。

実施例１では、撮像装置２と、その撮像対象であるマーカＭの大凡の位置関係が既知である場合を想定した。しかしながら、複数の移動体１が連携動作する環境下では、各々の移動体１が広範囲を移動しながら、ある移動体１に搭載した撮像装置２で、他の移動体１のマーカＭを撮像することで、移動体１同士の相対的な位置姿勢を推定する場合がある。このような環境下では移動体１同士の相対的な位置関係が流動的であるため、実施例１の図３で述べたように、マーカＭを撮像する撮像装置２の相対的な位置姿勢を特定することができず、結果として、マーカＭの各辺の長短関係が物理的にどうなっているのが原理的に正しいのかを判断することもできない。そのため、何らかの手段でマーカＭの各辺の長さに関する正しい長短関係を把握する必要がある。

そこで、実施例２においては、上述したマーカＭの各辺の長さの長短関係を把握するため、図５に示すように、補助マーカＭａを追加設置して双方の位置関係を基にしてマーカＭの各辺から撮像装置２までの距離関係を把握する。マーカ座標系の法線軸Ｚ_Ｍの方向については、上述のとおり特定できない場合が存在したが、マーカＭの中心位置については画像検知誤差があったとしても、マーカＭのマーカサイズに対して画像Ｐ上の数ピクセルの誤差であり、位置情報に与える誤差はわずかでありロバストである。そこで、マーカＭと同一面内に補助マーカＭａを追加し、マーカＭおよび補助マーカＭａの位置情報を基に撮像装置２からの距離を推定する。

そのため、マーカＭおよび補助マーカＭａを、マーカＭと補助マーカＭａの中心同士を結ぶ直線ｌがマーカＭおよび補助マーカＭａの対応する辺と並行になる向きに設置する。当該直線ｌの直線式を算出し、撮像装置２か
ら直線ｌに垂線の足を下し、直線ｌとの交点を交点Ａとする。交点ＡからマーカＭおよび補助マーカＭａの該当する各辺までの長さは直線ｌに沿った長さであり、図６でいえば交点ＡからマーカＭの上辺までの長さが下辺までの長さよりも長いため、Ｌ１＞Ｌ２となっているはずである。

図６は、マーカＭと同一平面上に補助マーカＭａを追加設置してマーカＭの辺の長さを比較し、マーカＭのマーカ座標が正しいか否かを判断するフロー図である。

ステップＳ１１では、マーカＭと同一平面内に補助マーカＭａを設置する。このときのマーカＭおよび補助マーカＭａの中心を通る直線ｌを算出する。

ステップＳ１２では、撮像装置２から直線ｌまでの垂線の足Ａを求める。

ステップＳ１３では、点ＡからマーカＭの上辺Ｌ１および下辺Ｌ２までの距離を算出する。撮像装置２からの距離が短いほど、マーカＭの画像Ｐ上の辺の長さは長くなるはずであるため、点Ａから各辺までの距離と各辺の長さＬ１とＬ２を比較し、点Ａからの距離と辺の長さの相対関係が逆相関関係であればマーカＭのマーカ座標は正しく認識されていると判断する。逆に正の相関関係が同じであれば、マーカ座標の認識は誤検知であると判断する。

以上で説明した本実施例によれば、撮像装置２とマーカＭの位置姿勢の関係が未知であっても、撮像装置２とマーカＭの位置姿勢の関係を特定した後に、実施例１と同等の位置姿勢推定を実施することができる。なお、図５では、上側にマーカＭを配置し、下側に補助マーカＭａを配置したが、マーカＭや補助マーカＭａの名称は便宜的なものであるため、下側のマーカを基準に判定する場合は、下側をマーカＭ、上側を補助マーカＭａとして扱えば良い。

次に、本発明の実施例３を説明する。なお、上記の実施例との共通点は重複説明を省略する。

実施例２では、マーカＭと補助マーカＭａを同一平面内に配置したが、実施例３では、両マーカを異なる平面に配置する。この場合も、マーカＭと補助マーカＭａの位置姿勢の関係が既知であれば、補助マーカＭａの三次元中心座標の座標変換式を算出し、撮像装置２による画像Ｐに写る補助マーカＭａの中心座標をマーカＭが設置された平面上の点に座標変換することができる。上記座標変換後の点を新たに補助マーカＭａの中心座標と置き換えれば、以降は実施例２と同様に直線ｌを算出でき、撮像装置２から直線ｌに下した垂線の足Ａからの距離と、マーカＭの該当する辺の長さの相対関係が逆相関関係であればマーカＭのマーカ座標は正しく認識されていると判断できる。

次に、本発明の実施例４を説明する。なお、上記の実施例との共通点は重複説明を省略する。

実施例４においては、撮像装置２とマーカＭとの相対位置関係を把握するために、外部に設置した俯瞰カメラ５を追加している。この俯瞰カメラ５が、撮像装置２とマーカＭの双方を撮像した画像Ｐ’を用いて、両者の相対位置関係を把握し、撮像装置２による画像Ｐに写っているマーカＭの各辺の長さの物理的な長さに関する相対関係を特定する。

以降は図４のフロー図に従ってマーカ特徴量であるマーカ辺の長さを算出し、マーカ辺の長さ比較を行い、物理的に正しいマーカ辺の長さに関する相関関係となっているかを確認し、正しい相関関係であればマーカ位置姿勢を基に移動体の位置姿勢を推定することができる。

１００ 位置姿勢推定システム
１ 移動体
１１ 可動部
１２ 通信部
２ 撮像装置
２１ 撮像部
２２ 通信部
３ 中継装置
４ 演算装置
４１ マーカ特徴量検出部
４２ 相対位置関係判定部
４３ マーカ位置姿勢推定部
４４ 移動体位置姿勢推定部
４５ 全体座標系統合部
４６ 位置姿勢制御部
４７ 通信部
５ 俯瞰カメラ
Ｍ マーカ
Ｍａ 補助マーカ

Claims (6)

1. 対象物の外面に設置したマーカを撮像して画像を出力する撮像部と、
   前記画像から前記マーカの各辺の長さを検出するマーカ特徴量検出部と、
   前記撮像部と前記マーカの相対位置関係を判定する相対位置関係判定部と、
   前記相対位置関係から前記マーカの位置姿勢を推定するマーカ位置姿勢推定部と、
   前記マーカの位置姿勢に基づいて前記対象物の位置姿勢を推定する対象物位置姿勢推定部と、
   推定した前記対象物の位置姿勢を全体座標系に統合する全体座標系統合部と、
   を備えることを特徴とする位置姿勢推定装置。
2. 請求項１に記載の位置姿勢推定装置において、
   前記対象物と前記撮像部の相対位置関係を基に、前記画像上での前記マーカの各辺の長さの相関関係が物理的な条件を満たすか否かを判定し、
   前記条件を満たす場合は、前記マーカに基づいて前記対象物の位置姿勢を推定し、
   前記条件を満たさない場合は、前記マーカに基づいては前記対象物の位置姿勢を推定しないことを特徴とする位置姿勢推定装置。
3. 請求項１または請求項２に記載の位置姿勢推定装置において、
   前記対象物には、前記マーカと同一平面上に補助マーカが設置されており、
   前記補助マーカは、前記マーカと前記補助マーカの中心同士を結ぶ線分と前記マーカの辺が平行もしくは直交するように配置されており、
   前記相対位置関係判定部は、前記線分と前記撮像部の相対位置関係を基準に、前記撮像部と前記マーカの相対位置関係を判定することを特徴とする位置姿勢推定装置。
4. 請求項１または請求項２に記載の位置姿勢推定装置において、
   前記対象物には、前記マーカと異なる平面上に補助マーカが設置されており、
   前記相対位置関係判定部は、前記マーカと前記補助マーカの相対位置関係から、前記補助マーカを前記マーカと同一平面上の補助マーカに座標変換し、前記マーカと座標変換後の前記補助マーカの中心同士を結ぶ線分と前記撮像部の相対位置関係を基準に、前記撮像部と前記マーカの相対位置関係を判定することを特徴とする位置姿勢推定装置。
5. 請求項１から請求項４の何れか一項に記載の位置姿勢推定装置において、
   前記マーカは正四角形のマーカであり、
   前記対象物は、ロボットまたは該ロボットの作業対象物であることを特徴とする位置推定装置。
6. 対象物の外面に設置したマーカを撮像部で撮像して画像を出力する撮像ステップと、
   前記画像から前記マーカの各辺の長さを検出するマーカ特徴量検出ステップと、
   前記撮像部と前記マーカの相対位置関係を判定する相対位置関係判定ステップと、
   前記相対位置関係から前記マーカの位置姿勢を推定するマーカ位置姿勢推定ステップと、
   前記マーカの位置姿勢に基づいて前記対象物の位置姿勢を推定する対象物位置姿勢推定ステップと、
   推定した前記対象物の位置姿勢を全体座標系に統合する全体座標系統合ステップと、
   を備えることを特徴とする位置姿勢推定方法。

Images