JP2013217671A - ３次元物体位置・姿勢検出方法及び装置 - Google Patents

Abstract

【課題】３次元物体の位置及びその姿勢を検出することができる３次元物体位置・姿勢検出方法及び装置を提供する。
【解決手段】入力部からシステム制御部に制御信号を入力することで処理が開始される(S11)。次にシステム制御部がカメラ制御部に指示を与えてカメラで画像を撮影し、撮影した画像データをシステム制御部を介して記憶部内の画像メモリに記憶する(S12)。次に記憶部内に記憶された画像データをシステム制御部内に読出し、公知のカラーセグメンテーション処理を実行して領域の切り出し処理を行う(S13)。さらにシステム制御部は、切り出した領域ごとに記憶部内の色・姿勢対応表を参照して法線ベクトルを算出する(S14)。次にシステム制御部は領域ごとに位置・姿勢情報を算出する(S15)。システム制御部はステップS15で算出した位置・姿勢情報を出力部に制御信号として出力する(S16)。
【選択図】図５

Description

本発明は、赤，緑，青の３種類の光源の下で平面状の対象物の画像を１台のカメラ（カラー画像を取得し得るカメラ）によって撮影し、その画像から対象物の３次元位置・姿勢を検出する方法及び装置に関する。

従来、対象物の３次元位置・姿勢を認識する技術は、(ａ)レーザースキャナーにより測定された対象物の３次元点群データから位置・姿勢を認識する技術（特許文献１参照）、(ｂ)ステレオビジョンにより測定された対象物の距離画像から位置・姿勢を認識する技術（特許文献２参照）、(ｃ)１つのカメラで撮影された２次元画像と事前に想定される複数の姿勢を撮影した２次元画像を２次元パターンマッチにより対応付けることにより姿勢を認識する技術（特許文献３参照）、などが知られている。また、赤，緑，青の３種類の光源を配置することによって対象物の３次元形状をカラーで表現した画像を撮影し、事前に用意した正常な状態の対象物のカラー画像と比較することにより、対象物の形状変化を検査する技術（特許文献４参照）も知られている。

特開２００４−１３９７１３号公報 特許第２９６１２６４号公報 特開２００４−３３３４２２号公報 特開２００９−１２８３４５号公報

上記した(ａ)〜(ｃ)の技術は、対象物が複数存在する場合に、１つの部品（個別の対象物）を切り出す処理に複雑なアルゴリズムと大きな計算量を必要とするという問題がある。

さらに上記特許文献４に示される検査技術は、赤，緑，青の３つの光源を配置し画像を１つのカメラで撮影することにより、各画素の光源位置に対する傾斜角度により撮影された画像のカラー（色）が異なることを利用して正常な対象物のカラー画像と検査対象のカラー画像を比較し、３次元の形状変化を検査するようにしているが、この方式では形状の差異（変化）を検出することはできるが、対象物を切り出したり対象物の姿勢を検出することはできない。

そこで本発明は、３次元物体の位置及びその姿勢を検出することができる３次元物体位置・姿勢検出方法及び装置を提供することを目的とする。

上記課題を解決するために本発明は、１台のカメラからＺ軸方向に所定距離だけ離れた載置台に配置した複数個の平面状の対象物に向け、同じくＺ軸方向に上記載置台から所定距離だけ離れたＸ-Ｙ平面上において互いに離して配置した赤(red)，緑(green)，青(blue)の３種の光源で照射し、上記カメラで複数個の上記平面状の対象物を撮影し、該撮影された撮影画像において、上記対象物の色が上記載置台に配置された上記対象物の傾斜角度に応じて異なることを利用して該撮影画像からセグメンテーション技法により対象物画像を切り出し、切り出された該対象物画像の色から上記載置台に配置された上記対象物の姿勢を検出することを特徴とする。

本発明を従来の３次元姿勢を認識する上述した３つの手法と比較すると、本発明は公知のセグメンテーションアルゴリズムを応用した単純なアルゴリズムにより、少ない計算量で対象物を切り出すことができる。また、従来の３種類の光源を利用した３次元の形状変化を検査する検査技術では対象物の姿勢を検出できないが、本発明によれば測定された色を光源と対象物の傾斜角度に関係付けた情報を用いることで対象物の姿勢の検出ができる。

本発明によれば、公知のセグメンテーションアルゴリズムを応用した単純なアルゴリズムにより、少ない計算量で対象物を切り出すことができ、また測定された色を光源と対象物の傾斜角度に関係付けた情報を用いることにより対象物の姿勢を検出することができる。

本発明の実施形態に係る３次元物体位置・姿勢検出装置の構成概要を示すブロック図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、カメラ、及び赤，緑，青の３つの光源の配置関係を説明する図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置で取り扱う物体が直方体状の対象物が複数個存在する場合の様子及び当該対象物の画像例を示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、対象物の法線ベクトルの位置と対象物の色の組合せの対応表を作成する際の概念図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置の処理動作を示すフローチャート（その１）である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、赤，緑，青の３つの光源の方向ベクトルの概要を説明する図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、検出領域に置いた対象物のカラー画像の測定値が所定の値Ｗ０になるように補正する際の補正値の決定方法を説明する図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、対象物（面）と法線ベクトルとの関係を示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、カラー画像の値Ｗ０が測定値Ｒｍより大きいときの様子を示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、カラー画像の値Ｗ０が測定値Ｒｍより小さいときの様子を示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、赤Ｒについて、光源の方向ベクトルｒ０と法線ベクトルＮのなす角度θｒを計算する式を模式的に示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置における、光源緑、光源青に対しての光源の方向ベクトルと法線ベクトルのなす角度を計算する式を模式的に示す図である。 本発明の実施形態に係る３次元物体位置・姿勢検出装置の処理動作を示すフローチャート（その２）である。

以下、本発明の実施の形態について、詳細に説明する。
図１は、本発明の実施形態に係る３次元物体位置・姿勢検出装置の構成概要を示すブロック図である。図１において、本発明の実施形態に係る３次元物体位置・姿勢検出装置１００は、１台のカメラ（カラー画像を取得し得るカメラ）１と、該カメラ１の撮影制御を行うカメラ制御部６と、カメラ位置を原点とする３次元のカメラ座標系のＸ-Ｙ平面上に配置され、Ｚ軸方向の所定距離に配置された対象物(例．ワーク)を照らすための光源赤Ｒ(２)、光源緑Ｇ(３)、光源青Ｂ(４)の３種の光源と、それら３種の光源を制御する光源制御部７と、カメラ設置位置からＺ軸方向の所定距離に設定された測定領域に対象物を載置するための台であって、後述する色・姿勢の対応表を作成する際に上記対象物を回転可能にする回転機能付きワーク載置台５と、該ワーク載置台５を制御するワーク載置台制御部８と、カメラ１で撮影したカラー画像を記憶するとともに、上記した色・姿勢の対応表及び後述する補正値を記憶する記憶部10と、上記したカメラ制御部６、光源制御部７、ワーク載置台制御部８、及び、記憶部10とデータをやりとりしてシステム全体を制御するシステム制御部９と、該システム制御部９への制御信号の入力を行う入力部11と、システム制御部９からの制御信号の出力を受ける出力部12とで構成される。

上記構成において、入力部11からシステム制御部９に制御信号を入力することで３次元物体位置・姿勢検出装置としての処理を開始する。入力部11は、情報処理分野で周知のマウス、キーボード、トラックポインタなどの入力装置を利用する。システム制御部９は、例えばカメラ制御部６に指示を与えてカメラ１が画像を撮影し、撮影した画像データをシステム制御部９を介して記憶部10内の画像メモリ（図示せず）に記憶する。またシステム制御部９は、記憶部10内に記憶された画像データを読出し、公知のカラーセグメンテーション処理を実行して領域の切り出し処理を行う。なおシステム制御部９が行う領域の切り出し処理等に必要なプログラムは記憶部10または外部メモリ(図示せず)から事前にシステム制御部９内の内部メモリ(図示せず)に格納される。

さらにシステム制御部９は、切り出した領域ごとに記憶部10内の色・姿勢対応表を参照して法線ベクトルを算出する。説明が遅れたが、システム制御部９は情報処理装置分野で周知の中央処理装置（ＣＰＵ）を用いて構成することができる。

またシステム制御部９は、領域ごとに位置・姿勢情報を算出する。これについては後述する。そしてシステム制御部９は、算出した位置・姿勢情報を制御信号として出力部12に出力する。出力された制御信号は公知の液晶、プラズマ、有機EL等のディスプレイ装置に表示することができる。またディスプレイ装置でなくカラープリンタを利用することもできる。

図２は、図１に示した本発明の実施形態に係る３次元物体位置・姿勢検出装置におけるカメラ及び３つの光源の配置関係を説明する図である。すなわち、本発明の実施形態に係る３次元物体位置・姿勢検出装置における、カメラ１、及び赤２，緑３，青４の３つの光源を以下に示すように配置する。
（イ）カメラ、光源の配置
図２においては、カメラ１を原点とし、垂直方向がＺ軸、画像面がＸ-Ｙ平面となる３次元空間をカメラ座標系とする。対象物までのワークディスタンスは既知（Ｚ= Ｚｗ）とする。

次に、光源の配置条件について説明する。すなわち赤(R=red)１、緑(G=green)２、青(B=blue)３の３種の光源は、カメラ座標系においてカメラ１を中心にＸ-Ｙ平面上にできるだけ相互に離れた位置に配置される。相互の位置関係やワークディスタンスとの関係は厳密に規定する必要はないが、カメラ座標系における距離及び方向がワークディスタンスである点の近傍を測定領域、つまり、３次元のカメラ座標系の、Ｘ＝Ｙ＝０，Ｚ＝ワークディスタンス（Ｚ= Ｚｗ）の近傍の領域を測定領域21として上述の回転機能付きワーク載置台５上に設定し、測定領域21内では各光源の照度は均一であるとする。
（ロ）切り出し
図３は、本発明の実施形態に係る３次元物体位置・姿勢検出装置で取り扱う物体が直方体状の対象物（例．ワーク）で複数個存在する場合の様子及び当該対象物の画像例を示す図である。本発明の実施形態に係る３次元物体位置・姿勢検出装置は、カメラ設定位置をＸ-Ｙ平面の原点(Ｘ＝Ｙ＝０)とした３次元のカメラ座標系を想定している。このようなカメラ座標系において、図３に示すように高さ成分(厚み)をほとんど考えなくて良い薄い直方体状の物体を想定する。そうすることで、物体を長方形で表わせるものとなる。具体的には、図３の左部には、３次元物体31〜35が複数配置されたときの様子が示されており、図３の右部には、配置された複数の３次元物体31〜35を上記（イ）に示す撮影環境下でカメラ１により撮影したときの画像例が示されている。

図３の右部に示されるように、３次元物体31〜35が配置された際の傾斜角度により、赤，緑，青の３種の光源からの光のあたる割合(光の強度)がそれぞれ異なるため、傾斜角度に応じて、出力される撮影された画像の色が異なるように表わされる（図１出力部12参照）。

そこで、撮影後の画像処理において当該技術分野で公知のセグメンテーションアルゴリズムを用いることにより、色の異なる領域ごとに３次元物体31〜35を切り分けることができ、その結果、各対象物（部品）を切り出すことができる。当該技術分野で公知のセグメンテーションアルゴリズムについては、例えばWatershed アルゴリズム（参考書籍：詳細Open CV、オライリージャパン、pp.299-300）などを参照されたい。なお、上記では、高さ成分(厚み)をほとんど考えなくて良い薄い直方体状の物体を想定したが、実際の物体には上記と同じ形状でも厚みに差異があったり、平面に対して突起物や穴などがある。そしてこれら物体を取り扱う場合には、重なり度合いに応じて角度に微差が生じ、その結果、カメラで撮影した場合の色が異なったものになる。つまり実際には、同じ姿勢（色）になる可能性はほとんど想定されないものとなる。
（ハ）姿勢検出１（請求項２関連）
図４は、本発明の実施形態に係る３次元物体位置・姿勢検出装置における、対象物の法線ベクトルの位置と対象物の色の組合せの対応表を作成する際の概念図である。

上記（イ）で説明したカメラ及び光源が設定配置された撮影環境において、図４に示すように、ワークディスタンス位置、すなわち３次元のカメラ座標系の、Ｘ＝Ｙ＝０，Ｚ＝ワークディスタンス（Ｚ= Ｚｗ）の近傍、すなわち測定領域21に対象物30を配置する。そして対象物30を回転させ、対象物30の法線ベクトルの位置と対象物の色の関係を、事前に測定する。これに関与する図１に示すハードウェア構成は、回転機能付ワーク載置台５、ワーク載置台制御部８、システム制御部９及び記憶部10である。そして測定した法線ベクトルの位置と対象物の色の関係を色・姿勢の対応表として記憶部10内に記憶する。

法線ベクトルの位置としては、Ｘ，Ｙ，Ｚそれぞれ０〜１８０度まで、何度刻みにするかを所与の条件としてそれぞれ回転して測定する。例えば５度刻みの場合は、３６＊３６＊３６通りの組合せについて対象物の法線ベクトルの位置と対象物の色の関係が必要になり、それらの組合せを対応表として事前に作成しておいてから、実際の測定結果を得るようにする。実際には、図１に示す入力部11から対象物の回転角度の設定データを入力し、入力部11からシステム制御部９、ワーク載置台制御部８を介して回転機能付ワーク載置台５に指示を与え、上述の所与の刻み毎に対象物31〜35の法線ベクトルの位置と対象物の色の関係を抽出する（事前準備）。

そして実運用時に測定された色に対し、事前に作成しておいた対応表から最も近似する色を探索し、その色に対応する法線ベクトルを、測定された対象物の姿勢であると決定(すなわち姿勢検出)する。

ここまでにおける本発明の実施形態に係る３次元物体位置・姿勢検出装置の処理動作をフローチャート（その１）で示すと図５のようになる。図５において、処理を開始する前に、検出領域に置いた対象物について事前に色・姿勢の対応表を作成して図１の記憶部10内に記憶しておく。そのうえで、ステップS11において入力部11からシステム制御部９に制御信号を入力することで処理が開始される。なお、入力部11は、情報処理分野で周知のマウス、キーボード、トラックポインタなどの入力装置を利用する。次に、ステップS12においてシステム制御部９がカメラ制御部６に指示を与えてカメラ１で画像を撮影し、撮影した画像データをシステム制御部９を介して記憶部10内の画像メモリ（図示せず）に記憶する。次に、ステップS13において、記憶部10内に記憶された画像データをシステム制御部９内に読出し、公知のカラーセグメンテーション処理を実行して領域の切り出し処理を行う。

さらにステップS14において、システム制御部９は、切り出した領域ごとに記憶部10内の色・姿勢対応表を参照して法線ベクトルを算出する。システム制御部９は情報処理装置分野で周知の中央処理装置（ＣＰＵ）を用いて構成することができる。次に、ステップS15において、システム制御部９は領域ごとに位置・姿勢情報を算出する。そしてステップS16において、システム制御部９はステップS15で算出した位置・姿勢情報を出力部12に制御信号として出力する。出力された制御信号は公知の液晶、プラズマ、有機EL等のディスプレイ装置に表示することができる。またディスプレイ装置でなくカラープリンタを利用しても良い。
（ニ）姿勢検出２（請求項３関連）
図６は、本発明の実施形態に係る３次元物体位置・姿勢検出装置における、赤，緑，青の３つの光源の方向ベクトルの概要を説明する図である。

上記（ハ）に示した姿勢検出１では、対象物の法線ベクトルの位置と対象物の色を関連付けた対応表が膨大になる可能性があるのでそれを回避する方策について以下で説明する。

上記（イ）で説明したカメラ及び光源が設定配置された撮影環境において、図６では、それぞれの光源の位置をワークディスタンス位置（Ｚ= Ｚｗ）における方向ベクトルとして規定する。すなわち、赤色の光源Ｒ(２)の方向を示すベクトルをｒ０、緑色の光源Ｇ(３)の方向を示すベクトルをｇ０、青色の光源Ｂ(４)の方向を示すベクトルをｂ０とする。そのうえで、本例では、以下の(ａ)〜(ｆ)に示す姿勢の検出手順を実行する。すなわち、
（ａ）事前処理（補正値の決定）
対象物の法線がカメラ方向を向くように、あるいは法線ベクトルがＺ軸と並行になるように、対象物を測定位置に配置した場合のカラー画像の値を（Ｒ０，Ｇ０，Ｂ０）とする。

図７は、本発明の実施形態に係る３次元物体位置・姿勢検出装置における、検出領域に置いた対象物のカラー画像の測定値が所定の値Ｗ０になるように補正する際の補正値の決定方法を説明する図である。その場合、Ｗ０は、飽和しない値、例えば８ビットであれば０〜２５５の間において２００程度の値に予め設定しておき、後述の補正結果が２５５を超えないように補正する。図７に示すように、測定値がすべてＷ０になるように、各色の補正値Ｗｒ，Ｗｇ，Ｗｂを、赤はＷｒ＝Ｗ０／Ｒ０，緑はＷｇ＝Ｗ０／Ｇ０，青はＷｂ＝Ｗ０／Ｂ０とする。すなわち、補正後の値では、（Ｒ０＊Ｗｒ，Ｇ０＊Ｗｇ，Ｂ０＊Ｗｂ）＝（Ｗ０，Ｗ０，Ｗ０）ということになる。
（ｂ）対象物の姿勢(= 法線ベクトル)
対象物30のＸ-Ｙ平面における位置は、画像上における位置と等しいので既知と考えることができる。それゆえ対象物の法線ベクトルが求まれば、それにより対象物の位置と姿勢が求まることになる。図８Ａは、対象物（面）と法線ベクトルとの関係を示す図である。上述したように、配置された３次元物体の傾斜角度により画像上の色が異なって表わされる結果、対象物（面）30について測定された色から、その法線ベクトルを求めることで対象物30の姿勢が求まる。
（ｃ）法線ベクトルと色の関係（１）
法線ベクトルと色の関係について、赤Ｒを例にして説明する。他の色、すなわち緑Ｇも青Ｂも同様であるので、代表して赤Ｒについて説明し他の色についての法線ベクトルと色の関係についてはその説明を省略する。

対象物（面）30について測定される色は、補正することで得られる上記した（ａ）の状態を基準値Ｗ０としたが、配置された対象物（面）30の傾斜角度によっては測定されるカラー画像の値がＷ０より大きくなる場合がある。Ｚ軸方向の単位ベクトルをＺ０＝（０，０，１）とするとき、光源Ｒ(２)の方向ベクトルｒ０と単位ベクトルＺ０のなす角をφｒとする。方向ベクトルｒ０と単位ベクトルＺ０の内積がφｒの余弦に等しいことから、光源Ｒ(２)の方向ベクトルｒ０と単位ベクトルＺ０のなす角度φｒを求めることができる。

そしてＷ０が測定値Ｒｍより大きいときには法線ベクトルＮは、図８Ｂに示されるように表され、また、Ｗ０が測定値Ｒｍより小さいときには法線ベクトルＮは、図８Ｃに示されるように表される。それぞれの場合において、赤色成分の強度がＷ０に対して減少（図８Ｂ参照）あるいは増加（図８Ｃ参照）することから、測定値の赤色成分であるＲｍから、方向ベクトルｒ０と法線ベクトルＮのなす角θｒを求めることができる。
（ｄ）法線ベクトルと色の関係（２）
図９は、赤Ｒについて、光源の方向ベクトルｒ０と法線ベクトルＮのなす角度θｒを計算する式を模式的に示す図である。いま、光源の強さを仮想的にＩＲと置く。図９の左図は、赤Ｒについて、補正値Ｗ０を求めたときの図であり、補正値の計算式からＩＲを既知のＷ０とφｒで示すことができる。すなわち、
Ｗ０＝ＩＲ＊cos φr
図９の中央図及び図９の右図は、測定値ＲｍがＷ０より小さい場合と大きい場合を示しているが、いずれも同じ式で記述することができ、θｒを求めることができる。

すなわち、
Ｒｍ＝ＩＲ＊cos θr＝Ｗ０÷cos φr＊cos θr
で表され、この式に基づいてθｒを求めることができる。
（ｅ）３つの色に対する法線ベクトル（１）
図１０は、上記（ｃ）に示した赤Ｒにおける光源の方向ベクトルｒ０と法線ベクトルＮのなす角度θｒを求める処理（図１０の左図、図８Ｂ及び図８Ｃ参照）を、光源緑Ｇ、光源青Ｂに対しても同様に実施して光源の方向ベクトルと法線ベクトルのなす角度を計算する式を模式的に示す図である。光源赤Ｒ(２)の方向ベクトルｒ０と法線ベクトルＮのなす角度θｒを求める処理を、図１０の中央図及び右図に示すように、光源緑Ｇ(３)の方向ベクトルｇ０と法線ベクトルＮのなす角θｇ、及び、光源青Ｂ(４)の方向ｂ０と法線ベクトルＮのなす角θｂを求めるに際して、同様に実施することにより、角度θｇ及び角度θｂをそれぞれ求めることができる。
（ｆ）３つの色に対する法線ベクトル（２）
ここまでの説明において、光源赤Ｒ(２)の方向ベクトルｒ０と法線ベクトルＮのなす角度θｒ、光源緑Ｇ(３)の方向ベクトルｇ０と法線ベクトルＮのなす角度θｇ、光源青Ｂ(４)の方向ベクトルｂ０と法線ベクトルＮのなす角度θｂが求められることを示した。３次元空間における法線ベクトルＮ＝（Ｎｘ，Ｎｙ，Ｎｚ）の未知の３要素Ｎｘ，Ｎｙ，Ｎｚを求めるには、以下の連立方程式を解けばよい。すなわち、
｛ベクトルｒ０×（−１）｝とＮの内積＝cosθｒ
｛ベクトルｇ０×（−１）｝とＮの内積＝cosθｇ
｛ベクトルｂ０×（−１）｝とＮの内積＝cosθｂ
これらの連立方程式の解から対象物の法線ベクトルＮを求めることができる。これにより上記（ハ）における処理では、対象物の法線ベクトルの位置と対象物の色を関連付けた対応表が膨大になる可能性があったが、本例によりそれを回避することができる。

上記（ニ）からここまでにおける本発明の実施形態に係る３次元物体位置・姿勢検出装置の処理動作をフローチャート（その２）で示すと図１１のようになる。図１１において、処理を開始する前に、検出領域に置いた対象物のカラー画像の測定値が所定の値Ｗ０になるように事前に補正値を作成して図１の記憶部10内に記憶しておく。そのうえで、ステップS41において入力部11からシステム制御部９に制御信号を入力することで処理を開始する。次に、ステップS42においてシステム制御部９がカメラ制御部６に指示を与えてカメラ１で画像を撮影し、撮影した画像データをシステム制御部９を介して記憶部10内の画像メモリ（図示せず）に記憶する。次に、ステップS43において、記憶部10内に記憶された画像データをシステム制御部９内に読出し、公知のカラーセグメンテーション処理を実行して領域の切り出し処理を行う。システム制御部９が行う領域の切り出し処理に必要なプログラム等は記憶部10または外部メモリ(図示せず)から事前にシステム制御部９内の内部メモリ(図示せず)に格納されるようにしている。

そしてステップS44において、システム制御部９は、切り出した領域ごとに、事前に作成し記憶部10内に記憶しておいた補正値を参照して、(１)色別の法線ベクトルの構成要素、すなわち上記した（ｅ）で説明した各色ごとの方向ベクトルと法線ベクトルＮのなす角度、を算出し、次いで、(２)該算出した構成要素を基に上記（ｆ）で説明した算出式に基づいて法線ベクトルを算出する。次にステップS45において、システム制御部９は領域ごとに位置・姿勢情報を算出する。そしてステップS46において、システム制御部９はステップS45で算出した位置・姿勢情報にかかる制御信号を出力部12に出力する。

１ カメラ
２ 光源赤Ｒ
３ 光源緑Ｇ
４ 光源青Ｂ
５ 回転機能付ワーク載置台
６ カメラ制御部
７ 光源制御部
８ ワーク載置台制御部
９ システム制御部
10 記憶部
11 制御信号(入力部)
12 制御信号(出力部)
21 測定領域
30〜35 対象物
100 ３次元物体位置・姿勢検出装置

Claims (6)

1. １台のカメラからＺ軸方向に所定距離だけ離れた載置台に配置した複数個の平面状の対象物に向け、同じくＺ軸方向に前記載置台から所定距離だけ離れたＸ-Ｙ平面上において互いに離して配置した赤，緑，青の３種の光源で照射する過程、
   前記カメラで複数個の前記平面状の対象物を撮影する過程、
   該撮影された撮影画像において、前記対象物の色が前記載置台に配置された前記対象物の傾斜角度に応じて異なることを利用して該撮影画像からセグメンテーション技法により対象物画像を切り出す過程、
   切り出された該対象物画像の色から前記載置台に配置された前記対象物の姿勢を検出する過程、
   を含む３次元物体位置・姿勢検出方法。
2. 請求項１記載の方法において、
   前記平面状の対象物の任意の姿勢における撮影画像から、撮影された対象物画像の色と前記対象物の傾斜角度との関係を事前に対応付けて対応表として記憶しておく過程、
   前記撮影された対象物画像の色について前記対応表を参照することで前記対象物に対応する傾斜角度を求める過程、
   前記対象物に対応する前記傾斜角度を基に前記対象物の姿勢を検出する過程、
   を含む３次元物体位置・姿勢検出方法。
3. 請求項１記載の方法において、
   前記平面状の対象物を前記載置台に置き、該対象物のカラー画像の測定値に補正を加えることで所定の値となるように事前に補正値を作成し記憶する過程、
   撮影された前記対象物のカラー画像において、前記対象物の色が前記対象物の傾斜角度に応じて異なることを利用して前記対象物のカラー画像からセグメンテーション技法により対象物のカラー画像を切り出す過程、
   切り出した該対象物のカラー画像の各光源の色ごとの方向ベクトルと法線ベクトルのなす角度を前記補正値を参照して算出する過程、
   該算出された各光源の色ごとの方向ベクトルと法線ベクトルのなす角度を基に法線ベクトルを算出する過程、
   算出された前記法線ベクトルに基づいて前記対象物の姿勢を検出する過程、
   を含む３次元物体位置・姿勢検出方法。
4. １台のカメラからＺ軸方向に所定距離だけ離れた載置台に配置した複数個の平面状の対象物に向け、同じくＺ軸方向に前記載置台から所定距離だけ離れたＸ-Ｙ平面上において互いに離して配置した赤，緑，青の３種の光源で照射する光源照射手段と、
   前記カメラで複数個の前記平面状の対象物を撮影する対象物撮影手段と、
   該撮影された撮影画像において、前記対象物の色が前記載置台に配置された前記対象物の傾斜角度に応じて異なることを利用して該撮影画像からセグメンテーション技法により対象物画像を切り出す対象物画像切出し手段と、
   切り出された該対象物画像の色から前記載置台に配置された前記対象物の姿勢を検出する姿勢検出手段と、
   を備えることを特徴とする３次元物体位置・姿勢検出装置。
5. 請求項４記載の装置において、
   前記平面状の対象物の任意の姿勢における撮影画像から、撮影された対象物画像の色と前記対象物の傾斜角度との関係を事前に対応付けて記憶しておく色・姿勢対応記憶手段と、
   前記撮影された対象物画像の色について前記色・姿勢対応記憶手段を参照して前記対象物に対応する姿勢を求める姿勢算出手段と、
   前記対象物に対応する前記傾斜角度を基に前記対象物の姿勢を検出する対象物姿勢検出手段と、
   を備えることを特徴とする３次元物体位置・姿勢検出装置。
6. 請求項４記載の装置において、
   前記平面状の対象物を前記載置台に置き、該対象物のカラー画像の測定値に補正を加えることで所定の値となるように事前に補正値を作成し記憶する補正値記憶手段と、
   撮影された前記対象物のカラー画像において、前記対象物の色が前記対象物の傾斜角度に応じて異なることを利用して前記対象物のカラー画像からセグメンテーション技法により対象物のカラー画像を切り出す対象物カラー画像切出し手段と、
   該対象物カラー画像切出し手段が切り出した前記対象物カラー画像の各光源の色ごとの方向ベクトルと法線ベクトルのなす角度を前記補正値記憶手段に記憶された補正値を参照して算出する角度算出手段と、
   該角度算出手段により算出された各光源の色ごとの方向ベクトルと法線ベクトルのなす角度を基に法線ベクトルを算出する法線ベクトル算出手段と、
   該法線ベクトル算出手段により算出された前記法線ベクトルに基づいて前記対象物の姿勢を検出する対象物姿勢検出手段と、
   を備えることを特徴とする３次元物体位置・姿勢検出装置。