JP2018169660A - オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム - Google Patents

Abstract

【課題】オブジェクトが適正に検出できる可能性を向上させる技術の提供。
【解決手段】オブジェクトの撮像画像を取得する撮像画像取得部と、前記オブジェクトの
姿勢毎のテンプレート画像を取得するテンプレート画像取得部と、前記撮像画像内で輪郭
を形成する画素と前記テンプレート画像の輪郭を形成する画素との距離が第１閾値より短
く、前記撮像画像内で輪郭を形成する画素の勾配と前記テンプレート画像の輪郭を形成す
る画素の勾配との類似度が第２閾値より大きい画素を有する前記テンプレート画像に基づ
いて前記オブジェクトの姿勢を決定する姿勢決定部と、を備えるオブジェクト姿勢検出装
置が構成される。
【選択図】図１

Description

本発明は、オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステムに
関する。

従来、撮像されたオブジェクトの画像とテンプレートの画像とを比較してオブジェクト
を検出する技術が知られている。例えば、非特許文献１においては、オブジェクトとテン
プレートの輪郭の勾配を比較することでオブジェクトを検出する技術が開示されている。

Stefan Hinterstoisser他著, "Gradient Response Maps for Real-Time

Detection of Texture-Less Objects", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MA
CHINE INTELLIGENCE, 2012, Volume: 34, Issue: 5, Pages: 876 - 888

上述のようなテンプレートマッチングによるオブジェクトの検出技術は各種の技術が知
られているが、従来、テンプレートマッチングによってオブジェクトが適正に検出できな
い場合があった。

本発明は、オブジェクトが適正に検出できる可能性を向上させることを目的とする。

上記目的を達成するためのオブジェクト姿勢検出装置は、オブジェクトの撮像画像を取
得する撮像画像取得部と、前記オブジェクトの姿勢毎のテンプレート画像を取得するテン
プレート画像取得部と、前記撮像画像内で輪郭を形成する画素と前記テンプレート画像の
輪郭を形成する画素との距離が第１閾値より短く、前記撮像画像内で輪郭を形成する画素
の勾配と前記テンプレート画像の輪郭を形成する画素の勾配との類似度が第２閾値より大
きい前記テンプレート画像に基づいて前記オブジェクトの姿勢を決定する姿勢決定部と、
を備える。

すなわち、オブジェクト姿勢検出装置においては、オブジェクトの撮像画像内で輪郭を
形成する画素とテンプレート画像の輪郭を形成する画素とに着目する。そして、オブジェ
クト姿勢検出装置においては、撮像画像内で輪郭の画素とテンプレート画像における輪郭
の画素との距離が近く、勾配が類似している場合に、撮像画像内で形成された輪郭がオブ
ジェクトの輪郭であると見なし、撮像されたオブジェクトの姿勢をテンプレート画像に基
づいて決定する。この構成によれば、誤検出が発生する可能性を低減し、オブジェクトが
適正に検出できる可能性を向上させることができる。

また、テンプレート画像の輪郭の曲率が大きくなるほど第２閾値が小さくなる構成が採
用されてもよい。この構成によれば、勾配の差異に対する許容範囲が広くなり、オブジェ
クトが検出されたとみなして良い状態を非検出であると見なしてしまう可能性を低減する
ことができる。

さらに、姿勢決定部は、撮像画像で形成される輪郭内の一様な部位とテンプレート画像
の輪郭内の一様な部位との一致度が第３閾値より大きいテンプレート画像に基づいてオブ
ジェクトの姿勢を決定する構成であっても良い。この構成によれば、オブジェクトの表面
の特徴に基づいてオブジェクトの姿勢を決定することができ、オブジェクトが適正に検出
できる可能性を向上させることができる。

さらに、一様な部位は、エッジまでの最小距離が最小基準値以上の画素によって構成さ
れていてもよい。この構成によれば、一様な部位を画像から容易に抽出することができる
。

さらに、姿勢決定部は、複数のテンプレート画像の位置を変化させ、変化後のテンプレ
ート画像のそれぞれと撮像画像との関連度を取得し、関連度の分布の急峻度が第４閾値よ
り大きいテンプレート画像に基づいてオブジェクトの姿勢を決定する構成であっても良い
。この構成によれば、撮像画像内でテンプレート画像に類似するオブジェクトが特定され
た後に、テンプレート画像がオブジェクトの画像に対して微妙にずれているか否かを検証
し、オブジェクトが適正に検出できる可能性を向上させることができる。

さらに、関連度は、撮像画像内で輪郭を形成する画素の勾配とテンプレート画像の輪郭
を形成する画素の勾配との類似度である構成であっても良い。この構成によれば、オブジ
ェクトの画像とテンプレート画像の特徴によって関連度を定義し、オブジェクトの姿勢を
検出することができる。

さらに、関連度は、撮像画像に基づいて算出された値と、テンプレート画像に基づいて
算出された値との相関度である構成であっても良い。この構成によれば、撮像画像内のオ
ブジェクトの画像とテンプレート画像との間で関連し得る各種の情報に基づいてオブジェ
クトの姿勢を検出することができる。

本発明の実施形態を示す斜視図である。 制御装置のブロック図である。 オブジェクトの３次元モデルの例を示す図である。 テンプレート画像の例を示す図である。 オブジェクト姿勢検出処理のフローチャートである。 撮像画像の例を示す図である。 オブジェクトの画像の解析例を示す図である。 姿勢候補取得処理のフローチャートである。 信頼度の取得例を示す図である。 一様性による検証処理のフローチャートである。 関連度による検証処理のフローチャートである。 関連度の分布を示す図である。

以下、本発明の実施形態について添付図面を参照しながら以下の順に説明する。なお、
各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
（１）ロボットシステムの構成：
（２）制御装置の構成：
（３）オブジェクト姿勢検出処理：
（４）姿勢候補取得処理：
（５）一様性による検証処理：
（６）関連度による検証処理：
（７）他の実施形態：

（１）ロボットシステムの構成：
図１は本発明の一実施形態にかかる制御装置で制御されるロボットを示す斜視図である
。本発明の一実施例としてのロボットシステムは、図１に示すように、ロボット１と制御
装置１０とカメラ２０を備えている。ロボット１はエンドエフェクターを備える６軸ロボ
ットである。

ロボット１は、制御装置１０によって制御される。制御装置１０はケーブルによりロボ
ット１と通信可能に接続される。なお、制御装置１０の構成要素がロボット１に備えられ
ていても良い。また、制御装置１０は複数の装置によって構成されても良い。制御装置１
０は、図示しない教示装置をケーブル、または無線通信によって接続可能である。教示装
置は、専用のコンピューターであってもよいし、ロボット１を教示するためのプログラム
がインストールされた汎用のコンピューターであってもよい。さらに、制御装置１０と教
示装置とは、一体に構成されていてもよい。

ロボット１は、アームに各種のエンドエフェクターを装着して使用される単腕ロボット
である。ロボット１は、６軸のアームを駆動させることによって、可動範囲内においてエ
ンドエフェクターを任意の位置に配置し、任意の姿勢（角度）とすることができる。図１
においては、エンドエフェクターがグリッパーである例が示されている。また、ロボット
１の作業エリアには、オブジェクトＷ１，Ｗ２が例示されている。本例において、ロボッ
ト１は、グリッパーでオブジェクトＷ１を把持し、オブジェクトＷ１をオブジェクトＷ２
の穴Ｈに挿入する作業を行う。

本実施形態において、カメラ２０は、ロボット１の可動範囲を視野に含むようにロボッ
ト１の可動範囲の上方（鉛直上方）に固定されており、オブジェクトＷ１，Ｗ２を撮像す
ることができる。なお、カメラ２０が固定される位置は可動範囲の上方に限定されず、例
えば、ロボット１に取り付けられていても良い。本実施形態においては、カメラ２０で撮
像された画像に基づいてオブジェクトＷ１の姿勢が検出され、検出された姿勢に基づいて
ロボット１が動作し、オブジェクトＷ１を把持する。

ロボット１においては、ロボット１が固定された空間の位置を規定するロボット座標系
（図１に示す直交ｘｙｚ座標系）や、カメラ２０を基準としたカメラ座標系や、ロボット
１に作用する力を規定する力制御座標系など、種々の座標系が定義される。これらの座標
系の関係は互いに決められており、互いに変換可能である。本明細書においては、簡単の
ため、ロボット座標系を用いてオブジェクトＷ１やロボット１の姿勢を記述する。なお、
本明細書において、姿勢には位置も含まれ得る。例えば、オブジェクトＷ１の姿勢は、ロ
ボット座標系であるｘｙｚ座標系におけるｘ軸、ｙ軸、ｚ軸に沿った位置と、ｘ軸、ｙ軸
、ｚ軸に対する回転角とで表現され得る。

（２）制御装置の構成：
図２は、ロボット１を制御する制御装置１０の構成を示す図である。制御装置１０は、
図示しないＣＰＵ、ＲＯＭ，ＲＡＭ等のプログラム実行環境と記録媒体１５とを備えてい
る。制御装置１０がＲＯＭまたは記録媒体１５に記録されたプログラムを実行することに
より、制御装置１０は、ロボット１を制御するための各種の機能を実行する。

図２においては、当該プログラムによって実行される機能を撮像画像取得部１０ａ、テ
ンプレート画像取得部１０ｂ、姿勢決定部１０ｃ、ロボット制御部１０ｄとして示してい
る。撮像画像取得部１０ａは、オブジェクトの撮像画像を取得する機能を制御装置１０に
実行させる。すなわち、制御装置１０は、撮像画像取得部１０ａの機能により、カメラ２
０を制御して撮像画像を取得し、ＲＡＭに記録する。従って、カメラ２０の視野に少なく
ともオブジェクトＷ１が含まれる状態で制御装置１０がカメラ２０を制御し、撮像画像を
取得することで、制御装置１０は、姿勢検出対象であるオブジェクトＷ１の撮像画像を取
得する。

テンプレート画像取得部１０ｂは、オブジェクトの姿勢毎のテンプレート画像を取得す
る機能を制御装置１０に実行させる。すなわち、制御装置１０は、記録媒体１５に記録さ
れたテンプレート画像情報１５ａに基づいて、テンプレート画像を取得する。本実施形態
において、テンプレート画像は、オブジェクトＷ１の３次元モデルを２次元平面（撮像平
面）に投影した画像であり、当該画像において輪郭を形成する複数の画素と当該画素にお
ける勾配ベクトルとを示す情報が含まれている。

図３はオブジェクトＷ１を特定の方向から見た状態を示しており、図４は当該オブジェ
クトＷ１が２次元平面に投影された状態を示している。なお、図４においては、投影され
たオブジェクトＷ１の輪郭を破線で示し、輪郭内に存在する線（立方体の稜の投影線）を
一点鎖線で示している。輪郭内の白丸は後述の説明で使用される図形であり、オブジェク
トＷ１が投影された画像ではない。また、オブジェクトＷ１の輪郭を形成する画素を黒丸
で示し当該画素の勾配ベクトルを矢印で示している。本実施形態においてテンプレート画
像情報１５ａは、図４に示すような、輪郭を形成する画素と当該画素の勾配ベクトルと輪
郭内の模様を示す情報である。

このようなテンプレート画像情報１５ａは、３次元モデルの姿勢毎に異なり得るため、
本実施形態においては、テンプレート画像情報１５ａに対して姿勢が対応づけられて記録
媒体１５に記録される。本実施形態において、テンプレート画像情報１５ａは、オブジェ
クトＷ１の３次元モデルから生成される。当該テンプレート画像情報１５ａの生成タイミ
ングは、少なくともテンプレート画像情報１５ａを利用する以前であれば良く、各種のタ
イミングであって良い。

例えば、ロボット１による動作や、カメラ２０による撮像やロボット１によるオブジェ
クトＷ１の把持動作が開始される前に、予めオブジェクトＷ１の３次元モデルに基づいて
テンプレート画像情報１５ａが生成されても良い。また、カメラ２０による撮像やロボッ
ト１によるオブジェクトＷ１の把持動作が開始された後に、記録媒体１５に記録されたオ
ブジェクトＷ１の３次元モデルデータからテンプレート画像情報１５ａが生成されても良
い。さらに、代表的な複数の姿勢について予めテンプレート画像情報１５ａが生成されて
おり、オブジェクトＷ１の撮像画像に基づいてオブジェクトＷ１の姿勢に最も近い代表的
な姿勢が特定された後、当該代表的な姿勢に近い姿勢のテンプレート画像情報１５ａが生
成されても良い。

さらに、テンプレート画像情報１５ａを構成する勾配ベクトルは、種々の手法によって
取得されて良い。例えば、３次元モデルに基づいて３次元空間で勾配ベクトルが取得され
た後に勾配ベクトルが２次元平面に対して投影されても良いし、３次元モデルが２次元平
面に投影された後に勾配ベクトルが算出されても良い。

姿勢決定部１０ｃは、撮像画像内で輪郭を形成する画素とテンプレート画像の輪郭を形
成する画素との距離が第１閾値より短く、撮像画像内で輪郭を形成する画素の勾配とテン
プレート画像の輪郭を形成する画素の勾配との類似度が第２閾値より大きいテンプレート
画像に基づいてオブジェクトの姿勢を決定する機能を制御装置１０に実行させる。すなわ
ち、制御装置１０は、撮像画像取得部１０ａの機能によって取得したカメラ２０の撮像画
像からオブジェクトＷ１の画像と推定される部位を抽出する。

また、制御装置１０は、当該部位と、テンプレート画像取得部１０ｂの機能によって取
得したテンプレート画像とを比較し、最もマッチするテンプレート画像に対応する姿勢を
オブジェクトＷ１の姿勢として決定する。このために制御装置１０は、輪郭の画素の距離
と輪郭の画素の勾配とを取得する。すなわち、制御装置１０は、姿勢決定部１０ｃの機能
により、撮像画像内のエッジを抽出してオブジェクトＷ１の画像と推定される部位の輪郭
を形成する画素を抽出する。また、制御装置１０は、テンプレート画像の輪郭を形成する
画素を抽出する。そして、制御装置１０は、距離が第１閾値より短く、勾配ベクトルの類
似度が第２閾値より大きい画素の個数多いほど高くなる信頼度を算出する（詳細は後述）
。

むろん、カメラ２０とオブジェクトＷ１との距離が異なると撮像画像内におけるオブジ
ェクトＷ１の画像の大きさが異なる。カメラ２０とオブジェクトＷ１との距離に応じた画
像の大きさの差異を考慮するためには、テンプレート画像が拡大または縮小される構成で
あっても良いし、カメラ２０とオブジェクトＷ１との距離が異なる場合には姿勢が異なる
と見なされ、各距離におけるテンプレート画像が予め用意される構成であっても良い。

本実施形態においては信頼度が極めて高い場合、制御装置１０は、そのテンプレート画
像に対応する姿勢がオブジェクトの姿勢であると決定する。一方、信頼度が極めて高くは
ないが、低くもない場合、他の指標に基づいてテンプレート画像がオブジェクト画像にマ
ッチしているか否かを検証する。

すなわち、制御装置１０は、姿勢決定部１０ｃの機能により、撮像画像で形成される輪
郭内の一様な部位を特定する。一様な部位は種々の手法で特定可能であるが、本実施形態
において制御装置１０は、姿勢決定部１０ｃの機能により、オブジェクトＷ１の画像と推
定される部位の輪郭内でエッジである画素とエッジでない画素とを特定する。そして、制
御装置１０は、エッジでない画素によって構成される部位を、撮像画像で形成される輪郭
内の一様な部位と見なす。

一方、制御装置１０は、テンプレート画像情報１５ａが示すテンプレート画像の輪郭内
で、エッジ画素からの最小距離が予め規定された最小基準値以上である画素を特定する。
さらに、制御装置１０は、当該画素をテンプレート画像の輪郭内の一様な部位と見なす。
そして、制御装置１０は、撮像画像内で形成される輪郭内の一様な部位と、テンプレート
画像の輪郭内の一様な部位とが一致する比率を一致度として特定し、一致度が予め決めら
れた第３閾値より大きい場合に、当該テンプレート画像に対応づけられた姿勢は一様な部
位の一致度からみて妥当であると見なす（検証されたと見なす）。

一様な部位の一致度からみて妥当であると検証された場合、制御装置１０は、姿勢決定
部１０ｃの機能により、テンプレート画像の位置を変化させ、変化後のテンプレート画像
のそれぞれと撮像画像との関連度を取得する。本実施形態において、関連度は、撮像画像
内で輪郭を形成する画素の勾配とテンプレート画像の輪郭を形成する画素の勾配との類似
度である。すなわち、制御装置１０は、テンプレート画像の位置を変化させ、変化後の各
位置について勾配の類似度を取得する。

テンプレート画像がオブジェクト画像とマッチしている場合、マッチしていない場合よ
りもテンプレート画像を移動させて得られた類似度が低下する。従って、類似度が最大値
となる位置においてテンプレート画像がオブジェクト画像とマッチしている可能性が高い
。また、適正なテンプレート画像が選択されている場合、テンプレート画像がオブジェク
ト画像とマッチしている場合には類似度が大きい値となるが、テンプレート画像が移動す
ると急激に類似度が低下する。

そこで、制御装置１０は、類似度の分布（関連度の分布）の急峻度を特定し、急峻度が
第４閾値より大きい場合に、当該テンプレート画像に対応づけられた姿勢は関連度の分布
からみて妥当であると見なす（検証されたと見なす）。一様な部位の一致度と、関連度の
分布とによって妥当であると検証された場合、制御装置１０は、検証されたテンプレート
画像がオブジェクトＷ１の姿勢であると見なす。

以上の構成によれば、撮像画像内で輪郭の画素との輪郭の画素の距離が近いテンプレー
ト画像が選択されることにより、オブジェクト画像の輪郭と近い輪郭を有するテンプレー
ト画像を選択することができる。さらに、撮像画像内で輪郭を形成する画素の勾配と類似
した勾配の画素が輪郭を形成しているテンプレート画像が選択されることにより、オブジ
ェクト画像と整合しないテンプレート画像（例えば、輪郭の形状が偶然に似ているテンプ
レート画像）を除外することができる。

そして、テンプレート画像には姿勢が対応づけられているため、以上のようなテンプレ
ート画像が選択されることにより、容易にオブジェクトの姿勢を正確に特定することがで
きる。従って、誤検出が発生する可能性を低減し、オブジェクトが適正に検出できる可能
性を向上させることができる。

さらに、撮像画像内で形成される輪郭内の一様な部位と、テンプレート画像の輪郭内の
一様な部位との一致度に基づいてテンプレート画像が検証されることにより、オブジェク
ト画像と整合しないテンプレート画像（例えば、輪郭の形状が偶然に似ており、輪郭の勾
配が偶然に似ているテンプレート画像）を除外することができる。さらに、関連度の分布
の急峻度に基づいてテンプレート画像が検証されることにより、オブジェクト画像と整合
しないテンプレート画像（例えば、輪郭の形状が偶然に似ており、輪郭の勾配が偶然に似
ており、輪郭内の一様な部位が偶然に一致しているテンプレート画像）を除外することが
できる。

ロボット制御部１０ｄは、ロボット１を制御して動作させる機能を制御装置１０に実行
させる。すなわち、ロボット１は、ロボット１は、教示を行うことにより各種作業が可能
となる汎用ロボットであり、アクチュエーターとしての図示しないモーターと、センサー
１ａとしてのエンコーダーとを備える。ロボット制御部１０ｄは、センサー１ａの出力に
基づいてロボット１の各部の姿勢を特定し、ロボット１に制御信号を出力することにより
ロボット１の各部を所望の姿勢となるように制御することができる。

本実施形態においては、ロボット１が任意の作業を実行するようにロボット１に対する
教示を行うことができる。また、本実施形態において、制御装置１０は、オブジェクトＷ
１の姿勢を検出し、当該姿勢のオブジェクトＷ１を把持するようにロボット１を制御する
ことができる。従って、本実施形態の利用者は、オブジェクトＷ１の把持を行うための詳
細な動作（把持のための位置等）を教示しなくてもよく、把持を行うように指示するのみ
でカメラ２０で撮像されたオブジェクトＷ１をロボット１に把持させることができる。

（３）オブジェクト姿勢検出処理：
次に、制御装置１０が実行するオブジェクト姿勢検出処理を詳細に説明する。図５は、
オブジェクト姿勢検出処理のフローチャートである。オブジェクト姿勢検出処理は、ロボ
ット１においてオブジェクトＷ１の姿勢を検出する必要がある場合に実行される。オブジ
ェクト姿勢検出処理が開始されると、制御装置１０は、撮像画像取得部１０ａの機能によ
り、撮像画像を取得する（ステップＳ１００）。すなわち、制御装置１０は、カメラ２０
を制御してオブジェクトＷ１を含む撮像画像を取得し、ＲＡＭに保存する。図６は、カメ
ラ２０の撮像画像を模式的に示す図である。当該図６にはオブジェクトＷ１の画像２０ａ
が含まれている。

次に、制御装置１０は、姿勢決定部１０ｃの処理により、撮像画像の輪郭および勾配を
取得する（ステップＳ１０５）。すなわち、制御装置１０は、ＲＡＭに保存された撮像画
像に対してエッジ検出フィルタを作用させ、エッジ画素を抽出する。また、エッジ画素に
基づいてオブジェクトＷ１の輪郭と推定される部位を取得する。当該部位は、種々の処理
によって取得されて良く、エッジが連続的に配置されて閉じた図形を形成している部位が
取得されても良いし、カメラ２０の特定の部位にオブジェクトＷ１が配置される構成にお
いて、撮像画像の特定の部位が取得されても良く、種々の構成を採用可能である。図６に
示す例であれば、オブジェクトＷ１の画像２０ａの外周線がオブジェクトＷ１の輪郭と推
定される部位として取得される。図７は、図６に示すオブジェクトＷ１の画像２０ａから
取得された輪郭を模式的に破線で示した図である。

輪郭と推定される部位が取得されると、制御装置１０は、当該輪郭を形成している画素
の勾配ベクトルを取得する。勾配ベクトルは種々の手法によって取得可能であり、例えば
、方向の異なるエッジ検出フィルタを適用することによって勾配ベクトルを取得する構成
等を採用可能である。図７においては、勾配ベクトルを実線の矢印によって示している。
輪郭を形成している画素と勾配ベクトルが取得されると、制御装置１０は、輪郭において
特徴的な勾配を有する画素が輪郭においてできるだけ均等に分布するようにしてＮ個（Ｎ
は２以上の整数：例えば１００個）の画素を抽出し、輪郭を形成する画素と見なす。

図７においては、一部の画素を黒丸で示しているが、本実施形態においてステップＳ１
０５では、輪郭を形成する画素の全てについて勾配ベクトルが計算され、その中のＮ個が
抽出され、輪郭を形成する画素とされる。このような画素は種々の手法で抽出されて良く
、例えば、最近接画素の距離の二乗和と勾配の大きさの積をＮ個の画素に渡って累積した
場合に累積値が最大化されるように画素を抽出する構成等が挙げられる。

次に、制御装置１０は、テンプレート画像取得部１０ｂの処理により、テンプレート画
像の輪郭および勾配を取得する（ステップＳ１１０）。すなわち、制御装置１０は、テン
プレート画像情報１５ａを参照し、特定の姿勢が対応づけられたテンプレート画像の輪郭
を構成する画素および勾配ベクトルを取得する。

次に、制御装置１０は、姿勢決定部１０ｃの処理により、テンプレートマッチングを実
行する（ステップＳ１１５）。すなわち、制御装置１０は、ステップＳ１０５で取得され
た輪郭を構成する画素と、ステップＳ１１０で取得されたテンプレート画像の輪郭を構成
する画素とを比較し、両輪郭において対応する画素を特定する。対応する画素は、種々の
手法で特定可能であり、例えば、最隣接画素同士の勾配ベクトルの類似度（ベクトルの内
積等）が最大化されるようにテンプレート画像の位置を選択し、類似度が最大化する画素
同士を対応する画素とみなす構成や、画素間の距離の和が最小化される状態において最も
近い画素を対応する画素とみなす構成等が挙げられる。

対応する画素が取得されると、制御装置１０は、対応する画素同士の距離を取得し、全
画素についての和を取得する。例えば、図６に示す例であれば、図７のようにして取得さ
れたオブジェクトＷ１の画像の輪郭を形成する画素Ｐo等と、図４に示すテンプレート画
像の輪郭を形成する画素Ｐt等とが比較され、最も近い画素同士の距離の和が取得される
。そして、当該和が基準より小さい場合に、制御装置１０は、テンプレート画像がオブジ
ェクト画像にマッチしたと見なす。

なお、ここでは、予め用意された全姿勢についてのテンプレート画像についてステップ
Ｓ１０５において輪郭および勾配が取得される処理が想定されている。従って、オブジェ
クト画像にマッチし得るテンプレート画像は複数個演出され得る。むろん、テンプレート
画像の輪郭および勾配の取得とテンプレートマッチングが１個のテンプレート画像につい
て実行され、マッチしない場合に他のテンプレート画像について同等の処理が繰り返され
る構成であっても良い。また、テンプレートマッチングでマッチした姿勢を３次元モデル
に基づいてさらに変化させ、よりマッチする姿勢が特定されても良い。

テンプレートマッチングによってオブジェクト画像にマッチするテンプレート画像が１
個以上検出されると、制御装置１０は、姿勢決定部１０ｃの処理により、姿勢候補取得処
理を実行する（ステップＳ１２０）。すなわち、制御装置１０は、ステップＳ１１５で特
定したテンプレート画像がオブジェクト画像にマッチする度合い示す信頼度を取得し、信
頼度が高い姿勢を姿勢候補として抽出する処理を実行する（詳細は後述）。

次に、制御装置１０は、姿勢決定部１０ｃの処理により、姿勢候補が存在するか否かを
判定し（ステップＳ１２５）、姿勢候補が存在する場合、信頼度が最も高い姿勢候補を検
出結果として取得する（ステップＳ１３０）。すなわち、制御装置１０は、信頼度が最も
高いテンプレート画像に対応づけられた姿勢をオブジェクトＷ１の姿勢であると見なす。
ステップＳ１２５において、姿勢候補が存在すると判定されない場合、制御装置１０は、
オブジェクトＷ１の姿勢を検出できなかったと見なす。

（４）姿勢候補取得処理：
次に、制御装置１０が実行する姿勢候補取得処理を詳細に説明する。図８は、図５のス
テップＳ１２０における姿勢候補取得処理を示すフローチャートである。姿勢候補取得処
理において制御装置１０は、ステップＳ１１５においてオブジェクト画像にマッチすると
されたテンプレート画像に対応づけられた全姿勢の中から１個を処理対象として選択して
順次処理を行っていく。すなわち、制御装置１０は、全姿勢の中からステップＳ２０５〜
Ｓ２４５の処理対象となっていない姿勢を１個、処理対象の姿勢候補として取得する（ス
テップＳ２００）。

次に、制御装置１０は、距離および勾配の類似度による信頼度を取得する（ステップＳ
２０５）。すなわち、制御装置１０は、オブジェクトＷ１の画像２０ａと、処理対象の姿
勢候補に対応するテンプレート画像との輪郭を形成する画素であって、対応する画素を抽
出する。そして、制御装置１０は、対応する画素間の距離と各画素の勾配の類似度を取得
する。

図９は、オブジェクトＷ１の画像２０ａの輪郭を形成する画素Ｐoとテンプレート画像
の輪郭を形成する画素Ｐtとが対応している場合において、両画素を拡大して示す模式図
である。これらの画素が対応している場合、制御装置１０は、両画素の距離Ｌiを取得す
る。また、制御装置１０は、両画素の勾配ベクトルＶoi，Ｖtiの内積を類似度として取得
する。そして、制御装置１０は、画素ｉについての距離の指標を、距離Ｌiが第１閾値よ
り短い場合に１，第１閾値以上である場合に０とする。さらに、制御装置１０は、画素ｉ
についての勾配の類似度の指標を、勾配ベクトルＶoi，Ｖtiの内積が第２閾値より大きい
場合に１、第２閾値以上である場合に０とする。

なお、本実施形態において第１閾値は予め決められた固定値であり、例えば、３画素な
どのように決定される。本実施形態において第２閾値は可変値であり、テンプレート画像
の輪郭の曲率に依存する。すなわち、本実施形態においては、テンプレート画像の輪郭の
曲率が大きくなるほど第２閾値が小さくなる。画像の輪郭がジャギーであるなど、オブジ
ェクト画像およびテンプレート画像の輪郭が急峻に変化し、曲率が大きい場合、輪郭を形
成する画素の勾配が、小さい面積内で大きく変化する。この場合において、勾配に関する
閾値である第２閾値を小さくすれば、勾配の差異に対する許容範囲が広くなり、オブジェ
クトが検出されたとみなして良い状態を非検出であると見なしてしまう可能性を低減する
ことができる。

制御装置１０は、以上のような距離の指標と類似度の指標とを各画素について算出し、
その和によって信頼度を取得する。具体的には、式（１）によって信頼度Ｃを取得する。

ここで、［］は、括弧内の条件を充足する場合に１、充足しない場合に０となる演算子で
ある。また、th1は第１閾値、th2は第２閾値、Ｌiは対応する画素間の距離、Ｖoiはオブ
ジェクトＷ１の画像２０ａの輪郭を形成する画素Ｐoの勾配ベクトル、Ｖtiはテンプレー
ト画像の輪郭を形成する画素Ｐtの勾配ベクトル、ｉは対応する画素の組を示す番号、Ｎ
は画素の組の数である。なお、ステップＳ２０５において距離および勾配ベクトルが取得
される画素の数は、ステップＳ１１５におけるテンプレートマッチングで取得される画像
の数より多くても良い。

以上のようにして、処理対象の姿勢候補のテンプレート画像に基づいて信頼度が取得さ
れると、制御装置１０は、信頼度が基準１より大きいか否かを判定する（ステップＳ２１
０）。本実施形態において基準１は、対応する画素間の距離および勾配ベクトルに基づい
てテンプレート画像がオブジェクトＷ１の画像にマッチしたと見なして良いほど充分に高
い信頼度を示している。そこで、ステップＳ２１０において信頼度が基準１より大きいと
判定された場合、制御装置１０は、姿勢候補と信頼度とをＲＡＭに保存する（ステップＳ
２４０）。

ステップＳ２１０において、信頼度が基準１より大きいと判定されない場合、制御装置
１０は、信頼度が基準２より大きいか否かを判定する（ステップＳ２１５）。本実施形態
において基準２は、信頼度の下限値を示している。そこで、ステップＳ２１５において信
頼度が基準２より大きいと判定されない場合、制御装置１０は、ステップＳ２２０〜Ｓ２
４０をスキップする。

一方、ステップＳ２１５において、信頼度が基準２より大きいと判定された場合、制御
装置１０は、一様性による検証処理を実行する（ステップＳ２２０）。すなわち、制御装
置１０は、撮像画像内で形成される輪郭内の一様な部位と、テンプレート画像の輪郭内の
一様な部位との一致度に基づいて、処理対象の姿勢候補に対応するテンプレート画像が適
切であるか否かを検証する（詳細は後述）。次に、制御装置１０は、一様性による検証処
理によって検証されたか否かを判定し（ステップＳ２２５）、検証されたと判定されない
場合、ステップＳ２２５〜Ｓ２４０をスキップする。

ステップＳ２２５において、一様性による検証処理によって検証されたと判定された場
合、制御装置１０は、関連度による検証処理を実行する（ステップＳ２３０）。すなわち
、制御装置１０は、関連度の分布の急峻度に基づいて、処理対象の姿勢候補に対応するテ
ンプレート画像が適正であるか否かを検証する（詳細は後述）。次に、制御装置１０は、
関連度による検証処理によって検証されたか否かを判定し（ステップＳ２３５）、検証さ
れたと判定されない場合、ステップＳ２４０をスキップする。

一方、ステップＳ２３５において、関連度による検証処理によって検証されたと判定さ
れた場合、制御装置１０は、処理対象の姿勢候補と信頼度を保存する（ステップＳ２４０
）。姿勢は、座標系に基づいて（座標軸に対する角度や位置によって）表現され、姿勢候
補は座標系に基づいて特定されても良いし、予め決められた姿勢に対応づけられたＩＤ等
によって特定されても良い。

ステップＳ２４０が実行された場合、または、ステップＳ２１５で信頼度が基準２より
大きいと判定されなかった場合、またはステップＳ２２５，Ｓ２３０によって検証された
と判定されなかった場合、制御装置１０は、全姿勢候補が終了したか否かを判定する（ス
テップＳ２４５）。すなわち、制御装置１０は、ステップＳ１１５においてオブジェクト
画像にマッチするとされたテンプレート画像に対応づけられた全姿勢について処理が終了
したか否かを判定する。

ステップＳ２４５において、全姿勢候補が終了したと判定されない場合、制御装置１０
は、処理対象の姿勢候補を未処理の候補に変更し（ステップＳ２５０）、ステップＳ２０
５以降の処理を繰り返す。ステップＳ２４５において、全姿勢候補が終了したと判定され
た場合、制御装置１０は、信頼度取得処理を終了する。

（５）一様性による検証処理：
次に、制御装置１０が実行する一様性による検証処理を詳細に説明する。図１０は、図
８のステップＳ２２０における一様性による検証処理を示すフローチャートである。一様
性による検証処理において制御装置１０は、処理対象の姿勢候補におけるテンプレート画
像を取得する（ステップＳ３００）。すなわち、制御装置１０は、テンプレート画像情報
１５ａを参照し、処理対象の姿勢候補に対応づけられたテンプレート画像を取得する。

次に、制御装置１０は、テンプレート画像の輪郭内の一様な部位を取得する（ステップ
Ｓ３０５）。すなわち、制御装置１０は、２次元平面に投影された状態のテンプレート画
像からエッジ画素を抽出する。また、制御装置１０は、エッジ画素からの最小距離が予め
規定された最小基準値以上である画素を特定する。さらに、制御装置１０は、当該画素を
テンプレート画像の輪郭内の一様な部位と見なす。本実施形態においては、一様な部位に
よる検証を行うため、テンプレート画像の輪郭内の一様な部位から検証に利用する複数の
画素をサンプリングする。

図４に示すテンプレート画像においては、サンプリングされた画素を白丸で示している
。以上の構成によれば、テンプレート画像から一様な部位を容易に検出することができる
。なお、テンプレート画像の輪郭内の一様な部位は、予め取得されてテンプレート画像情
報１５ａに含められていても良い。

次に、制御装置１０は、撮像画像の輪郭内の一様な部位を取得する（ステップＳ３１０
）。すなわち、制御装置１０は、オブジェクトＷ１の画像と推定される部位にエッジ検出
フィルタを適用し、輪郭内でエッジである画素とエッジでない画素とを特定する。そして
、制御装置１０は、エッジでない画素によって構成される部位を、撮像画像で形成される
輪郭内の一様な部位と見なす。図７に示す例であれば、破線および一点鎖線で囲まれた領
域が一様な部位として取得される。

次に、制御装置１０は、一様な部位の一致度を取得する（ステップＳ３１５）。すなわ
ち、制御装置１０は、ステップＳ３０５でサンプリングされた画素の位置に相当する画素
をオブジェクトＷ１の画像から抽出し、両者が一様な部位であるか否かを判定する。制御
装置１０は、サンプリングされた画素のそれぞれについて当該判定を行い、両者が一様な
部位であった画素の数をサンプリングされた画素の数で除した値を一致度として取得する
。

次に、制御装置１０は、一致度が第３閾値より大きいか否かを判定する（ステップＳ３
２０）。当該第３閾値は、テンプレート画像とオブジェクトＷ１の画像とが偶然に一致し
ている場合の一致度を除外できる可能性が高くなるように予め設定されていれば良く、例
えば、７０％等の値に設定される。

ステップＳ３２０において、一致度が第３閾値より大きいと判定された場合、制御装置
１０は、一様性による検証処理によって検証されたことを登録する（ステップＳ３２５）
。すなわち、制御装置１０は、処理対象の姿勢候補において一様性による検証が行われた
ことを示すフラグ等をＲＡＭに記録する。ステップＳ３２０において、一致度が第３閾値
より大きいと判定されない場合、制御装置１０は、ステップＳ３２５をスキップする。

（６）関連度による検証処理：
次に、制御装置１０が実行する関連度による検証処理を詳細に説明する。図１０は、図
８のステップＳ２３０における関連度による検証処理を示すフローチャートである。関連
度による検証処理において制御装置１０は、テンプレート画像を移動させ、移動後の各位
置における関連度を取得する（ステップＳ４００）。すなわち、処理対象の姿勢候補が特
定されている状態は、オブジェクトＷ１の画像に対してテンプレート画像が特定の相対位
置になっている状態である。ステップＳ４００において、制御装置１０は、この状態にお
けるテンプレート画像の位置を基準位置として、テンプレート画像を相対的に移動させる
。

本実施形態において制御装置１０は、基準位置を中心とし、オブジェクトＷ１の画像の
各座標軸に沿ってテンプレート画像を正負の方向に一定範囲だけ移動させる。図１２は、
関連度の例を示す図である。同図１２においては、オブジェクトＷ１の画像の位置を示す
座標軸をＸ軸、Ｙ軸として示しており、Ｘ軸、Ｙ軸に垂直な軸によって関連度の大きさを
示している。

また、図１２においては、基準位置における関連度を（Ｘ，Ｙ）＝（０，０）の位置に
示しており、Ｘ軸方向に±５、Ｙ軸方向に±５の範囲がテンプレート画像の相対移動範囲
である。この相対移動範囲内でテンプレート画像の位置を変化させ、変化後のテンプレー
ト画像のそれぞれと撮像画像との関連度を取得してプロットした棒グラフが関連度である
。なお、本実施形態において関連度は、撮像画像内で輪郭を形成する画素の勾配とテンプ
レート画像の輪郭を形成する画素の勾配との類似度である。

すなわち、制御装置１０は、ステップＳ２０５と同様にして、オブジェクトＷ１の画像
２０ａの輪郭を形成する画素と、テンプレート画像の輪郭を形成する画素とにおいて対応
する画素間の勾配の類似度を取得する。そして、制御装置１０は、各画素の勾配の類似度
の総和を取得し、当該テンプレート画像の位置に関する関連度と見なす。制御装置１０は
、以上のような関連度の取得処理を、位置変化後のテンプレート画像のそれぞれについて
取得する。

以上のように、勾配の類似度によって関連度が定義されると、テンプレート画像の位置
がオブジェクトＷ１の画像にマッチしている場合には関連度が大きくなり、マッチしてい
ないと関連度が急激に小さくなる。従って、関連度の分布を解析することにより、テンプ
レート画像の位置を検証することが可能になる。

具体的には、制御装置１０は、最大値となる位置と基準位置との距離が基準距離以下で
あるか否かを判定する（ステップＳ４０５）。すなわち、制御装置１０は、ステップＳ４
００で取得された関連度の分布を参照し、関連度が最大値となるテンプレート画像の位置
（オブジェクトＷ１の画像に対するテンプレート画像の相対位置）を取得する。また、制
御装置１０は、関連度が最大値となる位置と基準位置との距離を取得し、予め決められた
基準距離以下であるか否かを判定する。基準距離は、処理対象の姿勢候補に対応するテン
プレート画像の相対位置がオブジェクトＷ１の画像にマッチしていると見なすことができ
る程度に近いか否かを判定するための閾値であり、予め決められる。

ステップＳ４０５において、最大値となる位置と基準位置との距離が基準距離以下であ
ると判定されない場合、制御装置１０は、ステップＳ４１０、Ｓ４１５をスキップする。
すなわち、関連度によって検証されなかったと見なされる。一方、ステップＳ４０５にお
いて、最大値となる位置と基準位置との距離が基準距離以下であると判定された場合、制
御装置１０は、分布の急峻度が第４閾値より大きいか否かを判定する（ステップＳ４１０
）。第４閾値は、基準位置以外の位置において関連度が急激に低下するか否かを判定する
ための指標である。

すなわち、相対位置が基準位置からずれることによって関連度が急激に低下すると、基
準位置においてテンプレート画像がオブジェクトＷ１の画像にマッチしている可能性が高
く、他の位置でマッチしている可能性が低いことが明らかである。そこで、本実施形態に
おいては、関連度の分布の急峻度に対して予め第４閾値が定義される。急峻度は、種々の
態様で定義可能であり、本実施形態は、関連度の最大値を最小値で除した値が急峻度であ
る。

ステップＳ４１０において、分布の急峻度が第４閾値より大きいと判定されると、制御
装置１０は、制御装置１０は、関連度による検証処理によって検証されたことを登録する
（ステップＳ４１５）。すなわち、制御装置１０は、処理対象の姿勢候補において関連度
による検証が行われたことを示すフラグ等をＲＡＭに記録する。ステップＳ４１０におい
て、分布の急峻度が第４閾値より大きいと判定されない場合、制御装置１０は、ステップ
Ｓ４１５をスキップする。

（７）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可
能である。例えば、制御装置は、ロボットに内蔵されていても良いし、ロボットの設置場
所と異なる場所、例えば外部のサーバー等に備えられていても良い。また、制御装置は、
複数の装置で構成されていても良い。また、制御装置は、ロボットコントローラー、ティ
ーチングペンダント、ＰＣ、ネットワークにつながるサーバー等であっても良いし、これ
らが含まれていても良い。さらに、上述の実施形態の一部の構成が省略されてもよいし、
処理の順序が変動または省略されてもよい。例えば、図８に示す処理において、ステップ
Ｓ２０５〜Ｓ２１５における信頼度に基づく判定や、ステップＳ２２０およびＳ２２５に
おける一様性に基づく判定、ステップＳ２３０およびＳ２３５における関連度による判定
の少なくとも１個が省略されても良いし、処理順序が変化しても良い。

撮像画像取得部は、オブジェクトの撮像画像を取得することができればよく、撮像態様
は任意である。例えば、ロボットに取り付けられたカメラで撮像が行われても良いし、ロ
ボットとともに利用されるカメラ以外のカメラでオブジェクトが撮像されても良い。後者
としては、任意の位置に取り付けられたカメラ（例えば、車両に取り付けられたカメラ）
によってオブジェクトが撮像される構成等が挙げられる。また、検出対象のオブジェクト
は予め既知のオブジェクトであり、大きさや形状も限定されない。すなわち、姿勢毎のテ
ンプレート画像が予め生成できればよく、任意の物体を検出対象のオブジェクトとするこ
とができる。

テンプレート画像取得部は、オブジェクトの姿勢毎のテンプレート画像を取得すること
ができればよい。すなわち、各種の姿勢において撮像されたオブジェクトの画像が予めテ
ンプレート画像とされ、あるテンプレート画像にマッチするオブジェクトが当該テンプレ
ート画像に対応づけられた姿勢であると見なすことができればよい。

テンプレート画像は、検出対象のオブジェクトを撮像した場合の画像を示していれば良
く、上述のように３Ｄモデルから生成されても良いし、オブジェクトを複数の姿勢で撮像
した結果であっても良い。また、テンプレート画像においては，少なくとも輪郭の画素と
輪郭の勾配が定義されていればよく、輪郭に関する情報によって定義されても良いし、輪
郭内部に関する情報が含まれていても良い。テンプレート画像の輪郭の外部に関する情報
は含まれていなくて良く、存在しなくてもよいし、一定の階調値の画素によって構成され
てもよい。

なお、画像内でのオブジェクトの大きさ（オブジェクトのカメラ光軸方向の位置）の変
化は、予め大きさの異なるテンプレート画像が用意されることによって検出されても良い
し、特定の大きさのテンプレート画像に対して拡大や縮小が行われることによって検出さ
れても良く、種々の構成を採用可能である。また、姿勢は、特定の基準（例えば、カメラ
）に対する相対的な姿勢であれば良く、各種の座標系で定義されて良い。むろん、当該姿
勢にはオブジェクトの位置が含まれても良い。

姿勢決定部は、撮像画像内で輪郭を形成する画素とテンプレート画像の輪郭を形成する
画素との距離が第１閾値より短く、撮像画像内で輪郭を形成する画素の勾配とテンプレー
ト画像の輪郭を形成する画素の勾配との類似度が第２閾値より大きいテンプレート画像に
基づいてオブジェクトの姿勢を決定することができればよい。すなわち、姿勢決定部は、
オブジェクトの候補となる画像の輪郭とテンプレート画像の輪郭の距離が短いことと、オ
ブジェクトの候補となる画像の輪郭の勾配とテンプレート画像の輪郭の勾配とが類似して
いることとを条件としてテンプレートがマッチしているか否かを決定することができれば
よい。

撮像画像内で輪郭を形成する画素は、オブジェクトの外周部分である可能性がある画素
であればよく、上述の実施形態のようなエッジ検出フィルタによって検出されたエッジ画
素を輪郭と見なす構成であっても良いし、エッジ画素が一定距離以上連続している部位に
おいて当該エッジ画素を輪郭と見なしても良いし、エッジ画素によって閉じた図形が形成
されている場合に当該エッジ画素を輪郭と見なしても良く、種々の構成を採用可能である
。

撮像画像内で輪郭を形成する画素とテンプレート画像の輪郭を形成する画素との距離は
、両輪郭の一致度や重なり具合等を評価する指標であれば良く、両輪郭で対応する画素同
士の距離が計測されても良いし、両輪郭を構成する画素の最短の画素によって距離が計測
されても良いし、種々の構成が採用可能である。距離を評価するためにサンプリングされ
る画素の数は限定されず、種々の値等することができる。

第１閾値は、撮像画像内で形成された輪郭がテンプレート画像の輪郭にマッチしていな
い状態を排除することのできる値として、予め定義されていれば良い。なお、第１閾値は
、固定値であっても良いし可変値であっても良い。また、第１閾値は画素同士の距離を計
測する際にサンプリングされる画素の数に応じて変化しても良い。

勾配は、上述の実施形態のように各種のフィルタ等によって検出され、大きさおよび方
向を有するベクトル情報であっても良いし、大きさおよび方向の一方であっても良い。勾
配の類似度は、勾配が近いほど類似度が高いと見なされる指標であれば良く、数値で類似
度が表現される場合、数値が大きいほど類似度が高くても良いし、数値が小さいほど類似
度が高くても良い。

また、類似度は、上述の実施形態のように勾配ベクトルの内積によって表現されても良
いし、勾配の大きさが一致している度合いによって表現されても良いし、勾配ベクトル同
士の角度や勾配ベクトル同士の距離によって表現されても良い。第２閾値は、撮像画像内
で形成された輪郭の勾配がテンプレート画像の輪郭の勾配にマッチしていない状態を排除
することのできる値として、予め定義されていれば良い。なお、第２閾値は、固定値であ
っても良いし、可変値であっても良い。可変値としては、上述の実施形態のように、テン
プレート画像の輪郭の曲率が大きくなるほど第２閾値が小さくなる構成が挙げられる。

上述の実施形態において撮像画像で形成される輪郭内の一様な部位は、エッジまでの最
小距離が最小基準値以上の画素であるが、このような構成以外にも種々の手法で一様な部
位が特定されて良い。例えば、画素の階調値の変化が所定範囲内である部位を一様な部位
としてもよい。いずれにしても、一様な部位が特定されると、画像の複雑な部位（エッジ
や輪郭）ではなく、画像の変化が少ない部位に基づいてテンプレートマッチングを行うこ
とが可能である。

また、一致度は、上述の実施形態のように、撮像画像とテンプレート画像とにおける一
様な部位とされた画素の一致率で定義されても良いし、他の手法で定義されても良い。例
えば、一様な部位の２次元的な重複率によって定義されても良いし、一様な部位として検
出された部位の個数が計測され、一致または重複した部位の個数が評価されても良い。第
３閾値は、撮像画像内に形成される輪郭内の一様な部位と、テンプレート画像の輪郭内の
一様な部位とが一致していない状態を排除することのできる値として、予め定義されてい
れば良い。なお、第３閾値は固定値であっても良いし可変値であっても良い。

関連度の分布の急峻度は、上述の実施形態のように最小値と最大値との比で評価されて
も良いし、他の指標、例えば、分散や標準偏差等によって評価されても良く、種々の構成
を採用可能である。移動後のテンプレート画像のそれぞれと撮像画像との関連度は、勾配
の類似度以外にも種々の値によって定義可能である。すなわち、関連度は、テンプレート
画像と撮像画像との相対的な位置に応じて関連度が変化し、テンプレート画像が撮像画像
内のオブジェクトの位置にマッチした場合に関連度が上昇するように定義されていればよ
い。むろん、関連度の解析は、分布の急峻度以外の要素、例えば、上述のように関連度が
最大値となる位置と基準位置との距離や、関連度の分布形状等による指標に基づいて行わ
れてもよい。

このような関連度は、例えば、撮像画像に基づいて算出された値と、テンプレート画像
に基づいて算出された値との相関度であっても良い。すなわち、撮像画像の位置毎に定義
可能なある特性と、テンプレート画像の位置毎に定義可能なある特性とが互いに相関して
いる場合、この相関を示す相関度を計算することにより、テンプレート画像がオブジェク
トＷ１の画像にマッチしているか否かを判定することが可能になる。

このような特性としては、例えば、オブジェクトの表面構造に関する特性が挙げられる
。より具体的には、６面体などの平面を有するオブジェクトにおいて、平面からの反射が
ランバート反射等の拡散反射である場合、同一平面の画像は一様であるとともに平面の姿
勢毎に陰影が異なり得る。一方、３次元モデルにおいて平面上の法線ベクトルを定義すれ
ば、同一平面内において当該法線ベクトルは一定の方向を向いたベクトルとなる。

そこで、当該法線ベクトルを２次元平面に投影して画素毎の特性とし、オブジェクトＷ
１の画像における輝度を画素毎の特性とすれば、これらの画素毎の特性の相関度を、テン
プレート画像と撮像画像との関連度と見なすことができる。なお、このような相関度は種
々の手法で算出可能であり、画素毎の各特性の相関係数等によって取得する構成等を採用
可能である。以上の構成によれば、撮像画像とテンプレート画像の各種の特性に基づいて
テンプレート画像が撮像画像にマッチしているか否かを検証することができ、オブジェク
トが適正に検出できる可能性を向上させることができる。

１…ロボット、１ａ…センサー、１０…制御装置、１０ａ…撮像画像取得部、１０ｂ…テ
ンプレート画像取得部、１０ｃ…姿勢決定部、１０ｄ…ロボット制御部、１５…記録媒体
、１５ａ…テンプレート画像情報、２０…カメラ、２０ａ…画像

Claims (10)

1. オブジェクトの撮像画像を取得する撮像画像取得部と、
   前記オブジェクトの姿勢毎のテンプレート画像を取得するテンプレート画像取得部と、
   前記撮像画像内で輪郭を形成する画素と前記テンプレート画像の輪郭を形成する画素と
   の距離が第１閾値より短く、前記撮像画像内で輪郭を形成する画素の勾配と前記テンプレ
   ート画像の輪郭を形成する画素の勾配との類似度が第２閾値より大きい画素を有する前記
   テンプレート画像に基づいて前記オブジェクトの姿勢を決定する姿勢決定部と、
   を備えるオブジェクト姿勢検出装置。
2. 前記テンプレート画像の輪郭の曲率が大きくなるほど前記第２閾値が小さくなる、
   請求項１に記載のオブジェクト姿勢検出装置。
3. 前記姿勢決定部は、
   前記撮像画像で形成される輪郭内の一様な部位と前記テンプレート画像の輪郭内の一
   様な部位との一致度が第３閾値より大きい前記テンプレート画像に基づいて前記オブジェ
   クトの姿勢を決定する、
   請求項１または請求項２のいずれかに記載のオブジェクト姿勢検出装置。
4. 前記一様な部位は、
   エッジまでの最小距離が最小基準値以上の画素によって構成される、
   請求項３に記載のオブジェクト姿勢検出装置。
5. 前記姿勢決定部は、
   前記テンプレート画像の位置を変化させ、変化後の前記テンプレート画像のそれぞれ
   と前記撮像画像との関連度を取得し、
   前記関連度の分布の急峻度が第４閾値より大きい前記テンプレート画像に基づいて前
   記オブジェクトの姿勢を決定する、
   請求項１〜４のいずれか一項に記載のオブジェクト姿勢検出装置。
6. 前記関連度は、
   前記撮像画像内で輪郭を形成する画素の勾配と前記テンプレート画像の輪郭を形成す
   る画素の勾配との類似度である、
   請求項５に記載のオブジェクト姿勢検出装置。
7. 前記関連度は、
   前記撮像画像に基づいて算出された値と、前記テンプレート画像に基づいて算出され
   た値との相関度である、
   請求項５または請求項６のいずれか一項に記載のオブジェクト姿勢検出装置。
8. 請求項１〜請求項７のいずれかに記載されたオブジェクト姿勢検出装置によって検出さ
   れた前記オブジェクトの姿勢に基づいてロボットを制御する制御装置。
9. 請求項８に記載された制御装置によって制御されるロボット。
10. 請求項８に記載された制御装置と、請求項９に記載されたロボットと、を備えるロボッ
    トシステム。

Images