JP2022152845A

JP2022152845A - ロボット制御用のキャリブレーション装置

Info

Publication number: JP2022152845A
Application number: JP2021055774A
Authority: JP
Inventors: 毅北村; Takeshi Kitamura; 聡笹谷; So Sasatani; 大輔浅井; Daisuke Asai; 信博知原; Nobuhiro Chihara
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-03-29
Filing date: 2021-03-29
Publication date: 2022-10-12
Anticipated expiration: 2041-03-29
Also published as: JP7437343B2; WO2022208963A1

Abstract

【課題】マーカの遮蔽を考慮してロボットの姿勢集合を教示するとともに、ロボットの姿勢集合の教示に要する工数を削減することができるロボット制御用のキャリブレーション装置を提供する。【解決手段】キャリブレーション装置２は、予め定められた位置から撮像する撮像部３２と、ロボット３０に取り付けられたマーカ３１と、ロボット３０の複数の姿勢を含む姿勢集合を生成する姿勢集合生成部２３と、その姿勢集合の中から、マーカ３１の遮蔽が生じない複数の姿勢を抽出する非遮蔽姿勢抽出部２６と、抽出された複数の姿勢に基づいて、ロボットの座標系と撮像部の座標系を変換するための座標変換パラメータを推定するキャリブレーション実行部２９と、備える。【選択図】図１

Description

本発明は、ロボット制御用のキャリブレーション装置に関する。

近年の労働力不足を解消するため、従来は人が行ってきた作業、たとえば物流分野におけるピッキング作業や、産業分野における組み立て作業など、何らかのワーク（作業対象物）を取り扱う各種作業を、自律ロボットによって自動化するニーズが高まっている。この自動化を実現するにあたって、適切な自律作業をロボットに実行させるには、ワークなどの周辺環境を高精度に認識するための撮像部が必要となる。

撮像部が撮影した画像に基づいて周辺環境を認識し、この認識結果に応じてロボットが自律的に作業するには、ロボットに対する撮像部の相対的な配置（位置、姿勢）を決定するキャリブレーションの実施が必要である。このキャリブレーションには、たとえば、形状が既知のターゲットマーカ（以下、「マーカ」ともいう。）をロボットに取り付け、様々な姿勢に変更したロボットを撮像部によって撮影し、その撮影画像とロボットの姿勢との関係を対応付けた複数の組のデータを用いて、ロボットと撮像部との間の相対的な位置および姿勢を推定する方法がある。

しかしながら、上記のキャリブレーション方法では、工数の肥大化が懸念される。たとえば、キャリブレーション時に必要とされるロボットの複数の姿勢（以下、「姿勢集合」ともいう。）を教示するには、ロボットシステムの導入先の周辺環境に応じて専門家が試行錯誤する必要がある。このため、キャリブレーションに多くの工数を要する。また、ピッキング作業など不定形な作業をロボットに実行させる場合は、周辺環境に存在する物品に応じて撮像部の配置を変更する可能性がある。そして、実際に撮像部の配置を変更する場合は、その都度、ロボットの姿勢集合を教示する必要がある。したがって、キャリブレーションに必要な工数（以下、「キャリブレーション工数」ともいう。）が膨大になる恐れがある。このような背景から、近年ではキャリブレーション工数を削減するための仕組み、あるいは試作への注目度が高くなっている。

ロボット制御用のキャリブレーションに関して、たとえば特許文献１には、「キャリブレーションを容易に実施する」ための解決手段として、「ロボット制御システムは、撮像部により撮像された画像に基づいて、当該撮像部の視野内に存在する任意の対象物の三次元座標を計測する計測部と、計測された三次元座標とロボットの作用部の位置および姿勢との間の予め算出された対応関係に従って、ロボットの作用部を位置決めするための指令を生成する指令生成部と、対応関係を算出するためのキャリブレーションを実行するキャリブレーション実行部と、キャリブレーションにおいて、ロボットの作用部に関連付けられた基準物体を配置すべき領域であるキャリブレーション領域の設定を受付ける設定受付部とを含む。」と記載されている。

すなわち、特許文献１に記載された技術では、撮像部が撮影したロボットの情報などから、キャリブレーション時にマーカを移動させる空間（キャリブレーション領域）を規定し、その空間内でマーカの配置を自動で生成し、姿勢集合を教示することで、キャリブレーション工数を削減している。特許文献１に記載された技術によれば、設定受付部で設定を受け付けたキャリブレーション領域の範囲内でマーカを移動させるため、ロボットの姿勢集合の教示に要する工数を削減しつつ、キャリブレーションを実行することができる。

特開２０１９－２１７５７１号公報

しかしながら、特許文献１に記載された技術では、ロボットを様々な姿勢に変更した際に生じる可能性がある、マーカの遮蔽（以下、「オクルージョン」ともいう。）については考慮されていない。このため、次のような課題を有する。
一般に、ロボットの周辺や撮像部の周辺にロボット以外のものが存在する場合、あるいは、ロボットに付随する部品のうちマーカ以外の部分がマーカと撮像部との間に介在する場合は、撮像部から見てマーカが遮蔽される可能性がある。また、マーカの遮蔽が生じないようにマーカの移動空間を規定し、ロボットの姿勢集合を教示するには膨大な工数を要する。

本発明の目的は、マーカの遮蔽を考慮してロボットの姿勢集合を教示するとともに、ロボットの姿勢集合の教示に要する工数を削減することができるロボット制御用のキャリブレーション装置を提供することにある。

上記課題を解決するために、たとえば、特許請求の範囲に記載された構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一つを挙げるならば、予め定められた位置から撮像する撮像部と、ロボットに取り付けられ、ロボットの動作にしたがって変位するマーカと、撮像部によってマーカを撮像可能とするためのロボットの複数の姿勢を含む姿勢集合を生成する姿勢集合生成部と、姿勢集合生成部によって生成された姿勢集合の中から、マーカの遮蔽が生じない複数の姿勢を抽出する非遮蔽姿勢抽出部と、非遮蔽姿勢抽出部によって抽出された複数の姿勢に基づいて、ロボットの座標系と撮像部の座標系を変換するための座標変換パラメータを推定するキャリブレーション実行部と、を備えるロボット制御用キャリブレーション装置である。

本発明によれば、マーカの遮蔽を考慮してロボットの姿勢集合を教示するとともに、ロボットの姿勢集合の教示に要する工数を削減することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明によって明らかにされる。

第１実施形態に係るロボット制御用のキャリブレーション装置の構成例を示す図である。本実施形態における制御装置の構成例を示すブロック図である。本実施形態における現実装置の座標系と座標変換を示す図である。姿勢集合生成部の機能ブロック図である。パラメータ取得部が取得するパラメータの一覧を示す図である。パラメータ取得部によるパラメータの取得手順を示すフローチャートである。姿勢集合を生成して保存する手順を示すフローチャートである。教示空間生成部による教示空間の生成方法を説明する図である。教示空間生成部による教示空間の分割方法を説明する図である。教示位置生成部による教示位置の生成方法を説明する図である。各小空間の教示位置にマーカを初期姿勢で配置した場合のマーカの見え方を示す図である。教示姿勢生成部が生成したマーカの教示姿勢を示す図である。シミュレータ構築部によって構築されるシミュレータの一例を示す図である。非物理干渉姿勢抽出部の処理手順を示すフローチャートである。ロボットが実際にピッキング作業を行うときの姿勢を上から俯瞰した図である。ロボットが実際にピッキング作業を行うときの姿勢を側面から俯瞰した図である。非遮蔽姿勢抽出部の処理手順を示すフローチャートである。非遮蔽姿勢抽出部の動作例を示す模式図である。姿勢集合評価部の機能ブロック図である。キャリブレーション実行部の処理手順を示すフローチャートである。第２実施形態に係るロボット制御用のキャリブレーション装置の構成例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。本明細書および図面において、実質的に同一の機能または構成を有する要素については、同一の符号を付し、重複する説明は省略する。

＜第１実施形態＞
図１は、第１実施形態に係るロボット制御用のキャリブレーション装置の構成例を示す図である。本実施形態では、ロボットが行う作業内容の一例として、ワークを所定の位置へと移動させるピッキング作業を想定する。また、本実施形態では、制御対象のロボットの一例として、関節型ロボットであるロボットアーム（以下、単に「ロボット」ともいう。）を想定する。また、本実施形態では、ロボットに取り付けられるマーカの一例として、平面上の治具に寸法が既知の模様を印刷したキャリブレーションボードを想定する。また、本実施形態では、撮像部の一例として、単眼カメラを想定する。また、本実施形態では、ロボットの周辺や撮像部の周辺に設置される環境設置物の一例として、壁およびコンベアを想定する。ただし、本実施形態で想定する内容は、あくまで一例であって、ロボット制御用のキャリブレーション装置の構成は、本実施形態で想定した例に限定されない。

図１に示すように、キャリブレーション装置２は、制御装置１と、現実装置２Ａと、キャリブレーション制御装置２Ｂと、を備えている。
制御装置１は、キャリブレーション装置２全体を統括的に制御する。また、制御装置１は、現実装置２Ａにおけるロボット３０の動作や撮像部３２の動作を制御する。なお、図１においては、制御装置１とキャリブレーション制御装置２Ｂを別々に表記しているが、キャリブレーション制御装置２Ｂの機能は、制御装置１のコンピュータハードウェア資源によって実現することが可能である。

現実装置２Ａは、ロボットアームによって構成されたロボット３０と、ロボット３０に取り付けられたマーカ３１と、ロボット３０の作業空間と周辺を計測する撮像部３２と、を有する。また、現実装置２Ａは、ロボット３０の周辺や撮像部３２の周辺に設置される環境設置物３３の一例として、壁３３Ａおよびコンベア３３Ｂを有する。

キャリブレーション制御装置２Ｂは、事前知識２１と、生成パラメータ２２と、事前知識２１および生成パラメータ２２を用いてロボット３０の姿勢集合を生成する姿勢集合生成部２３と、事前知識２１を用いて三次元シミュレータ（以下、単に「シミュレータ」ともいう。）を構築するシミュレータ構築部２４と、姿勢集合生成部２３が生成した姿勢集合の中から、ロボット３０やマーカ３１が現実装置２Ａ内のいずれの部分にも物理干渉しない複数の姿勢（姿勢集合）を抽出する非物理干渉姿勢抽出部２５と、非物理干渉姿勢抽出部２５が抽出した姿勢集合の中から、マーカ３１の遮蔽が生じない複数の姿勢（姿勢集合）を抽出する非遮蔽姿勢抽出部２６と、非遮蔽姿勢抽出部２６が抽出した姿勢集合をキャリブレーション精度の観点から評価する姿勢集合評価部２７と、姿勢集合評価部２７による評価が低い場合に生成パラメータ２２を更新するパラメータ更新部２８と、姿勢集合評価部２７による評価が高い場合にキャリブレーションを実行するキャリブレーション実行部２９と、を備えている。ロボット３０の姿勢集合とは、ロボット３０の複数の姿勢（姿勢データ）の集合である。

事前知識２１は、現実装置２Ａの形状等を含む設計情報と、ロボット３０が作業を行う空間（以下、「作業空間」ともいう。）を特定可能な情報と、撮像部３２の評価値と、各機能部で用いる閾値などのパラメータ情報と、を有するデータベースである。現実装置２Ａの設計情報は、現実装置２Ａの三次元モデルなどの形状、仕様および配置を含む情報である。撮像部３２の評価値は、撮像部３２の受け入れ、もしくは出荷時に行う検査で得られる評価値であって、撮像部３２の製品スペックに対する実性能や、画像歪みの程度を表す値である。生成パラメータ２２は、ロボット３０の姿勢集合に含まれる姿勢の数と密度を決定するパラメータを有するデータベースである。

姿勢集合生成部２３は、事前知識２１と生成パラメータ２２とを入力として、ロボット３０の姿勢集合を生成するとともに、生成した姿勢集合を制御装置１に保存する。姿勢集合生成部２３が生成する姿勢集合に含まれるロボット３０の姿勢は、撮像部３２によってマーカ３１を撮像可能（撮影可能）とするための姿勢である。シミュレータ構築部２４は、事前知識２１を用いて、仮想的にロボット３０の動作および撮像部３２を用いた撮影を可能とする三次元シミュレータを構築する。非物理干渉姿勢抽出部２５は、姿勢集合生成部２３が生成した姿勢集合を制御装置１から読み込むとともに、シミュレータ構築部２４が構築した三次元シミュレータ上でロボットを各姿勢に移動することにより、ロボット３０やマーカ３１が、ロボット３０および環境設置物３３のいずれとも物理干渉しない複数の姿勢を抽出する。また、非物理干渉姿勢抽出部２５は、抽出した複数の姿勢を、物理干渉しない姿勢集合として制御装置１に保存する。非遮蔽姿勢抽出部２６は、非物理干渉姿勢抽出部２５が抽出した姿勢集合を制御装置１から読み込むとともに、シミュレータ構築部２４が構築した三次元シミュレータ上でロボットを各姿勢に移動することにより、撮像部３２とマーカ３１との間でマーカ３１の遮蔽が生じない複数の姿勢を抽出する。また、非遮蔽姿勢抽出部２６は、抽出した複数の姿勢を、姿勢集合として制御装置１に保存する。なお、本実施形態においては、姿勢集合生成部２３が生成した姿勢集合の保存先や、非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６がそれぞれ抽出した姿勢集合の保存先を制御装置１としているが、姿勢集合の保存先は制御装置１に限らず、たとえばキャリブレーション制御装置２Ｂが備える記憶部であってもよい。

姿勢集合評価部２７は、非遮蔽姿勢抽出部２６が抽出した姿勢集合を制御装置１から読み込むとともに、その姿勢集合を用いたキャリブレーションの推定精度が事前に設定された所定値以上であるか否かを判定し、この判定結果を基に姿勢集合を評価する。パラメータ更新部２８は、姿勢集合評価部２７で所定値以上に高精度なキャリブレーションが見込めない場合に、生成パラメータ２２を更新する。キャリブレーション実行部２９は、姿勢集合評価部２７で所定以上に高精度なキャリブレーションが見込めると判定された姿勢集合（複数の姿勢）に基づいて、ロボット３０と撮像部３２とを制御し、ロボット３０の座標系と撮像部３２の座標系を変換するための座標変換パラメータを推定する。

以降では、制御装置１、現実装置２Ａ、事前知識２１、姿勢集合生成部２３、シミュレータ構築部２４、非物理干渉姿勢抽出部２５、非遮蔽姿勢抽出部２６、姿勢集合評価部２７、パラメータ更新部２８、キャリブレーション実行部２９について詳細に説明する。

（制御装置１）
図２は、本実施形態における制御装置１の構成例を示すブロック図である。
図２に示すように、制御装置１は、キャリブレーション装置２全体を統括的に制御するためのコンピュータハードウェア資源として、ＣＰＵ１１と、ＣＰＵ１１の指令を伝達するバス１２と、ＲＯＭ１３と、ＲＡＭ１４と、記憶装置１５と、ネットワークＩ／Ｆ（Ｉ／Ｆはインターフェースの略、以下同じ）１６と、撮像部３２を接続するための撮像Ｉ／Ｆ１７と、画面出力を行うための画面表示Ｉ／Ｆ１８と、外部入力を行うための入力Ｉ／Ｆ１９と、を有する。すなわち、制御装置１は、一般的なコンピュータ装置によって構成することができる。

記憶装置１５には、各機能を実行するためのプログラム１５Ａと、ＯＳ（オペレーティングシステム）１５Ｂと、三次元モデル１５Ｃと、データベースなどのパラメータ１５Ｄとが記憶されている。ネットワークＩ／Ｆ１６にはロボット制御装置１６Ａが接続されている。ロボット制御装置１６Ａは、ロボット３０を制御して動作させる装置である。

（現実装置２Ａ）
本実施形態において、ロボット３０は、ピッキング作業を行うピッキングロボットである。一般に、ピッキングロボットは多関節ロボットによって構成される。ただし、ロボット３０は、複数の関節を有するロボットであれば、ロボットの種類を問わない。また、ロボット３０は、単軸スライダー上に設置し、この単軸スライダーによってロボット３０の移動の自由度を増加させることで、広い空間を対象に作業を実行することができる。
マーカ３１としては、平面上の治具に、寸法が既知の模様を印刷したキャリブレーションボードを使用する。このようなマーカ３１を使用した場合は、撮像部３２によって計測したデータを解析することで、三次元空間におけるマーカ３１の位置を特定することができる。ただし、撮像部３２によって計測したデータにより、マーカ３１の三次元位置を特定可能であれば、たとえば球状の治具や特殊な形状の治具などをマーカ３１として使用することができる。
マーカ３１は、ロボットアームからなるロボット３０のアーム先端に取り付けられている。ただし、マーカ３１の取り付け位置は、ロボット３０の動作にしたがってマーカ３１が変位するという条件を満たす位置であれば、アーム先端に限らず、ロボットアーム上であればよい。

また、本実施形態では、撮像部３２として単眼カメラを用いている。ただし、撮像部３２は、単眼カメラに限らず、たとえばＴｏF（Time of Flight）方式のカメラや、ステレオカメラなどによって構成してもよい。つまり、撮像部３２によって得られるデータは、マーカ３１の三次元位置を特定可能な画像や点群などのデータである。撮像部３２は、予め定められた位置からロボット３０の作業空間などを撮影する。撮像部３２の取り付け位置は、たとえば、ロボット３０が作業を行う建物の天井や壁など、任意の場所に設定することができる。

ここで、現実装置２Ａの座標系と座標変換について説明する。
図３は、本実施形態における現実装置２Ａの座標系と座標変換を示す図である。
現実装置２Ａの座標系には、ロボット３０のアーム基部を原点とする基部座標系Ｃ１と、ロボット３０のアーム先端を原点とするアーム座標系Ｃ２と、マーカ３１の中心を原点とするマーカ座標系Ｃ３と、撮像部３２の光学中心を原点とするカメラ座標系Ｃ４とがある。各々の座標系は、それぞれ三次元の座標系である。

現実装置２Ａの座標変換には、基部座標系Ｃ１とカメラ座標系Ｃ４との座標変換を表す基部・カメラ変換行列Ｍ１と、マーカ座標系Ｃ３とカメラ座標系Ｃ４との座標変換を表すマーカ・カメラ変換行列Ｍ２と、アーム座標系Ｃ２と基部座標系Ｃ１との座標変換を表すアーム・基部変換行列Ｍ３と、アーム座標系Ｃ２とマーカ座標系Ｃ３との座標変換を表すアーム・マーカ変換行列Ｍ４とがある。このうち、基部座標系Ｃ１は、ロボット３０の座標系に相当し、カメラ座標系Ｃ４は、撮像部３２の座標系に相当する。また、基部・カメラ変換行列Ｍ１は、ロボット３０の座標系と撮像部３２の座標系を変換するための座標変換パラメータに相当する。座標変換の一例を挙げると、基部・カメラ変換行列Ｍ１のうち、回転行列をＲca、並進行列をｔcaとしたとき、カメラ座標系Ｃ４における座標Ｃ（Ｘｃ，Ｙｃ，Ｚｃ）は、下記の数式に示すように基部座標系Ｃ１の点Ｐ（Ｘｒ，Ｙｒ，Ｚｒ）に変換することができる。

次に、現実装置２Ａの座標変換パラメータ（Ｍ１，Ｍ２，Ｍ３，Ｍ４）の取得方法について説明する。
基部・カメラ変換行列Ｍ１は、現実装置２Ａにおける設計値の１つとして求めることができる。ただし、設計値として求めた基部・カメラ変換行列Ｍ１を適用してロボット３０を動作させた場合に、ロボット３０の位置に誤差が生じることがある。このような誤差が生じる原因の１つとして、たとえば、現実装置２Ａにおける撮像部３２の取り付け位置のズレが考えられる。具体的には、撮像部３２の光軸（ｚ軸）が鉛直方向と平行になるように撮像部３２の取り付け位置が設計されていても、実際の取り付け時には僅かな位置ズレが生じることがある。キャリブレーションは、このような位置ズレによってロボット３０の位置に誤差が生じないよう、基部・カメラ変換行列Ｍを正確に求めるために行われる。

基部・カメラ変換行列Ｍ１の設計値は事前知識２１に含まれている。このため、事前知識２１から基部・カメラ変換行列Ｍ１の設計値を取得することができる。また、キャリブレーションを実行することにより、上記の位置ズレ等を反映した基部・カメラ変換行列Ｍ１の実際の値を取得することができる。本実施形態におけるキャリブレーションとは、ある姿勢へとロボット３０を移動したときのマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３の複数の組のデータから、基部・カメラ変換行列Ｍ１を推定することをいう。基部・カメラ変換行列Ｍ１の推定は演算によって行われる。

マーカ・カメラ変換行列Ｍ２は、撮像部３２によりマーカ３１を撮影して得た画像を解析することにより取得することができる。アーム・基部変換行列Ｍ３は、ロボット３０のエンコーダ値から計算することで取得することができる。ロボット３０の関節部分には、図示しない関節駆動用のモータと、このモータの回転角を検出するエンコーダとが設けられ、エンコーダ値は、エンコーダの出力値を意味する。アーム・マーカ変換行列Ｍ４は未知、もしくは事前知識２１より設計値を取得することができる。本実施形態では、アーム・マーカ変換行列Ｍ４の設計値は事前知識２１に含まれているため、この事前知識２１からアーム・マーカ変換行列Ｍ４の設計値を取得することができる。なお、本実施形態においては、各座標系の原点、座標系の向き、座標変換を上述のように設定しているが、この例に限定されるものではない。

（事前知識２１）
事前知識２１は、下記（１）～（１１）のパラメータを有するデータベースである。
（１）基部・カメラ変換行列Ｍ１の設計値。
（２）アーム・マーカ変換行列Ｍ４の設計値。
（３）ロボット３０の形状情報を含む三次元モデル。
（４）ロボット３０の関節角の上限値などを規定する仕様データ。
（５）マーカ３１の種類やサイズを含む形状データ。
（６）撮像部３２のカメラパラメータや光学ブラー、解像度、画角などの情報を含む仕様データ。
（７）撮像部３２の歪み評価値。
（８）ロボット３０の作業空間を規定する情報。
（９）現実装置２Ａの設計情報。
（１０）環境設置物３３の形状と配置を規定する情報。
（１１）各機能部で用いる閾値。
なお、本実施形態では、上記の事前知識２１を用いた機能について説明するが、一部のみを使用し機能を実装してもよい。

（姿勢集合生成部２３）
姿勢集合生成部２３は、事前知識２１から取得したパラメータと生成パラメータ２２から取得したパラメータとに基づいてロボット３０の姿勢集合を生成する。また、姿勢集合生成部２３は、生成した姿勢集合を制御装置１に保存する。

図４は、姿勢集合生成部２３の機能ブロック図である。
図４に示すように、姿勢集合生成部２３は、パラメータ取得部２３１と、教示空間生成部２３２と、教示位置生成部２３３と、教示姿勢生成部２３４と、座標系変換部２３５と、姿勢集合保存部２３６と、を備えている。

パラメータ取得部２３１は、姿勢集合の生成に必要なパラメータを、事前知識２１と生成パラメータ２２から取得する。教示空間生成部２３２は、キャリブレーション時にマーカ３１を配置する空間を決定し、この空間を複数の小空間に分割する。また、教示空間生成部２３２は、各小空間にインデックスを付与する。教示位置生成部２３３は、各小空間においてマーカ３１を配置する位置、すなわち教示位置を、カメラ座標系Ｃ４を基準に生成する。教示姿勢生成部２３４は、教示位置生成部２３３が生成した各教示位置においてマーカ３１の姿勢、すなわち教示姿勢を生成する。座標系変換部２３５は、カメラ座標系Ｃ４を基準としたマーカ３１の姿勢集合を、事前知識２１に含まれる基部・カメラ変換行列Ｍ１の設計値に基づいて、基部座標系Ｃ１を基準としたロボット３０の姿勢集合へと変換する。姿勢集合保存部２３６は、教示姿勢生成部２３４が生成した姿勢集合と座標系変換部２３５が変換した姿勢集合とを、制御装置１に保存する。以下、姿勢集合生成部２３の各部の構成についてさらに詳しく説明する。

図５は、パラメータ取得部２３１が取得するパラメータの一覧を示す図である。
図５に示すように、パラメータ取得部２３１が取得するパラメータには、基部・カメラ変換行列Ｍ１の設計値（回転行列Ｒｃａ、並進行列ｔｃａ）、撮像部３２の計測範囲（画角、解像度、光学ブラー）、撮像部３２の歪み情報（歪み評価）、ロボット３０の作業空間（三次元空間情報）、マーカ３１の形状（ボード、球体、サイズ）、姿勢集合の各軸方向の分解能（Ｘ１，Ｙ１，Ｚ１）が含まれる。

図６は、パラメータ取得部２３１によるパラメータの取得手順を示すフローチャートである。
まず、パラメータ取得部２３１は、基部・カメラ変換行列Ｍ１の設計値を事前知識２１から取得する（ステップＳ１）。このとき、パラメータ取得部２３１は、基部・カメラ変換行列Ｍ１の設計値として、回転行列Ｒｃａおよび並進行列ｔｃａを取得する。

次に、パラメータ取得部２３１は、撮像部３２の計測範囲と撮像部３２の歪み情報とを事前知識２１から取得する（ステップＳ２）。このとき、パラメータ取得部２３１は、撮像部３２の計測範囲として画角、解像度および光学ブラーを取得するとともに、撮像部３２の歪み情報として歪み評価値を取得する。

次に、パラメータ取得部２３１は、ロボット３０の作業空間を規定する情報を事前知識２１から取得する（ステップＳ３）。このとき、パラメータ取得部２３１は、ロボット３０の作業空間を規定する情報として、その作業空間を示す三次元空間情報を取得する。
次に、パラメータ取得部２３１は、マーカ３１の形状データを取得する（ステップＳ４）。このとき、パラメータ取得部２３１は、マーカ３１の形状データとして、マーカ３１の種類（ボード、球体）とサイズのデータを取得する。
次に、パラメータ取得部２３１は、姿勢集合の各軸方向の分解能（Ｘ１，Ｙ１，Ｚ１）を生成パラメータ２２から取得する（ステップＳ５）。具体的には、カメラ座標系Ｃ４を基準に、各軸において姿勢を作る個数（Ｘ１，Ｙ１，Ｚ１）を、各軸方向の分解能を定めるパラメータとして取得する。この場合、各軸において姿勢を作る個数が多いほど（Ｘ１，Ｙ１，Ｚ１の各値が大きいほど）、各軸方向の分解能が高くなる。つまり、パラメータＸ１，Ｙ１，Ｚ１は、姿勢集合に含まれる姿勢の数と密度を決定するパラメータに相当する。

図７は、教示空間生成部２３２、教示位置生成部２３３、教示姿勢生成部２３４および座標系変換部２３５によって姿勢集合を生成し、この姿勢集合を姿勢集合保存部２３６によって保存する手順を示すフローチャートである。
図７に示すように、まず、教示空間生成部２３２は、マーカ３１を配置する教示空間を生成する（ステップＳ６）。このとき、教示空間生成部２３２が生成する教示空間は、カメラ座標系Ｃ４を基準とする三次元空間である。

次に、教示空間生成部２３２は、先ほど生成した教示空間を複数の小空間に分割し、各小空間にインデックスを付与する（ステップＳ７）。このとき、教示空間生成部２３２は、教示空間をＸ１×Ｙ１×Ｚ１の小空間に分割する。たとえば、Ｘ１＝３、Ｙ１＝３、Ｚ１＝３であれば、教示空間生成部２３２は、教示空間を各軸方向で３つに分解することにより、教示空間を合計２７個の小空間に分割する。また、教示空間生成部２３２は、小空間ごとにインデックス（Ｘ，Ｙ，Ｚ）を付与する。

次に、教示位置生成部２３３は、各小空間内でマーカ３１を配置する位置を教示位置として設定する（ステップＳ８）。これにより、小空間の個数分だけマーカ３１の教示位置が生成される。
次に、教示姿勢生成部２３４は、マーカ３１が撮像部３２に正対するように、各教示位置におけるマーカ３１の教示姿勢を初期設定する（ステップＳ９）。以降の説明では、初期設定したマーカ３１の教示姿勢を初期姿勢という。
次に、教示姿勢生成部２３４は、各小空間に付与されたインデックスに基づくルールベースもしくはランダムに、初期姿勢からカメラ座標系Ｃ４の各軸方向に０度から±θ(閾値)度だけマーカ３１の姿勢を回転させることにより、マーカ３１の教示姿勢を生成する（ステップＳ１０）。これにより、マーカ３１の教示姿勢が小空間の個数分だけ生成される。

次に、座標系変換部２３５は、ステップＳ１０で教示姿勢生成部２３４が生成した、カメラ座標系Ｃ４を基準とするマーカ３１の教示姿勢の座標を、基部・カメラ変換行列Ｍ１の設計値を用いて、基部座標系Ｃ１の座標へと変換する（ステップＳ１１）。これにより、カメラ座標系Ｃ４を基準とするマーカ３１の教示姿勢が、基部座標系Ｃ１を基準とするロボット３０の教示姿勢に変換される。また、ロボット３０の教示姿勢は小空間の個数分だけ生成される。
次に、姿勢集合保存部２３６は、上記ステップＳ１０で教示姿勢生成部２３４により生成されたマーカ３１の姿勢集合（複数の教示姿勢）、および、上記ステップＳ１１で座標系変換部２３５により生成されたロボット３０の姿勢集合（複数の教示姿勢）を、制御装置１に保存する（ステップＳ１２）。これにより、制御装置１には、カメラ座標系Ｃ４を基準とするマーカ３１の姿勢集合と、基部座標系Ｃ１を基準とするロボット３０の姿勢集合とが保存される。

図８は、教示空間生成部２３２による教示空間の生成方法を説明する図である。図示した生成方法は、上記図７のステップＳ６に適用される。
まず、教示空間は、ロボット３０が作業する空間と撮像部３２が精度よく撮影可能（計測可能）な空間とが重なり合う、両空間の共通領域とする。
図８においては、カメラ座標系Ｃ４を基準にロボット３０の作業空間を決定している。作業空間の決定方法としては、たとえば、ロボット３０が行う作業がピッキング作業である場合は、ロボット３０がワーク（図示せず）を把持する作業を行うときにマーカ３１が位置する空間として事前に定めることができる。ロボット３０の作業空間を教示空間Ｔ１に用いる理由は次の通りである。ロボット３０を移動させる場合は、ロボット３０の製造誤差などに伴う移動誤差が系統的に生じる。ただし、移動誤差の出方は空間の位置によって異なる。そのため、キャリブレーション時にロボット３０が取る姿勢を作業時の姿勢と同様にすることにより、移動誤差の出方が作業時と同じデータをキャリブレーションに使用することができる。

撮像部３２が撮影可能な空間は、撮像部３２の画角によって決まるが、撮像部３２が精度よく撮影可能な空間は、撮影可能な空間よりも狭い範囲に制限される。図８においては、撮像部３２が精度よく撮影可能な空間として、カメラ座標系Ｃ４におけるＺ軸方向の空間の広さは、撮像部３２の光学ブラーの値が閾値以下の空間となるよう指定する。図８の例では、光学ブラーの値が１ｐｘ以下となる範囲で、Ｚ軸方向の空間の広さを指定している。また、撮像部３２が精度よく撮影可能な空間として、カメラ座標系Ｃ４におけるＸ軸方向およびＹ軸方向の空間の広さは、撮像部３２が撮像した画像（以下、「撮像画像」ともいう。）に対して歪み補正を実施し、歪み補正前の画像と歪み補正後の画像との輝度差が閾値以下の範囲となるよう指定する。これにより、撮像画像の歪みが生じにくい空間にマーカ３１が配置されるように制御することができる。このため、後述するキャリブレーションの誤差を低減することができる。

図８の例では、カメラ座標系Ｃ４におけるＺ軸方向の空間の広さは、ロボット３０の作業空間によって規定されている。これは、Ｚ軸方向の空間の広さを比較した場合に、ロボット３０の作業空間が、光学ブラーの値が１ｐｘ以下の空間よりも狭いためである。一方、カメラ座標系Ｃ４におけるＸ軸方向およびＹ軸方向の空間の広さは、撮像部３２が精度よく撮影可能な空間によって規定されている。これは、Ｘ軸方向およびＹ軸方向の空間の広さを比較した場合に、撮像部３２が精度よく撮影可能な空間である、歪み評価による輝度差が閾値以下の空間が、ロボット３０の作業空間よりも狭いためである。
以上の方法により、教示空間Ｔ１が生成される。

図９は、教示空間生成部２３２による教示空間の分割方法を説明する図である。図示した分割方法は、上記図７のステップＳ７に適用される。
教示空間を分割する場合は、姿勢集合の各軸方向の分解能として与えられるパラメータＸ１，Ｙ１，Ｚ１を用いる。具体的には、上記ステップＳ６で生成した教示空間Ｔ１を、カメラ座標系Ｃ４を基準として、ｘ軸方向ではＸ１個に分割し、ｙ軸方向ではＹ１個に分割し、ｚ軸方向ではＺ１個に分割する。図９の例では、Ｘ１＝３、Ｙ１＝３、Ｚ１＝３として、教示空間Ｔ１を分割している。このため、教示空間Ｔ１は、合計２７個の小空間に分割される。このように教示空間Ｔ１を複数の小空間に分割したら、各小空間にインデックス（Ｘ，Ｙ，Ｚ）を割り振る。インデックス（Ｘ，Ｙ，Ｚ）は、座標軸に基づいて割り振られる。たとえば、ｘ軸については図９の右側から左側に向かってＸ＝１、Ｘ＝２、Ｘ＝３のインデックスが割り振られ、ｙ軸については図９の手前から奥側に向かってＹ＝１、Ｙ＝２、Ｙ＝３のインデックスが割り振られ、ｚ軸については図９の上側から下側に向かってＺ＝１、Ｚ＝２、Ｚ＝３のインデックスが割り振られる。そうした場合、図９の右下に位置する小空間には、インデックス（Ｘ，Ｙ，Ｚ）＝（１，１，３）が付与される。

図１０は、教示位置生成部２３３による教示位置の生成方法を説明する図である。図示した生成方法は、上記図７のステップＳ８に適用される。
まず、１つの例として、インデックス（Ｘ，Ｙ，Ｚ）＝（１，１，３）が付与された小空間における教示位置については、この小空間の上面の中心位置から、法線方向に小空間の高さの半分だけ移動した位置、すなわちインデックス（１，１，３）が付与された小空間の中心位置を教示位置として生成することができる。この点は、他のインデックスが付与された小空間についても同様である。

続いて、教示姿勢生成部２３４による教示姿勢の生成方法について説明する。教示姿勢は、上記図７のステップＳ９およびステップＳ１０の処理によって生成される。
まず、ステップＳ９の処理内容について説明すると、教示姿勢生成部２３４は、マーカ３１が撮像部３２に正対するように、教示姿勢の初期値を設定する。
図１１は、各小空間の教示位置にマーカを初期姿勢で配置した場合のマーカの見え方を示す図である。
図１１においては、教示空間生成部２３２で生成した複数の小空間のうち、インデックス（Ｘ，Ｙ，Ｚ）＝(１，１，１)（１，２，１）（１，３，１）（２，１，１）（２，２，１）（２，３，１）（３，１，１）（３，２，１）（３，３，１）の各小空間について、教示位置生成部２３３が生成した教示位置に仮にマーカ３１を配置し、かつ撮像部３２に対してマーカ３１が正対するように配置した場合の、マーカ３１の見え方を示している。初期姿勢のもとでは、いずれの小空間においても、カメラ座標系Ｃ４のＺ軸がマーカ座標系Ｃ３のＺ軸に対して真逆を向くように、マーカ３１が配置される。したがって、すべての小空間でマーカ３１の見え方は同じである。

次に、ステップＳ１０の処理について説明する。
教示姿勢生成部２３４は、上記ステップＳ９で設定した初期姿勢から、マーカ３１の姿勢をマーカ座標系Ｃ３の各軸方向に回転させることで、教示姿勢を生成する。
図１２は、教示姿勢生成部２３４が生成したマーカ３１の教示姿勢を示す図である。なお、図１２における各小空間のインデックス（Ｘ，Ｙ，Ｚ）は、上記図１１における各小空間のインデックス（Ｘ，Ｙ，Ｚ）に対応している。例として、インデックス（３，３，１）の小空間におけるマーカ３１の教示姿勢は、初期姿勢に対してマーカ座標系Ｃ３のｘ軸まわりにマーカ３１を回転させることで生成される。各軸の回転角の大きさは、0度から±θ(閾値)度までとし、インデックスに基づきルールベースもしくはランダムに決定する。本実施形態では、インデックスが（１，１，１）（１，３，１）（３，１，１）の小空間では初期姿勢と同様の姿勢を教示姿勢として用い、他のインデックスの小空間では軸まわりに回転させた姿勢を教示姿勢として用いる。このように、教示姿勢生成部２３４が生成する複数の姿勢である姿勢集合は、マーカ３１が様々な向きとなるよう回転させた姿勢と、マーカ３１の向きは同じで並進のみが異なる姿勢との組み合わせによって構成されている。これにより、マーカ３１の姿勢をすべてランダムに変えた場合（マーカ３１の向きがすべてのインデックスで異なる場合）に比べて、キャリブレーションの推定時の精度を向上させることができる。

以上述べた姿勢集合生成部２３の各部（２３１～２３６）の処理より、ロボット３０の作業空間と撮像部３２が精度よく撮影可能な空間の両方を満たす教示空間にて、姿勢集合を自動的に生成することが可能である。

なお、本実施形態では、基部・カメラ変換行列Ｍ１の回転を回転行列Ｒｃａの形式で取得しているが、四元数などを使用してもよい。また、教示空間生成部２３２が生成する教示空間Ｔ１の形状は、図８に示す形状に限らない。たとえば、撮像部３２が精度よく撮影可能な空間に比べてロボット３０の作業空間が狭い場合などは、教示空間Ｔ１は直方体などの形状となる。また、教示空間Ｔ１を生成するパラメータとして、本実施形態で使用した撮像部３２の歪み評価の値が得られない場合は、歪み評価の値を使用せずに画角のみ、もしくは画角のうち予め定めた一部の空間を使うよう決定してもよい。また、教示空間の決定方法として、予めユーザが教示空間の形状や広さを指定してもよい。また、本実施形態では、教示空間の分割方法として、カメラ座標系Ｃ４を基準に教示空間Ｔ１を分割しているが、任意の座標系を基準として教示空間Ｔ１を分割してもよい。また、教示位置生成部２３３が生成する教示位置は、小空間内であれば任意の位置、たとえば小空間の頂点などを教示位置に設定してもよい。また、教示姿勢生成部２３４では、マーカ３１を高精度に検出するため、各軸まわりのマーカ３１の回転角を閾値以内として教示姿勢を生成しているが、マーカ３１の種類によっては、閾値を設定しなくてもよい。また、本実施形態では、姿勢集合保存部２３６が姿勢集合を制御装置１に保存しているが、これに限らず、図示しないメモリ上に保持してもよく、後段の処理は該メモリから姿勢集合を読み込んでもよい。

続いて、シミュレータ構築部２４の処理内容について詳しく説明する。
シミュレータ構築部２４は、事前知識２１に基づきシミュレータを構築することで、仮想的にロボット３０を動作させ、撮像部３２による撮像画像（撮影画像）を生成する機能を有する。
図１３は、シミュレータ構築部２４によって構築されるシミュレータの一例を示す図である。
図１３においては、現実装置２Ａの設計情報を含む三次元モデル、仕様、配置などの情報を事前知識２１から取得し、取得した情報を基にロボット３０、マーカ３１、撮像部３２および環境設置物３３を仮想的にシミュレータ上に配置している。
ロボット３０については、事前知識２１から取得した情報である、ロボット３０の形状情報として各リンクの長さや仕様として得られる関節の情報を用いることで、仮想的にロボット３０を動作させることが可能である。また、仮想的にロボット３０を動作させることで、実機にて使用する軌道計画のアルゴリズムを適用することが可能である。

撮像部３２については、事前知識２１から取得した情報である、撮像部３２の画角や解像度、カメラパラメータなどの仕様データを用いることで、撮像部３２がシミュレータ上で画像を撮影した際の各画素の値を生成することが可能である。また、シミュレータ上において、ロボット３０や環境設置物３３の色情報は容易に変更可能である。たとえば、ロボット３０や環境設置物３３の色を表すＲＧＢ値を（２５５，０，０）などに変更し、シミュレータ上で撮影した画像として生成することも可能である。

以上述べたシミュレータ構築部２４の処理により、マーカ３１を姿勢集合に基づき教示位置に移動させたときに、撮像部３２によって撮影される画像を仮想的に生成することが可能である。また、ロボット３０の三次元モデルが得られる場合は、仮想的にロボット３０の軌道計画および制御が可能であり、事前知識２１の設計上の配置情報により、ロボット３０が動作したときに撮像部３２が撮影した画像を仮想的に生成することが可能である。

なお、本実施形態では、基部・カメラ変換行列Ｍ１の設計値などを含む配置情報を事前知識２１から取得し、取得した配置情報に基づいてシミュレータ上に物体を配置しているが、これに限らない。たとえば、撮像部３２が撮影した画像などから、現実装置２Ａの物体の大きさや配置を示す大まかな値を推定し、この推定結果に基づいてシミュレータ上に物体を配置してもよい。

また、本実施形態では、現実装置２Ａをシミュレータに仮想的に配置する際に、現実装置２Ａの三次元モデルを使用して形状を再現しているが、三次元モデルが得られない場合は、各座標系の設計値情報のみをシミュレータが保持してもよい。

また、撮像部３２が、三次元計測可能なステレオカメラやＴｏＦカメラの場合、もしくは単眼カメラによる画像を機械学習することで三次元形状を得られる場合などは、撮像部３２によって取得した現実装置２Ａの三次元形状を、シミュレータの構築に活用してもよい。

続いて、非物理干渉姿勢抽出部２５の処理内容について詳しく説明する。
図１４は、非物理干渉姿勢抽出部２５の処理手順を示すフローチャートである。
非物理干渉姿勢抽出部２５は、姿勢集合生成部２３が生成した姿勢集合の中から、現実装置２Ａの各部が互いに物理干渉しない姿勢（非物理干渉姿勢）を抽出する。また、非物理干渉姿勢抽出部２５は、シミュレータ構築部２４が構築するシミュレータを活用することにより、上記物理干渉しない姿勢を抽出する。物理干渉とは、現実装置２Ａにおいて、ロボット３０やマーカ３１が、ロボット３０や撮像部３２、環境設置物３３等に接触することをいう。

まず、非物理干渉姿勢抽出部２５は、姿勢集合生成部２３が生成した姿勢集合を制御装置１のメモリ上にロードする（ステップＳ１３）。
次に、非物理干渉姿勢抽出部２５は、上記の姿勢集合に含まれる姿勢の数Ｎ１を取得する（ステップＳ１４）。
次に、非物理干渉姿勢抽出部２５は、変数ｉを初期値（ｉ＝１）に設定する（ステップＳ１５）。
次に、非物理干渉姿勢抽出部２５は、シミュレータ上でロボット３０をｉ番目の姿勢へと移動するよう軌道計画を指示する（ステップＳ１６）。
次に、非物理干渉姿勢抽出部２５は、上記ステップＳ１６で指示した軌道計画が成功したか否かを判定する（ステップＳ１７）。具体的には、非物理干渉姿勢抽出部２５は、指示した軌道計画でロボット３０を動作させたときに、ロボット３０とマーカ３１が現実装置２Ａ内のいずれの部分にも物理干渉しない場合は軌道計画が成功したと判定し、物理干渉する場合は軌道計画が失敗したと判定する。

次に、非物理干渉姿勢抽出部２５は、上記ステップＳ１７で軌道計画が成功したと判定した場合は、ｉ番目の姿勢を成功パターンとして上記メモリ上に保持した後、（ステップＳ１８）、ｉ番目の姿勢が生成された小空間のインデックスに対する成功／失敗情報を保持する（ステップＳ１９）。小空間のインデックスに対する成功情報を保持する場合は、ｉ番目の姿勢が生成された小空間のインデックスに成功フラグを紐付けて保持する。また、小空間のインデックスに対する失敗情報を保持する場合は、ｉ番目の姿勢が生成された小空間のインデックスに失敗フラグを紐付けて保持する。

一方で、非物理干渉姿勢抽出部２５は、上記ステップＳ１７で軌道計画が失敗したと判定した場合は、ステップＳ１８，Ｓ１９の処理をパスする。ここで、軌道計画が失敗した場合は、物理干渉が有りと判定される場合に相当し、軌道計画が成功した場合は、物理干渉が無しと判定される場合に相当する。

次に、非物理干渉姿勢抽出部２５は、変数ｉの値がｉ＝Ｎ１を満たすか否かを判定する（ステップＳ２０）。そして、非物理干渉姿勢抽出部２５は、変数ｉの値がＮ１未満である場合は、変数ｉの値を１だけインクリメントした後（ステップＳ２１）、上記ステップＳ１６の処理に戻る。また、非物理干渉姿勢抽出部２５は、変数ｉの値がＮ１に達した場合は、成功パターンの姿勢集合とインデックスごとの成功/失敗情報を制御装置１に保存した後（ステップＳ２２）、一連の処理を終える。
以上述べた非物理干渉姿勢抽出部２５の処理により、姿勢集合のうち、現実装置２Ａが互いに物理干渉しない姿勢のみを抽出することができる。

続いて、非物理干渉姿勢抽出部２５が軌道計画の成否を判定する例について説明する。
図１５は、ロボット３０が実際にピッキング作業を行うときの姿勢を上から俯瞰した図である。
図１５に示すように、マーカ３１を移動先１に移動させる場合は、ロボット３０が現実装置２Ａのいずれの部分にも物理干渉しない。このため、マーカ３１を移動先１に移動させるよう軌道計画を指示した場合は、軌道計画が成功して成功パターンの姿勢となる。これに対して、マーカ３１を移動先２に移動させる場合は、ロボット３０が環境設置物３３（壁３３Ａ）に物理干渉するため、軌道計画が失敗する。
物理干渉の有無を判定する方法については、たとえば、軌道計画により生成された軌道の候補について、その軌道に従いロボット３０が動作した際に、環境設置物３３等とロボット３０との三次元上の位置が重なるか否かで判定することができる。

図１６は、ロボット３０が実際にピッキング作業を行うときの姿勢を側面から俯瞰した図である。
図１６に示すように、マーカ３１を移動先３に移動させる場合は、ロボット３０が現実装置２Ａのいずれの部分にも物理干渉しない。このため、マーカ３１を移動先３に移動させるよう軌道計画を指示した場合は、軌道計画が成功して成功パターンの姿勢となる。これに対して、マーカ３１を移動先４に移動させる場合は、ロボット３０が環境設置物３３（コンベア３３Ｂ）に物理干渉するため、軌道計画が失敗する。

本実施形態においては、軌道計画が成功であるか失敗であるかを、ロボット３０と環境設置物３３との物理干渉の有無で判定しているが、これに限らず、たとえば判定条件の１つとしてロボット３０の関節角の制約などをユーザが加えることで判定させてもよい。具体的には、ロボット３０を移動先に移動させる場合に、ロボット３０の関節角が上限値以下の場合は軌道計画が成功と判定させ、上限値を超える場合は軌道計画が失敗と判定させてもよい。

続いて、非遮蔽姿勢抽出部２６の処理内容について詳しく説明する。
図１７は、非遮蔽姿勢抽出部２６の処理手順を示すフローチャートである。
非遮蔽姿勢抽出部２６は、姿勢集合生成部２３が生成し、且つ、非物理干渉姿勢抽出部２５が抽出した姿勢集合の中から、マーカ３１と撮像部３２との間でマーカ３１の遮蔽が発生しない姿勢（非遮蔽姿勢）を抽出する。また、非遮蔽姿勢抽出部２６は、シミュレータ構築部２４が構築するシミュレータを活用することにより、マーカ３１の遮蔽が発生しない姿勢を抽出する。

まず、非遮蔽姿勢抽出部２６は、姿勢集合生成部２３が生成し、且つ、非物理干渉姿勢抽出部２５が抽出した姿勢集合を制御装置１のメモリ上にロードする（ステップＳ２３）。
次に、非遮蔽姿勢抽出部２６は、上記の姿勢集合に含まれる姿勢の数Ｎ２を取得する（ステップＳ２４）。
次に、非遮蔽姿勢抽出部２６は、変数ｉを初期値（ｉ＝１）に設定する（ステップＳ２５）。
次に、非遮蔽姿勢抽出部２６は、シミュレータ上でロボット３０をｉ番目の姿勢へと移動するよう軌道計画を指示する（ステップＳ２６）。
次に、非遮蔽姿勢抽出部２６は、シミュレータ上の撮像部３２による仮想的な撮影画像を生成する（ステップＳ２７）。
すなわち、非遮蔽姿勢抽出部２６は、ｉ番目の姿勢にロボット３０を移動させたときに撮像部３２によって得られる撮影画像を仮想的に生成する。

次に、非遮蔽姿勢抽出部２６は、生成した撮影画像を解析することにより、マーカ・カメラ変換行列Ｍ２を推定する（ステップＳ２８）。撮影画像の解析方法としては、たとえば、マーカ３１上にサイズと位置が既知の複数の黒丸の模様が印刷されている場合は、この黒丸の既知のサイズおよび位置と、上記仮想的な撮影画像上での黒丸のサイズおよび位置とを対応付けることにより、マーカ・カメラ変換行列Ｍ２を推定することができる。マーカ・カメラ変換行列Ｍ２を推定することは、実質的に、三次元のカメラ座標系Ｃ４においてマーカ３１の位置姿勢、すなわちマーカ３１の三次元位置を推定することを意味する。

次に、非遮蔽姿勢抽出部２６は、マーカ・カメラ変換行列Ｍ２の推定に成功したか否かを判定する（ステップＳ２９）。そして、非遮蔽姿勢抽出部２６は、マーカ・カメラ変換行列Ｍ２の推定に成功した場合は、推定の信頼度を算出した後（ステップＳ３０）、その信頼度が閾値以上であるか否かを判定する（ステップＳ３１）。また、非遮蔽姿勢抽出部２６は、算出した推定の信頼度が閾値以上である場合は、ｉ番目の姿勢を成功パターンとして上記メモリ上に保持した後（ステップＳ３２）、ｉ番目の姿勢が生成された小空間のインデックスに対する成功／失敗情報を保持する（ステップＳ３３）。小空間のインデックスに対する成功情報を保持する場合は、ｉ番目の姿勢が生成された小空間のインデックスに成功フラグを紐付けて保持する。また、小空間のインデックスに対する失敗情報を保持する場合は、ｉ番目の姿勢が生成された小空間のインデックスに失敗フラグを紐付けて保持する。

一方で、非遮蔽姿勢抽出部２６は、上記ステップＳ２９でマーカ・カメラ変換行列Ｍ２の推定に失敗したと判定した場合は、ステップＳ３０～Ｓ３４の処理をパスし、上記ステップＳ３１で信頼度が閾値以上ではないと判定した場合はステップＳ３２，Ｓ３３の処理をパスする。ここで、マーカ・カメラ変換行列Ｍ２の推定に失敗した場合や、推定の信頼度が閾値以上ではない場合は、マーカ３１の遮蔽が有りと判定される場合に相当する。ｋれに対して、マーカ・カメラ変換行列Ｍ２の推定に成功した場合や、推定の信頼度が閾値以上である場合は、マーカ３１の遮蔽が無しと判定される場合に相当する。

次に、非遮蔽姿勢抽出部２６は、変数ｉの値がｉ＝Ｎ２を満たすか否かを判定する（ステップＳ３４）。そして、非遮蔽姿勢抽出部２６は、変数ｉの値がＮ２未満である場合は、変数ｉの値を１だけインクリメントした後（ステップＳ３５）、上記ステップＳ２６の処理に戻る。また、非遮蔽姿勢抽出部２６は、変数ｉの値がＮ２に達した場合は、成功パターンの姿勢集合と、インデックスごとの成功/失敗情報とを制御装置１のメモリに保存した後（ステップＳ３６）、一連の処理を終える。
以上述べた非遮蔽姿勢抽出部２６の処理により、姿勢集合のうち、マーカ３１と撮像部３２との間でマーカ３１の遮蔽が発生しない姿勢のみを抽出することができる。

続いて、非遮蔽姿勢抽出部２６による信頼度の算出方法（ステップＳ３０の処理内容）と評価方法（ステップＳ３１の処理内容）について説明する。
まず、ステップＳ２８においては、マーカ３１の一部が遮蔽により隠れた場合でも、マーカ・カメラ変換行列Ｍ２を推定可能な場合がある。しかし、この場合は、マーカ３１の全部が撮影画像に映っている場合に比べて、マーカ・カメラ変換行列Ｍ２の推定精度が低い可能性がある。マーカ・カメラ変換行列Ｍ２の推定精度が低い姿勢をキャリブレーションに使用することは望ましくない。

そこで、非遮蔽姿勢抽出部２６は、各教示姿勢におけるマーカ３１と撮像部３２との相対的な姿勢がシミュレータ上で既知であることを利用し、たとえば、マーカ３１が遮蔽なく撮影画像に映ったときのマーカ３１の面積と、シミュレータ上で撮像部３２の撮影画像上に実際に映っているマーカ３１の面積との比率を、推定の信頼度として算出する。また、これ以外にも、たとえば、撮影画像を解析したときに得られるマーカ３１上の特徴点の個数と、特徴点の総数との割合などを信頼度として算出する。そして、非遮蔽姿勢抽出部２６は、上述のように算出した信頼度が、事前にマーカ３１の種類により定めた閾値に比べて高いか否かを判定する。

図１８は、非遮蔽姿勢抽出部２６の動作例を示す模式図である。
図１８の左側に一点鎖線で示す枠線内には、上記ステップＳ２３で制御装置１のメモリ上にロードした姿勢集合の一部を示している。また、図１８の右側に一点鎖線で示す枠線内には、非遮蔽姿勢抽出部２６によって抽出された、遮蔽（オクルージョン）判定後の姿勢集合の一部を示している。本例では、シミュレータ上で撮像部３２が撮影した画像の上下および左を覆うように環境設置物３３が配置されている。

まず、図１８の撮影画像Ｉ１に示す姿勢では、ロボット３０によってマーカ３１の一部が遮蔽されており、マーカ３１の位置姿勢の推定が失敗する可能性がある。仮に、撮影画像Ｉ１に映っているマーカ３１の一部から、マーカ３１の位置姿勢の推定が可能であった場合は、非遮蔽姿勢抽出部２６は、たとえば上述したようにマーカ３１が遮蔽なく撮影画像に映ったときのマーカ３１の面積と、シミュレータ上で撮像部３２の撮影画像上に実際に映っているマーカ３１の面積との比率を、推定の信頼度として算出する。この信頼度を算出するにあたって、あるロボット３０の姿勢における、カメラ座標系Ｃ４とマーカ３１の位置姿勢は、姿勢集合生成部２３により既知である。したがって、マーカ３１の位置姿勢の情報と、撮像部３２の画角、解像度、カメラパラメータなどの情報とを用いて、マーカ３１が遮蔽なく画像に映った場合の、画像上でのマーカ３１のピクセル位置の集合（以下、「ピクセル集合」という。）を特定することができる。

続いて、非遮蔽姿勢抽出部２６は、シミュレータでロボット３０や環境設置物３３の色情報を、マーカ３１に含まれない色、たとえばＲＧＢ値が（２５５，０，０）の色に変更するとともに、ロボット３０の姿勢を変更して、撮像部３２による撮影画像を仮想的に生成する。撮影画像におけるマーカ３１の位置はピクセル集合と一致し、遮蔽が生じたピクセルの色は（２５５，０，０）となる。このため、非遮蔽姿勢抽出部２６は、ピクセル集合のうち、（２５５，０，０）の色ではないピクセルの割合を、推定の信頼度として算出する。したがって、撮影画像Ｉ１の場合は、マーカ３１がロボット３０によって半分ほど遮蔽されているため、推定の信頼度は約５０％と算出される。また、信頼度と比較される閾値を予め９０％と設定した場合は、撮影画像Ｉ１における信頼度は閾値未満となる。

一方、図１８の撮影画像Ｉ２に示す姿勢では、マーカ３１の遮蔽が生じておらず、マーカ３１全体が画像上に映っている。このため、撮影画像Ｉ２の場合は、マーカ３１の位置姿勢の推定が可能であり、推定の信頼度も閾値以上に高くなるため、成功パターンとなる。
また、図１８の撮影画像Ｉ３に示す姿勢では、撮像部３２の画角内にマーカ３１が配置されているが、環境設置物３３によってマーカ３１の一部が遮蔽されている。このため、マーカ３１の位置姿勢の推定が失敗する可能性がある。また、撮影画像Ｉ３にはマーカ３１上の黒丸の総数１２個のうち９個が映っているため、仮にマーカ３１の位置姿勢の推定が可能であった場合は、信頼度の計算が行われる。その際、非遮蔽姿勢抽出部２６は、たとえば上述したように、撮影画像を解析したときに得られるマーカ３１上の特徴点の個数と、特徴点の総数との割合を、推定の信頼度として算出する。黒丸の中心を特徴点とする場合は、総数１２個の特徴点のうち、画像解析で得られる特徴点の個数は９個となり、推定の信頼度は７５％と算出される。また、信頼度と比較される閾値を予め９０％と設定した場合は、撮影画像Ｉ３における信頼度は閾値未満となる。

以上述べた非遮蔽姿勢抽出部２６の処理により、マーカ３１の遮蔽の有無が判定され、且つ、マーカ３１の遮蔽が無しと判定された姿勢集合（撮影画像Ｉ２、Ｉ４、Ｉ５…に示す姿勢）が生成される。その結果、撮影画像の右と中央部分にマーカ３１が映るような姿勢のみが生成される。
また、非遮蔽姿勢抽出部２６は、ロボット３０を各姿勢（変数ｉ＝１～Ｎ２に対応する姿勢）へと移動させたときに撮像部３２によって得られる撮影画像を仮想的に生成するとともに、生成した撮影画像を解析することによってマーカ３１の三次元位置を推定し、推定に成功したか否かによってマーカ３１の遮蔽の有無を判断する。具体的には、推定に成功した場合はマーカ３１の遮蔽が無しと判定し、推定に失敗した場合はマーカ３１の遮蔽が有りと判定する。これにより、マーカ３１の遮蔽が生じない姿勢を抽出することができる。
また、非遮蔽姿勢抽出部２６は、マーカ３１の三次元位置の推定に成功した場合に、推定の信頼度を求め、信頼度が閾値以上であるか否かによってマーカ３１の遮蔽の有無を判定する。具体的には、推定の信頼度が閾値以上であれば、マーカ３１の遮蔽が無しと判定し、推定の信頼度が閾値未満であれば、マーカ３１の遮蔽が有りと判定する。これにより、マーカ３１の三次元位置の推定に成功した姿勢のうち、推定の信頼度が閾値以上に高い姿勢のみを、マーカ３１の遮蔽が生じない姿勢として抽出することができる。

なお、本実施形態において、非遮蔽姿勢抽出部２６は、推定の信頼度を算出しているが、マーカ３１の形状や模様によっては推定の信頼度を算出しなくてもよい。すなわち、推定の信頼度は、必要に応じて算出すればよい。また、信頼度の計算は、上述した面積比率や特徴点比率に限らず、たとえば機械学習などを用いてマーカ３１の位置姿勢を推定する場合は、推定の信頼度自体を推定させてもよい。

続いて、姿勢集合評価部２７の処理内容について詳しく説明する。
姿勢集合評価部２７は、姿勢集合生成部２３により生成され、且つ、非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６により抽出された姿勢集合を用いて、所定値以上に高精度なキャリブレーションが見込めるか否かを判定する。また、姿勢集合評価部２７は、所定値以上に高精度なキャリブレーションが見込める場合は、キャリブレーション実行部２９にキャリブレーションの実行を指示する。また、姿勢集合評価部２７は、所定値以上に高精度なキャリブレーションが見込めない場合は、姿勢集合生成部２３に対して、姿勢集合を追加する指示、および／または、生成パラメータの値を変更して姿勢集合を再度生成する指示を行う。

図１９は、姿勢集合評価部２７の機能ブロック図である。
図１９に示すように、姿勢集合評価部２７は、姿勢数評価部２７１と、姿勢集合抽出部２７２と、キャリブレーション評価部２７３と、インデックス評価部２７４と、を備えている。

姿勢数評価部２７１は、姿勢集合生成部２３により生成され、且つ、非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６により抽出された姿勢集合に含まれる姿勢の数を評価する。具体的には、姿勢数評価部２７１は、姿勢集合に含まれる姿勢の数が、予め設定された所定数以内に収まっているか否かを判別する。
姿勢集合抽出部２７２は、姿勢集合に含まれる姿勢の数が所定数以内に収まっていないと姿勢数評価部２７１が判定した場合に、姿勢集合に含まれる複数の姿勢のうち、一部の姿勢であるサブセットを抽出する。たとえば、姿勢集合に合計１００個の姿勢が含まれる場合は、１００個の姿勢のうち２０個の姿勢をサブセットとして抽出する。

キャリブレーション評価部２７３は、上記の姿勢集合を用いて、シミュレータ上で仮想的にキャリブレーションに用いるマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３などのデータを生成し、キャリブレーションにて推定するマーカ・カメラ変換行列Ｍ２の推定精度を評価する。すなわち、キャリブレーション評価部２７３は、キャリブレーションの精度を評価する。
インデックス評価部２７４は、たとえば姿勢数の不足などにより、所定値以上に高いキャリブレーション精度が見込めないとキャリブレーション評価部２７３が判定した場合に、姿勢集合生成部２３に対して姿勢集合を追加もしくは再度生成するよう指示する。

以下に、姿勢集合評価部２７の各部の処理内容について詳しく説明する。
まず、姿勢数評価部２７１は、姿勢集合に含まれる姿勢の数が事前知識２１などで定めた閾値より多い場合に、その姿勢集合の中から一部の姿勢、すなわちサブセットを抽出するよう姿勢集合抽出部２７２に指示する。また、姿勢数評価部２７１は、姿勢集合抽出部２７２が抽出したサブセットにて所定値以上の高いキャリブレーション精度が見込めるか否かをキャリブレーション評価部２７３に判定させる。このように、姿勢集合の中から姿勢の一部をサブセットとして取り出すことにより、姿勢集合に含まれる姿勢の数が多い場合に、キャリブレーションの所要時間が長くなることを抑制し、効率よくキャリブレーション精度を評価することができる。

姿勢集合抽出部２７２は、複数の姿勢の集合である姿勢集合から、予め決められたルールに基づき、一部の姿勢を抽出する。ルールは、たとえば、各姿勢が生成された小空間に付与されたインデックスが平均的に出現するように抽出する方法がある。具体例を挙げると、姿勢集合抽出部２７２は、抽出する姿勢の上限個数が２１個と設定されている場合、次のようなルールに基づき、一部の姿勢を抽出する。

まず、上記図９に示すように教示空間Ｔ１を分割して得られる合計２７個の小空間に対応する姿勢（教示姿勢）のうち、Ｚ＝１のインデックスが付与された小空間の姿勢が９個、Ｚ＝２のインデックスが付与された小空間の姿勢が７個、Ｚ＝３のインデックスが付与された小空間の姿勢が７個、つまり合計２３個の姿勢が、前段の非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６によって抽出された場合は、姿勢の抽出数が最も多い、Ｚ＝１のインデックスが付与された小空間の姿勢を２つ削減する。これにより、インデックスが平均的に出現するように、一部の姿勢を抽出することができる。

キャリブレーション評価部２７３は、シミュレータ上で仮想的にキャリブレーションする際に用いるマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３を生成し、最適化処理（後述）によって基部・カメラ変換行列Ｍ１の推定値を求める。さらに、キャリブレーション評価部２７３は、基部・カメラ変換行列Ｍ１の推定値とシミュレータ設計時の正解値とを比較し、ロボット作業の実行に必要なキャリブレーション精度、すなわち所定値以上に高いキャリブレーション精度が出ているか否かを判定する。基部・カメラ変換行列Ｍ１の推定値を求める方法は、キャリブレーション実行部２９の処理内容とあわせて後段で説明する。

キャリブレーション評価部２７３は、生成したマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３に誤差を加えることにより、基部・カメラ変換行列Ｍ１の推定値を求めてもよい。その理由は次のとおりである。
実際に現実装置２Ａでキャリブレーションを実行する場合は、ノイズなどによる誤差が観測データに乗る。このため、上述したようにマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３に誤差を加えることにより、実機に近い条件でキャリブレーション評価を行うことができる。

その場合、マーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３に加える誤差は、たとえば、正規分布に従う誤差を採用すればよい。このときの正規分布の標準偏差は、事前知識２１などで指定するか、マーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３の値に対して一定の割合を有する値で指定してもよい。

なお、観測データに乗るノイズは、たとえば、観測データがロボット３０のエンコーダ値である場合はロボット機構の誤差に起因するノイズであり、観測データが撮像部３２による撮影画像である場合は、信号ノイズや画像歪みに起因するノイズである。また、観測データは、撮像部３２による撮像画像を解析して得られるマーカ３１の位置姿勢であってもよい。

キャリブレーション評価部２７３は、所定値以上に高精度なキャリブレーションが見込めると判定した場合は、キャリブレーション実行部２９に対してキャリブレーションの実行を指示する。キャリブレーション実行部２９は、キャリブレーション評価部２７３からの指示を受けてキャリブレーションを実行することにより、基部・カメラ変換行列Ｍ１を推定する。また、キャリブレーション評価部２７３は、所定値以上に高精度なキャリブレーションが見込めないと判定した場合は、インデックス評価部２７４に対してインデックス評価の実行を指示する。

インデックス評価部２７４は、キャリブレーション評価部２７３からインデックス評価の実行指示を受けた場合（所定値以上に高精度なキャリブレーションが見込めない場合）に、追加で姿勢を生成するよう姿勢集合生成部２３に指示する、および／または、生成パラメータ２２の値を変更するようパラメータ更新部２８に指示する。このようなフィードバックを行うことにより、姿勢集合生成部２３では、再度、姿勢集合を生成することが可能になるとともに、追加の姿勢を含む姿勢集合、または、更新後の生成パラメータ２２に基づく姿勢集合を生成することが可能となる。これにより、姿勢集合生成部２３が再度、姿勢集合を生成した場合に、所定値以上に高精度なキャリブレーションが見込める可能性を高めることができる。

インデックス評価部２７４は、キャリブレーション評価部２７３で評価した姿勢集合を取得し、その姿勢集合に含まれる姿勢の数が事前に定めた閾値よりも少ない場合は、各姿勢に割り振られたインデックス（Ｘ，Ｙ，Ｚ）のうち、全姿勢集合をサーチした際に登場頻度が最も少ないインデックスをインクリメントするようパラメータ更新部２８に指示する。また、インデックス評価部２７４は、取得した姿勢集合に含まれる姿勢の数が事前に定めた閾値以上に多い場合は、追加の姿勢を生成するよう姿勢集合生成部２３に指示する。生成方法の例として、取得した姿勢集合の中から複数の姿勢をランダムに抽出し、その姿勢のインデックスに対応する小空間の中で、教示位置と教示姿勢を生成する方法などがあるが、これに限らない。

以上述べた姿勢集合評価部２７の処理により、姿勢集合の評価結果を、姿勢集合生成部２３やパラメータ更新部２８にフィードバックすることができる。また、所定値以上に高精度なキャリブレーションが見込める場合にのみ、キャリブレーション実行部２９にキャリブレーションを実行させることができる。このため、姿勢数の不足などによってキャリブレーションの精度が低下することを抑制できる。また、所定値以上に高精度なキャリブレーションが見込めない場合は、姿勢集合生成部２３に再度、姿勢集合を生成させることができる。

なお、本実施形態において、姿勢集合評価部２７は、姿勢数評価部２７１および姿勢集合抽出部２７２を有しているが、これに限らず、キャリブレーション評価部２７３およびインデックス評価部２７４のみを有する構成でもよい。また、キャリブレーション評価部２７３の機能とインデックス評価部２７４の機能を、１つの機能部に統合してもよい。
また、本実施形態においては、姿勢集合抽出部２７２の処理に適用するルールとして、各小空間に付与されたインデックスが平均的に出現するルールを例示したが、これに限らず、たとえば姿勢集合からランダムに一部の姿勢を抽出してもよい。

パラメータ更新部２８は、姿勢集合の分解能を定めるパラメータＸ１，Ｙ１，Ｚ１の値を、姿勢集合評価部２７からの指示に基づいてインクリメントする。これにより、生成パラメータ２２が更新される。このため、姿勢集合生成部２３は、更新後の生成パラメータ２２を用いて姿勢集合を生成することになる。

図２０は、キャリブレーション実行部２９の処理手順を示すフローチャートである。
キャリブレーション実行部２９は、現実装置２Ａが有するロボット３０と撮像部３２を制御し、姿勢集合の各姿勢へとロボット３０を移動させたときのマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３とを取得する。さらに、キャリブレーション実行部２９は、取得したマーカ・カメラ変換行列Ｍ２とアーム・基部変換行列Ｍ３との座標変換パラメータにより、基部・カメラ変換行列Ｍ１を推定する。

まず、キャリブレーション実行部２９は、姿勢集合評価部２７が所定値以上に高精度なキャリブレーションが見込めると判断（評価）した姿勢集合を制御装置１のメモリ上にロードする（ステップＳ３７）。
次に、キャリブレーション実行部２９は、上記の姿勢集合に含まれる姿勢の数Ｎ３を取得する（ステップＳ３８）。
次に、キャリブレーション実行部２９は、変数ｉを初期値（ｉ＝１）に設定する（ステップＳ３９）。
次に、キャリブレーション実行部２９は、現実装置２Ａにおいて実際にロボット３０をｉ番目の姿勢へと移動させる（ステップＳ４０）。
次に、キャリブレーション実行部２９は、ロボット３０の作業空間を撮像部３２によって撮影する（ステップＳ４１）。
次に、キャリブレーション実行部２９は、撮像部３２によって得られる撮影画像を解析することにより、マーカ・カメラ変換行列Ｍ２を推定する（ステップＳ４２）。

次に、キャリブレーション実行部２９は、マーカ・カメラ変換行列Ｍ２の推定に成功したか否かを判定する（ステップＳ４３）。このステップＳ４３においては、現実装置２Ａにおける実際の照明環境、あるいは現実装置２Ａが有する撮像部３２の設計値との仕様・配置ズレなどにより、マーカ・カメラ変換行列Ｍ２の推定に失敗する可能性がある。

次に、キャリブレーション実行部２９は、マーカ・カメラ変換行列Ｍ２の推定に成功した場合は、ｉ番目のロボット３０の姿勢値を示すアーム・基部変換行列Ｍ３と、ｉ番目のロボット３０の姿勢に対応するマーカ３１の位置姿勢を示すマーカ・カメラ変換行列Ｍ２とを、制御装置１のメモリ上に格納する（ステップＳ４４）。

次に、キャリブレーション実行部２９は、変数ｉの値がｉ＝Ｎ３を満たすか否かを判定する（ステップＳ４５）。そして、キャリブレーション実行部２９は、変数ｉの値がＮ３未満である場合は、変数ｉの値を１だけインクリメントした後（ステップＳ４６）、上記ステップＳ４０の処理に戻る。

一方で、キャリブレーション実行部２９は、上記ステップＳ４３でマーカ・カメラ変換行列Ｍ２の推定に失敗したと判定した場合は、ステップＳ４４の処理をパスする。

その後、キャリブレーション実行部２９は、変数ｉの値がＮ３に達した場合は、上記メモリ上のデータから最適化問題を解き、基部・カメラ変換行列Ｍ１を推定した後（ステップＳ４７）、一連の処理を終える。
ステップＳ４７において最適化問題を解くことが、最適化処理に相当する。この最適化処理によって基部・カメラ変換行列Ｍ１を推定する手法としては、下記の参考文献に示す公知技術を用いることができる。

（参考文献）
「Simultaneous Robot-World and Hand-Eye Calibration」F.Dornaika,R.Horaud,Aug1998.
この参考文献に開示された公知技術を概説すると、次のようになる。
ロボット基部とアーム先端の座標変換パラメータ（変換行列）をＡＡ、アーム先端とマーカの座標変換パラメータをＢＢとすると、ロボット基部からマーカへの座標変換はＡＡ×ＢＢとなる。一方、ロボット基部とカメラの座標変換パラメータをＣＣ、カメラとマーカの座標変換パラメータをＤＤとすると、ロボット基部からマーカへの座標変換はＣＣ×ＤＤとなる。つまり、ＡＡ×ＢＢ＝ＣＣ×ＤＤの条件が成立する。ここで、座標変換パラメータＡＡはロボットエンコーダ値により既知のパラメータ、座標変換パラメータＢＢおよびＣＣはそれぞれ未知のパラメータ、座標変換パラメータＤＤは画像解析によって既知のパラメータとなる。そこで最適化処理では、それぞれ既知のパラメータである多数の座標変換パラメータＡＡおよびＤＤから、ＡＡ×ＢＢ＝ＣＣ×ＤＤの条件を満たす座標変換パラメータＢＢおよびＣＣを数値計算によって推定する。
以上述べたキャリブレーション実行部２９の処理により、現実装置２Ａにおける基部・カメラ変換行列Ｍ１を推定することができる。

また、本実施形態に係るキャリブレーション装置２によれば、撮像部３２によってマーカ３１を撮像（撮影）可能とするためのロボット３０の姿勢集合を姿勢集合生成部２３が生成し、その姿勢集合の中から、マーカ３１の遮蔽が発生しない姿勢を非遮蔽姿勢抽出部２６が抽出する。このため、マーカ３１の遮蔽が発生しない姿勢集合を自動で生成することができる。したがって、マーカ３１の遮蔽を考慮してロボット３０の姿勢集合を教示するとともに、ロボット３０の姿勢集合の教示に要する工数を削減することができる。

また、本実施形態に係るキャリブレーション装置２によれば、姿勢集合生成部２３が生成した姿勢集合の中から、ロボット３０やマーカ３１が物理干渉しない姿勢を非物理干渉姿勢抽出部２５が抽出する。このため、ロボット３０やマーカ３１が物理干渉しない姿勢集合を自動で生成することができる。したがって、現実装置２Ａにおける物理干渉を考慮してロボット３０の姿勢集合を教示するとともに、ロボット３０の姿勢集合の教示に要する工数を削減することができる。

なお、上記実施形態においては、姿勢集合生成部２３が生成した姿勢集合の中から非物理干渉姿勢抽出部２５が非物理干渉姿勢を抽出し、該抽出した非物理干渉姿勢の姿勢集合の中から非遮蔽姿勢抽出部２６が非遮蔽姿勢を抽出する構成になっているが、これに限らない。たとえば、姿勢集合生成部２３が生成した姿勢集合の中から非遮蔽姿勢抽出部２６が非遮蔽姿勢を抽出し、該抽出した非遮蔽姿勢の姿勢集合の中から非物理干渉姿勢抽出部２５が非物理干渉姿勢を抽出する構成になっていてもよい。また、非物理干渉姿勢抽出部２５は、姿勢集合生成部２３が生成した姿勢集合の中から非物理干渉姿勢を抽出し、非遮蔽姿勢抽出部２６は、姿勢集合生成部２３が生成した姿勢集合の中から非物理干渉姿勢を抽出し、非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６がそれぞれに抽出した姿勢集合のうち、共通の姿勢を対象に姿勢集合評価部２７が評価する構成であってもよい。また、非物理干渉姿勢抽出部２５および非遮蔽姿勢抽出部２６のうち、非遮蔽姿勢抽出部２６のみを備えた構成であってもよい。以上の点は、後述する第２実施形態についても同様である。

＜第２実施形態＞
図２１は、第２実施形態に係るロボット制御用のキャリブレーション装置の構成例を示す図である。
図２１に示すように、キャリブレーション装置２－１は、制御装置１と、現実装置２Ｃと、キャリブレーション制御装置２Ｄと、を備えている。

現実装置２Ｃは、ロボットアームからなるロボット３０と、ロボット３０に取り付けられたマーカ３１と、ロボット３０の作業空間と周辺を計測する撮像部３２－１と、を有する。現実装置２Ｃは、撮像部３２－１以外の構成は、上記第１実施形態の場合と共通である。撮像部３２－２は、複数（図例では２つ）の撮像装置３２Ａ，３２Ｂによって構成されている。各々の撮像装置３２Ａ，３２Ｂは、たとえば、単眼カメラ、ＴｏF（Time of Flight）方式のカメラ、ステレオカメラなどによって構成される。

キャリブレーション制御装置２Ｄは、事前知識２１－１と、生成パラメータ２２－１と、姿勢集合生成部２３－１と、シミュレータ構築部２４－１と、非物理干渉姿勢抽出部２５－１と、非遮蔽姿勢抽出部２６－１と、姿勢集合評価部２７－１と、パラメータ更新部２８－１と、キャリブレーション実行部２９－１とに加えて、共通姿勢抽出部２０１を備えている。共通姿勢抽出部２０１以外の構成は基本的に上記第１実施形態の場合と共通である。

ただし、本実施形態においては、撮像部３２－１が複数の撮像装置３２Ａ，３２Ｂによって構成されている。このため、事前知識２１－１と、生成パラメータ２２－１と、姿勢集合生成部２３－１と、シミュレータ構築部２４－１と、非物理干渉姿勢抽出部２５－１と、非遮蔽姿勢抽出部２６－１と、姿勢集合評価部２７－１と、パラメータ更新部２８－１と、キャリブレーション実行部２９－１は、それぞれ複数の撮像装置３２Ａ，３２Ｂに対して上記第１実施形態の場合と同様の処理動作を行う。たとえば、姿勢集合生成部２３－１は、撮像装置３２Ａによってマーカ３１を撮影可能とするためのロボット３０の姿勢集合と、撮像装置３２Ｂによってマーカ３１を撮影可能とするためのロボット３０の姿勢集合とを、個別に生成する。撮像装置３２Ａ，３２Ｂごとの個別処理は、姿勢集合生成部２３－１だけでなく、シミュレータ構築部２４―１、非物理干渉姿勢抽出部２５－１、非遮蔽姿勢抽出部２６―１、姿勢集合評価部２７―１、パラメータ更新部２８―１、およびキャリブレーション実行部２９―１でも行われる。

共通姿勢抽出部２０１は、姿勢集合生成部２３－１が撮像装置３２Ａ，３２Ｂごとに生成し、且つ、非物理干渉姿勢抽出部２５－１および非遮蔽姿勢抽出部２６－６が撮像装置３２Ａ，３２Ｂごとに抽出した姿勢集合の中から、複数の撮像装置３２Ａ，３２Ｂで共通に使用可能な複数の姿勢を抽出する。また、共通姿勢抽出部２０１は、抽出した複数の姿勢が残るように、各撮像装置３２Ａ，３２Ｂの姿勢集合を変更する。以下、詳しく説明する。

共通姿勢抽出部２０１は、ある撮像装置３２Ａに対応して生成した姿勢集合に含まれる各々の姿勢が、別の撮像装置３２Ｂにも適用可能であるか否かを判定し、同様の判定処理をすべての撮像装置３２Ａ，３２Ｂの組み合わせに対して実施する。例として、ある撮像装置３２Ａに対応して生成した姿勢集合に含まれる各々の姿勢が、別の撮像装置３２Ｂにも適用可能であるか否かは、シミュレータ構築部２４－１が構築するシミュレータ上でロボット３０を制御し、各姿勢へとマーカ３１を移動した際に、下記（１）～（３）の条件を満たすか否かによって判定可能である。
（１）マーカ３１が撮像装置３２Ｂの教示空間内に含まれていること。
（２）マーカ３１と撮像装置３２Ｂの回転行列が、事前に設定した閾値の範囲内に収まっていること。
（３）非遮蔽姿勢抽出部２６－１の機能にてオクルージョンが発生しないと判定できること。

上記の判定結果において、複数の撮像装置３２Ａ，３２Ｂで共通に使用可能な姿勢（以下、「共通姿勢」ともいう。）は、その姿勢を適用可能な撮像装置３２Ａ，３２Ｂの姿勢集合を構成する姿勢の１つとして追加する。この処理により、事前に定めた姿勢数の上限を超える場合は、いずれかの撮像装置（３２Ａまたは３２Ｂ）でのみ使用可能な姿勢は、撮像装置３２Ａ，３２Ｂの姿勢集合から除去することで、キャリブレーション実行部２９によるキャリブレーションに適用する姿勢の数を調整（削減）する。姿勢を除去する際の優先度は、たとえば、追加された姿勢が位置する小空間と同様の小空間にある姿勢を優先的に除去する方法がある。

本実施形態に係るキャリブレーション装置２－１によれば、上記第１実施形態と同様の効果に加えて、次のような効果が得られる。
本実施形態においては、複数の撮像装置３２Ａ，３２Ｂで共通に使用可能な複数の姿勢を共通姿勢抽出部２０１が抽出し、抽出した複数の姿勢を適用してキャリブレーション実行部２９－１がキャリブレーションを実行する。このため、撮像部３２を複数の撮像装置３２Ａ，３２Ｂによって構成した場合でも、ロボット３０の姿勢集合の教示およびキャリブレーションに要する工数を削減しつつ、キャリブレーションを実行することが可能となる。

なお、本実施形態において、共通姿勢抽出部２０１は、姿勢集合生成部２３－１が撮像装置３２Ａ，３２Ｂごとに生成し、且つ、非物理干渉姿勢抽出部２５－１および非遮蔽姿勢抽出部２６－６が撮像装置３２Ａ，３２Ｂごとに抽出した姿勢集合の中から、共通姿勢を抽出する構成になっているが、これに限らない。たとえば、共通姿勢抽出部２０１は、姿勢集合生成部２３－１が撮像装置３２Ａ，３２Ｂごとに生成した姿勢集合の中から、共通姿勢を抽出してもよい。また、共通姿勢抽出部２０１は、非物理干渉姿勢抽出部２５－１が撮像装置３２Ａ，３２Ｂごとに抽出した姿勢集合の中から、共通姿勢を抽出してもよい。また、共通姿勢抽出部２０１は、非遮蔽姿勢抽出部２６－６が撮像装置３２Ａ，３２Ｂごとに抽出した姿勢集合の中から、共通姿勢を抽出してもよい。

また、本実施形態において、共通姿勢抽出部２０１は、シミュレータ上でロボット３０を制御し、共通で使用可能な姿勢を判定したが、これに限らず、たとえば、撮像部３２の設計上の配置情報と、マーカ３１の教示位置および姿勢のみから判定してもよい。また、各々の撮像装置３２Ａ，３２Ｂの姿勢集合に含まれる姿勢数の上限を定めず、キャリブレーション時の姿勢を増やすことで、精度の向上が見込める場合がある。その場合は、事前に姿勢数の上限を定めなくてもよい。

＜変形例等＞
なお、本発明は、上述した実施形態に限定されるものではなく、様々な変形例を含む。たとえば、上述した実施形態では、本発明の内容を理解しやすいように詳細に説明しているが、本発明は、上述した実施形態で説明したすべての構成を必ずしも備えるものに限定されない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、これを削除し、または他の構成を追加し、あるいは他の構成に置換することも可能である。

２，２－１…キャリブレーション装置、２Ａ，２Ｃ…現実装置、２３，２３－１…姿勢集合生成部、２５，２５－１…非物理干渉姿勢抽出部、２６，２６－１…非遮蔽姿勢抽出部、２７，２７－１…姿勢集合評価部、２８，２８－１…パラメータ更新部、２９，２９－１…キャリブレーション実行部、３０…ロボット（ロボットアーム）、３１…マーカ、３２…撮像部、３２Ａ，３２Ｂ…撮像装置、３３…環境設置物、２０１…共通姿勢抽出部、Ｍ１…基部・カメラ変換行列（座標変換パラメータ）

Claims

予め定められた位置から撮像する撮像部と、
ロボットに取り付けられ、前記ロボットの動作にしたがって変位するマーカと、
前記撮像部によって前記マーカを撮像可能とするための前記ロボットの複数の姿勢を含む姿勢集合を生成する姿勢集合生成部と、
前記姿勢集合生成部によって生成された前記姿勢集合の中から、前記マーカの遮蔽が生じない複数の姿勢を抽出する非遮蔽姿勢抽出部と、
前記非遮蔽姿勢抽出部によって抽出された前記複数の姿勢に基づいて、前記ロボットの座標系と前記撮像部の座標系を変換するための座標変換パラメータを推定するキャリブレーション実行部と、
を備えるロボット制御用のキャリブレーション装置。
前記撮像部は、複数の撮像装置によって構成され、
前記姿勢集合生成部は、前記複数の撮像装置の各々について、前記撮像装置によって前記マーカを撮像可能とするための前記ロボットの姿勢集合を個別に生成し、
前記姿勢集合生成部が前記撮像装置ごとに個別に生成した前記ロボットの姿勢集合の中から、前記複数の撮像装置で共通に使用可能な複数の姿勢を抽出する共通姿勢抽出部をさらに備え、
前記キャリブレーション実行部は、前記共通姿勢抽出部によって抽出された複数の姿勢を適用して前記座標変換パラメータを推定する
請求項１に記載のロボット制御用のキャリブレーション装置。
前記姿勢集合生成部によって生成された前記姿勢集合の中から、前記ロボットと前記マーカが、前記ロボットおよび環境設置物を含む現実装置内のいずれの部分にも物理干渉しない複数の姿勢を抽出する非物理干渉姿勢抽出部をさらに備え、
前記非遮蔽姿勢抽出部は、前記非物理干渉姿勢抽出部によって抽出された前記複数の姿勢を含む姿勢集合の中から、前記マーカの遮蔽が生じない姿勢を抽出する
請求項１に記載のロボット制御用のキャリブレーション装置。
前記非遮蔽姿勢抽出部によって抽出された前記複数の姿勢を含む姿勢集合を用いて、所定値以上に高精度なキャリブレーションが見込めるか否かを判定する姿勢集合評価部をさらに備え、
前記キャリブレーション実行部は、前記所定値以上に高精度なキャリブレーションが見込めると前記姿勢集合評価部が判定した場合に、前記座標変換パラメータを推定する
請求項１に記載のロボット制御用のキャリブレーション装置。
前記姿勢集合評価部は、前記所定値以上に高精度なキャリブレーションが見込めない場合に、前記姿勢集合生成部に対して追加で姿勢を生成するよう指示する
請求項４に記載のロボット制御用のキャリブレーション装置。
前記所定値以上に高精度なキャリブレーションが見込めないと前記姿勢集合評価部が判定した場合に、前記姿勢集合生成部が前記姿勢集合の生成に用いるパラメータの値を変更するパラメータ更新部をさらに備える
請求項４に記載のロボット制御用のキャリブレーション装置。
前記非遮蔽姿勢抽出部は、前記ロボットを各姿勢へと移動させたときに前記撮像部によって得られる撮影画像を仮想的に生成するとともに、生成した前記撮影画像を解析することによって前記マーカの三次元位置を推定し、前記推定に成功したか否かによって前記マーカの遮蔽の有無を判定する
請求項１に記載のロボット制御用のキャリブレーション装置。
前記非遮蔽姿勢抽出部は、前記推定に成功した場合に、前記推定の信頼度を求め、前記信頼度が閾値以上であるか否かによって前記マーカの遮蔽の有無を判定する
請求項７に記載のロボット制御用のキャリブレーション装置。