JP2021079507A - マーカおよびロボットシステム - Google Patents

Abstract

【課題】単眼カメラを用いたワークの位置の高精度な計測およびワークの的確な把持を支援する。【解決手段】マーカは、ワーク上に配置され、ロボットシステムを構成する単眼カメラにより撮像され、正方形状のドット配置面と、ドット配置面上で３行３列状に並んで配置され、単眼カメラの撮像画像上で周囲に比べて識別可能な輝度を有する８つのドット部と、ドット部と同等の大きさを有し、単眼カメラの撮像画像上で周囲とに比べて識別可能な輝度を有さない１つの非ドット部と、を備え、非ドット部は、３行３列状のいずれか角部に配置される。【選択図】図３

Description

本開示は、マーカおよびロボットシステムに関する。

特許文献１には、保持対象物を保持するための第１保持部を含むロボットアームと、ロボットアームに取り付けられ、保持対象物を搬送しながら第１保持部に保持された保持対象物の保持状態を検出するための保持状態検出部とを備えるロボットシステムが開示されている。

特開２０１３−７８８２５号公報

しかし、上述した特許文献１のロボットシステムの構成では、保持対象物（例えばワーク）を保持するにあたって、バラ積みにされた複数の保持対象物のそれぞれを俯瞰して撮像する第１のカメラを用いて保持対象物が配置されている位置情報を検出し、検出された保持対象物の位置情報に基づいて、ロボットアームを駆動して保持対象物を保持し、さらにロボットアームに取り付けられた第２のカメラを用いて保持対象物の保持状態を検出していた。このため、２つのカメラが必要となり、ロボットシステムの構成だけでなく、第１，第２のカメラのそれぞれの撮像画像を用いた画像処理による位置情報および保持状態の検出処理が複雑化する要因となっていた。また、カメラが複数ある場合、それぞれのカメラが有する座標系に基づく位置情報の変換処理が必要となり、この変換処理に要するコンピュータ装置の負荷が大きくなるという課題があった。

本開示は、上述した従来の事情に鑑みて案出され、単眼カメラを用いたワークの位置の高精度な計測およびワークの的確な把持を支援するマーカおよびロボットシステムを提供することを目的とする。

本開示は、ワーク上に配置され、ロボットシステムを構成する単眼カメラにより撮像されるマーカであって、正方形状のドット配置面と、前記ドット配置面上で３行３列状に並んで配置され、前記単眼カメラの撮像画像上で周囲に比べて識別可能な輝度を有する８つのドット部と、前記ドット部と同等の大きさを有し、前記単眼カメラの撮像画像上で前記周囲とに比べて識別可能な輝度を有さない１つの非ドット部と、を備え、前記非ドット部は、前記３行３列状のいずれか角部に配置される、マーカを提供する。

また、本開示は、請求項１〜３のいずれか１項に記載のマーカを撮像する単眼カメラと、前記ワークを把持可能なロボットアームを有するロボットを制御するコントローラとを通信可能に有するロボットシステムであって、前記単眼カメラは、前記ロボットアームの先端に取り付けられ、前記ワーク上に配置された前記マーカを撮像した前記撮像画像を前記コントローラに送信し、前記コントローラは、受信された前記撮像画像から１以上の前記ドット部を検出し、検出された前記ドット部の大きさと前記単眼カメラから前記ドット部の中心までの間の距離と前記撮像画像上の前記ドット部の中心位置とに基づいて、前記ドット部の３次元位置を計測し、前記８つのドット部のそれぞれについて前記３次元位置を計測した場合、前記８つのドット部のそれぞれの前記３次元位置と前記単眼カメラの取付位置とに基づいて前記ロボットに前記ワークを把持するための制御信号を生成して、前記ロボットに出力する、ロボットシステムを提供する。

また、本開示は、請求項３に記載のマーカを撮像する前記単眼カメラと、前記ワークを把持可能なロボットアームを有するロボットを制御するコントローラ)とを通信可能に有するロボットシステムであって、前記単眼カメラは、前記ロボットアームの先端に取り付けられ、前記ワーク上に配置された前記マーカを撮像した前記撮像画像を前記コントローラに送信し、前記コントローラは、受信された前記撮像画像から１以上の前記内側ドット部を検出し、検出された前記内側ドット部の大きさと前記単眼カメラから前記内側ドット部の中心までの間の距離と前記撮像画像上の前記内側ドット部の中心位置とに基づいて、前記内側ドット部の３次元位置を計測し、前記８つの内側ドット部のそれぞれについて前記３次元位置を計測した場合、さらに受信された前記撮像画像から１以上の前記ドット部を検出し、検出された前記ドット部の大きさと前記単眼カメラから前記ドット部の中心までの間の距離と前記撮像画像上の前記ドット部の中心位置とに基づいて、前記ドット部の３次元位置を計測し、前記ドット部の前記３次元位置の計測を複数回実行した場合、前記８つの内側ドット部のそれぞれの前記３次元位置と前記単眼カメラの取付位置とに基づいて前記ロボットに前記ワークを把持するための制御信号を生成して、前記ロボットに出力する、ロボットシステムを提供する。

本開示によれば、単眼カメラを用いたワークの位置の高精度な計測およびワークの的確な把持を支援できる。

実施の形態１に係るロボットシステムの構成例を示す図 実施の形態１に係るビジョンコントローラ、ロボットコントローラおよびカメラの内部構成例を示す図 カメラおよびマーカの座標系を説明する図 マーカの一例を示す図 マーカの一例（中央に配置されたドット部の大きさが異なる例）を示す図 実施の形態１に係るロボットシステムにおけるワークの位置計測手順例を説明するシーケンス図 実施の形態１の変形例に係るマーカの一例を示す図 実施の形態１の変形例に係るロボットシステムにおけるワークの位置計測手順例を説明するシーケンス図

以下、適宜図面を参照しながら、本開示に係るマーカおよびロボットシステムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
図１を参照して、実施の形態１に係るロボットシステム１００の構成例およびユースケース例について説明する。図１は、実施の形態１に係るロボットシステム１００の構成例を示す図である。実施の形態１に係るロボットシステム１００は、入力部Ｕ１と、コントローラＣＯＭと、ロボットＲ１と、カメラＣ１と、ワークＷ上に備えられたマーカＭｋと、モニタＭＮと、を含んで構成される。実施の形態１に係るロボットシステム１００は、ロボットＲ１に設けられたカメラＣ１とコントローラＣＯＭとの間、コントローラＣＯＭと入力部Ｕ１との間、およびコントローラＣＯＭとモニタＭＮとの間で通信可能に接続され、データの送受信を行う。なお、実施の形態１に係るロボットシステム１００におけるロボットＲ１の数は、１つに限定されず、例えば１つのカメラを備えるロボットが複数通信可能に接続されてよい。また、図１に示すマーカＭｋは、説明をわかりやすくするためにワークＷの側面に配置されているように図示されているが、実際はワークＷ上であって、カメラＣ１によって撮像可能な位置に配置される。

入力部Ｕ１は、オペレータの入力操作を検出するオペレータインターフェースであり、例えばマウス、キーボードまたはタッチパネルなどを用いて構成される。なお、入力部Ｕ１は、モニタＭＮの構成を含み、一体に形成されてもよい。入力部Ｕ１は、オペレータからロボットＲ１の動作設定（例えば数式データ）に関する入力操作を信号に変換し、コントローラＣＯＭにおけるロボットコントローラＲＣに出力する。

コントローラＣＯＭは、入力部Ｕ１、モニタＭＮおよびロボットＲ１との間で通信可能に接続される。コントローラＣＯＭは、カメラＣ１によって撮像された撮像画像を用いた画像解析処理およびワークＷの計測処理を実行するビジョンコントローラＶＣと、ビジョンコントローラＶＣによって計測されたワークＷの位置情報に基づいてロボットＲ１の制御を実行するロボットコントローラＲＣと、を含んで構成される。

ビジョンコントローラＶＣは、ロボットコントローラＲＣとロボットＲ１に備えられたカメラＣ１との間で通信可能に接続される。ビジョンコントローラＶＣは、カメラＣ１によって撮像された撮像画像に映るマーカＭｋに基づいて、マーカＭｋの３次元位置を計測し、計測されたマーカＭｋの３次元位置に基づくワークＷの位置を計測する。

ロボットコントローラＲＣは、ビジョンコントローラＶＣ、ロボットＲ１、モニタＭＮ、入力部Ｕ１との間で通信可能に接続される。ロボットコントローラＲＣは、ビジョンコントローラＶＣから入力されたワークＷの位置情報に基づいて、オペレータによって予め設定されたワークＷへの所定の制御を実行する。具体的に、ロボットコントローラＲＣは、ワークＷの位置情報に基づいて、ロボットアームＲＡおよびハンド部ＲＨを制御するための制御信号を生成し、ロボットＲ１に送信する。

モニタＭＮは、コントローラＣＯＭとの間で通信可能に接続され、オペレータによって入力された入力内容、カメラＣ１によって撮像されたワークＷあるいはマーカＭｋの撮像画像、ロボットＲ１の制御結果などを表示する。

ロボットＲ１は、ロボットコントローラＲＣおよびビジョンコントローラＶＣとの間でケーブル４０によって通信可能に接続される。また、ロボットＲ１は、ロボットアームＲＡを備え、各関節の軸座標系と自由空間上に原点を設定し、この原点からロボットＲ１のロボットアームＲＡの先端までを関連付ける直交座標系を用いて動作する。ロボットＲ１は、例えば６つのサーボモータ４１のそれぞれを有する６軸（例えば軸Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６）の多関節型ロボットで構成され、これらの６軸はロボットコントローラＲＣのプロセッサ（図２参照）によってそれぞれ独立に制御される。

ロボットＲ１の軸Ｊ１は、ロボットＲ１の全体をパン回転の如く旋回させる際の回転中心である。ロボットＲ１の軸Ｊ２は、ロボットアームＲＡをチルト回転の如く前後移動させる際の回転中心である。ロボットＲ１の軸Ｊ３は、ロボットアームＲＡをチルト回転の如く上下移動させる際の回転中心である。ロボットＲ１の軸Ｊ４は、ロボットアームＲＡの手首をチルト回転の如く回転させる際の回転中心である。ロボットＲ１の軸Ｊ５は、ロボットアームＲＡの手首の振りを行う際の回転中心である。ロボットＲ１の軸Ｊ６は、ロボットアームＲＡのハンド部ＲＨをパン回転の如く回転させる際の回転中心である。

ロボットアームＲＡは、作業目的に応じたツールを取り付け可能であって、先端にカメラＣ１を備える。ここで、ロボットアームＲＡは、ロボットアームＲＡの軸Ｊ６とカメラＣ１の光軸ＪＣ１との間の角度が設置角度βとなるようにカメラＣ１を備える。所定の設置角度βの情報は、ビジョンコントローラＶＣにおけるメモリ（図２参照）に記憶される。なお、設置角度βは、カメラＣ１がワークＷ上に配置されたマーカＭｋを撮像可能に設置されればよく、例えば設置角度βは、０（ゼロ）°であってよい。

また、実施の形態１に係るロボットアームＲＡは、ツールとして例えば一対の指部材からなるハンド部ＲＨが取り付けられる。ハンド部ＲＨは、図示しないエアシリンダ、電動シリンダ、モータなどの各種アクチュエータを制御して細かい作業を実行可能となり、ワークＷの把持、搬送を実行する。

単眼カメラの一例としてのカメラＣ１は、ビジョンコントローラＶＣとの間でケーブル４０を介して通信可能に接続され、所定の位置からワークＷあるいはワークＷ上に配置されたマーカＭｋを立体的に撮像する。カメラＣ１は、撮像された撮像画像をビジョンコントローラＶＣに送信する。カメラＣ１は、撮像領域内に映るマーカＭｋを撮像する。また、実施の形態１に係るカメラＣ１は、所謂固定焦点カメラの例を示すが、これに限定されないことは言うまでもない。例えば、カメラＣ１は、オートフォーカス機能を有し、撮像領域内に映るマーカＭｋにオートフォーカスを実行し、撮像してよい。

マーカＭｋは、ワークＷ上にカメラＣ１によって撮像可能に配置される。マーカＭｋは、例えばシールあるいは印刷物であり、ワークＷの所定位置に貼り付けあるいはワークＷに印刷されて形成される。マーカＭｋは、面と、８つのドット部と、１つの非ドット部（不図示）と、を少なくとも有して形成される。面は、例えば色（輝度）などによりワークＷと識別可能に形成される。また、８つのドット部のそれぞれは、面上に配置され、例えば色（輝度）などにより面と識別可能に形成される。

８つのドット部および１つの非ドット部のそれぞれの中心位置は、３行３列の正方形状に配置される。１つの非ドット部は、例えばマーカＭｋの面と識別不可となるように同一の色（輝度）などを有して形成され、３行３列の９つの配置箇所のうち所定の角部（つまり、正方形状の四隅のうちいずれかの角）に配置される。非ドット部は、マーカＭｋの方向（つまり、ワークＷの方向）を示す。また、８つのドット部のそれぞれは、３行３列の９つの配置箇所のうち１つの非ドット部以外の配置箇所に配置される。なお、３行３列に配置された８つのドット部のうち中央配置された中央ドット部は、他のドット部と異なる大きさ、形状であってよい。

次に、図２および図３を参照して、ビジョンコントローラＶＣ、ロボットコントローラＲＣおよびカメラＣ１の内部構成例およびワークＷの位置情報の計測方法について説明する。図２は、実施の形態１に係るビジョンコントローラＶＣ、ロボットコントローラＲＣおよびカメラＣ１の内部構成例を示す図である。なお、図２においてロボットＲ１、モニタＭＮおよび入力部Ｕ１などの他の構成は省略している。また、図２において、ケーブル４０は省略されている。図３は、カメラＣ１とマーカＭｋとの間の位置関係を説明する図である。図３には、ロボットＲ１、ロボットアームＲＡおよびハンド部の図示を省略している。また、図３に示すマーカＭｋにおいて、８つのドット部のそれぞれの図示を省略している。

なお、マーカＭｋは、図２においてワークＷ上面の水平面に配置されるが、設置角度βでロボットアームＲＡに設置されるカメラＣ１によって撮像可能な位置に配置されていればよく、例えばワークＷの側面であってもよい。また、マーカＭｋが配置される面は、水平面に限定されず、例えば斜面、曲面であってもよい。

カメラＣ１は、所定の設置角度βでロボットアームＲＡに設置され、所定の位置からワークＷ上に配置されたマーカＭｋを撮像する。カメラＣ１は、通信部１０と、プロセッサ１１と、メモリ１２と、撮像部１３と、を含んで構成される。

通信部１０は、ケーブル４０を介してビジョンコントローラＶＣとの間でデータ通信可能に接続される。通信部１０は、撮像部１３によって撮像された撮像画像とカメラＣ１の焦点距離の情報とをビジョンコントローラＶＣに送信する。

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１はメモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。プロセッサ１１は、撮像部１３によって撮像され、入力された撮像画像をメモリ１２に記憶するとともに、ビジョンコントローラＶＣにおける通信部２０に送信する。

メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。メモリ１２は、撮像部１３によって撮像された撮像画像を記憶する。また、メモリ１２は、ロボットアームＲＡの軸Ｊ６とカメラＣ１の光軸ＪＣ１との間のカメラＣ１の設置角度β、カメラＣ１の撮像位置、カメラＣ１の焦点距離の情報などを記憶する。

撮像部１３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部１３は、撮像された撮像画像をプロセッサ１１に出力する。

ビジョンコントローラＶＣは、カメラＣ１からケーブル４０（不図示）を介して、撮像画像およびカメラＣ１の焦点距離の情報を受信する。ビジョンコントローラＶＣは、受信された撮像画像からマーカＭｋを検出し、マーカＭｋの３次元位置を計測する。ビジョンコントローラＶＣは、計測されたマーカＭｋの３次元位置に基づくワークＷの位置情報をロボットコントローラＲＣに送信する。ビジョンコントローラＶＣは、通信部２０と、プロセッサ２１と、メモリ２２と、ストレージＳＴと、を含んで構成される。

通信部２０は、カメラＣ１およびロボットコントローラＲＣとの間で通信可能に接続される。通信部２０は、カメラＣ１から受信された撮像画像およびカメラＣ１の焦点距離の情報をプロセッサ２１に出力する。また、通信部２０は、プロセッサ２１から入力されたワークＷの位置情報をロボットコントローラＲＣに送信する。

プロセッサ２１は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、撮像画像に画像処理を実行する機能、画像処理結果に基づいてマーカＭｋの３次元位置の計測を実行する機能およびマーカＭｋの３次元位置に基づいてワークＷの位置を計測する機能などを実行する。プロセッサ２１は、入力された撮像画像をストレージＳＴに記憶する。また、プロセッサ２１は、計測されたワークＷの位置情報を、通信部２０を介してロボットコントローラＲＣに送信する。

プロセッサ２１は、通信部２０から入力された撮像画像に画像処理を実行し、撮像画像に映るマーカＭｋを検出する。プロセッサ２１は、検出されたマーカＭｋからドット部を検出し、検出されたドット部のそれぞれを識別するためのＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を付与するナンバリング処理を実行した後、撮像画像上のドット部の大きさ（つまり水平方向および垂直方法のピクセル数）を計測する。プロセッサ２１は、計測されたドット部の大きさとカメラＣ１の焦点距離とに基づいて、カメラＣ１からドット部の中心まで間の距離を算出する。

プロセッサ２１は、検出されたドット部の形状に基づいて、ドット部の中心位置（座標）を算出する。さらにプロセッサ２１は、カメラＣ１の焦点距離の情報に基づいて、カメラ座標系ΣＣ１（図３参照）におけるドット部の３次元位置（例えば（Ｘ，Ｙ，Ｚ））を計測する。

ここで、カメラ座標系ΣＣ１は、撮像領域の座標系をカメラＣ１視点の座標系に変換したものであり、カメラレンズ（不図示）を撮像距離０（ゼロ）として、カメラＣ１の光軸とカメラレンズの表面とが直交する交点を基準点としたベクトル（Ｘｃ，Ｙｃ，Ｚｃ）として設定される。また、マーカ座標系ΣＭｋは、マーカＭｋにおける面の中心位置（座標）を基準点としたベクトル（Ｘｍ，Ｙｍ，Ｚｍ）として設定される。

プロセッサ２１は、検出されたドット部のそれぞれにナンバリング処理結果に基づいて、マーカＭｋが有する８つのドット部のそれぞれの３次元位置を計測したか否かを判定する。ここで、プロセッサ２１は、非ドット部の位置に基づいてマーカＭｋの方向を判定する。これにより、プロセッサ２１は、マーカＭｋが配置されたワークＷの方向を計測できる。

プロセッサ２１は、８つのドット部のそれぞれの３次元位置を計測したと判定すると、これらのカメラ座標系ΣＣ１における３次元位置のそれぞれを、８つのドット部のナンバリング処理結果と、予めメモリ２２に記憶されたマーカＭｋの仕様（マーカＭｋの水平方向および垂直方向の大きさ、形状あるいはマーカ座標系ΣＭｋにおける８つのドット部のそれぞれの中心位置（座標））とに基づいて、マーカ座標系ΣＭｋ（図３参照）における３次元位置のそれぞれに変換する。

また、プロセッサ２１は、変換されたマーカ座標系ΣＭｋにおけるマーカＭｋの３次元位置をカメラ座標系ΣＣ１におけるマーカＭｋの３次元位置に変換可能な行列式を算出する。プロセッサ２１は、算出された行列式に基づくカメラＣ１からみたマーカＭｋの回転角度と、カメラＣ１とマーカＭｋとの間の距離と、カメラＣ１の設置角度βと、カメラＣ１の設置位置とに基づいて、ロボットアームＲＡに取り付けられたハンド部ＲＨとマーカＭｋが配置されたワークＷとの間の距離および回転角度（つまり、ハンド部ＲＨを基準としたワークＷの位置、方向）を計測する。プロセッサ２１は、計測されたワークＷの位置情報をロボットコントローラＲＣに送信する。なお、ここでいうワークＷの位置情報は、ワークＷの方向の情報を含む。

なお、マーカＭｋの配置位置におけるワークＷの形状は、平面に限定されない。また、マーカＭｋの配置位置におけるワークＷの形状は、さらに予め設定されなくてよい。

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。メモリ２２は、カメラＣ１の設置角度β、カメラＣ１の撮像位置、マーカＭｋの仕様（マーカＭｋの面の大きさ、ワークＷ上におけるマーカＭｋの配置位置、８つのドット部のそれぞれの大きさあるいは８つのドット部のそれぞれの中心位置など）、マーカ座標系ΣＭｋおよびカメラ座標系ΣＣ１などを記憶する。

ストレージＳＴは、プロセッサ２１から入力されたカメラＣ１によって撮像された撮像画像と、撮像画像が撮像された撮像時刻、焦点距離などの情報を関連づけて記憶する。

ロボットコントローラＲＣは、入力部Ｕ１、モニタＭＮ、ビジョンコントローラＶＣ、およびロボットＲ１との間で通信可能に接続される。ロボットコントローラＲＣは、ビジョンコントローラＶＣによって入力されたワークＷの位置情報に基づいて、ロボットＲ１の所定の制御を実行させる。ロボットコントローラＲＣは、通信部３０と、プロセッサ３１と、メモリ３２と、を含んで構成される。

通信部３０は、入力部Ｕ１、モニタＭＮ、ビジョンコントローラＶＣ、およびロボットＲ１との間で通信可能に接続される。通信部３０は、ビジョンコントローラＶＣから受信されたワークＷの位置情報をプロセッサ３１に出力する。また、通信部３０は、プロセッサ３１から入力されたロボットＲ１の駆動プログラムを、ケーブル４０を介してロボットＲ１に送信する。

プロセッサ３１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ３２と協働して、各種の処理および制御を行う。具体的には、プロセッサ３１はメモリ３２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。プロセッサ３１は、ビジョンコントローラＶＣから入力されたワークＷの位置情報をメモリ３２に記憶するとともに、ビジョンコントローラＶＣにおける通信部２０に送信する。

また、プロセッサ３１は、入力部Ｕ１から入力されたロボットＲ１の設定動作に基づく数式データを、例えば、運動幾何学と代数学とを用いて、ロボットＲ１のサーボモータ４１を駆動するための駆動プログラムに変換する。プロセッサ３１は、ロボットＲ１の制御を実行するための駆動プログラムを、ケーブル４０を介してロボットＲ１に送信する。

メモリ３２は、例えばプロセッサ３１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ３１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ３１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ３１の動作を規定するプログラムが書き込まれている。メモリ３２は、ビジョンコントローラＶＣから入力されたワークＷの位置情報、オペレータによって入力されたロボットＲ１の動作設定などを記憶する。

図４および図５を参照して、マーカＭｋについて説明する。図４は、マーカＭｋ１の一例を示す図である。図５は、マーカＭｋ２の一例（中央に配置されたドット部Ｄｔ２４の大きさが異なる例）を示す図である。

マーカＭｋ１は、ドット配置面の一例としての面５０ａ上に面５０ａと識別可能に形成された８つのドット部Ｄｔ１１，Ｄｔ１２，Ｄｔ１３，Ｄｔ１４，Ｄｔ１５，Ｄｔ１６，Ｄｔ１７，Ｄｔ１８のそれぞれと、面５０ａ上において面５０ａと識別不可に、例えば面５０ａと類似する色（輝度）を有して形成された１つの非ドット部Ｄｔ１０と、を有して形成される。なお、ここで８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれは、面５０ａ上において例えば異なる色（輝度）を有し、面５０ａと識別可能に形成される。８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれおよび１つの非ドット部Ｄｔ１０のそれぞれの中心位置（座標）は、所定の間隔で３行３列の合計９つの配置箇所に、正方形状に並んで配置される。１つの非ドット部Ｄｔ１０は、９つの配置箇所のうちいずれかの角部に配置されて、マーカＭｋ１の方向を示す。なお、図４において、８つのドット部のそれぞれＤｔ１１〜Ｄｔ１８のそれぞれは、同一の大きさで形成されるが、同一の大きさでなくてよい。

ビジョンコントローラＶＣは、非ドット部Ｄｔ１０が配置された位置に基づいて、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれをナンバリングする。ビジョンコントローラＶＣは、例えば、ドット部Ｄｔ１１をナンバー「１」のドット部、ドット部Ｄｔ１２をナンバー「２」のドット部、ドット部Ｄｔ１３をナンバー「３」のドット部、ドット部Ｄｔ１４をナンバー「４」のドット部、ドット部Ｄｔ１５をナンバー「５」のドット部、ドット部Ｄｔ１６をナンバー「６」のドット部、ドット部Ｄｔ１７をナンバー「７」のドット部、ドット部Ｄｔ１８をナンバー「８」のドット部とナンバリングする。ビジョンコントローラＶＣは、マーカＭｋ１が有する８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれをナンバリングすることで、マーカＭｋ１上の所定の８箇所（８つのドット部が配置された位置）のそれぞれの３次元位置を計測し、マーカＭｋ１が配置されたワークＷの位置を計測できる。

マーカＭｋ２は、ドット配置面の一例としての面５０ｂ上に面５０ｂと識別可能に形成された８つのドット部Ｄｔ２１，Ｄｔ２２，Ｄｔ２３，Ｄｔ２４，Ｄｔ２５，Ｄｔ２６，Ｄｔ２７，Ｄｔ２８のそれぞれと、面５０ｂ上において面５０ｂと識別不可に、例えば面５０ｂと類似する色（輝度）を有して形成された形成された１つの非ドット部Ｄｔ２０と、を有して形成される。なお、ここで８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれは、面５０ｂ上において例えば異なる色（輝度）を有し、面５０ａと識別可能に形成される。８つのドット部Ｄｔ２１〜Ｄｔ２８のそれぞれおよび１つの非ドット部Ｄｔ２０のそれぞれの中心位置（座標）は、所定の間隔で３行３列の合計９つの配置箇所に、正方形状に並んで配置される。１つの非ドット部Ｄｔ２０は、９つの配置箇所のうちいずれかの角部に配置されて、マーカＭｋ２方向を示す。

なお、図５において、８つのドット部のそれぞれＤｔ２１〜Ｄｔ２８のそれぞれのうち中央位置に配置された中央ドット部の一例としてのドット部Ｄｔ２４は、他のドット部と異なる大きさを有して形成される。これにより、ビジョンコントローラＶＣが８つのドット部Ｄｔ２１〜Ｄｔ２８のそれぞれをナンバリングする際に、中央位置に配置されたドット部Ｄｔ２４の識別を容易にするとともに、ドット部Ｄｔ２４および非ドット部Ｄｔ２０が配置された位置に基づいて、他のドット部を容易にナンバリングできる。

次に、図６を参照してワークＷの位置計測手順例について説明する。図６は、実施の形態１に係るロボットシステム１００におけるワークＷの位置計測手順例を説明するシーケンス図である。なお、図６で説明する位置計測手順例においてマーカは、図４に示すマーカＭｋ１を用いて説明する。

ビジョンコントローラＶＣは、カメラＣ１によって撮像された撮像画像を受信する。ビジョンコントローラＶＣは、受信された撮像画像に画像処理を実行し、撮像画像からマーカＭｋ１を検出する（Ｓｔ１）。

ビジョンコントローラＶＣは、検出されたマーカＭｋ１からドット部を検出する（Ｓｔ２）。なお、ここで検出されるドット部の数は、８つでなく、１以上であればよい。また、ビジョンコントローラＶＣは、検出されたドット部についてナンバリング処理を実行する。

ビジョンコントローラＶＣは、検出されたドット部の大きさ（ピクセル数）とカメラＣ１の焦点距離とに基づいて、カメラＣ１からドット部の中心まで間の距離を算出する（Ｓｔ３）。

ビジョンコントローラＶＣは、検出されたドット部の形状に基づいて、ドット部の中心位置（座標）を算出する（Ｓｔ４）。

ビジョンコントローラＶＣは、撮像画像が撮像された時のカメラＣ１の焦点距離に基づいて、カメラ座標系ΣＣ１におけるドット部の中心位置（座標）の３次元位置を計測する（Ｓｔ５）。

ビジョンコントローラＶＣは、ドット部のナンバリング処理結果に基づいて、マーカＭｋ１が有する８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置について計測を完了したか否かを判定する（Ｓｔ６）。

ビジョンコントローラＶＣは、ステップＳｔ６における判定処理において、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置について計測を完了していると判定した場合（Ｓｔ６，ＹＥＳ）、カメラ座標系ΣＣ１における８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置をマーカ座標系ΣＭｋにおける８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置に変換する。ビジョンコントローラＶＣは、変換されたマーカ座標系ΣＭｋにおける８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置および非ドット部Ｄｔ１０の位置（配置）に基づくマーカＭｋ１の方向を判定し、マーカ座標系ΣＭｋにおけるマーカＭｋ１の３次元位置を計測する。また、ビジョンコントローラＶＣは、計測されたマーカ座標系ΣＭｋにおけるマーカＭｋ１の３次元位置をカメラ座標系ΣＣ１におけるマーカＭｋ１の３次元位置に変換する。ビジョンコントローラＶＣは、変換されたカメラ座標系ΣＣ１におけるマーカＭｋ１の３次元位置とカメラＣ１の設置角度および設置位置とに基づいて、ワークＷの位置を計測する（Ｓｔ７）。

ビジョンコントローラＶＣは、計測されたワークＷの位置情報（例えばワークＷの方向、位置）を計測結果としてロボットコントローラＲＣに送信する（Ｓｔ８）。

ロボットコントローラＲＣは、受信された計測結果としてのワークＷの位置情報に基づいて、ロボットアームＲＡおよびロボットアームＲＡに備えられたハンド部ＲＨを制御するための駆動プログラムを生成し、ロボットＲ１に送信する。ロボットコントローラＲＣは、この駆動プログラムに基づいてロボットアームＲＡあるいはハンド部ＲＨをワークＷあるいはマーカＭｋ１の位置に向けて駆動させ、所定の制御（例えばワークＷの把持、搬送など）を実行させる（Ｓｔ９）。

以上により、実施の形態１に係るロボットシステム１００において用いられるマーカＭｋ１は、ワークＷ上に配置され、ロボットシステム１００を構成するカメラＣ１により撮像される。マーカＭｋ１は、正方形状のドット配置面（面５０ａ）と、ドット配置面（面５０ａ）上で３行３列状に並んで配置され、カメラＣ１の撮像画像上で面５０ａと比較して識別可能な輝度を有する８つのドット部Ｄｔ１１〜Ｄｔ１８と、８つのドット部Ｄｔ１１〜Ｄｔ１８と同等の大きさを有し、カメラＣ１の撮像画像上で面５０ａと比較して識別可能な輝度を有さない非ドット部Ｄｔ１０と、を備える。非ドット部Ｄｔ１０は、３行３列状の配置の角部に配置される。

これにより、実施の形態１に係るロボットシステム１００は、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれに基づいて、マーカＭｋ１の位置を計測できる。さらに、ロボットシステム１００は、非ドット部Ｄｔ１０の配置に基づいて、マーカＭｋ１の方向を計測できる。したがって、実施の形態１に係るロボットシステム１００は、単眼カメラの一例としてのカメラＣ１を用いたワークＷの位置を高精度に計測でき、さらに計測された位置に基づいて、ロボットＲ１にワークＷの把持を実行させるための駆動プログラムを生成して出力することにより、ワークＷの的確な把持を支援できる。

また、実施の形態１に係るロボットシステム１００は、８つのドット部Ｄｔ２１〜Ｄｔ２８のうち３行３列状の中央に配置されるドット部Ｄｔ２４は、他の７つのドット部Ｄｔ２１〜Ｄｔ２３、Ｄｔ２５〜Ｄｔ２８のそれぞれに比べて大きな面積を有する。これにより、実施の形態１に係るロボットシステム１００は、中央に配置されたドット部Ｄｔ２４および非ドット部Ｄｔ２０に基づいて、他の７つのドット部Ｄｔ２１〜Ｄｔ２３、Ｄｔ２５〜Ｄｔ２８のそれぞれのナンバリング処理を容易に実行できる。

また、実施の形態１に係るロボットシステム１００は、マーカＭｋ１を撮像するカメラＣ１と、ワークＷを把持可能なロボットアームＲＡを有するロボットＲ１を制御するコントローラＣＯＭとを通信可能に有するロボットシステムである。カメラＣ１は、ロボットアームＲＡの先端に取り付けられ、ワークＷ上に配置されたマーカＭｋ１を撮像した撮像画像をコントローラＣＯＭに送信する。コントローラＣＯＭは、受信された撮像画像から１以上のドット部を検出し、検出されたドット部の大きさとカメラＣ１からドット部の中心までの間の距離と撮像画像上のドット部の中心位置とに基づいて、ドット部の３次元位置を計測し、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれについて３次元位置を計測した場合、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれの３次元位置とカメラＣ１の取付位置とに基づいてロボットＲ１にワークＷを把持するための制御信号を生成して、ロボットＲ１に出力する。

これにより、実施の形態１に係るロボットシステム１００は、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれに基づいて、マーカＭｋ１およびワークＷの位置をより高精度に計測でき、計測されたワークＷの位置に基づいて、ロボットＲ１にワークＷの把持を実行させるための駆動プログラムを生成して出力できる。これにより、ロボットシステム１００は、ワークＷの位置の高精度な計測およびワークＷの的確な把持を支援できる。

また、実施の形態１に係るロボットシステム１００におけるコントローラＣＯＭは、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれについて３次元位置の計測が終了するまで、３次元位置の再計測を繰り返す。これにより、実施の形態１に係るロボットシステム１００は、マーカＭｋ１上の８箇所の３次元位置に基づいて、マーカＭｋ１およびワークＷの位置を計測できるため、計測精度を向上できる。

また、実施の形態１に係るロボットシステム１００におけるコントローラＣＯＭは、非ドット部Ｄｔ１０の位置に基づいてマーカＭｋ１の方向を判定する。これにより、実施の形態１に係るロボットシステム１００は、容易にマーカＭｋおよびワークＷの方向を判定できる。また、コントローラＣＯＭは、非ドット部Ｄｔ１０の位置に基づいて、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれのナンバリング処理をより容易に効率的に実行できる。

また、実施の形態１に係るロボットシステム１００におけるカメラＣ１は、ロボットアームＲＡの先端にロボットアームＲＡの軸Ｊ６から所定の設置角度βだけ傾いて取り付けられる。これにより、実施の形態１に係るロボットシステム１００におけるカメラＣ１は、オペレータが望む位置および設置角度βからワークＷあるいはマーカＭｋ１を撮像できる。

（実施の形態１の変形例）
実施の形態１に係るロボットシステム１００は、カメラが所定の撮像位置からマーカを撮像する例について説明した。実施の形態１の変形例に係るロボットシステム１００は、カメラが任意の撮像位置からマーカを撮像する例について説明する。

図７を参照して、実施の形態１の変形例に係るロボットシステム１００における外側マーカＭｋ３および内側マーカＭｋ４の一例について説明する。図７は、実施の形態１の変形例に係るマーカの一例を示す図である。実施の形態１の変形例に係るマーカは、外側マーカＭｋ３と、外側マーカＭｋ３のうち中央に配置された外側ドット部Ｄｔ３４を面５０ｄとする内側マーカＭｋ４とからなる。

外側マーカＭｋ３は、ドット配置面の一例としての面５０ｃ上に面５０ｃと識別可能に形成されたドット部の一例としての８つの外側ドット部Ｄｔ３１，Ｄｔ３２，Ｄｔ３３，Ｄｔ３４，Ｄｔ３５，Ｄｔ３６，Ｄｔ３７，Ｄｔ３８のそれぞれと、面５０ｃ上において面５０ｃと識別不可に、例えば面５０ｃと類似する色（輝度）を有して形成された１つの外側非ドット部Ｄｔ３０と、を有して形成される。なお、ここで面５０ｃと８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれとは、例えば異なる色（輝度）を有して形成されることにより識別可能となる。８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれおよび１つの外側非ドット部Ｄｔ３０のそれぞれの中心位置（座標）は、所定の間隔で３行３列の合計９つの配置箇所に正方形状に並んで配置される。１つの外側非ドット部Ｄｔ３０は、９つの配置箇所のうちいずれかの角部に配置されて、外側マーカＭｋ３の方向を示す。

中央ドット部の一例としての外側ドット部Ｄｔ３４は、９つの配置箇所のうち中央に配置され、他の７つの外側ドット部Ｄｔ３１〜Ｄｔ３３，Ｄｔ３５〜Ｄｔ３８のそれぞれと異なる大きさを有して形成される。また、実施の形態１の変形例に係る外側ドット部Ｄｔ３４は、外側マーカＭｋ３のドット部としての機能を有するとともに、内側マーカＭｋ４の面５０ｄとしての機能を有して形成される。

内側マーカＭｋ４は、外側ドット部Ｄｔ３４をドット配置面の一例としての面５０ｄとして、面５０ｄと識別可能に形成された８つの内側ドット部Ｄｔ４１，Ｄｔ４２，Ｄｔ４３，Ｄｔ４４，Ｄｔ４５，Ｄｔ４６，Ｄｔ４７，Ｄｔ４８のそれぞれと、面５０ｄ上において面５０ｄと識別不可に、例えば面５０ｄと類似する色（輝度）を有して形成された１つの内側非ドット部Ｄｔ４０と、を有して形成される。なお、ここで面５０ｄと８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれとは、例えば異なる色（輝度）を有して形成されることにより識別可能となる。８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれおよび１つの内側非ドット部Ｄｔ４０のそれぞれの中心位置（座標）は、所定の間隔で３行３列の合計９つの配置箇所に正方形状に並んで配置される。１つの内側非ドット部Ｄｔ４０は、９つの配置箇所のうちいずれかの角部に配置されて、内側マーカＭｋ４の方向を示す。

ビジョンコントローラＶＣは、外側非ドット部Ｄｔ３０あるいは内側非ドット部Ｄｔ４０が配置された位置に基づいて、８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれあるいは８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれをナンバリングする。

実施の形態１の変形例に係るビジョンコントローラＶＣは、例えば、内側ドット部Ｄｔ４１をナンバー「１」の内側ドット部、内側ドット部Ｄｔ４２をナンバー「２」の内側ドット部、内側ドット部Ｄｔ４３をナンバー「３」の内側ドット部、内側ドット部Ｄｔ４４をナンバー「４」の内側ドット部、内側ドット部Ｄｔ４５をナンバー「５」の内側ドット部、内側ドット部Ｄｔ４６をナンバー「６」の内側ドット部、内側ドット部Ｄｔ４７をナンバー「７」の内側ドット部、内側ドット部Ｄｔ４８をナンバー「８」の内側ドット部とナンバリングする。同様に、ビジョンコントローラＶＣは、例えば、外側ドット部Ｄｔ３１をナンバー「９」の外側ドット部、外側ドット部Ｄｔ３２をナンバー「１０」の外側ドット部、外側ドット部Ｄｔ３３をナンバー「１１」の外側ドット部、外側ドット部Ｄｔ３４をナンバー「１２」の外側ドット部、外側ドット部Ｄｔ３５をナンバー「１３」の外側ドット部、外側ドット部Ｄｔ３６をナンバー「１４」の外側ドット部、外側ドット部Ｄｔ３７をナンバー「１５」の外側ドット部、外側ドット部Ｄｔ３８をナンバー「１６」の外側ドット部とナンバリングする。

なお、ナンバリング処理において、８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれおよび８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれのナンバーは上述のナンバーに限定されないことは言うまでもない。例えば、ビジョンコントローラＶＣは、８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれにナンバー「１」〜「８」とナンバリングし、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれにナンバー「９」〜「１６」とナンバリングしてよい。

ビジョンコントローラＶＣは、内側マーカＭｋ４が有する８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれと、外側マーカＭｋ３が有する８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれのうち少なくとも１つの外側ドット部をナンバリングすることで、例えばカメラＣ１が先に内側マーカＭｋ４を撮像し、撮像領域内に外側マーカＭｋ３の全領域あるいは８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれが映っていない場合であっても、外側マーカＭｋ３およびワークＷの位置を計測できる。つまり、ビジョンコントローラＶＣは、例えば駆動プログラムの実行中であって、ハンド部ＲＨがワークＷに近づく制御が実行されて外側マーカＭｋ３の全領域を撮像できなくなった場合であっても、内側マーカＭｋ４と外側マーカＭｋ３のうち少なくとも１つの外側ドット部を計測することにより現在のハンド部ＲＨの位置をより高精度に計測し、把握することができる。

図８を参照して、実施の形態１の変形例に係るロボットシステム１００におけるワークＷの位置計測手順例について説明する。図８は、実施の形態１の変形例に係るロボットシステム１００におけるワークＷの位置計測手順例を説明するシーケンス図である。なお、図８に示す位置計測手順例は、まず内側マーカＭｋ４の位置を計測する例について説明するが、これに限定されないことは言うまでもない。例えば、カメラＣ１によって撮像された撮像領域内に外側マーカＭｋ３および内側マーカＭｋ４が映る場合、先に外側マーカＭｋ３の位置計測を実行し、次に駆動プログラムの実行によりハンド部ＲＨがワークＷに近づく制御が実行されて外側マーカＭｋ３の全領域を撮像できなくなった場合に内側マーカＭｋ４の位置計測を実行してもよい。

実施の形態１の変形例に係るビジョンコントローラＶＣは、カメラＣ１によって撮像された撮像画像を受信する。ビジョンコントローラＶＣは、受信された撮像画像に画像処理を実行し、撮像画像から内側マーカＭｋ４を検出する（Ｓｔ１１）。

ビジョンコントローラＶＣは、検出された内側マーカＭｋ４から内側ドット部を検出する（Ｓｔ１２）。なお、ここで検出される内側ドット部の数は、８つでなく、１以上であればよい。また、ビジョンコントローラＶＣは、検出された内側ドット部についてナンバリング処理を実行する。

ビジョンコントローラＶＣは、検出された内側ドット部の大きさ（つまりピクセル数）とカメラＣ１の焦点距離とに基づいて、カメラＣ１と内側ドット部の中心との間の距離を算出する（Ｓｔ１３）。

ビジョンコントローラＶＣは、検出されたドット部の形状に基づいて、内側ドット部の中心位置（座標）を算出する（Ｓｔ１４）。

ビジョンコントローラＶＣは、撮像画像が撮像された時のカメラＣ１の焦点距離に基づいて、カメラ座標系ΣＣ１における内側ドット部の中心位置（座標）の３次元位置を計測する（Ｓｔ１５）。

ビジョンコントローラＶＣは、ナンバリング処理の結果に基づいて、内側マーカＭｋ４が有する８つの内側ドット部Ｄ４１〜Ｄｔ４８のそれぞれの３次元位置について計測を完了したか否かを判定する（Ｓｔ１６）。

ビジョンコントローラＶＣは、ステップＳｔ１６における判定処理において、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置について計測を完了していると判定した場合（Ｓｔ１６，ＹＥＳ）、撮像画像からさらに１以上の外側ドット部を検出する（Ｓｔ１７）。なお、ここで検出される外側ドット部の数は、８つでなく、１以上であればよい。また、ここでビジョンコントローラＶＣは、内側ドット部の配置に基づいて、検出された外側ドット部のナンバリング処理を実行する。

一方、ビジョンコントローラＶＣは、ステップＳｔ１６における判定処理において、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの中心位置（座標）の３次元位置について計測を完了していないと判定した場合（Ｓｔ１６，ＮＯ）、ステップＳｔ１２の処理に戻り、撮像画像から再度内側ドット部を検出する（Ｓｔ１２）。

ビジョンコントローラＶＣは、検出された外側ドット部の大きさ（つまりピクセル数）とカメラＣ１の焦点距離とに基づいて、カメラＣ１と外側ドット部の中心との間の距離を算出する（Ｓｔ１８）。

ビジョンコントローラＶＣは、検出された外側ドット部の形状に基づいて、外側ドット部の中心位置（座標）を算出する（Ｓｔ１９）。

ビジョンコントローラＶＣは、撮像画像が撮像された時のカメラＣ１の焦点距離に基づいて、カメラ座標系ΣＣ１における外側ドット部の中心位置（座標）の３次元位置を計測する（Ｓｔ２０）。

ビジョンコントローラＶＣは、外側ドット部におけるナンバリング処理の結果に基づいて、外側マーカＭｋ３が有する８つの外側ドット部Ｄ３１〜Ｄｔ３８のそれぞれのうち、同一ナンバーを有する外側ドット部が複数回計測されたか否かを判定する（Ｓｔ２１）。

ビジョンコントローラＶＣは、ステップＳｔ２１における判定処理において、同一ナンバーを有する外側ドット部が複数回計測されたと判定した場合（Ｓｔ２１，ＹＥＳ）、カメラ座標系ΣＣ１における８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置をマーカ座標系ΣＭｋ（ここでいうマーカ座標系ΣＭｋは、内側マーカＭｋ４におけるマーカ座標系を示す）における８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置に変換する。ビジョンコントローラＶＣは、変換されたマーカ座標系ΣＭｋにおける８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置および内側非ドット部Ｄｔ４０の位置（配置）に基づく内側マーカＭｋ４の方向を判定し、マーカ座標系ΣＭｋにおける内側マーカＭｋ４の３次元位置を計測する。また、ビジョンコントローラＶＣは、計測されたマーカ座標系ΣＭｋにおける内側マーカＭｋ４の３次元位置をカメラ座標系ΣＣ１における内側マーカＭｋ４の３次元位置に変換する。ビジョンコントローラＶＣは、変換されたカメラ座標系ΣＣ１における内側マーカＭｋ４の３次元位置とカメラＣ１の設置角度および設置位置とに基づいて、ワークＷの位置を計測する（Ｓｔ２２）。

一方、ビジョンコントローラＶＣは、ステップＳｔ２１における判定処理において、同一ナンバーを有する外側ドット部が複数回計測されていないと判定した場合（Ｓｔ２１，ＮＯ）、さらに外側マーカＭｋ３が有する８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれの３次元位置について計測を完了したか否かを判定する（Ｓｔ２３）。

ビジョンコントローラＶＣは、ステップＳｔ２３における判定処理において、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置について計測を完了していると判定した場合（Ｓｔ２３，ＹＥＳ）、カメラ座標系ΣＣ１における８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置をマーカ座標系ΣＭｋ（ここでいうマーカ座標系ΣＭｋは、内側マーカＭｋ４におけるマーカ座標系を示す）における８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれ３次元位置に変換する。ビジョンコントローラＶＣは、変換されたマーカ座標系ΣＭｋにおける８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置と、内側非ドット部Ｄｔ４０の位置（配置）に基づいて判定された内側マーカＭｋ４の方向とに基づいて、マーカ座標系ΣＭｋにおける内側マーカＭｋ４の３次元位置を計測する。また、ビジョンコントローラＶＣは、計測されたマーカ座標系ΣＭｋにおける内側マーカＭｋ４の３次元位置をカメラ座標系ΣＣ１における内側マーカＭｋ４の３次元位置に変換する。ビジョンコントローラＶＣは、変換されたカメラ座標系ΣＣ１における内側マーカＭｋ４の３次元位置とカメラＣ１の設置角度および設置位置とに基づいて、ワークＷの位置を計測する（Ｓｔ２２）。

一方、ビジョンコントローラＶＣは、ステップＳｔ２３における判定処理において、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの中心位置（座標）の３次元位置について計測を完了していないと判定した場合（Ｓｔ２３，ＮＯ）、ステップＳｔ１７の処理に戻り、撮像画像から再度外側ドット部を検出する（Ｓｔ１７）。

ビジョンコントローラＶＣは、計測されたワークＷの位置情報（例えばワークＷの方向、位置）を計測結果としてロボットコントローラＲＣに送信する（Ｓｔ２４）。

ロボットコントローラＲＣは、受信された計測結果としてのワークＷの位置情報に基づいて、ロボットアームＲＡおよびロボットアームＲＡに備えられたハンド部ＲＨを制御するための駆動プログラムを生成し、ロボットＲ１に送信する。ロボットコントローラＲＣは、この駆動プログラムに基づいてロボットアームＲＡあるいはハンド部ＲＨをワークＷあるいは内側マーカＭｋ４の位置に向けて駆動させ、所定の制御（例えばワークＷの把持、搬送など）を実行させる（Ｓｔ２５）。

よって、実施の形態１の変形例に係るロボットシステム１００は、カメラＣ１によって撮像された撮像画像に外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれが映っていない場合であっても、内側マーカＭｋ４が有する８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれに基づいて、外側マーカＭｋ３の位置を計測できる。これにより、実施の形態１の変形例に係るロボットシステム１００は、カメラＣ１を用いたワークＷの位置を高精度に計測でき、さらに計測された位置に基づいて、ロボットＲ１にワークＷの把持を実行させるための駆動プログラムを生成して出力することにより、ワークＷの的確な把持を支援できる。

以上により、実施の形態１の変形例に係るロボットシステム１００において用いられる外側マーカＭｋ３が備える外側ドット部Ｄｔ３４は、外側ドット部Ｄｔ３４上で３行３列状に並んで配置され、カメラＣ１の撮像画像上で外側ドット部Ｄｔ３４の輝度と異なる輝度の領域となる８つの内側ドット部Ｄｔ４１〜Ｄｔ４８と、内側ドット部Ｄｔ４１〜Ｄｔ４８と同等の大きさを有し、カメラＣ１の撮像画像上で中央に配置された外側ドット部Ｄｔ３４の輝度と輝度が同一の領域となる１つの内側非ドット部Ｄｔ４０と、を備える。内側非ドット部Ｄｔ４０は、３行３列状の配置の角部に配置される。

これにより、実施の形態１の変形例に係るロボットシステム１００は、カメラＣ１によって撮像された撮像画像に外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれが映っていない場合であっても、内側マーカＭｋ４が有する８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれに基づいて、外側マーカＭｋ３の位置を計測できる。

以上により、実施の形態１の変形例に係るロボットシステム１００は、外側マーカＭｋ３を撮像するカメラＣ１と、ワークＷを把持可能なロボットアームＲＡを有するロボットＲ１を制御するコントローラＣＯＭとを通信可能に有するロボットシステムである。カメラＣ１は、ロボットアームＲＡの先端に取り付けられ、ワークＷ上に配置された外側マーカＭｋ３を撮像した撮像画像をコントローラＣＯＭに送信する。コントローラＣＯＭは、受信された撮像画像から１以上の内側ドット部を検出し、検出された内側ドット部の大きさとカメラＣ１から内側ドット部の中心までの間の距離と撮像画像上の内側ドット部の中心位置とに基づいて、内側ドット部の３次元位置を計測し、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれについて３次元位置を計測した場合、さらに受信された撮像画像から１以上の外側ドット部を検出し、検出された外側ドット部の大きさとカメラＣ１から外側ドット部の中心までの間の距離と撮像画像上の外側ドット部の中心位置とに基づいて、外側ドット部の３次元位置を計測し、同一のナンバーまたはＩＤを有する外側ドット部の３次元位置の計測を複数回実行した場合、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの３次元位置とカメラＣ１の取付位置とに基づいてロボットＲ１にワークＷを把持するための制御信号を生成して、ロボットＲ１に出力する。

以上により、実施の形態１の変形例に係るロボットシステム１００は、カメラＣ１によって撮像された撮像画像に８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のすべてが映っていない場合であっても、内側マーカＭｋ４が有する８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれと、外側マーカＭｋ３が有する８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれのうち少なくとも１つの外側ドット部とに基づいて、外側マーカＭｋ３の位置を計測できる。ここで、ロボットシステム１００は、内側マーカＭｋ４上の８箇所（つまり内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの位置）の３次元位置だけでなく、さらに外側マーカＭｋ３上の少なくとも１箇所（つまり外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれのうち１つのドット部の位置）の３次元位置に基づいて、内側マーカＭｋ４、外側マーカＭｋ３およびワークＷの位置を計測できるため、計測精度を向上できる。

さらに、ビジョンコントローラＶＣは、例えば駆動プログラムの実行中であって、ハンド部ＲＨがワークＷに近づく制御が実行されて外側マーカＭｋ３の全領域あるいは８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれを撮像できなくなった場合であっても、内側マーカＭｋ４と外側マーカＭｋ３のうち少なくとも１つの外側ドット部を計測することにより、現在のカメラＣ１の位置を高精度に計測できる。つまり、ロボットシステム１００は、カメラＣ１の位置に基づくハンド部ＲＨの位置をより高精度に計測可能となり、これら計測されたハンド部ＲＨの位置およびワークＷの位置によってワークＷの的確な把持を支援できる。

また、実施の形態１の変形例に係るロボットシステム１００におけるコントローラＣＯＭは、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれについて３次元位置の計測が終了するまで、８つの内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれについて３次元位置の再計測を繰り返す。これにより、実施の形態１の変形例に係るロボットシステム１００は、内側マーカＭｋ４上の８箇所（つまり内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの位置）の３次元位置に基づいて、内側マーカＭｋ４、外側マーカＭｋ３およびワークＷの位置を計測できるため、計測精度を向上できる。

また、実施の形態１の変形例に係るロボットシステム１００におけるコントローラＣＯＭは、ドット部の３次元位置の計測を複数回実行しておらず、かつ８つの外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれについて３次元位置を計測した場合、制御信号を生成してロボットに出力する。これにより、実施の形態１の変形例に係るロボットシステム１００は、内側マーカＭｋ４上の８箇所（つまり内側ドット部Ｄｔ４１〜Ｄｔ４８のそれぞれの位置）の３次元位置だけでなく、さらに外側マーカＭｋ３上の８箇所（つまり外側ドット部Ｄｔ３１〜Ｄｔ３８のそれぞれの位置）の３次元位置に基づいて、内側マーカＭｋ４、外側マーカＭｋ３およびワークＷの位置を計測できるため、計測精度を向上できる。

また、実施の形態１の変形例に係るロボットシステム１００におけるコントローラＣＯＭは、内側非ドット部Ｄｔ４０の位置に基づいて内側マーカＭｋ４の方向を判定する。これにより、実施の形態１の変形例に係るロボットシステム１００は、容易に内側マーカＭｋ４、外側マーカＭｋ３およびワークＷの方向を判定できる。また、コントローラＣＯＭは、非ドット部Ｄｔ１０の位置に基づいて、８つのドット部Ｄｔ１１〜Ｄｔ１８のそれぞれのナンバリング処理をより容易に効率的に実行できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、単眼カメラを用いたワークの位置の高精度な計測およびワークの的確な把持を支援するマーカおよびロボットシステムの提示として有用である。

１０，２０，３０ 通信部
１１，２１，３１ プロセッサ
１２，２２，３２ メモリ
１３ 撮像部
４０ ケーブル
１００ ロボットシステム
Ｃ１ カメラ
ＣＯＭ コントローラ
Ｄｔ１０ 非ドット部
Ｄｔ１１，Ｄｔ１２，Ｄｔ１３，Ｄｔ１４，Ｄｔ１５，Ｄｔ１６，Ｄｔ１７，Ｄｔ１８ ドット部
Ｄｔ４０ 内側非ドット部
Ｄｔ４１，Ｄｔ４２，Ｄｔ４３，Ｄｔ４４，Ｄｔ４５，Ｄｔ４６，Ｄｔ４７，Ｄｔ４８ 内側ドット部
ＲＣ ロボットコントローラ
Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６ 軸
Ｍｋ マーカ
ＳＴ ストレージ
ＶＣ ビジョンコントローラ
Ｗ ワーク

Claims (11)

1. ワーク上に配置され、ロボットシステムを構成する単眼カメラにより撮像されるマーカであって、
   正方形状のドット配置面と、
   前記ドット配置面上で３行３列状に並んで配置され、前記単眼カメラの撮像画像上で周囲に比べて識別可能な輝度を有する８つのドット部と、
   前記ドット部と同等の大きさを有し、前記単眼カメラの撮像画像上で前記周囲とに比べて識別可能な輝度を有さない１つの非ドット部と、を備え、
   前記非ドット部は、前記３行３列状のいずれか角部に配置される、
   マーカ。
2. 前記８つのドット部のうち前記３行３列状の中央に配置される中央ドット部は、他の７つの前記ドット部に比べて大きな面積を有する、
   請求項１に記載のマーカ。
3. 前記中央ドット部は、
   前記中央ドット部の内側で前記３行３列状に並んで配置され、前記単眼カメラの撮像画像上で前記中央ドット部内の輝度に比べて識別可能な輝度を有する８つの内側ドット部と、
   前記内側ドット部と同等の大きさを有し、前記単眼カメラの撮像画像上で前記中央ドット部の輝度に比べて識別可能な輝度を有さない１つの内側非ドット部と、を備え、
   前記内側非ドット部は、前記３行３列状のいずれか角部に配置される、
   請求項２に記載のマーカ。
4. 請求項１〜３のいずれか１項に記載のマーカを撮像する単眼カメラと、前記ワークを把持可能なロボットアームを有するロボットを制御するコントローラとを通信可能に有するロボットシステムであって、
   前記単眼カメラは、
   前記ロボットアームの先端に取り付けられ、前記ワーク上に配置された前記マーカを撮像した前記撮像画像を前記コントローラに送信し、
   前記コントローラは、
   受信された前記撮像画像から１以上の前記ドット部を検出し、
   検出された前記ドット部の大きさと前記単眼カメラから前記ドット部の中心までの間の距離と前記撮像画像上の前記ドット部の中心位置とに基づいて、前記ドット部の３次元位置を計測し、
   前記８つのドット部のそれぞれについて前記３次元位置を計測した場合、前記８つのドット部のそれぞれの前記３次元位置と前記単眼カメラの取付位置とに基づいて前記ロボットに前記ワークを把持するための制御信号を生成して、前記ロボットに出力する、
   ロボットシステム。
5. 前記コントローラは、
   前記８つのドット部のそれぞれについて前記３次元位置の計測が終了するまで、前記３次元位置の再計測を繰り返す、
   請求項４に記載のロボットシステム。
6. 前記コントローラは、前記非ドット部の位置に基づいて前記マーカの方向を判定する、
   請求項４に記載のロボットシステム。
7. 請求項３に記載のマーカを撮像する単眼カメラと、前記ワークを把持可能なロボットアームを有するロボットを制御するコントローラとを通信可能に有するロボットシステムであって、
   前記単眼カメラは、
   前記ロボットアームの先端に取り付けられ、前記ワーク上に配置された前記マーカを撮像した前記撮像画像を前記コントローラに送信し、
   前記コントローラは、
   受信された前記撮像画像から１以上の前記内側ドット部を検出し、
   検出された前記内側ドット部の大きさと前記単眼カメラから前記内側ドット部の中心までの間の距離と前記撮像画像上の前記内側ドット部の中心位置とに基づいて、前記内側ドット部の３次元位置を計測し、
   前記８つの内側ドット部のそれぞれについて前記３次元位置を計測した場合、さらに受信された前記撮像画像から１以上の前記ドット部を検出し、
   検出された前記ドット部の大きさと前記単眼カメラから前記ドット部の中心までの間の距離と前記撮像画像上の前記ドット部の中心位置とに基づいて、前記ドット部の３次元位置を計測し、
   前記ドット部の前記３次元位置の計測を複数回実行した場合、前記８つの内側ドット部のそれぞれの前記３次元位置と前記単眼カメラの取付位置とに基づいて前記ロボットに前記ワークを把持するための制御信号を生成して、前記ロボットに出力する、
   ロボットシステム。
8. 前記コントローラは、
   前記８つの内側ドット部のそれぞれについて前記３次元位置の計測が終了するまで、前記８つの内側ドット部のそれぞれについて前記３次元位置の再計測を繰り返す、
   請求項７に記載のロボットシステム。
9. 前記コントローラは、
   前記ドット部の前記３次元位置の計測を複数回実行しておらず、かつ前記８つのドット部のそれぞれについて前記３次元位置を計測した場合、前記制御信号を生成して前記ロボットに出力する、
   請求項７に記載のロボットシステム。
10. 前記単眼カメラは、
    前記ロボットアームの先端に前記ロボットアームの軸から所定の角度だけ傾いて取り付けられる、
    請求項４または７に記載のロボットシステム。
11. 前記コントローラは、前記内側非ドット部の位置に基づいて前記マーカの方向を判定する、
    請求項７に記載のロボットシステム。

Images