JP2019195885A - 制御装置およびロボットシステム - Google Patents

Abstract

【課題】容易にキャリブレーションを行うことができる制御装置およびロボットシステムを提供すること。【解決手段】撮像部からの撮像画像および力検出部からの力検出情報に基づいて、ロボットを制御する制御装置であって、ロボットアームおよび前記ロボットアームに設けられたマーカー形成部を有するロボットを制御する制御部を備え、前記制御部は、前記力検出情報に基づいて、前記マーカー形成部によって基準面にマーカーを形成させ、前記ロボットの座標系において前記マーカーを形成させたときの前記ロボットアームの所定部位の位置と、前記撮像部の座標系において前記マーカーを含む前記撮像画像における前記マーカーの位置と、に基づいて、前記ロボットの座標系と前記撮像部の座標系との対応付けを行う、ことを特徴とする制御装置。【選択図】図１

Description

本発明は、制御装置およびロボットシステムに関する。

従来から、作業台上に載置された作業対象物に対して作業を行うロボットアームを有するロボットと、作業対象物を撮像可能に固定された固定カメラと、を有するロボットシステムが知られている。このようなロボットシステムでは、固定カメラで撮像した画像を基にして、実空間内においてロボットに各種作業を行わせることができる。ただし、そのためには、固定カメラで撮像した画像の画像座標系と、ロボットの制御の基準となるロボット座標系とのキャリブレーション（対応付け）が必要である。

キャリブレーション方法としては、従来から様々な方法が提案されている。例えば、特許文献１には、作業台上に配置されたキャリブレーション治具が有するマーカー（基準点）にロボットでタッチアップすることによりマーカーのロボット座標系での位置情報を取得する処理と、キャリブレーション治具が有するマーカー（参照点）の位置を固定カメラで検出してマーカーの画像座標系での位置情報を取得する処理と、を行い、これら２つの位置情報を結びつけることで固定カメラとロボットとの間のキャリブレーションを行う方法が開示されている。

特開平８−２１０８１６号公報

しかしながら、キャリブレーションする度に、作業者がキャリブレーション治具を作業台に設置しなければならず、手間がかかるという課題がある。

本発明は、上記課題の少なくとも一つを解決するためになされたものであり、以下により実現することが可能である。

本適用例の制御装置は、撮像部からの撮像画像および力検出部からの力検出情報に基づいて、ロボットを制御する制御装置であって、
ロボットアームおよび前記ロボットアームに設けられたマーカー形成部を有するロボットを制御する制御部
を備え、
前記制御部は、
前記力検出情報に基づいて、前記マーカー形成部によって基準面にマーカーを形成させ、
前記ロボットの座標系において前記マーカーを形成させたときの前記ロボットアームの所定部位の位置と、前記撮像部の座標系において前記マーカーを含む前記撮像画像における前記マーカーの位置と、に基づいて、前記ロボットの座標系と前記撮像部の座標系との対応付けを行う。

第１実施形態に係るロボットシステムを示す図である。 図１に示すロボットの概略図である。 作業部を備えるロボットを有するロボットシステムを示す図である。 図１ないし図３に示すロボットシステムを示すブロック図である。 制御装置のハードウエア構成を示すブロック図である。 制御装置によるロボットの制御方法を示すフロー図である。 キャリブレーションの流れを示すフロー図である。 マーカー形成の流れを示すフロー図である。 ステップＳ１１を説明するための図である。 ステップＳ１１を説明するための図である。 ステップＳ１３を説明するための図である。 ステップＳ１４での撮像画像を示す図である。 第２実施形態に係るロボットシステムを示す概略図である。 図１３に示すロボットシステムを示すブロック図である。 マーカー形成の流れを示すフロー図である。 ステップＳ１１を説明するための図である。 ステップＳ１１を説明するための図である。 ステップＳ１４での撮像画像を示す図である。 第３実施形態に係るロボットシステムを示す概略図である。 図１９に示すロボットシステムを示すブロック図である。 マーカー形成の流れを示すフロー図である。 第４実施形態に係るロボットシステムを示す概略図である。 図２２に示すロボットシステムを示すブロック図である。 第５実施形態におけるキャリブレーションの流れを示すフロー図である。 ステップＳ２１を説明するための図である。 ステップＳ２１を説明するための図である。 ステップＳ２２を説明するための図である。 ステップＳ１４での撮像画像を示す図である。 ステップＳ１４での撮像画像の他の例を示す図である。 ロボットシステムの他の例を示すブロック図である。 ロボットシステムの他の例を示すブロック図である。

以下、本発明の制御装置およびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。

［第１実施形態］
図１は、第１実施形態に係るロボットシステムを示す図である。図２は、図１に示すロボットの概略図である。図３は、作業部を備えるロボットを有するロボットシステムを示す図である。図４は、図１ないし図３に示すロボットシステムを示すブロック図である。図５は、制御装置のハードウエア構成を示すブロック図である。なお、図１では、互いに直交する３軸（Ｘ軸、Ｙ軸およびＺ軸）を図示している。また、以下では、Ｘ軸に平行な方向を「Ｘ軸方向」とも言い、Ｙ軸に平行な方向を「Ｙ軸方向」とも言い、Ｚ軸に平行な方向を「Ｚ軸方向」とも言う。また、以下では、図示された各矢印の先端側を「＋（プラス）」、基端側を「−（マイナス）」と言う。また、Ｚ軸方向は「鉛直方向」と一致しており、Ｘ−Ｙ平面に平行な方向は「水平方向」と一致している。また、Ｚ軸の＋（プラス）側を「上方」とし、Ｚ軸の−（マイナス）側を「下方」とする。なお、図２および後述する図９においても力検出部１２０の図示を省略している。

また、本明細書において、「水平」とは、水平に対して±１０°以下の範囲内で傾斜している場合も含む。同様に、「鉛直」とは、鉛直に対して±１０°以下の範囲内で傾斜している場合も含む。また、「平行」とは、２つの線（軸を含む）または面が、互いに完全な平行である場合のみならず、±１０°以内で傾斜している場合も含む。また、「直交」とは、２つの線（軸を含む）または面が、互いに９０°の角度で交わる場合のみならず、９０°に対し±１０°以内で傾斜している場合も含む。また、本明細書において、「接続」とは、直接的に接続されている場合と、任意の部材を介して間接的に接続されている場合とを含む。

≪ロボットシステム≫
図１に示すロボットシステム１００は、例えば、電子部品等の作業対象物９１の保持、搬送および組立て等の作業で用いることができる。このロボットシステム１００は、ロボット１と、ロボット１の駆動を制御する制御装置５と、ロボット１に設けられた力検出部１２０と、を有する。また、ロボットシステム１００には、図４に示すように、撮像機能を有する撮像部３と、モニターを有する表示装置４０１と、例えばマウスやキーボード等で構成された入力装置４０２（操作機器）と、がそれぞれ通信可能に接続されている。

〈ロボット〉
図１および図２に示すように、ロボット１は、いわゆる６軸の垂直多関節ロボットであり、基台１１０と、基台１１０に接続されたロボットアーム１０と、を有する。

基台１１０は、ロボット１を任意の設置箇所に取り付ける部分である。本実施形態では、基台１１０は、例えば床等の設置箇所７０に設置されている。なお、基台１１０の設置箇所は、床等の設置箇所７０に限定されず、例えば、壁、天井、移動可能な台車上等であってもよい。

図１および図２に示すように、ロボットアーム１０は、アーム１１（第１アーム）、アーム１２（第２アーム）、アーム１３（第３アーム）、アーム１４（第４アーム）、アーム１５（第５アーム）、およびアーム１６（第６アーム、先端アーム）を有する。これらアーム１１〜１６は、基端側から先端側に向かってこの順に連結されている。各アーム１１〜１６は、隣り合うアームまたは基台１１０に対して回動可能になっている。例えば、アーム１６は、図１に示すように円盤状をなし、アーム１５に対して回動軸Ｏ６周りに回動可能になっている。

なお、本実施形態では、図２に示すように、アーム１６の先端面の中心を所定点Ｐ６（所定部位）という。

このようなロボットアーム１０の先端には、図１に示すように、後述する力検出部１２０を介して、スタンプ１９（マーカー形成部）が着脱可能に取り付けられている。スタンプ１９は、作業台７１の作業面７１０（基準面）にマーカー１９０を形成するマーカー形成部である（図９参照）。マーカー１９０は、文字や図形等のマークで構成された目印である。本実施形態では、スタンプ１９は、先端面に円形のマークが彫刻された部品である。このようなスタンプ１９は、先端面にインク等の着色剤が付与された後、作業面７１０に押圧されることにより、その円形の印影をマーカー１９０として作業面７１０に残すことができる。また、作業台７１は、例えば作業対象物９１を載置可能な台であり、作業台７１（特に作業面７１０）は、マーカー１９０を形成可能な材料、例えば、紙、木材、樹脂または金属等を含んで構成されている。

なお、本実施形態では、スタンプ１９の先端中心をツールセンターポイントＰ９という。また、本実施形態では、ツールセンターポイントＰ９および前述した所定点Ｐ６が、それぞれ前述した回動軸Ｏ６上に位置している。

また、ロボットアーム１０には、スタンプ１９に代えて、作業対象物９１を把持するハンド１７（作業部）を取り付けることができる（図３参照）。すなわち、ロボットアーム１０は、スタンプ１９とハンド１７とを相互に交換して設けることが可能なように構成されている。かかる構成としては、例えば、ネジ止め、ボルト止め等でスタンプ１９またはハンド１７を装着可能な雌ネジまたは雄ネジを有する構成、あるいは、フック、Ｌ字溝のような係合部を有する構成等が挙げられる。これらの構成により、スタンプ１９またはハンド１７を適切な位置に簡単に取り付けることができ、また、これらの相互の交換が容易である。また、ハンド１７は、例えば、金属材料を含んで構成されている。

なお、本実施形態では、ハンド１７の先端中心（２つの指の間の中心）をツールセンターポイントＰ７という。また、本実施形態では、ツールセンターポイントＰ７および前述した所定点Ｐ６が、それぞれ前述した回動軸Ｏ６上に位置している。

図４に示すように、ロボット１は、一方のアームを他方のアーム（または基台１１０）に対して回動させるモーターおよび減速機等を備える駆動部１３０を有する。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。また、ロボット１は、モーターまたは減速機の回転軸の回転角度を検出する位置センサー１４０（角度センサー）を有する。位置センサー１４０は、例えばロータリーエンコーダー等を用いることができる。また、駆動部１３０および位置センサー１４０は、例えば各アーム１１〜１６に設けられており、本実施形態では、ロボット１は、６つの駆動部１３０および６つの位置センサー１４０を有する。また、各駆動部１３０は、例えばロボット１に内蔵されたモータードライバー（図示せず）を介して制御装置５に電気的に接続されている。また、各位置センサー１４０も制御装置５に電気的に接続されている。

このようなロボット１には、ロボット１の基台１１０を基準としたベース座標系（ロボットの座標系）が設定されている。ベース座標系は、水平方向に対してそれぞれ平行で互いに直交するＸ軸およびＹ軸と、水平方向に対して直交し鉛直上向きを正方向とするＺ軸と、によって定まる３次元の直交座標系である。本実施形態に係るベース座標系では、基台１１０の上端面の中心点を原点としている。Ｘ軸に対する並進成分を「成分Ｘ」とし、Ｙ軸に対する並進成分を「成分Ｙ」とし、Ｚ軸に対する並進成分を「成分Ｚ」とする。成分Ｘ、成分Ｙおよび成分Ｚの長さ（大きさ）の単位は「ｍｍ」である。

また、ロボット１には、前述したアーム１６の所定点Ｐ６を原点とした先端座標系が設定されている。先端座標系は、互いに直交するＸａ軸とＹａ軸とＺａ軸とによって定まる３次元の直交座標系である（図２参照）。Ｘａ軸およびＹａ軸は、それぞれ回動軸Ｏ６に対して直交している。また、Ｘａ軸に対する並進成分を「成分Ｘａ」とし、Ｙａ軸に対する並進成分を「成分Ｙａ」とする。成分Ｘａおよび成分Ｙａの長さ（大きさ）の単位は「ｍｍ」である。また、本実施形態では、前述したベース座標系と先端座標系とのキャリブレーションは済んでおり、ベース座標系での座標から先端座標系での座標を計算から求めることができる状態である。なお、本実施形態では、前述したベース座標系を「ロボットの座標系」として捉えているが、先端座標系を「ロボットの座標系」として捉えてもよい。また、以下の説明では、このようなロボットの座標系を指して「ロボット座標系」ともいう。

以上、ロボット１の構成について簡単に説明した。なお、本実施形態では、前述したように、「作業部」がハンド１７である場合を例に説明したが、「作業部」は、作業面７１０に対してマーカー１９０を形成する作業以外の何らかの作業を行うものであれば、特に限定されず、いかなるものであってもよい。具体的には、「作業部」は、例えば吸着機構を備えた機器（図示せず）や、ネジ止め等を行う機器等であってもよい。

〈撮像部〉
図１および図２に示すように、撮像部３は、設置箇所７０の鉛直上方に位置し、作業台７１の作業面７１０を撮像できるように設置されている。なお、本実施形態では、作業面７１０がＸ−Ｙ平面である。

撮像部３は、図示はしないが、例えば、複数の画素を有するＣＣＤ（Charge Coupled Device）イメージセンサーで構成された撮像素子と、レンズを含む光学系と、を有する。この撮像部３は、撮像対象等からの光をレンズによって撮像素子の受光面で結像させ、光を電気信号に変換し、その電気信号を制御装置５へと出力する。なお、撮像部３は、撮像機能を有する構成であれば、前述の構成に限定されず他の構成であってもよい。

このような撮像部３には、撮像部３から出力される撮像画像３０に基づく画像座標系（撮像部の座標系）が設定されている（図１２参照）。この画像座標系は、撮像画像３０の面内方向に対してそれぞれ平行なＵ軸とＶ軸とによって定まる２次元の直交座標系である。また、本実施形態では、Ｕ軸に対する並進成分を「成分Ｕ」とし、Ｖ軸に対する並進成分を「成分Ｖ」とする。成分Ｕおよび成分Ｖの長さ（大きさ）の単位は「ピクセル」である。なお、画像座標系は、撮像部３のカメラ視野に写る３次元直交座標を、レンズの光学特性（焦点距離、歪みなど）と撮像素子の画素数および大きさとを加味して非線形変換した２次元の直交座標系である。

〈力検出部〉
図１および図３に示す力検出部１２０は、ロボット１に設けられている。これにより、スタンプ１９やハンド１７に付与された力（モーメントを含む）を検出することができる。例えば、スタンプ１９やハンド１７が作業面７１０に接触したとき、スタンプ１９やハンド１７が作業面７１０から受ける力を検出することができる。このため、例えばスタンプ１９が作業面７１０を適度な力で押圧しているか否かを把握することができる。

また、図１および図３では、ロボットアーム１０とスタンプ１９またはハンド１７との間に力検出部１２０が介挿されている。このため、スタンプ１９やハンド１７に付与された力をより精度よく検出することができる。

このような力検出部１２０としては、６軸力覚センサーや３軸力覚センサーのような力覚センサーが好ましく用いられる。力覚センサーでは、力を精度よく検出することができる。また、力の大きさおよび向きを検出することもできるので、例えば、スタンプ１９やハンド１７が作業台７１に対してどのような姿勢で接触しているのかを、精度よく把握することが可能になる。

なお、力検出部１２０としては、この他に、例えば、駆動部１３０が備えるモーターの過電流を検知し、間接的に力を検出する電流検出器、スタンプ１９やハンド１７に物体等が接触したことを検出する接触センサー等が用いられてもよい。

力検出部１２０は、検出した力を電気信号に変換し、その電気信号を制御装置５へと出力する（図４参照）。

〈制御装置〉
図４に示すように、制御装置５は、ロボット１の駆動を制御する機能を有し、ロボット１および撮像部３に対して通信可能に接続されている。なお、制御装置５と、ロボット１および撮像部３との間は、それぞれ、有線で接続されていてもよいし、無線で接続されていてもよい。また、制御装置５には、モニター（図示せず）を備える表示装置４０１と、例えばキーボード等で構成された入力装置４０２とが接続されている。

図４に示すように、制御装置５は、プロセッサーを備える制御部５１と、メモリー等を備える記憶部５２と、外部インターフェース（Ｉ／Ｆ）を備える外部入出力部５３と、を含む。制御装置５の各構成要素は、種々のバスを介して相互通信可能に接続されている。

制御部５１（プロセッサー）は、ＣＰＵ（Central Processing Unit）等のプロセッサーを備え、記憶部５２（メモリー）に記憶された各種プログラム等を実行する。これにより、ロボット１の駆動の制御や各種演算および判断等の処理を実現できる。

記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２には、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。

各種プログラムとしては、ロボット１の駆動に関するロボット駆動指令、画像座標系とロボット座標系（本実施形態ではベース座標系）との対応付けに関する画像座標変換指令、および、先端座標系とベース座標系との対応付けに関するロボット座標変換指令等が挙げられる。

画像座標変換指令は、画像座標系における座標である画像座標（Ｕ，Ｖ：位置）を、ロボット座標系における座標であるロボット座標（Ｘ，Ｙ：位置）や先端座標系における座標である先端座標（Ｘａ，Ｙａ：位置）に変換するための座標変換式を求める指令である。この画像座標変換指令を実行することにより、画像座標系とロボット座標系（または先端座標系）との対応付け（キャリブレーション）を行うことができる。

各種データとしては、例えば、ロボット１が有する複数の位置センサー１４０から出力されたデータ、および、撮像部３から出力された撮像画像３０に関するデータ等が挙げられる。また、各種データとしては、撮像部３の画素数等のデータや、後述するキャリブレーションの実行時におけるロボット１の速度、加速度（より具体的には、例えばスタンプ１９の移動速度、移動加速度）に関するデータ等が挙げられる。

なお、制御部５１は、記憶部５２に記憶されたプログラムを実行することで、Ｕ−Ｖ平面の法線周りの回転成分（画像座標系での姿勢）を、Ｘ−Ｙ平面の法線周りの回転成分（ロボット座標系での姿勢）やＸａ−Ｙａ平面の法線周りの回転成分（先端座標系での姿勢）に変換することも可能である。例えば、撮像画像３０で撮像した作業対象物９１（またはマーカー１９０）等と、予め登録した対象の外形形状のモデル（テンプレート）とを比較して、当該モデルに対する作業対象物９１の回転角度の値を取得する。これにより、画像座標系での作業対象物９１の姿勢を求めることが可能である。また、画像座標系とロボット座標系（または先端座標系）との対応付けを基に、ロボット座標系での作業対象物９１の姿勢（または先端座標系での作業対象物９１の姿勢）を求めることができる。

外部入出力部５３は、外部インターフェース（Ｉ／Ｆ）を備え、ロボット１、撮像部３、表示装置４０１および入力装置４０２の各接続のために用いられる。また、外部入出力部５３は、撮像部３からの撮像画像３０に関する画像情報（データ）を受け付ける「受付部」として機能する。さらに、外部入出力部５３は、力検出部１２０からの力検出情報（データ）を受け付ける「受付部」として機能する。そして、制御部５１は、力検出部１２０からの力検出情報に基づいて、例えばスタンプ１９（マーカー形成部）と作業台７１（マーカー被形成物）との接触を検出する。

このような制御装置５は、例えば、図５に示すようにロボット１と通信可能に接続されたコントローラー６１と、コントローラー６１に通信可能に接続されたコンピューター６２とを含んで構成されている。なお、制御装置５は、コントローラー６１で構成されていてもよい。ロボット１の駆動の制御は、コントローラー６１にあるプロセッサーによりメモリーにある指令（プログラムやデータ）を読み出して実行されてもよいし、コンピューター６２に存在するプロセッサーによりメモリーにある指令を読み出してコントローラー６１を介して実行されてもよい。

なお、制御装置５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２（メモリー）に保存されている各種プログラムやデータ等は、予め記憶部５２に記憶されたものであってもよいし、記憶部５２に代えて例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈表示装置および入力装置〉
図４に示す表示装置４０１は、モニターを備えており、各種画面等を表示する機能を有する。したがって、作業者は、表示装置４０１を介して撮像部３から出力された撮像画像３０およびロボット１の駆動状態等を確認することができる。

入力装置４０２は、例えばキーボード等を備えている。したがって、作業者は、入力装置４０２を操作することで、制御装置５に対して各種処理等の指示を行うことができる。なお、図示はしないが、入力装置４０２は、例えばティーチングペンダント等を備えていてもよい。

また、表示装置４０１および入力装置４０２の代わりに、表示装置４０１および入力装置４０２の機能を兼ね備えた表示入力装置（図示せず）を用いてもよい。表示入力装置としては、例えばタッチパネルディスプレイ等を用いることができる。また、ロボットシステム１００は、表示装置４０１および入力装置４０２をそれぞれ１つ有していてもよいし、複数有していてもよい。

以上、ロボットシステム１００の基本的な構成について簡単に説明した。かかるロボットシステム１００は、前述したように、制御装置５と、制御装置５により制御されるロボット１と、力検出部１２０と、を有する。そして、制御装置５は後述する制御を実行する。

このようなロボットシステム１００によれば、後述する制御装置５による制御を実行できるので、キャリブレーションを容易にかつ精度よく行うことができる。また、そのキャリブレーション結果を用いて行うロボット１の作業対象物９１に対する作業をより的確に、また迅速かつ正確に行うことができる。

≪制御方法≫
図６は、制御装置によるロボットの制御方法を示すフロー図である。

図６に示すように、制御装置５によるロボット１の制御方法は、キャリブレーション（ステップＳ１０）の工程と、キャリブレーションの結果を基にしたロボット１による作業（ステップＳ２０）の工程と、を有する。

ロボット１による作業（ステップＳ２０）の具体的な作業内容は、ハンド１７（作業部）で作業対象物９１に対して作業を行う内容であれば特に限定されないが、例えば、ハンド１７で載置台７２に載置された作業対象物９１を把持し、作業台７１上に作業対象物９１を搬送して載置する作業が挙げられる（図３参照）。なお、ロボット１による作業（ステップＳ２０）の具体的な作業内容は特に限定されないため、以下では、その説明を省略し、キャリブレーション（ステップＳ１０）について説明する。

〈キャリブレーション〉
図７は、キャリブレーションの流れを示すフロー図である。図８は、マーカー形成の流れを示すフロー図である。図９および図１０は、それぞれ、ステップＳ１１を説明するための図である。図１１は、ステップＳ１３を説明するための図である。図１２は、ステップＳ１４での撮像画像を示す図である。

キャリブレーション（ステップＳ１０）では、撮像部３の画像座標系とロボット１のロボット座標系とのキャリブレーション（対応付け）を行う。具体的には、撮像部３から出力された撮像画像３０のデータを基にしてロボット１に各種作業を行わせるために、画像座標系における座標（画像座標）をロボット座標系における座標（ロボット座標）に変換する座標変換式（座標変換行列）を求める。つまり、この座標変換式を求めて、画像座標からロボット座標を算出し得る状態にすることが、画像座標系とロボット座標系との「対応付け」に相当する。

本実施形態では、図１に示すスタンプ１９を用いてキャリブレーションを行う。なお、スタンプ１９は、マーカー１９０を形成するための部品であり、作業対象物９１を保持する機能を有さない。また、本実施形態では、前述したように、ツールセンターポイントＰ９および所定点Ｐ６がそれぞれ回動軸Ｏ６上に位置しており、所定点Ｐ６に対するツールセンターポイントＰ９の位置の設定（Ｘ軸、Ｙ軸およびＺ軸のツール設定）、すなわち所定点Ｐ６とツールセンターポイントＰ９との対応付けが済んでおり、所定点Ｐ６に対するツールセンターポイントＰ９の座標を計算から求めることができる状態にある。

以下、図７に示すフロー図を参照しつつ、キャリブレーションについて説明する。なお、このキャリブレーションは、作業者による入力装置４０２を用いて行った指示に応じて、制御部５１が記憶部５２に記憶されたプログラムを実行することにより行われる。

まず、制御部５１は、図９に示すようにスタンプ１９を撮像部３の視野内すなわち撮像領域Ｓ３内に位置させ、図１０に示すように作業台７１の作業面７１０に、例えば円形のマーカー１９０を形成する（ステップＳ１１）。

以下、図８に示すフロー図を参照しつつ、ステップＳ１１についてさらに詳述する。
図８に示すように、マーカー１９０の形成は、スタンプ１９を作業面７１０に接触させる（ステップＳ１１１）工程と、力検出部１２０に加わる力を検出する（ステップＳ１１２）工程と、検出した力が閾値に達したか否かを判断する（ステップＳ１１３）工程と、検出した力が閾値に達していない場合、スタンプ１９が作業面７１０を押圧する力を増加させる（ステップＳ１１４）工程と、検出した力が閾値に達している場合、スタンプ１９を作業面７１０から離す（ステップＳ１１５）工程と、を有する。以下、各工程について順次説明する。

まず、ロボットアーム１０を駆動させて、図９に示すようにスタンプ１９を撮像部３の視野内すなわち撮像領域Ｓ３内に位置させる。そして、作業台７１の作業面７１０にスタンプ１９を接触させる（ステップＳ１１１）。ロボットアーム１０の駆動は、例えばジョグ動作により行う。ジョグ動作とは、例えばティーチングペンダント等の入力装置４０２を用いた作業者による誘導の指示に基づくロボット１の動作である。

次に、力検出部１２０により、スタンプ１９が作業面７１０から受ける力（反力）を検出する（ステップＳ１１２）。

次に、制御部５１は、記憶部５２に記憶されている、力に関する閾値を読み出す。この閾値は、例えばマーカー１９０が良好に形成されるために必要な押圧力（荷重）の下限値とされる。なお、この閾値は、マーカー１９０の大きさ等によって異なるが、一例として１０Ｎ程度とされる。

続いて、制御部５１は、検出した力と読み出した閾値とを比較し、検出した力が閾値に達したか否かを判断する（ステップＳ１１３）。

そして、検出した力が閾値に達していない場合（ステップＳ１１３のＮｏ）、スタンプ１９が作業面７１０を押圧する力を増加させる（ステップＳ１１４）。具体的には、ロボットアーム１０の駆動部１３０の動作を制御し、例えばスタンプ１９と作業面７１０との距離をより縮めるようにロボットアーム１０を駆動する。その後、制御フローを再びステップＳ１１２に戻す。そして、検出した力が閾値に達するまで、ステップＳ１１２、ステップＳ１１３およびステップＳ１１４を繰り返す。

なお、ステップＳ１１４では、検出した力と閾値との差分を算出し、その差分以上の押圧力を増加させるようにしてもよい。

一方、検出した力が閾値に達している場合（ステップＳ１１３のＹｅｓ）、スタンプ１９が作業面７１０に対して必要な力で押圧していることになる。このため、作業面７１０には良好なマーカー１９０が形成されることになる。なお、良好なマーカー１９０とは、例えばマーカー１９０を撮像部３で撮像して得られた撮像画像３０において、マーカー１９０を十分に視認し得る程度に鮮明なマーカー１９０のことをいう。このようにしてマーカー１９０を形成した後、スタンプ１９を作業面７１０から離す（ステップＳ１１５）。

なお、閾値には、上述したように押圧力の下限値のみが設定されていてもよいが、下限値に加えて上限値が設定されていてもよい。この場合、閾値は、下限値と上限値との間の範囲となる。したがって、ステップＳ１１３において検出した力が閾値の下限値に達していない（閾値から外れている）場合、ステップＳ１１４では、上記と同様、スタンプ１９が作業面７１０を押圧する力を増加させる。一方、ステップＳ１１３において検出した力が閾値の上限値を上回っていた（閾値から外れている）場合、ステップＳ１１４では、スタンプ１９が作業面７１０を押圧する力を減少させる。このようにすれば、スタンプ１９が作業面７１０に対して必要かつ十分な力で押圧していることになる。このため、作業面には、より良好なマーカー１９０が形成されることになる。

以上のようにして、制御部５１は、力検出部１２０からの力検出情報に基づいて、スタンプ１９を移動させ、作業面７１０に良好なマーカー１９０を形成する。

次に、制御部５１は、スタンプ１９でマーカー１９０を形成しているときの所定点Ｐ６のロボット座標を記憶部５２に記憶する（ステップＳ１２）。

次に、制御部５１は、前述したステップＳ１２を行った回数が所定回数に達したか否かを判断する（ステップＳ１３）。そして、所定回数に達していない場合（ステップＳ１３のＮｏ）、制御フローを前述したステップＳ１１に戻す。そして、ステップＳ１２を行った回数が所定回数に達するまで、ステップＳ１１、Ｓ１２を繰り返す。本実施形態では所定回数を９回とする。したがって、本実施形態では、制御部５１は、ロボット座標を９つ取得したと判断するまでステップＳ１１、Ｓ１２を繰り返す。

ここで、制御部５１は、各回におけるステップＳ１１において、マーカー１９０が作業面７１０のうち撮像領域Ｓ３内に位置するようにスタンプ１９を移動させる。また、制御部５１は、各回において異なる位置にマーカー１９０が形成されるようにスタンプ１９を移動させる。特に、図１１に示すように、制御部５１は、複数のマーカー１９０が格子状に配置されるようにスタンプ１９を移動させることが好ましい。したがって、制御部５１は、例えば、１回目のステップＳ１１において、図１１中の左上の位置（第１位置Ｐ１０）にマーカー１９０を形成し、２回目のステップＳ１１において、図１１中の左側中央の位置（第２位置Ｐ２０）にマーカー１９０を形成する。

なお、このように複数のマーカー１９０を形成する場合も、制御部５１は、図８に示すフロー図に基づき、スタンプ１９の移動を制御する。これにより、スタンプ１９が作業面７１０を必要な力で押圧し、複数のマーカー１９０をそれぞれ良好に形成することができる。特に、複数のマーカー１９０を撮像部３で撮像したとき、マーカー１９０間で視認性の均一化を図ることができる。その結果、キャリブレーションの精度をより高めることができるとともに、キャリブレーションに要する時間を短縮することができる。

また、制御部５１は、１回目および２回目のそれぞれにおいて記憶部５２にロボット座標を記憶する。このようにして、制御部５１は、ステップＳ１１、Ｓ１２を９回繰り返し、９つの所定点Ｐ６のロボット座標を記憶部５２に記憶する。

一方、ステップＳ１２を行った回数が所定回数（本実施形態では９回）に達した場合（ステップＳ１３のＹｅｓ）、制御部５１は、９つのマーカー１９０を一括して撮像部３に撮像させ、各マーカー１９０の画像座標を記憶部５２に記憶する（ステップＳ１４）。このときの撮像画像３０を図１２に示す。

次に、制御部５１は、９つの所定点Ｐ６のロボット座標と、９つのマーカー１９０の画像座標と、に基づいて、画像座標をロボット座標に変換する座標変換式を求める（ステップＳ１５）。これにより、画像座標系とロボット座標系とのキャリブレーション、すなわち対応付けが完了する。

以上、キャリブレーション（ステップＳ１０）の処理について簡単に説明した。このキャリブレーション（ステップＳ１０）の処理で求めた座標変換式を用いれば、撮像部３で撮像した撮像対象の位置および姿勢をロボット座標系における位置および姿勢に変換することができる。さらには、前述したように、ロボット座標系（ベース座標系）と先端座標系との対応付けは済んでいる状態なので、撮像部３で撮像した撮像対象の位置および姿勢を先端座標系における位置および姿勢に変換することができる。そのため、制御部５１は、撮像画像３０を基にしてスタンプ１９を目的の箇所に位置させることができる。さらには、スタンプ１９をハンド１７に交換したら、制御部５１は、撮像画像３０を基にしてハンド１７を目的の箇所に位置させることができる。それゆえ、キャリブレーション（ステップＳ１０）における結果であるロボット座標系と画像座標系との座標変換式を用いることで、ロボット１による作業（図６：ステップＳ２０）において、ハンド１７を用いてロボット１に適切に作業を行わせることができる。

なお、本実施形態では、図３に示すように、ハンド１７のツールセンターポイントＰ７が回動軸Ｏ６上にあるが、ツールセンターポイントＰ７が回動軸Ｏ６上にない場合には、ハンド１７に交換した後に、所定点Ｐ６に対するツールセンターポイントＰ７の位置の設定（ツール設定）を行うことが好ましい。これにより、キャリブレーションの結果を基にして、ロボット１による作業を迅速かつより正確に行うことができる。

以上、制御方法について説明した。前述したように、本実施形態に係る制御装置５は、撮像部３からの撮像画像３０および力検出部１２０からの力検出情報に基づいて、ロボット１を制御する制御装置であって、ロボットアーム１０およびロボットアーム１０に設けられたスタンプ１９（マーカー形成部）を有するロボット１を制御可能（駆動に関する指令を実行可能）な制御部５１（プロセッサー）を備える（図１〜図４参照）。そして、制御部５１は、力検出部１２０からの力検出情報に基づいて、スタンプ１９によって作業面７１０にマーカー１９０を形成させ、マーカー１９０を形成させたときのロボットアーム１０の所定点Ｐ６のロボット座標（ロボットの座標系における位置）と、マーカー１９０を含む撮像画像３０におけるマーカー１９０の、画像座標（撮像部の座標系における位置）と、に基づいて、ロボットの座標系と撮像部の座標系とのキャリブレーション（校正）を行う。

このような制御装置５によれば、作業面７１０にスタンプ１９を押圧する際、スタンプ１９を適度な力で押圧することができる。このため、良好なマーカー１９０を形成することができる。かかるマーカー１９０は、撮像部３で撮像されたときの視認性が高いため、キャリブレーションを精度よく行うことができる。また、キャリブレーションに要する時間を短縮することができる。

また、従来のように、キャリブレーションの度に治具を設置するといった手間がかからないため、キャリブレーションを容易に行うことができるという利点もある。

また、マーカー１９０を形成する数は、１つであってもよいが、複数のマーカー１９０を形成し、それを一括して撮像した撮像画像３０を基にして各マーカー１９０の画像座標を取得した場合、マーカー１９０を形成するごとに撮像画像３０を取得する場合に比べて、キャリブレーションをさらに迅速に行うことができる。また、作業対象物９１を用いたキャリブレーションの結果（座標変換式）を基にして、ロボット１に実施の各種作業を行わせることができるため、作業対象物９１に対する作業をロボット１により的確に行なわせることができる。また、キャリブレーション時にはハンド１７が邪魔になり、作業時にはマーキング装置が邪魔になるということなく、よって、キャリブレーションおよび作業を迅速かつ的確に行うことができる。

また、任意の箇所に形成したマーカー１９０を用いたキャリブレーションが可能であるため、従来のようにタッチアップする処理を行う必要がない。そのため、キャリブレーションをより迅速に行うことができる。

また、ロボットアーム１０に対してハンド１７およびスタンプ１９を相互に装着可能になっている場合、ハンド１７に代えてスタンプ１９を装着した状態のロボット１を用いたキャリブレーション（対応付け）を行うことができる。このため、ハンド１７およびスタンプ１９の双方を装着した状態のロボット１を用いたキャリブレーションを行う場合に比べ、ロボットアーム１０の先端の重量を大幅に軽量化することができる。そのため、ロボットアーム１０の振動等を従来よりも低減することができ、キャリブレーションの高精度化を図ることができる。

なお、本実施形態に係るロボット１は、スタンプ１９とハンド１７を相互に交換可能に構成されているが、これに限定されず、スタンプ１９とハンド１７の双方を備えていてもよい。かかるロボットは、ロボットアーム１０に対してハンド１７およびスタンプ１９の双方が装着され、これらを相互に交換する必要がないため、交換作業に要する手間や時間を削減し得るという点で有用である。

また、本実施形態では、所定部位として所定点Ｐ６を設定しているが、所定部位は、ロボットアーム１０のいずれかの箇所であればよい。例えば、所定部位は、アーム１５の先端中心であってもよい。

また、前述したように、制御部５１は、スタンプ１９（マーカー形成部）を作業面７１０に接触させることでマーカー１９０を形成する。これにより、作業面７１０にマーカー１９０を簡単に形成することができる。

特に、本実施形態では、前述したようにマーカー形成部は、マーカー１９０を付するスタンプ１９である。そして、制御部５１は、スタンプ１９を作業台７１に接触させることでマーカー１９０を形成するようロボット１の駆動を制御する。これにより、作業面７１０に対してマーカー１９０を特に簡単に形成することができる。また、スタンプ１９はシンプルで軽量な構成であるため、ロボットアーム１０の振動をより低減させることができる。そのため、スタンプ１９を用いることで、キャリブレーションの精度をより高めることができる。

なお、本実施形態に係るロボットアーム１０は、前述したようにアーム１１〜１６（複数のアーム）を有しており、アーム１１〜１６が基端側から先端側に向かってこの順に連結されている。そして、スタンプ１９（マーカー形成部）は、アーム１１〜１６のうち最も先端のアーム１６に設けられている。これにより、スタンプ１９は、自由度の高い移動が可能になる。したがって、作業面７１０に対してスタンプ１９をより正確に押圧することができる。具体的には、例えば、スタンプ１９の押圧面と作業面７１０とが平行になるように、スタンプ１９の姿勢を制御しながら押圧することができる。

また、本実施形態では、マーカー被形成物として、例えば、紙、木材、樹脂または金属等を含んで構成された作業台７１を用いているが、マーカー被形成物は、マーカー形成部がマーカーを形成できるものであれば如何なるものであってもよい。

また、本実施形態では、マーカー形成部としてスタンプ１９を用いているが、マーカー形成部は、マーカー被形成物に対してマーカーを形成可能なものであれば如何なるものであってもよい。

また、前述したように、ロボットアーム１０の先端部、すなわち最も先端に位置するアーム１６には、スタンプ１９が設けられている。そして、制御部５１は、ロボットアーム１０の先端部に設けられているスタンプ１９（マーカー形成部）によりマーカー１９０を形成するようロボット１の駆動を制御する。これにより、スタンプ１９を目的とする箇所に移動させることが容易であり、よって、キャリブレーションをより迅速かつ適切に行うことができる。

なお、スタンプ１９（マーカー形成部）は、例えば、アーム１５やアーム１４に設けられていてもよい。また、本実施形態では、ロボット１は、いわゆる６軸の垂直多関節ロボットであるが、制御装置５によって制御される「ロボット」は、スカラロボット（図示せず）であってもよい。スカラロボットを用いた場合、図示はしないが、マーカー形成部は、スカラロボットが有するアームに設けられたシャフト（作動軸）に設けられてもよいし、シャフトが設けられたアームに設けられていてもよい。具体例としては、図示はしないが、スカラロボットが、基台と、基台に接続された第１アーム（アーム）と、第１アームに接続された第２アーム（アーム）と、第２アームに設けられたシャフト（作動軸）とを備える場合、マーカー形成部は、シャフトに設けられていてもよいし、第２アームに設けられていてもよい。

また、前述したように、撮像部３は、作業台７１の作業面７１０を撮像可能に設置されている。そして、外部入出力部５３は、作業対象物９１が配置されている作業台７１を撮像可能に設けられた撮像部３と通信可能である。これにより、作業台７１に形成されたマーカー１９０を撮像でき、その撮像画像３０を用いてキャリブレーションを的確に行うことができる。さらに、ロボット１による作業対象物９１に対する作業を行うときにも、撮像画像３０を用いてロボット１に作業を適切に行わせることができる。

なお、本実施形態では、図６に示すように、キャリブレーション（ステップＳ１０）の後にロボット１による作業（ステップＳ２０）を行ったが、ステップＳ２０においてキャリブレーションの結果を用いるのであれば、ステップＳ２０を単独で行ってもよい。また、キャリブレーション（ステップＳ１０）を単独で行ってもよい。

［第２実施形態］
次に、第２実施形態について説明する。

図１３は、第２実施形態に係るロボットシステムを示す概略図である。図１４は、図１３に示すロボットシステムを示すブロック図である。図１５は、マーカー形成の流れを示すフロー図である。図１６および図１７は、ステップＳ１１を説明するための図である。図１８は、ステップＳ１４での撮像画像を示す図である。なお、図１３では、一部の構成の図示を省略している。

前述した第１実施形態では、ロボット１に力検出部１２０が設けられているのに対し、本実施形態では、作業面７１０上に力検出部１２０が設けられている。また、第１実施形態では、マーカー形成部がスタンプ１９であり、マーカー被形成物が作業台７１であるのに対し、本実施形態では、マーカー形成部がハンド１７であり、マーカー被形成物が感圧紙８１である。そして、これらが主に異なる以外、本実施形態は、前述した第１実施形態と同様である。なお、以下の説明では、前述した第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１３〜図１８において、前述した実施形態と同様の構成については、同一符号を付している。

図１３に示すロボットシステム１００Ａでは、前述したように、マーカー形成部としてハンド１７を用い、マーカー被形成物として作業面７１０上に設けられた感圧紙８１を用いる。すなわち、本実施形態に係るハンド１７は、作業対象物９１に対する作業を行う作業部であり、かつマーカー形成部でもある。これにより、ハンド１７を交換することなく、作業対象物９１に対する作業と、マーカー１９０の形成と、を行うことができる。このため、ロボットシステム１００Ａの構成の簡略化、および、ロボット１の軽量化を図ることができる。

なお、マーカー形成部はハンド１７に限定されず、感圧紙８１を押圧し得るものであれば、いかなるものであってもよい。

また、感圧紙８１は、力を受けた部分が発色し得る紙である。このような感圧紙８１としては、いかなるものであってもよく、厚さは特に限定されない。

なお、感圧紙８１は、力を受けた部分が変色し、視覚上、力を受けていない部分との区別が可能になる任意の部材で代替可能である。かかる部材としては、例えば、物体の接触を検知するセンサーを備え、接触部分が変色するように構成されたタッチパネルディスプレイや、磁性粉を敷き詰めたシート状の部材（リライタブル表示シート）等が挙げられる。なお、後者の場合、ハンド１７の一部が磁化されているか、またはハンド１７が磁石を備えていることが好ましい。

また、図１３に示すロボットシステム１００Ａでは、前述したように、力検出部１２０が作業面７１０上に設けられている。これにより、ハンド１７から作業面７１０に付与された力を検出することができる。例えば、ハンド１７が感圧紙８１および力検出部１２０を介して作業面７１０に接触したとき、作業面７１０がハンド１７から受ける力を検出することができる。また、力検出部１２０をロボット１に設ける必要がないため、ロボット１の軽量化を図ることができる。

このような力検出部１２０としては、例えばシート型荷重センサー、シート型圧力センサー等が挙げられる。

また、力検出部１２０は、検出した力を電気信号に変換し、その電気信号を制御装置５へと出力する（図１４参照）。

≪制御方法≫
次に、本実施形態に係る制御装置５によるロボット１の制御方法について、図７および図１５を参照しつつ説明する。

まず、ステップＳ１１において、制御部５１は、図１６に示すようにハンド１７を撮像領域Ｓ３内に位置させ、作業台７１側に向かって感圧紙８１をハンド１７で押圧する。これにより、図１７に示すように、感圧紙８１に、例えば四角形のマーカー１９０を形成する（ステップＳ１１）。

以下、図１５に示すフロー図を参照しつつ、図７に示すステップＳ１１についてさらに詳述する。

図１５に示すように、マーカー１９０の形成は、ハンド１７を感圧紙８１に接触させる（ステップＳ１１１Ａ）工程と、力検出部１２０に加わる力を検出する（ステップＳ１１２）工程と、検出した力が閾値に達したか否かを判断する（ステップＳ１１３）工程と、検出した力が閾値に達していない場合、ハンド１７が感圧紙８１を押圧する力を増加させる（ステップＳ１１４）工程と、検出した力が閾値に達している場合、ハンド１７を感圧紙８１から離す（ステップＳ１１５Ａ）工程と、を有する。

以上のようなステップＳ１１によれば、制御部５１は、力検出部１２０からの力検出情報に基づいて、ハンド１７を移動させ、感圧紙８１に良好なマーカー１９０を形成する。

以降、ステップＳ１４（図７参照）では、前記第１実施形態と同様、ステップＳ１２を行った回数が所定回数（本実施形態では９回）に達したら、制御部５１は、９つのマーカー１９０を一括して撮像部３に撮像させ、各マーカー１９０の画像座標を記憶部５２に記憶する。このときの撮像画像３０を図１８に示す。なお、マーカー１９０の数は、特に限定されないが、好ましくは３以上とされる。

このような制御装置５によれば、ハンド１７を備えたロボット１と感圧紙８１とを用いたキャリブレーションの実行が可能であるため、ロボットアーム１０の振動等を従来よりも低減することができる。そのため、キャリブレーションの高精度化を図ることができる。また、スタンプ１９とハンド１７との交換が不要であるため、キャリブレーションをより迅速に行うことができる。

特に、本実施形態では、前述したようにマーカー被形成物は、感圧紙８１で構成されている。そして、制御部５１は、感圧紙８１で構成されたマーカー被形成物に対してハンド１７（マーカー形成部）を接触させることでマーカー１９０を形成するようロボット１の駆動を制御する。これにより、作業部でもあるハンド１７を用いてマーカー１９０を容易に形成することができる。

なお、本実施形態では、マーカー被形成物として感圧紙８１を用いているが、マーカー被形成物は、マーカー形成部とともにマーカーを形成可能なものであれば如何なるものであってもよい。例えば、マーカー被形成物は、磁石粉を含むものであってもよい。この場合には、マーカー形成部は、磁性を有する物体、例えば金属材料を含んで構成された作業部等であればよい。また、マーカー被形成物は、加えられた圧力に応じて色が変化する構成のシート等であってもよい。

また、前述した第１実施形態における「マーカー被形成物」が作業台７１ではなく、感圧紙８１を備える作業台７１であってもよい。すなわち、スタンプ１９で感圧紙８１にマーカー１９０を形成してもよい。

以上説明した本実施形態においても、第１実施形態と同様の効果を発揮することができる。

［第３実施形態］
次に、第３実施形態について説明する。

図１９は、第３実施形態に係るロボットシステムを示す概略図である。図２０は、図１９に示すロボットシステムを示すブロック図である。図２１は、マーカー形成の流れを示すフロー図である。なお、図１９では、一部の構成の図示を省略している。

前述した第１実施形態では、ロボットシステム１００が力検出部１２０を有しているのに対し、本実施形態では、ロボットシステム１００Ｂが距離検出部１５０を有している。すなわち、ロボットシステム１００Ｂは、ロボット１と、ロボット１の駆動を制御する制御装置５と、ロボット１に設けられた距離検出部１５０と、を有する。また、距離検出部１５０は、作業面７１０とマーカー形成部（本実施形態ではスタンプ１９）との距離を検出する。そして、これらが主に異なる以外、本実施形態は、前述した第１実施形態と同様である。なお、以下の説明では、前述した第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１９〜図２１において、前述した実施形態と同様の構成については、同一符号を付している。

〈距離検出部〉
図１９に示す距離検出部１５０は、ロボット１に設けられている。これにより、作業面７１０とスタンプ１９との距離を検出することができる。このため、例えばスタンプ１９が作業面７１０を適度な力で押圧しているか否かを把握することができる。

このような距離検出部１５０としては、超音波センサーが好ましく用いられる。超音波センサーは、超音波を利用した測距センサーであって、比較的小型でかつ軽量である。このため、距離検出部１５０として超音波センサーを用いることにより、ロボットアーム１０の振動をより低減させることができる。そのため、キャリブレーションの精度をより高めることができる。

なお、距離検出部１５０としては、この他に、例えば、レーザーセンサー、静電容量式測距センサー等が挙げられる。このうち、レーザーセンサーは、レーザーを利用した測距センサーである。

距離検出部１５０は、検出した距離を電気信号に変換し、その電気信号を制御装置５へと出力する（図２０参照）。

なお、距離検出部１５０は、作業面７１０とスタンプ１９との距離を直接検出してもよいが、例えば作業面７１０以外の部位とスタンプ１９との距離を検出した後、所定の演算を経て間接的に求めるようにしてもよく、作業面７１０とスタンプ１９以外の部位との距離を検出した後、所定の演算を経て間接的に求めるようにしてもよい。

≪制御方法≫
次に、本実施形態に係る制御装置５によるロボット１の制御方法について、図７および図２１を参照しつつ説明する。

まず、制御部５１は、スタンプ１９を撮像部３の視野内すなわち撮像領域Ｓ３内に位置させ、作業台７１の作業面７１０にマーカー１９０を形成する（図７のステップＳ１１）。

以下、図２１に示すフロー図を参照しつつ、図７のステップＳ１１についてさらに詳述する。

図２１に示すように、マーカー１９０の形成は、スタンプ１９を作業面７１０に接触させる（ステップＳ１１１）工程と、距離検出部１５０により作業面７１０とスタンプ１９との距離を検出する（ステップＳ１１２Ｂ）工程と、検出した距離が閾値に達したか否かを判断する（ステップＳ１１３Ｂ）工程と、検出した距離が閾値に達していない場合、スタンプ１９を作業面７１０に近づける（ステップＳ１１４Ｂ）工程と、検出した距離が閾値に達している場合、スタンプ１９を作業面７１０から離す（ステップＳ１１５）工程と、を有する。

ステップＳ１１３Ｂにおいて、制御部５１は、記憶部５２に記憶されている、距離に関する閾値を読み出す。この閾値は、例えばマーカー１９０が良好に形成されるために必要な押圧力に対応する、スタンプ１９と作業面７１０との距離の上限値とされる。したがって、検出した距離が、閾値よりも短ければ、スタンプ１９が作業面７１０を必要な力で押圧していることになる。

続いて、制御部５１は、検出した距離と読み出した閾値とを比較し、検出した距離が閾値に達した（閾値よりも短い）か否かを判断する。

そして、検出した距離が閾値に達していない場合（ステップＳ１１３ＢのＮｏ）、スタンプ１９を作業面７１０に近づける（ステップＳ１１４Ｂ）。その後、制御フローを再びステップＳ１１２Ｂに戻す。そして、検出した距離が閾値に達するまで、ステップＳ１１２Ｂ、ステップＳ１１３ＢおよびステップＳ１１４Ｂを繰り返す。

なお、ステップＳ１１４Ｂでは、検出した距離と閾値との差分を算出し、その差分以上の距離を縮めるようにしてもよい。

一方、検出した距離が閾値に達している場合（ステップＳ１１３ＢのＹｅｓ）、スタンプ１９が作業面７１０を必要な力で押圧していることになる。このため、作業面７１０には良好なマーカー１９０が形成されることになる。このようにしてマーカー１９０を形成した後、スタンプ１９を作業面７１０から離す（ステップＳ１１５）。

以上のようなステップＳ１１によれば、制御部５１は、距離検出部１５０からの距離検出情報に基づいて、スタンプ１９を移動させ、作業面７１０に良好なマーカー１９０を形成する。

このように本実施形態に係る制御装置５は、撮像部３からの撮像画像３０および距離検出部１５０からの距離検出情報に基づいて、ロボット１を制御する制御装置であって、ロボットアーム１０およびロボットアーム１０に設けられたスタンプ１９（マーカー形成部）を有するロボット１を制御可能（駆動に関する指令を実行可能）な制御部５１（プロセッサー）を備える（図１〜図４参照）。そして、制御部５１は、距離検出部１５０からの距離検出情報に基づいて、スタンプ１９によって作業面７１０にマーカー１９０を形成させ、マーカー１９０を形成させたときのロボットアーム１０の所定点Ｐ６のロボット座標（ロボットの座標系における位置）と、マーカー１９０を含む撮像画像３０におけるマーカー１９０の、画像座標（撮像部の座標系における位置）と、に基づいて、ロボットの座標系と撮像部の座標系とのキャリブレーション（対応付け）を行う。

このような制御装置５によれば、作業面７１０にスタンプ１９を押圧する際、スタンプ１９を適度な力で押圧することができる。このため、良好なマーカー１９０を形成することができる。かかるマーカー１９０は、撮像部３で撮像されたときの視認性が高いため、キャリブレーションを精度よく行うことができる。また、キャリブレーションに要する時間を短縮することができる。

また、従来のように、キャリブレーションの度に治具を設置するといった手間がかからないため、キャリブレーションを容易に行うことができるという利点もある。

以上説明した本実施形態においても、第１実施形態と同様の効果を発揮することができる。

［第４実施形態］
次に、第４実施形態について説明する。

図２２は、第４実施形態に係るロボットシステムを示す概略図である。図２３は、図２２に示すロボットシステムを示すブロック図である。なお、図２２では、一部の構成の図示を省略している。

前述した第３実施形態では、ロボット１に距離検出部１５０が設けられているのに対し、本実施形態では、作業面７１０上に距離検出部１５０が設けられている。そして、これらが主に異なる以外、本実施形態は、前述した第３実施形態と同様である。なお、以下の説明では、前述した第３実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図２２および図２３において、前述した実施形態と同様の構成については、同一符号を付している。

図２２に示すロボットシステム１００Ｃでは、前述したように、距離検出部１５０が作業面７１０上に設けられている。これにより、スタンプ１９と作業面７１０との距離を検出することができる。このため、例えばスタンプ１９が作業面７１０を適度な力で押圧しているか否かを把握することができる。また、距離検出部１５０をロボット１に設ける必要がないため、ロボット１の軽量化を図ることができる。

以上説明した本実施形態においても、第３実施形態と同様の効果を発揮することができる。

［第５実施形態］
次に、第５実施形態について説明する。

図２４は、第５実施形態におけるキャリブレーションの流れを示すフロー図である。図２５および図２６は、それぞれ、ステップＳ２１を説明するための図である。図２７は、ステップＳ２２を説明するための図である。図２８は、ステップＳ１４での撮像画像を示す図である。図２９は、ステップＳ１４での撮像画像の他の例を示す図である。

本実施形態では、主に、ロボット座標系と画像座標系との相対関係を求めて、ステップＳ１１〜Ｓ１５を自動で行うこと以外は、前述した第１実施形態と同様である。なお、以下の説明では、前述した第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。

以下、図２４に示すフロー図を参照しつつ、本実施形態におけるキャリブレーションについて説明する。

まず、制御部５１は、前述したステップＳ１１を行う前に、ロボット座標系と画像座標系との相対関係を求める（ステップＳ２１）。

具体的には、まず、制御部５１は、撮像部３の視野内において、図２５に示すように作業面７１０の互いに異なる箇所に３つのマーカー１９０を形成した後に、図２６に示すように撮像画像３０を取得して、３つのマーカー１９０におけるロボット座標および画像座標を取得する。次いで、制御部５１は、取得した３つのロボット座標および３つの画像座標に基づいて、下記式（１）中の係数ａ、ｂ、ｃ、ｄを求める。これにより、ロボット座標と画像座標との間の座標変換式を求めることができ、画像座標系での変位（移動量）を、ロボット座標系（ベース座標系）での変位量さらには先端座標系での変位（移動量）に変換することができる。

なお、式（１）におけるΔＸ、ΔＹは、画像座標系での２箇所間の変位（移動量）を示し、ΔＵ、ΔＶは、ロボット座標系での２箇所間の変位（移動量）を示す。

例えば、所定点Ｐ６がマーカー１９０ａ（基準点）の形成時の地点から矢印Ｒ１方向に移動してマーカー１９０ｂの形成時の地点に移動する移動量が、Ｘ方向に１０ｍｍ、Ｙ方向に０ｍｍであり、所定点Ｐ６がマーカー１９０ａの形成時の地点から矢印Ｒ２方向に移動してマーカー１９０ｃの形成時の地点に移動する移動量が、Ｘ方向に０ｍｍ、Ｙ方向に１０ｍｍであるとする（図２５参照）。また、マーカー１９０ａの画像座標が（Ｕ０，Ｖ０）であり、マーカー１９０ｂの画像座標が（Ｕ１，Ｖ１）であり、マーカー１９０ｃの画像座標が（Ｕ２，Ｖ２）であるとする。この場合、以下のようにして係数ａ、ｂ、ｃ、ｄを求めることができる。

このように、３つの異なる箇所にマーカー１９０を形成しつつ所定点Ｐ６を移動させて得られた３つのロボット座標および３つの画像座標を基にして、上記式（１）に示す座標変換式（アフィン変換式）を用いることで、ロボット座標系と画像座標系との相対関係を簡単にかつ適切に求めることができる。この相対関係とは、ロボット座標系での移動量から画像座標系での移動量を計算により求めることができる関係をいう。

次に、図２７に示すように、撮像画像３０における９つの教示点３０１を設定する（ステップＳ２２）。本実施形態では、格子状に配列された９つの教示点３０１を設定する。具体的には、制御部５１は、図２７に示すように撮像画像３０のサーチウィンドウ３００を９分割してその分割された各領域の中心を教示点３０１として設定する。

また、ステップＳ２２では、制御部５１は、９つの教示点３０１を設定した後、マーカー１９０ａ（基準点）から各教示点３０１（教示点３０１ａ〜３０１ｉ）への画像座標系での移動量（ΔＵ，ΔＶ）を求める。

例えば、制御部５１は、マーカー１９０ａ（基準点）から各教示点３０１への画像座標系での移動量（ΔＵ，ΔＶ）を下記に示すように求めることができる。なお、下記の各画像座標系での移動量（ΔＵ，ΔＶ）は、上から順に、教示点３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈ、３０１ｉに対応する。また、下記では、マーカー１９０ａ（基準点）の座標を（Ｘｒｅｆ，Ｙｒｅｆ）で示し、サーチウィンドウ３００のＵ軸方向の長さを「Ｗｉｄｔｈ」で示し、サーチウィンドウ３００のＶ軸方向の長さを「Ｈｅｉｇｈｔ」で示し、原点Ｏからサーチウィンドウ３００までのＵ軸方向の距離を「Ｌｅｆｔ」で示し、原点Ｏからサーチウィンドウ３００までのＶ軸方向の距離を「Ｔｏｐ」で示す。

また、ステップＳ２２では、制御部５１は、ステップＳ２１で求めた座標変換式と画像座標系での移動量（ΔＵ，ΔＶ）とを基にして、ロボット座標系での所定点Ｐ６の相対的な移動量（ΔＸ，ΔＹ）を求める。これにより、ジョグ動作によらずステップＳ１１〜Ｓ１５を自動で行うことができる。なお、ステップＳ１４において、９つのマーカー１９０を撮像した撮像画像３０を図２８に示す。図２８では、ステップＳ２１で形成した３つのマーカー１９０を破線で示し、ステップＳ１１で形成した９つのマーカー１９０を実線で示す。

ここで、制御部５１は、図２８の破線で示すように３つのマーカー１９０を形成した後（ステップＳ２１）、図２８の実線で示すように９つのマーカー１９０を形成する（ステップＳ１１）が、例えば、図２９に示すように各マーカー１９０を形成してもよい。具体的には、制御部５１は、図２９の破線で示すように３つのマーカー１９０を形成した後に（ステップＳ２１）、図２９の実線で示すように９つのマーカー１９０を形成してもよい（ステップＳ１１）。すなわち、制御部５１は、ステップＳ１１において、ステップＳ２１で形成した３つのマーカー１９０とは異なる位置に（重ならないように）、９つのマーカー１９０を形成する。これにより、各マーカー１９０が重ならないため、作業者の視認性を高めることができる。

また、制御部５１は、ステップＳ２１で形成するマーカー１９０およびステップＳ１１で形成するマーカー１９０の各色や、形状を異なる形態にしてもよい。このような方法によっても、作業者の視認性を高めることができる。

以上、本実施形態におけるキャリブレーションについて説明した。前述したように、制御部５１は、複数のマーカー１９０を形成したときのロボット座標系における複数のロボット座標（座標）と、複数のマーカー１９０の画像座標系における複数の画像座標（座標）とに基づいて、ロボット座標系と画像座標系との相対関係を求めた後、その相対関係を基にして対応付けを行う。

これにより、キャリブレーションの精度をより高くすることができる。また、前述したように、相対関係を求めることで、ロボット座標系での移動量から画像座標系での移動量を計算により求めることができるため、ステップＳ１１において９つの教示点３０１（複数の箇所）に所定点Ｐ６をジョグ動作によらず自動的に移動させることができる。そのため、キャリブレーションにおける作業者の作業を簡易に行うことができる。

さらには、制御部５１は、相対関係を求める際に用いるロボット座標系におけるロボット座標（座標）の数よりも多くの数のロボット座標系におけるロボット座標（座標）と、相対関係を求める際に用いる画像座標系における画像座標（座標）の数よりも多くの数の画像座標系における画像座標（座標）と、を用いて対応付けを行う。本実施形態では、ステップＳ２１において３つのロボット座標および３つの画像座標を用いており、ステップＳ１５における座標変換式を求めるときに９つのロボット座標および９つの画像座標を用いている。

これにより、相対関係を求める処理を行わない場合に比べて、９つの箇所（教示点３０１）にほぼ均等な間隔でマーカー１９０を形成できるため、キャリブレーションの精度をさらに高くすることができる。

なお、本実施形態では、教示点３０１は９つであったが、教示点３０１の数は任意であり、少なくとも３つ以上であればよい。ただし、教示点３０１の数が多い程、キャリブレーションの精度が向上する。また、教示点３０１の数は、ステップＳ２１の座標変換式を求める際に用いたロボット座標の数（本実施形態では３つ）以上であることが好ましい。また、本実施形態では、これら教示点３０１は、格子状に配列されているが、これらの配列は格子状に限定されない。

また、本実施形態では、前述した第１実施形態と同様に、ツールセンターポイントＰ９と所定点Ｐ６とが回動軸Ｏ６上にあり、ツールセンターポイントＰ９のロボット座標（Ｘ，Ｙ）と所定点Ｐ６のロボット座標（Ｘ，Ｙ）とが一致している場合を例に説明した。つまり、所定点Ｐ６に対するツールセンターポイントＰ９の位置の設定（Ｘ軸、Ｙ軸およびＺ軸のツール設定）、すなわち所定点Ｐ６とツールセンターポイントＰ９との対応付けが、所定点Ｐ６に対するツールセンターポイントＰ９の位置姿勢（座標）を計算から求めることができる状態である場合を例に説明した。これに対し、ツールセンターポイントＰ９のロボット座標（Ｘ，Ｙ）と所定点Ｐ６のロボット座標（Ｘ，Ｙ）とが一致していない場合には、ステップＳ１１の前でステップＳ２２の後に、所定点Ｐ６に対するツールセンターポイントＰ９の位置の設定（Ｘ座標およびＹ座標ツール設定）を行うことが好ましい。これにより、これらが一致していない場合でもキャリブレーションの精度を高めることができる。

なお、ツール設定の方法は特に限定されないが、例えば、撮像画像３０の画像中央にマーカー１９０（ツールセンターポイントＰ９）を位置させつつ、所定点Ｐ６を互いに異なる２箇所に移動させる方法が挙げられる。この方法では、移動前後の所定点Ｐ６のロボット座標および画像座標と、ツールセンターポイントＰ９を中心とした所定点Ｐ６の回転角度θと、マーカー１９０の画像座標系での座標とを基にして、所定点Ｐ６に対するツールセンターポイントＰ９の位置を求める。このような方法によれば、ツール設定を簡単かつ精度良く行うことができる。また、所定点Ｐ６に対するツールセンターポイントＰ９の位置が設計値や実測値により求められる場合には、その設計値や実測値を、所定点Ｐ６に対するツールセンターポイントＰ９の位置として用いてもよい。

以上説明した本実施形態においても、第１実施形態と同様の効果を発揮することができる。

＜ロボットシステムの他の構成例＞
本発明におけるロボットシステムは、図３０および図３１に示す形態であってもよい。
図３０および図３１は、それぞれロボットシステムの他の例を示すブロック図である。

図３０には、ロボット１に直接コンピューター６３が接続されたロボットシステム１００Ｄの全体構成図を示す。ロボット１の制御はコンピューター６３に存在するプロセッサーによりメモリーにある指令を読み出して直接実行される。コンピューター６３は、前述した制御装置５の機能を有する。なお、コンピューター６３はロボット１に内蔵されていてもよい。

図３１には、コントローラー６１が内蔵されたロボット１とコンピューター６６とが接続され、コンピューター６６がＬＡＮ（Local Area Network）等のネットワーク６５を介してクラウド６４に接続されているロボットシステム１００Ｅの全体構成図を示す。前述した制御装置５は、例えば、コントローラー６１で構成することができる。ただし、ロボット１の制御はコンピューター６６に存在するプロセッサーによりメモリーにある指令を読み出して実行されてもよいし、クラウド６４上に存在するプロセッサーによりコンピューター６６を介してメモリーにある指令を読み出して実行されてもよい。したがって、制御装置５は、コントローラー６１およびコンピューター６６で構成されていると捉えてもよいし、コントローラー６１、コンピューター６６およびクラウド６４で構成されていると捉えてもよい。

以上、本発明の制御装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。

また、前述した実施形態では、本発明のロボットシステムが有するロボットとして、いわゆる６軸の垂直多関節ロボットを例示したが、当該ロボットは、例えば、スカラロボット等の他のロボットであってもよい。また、当該ロボットは、単腕ロボットに限定されず、例えば、双腕ロボット等の他のロボットであってもよい。また、ロボットアームが有するアームの数は、前述した実施形態では、６つであるが、１〜５つまたは７つ以上であってもよい。

１…ロボット、３…撮像部、５…制御装置、１０…ロボットアーム、１１…アーム、１２…アーム、１３…アーム、１４…アーム、１５…アーム、１６…アーム、１７…ハンド、１９…スタンプ、３０…撮像画像、５１…制御部、５２…記憶部、５３…外部入出力部、６１…コントローラー、６２…コンピューター、６３…コンピューター、６４…クラウド、６５…ネットワーク、６６…コンピューター、７０…設置箇所、７１…作業台、７２…載置台、８１…感圧紙、９１…作業対象物、１００…ロボットシステム、１００Ａ…ロボットシステム、１００Ｂ…ロボットシステム、１００Ｃ…ロボットシステム、１００Ｄ…ロボットシステム、１００Ｅ…ロボットシステム、１１０…基台、１２０…力検出部、１３０…駆動部、１４０…位置センサー、１５０…距離検出部、１９０…マーカー、１９０ａ…マーカー、１９０ｂ…マーカー、１９０ｃ…マーカー、３００…サーチウィンドウ、３０１…教示点、３０１ａ…教示点、３０１ｂ…教示点、３０１ｃ…教示点、３０１ｄ…教示点、３０１ｅ…教示点、３０１ｆ…教示点、３０１ｇ…教示点、３０１ｈ…教示点、３０１ｉ…教示点、４０１…表示装置、４０２…入力装置、７１０…作業面、Ｏ…原点、Ｏ６…回動軸、Ｐ１０…第１位置、Ｐ２０…第２位置、Ｐ６…所定点、Ｐ７…ツールセンターポイント、Ｐ９…ツールセンターポイント、Ｒ１…矢印、Ｒ２…矢印、Ｓ１０…ステップ、Ｓ１１…ステップ、Ｓ１１１…ステップ、Ｓ１１１Ａ…ステップ、Ｓ１１２…ステップ、Ｓ１１２Ｂ…ステップ、Ｓ１１３…ステップ、Ｓ１１３Ｂ…ステップ、Ｓ１１４…ステップ、Ｓ１１４Ｂ…ステップ、Ｓ１１５…ステップ、Ｓ１１５Ａ…ステップ、Ｓ１２…ステップ、Ｓ１３…ステップ、Ｓ１４…ステップ、Ｓ１５…ステップ、Ｓ２０…ステップ、Ｓ２１…ステップ、Ｓ２２…ステップ、Ｓ３…撮像領域、Ｕ…成分、Ｖ…成分、Ｘ…成分、Ｘａ…成分、Ｙ…成分、Ｙａ…成分、Ｚ…成分

Claims (11)

1. 撮像部からの撮像画像および力検出部からの力検出情報に基づいて、ロボットを制御する制御装置であって、
   ロボットアームおよび前記ロボットアームに設けられたマーカー形成部を有するロボットを制御する制御部
   を備え、
   前記制御部は、
   前記力検出情報に基づいて、前記マーカー形成部によって基準面にマーカーを形成させ、
   前記ロボットの座標系において前記マーカーを形成させたときの前記ロボットアームの所定部位の位置と、前記撮像部の座標系において前記マーカーを含む前記撮像画像における前記マーカーの位置と、に基づいて、前記ロボットの座標系と前記撮像部の座標系との対応付けを行う、
   ことを特徴とする制御装置。
2. 前記力検出部は、前記ロボットに設けられている請求項１に記載の制御装置。
3. 前記力検出部は、前記基準面に設けられている請求項１に記載の制御装置。
4. 前記力検出部は、力覚センサーである請求項１ないし３のいずれか１項に記載の制御装置。
5. 撮像部からの撮像画像および距離検出部からの距離検出情報に基づいて、ロボットを制御する制御装置であって、
   ロボットアームおよび前記ロボットアームに設けられたマーカー形成部を有するロボットを制御する制御部
   を備え、
   前記制御部は、
   基準面と前記マーカー形成部との距離に関する前記距離検出情報に基づいて、前記マーカー形成部によって前記基準面にマーカーを形成させ、
   前記ロボットの座標系において前記マーカーを形成させたときの前記ロボットアームの所定部位の位置と、前記撮像部の座標系において前記マーカーを含む前記撮像画像における前記マーカーの位置と、に基づいて、前記ロボットの座標系と前記撮像部の座標系との対応付けを行う、
   ことを特徴とする制御装置。
6. 前記距離検出部は、前記ロボットに設けられている請求項５に記載の制御装置。
7. 前記距離検出部は、前記基準面に設けられている請求項５に記載の制御装置。
8. 前記距離検出部は、超音波センサーである請求項５ないし７のいずれか１項に記載の制御装置。
9. 前記マーカー形成部は、前記マーカーを付するスタンプである請求項１ないし８のいずれか１項に記載の制御装置。
10. 前記マーカー形成部は、作業対象物に対する作業を行う作業部である請求項１ないし８のいずれか１項に記載の制御装置。
11. 請求項１ないし１０のいずれか１項に記載の制御装置と、
    前記制御装置により制御される前記ロボットと、
    を有することを特徴とするロボットシステム。

Images