JP2021079466A - マスタスレーブシステム、制御方法及び制御装置 - Google Patents

Abstract

【課題】スレーブ装置が作用を加える対象が変わる場合でもマスタ装置の操作を容易にするマスタスレーブシステム等を提供する。【解決手段】マスタスレーブシステムは、マスタ装置とスレーブ装置と制御装置とを備える。前記制御装置は、スレーブ座標系と対象物座標系との第１座標系関係を決定する第１決定部と、マスタ座標系と前記対象物座標系との第２座標系関係を決定する第２決定部と、前記マスタ装置の操作情報と前記第１座標系関係と前記第２座標系関係とに従って、前記スレーブ装置に動作させる動作指令を出力する動作指令部とを含む。前記対象物座標系が移動された場合、前記第１決定部は、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、前記第２決定部は、移動後の前記第２座標系関係を移動前の前記第２座標系関係と同様の関係に決定する。【選択図】図６

Description

本開示は、マスタスレーブシステム、制御方法及び制御装置に関する。

従来、ロボットは、人の行為を代替するために用いられてきた。例えば、特許文献１は、リモート教示された教示点を修正する工業用ロボットを開示している。工業用ロボットは、ロボット座標系からワーク座標系への座標変換及びその逆変換を行うことができ、リモート教示された教示点を、ワーク座標系に予め設定された仮想空間格子のうちの最も近い格子点に修正変更する。工業用ロボットは、格子点で停止するように規制する機能を有する。

特開２００９−２７４１９１号公報

例えば、ロボットを用いて対象物の湾曲した表面に対して研削等の作用を加える作業を行う場合、作業の進捗に従って対象領域の位置及び姿勢が変わる。ロボットの操作者は、対象領域の位置及び姿勢の変化に対応して操作装置を操作することになる。例えば、対象領域の姿勢が大きく変わる場合、操作者は、操作装置を無理な姿勢で操作する必要が生じ得る。よって、操作者による操作装置の操作が困難になる。

本開示は、ロボット等のスレーブ装置が作用を加える対象が変わる場合でも操作装置等のマスタ装置の操作を容易にするマスタスレーブシステム、制御方法及び制御装置を提供することを目的とする。

上記目的を達成するために、本開示の一態様に係るマスタスレーブシステムは、操作端と、前記操作端に力が加えられることで入力される情報である操作情報を検出し出力する操作検出部とを備えるマスタ装置と、対象物に作用を加える作用部と前記作用部を移動させる動作部とを備えるスレーブ装置と、制御装置とを備え、前記制御装置は、前記スレーブ装置に設定されたスレーブ座標系と前記対象物に設定された対象物座標系との関係である第１座標系関係を決定する第１決定部と、前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定する第２決定部と、前記操作情報と前記第１座標系関係と前記第２座標系関係とに従って、前記動作部によって前記作用部に動作させる動作指令を出力する動作指令部とを含み、前記第１決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、前記第２決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する。

本開示によれば、スレーブ装置が作用を加える対象が変わる場合でもマスタ装置の操作を容易にすることが可能になる。

実施の形態に係るロボットシステムの一例を示す概略図 実施の形態に係るエンドエフェクタの構成の一例を示す側面図である。 実施の形態に係る操作入力装置の操作装置の構成の一例を示す斜視図 実施の形態に係るロボットシステムの機能的な構成の一例を示すブロック図 実施の形態に係る制御装置のハードウェア構成の一例を示すブロック図 図１のロボットシステムにおける各座標系の一例を示す図 図６のロボットシステムにおける各座標系の移動例を示す図 図６のロボットシステムにおける各座標系の移動例を示す図 実施の形態に係るロボットシステムの動作の一例を示すフローチャート 図６のロボットシステムにおける各座標系の移動例を示す図 実施の形態に係るロボットシステムの動作の一例を示すフローチャート

まず、本開示の態様例を説明する。本開示の一態様に係るマスタスレーブシステムは、操作端と、前記操作端に力が加えられることで入力される情報である操作情報を検出し出力する操作検出部とを備えるマスタ装置と、対象物に作用を加える作用部と前記作用部を移動させる動作部とを備えるスレーブ装置と、制御装置とを備え、前記制御装置は、前記スレーブ装置に設定されたスレーブ座標系と前記対象物に設定された対象物座標系との関係である第１座標系関係を決定する第１決定部と、前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定する第２決定部と、前記操作情報と前記第１座標系関係と前記第２座標系関係とに従って、前記動作部によって前記作用部に動作させる動作指令を出力する動作指令部とを含み、前記第１決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、前記第２決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する。

上記態様によると、制御装置は、対象物の位置が変わる等の要因に対応して対象物座標系が移動されると、スレーブ装置と対象物との相対的な位置が変わるため、スレーブ座標系と対象物座標系との第１座標系関係を変更する。しかしながら、制御装置は、マスタ座標系と対象物座標系との第２座標系関係を移動前のまま維持する。例えば、制御装置は、対象物座標系の移動前、マスタ座標系における第１方向に操作端に力が加えられる操作情報に対して、対象物座標系における第２方向に作用部を動作させる動作指令を出力するとする。この場合、制御装置は、移動後、マスタ座標系における第１方向に操作端に力が加えられる操作情報に対して、対象物座標系における第２方向に作用部を動作させる動作指令を出力する。よって、制御装置は、移動前後で同じ操作が入力された場合、対象物座標系に対する作用部の動作を移動前後で変えない。従って、操作者は、対象物座標系が移動した場合でも、対象物座標系の移動に合わせてマスタ装置に入力する操作を変える必要がない。これにより、スレーブ装置が作用を加える対象が変わる場合でもマスタ装置の操作が容易になる。

本開示の一態様に係るマスタスレーブシステムは、前記対象物までの距離である対象物距離を検出する距離検出装置をさらに備え、前記制御装置は、前記距離検出装置によって検出された前記対象物距離に基づき、前記対象物座標系を決定する座標系決定部をさらに含んでもよい。上記態様によると、制御装置は、対象物座標系を移動する場合、距離検出装置の検出結果に基づき、移動後の対象物座標系を自身で決定することができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記距離検出装置は、前記対象物距離を所定の時間間隔で検出し、前記座標系決定部は、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定してもよい。上記態様によると、制御装置は、距離検出装置によって所定の時間間隔で検出される対象物距離に基づき、対象物座標系を変えることができる。例えば、制御装置は、対象物の状態に対応してリアルタイムに対象物座標系を変えることができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記距離検出装置は、前記対象物距離を所定のタイミングで検出し、前記座標系決定部は、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定してもよい。上記態様によると、制御装置は、距離検出装置によって所定のタイミングで検出される対象物距離に基づき、対象物座標系を変えることができる。よって、制御装置の処理量の低減が可能になる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記距離検出装置は、被写体までの距離を検出するための画像を撮像することができる撮像装置であり、前記制御装置は、前記撮像装置によって撮像された前記対象物の画像を画像処理することで、前記対象物距離を検出する画像処理部をさらに含んでもよい。上記態様によると、対象物の画像を画像処理することで、対象物の各位置での３次元位置の検出が可能である。よって、制御装置は、対象物の形状、位置及び姿勢に対応した対象物座標系を決定することができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記対象物座標系の移動は、前記対象物座標系の位置及び姿勢の移動を含んでもよい。上記態様によると、制御装置は、対象物座標系の位置及び姿勢の移動に対応した処理を行うことができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記操作検出部は、前記操作端に加えられる力の方向及び大きさを前記操作情報として検出し、前記動作指令部は、前記作用部の位置、姿勢及び前記対象物への作用力を含む前記動作指令を生成してもよい。上記態様によると、操作端に加えられる力の方向及び大きさの指令は、作用部の移動方向、移動速度及び当該移動方向での作用力等の指令に変換され得る。よって、操作者は、操作端に力を加えることで作用部の動作を制御することができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記操作検出部は、前記操作端に加えられる３軸方向の力の大きさ及び３軸周りの力のモーメントを前記操作情報として検出してもよい。上記態様によると、操作端に加えられる３軸方向の力の大きさの指令は、当該３軸方向の作用部の移動速度及び作用力の指令に変換され得る。操作端に加えられる３軸周りの力のモーメントの指令は、当該３軸周りの作用部の回転速度及び回転力の指令に変換され得る。よって、操作者は、操作端に力を加えることで作用部の位置及び姿勢を制御することができる。

本開示の一態様に係るマスタスレーブシステムにおいて、前記作用部は、研削装置を含み、前記動作部は、ロボットアームを含んでもよい。上記態様によると、マスタスレーブシステムは、ロボットアームを用いて研削装置の位置及び姿勢を変化させつつ、研削装置での研削作業を可能にする。

本開示の一態様に係る制御方法は、マスタ装置によって操作されるスレーブ装置を制御する制御方法であって、前記スレーブ装置の処理の対象物に設定された対象物座標系と前記スレーブ装置に設定されたスレーブ座標系との関係である第１座標系関係を決定することと、前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定することと、前記マスタ装置の操作端に力が加えられることで前記マスタ装置に入力される情報である操作情報と、前記第１座標系関係と、前記第２座標系関係とに従って、前記対象物に対して前記スレーブ装置に動作させる動作指令を出力することとを含み、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する。上記態様によると、本開示の一態様に係るマスタスレーブシステムと同様の効果が得られる。

本開示の一態様に係る制御方法は、前記対象物までの距離である対象物距離を取得することと、前記対象物距離に基づき、前記対象物座標系を決定することとをさらに含んでもよい。

本開示の一態様に係る制御方法において、所定の時間間隔で検出された前記対象物距離を取得し、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定してもよい。

本開示の一態様に係る制御方法において、所定のタイミングで検出された前記対象物距離を取得し、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定してもよい。

本開示の一態様に係る制御方法は、被写体までの距離を検出するための画像を撮像することができる撮像装置によって撮像された前記対象物の画像を取得することと、前記対象物の画像を画像処理することで、前記対象物までの距離を検出することとをさらに含んでもよい。

本開示の一態様に係る制御方法において、前記対象物座標系の移動は、前記対象物座標系の位置及び姿勢の移動を含んでもよい。

本開示の一態様に係る制御方法において、前記操作情報は、前記操作端に加えられる力の方向及び大きさを含み、前記動作指令は、前記対象物に作用を加える前記スレーブ装置の作用部の位置、姿勢及び前記対象物への作用力を含んでもよい。

本開示の一態様に係る制御方法において、前記操作情報は、前記操作端に加えられる３軸方向の力の大きさ及び３軸周りの力のモーメントを含んでもよい。

本開示の一態様に係る制御装置は、本開示の一態様に係る制御方法を実行する制御装置である。上記態様によると、本開示の一態様に係る制御方法と同様の効果が得られる。

（実施の形態）
以下において、本開示の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

［ロボットシステムの構成］
実施の形態に係るロボットシステム１の構成を説明する。図１は、実施の形態に係るロボットシステム１の一例を示す概略図である。図１に示すように、実施の形態に係るロボットシステム１は、ロボット１０と、制御装置２０と、撮像装置３０と、操作入力装置４０と、提示装置５０とを備える。ロボットシステム１は、マスタスレーブシステムを構成し、ロボット１０はスレーブ装置を構成し、操作入力装置４０はマスタ装置を構成する。制御装置２０は、ロボットシステム１の全体の動作を制御する。制御装置２０は、ロボット１０と操作入力装置４０との間でバイラテラル制御を行う。

ロボット１０は、本実施の形態では産業用ロボットである。ロボット１０は、基台１３上に固定して配置されるが、搬送装置等の移動可能な装置に配置され、移動できるように構成されてもよい。ロボット１０は、処理の対象物に対して作用を加える作用部としてのエンドエフェクタ１１と、当該作用を実行するようにエンドエフェクタ１１を動かす動作部としてのロボットアーム１２とを備える。本実施の形態では、エンドエフェクタ１１は、対象物に対して研削の作用を加えるように構成されるとして、以下の説明を行う。このようなエンドエフェクタ１１は、対象物に対して研削を施す研削装置１１ａを備え、ロボットアーム１２の先端に取り付けられる。なお、エンドエフェクタ１１の作用は、研削に限定されず、いかなる作用であってもよい。例えば、エンドエフェクタ１１の作用は、作用の進捗に伴って、作用対象の位置及び姿勢の少なくとも一方が変わる作用であってもよい。

本明細書及び特許請求の範囲において、「研削」は、対象物の不要な部分を除去することで所要の寸法及び形状等にする加工である切削と、対象物の表面を削り取ることで所要の寸法、形状及び表面粗さ等にする加工である研削と、対象物の表面を滑らかにする加工である研磨とを含み得る。

研削装置１１ａの例は、グラインダ、オービタルサンダ、ランダムオービットサンダ、デルタサンダ及びベルトサンダ等の電力又は空気圧を動力源とする研削装置であるが、これに限定されない。グラインダは、円盤状の研削砥石を回転させるタイプ、円錐状又は柱状の研削砥石を回転させるタイプ等のグラインダであってもよい。

本実施の形態では、「研削」は、金属製の対象物Ｗの研削対象領域ＷＡ内の不要な部分を削り取り、研削対象領域ＷＡの表面を滑らかにする加工であるとし、研削装置１１ａは、円盤状の研削砥石１１ｂを備える電動ディスクグラインダであるとして以下の説明を行う。研削対象領域ＷＡ内の不要な部分の例は、対象物Ｗの溶接ビードのような溶接痕等である。研削装置１１ａは、回転する研削砥石１１ｂが研削対象領域ＷＡ内の溶接痕等に押し当てられることで、当該溶接痕及びその周辺を研削する。図１に示される対象物Ｗは、大型タンクの壁である。

ロボットアーム１２は、その先端の研削装置１１ａの位置及び／又は姿勢を変更することができる構成を有すれば、特に限定されないが、本実施の形態では、垂直多関節型ロボットアームである。なお、ロボットアーム１２は、例えば、水平多関節型、極座標型、円筒座標型、直角座標型、又はその他の型式のロボットアームとして構成されてもよい。

ロボットアーム１２は基台１３に固定される。ロボットアーム１２は、その基部から先端に向かって順に配置されたリンク１２ａ〜１２ｆと、リンク１２ａ〜１２ｆを順次回転可能に接続する関節ＪＴ１〜ＪＴ６と、関節ＪＴ１〜ＪＴ６それぞれを回転駆動するアーム駆動装置Ｍ１〜Ｍ６とを備える。リンク１２ａは関節ＪＴ１を介して基台１３に取り付けられる。リンク１２ｆの先端部はメカニカルインタフェースを構成し、エンドエフェクタ１１と接続される。アーム駆動装置Ｍ１〜Ｍ６の動作は制御装置２０によって制御される。アーム駆動装置Ｍ１〜Ｍ６はそれぞれ、電力を動力源とし、これらを駆動する電気モータとしてサーボモータＭａ(図４参照)を有するが、これに限定されない。なお、ロボットアーム１２の関節の数量は６つに限定されず、７つ以上又は５つ以下であってもよい。

図２は、実施の形態に係るエンドエフェクタ１１の構成の一例を示す側面図である。図２に示すように、エンドエフェクタ１１は、研削装置１１ａと、研削砥石１１ｂと、取付具１１ｃと、力センサ１１ｅとを備える。取付具１１ｃは、研削装置１１ａを支持し且つリンク１２ｆと接続されるように構成され、研削装置１１ａをリンク１２ｆに取り付ける。力センサ１１ｅは、取付具１１ｃとリンク１２ｆとの間に配置され、取付具１１ｃからリンク１２ｆに作用する力である反力を検出し制御装置２０に出力する。反力は、研削作業時に研削装置１１ａが対象物Ｗから受ける力である。本実施の形態では、力センサ１１ｅは、直交する３軸方向の力と当該３軸周りの回転力であるモーメントとの６軸の力を検出するが、これに限定されず、例えば、１軸、２軸又は３軸方向の力のみを検出してもよい。例えば、上記３軸の１つは、リンク１２ｆの捻れ回転軸Ｓ６と同一であってもよい。

図１及び図２に示すように、撮像装置３０は、ロボットアーム１２のリンク１２ｅに配置される。撮像装置３０は、カメラ（図示略）を備え、被写体を照明するためのＬＥＤ（light emitting diode）及びストロボ等の光源をさらに備えてもよい。撮像装置３０のカメラは、捻れ回転軸Ｓ６の軸方向に沿い且つエンドエフェクタ１１に向かう方向に指向され、研削対象領域ＷＡ及びその周辺を撮像することができる。なお、撮像装置３０の位置は、研削対象領域ＷＡを撮像できる位置であればよく、リンク１２ｅ以外のロボットアーム１２上の位置、又は、ロボットアーム１２の外部の位置であってもよい。撮像装置３０は、制御装置２０の指令に従って、カメラに撮像動作をさせる。撮像装置３０は、カメラによって撮像された画像の信号等を制御装置２０に送る。なお、以下の説明において、カメラが撮像することを、撮像装置３０が撮像すると表現する場合がある。

撮像装置３０のカメラは、被写体までの距離等の撮像装置３０に対する被写体の３次元空間内の位置である３次元位置等を検出するための画像を撮像する。例えば、当該カメラは、デジタル画像を撮像するカメラであり、ステレオカメラ、単眼カメラ、ＴＯＦカメラ（トフカメラ：Time-of-Flight-Camera）、縞投影等のパターン光投影カメラ、又は光切断法を用いたカメラ等の構成を有してもよい。本実施の形態では、撮像装置３０のカメラはステレオカメラである。撮像装置３０は距離検出装置の一例である。

図３は、実施の形態に係る操作入力装置４０の操作装置４００の構成の一例を示す斜視図である。図４は、実施の形態に係るロボットシステム１の機能的な構成の一例を示すブロック図である。図１、図３及び図４に示すように、操作入力装置４０は、ロボット１０から離れて配置され、ロボットシステム１を管理及び／又は操作するユーザＰによる指令、データ及び情報等の入力を受け付け、当該指令、データ及び情報等を制御装置２０に出力する。操作入力装置４０は制御装置２０と有線通信又は無線通信を介して接続される。有線通信及び無線通信の形式はいかなる形式であってもよい。

操作入力装置４０は、操作装置４００と、入力装置４１０と、操作制御装置４２０とを備える。操作制御装置４２０は、操作入力装置４０全体の動作を制御し、制御装置２０と情報、指令及びデータ等の送受信を行う。操作装置４００は、ロボット１０を手動運転で操作するための入力を受け付け、入力された情報である操作情報を操作制御装置４２０に出力する。また、操作装置４００は、操作制御装置４２０の制御によって、操作装置４００を操作しているユーザＰに、操作力に対する反力を与える。入力装置４１０は、情報、指令及びデータ等の入力を受け付け、操作制御装置４２０に出力する。例えば、入力装置４１０は、レバー、ボタン、キー、タッチパネル、ジョイスティック、モーションキャプチャ等の既知の入力装置を備えてもよい。入力装置４１０は、撮像装置３０の動作、制御モードの切り替え、研削の対象物の情報及び研削対象領域の情報等の入力を受け付ける。研削対象領域の情報は、研削対象領域の数量、位置、姿勢、形状及び寸法等の情報を含んでもよい。

図３に示すように、操作装置４００は、把持部４０１と、支持部４０２と、アーム４０３と、モータ４０４と、力センサ４０５とを備える。把持部４０１は、ユーザＰによって把持可能であるように構成される。本実施の形態では、把持部４０１は、研削装置１１ａであるグラインダと同様の形状を有するが、これに限定されない。把持部４０１は、ユーザＰが握ることができる２つのハンドル部４０１ａ及び４０１ｂを含む。ユーザＰは、研削装置１１ａを把持して実際に研削するようにハンドル部４０１ａ及び４０１ｂを握った状態で把持部４０１を移動させることによって、ロボット１０を操作し研削動作させる。また、把持部４０１は、研削装置１１ａの操作等のための押しボタン等の入力部４０１ｃを含む。把持部４０１は操作端の一例である。

支持部４０２は、把持部４０１を支持する。力センサ４０５は、把持部４０１と支持部４０２との間に配置され、この間に作用する力を検出する。具体的には、力センサ４０５は、直交する３軸方向の力と当該３軸周りの回転力であるモーメントとの６軸の力を検出する。例えば、上記３軸の１つは、把持部４０１から支持部４０２に向かう軸であってもよい。力センサ４０５は操作検出部の一例である。

支持部４０２は、６つのアーム４０３によって移動可能に支持されている。６つのアーム４０３は、３つのペアで構成される。３つのペアのアーム４０３は、支持部４０２から３方向に放射状に延びる。各アーム４０３は、関節４０３ａを有し、関節４０３ａを中心に屈曲可能である。各アーム４０３の一端は、ボールジョイント等の自在継手を介して、直交する３軸周りに回動可能に支持部４０２と接続される。各アーム４０３の他端は、支持部４０２の下方の支持台４０６の表面４０６ａ上に配置されたモータ４０４の回転軸と、減速機等（図示略）を介して接続される。各アーム４０３の関節４０３ａは、当該アーム４０３を構成する２つの柱状部材を、ボールジョイント等の自在継手を介して、直交する３軸周りに回動可能に接続する。

６つのモータ４０４が支持台４０６上に配置されている。６つのモータ４０４は、３つのペアで構成される。各ペアのモータ４０４は、それぞれの回転軸が同軸となるように配置され、１つのペアのアーム４０３と接続される。３つのペアのモータ４０４は、それぞれの回転軸が三角形の各辺を構成するように配置されている。各モータ４０４は、サーボモータ等で構成される。

上述のような把持部４０１は、３次元空間内で様々な位置及び姿勢をとることができる。そして、把持部４０１の位置及び姿勢に対応して、各アーム４０３が動作し各モータ４０４を回転させる。把持部４０１の位置及び姿勢に対応する６つのモータ４０４の回転量つまり回転角は、一義的に定まる。

本実施の形態では、制御装置２０は、操作装置４００とロボット１０との間で位置、姿勢及び力の状態を対応させるようにバイラテラル方式での力覚制御を行う。各モータ４０４は、サーボモータの回転子の回転量を検出するエンコーダ等の回転センサ（図示略）と、サーボモータの駆動電流を検出する電流センサ（図示略）とを備える。操作制御装置４２０は、力センサ４０５の６軸の力の検出信号（以下、「力信号」とも呼ぶ）を含む操作情報を、位置、姿勢、位置及び姿勢の移動速度並びに力を指令する操作指令として制御装置２０に出力し、制御装置２０は、各モータ４０４の回転センサ及び電流センサの検出信号（以下、「回転信号」及び「電流信号」とも呼ぶ）を、ユーザＰの操作力に対する反力をモータ４０４に発生させるためのフィードバック情報として用いる。操作指令は、操作情報の一例である。

制御装置２０は、操作指令を用いて後述する動作指令等を生成する。動作指令は、操作指令に従ったエンドエフェクタ１１の３次元位置、姿勢、位置及び姿勢の移動速度並びに作用力等の指令を含む。さらに、制御装置２０は、エンドエフェクタ１１の力センサ１１ｅの検出信号が示す６軸の力データと操作装置４００のフィードバック情報とに基づいて、各モータ４０４の出力トルクを制御する。つまり、制御装置２０は６つのモータ４０４をサーボ制御する。制御装置２０は、ユーザＰによる把持部４０１の操作力に対し、上記力データに対応した反力を発生させるように各モータ４０４の出力トルクを制御する。

また、操作装置４００の構成は、図３の構成に限定されず、例えば、ユーザＰによって特定の部位に力を加える操作が行われると、当該操作の操作情報を検出することができる構成であればよい。例えば、操作装置４００において、把持部４０１が固定されており、把持部４０１に加えられる力が力センサ４０５によって検出され、力センサ４０５の力信号が操作情報として検出されてもよい。又は、操作装置４００において、力が加えられることによって移動する把持部４０１の位置及び姿勢の移動量が操作情報として検出されてもよい。上記移動量は各モータ４０４の回転量から検出されてもよい。さらに、操作情報として、把持部４０１に加えられる力が、各モータ４０４の負荷から検出されてもよい。又は、操作装置４００は、ロボットアーム１２と類似するマスタロボットで構成され、ロボット１０がスレーブロボットとして制御されるように構成されてもよい。又は、操作装置４００は、ジョイスティック等であってもよい。

提示装置５０は、制御装置２０から受け取るロボットシステム１を動作させるための画像及び音声等を、ロボットシステム１のユーザＰに提示する。提示装置５０の例は、液晶ディスプレイ（Liquid Crystal Display）及び有機又は無機ＥＬディスプレイ（Electro-Luminescence Display）等であるが、これらに限定されない。提示装置５０は、音声を発するスピーカを備えてもよい。例えば、提示装置５０は、撮像装置３０によって撮像された画像を、操作入力装置４０を操作するユーザＰに提示する。

［制御装置のハードウェア構成］
制御装置２０のハードウェア構成を説明する。図５は、実施の形態に係る制御装置２０のハードウェア構成の一例を示すブロック図である。図５に示すように、制御装置２０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、メモリ２０４と、入出力Ｉ／Ｆ（インタフェース：Interface）２０５及び２０６と、駆動Ｉ／Ｆ２０７及び２０８と、撮像素子Ｉ／Ｆ２０９とを構成要素として含む。上記構成要素はそれぞれ、バス、有線通信又は無線通信を介して接続されている。なお、上記構成要素の全てが必須ではない。

例えば、ＣＰＵ２０１はプロセッサであり、制御装置２０の動作の全体を制御する。ＲＯＭ２０２は不揮発性半導体メモリ等で構成され、ＣＰＵ２０１に動作を制御させるためのプログラム及びデータ等を格納する。ＲＡＭ２０３は揮発性半導体メモリ等で構成され、ＣＰＵ２０１で実行するプログラム及び処理途中又は処理済みのデータ等を一時的に格納する。メモリ２０４は、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク（ＨＤＤ：Hard Disc Drive）及びＳＳＤ（Solid State Drive）等の記憶装置で構成され、種々の情報を記憶する。

例えば、ＣＰＵ２０１が動作するためのプログラムは、ＲＯＭ２０２又はメモリ２０４に予め保持されている。ＣＰＵ２０１は、ＲＯＭ２０２又はメモリ２０４からプログラムをＲＡＭ２０３に読み出して展開する。ＣＰＵ２０１は、ＲＡＭ２０３に展開されたプログラム中のコード化された各命令を実行する。

制御装置２０の各機能は、ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３等からなるコンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。

このような制御装置２０は、例えば、マイクロコントローラ、ＭＰＵ（Micro Processing Unit）、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ、ＰＬＣ（Programmable Logic Controller）、論理回路等で構成されてもよい。制御装置２０の複数の機能は、個別に１チップ化されることで実現されてもよく、一部又は全てを含むように１チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

撮像素子Ｉ／Ｆ２０９は、ＣＰＵ２０１の指令に従って、撮像装置３０のカメラの撮像素子（図示略）の駆動を制御する。撮像素子Ｉ／Ｆ２０９は、撮像装置３０によって撮像された画像の信号をＲＡＭ２０３又はメモリ２０４に取り込む。制御装置２０の内部又は外部において、撮像装置３０の駆動のための回路等が、撮像素子Ｉ／Ｆ２０９と撮像装置３０との間に設けられてもよい。

第１入出力Ｉ／Ｆ２０５は、操作入力装置４０と接続され、情報、データ及び指令等の信号を入出力する。信号を変換及び増幅等する回路等が、制御装置２０の内部又は外部における第１入出力Ｉ／Ｆ２０５と操作入力装置４０との間に設けられもよい。

第２入出力Ｉ／Ｆ２０６は、提示装置５０と接続され、画面データ、音声データ、情報及び指令等の信号を入出力する。信号を変換及び増幅等する回路等が、制御装置２０の内部又は外部における第２入出力Ｉ／Ｆ２０６と提示装置５０との間に設けられもよい。

第１駆動Ｉ／Ｆ２０７は、ロボット１０のアーム駆動装置Ｍ１〜ＭＡ６と接続され、情報及び指令等の信号を入出力する。アーム駆動回路（図示略）が、制御装置２０の内部又は外部における第１駆動Ｉ／Ｆ２０７とアーム駆動装置Ｍ１〜ＭＡ６との間に設けられる。アーム駆動回路は、ＣＰＵ２０１の指令に従って、アーム駆動装置Ｍ１〜ＭＡ６のサーボモータＭａに電力を供給し各サーボモータＭａの駆動を制御する。

第２駆動Ｉ／Ｆ２０８は、エンドエフェクタ１１の研削装置１１ａと接続され、情報及び指令等の信号を入出力する。研削駆動回路（図示略）が、制御装置２０の内部又は外部における第２駆動Ｉ／Ｆ２０８と研削装置１１ａとの間に設けられる。研削駆動回路は、ＣＰＵ２０１の指令に従って、研削装置１１ａに電力を供給し研削装置１１ａの駆動を制御する。

［ロボットシステムの機能的構成］
ロボットシステム１の機能的構成を説明する。図４に示すように、操作入力装置４０の操作制御装置４２０は、入力処理部４２１と動作制御部４２２とを機能的構成要素として含む。制御装置２０は、撮像制御部２０ａと、画像処理部２０ｂ及び２０ｃと、座標系検出部２０ｄと、決定部２０ｅ及び２０ｆと、動作指令部２０ｇ及び２０ｈと、動作制御部２０ｉと、動作情報処理部２０ｊと、記憶部２０ｐとを機能的構成要素として含む。上記機能的構成要素の全てが必須ではない。

操作制御装置４２０の入力処理部４２１及び動作制御部４２２の機能は、ＣＰＵ等のコンピュータシステム、ハードウェア回路、又は、コンピュータシステム及びハードウェア回路の組み合わせによって実現される。制御装置２０の記憶部２０ｐを除く機能的構成要素の機能は、ＣＰＵ２０１等によって実現され、記憶部２０ｐの機能は、メモリ２０４、ＲＯＭ２０２及び／又はＲＡＭ２０３によって実現される。

操作制御装置４２０の入力処理部４２１は、入力装置４１０、力センサ４０５及びモータ４０４から受け取る情報、データ及び指令等を制御装置２０に出力する。例えば、入力処理部４２１は、入力装置４１０から、撮像装置３０の動作の指令、対象物座標系の変更の指令、制御モードの切り替えの指令、研削の対象物の情報及び研削対象領域の情報等を受け取る。撮像装置３０の動作の指令は、撮像開始、撮像終了及び撮像タイミングの指令等を含む。対象物座標系の切り替えの指令は、研削の対象領域に設定される座標系である対象物座標系を変更する指令、変更された対象物座標系を元に戻す指令等を含む。制御モードの切り替えの指令は、対象物座標系を自動的に変更する制御モードと自動的な変更を実行しない制御モードの指令との切り替え等を含む。

また、入力処理部４２１は、力センサ４０５の力信号から６軸の力の検出値を検出する。さらに、入力処理部４２１は、６軸の力の検出値、又は、６軸の力の検出値の演算処理値を制御装置２０に出力する。例えば、入力処理部４２１は、６軸の力の検出値を演算処理することで、エンドエフェクタ１１に対する操作指令を生成し制御装置２０に出力する。操作指令は、エンドエフェクタ１１の位置の変化量、変化方向及び変化速度、並びに、姿勢の変化量、変化方向及び変化速度等を指令する操作位置指令と、エンドエフェクタ１１が対象物に加える作用力の大きさ及び方向等を指令する操作力指令とを含む。

また、入力処理部４２１は、各モータ４０４から回転センサ及び電流センサの検出信号を受け取り、当該検出信号から各モータ４０４の回転量及び電流値を検出し、フィードバック情報として制御装置２０に出力する。

動作制御部４２２は、制御装置２０の第２動作指令部２０ｈから受け取るモータ動作指令に従って、各モータ４０４の駆動を制御する。動作制御部４２２は、上記動作指令に従って、各モータ４０４に回転負荷（「負荷トルク」とも呼ばれる）を発生させる。この回転負荷は、ユーザＰが操作装置４００の把持部４０１に与える操作力に対して反力として作用する。これにより、ユーザＰは、例えば、対象物から反力を受けているように把持部４０１から反力を感じつつ、把持部４０１を操作することができる。

制御装置２０の記憶部２０ｐは、種々の情報を記憶し、記憶している情報の読み出しを可能にする。例えば、記憶部２０ｐは、操作入力装置４０の入力装置４１０を介して入力される情報等を記憶する。また、記憶部２０ｐは、画像処理に用いられる情報として、撮像装置３０のカメラの外部パラメタと内部パラメタと含むカメラパラメタを記憶する。外部パラメタの例は、カメラの位置（３次元位置）及び向き（光軸中心の向き）等を示すパラメタである。内部パラメタの例は、カメラのレンズの歪み、焦点距離、撮像素子の１画素のサイズ及び光軸中心の画素座標等を示すパラメタである。また、記憶部２０ｐは、ロボット１０によって研削処理される対象物と当該対象物の研削対象領域の位置、形状及び寸法等とを関連付けて記憶してもよい。また、記憶部２０ｐは、撮像装置３０によって撮像された画像データ、当該画像データの処理画像データ及び／又はプログラム等を記憶してもよい。

また、記憶部２０ｐは、第１座標系関係２０ｐａと第２座標系関係２０ｐｂとを記憶する。第１座標系関係２０ｐａは、ロボット１０に設定されたロボット座標系Ｃｒと対象物に設定された対象物座標系Ｃｗとの関係である。第２座標系関係２０ｐｂは、操作装置４００に設定された操作座標系Ｃｃと対象物座標系Ｃｗとの関係である。なお、記憶部２０ｐは、ロボット座標系Ｃｒ、操作座標系Ｃｃ及び対象物座標系Ｃｗも記憶していてもよい。ロボット座標系Ｃｒはスレーブ座標系の一例であり、操作座標系Ｃｃはマスタ座標系の一例である。

ここで、各座標系を説明する。図６は、図１のロボットシステム１における各座標系の一例を示す図である。図６に示すように、ロボット座標系Ｃｒは、ロボット１０を基準とする座標系である。本実施の形態では、ロボット座標系Ｃｒは、ロボットアーム１２が据え付けられる基台１３を基準とする座標系である。ロボット座標系Ｃｒでは、Ｘｒ軸、Ｙｒ軸及びＺｒ軸が定義される。例えば、Ｘｒ軸及びＹｒ軸は、基台１３の表面１３ａに沿って延び且つ互いに直交する。Ｚｒ軸は、Ｘｒ軸及びＹｒ軸に垂直に、つまり表面１３ａに垂直に延びる。例えば、ロボット座標系Ｃｒの原点Ｏｒは、関節ＪＴ１の回転中心軸Ｓ１と表面１３ａとの交点である。表面１３ａから上方に向かう方向はＺｒ軸正方向であり、その反対方向はＺｒ軸負方向である。ロボット座標系Ｃｒの原点Ｏｒの位置並びにＸｒ軸、Ｙｒ軸及びＺｒ軸の方向ベクトルは、ワールド座標系を用いて定義される。

これに限定されないが、本実施の形態では、ロボット１０が配置される空間に設定されるワールド座標系のＸ軸、Ｙ軸及びＺ軸はそれぞれ、ロボット座標系ＣｒのＸｒ軸、Ｙｒ軸及びＺｒ軸と同じである。

対象物座標系Ｃｗは、対象物Ｗの特定の点及び面を基準とする座標系である。本実施の形態では、対象物座標系Ｃｗは、研削対象領域ＷＡがある対象物Ｗの表面に沿う面を基準面とし、研削対象領域ＷＡ内の特定の点を基準点とする。図６では、対象物Ｗの内表面Ｗ１上の研削対象領域ＷＡ内の点Ｏｗ１が基準点であり、点Ｏｗ１を通り且つ内表面Ｗ１に平行な平面ＰＬ１が基準面である。対象物座標系Ｃｗでは、Ｘｗ軸、Ｙｗ軸及びＺｗ軸が定義され、対象物座標系Ｃｗの１つである対象物座標系Ｃｗ１では、Ｘｗ１軸、Ｙｗ１軸及びＺｗ１軸が定義される。Ｘｗ１軸及びＹｗ１軸は、平面ＰＬ１に含まれ且つ点Ｏｗ１で互いに直交する。Ｚｗ１軸は、点Ｏｗ１でＸｗ１軸及びＹｗ１軸と直交する。内表面Ｗ１から内方に向かう方向はＺｗ１軸正方向であり、その反対方向はＺｗ１軸負方向である。対象物座標系Ｃｗの原点Ｏｗの位置並びにＸｗ軸、Ｙｗ軸及びＺｗ軸の方向ベクトルは、ワールド座標系を用いて定義される。

操作座標系Ｃｃは、操作装置４００を基準とする座標系である。本実施の形態では、操作座標系Ｃｃは、操作装置４００に対して固定された面を基準面とし、基準面上の特定の点を基準点とする。図６では、支持台４０６の表面４０６ａが基準面であり、表面４０６ａ上の特定の点Ｏｃが基準点である。操作座標系Ｃｃでは、Ｘｃ軸、Ｙｃ軸及びＺｃ軸が定義される。Ｘｃ軸及びＹｃ軸は、表面４０６ａに含まれ且つ点Ｏｃで互いに直交する。Ｚｃ軸は、点ＯｃでＸｃ軸及びＹｃ軸と直交する。表面４０６ａから把持部４０１に向かう方向はＺｃ軸正方向であり、その反対方向はＺｃ軸負方向である。操作座標系Ｃｃは、ワールド座標系と関連付けられてもよく関連付けられなくてもよい。

第１座標系関係２０ｐａは、ロボット座標系Ｃｒと対象物座標系Ｃｗとの関係である。例えば、第１座標系関係２０ｐａは、ロボット座標系Ｃｒと対象物座標系Ｃｗとの位置及び姿勢の関係であってもよい。例えば、上記関係は、座標軸の位置及び姿勢の関係であってもよい。座標軸の位置及び姿勢の関係は、ワールド座標系を基準とするロボット座標系ＣｒのＸｒ軸、Ｙｒ軸及びＺｒ軸と、対象物座標系ＣｗのＸｗ軸、Ｙｗ軸及びＺｗ軸との位置及び姿勢の関係であってもよい。又は、座標軸の位置及び姿勢の関係は、ロボット座標系を基準とするＸｒ軸、Ｙｒ軸及びＺｒ軸とＸｗ軸、Ｙｗ軸及びＺｗ軸との位置及び姿勢の関係であってもよい。

例えば、図６では、第１座標系関係２０ｐａは、Ｘｒ軸とＸｗ１軸とが平行であり且つ同じ向きであることと、Ｙｒ軸とＹｗ１軸とが平行であり且つ同じ向きであることと、Ｚｒ軸とＺｗ１軸とが平行であり且つ同じ向きであることとを示す。さらに、第１座標系関係２０ｐａは、ロボット座標系Ｃｒの原点Ｏｒと対象物座標系Ｃｗ１の原点Ｏｗ１との位置関係も示す。例えば、ロボット１０がエンドエフェクタ１１をＹｒ軸正方向に移動させる場合、エンドエフェクタ１１はＹｗ１軸正方向に移動する。

第２座標系関係２０ｐｂは、操作座標系Ｃｃと対象物座標系Ｃｗとの関係である。例えば、第２座標系関係２０ｐｂは、操作座標系Ｃｃと対象物座標系Ｃｗとの間での座標の対応関係であってもよい。座標の対応関係は、操作座標系ＣｃのＸｃ軸、Ｙｃ軸及びＺｃ軸と対象物座標系ＣｗのＸｗ軸、Ｙｗ軸及びＺｗ軸との対応関係等の座標軸の対応関係であってもよく、操作座標系Ｃｃと対象物座標系Ｃｗとの間の座標点の対応関係であってもよい。座標軸の対応関係の例は、Ｘｃ軸がＸｗ軸に対応し、Ｙｃ軸がＹｗ軸に対応し、Ｚｃ軸がＺｗ軸に対応する関係である。なお、Ｘｃ軸、Ｙｃ軸及びＺｃ軸はそれぞれ、上記と異なるＸｗ軸、Ｙｗ軸及びＺｗ軸と対応してもよく、Ｘｗ軸、Ｙｗ軸及びＺｗ軸以外の対象物座標系Ｃｗ内の軸と対応してもよい。座標点の対応関係の例は、操作座標系Ｃｃの座標点（Ｘｃｋ，Ｙｃｋ，Ｚｃｋ）（ｋ：１以上の整数）がそれぞれ対象物座標系Ｃｗの座標点（Ｘｗｋ，Ｙｗｋ，Ｚｗｋ）に対応する関係である。

例えば、図６では、第２座標系関係２０ｐｂは、Ｘｃ軸正方向及び負方向がそれぞれＸｗ１軸正方向及び負方向に対応し、Ｙｃ軸正方向及び負方向がそれぞれがＹｗ１軸正方向及び負方向に対応し、Ｚｃ軸正方向及び負方向がそれぞれがＺｗ１軸正方向及び負方向に対応することを示す。例えば、把持部４０１をＹｃ軸正方向に移動させる指令は、エンドエフェクタ１１をＹｗ１軸正方向に移動させる指令である。

撮像制御部２０ａは、撮像装置３０の動作を制御し、撮像装置３０によって撮像された画像データを取得する。撮像制御部２０ａは、ステレオカメラを備える撮像装置３０によって同時刻に撮像された２つの画像データを対応付けて画像処理部２０ｂ及び２０ｃ等に出力する。撮像装置３０によって画像を撮像すること、及び、撮像装置３０によって撮像された画像データを取得することは、撮像装置３０によって撮像された１つの静止画像データを取得すること、及び、撮像装置３０によって撮像された動画データから１フレームの静止画像データを取得することを含む。例えば、撮像制御部２０ａは、所定のタイミング又は所定の時間周期等で撮像装置３０に撮像させる。例えば、所定のタイミングは、予め設定されたタイミング、及び操作入力装置４０を介してユーザＰによって指定されたタイミング等であってもよい。例えば、予め設定されたタイミングは、時間的なタイミング、及び研削作業の進捗に対応したタイミング等であってもよい。

第１画像処理部２０ｂは、撮像制御部２０ａから取得された画像データを処理することで、当該画像データに写し出される被写体の各位置の３次元位置を検出し、各位置の３次元位置を表す画像データである３次元画像データを生成する。具体的には、第１画像処理部２０ｂは、撮像装置３０によって同時刻に撮像された２つの画像データそれぞれに写し出される対象物Ｗの研削対象領域ＷＡを特定する。例えば、第１画像処理部２０ｂは、記憶部２０ｐに記憶される研削対象領域ＷＡの形状とのパターンマッチング手法等で比較することにより、各画像データにおいて研削対象領域ＷＡのエッジを抽出してもよい。さらに、第１画像処理部２０ｂは、記憶部２０ｐに記憶されるカメラパラメタを用いたステレオマッチング手法等で画像処理することにより、当該２つの画像データの少なくとも一方の研削対象領域ＷＡ内において、少なくとも３つの画素に写し出される被写体と撮像装置３０との距離を検出する。さらに、第１画像処理部２０ｂは、距離が検出された各画素に写し出される被写体について、ロボットシステム１が存在する３次元空間内での３次元位置を検出する。第１画像処理部２０ｂは検出結果を座標系検出部２０ｄに出力する。

第２画像処理部２０ｃは、撮像制御部２０ａから取得された画像データを提示装置５０に出力し表示させる。第２画像処理部２０ｃは、第１画像処理部２０ｂから処理済みの画像データを取得し、研削対象領域ＷＡの３次元形状を表す画像データを提示装置５０に出力してもよい。例えば、上記画像データは、各画素の画素値が撮像装置３０から被写体までの距離値である距離画像等であってもよい。距離値は、画素の濃淡又は色で表されてもよい。

座標系検出部２０ｄは、第１画像処理部２０ｂから取得される研削対象領域ＷＡの少なくとも３つの画素の３次元位置を用いて、研削対象領域ＷＡの新たな対象物座標系Ｃｗｄを検出し、決定部２０ｅ及び２０ｆに出力する。このとき、座標系検出部２０ｄは、新たな対象物座標系Ｃｗｄの原点Ｏｗｄの位置、並びに、Ｘｗｄ軸、Ｙｗｄ軸及びＺｗｄ軸の方向ベクトルをワールド座標系で検出する。座標系検出部２０ｄは座標系決定部の一例である。

具体的には、座標系検出部２０ｄは、少なくとも３つの画素に写し出される被写体の３次元位置が３次元空間内で形成する平面を検出し、当該平面を対象物座標系ＣｗｄのＸｗｄＹｗｄ平面に決定し、当該平面に垂直な軸をＺｗｄ軸に決定する。例えば、座標系検出部２０ｄは、上記平面に沿ったＸｒ軸方向の軸をＸｗｄ軸に決定し、Ｘｒ軸正方向に向かう方向をＸｗｄ軸正方向に決定してもよい。さらに、座標系検出部２０ｄは、上記平面に沿ったＹｒ軸方向の軸をＹｗｄ軸に決定し、Ｙｒ軸正方向に向かう方向をＹｗｄ軸正方向に決定してもよい。さらに、座標系検出部２０ｄは、Ｚｗｄ軸について、上記平面から基台１３に向かう方向をＺｗｄ軸正方向に決定してもよい。

なお、上記平面の検出方法は、既知のいかなる方法であってもよい。例えば、座標系検出部２０ｄは、少なくとも３つの画素に写し出される被写体の３次元位置を通る平面をＸｗｄＹｗｄ平面に決定してもよい。又は、座標系検出部２０ｄは、少なくとも３つの画素に写し出される被写体の３次元位置又はその近傍を通る平面、つまり、少なくとも３つの上記３次元位置に近似する平面をＸｗｄＹｗｄ平面に決定してもよい。又は、例えば、座標系検出部２０ｄは、少なくとも３つの画素に写し出される被写体の３次元位置を通る曲面を検出し、当該曲面の法線に垂直であり且つ当該曲面と交点を有する平面をＸｗｄＹｗｄ平面に決定してもよい。例えば、図７では、座標系検出部２０ｄは、３つの画素に写し出される被写体の３次元位置を通る平面を検出し、当該平面の法線方向であるＹｒ軸方向で対象物Ｗの内表面Ｗ２と接する平面ＰＬ２をＸｗ２Ｙｗ２平面に決定する。内表面Ｗ２は、鉛直方向に延びる曲面である。なお、図７は、図６のロボットシステム１における各座標系の移動例を示す図である。

座標系検出部２０ｄは、対象物座標系Ｃｗを変更する指令を操作入力装置４０を介して受け取った場合、第１画像処理部２０ｂから取得される少なくとも３つの画素の３次元位置から検出される対象物座標系Ｃｗｄを新たな対象物座標系Ｃｗに決定し決定部２０ｅ及び２０ｆに出力する。

又は、座標系検出部２０ｄは、対象物座標系Ｃｗを自動的に変更する制御モードにおいて、第１画像処理部２０ｂから取得される少なくとも３つの画素の３次元位置から対象物座標系Ｃｗｄを検出し、現状の対象物座標系Ｃｗｐと検出された対象物座標系Ｃｗｄとの差異を検出する。座標系検出部２０ｄは、対象物座標系Ｃｗｄ及びＣｗｐそれぞれの原点Ｏｗｄ及びＯｗｐの位置の差異が第１閾値以上であることと、対象物座標系Ｃｗｄ及びＣｗｐの姿勢の差異が第２閾値以上であることとの一方又は両方が満たされる場合、検出された対象物座標系Ｃｗｄを新たな対象物座標系に決定し決定部２０ｅ及び２０ｆに出力する。例えば、対象物座標系Ｃｗｄ及びＣｗｐの姿勢の差異が第２閾値以上であることは、それぞれのＸｗｄ軸及びＸｗｐ軸の方向角の差異、Ｙｗｄ軸及びＹｗｐ軸の方向角の差異、及び、Ｚｗｄ軸及びＺｗｐ軸の方向角の差異のうちの１つ、２つ又は３つが第２閾値以上であることであってもよい。

例えば、図７及び図８に示すように、図７のＸｗ２軸、Ｙｗ２軸及びＺｗ２軸の現状の対象物座標系Ｃｗ２に対して、検出後の対象物座標系Ｃｗ３がＸｗ３軸、Ｙｗ３軸及びＺｗ３軸で構成される場合、対象物座標系Ｃｗ２及びＣｗ３間でのＹｗ軸及びＺｗ軸の方向角の差異が第２閾値以上である。一方、対象物座標系Ｃｗ２及びＣｗ３間での原点Ｏｗの位置の差異は第１閾値未満である。この場合、座標系検出部２０ｄは、対象物座標系Ｃｗ３を新たな対象物座標系に決定する。なお、図８は、図６のロボットシステム１における各座標系の移動例を示す図である。

第１決定部２０ｅは、座標系検出部２０ｄの検出結果に基づき新たな第１座標系関係２０ｐａを決定し、記憶部２０ｐに記憶される第１座標系関係２０ｐａを更新する。第１決定部２０ｅは、座標系検出部２０ｄから新たな対象物座標系Ｃｗｄを受け取ると、新たな対象物座標系Ｃｗｄとロボット座標系Ｃｒとの関係を新たな第１座標系関係２０ｐａに決定する。例えば、第１決定部２０ｅは、新たな対象物座標系Ｃｗｄとロボット座標系Ｃｒとの位置及び姿勢の関係に基づき、新たな第１座標系関係２０ｐａを決定してもよい。例えば、第１決定部２０ｅは、新たな対象物座標系Ｃｗｄとロボット座標系Ｃｒとの新たな関係を示す関係式を演算し、現状の対象物座標系Ｃｗｐとロボット座標系Ｃｒとの現状の関係を示す関係式を新たな関係式で置き換える。例えば、第１決定部２０ｅは、現状の関係式を「Ｃｗｐ＝Ｍ１ｐ・Ｃｒ」として関数「Ｍ１ｐ」を演算し、新たな関係式を「Ｃｗｄ＝Ｍ１ｄ・Ｃｒ」として関数「Ｍ１ｄ」を演算し、関係式の置き換え、つまり更新をする。例えば、関数「Ｍ１ｄ」及び「Ｍ１ｐ」は、座標軸を平行移動及び回転等する座標変換の関数であってもよい。

よって、第１決定部２０ｅは、対象物座標系Ｃｗｐが対象物座標系Ｃｗｄに移動された場合、移動後の対象物座標系Ｃｗｄとロボット座標系Ｃｒとの関係を新たな第１座標系関係２０ｐａに決定する。なお、対象物座標系Ｃｗｐが移動されるとは、対象物座標系Ｃｗｐの位置及び姿勢の少なくとも一方が移動されることであってもよい。

第２決定部２０ｆは、座標系検出部２０ｄの検出結果に基づき新たな第２座標系関係２０ｐｂを決定し、記憶部２０ｐに記憶される第２座標系関係２０ｐｂを更新する。第２決定部２０ｆは、座標系検出部２０ｄから新たな対象物座標系Ｃｗｄを受け取ると、新たな対象物座標系Ｃｗｄと操作座標系Ｃｃとの関係を、現状の対象物座標系Ｃｗｐと操作座標系Ｃｃとの関係と同様の関係として、新たな第２座標系関係２０ｐｂに決定する。例えば、第２決定部２０ｆは、新たな対象物座標系Ｃｗｄと操作座標系Ｃｃとの座標軸及び／又は座標点の対応関係を、現状の対象物座標系Ｃｗｐと操作座標系Ｃｃとの座標軸及び／又は座標点の対応関係と同様の関係として、新たな第２座標系関係２０ｐｂに決定してもよい。例えば、第２決定部２０ｆは、記憶部２０ｐに記憶された関数「Ｍ２」を用いて、現状の対象物座標系Ｃｗｐと操作座標系Ｃｃとの現状の関係式を「Ｃｗｐ＝Ｍ２・Ｃｃ」と定義し、新たな対象物座標系Ｃｗｄと操作座標系Ｃｃとの新たな関係式を「Ｃｗｄ＝Ｍ２・Ｃｃ」と定義し、関係式の置き換え、つまり更新をする。例えば、関数「Ｍ２」は、各座標軸方向に定数倍する等の関数であってもよい。

例えば、本実施の形態では、操作座標系ＣｃのＸｃ軸正方向、Ｙｃ軸正方向及びＺｃ軸正方向の移動はそれぞれ、対象物座標系ＣｗｐのＸｗｐ軸正方向、Ｙｗｐ軸正方向及びＺｗｐ軸正方向の移動に対応し、Ｘｃ軸正方向、Ｙｃ軸正方向及びＺｃ軸正方向の移動量の定数Ｋｔ倍は、Ｘｗｐ軸正方向、Ｙｗｐ軸正方向及びＺｗｐ軸正方向の移動量に対応する。また、Ｘｃ軸、Ｙｃ軸及びＺｃ軸周りの回転及び回転方向はそれぞれ、Ｘｗｐ軸、Ｙｗｐ軸及びＺｗｐ軸周りの回転及び回転方向に対応し、Ｘｃ軸、Ｙｃ軸及びＺｃ軸周りの回転量の定数Ｋｒ倍は、Ｘｗｐ軸、Ｙｗｐ軸及びＺｗｐ軸周りの回転量に対応する。

また、Ｘｃ軸正方向、Ｙｃ軸正方向及びＺｃ軸正方向の移動はそれぞれ、対象物座標系ＣｗｄのＸｗｄ軸正方向、Ｙｗｄ軸正方向及びＺｗｄ軸正方向の移動に対応し、Ｘｃ軸正方向、Ｙｃ軸正方向及びＺｃ軸正方向の移動量の定数Ｋｔ倍は、Ｘｗｄ軸正方向、Ｙｗｄ軸正方向及びＺｗｄ軸正方向の移動量に対応する。また、Ｘｃ軸、Ｙｃ軸及びＺｃ軸周りの回転及び回転方向はそれぞれ、Ｘｗｄ軸、Ｙｗｄ軸及びＺｗｄ軸周りの回転及び回転方向に対応し、Ｘｃ軸、Ｙｃ軸及びＺｃ軸周りの回転量の定数Ｋｒ倍は、Ｘｗｄ軸、Ｙｗｄ軸及びＺｗｄ軸周りの回転量に対応する。

よって、第２決定部２０ｆは、対象物座標系Ｃｗｐが対象物座標系Ｃｗｄに移動された場合、移動前の対象物座標系Ｃｗｐと操作座標系Ｃｃとの関係と同様の関係に、新たな第２座標系関係２０ｐｂを決定する、つまり、移動の前後で第２座標系関係２０ｐｂを維持する。

第１動作指令部２０ｇは、第１座標系関係２０ｐａと第２座標系関係２０ｐｂとに基づき、操作座標系Ｃｃでの情報をロボット座標系Ｃｒの情報に変換する演算を実行し、変換後の情報を含む動作指令を動作制御部２０ｉに出力する。具体的には、第１動作指令部２０ｇは、操作入力装置４０から操作指令を受け取り、当該操作指令に含まれる操作座標系Ｃｃでの操作位置指令及び操作力指令を、ロボット座標系Ｃｒでの位置指令及び力指令に変換する。例えば、第１動作指令部２０ｇは、関係式「Ｃｗｄ＝Ｍ１ｄ・Ｃｒ」と関係式「Ｃｗｄ＝Ｍ２・Ｃｃ」とを用いて、関係式「Ｍ１ｄ・Ｃｒ＝Ｍ２・Ｃｃ」を演算し、さらに、関係式「Ｃｒ＝Ｍ１ｄ^−１Ｍ２・Ｃｃ」を演算する。第１動作指令部２０ｇは、関係式「Ｃｒ＝Ｍ１ｄ^−１Ｍ２・Ｃｃ」に操作位置指令及び操作力指令を入力することで、ロボット座標系Ｃｒでのエンドエフェクタ１１の位置指令及び力指令を演算する。第１動作指令部２０ｇは、エンドエフェクタ１１の位置指令及び力指令を含む動作指令を動作制御部２０ｉに出力する。

なお、本実施の形態では、ロボット座標系Ｃｒはワールド座標系と同じであるが、ロボット座標系Ｃｒとワールド座標系とが異なる場合、第１動作指令部２０ｇは、ロボット座標系Ｃｒとワールド座標系との関係をさらに用いて、操作座標系Ｃｃでの情報をロボット座標系Ｃｒの情報に変換してもよい。

ここで、エンドエフェクタ１１の位置指令は、エンドエフェクタ１１の位置を表す。エンドエフェクタ１１の力指令は、エンドエフェクタ１１が対象物に加える力を表す。位置指令は、エンドエフェクタ１１の３次元位置及び３次元姿勢の指令を含んでもよい。さらに、位置指令は、３次元位置及び３次元姿勢の指令の実行時刻を含んでもよい。力指令は、力の大きさ及び力の方向の指令を含んでもよい。さらに、力指令は、力の大きさ及び方向の指令の実行時刻を含んでもよい。３次元姿勢は３次元空間内での姿勢である。本明細書及び特許請求の範囲において、「力」とは、力の大きさ及び方向のうちの少なくとも力の大きさを含み、「位置」とは、３次元位置及び３次元姿勢のうちの少なくとも３次元位置を含み得ることを意味する。また、動作指令は、研削装置１１ａの駆動及び駆動停止の指令等を含んでもよい。

動作制御部２０ｉは、動作指令に従ってロボット１０の各部を動作させるための制御指令を生成し、ロボット１０に出力する。動作制御部２０ｉは、ロボット１０の各部の動作状態の情報を動作情報処理部２０ｊから取得し、当該情報をフィードバック情報として用いて制御指令を生成する。具体的には、動作制御部２０ｉは、ロボットアーム１２のアーム駆動装置Ｍ１〜Ｍ６のサーボモータＭａとエンドエフェクタ１１の研削装置１１ａのモータ（図示略）とを動作させるための制御指令を生成する。

動作情報処理部２０ｊは、ロボット１０の動作情報を検出し処理する。動作情報処理部２０ｊは、研削装置１１ａの通電状態等に基づき研削装置１１ａのＯＮ状態及びＯＦＦ状態を動作情報として検出する。動作情報処理部２０ｊは、アーム駆動装置Ｍ１〜Ｍ６それぞれのサーボモータＭａの回転センサＭｂの検出値と、当該サーボモータＭａの電流センサＭｃの検出値と、エンドエフェクタ１１の力センサ１１ｅの検出値とを動作情報として取得する。動作情報処理部２０ｊは、上記動作情報をフィードバック情報として動作制御部２０ｉ及び第２動作指令部２０ｈに出力する。

第２動作指令部２０ｈは、ユーザＰの操作力に対する反力を操作装置４００の把持部４０１に与えるために、動作情報処理部２０ｊから受け取る動作情報を用いて、各モータ４０４を動作させる指令であるモータ動作指令を生成し操作入力装置４０に出力する。具体的には、第２動作指令部２０ｈは、動作情報に含まる力データである力センサ１１ｅによって検出された力の大きさ及び方向に対応する反力を把持部４０１に与えるような各モータ４０４のモータ動作指令を生成する。なお、第２動作指令部２０ｈは、動作情報に含まる位置データであるエンドエフェクタ１１の位置及び姿勢に対応する位置及び姿勢に把持部４０１を移動させるような各モータ４０４のモータ動作指令を生成してもよい。なお、第２動作指令部２０ｈは、把持部４０１に与える反力、位置及び姿勢の指令を操作入力装置４０に出力し、操作制御装置４２０が当該指令に基づきモータ動作指令を生成してもよい。

［ロボットシステムの動作］
［操作入力装置の操作によるロボットの動作］
操作入力装置４０の操作装置４００の操作によるロボット１０の動作を説明する。図１及び図３に示すように、例えば、ユーザＰは、把持部４０１のハンドル部４０１ａ及び４０１ｂを握り、エンドエフェクタ１１の研削装置１１ａの目的の位置への移動方向及び目的の姿勢への回動方向へ、把持部４０１を移動させ姿勢を変える。また、ユーザＰは、把持部４０１の入力部４０１ｃへの入力を与えることで、研削装置１１ａを起動させる。

支持部４０２は、把持部４０１と一緒に移動し且つ姿勢を変え、６つのアーム４０３それぞれに屈曲及び姿勢変化等の動作をさせ、当該アーム４０３と接続されたモータ４０４の回転軸を回転させる。操作制御装置４２０は、当該モータ４０４の回転センサの回転信号及び力センサ４０５の力信号に基づく操作指令を制御装置２０に出力する。

制御装置２０は、操作指令に基づき動作指令等を生成し、当該動作指令等に従ってロボット１０を動作させる。制御装置２０は、エンドエフェクタ１１の位置の変化、姿勢の変化及び研削装置１１ａを介した対象物Ｗへの作用力が上記力信号を反映するように、ロボットアーム１２を動作させる。これにより、ユーザＰは、操作装置４００の把持部４０１を操作して、ロボット１０に意図する動作をさせることができる。

さらに、制御装置２０は、エンドエフェクタ１１の力センサ１１ｅの検出信号に基づく力データに対応する反力を把持部４０１に与えるために、当該反力に対応する回転負荷（「負荷トルク」とも呼ばれる）を各モータ４０４に発生させる。これにより、ユーザＰは、例えば、対象物Ｗから反力を受けているように把持部４０１から反力を感じつつ、把持部４０１の位置及び姿勢を操作することができる。

把持部４０１の反力は、力センサ１１ｅによって検出される力の大きさ及び方向を反映する。このような把持部４０１の反力は、対象物の表面状態に応じて異なる研削中の研削装置１１ａの状態を、ユーザＰの手に感じさせることができる。例えば、把持部４０１の反力は、ユーザＰが研削装置１１ａを手持ちし研削する場合にユーザＰの手が受ける感触を、ユーザＰの手に感じさせることができる。さらに、把持部４０１の反力は、研削中の研削装置１１ａの振動をユーザＰの手に感じさせ得る。

また、力センサ４０５の力信号が示す位置の変化量、姿勢の変化量及び力の大きさ等の指令に対して、エンドエフェクタ１１の位置の変化量、姿勢の変化量及び作用力の大きさ等の指令は、割り増しされる。これにより、ロボットアーム１２は、把持部４０１の可動範囲を大きく超えてエンドエフェクタ１１の位置及び姿勢を変えることができる。さらに、エンドエフェクタ１１は、把持部４０１に加えられる力を大きく超えた作用力を発生させることができる。

［対象物座標系の自動変更の制御モードでのロボットシステムの動作］
対象物座標系を自動的に変更する制御モードでのロボットシステム１の動作を説明する。図９は、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。

図９に示すように、ステップＳ１０１において、ユーザＰは操作入力装置４０の入力装置４１０に、対象物座標系を自動的に変更する制御モードである自動変更モードを実行する指令を入力し、操作制御装置４２０は当該指令を受け付け制御装置２０に出力する。

次いで、ステップＳ１０２において、ユーザＰによって入力される操作装置４００の操作指令に従って、制御装置２０は、ロボットアーム１２にエンドエフェクタ１１を対象物Ｗの研削対象領域ＷＡの正面に移動させる。

次いで、ステップＳ１０３において、ユーザＰは入力装置４１０に研削を開始する指令を入力し、操作制御装置４２０は当該指令を受け付け制御装置２０に出力する。

次いで、ステップＳ１０４において、制御装置２０は、撮像装置３０の撮像タイミングであるか否かを判定し、撮像タイミングである場合（ステップＳ１０４でＹｅｓ）にステップＳ１０５に進み、撮像タイミングでない場合（ステップＳ１０４でＮｏ）にステップＳ１１０に進む。なお、ステップＳ１０３の次のステップＳ１０４では、撮像タイミングである。制御装置２０は、時間を測定するタイマ又はクロック等を備え、所定の時間周期毎の撮像タイミングを計時してもよい。

ステップＳ１０５において、制御装置２０は、撮像装置３０に研削対象領域ＷＡを撮像させる。次いで、ステップＳ１０６において、制御装置２０は、研削対象領域ＷＡの画像データを処理することで、当該画像データの３次元画像データを生成する。次いで、ステップＳ１０７において、制御装置２０は、３次元画像データを用いて、新たな対象物座標系Ｃｗｄを検出する。

次いで、ステップＳ１０８において、制御装置２０は、新たな対象物座標系Ｃｗｄと現状の対象物座標系Ｃｗｐとの差異が閾値以上であるか否かを判定する。制御装置２０は、閾値以上である場合（ステップＳ１０８でＹｅｓ）にステップＳ１０９に進み、閾値未満である場合（ステップＳ１０８でＮｏ）にステップＳ１１０に進む。

ステップＳ１０９において、制御装置２０は、新たな対象物座標系Ｃｗｄに基づき、記憶部２０ｐに記憶される第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新し記憶部２０ｐに記憶させる。

次いで、ステップＳ１１０において、制御装置２０は、ユーザＰによって入力される操作装置４００の操作指令と記憶部２０ｐの第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂとに従って、ロボットアーム１２を動作させ、エンドエフェクタ１１の研削装置１１ａに研削対象領域ＷＡを研削させる。

次いで、ステップＳ１１１において、制御装置２０は、入力装置４１０を介して研削作業を終了する指令を受け付けたか否かを判定し、受け付けた場合（ステップＳ１１１でＹｅｓ）に一連の処理を終了し、受け付けていない場合（ステップＳ１１１でＮｏ）にステップＳ１０４に戻る。

上記から、研削作業の進捗に伴って研削対象領域ＷＡの位置及び／又は姿勢が変化した場合、制御装置２０は、ステップＳ１０４〜Ｓ１１１の処理を繰り返すことによって、対象物座標系Ｃｗを移動させ、当該対象物座標系Ｃｗに合わせて第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新する。制御装置２０は、更新後の第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂに基づき、操作装置４００に入力される操作指令に従ってロボット１０の動作を制御する。さらに、制御装置２０は、所定の時間周期毎に研削対象領域ＷＡの位置及び／又は姿勢の変化を検出することで、研削対象領域ＷＡの状態に対応して第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新することができる。例えば、所定の時間周期の長さによっては、制御装置２０は研削対象領域ＷＡの状態にリアルタイムに対応して第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新することができる。

例えば、図６の対象物座標系Ｃｗ１は、図７の対象物座標系Ｃｗ２及び図１０の対象物座標系Ｃｗ４に移動し得る。なお、図１０は、図６のロボットシステム１における各座標系の移動例を示す図である。対象物座標系Ｃｗ４は、対象物Ｗの天井の内表面Ｗ３を基準面ＰＬ４とする座標系である。これにより、図６、図７及び図１０のそれぞれの場合において、ユーザＰが、操作装置４００において、例えば、把持部４０１にＹｃ軸正方向への力を加えると、制御装置２０は、ロボット１０にエンドエフェクタ１１をＹｗ１軸正方向、Ｙｗ２軸正方向及びＹｗ４軸正方向に移動させる。よって、ロボット１０が作用を加える対象である研削対象領域ＷＡの位置及び／又は姿勢が変わる場合でも、ユーザＰは姿勢を変えずに操作装置４００を操作することができる。

［対象物座標系の非自動変更の制御モードでのロボットシステムの動作］
対象物座標系を自動的に変更しない制御モードでのロボットシステム１の動作を説明する。図１１は、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。

図１１に示すように、ステップＳ２０１において、ユーザＰは操作入力装置４０の入力装置４１０に、対象物座標系を自動的に変更しない制御モードである非自動変更モードを実行する指令を入力し、操作制御装置４２０は当該指令を受け付け制御装置２０に出力する。

次いで、ステップＳ２０２において、ユーザＰによって入力される操作装置４００の操作指令に従って、制御装置２０は、ロボットアーム１２にエンドエフェクタ１１を対象物Ｗの研削対象領域ＷＡの正面に移動させる。

次いで、ステップＳ２０３において、ユーザＰは入力装置４１０に研削を開始する指令を入力し、操作制御装置４２０は当該指令を受け付け制御装置２０に出力する。

次いで、ステップＳ２０４において、制御装置２０は、入力装置４１０を介して撮像装置３０に撮像させる指令を受け付けたか否かを判定し、受け付けた場合（ステップＳ２０４でＹｅｓ）にステップＳ２０５に進み、受け付けていない場合（ステップＳ２０４でＮｏ）にステップＳ２１０に進む。なお、ステップＳ２０３の次のステップＳ２０４では、ユーザＰは、入力装置４１０に撮像の指令を入力する。

ステップＳ２０５〜ステップＳ２１０の処理はそれぞれ、ステップＳ１０５〜Ｓ１１０の処理と同様である。

次いで、ステップＳ２１１において、制御装置２０は、入力装置４１０を介して研削作業を終了する指令を受け付けたか否かを判定し、受け付けた場合（ステップＳ２１１でＹｅｓ）に一連の処理を終了し、受け付けていない場合（ステップＳ２１１でＮｏ）にステップＳ２０４に戻る。

上記から、制御装置２０は、入力装置４１０を介して撮像装置３０に撮像させる指令を受け付けると対象物座標系Ｃｗを検出し、対象物座標系Ｃｗの位置及び／又は姿勢の変化に対応して第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新する。つまり、制御装置２０は、ユーザＰの要求に対応して第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新する。そして、制御装置２０は、更新後の第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂに基づき、操作装置４００に入力される操作指令に従ってロボット１０の動作を制御する。

なお、ステップＳ２０４〜Ｓ２０５の処理をステップＳ１０１〜Ｓ１１１に組み込むことで、自動変更モードにおいても、制御装置２０が、ユーザＰの要求に対応して第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新するように構成されてもよい。

（その他の実施の形態）
以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、実施の形態では、制御装置２０は、対象物の３次元画像データを用いて対象物座標系を検出するように構成されていたが、これに限定されない。例えば、対象物座標系Ｃｗ１〜Ｃｗ４等の複数の対象物座標系の情報が予め設定され、記憶部２０ｐに記憶されていてもよい。制御装置２０は、操作入力装置４０を介してユーザＰによって指定等された対象物座標系を記憶部２０ｐから読み出し、当該対象物座標系を用いて第１座標系関係２０ｐａ及び第２座標系関係２０ｐｂを更新するように構成されてもよい。

また、実施の形態では、制御装置２０は、所定の時間周期で撮像される研削対象領域ＷＡの３次元画像データに基づき、研削対象領域ＷＡの位置及び／又は姿勢の変化を連続的に検出することで、研削対象領域ＷＡの状態に対応して対象物座標系を変更するように構成されていた。又は、制御装置２０は、操作入力装置４０を介して指令が入力されるタイミングである所定のタイミングで撮像される研削対象領域ＷＡの３次元画像データに基づき、研削対象領域ＷＡの状態に対応して対象物座標系を変更するように構成されていた。しかしながら、対象物座標系を変更するタイミングは、上記タイミングに限定されない。

例えば、制御装置２０は、研削対象領域ＷＡに対する研削作業の進捗に対応した所定のタイミング、及び、予め時間的に設定された所定のタイミング等の所定のタイミングで撮像装置３０に研削対象領域ＷＡを撮像させ、研削対象領域ＷＡの３次元画像データに基づき、研削対象領域ＷＡの状態に対応して対象物座標系を変更するように構成されてもよい。例えば、研削作業の進捗は、研削された面積の進捗、所定の方向への研削の進捗、及び研削作業時間の進捗等であってもよい。

また、実施の形態に係るロボットシステム１は、距離検出装置として撮像装置３０を備えていたが、これに限定されない。距離検出装置は、対象物までの距離を検出することができればよい。例えば、距離検出装置は、光波、レーザ又は超音波等を用いて距離を検出するセンサであってもよい。

また、実施の形態では、本開示の技術が適用可能である機械装置として、産業用ロボットであるロボット１０を例示したが、本開示の技術が適用可能である機械装置は、産業用ロボット以外の機械装置であってもよい。例えば、当該機械装置は、サービスロボット、建設機械、トンネル掘削機、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。

また、本開示の技術は、制御方法であってもよい。例えば、本開示の一態様に係る制御方法は、マスタ装置によって操作されるスレーブ装置を制御する制御方法であって、前記スレーブ装置の処理の対象物に設定された対象物座標系と前記スレーブ装置に設定されたスレーブ座標系との関係である第１座標系関係を決定することと、前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定することと、前記マスタ装置の操作端に力が加えられることで前記マスタ装置に入力される情報である操作情報と、前記第１座標系関係と、前記第２座標系関係とに従って、前記対象物に対して前記スレーブ装置に動作させる動作指令を出力することとを含み、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する。上記制御方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

また、本開示の技術は、上記制御方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

１ ロボットシステム
１０ ロボット（スレーブ装置）
１１ エンドエフェクタ（作用部）
１２ ロボットアーム（動作部）
２０ 制御装置
２０ｄ 座標系検出部（座標系決定部）
２０ｅ 第１決定部
２０ｆ 第２決定部
２０ｇ，２０ｈ 動作指令部
３０ 撮像装置（距離検出装置）
４０ 操作入力装置（マスタ装置）
４００ 操作装置
４０１ 把持部（操作端）
４０５ 力センサ（操作検出部）

Claims (18)

1. 操作端と、前記操作端に力が加えられることで入力される情報である操作情報を検出し出力する操作検出部とを備えるマスタ装置と、
   対象物に作用を加える作用部と前記作用部を移動させる動作部とを備えるスレーブ装置と、
   制御装置とを備え、
   前記制御装置は、
   前記スレーブ装置に設定されたスレーブ座標系と前記対象物に設定された対象物座標系との関係である第１座標系関係を決定する第１決定部と、
   前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定する第２決定部と、
   前記操作情報と前記第１座標系関係と前記第２座標系関係とに従って、前記動作部によって前記作用部に動作させる動作指令を出力する動作指令部とを含み、
   前記第１決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、
   前記第２決定部は、前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する
   マスタスレーブシステム。
2. 前記対象物までの距離である対象物距離を検出する距離検出装置をさらに備え、
   前記制御装置は、前記距離検出装置によって検出された前記対象物距離に基づき、前記対象物座標系を決定する座標系決定部をさらに含む
   請求項１に記載のマスタスレーブシステム。
3. 前記距離検出装置は、前記対象物距離を所定の時間間隔で検出し、
   前記座標系決定部は、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定する
   請求項２に記載のマスタスレーブシステム。
4. 前記距離検出装置は、前記対象物距離を所定のタイミングで検出し、
   前記座標系決定部は、検出された前記対象物距離に対応して前記対象物座標系を変えるように決定する
   請求項２に記載のマスタスレーブシステム。
5. 前記距離検出装置は、被写体までの距離を検出するための画像を撮像することができる撮像装置であり、
   前記制御装置は、前記撮像装置によって撮像された前記対象物の画像を画像処理することで、前記対象物距離を検出する画像処理部をさらに含む
   請求項２〜４のいずれか一項に記載のマスタスレーブシステム。
6. 前記対象物座標系の移動は、前記対象物座標系の位置及び姿勢の移動を含む
   請求項１〜５のいずれか一項に記載のマスタスレーブシステム。
7. 前記操作検出部は、前記操作端に加えられる力の方向及び大きさを前記操作情報として検出し、
   前記動作指令部は、前記作用部の位置、姿勢及び前記対象物への作用力を含む前記動作指令を生成する
   請求項１〜６のいずれか一項に記載のマスタスレーブシステム。
8. 前記操作検出部は、前記操作端に加えられる３軸方向の力の大きさ及び３軸周りの力のモーメントを前記操作情報として検出する
   請求項７に記載のマスタスレーブシステム。
9. 前記作用部は、研削装置を含み、
   前記動作部は、ロボットアームを含む
   請求項１〜８のいずれか一項に記載のマスタスレーブシステム。
10. マスタ装置によって操作されるスレーブ装置を制御する制御方法であって、
    前記スレーブ装置の処理の対象物に設定された対象物座標系と前記スレーブ装置に設定されたスレーブ座標系との関係である第１座標系関係を決定することと、
    前記マスタ装置に設定されたマスタ座標系と前記対象物座標系との関係である第２座標系関係を決定することと、
    前記マスタ装置の操作端に力が加えられることで前記マスタ装置に入力される情報である操作情報と、前記第１座標系関係と、前記第２座標系関係とに従って、前記対象物に対して前記スレーブ装置に動作させる動作指令を出力することとを含み、
    前記対象物座標系が移動された場合、移動後の前記対象物座標系と前記スレーブ座標系とに基づき、移動後の前記第１座標系関係を新たに決定し、移動後の前記対象物座標系と前記マスタ座標系との移動後の前記第２座標系関係を、移動前の前記第２座標系関係と同様の関係に決定する
    制御方法。
11. 前記対象物までの距離である対象物距離を取得することと、
    前記対象物距離に基づき、前記対象物座標系を決定することとをさらに含む
    請求項１０に記載の制御方法。
12. 所定の時間間隔で検出された前記対象物距離を取得し、
    検出された前記対象物距離に対応して前記対象物座標系を変えるように決定する
    請求項１１に記載の制御方法。
13. 所定のタイミングで検出された前記対象物距離を取得し、
    検出された前記対象物距離に対応して前記対象物座標系を変えるように決定する
    請求項１１に記載の制御方法。
14. 被写体までの距離を検出するための画像を撮像することができる撮像装置によって撮像された前記対象物の画像を取得することと、
    前記対象物の画像を画像処理することで、前記対象物までの距離を検出することとをさらに含む
    請求項１０〜１３のいずれか一項に記載の制御方法。
15. 前記対象物座標系の移動は、前記対象物座標系の位置及び姿勢の移動を含む
    請求項１０〜１４のいずれか一項に記載の制御方法。
16. 前記操作情報は、前記操作端に加えられる力の方向及び大きさを含み、
    前記動作指令は、前記対象物に作用を加える前記スレーブ装置の作用部の位置、姿勢及び前記対象物への作用力を含む
    請求項１０〜１５のいずれか一項に記載の制御方法。
17. 前記操作情報は、前記操作端に加えられる３軸方向の力の大きさ及び３軸周りの力のモーメントを含む
    請求項１６に記載の制御方法。
18. 請求項１０〜１７のいずれか一項に記載の制御方法を実行する制御装置。
    

Images