JP2021070149A - ロボット制御システム、ロボット制御装置、ロボット制御方法及びプログラム - Google Patents

Abstract

【課題】教示時と再生時とで対象物体の位置がずれていても、そのずれの影響を除去することができる。【解決手段】ロボット制御システム１０００は３次元計測カメラ１５０とロボットアーム１６０とロボット制御装置１００とを備える。３次元計測カメラ１５０はロボットアーム１６０に取り付けられ対象物体の３次元位置を計測する。ロボット制御装置１００は、教示時の対象物体の３次元位置である基準位置を取得する基準位置取得部１１１と、再生時の対象物体の３次元位置である再生位置を取得する再生位置取得部１１２と、基準位置取得部１１１が取得した基準位置を再生位置取得部１１２が取得した再生位置に変換する変換データを算出する変換データ算出部１１３と、変換データ算出部１１３が算出した変換データを用いて教示データを変換してから再生することによってロボットアーム１６０を動かす再生部１１４と、を備える。【選択図】図１

Description

本発明は、ロボット制御システム、ロボット制御装置、ロボット制御方法及びプログラムに関する。

製品の自動組立工程等において、部品を自動的にピッキングするピッキング装置が知られている。例えば、特許文献１には、部品の位置を予め教示しておき、教示された位置に基づいて部品をピッキングするピッキングロボットが開示されている。

特開２００７−３１９９９７号公報

特許文献１に開示されているピッキングロボットでは、複数のワーク（ピッキング対象物体）の把持位置を共通化することにより、ピッキングロボットへの教示工数を低減することを可能にしている。しかし、このピッキングロボットでは、教示時のワーク位置と、当該教示処理によって作成された教示データに基づいてピッキング処理を行う時（再生時）のワーク位置と、の間にずれがないことを前提としている。したがって、教示時と再生時とで、ワーク位置にずれが生じている場合には、適切なピッキング処理を行うことができない。

本発明は、上記実情に鑑みてなされたものであり、教示時と再生時とで対象物体の位置がずれていても、そのずれの影響を除去することができるロボット制御システム、ロボット制御装置、ロボット制御方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係るロボット制御システムは、
３次元計測カメラと、ロボットアームと、ロボット制御装置と、を備えるロボット制御システムであって、
前記３次元計測カメラは、前記ロボットアームに取り付けられ、対象物体の３次元位置を計測し、
前記ロボット制御装置は、
予め教示された教示データを再生することによって前記ロボットアームを動かすロボット制御装置であって、
教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得部と、
再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得部と、
前記基準位置取得部が取得した基準位置を、前記再生位置取得部が取得した再生位置に変換する変換データを算出する変換データ算出部と、
前記変換データ算出部が算出した変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生部と、
を備える。

前記ロボット制御装置は、
さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する教示部を備える、
ようにしてもよい。

また、本発明の第２の観点に係るロボット制御装置は、
対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御装置であって、
教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得部と、
再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得部と、
前記基準位置取得部が取得した基準位置を、前記再生位置取得部が取得した再生位置に変換する変換データを算出する変換データ算出部と、
前記変換データ算出部が算出した変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生部と、
を備える。

さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する教示部を備える、
ようにしてもよい。

前記基準位置を表す点群データを編集する点群データ編集部をさらに備え、
前記基準位置取得部は、前記点群データ編集部が編集した点群データで表される基準位置を取得する、
ようにしてもよい。

また、本発明の第３の観点に係るロボット制御方法は、
対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御方法であって、
教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得ステップと、
再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得ステップと、
前記基準位置取得ステップで取得された基準位置を、前記再生位置取得ステップで取得された再生位置に変換する変換データを算出する変換データ算出ステップと、
前記変換データ算出ステップで算出された変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生ステップと、
を備える。

さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する再教示ステップを備える、
ようにしてもよい。

また、本発明の第４の観点に係るプログラムは、
対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御装置のコンピュータに、
教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得ステップ、
再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得ステップ、
前記基準位置取得ステップで取得された基準位置を、前記再生位置取得ステップで取得された再生位置に変換する変換データを算出する変換データ算出ステップ、及び、
前記変換データ算出ステップで算出された変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生ステップ、
を実行させる。

前記コンピュータに、
さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する再教示ステップ、
を実行させるようにしてもよい。

本発明によれば、教示時と再生時とで対象物体の位置がずれていても、そのずれの影響を除去することができる。

実施形態に係るロボット制御システムの機能構成の一例を示すブロック図である。 実施形態に係る教示処理のフローチャートである。 実施形態に係る３次元計測カメラで撮影される対象物体の一例を示す図である。 ロボットアームの教示時の動きの一例を説明する図である。 実施形態に係る再生処理のフローチャートである。 ロボットアームの再生時の動きの一例を説明する図である。 実施形態に係るロボットアームの可動域における誤差が補正されることを説明する図である。 実施形態に係る再教示処理のフローチャートである。 ロボットアームの再教示時の動きの一例を説明する図である。 ロボット制御装置と画像処理装置とを備えるロボット制御システムの機能構成の一例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

（実施形態）
実施形態に係るロボット制御システム１０００は、図１に示すように、３次元計測カメラ１５０と、ロボットアーム１６０と、ロボット制御装置１００と、を備える。ロボット制御システム１０００は、予め、ロボットアーム１６０の動作に関してユーザ（操作者）から教示を受け、教示された内容（教示データ）を再生することによって、ロボットアーム１６０を動かすシステムである。

３次元計測カメラ１５０は、撮影した物体までの距離を計測できるカメラであり、３次元センサ、デプスセンサ、測距センサ等とも呼ばれる。このようなカメラの装置構成としては、２つのカメラで構成されるもの、１つのカメラと１つのプロジェクタとで構成されるもの、２つのカメラと１つのプロジェクタとで構成されるもの等があるが、３次元計測カメラ１５０の装置構成はいずれの構成でもよい。３次元計測カメラ１５０は、図１に示すように、ロボットアーム１６０に取り付けられており、ロボットアーム１６０の先に存在する対象物体３１０を撮影する。ロボット制御装置１００は、３次元計測カメラ１５０が撮影した対象物体３１０の画像データから、後述する点群のデータを取得することにより、対象物体３１０の３次元位置を取得することができる。

ロボットアーム１６０は、先端にロボットハンド１６１を備える。ロボット制御装置１００が教示データを再生することにより、ロボットアーム１６０は、例えば対象物体３１０をロボットハンド１６１でつかんで持ち上げる等の動作を行うことができる。

ロボット制御装置１００は、図１に示すように、制御部１１０と、記憶部１２０と、画像入力部１３１と、表示部１３２と、操作入力部１３３と、ロボット制御部１３４と、を備える。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成され、ロボット制御装置１００の各部を制御する。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等で構成される。記憶部１２０には、制御部１１０で各種処理を行うためのプログラム等が予め記憶されている。また、記憶部１２０は、３次元計測カメラ１５０が撮影した画像データや、制御部１１０が演算処理等に使用するデータ等を記憶する。

画像入力部１３１は、制御部１１０と３次元計測カメラ１５０との間のインタフェースである。３次元計測カメラ１５０が撮影した画像データは、画像入力部１３１を介して、制御部１１０に入力される。また、３次元計測カメラ１５０への撮影命令は、画像入力部１３１を介して、制御部１１０から３次元計測カメラ１５０へ送信される。

表示部１３２は、３次元計測カメラ１５０が撮影した画像データや、ロボットアーム１６０の操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面等を表示するためのデバイスである。例えば、表示部１３２は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを備える。ただし、ロボット制御装置１００は、表示部１３２としてこれらのディスプレイを備えてもよいし、外部のディスプレイを接続するためのインタフェースとしての表示部１３２を備えてもよい。ロボット制御装置１００は、インタフェースとしての表示部１３２を備える場合は、表示部１３２を介して接続した外部のディスプレイに画像データ等を表示する。

操作入力部１３３は、ロボット制御装置１００に対するユーザの操作入力を受け付けるデバイスであり、例えば、キーボード、マウス、タッチパネル等である。ロボット制御装置１００は、操作入力部１３３を介して、ユーザからの指示等を受け付ける。

ロボット制御部１３４は、制御部１１０とロボットアーム１６０との間のインタフェースである。ロボットアーム１６０を動かす命令は、ロボット制御部１３４を介して、制御部１１０からロボットアーム１６０へ送信される。また、制御部１１０は、ロボットアーム１６０の現在の３次元位置を、ロボット制御部１３４を介して、取得することができる。

制御部１１０は、記憶部１２０に記憶されているプログラムを実行することにより、基準位置取得部１１１、再生位置取得部１１２、変換データ算出部１１３、再生部１１４、教示部１１５として機能する。

基準位置取得部１１１は、教示時の撮影対象の物体の３次元位置である基準位置を、３次元計測カメラ１５０が撮影した画像から取得する。

再生位置取得部１１２は、再生時の撮影対象の物体の３次元位置である再生位置を、３次元計測カメラ１５０が撮影した画像から取得する。

変換データ算出部１１３は、基準位置取得部１１１が取得した基準位置を、再生位置取得部１１２が取得した再生位置に変換する変換データを算出する。

再生部１１４は、変換データ算出部１１３が算出した変換データを用いて教示データを変換し、変換後の教示データに基づいて、ロボットアーム１６０に対する動作命令を、ロボット制御部１３４からロボットアーム１６０に送信することによってロボットアームを動かす。なお、教示データに基づいて、ロボットアーム１６０に対する動作命令を、ロボット制御部１３４からロボットアーム１６０に送信することを、「教示データを再生する」と言う。

教示部１１５は、操作入力部１３３を介してユーザから、ロボットアーム１６０の動作に関する教示を受けて教示データを取得し、取得した教示データを記憶部１２０に記憶する。教示データには、ロボットアーム１６０の移動先（教示点）の座標の情報や、当該移動先におけるロボットハンド１６１の動作の種類（つかむ、はなす等）の情報が含まれる。以上、ロボット制御システム１０００の構成について説明した。

（教示処理）
次に、ロボット制御システム１０００の教示処理について、図２を参照して説明する。ユーザが操作入力部１３３を介して、ロボット制御装置１００に対して、教示処理の開始を指示すると、この教示処理が開始される。

まず、ユーザは、操作入力部１３３を介してロボットアーム１６０を操作し、ロボットアーム１６０を撮影位置へ移動させる（ステップＳ１０１）。ステップＳ１０１では、制御部１１０が、操作入力部１３３で受け付けたユーザの操作指示を、ロボット制御部１３４に出力することにより、ロボットアーム１６０が撮影位置に移動する。なお、図３に示すように、ロボットアーム１６０を撮影位置１７０に移動させると、３次元計測カメラ１５０の撮影方向に、ロボットアーム１６０が扱う対象物体３１０が予め設置されている（ユーザは、撮影位置における３次元計測カメラ１５０の先に対象物体３１０を設置してから、ロボット制御装置１００に対して、教示処理の開始を指示する）ものとする。この撮影位置は、後述する教示点とは異なっていてもよい。また、ここでは、図３に示すように、対象物体３１０は、台３２０の上に設置されているものとする。

次に、制御部１１０は、３次元計測カメラ１５０に撮影命令を出して、画像入力部１３１から３次元計測カメラが撮影した対象物体３１０の画像データを取得するとともに、ロボット制御部１３４を介して、現在のロボットアーム１６０の３次元位置を取得する（ステップＳ１０２）。ここで取得されるロボットアーム１６０の３次元位置は、ロボットアーム１６０の制御機構を基準とした座標系（ロボット座標系）における座標（ロボット座標）で表されているものとするが、例えば地球を基準としたワールド座標系における座標で表してもよい。

次に、基準位置取得部１１１は、対象物体３１０の点群の３次元位置のデータ（点群データ）を取得する（ステップＳ１０３）。ステップＳ１０３は、基準位置取得ステップとも呼ばれる。ここで取得される点群の３次元位置は、３次元計測カメラ１５０から見た座標系（カメラ座標系）における座標（カメラ座標）で表されているものとするが、ロボットアーム１６０の３次元位置と同様に、例えば地球を基準としたワールド座標系における座標で表してもよい。また、点群とは、３次元物体をドット単位（例えば０．１ｍｍ単位）で離散化した３次元座標（ＸＹＺ座標）データの集合である。

本実施形態では、３次元計測カメラ１５０で撮影した画像データから得られる各特徴点までの距離と、撮影時の３次元計測カメラ１５０の３次元位置（３次元計測カメラ１５０はロボットアーム１６０に取り付けられているので、ロボットアーム１６０の３次元位置から算出可能）とから、当該各特徴点の３次元座標を求め、当該各特徴点の３次元座標データの集合を点群データとしている。特徴点とは、画像データに含まれる特徴的な部分（エッジ部分、色の境界部分等）を示す点である。ここで取得される点群データは、教示時の対象物体３１０の３次元位置である基準位置を表しているデータである。なお、点群としては、特徴点に限定せずに画像データに含まれる物体の表面全体を離散化した３次元座標データの集合を用いてもよい。本実施形態では、特徴点に限定しても特に問題はなく、また計算量を削減できるため、特徴点の３次元座標データの集合を点群として扱う。

図３の例では、対象物体３１０のエッジ部分、台３２０のエッジ部分等を表す特徴点の集まりが、点群データとして取得されることになる。つまり、ここで取得される点群データには、対象物体３１０だけでなく、背景（台３２０等）をはじめとする不要な部分の点群が含まれる。なお、上記のドット単位として、「例えば０．１ｍｍ単位」としたのは一例である。ドット単位としては、ロボットアーム１６０の移動精度、対象物体３１０の大きさ等に基づき、適切な値を設定すればよく、例えば、０．５ｍｍ単位、１ｍｍ単位等にしてもよい。

次に、基準位置取得部１１１は、ステップＳ１０３で取得した点群データを編集する（ステップＳ１０４）。ステップＳ１０４は、編集ステップとも呼ばれる。また、ステップＳ１０４において、基準位置取得部１１１は、点群データ編集部として機能する。ステップＳ１０３で取得された点群データには、背景等、対象物体３１０以外の点が含まれるので、ステップＳ１０４では、不要な点の削除が行われる。また、後述する変換データ算出ステップにおいて、マスターデータとのマッチング処理が適切に行われるように、必要に応じて解像度を調整する処理もステップＳ１０４で行われる。

ステップＳ１０４での編集は、具体的には、例えば、表示部１３２に点群を表示し（必要に応じて点群にする前の画像も重ね合わせて表示してもよい）、操作入力部１３３を介して、ユーザに、表示された点群に含まれる背景等の不要な点の削除をしてもらうことにより行う。その際は、Ｚ方向（鉛直方向）で境界となる高さをユーザに入力してもらい、Ｚ座標が当該入力された高さに満たない点群については背景とみなして消去する処理を行ってもよい。

次に、基準位置取得部１１１は、ステップＳ１０４で編集された後の点群データをマスターデータとして、記憶部１２０に記憶する（ステップＳ１０５）。点群データの座標は、上述したように３次元計測カメラ１５０から見た座標系（カメラ座標系）における座標（カメラ座標）で表されているが、マスターデータとして記憶する際には、ロボット座標系における座標（ロボット座標）に変換できるようにして記憶する。例えば、カメラ座標での点群データと、ステップＳ１０２で取得したロボットアーム１６０の３次元位置（ロボット座標）とをセットにして記憶部１２０に記憶する。または、記憶部１２０に記憶する前に、ステップＳ１０２で取得したロボットアーム１６０の３次元位置（ロボット座標）に基づいて、カメラ座標での点群データを、ロボット座標に変換してから記憶部１２０に記憶してもよい。

なお、ロボットアーム１６０の座標も点群データの座標も同じ座標系（例えばワールド座標系）での座標で表されているなら、点群データの座標を（ロボット座標系での座標に変換する必要はなく）そのままマスターデータとして記憶部１２０に記憶してよい。

次に、教示部１１５は、ユーザからロボットアーム１６０の動作について教示を受け、それによって得られた教示データを記憶部１２０に記憶する（ステップＳ１０６）。ステップＳ１０６では、ユーザはロボットアーム１６０に行わせたい動作を、操作入力部１３３を介して順次入力し、実際にロボットアーム１６０を動かしながら、教示を行う。例えば、図４に示すように、ユーザは、まずロボットアーム１６０を教示点３０１に動かし、次に教示点３０２に動かしてロボットハンド１６１で物体３００をつかませ、次にロボットアーム１６０を教示点３０３に動かす、というような動作を教示する。教示部１１５は、ユーザから教示された全ての教示点の座標や、ロボットハンド１６１の動作（つかむ、はなす等）を教示データとして記憶部１２０に記憶する。

教示部１１５は、ステップＳ１０６で教示データを記憶したら、教示処理を終了する。以上、教示処理について説明した。

（再生処理）
次に、ロボット制御システム１０００が教示処理によって得られた教示データを再生する再生処理について、図５を参照して説明する。ユーザが操作入力部１３３を介して、ロボット制御装置１００に対して、再生処理の開始を指示すると、この再生処理が開始される。なお、教示処理と同様に、ユーザが、再生処理の開始を指示する前に、撮影位置における３次元計測カメラ１５０の撮影方向に、対象物体３１０が設置されているものとする。

まず、ユーザは、操作入力部１３３を介してロボットアーム１６０を操作し、ロボットアーム１６０を撮影位置へ移動させる（ステップＳ２０１）。ステップＳ２０１は、教示処理（図２）のステップＳ１０１と同様の処理である。

次に、制御部１１０は、３次元計測カメラ１５０に撮影命令を出して、画像入力部１３１から３次元計測カメラ１５０が撮影した対象物体３１０の画像データを取得するとともに、ロボット制御部１３４を介して、現在のロボットアーム１６０の３次元位置を取得する（ステップＳ２０２）。ステップＳ２０２は、教示処理のステップＳ１０２と同様の処理である。

次に、再生位置取得部１１２は、対象物体３１０の点群データを取得する（ステップＳ２０３）。ステップＳ２０３は、教示処理のステップＳ１０３と同様の処理であるが、ステップＳ２０３で取得される点群データは、再生時の対象物体３１０の３次元位置である再生位置を表しているデータである。ステップＳ２０３は、再生位置取得ステップとも呼ばれる。教示処理のステップＳ１０３と同様に、ここで取得される点群データには、対象物体３１０だけでなく、背景（台３２０等）をはじめとする不要な部分の点群が含まれる。

そして、変換データ算出部１１３は、ステップＳ２０３で取得した点群データと、教示処理のステップＳ１０５で記憶部１２０に記憶したマスターデータと、をマッチングさせて、教示時の座標（基準位置）を再生時の座標（再生位置）に変換する変換データを算出する（ステップＳ２０４）。ステップＳ２０４は、変換データ算出ステップとも呼ばれる。例えば、変換データ算出部１１３は、ステップＳ２０３で取得した点群データ（再生時の座標）と、マスターデータ（教示時の座標）と、をそれぞれ同じ座標系（例えばロボット座標系）での座標に変換した上で、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズム等を用いてマッチングさせ、教示時の座標を再生時の座標に変換する座標変換行列Ａを算出する。

なお、ステップＳ２０３において、対象物体３１０が台３２０の上に複数存在する等、３次元計測カメラ１５０が撮影した画像データの中に、複数の対象物体３１０が存在する場合もありえる。この場合は、ステップＳ２０４において、変換データ算出部１１３は、複数の対象物体３１０の中から、最も適切と考えられる対象物体３１０を１つ選択し、選択した１つの対象物体３１０の点群データとマスターデータとをマッチングさせる。ここで、最も適切と考えられる対象物体３１０を１つ選択する方法としては、例えば、各対象物体３１０の点群の適合度を評価して、マスターデータとの適合度が最も高い対象物体３１０を選択する方法が挙げられる。この方法を以下に説明する。

ステップＳ２０２で取得した画像データの中に存在する複数の対象物体３１０の数をｎで表す。また、マスターデータに含まれる点の数をＮで表す。そして、マスターデータに含まれる点のうち、ｉ番目（ｉは１以上ｎ以下の整数）の対象物体３１０の点群に含まれる点（当該マスターデータに含まれる点との対応点）との距離が所定の閾値以内の点の数をＭｉで表す。このとき、i番目の対象物体３１０の適合度をＭｉ／Ｎで表す。変換データ算出部１１３は、適合度（Ｍｉ／Ｎ）が最も大きい対象物体３１０を選択する。例えばこのような方法により、変換データ算出部１１３は、複数の対象物体３１０の中から、最も適切と考えられる対象物体３１０を１つ選択することができる。

次に、再生部１１４は、記憶部１２０に記憶されている教示データに含まれる教示点の座標を、ステップＳ２０４で算出された変換データ（座標変換行列Ａ）を用いて、再生時の座標に変換する（ステップＳ２０５）。ステップＳ２０５の処理により、例えば、図６に示すように、マスターデータの座標（教示時の座標系Ｃでの座標）は、再生時の座標（教示時の座標系Ｃでの座標を座標系Ｃ’に投影した座標）に変換される。ステップＳ２０５は、変換ステップとも呼ばれる。

なお、ロボットによっては、ロボットアーム１６０の位置を指定する際に用いる座標系Ｃ’を定義し、教示時の座標系Ｃをその定義した座標系Ｃ’に切り替える機能を持っている場合がある。この機能は、ロボットに、基準とする座標系を（教示時の座標系である）座標系Ｃから（現在の再生位置の基準となっている座標系である）座標系Ｃ’に切り替えるように指示を出すことにより、ロボットアーム１６０の位置を指定したり教示を受けたりする際の座標を座標系Ｃ’における座標にすることができる機能である。この機能を用いる場合、上述のように座標を変換する代わりに、座標系Ｃ’を定義して座標系の切り換えを行ってもよい。

すなわち、ステップＳ２０４及びステップＳ２０５では、再生部１１４は、上述のように座標の変換をする代わりに、再生時の座標系Ｃ’を定義し、ロボットに、マスターデータの座標系（教示時の座標系Ｃ）を、再生時の座標系Ｃ’に切り替える指示を出すことにより、図４に示す教示時の（座標系Ｃでの）座標を図６に示すように再生時の座標（座標系Ｃ’に投影した座標）としてそのまま用いることができるようにしてもよい。このように、ロボットが扱う座標系を切り替えることによって、座標の値自体は変更せずに、教示時の座標を再生時の座標に変換することも、結局は、ロボット側で教示時の座標を（例えば座標変換行列Ａを用いて）再生時の座標に変換しているので、教示データの変換に含まれるものとする。

そして、再生部１１４は、ステップＳ２０５で変換した教示データを再生して、ロボットアーム１６０を制御し（ステップＳ２０６）、再生処理を終了する。ステップＳ２０６では、例えば、図６に示すように、再生部１１４は、まずロボットアーム１６０を教示点３０１’に動かし、次に教示点３０２’に動かしてロボットハンド１６１で物体３００をつかませ、次に教示点３０３’にロボットアーム１６０を移動させる。ステップＳ２０６は、再生ステップとも呼ばれる。

上述の教示処理を行ってから上述の再生処理を行うことにより、教示時と再生時とで物体３００の位置や傾きがずれていても（さらに言えば、ロボットアーム１６０を備えるロボットの位置や傾きがずれていても）、ロボットアーム１６０は、教示時に物体３００に関して教示された内容を、再生時に適切に再生することができる。つまり、教示時と再生時とで対象物体の位置がずれていても、そのずれの影響を除去することができる。

また、教示時と再生時とにおける対象物体の位置のずれの有無によらず、教示時と再生時とで、３次元計測カメラ１５０の物体測位誤差が生じる場合があるが、この物体測位誤差は、３次元計測カメラ１５０からは、対象物体の位置ずれと同様のものとして観測される。したがって、この物体測位誤差の影響も、上述の処理によって除去することができる。

さらに、教示時と再生時とにおける対象物体の位置のずれの有無や物体測位誤差の有無によらず、ロボットアーム１６０の可動域において、教示時の座標（指示座標）と、再生時の座標（実座標）に誤差が存在する場合がある。しかし、３次元計測カメラ１５０がロボットアーム１６０に取り付けられていることから、この誤差の影響も、上述の処理によって除去することができる。このことについて、図７を参照して説明する。

ここでは、物体が、教示時の位置（座標Ｐ）から、既知の移動量Ｔだけ移動したときを考える。物体の動きに追随するために、ロボットアーム１６０に移動量Ｔを指示したとき、ロボットアーム１６０の移動量の誤差が０であれば、教示時のカメラビューと、再生時のカメラビューとで、カメラビュー内の物体の位置には変化がないはずであり、この場合は問題がない。しかし、例えば、ロボットアーム１６０の移動量にΔＴの誤差があったとする。

すると、この誤差により、再生時のカメラビュー内の物体は−ΔＴ移動しているように認識される。よって、再生時の３次元計測カメラ１５０による計測では、物体の移動量はＴ−ΔＴと計測される。

この結果、上述の再生処理における変換データにより、教示時の教示点（座標Ｐ）が移動量Ｔだけ移動した場合、再生部１１４は、再生時には座標Ｑ＝Ｐ＋（Ｔ−ΔＴ）への移動として、ロボットアーム１６０に指示する。

すると、ロボットアーム１６０は、指示された座標Ｑに対してΔＴの誤差を有するため、ロボットアーム１６０の実際の移動先はＱ＋ΔＴとなる。ここで、Ｑ＝Ｐ＋（Ｔ−ΔＴ）であるから、Ｑ＋ΔＴ＝Ｐ＋Ｔであり、ロボットアーム１６０の実際の移動先（Ｑ＋ΔＴ）と物体の実際の移動先（Ｐ＋Ｔ）とは一致する。

このように、本実施形態では、３次元計測カメラ１５０がロボットアーム１６０に取り付けられていることから、ロボットアーム１６０の移動誤差も３次元計測カメラ１５０で計測されることになり、ロボットアーム１６０の可動域における、指示座標と実座標との間の誤差も補正することができる。

（再教示処理）
教示データの一部のみを修正したい場合が生じることがある。このとき、修正したい教示点のみを修正したくても、上述の教示処理では、マスターデータを作成した時と全く同じ位置に対象物体３１０を設置しないと、他の教示点との関係で座標にずれが生じてしまう。しかし、全く同じ位置に対象物体３１０を設置するのは困難である。そのため、上述の教示処理を用いる場合は、修正したい教示データが教示データの一部のみであったとしても、全ての教示点を教示し直す必要がある。

この問題を解決するための処理として、修正が不要な教示点を再生した後に、修正が必要な教示点のみを再教示することができる再教示処理について、図８を参照して説明する。なお、再教示とは、既に教示済みの教示点について、再度教示を行って、教示点の座標や当該教示点における動作等を修正することを言う。ユーザが操作入力部１３３を介して、ロボット制御装置１００に対して、再教示処理の開始を指示すると、この再教示処理が開始される。また、教示処理及び再生処理と同様に、ユーザが、再教示処理の開始を指示する前に、撮影位置における３次元計測カメラ１５０の撮影方向に、対象物体３１０が設置されているものとする。また、ここで用いるロボットは、ロボットアーム１６０の位置を指定する際に用いる座標系を切り替える機能を持っているものとする。

ステップＳ３０１からステップＳ３０４までは、再生処理（図５）のステップＳ２０１からステップＳ２０４までの処理と同様なので、説明を省略する。

ステップＳ３０４の次に、教示部１１５は、ステップＳ３０４で算出された変換データに基づいて、座標系Ｃ’を定義する（ステップＳ３０５）。ここで「座標系Ｃ’を定義する」とは、ロボットに、基準とする座標系を（教示時の座標系である）座標系Ｃから（現在の再生位置の基準となっている座標系である）座標系Ｃ’に切り替えるように指示を出すことにより、ロボットアーム１６０の位置を指定したり教示を受けたりする際の座標を座標系Ｃ’における座標にすることを意味する。これにより、指定された位置（教示時の座標系Ｃにおける座標＝再生時の座標系Ｃ’における座標。この両座標は座標系が異なるだけで、座標の値自体は等しい。）はロボット側で変換データ（例えば座標変換行列Ａ）を用いて再生時の実空間における座標に変換して扱われる。また、教示された位置（実空間における座標）はロボット側で変換データ（例えば座標変換行列Ａの逆行列）を用いて座標系Ｃ’における座標（＝座標系Ｃにおける座標）に変換して扱われる。

そして、ステップＳ３０５の次に、教示部１１５は、ユーザからロボットアーム１６０の動作について、座標系Ｃ’において再教示を受け、それによって得られた教示データを記憶部１２０に記憶し（ステップＳ３０６）、再教示処理を終了する。ステップＳ３０６は再教示ステップとも呼ばれる。なお、「座標系Ｃ’において再教示を受け」とは、教示を受けた実空間における座標を、ステップＳ３０４で算出された変換データに基づいてロボット側で座標系Ｃ’における座標（＝元の教示時の座標系Ｃにおける座標）に変換し、その座標系Ｃにおける座標を取得することを意味する。

また、（例えば使用するロボットが、ロボットアーム１６０の位置を指定する際に用いる座標系を切り替える機能を持っていない場合等）ステップＳ３０５及びステップＳ３０６では、教示部１１５は、上述のように座標系Ｃ’を定義して座標系Ｃ’において再教示を受ける代わりに、再教示を受けた実空間における座標を、ステップＳ３０４で算出された変換データ（例えば、上述の座標変換行列の逆行列）に基づいて（元の教示時の座標系である）座標系Ｃにおける座標に変換し、この変換によって得られたデータを座標系Ｃにおける教示データ（再教示によって得られた教示データ）として記憶部１２０に記憶してもよい。

教示処理（図２）によって記憶部１２０に記憶された教示データは座標系Ｃにおける座標で表されているので、再教示によって得られた教示データも座標系Ｃにおける座標で表されたものにする必要がある。上述のような再教示処理を行うことにより、ロボットが、ロボットアーム１６０の位置を指定する際に用いる座標系を切り替える機能を持っている場合でも持っていない場合でも、再教示で得られる教示データを、教示時の座標系である座標系Ｃにおける座標で表された教示データとして記憶部１２０に記憶することができる。

ステップＳ３０６では、教示部１１５は、教示データのうち、最初の教示データから、修正が必要な教示データ（ユーザが修正したいと考えている教示データ（修正必要教示データ））まで、再生することにより、ロボットアーム１６０を最初の位置から順次動かしていく。そして教示データの再生が、修正必要教示データまで進んだら、新たな（再教示したい）座標や動作をユーザに指定してもらうことによって再度教示を受けて、当該教示データを修正する。

例えば、教示処理において、図４に示すように、ロボットアーム１６０を教示点３０１に動かし、教示点３０２に動かしてロボットハンド１６１で物体３００をつかませ、次に教示点３０３に動かす、というような教示データを教示させていたとする。そして、ユーザがこれらの教示点のうち、２番目の教示点３０２を物体３００の重心辺りから、物体３００の上端辺りに修正したい場合を考える。

この場合は、再教示処理において、図９に示すように、まずロボットアーム１６０は教示点３０１’に移動し、次に教示点３０２’に移動する。教示点３０２’はユーザが修正したい教示データ（修正必要教示データ）なので、このときユーザは、ロボットアーム１６０を教示点３０２’から教示点３０２’’に移動させる再教示をロボット制御装置１００に指示する。その結果、教示部１１５は、教示点３０２’を教示点３０２’’に修正した教示データを記憶部１２０に記憶させる。

そして、ユーザが修正したい教示データ（修正必要教示データ）がまだ残っているなら、教示部１１５は次の修正したい教示データ（例えば教示点３０３’）まで教示データを再生し、再教示を行う。そして、ユーザが修正したい教示データ（修正必要教示データ）について、すべて再教示を行ったら、再教示処理を終了する。

なお、上述のステップＳ３０６での処理は一例であり、教示部１１５は、教示データを最初から順次再生させるようなことをしなくてもよい。例えば、教示部１１５は、ユーザから修正したい教示データ（修正必要教示データ）の指示を受けて、ロボットアーム１６０を、その修正必要教示データで示される教示点にダイレクトに移動させて、ユーザから再教示を受けるようにしてもよい。

以上説明した再教示処理により、ロボット制御装置１００は、教示データの一部を効率的に修正することができる。

（変形例）
なお、上述の実施形態では、ステップＳ１０１、ステップＳ２０１及びステップＳ３０１で、ユーザがロボットアーム１６０を撮影位置に移動させていたが、ユーザによる操作を不要にしてもよい。例えば、撮影位置を予め定めておくことにより、ステップＳ１０１、ステップＳ２０１及びステップＳ３０１では、ユーザによる操作なしで、制御部１１０がロボットアーム１６０を当該撮影位置に移動させることにしてもよい。

また、上述の実施形態では、ステップＳ１０４で点群データを編集することとしていたが、この点群データの編集は必須ではない。ステップＳ１０４での点群データの編集は、再生処理のステップＳ２０４（及び再教示処理のステップＳ３０４）において、教示時の点群データ（マスターデータ）と再生時の点群データとをマッチングしやすくするために行っている。対象物体３１０から得られる点群データや、背景等の点群データの内容によっては、点群データを編集しなくても問題なくマッチングできる場合がある。このような場合は、ステップＳ１０４の処理は不要である。

これとは逆に、再生処理のステップＳ２０３とステップＳ２０４の間で、教示処理のステップＳ１０４と同様に、点群データを編集する処理を行ってもよい。対象物体３１０から得られる点群データや、背景等の点群データの内容によっては、再生処理においても点群データを編集して、ステップＳ２０４でのマスターデータとのマッチングをしやすくした方がよい場合がある。このような場合は、再生処理のステップＳ２０３とステップＳ２０４の間で、点群データを編集する処理を行ってもよい。再教示処理のステップＳ３０３〜ステップＳ３０４に関しても同様である。

また、上述の実施形態では、教示処理のステップＳ１０６において、実際にロボットアーム１６０を移動させて教示することとした。これは、実際にロボットアーム１６０を移動させて教示した方が、ユーザにとってわかりやすく、また正確な教示ができる場合が多いと考えられるからである。しかし、これは教示の一例に過ぎない。例えば、表示部１３２でロボットアーム１６０の動きを確認して教示をする等、ロボットアーム１６０を実際には移動させずに教示を行ってもよい。

また、上述の実施形態では、ロボットアーム１６０の３次元位置をロボット座標系における座標で表し、点群データの座標をカメラ座標系における座標で表すこととしていたが、これら座標系の選択は任意である。例えば、いずれも地球を基準とするワールド座標系における座標で表すこととしてもよい。

また、上述の実施形態ではロボット制御装置１００が３次元計測カメラ１５０とロボットアーム１６０の双方を制御したが、ロボット制御装置１００は必ずしもこの双方を制御しなければいけないわけではない。例えば、図１０に示すように、ロボット制御システム１００１がロボット制御装置１０１とは別に画像処理装置２００を備え、この２つの装置がお互いに通信部１４０及び通信部２４０を介して通信可能に構成されていてもよい。この場合、ロボット制御装置１０１がロボットアーム１６０を制御し、画像処理装置２００が３次元計測カメラ１５０を制御する。

また、この場合、図１０に示す制御部２１０、記憶部２２０、画像入力部２３１、表示部２３２、操作入力部２３３は、それぞれ、上述のロボット制御装置１００（図１）の制御部１１０、記憶部１２０、画像入力部１３１、表示部１３２、操作入力部１３３と同様の機能、構成を備える。そして、通信部１４０及び通信部２４０は、それぞれ、お互いに通信可能なデバイスを備える。この通信は、無線でも有線でもよい。例えば、通信部１４０及び通信部２４０は、それぞれ無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のデバイスを備え、お互いにデータ通信可能になっている。

そして、教示処理のステップＳ１０２や、再生処理のステップＳ２０２では、制御部１１０は、通信部１４０を介して、制御部２１０に、３次元計測カメラ１５０での撮影命令と、現在のロボットアーム１６０の３次元位置を送信する。それらを受信した制御部２１０は、画像入力部２３１から３次元計測カメラ１５０が撮影した対象物体３１０の画像データを取得するとともに、通信部２４０を介して、ロボットアーム１６０の３次元位置を取得することになる。

そして、再生処理のステップＳ２０５では、再生部１１４は、通信部１４０を介して、画像処理装置２００の変換データ算出部１１３が算出した変換データを取得し、当該変換データを用いて、記憶部１２０に記憶されている教示データに含まれる教示点の座標を、再生時の座標系での座標に変換する。

以上のように、ロボット制御装置１０１と画像処理装置２００とでロボットアーム１６０の制御と、３次元計測カメラ１５０の制御及び画像処理と、を分担して行うようにしてもよい。なお、上記及び図１０の構成はロボット制御システムの機能の分担の一例であり、ロボット制御システムの各機能を図１０とは異なる分担で構成してもよい。

また、ロボット制御装置１００，１０１の制御部１１０及び画像処理装置２００の制御部２１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施の形態では、ロボット制御装置１００，１０１の制御部１１０が行う処理のプログラムが記憶部１２０のＲＯＭに、また、画像処理装置２００の制御部２１０が行う処理のプログラムが記憶部２２０のＲＯＭに、予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。

１００，１０１…ロボット制御装置
１１０，２１０…制御部
１１１…基準位置取得部
１１２…再生位置取得部
１１３…変換データ算出部
１１４…再生部
１１５…教示部
１２０，２２０…記憶部
１３１，２３１…画像入力部
１３２，２３２…表示部
１３３，２３３…操作入力部
１３４…ロボット制御部
１４０，２４０…通信部
１５０…３次元計測カメラ
１６０…ロボットアーム
１６１…ロボットハンド
１７０…撮影位置
２００…画像処理装置
３００…物体
３０１，３０１’，３０２，３０２’，３０２’’，３０３，３０３’…教示点
３１０…対象物体
３２０…台
１０００，１００１…ロボット制御システム
Ｃ，Ｃ’…座標系
Ｐ，Ｑ…座標
Ｔ…移動量

Claims (9)

1. ３次元計測カメラと、ロボットアームと、ロボット制御装置と、を備えるロボット制御システムであって、
   前記３次元計測カメラは、前記ロボットアームに取り付けられ、対象物体の３次元位置を計測し、
   前記ロボット制御装置は、
   予め教示された教示データを再生することによって前記ロボットアームを動かすロボット制御装置であって、
   教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得部と、
   再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得部と、
   前記基準位置取得部が取得した基準位置を、前記再生位置取得部が取得した再生位置に変換する変換データを算出する変換データ算出部と、
   前記変換データ算出部が算出した変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生部と、
   を備える、
   ロボット制御システム。
2. 前記ロボット制御装置は、
   さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する教示部を備える、
   請求項１に記載のロボット制御システム。
3. 対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御装置であって、
   教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得部と、
   再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得部と、
   前記基準位置取得部が取得した基準位置を、前記再生位置取得部が取得した再生位置に変換する変換データを算出する変換データ算出部と、
   前記変換データ算出部が算出した変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生部と、
   を備えるロボット制御装置。
4. さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する教示部を備える、
   請求項３に記載のロボット制御装置。
5. 前記基準位置を表す点群データを編集する点群データ編集部をさらに備え、
   前記基準位置取得部は、前記点群データ編集部が編集した点群データで表される基準位置を取得する、
   請求項３又は４に記載のロボット制御装置。
6. 対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御方法であって、
   教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得ステップと、
   再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得ステップと、
   前記基準位置取得ステップで取得された基準位置を、前記再生位置取得ステップで取得された再生位置に変換する変換データを算出する変換データ算出ステップと、
   前記変換データ算出ステップで算出された変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生ステップと、
   を備えるロボット制御方法。
7. さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する再教示ステップを備える、
   請求項６に記載のロボット制御方法。
8. 対象物体の３次元位置を計測する３次元計測カメラが取り付けられたロボットアームを、予め教示された教示データを再生することによって動かすロボット制御装置のコンピュータに、
   教示時の前記対象物体の３次元位置である基準位置を前記３次元計測カメラから取得する基準位置取得ステップ、
   再生時の前記対象物体の３次元位置である再生位置を前記３次元計測カメラから取得する再生位置取得ステップ、
   前記基準位置取得ステップで取得された基準位置を、前記再生位置取得ステップで取得された再生位置に変換する変換データを算出する変換データ算出ステップ、及び、
   前記変換データ算出ステップで算出された変換データを用いて前記教示データを変換してから再生することによって前記ロボットアームを動かす再生ステップ、
   を実行させるためのプログラム。
9. 前記コンピュータに、
   さらに、前記教示データのうち、最初の教示データから修正が必要な教示データである修正必要教示データまで再生した後に再度教示を受けて、前記修正必要教示データを修正する再教示ステップ、
   を実行させるための請求項８に記載のプログラム。

Images