JP2022163836A - ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム - Google Patents

Abstract

【課題】実際にロボットを設置して動作させることなく、ロボットの教示を行うことのできる技術を提供する。【解決手段】ロボット画像の表示方法は、（ａ）教示用基台部の基台部画像からロボットの基台の位置及び姿勢を認識する工程と、（ｂ）教示用手先部の手先部画像からロボットの手先部の位置及び姿勢を認識する工程と、（ｃ）基台の位置及び姿勢と、手先部の位置及び姿勢から、ロボットが有する関節の角度を算出する工程と、（ｄ）前記工程（ｃ）で算出された前記関節の前記角度で表される前記ロボットの３次元画像を仮想空間に表示する工程と、を含む。【選択図】図４

Description

本開示は、ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システムに関する。

特許文献１には、エンドエフェクターやロボット周辺装置が無くても、それらが在るものと見なしてロボット教示作業を実施できるロボットシステムが開示されている。このシステムでは、ロボットのエンドエフェクター又はロボット周辺装置の仮想画像を、カメラにより撮影されたロボットの実画像に重畳して表示する。

特開２０１７－１０４９４４号公報

しかしながら、従来技術では、ロボットの教示を行うために、ロボットを実際に設置してロボットアームを実際に動作させる必要があるという問題があった。

本開示の第１形態によれば、ロボット画像の表示方法が提供される。この表示方法は、（ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する工程と、（ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する工程と、（ｃ）前記工程（ａ）で認識された前記基台の位置及び姿勢と、前記工程（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する工程と、（ｄ）前記工程（ｃ）で算出された前記関節の前記角度で表される前記ロボットの３次元画像を仮想空間に表示する工程と、を含む。

本開示の第２の形態によれば、ロボット画像の表示処理を行うためのコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、（ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、（ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、（ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、をプロセッサーに実行させる。

本開示の第３の形態によれば、ロボット画像の表示システムが提供される。この表示システムは、ロボットの基台の位置及び姿勢を教示するための教示用基台部と、前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部と、前記教示用基台部と前記教示用手先部を撮影するための撮影部と、前記撮影部に接続された制御部と、を備える。前記制御部は、（ａ）前記撮影部を用いて前記教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、（ｂ）前記撮影部を用いて前記教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、（ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、（ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、を実行する。

実施形態におけるロボットの教示システムを示す説明図。 教示用基台部及び教示用手先部とロボットとを比較して示す説明図。 制御装置の機能ブロック図。 図１の状態においてロボットを拡張現実で表示した様子を示す説明図。 教示システムを用いて教示を行う他の例を示す説明図。 図５の状態においてロボットを拡張現実で表示した様子を示す説明図。 実施形態における教示処理の手順を示すフローチャート。 ロボットの機種の選択画面を示す説明図。 ロボットの機種を変更する様子を示す説明図。 ロボットの関節角度変更用の画面を示す説明図。

図１は、実施形態におけるロボットの教示システムを示す説明図である。この教示システムは、教示用基台部１１０と、教示用手先部１３０と、撮像部２００と、制御装置３００と、ＡＲ(Augmented Reality)グラス４００と、を備える。この例では、教示用基台部１１０は、テーブル５００上に設置されている。また、教示用手先部１３０は、作業者ＰＳの手ＰＨで保持されており、ＡＲグラス４００は作業者ＰＳの頭部に装着されている。なお、図示の便宜上、作業者ＰＳは破線で描かれている。教示用手先部１３０と、撮像部２００と、ＡＲグラス４００は、有線又は無線で制御装置３００に接続されている。制御装置３００は、本開示における「制御部」に相当する。

教示用基台部１１０は、ロボットの基台の位置及び姿勢を教示するための部材である。教示用基台部１１０には、教示用基台部１１０の予め定められた基準点を原点とする基台部座標系Σｒ1が設定されている。教示用手先部１３０は、ロボットの手先部の位置及び姿勢を教示するための部材である。教示用手先部１３０には、制御点ＴＣＰ(Tool Center Point)が設定されている。教示用手先部１３０には、予め定められた基準点を原点とする手先部座標系Σｔ1が設定されている。この例では、手先部座標系Σｔ1の原点は、制御点ＴＣＰである。この教示システムは、ロボットの実機を用いることなく、教示用基台部１１０と教示用手先部１３０を用いてロボットの動きを教示する点に１つの特徴がある。より具体的には、まず、教示用基台部１１０と教示用手先部１３０の位置を設定した後に、それらの画像を撮像部２００で撮影し、それらの画像を用いてロボットの基台と手先部の位置及び姿勢を認識して、ロボットの各関節の角度を演算する。この処理の詳しい内容については後述する。

撮像部２００は、教示用基台部１１０と教示用手先部１３０の画像を撮影する。撮像部２００としては、ステレオカメラや、Ｌｉｄａｒ(Laser Imaging Detection and Ranging)などの光学測距装置、及び、単眼カメラなどを使用することが可能である。光学測距装置を用いる場合には、光学測距装置と共に単眼カメラを用いることが好ましい。こうすれば、光学測距装置で得られた距離画像と、単眼カメラで撮影された２次元画像から、２次元画像内の各位置における距離を正確に求めることができるという利点がある。撮像部２００には、撮像部２００の予め定められた基準点を原点とするカメラ座標系Σｃが設定されている。なお、図１に示すように、撮像部２００はテーブル５００の上に配置されているが、この他にもＡＲグラス４００の上部に取り付けられていてもよい。

図２は、教示用基台部１１０及び教示用手先部１３０と実機のロボット６００とを比較して示す説明図である。ロボット６００は、基台６１０とロボットアーム６２０とを備えており、ロボットアーム６２０の先端に手先部６３０を有している。手先部６３０は、エンドエフェクターを含んでいても良く、あるいは、ハンドなどのエンドエフェクターを含まずエンドエフェクターを取り付けるためのツールフランジが設けられている部分としてもよい。エンドエフェクターは、「ツール」と呼ばれることがある。本実施形態において、ロボットアーム６２０は、複数の関節Ｊ１～Ｊ６で順次接続されている。ロボット６００としては、２以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット６００は、垂直多関節ロボットであるが、水平多関節ロボットを使用してもよい。

ロボット６００の基台６１０には、基台６１０の予め定められた基準点を原点とするロボット座標系Σｒ0が設定されている。このロボット座標系Σｒ0は、教示用基台部１１０に設定されている基台部座標系Σｒ1に対応づけられる。手先部６３０には、制御点ＴＣＰ(Tool Center Point)が設定されている。ロボット６００の手先部６３０には、予め定められた基準点を原点とする手先部座標系Σｔ0が設定されている。図２の例では、手先部座標系Σｔ0の原点は制御点ＴＣＰである。手先部座標系Σｔ0は、教示用手先部１３０に設定されている手先部座標系Σｔ1に対応付けられる。なお、手先部座標系Σｔ0は、制御点ＴＣＰ以外の位置を原点として設定してもよい。例えば、ロボットアーム６２０の先端にあるツールフランジの基準点を原点として手先部座標系Σｔ0を設定してもよい。教示用手先部１３０に設定される手先部座標系Σｔ1も同様である。

教示用基台部１１０は、ロボット６００の基台６１０の位置及び姿勢を認識するための部材である。この例では、教示用基台部１１０は、ロボット６００の基台６１０とほぼ同じ形状を有しているが、任意の形状のものを使用することができる。また、教示用基台部１１０は、金属製又はプラスチック製のプレートや、紙などの任意の材料を用いて形成することが可能である。

教示用基台部１１０の表面には、２次元コードで構成される第１マーク１１２が設置されている。この第１マーク１１２は、教示用基台部１１０の画像から、教示用基台部１１０の位置及び姿勢を認識するために使用される。教示用基台部１１０の位置及び姿勢は、カメラ座標系Σｃにおける基台部座標系Σｒ1の位置及び姿勢を意味する。例えば、第１マーク１１２は、カメラ座標系Σｃにおける基台部座標系Σｒ1の位置及び姿勢を表すデータを含む白黒パターンとして構成することが可能である。上述したように、教示用基台部１１０に設定された基台部座標系Σｒ1は、ロボット６００の基台６１０に設定されたロボット座標系Σｒ0に対応している。従って、教示用基台部１１０の画像から認識された教示用基台部１１０の位置及び姿勢は、ロボット６００の基台６１０の位置及び姿勢と同じものであると見なすことができる。なお、一般に、位置は３つの座標値で表現され、姿勢は３×３の回転行列や四元数などで表現される。また、位置及び姿勢は、４×４の同次変換行列によって表すことも可能である。

第１マーク１１２としては、２次元コードに限らず、例えば、凸部、凹部、発光部、又は、印刷パターンを使用することができる。こうすれば、第１マーク１１２の画像から、教示用基台部１１０の位置及び姿勢を容易に認識できる。また、第１マーク１１２は、教示用基台部１１０の複数の面に設けることが好ましい。但し、教示用基台部１１０の形状自体からその位置及び姿勢を認識できる場合には、第１マーク１１２は省略可能である。この場合には、教示用基台部１１０の形状として、対称性のない形状を採用することが好ましい。なお、教示用基台部１１０として、実機のロボット６００の基台６１０を用いても良い。

教示用手先部１３０は、ロボット６００の手先部６３０の位置及び姿勢を認識するための部材である。この例では、教示用手先部１３０は、ロボット６００の手先部６３０と類似した形状を有しているが、任意の形状のものを使用することができる。また、教示用手先部１３０は、金属製又はプラスチック製のプレートや、紙などの任意の材料を用いて形成することが可能である。

教示用手先部１３０の表面には、２次元マークで構成される第２マーク１３２が設置されている。この第２マーク１３２は、教示用手先部１３０の画像から、教示用手先部１３０の位置及び姿勢を認識するために使用される。教示用手先部１３０の位置及び姿勢は、カメラ座標系Σｃにおける手先部座標系Σｔ1の位置及び姿勢を意味する。例えば、第２マーク１３２は、カメラ座標系Σｃにおける手先部座標系Σｔ1の位置及び姿勢を表すデータを含む白黒パターンとして構成することが可能である。上述したように、教示用手先部１３０に設定された手先部座標系Σｔ1は、ロボット６００の手先部６３０に設定された手先部座標系Σｔ0に対応している。従って、教示用手先部１３０の画像から認識された教示用手先部１３０の位置及び姿勢は、ロボット６００の手先部６３０の位置及び姿勢と同じものと見なすことができる。

第２マーク１３２としては、２次元コードに限らず、例えば、凸部、凹部、発光部、又は、印刷パターンを使用することができる。こうすれば、第２マーク１３２の画像から、教示用手先部１３０の位置及び姿勢を容易に認識できる。また、第２マーク１３２は、教示用手先部１３０の複数の面に設けることが好ましい。但し、教示用手先部１３０の形状自体からその位置及び姿勢を認識できる場合には、第２マーク１３２は省略可能である。この場合には、教示用手先部１３０の形状として、対称性のない形状を採用することが好ましい。なお、教示用手先部１３０として、実機のロボット６００の手先部６３０を用いても良い。

教示用手先部１３０は、更に、ボタン１３４と力検出部１３６とを有している。本実施形態では、ボタン１３４は、Ａボタン１３４ａとＢボタン１３４ｂの２つのボタンを含んでいる。これらのボタン１３４は、教示点や経路を設定したり、ロボットの機種を変更したり、ロボットの関節角度を変更したりする際に使用することができる。例えば、教示点を設定する場合に、ボタン１３４のうちの１つを押すと、その時点における教示用手先部１３０の位置及び姿勢が、教示点として登録される。また、経路を設定する場合には、ボタン１３４のうちの１つを押しながら教示用手先部１３０を移動させると、その経路が登録される。関節角度の変更については後述する。教示用手先部１３０には、１つ以上のボタンを設けることが好ましいが、ボタン１３４を省略しても良い。この場合には、作業者の手指の動きなどのジェスチャーを利用して作業者の指示を制御装置３００に与えるようにしてもよい。この場合には、作業者のジェスチャーをＡＲグラス４００や撮像部２００で撮影し、その動きに応じて作業者の指示を制御装置３００で認識することが可能である。

力検出部１３６は、教示用手先部１３０に掛かる外力を計測するセンサーである。力検出部１３６としては、例えば、６軸の力覚センサーを使用することができる。力検出部１３６は省略してもよい。

なお、教示用手先部１３０には、教示状態を表示する表示部や、イネーブル信号を発生させるためのスイッチ、教示用手先部１３０の位置及び姿勢の認識精度を向上させるためのジャイロスコープ等のセンサーなどの他の部品を設けるようにしてもよい。また、教示用手先部１３０として、実機のロボットと同一のハンドを用いても良い。或いは、教示用手先部１３０として、実機のロボットの手首部をロボットから取り外したものを用いても良い。後者の場合には、教示用手先部１３０は、エンドエフェクターに相当する部分を有していないものとなる。

図３は、制御装置３００の機能を示すブロック図である。制御装置３００は、例えばパーソナルコンピューターなどの情報処理装置として実現可能である。制御装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、インターフェイス回路３３０に接続された入力デバイス３４０及び表示部３５０と、を有している。インターフェイス回路３３０には、更に、教示用手先部１３０と撮像部２００とＡＲグラス４００が、有線又は無線で接続されている。但し、教示用手先部１３０にボタン１３４や力検出部１３６などの電気部品が設けられていない場合には、教示用手先部１３０を制御装置３００に接続しなくてもよい。

プロセッサー３１０は、ロボット選択部３１２と、位置姿勢認識部３１４と、関節角度算出部３１６と、制御プログラム作成部３１８の機能を有する。ロボット選択部３１２は、ロボット６００の複数の機種から教示処理の対象とする１つの機種を選択する際に使用される。位置姿勢認識部３１４は、教示用基台部１１０と教示用手先部１３０を撮像部２００で撮影して得られた画像から、ロボット６００の基台６１０の位置及び姿勢と手先部６３０の位置及び姿勢とを認識する。関節角度算出部３１６は、位置姿勢認識部３１４で認識された基台６１０の位置及び姿勢と手先部６３０の位置及び姿勢とから、ロボット６００が有する各関節の角度を算出する。制御プログラム作成部３１８は、関節角度算出部３１６で算出された関節角度を用いて、ロボット６００の制御プログラムを作成する。これらの各部３１２，３１４，３１６，３１８の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによって実現される。但し、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

メモリー３２０には、ロボット属性データＲＤと、周辺物体属性データＰＤと、ロボット制御プログラムＲＰが格納される。ロボット属性データＲＤは、ロボット６００の複数の機種に関して、ロボットアーム６２０の構成や可動範囲などの各種のロボット特性を含んでいる。また、ロボット属性データＲＤは、ＡＲグラス４００を用いてロボット６００の３次元画像を拡張現実で表示するために、ロボット６００の３次元形状を表す３次元データを含んでいることが好ましい。周辺物体属性データＰＤは、ロボット６００の周辺に存在する周辺物体の３次元形状を表す３次元データを含んでいる。周辺物体としては、例えば、架台や、棚、壁、パーツフィーダーなどを使用可能である。また、周辺物体属性データＰＤは、ロボット６００で取り扱われるワークの形状や重量を表すデータを含んでいいてもよい。ロボット制御プログラムＲＰは、ロボット６００を動作させる複数の命令で構成される。このロボット制御プログラムＲＰは、後述する教示処理によって作成される。

図４は、図１の状態においてロボット６００を拡張現実として表示した様子を示す説明図である。ロボット６００の３次元画像は、ＡＲグラス４００によって教示用基台部１１０及び教示用手先部１３０に重畳表示される。より具体的には、ロボット６００の３次元画像は、教示用基台部１１０を用いて認識された基台６１０の位置及び姿勢に従って基台６１０の画像が配置され、また、教示用手先部１３０を用いて認識された手先部６３０の位置及び姿勢に従って手先部６３０の画像が配置されるように表示される。なお、図４の例では、図示の便宜上、ロボット６００の基台６１０と手先部６３０の表示位置を、教示用基台部１１０と教示用手先部１３０の位置からややずれた位置として描いている。なお、教示用手先部１３０の形状として、エンドエフェクターを有さない手首部の形状を使用する場合には、エンドエフェクターも仮想現実として表示することが好ましい。また、ボタン１３４の１つを用いて、エンドエフェクターの可動部を仮想空間で動かすことによって、その形態を切り替えることができるように構成されていることが好ましい。なお、「仮想空間」とは、コンピューターが作り出した人工的な環境を意味する。

図５は、教示システムを用いて教示を行う他の例を示す説明図であり、図６は、図５の状態においてロボット６００を拡張現実で表示した様子を示す説明図である。これらの例では、教示用手先部１３０の先端が、ワークＷＫに押しつけられている。この状態において、作業者がボタン１３４の１つを押すと、教示用基台部１１０と教示用手先部１３０が撮像部２００で撮影されるとともに、力検出部１３６で検出された力が、制御装置３００に供給される。こうすれば、教示点を設定する際に、好ましい力を同時に設定することが可能である。この際、教示用手先部１３０は作業者の手で保持されているので、ニュートン単位の数値で力を入力する場合に比べて、好ましい力の大きさをより容易に設定することが可能である。このような好ましい力の設定は、例えば、ワークＷＫがボタンを有しており、ロボット６００を用いてワークＷＫのボタンを押す検査を実行する場合に行われる。或いは、手先部６３０に研磨部材を設けて、ワークＷＫを研磨する場合にも、力の設定が行われる。

図７は、一実施形態における教示処理の手順を示すフローチャートである。ステップＳ１０では、ロボット選択部３１２の機能を用いてロボット６００の機種が選択される。

図８は、ロボットの機種の選択画面ＷＳ１を示す説明図である。本実施形態において、この選択画面ＷＳ１は、ロボット選択部３１２からＡＲグラス４００に供給された画像データに従って、拡張現実として表示される。選択画面ＷＳ１には、ロボットの複数の機種が選択肢として配列されている。各機種には、機種名の他に、ロボットの属性として、軸数と、最大リーチと、可搬重量とが示されている。但し、ロボットの属性の一部又は全部を省略してもよい。また、各機種の画像を表示しても良い。作業者は、教示用手先部１３０に設けられたボタン１３４を用いて機種を選択することができる。すなわち、Ａボタン１３４ａを押すことによって複数の機種のうちの１つを選択し、Ｂボタン１３４ｂを押して決定することが可能である。図８の状態では、機種名が「Ｃ１」であるロボットが選択されている。作業者による選択結果は、ロボット選択部３１２によって受信される。なお、選択画面ＷＳ１を用いる代わりに、機種名を作業者が直接指定することよって機種を選択してもよい。

図７のステップＳ２０では、位置姿勢認識部３１４が、撮像部２００を用いて教示用基台部１１０と教示用手先部１３０を撮影して、基台部画像と手先部画像を生成する。このステップＳ２０は、教示用手先部１３０のボタン１３４の１つ、例えばＡボタン１３４ａ、を作業者が押すことによって開始される。撮像部２００は、教示用基台部１１０と教示用手先部１３０を同時に撮影できるように、十分に広い画角を有することが好ましい。なお、基台部画像と手先部画像は同じ画像としてもよい。或いは、撮像部２００で撮影された画像のうち、教示用基台部１１０を含む画像部分を基台部画像として抽出し、教示用手先部１３０を含む他の画像部分を手先部画像として抽出してもよい。また、基台部画像と手先部画像を別個に撮影してもよい。基台部画像と手先部画像は、一時的にメモリー３２０に格納される。また、撮像部２００の撮影は動画でもよい。教示点の登録ではなく経路を設定したい場合には、ステップＳ２０では、移動する教示用手先部１３０を動画によって撮影する。

ステップＳ３０では、位置姿勢認識部３１４が、ステップＳ２０で得られた基台部画像をメモリー３２０から取得し、基台部画像からロボット６００の基台６１０の位置を認識する。本実施形態では、図２に示したように、教示用基台部１１０に設けられた第１マーク１１２の画像から、カメラ座標系Σｃにおける基台部座標系Σｒ1の位置及び姿勢が認識される。この基台部座標系Σｒ1の位置及び姿勢は、ロボット６００の基台６１０の位置及び姿勢、すなわち、ロボット座標系Σｒ0の位置及び姿勢と見なすことができる。

ステップＳ４０では、位置姿勢認識部３１４が、ステップＳ２０で得られた手先部画像をメモリー３２０から取得し、手先部画像からロボット６００の手先部６３０の位置を認識する。本実施形態では、図２に示したように、教示用手先部１３０に設けられた第２マーク１３２の画像から、カメラ座標系Σｃにおける手先部座標系Σｔ1の位置及び姿勢が認識される。この手先部座標系Σｔ1の位置及び姿勢は、ロボット６００の手先部６３０の位置及び姿勢、すなわち、手先部座標系Σｔ0の位置及び姿勢と見なすことができる。

ステップＳ５０では、位置姿勢認識部３１４が、ロボット６００の基台６１０の位置及び姿勢と、手先部６３０の位置及び姿勢から、手先部６３０の制御点ＴＣＰのロボット座標を算出する。制御点ＴＣＰのロボット座標は、ロボット座標系Σｒ0における手先部座標系Σｔ0の位置及び姿勢で表される。

ステップＳ６０では、ロボット選択部３１２が、ロボットの機種の変更を要するか否かを判定する。具体的には、ステップＳ５０で算出された制御点ＴＣＰのロボット座標が、現在選択されているロボットの機種における可動範囲内に収まっている場合には、機種の変更が不要と判定される。一方、制御点ＴＣＰのロボット座標が可動範囲外にある場合には、機種の変更が必要と判定される。機種の変更が不要の場合には、後述するステップＳ８０に進み、機種の変更が必要な場合にはステップＳ７０に進む。ステップＳ７０では、ロボット選択部３１２の機能を用いてロボット６００の機種が変更される。

図９は、ロボットの機種の選択画面ＷＳ１を用いてロボットの機種を変更する様子を示す説明図である。ここでは、複数の機種のうち、「Ｃ１」と「Ｄ１」は、制御点ＴＣＰのロボット座標が可動範囲外にある機種である。これらの機種「Ｃ１」，「Ｄ１」は、選択できない無効な選択肢であることが作業者に視認できるように表示されている。図９の例では、機種「Ｃ１」，「Ｄ１」には網掛けが付されており、また、選択用のボックスも選択できない状態となっている。他の機種は、選択し得る有効な選択肢のリストとして提示されている。作業者は、有効な選択肢の中から１つを選択することによって、ロボットの機種を変更することができる。図９の例では、機種「Ｃ２」が変更後の機種として選択されている。このように、手先部６３０の制御点ＴＣＰがロボットの可動範囲外である場合に、ロボットの機種を変更することによって、制御点ＴＣＰをロボットの可動範囲内に収めることができる。なお、有効な選択肢が複数表示される必要は無いが、１つ以上の有効な選択肢が表示されることが好ましい。また、可動範囲外にあるかどうか判断される制御点ＴＣＰは、ステップＳ５０で算出された制御点ＴＣＰだけでなくともよい。例えば、ステップＳ５０よりも前に記憶した制御点ＴＣＰ、つまり、過去の教示処理において記憶した制御点ＴＣＰを加えてもよい。この場合、複数の機種のうち、上述の複数の制御点ＴＣＰのいずれか１つでも可動範囲外にある機種は、選択できない無効な選択肢であるとして、網掛けを付してもよい。

このように、ステップＳ７０では、ロボットの機種として、ロボット座標系Σｒ0における制御点ＴＣＰの位置がロボットの可動範囲内に収まる１つ以上の機種を作業者に提示し、その１つ以上の機種の中から作業者によって選択された機種を採用する。こうすれば、ロボットの機種を容易に変更できる。なお、選択画面ＷＳ１を用いる代わりに、機種名を作業者が直接指定することよって機種を変更してもよい。

ステップＳ８０では、関節角度算出部３１６が、ロボット座標系Σｒ0における制御点ＴＣＰの位置及び姿勢から、ロボット６００の各関節の角度を算出する。この計算は、逆運動学に従って実行される。一般に、逆運動学で計算される各関節の角度の組み合わせとしては、複数の組み合わせが可能である場合が多い。この場合に、ステップＳ８０では、予め定められた規則に従って、複数の組み合わせの中から１つが選択される。

ステップＳ９０では、関節角度算出部３１６が、関節角度の変更を要するか否かを判定する。本実施形態では、仮想空間において、各関節の角度で表されるロボットアーム６２０の形状が周辺物体と干渉する可能性のある干渉状態である場合に、関節角度の変更を要すると判定される。周辺物体の外形は、メモリー３２０に記憶された周辺物体属性データＰＤに含まれる３次元データによって表される。関節角度算出部３１６は、周辺物体の３次元データによって表される周辺物体の外形と、ステップＳ８０で算出された関節角度で表されるロボットアーム６２０の形状との間の距離を算出し、その距離が予め定められた閾値以下の場合には干渉状態にあるものと判定して、関節角度の変更が必要と判定することが可能である。閾値としては、例えば、０以上１０ｃｍ以下の値が設定される。仮想空間において周辺物体とロボットアーム６２０の形状とが干渉状態にない場合には、関節角度の変更が不要と判定する。なお、ロボットアーム６２０の形状が周辺物体と干渉する可能性のある干渉状態である場合に、関節角度算出部３１６が、干渉状態であることを示すアラートを作業者に通知するようにしてもよい。関節角度の変更が不要の場合には、後述するステップＳ１１０に進み、関節角度の変更が必要な場合にはステップＳ１００に進む。ステップＳ１００では、関節角度算出部３１６の機能を用いてロボット６００の関節角度が変更される。

図１０は、ロボットの関節角度変更用の画面ＷＳ２を示す説明図である。本実施形態において、この画面ＷＳ２は、関節角度算出部３１６からＡＲグラス４００に供給された画像データに従って、拡張現実として表示される。この例では、関節角度の組み合わせとして、２つの選択肢が表示されている。角度Ａ１と角度Ａ２は、３つの関節Ｊ２，Ｊ３，Ｊ５の角度の組み合わせが互いに異なるが、手先部６３０の位置及び姿勢は同一である。角度Ａ１では、ロボットアーム６２０が周辺物体ＰＢと干渉する可能性があり、角度Ａ２では、ロボットアーム６２０が周辺物体ＰＢと干渉する可能性がない。そこで、この例では、角度Ａ２が変更後の関節角度の組み合わせとして選択されている。このように、関節角度の組み合わせに関する複数の選択肢の中から１つを選択することによって、関節角度を変更することができる。このような関節角度の変更は、手先部６３０の位置及び姿勢を維持するように行われる。また、関節角度の変更は、作業者の指示に応じて行われる。この結果、仮想空間においてロボットアーム６２０が周辺物体ＰＢと干渉する可能性のある干渉状態である場合に、関節角度を変更することによって干渉状態を解消することができる。なお、作業者が選択肢の１つを選択する代わりに、関節角度算出部３１６が、干渉自体を解消する関節角度の組み合わせを自動的に決定するようにしてもよい。

なお、ステップＳ９０における判定は、関節角度算出部３１６が自動的に行う必要はなく、この代わりに、作業者によって関節角度の変更を要することが指定された場合に、関節角度の変更を要するものと判定してもよい。すなわち、作業者がロボットアーム６２０と周辺物体ＰＢの画像を見て、ロボットアーム６２０と周辺物体ＰＢが干渉状態にあるか否かを判定するようにしてもよい。この場合にも、関節角度の組み合わせの選択は、作業者によって行われることが好ましい。こうすれば、作業者によってロボットアーム６２０の好ましい状態を自由に選択できる。

ステップＳ１１０では、関節角度算出部３１６が、ロボット６００の画像を仮想空間に表示する。本実施形態では、関節角度算出部３１６からＡＲグラス４００に供給された画像データに従って、ロボット６００が拡張現実として表示される。例えば、前述した図４や図６のように、ロボット６００の３次元画像は、教示用基台部１１０にロボット６００の基台６１０の画像が重畳して表示され、また、教示用手先部１３０にロボット６００の手先部６３０の画像が重畳して表示される。

ステップＳ１２０では、ステップＳ１１０で表示されたロボット６００の状態が、教示点として適切か否かが作業者によって判定される。教示点として適切でない場合は、ステップＳ２０に戻り、教示用手先部１３０の位置を作業者が変更した上で、画像の撮影を再度実行する。一方、教示点として適切な場合には、ステップＳ１３０に進む。

ステップＳ１３０では、制御プログラム作成部３１８が、ステップＳ２０で画像が撮影された状態を教示点として登録する。このステップＳ１３０は、教示用手先部１３０のボタン１３４の１つ、例えばＢボタン１３４ｂ、を作業者が押すことによって開始される。教示点は、メモリー３２０内のロボット制御プログラムＲＰに登録される。また、教示点の登録ではなく経路を設定したい場合、すなわち、動画により撮影した場合には、制御プログラム作成部３１８が、動画から時系列順に複数の静止画を生成し、その静止画の状態を教示点として記録する。制御プログラム作成部３１８は、このように記録された複数の教示点から、経路を生成する。

ステップＳ１４０では、作業者によって、教示処理が終了したか否かが判定される。教示処理が終了していなければ、ステップＳ２０に戻り、教示用手先部１３０の位置を作業者が変更した上で、画像の撮影を再度実行する。一方、教示処理が終了した場合には、図７の処理を終了する。

なお、図７の処理の後に、ロボット制御プログラムＲＰ用の他の設定項目を設定する処理を、教示処理の一部として実行してもよい。また、教示処理が終了した後に、教示処理によって作成されたロボット制御プログラムＲＰを用いて、ロボット６００の動作を仮想空間で再現するようにしてもよい。例えば、ロボット６００を用いてワークを搬送する作業を行う場合に、そのワークの形状及び重量を予めメモリー３２０に格納しておき、仮想空間においてロボット６００がワークを搬送する様子を再現するようにしてもよい。こうすれば、ロボット６００を実際に動作させることなく、ワークの搬送作業が適切か否かを作業者が判断できる。また、ステップＳ１００にてロボット６００の関節角度が変更された後に、ステップＳ１１０にてロボット６００の画像を仮想空間に表示しているが、ステップＳ８０の後にロボット６００の画像を仮想空間に表示し、その後にロボット６００の関節角度を変更する判断を行ってもよい。このような場合には、複数の関節角度について表示および変更を繰り返すように構成してもよい。特に、垂直多関節ロボットのように冗長自由度が高いロボットでは、複数の関節角度の中から最適な関節角度を選ぶことができる。

以上のように、上記実施形態では、教示用基台部１１０の画像からロボット６００の基台６１０の位置及び姿勢を認識し、教示用手先部１３０の画像からロボット６００の手先部６３０の位置及び姿勢を認識し、これらの位置及び姿勢を用いて、ロボット６００が有する関節の角度を算出し、算出された関節の角度で表されるロボット６００の３次元画像を仮想空間に表示する。従って、実際にロボットを設置したり動作させたりすることなく、ロボットアームがどのような状態になるかを作業者が容易に理解でき、ロボットの教示を行うことができる。

なお、上述した実施形態では、ＡＲグラス４００を用いてロボット６００や周辺物体ＰＢの３次元画像を仮想現実として表示していたが、この代わりに、２次元画像を表示する表示部３５０を用いて、仮想空間においてロボット６００や周辺物体ＰＢの画像を表示してもよい。この場合も、ロボット６００の画像が仮想空間において表示される点では、ＡＲグラス４００を用いた場合と共通する。但し、ＡＲグラス４００を用いてロボット６００の３次元画像を拡張現実で表示するようにすれば、作業者がロボット６００の姿勢を容易に理解できるという利点がある。

・他の実施形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、ロボット画像の表示方法が提供される。この表示方法は、（ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する工程と、（ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する工程と、（ｃ）前記工程（ａ）で認識された前記基台の位置及び姿勢と、前記工程（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する工程と、（ｄ）前記工程（ｃ）で算出された前記関節の前記角度で表される前記ロボットの３次元画像を仮想空間に表示する工程と、を含む。
この表示方法によれば、実際にロボットを設置したり動作させたりすることなく、ロボットアームがどのような状態になるかを作業者が容易に理解でき、ロボットの教示を行うことができる。

（２）上記表示方法において、前記工程（ｃ）は、（ｉ）前記工程（ａ）で認識された前記基台の位置及び姿勢と、前記工程（ｂ）で認識された前記手先部の位置及び姿勢から、前記手先部に設定された制御点の位置をロボット座標系において算出する工程と、（ｉｉ）前記ロボット座標系における前記制御点の位置が前記ロボットの可動範囲外である場合に、前記ロボットの機種を変更する工程と、を含むものとしてもよい。
この表示方法によれば、手先部の制御点がロボットの可動範囲外である場合に、ロボットの機種を変更することによって、手先部の制御点をロボットの可動範囲内に収めることができる。

（３）上記表示方法において、前記工程（ｉｉ）は、前記ロボットの機種として、前記ロボット座標系における前記制御点の位置が前記ロボットの可動範囲内に収まる１つ以上の機種を作業者に提示する工程と、前記１つ以上の機種の中から前記作業者によって選択された機種を採用する工程と、を含むものとしてもよい。
この表示方法によれば、ロボットの機種を容易に変更できる。

（４）上記表示方法において、前記工程（ｃ）は、前記関節の角度の組み合わせとして複数の組み合わせが可能である場合に、前記複数の組み合わせの中から１つを選択して変更する角度変更工程、を含むものとしてもよい。
この表示方法によれば、ロボットアームの状態として好ましいものを選択できる。

（５）上記表示方法において、前記関節の角度の組み合わせの選択は、作業者によって行われるものとしてもよい。
この表示方法によれば、作業者によってロボットアームの好ましい状態を自由に選択できる。

（６）上記表示方法において、前記角度変更工程は、前記工程（ｃ）で算出された前記関節の角度で表されるロボットアームの形状が周辺物体と干渉する可能性のある干渉状態である場合に、前記手先部の位置及び姿勢を維持しつつ、前記関節の角度の組み合わせを変更することによって前記干渉状態を解消する干渉解消工程、を含むものとしてもよい。
この表示方法によれば、ロボットアームと周辺物体とが干渉する可能性を低減できる。

（７）上記表示方法において、前記干渉解消工程は、前記周辺物体の３次元データによって表される前記周辺物体と、前記周辺物体の３次元データによって表される前記周辺物体と、前記工程（ｃ）で算出された前記関節の角度で表される前記ロボットアームの形状との間の距離を算出する工程と、前記距離が予め定められた閾値以下の場合に前記干渉状態にあると判定し、前記手先部の位置及び姿勢を維持しつつ前記干渉状態を解消する前記関節の角度の組み合わせを自動的に決定する工程と、
を含むものとしてもよい。
この表示方法によれば、ロボットアームと周辺物体との干渉を自動的に解消できる。

（８）上記表示方法は、更に、前記工程（ｄ）で前記３次元画像を拡張現実として前記教示用基台部及び前記教示用手先部に重畳表示するものとしてもよい。
この表示方法によれば、ロボットアームを拡張現実として表示するので、ロボットアームがどのような状態になるかを作業者が容易に理解できる。

（９）上記表示方法において、前記教示用基台部には、前記ロボットの前記基台の位置及び姿勢を認識するために使用される第１マークが設けられており、前記教示用手先部には、前記ロボットの前記手先部の位置及び姿勢を認識するために使用される第２マークが設けられているものとしてもよい。
この表示方法によれば、第１マークと第２マークとを用いて、基台の位置及び姿勢と手先部の位置及び姿勢とを容易に認識できる。

（１０）上記表示方法において、前記第１マークと前記第２マークのそれぞれは、２次元コード、凸部、凹部、発光部、又は、印刷パターンを含むものとしてもよい。
この表示方法によれば、第１マークと第２マークから、基台の位置及び姿勢と手先部の位置及び姿勢とを容易に認識できる。

（１１）本開示の第２の形態によれば、ロボット画像の表示処理を行うためのコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、（ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、（ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、（ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、をプロセッサーに実行させる。
このコンピュータープログラムによれば、実際にロボットを設置したり動作させたりすることなく、ロボットアームがどのような状態になるかを作業者が容易に理解でき、ロボットの教示を行うことができる。

（１２）本開示の第３の形態によれば、ロボット画像の表示システムが提供される。この教示システムは、ロボットの基台の位置及び姿勢を教示するための教示用基台部と、前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部と、前記教示用基台部と前記教示用手先部を撮影するための撮影部と、前記撮影部に接続された制御部と、を備える。前記制御部は、（ａ）前記撮影部を用いて前記教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、（ｂ）前記撮影部を用いて前記教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、（ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、（ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、を実行する。
この教示システムによれば、実際にロボットを設置したり動作させたりすることなく、ロボットアームがどのような状態になるかを作業者が容易に理解でき、ロボットの教示を行うことができる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットと制御装置とを備えたロボットシステム、ロボットの制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１１０…教示用基台部、１１２…第１マーク、１３０…教示用手先部、１３２…第２マーク、１３４…ボタン、１３４ａ…Ａボタン、１３４ｂ…Ｂボタン、１３６…力検出部、２００…撮像部、３００…制御装置、３１０…プロセッサー、３１２…ロボット選択部、３１４…位置姿勢認識部、３１６…関節角度算出部、３１８…制御プログラム作成部、３２０…メモリー、３３０…インターフェイス回路、３５０…表示部、４００…ＡＲグラス、５００…テーブル、６００…ロボット、６１０…基台、６２０…ロボットアーム、６３０…手先部

Claims (12)

1. （ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する工程と、
   （ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する工程と、
   （ｃ）前記工程（ａ）で認識された前記基台の位置及び姿勢と、前記工程（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する工程と、
   （ｄ）前記工程（ｃ）で算出された前記関節の前記角度で表される前記ロボットの３次元画像を仮想空間に表示する工程と、を含む表示方法。
2. 請求項１に記載の表示方法であって、
   前記工程（ｃ）は、
   （ｉ）前記工程（ａ）で認識された前記基台の位置及び姿勢と、前記工程（ｂ）で認識された前記手先部の位置及び姿勢から、前記手先部に設定された制御点の位置をロボット座標系において算出する工程と、
   （ｉｉ）前記ロボット座標系における前記制御点の位置が前記ロボットの可動範囲外である場合に、前記ロボットの機種を変更する工程と、
   を含む、表示方法。
3. 請求項２に記載の表示方法であって、
   前記工程（ｉｉ）は、
   前記ロボットの機種として、前記ロボット座標系における前記制御点の位置が前記ロボットの可動範囲内に収まる１つ以上の機種を作業者に提示する工程と、
   前記１つ以上の機種の中から前記作業者によって選択された機種を採用する工程と、
   を含む、表示方法。
4. 請求項１～３のいずれか一項に記載の表示方法であって、更に、
   前記工程（ｃ）は、
   前記関節の角度の組み合わせとして複数の組み合わせが可能である場合に、前記複数の組み合わせの中から１つを選択して変更する角度変更工程、
   を含む、表示方法。
5. 請求項４に記載の表示方法であって、
   前記関節の角度の組み合わせの選択は、作業者によって行われる、表示方法。
6. 請求項４に記載の表示方法であって、
   前記角度変更工程は、
   前記工程（ｃ）で算出された前記関節の角度で表されるロボットアームの形状が周辺物体と干渉する可能性のある干渉状態である場合に、前記手先部の位置及び姿勢を維持しつつ、前記関節の角度の組み合わせを変更することによって前記干渉状態を解消する干渉解消工程、
   を含む、表示方法。
7. 請求項６に記載の表示方法であって、
   前記干渉解消工程は、
   前記周辺物体の３次元データによって表される前記周辺物体と、前記工程（ｃ）で算出された前記関節の角度で表される前記ロボットアームの形状との間の距離を算出する工程と、
   前記距離が予め定められた閾値以下の場合に前記干渉状態にあると判定し、前記手先部の位置及び姿勢を維持しつつ前記干渉状態を解消する前記関節の角度の組み合わせを自動的に決定する工程と、
   を含む、表示方法。
8. 請求項１～７のいずれか一項に記載の表示方法であって、更に、
   前記工程（ｄ）で前記３次元画像を拡張現実として前記教示用基台部及び前記教示用手先部に重畳表示する、表示方法。
9. 請求項１～８のいずれか一項に記載の表示方法であって、
   前記教示用基台部には、前記ロボットの前記基台の位置及び姿勢を認識するために使用される第１マークが設けられており、
   前記教示用手先部には、前記ロボットの前記手先部の位置及び姿勢を認識するために使用される第２マークが設けられている、
   表示方法。
10. 請求項９に記載の表示方法であって、
    前記第１マークと前記第２マークのそれぞれは、２次元コード、凸部、凹部、発光部、又は、印刷パターンを含む、表示方法。
11. （ａ）ロボットの基台の位置及び姿勢を教示するための教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、
    （ｂ）前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、
    （ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、
    （ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、をプロセッサーに実行させる、コンピュータープログラム。
12. ロボットの基台の位置及び姿勢を教示するための教示用基台部と、
    前記ロボットの手先部の位置及び姿勢を教示するための教示用手先部と、
    前記教示用基台部と前記教示用手先部を撮影するための撮影部と、
    前記撮影部に接続された制御部と、
    を備え、
    前記制御部は、
    （ａ）前記撮影部を用いて前記教示用基台部を撮影することによって作成された基台部画像を取得し、前記基台部画像から前記基台の位置及び姿勢を認識する処理と、
    （ｂ）前記撮影部を用いて前記教示用手先部を撮影することによって作成された手先部画像を取得し、前記手先部画像から前記手先部の位置及び姿勢を認識する処理と、
    （ｃ）前記処理（ａ）で認識された前記基台の位置及び姿勢と、前記処理（ｂ）で認識された前記手先部の位置及び姿勢から、前記ロボットが有する関節の角度を算出する処理と、
    （ｄ）前記処理（ｃ）で算出された前記関節の角度で表される前記ロボットの３次元画像を仮想空間に表示する処理と、を実行する、表示システム。

Images