JP2018015863A - ロボットシステム、教示データ生成システム及び教示データ生成方法 - Google Patents

ロボットシステム、教示データ生成システム及び教示データ生成方法 Download PDF

Info

Publication number
JP2018015863A
JP2018015863A JP2016149912A JP2016149912A JP2018015863A JP 2018015863 A JP2018015863 A JP 2018015863A JP 2016149912 A JP2016149912 A JP 2016149912A JP 2016149912 A JP2016149912 A JP 2016149912A JP 2018015863 A JP2018015863 A JP 2018015863A
Authority
JP
Japan
Prior art keywords
robot
unit
teaching data
operation mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016149912A
Other languages
English (en)
Other versions
JP6883392B2 (ja
Inventor
博貴 木下
Hirotaka Kinoshita
博貴 木下
裕規 高山
Yuki Takayama
裕規 高山
藤森 潤
Jun Fujimori
潤 藤森
仁志 蓮沼
Hitoshi Hasunuma
仁志 蓮沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2016149912A priority Critical patent/JP6883392B2/ja
Publication of JP2018015863A publication Critical patent/JP2018015863A/ja
Application granted granted Critical
Publication of JP6883392B2 publication Critical patent/JP6883392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

【課題】 教示データを容易かつ迅速に生成することができるロボットシステムを提供する。【解決手段】 ロボット1と、ロボット1の動作態様を規定する教示データを生成する教示データ生成システム40と、を含むロボットシステム100であって、教示データ生成システムは、所定の作業空間Bに位置する検知対象物の動作を検知する検知部43と、検知部が検知した検知対象物の動作に基づいて、検知対象物の動作態様を特定する動作態様特定部61と、動作態様特定部が特定した検知対象物の動作態様に基づいて、教示データを生成する教示データ生成部64と、を含む。【選択図】 図3

Description

本発明は、ロボットシステム、教示データ生成システム及び教示データ生成方法に関する。
従来からロボットの教示装置が知られている(例えば特許文献1参照)。
このロボットの教示装置は、ティーチペンダントと、ティーチペンダントが接続されるロボットの制御部とを備えている。これによって、ティーチペンダントを用いてロボットに対するティーチング(教示)を実施することができる。
特開2013−132728号公報
しかし、特許文献1に記載のロボットの教示装置を用いたティーチング作業は、ロボットの操作方法に習熟した熟練作業者がロボットを操作して実施する必要があり、作業者の育成に時間を要するという問題があった。
上記課題を解決するため、本発明のある態様に係るロボットシステムは、ロボットと、前記ロボットの動作態様を規定する教示データを生成する教示データ生成システムと、を含むロボットシステムであって、前記教示データ生成システムは、所定の作業空間に位置する検知対象物の動作を検知する検知部と、前記検知部が検知した前記検知対象物の動作に基づいて、前記検知対象物の動作態様を特定する動作態様特定部と、前記動作態様特定部が特定した前記検知対象物の動作態様に基づいて、前記教示データを生成する教示データ生成部と、を含む。
この構成によれば、検知部が検知した検知対象物の動作に基づいて教示データを作成することができる。したがって、ロボットの教示データの作成の際にロボットの操作方法に習熟した熟練作業者がロボットを操作する必要がなく、教示データを容易かつ迅速に生成することができる。
前記ロボットは、前記所定の作業空間に設置されていてもよい。
この構成によれば、所定の作業空間における作業者の作業を代替することができる。
前記ロボットは、ロボットアームと、前記ロボットアームの先端部に取り付けられたハンドと、前記ロボットアームを駆動して前記ハンドを移動させるロボットアーム駆動部と、前記ロボットアーム駆動部の動作を制御するロボット制御部と、を含み、前記動作態様特定部は、前記検知部が検知した前記検知対象物の変位に基づいて、前記検知対象物の動作軌跡を特定し、前記教示データ生成部は、前記動作態様特定部が特定した前記検知対象物の動作軌跡に基づいて、前記ロボット制御部に対する前記ロボットアームの動作態様を規定する前記教示データを生成してもよい。
この構成によれば、検知部が検知した検知対象物の変位に基づいてロボットアームに対する教示データを生成することができる。
前記検知対象物は、前記所定の作業空間に位置する作業者の身体の所定の部位であってもよい。
この構成によれば、検知部が検知した作業者の身体の部位の動作に基づいてロボットアームに対する教示データを生成することができる。
前記作業者の身体の前記所定の部位は前記作業者の手であってもよい。
この構成によれば、検知部が検知した作業者の手の動作に基づいてロボットアームに対する教示データを生成することができる。
前記ロボットは、前記ロボットアームを一対備え、前記作業者の前記所定の部位は、前記作業者の身体の第1部位及び第2部位であり、前記教示データ生成部は、前記動作態様特定部が特定した前記第1部位の動作軌跡に基づいて、前記ロボット制御部に対する前記一対のロボットアームのうち一方のロボットアームの動作態様を規定する第1教示データを生成し、且つ前記動作態様特定部が特定した前記第2部位の動作軌跡に基づいて、前記ロボット制御部に対する前記一対のロボットアームのうち他方のロボットアームの動作態様を規定する第2教示データを生成してもよい。
この構成によれば、検知部が検知した作業者の身体の第1部位及び第2部位の動作に基づいて一括してロボットの一対のロボットアームのそれぞれの教示データを作成することができる。したがって、一対のロボットアームを組み合わせた複雑な動作の教示に係る教示データの作成を容易かつ迅速に生成することができる。
前記検知部は、前記所定の作業空間を撮影するビジョンセンサを含み、前記動作態様特定部は、前記ビジョンセンサが撮影した画像データに基づいて、前記第1部位及び前記第2部位の動作軌跡をそれぞれ特定してもよい。
この構成によれば、精度の高い一対のロボットアームを動作させるロボットの教示データの生成を容易且つ迅速に行うことができる。
前記第1部位に所定の模様を有する第1マーカが付され、前記第2部位に前記第1マーカに係る模様と異なる模様を有する第2マーカが付され、前記動作態様特定部は、前記ビジョンセンサが撮影した画像データに含まれる前記第1マーカの変位に基づいて前記第1部位の動作軌跡を特定し、且つ前記ビジョンセンサが撮影した画像データに含まれる前記第2マーカの変位に基づいて前記第2部位の動作軌跡を特定してもよい。
この構成によれば、作業者の身体の第1部位及び第2部位の動作を精確に識別することができる。
前記検知部は、前記第1部位に装着されて該第1部位の変位を検知する第1ジャイロセンサと、前記第2部位に装着されて該第2部位の変位を検知する第2ジャイロセンサと、を含み、前記動作態様特定部は、前記第1ジャイロセンサが検知した前記第1部位の変位に基づいて、前記動作態様特定部が特定した前記第1部位の動作軌跡を補正し、且つ前記第2ジャイロセンサが検知した前記第2部位の変位に基づいて、前記動作態様特定部が特定した前記第2部位の動作軌跡を補正してもよい。
この構成によれば、ビジョンセンサの死角となる位置における作業者の身体の部位の変位を検知することができ、より精度よく作業者の身体の部位の変位を特定することができる。また、ビジョンセンサが故障した場合においても、ジャイロセンサが検知した作業者の身体の部位の変位に基づいて、作業者の身体の部位の変位を検知することができ、教示データ生成システムの信頼性を向上させることができる。
前記第1部位は前記作業者の右手であり、前記第2部位は前記作業者の左手であってもよい。
この構成によれば、ロボットアームと相似性の高い両手の動作に基づいて一括してロボットの一対のロボットアームのそれぞれの教示データを作成することができる。
前記教示データ生成システムは、前記動作態様特定部が特定した前記検知対象物の動作軌跡を1以上の区間に分割する動作軌跡分割部と、各前記区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線を算出し、且つ前記直線又は前記近似曲線に基づいて前記検知対象物の動作軌跡に近似する近似軌跡を算出する近似軌跡算出部と、を更に備え、前記教示データ生成部は、前記近似軌跡に基づいて、前記ロボット制御部に対する前記ロボットアームの動作態様を規定する前記教示データを生成してもよい。
この構成によれば、教示データに係るロボットの動作から作業者の意図しない震え等の動作を取り除くことができ、ロボットの動作に適した動作に係る教示データを生成することができる。また、教示データのデータ量を少なくすることができ、教示データ生成システムの演算処理負荷を軽減することができる。
前記ロボット制御部は、前記教示データに基づき前記ハンドが前記近似軌跡上を移動するように前記ロボットアーム駆動部の動作を制御してもよい。
この構成によれば、ロボットに適した動作に係る教示データに基づいてロボットアームを動作させることができる。
前記近似軌跡算出部は、各区間のそれぞれについて、前記検知対象物の最高移動速度又は加速度を算出し、且つ前記最高移動速度又は前記加速度が低くなるに従って前記直線又は前記近似曲線を次数N(Nは1以上の整数)が大きいN次式で表現してもよい。
この構成によれば、作業者の身体の部位の最高移動速度又は加速度に基づいて作業に対する要求精度を判定し、この判定した要求精度に基づいて、近似軌跡を算出することができる。
前記教示データ生成システムは、情報を入力する入力装置と、を更に備え、前記近似軌跡算出部は、前記入力装置からの入力に応じて各前記区間の前記直線又は前記近似曲線の次数を変更してもよい。
この構成によれば、要求精度に応じた近似軌跡の編集を容易且つ迅速に行うことができる。
前記教示データ生成システムは、第1画像を生成する第1画像生成部と、前記第1画像を表示する第1表示装置とを更に備え、前記第1画像は、前記近似軌跡、各前記区間の境界位置、各前記区間の前記最高移動速度又は前記加速度に係る情報を含んでいてもよい。
この構成によれば、近似軌跡、各区間の境界位置、各区間の最高移動速度又は加速度を容易に確認して、要求精度に応じた近似軌跡の編集を容易且つ迅速に行うことができる。
前記教示データ生成システムは、前記所定の作業空間に向けて設置され、前記所定の作業空間に位置する前記検知対象物の動作を撮影するカメラと、前記教示データ生成部が生成した前記教示データに基づいて前記カメラから撮影された前記所定の作業空間において動作するロボットの動作態様を仮想的に表現した動作シミュレーション画像を生成する動作シミュレーション画像生成部と、前記カメラが撮影した画像と動作シミュレーション画像とを重ね合わせた第2画像を生成する第2画像生成部と、前記第2画像を表示する第2表示装置とを更に備えていてもよい。
この構成によれば、教示データの修正を容易且つ迅速に行うことができる。
前記教示データ生成システムは、前記検知対象物の動作態様の特定を開始する特定開始指示及び前記検知対象物の動作態様の特定を終了する特定終了指示を前記所定の作業空間に位置する教示作業実施者が入力するための動作態様取得開始/終了指示部を備え、前記動作態様特定部は、前記動作態様取得開始/終了指示部に入力された前記特定開始指示に基づいて前記検知対象物の動作態様の特定を開始し、且つ前記動作態様取得開始/終了指示部に入力された前記特定終了指示に基づいて前記検知対象物の動作態様の特定を終了してもよい。
この構成によれば、教示作業実施者自身が作業空間において作業開始時に特定開始指示を入力して動作態様特定部に動作態様の特定を開始させた上で教示に係る作業を行い、その後、当該教示に係る作業が終了すると、作業空間において特定終了指示を入力して動作態様特定部に動作態様の特定を終了させることができる。よって、動作態様特定部に教示に係る作業に関係する動作態様のみを特定させることができる。
上記課題を解決するため、本発明のある態様に係る教示データ生成システムは、ロボットの動作態様を規定する教示データを生成する教示データ生成システムであって、所定の作業空間に位置する検知対象物の動作を検知する検知部と、前記検知部が検知した前記検知対象物の動作に基づいて、前記検知対象物の動作態様を特定する動作態様特定部と、前記動作態様特定部が特定した前記検知対象物の動作態様に基づいて、前記教示データを生成する教示データ生成部と、を含む。
この構成によれば、検知部が検知した検知対象物の動作に基づいて教示データを作成することができる。したがって、ロボットの教示データの作成の際にロボットの操作方法に習熟した熟練作業者がロボットを操作する必要がなく、教示データの作成を容易かつ迅速に生成することができる。
上記課題を解決するため、本発明のある態様に係る教示データ生成方法は、ロボットの動作態様を規定する教示データを生成する教示データ生成方法であって、所定の作業空間に位置する検知対象物の動作を検知するステップと、前記検知対象物の動作に基づいて、前記検知対象物の動作軌跡を特定するステップと、前記検知対象物の動作軌跡を1以上の区間に分割するステップと、各前記区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線を算出し、且つ前記直線又は前記近似曲線に基づいて前記検知対象物の動作軌跡に近似する近似軌跡を算出するステップと、前記近似軌跡に基づいて前記教示データを生成するステップとを含む。
この構成によれば、検知部が検知した検知対象物の動作に基づいて教示データを作成することができる。したがって、ロボットの教示データの作成の際にロボットの操作方法に習熟した熟練作業者がロボットを操作する必要がなく、教示データの作成を容易かつ迅速に生成することができる。
本発明は、教示データを容易かつ迅速に生成することができるという効果を奏する。
本発明の実施の形態1に係るロボットシステムの構成例を示す平面図である。 図1のロボットシステムのロボットの構成例を示す正面図である。 図1のロボットシステムの制御系統の構成例を概略的に示すブロック図である。 図1のロボットシステムの検知部及び工具の構成例を示す平面図である。 図1のロボットシステムの動作態様特定部が特定した作業者の動作態様及び近似軌跡算出部が生成した近似軌跡の構成例を示す図である。 図1のロボットシステムの記憶部に記憶されている次数決定テーブルの構成例を示す図である。 図1のロボットシステムの第1画像生成部が生成した第1画像の構成例を示す図である。 図1のロボットシステムの第1画像生成部が生成した第1画像の構成例を示す図である。 図1のロボットシステムの動作シミュレーション画像生成部が生成した動作シミュレーション画像及び第2画像生成部が生成した第2画像の構成例を示す図である。 図1のロボットシステムの教示データ生成システムの動作例を示すフローチャートである。 本発明の実施の形態2に係るロボットシステムの検知部の構成例を示す平面図である。 本発明の実施の形態3に係るロボットシステムの構成例を示す平面図である。 本発明の実施の形態4に係るロボットシステムの制御系統の構成例を概略的に示すブロック図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。また、以下では、全ての図を通じて、同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。
(実施の形態1)
図1は、本発明の実施の形態1に係るロボットシステム100の構成例を示す平面図である。
図1に示すように、ロボットシステム100は、例えば生産ラインの所定の作業空間Bにおいて作業者Aが行う所定の作業を作業者Aに代替して行うことができるものである。本実施の形態において、生産ラインには、同様の作業を行う作業空間Bがコンベヤ120の延在方向に一列に並んでおり、ロボットシステム100は、何れかの作業空間Bにおける所定の作業を代替して行うことができるように構成される。そして、作業空間Bにおいて、例えば、コンベヤ120からワークW1を取り上げて、ワークW1にワークW2を取り付け、その後再びコンベヤ120に戻す作業が実施される。
ロボットシステム100は、ロボット1と、教示データ生成システム40とを備える。
[ロボットの構成例]
図2は、ロボットシステム100のロボット1の構成例を示す正面図である。
図2に示すように、ロボット1は、ロボット本体10と、ロボット制御部30とを含む。
ロボット本体10は、例えば、一対のロボットアームを備える水平多関節型の双腕ロボットである。但し、これに限られるものではなく、ロボットアームは、垂直多関節型のロボットアームであってもよい。
ロボット本体10は、移動可能に構成されている台車12と、台車12に支持された第1ロボットアーム13A及び第2ロボットアーム13Bと、第1ロボットアーム13Aの先端部に連なる第1ハンド14Aと、第2ロボットアーム13Bの先端部に連なる第2ハンド14Bと、第1ロボットアーム13Aの関節を駆動して第1ハンド14Aを移動させる第1ロボットアーム駆動部15Aと、第2ロボットアーム13Bの関節を駆動して第2ハンド14Bを移動させる第2ロボットアーム駆動部15Bと、第1ハンド14Aを駆動する第1ハンド駆動部16Aと、第2ハンド14Bを駆動する第2ハンド駆動部16Bとを含む。第1ロボットアーム13A及び第2ロボットアーム13Bは、互いに独立して動作したり、互いに関連して動作したりすることができる。
以下では、第1ロボットアーム13A及び第2ロボットアーム13Bを区別しない場合は、単にロボットアーム13ということがある。また、第1ハンド14A及び第2ハンド14Bを区別しない場合は、単にハンド14ということがある。更に、第1ロボットアーム駆動部15A及び第2ロボットアーム駆動部15Bを区別しない場合は、単にロボットアーム駆動部15ということがある。また、第1ハンド駆動部16Aと第2ハンド駆動部16Bとを区別しない場合は、単にハンド駆動部16ということがある。
ロボット制御部30は、台車12内に収納され、ロボットアーム駆動部15及びハンド駆動部16の動作を制御する。
[教示データ生成システムの構成例]
図3は、ロボットシステム100の制御系統の構成例を概略的に示すブロック図である。
教示データ生成システム40は、ロボット1の動作態様を規定する教示データを生成するシステムである。図3に示すように、教示データ生成システム40は、制御装置48と、検知部43と、入力装置44と、表示装置45(第1表示装置,第2表示装置)とを含む。
図4は、検知部43及び工具111の構成例を示す平面図である。
検知部43は、所定の作業空間Bに位置する検知対象物の動作を検知する。より具体的には、検知部43は、作業者の所定の身体の部位の変位を検知する。更に具体的には、検知部43は、作業者の右手(第1部位)及び左手(第2部位)の部位の変位を検知する。検知部43は、ビジョンセンサ71と、右手用グローブ72の第1ジャイロセンサ72bと、左手用グローブ73の第2ジャイロセンサ73bとを含む。
ビジョンセンサ(カメラ)71は、作業者Aが位置する作業空間Bの近傍に配設されている。そして、ビジョンセンサ71は、イメージセンサを有し、作業空間Bの経時変化に係る画像、すなわち動画像を撮影する。また、ビジョンセンサ71は、制御装置48と通信可能に接続され、撮影した動画像に係る情報を制御装置48に対して送信する(図3参照)。
図4に示すように、右手用グローブ72及び左手用グローブ73は、それぞれ作業者の右手及び左手に装着するグローブである。
右手用グローブ72は、第1マーカ72aと、第1ジャイロセンサ72b(図3参照)とを含む。第1マーカ72aは、右手用グローブ72の甲の表面に付された所定の模様であり、例えば右手用グローブ72の甲の中心に付された矩形を主体とする図形に係る模様である。第1ジャイロセンサ72bは、変位を検知するジャイロセンサであり、右手用グローブ72に内蔵されている。
左手用グローブ73は、第2マーカ73aと、第2ジャイロセンサ73b(図3参照)とを含む。第2マーカ73aは、左手用グローブ73の甲の表面に付された所定の模様であり、例えば左手用グローブ73の甲の中心に付された円形を主体とする図形に係る模様である。第2ジャイロセンサ73bは、変位を検知するジャイロセンサであり、左手用グローブ73に内蔵されている。このように、第1マーカ72aと第2マーカ73aとは、互いに異なる模様で構成されている。
更に、右手用グローブ72は第3マーカ72cを含み、左手用グローブ73は、第4マーカ73cを含む。第3マーカ72c及び第4マーカ73cは、それぞれ右手用グローブ72及び左手用グローブ73の指の甲を横断する方向に伸延する互いに平行な複数の線に係る模様である。複数の線に係る模様は、所定の間隔で付されている。
図3に示すように、第1ジャイロセンサ72b及び第2ジャイロセンサ73bは、制御装置48と通信可能に接続され、検知した変位を制御装置48に送信する。
入力装置44は、情報を入力するための装置であり、例えばキーボード、マウス等の装置である。入力装置44は制御装置48と通信可能に接続され、入力された情報を制御装置48に対して送信する。
表示装置45は、制御装置48と通信可能に接続され、制御装置48から出力された信号を受信し、受信した信号に基づいて画像を表示する。表示装置45は、例えば液晶表示装置である。表示装置45は、後述する第1画像81及び第2画像84を表示する。
制御装置48は、制御部41及び記憶部42を含む。制御装置48は、集中制御を行う単独の制御器で構成してもよく、分散制御を行う複数の制御器で構成してもよい。
制御部41は、例えば、マイクロコントローラ、CPU、MPU、論理回路、PLC等で構成される。
制御部41は、動作態様特定部61と、動作軌跡分割部62と、近似軌跡算出部63と、教示データ生成部64と、第1画像生成部65と、第2画像生成部66と、動作シミュレーション画像生成部67とを含む。動作態様特定部61、動作軌跡分割部62、近似軌跡算出部63、教示データ生成部64、第1画像生成部65、第2画像生成部66、動作シミュレーション画像生成部67は、記憶部42に格納された所定の制御プログラムを演算器が実行することにより実現される機能ブロックである。
図5は、動作態様特定部61が特定した作業者Aの動作態様及び近似軌跡算出部63が生成した近似軌跡の構成例を示す図である。
動作態様特定部61は、検知部43が検知した検知対象物の動作に基づいて、検知対象物の動作態様を特定する。例えば、動作態様特定部61は、検知部43が検知した作業者Aの両手の変位に基づいて、両手のそれぞれの動作軌跡を特定する。
すなわち、図5に示すように、動作態様特定部61は、ビジョンセンサ71が撮影した画像データを分析し、当該画像データに含まれる第1マーカ72aの変位に基づいて作業者Aの右手の動作軌跡Tを特定する。また、動作態様特定部61は、ビジョンセンサ71が撮影した画像データに含まれる第2マーカ73aの変位に基づいて作業者Aの左手の動作軌跡を特定する。このように、右手用グローブ72と左手用グローブ73とは、異なる模様で構成されているので、これらのマーカに基づいて作業者の右手及び左手を識別することができる。
そして、動作態様特定部61は、両手のそれぞれの動作軌跡を、微小時間間隔毎に特定した手の位置座標として特定する。すなわち、動作態様特定部61は、両手のそれぞれの動作軌跡を離散点で経時的に観測・測定された一組のデータ群として表現する。また、動作態様特定部61は、両手のそれぞれの動作軌跡を互いに同一の時間軸を用いて表現する。
更に、動作態様特定部61は、ビジョンセンサ71が撮影した画像データに含まれる第3マーカ72c及び第4マーカ73cに基づいて、左手及び右手指の曲げ伸ばし等の作業者Aの手の動きを特定する。すなわち、作業者Aが指先を曲げると、指先の線は手の甲から掌の側に移動して隠れると共に、ビジョンセンサ71から見た複数の線の間隔が変化する。動作態様特定部61は、ビジョンセンサ71が撮影した画像データに含まれる第3マーカ72c及び第4マーカ73cの模様の変化に基づいて、作業者Aの手の動きを特定する。
また、動作態様特定部61は、第1ジャイロセンサ72bが検知した作業者Aの右手の変位に基づいて、ビジョンセンサ71が撮影した画像に基づいて動作態様特定部61が特定した作業者Aの右手の動作軌跡Tを補正する。また、動作態様特定部61は、第2ジャイロセンサ73bが検知した作業者Aの左手の変位に基づいて、ビジョンセンサ71が撮影した画像に基づいて動作態様特定部61が特定した作業者Aの左手の動作軌跡を補正する。
また、作業者Aが用いる工具111にマーカ111aを付してもよい。そして、動作態様特定部61は、ビジョンセンサ71が撮影した画像データに含まれるマーカ111aの変位に基づいて、作業者Aが工具111を用いる動作態様を特定してもよい。
動作軌跡分割部62は、動作態様特定部61が特定した検知対象物の動作軌跡を1以上の区間に分割する。例えば、動作軌跡分割部62は、動作態様特定部61が特定した作業者Aの両手のそれぞれの動作軌跡を1以上の区間に分割する。
すなわち、図5に示すように、動作軌跡分割部62は、例えば所定の時間間隔で作業者の手の動作軌跡を複数の区間に分割する。
図6は、次数決定テーブルの構成例を示す図である。
近似軌跡算出部63は、動作軌跡分割部62が分割した各区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線を算出する。更に、算出した各区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線に基づいて作業者Aの手の動作軌跡に近似する近似軌跡を算出する。
すなわち、近似軌跡算出部63は、動作軌跡分割部62が分割した各区間について、動作態様特定部61が特定した動作軌跡に基づいて作業者Aの手の最高移動速度を算出する。そして、例えば、図6に示す次数決定テーブルを参照し、各区間について、最高移動速度に応じて複数段階にランク分けする。そして、各区間について、その動作軌跡の始点と終点とを結ぶN次式(Nは1以上の整数)で表現される直線又は近似曲線を算出する。N次式の次数は、ランクに応じて規定され、最高移動速度が高いランクから最高移動速度が低いランクになるに従って、次数が低くなるように規定されている。すなわち、作業者の手の最高移動速度が低くなるに従って、動作軌跡に対する近似軌跡の近似度が高くなるように構成されている。通常、作業者Aが高い精度が要求される作業を行っているときは、手をゆっくり動かして注意深く作業を進めるため、手の移動速度は遅くなる。したがって、高い精度が要求される区間においては、動作軌跡に対する近似軌跡の近似度が高くなるように構成されている。
なお、本実施の形態においては、動作態様特定部61が特定した動作軌跡に基づいて作業者Aの手の最高移動速度を算出し、算出した作業者の手の最高移動速度が低くなるに従って、動作軌跡に対する近似軌跡の近似度が高くなるように構成したがこれに限られるものではない。これに代えて、動作態様特定部61が特定した動作軌跡に基づいて作業者Aの手の加速度を算出し、算出した作業者の手の加速度が低くなるに従って、動作軌跡Tに対する近似軌跡Taの近似度が高くなるように構成してもよい。
教示データ生成部64は、動作態様特定部61が特定した検知対象物の動作態様に基づいて、教示データを生成する。例えば、教示データ生成部64は、近似軌跡算出部63が算出した近似軌跡に基づいて、ロボット制御部30に対する第1ロボットアーム13A及び第2ロボットアーム13Bの動作態様を規定する教示データを生成する。教示データには、近似軌跡に沿ってハンド14を移動させるためのロボットアーム13の関節の角度変位情報等が含まれる。
図7A及び図7Bは、第1画像生成部65が生成した第1画像81の構成例を示す図である。
第1画像生成部65は、図7A及び図7Bに示すように、近似軌跡、各区間の境界位置、各区間の加速度に係る情報を含む第1画像81を生成する。
図8は、動作シミュレーション画像生成部67が生成した動作シミュレーション画像83及び第2画像生成部66が生成した第2画像84の構成例を示す図である。
動作シミュレーション画像生成部67は、図8に示すように、教示データ生成部64が生成した教示データに基づいて、ビジョンセンサ71から撮影された所定の作業空間Bにおいて動作するロボット1の動作態様を仮想的に表現した動作シミュレーション画像を生成する。なお、動作シミュレーション画像生成部67に近似軌跡Taを表してもよい。
第2画像生成部66は、ビジョンセンサ71が撮影した実画像82と動作シミュレーション画像83とを重ね合わせた第2画像84を生成する。第2画像84において、例えば動作シミュレーション画像83は透過画像として表され、実画像82及び動作シミュレーション画像83を同時に視認することができるように構成されている。また、第2画像生成部66は、実画像82における作業者Aの動作状態と動作シミュレーション画像83におけるロボット本体10の動作状態とを同期させて表示するように構成されている。これによって、作業者Aの作業をロボット本体10に代替させた状態を容易に確認することができ、動作上の不具合を容易に発見することができる。
記憶部42は、ROM、RAM等のメモリを有する。記憶部42には、所定のプログラムが記憶されていて、制御部41がこれらのプログラムを読み出して実行することにより、各種の処理が行われる。また、記憶部42には、図6に示す次数決定テーブルが記憶されている。
[教示データの自動作成に係る動作例]
次に、教示データ生成システム40の教示データの自動作成に係る動作例を説明する。
図9は、教示データ生成システム40の動作例を示すフローチャートである。
まず、図9に示すように、ステップS10において、ビジョンセンサ71は、作業者Aが位置する作業空間Bを撮影し、撮影した画像データ(動画像データ)を教示データ生成システム40の制御装置48に送信する。制御装置48の制御部41は、受信した画像データを記憶部42に格納する。
次に、ステップS20において、第1ジャイロセンサ72b及び第2ジャイロセンサ73bは、それぞれ検知した作業者Aの右手及び左手の変位に係る情報を教示データ生成システム40の制御装置48に送信する。制御装置48の制御部41は、受信した変位に係る情報を記憶部42に格納する。
次に、ステップS30において、教示データ生成システム40の動作態様特定部61は、記憶部42に格納された画像データを分析し、画像に含まれる第1マーカ72aの変位に基づいて、作業者Aの右手の動作態様、すなわち右手の動作軌跡Tを特定する。同様に、動作態様特定部61は、画像に含まれる第2マーカ73aの変位に基づいて、作業者Aの左手の動作態様、すなわち左手の動作軌跡を特定する。
次に、ステップS40において、動作態様特定部61は、記憶部42に格納された第1ジャイロセンサ72bが検知した作業者Aの右手の変位に係る情報に基づいて、動作態様特定部61が特定した作業者の右手の動作軌跡Tを補正する。同様に、動作態様特定部61は、記憶部42に格納された第2ジャイロセンサ73bが検知した作業者Aの左手の変位に係る情報に基づいて、動作態様特定部61が特定した作業者Aの左手の動作軌跡を補正する。そして、動作態様特定部61は、特定した右手及び左手の動作軌跡に係るデータを記憶部42に格納する。
上述の通り、第1マーカ72a及び第2マーカ73aの模様は、互いに異なる模様で構成されているので、ビジョンセンサ71が撮影した画像データに基づいて、両手の動作を精確に識別することができる。
また、動作態様特定部61は、ビジョンセンサ71が撮像した画像に含まれるマーカ(第1マーカ72a又は第2マーカ73a)の変位に加え、ジャイロセンサ(第1ジャイロセンサ72b及び第2ジャイロセンサ73b)が検知した変位に基づいて作業者の手の動作軌跡を特定するよう構成されている。これによって、例えば一方の手が他方の手によって覆われるなど、ビジョンセンサ71の死角となる位置における作業者の手の変位を検知することができ、より精度よく作業者の手の動作軌跡を特定することができる。また、ビジョンセンサ71が故障した場合においても、ジャイロセンサが検知した作業者の手の変位に基づいて、作業者の手の動作軌跡を特定することができ、教示データ生成システムの信頼性を向上させることができる。
更に、動作態様特定部61は、ビジョンセンサ71が撮影した画像データに含まれる第3マーカ72c及び第4マーカ73cに基づいて、左手及び右手指の曲げ伸ばし等の作業者Aの手の動きを特定してもよい。また、動作態様特定部61は、工具111に付されたマーカ111aに基づいて、作業者Aが工具111を用いる動作態様を特定してもよい。
なお、動作態様特定部61は、上述のとおり、両手のそれぞれの動作軌跡を互いに同一の時間軸を用いて表現する。これによって、動作態様特定部61は、両手の相対的な位置関係を特定することができる。
このように、ビジョンセンサ71が撮影した画像に含まれる第1マーカ72a及び第2マーカ73aに基づいて一括して作業者Aの両手の動作態様を特定することができる。
次に、ステップS50において、動作軌跡分割部62は、作業者Aの右手の動作軌跡Tを区間s1,s2の二つの区間に分割する。同様に、動作軌跡分割部62は、作業者Aの左手の動作軌跡を図示しない二つの区間に分割する。
次に、ステップS60において、近似軌跡算出部63は、作業者Aの右手の区間s1,s2のそれぞれについて、作業者Aの右手の最高移動速度を算出する。同様に、近似軌跡算出部63は、作業者Aの左手の動作軌跡の図示しない二つの区間のそれぞれについて、作業者Aの左手の最高移動速度を算出する。
次に、ステップS70において、近似軌跡算出部63は、図6に示すように、次数決定テーブルを参照し、作業者Aの右手の区間s1,s2について、それぞれを最高移動速度に応じてランク分けする。例えば、区間s1における作業者Aの右手の最高移動速度が速度a2を超える速度である場合、近似軌跡算出部63は、区間s1をランクCに分類する。また、区間s2における作業者Aの右手の最高移動速度がa1を超え、且つa2以下である場合、近似軌跡算出部63は、区間s2をランクBに分類する。同様に、近似軌跡算出部63は、作業者Aの左手の二つの区間について、それぞれを最高移動速度に応じてランク分けする。
次に、ステップS80において、近似軌跡算出部63は、作業者Aの右手の区間s1,s2のそれぞれについて、ランクに応じたN次式の次数を決定する。例えば、近似軌跡算出部63は、区間s1について、区間s1のランクCに応じた次数1と決定し、区間s2について、区間s2のランクBに応じた次数2と決定する。同様に近似軌跡算出部63は、作業者Aの左手の二つの区間のそれぞれについて、ランクに応じたN次式の次数を決定する。
次に、ステップS90において、近似軌跡算出部63は、作業者Aの右手の各区間s1,s2について、その動作軌跡の始点と終点とを結ぶN次式(Nは1以上の整数)で表現される直線又は近似曲線を算出する。例えば、近似軌跡算出部63は、区間s1について1次式で表現される直線を算出し、区間s2について2次式で表現される近似曲線を算出する。上述の通り、作業者の手の最高移動速度が低くなるに従って、動作軌跡Tに対する近似軌跡Taの近似度が高くなる(N次式の次数Nが大きくなる)ように構成されているので、高い精度が要求される区間においては、動作軌跡Tに対する近似軌跡Taの近似度が高くなるように構成されている。同様に、近似軌跡算出部63は、作業者Aの右手の二つの区間のそれぞれについて、その動作軌跡の始点と終点とを結ぶN次式で表現される直線又は近似曲線を算出する。
次に、ステップS100において、近似軌跡算出部63は、作業者Aの右手の算出した区間s1,s2の動作軌跡の始点と終点とを結ぶ直線又は近似曲線に基づいて、動作軌跡Tに近似する近似軌跡Taを算出する。同様に、近似軌跡算出部63は、作業者Aの左手の算出した二つの区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線に基づいて、動作軌跡に近似する近似軌跡を算出する。近似軌跡算出部63は、算出した近似軌跡を記憶部42に格納する。
次に、ステップS110において、教示データ生成部64は、近似軌跡算出部63が算出し、記憶部42に格納された作業者Aの右手の近似軌跡Taに基づいて、ロボット制御部30に対する第1ロボットアーム13Aの動作態様を規定する第1教示データを生成する。同様に、教示データ生成部64は、近似軌跡算出部63が算出し、記憶部42に格納された作業者Aの左手の近似軌跡に基づいて、ロボット制御部30に対する第2ロボットアーム13Bの動作態様を規定する第2教示データを生成する。そして、教示データ生成部64は、生成した第1教示データ及び第2教示データを記憶部42に格納する。
このように、教示データ生成システム40は、ビジョンセンサ71が撮影した画像に含まれる作業者の両手の動作に基づいて一括してロボット1の第1ロボットアーム13Aの動作態様を規定する第1教示データ、及び第2ロボットアーム13Bの動作態様を規定する第2教示データを作成することができる。したがって、例えば、第1ハンド14A及び第2ハンド14Bが協働してワークを挟み持って運搬する作業等の一対のロボットアームを組み合わせた複雑な動作態様を規定する教示データの作成を容易かつ迅速に生成することができる。
また、教示データ生成システム40の制御部41は、動作態様特定部61が特定した作業者Aの動作軌跡に基づいてロボットアーム(第1ロボットアーム13A及び第2ロボットアーム13B)の動作態様を規定する教示データ(第1教示データ及び第2教示データ)を生成する際、作業者Aの手の最高移動速度に基づいて作業に対する要求精度を判定し、この要求精度に応じて作業者Aの動作軌跡の近似軌跡を算出するように構成されている。したがって、教示データに係る動作態様から作業者Aの意図しない震え等の動作を取り除くことができ、ロボットの動作に適した動作に係る教示データを生成することができる。また、教示データのデータ量を少なくすることができ、教示データ生成システム40の演算処理負荷を軽減することができる。なお、制御部41が算出する近似軌跡は、上記の構成に限られるものではない。例えば、制御部41は、動作態様特定部61が特定した作業者Aの動作軌跡との距離が所定の値に収まるジグザグ形状の線、すなわち各区間が直線(1次式)で表現される線を算出し、この線を近似軌跡としてもよい。
更に、ビジョンセンサ71が撮影した画像に基づいて教示データを作成するよう構成されているので、教示データを作成する際にロボット1を直接操作する必要がなく、ロボットが存在しない状況においても教示データを生成することができる。
[近似軌跡の確認作業を実施する場合の動作例]
次に、教示データ生成システム40の第1ロボットアーム13Aの近似軌跡の確認作業を実施する際の動作例を説明する。
まず、教示データ生成システム40の第1画像生成部65は、図7Aに示すように第1画像81を生成する。第1画像生成部65は、動作軌跡Tと近似軌跡算出部63が算出した近似軌跡Taとを重ね合わせて第1画像81に表す。また、第1画像生成部65は、区間s1の始点、区間s1及び区間s2の境界位置、区間s2の終点を円形の記号として動作軌跡T及び近似軌跡Ta上に重ね合わせて表す。更に、第1画像生成部65は、区間s1の最高移動速度V1を区間s1の近傍の表示領域A11に表し、区間s1のランクを表示領域A11の下方の表示領域A12に表す。また、第1画像生成部65は、区間s2の最高移動速度V2を区間s2の近傍の表示領域A21に表し、区間s2のランクを表示領域A21の下方の表示領域A22に表す。なお、本実施の形態において、第1画像生成部65は、領域A11,A12から区間s1に向かって延びる矢印、及び領域A21,A22から区間s2に向かって延びる矢印を表示し、区間s1と領域A11,A12との対応関係、及び区間s2と領域A21,A22との対応関係を明確にしている。
そして、表示領域A12,A22は、プルダウンメニューであり、初期状態において、第1画像生成部65は、近似軌跡算出部63が分類したランクを表示する。そして、図7Bに示すように、教示作業実施者が、入力装置44を用いてプルダウンメニューから他のランクを選択すると、第1画像生成部65は、変更されたランクを表示する。また、近似軌跡算出部63は、変更されたランクに応じた近似軌跡を算出し、第1画像生成部65は、元のランクに係る近似軌跡を新たに算出された近似軌跡に更新して表示する。
このように、教示作業実施者は、第1画像81を用いて表示された情報の関係を容易に確認することができ、これらの情報に基づいて、要求精度に応じた近似軌跡の編集を容易且つ迅速に行うことができる。
[教示データの確認作業を実施する場合の動作例]
次に、教示データ生成システム40の第1ロボットアーム13Aの動作態様を規定する第1教示データ及び第2ロボットアーム13Bの動作態様を規定する第2教示データの確認作業を実施する場合の動作例を説明する。
まず、図8に示すように、教示データ生成システム40の動作シミュレーション画像生成部67は、動作シミュレーション画像83を生成する。動作シミュレーション画像83は、教示データ生成部64が生成した第1教示データ及び第2教示データに基づいて、作業空間Bにおいて動作するロボット1の動作態様を仮想的に表現した画像である。動作シミュレーション画像83において、第1ロボットアーム13Aの動作態様及び第2ロボットアーム13Bの動作態様は、同時に表示され、第1ロボットアーム13A及び第2ロボットアーム13Bが協調して動作する態様が確認可能となっている。また、動作シミュレーション画像83には近似軌跡Taが表される。
次に、教示データ生成システム40の第2画像生成部66は、第2画像84を生成する。第2画像84は、ビジョンセンサ71が撮影した実画像82と動作シミュレーション画像83とを重ね合わせた画像である。第2画像84において、例えば動作シミュレーション画像83は透過画像として表され、実画像82及び動作シミュレーション画像83が同時に視認することができるように構成されている。また、実画像82における作業者Aの動作状態と動作シミュレーション画像83におけるロボット本体10の動作状態とを同期させて表示するように構成されている。すなわち、第2画像84においては、作業者Aの両手のそれぞれ位置に第1ハンド14A及び第2ハンド14Bが位置する状態を保ちながらロボット本体10が動作する様子が表示される。したがって、作業者Aの作業をロボット本体10に代替させた状態を容易に確認することができる。これによって、例えばロボットアーム13と障害物との干渉等の不具合を容易に発見することができ、教示データの修正を容易且つ迅速に行うことができる。また、第2画像84には、動作シミュレーション画像83に基づいて近似軌跡Taが表されるので、更に容易にロボット本体10の動作状態を確認することができる。なお、上記第2画像84には、近似軌跡Taの他に第1画像81に表した情報、すなわち、動作軌跡T、各区間の始点、終点及び境界位置、並びに最高移動速度及びランクにかかる情報を表示してもよい。これによって、教示データの編集を更に容易に行うことができる。
[ロボットの動作例]
上記の通り自動作成され、必要に応じて編集された第1教示データ及び第2教示データの作成作業が終了すると、これらの教示データは、ロボット1のロボット制御部30に送信される。ロボット制御部30は、受信した第1教示データに基づいて第1ロボットアーム駆動部15Aを制御し、第1ロボットアーム13Aを動作させる。また、ロボット制御部30は、受信した第2教示データに基づいて第2ロボットアーム駆動部15Bを制御し、第2ロボットアーム13Bを動作させる。これによって、第1ロボットアーム13A及び第2ロボットアーム13Bは協調して動作する。したがって、第1ロボットアーム13A及び第2ロボットアーム13Bでワークを支持して運搬する作業等の協調作業を行うことができる。
以上に説明したように、本発明のロボットシステム100の教示データ生成システム40は、ビジョンセンサ71が撮影した画像に含まれる作業者の動作態様に基づいて教示データを作成することができる。したがって、ロボット1の教示データの作成の際にロボット1の操作方法に習熟した熟練作業者がロボット1を操作する必要がなく、教示データの作成を容易かつ迅速に生成することができる。
(実施の形態2)
図10は、実施の形態2に係るロボットシステムの検知部の構成例を示す平面図である。
上記実施の形態1においては、ビジョンセンサ71が撮影した画像データに含まれる第3マーカ72c及び第4マーカ73cに基づいて、左手及び右手指の曲げ伸ばし等の作業者Aの手の動きを特定するように構成されているが、これに限られるものではない。これに代えて、例えば、図10に示すように、右手用グローブ272が作業者の右手の各指の姿勢を検知する第1指姿勢検知部272cを有し、左手用グローブ273が作業者の左手の各指の姿勢を検知する第2指姿勢検知部273cを有していてもよい。そして、第1指姿勢検知部272c及び第2指姿勢検知部273cは、制御装置48と通信可能に接続され、検知した対応する手の指の姿勢を制御装置48に送信するよう構成されていてもよい。
(実施の形態3)
図11は、実施の形態3に係るロボットシステムの構成例を示す平面図である。
上記実施の形態1においては、作業者Aの右手の動作に基づいて第1ロボットアーム13Aの動作態様を規定する教示データを生成し、左手の動作に基づいて第2ロボットアーム13Bの動作態様を規定する教示データを生成したがこれに限られるものではない。これに代えて、図11に示すように、作業者Aの右手の動作に基づいて第1のロボット301のロボットアームの動作態様を規定する教示データを生成し、左手の動作に基づいて第2のロボット302のロボットアームの動作態様を規定する教示データを生成してもよい。
(実施の形態4)
図12は、実施の形態4に係るロボットシステムの制御系統の構成例を概略的に示すブロック図である。
本実施の形態において、ロボットシステム400の教示データ生成システム40は、上記実施の形態1で例示した形態に加え、更にデータ取得開始/終了指示入力部446を更に含む。
データ取得開始/終了指示入力部446は、例えば、検知対象物の動作態様の特定を開始する特定開始指示及び検知対象物の動作態様の特定を終了する特定終了指示を入力するための装置である。そして、データ取得開始/終了指示入力部446は、特定開始指示及び特定終了指示を作業空間Bにおいて作業者が入力することができるように構成されている。また、データ取得開始/終了指示入力部446は制御装置48と通信可能に接続され、入力された特定開始指示及び特定終了指示に係る情報を制御装置48に対して送信する。データ取得開始/終了指示入力部446は、例えば作業空間Bに位置する作業者Aの足元に設置されたフットペダルであり、データ取得開始/終了指示入力部446がフットペダルが踏み下げられたことを検知すると、踏下検知信号を制御装置48に対して送信する。
本実施の形態において、動作態様特定部461は、以下の通り構成されている。すなわち、動作態様特定部461が動作態様の特定処理を行っていない状態において、制御装置48がデータ取得開始/終了指示入力部446から踏下検知信号を受信すると、動作態様特定部461は特定開始指示が入力されたと判定し、検知部43が検知した検知対象物の動作に基づく検知対象物の動作態様の特定を開始する。また、動作態様特定部461が動作態様の特定処理を行っている状態において、制御装置48がデータ取得開始/終了指示入力部446から踏下検知信号を受信すると、動作態様特定部461は特定終了指示が入力されたと判定し、検知部43が検知した検知対象物の動作に基づく検知対象物の動作態様の特定を終了する。その他の動作態様特定部461の構成については、上記実施の形態1の動作態様特定部61と同様であるので、その説明を省略する。
したがって、教示作業実施者は作業空間Bにおいて作業開始時にデータ取得開始/終了指示入力部446のフットペダルを踏み下げることにより、データ取得開始/終了指示入力部446に特定開始指示を入力することができ、教示データ生成システム40に教示データの生成を開始させることができる。そしてその後、教示に係る作業が終了すると、教示作業実施者は作業空間Bにおいてデータ取得開始/終了指示入力部446のフットペダルを再度踏み下げることにより、データ取得開始/終了指示入力部446に特定終了指示を入力することができ、教示データ生成システム40に教示データの生成を終了させることができる。よって、動作態様特定部61に教示に係る作業に関係する動作態様のみを特定させることができ、例えば教示作業実施者自身が作業者Aとして作業空間Bにおいて作業を実施して、教示データの生成を行うことができる。
なお、特定開始指示及び特定終了指示を入力する構成は、上記に限られるものではない。これに代えて、特定開始指示及び特定終了指示は音声によって入力してもよい。すなわち、データ取得開始/終了指示入力部446はマイクであってもよい。そして、動作態様特定部461は、動作態様特定部461が動作態様の特定処理を行っていない状態において、制御装置48がデータ取得開始/終了指示入力部446から「開始」という音声に係る信号を受信すると、動作態様特定部461は特定開始指示が入力されたと判定し、検知部43が検知した検知対象物の動作に基づく検知対象物の動作態様の特定を開始してもよい。また、動作態様特定部461が動作態様の特定処理を行っている状態において、制御装置48がデータ取得開始/終了指示入力部446から「終了」という音声に係る信号を受信すると、動作態様特定部461は特定終了指示が入力されたと判定し、検知部43が検知した検知対象物の動作に基づく検知対象物の動作態様の特定を終了してもよい。
<変形例>
上記実施の形態1においては、作業者Aの手の動作に基づいてロボット1の動作態様を規定する教示データを生成したがこれに限られるものではない。これに代えて、例えば、脚の動作に基づいてロボット1の動作態様を規定する教示データを生成してもよい。また、作業者Aによって移動されたワークの変位に基づいてロボット1の動作態様を規定する教示データを生成してもよい。
また、動作態様特定部61が第3マーカ72c及び第4マーカ73cに基づいた作業者の手の曲げ伸ばしに係る手の動きに係る動作態様を特定し、特定した動作態様に基づいてロボット1のハンド駆動部16の動作態様を規定する教示データを生成してもよい。
上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び/又は機能の詳細を実質的に変更できる。
A 作業者
T 動作軌跡
Ta 近似軌跡
1 ロボット
10 ロボット本体
13 ロボットアーム
15 ロボットアーム駆動部
30 ロボット制御部
40 教示データ生成システム
61 動作態様特定部
62 動作軌跡分割部
63 近似軌跡算出部
64 教示データ生成部
100 ロボットシステム

Claims (19)

  1. ロボットと、
    前記ロボットの動作態様を規定する教示データを生成する教示データ生成システムと、を含むロボットシステムであって、
    前記教示データ生成システムは、
    所定の作業空間に位置する検知対象物の動作を検知する検知部と、
    前記検知部が検知した前記検知対象物の動作に基づいて、前記検知対象物の動作態様を特定する動作態様特定部と、
    前記動作態様特定部が特定した前記検知対象物の動作態様に基づいて、前記教示データを生成する教示データ生成部と、を含むロボットシステム。
  2. 前記ロボットは、前記所定の作業空間に設置される、請求項1に記載のロボットシステム。
  3. 前記ロボットは、ロボットアームと、前記ロボットアームの先端部に取り付けられたハンドと、前記ロボットアームを駆動して前記ハンドを移動させるロボットアーム駆動部と、前記ロボットアーム駆動部の動作を制御するロボット制御部と、を含み、
    前記動作態様特定部は、前記検知部が検知した前記検知対象物の変位に基づいて、前記検知対象物の動作軌跡を特定し、
    前記教示データ生成部は、前記動作態様特定部が特定した前記検知対象物の動作軌跡に基づいて、前記ロボット制御部に対する前記ロボットアームの動作態様を規定する前記教示データを生成する、請求項1又は2に記載のロボットシステム。
  4. 前記検知対象物は、前記所定の作業空間に位置する作業者の身体の所定の部位である、請求項3に記載のロボットシステム。
  5. 前記作業者の身体の前記所定の部位は前記作業者の手である、請求項4に記載のロボットシステム。
  6. 前記ロボットは、前記ロボットアームを一対備え、
    前記作業者の前記所定の部位は、前記作業者の身体の第1部位及び第2部位であり、
    前記教示データ生成部は、前記動作態様特定部が特定した前記第1部位の動作軌跡に基づいて、前記ロボット制御部に対する前記一対のロボットアームのうち一方のロボットアームの動作態様を規定する第1教示データを生成し、且つ前記動作態様特定部が特定した前記第2部位の動作軌跡に基づいて、前記ロボット制御部に対する前記一対のロボットアームのうち他方のロボットアームの動作態様を規定する第2教示データを生成する、請求項4又は5に記載のロボットシステム。
  7. 前記検知部は、前記所定の作業空間を撮影するビジョンセンサを含み、
    前記動作態様特定部は、前記ビジョンセンサが撮影した画像データに基づいて、前記第1部位及び前記第2部位の動作軌跡をそれぞれ特定する、請求項6に記載のロボットシステム。
  8. 前記第1部位に所定の模様を有する第1マーカが付され、
    前記第2部位に前記第1マーカに係る模様と異なる模様を有する第2マーカが付され、
    前記動作態様特定部は、前記ビジョンセンサが撮影した画像データに含まれる前記第1マーカの変位に基づいて前記第1部位の動作軌跡を特定し、且つ前記ビジョンセンサが撮影した画像データに含まれる前記第2マーカの変位に基づいて前記第2部位の動作軌跡を特定する、請求項7に記載のロボットシステム。
  9. 前記検知部は、前記第1部位に装着されて該第1部位の変位を検知する第1ジャイロセンサと、前記第2部位に装着されて該第2部位の変位を検知する第2ジャイロセンサと、を含み、
    前記動作態様特定部は、前記第1ジャイロセンサが検知した前記第1部位の変位に基づいて、前記動作態様特定部が特定した前記第1部位の動作軌跡を補正し、且つ前記第2ジャイロセンサが検知した前記第2部位の変位に基づいて、前記動作態様特定部が特定した前記第2部位の動作軌跡を補正する、請求項6乃至8の何れかに記載のロボットシステム。
  10. 前記第1部位は前記作業者の右手であり、前記第2部位は前記作業者の左手である、請求項6乃至9の何れかに記載のロボットシステム。
  11. 前記教示データ生成システムは、
    前記動作態様特定部が特定した前記検知対象物の動作軌跡を1以上の区間に分割する動作軌跡分割部と、
    各前記区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線を算出し、且つ前記直線又は前記近似曲線に基づいて前記検知対象物の動作軌跡に近似する近似軌跡を算出する近似軌跡算出部と、を更に備え、
    前記教示データ生成部は、前記近似軌跡に基づいて、前記ロボット制御部に対する前記ロボットアームの動作態様を規定する前記教示データを生成する、請求項3乃至10の何れかに記載のロボットシステム。
  12. 前記ロボット制御部は、前記教示データに基づき前記ハンドが前記近似軌跡上を移動するように前記ロボットアーム駆動部の動作を制御する、請求項11に記載のロボットシステム。
  13. 前記近似軌跡算出部は、各区間のそれぞれについて、前記検知対象物の最高移動速度又は加速度を算出し、且つ前記最高移動速度又は前記加速度が低くなるに従って前記直線又は前記近似曲線を次数N(Nは1以上の整数)が大きいN次式で表現する、請求項11又は12に記載のロボットシステム。
  14. 前記教示データ生成システムは、
    情報を入力する入力装置と、を更に備え、
    前記近似軌跡算出部は、前記入力装置からの入力に応じて各前記区間の前記直線又は前記近似曲線の次数を変更する、請求項13に記載のロボットシステム。
  15. 前記教示データ生成システムは、第1画像を生成する第1画像生成部と、前記第1画像を表示する第1表示装置とを更に備え、
    前記第1画像は、前記近似軌跡、各前記区間の境界位置、各前記区間の前記最高移動速度又は前記加速度に係る情報を含む、請求項14に記載のロボットシステム。
  16. 前記教示データ生成システムは、
    前記所定の作業空間に向けて設置され、前記所定の作業空間に位置する前記検知対象物の動作を撮影するカメラと、
    前記教示データ生成部が生成した前記教示データに基づいて前記カメラから撮影された前記所定の作業空間において動作するロボットの動作態様を仮想的に表現した動作シミュレーション画像を生成する動作シミュレーション画像生成部と
    前記カメラが撮影した画像と動作シミュレーション画像とを重ね合わせた第2画像を生成する第2画像生成部と、
    前記第2画像を表示する第2表示装置とを更に備える、請求項1乃至15の何れかに記載のロボットシステム。
  17. 前記教示データ生成システムは、前記検知対象物の動作態様の特定を開始する特定開始指示及び前記検知対象物の動作態様の特定を終了する特定終了指示を前記所定の作業空間に位置する教示作業実施者が入力するための動作態様取得開始/終了指示部を備え、
    前記動作態様特定部は、前記動作態様取得開始/終了指示部に入力された前記特定開始指示に基づいて前記検知対象物の動作態様の特定を開始し、且つ前記動作態様取得開始/終了指示部に入力された前記特定終了指示に基づいて前記検知対象物の動作態様の特定を終了する、請求項1乃至16の何れかに記載のロボットシステム。
  18. ロボットの動作態様を規定する教示データを生成する教示データ生成システムであって、
    所定の作業空間に位置する検知対象物の動作を検知する検知部と、
    前記検知部が検知した前記検知対象物の動作に基づいて、前記検知対象物の動作態様を特定する動作態様特定部と、
    前記動作態様特定部が特定した前記検知対象物の動作態様に基づいて、前記教示データを生成する教示データ生成部と、を含む教示データ生成システム。
  19. ロボットの動作態様を規定する教示データを生成する教示データ生成方法であって、
    所定の作業空間に位置する検知対象物の動作を検知するステップと、
    前記検知対象物の動作に基づいて、前記検知対象物の動作軌跡を特定するステップと、
    前記検知対象物の動作軌跡を1以上の区間に分割するステップと、
    各前記区間の動作軌跡の始点と終点とを結ぶ直線又は近似曲線を算出し、且つ前記直線又は前記近似曲線に基づいて前記検知対象物の動作軌跡に近似する近似軌跡を算出するステップと、
    前記近似軌跡に基づいて前記教示データを生成するステップとを含む、教示データ生成方法。
JP2016149912A 2016-07-29 2016-07-29 ロボットシステム Active JP6883392B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016149912A JP6883392B2 (ja) 2016-07-29 2016-07-29 ロボットシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016149912A JP6883392B2 (ja) 2016-07-29 2016-07-29 ロボットシステム

Publications (2)

Publication Number Publication Date
JP2018015863A true JP2018015863A (ja) 2018-02-01
JP6883392B2 JP6883392B2 (ja) 2021-06-09

Family

ID=61074935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016149912A Active JP6883392B2 (ja) 2016-07-29 2016-07-29 ロボットシステム

Country Status (1)

Country Link
JP (1) JP6883392B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110385694A (zh) * 2018-04-18 2019-10-29 发那科株式会社 机器人的动作示教装置、机器人系统以及机器人控制装置
CN110873551A (zh) * 2018-09-03 2020-03-10 Juki株式会社 检查装置
CN112109069A (zh) * 2019-06-21 2020-12-22 发那科株式会社 机器人示教装置以及机器人系统
JP7386451B2 (ja) 2019-10-03 2023-11-27 株式会社豆蔵 教示システム、教示方法及び教示プログラム
WO2023248602A1 (ja) * 2022-06-20 2023-12-28 株式会社日立製作所 ロボット教示装置およびロボット教示方法
WO2024085160A1 (ja) * 2022-10-21 2024-04-25 ソフトバンクグループ株式会社 シミュレーションシステム及びプログラム

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365570A (ja) * 1991-03-12 1992-12-17 Toshiba Corp 画像認識による動作制御装置
JPH05305590A (ja) * 1992-04-30 1993-11-19 Mitsubishi Heavy Ind Ltd ロボットティーチング装置
JPH09216183A (ja) * 1996-02-13 1997-08-19 Kawasaki Heavy Ind Ltd ロボット3次元位置姿勢教示システム
JPH1124721A (ja) * 1997-06-30 1999-01-29 Tokico Ltd ロボット制御装置
JPH11239989A (ja) * 1998-02-25 1999-09-07 Fujitsu Ltd ロボットシミュレーションにおけるキャリブレーション装置
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
US20050251290A1 (en) * 2002-05-24 2005-11-10 Abb Research Ltd Method and a system for programming an industrial robot
JP2006107024A (ja) * 2004-10-04 2006-04-20 Tamagawa Seiki Co Ltd 三次元入力装置
JP2006260271A (ja) * 2005-03-17 2006-09-28 Fanuc Ltd オフライン教示装置
JP2006277913A (ja) * 2005-03-03 2006-10-12 Ricoh Co Ltd 再生記録装置
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
JP2009196040A (ja) * 2008-02-21 2009-09-03 Panasonic Corp ロボットシステム
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム
JP2011203936A (ja) * 2010-03-25 2011-10-13 Fuji Xerox Co Ltd 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置
JP2013240849A (ja) * 2012-05-18 2013-12-05 Fanuc Ltd ロボットシステムの動作シミュレーション装置
JP2014104527A (ja) * 2012-11-27 2014-06-09 Seiko Epson Corp ロボットシステム、プログラム、生産システム及びロボット

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365570A (ja) * 1991-03-12 1992-12-17 Toshiba Corp 画像認識による動作制御装置
JPH05305590A (ja) * 1992-04-30 1993-11-19 Mitsubishi Heavy Ind Ltd ロボットティーチング装置
JPH09216183A (ja) * 1996-02-13 1997-08-19 Kawasaki Heavy Ind Ltd ロボット3次元位置姿勢教示システム
JPH1124721A (ja) * 1997-06-30 1999-01-29 Tokico Ltd ロボット制御装置
JPH11239989A (ja) * 1998-02-25 1999-09-07 Fujitsu Ltd ロボットシミュレーションにおけるキャリブレーション装置
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
US20050251290A1 (en) * 2002-05-24 2005-11-10 Abb Research Ltd Method and a system for programming an industrial robot
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
JP2006107024A (ja) * 2004-10-04 2006-04-20 Tamagawa Seiki Co Ltd 三次元入力装置
JP2006277913A (ja) * 2005-03-03 2006-10-12 Ricoh Co Ltd 再生記録装置
JP2006260271A (ja) * 2005-03-17 2006-09-28 Fanuc Ltd オフライン教示装置
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
JP2009196040A (ja) * 2008-02-21 2009-09-03 Panasonic Corp ロボットシステム
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム
JP2011203936A (ja) * 2010-03-25 2011-10-13 Fuji Xerox Co Ltd 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置
JP2013240849A (ja) * 2012-05-18 2013-12-05 Fanuc Ltd ロボットシステムの動作シミュレーション装置
JP2014104527A (ja) * 2012-11-27 2014-06-09 Seiko Epson Corp ロボットシステム、プログラム、生産システム及びロボット

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110385694A (zh) * 2018-04-18 2019-10-29 发那科株式会社 机器人的动作示教装置、机器人系统以及机器人控制装置
CN110873551A (zh) * 2018-09-03 2020-03-10 Juki株式会社 检查装置
CN112109069A (zh) * 2019-06-21 2020-12-22 发那科株式会社 机器人示教装置以及机器人系统
JP2021000694A (ja) * 2019-06-21 2021-01-07 ファナック株式会社 ロボット教示装置及びロボットシステム
JP7386451B2 (ja) 2019-10-03 2023-11-27 株式会社豆蔵 教示システム、教示方法及び教示プログラム
WO2023248602A1 (ja) * 2022-06-20 2023-12-28 株式会社日立製作所 ロボット教示装置およびロボット教示方法
WO2024085160A1 (ja) * 2022-10-21 2024-04-25 ソフトバンクグループ株式会社 シミュレーションシステム及びプログラム

Also Published As

Publication number Publication date
JP6883392B2 (ja) 2021-06-09

Similar Documents

Publication Publication Date Title
JP6883392B2 (ja) ロボットシステム
CN110394780B (zh) 机器人的仿真装置
CN107921645B (zh) 远程操作机器人系统
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US9089967B2 (en) Control apparatus and method for master-slave robot, master-slave robot, control program, and integrated electronic circuit
JP5426719B2 (ja) ロボットシステムの動作シミュレーション装置
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
JP4137909B2 (ja) ロボットプログラム補正装置
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
US10406688B2 (en) Offline programming apparatus and method having workpiece position detection program generation function using contact sensor
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP2018202514A (ja) ロボットの教示のための情報を表示するロボットシステム
JP7049069B2 (ja) ロボットシステム及びロボットシステムの制御方法
JP2020035396A (ja) センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
JP5108032B2 (ja) 多関節構造体教示装置
JP6625266B1 (ja) ロボット制御装置
Guanglong et al. Human–manipulator interface using hybrid sensors with Kalman filters and adaptive multi-space transformation
JP2009196040A (ja) ロボットシステム
JP7068416B2 (ja) 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法
JP7185749B2 (ja) ロボットシステム及びロボットシステムの制御方法
WO2022255206A1 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2023175331A (ja) ロボット教示方法及びロボット教示装置
CN115972191A (zh) 根据双手人类演示的双臂机器人教导
KR20120048900A (ko) 마네킹 로봇 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R150 Certificate of patent or registration of utility model

Ref document number: 6883392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250