JP2021000694A - ロボット教示装置及びロボットシステム - Google Patents
ロボット教示装置及びロボットシステム Download PDFInfo
- Publication number
- JP2021000694A JP2021000694A JP2019115464A JP2019115464A JP2021000694A JP 2021000694 A JP2021000694 A JP 2021000694A JP 2019115464 A JP2019115464 A JP 2019115464A JP 2019115464 A JP2019115464 A JP 2019115464A JP 2021000694 A JP2021000694 A JP 2021000694A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- movement
- hand
- movement locus
- locus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40116—Learn by operator observation, symbiosis, show, watch
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
- Numerical Control (AREA)
Abstract
Description
(ステップS11:距離画像カメラである場合)
距離画像カメラで撮像された各フレームの画像では、撮像対象までの距離が例えば濃淡度として表されている。オペレータの手は、距離画像内において一定の距離範囲に一つの塊として集まった画素(すなわち、隣接する画素間で距離があまり変わらない画素の集合)と考えることができる。したがって、距離画像において一定の距離範囲にある画素をラベリングすることで、ラベリングされた画素の集合を、手と認識することができる。なお、オペレータが画像取得装置34からある一定の距離の位置(例えば概ね15cm)で手を動かすとの条件の下で、この手法による画像認識を行うことで、認識の精度を高めることができる。
画像取得装置34が2次元画像の動画を取得するカメラである場合には、軌跡検出部311は、以下の手法のいずれかにより手の認識を行うことができる。
(A1)画像中で肌色の画素をグルーピングして手と認識する。この場合、画像の色情報をRGBから例えばHSV(色相、色彩、明度)に変換して肌色領域を抽出することで、精度よく肌色領域を抽出することができる。
(A2)ディープラーニングによる手法により画像認識を行う。一例として、畳み込みニューラルネットワークに予め多数の手の画像を学習させておき、各フレームの画像における手の認識を行う。この場合、例えば、オペレータが手をパーの姿勢としてジェスチャ入力を行うという条件の下で、トレーニングデータとして多数の人のパーの姿勢の手の画像を準備して学習するようにしても良い。
(A3)テンプレートマッチングにより手の認識を行う。この場合、オペレータは所定の姿勢(例えば、パーの姿勢)でジェスチャ入力を行うという条件の下で、テンプレートマッチングを行うようにしても良い。
なお、ステップS11における手の平の向きの認識については後述する。
距離画像を用いた場合、ステップS11により認識された手の領域の画素は距離情報を有するので、手の重心の3次元位置を得ることは可能である。よって、この場合、軌跡検出部311は、個々のフレームについて認識した手の重心を連結することで、手の移動軌跡の3次元位置情報を得る。
各フレームの2次元画像において認識された手の重心の位置を連結することで、手の移動軌跡の2次元的な情報を得ることができる。2次元カメラを用いて手の移動軌跡の3次元的な情報を得るために、一例として以下のような条件の下でジェスチャ入力を行う。
(r1)オペレータは、ロボット教示装置30をロボット座標系における既知の位置で、画像取得装置34のレンズ34bの光軸をロボット座標系のX軸に概ね一致させる姿勢で保持する。
(r2)オペレータは、ロボット教示装置30から所定の距離の位置(例えば15cm程度)にある光軸と垂直な基準面S0(すなあち、画像取得装置34に対してX軸方向における位置が同一となる平面)を、ジェスチャ入力開始時に手を配置する基準となる平面であることを意識するようにする。
図9は、上記条件(r1)及び(r2)の下での、画像取得装置34の撮像素子の撮像面34a、レンズ34b、及び基準面S0の位置関係を表している。上記条件(r1)及び(r2)から、ロボット座標系のX軸方向における、撮像面34a及び基準面S0それぞれの位置P0、P1は既知である。この配置関係において手を基準面S0の位置に置いた場合における撮像面34aでの手の像の大きさ(像倍率)を記憶しておく。ジェスチャ動作に伴ってオペレータの手が基準面S0に対してX軸方向に移動して撮像面34aにおける手の像の大きさが変わった場合には、手が基準面S0にある場合の手の像の大きさとの比較を行うことで、レンズ34bの焦点距離及びレンズの結像式に基づいてX軸方向の手の位置(P2)を求めることができる。以上により、2次元カメラの場合において手の移動軌跡の3次元位置情報を得ることができる。
(E1)手の移動軌跡を表す(x,y)平面上の各点(x0,y0)に対して、その点を通る直線全体の集合を、r=x0cosθ+y0sinθの関係を用いて(r,θ)平面に描画する。
(E2)(r,θ)平面において複数の曲線が交差する点は、(x,y)平面における直線を表すことになる。ここでは、例えば、(x,y)平面における軌跡上の所定数以上の画素が同一の直線状にあると判定された場合に、手の移動軌跡が直線であると判定しても良い。
(F1)手の移動軌跡を表す(x,y)平面上の各点(x0,y0)に対して、その点を通る円全体の集合を(x0−A)2+(y0−B)2=R2の関係を用いて(A,B,R)空間に描画する。
(F2)(A,B,R)空間において複数の曲面が共有する点が、(x、y)平面における一つの円を表す。ここでは、例えば、(x、y)平面における移動軌跡上の所定数以上の画素が同一の円上にあると判定された場合に、手の移動軌跡が回転であると判定しても良い。円の場合と類似の手法により、(x、y)平面における軌跡上の画素が、同一の楕円上に乗るか否か、或いは、2次曲線上に乗るかどうかを判定することにより、移動軌跡が回転移動であるか否かを判定することもできる。
20 ロボット制御装置
30 ロボット教示装置
31 CPU
32 メモリ
33 通信インタフェース
34 画像取得装置
35 操作部
36 表示部
100 ロボットシステム
311 軌跡検出部
312 識別部
313 指令生成部
Claims (5)
- ロボットを教示するロボット教示装置であって、
撮像対象の距離情報を表す距離画像、又は、前記撮像対象の2次元画像を動画として取得する画像取得装置と、
前記動画を用いて、前記動画内に前記撮像対象として写されたオペレータの手の移動軌跡を検出する軌跡検出部と、
検出された前記移動軌跡が直線移動を表すか又は回転移動を表すかを識別する識別部と、
前記移動軌跡が直線移動を表すと識別された場合には前記ロボットの所定の可動部位を前記移動軌跡に基づいて並進移動させ、前記移動軌跡が回転移動を表すと識別された場合には前記ロボットの前記所定の可動部位を前記移動軌跡に基づいて回転移動させる指令を出力する指令生成部と、
を備えるロボット教示装置。 - 前記軌跡検出部は、前記ロボットと前記画像取得装置との相対位置関係を表す情報に基づいて、ロボット座標系における座標値として前記移動軌跡を検出し、
前記指令生成部は、前記識別部により前記移動軌跡が直線移動を表すと識別された場合に、前記所定の可動部位を、前記移動軌跡と平行に移動させるように前記指令を生成する、請求項1に記載のロボット教示装置。 - 前記軌跡検出部は、前記動画に基づいて手の平の向きを更に検出し、
前記指令生成部は、検出された前記手の平の向きに応じて前記所定の可動部位を並進移動させる場合の移動方向を設定する、請求項1又は2に記載のロボット教示装置。 - 前記識別部は、前記移動軌跡が回転移動を表すと識別された場合に、ロボット座標系における座標値として前記手の回転移動の回転軸を更に検出し、
前記指令生成部は、検出された前記手の回転移動の回転軸と平行となるように、前記所定の可動部位を回転移動させる場合の回転軸を設定する、請求項1から3のいずれか一項に記載のロボット教示装置。 - ロボットと、
前記ロボットを制御するロボット制御装置と、
請求項1から4のいずれか一項に記載のロボット教示装置と、を備え、
前記ロボット制御装置は、前記ロボット教示装置の前記指令生成部により出力された前記指令に基づいて前記ロボットを制御する、ロボットシステム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115464A JP7359577B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット教示装置及びロボットシステム |
US16/891,071 US11478922B2 (en) | 2019-06-21 | 2020-06-03 | Robot teaching device and robot system |
CN202010542856.7A CN112109069A (zh) | 2019-06-21 | 2020-06-15 | 机器人示教装置以及机器人系统 |
DE102020115670.7A DE102020115670A1 (de) | 2019-06-21 | 2020-06-15 | Roboter-lerngerät und robotersystem |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115464A JP7359577B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット教示装置及びロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021000694A true JP2021000694A (ja) | 2021-01-07 |
JP7359577B2 JP7359577B2 (ja) | 2023-10-11 |
Family
ID=73654146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019115464A Active JP7359577B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット教示装置及びロボットシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11478922B2 (ja) |
JP (1) | JP7359577B2 (ja) |
CN (1) | CN112109069A (ja) |
DE (1) | DE102020115670A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110238831B (zh) * | 2019-07-23 | 2020-09-18 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
JP2022100660A (ja) * | 2020-12-24 | 2022-07-06 | セイコーエプソン株式会社 | ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム |
US11999060B2 (en) * | 2020-12-28 | 2024-06-04 | Cloudminds Robotics Co., Ltd. | Action learning method, medium, and electronic device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
JP2006289531A (ja) * | 2005-04-07 | 2006-10-26 | Seiko Epson Corp | ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム |
JP2011110621A (ja) * | 2009-11-24 | 2011-06-09 | Toyota Industries Corp | ロボットの教示データを作成する方法およびロボット教示システム |
JP5573275B2 (ja) * | 2010-03-25 | 2014-08-20 | 富士ゼロックス株式会社 | 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置 |
JP5921248B2 (ja) * | 2012-02-16 | 2016-05-24 | キヤノン株式会社 | ロボットの制御装置、ロボット、そのプログラム及びその制御方法 |
US20140022171A1 (en) * | 2012-07-19 | 2014-01-23 | Omek Interactive, Ltd. | System and method for controlling an external system using a remote device with a depth sensor |
CN104936748B (zh) * | 2012-12-14 | 2017-10-27 | Abb技术有限公司 | 徒手机器人路径教导 |
JP6228079B2 (ja) * | 2014-07-16 | 2017-11-08 | 本田技研工業株式会社 | 移動ロボットの動作目標生成装置 |
JP6038417B1 (ja) | 2016-01-29 | 2016-12-07 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
JP2018010538A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社東海理化電機製作所 | 画像認識装置 |
JP2018077744A (ja) * | 2016-11-11 | 2018-05-17 | 株式会社東海理化電機製作所 | ジェスチャ判定装置及びジェスチャ判定方法 |
-
2019
- 2019-06-21 JP JP2019115464A patent/JP7359577B2/ja active Active
-
2020
- 2020-06-03 US US16/891,071 patent/US11478922B2/en active Active
- 2020-06-15 CN CN202010542856.7A patent/CN112109069A/zh active Pending
- 2020-06-15 DE DE102020115670.7A patent/DE102020115670A1/de active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200398420A1 (en) | 2020-12-24 |
JP7359577B2 (ja) | 2023-10-11 |
DE102020115670A1 (de) | 2020-12-24 |
CN112109069A (zh) | 2020-12-22 |
US11478922B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102292028B1 (ko) | 제스처 인식 방법, 장치, 전자 기기 및 저장 매체 | |
WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
TWI454968B (zh) | 三維互動裝置及其操控方法 | |
US11478922B2 (en) | Robot teaching device and robot system | |
KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
WO2020190166A1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
CN112276936A (zh) | 三维数据生成装置以及机器人控制系统 | |
JP6141108B2 (ja) | 情報処理装置およびその方法 | |
JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
EP3185106A1 (en) | Operating apparatus, control method therefor, program, and storage medium storing program | |
JP5174492B2 (ja) | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム | |
CN110363811B (zh) | 用于抓取设备的控制方法、装置、存储介质及电子设备 | |
JP2016071547A (ja) | 情報処理装置とその制御方法、プログラム、記憶媒体 | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
WO2018135326A1 (ja) | 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法 | |
JP5416489B2 (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム | |
JP2021021577A (ja) | 画像処理装置及び画像処理方法 | |
WO2012105228A2 (en) | Imaging apparatus and imaging condition setting method and program | |
JP2017162251A (ja) | 3次元非接触入力装置 | |
JP2018185563A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 | |
JP2016139396A (ja) | ユーザーインターフェイス装置、方法およびプログラム | |
JP2005332229A (ja) | 姿勢検出装置、姿勢検出方法、この方法のプログラム | |
WO2024161891A1 (ja) | 処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7359577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |