JP2020015141A - 把持装置 - Google Patents
把持装置 Download PDFInfo
- Publication number
- JP2020015141A JP2020015141A JP2018140356A JP2018140356A JP2020015141A JP 2020015141 A JP2020015141 A JP 2020015141A JP 2018140356 A JP2018140356 A JP 2018140356A JP 2018140356 A JP2018140356 A JP 2018140356A JP 2020015141 A JP2020015141 A JP 2020015141A
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- work
- hand
- success rate
- gripping position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
Description
以下の実施の形態では、バラ積み状態の円柱状ワークを把持する場合について説明する。本実施の形態の把持装置は、バラ積み状態のワークの把持位置検出において、周囲のワークとの干渉を避けてハンドを挿入するための最適把持位置を選択する。
図1は、実施の形態1の把持装置の構成を示す図である。図1を参照して、把持装置1は、ワークWの表面を観察するためのカメラ2と、ワーク表面の各点のXYZ座標データを計測する三次元センサ3と、ワークWを把持するためのハンド4と、ワークWを把持可能な姿勢にハンド4を位置決めする位置決め機構5と、カメラ2からの画像データR,G,Bおよび三次元センサ3からのXYZ座標データDを用いて最適把持位置を検出し、位置決め機構5およびハンド4を制御するワーク情報処理装置6とを備える。
図4は、ワーク情報処理装置6の内部構成を示す図である。ワーク情報処理装置6は、画像入力部61と、ワーク検出部62と、把持位置候補検出部63と、把持位置選択部64と、把持動作成否判定部65と、データ保存部67と、指令出力部66とを備える。
(ワーク情報処理装置における処理手順)
以下に、ワーク情報処理装置6の各部の処理を詳細に説明する。
S’=α×S+β
ここでは、(α、β)を更新係数と呼ぶ。それぞれの値は任意だが、ここでは(α,β)=(0.99,−0.1)とした。なお、学習を試行し経験的に定めた最適値を用いてもよい。
実施の形態1では現状の配置のワークのうち一番把持成功率の高いワークを選択した。しかし、隣接ワークとの位置関係によっては、ハンド4が挿入できないことがある。実施の形態2では、このような場合に把持作業を補助する。
実施の形態1では、学習は、把持成功率が高くなるように行なわれた。しかし、把持装置は、把持するだけでなく把持後のワークを次工程の加工等のために、作業台等に設置する必要もある。ハンド4の把持位置によっては、ワークが次工程の作業に最適な位置に配置されない場合も考えられる。実施の形態3では、把持動作に加えて配置動作も考慮して学習を実行する。
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
Claims (8)
- ワークの表面を観察するための撮影装置と、
前記ワークの表面上の点の座標データを計測する三次元センサと、
前記ワークを把持するためのハンドと、
把持可能な姿勢に前記ハンドを位置決めする位置決め機構と、
前記撮影装置および前記三次元センサを用いて前記ワークの最適把持位置を検出し、前記位置決め機構および前記ハンドを制御するワーク情報処理装置とを備え、
前記ワーク情報処理装置は、前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データに基づいて前記ワークの把持位置を決定し、前記把持位置に基づいて前記ハンドが前記ワークを把持するように前記位置決め機構および前記ハンドを作動させ、前記ハンドを前記撮影装置によって撮影させ、取得した画像データに基づいて実際に前記ワークを把持できているか否かを判定し、判定結果と前記把持位置との関係を蓄積して前記把持位置における把持成功率を算出し、前記把持成功率に基づいて次回以降の把持動作時に採用する把持位置を決定する、把持装置。 - 前記ワーク情報処理装置は、
前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データを用いて把持対象とする前記ワークの位置を検出するワーク検出部と、
前記ワーク検出部で検出された前記ワークの位置に基づいて前記ワークの周囲物と前記ハンドとの干渉を判定し、単数または複数の把持位置候補を検出する把持位置候補検出部と、
前記把持位置候補検出部で抽出された前記把持位置候補の中から前記最適把持位置を選択する把持位置選択部と、
前記最適把持位置に基づいて前記位置決め機構または前記ハンドに位置決め指令または把持・開放指令を出力する指令出力部と、
前記撮影装置から取得した画像データに基づいて実際に前記ワークを把持できているか否かを画像処理で判定する把持動作成否判定部とを含み、
前記把持位置候補検出部は、前記把持位置候補について、前記三次元センサまたは前記撮影装置から取得したデータと前記把持動作成否判定部の判定結果とを用いた機械学習結果により前記把持成功率を求め、
前記把持位置選択部は、前記把持成功率が最大になる候補を前記最適把持位置として選択する、請求項1に記載の把持装置。 - 前記把持位置候補検出部は、機械学習の学習データとして前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データ、把持動作を実行したときの把持位置、および前記把持動作成否判定部の判定結果とを用いて前記把持成功率を求める、請求項2に記載の把持装置。
- 予め定められたNを自然数とすると、前記把持位置候補検出部が、前記把持成功率の算出に学習結果を利用しない把持動作回数は、N回であり、
前記把持位置選択部は、N回目までの把持では前記把持位置候補のうち、前記ワークの画像上の重心位置に最も近い点を選択し、N回を超過してから前記機械学習結果を用いて得られた前記把持成功率が最大になる候補を前記最適把持位置として選択する、請求項2に記載の把持装置。 - 前記把持位置候補検出部は、前記把持装置の稼働中に前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データと前記把持動作成否判定部の判定結果を用い、逐次前記機械学習結果を更新する、請求項2に記載の把持装置。
- 前記把持位置候補検出部は、一定回数の把持動作毎に前記機械学習結果の少なくとも一部をリセットする、請求項2に記載の把持装置。
- 前記ワークを収容する容器を載置する振動台をさらに備え、
前記ワーク情報処理装置は、次回の把持動作において、前記ハンドで把持を行なう前に前記容器内のワークを前記撮影装置で撮影した画像に基づいて決定した把持位置に対応する前記把持成功率が判定値よりも低い場合には、前記振動台によって前記ワークの位置を変更する、請求項1に記載の把持装置。 - 前記撮影装置は、
前記ハンドで把持される前に前記ワークが置いてある載置場所を撮影する第1カメラと、
前記ハンドで把持された後に前記ワークが配置されるべき配置場所を撮影する第2カメラとを含み、
前記ワーク情報処理装置は、前記第2カメラから取得した画像データに基づいて前記ワークの前記配置場所における配置位置を決定し、前記配置位置が基準位置と一致するか否かを判定し判定結果に基づいて配置成功率を算出し、
前記ワーク情報処理装置は、次回の把持動作において、前記ハンドで把持を行なう前に前記載置場所に置かれているワークを前記第1カメラで撮影し、撮影した画像に基づいて決定した把持位置に対応する前記把持成功率および前記配置成功率に基づいて、前記把持位置の採否を決定する、請求項1に記載の把持装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018140356A JP7191569B2 (ja) | 2018-07-26 | 2018-07-26 | 把持装置 |
PCT/JP2019/028757 WO2020022302A1 (ja) | 2018-07-26 | 2019-07-23 | 把持装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018140356A JP7191569B2 (ja) | 2018-07-26 | 2018-07-26 | 把持装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020015141A true JP2020015141A (ja) | 2020-01-30 |
JP7191569B2 JP7191569B2 (ja) | 2022-12-19 |
Family
ID=69181536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018140356A Active JP7191569B2 (ja) | 2018-07-26 | 2018-07-26 | 把持装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7191569B2 (ja) |
WO (1) | WO2020022302A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021210324A1 (ja) * | 2020-04-17 | 2021-10-21 | リンクウィズ株式会社 | 情報処理方法、情報処理システム及びプログラム |
WO2022239878A1 (ko) * | 2021-05-10 | 2022-11-17 | 코가플렉스 주식회사 | 로봇의 파지 방법 및 로봇의 파지를 위한 학습 방법 |
WO2022250152A1 (ja) * | 2021-05-28 | 2022-12-01 | 京セラ株式会社 | 保持位置決定装置、及び保持位置決定方法 |
WO2023042306A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
WO2023042307A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
WO2023113449A1 (ko) * | 2021-12-17 | 2023-06-22 | 한국전자기술연구원 | 데이터 기반 분말소결방식 적층제조 공정 최적화 시스템 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021177239A1 (ja) * | 2020-03-05 | 2021-09-10 | ファナック株式会社 | 取り出しシステム及び方法 |
DE102021210903A1 (de) | 2021-09-29 | 2023-03-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010207989A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
JP2014210310A (ja) * | 2013-04-18 | 2014-11-13 | ファナック株式会社 | ワークを搬送するロボットを備えるロボットシステム |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2018116589A1 (ja) * | 2016-12-19 | 2018-06-28 | 株式会社安川電機 | 産業機器用の画像認識プロセッサ及びコントローラ |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4142155A1 (de) * | 1991-12-20 | 1993-06-24 | Bosch Gmbh Robert | Digitales adaptives regelungssystem und -verfahren, insbesondere fuer einen verbrennungsmotor |
US5566273A (en) * | 1993-12-30 | 1996-10-15 | Caterpillar Inc. | Supervised training of a neural network |
JP6890422B2 (ja) * | 2016-03-02 | 2021-06-18 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
-
2018
- 2018-07-26 JP JP2018140356A patent/JP7191569B2/ja active Active
-
2019
- 2019-07-23 WO PCT/JP2019/028757 patent/WO2020022302A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010207989A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
JP2014210310A (ja) * | 2013-04-18 | 2014-11-13 | ファナック株式会社 | ワークを搬送するロボットを備えるロボットシステム |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2018116589A1 (ja) * | 2016-12-19 | 2018-06-28 | 株式会社安川電機 | 産業機器用の画像認識プロセッサ及びコントローラ |
Non-Patent Citations (1)
Title |
---|
進藤 智則、中田 敦: "ファナック/PFNは能動学習、グーグルらはシミュ レータピッキングや把持の機械学習でラベル収集が焦点", NIKKEI ROBOTICS 第7号, JPN6022017511, 10 January 2016 (2016-01-10), JP, pages 3 - 20, ISSN: 0004765942 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021210324A1 (ja) * | 2020-04-17 | 2021-10-21 | リンクウィズ株式会社 | 情報処理方法、情報処理システム及びプログラム |
JP2021169142A (ja) * | 2020-04-17 | 2021-10-28 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
WO2022239878A1 (ko) * | 2021-05-10 | 2022-11-17 | 코가플렉스 주식회사 | 로봇의 파지 방법 및 로봇의 파지를 위한 학습 방법 |
WO2022250152A1 (ja) * | 2021-05-28 | 2022-12-01 | 京セラ株式会社 | 保持位置決定装置、及び保持位置決定方法 |
WO2023042306A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
WO2023042307A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
WO2023113449A1 (ko) * | 2021-12-17 | 2023-06-22 | 한국전자기술연구원 | 데이터 기반 분말소결방식 적층제조 공정 최적화 시스템 |
Also Published As
Publication number | Publication date |
---|---|
WO2020022302A1 (ja) | 2020-01-30 |
JP7191569B2 (ja) | 2022-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020022302A1 (ja) | 把持装置 | |
JP4938115B2 (ja) | ワーク取出し装置およびワーク取出し方法 | |
JP7467041B2 (ja) | 情報処理装置、情報処理方法及びシステム | |
JP4226623B2 (ja) | ワーク取り出し装置 | |
US7283661B2 (en) | Image processing apparatus | |
US20180222048A1 (en) | Control device, robot, and robot system | |
US20180222057A1 (en) | Control device, robot, and robot system | |
US20180225113A1 (en) | Control device, robot, and robot system | |
EP1428634A2 (en) | Workpiece taking-out robot with a three-dimensional visual sensor | |
US11207788B2 (en) | Hand control apparatus and hand control system | |
US20180222058A1 (en) | Control device, robot, and robot system | |
JP2017042859A (ja) | ピッキングシステム、並びに、そのための処理装置、方法及びプログラム | |
JP2018176334A (ja) | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 | |
US11213954B2 (en) | Workpiece identification method | |
JP2012030320A (ja) | 作業システム、作業ロボット制御装置および作業プログラム | |
CN111745640B (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
CN110303474B (zh) | 使用图像处理修正机器人的示教的机器人系统 | |
JP2016196077A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4572497B2 (ja) | ロボット制御装置 | |
CN114670189B (zh) | 存储介质、以及生成机器人的控制程序的方法及系统 | |
JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
JP2017170567A (ja) | ワーク認識方法及びランダムピッキング方法 | |
JP2021115693A (ja) | ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム | |
JP2020040143A (ja) | マニピュレータおよび移動ロボット | |
WO2021149429A1 (ja) | ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |