JP2022087106A - 判定方法 - Google Patents
判定方法 Download PDFInfo
- Publication number
- JP2022087106A JP2022087106A JP2022039854A JP2022039854A JP2022087106A JP 2022087106 A JP2022087106 A JP 2022087106A JP 2022039854 A JP2022039854 A JP 2022039854A JP 2022039854 A JP2022039854 A JP 2022039854A JP 2022087106 A JP2022087106 A JP 2022087106A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- gripping
- flexible object
- unit
- flexible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000004364 calculation method Methods 0.000 description 21
- 239000012636 effector Substances 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000004744 fabric Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
この把持装置では、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この把持装置によれば、適切な把持位置を判別することが可能である。
このような構成によれば、柔軟物の上面の端を変形させるための制御を自律的に行うことができる。
このような構成によれば、容易に上面の端を変形させることができる。
この学習装置では、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いて学習が行われる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、学習に利用する上で十分な差がある第1の画像データと第2の画像データを用いた学習が可能となる。したがって、この学習装置によれば、適切な把持位置の学習を行うことができる。
このモデルは、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いた学習が行われている。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、第1の画像データと第2の画像データには、学習に利用する上で十分な差がある。したがって、この学習済みモデルによれば、適切な把持位置を判別することが可能である。
この把持システムでは、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この把持システムによれば、適切な把持位置を判別することが可能である。
この判定方法では、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この判定方法によれば、適切な把持位置を判別することが可能である。
この学習方法では、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いて学習が行われる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、学習に利用する上で十分な差がある第1の画像データと第2の画像データを用いた学習が可能となる。したがって、この学習方法によれば、適切な把持位置の学習を行うことができる。
図3は、実施形態に係る把持装置1の概略的な構成を示すブロック図である。把持装置1は、図3に示した構成により、[1]柔軟物についての画像データに基づいて学習済みモデルを生成する学習処理と、[2]学習済みモデルを用いて、把持に適した部位についての判定を行う判定処理と、を実行する。なお、学習処理を行う装置として把持装置1を捉えた場合、把持装置1は学習装置とも称すことが可能である。
図5は、把持装置1による学習処理の流れを示すフローチャートである。
学習処理では、まず、ステップ10(S10)において、訓練データ取得部13が訓練データを取得する。ステップ10で取得される訓練データは、ラベル付けが行われた上述の第1の画像データ及び第2の画像データを含む。
次にステップ11(S11)において、学習演算部14が、ステップ10で取得された訓練データを用いて、把持に適した部位を判定するCNNの学習のための所定の演算処理を行う。
次に、ステップ12(S12)において、モデル記憶部15は、ステップ11の演算処理の完了によりパラメ-タの値が決定された学習済みモデルを記憶する。
把持の実行の際は、まず、ステップ20(S20)において、画像データ取得部16が、撮像装置10により物体が撮像された画像データを取得する。
次に、ステップ21(S21)において、接触位置決定部17が、把持対象物である柔軟物を変形させるための接触位置を決定する。本実施の形態では、接触位置決定部17は、具体的には、図7のフローチャートに示す処理により、接触位置を決定する。
まず、ステップ210(S210)において、接触位置決定部17は、把持対象物である柔軟物が置かれている平面を検出する。すなわち、接触位置決定部17は、画像データ取得部16により取得された画像データに対して、所定の画像解析処理を行って、平面を検出する。
次に、ステップ211(S211)において、接触位置決定部17は、ステップ210で検出された平面より上側に画像内において存在する塊を所定の画像解析処理を行って検出し、当該画像から切り出す。
次に、ステップ212(S212)において、接触位置決定部17は、ステップ211で切り出した塊の画像に対して所定のエッジ検出処理を行う。このエッジ検出処理により検出されたエッジは、把持対象物(積み上げられた柔軟物)の輪郭に相当する。
次に、ステップ213(S213)において、接触位置決定部17は、積み上げられた柔軟物の上面の端を、接触位置として決定する。これを実現するために、具体的には、接触位置決定部17は、ステップ212で検出されたエッジのうち最も高い位置(最も上側の位置)に存在するエッジの位置を接触位置として決定する。
ステップ22(S22)において、把持対象物の端を変形させるため、制御部12は、ステップ21で決定した接触位置をエンドエフェクタ113により横方向から押すようロボットアーム11を制御する(図8参照)。
次に、ステップ23(S23)において、画像データ取得部16が、撮像装置10により物体が撮像された画像データを取得する。なお、ステップ23で取得される画像データには、ステップ22による変形が生じている把持対象物が撮像されている。布製品などでは、エンドエフェクタ113を離した後も、押されたことによる変形が維持される。このため、ステップ23では、エンドエフェクタ113を柔軟物から離した状態で撮像された画像データが取得されてもよい。
ステップ24(S24)において、把持位置判定部18は、把持に適した位置についての判定処理を行う。すなわち、把持位置判定部18は、ステップ23で取得された画像データに写っている把持対象物の部位が把持に適した部位であるか否かを、学習済みモデルを用いて判定する。把持に適した位置が発見された場合(ステップ25(S25)でYes)、処理は、ステップ26へ移行する。把持に適した位置が発見されなかった場合(ステップ25でNo)、処理はステップ20に戻る。処理がステップ20に戻った場合、例えば、前回とは異なる方向から撮影された画像データについて、ステップ20以降の処理が繰り返されることとなる。これにより、他の端についても、同様に、把持に適した位置についての判定処理が行われる。
ステップ26(S26)において、把持対象物を把持するため、制御部12は、ステップ24で把持に適すると判定された位置をエンドエフェクタ113により横方向から掴むようロボットアーム11を制御する。
2 把持システム
3 サーバ
4 把持装置
10 撮像装置
11 ロボットアーム
12 制御部
13 訓練データ取得部
14 学習演算部
15 モデル記憶部
16 画像データ取得部
17 接触位置決定部
18 把持位置判定部
Claims (1)
- 物体を撮像した画像データを取得する画像データ取得部と、物体を把持する把持部と、前記把持部の動作を制御する制御部と、前記画像データ取得部が取得した、折り畳まれ積み重ねられた状態の柔軟物が撮像された前記画像データを用いて、当該画像データに写っている前記柔軟物の部位が把持に適した部位であるか否かを判定する把持位置判定部と、を有する把持装置による判定方法であって、
前記制御部が、最上段にある前記柔軟物の上面の端を変形させるよう前記把持部を制御し、
前記把持位置判定部が、前記把持部の制御により前記上面の端が変形された前記柔軟物が撮像された前記画像データを用いて、把持に適した部位であるか否かを判定する
判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039854A JP7201858B2 (ja) | 2017-12-18 | 2022-03-15 | 判定方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241555A JP7136554B2 (ja) | 2017-12-18 | 2017-12-18 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
JP2022039854A JP7201858B2 (ja) | 2017-12-18 | 2022-03-15 | 判定方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017241555A Division JP7136554B2 (ja) | 2017-12-18 | 2017-12-18 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022087106A true JP2022087106A (ja) | 2022-06-09 |
JP7201858B2 JP7201858B2 (ja) | 2023-01-10 |
Family
ID=87888777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039854A Active JP7201858B2 (ja) | 2017-12-18 | 2022-03-15 | 判定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7201858B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009279700A (ja) * | 2008-05-21 | 2009-12-03 | Purex:Kk | ワークの把持方法および装置 |
JP2011128730A (ja) * | 2009-12-15 | 2011-06-30 | Ist Corp | 布製品識別装置および布製品把持システム |
-
2022
- 2022-03-15 JP JP2022039854A patent/JP7201858B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009279700A (ja) * | 2008-05-21 | 2009-12-03 | Purex:Kk | ワークの把持方法および装置 |
JP2011128730A (ja) * | 2009-12-15 | 2011-06-30 | Ist Corp | 布製品識別装置および布製品把持システム |
US20120250946A1 (en) * | 2009-12-15 | 2012-10-04 | Seven Dreamers Laboratories, Inc. | Fabric product identification device and fabric product handling system |
Non-Patent Citations (1)
Title |
---|
守屋佑亮,田中大輔,山崎公俊,竹下佳佑: "「単腕マニピュレータによる折り畳まれた布製品の適切な掴み上げ」", ロボティクスメカトロニクス講演会2017講演会論文集 2017 JSME CONFERENCE ON ROBOTICS AND MECHATRON, JPN6022051150, 2017, ISSN: 0004939522 * |
Also Published As
Publication number | Publication date |
---|---|
JP7201858B2 (ja) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7136554B2 (ja) | 把持装置、学習装置、プログラム、把持システム、及び学習方法 | |
Kappassov et al. | Tactile sensing in dexterous robot hands | |
JP6140204B2 (ja) | 3次元センサを備えた搬送ロボットシステム | |
JP2017177294A (ja) | ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム | |
JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
Cockbum et al. | Grasp stability assessment through unsupervised feature learning of tactile images | |
JP2018161692A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
JP2019181622A (ja) | ハンド制御装置およびハンド制御システム | |
Namiki et al. | Robotic origami folding with dynamic motion primitives | |
JP6541397B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20150258684A1 (en) | Robot, robot system, and control device | |
JPWO2018092254A1 (ja) | 把持力設定システム、把持力設定方法、及び把持力推定システム | |
JP2020121352A (ja) | 物体把持システム | |
JP2015112654A (ja) | 制御装置、ロボット、教示データ生成方法及びロボットシステム | |
Namiki et al. | Origami folding by multifingered hands with motion primitives | |
JP2023531644A (ja) | ロボットグリッパ | |
CN114025928A (zh) | 末端执行器的控制系统以及末端执行器的控制方法 | |
Misimi et al. | Robotic handling of compliant food objects by robust learning from demonstration | |
JP6838833B2 (ja) | 把持装置、把持方法、及びプログラム | |
Jørgensen et al. | Designing a flexible grasp tool and associated grasping strategies for handling multiple meat products in an industrial setting | |
JP2022087106A (ja) | 判定方法 | |
WO2021029205A1 (ja) | 情報処理装置、情報処理方法、プログラム、およびロボット | |
JP7034971B2 (ja) | 作動システム、制御装置、およびプログラム | |
WO2023074209A1 (ja) | 把持力推定装置、把持力推定方法及び把持力推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7201858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |