JP2022097064A - 土中異物除去装置及び土中異物除去方法 - Google Patents
土中異物除去装置及び土中異物除去方法 Download PDFInfo
- Publication number
- JP2022097064A JP2022097064A JP2020210424A JP2020210424A JP2022097064A JP 2022097064 A JP2022097064 A JP 2022097064A JP 2020210424 A JP2020210424 A JP 2020210424A JP 2020210424 A JP2020210424 A JP 2020210424A JP 2022097064 A JP2022097064 A JP 2022097064A
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- image
- soil
- distance image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 20
- 239000002689 soil Substances 0.000 claims abstract description 128
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 30
- 239000000126 substance Substances 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 description 39
- 239000002699 waste material Substances 0.000 description 21
- 238000012545 processing Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000002407 reforming Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- NNJPGOLRFBJNIW-HNNXBMFYSA-N (-)-demecolcine Chemical compound C1=C(OC)C(=O)C=C2[C@@H](NC)CCC3=CC(OC)=C(OC)C(OC)=C3C2=C1 NNJPGOLRFBJNIW-HNNXBMFYSA-N 0.000 description 2
- ODINCKMPIJJUCX-UHFFFAOYSA-N Calcium oxide Chemical compound [Ca]=O ODINCKMPIJJUCX-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002440 industrial waste Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- BZHJMEDXRYGGRV-UHFFFAOYSA-N Vinyl chloride Chemical compound ClC=C BZHJMEDXRYGGRV-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000012255 calcium oxide Nutrition 0.000 description 1
- 239000000292 calcium oxide Substances 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000006148 magnetic separator Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Abstract
Description
以下、本発明にかかる土中異物除去装置100について図面を参照して説明する。この土中異物除去装置100は、距離画像カメラ1(以下、カメラ1という。)によりベルトコンベア2(以下、コンベア2という。)上の移動中の、異物Fを含む土Sまでの距離を示す距離画像Dを撮像し、この距離画像Dに基づいて、この異物Fの画像上での異物位置P(x,y,z)を検出する異物検出部3と、この異物位置P(x,y,z)に基づいて、異物把持位置G(x,d,z)を決定する異物把持位置演算部4と、この異物把持位置G(x,d,z)に基づいて、異物Fを把持し、土Sから除去する異物除去ハンド5a(以下、ハンド5aという。)を有する異物除去部5と、を備えることを特徴とする。本実施形態においては、土中異物除去装置100が各種制御及び演算を行う制御部6を備えており、異物検出部3及び異物把持位置演算部4は、制御部6に設けられている。以下、各要素について図面を参照して説明する。
T=(d-y)/v
ここで、dは、異物把持位置G(x,d,z)のy座標であり、yは、異物位置J(x,y,z)のy座標であり、vはコンベア2の搬送速度である。このとき、異物Fが、異物位置J(x,y,z)から到達可能範囲Rに入るまでの時間がTである場合には、到達可能範囲Rのx座標が、異物位置J(x,y,z)のx座標であるxにおいて、x軸との距離が最も短くなる位置のy座標がdとなる。
以下、本発明にかかる土中異物除去装置200について図面を参照して説明する。本発明の実施形態の一例を図9に示す。図9は、実施形態1の構成に、訓練データ取得部601が加わったものである。カメラ1は、図9に示す通り、実施形態1と同様の入出力をとるが、少なくとも1つ以上のカメラ1の設置位置は、異物除去作業を行う人の手が撮像できる範囲に設置する。
1・・・距離画像カメラ
2・・・ベルトコンベア
3、103・・・異物検出部
4、104・・・異物把持位置演算部
5、105・・・異物除去部
5a・・・異物除去ハンド
6・・・制御部
61・・・CPU
62・・・RAM
63・・・ROM
64・・・カウンタ
65・・・タイマ
66・・・音声制御部
67・・・入力部
68・・・入出力インタフェース
69・・・バス
601・・・訓練データ取得部
D・・・距離画像
D1・・・手を含む距離画像
D2・・・手を含まない距離画像
F・・・異物
G(x,d,z)・・・異物把持位置
I、I´・・・差分画像
J(x,y,z)・・・異物位置
K・・・訓練データ
L、L´・・・学習画像
M・・・手
N、N1、N2、N3、N4・・・ニューラルネットワーク
Nc・・・カウント値
Nt・・・累計値
P(x,y,z)・・・異物位置
Q(x,d,z+△z)・・・待機位置
R・・・ハンド到達可能範囲
S・・・土
T・・・到達必要時間
t・・・時刻
U・・・可視光画像
v・・・搬送速度
W、W´・・・検出画像
Claims (13)
- 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備えることを特徴とする土中異物除去装置。 - 前記異物検出部が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする請求項1記載の土中異物除去装置。
- 前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項2記載の土中異物除去装置。
- 前記異物検出部は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする請求項1~3いずれかに記載の土中異物除去装置。
- 訓練データ取得部をさらに備え、
前記訓練データ取得部は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、前記機械学習に使用する訓練データとして用いることを特徴とする請求項1~4いずれかに記載の土中異物除去装置。 - 前記距離画像撮像部は、前記異物除去部の近傍で前記異物除去部のハンドが到達できる到達可能範囲を観測する位置と、前記異物除去部の近傍よりも手前で、前記到達可能範囲の外を観測する位置の少なくとも二か所以上の位置に配置することを特徴とする請求項1~5いずれかに記載の土中異物除去装置。
- 前記異物把持位置演算部は、前記異物除去部を、前記手前の距離画像撮像部で検出した位置で予測される位置よりも高い位置に制御しておく位置制御部を有することを特徴とする請求項6に記載の土中異物除去装置。
- 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像する工程と、
この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出工程と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算工程と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去工程と、
を備えることを特徴とする土中異物除去方法。 - 前記異物検出工程が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする請求項8記載の土中異物除去方法。
- 前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項9記載の土中異物除去方法。
- 前記異物検出工程は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする請求項8~10いずれかに記載の土中異物除去方法。
- 前記異物検出工程は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、前記機械学習に使用する訓練データとして用いることを特徴とする請求項8~11いずれかに記載の土中異物除去方法。
- 前記距離画像撮像部は、前記異物除去工程において異物を除去可能な範囲を観測する位置と、前記異物を除去可能な範囲よりも手前で、前記異物を除去可能な範囲の外を観測する位置の少なくとも二か所以上の位置に配置され、
前記異物把持位置演算工程は、前記異物除去部を、前記手前の距離画像撮像部で検出した位置で予測される位置よりも高い位置に制御しておく位置制御部を有することを特徴とする請求項8~12いずれかに記載の土中異物除去方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210424A JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210424A JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022097064A true JP2022097064A (ja) | 2022-06-30 |
JP7299570B2 JP7299570B2 (ja) | 2023-06-28 |
Family
ID=82164878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020210424A Active JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7299570B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102651150B1 (ko) * | 2023-09-27 | 2024-03-26 | 주식회사 에이트테크 | 대상객체 종류에 따른 공기압 제어를 통한 폐기물 분류 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002316100A (ja) * | 2001-04-17 | 2002-10-29 | Kawasaki Kiko Co Ltd | 異物除去装置及び異物除去方法 |
JP2008215862A (ja) * | 2007-02-28 | 2008-09-18 | Taiheiyo Cement Corp | 異物除去装置 |
JP2020041801A (ja) * | 2018-09-06 | 2020-03-19 | 株式会社安藤・間 | 土壌改質判定装置、及び異物除去方法 |
JP2020062633A (ja) * | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
CN111684268A (zh) * | 2018-01-31 | 2020-09-18 | 株式会社日冷食品 | 食品检验辅助系统、食品检验辅助装置和计算机程序 |
-
2020
- 2020-12-18 JP JP2020210424A patent/JP7299570B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002316100A (ja) * | 2001-04-17 | 2002-10-29 | Kawasaki Kiko Co Ltd | 異物除去装置及び異物除去方法 |
JP2008215862A (ja) * | 2007-02-28 | 2008-09-18 | Taiheiyo Cement Corp | 異物除去装置 |
CN111684268A (zh) * | 2018-01-31 | 2020-09-18 | 株式会社日冷食品 | 食品检验辅助系统、食品检验辅助装置和计算机程序 |
JP2020041801A (ja) * | 2018-09-06 | 2020-03-19 | 株式会社安藤・間 | 土壌改質判定装置、及び異物除去方法 |
JP2020062633A (ja) * | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102651150B1 (ko) * | 2023-09-27 | 2024-03-26 | 주식회사 에이트테크 | 대상객체 종류에 따른 공기압 제어를 통한 폐기물 분류 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP7299570B2 (ja) | 2023-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679188B1 (ja) | 廃棄物選別装置及び廃棄物選別方法 | |
JP5969685B1 (ja) | 廃棄物選別システム及びその選別方法 | |
US11780095B2 (en) | Machine learning device, robot system, and machine learning method for learning object picking operation | |
JP2017109197A (ja) | 廃棄物選別システム及びその選別方法 | |
JP2020168719A (ja) | ロボットシステムおよびロボットの制御方法 | |
US20200109963A1 (en) | Selectively Forgoing Actions Based on Fullness Level of Containers | |
CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
JP2024016293A (ja) | 廃棄物選別装置 | |
CN111445368A (zh) | 基于机器视觉与深度学习的垃圾分类方法、装置及设备 | |
CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
JP2022097064A (ja) | 土中異物除去装置及び土中異物除去方法 | |
US20210056492A1 (en) | Providing information based on detection of actions that are undesired to waste collection workers | |
Liu et al. | Garbage collection and sorting with a mobile manipulator using deep learning and whole-body control | |
Yunardi | Contour-based object detection in Automatic Sorting System for a parcel boxes | |
KR102391501B1 (ko) | 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법 | |
CN114519377A (zh) | 跨模态煤矸石分选方法及装置 | |
JP6906875B2 (ja) | 廃棄物選別装置 | |
Han et al. | Toward fully automated metal recycling using computer vision and non-prehensile manipulation | |
Renjith et al. | Design and implementation of automatic garbage collecting robot using background subtraction based computer vision algorithm | |
EP4249187A1 (en) | Tool checking device, tool checking program, and tool checking method for robot arm | |
JP4424798B2 (ja) | 物体の認識方法および認識装置並びに物体の選別装置 | |
Hema et al. | An intelligent vision system for object localization and obstacle avoidance for an indoor service robot | |
KR102578921B1 (ko) | 인공지능을 기반으로 하는 해양쓰레기 선별 시스템 | |
Faisal et al. | Development of intelligent waste segregation system based on convolutional neural network | |
Alitappeh et al. | Revolutionizing Waste Management: A Smart Materials Recovery Facilility With Robotic and AI Integration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7299570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |