CN113971746A - 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 - Google Patents
基于单次人手示教的垃圾分类方法、装置及分拣智能系统 Download PDFInfo
- Publication number
- CN113971746A CN113971746A CN202111593222.5A CN202111593222A CN113971746A CN 113971746 A CN113971746 A CN 113971746A CN 202111593222 A CN202111593222 A CN 202111593222A CN 113971746 A CN113971746 A CN 113971746A
- Authority
- CN
- China
- Prior art keywords
- garbage
- network
- grabbing
- training
- garbage classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 406
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 95
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 230000002787 reinforcement Effects 0.000 claims description 19
- 239000002699 waste material Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0054—Sorting of waste or refuse
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0063—Using robots
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及目标检测领域，具体涉及基于单次人手示教的垃圾分类方法、装置及分拣智能系统，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对元学习目标检测基础网络进行强化训练，及新加类别强化训练，使元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息，通过单次人手示教对垃圾分类网络进行训练使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应垃圾分类桶。通过本公开技术方案，提升垃圾分拣效率，改善工人工作环境，操作方便且鲁棒性强。
Description
技术领域
本公开涉及目标检测领域，尤其涉及一种基于单次人手示教的垃圾分类方法、装置及分拣智能系统。
背景技术
在高度提倡文明的当今社会，垃圾分类成为了不可避免的议题。尽管大部分人可以做到自觉遵守相关规定，分类投放垃圾，仍有部分因大意或概念不清导致的垃圾错误分类扔掷情况，这无疑大大加重了环保工人的负担。
每户每天产生的垃圾较多，且垃圾站环境恶劣，工人逐个分拣较为困难；而日常产生的垃圾种类繁多，外表特征各异，普通的深度神经网络需对同样样本的多角度采样方可识别分类定位，效率低，且远程实现困难。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于单次人手示教的垃圾分类方法、装置及分拣智能系统，提升垃圾分拣效率，改善工人工作环境，操作方便且鲁棒性强。
第一方面，本公开提供了一种基于少样本的目标检测方法，包括：
利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息；
通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；
利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据所述抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
可选地，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息，包括：
获取输入图片的特征图并获取所述特征图的划分区域；
根据所述划分区域并采用注意力机制生成垃圾候选区域；
根据所述垃圾候选区域获取垃圾的物体类别信息和位置信息。
可选地，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练以使所述元学习目标检测基础网络学习获取垃圾的物体类别信息和位置信息，还包括：
多角度并行计算参考垃圾与训练垃圾的相似度以强化同类垃圾的特征关联性。
可选地，通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：
通过不同卷积核提取待抓取垃圾的分类标识特征；
对所述垃圾分类桶进行定位；
识别人手。
可选地，通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：
通过实时人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；或者，
通过视频人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶。
可选地，利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，包括：
从输入图像中获取抓取角度图像、夹爪宽度图像和抓取质量图像；
根据所述抓取角度图像、所述夹爪宽度图像和所述抓取质量图像推断所述抓取位姿。
第二方面，本公开提供一种基于单次人手示教的垃圾分类装置，包括：
检测训练模块，用于利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息；
示教训练模块，用于通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；
抓取训练模块，用于利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据所述抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
第三方面，本公开还提供了一种分拣智能系统，包括如第二方面所述的基于单次人手示教的垃圾分类装置。
可选地，分拣智能系统还包括：
物件抓取结构，所述物件抓取结构和所述垃圾分类装置通信连接；
所述垃圾分类装置用于获取待抓取垃圾的物体类别信息和位置信息以及抓取待抓取垃圾的抓取位姿；
所述物件抓取结构根据待抓取垃圾的物体类别信息和位置信息以及待抓取垃圾的抓取位姿将待抓取垃圾抓取至对应的垃圾分类桶。
可选地，所述物件抓取结构包括多自由度机械臂。
本公开提供的技术方案与现有技术相比具有如下优点：
本公开利用垃圾类别基础数据集对元学习目标检测基础网络进行训练以使元学习目标检测基础网络学习获取不同垃圾的物体类别信息和位置信息，通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。由此，本公开实现了在垃圾分类过程中采用元学习目标检测基础网络快速学习不同垃圾的类别和位置信息，利用元学习目标检测基础网络的快速学习和迁移能力，大大降低传统神经网络对样本数的需求，提升了多种类情况下的垃圾分拣效率，同时单次人手示教对垃圾分类网络的训练可以远程进行，改善了工人的工作环境，操作方便，鲁棒性强。
附图说明
图1为本公开实施例提供的一种基于单次人手示教的垃圾分类方法的流程示意图；
图2为本公开实施例提供的一种基于单次人手示教的垃圾分类装置的结构示意图；
图3为本公开实施例提供的一种分拣智能系统的结构示意图；
图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其它不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种基于单次人手示教的垃圾分类方法的流程示意图。基于单次人手示教的垃圾分类方法可以应用在需要对垃圾进行分类的应用场景，可以由本公开实施例提供的基于单次人手示教的垃圾分类装置执行。如图1所示，基于单次人手示教的垃圾分类方法包括：
S101、利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息。
具体地，搭建元学习目标检测基础网络后，选用垃圾类别基础数据集对元学习目标检测基础网络进行训练，垃圾类别基础数据集包括垃圾的图片以及与图片一一对应的标签信息，标签信息包括垃圾的物体类别信息和包络框位置信息。在搭建了元学习目标检测基础网络后，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，如果出现了不属于垃圾类别基础数据集的新加类别垃圾时，仅需要使用新加类别垃圾的一个物体的多角度图片对元学习目标检测基础网络进行训练，微调元学习目标检测基础网络，即可检测出新加类别垃圾的大多数物体。另外，元学习目标检测基础网络具有举一反三的能力，由于自然界中没有完全相同的物体，即使是属于同一类的物体其形貌也会有所区别，而元学习目标检测基础网络可以快速地将形貌不同但属于同一类的物体进行识别并归类，使元学习目标检测基础网络具有快速迁移和学习的能力。
垃圾类别基础数据集可从互联网下载，在选取垃圾基础数据集时，应尽量选用和当前垃圾厂内的垃圾相关的数据集，避免因垃圾基础数据集相关性较差影响元学习目标检测基础网络对垃圾的学习速度和精度。
可选地，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使元学习目标检测基础网络快速学习以获取不同垃圾的物体类别信息和位置信息，包括：获取输入图片的特征图并获取特征图的划分区域；根据划分区域并采用注意力机制生成垃圾候选区域；根据垃圾候选区域获取垃圾的物体类别信息和位置信息。
具体地，在利用垃圾类别基础数据集对元学习目标检测基础网络进行训练时，将垃圾类别基础数据集的图片输入元学习目标检测基础网络，利用元学习目标检测基础网络中的特征提取模块获取输入图片的特征图，将特征图输入元学习目标检测基础网络中的区域划分模块获取特征图的划分区域。采用注意力机制将划分区域生成垃圾候选区域，注意力机制是选择性地关注所有信息的一部分，同时忽略其它可见的信息的机制，利用注意力机制可以快速提取划分区域中含有待学习垃圾的图像区域，排除无垃圾的区域和非学习垃圾的区域，使元学习目标检测基础网络能更有效率的提取划分区域中有关待学习垃圾的信息，生成垃圾候选区域。在出现新加类别垃圾时，仅使用新加类别垃圾的一个物体的多角度图片对元学习目标检测基础网络进行训练，即可检测出新加类别垃圾的大多数物体。元学习目标检测基础网络中的位置预测模块根据垃圾候选区域获取垃圾的包络框位置信息，元学习目标检测基础网络中的类别预测模块根据垃圾候选区域获取垃圾的物体类别信息。
可选地，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使元学习目标检测基础网络快速学习以获取不同垃圾的物体类别信息和位置信息，还包括：计算参考垃圾与训练垃圾的相似度以强化同类垃圾的特征关联性。
具体地，在元学习目标检测基础网络引入多角度的注意力机制，采用多个平行层共同计算参考垃圾与训练垃圾的相似度，其中，参考垃圾为在元学习目标检测基础网络进行训练时已知类别信息和位置信息的垃圾，训练垃圾为在训练过程中被抹去类别信息和位置信息的垃圾，采用梯度下降的方法对参考垃圾和训练垃圾进行训练，总结相同类别的共性，排除垃圾中不相关的特征或者多余的特征。梯度下降的方法是迭代法的一种，梯度即为导数，梯度下降法的计算过程就是沿梯度下降的方向求解极小值，得到最小化的损失函数并优化网络自身的各种参数，最终使得某一组参数下该模型能够最佳匹配该学习过程。需要说明的是，本公开对于梯度下降中所采用的损失函数不作具体限定，能够使元学习目标检测基础网络具有更强的鲁棒性，避免梯度爆炸，收敛度高即可。
利用垃圾类别基础数据集对元学习目标检测基础网络进行训练是深度学习的一种方式，在深度学习中需要使用大量的数据进行训练，而元学习是在深度学习中解决少样本学习的方案之一，目的是建立一个可以快速学习新任务的网络结构，只需要借助每一类垃圾的少量样本即可使元学习目标检测基础网络具有识别垃圾的能力。由此，元学习目标检测基础网络仅使用少量样本就能举一反三识别同类的类似或相似物体，在出现新加类别垃圾时，仅使用新加类别垃圾的一个物体的多角度图片对元学习目标检测基础网络进行训练，微调元学习目标检测基础网络，即可检测出新加类别垃圾的大多数物体，因此本公开实施例所构建的元学习目标检测基础网络具有快速迁移及学习能力。
S102、通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶。
具体地，搭建垃圾分类网络后使用单次人手示教对其进行训练，使垃圾分类网络具有将垃圾厂中的垃圾分类的功能，进而将垃圾抓取到对应的垃圾分类桶中，垃圾分类即根据所在城市按一定规定或标准，将垃圾分类存储、投放和搬运，垃圾分类桶例如可以为厨余垃圾桶、可回收垃圾桶、不可回收垃圾桶、其它垃圾桶等分类桶，所在城市不同，其对应的垃圾分类桶也不同，本公开实施例对此不作限定。
可选地，通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：通过不同卷积核提取待抓取垃圾的分类标识特征；对垃圾分类桶进行定位；识别人手以适应垃圾分类现场与工人远程示教的域变换。
具体地，通过单次人手示教对垃圾分类网络进行训练时，先通过不同卷积核提取待抓取垃圾的分类标识特征，确定待提取垃圾所属的类别。示例性地，当元学习目标检测基础网络识别出待提取垃圾为纸盒时，利用不同卷积核提取纸盒的分类标识特征为可回收垃圾，则确定纸盒对应的垃圾分类桶为可回收垃圾桶。在对垃圾分类网络进行训练时，可以将实际的垃圾分类桶的图片输入垃圾分类网络中，获取预测包络框的位置，将预测包络框的位置和实际垃圾分类桶图片中对应的包络框位置信息进行对比，对包络框进行回归，使垃圾分类网络可以快速定位垃圾分类桶的位置。
同时，垃圾分类网络可以识别人手示教过程中进行垃圾分类的过程，当出现与之前训练中差异较大的待提取垃圾时，垃圾分类网络无法对待提取垃圾进行分类，可以利用人手对垃圾分类网络进行训练，仅需要单次人手示教即可使垃圾分类网络学会待提取垃圾的分类，垃圾分类网络适应了垃圾分类现场与工人远程示教的域变换，工人在远离垃圾分类现场的位置演示将垃圾分拣至对应垃圾分类桶中的动作，训练垃圾分类网络建立待提取垃圾与垃圾分类桶的对应关系，垃圾分类网络适应了垃圾分类现场与远程位置的区域变换，垃圾分类网络在垃圾分类现场可以根据工人在远程演示完成将垃圾分拣至对应的垃圾分类桶中的动作。由此，工人不需要在环境较为恶劣的垃圾厂中进行示教，在远程也可以实现对垃圾分类网络的训练。
可选地，通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：通过实时人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；或者，通过视频人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶。
具体地，在对垃圾分类网络进行人手示教时，可以使工人在垃圾分类的现场对垃圾分类网络进行示教训练，当出现垃圾分类网络根据预先训练的知识无法分类的垃圾时，通过现场的工人对垃圾分类网络进行训练，将待提取垃圾分拣至对应的垃圾分类桶，使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶的过程，工人可以在距离垃圾分类厂较远的位置进行实时示教，大大改善了工人的工作环境。另外，也可以将工人对垃圾分类的过程提前录制成视频，视频内容为将垃圾厂中的待提取垃圾捡起来放置于对应的垃圾分类桶中，当垃圾分类网络需要进行人手示教时，播放录制好的视频对垃圾分类网络进行训练，视频播放装置可以与垃圾分类网络通过有线或者无线的方式通信连接。
S103、利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
可选地，利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，包括：从输入图像中获取抓取角度图像、夹爪宽度图像和抓取质量图像；根据抓取角度图像、夹爪宽度图像和抓取质量图像推断抓取位姿。
具体地，利用垃圾抓取基础数据集对抓取网络进行训练时，抓取网络的结构基于生成式卷积神经网络，对输入的图像进行预处理，对其进行裁剪、调整大小和规范化。如果输入图像中包含了彩色图像和与其对齐的深度图像时，抓取网络将以经过处理的四通道图像作为输入图像，抓取网络的特征提取模块将自动从预处理的图像中提取特征，生成输出图像，即抓取角度图像、夹爪宽度图像和抓取质量图像。抓取质量图像的分辨率与输入的图像相同，抓取质量图像中包含多个像素点，像素点代表夹爪抓取中心点在图像中的位置，抓取质量图像中包含有每个像素点有对应的抓取质量的数值，抓取质量图像中的数值为 [0,1]的实数，代表夹爪将待抓取垃圾抓起时的概率，能够抓取到物体的概率由0到1逐渐提高，其中0代表最差的抓取质量，1代表最好的抓取质量。由于不同垃圾的大小和形状各不相同，需要采取不同的抓取位姿才能使垃圾从垃圾厂中抓取后放置于对应的垃圾分类桶中，且在抓取过程中尽量避免将垃圾掉落至地面，因此抓取网络需要根据抓取的垃圾大小和形状调整抓取角度和夹爪宽度，选择抓取质量图像中像素点的对应的抓取质量的数值接近于1的抓取位姿推断最终的抓取位姿。
本公开实施例利用垃圾类别基础数据集对元学习目标检测基础网络进行训练以使元学习目标检测基础网络学习获取不同垃圾的物体类别信息和位置信息；通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。由此，本公开实施例结合元学习和垃圾分拣，使目标检测基础网络具有丰富的先验知识及迁移能力。生活中垃圾种类繁多，外形复杂，元学习目标检测基础网络可以通过经垃圾类别基础数据集训练后所得到的物体类别对类似的物体进行分类判断，相似物体无需重新分类。对差异较大物体，仅需单次示教，经先验知识推导，即可快速学习分类。元学习大大降低传统神经网络对样本数的需求，提升了多种类情况下的垃圾分拣效率。
本公开实施例还提供了一种基于单次人手示教的垃圾分类装置，该基于单次人手示教的垃圾分类装置可用于实现本公开实施例提供的基于单次人手示教的垃圾分类方法。图2为本公开实施例提供的一种基于单次人手示教的垃圾分类装置的结构示意图。如图2所示，基于单次人手示教的垃圾分类装置200包括检测训练模块201、示教训练模块202和抓取训练模块203。检测训练模块201用于利用垃圾类别基础数据集对元学习目标检测基础网络进行训练以使元学习目标检测基础网络学习获取不同垃圾的物体类别信息和位置信息，示教训练模块202用于通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，抓取训练模块203用于利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
本公开实施例还提供了一种分拣智能系统，图3为本公开实施例提供的一种分拣智能系统的结构示意图。如图3所示，分拣智能系统包括如上述实施例所述的基于单次人手示教的垃圾分类装置200。因此本公开实施例提供的分拣智能系统具备上述实施例所述的有益效果，这里不再赘述。
可选地，如图3所示，分拣智能系统还包括：物件抓取结构300，物件抓取结构300和垃圾分类装置200通信连接；垃圾分类装置200用于获取待抓取垃圾的物体类别信息和位置信息以及抓取待抓取垃圾的抓取位姿；物件抓取结构300待抓取垃圾的物体类别信息和位置信息以及待抓取垃圾的抓取位姿将待抓取垃圾抓取至对应的垃圾分类桶。
具体地，如图3所示，物件抓取结构300和垃圾分类装置200通过有线或无线方式通信连接，示例性地，当垃圾厂中有垃圾需要分拣时，垃圾分类装置200利用元学习目标检测基础网络获取待抓取垃圾的物体类别信息和位置信息，通过单次人手示教对垃圾分类网络进行训练，使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，抓取网络学习用于抓取待抓取垃圾的抓取位姿，垃圾分类装置200将待抓取垃圾的物体类别信息、位置信息以及待抓取垃圾的抓取位姿输出至物件抓取结构300，物件抓取结构300根据待抓取垃圾的物体类别信息和位置信息识别出垃圾厂中的待提取垃圾，并根据抓取位姿调整物件抓取结构300的抓取姿势，将待抓取垃圾从垃圾厂中取出，放置于对应类别的垃圾分类桶完成垃圾分拣流程。
可选地，物件抓取结构300包括多自由度机械臂。
具体地，物件抓取结构300可以为多自由度机械臂，机械臂是拟人手臂、手腕和手功能的电子机械装置，精度高且具有多输入多输出的复杂系统，可以把任意的物体按照位置变换要求进行移动，从而在垃圾分类作业线上将目标物体由生产线位置取出放置于相应类别分拣筐，实现物体的分拣流程。
需要说明的是，多自由度机械臂可以根据需要灵活放置于垃圾分类作业线的各个位置，本公开实施例对此不作限定。
本公开实施例提供的物件分拣智能系统，结合元学习目标检测基础网络、垃圾分类网络和抓取网络与机械臂协同工作，大大降低了对人员的要求。同时，人手示教可远程进行，机械臂可独立在垃圾厂工作，大大改善了工人的工作环境。元学习的人手示教可以自适应手与机械臂的“域”变化，以及垃圾场及工人示教台的域变化，操作方便，鲁棒性强。利用元学习目标检测基础网络具有快速迁移及学习的能力，降低了新类别垃圾样本的需求量，提高了物件分拣效率。
本公开实施例还提供了一种电子设备，图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备包括处理器401和存储器402，处理器401通过调用存储器402存储的程序或指令，执行如上述实施例所述的基于单次人手示教的垃圾分类方法的步骤，因此具备上述实施例所述的有益效果，这里不再赘述。
如图4所示，可以设置电子设备包括至少一个处理器401、至少一个存储器402和至少一个通信接口403。电子设备中的各个组件通过总线系统404耦合在一起。通信接口403用于与外部设备之间的信息传输。可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统404。
可以理解，本实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器402存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集操作系统和应用程序。在本公开实施例中，处理器401通过调用存储器402存储的程序或指令，执行本公开实施例提供的基于单次人手示教的垃圾分类方法各实施例的步骤。
本公开实施例提供的基于单次人手示教的垃圾分类方法可以应用于处理器401中，或者由处理器401实现。处理器401可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的基于单次人手示教的垃圾分类方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成方法的步骤。
该电子设备还可以包括一个实体部件，或者多个实体部件，以根据处理器401在执行本申请实施例提供的基于少样本的目标检测方法时生成的指令。不同的实体部件可以设置到电子设备内，或者电子设备外，例如云端服务器等。各个实体部件与处理器401和存储器402共同配合实现本实施例中电子设备的功能。
本公开实施例还提供一种存储介质，例如计算机可读存储介质，存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种基于单次人手示教的垃圾分类，该方法包括：
利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息；
通过单次人手示教对垃圾分类网络进行训练以使垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；
利用垃圾抓取基础数据集对抓取网络进行训练以使抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
可选地，该计算机可执行指令在由计算机处理器执行时还可以用于执行本公开任意实施例所提供的于单次人手示教的垃圾分类方法的技术方案。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例的方法。
需要说明的是，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于单次人手示教的垃圾分类方法，其特征在于，包括：
利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息；
通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；
利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据所述抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
2.根据权利要求1所述的基于单次人手示教的垃圾分类方法，其特征在于，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息，包括：
获取输入图片的特征图并获取所述特征图的划分区域；
根据所述划分区域并采用注意力机制生成垃圾候选区域；
根据所述垃圾候选区域获取垃圾的物体类别信息和位置信息。
3.根据权利要求2所述的基于单次人手示教的垃圾分类方法，其特征在于，利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习以获取垃圾的物体类别信息和位置信息，还包括：
计算参考垃圾与训练垃圾的相似度以强化同类垃圾的特征关联性。
4.根据权利要求1所述的基于单次人手示教的垃圾分类方法，其特征在于，通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：
通过不同卷积核提取待抓取垃圾的分类标识特征；
对所述垃圾分类桶进行定位；
识别人手。
5.根据权利要求1所述的基于单次人手示教的垃圾分类方法，其特征在于，通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶，包括：
通过实时人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；或者，
通过视频人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶。
6.根据权利要求1所述的基于单次人手示教的垃圾分类方法，其特征在于，利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，包括：
从输入图像中获取抓取角度图像、夹爪宽度图像和抓取质量图像；
根据所述抓取角度图像、所述夹爪宽度图像和所述抓取质量图像推断所述抓取位姿。
7.一种基于单次人手示教的垃圾分类装置，其特征在于，包括：
检测训练模块，用于利用垃圾类别基础数据集对元学习目标检测基础网络进行训练，利用单一新物体多角度数据对所述元学习目标检测基础网络进行强化训练，及新加类别强化训练，以使所述元学习目标检测基础网络快速学习获取垃圾的物体类别信息和位置信息；
示教训练模块，用于通过单次人手示教对垃圾分类网络进行训练以使所述垃圾分类网络学习将待抓取垃圾抓取至对应的垃圾分类桶；
抓取训练模块，用于利用垃圾抓取基础数据集对抓取网络进行训练以使所述抓取网络学习用于抓取待抓取垃圾的抓取位姿，并根据所述抓取位姿控制将待抓取垃圾抓取至对应的垃圾分类桶。
8.一种分拣智能系统，其特征在于，包括如权利要求7所述的基于单次人手示教的垃圾分类装置。
9.根据权利要求8所述的分拣智能系统，其特征在于，还包括：
物件抓取结构，所述物件抓取结构和所述垃圾分类装置通信连接；
所述垃圾分类装置用于获取待抓取垃圾的物体类别信息和位置信息以及抓取待抓取垃圾的抓取位姿；
所述物件抓取结构根据待抓取垃圾的物体类别信息和位置信息以及待抓取垃圾的抓取位姿将待抓取垃圾抓取至对应的垃圾分类桶。
10.根据权利要求9所述的分拣智能系统，其特征在于，所述物件抓取结构包括多自由度机械臂。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111593222.5A CN113971746B (zh) | 2021-12-24 | 2021-12-24 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111593222.5A CN113971746B (zh) | 2021-12-24 | 2021-12-24 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113971746A true CN113971746A (zh) | 2022-01-25 |
| CN113971746B CN113971746B (zh) | 2022-03-11 |
Family
ID=79590748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111593222.5A Active CN113971746B (zh) | 2021-12-24 | 2021-12-24 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971746B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114347043A (zh) * | 2022-03-16 | 2022-04-15 | 季华实验室 | 一种机械手模型学习方法、装置、电子设备及存储介质 |
| CN116205266A (zh) * | 2022-02-28 | 2023-06-02 | 复旦大学 | 一种机器人小样本分拣方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110697273A (zh) * | 2019-08-27 | 2020-01-17 | 酆雨舟 | 一种基于迭代学习控制的生活垃圾智能识别与自动分类系统及方法 |
| CN112818903A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 |
| US20210197855A1 (en) * | 2018-12-13 | 2021-07-01 | Huawei Technologies Co., Ltd. | Self-Driving Method, Training Method, and Related Apparatus |
| CN113139612A (zh) * | 2021-05-07 | 2021-07-20 | 上海商汤临港智能科技有限公司 | 图像分类方法、分类网络的训练方法和相关产品 |
| CN113435514A (zh) * | 2021-06-29 | 2021-09-24 | 同济大学 | 一种基于元深度学习的建筑垃圾精细分类方法、装置 |
| CN113441421A (zh) * | 2021-07-22 | 2021-09-28 | 北京信息科技大学 | 一种自动垃圾分类系统和方法 |
| CN113537307A (zh) * | 2021-06-29 | 2021-10-22 | 杭州电子科技大学 | 一种基于元学习的自监督域适应方法 |
| CN113610252A (zh) * | 2021-08-17 | 2021-11-05 | 浙江捷瑞电力科技有限公司 | 一种元学习小样本输电线缺陷目标检测和告警系统及方法 |
| CN113688825A (zh) * | 2021-05-17 | 2021-11-23 | 海南师范大学 | 一种ai智能垃圾识别分类系统和方法 |
-
2021
- 2021-12-24 CN CN202111593222.5A patent/CN113971746B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210197855A1 (en) * | 2018-12-13 | 2021-07-01 | Huawei Technologies Co., Ltd. | Self-Driving Method, Training Method, and Related Apparatus |
| CN110697273A (zh) * | 2019-08-27 | 2020-01-17 | 酆雨舟 | 一种基于迭代学习控制的生活垃圾智能识别与自动分类系统及方法 |
| CN112818903A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 |
| CN113139612A (zh) * | 2021-05-07 | 2021-07-20 | 上海商汤临港智能科技有限公司 | 图像分类方法、分类网络的训练方法和相关产品 |
| CN113688825A (zh) * | 2021-05-17 | 2021-11-23 | 海南师范大学 | 一种ai智能垃圾识别分类系统和方法 |
| CN113435514A (zh) * | 2021-06-29 | 2021-09-24 | 同济大学 | 一种基于元深度学习的建筑垃圾精细分类方法、装置 |
| CN113537307A (zh) * | 2021-06-29 | 2021-10-22 | 杭州电子科技大学 | 一种基于元学习的自监督域适应方法 |
| CN113441421A (zh) * | 2021-07-22 | 2021-09-28 | 北京信息科技大学 | 一种自动垃圾分类系统和方法 |
| CN113610252A (zh) * | 2021-08-17 | 2021-11-05 | 浙江捷瑞电力科技有限公司 | 一种元学习小样本输电线缺陷目标检测和告警系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| XUYUN YANG ET AL: "Vision-based one-shot imitation learning supplemented with Target Recognition via Meta Learning", 《2021 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND ATUOMATION》 * |
| 陈昱: "基于元学习的机器人智能抓取方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116205266A (zh) * | 2022-02-28 | 2023-06-02 | 复旦大学 | 一种机器人小样本分拣方法 |
| CN114347043A (zh) * | 2022-03-16 | 2022-04-15 | 季华实验室 | 一种机械手模型学习方法、装置、电子设备及存储介质 |
| CN114347043B (zh) * | 2022-03-16 | 2022-06-03 | 季华实验室 | 一种机械手模型学习方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113971746B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic detection and classification system of domestic waste via multimodel cascaded convolutional neural network | |
| CN113971746B (zh) | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 | |
| CN113158956B (zh) | 一种基于改进型yolov5网络的垃圾检测与识别方法 | |
| CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN111460967B (zh) | 一种违法建筑识别方法、装置、设备及存储介质 | |
| CN111523486B (zh) | 一种基于改进CenterNet的机械臂抓取检测方法 | |
| EP3740897A1 (en) | License plate reader using optical character recognition on plural detected regions | |
| CN111723782A (zh) | 基于深度学习的视觉机器人抓取方法及系统 | |
| Che et al. | Intelligent robotic control system based on computer vision technology | |
| CN111015662A (zh) | 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 | |
| CN113762159B (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
| Nordeng et al. | DEBC detection with deep learning | |
| Feng et al. | Garbage disposal of complex background based on deep learning with limited hardware resources | |
| CN110516768A (zh) | 一种垃圾分类管理的方法、装置及人工智能机器人 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN111160374B (zh) | 一种基于机器学习的颜色识别方法及系统、装置 | |
| JP2022076296A (ja) | データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム | |
| CN112215147A (zh) | 垃圾投放位置的溯源方法、装置、设备及存储介质 | |
| Mittal et al. | Trash classification: classifying garbage using deep learning | |
| CN113408630A (zh) | 一种变电站指示灯状态识别方法 | |
| CN113537079A (zh) | 一种基于深度学习的目标图像角度计算方法 | |
| Wang et al. | Recyclable waste identification using cnn image recognition and gaussian clustering | |
| CN113743434A (zh) | 一种目标检测网络的训练方法、图像增广方法及装置 | |
| CN116580233A (zh) | 一种用于工业垃圾分类的智能工作机器人控制系统 | |
| CN111047731A (zh) | 一种基于ar技术的电信机房巡检方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |