CN110302981A - 一种固废分拣在线抓取方法和系统 - Google Patents

Abstract

一种固废分拣在线抓取方法和系统，适用于固废智能分拣领域，通过运输带输送待分拣的物料，使用视觉模块拍摄物料图像，获得物料位置姿态种类信息，通过上位机的在线抓取及姿态优化方法，实现利用物料信息进行目标物料抓取位置的计算，同时为了保证抓取的可靠性，利用离线训练好的卷积神经网络对抓取的角度和高度进行优化，同时该算法在线对单个物体进行训练，不断修正卷积神经网络模型，在机器人抓取末端设置力传感器，感应抓取是否成功，反馈结果到卷积神经网络模型，利用惩罚函数进一步修正模型。实时抓取应用稳定可靠，抓取成功率能够达到98％以上。

Description

一种固废分拣在线抓取方法和系统

技术领域

本发明涉及固废智能分拣领域，特别是指一种固废分拣在线抓取方法和系统。

背景技术

目前全国范围内，固废的再生利用率仅在5％左右，据统计目前我国大约也只有20家左右的企业进行固废再利用方面的工作，产量和质量也较为低下，由于一般固废类型为为一些混凝土、砖头、金属以及大件木头等等，属于重载作业领域，在现有处理方式上，只能通过振动筛等方式依据物理特性对不同重量尺寸的物体进行分类，且无法对一些可回收价值较高的比如塑料、混凝土、木材和砖块，通过智能分拣机器人的视觉模块识别不同种类物体，对物体种类进行分类回收，同时也能避免人工分拣时的各种危险因素。

而要实现固体废物的机器分拣，属于工程机械领域，其工作环境的恶劣、抓取工况的多样性以及对高效性和准确性的要求一直都是实现机器分拣的难点所在。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种固废分拣在线抓取方法和系统，结合最新的深度学习算法和在线抓取算法，实现机器分拣在固废回收领域的应用。

本发明采用如下技术方案：

一种固废分拣在线抓取方法，其特征在于，包括如下步骤：

步骤1)采集检测区域的物料图像，处理得到物料的质心位置；

步骤2)利用质心位置结合数值分析领域的二分法得到预测抓取点；

步骤3)将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置，控制机器人在预测抓取点以该抓取姿态位置执行抓取；

步骤4)判断抓取结果，根据抓取结果执行惩罚函数，并更新至卷积神经网络模型。

所述步骤2)具体包括：

步骤2.1)测量抓取区域的抓取范围(y_-,y₊)；

步骤2.2)计算抓取范围的中心点y_temp，并分别计算机器人和物料的质心位置到达该中心点的时刻t₁和t₂；

步骤2.3)比较t₁与t₂的大小，若t₁>t₂，令y_-＝y_temp；反之，若t₁<t₂，令y₊＝y_temp；

步骤2.4)判断是否满足|t₁-t₂|≤∈₁，且迭代次数小于设置的最大迭代次数，则将该中心点y_temp作为预测抓取点，∈₁为容许误差；若|t₁-t₂|>∈₁，返回2.2)；若迭代次数大于设置的最大迭代次数，结束迭代，做漏抓记录。

预先采用离线训练集训练卷积神经网络模型，该离线训练集获取方式如下：采集物料图像，选取物料图像的所有的抓取姿态位置并显示，对所有抓取姿态位置进行评分，将评分作为标签。

所述步骤3)中，选取物料图像所有抓取姿态位置并显示，输入离线训练好的卷积神经网络模型得到相应的评分，选取评分最高的抓取姿态位置。

所述步骤3)中，执行抓取完毕时，将此次的物料图像和输出评分作为单个训练集对卷积神经网络模型进行在线训练。

所述步骤4)中，根据抓取结果执行惩罚函数，并更新至卷积神经网络模型的损失函数，该损失函数为交叉熵损失函数。

一种固废分拣在线抓取系统，其特征在于，包括

传送带，用于输送物料；

视觉模块，用于采集物料图像得到物料的质心位置；

上位机,利用质心位置结合数值分析领域的二分法得到预测抓取点,及将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置；根据抓取结果执行惩罚函数，并更新至卷积神经网络模型；

机器人，被操控在预测抓取点以抓取姿态位置执行抓取；

力传感器，安装于机器人抓取末端以检测抓取结果。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明的方法和系统，面对工况复杂的固废分拣生产线上物料的抓取，通过对机器人在线抓取的优化，实现高精度的在线抓取，利用深度学习中的卷积神经网络算法，实现对抓取的角度和高度进行优化，实现在线抓取的可靠性要求，同时在机器人末端安装力传感器用于反馈抓取成功状态，进一步修正卷积神经网络模型，抓取成功率能够达到98％以上。

附图说明

图1为本发明卷积神经网络模型的离线训练和在线修正流程图；

图2为本发明预测抓取点的流程图；

图3为本发明系统图。

以下结合附图和具体实施例对本发明作进一步详述；

其中：1、传送带，2、视觉模块，3、上位机，4、机器人，5、抓取末端，6、力传感器。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图3，一种固废分拣在线抓取系统，其安装于固废分拣生产线上，包括传送带1、视觉模块2、上位机3、机器人4和力传感器6等部件。传送带1用于输送物料，该物料为混凝土、砖头、金属或大件码头等。视觉模块2用于采集物料图像，进行图像处理获得物料信息，物料信息包括有物料的质心位置以及物料种类等，该视觉模块2包含摄像头及相关的图像处理模块，摄像头用于拍摄物料图像，图像处理模块采用现有的图像处理算法得到物料种类、质心位置等。

机器人4安装于输送带上方，被操控在预测抓取点，以接收到的抓取姿态位置执行抓取，该机器人4为常规的工业机器人，其末端为机械手，用于抓取物料。力传感器6安装于机器人4的抓取末端5，用于检测抓取结果，抓取结果包括抓取成功或抓取失败。

上位机3与视觉模块2和机器人4等相连，获取物料信息和物流图像等。其利用物料信息结合数值分析领域的二分法得到预测抓取点，及将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置，该抓取姿态位置包括抓取角度和高度。还可根据抓取结果执行惩罚函数，并更新至卷积神经网络模型。

本发明系统通过上位机3的在线抓取及姿态优化方法，实现利用物料信息进行目标物料抓取位置的计算以及抓取角度和高度的优化。

本发明还提出的一种固废分拣在线抓取方法，具体包括如下步骤：

步骤1)传送带将物料输送至检测区域，通过视觉模块采集检测区域的物料图像，处理得到物料信息。

步骤2)上位机利用物料信息结合数值分析领域的二分法得到预测抓取点，该方法运用迭代思想，利用零点原理对抓取点进行求解：通过抓取区域沿传送带方向的正反边缘距离，计算该段距离的中点作为第一个预测的抓取点，然后计算机器人到达该点的时刻以及传送带上的物料达到该点的时刻，比较两时刻的先后，判断抓取点的所在区域，继续进行该区域中点位置的计算并循环，直至求解出抓取点的满足精度的近似解，完成迭代。参见图2，具体如下：

步骤2.1)测量抓取区域沿传送带方向的抓取范围坐标(y_-,y₊)，该抓取区域为预设的初始值。该抓取范围液为预设值，y_-,y₊分别代表抓取区域的正负极限范围，即机器人能够抓取的沿传送带方向(y方向)的极限位置，是一个人工标定好的初始值。

步骤2.2)计算抓取范围的中心点y_temp＝(y_-+y₊)/2，并分别计算机器人4和物料的质心位置到达该中心点的时刻t₁和t₂；

步骤2.3)比较t₁与t₂的大小，若t₁>t₂，令y_-＝y_temp；反之，若t₁<t₂，令y₊＝y_temp；

步骤2.4)判断是否满足|t₁-t₂|≤∈₁，且迭代次数小于设置的最大迭代次数，则将该中心点y_temp作为预测抓取点，∈₁为容许误差；若|t₁-t₂|>∈₁，返回2.2)；若迭代次数大于设置的最大迭代次数，结束迭代，做漏抓记录。

漏抓记录适用于二分法无法在一定迭代次数内求解时，告知上位机放弃当前目标的抓取，进行下一个物料的抓取。目的也是方便统计设备评价指标中的抓取成功率。

步骤3)将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置，控制机器人在预测抓取点以该抓取姿态位置执行抓取。该深度学习中的卷积神经网络模型包括离线训练和在线修正，参见图1。

离线训练需要制作含标签的训练集，用于离线训练卷积神经网络模型，具体如下：预先做好离线训练集，其中包括采集拍摄的物料图像，进行物料图像所有可能抓取姿态位置(包括抓取角度和高度)的选取，将其显示在原始图像(拍摄的物料图像)上并保存，最后人工对所有可能抓取姿态位置进行评分，将评分作为标签并保存。

将离线训练集用于卷积神经网络的离线训练，得到卷积神经网络模型的参数。

在线修正即在机器人进行抓取时同时进行单个样本的训练来提高模型的泛化能力。执行单次的在线抓取时，采集拍摄的物料图像，进行图像所有可能抓取姿态位置(包括抓取角度和高度)的选取，将其显示在原始图像上并保存，作为卷积神经网络模型的输入，输出为相应的评分，选取评分最高的抓取姿态位置并执行抓取。

步骤4)判断抓取结果，根据抓取结果执行惩罚函数，并更新至卷积神经网络模型。

卷积神经网络算法中的在线修正模型包括一项惩罚函数：通过抓取末端设置的力传感器，用于反馈抓取结果，当抓取成功或失败时，反馈信息到上位机执行惩罚函数，并更新至卷积神经网络模型的损失函数中。

惩罚函数的定义为：y_i＝{1:successful；0:fail}，更新的损失函数为交叉熵损失函数：E＝-y_i logP_j,其中P_j网络预测输出的结果，代表抓取成功的可能性，0～100之间，0代表抓取失败，100代表抓到的可能性最高，即数值越大，越容易成功。y_i为惩罚函数的实际输出结果。

本发明采用的深度学习算法，能够结合机器视觉技术对抓取姿态进行优化，并对物体进行分类，使机器人抓取越来越智能化，能够适应机器人在复杂的工况下的抓取，抓取的可靠性有很大的提升。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (7)

1.一种固废分拣在线抓取方法，其特征在于，包括如下步骤：

步骤1)采集检测区域的物料图像，处理得到物料的质心位置；

步骤2)利用质心位置结合数值分析领域的二分法得到预测抓取点；

步骤3)将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置，控制机器人在预测抓取点以该抓取姿态位置执行抓取；

步骤4)判断抓取结果，根据抓取结果执行惩罚函数，并更新至卷积神经网络模型。

2.如权利要求1所述的一种固废分拣在线抓取方法，其特征在于，所述步骤2)具体包括：

步骤2.1)测量抓取区域的抓取范围(y_-,y₊)；

步骤2.2)计算抓取范围的中心点y_temp，并分别计算机器人和物料质心位置到达该中心点的时刻t₁和t₂；

步骤2.3)比较t₁与t₂的大小，若t₁>t₂，令y_-＝y_temp；反之，若t₁<t₂，令y₊＝y_temp；

步骤2.4)判断是否满足|t₁-t₂|≤∈₁，且迭代次数小于设置的最大迭代次数，则将该中心点y_temp作为预测抓取点，∈₁为容许误差；若|t₁-t₂|>∈₁，返回2.2)；若迭代次数大于设置的最大迭代次数，结束迭代，做漏抓记录。

3.如权利要求1所述的一种固废分拣在线抓取方法，其特征在于，预先采用离线训练集训练卷积神经网络模型，该离线训练集获取方式如下：采集物料图像，选取物料图像的所有的抓取姿态位置并显示，对所有抓取姿态位置进行评分，将评分作为标签。

4.如权利要求3所述的一种固废分拣在线抓取方法，其特征在于，所述步骤3)中，选取物料图像所有抓取姿态位置并显示，输入离线训练好的卷积神经网络模型得到相应的评分，选取评分最高的抓取姿态位置。

5.如权利要求3所述的一种固废分拣在线抓取方法，其特征在于，所述步骤3)中，执行抓取完毕时，将此次的物料图像和输出评分作为单个训练集对卷积神经网络模型进行在线训练。

6.如权利要求3所述的一种固废分拣在线抓取方法，其特征在于，所述步骤4)中，根据抓取结果执行惩罚函数，并更新至卷积神经网络模型的损失函数，该损失函数为交叉熵损失函数。

7.一种固废分拣在线抓取系统，其特征在于，包括

传送带，用于输送物料；

视觉模块，用于采集物料图像得到物料的质心位置；

上位机,利用质心位置结合数值分析领域的二分法得到预测抓取点,及将物料图像输入离线训练好的卷积神经网络模型得到抓取姿态位置；根据抓取结果执行惩罚函数，并更新至卷积神经网络模型；

机器人，被操控在预测抓取点以抓取姿态位置执行抓取；

力传感器，安装于机器人抓取末端以检测抓取结果。