CN113920142A - 一种基于深度学习的分拣机械手多物体分拣方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，其包括：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对目标图像中的不同目标物品进行定位；基于定位结果对目标图像进行图像分割，并利用目标检测网络根据分割结果确定不同目标物品的点云集合；基于点云集合确定不同目标物品的位姿信息，并基于位姿信息控制分拣机械手对相应的目标物品进行分拣。通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

Description

一种基于深度学习的分拣机械手多物体分拣方法

技术领域

本发明涉及机器人分拣技术领域，特别涉及一种基于深度学习的分拣机械手多物体分拣方法。

背景技术

目前，随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、物流仓储和深海勘探等；

但是现有的分拣系统一般通过目标检测技术方式对环境中的目标物体进行识别与定位，这在面对存在堆叠、遮挡情况的多种物体分拣的情景时，不能完成预定的分拣任务，甚至由于对物体的摆放关系理解不足，导致抓取过程中损坏了目标物体；

因此，本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

发明内容

本发明提供一种基于深度学习的分拣机械手多物体分拣方法，用以通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，包括：

步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；

步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；

步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：

获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；

获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；

确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：

获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；

若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；

否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；

基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：

获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；

将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；

基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；

获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；

基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；

基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；

将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；

同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；

基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：

获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；

基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；

基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；

基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：

获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；

若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；

否则，确定所述目标图像中包含的物品是否为新增物品种类；

若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；

否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：

对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；

根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；

根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；

读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；

基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；

根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；

将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；

在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；

基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；

将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：

构建三维坐标系，同时获取不同目标物品的点云集合；

基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；

基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；

基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：

获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；

同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；

基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。

优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：

获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；

若发生重叠，判断重叠物品是否为同一物品种类；

当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；

当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；

否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法的流程图；

图2为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法中步骤1的流程图；

图3为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法中步骤3的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图1所示，包括：

步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；

步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；

步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。

该实施例中，预设图像采集装置是提前设定好的，例如可以是摄像头，照相机等。

该实施例中，任务场景可以是多种情况，例如可以是快递分拣，物流分拣，垃圾分拣等。

该实施例中，目标图像指的是对任务场景中包含的图像进行拍照后得到图像，该图像中包含待分拣的各种物品。

该实施例中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位指的是对目标图像中包含的目标物品的物品种类进行确定。

该实施例中，目标检测网络是提前训练好的，用于根据不同目标物品在图像中的位置将不同的目标物品进行图像分割。

该实施例中，点云集合指的是将物品进行分析，将物品转换为由多个点组合的虚拟结构。

该实施例中，位姿信息指的是不同目标物品在任务场景中的摆放位置，外表形状等。

上述技术方案的有益效果是：通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

实施例2：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图2所示，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：

步骤101：获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；

步骤102：获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；

步骤103：确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。

该实施例中，预设目标图像采集点是提前设定好的，用于对各个预设目标图像采集点采集的图像进行分析，从而从预设目标图像采集点中确定最终的图像采集点，例如预设目标图像采集点可以是在分拣机械手前端安置摄像头，也可以是传输轨道上安置摄像头等。

该实施例中，预设物品指的是已知物品种类的检测物品，目的是为了对预设目标图像采集点采集到的图像进行分析，判断预设目标图像采集点采集到的图像是否能够为准确分析出物品的种类提供便利。

该实施例中，预图像采集指的是对预设物品进行采集，即检测过程中训练采集图像的过程。

该实施例中，筛选要求可以是对图像清晰度、拍摄角度等的要求。

该实施例中，标准图像指的是能够清楚分析物品种类，即满足筛选要求的图像。

该实施例中，标准预设目标图像采集点指的是对预设目标图像采集点进行筛选后得到的，用于采集任务场景中不同目标物品图像的图像采集点，是预设目标图像采集点中的一个或几个。

上述技术方案的有益效果是：通过对预设目标图像采集点进行训练筛选，确保最终得到的图像采集点的拍摄角度，拍摄图像的清晰度符合要求，为准确对目标图像中不同目标物品进行定位提供了便利，同时为提高分拣机械手的分拣效率提供了保障。

实施例3：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：

获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；

若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；

否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；

基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。

该实施例中，预设清晰度是提前设定好的，用于衡量采集到的目标图像的清晰度是否满足清晰度要求。

该实施例中，目标图像参数指的是目标图像的分辨率、灰度值、颜色值等。

上述技术方案的有益效果是：通过对采集到的目标图像的清晰度进行判断，且在目标图像的清晰度不满足要求时，对目标图像的清晰度进行调整，确保目标图像的清晰度，为准确对目标图像中不同目标物品进行定位提供了便利，也提高了对不同目标物品进行定位的效率。

实施例4：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：

获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；

将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；

基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；

获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；

基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；

基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；

将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；

同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；

基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。

该实施例中，历史分拣物指的是分拣机械手曾经分拣过的物品，且是分拣机械手成功分拣的物品。

该实施例中，训练物品图像指的是历史分拣物对应的图像，目的是为了根据历史分拣物对应的图像对卷积神经网络进行训练，从而提高了卷积神经网络的识别准确率。

该实施例中，预处理指的是将训练物品图像进行图像分析，确定训练物品图像中包含历史分拣物的特征信息，例如当前物品与其他物品在种类上能够明显区分的特征，可以是外表、形状等。

该实施例中，第一特征图像指的是训练物品图像中能够表明该历史分拣物明显特征的图像区域，是训练物品图像中的一部分。

该实施例中，比对特征信息指的是第一特征图像中包含的历史分拣物的明显区别特征。

该实施例中，实际物品结果指的是目标图像中包含的历史分拣物对应的实际物品种类或者是物品形状等。

该实施例中，识别误差值指的是训练后的卷积神经网络对训练物品图像的识别结果与实际物品结果之间纯在的差别，例如可以是识别物品种类的差别，形状外貌的差别等。

该实施例中，第二特征图像指的是采集到的目标图像中包含的不同目标物品的特征图像，是目标图像中的一部分。

该实施例中，物品特征信息指的是目标图像中包含的不同目标物品的特征，可以是形状外貌或其他方面等。

该实施例中，分布特征指的是相同特征信息在目标图像中的分布情况，即通过分布特征可判断目标图像中属于同一物品种类的数量以及位置等。

上述技术方案的有益效果是：通过对卷积神经网络进行训练以及深度学习，提高了卷积神经网络在对目标图像中包含的不同目标物品种类识别的准确率，同时利用训练好的卷积神经网络对采集到的目标图像进行分析，确保对目标图像中包含的不同目标物品种类进行准确的分析，同时确保了对同一种类物品数量进行准确的判断，提高了对目标图像中包含的不同目标物品定位的准确性，也确保了分拣机械手根据不同种类物品调整抓取方案的准确性，便于提高了对多物品的分拣效率。

实施例5：

在上述实施例4的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：

获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；

基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；

基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；

基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。

该实施例中，网格划分指的是将目标图像进行8*8或9*9的区域块划分，目的是为了确认不同目标物品在目标图像中的位置信息，从而准确判定不同目标物品在任务场景中的实际位置。

该实施例中，目标网格图像指的是不同目标物品所在的具体网格。

该实施例中，预设参考物是在任务场景中提前设定好的，例如可以是柱子等。

该实施例中，预设任务场景地图是任务场景对应的地图，便于根据地图准确判定参考物在任务场景中的位置，从而实现对不同目标物品实际位置的确定。

上述技术方案的有益效果是：通过将目标图像进行网格划分，同时将划分后的网格中存在预设参考物与预设地图进行匹配，再根据预设参考物的位置信息准确确定不同目标物品在任务场景中的具体位置信息，便于为分拣机械手准确提供待分拣物品的位置，从而提高了对物品分拣的效率。

实施例6：

在上述实施例4的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：

获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；

若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；

否则，确定所述目标图像中包含的物品是否为新增物品种类；

若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；

否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。

该实施例中，新增物品种类指的是任务场景中出现分拣机械手目前不能识别的物品，即在训练的时候没有涉及到的物品种类。

上述技术方案的有益效果是：通过实时获取识别结果，确保在识别过程中出现新的物品种类时，及时对卷积神经网络进行再训练，提高卷积神经网络对不同目标物品的识别准确率，同时也提高了分拣机械手在对不同目标物品分拣时的准确性。

实施例7：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：

对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；

根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；

根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；

读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；

基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；

根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；

将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；

在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；

基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；

将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。

该实施例中，像素点特征指的是可以是目标物品在目标图像中的像素点分布等。

该实施例中，边界特征点指的是目标物品在目标图像中的边界像素点。

该实施例中，边界轮廓指的是目标物品在目标图像中的边界形状，根据边界轮廓准确对目标图像中不同目标物品所处的图像区域进行分割。

该实施例中，位置特征指的是目标图像中不同目标物品在目标图像中所处的位置情况。

该实施例中，图像划分路线指的是对目标图像进行分割的方案，将目标图像中不同目标物品所处的区域图像分别进行分隔开。

该实施例中，分割方案指的是对目标图像的分割方法，例如可以是对同一物品种类的目标物品划分至同一图像块等。

该实施例中，目标子图像指的是将目标图像划分后得到的多个图像块。

该实施例中，小波分析指的是对目标图像的像素频率，图像信号的波动进行分析处理。

该实施例中，平滑滤波处理指的是将目标图像对应的图像信号的波形进行处理，剔除图像信号中参差不齐的峰值信号。

该实施例中，深度图像指的是在3D计算机图形和计算机视觉中，深度图是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息，用于模拟的3D形状或重建，即为生成三维图像做准备的一种图像。

该实施例中，预设图像生成原理可以是深度图像绘制原理。

该实施例中，预设的三维坐标系是提前设定好的。

上述技术方案的有益效果是：通过对目标图像中包含的不同目标物品所处的位置进行分析，从而确定对应的分割方案，同时对分割后的子图像块进行处理，实现对目标图像中包含的不同目标物品进行三维重建，从而实现对目标物品点云集合的确定，便于根据点云集合实现对目标图像中不同目标物品进行三维呈现，从而实现对不同目标物品的姿态信息进行准确确定，为分拣机械手规划抓取方案提供了便利，同时为物品分拣提供了保障，加强了对物品分拣的安全性。

实施例8：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图3所示，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：

步骤301：构建三维坐标系，同时获取不同目标物品的点云集合；

步骤302：基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；

步骤303：基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；

步骤304：基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。

该实施例中，目标坐标指的是不同目标物品对应的点云集合中每一个点的坐标值。

该实施例中，基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构指的是将不同目标物品对应的点再三维坐标系中进行重新定位，目的是为了确认不同目标物品的姿态信息，例如偏转的角度，物品的高度等。

上述技术方案的有益效果是：通过将不同目标物品的点云集合在三维坐标系中进行重构，同时确定不同目标物品的顶点，实现对不同目标物品姿态进行准确的确认，便于分拣机械手及时根据物品的姿态调整抓取方式，提高了对物品分拣时的安全性。

实施例9：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：

获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；

同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；

基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。

该实施例中，预设的物品种类分拣顺序是提前设定好的，例如软物第一、硬物第二等。

该实施例中，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：

获取任务场景中包含的待分拣的目标物品的总数量，并根据所述待分拣的目标物品的总数量计算所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值，具体步骤包括：

根据如下公式计算所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值：

其中，T表示所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值；μ表示误差因子，且取值范围为(0.05，0.15)；G表示所述任务场景中包含的待分拣的目标物品的总数量；V表示所述机械手搬运所述待分拣的目标物品的均匀速度；i表示所述分拣机械手当前抓取的待分拣的目标物品的个数，且取值范围为[1，G]；t_i表示所述分拣机械手对第i个待分拣的目标物品的抓取时间长度值；S表示所述分拣机械手的开机时间长度值；

将计算得到的总时间长度值与预设时间长度值进行比较；

若所述总时间长度值小于或等于所述预设时间长度值，判定所述分拣机械手对所述待分拣的目标物品的分拣效率合格；

否则，判定所述分拣机械手对所述待分拣的目标物品的分拣效率不合格，并对所述分拣机械手的分拣速度进行调整，直至所述总时间长度值小于或等于所述预设时间长度值。

上述机械手搬运所述待分拣的目标物品的均匀速度指的是分拣机械手在对待分拣的目标物品进行搬运时的速度值是不变的。

上述公式

中，若μ取值为0.1，G取值为3，V取值为10个/s，t₁取值为3s，t₂取值为4s，t₃取值为2s，S取值为10s，计算得到的T为17.37s。

该实施例中，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，还包括：

获取分拣机械手对任务场景中待分拣目标物品的分拣结果，并基于所述分拣结果计算所述分拣机械手对所述待分拣目标物品的分拣准确率，具体步骤包括：

根据如下公式计算所述分拣机械手对所述待分拣目标物品的分拣准确率：

其中，η为所述分拣机械手对所述待分拣目标物品的分拣准确率，且取值范围为(0，1)；n表示任务场景中待分拣目标物品的物品种类个数；m表示当前待分拣目标物品的种类个数，且取值范围为[1，n]；K_m表示所述分拣机械手将所述待分拣目标物品归为第m类中的总个数；l_m表示所述分拣机械手将所述待分拣目标物品准确归为第m类中的个数，且l_m取值小于或等于K_m；τ表示允许误差值，且取值范围为(-0.05，0.05)；

将计算得到的准确率与预设准确率进行比较；

若所述准确率小于所述预设准确率，判定所述分拣机械手对任务场景中的待分拣目标物品的分拣准确率不合格，并控制所述分拣机械手重新对所述待分拣目标物品进行分拣，直至准确率大于或等于所述预设准确率；

否则，判定所述分拣机械手对所述待分拣目标物品的分拣准确率合格。

上述公式

中，若n取值为3，K₁取值为10，K₂取值为20，K₃取值为15，l₁取值为8，l₂取值为15，l₃取值为12，τ取值为0.02，计算得到η为80.33％。

上述技术方案的有益效果是：通过将识别到的不同目标物品的种类与预设的物品种类分拣顺序进行匹配，确定任务场景中包含的不同目标物品对应的目标分拣顺序，实现对任务场景中不同目标物品进行有序的分拣，提高了分拣的有序性。

实施例10：

在上述实施例9的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：

获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；

若发生重叠，判断重叠物品是否为同一物品种类；

当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；

当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；

否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。

该实施例中，待抓取图像指的是任务场景中不同目标物品对应的图像信息，目的是为了根据该图像判断任务场景中的目标物品之间是否存在重叠现象。

上述技术方案的有益效果是：通过判断任务场景中的目标物品是否存在重叠，且当存在重叠时采取相应的措施进行有效分拣，提高了分拣机械手对不同目标物品的分拣效果以及分拣的有序性，便于提高分拣机械手的分拣效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，包括：

步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；

步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；

步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。

2.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：

获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；

获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；

确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。

3.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：

获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；

若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；

否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；

基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。

4.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：

获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；

将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；

基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；

获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；

基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；

基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；

将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；

同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；

基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。

5.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：

获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；

基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；

基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；

基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。

6.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：

获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；

若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；

否则，确定所述目标图像中包含的物品是否为新增物品种类；

若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；

否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。

7.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：

对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；

根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；

根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；

读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；

基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；

根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；

将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；

在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；

基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；

将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。

8.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：

构建三维坐标系，同时获取不同目标物品的点云集合；

基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；

基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；

基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。

9.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：

获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；

同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；

基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。

10.根据权利要求9所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：

获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；

若发生重叠，判断重叠物品是否为同一物品种类；

当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；

当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；

否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。

Images