CN113920142B - 一种基于深度学习的分拣机械手多物体分拣方法 - Google Patents

一种基于深度学习的分拣机械手多物体分拣方法 Download PDF

Info

Publication number
CN113920142B
CN113920142B CN202111332133.5A CN202111332133A CN113920142B CN 113920142 B CN113920142 B CN 113920142B CN 202111332133 A CN202111332133 A CN 202111332133A CN 113920142 B CN113920142 B CN 113920142B
Authority
CN
China
Prior art keywords
target
image
sorting
objects
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111332133.5A
Other languages
English (en)
Other versions
CN113920142A (zh
Inventor
王三祥
王欣
王�锋
朱锦华
张朝年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tunghsu Technology Group Co Ltd
Original Assignee
Jiangsu Yubo Automation Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yubo Automation Equipment Co ltd filed Critical Jiangsu Yubo Automation Equipment Co ltd
Priority to CN202111332133.5A priority Critical patent/CN113920142B/zh
Publication of CN113920142A publication Critical patent/CN113920142A/zh
Application granted granted Critical
Publication of CN113920142B publication Critical patent/CN113920142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，其包括：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对目标图像中的不同目标物品进行定位；基于定位结果对目标图像进行图像分割，并利用目标检测网络根据分割结果确定不同目标物品的点云集合；基于点云集合确定不同目标物品的位姿信息，并基于位姿信息控制分拣机械手对相应的目标物品进行分拣。通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

Description

一种基于深度学习的分拣机械手多物体分拣方法
技术领域
本发明涉及机器人分拣技术领域，特别涉及一种基于深度学习的分拣机械手多物体分拣方法。
背景技术
目前，随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、物流仓储和深海勘探等；
但是现有的分拣系统一般通过目标检测技术方式对环境中的目标物体进行识别与定位，这在面对存在堆叠、遮挡情况的多种物体分拣的情景时，不能完成预定的分拣任务，甚至由于对物体的摆放关系理解不足，导致抓取过程中损坏了目标物体；
因此，本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。
发明内容
本发明提供一种基于深度学习的分拣机械手多物体分拣方法，用以通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。
本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，包括：
步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；
步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；
步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：
获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；
获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；
确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：
获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；
若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；
否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；
基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：
获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；
将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；
基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；
获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；
基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；
基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；
将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；
同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；
基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：
获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；
基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；
基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；
基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：
获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；
若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；
否则，确定所述目标图像中包含的物品是否为新增物品种类；
若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；
否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：
对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；
根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；
根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；
读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；
基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；
根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；
将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；
在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；
基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；
将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：
构建三维坐标系，同时获取不同目标物品的点云集合；
基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；
基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；
基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：
获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；
同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；
基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。
优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：
获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；
若发生重叠，判断重叠物品是否为同一物品种类；
当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；
当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；
否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法的流程图；
图2为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法中步骤1的流程图；
图3为本发明实施例中一种基于深度学习的分拣机械手多物体分拣方法中步骤3的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图1所示，包括：
步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；
步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；
步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。
该实施例中，预设图像采集装置是提前设定好的，例如可以是摄像头，照相机等。
该实施例中，任务场景可以是多种情况，例如可以是快递分拣，物流分拣，垃圾分拣等。
该实施例中，目标图像指的是对任务场景中包含的图像进行拍照后得到图像，该图像中包含待分拣的各种物品。
该实施例中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位指的是对目标图像中包含的目标物品的物品种类进行确定。
该实施例中，目标检测网络是提前训练好的，用于根据不同目标物品在图像中的位置将不同的目标物品进行图像分割。
该实施例中，点云集合指的是将物品进行分析，将物品转换为由多个点组合的虚拟结构。
该实施例中，位姿信息指的是不同目标物品在任务场景中的摆放位置，外表形状等。
上述技术方案的有益效果是：通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。
实施例2：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图2所示，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：
步骤101：获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；
步骤102：获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；
步骤103：确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。
该实施例中，预设目标图像采集点是提前设定好的，用于对各个预设目标图像采集点采集的图像进行分析，从而从预设目标图像采集点中确定最终的图像采集点，例如预设目标图像采集点可以是在分拣机械手前端安置摄像头，也可以是传输轨道上安置摄像头等。
该实施例中，预设物品指的是已知物品种类的检测物品，目的是为了对预设目标图像采集点采集到的图像进行分析，判断预设目标图像采集点采集到的图像是否能够为准确分析出物品的种类提供便利。
该实施例中，预图像采集指的是对预设物品进行采集，即检测过程中训练采集图像的过程。
该实施例中，筛选要求可以是对图像清晰度、拍摄角度等的要求。
该实施例中，标准图像指的是能够清楚分析物品种类，即满足筛选要求的图像。
该实施例中，标准预设目标图像采集点指的是对预设目标图像采集点进行筛选后得到的，用于采集任务场景中不同目标物品图像的图像采集点，是预设目标图像采集点中的一个或几个。
上述技术方案的有益效果是：通过对预设目标图像采集点进行训练筛选，确保最终得到的图像采集点的拍摄角度，拍摄图像的清晰度符合要求，为准确对目标图像中不同目标物品进行定位提供了便利，同时为提高分拣机械手的分拣效率提供了保障。
实施例3：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：
获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；
若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；
否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；
基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。
该实施例中，预设清晰度是提前设定好的，用于衡量采集到的目标图像的清晰度是否满足清晰度要求。
该实施例中，目标图像参数指的是目标图像的分辨率、灰度值、颜色值等。
上述技术方案的有益效果是：通过对采集到的目标图像的清晰度进行判断，且在目标图像的清晰度不满足要求时，对目标图像的清晰度进行调整，确保目标图像的清晰度，为准确对目标图像中不同目标物品进行定位提供了便利，也提高了对不同目标物品进行定位的效率。
实施例4：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：
获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；
将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；
基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；
获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；
基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；
基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；
将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；
同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；
基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。
该实施例中，历史分拣物指的是分拣机械手曾经分拣过的物品，且是分拣机械手成功分拣的物品。
该实施例中，训练物品图像指的是历史分拣物对应的图像，目的是为了根据历史分拣物对应的图像对卷积神经网络进行训练，从而提高了卷积神经网络的识别准确率。
该实施例中，预处理指的是将训练物品图像进行图像分析，确定训练物品图像中包含历史分拣物的特征信息，例如当前物品与其他物品在种类上能够明显区分的特征，可以是外表、形状等。
该实施例中，第一特征图像指的是训练物品图像中能够表明该历史分拣物明显特征的图像区域，是训练物品图像中的一部分。
该实施例中，比对特征信息指的是第一特征图像中包含的历史分拣物的明显区别特征。
该实施例中，实际物品结果指的是目标图像中包含的历史分拣物对应的实际物品种类或者是物品形状等。
该实施例中，识别误差值指的是训练后的卷积神经网络对训练物品图像的识别结果与实际物品结果之间纯在的差别，例如可以是识别物品种类的差别，形状外貌的差别等。
该实施例中，第二特征图像指的是采集到的目标图像中包含的不同目标物品的特征图像，是目标图像中的一部分。
该实施例中，物品特征信息指的是目标图像中包含的不同目标物品的特征，可以是形状外貌或其他方面等。
该实施例中，分布特征指的是相同特征信息在目标图像中的分布情况，即通过分布特征可判断目标图像中属于同一物品种类的数量以及位置等。
上述技术方案的有益效果是：通过对卷积神经网络进行训练以及深度学习，提高了卷积神经网络在对目标图像中包含的不同目标物品种类识别的准确率，同时利用训练好的卷积神经网络对采集到的目标图像进行分析，确保对目标图像中包含的不同目标物品种类进行准确的分析，同时确保了对同一种类物品数量进行准确的判断，提高了对目标图像中包含的不同目标物品定位的准确性，也确保了分拣机械手根据不同种类物品调整抓取方案的准确性，便于提高了对多物品的分拣效率。
实施例5：
在上述实施例4的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：
获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；
基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；
基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；
基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。
该实施例中，网格划分指的是将目标图像进行8*8或9*9的区域块划分，目的是为了确认不同目标物品在目标图像中的位置信息，从而准确判定不同目标物品在任务场景中的实际位置。
该实施例中，目标网格图像指的是不同目标物品所在的具体网格。
该实施例中，预设参考物是在任务场景中提前设定好的，例如可以是柱子等。
该实施例中，预设任务场景地图是任务场景对应的地图，便于根据地图准确判定参考物在任务场景中的位置，从而实现对不同目标物品实际位置的确定。
上述技术方案的有益效果是：通过将目标图像进行网格划分，同时将划分后的网格中存在预设参考物与预设地图进行匹配，再根据预设参考物的位置信息准确确定不同目标物品在任务场景中的具体位置信息，便于为分拣机械手准确提供待分拣物品的位置，从而提高了对物品分拣的效率。
实施例6：
在上述实施例4的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：
获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；
若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；
否则，确定所述目标图像中包含的物品是否为新增物品种类；
若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；
否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。
该实施例中，新增物品种类指的是任务场景中出现分拣机械手目前不能识别的物品，即在训练的时候没有涉及到的物品种类。
上述技术方案的有益效果是：通过实时获取识别结果，确保在识别过程中出现新的物品种类时，及时对卷积神经网络进行再训练，提高卷积神经网络对不同目标物品的识别准确率，同时也提高了分拣机械手在对不同目标物品分拣时的准确性。
实施例7：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：
对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；
根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；
根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；
读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；
基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；
根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；
将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；
在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；
基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；
将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。
该实施例中，像素点特征指的是可以是目标物品在目标图像中的像素点分布等。
该实施例中，边界特征点指的是目标物品在目标图像中的边界像素点。
该实施例中，边界轮廓指的是目标物品在目标图像中的边界形状，根据边界轮廓准确对目标图像中不同目标物品所处的图像区域进行分割。
该实施例中，位置特征指的是目标图像中不同目标物品在目标图像中所处的位置情况。
该实施例中，图像划分路线指的是对目标图像进行分割的方案，将目标图像中不同目标物品所处的区域图像分别进行分隔开。
该实施例中，分割方案指的是对目标图像的分割方法，例如可以是对同一物品种类的目标物品划分至同一图像块等。
该实施例中，目标子图像指的是将目标图像划分后得到的多个图像块。
该实施例中，小波分析指的是对目标图像的像素频率，图像信号的波动进行分析处理。
该实施例中，平滑滤波处理指的是将目标图像对应的图像信号的波形进行处理，剔除图像信号中参差不齐的峰值信号。
该实施例中，深度图像指的是在3D计算机图形和计算机视觉中，深度图是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息，用于模拟的3D形状或重建，即为生成三维图像做准备的一种图像。
该实施例中，预设图像生成原理可以是深度图像绘制原理。
该实施例中，预设的三维坐标系是提前设定好的。
上述技术方案的有益效果是：通过对目标图像中包含的不同目标物品所处的位置进行分析，从而确定对应的分割方案，同时对分割后的子图像块进行处理，实现对目标图像中包含的不同目标物品进行三维重建，从而实现对目标物品点云集合的确定，便于根据点云集合实现对目标图像中不同目标物品进行三维呈现，从而实现对不同目标物品的姿态信息进行准确确定，为分拣机械手规划抓取方案提供了便利，同时为物品分拣提供了保障，加强了对物品分拣的安全性。
实施例8：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，如图3所示，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：
步骤301：构建三维坐标系，同时获取不同目标物品的点云集合；
步骤302：基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；
步骤303：基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；
步骤304：基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。
该实施例中，目标坐标指的是不同目标物品对应的点云集合中每一个点的坐标值。
该实施例中，基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构指的是将不同目标物品对应的点再三维坐标系中进行重新定位，目的是为了确认不同目标物品的姿态信息，例如偏转的角度，物品的高度等。
上述技术方案的有益效果是：通过将不同目标物品的点云集合在三维坐标系中进行重构，同时确定不同目标物品的顶点，实现对不同目标物品姿态进行准确的确认，便于分拣机械手及时根据物品的姿态调整抓取方式，提高了对物品分拣时的安全性。
实施例9：
在上述实施例1的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：
获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；
同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；
基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。
该实施例中，预设的物品种类分拣顺序是提前设定好的，例如软物第一、硬物第二等。
该实施例中，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：
获取任务场景中包含的待分拣的目标物品的总数量，并根据所述待分拣的目标物品的总数量计算所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值，具体步骤包括：
根据如下公式计算所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值：
其中，T表示所述分拣机械手完成对所述待分拣的目标物品的分拣所用的总时间长度值；μ表示误差因子，且取值范围为(0.05，0.15)；G表示所述任务场景中包含的待分拣的目标物品的总数量；V表示所述机械手搬运所述待分拣的目标物品的均匀速度；i表示所述分拣机械手当前抓取的待分拣的目标物品的个数，且取值范围为[1，G]；ti表示所述分拣机械手对第i个待分拣的目标物品的抓取时间长度值；S表示所述分拣机械手的开机时间长度值；
将计算得到的总时间长度值与预设时间长度值进行比较；
若所述总时间长度值小于或等于所述预设时间长度值，判定所述分拣机械手对所述待分拣的目标物品的分拣效率合格；
否则，判定所述分拣机械手对所述待分拣的目标物品的分拣效率不合格，并对所述分拣机械手的分拣速度进行调整，直至所述总时间长度值小于或等于所述预设时间长度值。
上述机械手搬运所述待分拣的目标物品的均匀速度指的是分拣机械手在对待分拣的目标物品进行搬运时的速度值是不变的。
上述公式中，若μ取值为0.1，G取值为3，V取值为10个/s，t1取值为3s，t2取值为4s，t3取值为2s，S取值为10s，计算得到的T为17.37s。
该实施例中，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，还包括：
获取分拣机械手对任务场景中待分拣目标物品的分拣结果，并基于所述分拣结果计算所述分拣机械手对所述待分拣目标物品的分拣准确率，具体步骤包括：
根据如下公式计算所述分拣机械手对所述待分拣目标物品的分拣准确率：
其中，η为所述分拣机械手对所述待分拣目标物品的分拣准确率，且取值范围为(0，1)；n表示任务场景中待分拣目标物品的物品种类个数；m表示当前待分拣目标物品的种类个数，且取值范围为[1，n]；Km表示所述分拣机械手将所述待分拣目标物品归为第m类中的总个数；lm表示所述分拣机械手将所述待分拣目标物品准确归为第m类中的个数，且lm取值小于或等于Km；τ表示允许误差值，且取值范围为(-0.05，0.05)；
将计算得到的准确率与预设准确率进行比较；
若所述准确率小于所述预设准确率，判定所述分拣机械手对任务场景中的待分拣目标物品的分拣准确率不合格，并控制所述分拣机械手重新对所述待分拣目标物品进行分拣，直至准确率大于或等于所述预设准确率；
否则，判定所述分拣机械手对所述待分拣目标物品的分拣准确率合格。
上述公式中，若n取值为3，K1取值为10，K2取值为20，K3取值为15，l1取值为8，l2取值为15，l3取值为12，τ取值为0.02，计算得到η为80.33％。
上述技术方案的有益效果是：通过将识别到的不同目标物品的种类与预设的物品种类分拣顺序进行匹配，确定任务场景中包含的不同目标物品对应的目标分拣顺序，实现对任务场景中不同目标物品进行有序的分拣，提高了分拣的有序性。
实施例10：
在上述实施例9的基础上，本实施例提供了一种基于深度学习的分拣机械手多物体分拣方法，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：
获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；
若发生重叠，判断重叠物品是否为同一物品种类；
当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；
当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；
否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。
该实施例中，待抓取图像指的是任务场景中不同目标物品对应的图像信息，目的是为了根据该图像判断任务场景中的目标物品之间是否存在重叠现象。
上述技术方案的有益效果是：通过判断任务场景中的目标物品是否存在重叠，且当存在重叠时采取相应的措施进行有效分拣，提高了分拣机械手对不同目标物品的分拣效果以及分拣的有序性，便于提高分拣机械手的分拣效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，包括：
步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；
步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；
步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣；
其中，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：
获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；
将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；
基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；
获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；
基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；
基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；
将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；
同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；
基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位；
其中，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：
对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；
根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；
根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；
读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；
基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；
根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；
将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；
在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；
基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；
将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。
2.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：
获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；
获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；
确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。
3.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：
获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；
若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；
否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；
基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。
4.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：
获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；
基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；
基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；
基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。
5.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：
获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；
若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；
否则，确定所述目标图像中包含的物品是否为新增物品种类；
若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；
否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。
6.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：
构建三维坐标系，同时获取不同目标物品的点云集合；
基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；
基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；
基于所述顶点坐标以及原点坐标确定所述不同目标物品的3D位姿信息。
7.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：
获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；
同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；
基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。
8.根据权利要求7所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：
获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；
若发生重叠，判断重叠物品是否为同一物品种类；
当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；
当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；
否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。
CN202111332133.5A 2021-11-11 2021-11-11 一种基于深度学习的分拣机械手多物体分拣方法 Active CN113920142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111332133.5A CN113920142B (zh) 2021-11-11 2021-11-11 一种基于深度学习的分拣机械手多物体分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111332133.5A CN113920142B (zh) 2021-11-11 2021-11-11 一种基于深度学习的分拣机械手多物体分拣方法

Publications (2)

Publication Number Publication Date
CN113920142A CN113920142A (zh) 2022-01-11
CN113920142B true CN113920142B (zh) 2023-09-26

Family

ID=79246019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111332133.5A Active CN113920142B (zh) 2021-11-11 2021-11-11 一种基于深度学习的分拣机械手多物体分拣方法

Country Status (1)

Country Link
CN (1) CN113920142B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116309442B (zh) * 2023-03-13 2023-10-24 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法
CN118155176B (zh) * 2024-05-09 2024-09-06 江苏智搬机器人科技有限公司 一种基于机器视觉的搬运机器人自动控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN110796700A (zh) * 2019-10-21 2020-02-14 上海大学 基于卷积神经网络的多物体抓取区域定位方法
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN112819135A (zh) * 2020-12-21 2021-05-18 中国矿业大学 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法
WO2021129528A1 (zh) * 2019-12-28 2021-07-01 广东拓斯达科技股份有限公司 分拣方法、装置、设备和存储介质
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN110796700A (zh) * 2019-10-21 2020-02-14 上海大学 基于卷积神经网络的多物体抓取区域定位方法
WO2021129528A1 (zh) * 2019-12-28 2021-07-01 广东拓斯达科技股份有限公司 分拣方法、装置、设备和存储介质
CN112819135A (zh) * 2020-12-21 2021-05-18 中国矿业大学 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
一种基于深度学习的机械臂分拣方法;田思佳;顾强;胡蓉;李锐戈;何顶新;;智能科学与技术学报(第03期);全文 *
基于深度卷积网络的多目标动态三维抓取位姿检测方法;杨傲雷;曹裕;徐昱琳;费敏锐;陈灵;;仪器仪表学报(第12期);全文 *
基于深度学习的分拣机器人目标智能定位仿真;马晓明;张志利;高慧敏;;计算机仿真(第06期);全文 *
面向物流分拣任务的自主抓取机器人系统;马灼明;朱笑笑;孙明镜;曹其新;;机械设计与研究(第06期);全文 *

Also Published As

Publication number Publication date
CN113920142A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN113920142B (zh) 一种基于深度学习的分拣机械手多物体分拣方法
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
US9478035B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109102543A (zh) 基于图像分割的物体定位方法、设备和存储介质
EP0363828A2 (en) Method and apparatus for adaptive learning type general purpose image measurement and recognition
CN104156726A (zh) 一种基于几何形状特征的工件识别方法及装置
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN108573231B (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN113240798B (zh) 基于数字孪生和ar的物料完备性智能检测与配置方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN112396655A (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN114627359B (zh) 一种乱序堆叠工件抓取优先级评估方法
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
CN108876819A (zh) 一种基于泊松多伯努利滤波的三维多目标追踪算法
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
US10366278B2 (en) Curvature-based face detector
Yang et al. Method for building recognition from FLIR images
Budzan Fusion of visual and range images for object extraction
CN113409392A (zh) 一种反光工件的6DoF位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240826

Address after: Building 4, Courtyard 2, Sihezhuang Road, Fengtai District, Beijing 100071, Floors 1-17, Unit 101, 11th Floor 1112

Patentee after: TUNGHSU TECHNOLOGY GROUP Co.,Ltd.

Country or region after: China

Address before: No.42 Lijiang Road, Yancheng Economic and Technological Development Zone, Jiangsu Province 224000

Patentee before: JIANGSU YUBO AUTOMATION EQUIPMENT Co.,Ltd.

Country or region before: China

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A deep learning based multi object sorting method for sorting robotic arms

Granted publication date: 20230926

Pledgee: Hengshui Bank Co.,Ltd.

Pledgor: TUNGHSU TECHNOLOGY GROUP Co.,Ltd.

Registration number: Y2024980036272