CN115445963A - 无序线材分拣方法、装置及系统 - Google Patents

无序线材分拣方法、装置及系统 Download PDF

Info

Publication number
CN115445963A
CN115445963A CN202211208038.9A CN202211208038A CN115445963A CN 115445963 A CN115445963 A CN 115445963A CN 202211208038 A CN202211208038 A CN 202211208038A CN 115445963 A CN115445963 A CN 115445963A
Authority
CN
China
Prior art keywords
wire
identification code
bin
image
wire rod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211208038.9A
Other languages
English (en)
Inventor
白凯鑫
张磊
陈兆芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Siling Robot Technology Co ltd
Original Assignee
Beijing Siling Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Siling Robot Technology Co ltd filed Critical Beijing Siling Robot Technology Co ltd
Priority to CN202211208038.9A priority Critical patent/CN115445963A/zh
Publication of CN115445963A publication Critical patent/CN115445963A/zh
Priority to PCT/CN2023/117488 priority patent/WO2024067006A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种无序线材分拣方法、装置及系统，涉及自动分拣技术领域，该方法包括：采集料箱图像及料箱图像对应的点云数据，识别料箱图像中各线材的位置及线材上标识码的位置；基于各线材的位置及各标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，合格位置线材为线材图像及对应的标识码图像能够同时在料箱图像中可见的线材；基于合格位置线材对应的点云数据筛选出料箱中不会产生抓取碰撞的最优位置线材；控制抓取机器人优先抓取料箱中的最优位置线材。本发明可以使抓取机器人快速准确抓取分拣出料箱中的线材，提升了线材分拣的自动化程度及线材分拣效率。

Description

无序线材分拣方法、装置及系统
技术领域
本发明涉及自动分拣技术领域，尤其是涉及一种无序线材分拣方法、装置及系统。
背景技术
目前自动化流水线通常需要对线材进行分拣工作，现有的线材分拣方式通常采用人工分拣或机器自动分拣的方式，然而，人工分拣线材效率较低，且人力成本较高；由于装配产线料箱内的线材通常摆放杂乱，采用机器分拣时，线材自动分拣准确率降低；当线材上粘贴有标识码时，线材与标识码相互遮挡，难以辨识出线材与标识码的对应关系，进而难以识别出机器人能够抓取到的线材，导致线材分拣效率较低。
发明内容
有鉴于此，本发明的目的在于提供一种无序线材分拣方法、装置及系统，能够方便抓取机器人快速抓取分拣出料箱中的线材，提升了线材分拣的自动化程度及线材分拣效率。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种无序线材分拣方法，包括：采集料箱图像及所述料箱图像对应的点云数据，识别所述料箱图像中各线材的位置及所述线材上标识码的位置；基于各所述线材的位置及各所述标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，所述合格位置线材为线材图像及对应的标识码图像能够同时在所述料箱图像中可见的线材；基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材；控制抓取机器人优先抓取所述料箱中的所述最优位置线材。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述基于各所述线材的位置及各所述标识码的位置筛选出所述料箱中能够被抓取到的合格位置线材的步骤，包括：基于各所述线材的位置在所述料箱图像中建立线材2D包围盒，基于各所述标识码的位置在所述料箱图像中建立标识码2D包围盒；基于各所述线材2D包围盒的中心点坐标与各所述标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像；将筛选出的相匹配的线材图像及标识码图像对应的线材作为所述料箱中能够被抓取到的合格位置线材。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于各所述线材2D包围盒的中心点坐标与各所述标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像的步骤，包括：当所述线材2D包围盒的中心点坐标与所述标识码2D包围盒的中心点坐标之间的像素距离满足第一算式时，确定所述线材2D包围盒中的线材图像与所述标识码2D包围盒中的标识码图像相匹配；其中，所述第一算式为：
Figure BDA0003874895320000021
Figure BDA0003874895320000022
为第i个所述线材2D包围盒的中心点在所述料箱图像中的像素坐标，
Figure BDA0003874895320000023
为第j个所述标识码2D包围盒的中心点在所述料箱图像中的像素坐标，pixel_distance_threshold为预设阈值。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述预设阈值与所述线材的尺寸及所述标识码在所述线材上的粘贴位置相关。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材的步骤，包括：基于所述点云数据将所述合格位置线材在所述料箱中的摆放高度由大到小进行排序，得到摆放高度排序结果；获取所述抓取机器人在料箱内的无碰撞工作凸包区域；判断摆放高度最大的所述合格位置线材是否位于所述无碰撞工作凸包区域内，如果是，将摆放高度最大的所述合格位置线材作为所述最优位置线材。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述无序线材分拣方法还包括：基于所述点云数据建立料箱的3D包围盒，基于所述料箱的3D包围盒将所述点云数据中料箱之外的噪点过滤；获取所述抓取机器人的执行末端在所述点云数据下的点云坐标及所述抓取机器人的工作区间确定所述抓取机器人在料箱内的无碰撞工作凸包区域。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述无序线材分拣方法还包括：当摆放高度最大的所述合格位置线材未处于所述无碰撞工作凸包区域内时，依次判断所述摆放高度排序结果中的所述合格位置线材是否位于所述无碰撞工作凸包区域内，直至得到所述无碰撞工作凸包区域内摆放高度最大的最优位置线材。
进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述识别所述料箱图像中各线材的位置及所述线材上标识码的位置的步骤，包括：基于虚拟相机获取虚拟料箱图像及虚拟点云数据，基于所述虚拟料箱图像及所述虚拟点云数据建立虚拟数据集；采集料箱在不同光照程度及不同工作场景下的图像数据及点云数据建立真实数据集；对于所述真实数据集进行标识码标注和线材标注，基于所述虚拟数据集对神经网络模型进行训练，基于标注后的所述真实数据集对训练后的神经网络模型进行迁移学习，得到目标神经网络模型；基于所述目标神经网络模型对所述料箱图像进行识别，得到所述料箱图像中各线材的位置及所述线材上标识码的位置。
第二方面，本发明实施例还提供了一种无序线材分拣装置，包括：识别模块，用于采集料箱图像及所述料箱图像对应的点云数据，识别所述料箱图像中各线材的位置及所述线材上标识码的位置；第一筛选模块，用于基于各所述线材的位置及各所述标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，所述合格位置线材为线材图像及对应的标识码图像能够同时在所述料箱图像中可见的线材；第二筛选模块，用于基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材；分拣模块，用于控制抓取机器人优先抓取所述料箱中的所述最优位置线材。
第三方面，本发明实施例提供了一种无序线材分拣系统，包括：视觉传感器、抓取机器人及控制器，所述控制器包括处理器和存储装置；所述视觉传感器用于采集料箱图像及所述料箱图像对应的点云数据；所述抓取机器人用于抓取料箱中的最优位置线材；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
本发明实施例提供了一种无序线材分拣方法、装置及系统，该方法包括：采集料箱图像及料箱图像对应的点云数据，识别料箱图像中各线材的位置及线材上标识码的位置；基于各线材的位置及各标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，合格位置线材为线材图像及对应的标识码图像能够同时在料箱图像中可见的线材；基于合格位置线材对应的点云数据筛选出料箱中不会产生抓取碰撞的最优位置线材；控制抓取机器人优先抓取料箱中的最优位置线材。本发明通过识别料箱图像中的线材的位置及标识码的位置，可以辨识出线材与标识码的对应关系，从而筛选出线材及其粘贴的标识码同时暴露能够被机器人抓取到的合格位置线材，通过根据合格位置线材对应的点云数据从合格位置线材中筛选出不会产生抓取碰撞的最优位置线材，可以使抓取机器人快速准确抓取分拣出料箱中的线材，提升了线材分拣的自动化程度及线材分拣效率。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种无序线材分拣方法流程图；
图2示出了本发明实施例所提供的一种料箱图像示意图；
图3示出了本发明实施例所提供的一种最优抓取线材选取流程图；
图4示出了本发明实施例所提供的一种无序线材分拣装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本实施例提供了一种无序线材分拣方法，该方法可以应用于计算机等电子设备，参见图1所示的无序线材分拣方法流程图，该无序线材分拣方法主要包括以下步骤：
步骤S102，采集料箱图像及料箱图像对应的点云数据，识别料箱图像中各线材的位置及线材上标识码的位置。
基于图像传感器采集装有无序线材的料箱的图像，记为料箱图像，基于三维激光雷达扫描料箱的三维点云数据，上述图像传感器可以是摄像头或深度相机，上述料箱可以是RGB图像或深度图像。在一种实施方式中，上述图像传感器和三维激光雷达可以集成于一个3D视觉传感器上，以便可以同时采集到料箱图像及点云数据，根据图像传感器与三维激光雷达的标定数据可以获取到料箱图中各像素点对应的三维点云坐标。
在一种具体的实施方式中，上述料箱中的每个线材均粘贴有标识码，该标识码可以是条形码或二维码，可以预先采集多张料箱图像，将标注线材位置及标识码位置的料箱图像作为样本图像输入神经网络模型中进行训练，基于训练后的神经网络模型对自动化流水线上采集到的料箱图像进行识别，以识别得到料箱图像中的每个线材的位置(即线材图像对应的目标框的顶点坐标)及线材上所粘贴的标识码的位置(即标识码图像对应的目标框的顶点坐标)。
在另一种实施方式中，为了提升线材及标识码识别的准确性，本实施例提供了识别料箱图像中各线材的位置及线材上标识码的位置的具体实施方式：基于虚拟相机获取虚拟料箱图像及虚拟点云数据，基于虚拟料箱图像及虚拟点云数据建立虚拟数据集；采集料箱在不同光照程度及不同工作场景下的图像数据及点云数据建立真实数据集；对于真实数据集进行标识码标注和线材标注，基于虚拟数据集对神经网络模型进行训练，基于标注后的真实数据集对训练后的神经网络模型进行迁移学习，得到目标神经网络模型；基于目标神经网络模型对料箱图像进行识别，得到料箱图像中各线材的位置及线材上标识码的位置。
搭建虚拟数据集和真实数据集，将料箱场景先在虚拟引擎中进行模拟，通过虚拟相机可以得到大量的虚拟料箱图像以及虚拟点云数据，利用3D相机在不同光照条件、不同场景进行图像数据以及点云数据的采集，对真实数据集中的标识码以及线材进行标注，神经网络模型利用图像增广对虚拟数据集进行训练，神经网络模型训练完毕后，真实数据集用来进行迁移学习。通过基于虚拟数据集对神经网络模型进行训练，基于真实数据集使训练后的神经网络模型进行迁移学习，得到的神经网络模型可以处理多种光照条件下的标识码及线材的目标检测任务，提升了线材及标识码识别的准确性。
步骤S104，基于各线材的位置及各标识码的位置筛选出料箱中能够被抓取到的合格位置线材。
上述合格位置线材为线材图像及对应的标识码图像(线材及该线材上所粘贴的标识码)能够同时在料箱图像中可见的线材，即线材及线材上粘贴的标识码均能够在料箱中图像中完整可见，完全暴露能够被机器人抓取到的线材。
上述线材可以是任意粘贴有标识码的线材，在一种具体的实施方式中，上述线材可以是带有塑料包装袋的线材，参见如图2所示的料箱图像示意图，线材杂乱堆放于料箱内，如图2中左侧的线材放大图像所示，线材处于盘卷状态置于塑料包装袋内，标识码均统一粘贴在塑料包装袋上的固定位置，装有线材的塑料包装袋在料箱中随意堆叠。由于料箱中下方的线材会被上方的线材遮挡，有些线材仅标识码可见，神经网络模型识别到多个线材及标识码，为了筛选出完全暴露出的线材作为能够被抓取到的合格位置线材，可以基于标识码在线材上粘贴的位置确定线材与标识码的固定相对位置，基于线材与标识码的固定相对位置、各线材的位置及各标识码的位置将能够识别出的每个线材与其粘贴的标识码相匹配，从而得到线材及其所粘贴的标识码均完整可见的线材，记为合格位置线材。
步骤S106，基于合格位置线材对应的点云数据筛选出料箱中不会产生抓取碰撞的最优位置线材。
基于料箱图像对应的点云数据确定每个合格位置线材在料箱中的放置高度，放置高度越高且处于水平姿态(根据线材的点云数据与料箱的相对位置可以判断线材是否处于水平姿态放置)的线材越容易被抓取到，由于靠近料箱侧壁的线材抓取时容易产生碰撞，将合格位置线材中靠近料箱中心位置、放置高度最高且处于水平姿态的线材作为最优位置线材，从而可以便于抓取机器人有效完成线材抓取分拣。
步骤S108，控制抓取机器人优先抓取料箱中的最优位置线材。
将上述抓取机器人置于上述点云数据对应的点云坐标系中，根据上述料箱图像中最优位置线材的图像坐标转换得到最优位置线材的点云坐标，控制抓取机器人的执行末端到达最优位置线材的点云坐标下进行线材抓取。
在一种实施方式中，上述抓取机器人的执行末端可以为吸盘，在确定料箱中的最优位置线材后，控制抓取机器人的执行末端吸盘到达线材上标识码的位置进行线材抓取。重复执行上述步骤S102～步骤S108，以便可以不断识别出料箱中容易被抓取到的最优位置线材，使料箱下方的线材不断暴露出，直至抓取机器人将料箱中的线材全部分拣完毕。
本实施例提供的上述无序线材分拣方法，通过识别料箱图像中的线材的位置及标识码的位置，可以辨识出线材与标识码的对应关系，从而筛选出线材及其粘贴的标识码同时暴露能够被机器人抓取到的合格位置线材，通过根据合格位置线材对应的点云数据从合格位置线材中筛选出不会产生抓取碰撞的最优位置线材，可以方便抓取机器人快速抓取分拣出料箱中的线材，提升了线材分拣的自动化程度及线材分拣效率。
在一个实施例中，为了准确筛选出合格位置线材，本实施例提供了基于各线材的位置及各标识码的位置筛选出料箱中能够被抓取到的合格位置线材的实施方式，具体可参照如下步骤(1)～步骤(3)执行：
步骤(1)：基于各线材的位置在料箱图像中建立线材2D包围盒，基于各标识码的位置在料箱图像中建立标识码2D包围盒。
基于包围盒算法对识别出的料箱图像中的每个线材建立二维的最小包围盒，将建立的线材的最小包围盒记为线材2D包围盒，基于包围盒算法对识别出的料箱图像中的每个标识码建立二维的最小包围盒，将建立的标识码的最小包围盒记为标识码2D包围盒。
步骤(2)：基于各线材2D包围盒的中心点坐标与各标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像。
将线材2D包围盒中的图像记为线材图像，将标识码2D包围盒中的图像记为标识码图像。根据线材2D包围盒的顶点坐标确定线材2D包围盒的中心点坐标，根据标识码2D包围盒的顶点坐标确定标识码2D包围盒的中心点坐标，根据各线材2D包围盒的中心点坐标与各标识码2D包围盒的中心点坐标计算中心点之间的像素距离，判断该像素距离是否满足线材与标识码的固定相对位置，如果满足，则确定满足条件的线材2D包围盒及标识码2D包围盒为相匹配的线材图像及标识码图像(即标识码图像中的标识码粘贴于线材图像中的线材上)。
在一种具体的实施方式中，当线材2D包围盒的中心点坐标与标识码2D包围盒的中心点坐标之间的像素距离满足第一算式时，确定线材2D包围盒中的线材图像与标识码2D包围盒中的标识码图像相匹配；其中，第一算式为：
Figure BDA0003874895320000101
Figure BDA0003874895320000102
为第i个线材2D包围盒的中心点在料箱图像中的像素坐标，
Figure BDA0003874895320000103
为第j个标识码2D包围盒的中心点在料箱图像中的像素坐标，pixel_distance_threshold为预设阈值。
当第i个线材2D包围盒与第j个标识码2D包围盒满足上述第一算式时，确定第i个线材2D包围盒与第j个标识码2D包围盒相匹配，即第j个标识码2D包围盒中的标识码粘贴于第i个线材2D包围盒中的线材上。
在一种具体的实施方式中，上述预设阈值pixel_distance_threshold与线材的尺寸及标识码在线材上的粘贴位置相关。当标识码粘贴在线材的中心位置时，则上述预设阈值取值较小，当线材2D包围盒的中心点坐标与标识码2D包围盒的中心点坐标趋于重合时，确定满足上述第一算式；当标识码的粘贴位置远离线材中心时，上述预设阈值取值较大。诸如，预设阈值pixel_distance_threshold的取值可以是40～60像素，优选值为50像素。
步骤(3)：将筛选出的相匹配的线材图像及标识码图像对应的线材作为料箱中能够被抓取到的合格位置线材。
由于筛选出的相匹配的线材图像及标识码图像为同一线材的图像，当同一线材的线材及标识码在料箱图像中均完整可见时，表明该线材完整暴露在料箱上方，抓取机器人可以抓取到该线材，将其记为合格位置线材。
在一个实施例中，为了准确筛选出最优位置线材，本实施例提供了基于合格位置线材对应的点云数据筛选出料箱中不会产生抓取碰撞的最优位置线材的实施方式，具体可参照如下步骤1)～步骤3)执行：
步骤1)：基于点云数据将合格位置线材在料箱中的摆放高度由大到小进行排序，得到摆放高度排序结果。
对于每个完全暴露出来能够抓取到的合格位置线材，根据每个合格位置线材的点云坐标按照在料箱中的摆放高度进行排序，摆放高度越高越靠近料箱入口的线材越容易被抓取到。
步骤2)：获取抓取机器人在料箱内的无碰撞工作凸包区域。
在一种实施方式中，接收用户输入的料箱内的无碰撞工作凸包区域坐标，得到抓取机器人在料箱内的无碰撞工作凸包区域。
在另一种实施方式中，基于点云数据建立料箱的3D包围盒，基于料箱的3D包围盒将点云数据中料箱之外的噪点过滤；获取抓取机器人的执行末端在点云数据下的点云坐标及抓取机器人的工作区间确定抓取机器人在料箱内的无碰撞工作凸包区域。获取料箱的点云坐标，建立料箱的最小包围盒得到料箱3D包围盒，根据抓取机器人的工作区间、抓取机器人的执行末端和料箱3D包围盒的位置，确定抓取机器人在料箱内的无碰撞工作可达的凸包区域，通过计算料箱内机器人无碰撞可达的凸包区域，可以减小机器人在较深的料箱中抓取线材的碰撞几率，提升了线材抓取成功率。
步骤3)：判断摆放高度最大的合格位置线材是否位于无碰撞工作凸包区域内，如果是，将摆放高度最大的合格位置线材作为最优位置线材。
首先判断摆放高度最大的合格位置线材是否位于无碰撞工作凸包区域内，如果判断摆放高度最大的合格位置线材位于无碰撞工作凸包区域内，将摆放高度最大的合格位置线材作为抓取机器人最容易抓取到的最优位置线材。
当摆放高度最大的合格位置线材未处于无碰撞工作凸包区域内时，依次判断摆放高度排序结果中的合格位置线材是否位于无碰撞工作凸包区域内，直至得到无碰撞工作凸包区域内摆放高度最大的最优位置线材。当摆放高度最大的合格位置线材未处于无碰撞工作凸包区域内时，再判断摆放高度排序结果中下一个合格位置线材是否处于无碰撞工作凸包区域内时，如果是，将下一个合格位置线材作为最容易抓取到且无碰撞的最优位置线材，如果否，继续判断下一个合格位置线材是否处于无碰撞工作凸包区域内，直至得到无碰撞工作凸包区域内摆放高度最大的最优位置线材。
本实施例提供的上述无序线材分拣方法，通过利用虚拟引擎生成的虚拟数据集对神经网络模型进行训练及利用真实数据集对神经网络模型进行迁移训练，能够适用于不同光照及不同场景下的检测，提升了神经网络模型检测线材及标识码的检测准确度，不受光照条件、线材种类、线材颜色的影响，泛化性高，通过筛选出料箱中的最优位置线材，提升了线材装配自动化程度。
在前述实施例的基础上，本实施例提供了一种应用前述无序线材分拣方法对料箱中的无序线材进行自动分拣的示例，具体可参照如下步骤执行：
基于3D视觉传感器采集料箱图像及对应的点云数据，根据料箱尺寸建立2D包围盒和3D包围盒，选取料箱中的最优抓取线材。
上述线材上粘贴的标识码为条形码，上述2D包围盒包括线材包围盒和条形码包围盒，上述3D包围盒为料箱3D包围盒，参见如图3所示的最优抓取线材选取流程图，对料箱图像进行线材和条形码进行目标检测，根据线材和条形码的包围盒中心点在料箱图像(即2D图像)上的像素距离过滤出料箱图像的图像坐标系中能够抓取到的抓取样本，记为合格位置线材。
根据料箱3D包围盒的点云坐标过滤料箱3D包围盒外部的点云数据噪点，根据抓取机器人工作区间、机器人执行末端和料箱3D包围盒，计算料箱内无碰撞工作凸包区域。
对于能够抓取到的抓取样本，在点云数据上根据摆放高度进行排序，优先选择料箱中摆放位置高的线材作为抓取样本，判断抓取样本是否在无碰撞凸包区域内，如果是，将其作为最优抓取的线材(即最优位置线材)，如果否，根据线材高度排序结果返回选取下一个抓取样本，直至得到无碰撞工作凸包区域内摆放高度最大的最优位置线材。控制抓取机器人到达最优位置线材进行线材抓取。
对应于上述实施例所提供的无序线材分拣方法，本发明实施例提供了一种无序线材分拣装置，参见图4所示的一种无序线材分拣装置结构示意图，该装置包括以下模块：
识别模块41，用于采集料箱图像及料箱图像对应的点云数据，识别料箱图像中各线材的位置及线材上标识码的位置。
第一筛选模块42，用于基于各线材的位置及各标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，合格位置线材为线材图像及对应的标识码图像能够同时在料箱图像中可见的线材。
第二筛选模块43，用于基于合格位置线材对应的点云数据筛选出料箱中不会产生抓取碰撞的最优位置线材。
分拣模块44，用于控制抓取机器人优先抓取料箱中的最优位置线材。
本实施例提供的上述无序线材分拣装置，通过识别料箱图像中的线材的位置及标识码的位置，可以辨识出线材与标识码的对应关系，从而筛选出线材及其粘贴的标识码同时暴露能够被机器人抓取到的合格位置线材，通过根据合格位置线材对应的点云数据从合格位置线材中筛选出不会产生抓取碰撞的最优位置线材，可以方便抓取机器人快速抓取分拣出料箱中的线材，提升了线材分拣的自动化程度及线材分拣效率。
在一种实施方式中，上述第一筛选模块42，用于基于各线材的位置在料箱图像中建立线材2D包围盒，基于各标识码的位置在料箱图像中建立标识码2D包围盒；基于各线材2D包围盒的中心点坐标与各标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像；将筛选出的相匹配的线材图像及标识码图像对应的线材作为料箱中能够被抓取到的合格位置线材。
在一种实施方式中，上述第一筛选模块42，用于当线材2D包围盒的中心点坐标与标识码2D包围盒的中心点坐标之间的像素距离满足第一算式时，确定线材2D包围盒中的线材图像与标识码2D包围盒中的标识码图像相匹配；其中，第一算式为：
Figure BDA0003874895320000141
Figure BDA0003874895320000142
为第i个线材2D包围盒的中心点在料箱图像中的像素坐标，
Figure BDA0003874895320000143
为第j个标识码2D包围盒的中心点在料箱图像中的像素坐标，pixel_distance_threshold为预设阈值。
在一种实施方式中，上述预设阈值与线材的尺寸及标识码在线材上的粘贴位置相关。
在一种实施方式中，上述第二筛选模块43，用于基于点云数据将合格位置线材在料箱中的摆放高度由大到小进行排序，得到摆放高度排序结果；获取抓取机器人在料箱内的无碰撞工作凸包区域；判断摆放高度最大的合格位置线材是否位于无碰撞工作凸包区域内，如果是，将摆放高度最大的合格位置线材作为最优位置线材。
在一种实施方式中，上述第二筛选模块43，用于基于点云数据建立料箱的3D包围盒，基于料箱的3D包围盒将点云数据中料箱之外的噪点过滤；获取抓取机器人的执行末端在点云数据下的点云坐标及抓取机器人的工作区间确定抓取机器人在料箱内的无碰撞工作凸包区域。
在一种实施方式中，上述第二筛选模块43，用于当摆放高度最大的合格位置线材未处于无碰撞工作凸包区域内时，依次判断摆放高度排序结果中的合格位置线材是否位于无碰撞工作凸包区域内，直至得到无碰撞工作凸包区域内摆放高度最大的最优位置线材。
在一种实施方式中，上述识别模块41，用于基于虚拟相机获取虚拟料箱图像及虚拟点云数据，基于虚拟料箱图像及虚拟点云数据建立虚拟数据集；采集料箱在不同光照程度及不同工作场景下的图像数据及点云数据建立真实数据集；对于真实数据集进行标识码标注和线材标注，基于虚拟数据集对神经网络模型进行训练，基于标注后的真实数据集对训练后的神经网络模型进行迁移学习，得到目标神经网络模型；基于目标神经网络模型对料箱图像进行识别，得到料箱图像中各线材的位置及线材上标识码的位置。
本实施例提供的上述无序线材分拣装置，通过利用虚拟引擎生成的虚拟数据集对神经网络模型进行训练及利用真实数据集对神经网络模型进行迁移训练，能够适用于不同光照及不同场景下的检测，提升了神经网络模型检测线材及标识码的检测准确度，不受光照条件、线材种类、线材颜色的影响，泛化性高，通过筛选出料箱中的最优位置线材，提升了线材装配自动化程度。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种无序线材分拣系统，其特征在于，包括：视觉传感器、抓取机器人及控制器，控制器包括处理器和存储装置；视觉传感器用于采集料箱图像及料箱图像对应的点云数据；抓取机器人用于抓取料箱中的最优位置线材；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例提供的方法的步骤。
本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
本发明实施例所提供的无序线材分拣方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种无序线材分拣方法，其特征在于，包括：
采集料箱图像及所述料箱图像对应的点云数据，识别所述料箱图像中各线材的位置及所述线材上标识码的位置；
基于各所述线材的位置及各所述标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，所述合格位置线材为线材图像及对应的标识码图像能够同时在所述料箱图像中可见的线材；
基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材；
控制抓取机器人优先抓取所述料箱中的所述最优位置线材。
2.根据权利要求1所述的方法，其特征在于，所述基于各所述线材的位置及各所述标识码的位置筛选出所述料箱中能够被抓取到的合格位置线材的步骤，包括：
基于各所述线材的位置在所述料箱图像中建立线材2D包围盒，基于各所述标识码的位置在所述料箱图像中建立标识码2D包围盒；
基于各所述线材2D包围盒的中心点坐标与各所述标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像；
将筛选出的相匹配的线材图像及标识码图像对应的线材作为所述料箱中能够被抓取到的合格位置线材。
3.根据权利要求2所述的方法，其特征在于，所述基于各所述线材2D包围盒的中心点坐标与各所述标识码2D包围盒的中心点坐标之间的像素距离，筛选出相匹配的线材图像及标识码图像的步骤，包括：
当所述线材2D包围盒的中心点坐标与所述标识码2D包围盒的中心点坐标之间的像素距离满足第一算式时，确定所述线材2D包围盒中的线材图像与所述标识码2D包围盒中的标识码图像相匹配；其中，所述第一算式为：
Figure FDA0003874895310000021
Figure FDA0003874895310000022
为第i个所述线材2D包围盒的中心点在所述料箱图像中的像素坐标，
Figure FDA0003874895310000023
为第j个所述标识码2D包围盒的中心点在所述料箱图像中的像素坐标，pixel_distance_threshold为预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述预设阈值与所述线材的尺寸及所述标识码在所述线材上的粘贴位置相关。
5.根据权利要求1所述的方法，其特征在于，所述基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材的步骤，包括：
基于所述点云数据将所述合格位置线材在所述料箱中的摆放高度由大到小进行排序，得到摆放高度排序结果；
获取所述抓取机器人在料箱内的无碰撞工作凸包区域；
判断摆放高度最大的所述合格位置线材是否位于所述无碰撞工作凸包区域内，如果是，将摆放高度最大的所述合格位置线材作为所述最优位置线材。
6.根据权利要求5所述的方法，其特征在于，还包括：
基于所述点云数据建立料箱的3D包围盒，基于所述料箱的3D包围盒将所述点云数据中料箱之外的噪点过滤；
获取所述抓取机器人的执行末端在所述点云数据下的点云坐标及所述抓取机器人的工作区间确定所述抓取机器人在料箱内的无碰撞工作凸包区域。
7.根据权利要求5所述的方法，其特征在于，还包括：
当摆放高度最大的所述合格位置线材未处于所述无碰撞工作凸包区域内时，依次判断所述摆放高度排序结果中的所述合格位置线材是否位于所述无碰撞工作凸包区域内，直至得到所述无碰撞工作凸包区域内摆放高度最大的最优位置线材。
8.根据权利要求1所述的方法，其特征在于，所述识别所述料箱图像中各线材的位置及所述线材上标识码的位置的步骤，包括：
基于虚拟相机获取虚拟料箱图像及虚拟点云数据，基于所述虚拟料箱图像及所述虚拟点云数据建立虚拟数据集；
采集料箱在不同光照程度及不同工作场景下的图像数据及点云数据建立真实数据集；
对于所述真实数据集进行标识码标注和线材标注，基于所述虚拟数据集对神经网络模型进行训练，基于标注后的所述真实数据集对训练后的神经网络模型进行迁移学习，得到目标神经网络模型；
基于所述目标神经网络模型对所述料箱图像进行识别，得到所述料箱图像中各线材的位置及所述线材上标识码的位置。
9.一种无序线材分拣装置，其特征在于，包括：
识别模块，用于采集料箱图像及所述料箱图像对应的点云数据，识别所述料箱图像中各线材的位置及所述线材上标识码的位置；
第一筛选模块，用于基于各所述线材的位置及各所述标识码的位置筛选出料箱中能够被抓取到的合格位置线材；其中，所述合格位置线材为线材图像及对应的标识码图像能够同时在所述料箱图像中可见的线材；
第二筛选模块，用于基于所述合格位置线材对应的点云数据筛选出所述料箱中不会产生抓取碰撞的最优位置线材；
分拣模块，用于控制抓取机器人优先抓取所述料箱中的所述最优位置线材。
10.一种无序线材分拣系统，其特征在于，包括：视觉传感器、抓取机器人及控制器，所述控制器包括处理器和存储装置；
所述视觉传感器用于采集料箱图像及所述料箱图像对应的点云数据；
所述抓取机器人用于抓取料箱中的最优位置线材；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
CN202211208038.9A 2022-09-30 2022-09-30 无序线材分拣方法、装置及系统 Pending CN115445963A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211208038.9A CN115445963A (zh) 2022-09-30 2022-09-30 无序线材分拣方法、装置及系统
PCT/CN2023/117488 WO2024067006A1 (zh) 2022-09-30 2023-09-07 无序线材分拣方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211208038.9A CN115445963A (zh) 2022-09-30 2022-09-30 无序线材分拣方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115445963A true CN115445963A (zh) 2022-12-09

Family

ID=84308850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211208038.9A Pending CN115445963A (zh) 2022-09-30 2022-09-30 无序线材分拣方法、装置及系统

Country Status (2)

Country Link
CN (1) CN115445963A (zh)
WO (1) WO2024067006A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067006A1 (zh) * 2022-09-30 2024-04-04 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
CN111738261B (zh) * 2020-06-30 2023-08-04 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN113538486B (zh) * 2021-07-13 2023-02-10 长春工业大学 一种提高汽车钣金工件的识别与定位精度的方法
CN113894058B (zh) * 2021-09-06 2024-03-01 东莞职业技术学院 基于深度学习的品质检测与分拣方法、系统及存储介质
CN113955343B (zh) * 2021-10-26 2022-11-25 中南大学 基于三维视觉的无序垃圾智能分类设备及其分类方法
CN114882109A (zh) * 2022-04-27 2022-08-09 天津新松机器人自动化有限公司 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN114918918B (zh) * 2022-05-26 2023-07-25 东南大学 一种含领域自适应的机器人乱序目标推抓方法
CN114714365B (zh) * 2022-06-08 2022-08-23 湖南大学 一种基于云平台的无序工件抓取方法及其系统
CN115445963A (zh) * 2022-09-30 2022-12-09 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067006A1 (zh) * 2022-09-30 2024-04-04 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统

Also Published As

Publication number Publication date
WO2024067006A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN108009675B (zh) 货物装箱方法、装置及系统
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
CN112109086B (zh) 面向工业堆叠零件的抓取方法、终端设备及可读存储介质
CN112802105A (zh) 对象抓取方法及装置
CN112295933B (zh) 一种机器人快速分拣货物的方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN111761575A (zh) 工件及其抓取方法和生产线
CN113420746B (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
WO2024067005A1 (zh) 无序线材抓取方法、装置及电子设备
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
CN112883881B (zh) 一种条状农产品无序分拣方法及装置
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN116494253B (zh) 目标物体抓取位姿获取方法及机器人抓取系统
CN116529760A (zh) 抓取控制方法、装置、电子设备和存储介质
CN112712128A (zh) 基于神经网络的智能采摘方法、设备、存储介质及装置
CN114435828A (zh) 货品存储方法、装置、搬运设备及存储介质
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
CN113145473A (zh) 一种水果智能分拣系统及方法
CN115213122B (zh) 基于3d深度网络的无序分拣方法
JP6041710B2 (ja) 画像認識方法
CN212724028U (zh) 视觉机器人抓取系统
CN116197885A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114055472A (zh) 机器人抓取控制方法、装置、存储介质和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination