CN116228854A - 一种基于深度学习的包裹自动分拣方法 - Google Patents

一种基于深度学习的包裹自动分拣方法 Download PDF

Info

Publication number
CN116228854A
CN116228854A CN202211705250.6A CN202211705250A CN116228854A CN 116228854 A CN116228854 A CN 116228854A CN 202211705250 A CN202211705250 A CN 202211705250A CN 116228854 A CN116228854 A CN 116228854A
Authority
CN
China
Prior art keywords
parcel
coordinate system
sorted
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211705250.6A
Other languages
English (en)
Other versions
CN116228854B (zh
Inventor
杜萍
俞松
唐金亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Weizhi Technology Co ltd
Original Assignee
Zhongke Weizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Weizhi Technology Co ltd filed Critical Zhongke Weizhi Technology Co ltd
Priority to CN202211705250.6A priority Critical patent/CN116228854B/zh
Publication of CN116228854A publication Critical patent/CN116228854A/zh
Application granted granted Critical
Publication of CN116228854B publication Critical patent/CN116228854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/02—Apparatus characterised by the means used for distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习的包裹自动分拣方法，涉及分拣技术领域，该方法在完成坐标系标定和机械臂的示教后，利用基于深度学习网络预先训练得到的目标检测网络识别初始图像中的待分拣包裹的物体边界框，然后通过语义分割得到待分拣包裹的包裹边界区域；通过对包裹边界区域内的像素点对应的三维点云进行平面分割得到平面点云集合，可以定位得到待分拣包裹的包裹中心，从而确定待分拣包裹的位置，引导机械臂自动抓取分拣，该方法自动化程度高，可以应对各种待分拣包裹，且抓取准确度高。

Description

一种基于深度学习的包裹自动分拣方法
技术领域
本申请涉及分拣技术领域，尤其是一种基于深度学习的包裹自动分拣方法。
背景技术
随着电商的快速发展，日均百万件级别订单处理的超大型分拣中心模式日益普及，传统人工分拣模式招工难、人力成本高、劳动密集难以管理、工作时间受限等情况，难以满足高分拣效率的客观需要，因此自动分拣包裹已经成为现今电商物流包裹分拣的发展趋势。
目前的自动抓取检测技术需要提前设计目标物的抓取特征，通过目标抓取特征建立抓取模型，检测抓取位置，利用机器人实现对包裹的自动抓取，但是现有的这种方法仍然依赖人工设计目标物的抓取特征，既耗时又需要大量的人工参与，并且对于机器人未见过的目标物无法准确检测出抓取位置，无法执行抓取操作，局限性较大。
发明内容
本申请人针对上述问题及技术需求，提出了一种基于深度学习的包裹自动分拣方法，本申请的技术方案如下：
一种基于深度学习的包裹自动分拣方法，该方法包括：
完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成机械臂的示教；
通过相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到待分拣包裹的物体边界框，初始图像包含每个像素点的RGB信息和深度信息，目标检测网络基于深度学习网络训练得到；
对物体边界框内的初始图像进行语义分割，确定待分拣包裹的包裹边界区域；
确定初始图像中位于包裹边界区域内的像素点对应的三维点云得到初始点云集合；
对初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；
基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标；
将待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制机械臂利用末端的吸盘按照待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取待分拣包裹完成分拣。
其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
将平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合；
对变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合；
根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标。
其进一步的技术方案为，根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
在机械臂坐标系中求取目标点云集合的最小外接矩形；
将机械臂坐标系中的最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形；
将图像坐标系中的最小外接矩形与待分拣包裹的包裹边界区域的交集区域作为目标区域；
求取目标区域的最大内接矩形，并将最大内接矩形的中心点的坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。
其进一步的技术方案为，该方法还包括：
将图像坐标系中的最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成待分拣包裹的包裹外边界，基于包裹外边界得到待分拣包裹的各边尺寸、面积以及方向。
其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：根据平面点云集合中所有三维点云在图像坐标系中的坐标，计算得到包裹边界区域的中心点在图像坐标系中的坐标、作为待分拣包裹的包裹中心在图像坐标系下的坐标。
其进一步的技术方案为，确定初始图像中位于包裹边界区域内的像素点对应的三维点云的方法包括：
确定初始图像中位于包裹边界区域内的像素点在图像坐标系中的二维坐标，结合每个像素点在图像坐标系中的二维坐标以及像素点在初始图像中的深度信息，得到像素点对应的三维点云。
其进一步的技术方案为，在将初始图像输入目标检测网络后，识别得到多个待分拣包裹的物体边界框，根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行对物体边界框内的初始图像进行语义分割的步骤，依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。
其进一步的技术方案为，目标检测网络基于PicoDet训练得到，并用paddle_inference推理库进行部署。
其进一步的技术方案为，对物体边界框内的初始图像进行语义分割，包括：
将物体边界框内的初始图像输入语义分割网络进行语义分割，语义分割网络基于PP-LiteSeg训练得到，并用paddle_inference推理库进行部署。
其进一步的技术方案为，完成坐标系标定的方法包括：
通过相机获取包含棋盘格标定板的标定图像，标定图像包含每个像素点的RGB信息和深度信息；
按照手眼标定方法利用标定图像对机械臂坐标系和相机坐标系进行坐标系标定，确定机械臂坐标系和相机坐标系之间的变换关系；
根据相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。
本申请的有益技术效果是：
本申请公开了一种基于深度学习的包裹自动分拣方法，该方法利用基于深度学习的目标检测网络识别待分拣包裹的物体边界框，结合语义分割得到包裹边界区域，通过对包裹边界区域中的三维点云的变换计算处理可以准确得到带分拣包裹的包裹中心，从而可以准确实现自动化的包裹抓取分拣，不需要预先人工设计目标物的抓取特征，且对于新出现的各种待分拣包裹都能准确提取包裹中心，自动化程度高，且抓取准确度高。
当有多个待分拣包裹时，按待分拣包裹的高度从高到低的顺序依次处理并提取得到各个待分拣包裹的包裹中心，对各个待分拣包裹依次抓取分拣，更符合实际应用场景。
该方法不仅可以可以准确提取到待分拣包裹的包裹中心，确定带分拣包裹的位置，还可以得到待分拣包裹的尺寸和方向，从而引导机械臂更准确的抓取。
附图说明
图1是本申请一个实施例中的包裹自动分拣方法的方法流程图。
图2是一个实例中的利用目标检测网络识别得到的初始图像中的待分拣包裹的物体边界框的示意图。
图3是对图2中的一个待分拣包裹的物体边界框内的初始图像进行语义分割得到的包裹边界区域的示意图。
图4是本申请另一个实施例中的包裹自动分拣方法的方法流程图。
具体实施方式
下面结合附图对本申请的具体实施方式做进一步说明。
本申请公开了一种基于深度学习的包裹自动分拣方法，请参考图1所示的流程图，该方法包括如下步骤：
步骤1，完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成机械臂的示教。该机械臂坐标系一般指的是机械臂末端的工具坐标系。
一个实施例中，坐标系标定的方法包括：通过相机获取包含棋盘格标定板的标定图像，获取到的标定图像为RGB-D图像，也即标定图像包含每个像素点的RGB信息和深度信息。然后按照手眼标定方法利用标定图像对机械臂坐标系和相机坐标系进行坐标系标定，即可确定机械臂坐标系和相机坐标系之间的变换关系。根据相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。
用于获取RGB-D图像的相机可以采用Kinect实现，可以获取到高分辨率的RGB图像和深度图像，RGB图像包含了包裹表面颜色信息和纹理信息，深度图像包含了包裹的空间形状信息，深度图像中的每个像素值表示了传感器到包裹的距离，RGB图像和深度图像之间的像素点是一一对应的，组成了RGB-D图像，由RGB图像提供每个像素点的RGB信息，由深度图像提供每个像素点的深度信息。
在利用手眼标定方法进行标定时，可以使用三张标定图像采用九点标定法，将三张带有棋盘格标定板的标定图像作为输入，得到相机坐标系下每张标定图像中的棋盘格角点的三维坐标以及每一像素对应的毫米数，然后利用机械臂通过末端的吸盘依次触碰9个棋盘格角点，得到棋盘格角点在机械臂坐标系下的坐标，由得到的27组棋盘格角点确定机械臂坐标系和相机坐标系之间的变换关系，也即得到旋转平移矩阵RT。
机械臂的示教用于对机械臂的机械臂坐标系与物体坐标系之间的位姿进行校准，通过抓取和拍照位姿关系，计算并保存物体与机械臂坐标系之间的相对位姿，完成示教。
步骤2，通过相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到待分拣包裹的物体边界框。
同样的，这里获取到的初始图像为RGB-D图像，包含每个像素点的RGB信息和深度信息。
目标检测网络是基于深度学习网络预先训练得到的。在一个实施例中，预先制作COCO格式的数据集，然后利用数据集基于轻量级目标检测模型PicoDet训练得到目标检测网络，并用paddle_inference推理库进行部署。
在实际应用时，待分拣包裹一般设置在皮带上进行传送，而获取到的初始图像除了包括待分拣包裹之外，还会包括背景的皮带以及其他背景，为了减少数据处理量，通过相机拍摄待分拣包裹及其背景的图像后，裁剪保留皮带区域作为初始图像输入目标检测网络，即能输出任意大小的物体边界框的尺寸以及位置，实际还包括置信度等。
获取到的初始图像中可能仅包含一个待分拣包裹，也可能包含多个待分拣包裹，当初始图像中包含多个待分拣包裹时，在将初始图像输入目标检测网络后，可以识别得到多个待分拣包裹的物体边界框。在一个实例中，包含5个待分拣包裹的初始图像利用目标检测网络得到的各个待分拣包裹的物体边界框如图2中的白框所示。
步骤3，对物体边界框内的初始图像进行语义分割，确定待分拣包裹的包裹边界区域。结合图2所示的实例可以看出，物体边界框的边长总是与初始图像的平行的，但是待分拣包裹的方向是不固定的，因此该步骤输出的物体边界框的区域往往是大于待分拣包裹实际覆盖的区域的。因此需要进一步对物体边界框内的初始图像进行语义分割，得到待分拣包裹实际覆盖的区域，也即得到包裹边界区域。
该步骤将物体边界框内的初始图像输入语义分割网络进行语义分割，语义分割网络预先训练得到。在一个实施例中，基于语义分割模型PP-LiteSeg进行离线训练得到语义分割网络，并用paddle_inference推理库进行部署。
如步骤2介绍，初始图像中可能包含多个待分拣包裹，则为了方便机械臂抓取，按照机械臂从高到低依次抓取分拣各个带分拣包裹的原则，首先根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，然后根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行步骤3～步骤7。在该步骤中，可以根据每个物体边界框内的像素点的深度信息确定高度最高的像素点，然后以各个物体边界框内高度最高的像素点来表征各个待分拣包裹的高度。或者可以根据物体边界框内的像素点的深度信息确定待分拣包裹的中心点的高度，然后中心点的高度来表征各个待分拣包裹的高度。或者可以对每个物体边界框内的像素点的深度信息进行加权确定平均高度，然后以各个物体边界框内的像素点的平均高度来表征各个待分拣包裹的高度。
比如在图2所示的实例中，首先对高度最高的物体边界框内的初始图像输入语义分割网络进行语义分割，得到的结果如图3所示。对比图2和图3可以看出，经过该步骤可以基本提取出待分拣包裹的覆盖区域。
步骤4，确定初始图像中位于包裹边界区域内的像素点对应的三维点云得到初始点云集合。首先确定初始图像中位于该包裹边界区域内的像素点在图像坐标系中的二维坐标，然后结合每个像素点在图像坐标系中的二维坐标以及像素点在初始图像中的深度信息，即可得到像素点对应的三维点云，包裹边界区域内的所有像素点对应的三维点云构成了初始点云集合。
步骤5，对初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合。将初始点云集合中的三维点云添加到PCL点云库中，利用诸如RANSAC算法等即可拟合点云平面参数。
步骤6，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标。
一种做法是，在得到平面点云集合后，平面点云集合中的三维点云的坐标以及数量可以确定，根据平面点云集合中所有三维点云在图像坐标系中的坐标，就可以计算得到包裹边界区域的中心点在图像坐标系中的坐标，将得到的该坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。
该种做法简单，但是准确性不高，因此在另一种做法中，包括如下步骤，请参考图4：
(1)将平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合。
(2)对变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合。与上述对初始点云集合进行平面分割的方法类似。
然后可以根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
(3)在机械臂坐标系中求取目标点云集合的最小外接矩形。
(4)将机械臂坐标系中的最小外接矩形的四个顶点变换到图像坐标系中，并连接四个顶点形成图像坐标系中的最小外接矩形。
(5)将图像坐标系中的最小外接矩形与待分拣包裹的包裹边界区域的交集区域作为目标区域。
(6)求取该目标区域的最大内接矩形，并将该最大内接矩形的中心点的坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。
这样确定得到的待分拣包裹的包裹中心准确度更高，可以有效防止后续机械臂末端的吸盘吸取待分拣包裹的过程中由于不均匀导致出现待分拣包裹掉落现象。
另外，在得到最大内接矩阵后，将图像坐标系中的最大内接矩形的四个顶点变换到机械臂坐标系中，并连接变换后的四个顶点形成待分拣包裹的包裹外边界，基于包裹外边界就可以得到待分拣包裹的各边尺寸、面积，还可以计算得到欧拉角确定待分拣包裹的方向。
步骤7，将待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制机械臂利用末端的吸盘按照待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取待分拣包裹完成分拣。
当初始图像中有多个待分拣包裹时，针对各个待分拣包裹的物体边界框依次执行上述步骤3-步骤7，从而可以依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。
以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (10)

1.一种基于深度学习的包裹自动分拣方法，其特征在于，所述方法包括：
完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成所述机械臂的示教；
通过所述相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到所述待分拣包裹的物体边界框，所述初始图像包含每个像素点的RGB信息和深度信息，所述目标检测网络基于深度学习网络训练得到；
对物体边界框内的初始图像进行语义分割，确定所述待分拣包裹的包裹边界区域；
确定所述初始图像中位于所述包裹边界区域内的像素点对应的三维点云得到初始点云集合；
对所述初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；
基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标；
将所述待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制所述机械臂利用末端的吸盘按照所述待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取所述待分拣包裹完成分拣。
2.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
将所述平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合；
对所述变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合；
根据所述目标点云集合和所述包裹边界区域得到所述待分拣包裹的包裹中心在图像坐标系下的坐标。
3.根据权利要求2所述的包裹自动分拣方法，其特征在于，所述根据所述目标点云集合和所述包裹边界区域得到所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
在机械臂坐标系中求取所述目标点云集合的最小外接矩形；
将机械臂坐标系中的所述最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形；
将图像坐标系中的最小外接矩形与所述待分拣包裹的包裹边界区域的交集区域作为目标区域；
求取所述目标区域的最大内接矩形，并将所述最大内接矩形的中心点的坐标作为所述待分拣包裹的包裹中心在图像坐标系中的坐标。
4.根据权利要求3所述的包裹自动分拣方法，其特征在于，所述方法还包括：
将图像坐标系中的所述最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成所述待分拣包裹的包裹外边界，基于所述包裹外边界得到所述待分拣包裹的各边尺寸、面积以及方向。
5.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：根据所述平面点云集合中所有三维点云在图像坐标系中的坐标，计算得到所述包裹边界区域的中心点在图像坐标系中的坐标、作为所述待分拣包裹的包裹中心在图像坐标系下的坐标。
6.根据权利要求1所述的包裹自动分拣方法，其特征在于，确定所述初始图像中位于所述包裹边界区域内的像素点对应的三维点云的方法包括：
确定所述初始图像中位于所述包裹边界区域内的像素点在图像坐标系中的二维坐标，结合每个像素点在图像坐标系中的二维坐标以及所述像素点在所述初始图像中的深度信息，得到所述像素点对应的三维点云。
7.根据权利要求1所述的包裹自动分拣方法，其特征在于，在将所述初始图像输入所述目标检测网络后，识别得到多个待分拣包裹的物体边界框，根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行所述对物体边界框内的初始图像进行语义分割的步骤，依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用所述机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。
8.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述目标检测网络基于PicoDet训练得到，并用paddle_inference推理库进行部署。
9.根据权利要求1所述的包裹自动分拣方法，其特征在于，对物体边界框内的初始图像进行语义分割，包括：
将所述物体边界框内的初始图像输入语义分割网络进行语义分割，所述语义分割网络基于PP-LiteSeg训练得到，并用paddle_inference推理库进行部署。
10.根据权利要求1所述的包裹自动分拣方法，其特征在于，完成坐标系标定的方法包括：
通过所述相机获取包含棋盘格标定板的标定图像，所述标定图像包含每个像素点的RGB信息和深度信息；
按照手眼标定方法利用所述标定图像对机械臂坐标系和相机坐标系进行坐标系标定，确定机械臂坐标系和相机坐标系之间的变换关系；
根据所述相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。
CN202211705250.6A 2022-12-29 2022-12-29 一种基于深度学习的包裹自动分拣方法 Active CN116228854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211705250.6A CN116228854B (zh) 2022-12-29 2022-12-29 一种基于深度学习的包裹自动分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211705250.6A CN116228854B (zh) 2022-12-29 2022-12-29 一种基于深度学习的包裹自动分拣方法

Publications (2)

Publication Number Publication Date
CN116228854A true CN116228854A (zh) 2023-06-06
CN116228854B CN116228854B (zh) 2023-09-08

Family

ID=86588268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211705250.6A Active CN116228854B (zh) 2022-12-29 2022-12-29 一种基于深度学习的包裹自动分拣方法

Country Status (1)

Country Link
CN (1) CN116228854B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765065A (zh) * 2023-11-28 2024-03-26 中科微至科技股份有限公司 一种基于目标检测的单件分离包裹快速定位方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160280A (zh) * 2019-12-31 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN112163251A (zh) * 2020-08-24 2021-01-01 北京航空航天大学 建筑模型单体化方法、装置、存储介质及电子设备
US20210019891A1 (en) * 2019-07-15 2021-01-21 Mujin, Inc. System and method of object detection based on image data
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
KR102297908B1 (ko) * 2020-02-28 2021-09-06 (주)트리플렛 영상 분석에 기반한 상품 수량 관리 시스템 및 방법
US20210319575A1 (en) * 2018-12-24 2021-10-14 Autel Robotics Co., Ltd. Target positioning method and device, and unmanned aerial vehicle
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
WO2022040970A1 (zh) * 2020-08-26 2022-03-03 南京翱翔信息物理融合创新研究院有限公司 一种同步实现三维重建和ar虚实注册的方法、系统及装置
CN114299139A (zh) * 2021-12-23 2022-04-08 湖南视比特机器人有限公司 一种3d叠包分拣方法、系统及存储介质
WO2022156175A1 (zh) * 2021-01-20 2022-07-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
WO2022170895A1 (zh) * 2021-02-09 2022-08-18 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN115213896A (zh) * 2022-05-10 2022-10-21 浙江西图盟数字科技有限公司 基于机械臂的物体抓取方法、系统、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319575A1 (en) * 2018-12-24 2021-10-14 Autel Robotics Co., Ltd. Target positioning method and device, and unmanned aerial vehicle
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
US20210019891A1 (en) * 2019-07-15 2021-01-21 Mujin, Inc. System and method of object detection based on image data
CN111160280A (zh) * 2019-12-31 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
KR102297908B1 (ko) * 2020-02-28 2021-09-06 (주)트리플렛 영상 분석에 기반한 상품 수량 관리 시스템 및 방법
CN112163251A (zh) * 2020-08-24 2021-01-01 北京航空航天大学 建筑模型单体化方法、装置、存储介质及电子设备
WO2022040970A1 (zh) * 2020-08-26 2022-03-03 南京翱翔信息物理融合创新研究院有限公司 一种同步实现三维重建和ar虚实注册的方法、系统及装置
WO2022156175A1 (zh) * 2021-01-20 2022-07-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
WO2022170895A1 (zh) * 2021-02-09 2022-08-18 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN114299139A (zh) * 2021-12-23 2022-04-08 湖南视比特机器人有限公司 一种3d叠包分拣方法、系统及存储介质
CN115213896A (zh) * 2022-05-10 2022-10-21 浙江西图盟数字科技有限公司 基于机械臂的物体抓取方法、系统、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PETR STIBINGER ET AL.: "Mobile Manipulator for Autonomous Localization, Grasping and Precise Placement of Construction Material in a Semi-Structured Environment", 《IEEE ROBOTICS AND AUTOMATION LETTERS》, vol. 6, pages 2595 - 2602, XP011844212, DOI: 10.1109/LRA.2021.3061377 *
王磊 等: "3D视觉引导的多品规物料机器人拆垛系统设计", 《物流技术与应用》, vol. 27, pages 113 - 116 *
邵昀岑;: "基于深度学习的三维目标检测算法综述", 信息与电脑(理论版), no. 23 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765065A (zh) * 2023-11-28 2024-03-26 中科微至科技股份有限公司 一种基于目标检测的单件分离包裹快速定位方法
CN117765065B (zh) * 2023-11-28 2024-06-04 中科微至科技股份有限公司 一种基于目标检测的单件分离包裹快速定位方法

Also Published As

Publication number Publication date
CN116228854B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN107945192B (zh) 一种托盘纸箱垛型实时检测方法
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN111368852A (zh) 基于深度学习的物品识别预分拣系统、方法及机器人
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN105217324A (zh) 一种新型的拆垛方法和系统
CN113191174B (zh) 物品定位方法和装置、机器人及计算机可读存储介质
CN109911481B (zh) 面向冶金机器人接插的仓架目标视觉识别定位方法和系统
CN112802105A (zh) 对象抓取方法及装置
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
EP3866113A1 (en) Image segmentation methods and apparatus
CN109863365B (zh) 从容器中拾取对象的方法、电子设备和系统
CN117124302A (zh) 一种零件分拣方法、装置、电子设备及存储介质
US20220379475A1 (en) Transparent object bin picking
CN113894058A (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN112975957A (zh) 目标提取方法、系统、机器人及存储介质
CN117670989A (zh) 一种基于旋转目标检测的视觉引导拆垛方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
US11875528B2 (en) Object bin picking with rotation compensation
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN112837370A (zh) 基于3d包围盒的物体堆叠判断方法、装置及计算设备
CN114972495A (zh) 针对纯平面结构的物体的抓取方法、装置及计算设备
WO2023140266A1 (ja) ピッキング装置及び画像生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant