CN113744298A - 数据处理方法、装置及存储介质 - Google Patents

数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN113744298A
CN113744298A CN202110007857.6A CN202110007857A CN113744298A CN 113744298 A CN113744298 A CN 113744298A CN 202110007857 A CN202110007857 A CN 202110007857A CN 113744298 A CN113744298 A CN 113744298A
Authority
CN
China
Prior art keywords
processed
point cloud
segmentation result
processing
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110007857.6A
Other languages
English (en)
Other versions
CN113744298B (zh
Inventor
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110007857.6A priority Critical patent/CN113744298B/zh
Publication of CN113744298A publication Critical patent/CN113744298A/zh
Application granted granted Critical
Publication of CN113744298B publication Critical patent/CN113744298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种数据处理方法、装置及存储介质。其中，方法包括：针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。

Description

数据处理方法、装置及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置及存储介质。
背景技术
视觉机械臂在箱内拣选等物流自动化场景中的应用和发展前景都得到了广泛的关注和认可。利用视觉机械臂进行箱内拣选时，需要对商品进行检测定位，进而实现商品自动拣选。比如，周转箱通过传送带运达指定位置并停稳后，视觉机械臂通常利用视觉系统，获取对象(即周转箱及其内商品)的二维(2D)和三维(3D)视觉信息(也可以称为商品模板)，商品模板通常包含2D彩色图像、3D点云数据等；视觉系统会先根据商品模板对商品进行检测分割，再进行定位(即估计商品位置姿态)，最后视觉机械臂根据这些信息进行路径规划并执行抓取操作。
然而，相关技术中，商品模板的精确度较差，可能导致上述场景无法实现。
发明内容
为解决相关技术问题，本申请实施例提供一种数据处理方法、装置及存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种数据处理方法，包括：
针对目标库存量单位(SKU，Stock Keeping Unit)的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
上述方案中，所述对所述待处理3D点云数据进行3D前景分割处理，包括：
对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果；
基于所述聚类结果确定所述第一分割结果。
上述方案中，所述方法还包括：
对所述待处理3D点云数据进行直通滤波处理，得到滤波处理后的点云数据；
对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果。
上述方案中，所述基于所述聚类结果确定所述第一分割结果，包括：
将所述聚类结果中面积最大的部分分割为第一前景结果；
对所述第一前景结果进行平面拟合处理，得到平面拟合结果；
基于所述平面拟合结果确定所述第一分割结果。
上述方案中，所述基于所述平面拟合结果确定所述第一分割结果，包括：
去除所述平面拟合结果中的离群点，得到所述第一分割结果。
上述方案中，所述基于所述第一分割结果，确定所述目标SKU对应的3D尺寸，包括：
确定所述第一分割结果对应的最小外接矩形；将所述最小外接矩形的长度确定为目标长度；并将所述最小外接矩形的宽度确定为目标宽度；
确定所述第一分割结果对应的平均深度值；并利用确定的平均深度值，确定目标高度；
将所述目标长度、所述目标宽度和所述目标高度确定为所述目标SKU对应的3D尺寸。
上述方案中，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，包括：
利用所述第一分割结果，确定点云轮廓数据；
确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像；
确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像，得到所述第二分割结果。
上述方案中，所述对所述待处理3D点云数据进行3D前景分割处理，包括：
利用第一坐标系和第二坐标系之间的变换矩阵，对所述待处理3D点云数据进行第一坐标系转换处理，得到第一坐标系转换处理后的点云数据；所述第一坐标系为所述待处理3D点云数据对应的坐标系；所述第二坐标系为世界坐标系；
对所述第一坐标系转换处理后的点云数据进行3D前景分割处理。
上述方案中，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，包括：
利用所述第一坐标系和所述第二坐标系之间的变换矩阵，对所述第一分割结果进行第二坐标系转换处理，得到第二坐标系转换处理后的第一分割结果；
利用所述第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
本申请实施例还提供了一种数据处理装置，包括：
获取单元，用于针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
第一处理单元，用于对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
第二处理单元，用于基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
第三处理单元，用于建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
本申请实施例还提供了一种数据处理装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，执行上述任一方法的步骤。
本申请实施例还提供了一种存储介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
本申请实施例提供的数据处理方法、装置及存储介质，针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。本申请实施例的方案，利用3D前景分割处理得到的分割结果确定目标SKU对应的3D尺寸，并利用3D前景分割处理得到的分割结果进行2D前景分割处理，如此，无需人工测量目标SKU对应的3D尺寸或从现有信息(比如网页呈现的商品详情部分)中获取目标SKU对应的3D尺寸，能够直接确定目标SKU对应的3D尺寸，提升目标SKU对应的3D尺寸的精确度，同时，能够提升前景分割结果的精确度，进而能够提升利用所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系生成的商品模板的精确度。
附图说明
图1为本申请实施例数据处理方法的流程示意图；
图2为本申请应用实施例载物平台的侧视图；
图3为本申请应用实施例载物平台的俯视图；
图4为本申请应用实施例数据处理方法的流程示意图；
图5为本申请应用实施例数据预处理的流程示意图；
图6为本申请应用实施例棋盘格标定板示意图；
图7为本申请应用实施例放置棋盘格标定板的场景示意图；
图8为本申请应用实施例获取变换矩阵的流程示意图；
图9为本申请应用实施例角点检测结果示意图；
图10为本申请应用实施例进行前景分割处理及三维尺寸估计的流程示意图；
图11为本申请应用实施例最小外接矩形示意图；
图12为本申请应用实施例2D彩色图像示意图；
图13为本申请应用实施例点云纹理图像示意图；
图14为本申请应用实施例3D点云数据示意图；
图15为本申请应用实施例3D前景分割结果示意图；
图16为本申请应用实施例2D前景分割结果示意图；
图17为本申请实施例数据处理装置的结构示意图；
图18为本申请实施例数据处理装置的硬件结构示意图。
具体实施方式
以下结合附图及实施例对本申请的技术方案作进一步详细的阐述。
相关技术中，在箱内拣选等物流自动化场景中，一个周转箱内通常密集排放着多个SKU相同的商品，此时，机器视觉系统通常需要执行以下操作：
第一，建立商品的3D模板，并通过在场景点云(即场景对应的3D点云数据)上匹配商品3D模板来检测并定位目标商品；
第二，建立商品的2D模板，并在场景的2D图像上匹配商品2D模板来检测并定位目标商品。
其中，由于大量的商品采用方形包装盒(后续的描述中记作方形SKU商品)，比如3C类商品(即计算机类、通信类和消费类电子产品三者的统称)，为了提高检测精度和定位精度，针对方形SKU商品，机器视觉系统通常还需要获取商品的三维尺寸信息(包含长度、宽度和高度)。因此，为了提升机器视觉系统的分析能力，即提升机器视觉系统的检测精度和定位精度，针对实际的生产环境，如何自动高效稳定的完成方形SKU商品的数据采集、三维尺寸估计和模板采集，是一项必要且十分重要的任务。
然而，相关技术中，在商品模板采集的过程中，需要人工处理的步骤较多，且采集精确度较差；比如，以采集2D模板的过程为例，包括且不限于如下缺点：
第一，利用视觉系统(即相机)对商品进行数据采集后，需要对图片中的商品进行前景分割(即分割出方形SKU商品的包围框，去掉背景部分)，而直接在2D图像上进行前景分割，易受到背景(比如背景污损)、光线等因素的影响，导致分割结果的精确度较差。
第二，对于方形SKU商品的三维尺寸信息，存在无法从现有信息(比如商品详情)中获取的情况，此时，通常需要人工测量和上传，消耗人力资源。另外，即使能够从现有信息中获取方形SKU商品的三维尺寸信息，也需要和更多系统打通并同步信息，效率较差，且随着时间推移三维尺寸信息无法及时更新，即三维尺寸信息存在不准确的情况。
基于此，在本申请的各种实施例中，利用3D前景分割处理得到的分割结果确定目标SKU对应的3D尺寸，并利用3D前景分割处理得到的分割结果进行2D前景分割处理，如此，无需人工测量目标SKU对应的3D尺寸或从现有信息中获取目标SKU对应的3D尺寸，能够直接确定目标SKU对应的3D尺寸，提升目标SKU对应的3D尺寸的精确度，同时，能够提升前景分割的精确度，进而能够提升利用第一分割结果、目标SKU对应的3D尺寸及第二分割结果之间的对应关系生成的商品模板的精确度。
本申请实施例提供了一种数据处理方法，如图1所示，该方法包括：
步骤101：针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；
这里，所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
步骤102：对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
步骤103：基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
步骤104：建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
这里，需要说明的是，在本申请的各种实施例中，所述目标SKU为使用方形包装盒的商品。所述待处理3D点云数据是通过安装在第一位置的3D相机采集得到的，所述待处理2D图像是通过安装在第二位置的2D相机采集得到的；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同是指：所述第一位置和所述第二位置相同。
其中，对于步骤102，在一实施例中，所述对所述待处理3D点云数据进行3D前景分割处理，可以包括：
对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果；
基于所述聚类结果确定所述第一分割结果。
实际应用时，可以根据需求设置所述待处理3D点云数据和所述待处理2D图像对应的样品视角(即可以根据需求设置所述第一位置和所述第二位置)，比如，将3D相机和2D相机设置在所述目标SKU的样品的正上方，使得所述待处理3D点云数据和所述待处理2D图像对应的样品视角为俯视视角。并且，为了提升前景分割结果的精确度，可以在能够将所述目标SKU的样品包含在相机镜头内的前提下，将3D相机和2D相机设置在距离所述目标SKU的样品尽可能近的位置，这样，在所述聚类结果包含的待分割前景、小块点云及离散点中，能够保证待分割前景的面积最大，此时，可以直接将所述聚类结果中面积最大的部分确定为所述第一分割结果。当然，为了进一步提升前景分割结果的精确度，可以在对所述待处理3D点云数据进行欧式聚类处理之前，先对所述待处理3D点云数据进行滤波处理。
基于此，在一实施例中，所述方法还可以包括：
对所述待处理3D点云数据进行直通滤波处理，得到滤波处理后的点云数据；
相应地，所述对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果，包括：
对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果。
这里，可以根据需求预先设置感兴趣区域的位置坐标(可以表示为xyz坐标)范围，比如根据放置目标SKU的样品的载物平台在3D相机视野(即镜头)中的位置，限定感兴趣区域的位置坐标范围；利用所述感兴趣区域的位置坐标范围，对所述待处理3D点云数据进行直通滤波处理。
实际应用时，为了进一步提升前景分割结果的精确度，在对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果之后，可以先利用所述聚类结果确定一个中间分割结果，再对中间分割结果进行平面拟合处理，基于平面拟合处理的结果确定所述第一分割结果。
基于此，在一实施例中，所述基于所述聚类结果确定所述第一分割结果，可以包括：
将所述聚类结果中面积最大的部分分割为第一前景结果；
对所述第一前景结果进行平面拟合处理，得到平面拟合结果；
基于所述平面拟合结果确定所述第一分割结果。
实际应用时，可以直接将所述平面拟合结果确定为所述第一分割结果。当然，为了进一步提升前景分割结果的精确度，可以先去除所述平面拟合结果中的离群点，再将去除离群点后的平面拟合结果确定为所述第一分割结果。
基于此，在一实施例中，所述基于所述平面拟合结果确定所述第一分割结果，可以包括：
去除所述平面拟合结果中的离群点，得到所述第一分割结果。
这里，所述离群点可以理解为距离3D前景平面较远的离散点。实际应用时，可以预先设置距离阈值，并计算一定范围内的离散点到3D前景平面的平均距离，滤除使得计算的平均距离大于所述距离阈值的离散点。
对于步骤103，在一实施例中，所述基于所述第一分割结果，确定所述目标SKU对应的3D尺寸，可以包括：
确定所述第一分割结果对应的最小外接矩形；将所述最小外接矩形的长度确定为目标长度；并将所述最小外接矩形的宽度确定为目标宽度；
确定所述第一分割结果对应的平均深度值；并利用确定的平均深度值，确定目标高度；
将所述目标长度、所述目标宽度和所述目标高度确定为所述目标SKU对应的3D尺寸。
具体地，实际应用时，可以确定所述第一分割结果包含的所有点的高度坐标值(即Z值)的平均值，得到所述平均深度值。
对于步骤103，在一实施例中，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，可以包括：
利用所述第一分割结果，确定点云轮廓数据；
确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像；
确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像，得到所述第二分割结果。
具体地，由于所述待处理3D点云数据是通过3D相机采集得到的，所述待处理2D图像是通过2D相机采集得到的，即使3D相机和2D相机设置在同一位置，也不能使得所述待处理3D点云数据对应的坐标系与所述待处理2D图像对应的坐标系相同。也就是说，所述点云轮廓数据对应的坐标系与所述待处理2D图像对应的坐标系不同。此时，在确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像的过程中，可以先基于3D相机的外参和2D相机的外参，对所述点云轮廓数据进行第三坐标系转换处理，再利用2D相机的内参，确定所述第三坐标系转换处理后的点云轮廓数据包含的点在所述待处理2D图像中对应的2D轮廓图像。
这里，内参和外参可以根据相应相机的配置信息确定。实际应用时，可以根据需求选择3D相机和2D相机的型号。另外，所述第三坐标系转换处理是指：将3D相机坐标系(即3D相机对应的坐标系)的数据转换为2D坐标系(即2D相机对应的坐标系)的数据。
实际应用时，确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像后，可以直接将确定的最小外接矩形图像确定为所述第二分割结果。当然，由于所述最小外接矩形图像可能带有旋转角度的图像(即旋转后的图像)，为了方便2D商品模板的提取，也可以将所述最小外接矩形图像旋转为正向图像后，再将旋转后的最小外接矩形图像确定为所述第二分割结果。
实际应用时，所述待处理3D点云数据对应的坐标系(即3D相机对应的坐标系，可以简称为3D相机坐标系)并非是世界坐标系，因此，为了进一步提升前景分割结果的精确度，可以预先定义(即设置)世界坐标系，并确定3D相机坐标系与世界坐标系之间的变换矩阵，在对所述待处理3D点云数据进行3D前景分割处理的过程中，可以先对所述待处理3D点云数据进行第一坐标系转换处理，再对第一坐标系转换处理后的点云数据进行3D前景分割处理。
基于此，在一实施例中，所述对所述待处理3D点云数据进行3D前景分割处理，可以包括：
利用第一坐标系和第二坐标系之间的变换矩阵，对所述待处理3D点云数据进行第一坐标系转换处理，得到第一坐标系转换处理后的点云数据；所述第一坐标系为所述待处理3D点云数据对应的坐标系；所述第二坐标系为世界坐标系；
对所述第一坐标系转换处理后的点云数据进行3D前景分割处理。
这里，所述第一坐标系转换处理是指：将3D相机坐标系的数据转换为世界坐标系的数据。
实际应用时，对所述待处理3D点云数据进行第一坐标系转换处理的时机可以根据需求设置，比如，可以先对所述待处理3D点云数据进行第一坐标系转换处理，再对所述第一坐标系转换处理后的点云数据进行直通滤波、欧式聚类等处理。当然，为了提高数据处理效率，也可以先对所述待处理3D点云数据进行直通滤波处理，并对滤波处理后的点云数据进行第一坐标系转换处理，再对滤波处理且第一坐标系转换处理后的点云数据进行欧式聚类处理。
实际应用时，对所述第一坐标系转换处理后的点云数据进行3D前景分割处理后，得到的第一分割结果也对应世界坐标系，由于世界坐标系与2D坐标系之间无法进行数据转换，因此，在利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理的过程中，需要先对所述第一分割结果进行第二坐标系转换处理，再利用第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
基于此，在一实施例中，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，可以包括：
利用所述第一坐标系和所述第二坐标系之间的变换矩阵，对所述第一分割结果进行第二坐标系转换处理，得到第二坐标系转换处理后的第一分割结果；
利用所述第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
这里，所述第二坐标系转换处理是指：将世界坐标系的数据转换为3D相机坐标系的数据。
在步骤104中，实际应用时，可以根据需求设置建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系的形式，比如，可以在存储至数据库时，将所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果打包在所述目标SKU下(即以所述目标SKU命名的文件夹下)；再比如，可以在存储至数据库时，按照基于所述目标SKU确定的统一的命名标准，对所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果进行命名。
另外，存储的所述第一分割结果可以对应所述第一坐标系和/或第二坐标系。
本申请实施例提供的数据处理方法，针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。本申请实施例的方案，利用3D前景分割处理得到的分割结果确定目标SKU对应的3D尺寸，并利用3D前景分割处理得到的分割结果进行2D前景分割处理，如此，无需人工测量目标SKU对应的3D尺寸或从现有信息中获取目标SKU对应的3D尺寸，能够直接确定目标SKU对应的3D尺寸，提升目标SKU对应的3D尺寸的精确度，同时，能够提升前景分割的精确度，进而能够提升利用所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系生成的商品模板的精确度。
下面结合应用实施例对本申请再作进一步详细的描述。
本应用实施例中，目标SKU的样品(简称为目标SKU)放置在图2和图3所示的载物平台上。实际应用时，可以将载物平台(包括相机)安装在一个密闭箱体中(可以在需要时打开，并在进行数据处理时关闭)，该密闭箱体内部可以安装灯源等易控制的灯光条件。另外，载物平台通常设置为圆形，以方便旋转。
本应用实施例中，设置在载物平台上的相机包括2D相机和3D相机，2D相机用来采集2D彩色图像，3D相机用来采集3D点云数据；2D相机和3D相机已进行内参标定和外参标定，即已将2D相机和3D相机的内参和外参存储到本地。
本应用实施例提供了一种数据处理方法，如图4所示，该方法包括：
步骤401：数据预处理；之后执行步骤402。
具体地，采集系统(可以包括所述载物平台和设置在载物平台上的相机)安装完成后需进行一次数据预处理，以确定并存储3D相机坐标系和世界坐标系之间的变换矩阵。只要采集系统安装后硬件位置未进行改变，比如相机、载物平台没有被移动，则步骤401只需要进行一次即可。
步骤402：针对单一SKU的单一样品进行前景分割处理及三维尺寸估计；之后执行步骤403。
具体地，可以将单一SKU的单一样品(后续的描述中简称为SKU)放置在载物平台中心位置(可以人工放置或通过机械臂放置)，将方形SKU的顶面朝上放置，2D相机和3D相机会对该商品进行数据采集(包括2D彩色图像和3D点云数据)，并对采集的数据进行前景分割处理，得到2D前景分割结果、3D点云前景分割结果和三维尺寸估计值。一个SKU处理结束后，可以再放置下一个SKU进行重复处理。
步骤403：将处理结果同步到数据库。
其中，如图5所示，数据预处理过程(即步骤401)具体可以包括以下步骤：
步骤501：放置棋盘格标定板；之后执行步骤502。
这里，当设备(即采集系统)安装完成后首次使用前，或者相机、载物平台等任意硬件部分被移动后，需要先进行一次数据预处理，以确定3D相机坐标系和世界坐标系之间的变换矩阵。得到变换矩阵后(可以将确定的变换矩阵作为文件保存到本地，后续数据处理时读取相应文件即可)，只要硬件位置未进行改变，比如相机、载物平台没有被移动，即无需重复进行数据预处理。
具体地，可以将如图6所示的棋盘格标定板(可以通过打印纸打印得到)放置(可以人工放置或通过机械臂放置)在载物平台中心位置(为了提升变换矩阵的精确度，棋盘格标定板需要平铺并贴合载物平台，但棋盘格标定板的放置方向可以根据需求设置)；并且，如图7所示，可以固定住棋盘格标定板的四个角，避免其在数据采集过程中发生变动。
步骤502：获取相机坐标系和世界坐标系之间的变换矩阵；之后执行步骤503。
步骤503，保存待用(即保存相机坐标系和世界坐标系之间的变换矩阵)。
具体地，如图8所示，获取变换矩阵的过程(即步骤502)具体可以包括以下步骤：
步骤801：数据采集；之后执行步骤802。
具体地，2D相机采集相机视野范围内(包含棋盘格的载物平台)的2D彩色图像，3D相机采集相机视野范围内的3D点云数据，并利用采集的2D彩色图像和3D点云数据得到点云纹理图像(彩色)。
步骤802：角点检测；之后执行步骤803。
具体地，对纹理彩色图像进行角点检测，结果如图9所示。
步骤803：定义世界坐标系，并提取角点对应的点云数据集；之后执行步骤804。
具体地，根据角点检测结果，从3D点云数据中提取角点位置所对应的3D位置坐标(可以表示为xyz坐标)。这里，需要对角点检测结果包含的全部角点进行逐个角点的xyz坐标提取，得到所有角点对应的xyz坐标，将得到的所有角点对应的xyz坐标组成一个点云数据集(后续的描述中记作第一点集)。所述第一点集对应3D相机坐标系，即以3D相机为原点(即视角)的坐标系。
同时，利用棋盘格标定板定义世界坐标系，即在棋盘格标定板上确定世界坐标系的原点(可以根据需求任意设置，比如，选择图9中第一排左起第一个角点所处位置作为原点)，将棋盘格标定板的平面作为xoy平面(z＝0)，并将垂直棋盘格标定板的平面向上的方向作为z轴正方向。
实际应用时，可以根据需求预先设置棋盘格标定板的尺寸，示例性地，假设图9中的一个小方格的边长是0.03米。根据角点检测结果包含的角点顺序和棋盘格标定板的尺寸，即可确定角点检测结果包含的全部角点在世界坐标系对应的xyz坐标，将得到的所有角点在世界坐标系对应的xyz坐标组成一个点云数据集(后续的描述中记作第二点集)。所述第二点集对应世界坐标系，即以棋盘格标定板为原点(即视角)的坐标系。
实际应用时，可以根据需求选择其他形式的标定板。
步骤804：通过点云配准，确定变换矩阵。
具体地，基于所述第一点集和所述第二点集，利用点云配准方法，比如最近点搜索法(ICP，Iterative Closest Point)算法，计算3D相机坐标系和世界坐标系之间的变换矩阵，并将计算得到的变换矩阵保存到本地，后续可直接从本地获取并使用3D相机坐标系和世界坐标系之间的变换矩阵。
本应用实施例中，如图10所示，进行前景分割处理及三维尺寸估计的过程(即步骤402)具体可以包括以下步骤：
步骤1001：采集数据，对3D点云数据进行直通滤波处理；之后执行步骤1002。
具体地，采集目标SKU的2D彩色图像、3D点云数据和点云纹理图像。根据载物平台在相机视野中的位置，限定感兴趣区域的xyz范围进行滤波。滤波后的结果在能包括目标SKU的数据(即目标SKU的2D彩色图像和3D点云数据)的基础上尽可能小。这里，在硬件不改变的情况下，感兴趣区域的xyz范围为固定值。
步骤1002：将坐标系转换到世界坐标系下；之后执行步骤1003。
具体地，将3D点云数据从3D相机坐标系下转换到世界坐标系下(利用步骤401得到的变换矩阵)。此时载物平台所在平面对应的z值为0，而目标SKU的顶面是平行于载物平台的，即目标SKU的顶面对应的z值即为目标SKU的高度height。
步骤1003：欧式聚类；之后执行步骤1004。
具体地，基于欧几里得距离，对3D点云数据进行聚类操作，由于之前进行了直通滤波处理，这里可以直接提取面积最大的聚类结果作为顶面的初步分割结果(即上述第一前景结果)。
步骤1004：平面拟合；之后执行步骤1005。
具体地，目标SKU的顶面是一个平面，因此可以采用平面拟合的方法对初步分割结果进行更精细的分割。
步骤1005：去除离群点；之后执行步骤1006。
具体地，平面拟合的结果已经可以认为是一个平面(即目标SKU的顶面)。然而由于一些离群点(即距离平面较远的离散点，可能由于点云采集误差等引入)会对后续结果造成影响，所以需要去除离群点。这里，可以针对一定范围(即邻域)内的点计算平均距离，然后通过与预先设置的距离阈值进行比较，将使得该范围内的点的平均距离超过平均距离阈值外的点滤除，获得目标SKU的3D点云前景分割结果(世界坐标系)。
步骤1006：进行三维尺寸估计，得到三维尺寸估计值；并将坐标系转换回相机坐标系下，得到3D点云前景分割结果；之后执行步骤1007。
具体地，在世界坐标系下，载物平台所在平面对应的z值为0，而目标SKU的顶面对应的z值即为目标SKU的高度height。因此，对3D点云前景分割结果(世界坐标系)的所有z值求平均值，即可确定目标SKU的高度height；同时，将目标SKU的顶面投影到z＝0的平面(即每个点只保留xy值，而忽略z值)，对这些点求最小外接矩形，确定最小外接矩形的长度和宽度，即可得到目标SKU的长度和宽度。这样，确定了目标SKU的三维尺寸估计值(长度、宽度和高度)。之后，为了进行2D彩色图像前景分割，可以将目标SKU的3D点云前景分割结果(世界坐标系)转换回到3D相机坐标系下，以供后续对2D彩色图像进行前景分割。这里，在世界坐标下对3D点云数据进行前景分割，可以使得分割结果更准确，
步骤1007：确定点云轮廓；之后执行步骤1008。
具体地，基于3D点云前景分割结果(3D相机坐标系)，确定最外层轮廓(相当于是这个矩形的最小包围框)的点云数据(即xyz坐标)。这里的点云数据对应3D相机坐标系。
步骤1008：确定2D彩色图像轮廓；之后执行步骤1009。
具体地，基于3D相机和2D相机之间的外参，将步骤1007得到的点云数据从3D相机坐标系转换到2D相机坐标系；再利用2D相机内参，计算得到这些点在2D彩色图像上所对应的像素位置(即为在2D彩色图像上的前景轮廓)。根据该轮廓，可以获取2D彩色图像中目标SKU所对应的区域及其像素值(可以理解为初步分割结果)。
步骤1009：确定2D彩色图像前景分割结果。
具体地，针对步骤1008得到的初步分割结果确定最小外接矩形，并旋转成正向角度，裁剪出该结果(即旋转成正向角度后的最小外接矩形)，即为最终的2D彩色图像前景分割结果。
这里，初步分割结果的最小外接矩形，是指包含初步分割结果的面积最小的矩形。示例性地，如图11所示，假设闪电形区域1101为初步分割结果，则矩形1102为区域1101的最小外接矩形，与正向角度的矩形1103相比，矩形1102带有旋转角度，因此，需要将矩形1102及其包含的所有像素点(即包含区域1101)旋转至与矩形1103的角度相同，再对旋转后的矩形1102及其包含的所有像素点进行裁剪。
示例性地，假设目标SKU为手机盒，通过执行步骤1001，能够采集得到图12所示的2D彩色图像、图13所示的点云纹理图像以及图14所示的3D点云数据；基于采集得到的数据，执行步骤1002至步骤1006后，能够得到图15所示的3D点云前景分割结果；基于得到的3D点云前景分割结果，执行步骤1007至步骤1009后，能够得到图16所示的2D前景分割结果。
通过上述步骤1001至步骤1009，获得了目标SKU的3D点云前景分割结果、三维尺寸估计值及2D彩色图像前景分割结果，可以将这些结果同步到数据库，并可进入下一个SKU的采集。数据库同步和数据处理可以分开各自进行。后续进行模板提取等操作时，只需要根据SKU号从数据库中获取相应结果(即相应SKU的3D点云前景分割结果、三维尺寸估计值及2D彩色图像前景分割结果)进行操作即可。
具体地，实际应用时，在视觉机械臂在箱内拣选等物流自动化场景中需要进行模板提取时，数据库能够便捷地提供相应SKU的3D点云前景分割结果、三维尺寸估计值及2D彩色图像前景分割结果，满足各种特征提取的输入要求。比如，对于常用的2D匹配算法尺度不变特征变换(SIFT，Scale-invariant feature transform)的特征描述子，用户可以将自己的SIFT特征提取代码(即模块)预先加入软件系统中，待SKU数据采集完毕后，即可自动进行特征提取并同步到数据库；如果需要更多的特征描述子，根据需求进行相应添加操作即可，各特征描述子之间互不影响。可见，本应用实施例中，用于存储相应SKU的3D点云前景分割结果、三维尺寸估计值及2D彩色图像前景分割结果的数据库，便捷性强，可扩展性高，可以根据需求应用在各种场景下。
另外，本应用实施例提供的方案针对了SKU的顶面，实际应用时，可以根据需求针对一个SKU进行多个平面的数据采集和数据处理，比如，人工或利用机械臂将需要采集的SKU的平面朝上放置(即将需要采集的SKU的平面确定为相应SKU的顶面)；这样，无需增加任何硬件和软件设备即可实现针对同一SKU的多个平面的数据采集和数据处理。再比如，在载物平台的侧面增加同样的一套相机(即2D相机和3D相机)，并可通过控制载物平台旋转，在针对目标SKU的顶面进行数据采集和数据处理的同时，针对目标SKU的侧面进行数据采集和数据处理(针对目标SKU的侧面进行数据采集和数据处理的步骤可以与针对目标SKU的顶面进行数据采集和数据处理的步骤相同)。
本应用实施例提供的方案，具有以下优点：
第一，本应用实施例提供了一套完整的针对方形SKU的数据采集和数据处理(2D前景分割、3D前景分割以及三维尺寸的估计)流程，为后续商品模板提取及其他应用提供了必要的基础数据；如此，为视觉机械臂在箱内拣选等物流自动化场景提供了一套标准化、流程化的数据采集和数据处理方案。
第二，利用3D点云前景分割结果对SKU进行了三维尺寸的估计，避免了人工测量、人工录入等操作带来的不方便、低效率和精度不稳定的问题。同时，由于3D点云的质量(即精度)较高(mm量级)，所以得到的三维尺寸估计值的精度也比较高(mm量级)，能够满足视觉机械臂在箱内拣选等物流自动化场景的需求。
第三，利用3D点云前景分割结果对2D彩色图像进行了前景分割，避免了背景污损、环境光线等因素导致的分割结果不准确的问题，能够得到精度更高、更鲁棒的2D图像前景分割结果。
为了实现本申请实施例的方法，本申请实施例还提供了一种数据处理装置，如图17所示，该装置包括：
获取单元1701，用于针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
第一处理单元1702，用于对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
第二处理单元1703，用于基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
第三处理单元1704，用于建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
其中，在一实施例中，所述第一处理单元1702，具体用于：
对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果；
基于所述聚类结果确定所述第一分割结果。
在一实施例中，所述第一处理单元1702，还用于：
对所述待处理3D点云数据进行直通滤波处理，得到滤波处理后的点云数据；
对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果。
在一实施例中，所述第一处理单元1702，还用于：
将所述聚类结果中面积最大的部分分割为第一前景结果；
对所述第一前景结果进行平面拟合处理，得到平面拟合结果；
基于所述平面拟合结果确定所述第一分割结果。
在一实施例中，所述第一处理单元1702，还用于去除所述平面拟合结果中的离群点，得到所述第一分割结果。
在一实施例中，所述第二处理单元1703，具体用于：
确定所述第一分割结果对应的最小外接矩形；将所述最小外接矩形的长度确定为目标长度；并将所述最小外接矩形的宽度确定为目标宽度；
确定所述第一分割结果对应的平均深度值；并利用确定的平均深度值，确定目标高度；
将所述目标长度、所述目标宽度和所述目标高度确定为所述目标SKU对应的3D尺寸。
在一实施例中，所述第二处理单元1703，还用于：
利用所述第一分割结果，确定点云轮廓数据；
确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像；
确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像，得到所述第二分割结果。
在一实施例中，所述第一处理单元1702，还用于：
利用第一坐标系和第二坐标系之间的变换矩阵，对所述待处理3D点云数据进行第一坐标系转换处理，得到第一坐标系转换处理后的点云数据；所述第一坐标系为所述待处理3D点云数据对应的坐标系；所述第二坐标系为世界坐标系；
对所述第一坐标系转换处理后的点云数据进行3D前景分割处理。
在一实施例中，所述第二处理单元1703，还用于：
利用所述第一坐标系和所述第二坐标系之间的变换矩阵，对所述第一分割结果进行第二坐标系转换处理，得到第二坐标系转换处理后的第一分割结果；
利用所述第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
实际应用时，所述获取单元1701可由数据处理装置中的处理器结合通信接口实现；所述第一处理单元1702、所述第二处理单元1703和所述第三处理单元1704可由数据处理装置中的处理器实现。
需要说明的是：上述实施例提供的数据处理装置在处理数据时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种数据处理装置，如图18所示，该数据处理装置1800包括：
通信接口1801，能够与其他电子设备进行信息交互；
处理器1802，与所述通信接口1801连接，以实现与其他电子设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的方法；
存储器1803，用于存储能够在所述处理器1802上运行的计算机程序。
具体地，所述处理器1802用于执行以下操作：
针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
在一实施例中，所述处理器1802，还用于执行以下操作：
对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果；
基于所述聚类结果确定所述第一分割结果。
在一实施例中，所述处理器1802，还用于执行以下操作：
对所述待处理3D点云数据进行直通滤波处理，得到滤波处理后的点云数据；
对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果。
在一实施例中，所述处理器1802，还用于执行以下操作：
将所述聚类结果中面积最大的部分分割为第一前景结果；
对所述第一前景结果进行平面拟合处理，得到平面拟合结果；
基于所述平面拟合结果确定所述第一分割结果。
在一实施例中，所述处理器1802，还用于执行以下操作：
去除所述平面拟合结果中的离群点，得到所述第一分割结果。
在一实施例中，所述处理器1802，还用于执行以下操作：
确定所述第一分割结果对应的最小外接矩形；将所述最小外接矩形的长度确定为目标长度；并将所述最小外接矩形的宽度确定为目标宽度；
确定所述第一分割结果对应的平均深度值；并利用确定的平均深度值，确定目标高度；
将所述目标长度、所述目标宽度和所述目标高度确定为所述目标SKU对应的3D尺寸。
在一实施例中，所述处理器1802，还用于执行以下操作：
利用所述第一分割结果，确定点云轮廓数据；
确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像；
确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像，得到所述第二分割结果。
在一实施例中，所述处理器1802，还用于执行以下操作：
利用第一坐标系和第二坐标系之间的变换矩阵，对所述待处理3D点云数据进行第一坐标系转换处理，得到第一坐标系转换处理后的点云数据；所述第一坐标系为所述待处理3D点云数据对应的坐标系；所述第二坐标系为世界坐标系；
对所述第一坐标系转换处理后的点云数据进行3D前景分割处理。
在一实施例中，所述处理器1802，还用于执行以下操作：
利用所述第一坐标系和所述第二坐标系之间的变换矩阵，对所述第一分割结果进行第二坐标系转换处理，得到第二坐标系转换处理后的第一分割结果；
利用所述第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
需要说明的是：所述处理器1802具体执行上述操作的过程详见方法实施例，这里不再赘述。
当然，实际应用时，数据处理装置1800中的各个组件通过总线系统1804耦合在一起。可理解，总线系统1804用于实现这些组件之间的连接通信。总线系统1804除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图18中将各种总线都标为总线系统1804。
本申请实施例中的存储器1803用于存储各种类型的数据以支持数据处理装置1800的操作。这些数据的示例包括：用于在数据处理装置1800上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于处理器1802中，或者由处理器1802实现。处理器1802可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1802可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器1802可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器1803，处理器1802读取存储器1803中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，数据处理装置1800可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
可以理解，本申请实施例的存储器1803可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其他适合类型的存储器。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器1803，上述计算机程序可由数据处理装置1800的处理器1802执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (12)

1.一种数据处理方法，其特征在于，包括：
针对目标库存量单位SKU的样品，获取待处理三维3D点云数据和待处理二维2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理3D点云数据进行3D前景分割处理，包括：
对所述待处理3D点云数据进行欧式聚类处理，得到聚类结果；
基于所述聚类结果确定所述第一分割结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述待处理3D点云数据进行直通滤波处理，得到滤波处理后的点云数据；
对所述滤波处理后的点云数据进行欧式聚类处理，得到所述聚类结果。
4.根据权利要求2所述的方法，其特征在于，所述基于所述聚类结果确定所述第一分割结果，包括：
将所述聚类结果中面积最大的部分分割为第一前景结果；
对所述第一前景结果进行平面拟合处理，得到平面拟合结果；
基于所述平面拟合结果确定所述第一分割结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所述平面拟合结果确定所述第一分割结果，包括：
去除所述平面拟合结果中的离群点，得到所述第一分割结果。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一分割结果，确定所述目标SKU对应的3D尺寸，包括：
确定所述第一分割结果对应的最小外接矩形；将所述最小外接矩形的长度确定为目标长度；并将所述最小外接矩形的宽度确定为目标宽度；
确定所述第一分割结果对应的平均深度值；并利用确定的平均深度值，确定目标高度；
将所述目标长度、所述目标宽度和所述目标高度确定为所述目标SKU对应的3D尺寸。
7.根据权利要求1所述的方法，其特征在于，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，包括：
利用所述第一分割结果，确定点云轮廓数据；
确定所述点云轮廓数据在所述待处理2D图像中对应的2D轮廓图像；
确定所述2D轮廓图像在所述待处理2D图像中对应的最小外接矩形图像，得到所述第二分割结果。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述对所述待处理3D点云数据进行3D前景分割处理，包括：
利用第一坐标系和第二坐标系之间的变换矩阵，对所述待处理3D点云数据进行第一坐标系转换处理，得到第一坐标系转换处理后的点云数据；所述第一坐标系为所述待处理3D点云数据对应的坐标系；所述第二坐标系为世界坐标系；
对所述第一坐标系转换处理后的点云数据进行3D前景分割处理。
9.根据权利要求8所述的方法，其特征在于，所述利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，包括：
利用所述第一坐标系和所述第二坐标系之间的变换矩阵，对所述第一分割结果进行第二坐标系转换处理，得到第二坐标系转换处理后的第一分割结果；
利用所述第二坐标系转换处理后的第一分割结果，对所述待处理2D图像进行2D前景分割处理。
10.一种数据处理装置，其特征在于，包括：
获取单元，用于针对目标SKU的样品，获取待处理3D点云数据和待处理2D图像；所述待处理3D点云数据和所述待处理2D图像对应的样品视角相同；
第一处理单元，用于对所述待处理3D点云数据进行3D前景分割处理，得到第一分割结果；
第二处理单元，用于基于所述第一分割结果，确定所述目标SKU对应的3D尺寸；并利用所述第一分割结果，对所述待处理2D图像进行2D前景分割处理，得到第二分割结果；
第三处理单元，用于建立所述第一分割结果、所述目标SKU对应的3D尺寸及所述第二分割结果之间的对应关系，并存储建立的对应关系。
11.一种数据处理装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至9任一项所述方法的步骤。
12.一种存储介质，所述介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
CN202110007857.6A 2021-01-05 2021-01-05 数据处理方法、装置及存储介质 Active CN113744298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110007857.6A CN113744298B (zh) 2021-01-05 2021-01-05 数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110007857.6A CN113744298B (zh) 2021-01-05 2021-01-05 数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113744298A true CN113744298A (zh) 2021-12-03
CN113744298B CN113744298B (zh) 2024-07-19

Family

ID=78728116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110007857.6A Active CN113744298B (zh) 2021-01-05 2021-01-05 数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113744298B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
WO2020093950A1 (zh) * 2018-11-06 2020-05-14 腾讯科技（深圳）有限公司 三维物体分割方法、设备和介质
CN111775152A (zh) * 2020-06-29 2020-10-16 深圳大学 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
US20200372676A1 (en) * 2019-05-21 2020-11-26 International Business Machines Corporation Progressive 3d point cloud segmentation into object and background from tracking sessions
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
WO2020093950A1 (zh) * 2018-11-06 2020-05-14 腾讯科技（深圳）有限公司 三维物体分割方法、设备和介质
US20200372676A1 (en) * 2019-05-21 2020-11-26 International Business Machines Corporation Progressive 3d point cloud segmentation into object and background from tracking sessions
CN111775152A (zh) * 2020-06-29 2020-10-16 深圳大学 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统

Also Published As

Publication number Publication date
CN113744298B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN109658504B (zh) 地图数据标注方法、装置、设备及存储介质
CN108364311B (zh) 一种金属部件自动定位方法及终端设备
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
US10452949B2 (en) System and method for scoring clutter for use in 3D point cloud matching in a vision system
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
CN110672007A (zh) 一种基于机器视觉的工件表面质量检测方法及系统
CN109784250B (zh) 自动引导小车的定位方法和装置
CN111627075B (zh) 基于aruco码的摄像头外参标定方法、系统、终端及介质
JP2017151650A (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
CN115797359B (zh) 基于电路板上锡膏的检测方法、设备和存储介质
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN109255801B (zh) 视频中三维物体边缘追踪的方法、装置、设备及存储介质
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
CN116977341B (zh) 一种尺寸测量方法及相关装置
CN113744298B (zh) 数据处理方法、装置及存储介质
CN106910196B (zh) 一种图像检测方法及装置
CN116839473A (zh) 焊缝定位及尺寸计算方法、装置、存储介质及电子设备
WO2023083273A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN114049380B (zh) 目标物体定位追踪方法、装置、计算机设备和存储介质
US20220128347A1 (en) System and method to measure object dimension using stereo vision
WO2023082417A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN113048950B (zh) 基站天线倾角测量方法、装置、存储介质和计算机设备
CN113963048A (zh) 用于工业流水线的测量物体长宽高的方法、装置及系统
Dantanarayana et al. Object recognition and localization from 3D point clouds by maximum-likelihood estimation
CN113496142A (zh) 物流件的体积测量方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant