CN108648230A - 一种包裹尺寸测量方法、系统、储存介质及移动终端 - Google Patents

一种包裹尺寸测量方法、系统、储存介质及移动终端 Download PDF

Info

Publication number
CN108648230A
CN108648230A CN201810456628.0A CN201810456628A CN108648230A CN 108648230 A CN108648230 A CN 108648230A CN 201810456628 A CN201810456628 A CN 201810456628A CN 108648230 A CN108648230 A CN 108648230A
Authority
CN
China
Prior art keywords
point cloud
cloud
target
package
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810456628.0A
Other languages
English (en)
Inventor
乔倚松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Science And Technology Ltd Of A Fanda Robot
Original Assignee
Nanjing Science And Technology Ltd Of A Fanda Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Science And Technology Ltd Of A Fanda Robot filed Critical Nanjing Science And Technology Ltd Of A Fanda Robot
Priority to CN201810456628.0A priority Critical patent/CN108648230A/zh
Publication of CN108648230A publication Critical patent/CN108648230A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种包裹尺寸测量方法、系统、储存介质及移动终端，其方法包括：S1000获取目标点云，目标点云包括待测包裹的至少两个表面对应的点云以及支持面对应的点云，至少两个表面相邻，支持面为待测包裹放置的表面；S2000分割目标点云，删除目标点云中的支持面对应的点云；S3000对删除支持面对应的点云后的目标点云进行聚类，从而分隔出至少两个表面对应的点云，旋转点云，使得点云与目标坐标系朝向相符，根据旋转后的点云查找待测包裹对应的第一目标顶点和第二目标顶点；S4000获取第一目标顶点和第二目标顶点对应的坐标，根据坐标计算待测包裹的体积。本发明能够减小测量误差，简化测量要求。

Description

一种包裹尺寸测量方法、系统、储存介质及移动终端
技术领域
本发明涉及计算机视觉领域，尤指一种包裹尺寸测量方法、系统、储存介质及移动终端系统。
背景技术
随着全球一体化的不断推进，以及计算机技术的快速发展。以互联网产业为基础的线上购物，为每一个人都带来了巨大的便利。伴随着网络购物的快速扩张，物流包裹的吞吐量呈现出了几何式的增长。对于物流企业也来说，在包裹的运输成本当中，重量只是其中的一小部分。如果可以对包裹体积进行合理的安排，可以为物流企业带来巨大的帮助。
目前，大部分的物流企业，对于包裹体积的测量，仍然停留在手工测量的方式上。对于人工测量，通常测量的结果并不理想，测量的速度慢，测量精度也不够。即使部分企业使用了自动测量设备，由于现有的自动测量设备，在进行体积检测时通常需要满足一定的条件，例如需要固定安装、需要固定角度、测量体积很大、不能随身携带等等，使得这些自动化的测量设备在使用的时候并不方便。
现有专利：CN106839975A，基于深度相机的体积测量方法及其系统，其公开了：使用深度相机获得待测对象的深度图；根据深度信息特征将被测物体从深度图中提取出来；将被测物体的深度图中的二维图像坐标转换到三维相机坐标系中；在三维相机的坐标下，计算待测物体的高度和长度，从而计算出待测物体的体积。使用深度图进行直方图统计深度值，并利用阈值分隔方法，将待检测物体的上表面与侧面分隔开来，然而由于包裹并非一个平面，当深度相机拍摄角度位于包裹测面时，上表面与测面相对于深度相机的距离是相近的，甚至是相等的，因此使用直方图统计的方法并不能很好的将上表面和侧面区分开来，导致物体体积的测量值会出现较大的误差。
发明内容
本发明的目的是提供一种包裹尺寸测量方法、系统、储存介质及移动终端系统，实现减小测量误差，简化测量要求的目的。
本发明提供的技术方案如下：
本发明提供一种基于点云图的包裹尺寸测量方法，包括步骤：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
进一步的，所述步骤S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云具体包括步骤：
S2100对所述目标点云进行平面拟合，找出所述支持面的平面方程；
S2200根据所述支持面的平面方程，查找并删除所述支持面对应的点云。
进一步的，所述步骤S3000具体包括步骤：
S3100对删除所述支持面对应的点云后的目标点云进行聚类，获得所述待测包裹对应的第一目标点云；
S3200对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
S3300旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
S3400旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第目标三点云；
S3500根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值。
进一步的，所述步骤S3100对删除所述支持面对应的点云后的目标点云进行聚类，获得所述待测包裹对应的第一目标点云具体包括步骤：
S3110根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的点云集；
S3120获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一目标点云。
进一步的，所述步骤S3300旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云具体包括步骤：
S3310计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
S3320根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
所述步骤S3400旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云具体包括步骤：
S3410计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
S3420根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云。
进一步的，所述步骤S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积具体包括步骤：
S4100获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
S4200计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
S4300计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
S4400计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
S4500将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
进一步的，所述步骤S1000获取目标点云之后，所述步骤S2000分割所述目标点云，删除所述目标点云中的所述支持面对应的点云之前包括步骤：
S1001对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
本发明还提供一种基于点云图的包裹尺寸测量系统，包括：
点云图像获取模块，用于获取目标点云；所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
点云图像处理模块，用于分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
目标顶点查找模块，用于对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云中查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
包裹尺寸获取模块，用于获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
进一步的，所述点云图像处理模块包括：
支持面方程获取单元，用于对所述目标点云进行平面拟合，找出所述支持面的平面方程；
支持面点云删除单元，用于根据所述支持面的平面方程，查找并删除所述支持面对应的点云。
进一步的，所述目标顶点查找模块包括：
包裹点云获取单元，用于对删除所述支持面对应的点云后的目标点云进行聚类，获取所述待测包裹对应的第一目标点云；
包裹表面拟合单元，用于对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
第一目标点云旋转单元，用于旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
第二目标点云旋转单元，用于旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云；
目标顶点获取单元，用于根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值。
进一步的，所述包裹点云获取单元：
点云筛选子单元，用于根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的对应的点云集；
包裹点云获取子单元，用于获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一点云。
进一步的，所述第一目标点云旋转单元包括：
第一夹角获取子单元，用于计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
第一目标点云旋转子单元，用于根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
所述第二目标点云旋转单元包括：
第二夹角获取子单元，用于计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
第二目标点云旋转子单元，用于根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云。
进一步的，所述包裹尺寸获取模块包括：
目标顶点坐标获取单元，用于获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
长度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
宽度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
高度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
体积运算单元，用于将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
进一步的，基于点云图的包裹尺寸测量系统还包括：
点云稀疏处理模块，用于对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
本发明还提供一种存储介质，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现本发明基于点云图的包裹尺寸测量方法的步骤。
本发明还提供一种移动终端，包括：
存储介质，存储多条指令；
摄像头，实现所述存储介质储存的对应的摄像头执行指令；
处理器，实现所述存储介质储存的对应的处理器执行指令；
其中：所述摄像头和所述处理器用于执行所述存储介质存储的指令，以实现本发明基于点云图的包裹尺寸测量方法的步骤。
通过本发明提供的一种包裹尺寸测量方法、系统、储存介质及移动终端系统，能够带来以下至少一种有益效果：
1)本发明通过点云进行平面分割更加准确的分离出待测包裹的表面，从而根据获取待测表面对应的点云在目标坐标系的目标顶点坐标计算待测包裹的体积，根据点云的精确分割避免根据深度信息分割导致的分割误差，保证了待测包裹尺寸测量结果的准确性和可靠性。
2)本发明不需要像现有技术那样将深度相机放置于待测包裹的正上方进行测量，在降低了对拍摄角度要求的同时，简化待测包裹体积测量的步骤，测量效率高。
3)本发明将深度摄像头集成于移动终端，不需要新增额外的硬件设施，节省成本的同时，丰富了使用场景，
4)本发明将支持面对应的点云删除，能够使得支持面上的所有物体对应的点云相互独立，不再相互连通，降低因为点云互通导致的分割干扰，提升待测包裹的尺寸测量精准度和可靠性。
5)本发明对目标点云中的点云进行稀疏处理，在保持精度的情况下，加快计算速度，提高计算效率。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种包裹尺寸测量方法、系统、储存介质及移动终端系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种基于点云图的包裹尺寸测量方法的一个实施例的流程图；
图2是本发明一种基于点云图的包裹尺寸测量方法的另一个实施例的流程图；
图3是本发明一种基于点云图的包裹尺寸测量方法的另一个实施例的流程图；
图4是本发明对待测包裹的对应的第一目标点云进行旋转的示意图；
图5是本发明一种基于点云图的包裹尺寸测量方法的另一个实施例的流程图；
图6是本发明一种基于点云图的包裹尺寸测量方法的另一个实施例的流程图；
图7是本发明一种基于点云图的包裹尺寸测量系统的一个实施例的结构示意图；
图8是本发明一种基于点云图的包裹尺寸测量系统的点云图像处理模块的结构示意图；
图9是本发明一种基于点云图的包裹尺寸测量系统的目标顶点查找模块的结构示意图；
图10是本发明一种基于点云图的包裹尺寸测量系统的包裹点云获取单元的结构示意图；
图11是本发明一种基于点云图的包裹尺寸测量系统的第一目标旋转单元的结构示意图；
图12是本发明一种基于点云图的包裹尺寸测量系统的第二目标旋转单元的结构示意图；
图13是本发明一种基于点云图的包裹尺寸测量系统的包裹尺寸获取模块的结构示意图；
图14是本发明一种移动终端一个实施例的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
本方案适用于形状为长方体、正方体或者正四棱柱等矩形形状的待测包裹的体积测量，对于其他复杂形状、无规则形状的包裹无法测量。而由于目前快递物流行业的包裹普遍为矩形形状的纸箱、木架等等，因此普遍适用于快递物流行业的矩形形状的包裹的体积尺寸的测量。
根据本发明提供的第一实施例，如图1所示，包括：
一种基于点云图的包裹尺寸测量方法，包括步骤：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
具体的，获取目标点云的方式有很多，例如通过深度相机进行拍摄待测包裹得到深度图像，也可以是通过激光雷达对待测包裹进行扫描得到深度图像，然后将深度图像进行转换得到目标点云。获取的目标点云，通常包括了待测包裹的至少两个表面所对应的点云，至少两个表面相互之间相邻，以及支持面即待测包裹放置的地面或者桌面等放置平台等等支撑表面对应的点云，以及在支持平面上的其他物体所对应的点云。
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
具体的，为了分隔出待测包裹的相邻表面对应的点云，需要将目标点云进行分割。第一，将代表地面或者桌面等放置平台的支持面对应的点云删除，使得支持面上的所有物体对应的点云相互独立，不再相互连通，便于后续对待测包裹或者其他物品对应的点云进行聚合分类、识别和跟踪。支持面的删除能够降低因为点云的互通而导致的分隔干扰，对提升待测包裹的尺寸测量的精准和可靠性具有一定的帮助。
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
具体的，分割删除目标点云进行支持面对应的点云后，需要对删除支持面对应的点云后的目标点云进行聚类处理，得到待测包裹的至少两个表面对应的点云。
通过旋转距离分隔得到的至少两个表面对应的点云，使至少两个表面对应的点云的朝向与目标坐标系的朝向相符，可能是待测包裹的世界坐标系的X轴与目标坐标系的X轴平行，待测包裹的世界坐标系的Y轴与目标坐标系的Y轴平行，待测包裹的世界坐标系的Z轴与目标坐标系的Z轴平行，此时根据目标坐标系和待测包裹的世界坐标系获取第一目标顶点和第二目标顶点，因为待测包裹的世界坐标系与目标坐标系平行，那么将待测包裹的世界坐标系进行平移可以获得目标坐标系，那么如果待测包裹的世界坐标系中坐标值最大对应的点，映射在目标坐标系中也是坐标值最大的点，如果待测包裹的世界坐标系中坐标值最小对应的点，映射在目标坐标系中也是坐标值最小的点，从而可以获取到第一目标顶点和第二目标顶点；也可能是点云的坐标系的X轴与目标坐标系的X轴重合，点云的坐标系的Y轴与目标坐标系的Y轴重合，点云的坐标系的Z轴与目标坐标系的Z轴重合，此时根据旋转后的目标点云每个点在目标坐标系上的坐标值获取第一目标顶点和第二目标顶点。
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
具体的，根据旋转后的点云，查找待测包裹对应的第一目标顶点和第二目标顶点后，根据第一目标顶点的坐标和第二目标顶点的坐标进行计算，获得待测包裹的体积。
本实施例中，当使用深度相机或者移动终端的深度摄像头进行拍摄获取目标点云时，目标坐标系为相机坐标系，当使用激光雷达扫描获取目标点云时，目标坐标系为以激光雷达中心为原点建立的世界坐标系。本发明能够避免像现有技术中采用深度直方图的分割方式通过使用在不同深度上的不同阈值，对整体的点云进行分割时，若当深度相机的拍摄位置位于待测包裹的斜上方时，会出现包裹顶面到相机的距离与侧面到相机的距离相同或者相近的情况。此时，在深度直方图上，仅仅通过使用一个维度上的阈值，很难正确的分割出包裹的顶面与侧面，错误的认为某些包裹的侧面部分也是顶面的一部分，使得检测到的包裹顶面的面积变大，导致测量出来的待测包裹体积会出现误差甚至错误的情况。本发明通过点云进行平面分割更加准确，在降低了对拍摄角度要求的同时，保证了待测包裹尺寸测量结果的准确性和可靠性。
优选的，可以通过移动终端的深度摄像头对待测包裹进行拍摄得到目标图像，目标图像包括待测包裹的至少两个表面和支持面，目标图像也可以包括待测包裹的至少两个表面和支持面以及其他杂物，为了全方位、完整的采集到目标点云，可以通过移动终端自带的深度摄像头进行采集视频，将采集到的视频进行图像处理获取目标点云，将目标点云进行处理后得到第一目标顶点和第二目标顶点对应的坐标，从而根据第一目标顶点和第二目标顶点对应的坐标计算得到待测包裹的体积。本发明不需要在采集待测包裹时必须位于待测包裹的正上方，因此不需要复杂的布置，丰富了使用场景，不需要新增额外的硬件设施，节省成本。此外，本发明采用移动终端自带的深度摄像头和处理器，造价便宜，成本低的同时，简化待测包裹体积测量的步骤，测量效率高，并且由于待测包裹的体积由移动终端自带的处理器自动完成，操作简单，而且检测结果直观、可靠，测量精度高。因此，本发明能够全自动化的测量出包裹的体积，准确高效，同时也不用安装其他硬件设备，简单方便，用户体验度高。
根据本发明提供的第二实施例，如图2所示，一种基于点云图的包裹尺寸测量方法，包括：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
所述步骤S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云具体包括步骤：
S2100对所述目标点云进行平面拟合，找出所述支持面的平面方程；
具体的，为了找出支持面的平面方程，删除对支持面对应的点云，可以对目标点云进行平面拟合，创建一个模型参数对象，即代表支持面的平面方程，例如支持面P的表达式为ax+by+cz+d＝0，其中F(a，b，c)为支持面的法向量。然后采用随机采样法输入被分割后的目标点云中的点云数据，根据代表支持面的平面方程分割目标点云查找得到支持面的点云。例如：
S1、从被分割后的目标点云中的所有点云数据中随机选择三个不共线的点云数据，根据这三个随机获取的点云数据拟合生成一个平面N1，计算在容忍误差内满足这个平面N1的点云数据的数量为S1；
S2、重新再随机选取三个不共线的点云数据，根据这三个重新随机获取的点云数据拟合生成一个平面N2，计算在容忍误差内满足这个平面N2的点云数据的数量为S2，判断S2是否大于S1，如果大于则记录平面N2；
S3、循环反复执行步骤S2，当迭代即反复次数达到预设迭代次数时，记录在容忍误差内在平面Ni(i∈N，N≧1)的点云数据的数量最大的平面为支持面P，根据平面Ni(i∈N，N≧1)的点云数据建立支持面的平面方程，支持面P对应的平面方程为ax+by+cz+d＝0，从而根据该支持面的平面方程进行删除对应的支持面的点云。
也可以采用栅格高度差方法，基于栅格内点的高度信息来进行点分类，找到栅格内最低点，并储存其高度h1，找到栅格内点高度小于h1+n对应的点云分类为支持面如地面对应的点云；n可以取值为0.2mm，大于0.2mm的可能是待测包裹对应的点云，这种方式只有在最低点是真实地面时查找到的支持面对应的点云时比较准确，当最低点不是真实地面时会有误差。
还可以采用平均高度方法，平均高度方法基于假设预处理分割后得到点中地面点为绝大部分点，从而可根据平均高度作为进一步滤波，即栅格最低点高度以上0.2mm方法分割出地面点，计算得到地面点的平均高度h2，以平均高度h2为阈值再进行分割，找到栅格内点高度小于h2对应的点云分类为支持面如地面对应的点云；大于平均高度h2的可能是待测包裹对应的点云，这种方式只有在最低点是真实地面时查找到的支持面对应的点云比较准确，当最低点不是真实地面时会有误差。上述栅格高度差方法和平均高度方法均能简化查找支持面对应的点云的繁琐计算步骤，如果地面是支持面时，且待测包裹与地面之间贴合程度不大于高度h1或者高度h2时可以采用上述栅格高度差方法和平均高度方法进行查找支持面对应的支持面的点云，以便加快查找并删除支持面对应的点云的速率，从而提升待测包裹尺寸测量的效率。
S2200根据所述支持面的平面方程，查找并删除所述支持面对应的点云；
根据上述方法找出支持面的平面方程后，根据该平面方程获取支持面对应的点云，并将代表地面或者桌面等放置平台的支持面对应的点云删除，能够使得支持面上的所有物体对应的点云相互独立，不再相互连通，便于后续对待测包裹或者其他物品对应的点云进行聚合、分类、识别和跟踪。事先滤波删除能够降低因为点云互通导致的分割干扰，降低分类识别误差，提升待测包裹的尺寸测量精准度和可靠性。
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
具体的，本实施例是上述第一实施例的优化实施例，与上述实施例中相同的步骤对应的效果在此不再一一赘述，本实施例相对上述第一实施例，对步骤S2000进行了进一步的细化，即S2000具体包括步骤S2100和S2200，即对于如何找出并删除支持面对应的点云进行了细化，本实施例中，可以采用RanSaC算法在目标点云中查找代表支持面的平面方程，目标点云中有一些点显然是满足代表支持面的平面方程的，在大量噪声点云或者包裹表面对应的点云干扰的的情况下找到平面方程，将满足平面方程对应的支持面的点云查找出来并删除，能够降低因为点云互通导致的分割干扰，避免出现现有技术中分拣深度信息分割图像中的待测包裹图像导致待测包裹体积测量的误差，提升待测包裹的尺寸测量精准度和可靠性。
根据本发明提供的第三实施例，如图3所示，一种基于点云图的包裹尺寸测量方法，包括：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3100对删除所述支持面对应的点云后的目标点云进行聚类，获得所述待测包裹对应的第一目标点云；
具体的，由于获取的目标点云包括待测包裹的相邻表面对应的点云和支持面对应的点云，但是也有可能获取的目标图像中包括杂物(几毫米贴附在待测包裹表面的贴纸，胶带等可以忽略的物品外)。
如果获取的目标图像中不包括杂物，则对删除支持面对应的点云后的目标点云进行聚类以及拟合，从而分隔出待测包裹对应的第一目标点云。
如果获取的目标图像中包括杂物(如垃圾桶、扫把等等物品)时，那么需要将删除支持面对应的点云后的目标点云进行聚类，通常使用聚类方法进行获取待测包裹对应的第一目标点云和杂物对应的点云，将待测包裹对应的第一目标点云和杂物对应的点云进行拟合得到对应的拟合点云，就能识别出哪个拟合点云是杂物对应的杂物拟合表面，以及识别出哪个拟合点云是待测包裹的对应的拟合表面，从而根据识别结果删除杂物对应的点云，从而分隔出待测包裹对应的第一目标点云然后将待测包裹对应的第一目标点云。
本发明能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性。
S3200对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
具体的，获取到待测包裹对应的第一目标点云后，对第一目标点云进行平面拟合，获取待测包裹的第一表面对应的第一点云表面，以及待测包裹的第二表面对应的第二点云表面，第一点云表面与第二点云表面相邻并垂直。例如，使用平面拟合的方法，拟合出第一目标点云O1中最大平面P1对应的第一点云表面P1′，平面P1为包裹的第一表面；第一平面P1对应的第一点云表面P1′的表达式为a1x+b1y+c1z+d1＝0；其中F1(a1，b1，c1)为第一点云表面P1′平面的法向量。同样，使用平面拟合的方法，拟合出第一目标点云O1的第二大平面P2对应的第二点云表面P2′，平面P2为包裹的第二表面，第二点云表面P2′的表达式为a2x+b2y+c2z+d2＝0，其中F2(a2，b2，c2)为第二点云表面P2′的法向量，第一点云表面P1′与第二点云表面P2′相邻并垂直。
S3300旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
S3400旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第目标三点云；
S3500根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值；
具体的，获取到待测包裹的第一表面P1对应的第一点云表面P1′，以及待测包裹的第二表面P2对应的第二点云表面P2′后，如图4所示，旋转第一目标点云O1，使得第一点云表面P1′与目标坐标系如相机坐标系的第一坐标轴平行，得到旋转后的第二目标点云O2，旋转第二目标点云O2，使得第二点云表面P2′与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云O3，根据第三目标点云O3查找第一目标顶点和第二目标顶点，第一目标顶点的坐标，分别对应了旋转后的第三目标点云O3在目标坐标系中XYZ轴值的最大值，第二目标顶点的坐标，分别对应了旋转后的第三目标点云O3在所述目标坐标系中XYZ轴值最小的最小值。当第一坐标轴为X轴时，第二坐标值就是Y轴或者Z轴，当第一坐标轴为Y轴时，第二坐标轴就是X轴或者Z轴，当第一坐标轴为Z轴时，第二坐标轴就是X轴或者Y轴。
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
本发明为了检测待测包裹的体积，首先，需要将待测包裹从背景环境中分割出来，为了避免现有技术由于使用了深度直方图的分割方法而导致的测量误差，在待测包裹的背景环境分割上，本发明使用平面分割方法，拟合出目标点云中的最大的平面，此最大的平面即为包裹物体的支持面(地面或者放置平台)，将支持面对应的点云从目标点云中去除，使得所有位于支持面上的物体相互独立开来，避免了在使用聚类方法分割时，支持面所带来的干扰，由于在三维空间中，所有物体已经不再相连，此时可以认为最大的聚类即为待检测的包裹，此时分割出来的点云相较于现有技术，更加准确。由于在删除了支持面使得空间物体不再相连，从而能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性，由于本发明使用了更加准确的分割方法，本发明在降低了对拍摄角度要求的同时，保证了测量结果的准确。
根据本发明提供的第四实施例，如图5所示，一种基于点云图的包裹尺寸测量方法，包括：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3110根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的点云集；
具体的，通常根据欧几里德度量(欧几里得度量是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度，在二维和三维空间中的欧氏距离的就是两点之间的实际距离)，使用Kd树或者八叉树的搜索方法筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到待测包裹对应的第一目标点云，例如，根据欧几里德度量在5mm-10mm进行聚类找到的数据点集合就是待测包裹的第一目标点云，聚类小于5mm或者大于10mm找到的数据点集合就是杂物对应的点云，从而能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性。
S3120获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一目标点云；
具体的，为了便于快速、准确的查找获取得到待测包裹的第一目标点云，一般在获取目标点云时，需要用户使用相机(包括深度相机或者移动终端的深度摄像头等等)或者激光雷达距离待测包裹的距离达到预设距离，使得待测包裹在图像中占据的空间最大，待测包裹和其他物品并排放置时，需要用户使用的深度相机或者移动终端的深度摄像头的光心离待测包裹较近，使得待测包裹在成像平面中空间最大，这样就能够在聚类获取待测包裹的点云集时直接确定尺寸最大的点云集就是待测包裹的点云集，减少判断确定待测包裹点云集的时间，从而间接提升待测包裹尺寸测量的效率。
S3200对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
S3310计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
S3320根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
具体的，延续第三实施例中图4所述的例子继续进行说明，获取第一点云表面P1′的法向量，在相机坐标系空间中，旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行，从而获得第二目标点云O2；
可以通过反复旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行。
也可以直接根据第一点云表面P1′的法向量F1(a1，b1，c1)与相机坐标系Z轴(0，0，1)之间的夹角θz旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行；其中，第一点云表面P1′的法向量与相机坐标系Z轴之间的夹角通过第一夹角旋转第一目标点云能够加快第一目标点云与目标坐标系朝向相符的速率，从而提升寻找第一目标顶点和第二目标顶点的效率。
S3410计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
S3420根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云；
具体的，延续第三实施例中图4所述的例子继续进行说明，获取第二点云表面P2′的法向量，在相机坐标系空间中，旋转第二目标点云O2，使第二点云表面P1′与相机坐标系的Y轴平行，从而获得第三目标点云O3；
可以通过反复旋转第二目标点云O2，使第二点云表面P2′与相机坐标系的Y轴平行。
也可以直接根据第二点云表面P2′的法向量F2(a2，b2，c2)与相机坐标系Y轴(0，1，0)之间的夹角θY旋转第二目标点云O2，使第二点云表面P2′与相机坐标系的Y轴平行；其中，第二点云表面P2′的法向量与相机坐标系Y轴之间的夹角通过第二夹角旋转第二目标点云能够加快第一目标点云与目标坐标系朝向相符的速率，从而提升寻找第一目标顶点和第二目标顶点的效率。
S3500根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值；
具体的，通过上述S3310-S3320，S3410-S3420步骤就能使得第三目标点云O3在空间中将处于与目标坐标系如相机坐标系对齐的状态，当目标坐标系为相机坐标系时，使得相机的姿态与第三目标点云O3的姿态相同。根据第三目标点云O3，分别找出其在相机坐标系(X，Y，Z)轴上的第一目标顶点即最大值点max_point_AABB和第二目标顶点即最小值点min_point_AABB。
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
具体的，第一目标顶点和第二目标顶点能够组成待测包裹的最小外接框，第一目标顶点的坐标的坐标分别对应了旋转后的第三目标点云在目标坐标系中XYZ轴值的最大值，第二目标顶点的坐标的坐标分别对应了旋转后第三目标点云在目标坐标系中XYZ轴值的最小值；此最小外接框的大小即为待测包裹的空间尺寸。本发明由于找到的第一目标顶点和第二目标顶点分别是矩形形状的待测包裹映射在目标坐标系上的XYZ坐标最大的顶点和XYZ坐标最小的顶点，因此，可以直接根据第一目标顶点的坐标值和第二目标顶点的坐标值来进行计算待测包裹的体积，从而简化运算流程，提升待测包裹尺寸测量的效率。
根据本发明提供的第五实施例，如图6所示，一种基于点云图的包裹尺寸测量方法，包括：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4100获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
具体的，查找到的第一目标顶点的坐标，分别对应了旋转后的点云在目标坐标系中XYZ轴值的最大值，第二目标顶点的坐标，分别对应了旋转后点云在目标坐标系中XYZ轴值最小的最小值。例如，获取第一目标顶点的坐标值(XA，YA，ZA)，以及第二目标顶点的坐标(XB，YB，ZB)，即XA在目标坐标系中的X轴上的坐标值最大，YA在目标坐标系中的X轴上的坐标值最大，ZA在目标坐标系中的X轴上的坐标值最大，XB在目标坐标系中的X轴上的坐标值最小，YB在目标坐标系中的X轴上的坐标值最小，ZB在目标坐标系中的X轴上的坐标值最小。
S4200计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
S4300计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
S4400计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
S4500将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
具体的，根据第一目标顶点的坐标(XA，YA，ZA)和第二目标顶点的坐标(XB，YB，ZB)计算待测包裹的长度L＝max_point_XA-min_point_XB，以及宽度W＝max_point_YA-min_point_YB和高度H＝max_point_ZA-min_point_ZB。
也可以根据下列公式计算待测包裹的长宽高，例如以及宽度和高度
计算得到待测包裹的长宽高后，根据体积公式计算得到待测包裹的体积S＝L×W×H。
根据本发明提供的第六实施例，一种基于点云图的包裹尺寸测量方法，所述步骤S1000获取目标点云之后，所述步骤S2000分割所述目标点云，删除所述目标点云中的所述支持面对应的点云之前包括步骤：
S1001对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
具体的，本实施例是上述第一实施例至第五实施例的优化实施例，为了减少计算获取待测包裹的尺寸的时间，并且由于处理目标点云时，并不需要过高的分辨率，因此在对目标点云进行分割之前，可以对目标点云中的点云进行稀疏处理，这样就可以适当的减少点云数据的处理量，避免点云的数量过多，从而提升计算的效率的同时，并不显著的降低测量精度。对目标点云进行稀疏处理的程度可以依据保障目标点云中的物品形状在大小保持不变的情况下，滤除冗杂点云(包括干扰点云、噪声点云等等)，从而使得待测包裹尺寸测量在保持精度的情况下，加快计算速度，提高计算效率。
根据本发明提供的第七实施例，如图7所示，一种基于点云图的包裹尺寸测量系统包括：
点云图像获取模块100，用于获取目标点云；所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
具体的，获取目标点云的方式有很多，例如通过深度相机进行拍摄待测包裹得到深度图像，也可以是通过激光雷达对待测包裹进行扫描得到深度图像，然后将深度图像进行转换得到目标点云。获取的目标点云，通常包括了待测包裹的至少两个表面所对应的点云，至少两个表面相互之间相邻，以及支持面即待测包裹放置的地面或者桌面等放置平台等等支撑表面对应的点云，以及在支持平面上的其他物体所对应的点云。
点云图像处理模块200，用于分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
具体的，为了分隔出待测包裹的相邻表面对应的点云，需要将目标点云进行分割。第一，将代表地面或者桌面等放置平台的支持面对应的点云删除，使得支持面上的所有物体对应的点云相互独立，不再相互连通，便于后续对待测包裹或者其他物品对应的点云进行聚合分类、识别和跟踪。支持面的删除能够降低因为点云的互通而导致的分隔干扰，对提升待测包裹的尺寸测量的精准和可靠性具有一定的帮助。
目标顶点查找模块300，用于对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云中查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
具体的，分割删除目标点云进行支持面对应的点云后，需要对删除支持面对应的点云后的目标点云进行聚类处理，得到待测包裹的至少两个表面对应的点云。
通过旋转距离分隔得到的至少两个表面对应的点云，使至少两个表面对应的点云的朝向与目标坐标系的朝向相符，可能是待测包裹的世界坐标系的X轴与目标坐标系的X轴平行，待测包裹的世界坐标系的Y轴与目标坐标系的Y轴平行，待测包裹的世界坐标系的Z轴与目标坐标系的Z轴平行，此时根据目标坐标系和待测包裹的世界坐标系获取第一目标顶点和第二目标顶点，因为待测包裹的世界坐标系与目标坐标系平行，那么将待测包裹的世界坐标系进行平移可以获得目标坐标系，那么如果待测包裹的世界坐标系中坐标值最大对应的点，映射在目标坐标系中也是坐标值最大的点，如果待测包裹的世界坐标系中坐标值最小对应的点，映射在目标坐标系中也是坐标值最小的点，从而可以获取到第一目标顶点和第二目标顶点；也可能是点云的坐标系的X轴与目标坐标系的X轴重合，点云的坐标系的Y轴与目标坐标系的Y轴重合，点云的坐标系的Z轴与目标坐标系的Z轴重合，此时根据旋转后的目标点云每个点在目标坐标系上的坐标值获取第一目标顶点和第二目标顶点。
包裹尺寸获取模块400，用于获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
具体的，根据旋转后的点云，查找待测包裹对应的第一目标顶点和第二目标顶点后，根据第一目标顶点的坐标和第二目标顶点的坐标进行计算，获得待测包裹的体积。
本实施例中，当使用深度相机或者移动终端的深度摄像头进行拍摄获取目标点云时，目标坐标系为相机坐标系，当使用激光雷达扫描获取目标点云时，目标坐标系为以激光雷达中心为原点建立的世界坐标系。本发明能够避免像现有技术中采用深度直方图的分割方式通过使用在不同深度上的不同阈值，对整体的点云进行分割时很难正确的分割出包裹的顶面与侧面，使得检测到的包裹顶面的面积变大，导致测量出来的待测包裹体积会出现误差甚至错误的情况，本发明通过点云进行平面分割更加准确，在降低了对拍摄角度要求的同时，保证了待测包裹尺寸测量结果的准确性和可靠性。
优选的，可以通过移动终端的深度摄像头对待测包裹进行拍摄得到目标图像，目标图像包括待测包裹的至少两个表面和支持面，目标图像也可以包括待测包裹的至少两个表面和支持面以及其他杂物，为了全方位、完整的采集到目标点云，可以通过移动终端自带的深度摄像头进行采集视频，将采集到的视频进行图像处理获取目标点云，将目标点云进行处理后得到第一目标顶点和第二目标顶点对应的坐标，从而根据第一目标顶点和第二目标顶点对应的坐标计算得到待测包裹的体积。本发明不需要在采集待测包裹时必须位于待测包裹的正上方，因此不需要复杂的布置，丰富了使用场景，不需要新增额外的硬件设施，节省成本。此外，本发明采用移动终端自带的深度摄像头和处理器，造价便宜，成本低的同时，简化待测包裹体积测量的步骤，测量效率高，并且由于待测包裹的体积由移动终端自带的处理器自动完成，操作简单，而且检测结果直观、可靠，测量精度高。因此，本发明能够全自动化的测量出包裹的体积，准确高效，同时也不用安装其他硬件设备，简单方便，用户体验度高。
根据本发明的第八实施例，如图8所示，是上述第七实施例的优化实施例，主要改进在于，所述点云图像处理模块200包括：
支持面方程获取单元210，用于对所述目标点云进行平面拟合，找出所述支持面的平面方程；
具体的，为了找出支持面的平面方程，删除对支持面对应的点云，可以对目标点云进行平面拟合，创建一个模型参数对象，即代表支持面的平面方程，例如支持面P的表达式为ax+by+cz+d＝0，其中F(a，b，c)为支持面的法向量。然后采用随机采样法输入被分割后的目标点云中的点云数据，根据代表支持面的平面方程分割目标点云查找得到支持面的点云。例如：
S1、从被分割后的目标点云中的所有点云数据中随机选择三个不共线的点云数据，根据这三个随机获取的点云数据拟合生成一个平面N1，计算在容忍误差内满足这个平面N1的点云数据的数量为S1；
S2、重新再随机选取三个不共线的点云数据，根据这三个重新随机获取的点云数据拟合生成一个平面N2，计算在容忍误差内满足这个平面N2的点云数据的数量为S2，判断S2是否大于S1，如果大于则记录平面N2；
S3、循环反复执行步骤S2，当迭代即反复次数达到预设迭代次数时，记录在容忍误差内在平面Ni(i∈N，N≧1)的点云数据的数量最大的平面为支持面P，根据平面Ni(i∈N，N≧1)的点云数据建立支持面的平面方程，支持面P对应的平面方程为ax+by+cz+d＝0，从而根据该支持面的平面方程进行删除对应的支持面的点云。
也可以采用栅格高度差方法，基于栅格内点的高度信息来进行点分类，找到栅格内最低点，并储存其高度h1，找到栅格内点高度小于h1+n对应的点云分类为支持面如地面对应的点云；n可以取值为0.2mm，大于0.2mm的可能是待测包裹对应的点云，这种方式只有在最低点是真实地面时查找到的支持面对应的点云时比较准确，当最低点不是真实地面时会有误差。
还可以采用平均高度方法，平均高度方法基于假设预处理分割后得到点中地面点为绝大部分点，从而可根据平均高度作为进一步滤波，即栅格最低点高度以上0.2mm方法分割出地面点，计算得到地面点的平均高度h2，以平均高度h2为阈值再进行分割，找到栅格内点高度小于h2对应的点云分类为支持面如地面对应的点云；大于平均高度h2的可能是待测包裹对应的点云，这种方式只有在最低点是真实地面时查找到的支持面对应的点云比较准确，当最低点不是真实地面时会有误差。上述栅格高度差方法和平均高度方法均能简化查找支持面对应的点云的繁琐计算步骤，如果地面是支持面时，且待测包裹与地面之间贴合程度不大于高度h1或者高度h2时可以采用上述栅格高度差方法和平均高度方法进行查找支持面对应的支持面的点云，以便加快查找并删除支持面对应的点云的速率，从而提升待测包裹尺寸测量的效率。
支持面点云删除单元220，用于根据所述支持面的平面方程，查找并删除所述支持面对应的点云。
具体的，本发明将代表地面或者桌面等放置平台的支持面对应的点云删除，能够使得支持面上的所有物体对应的点云相互独立，不再相互连通，便于后续对待测包裹或者其他物品对应的点云进行聚合、分类、识别和跟踪。事先滤波删除能够降低因为点云互通导致的分割干扰，降低分类识别误差，提升待测包裹的尺寸测量精准度和可靠性
根据本发明的第九实施例，如图9所示，是上述第七实施例的优化实施例，主要改进在于，所述目标顶点查找模块300包括：
包裹点云获取单元310，用于对删除所述支持面对应的点云后的目标点云进行聚类，获取所述待测包裹对应的第一目标点云；
具体的，由于获取的目标点云包括待测包裹的相邻表面对应的点云和支持面对应的点云，但是也有可能获取的目标图像中包括杂物(几毫米贴附在待测包裹表面的贴纸，胶带等可以忽略的物品外)。如果获取的目标图像中不包括杂物，则对删除支持面对应的点云后的目标点云进行聚类以及拟合，从而分隔出待测包裹对应的第一目标点云。
如果获取的目标图像中包括杂物(如垃圾桶、扫把等等物品)时，那么需要将删除支持面对应的点云后的目标点云进行聚类，通常使用聚类方法进行获取待测包裹对应的第一目标点云和杂物对应的点云，将待测包裹对应的第一目标点云和杂物对应的点云进行拟合得到对应的拟合点云，就能识别出哪个拟合点云是杂物对应的杂物拟合表面，以及识别出哪个拟合点云是待测包裹的对应的拟合表面，从而根据识别结果删除杂物对应的点云，从而分隔出待测包裹对应的第一目标点云然后将待测包裹对应的第一目标点云。
本发明能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性。
包裹表面拟合单元320，用于对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
具体的，获取到待测包裹对应的第一目标点云后，对第一目标点云进行平面拟合，获取待测包裹的第一表面对应的第一点云表面，以及待测包裹的第二表面对应的第二点云表面，第一点云表面与第二点云表面相邻并垂直。例如，使用平面拟合的方法，拟合出第一目标点云O1中最大平面P1对应的第一点云表面P1′，平面P1为包裹的第一表面；第一平面P1对应的第一点云表面P1′的表达式为a1x+b1y+c1z+d1＝0；其中F1(a1，b1，c1)为第一点云表面P1′平面的法向量。同样，使用平面拟合的方法，拟合出第一目标点云O1的第二大平面P2对应的第二点云表面P2′，平面P2为包裹的第二表面，第二点云表面P2′的表达式为a2x+b2y+c2z+d2＝0，其中F2(a2，b2，c2)为第二点云表面P2′的法向量，第一点云表面P1′与第二点云表面P2′相邻并垂直。
第一目标点云旋转单元330，用于旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
第二目标点云旋转单元340，用于旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云；
目标顶点获取单元350，用于根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值。
具体的，获取到待测包裹的第一表面P1对应的第一点云表面P1′，以及待测包裹的第二表面P2对应的第二点云表面P2′后，如图4所示，旋转第一目标点云O1，使得第一点云表面P1′与目标坐标系如相机坐标系的第一坐标轴平行，得到旋转后的第二目标点云O2，旋转第二目标点云O2，使得第二点云表面P2′与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云O3，根据第三目标点云O3查找第一目标顶点和第二目标顶点，第一目标顶点的坐标，分别对应了旋转后的第三目标点云O3在目标坐标系中XYZ轴值的最大值，第二目标顶点的坐标，分别对应了旋转后的第三目标点云O3在所述目标坐标系中XYZ轴值最小的最小值。当第一坐标轴为X轴时，第二坐标值就是Y轴或者Z轴，当第一坐标轴为Y轴时，第二坐标轴就是X轴或者Z轴，当第一坐标轴为Z轴时，第二坐标轴就是X轴或者Y轴。
本发明为了检测待测包裹的体积，首先，需要将待测包裹从背景环境中分割出来，为了避免现有技术由于使用了深度直方图的分割方法而导致的测量误差，在待测包裹的背景环境分割上，本发明使用了通过平面分割与以欧式距离为阈值的三维聚类分割方法。首先，使用平面分割方法，拟合出目标点云中的最大的平面，此最大的平面即为包裹物体的支持面(地面或者放置平台)，将位于此平面上的所有点从目标点云中去除，使得所有位于支持面上的物体相互独立开来，避免了在使用聚类方法分割时，支持面所带来的干扰，由于在三维空间中，所有物体已经不再相连，此时可以认为最大的聚类即为待检测的包裹，此时分割出来的点云相较于现有技术，更加准确。由于在删除了支持面使得空间物体不再相连，从而能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性。此外，由于本发明使用了更加准确的分割方法，本发明在降低了对拍摄角度要求的同时，保证了测量结果的准确。
根据本发明的第十实施例，如图10，图11和图12所示，是上述第九实施例的优化实施例，主要改进在于，如图10所示，所述包裹点云获取单元310包括：
点云筛选子单元311，用于根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的对应的点云集；
具体的，通常根据欧几里德度量(欧几里得度量是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度，在二维和三维空间中的欧氏距离的就是两点之间的实际距离)，使用Kd树或者八叉树的搜索方法筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到待测包裹对应的第一目标点云，例如，根据欧几里德度量在5mm-10mm进行聚类找到的数据点集合就是待测包裹的第一目标点云，聚类小于5mm或者大于10mm找到的数据点集合就是杂物对应的点云，从而能够根据聚类拟合识别出待测包裹对应的第一目标点云，从而避免杂物对应的点云造成包裹体积计算的干扰，提升了待测包裹体积计算的准确性和鲁棒性。
包裹点云获取子单元312，用于获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一点云；
具体的，为了便于快速、准确的查找获取得到待测包裹的第一目标点云，一般在获取目标点云时，需要用户使用相机(包括深度相机或者移动终端的深度摄像头等等)或者激光雷达距离待测包裹的距离达到预设距离，使得待测包裹在图像中占据的空间最大，待测包裹和其他物品并排放置时，需要用户使用的深度相机或者移动终端的深度摄像头的光心离待测包裹较近，使得待测包裹在成像平面中空间最大，这样就能够在聚类获取待测包裹的点云集时直接确定尺寸最大的点云集就是待测包裹的点云集，减少判断确定待测包裹点云集的时间，从而间接提升待测包裹尺寸测量的效率。
如图11所示，所述第一目标点云旋转单元330包括：
第一夹角获取子单元331，用于计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
第一目标点云旋转子单元332，用于根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
具体的，延续第三实施例中图4所述的例子继续进行说明，获取第一点云表面P1′的法向量，在相机坐标系空间中，旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行，从而获得第二目标点云O2；
可以通过反复旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行。
也可以直接根据第一点云表面P1′的法向量F1(a1，b1，c1)与相机坐标系Z轴(0，0，1)之间的夹角θz旋转第一目标点云O1，使第一点云表面P1′与相机坐标系的Z轴平行；其中，第一点云表面P1′的法向量与相机坐标系Z轴之间的夹角通过第一夹角旋转第一目标点云能够加快第一目标点云与目标坐标系朝向相符的速率，从而提升寻找第一目标顶点和第二目标顶点的效率。
如图12所示，所述第二目标点云旋转单元340包括：
第二夹角获取子单元341，用于计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
第二目标点云旋转子单元342，用于根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云。
具体的，延续第三实施例中图4所述的例子继续进行说明，获取第二点云表面P2′的法向量，在相机坐标系空间中，旋转第二目标点云O2，使第二点云表面P1′与相机坐标系的Y轴平行，从而获得第三目标点云O3；
可以通过反复旋转第二目标点云O2，使第二点云表面P2′与相机坐标系的Y轴平行。
也可以直接根据第二点云表面P2′的法向量F2(a2，b2，c2)与相机坐标系Y轴(0，1，0)之间的夹角θY旋转第二目标点云O2，使第二点云表面P2′与相机坐标系的Y轴平行；其中，第二点云表面P2′的法向量与相机坐标系Y轴之间的夹角通过第二夹角旋转第二目标点云能够加快第一目标点云与目标坐标系朝向相符的速率，从而提升寻找第一目标顶点和第二目标顶点的效率。
具体的，通过上述第一夹角获取子单元331，第一目标点云旋转子单元332，第二夹角获取子单元341，第二目标点云旋转子单元342，使得第三目标点云O3在空间中将处于与目标坐标系如相机坐标系对齐的状态，当目标坐标系为相机坐标系时，使得相机的姿态与第三目标点云O3的姿态相同。根据第三目标点云O3，分别找出其在相机坐标系(X，Y，Z)轴上的第一目标顶点即最大值点max_point_AABB和第二目标顶点即最小值点min_point_AABB。本发明由于找到的第一目标顶点和第二目标顶点分别是矩形形状的待测包裹映射在目标坐标系上的XYZ坐标最大的顶点和XYZ坐标最小的顶点，因此，可以直接根据第一目标顶点的坐标值和第二目标顶点的坐标值来进行计算待测包裹的体积，从而简化运算流程，提升待测包裹尺寸测量的效率。
根据本发明的第十一实施例，如图13所示，是上述第七实施例的优化实施例，主要改进在于，所述包裹尺寸获取模块400包括：
目标顶点坐标获取单元410，用于获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
具体的，查找到的第一目标顶点的坐标，分别对应了旋转后的点云在目标坐标系中XYZ轴值的最大值，第二目标顶点的坐标，分别对应了旋转后点云在目标坐标系中XYZ轴值最小的最小值。例如，获取第一目标顶点的坐标值(XA，YA，ZA)，以及第二目标顶点的坐标(XB，YB，ZB)，即XA在目标坐标系中的X轴上的坐标值最大，YA在目标坐标系中的X轴上的坐标值最大，ZA在目标坐标系中的X轴上的坐标值最大，XB在目标坐标系中的X轴上的坐标值最小，YB在目标坐标系中的X轴上的坐标值最小，ZB在目标坐标系中的X轴上的坐标值最小。
长度运算单元420，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
宽度运算单元430，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
高度运算单元440，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
体积运算单元450，用于将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
具体的，根据第一目标顶点的坐标(XA，YA，ZA)和第二目标顶点的坐标(XB，YB，ZB)计算待测包裹的长度L＝max_point_XA-min_point_XB，以及宽度W＝max_point_YA-min_point_YB和高度H＝max_point_ZA-min_point_ZB。
也可以根据下列公式计算待测包裹的长宽高，例如以及宽度和高度
计算得到待测包裹的长宽高后，根据体积公式计算得到待测包裹的体积S＝L×W×H。
根据本发明提供的第十二实施例，一种基于点云图的包裹尺寸测量系统，还包括：
点云稀疏处理模块，用于对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
本实施例是上述第一实施例至第五实施例的优化实施例，具体的，本实施例中，点云稀疏处理模块分别与点云图像获取模块100和点云图像处理模块200连接。为了减少计算获取待测包裹的尺寸的时间，并且由于处理目标点云时，并不需要过高的分辨率，因此在对目标点云进行分割之前，可以对目标点云中的点云进行稀疏处理，这样就可以适当的减少点云数据的处理量，避免点云的数量过多，从而提升计算的效率的同时，并不显著的降低测量精度。对目标点云进行稀疏处理的程度可以依据保障目标点云中的物品形状在大小保持不变的情况下，滤除冗杂点云(包括干扰点云、噪声点云等等)，从而使得待测包裹尺寸测量在保持精度的情况下，加快计算速度，提高计算效率。
优选的，上述第一至第十二实施例中，本发明可以部署在手持移动终端上，该移动终端可以集成或者外接双目相机以及深度相机或者深度摄像头等等。该移动终端可以运行android系统，本发明通过android系统的App形式，快速部署在移动终端上。通过使用者对待测包裹的扫描，实时给出相应包裹的体积信息。由于体积的限制，集成在移动终端上的双目相机或是深度相机或者深度摄像头可能存在测量上的限制，此时可以通过外接更大的相机或摄像头，满足大体积的待测包裹的尺寸测量需要。
本发明第十三实施例，一种存储介质，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现下述步骤：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
较佳的，在上述基础上，本发明存储介质的另一实施例，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现任一图2至图6所述的包裹体积的测量方法实施例的步骤。
本发明所述的包裹体积的测量方法的步骤可参见前面的方法实施例部分，为减少重复，此处不再赘叙。
本发明第十四实施例，如图14所示，一种移动终端，包括：
存储介质1，存储多条指令；
摄像头2，实现所述存储介质1储存的对应的摄像头执行指令；
处理器3，实现所述存储介质1储存的对应的处理器执行指令；
其中：所述摄像头2和所述处理器3用于执行所述存储介质1存储的指令，以实现下述步骤：
所述摄像头3用于执行所述存储介质1存储的摄像头执行指令，以实现下述步骤：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
所述处理器2用于执行所述存储介质1存储的摄像头执行指令，以实现下述步骤：
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
具体的，本实施例中，移动终端包括：存储器1,、一个或多个(图中仅示出一个)处理器3，一个或多个(图中仅示出一个)摄像头2，一个或多个摄像头；这些组件通过一条或多条通讯总线信号线相互通讯。
较佳的，在上述基础上，本发明移动终端的另一实施例，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现任一图2至图6所述的包裹体积的测量方法实施例的步骤。
摄像头可以是深度相机，双目相机或者深度摄像头等等。可以理解，图14所示的结构仅仅为示意，并不是对移动终端的结构造成限定，移动终端还可以包括比图14所示更多或者更少的组件，或者具有与图14所示不同的装置。图14所示的各组件可以采用硬件、软件或其组合实现。
较佳的，在上述基础上，本发明移动终端的另一实施例，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现任一图2至图6所述的包裹体积的测量方法实施例的步骤。
本发明所述的包裹体积的测量方法的步骤可参见前面的方法实施例部分，为减少重复，此处不再赘叙。
存储器可用于存储软件程序以及模块，如本发明实施例中的包裹体积的测量方法及系统实施例对应的程序指令/模块，处理器通过允许存储在存储器内的软件程序/模块，从而执行各种功能应用以及数据处理，即实现上述的包裹体积的测量方法/系统。
存储器可包括高速随机存储器，还可包括非易失性存储器，比如一个或多个磁性存储装置、闪存或者其他非易失性固态存储器。所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
处理器运行存储器内的各种软件、指令一致性移动终端的各种功能以及进行数据处理。摄像头用于拍摄视频，相当于是移动终端的眼睛，比如采用CCD摄像头等。
本发明实施例中，包裹体积的测量方法及系统、存储介质与移动终端属于同一构思，在移动终端上，通过处理器执行存储介质中存储的指令，可以运行相应的包裹体积的测量方法实施例中提供的方法，其具体实现过程详见前面的包裹体积的测量方法实施例，此处不再赘述。
需要说明的是，本领域普通测试人员可以理解实现本发明实施例包裹体积的测量方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，如存储在移动终端的存储器中，并被该移动终端内的至少一个处理器执行，在执行过程中可包括如包裹体积的测量方法实施例的流程。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种基于点云图的包裹尺寸测量方法，其特征在于，包括步骤：
S1000获取目标点云，所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
S3000对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
2.根据权利要求1所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S2000分割所述目标点云，删除所述目标点云中所述支持面对应的点云具体包括步骤：
S2100对所述目标点云进行平面拟合，找出所述支持面的平面方程；
S2200根据所述支持面的平面方程，查找并删除所述支持面对应的点云。
3.根据权利要求1所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S3000具体包括步骤：
S3100对删除所述支持面对应的点云后的目标点云进行聚类，获得所述待测包裹对应的第一目标点云；
S3200对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
S3300旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
S3400旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第目标三点云；
S3500根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值。
4.根据权利要求3所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S3100对删除所述支持面对应的点云后的目标点云进行聚类，获得所述待测包裹对应的第一目标点云具体包括步骤：
S3110根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的点云集；
S3120获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一目标点云。
5.根据权利要求3所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S3300旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云具体包括步骤：
S3310计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
S3320根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
所述步骤S3400旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云具体包括步骤：
S3410计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
S3420根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云。
6.根据权利要求1所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S4000获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积具体包括步骤：
S4100获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
S4200计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
S4300计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
S4400计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
S4500将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
7.根据权利要求1-6任一项所述的基于点云图的包裹尺寸测量方法，其特征在于，所述步骤S1000获取目标点云之后，所述步骤S2000分割所述目标点云，删除所述目标点云中的所述支持面对应的点云之前包括步骤：
S1001对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
8.一种基于点云图的包裹尺寸测量系统，其特征在于，包括：
点云图像获取模块，用于获取目标点云；所述目标点云包括所述待测包裹的至少两个表面对应的点云以及支持面对应的点云，所述至少两个表面相邻，所述支持面为所述待测包裹放置的表面；
点云图像处理模块，用于分割所述目标点云，删除所述目标点云中所述支持面对应的点云；
目标顶点查找模块，用于对删除所述支持面对应的点云后的目标点云进行聚类，从而分隔出所述至少两个表面对应的点云，旋转所述至少两个表面对应的点云，使得所述至少两个表面对应的点云与目标坐标系朝向相符，根据旋转后的点云中查找所述待测包裹对应的第一目标顶点和第二目标顶点；所述第一目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标分别对应了所述旋转后的点云在所述目标坐标系中XYZ轴值的最小值；
包裹尺寸获取模块，用于获取所述第一目标顶点和第二目标顶点对应的坐标，根据所述坐标计算所述待测包裹的体积。
9.根据权利要求8所述的基于点云图的包裹尺寸测量系统，其特征在于，所述点云图像处理模块包括：
支持面方程获取单元，用于对所述目标点云进行平面拟合，找出所述支持面的平面方程；
支持面点云删除单元，用于根据所述支持面的平面方程，查找并删除所述支持面对应的点云。
10.根据权利要求8所述的基于点云图的包裹尺寸测量系统，其特征在于，所述目标顶点查找模块包括：
包裹点云获取单元，用于对删除所述支持面对应的点云后的目标点云进行聚类，获取所述待测包裹对应的第一目标点云；
包裹表面拟合单元，用于对所述第一目标点云进行平面拟合，获取所述待测包裹的第一表面对应的第一点云表面，以及所述待测包裹的第二表面对应的第二点云表面；所述第一点云表面与所述第二点云表面相邻并垂直；
第一目标点云旋转单元，用于旋转所述第一目标点云，使得所述第一点云表面与目标坐标系的第一坐标轴平行，得到旋转后的第二目标点云；
第二目标点云旋转单元，用于旋转所述第二目标点云，使得所述第二点云表面与目标坐标系的第二坐标轴平行，得到旋转后的第三目标点云；
目标顶点获取单元，用于根据所述第三目标点云，查找所述第一目标顶点和所述第二目标顶点；所述第一目标顶点的坐标的坐标分别对应了所述旋转后的第三目标点云在所述目标坐标系中XYZ轴值的最大值，所述第二目标顶点的坐标的坐标分别对应了所述旋转后第三目标点云在所述目标坐标系中XYZ轴值的最小值。
11.根据权利要求10所述的基于点云图的包裹尺寸测量系统，其特征在于，所述包裹点云获取单元包括：
点云筛选子单元，用于根据预设算法，筛选与预设查询点之间的距离满足预设距离阈值的目标点，得到包含所述待测包裹点云的对应的点云集；
包裹点云获取子单元，用于获取所述点云集中点云最大的点云群组为所述待测包裹对应的第一目标点云。
12.根据权利要求11所述的基于点云图的包裹尺寸测量系统，其特征在于，所述第一目标点云旋转单元包括：
第一夹角获取子单元，用于计算所述第一点云表面对应的法向量与所述目标坐标系的第一坐标轴之间的第一夹角；
第一目标点云旋转子单元，用于根据所述第一夹角旋转所述第一目标点云，使得所述第一点云表面与所述第一坐标轴平行，得到所述第二目标点云；
所述第二目标点云旋转单元包括：
第二夹角获取子单元，用于计算所述第二点云表面对应的法向量与所述目标坐标系的第二坐标轴之间的第二夹角；
第二目标点云旋转子单元，用于根据所述第二夹角旋转所述第二目标点云，使得所述第二点云表面与所述第二坐标轴平行，得到所述第三目标点云。
13.根据权利要求8所述的基于点云图的包裹尺寸测量系统，其特征在于，所述包裹尺寸获取模块包括：
目标顶点坐标获取单元，用于获取第一目标顶点的坐标值，以及第二目标顶点的坐标值；
长度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的X轴上的差值，得到所述待测包裹的长度；
宽度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Y轴上的差值，得到所述待测包裹的宽度；
高度运算单元，用于计算所述第一目标顶点和所述第二目标顶点在所述目标坐标系的Z轴上的差值，得到所述待测包裹的高度；
体积运算单元，用于将所述长度、宽度和高度代入体积公式得到所述待测包裹的体积。
14.根据权利要求8-13任一项所述的基于点云图的包裹尺寸测量系统，其特征在于，还包括：
点云稀疏处理模块，用于对所述目标点云中的点云进行稀疏处理，过滤所述目标点云中的冗杂点云。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述多条指令被一个或者多个处理器执行，以实现权利要求1-7中任一项所述的基于点云图的包裹尺寸测量方法的步骤。
16.一种移动终端，其特征在于，包括：
存储介质，存储多条指令；
摄像头，实现所述存储介质储存的对应的摄像头执行指令；
处理器，实现所述存储介质储存的对应的处理器执行指令；
其中：所述摄像头和所述处理器用于执行所述存储介质存储的指令，以实现权利要求1-7任一项所述的基于点云图的包裹尺寸测量方法的步骤。
CN201810456628.0A 2018-05-14 2018-05-14 一种包裹尺寸测量方法、系统、储存介质及移动终端 Pending CN108648230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810456628.0A CN108648230A (zh) 2018-05-14 2018-05-14 一种包裹尺寸测量方法、系统、储存介质及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810456628.0A CN108648230A (zh) 2018-05-14 2018-05-14 一种包裹尺寸测量方法、系统、储存介质及移动终端

Publications (1)

Publication Number Publication Date
CN108648230A true CN108648230A (zh) 2018-10-12

Family

ID=63755343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810456628.0A Pending CN108648230A (zh) 2018-05-14 2018-05-14 一种包裹尺寸测量方法、系统、储存介质及移动终端

Country Status (1)

Country Link
CN (1) CN108648230A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109663743A (zh) * 2018-12-28 2019-04-23 北海绩迅电子科技有限公司 一种称重分拣机和称重分拣控制方法
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN110136193A (zh) * 2019-05-08 2019-08-16 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
CN110301801A (zh) * 2019-07-04 2019-10-08 深圳市智和创兴科技有限公司 一种带新型智能分拣机构的智能信箱
CN110349205A (zh) * 2019-07-22 2019-10-18 杭州光珀智能科技有限公司 一种物体体积的测量方法及装置
CN110987103A (zh) * 2019-12-20 2020-04-10 三一重机有限公司 一种液面测量方法、装置及工程机械
CN111307037A (zh) * 2020-04-14 2020-06-19 深圳市异方科技有限公司 一种基于3d摄像头的手持体积测量装置
CN111353736A (zh) * 2020-01-02 2020-06-30 深圳市汇川技术股份有限公司 库存量计算方法、系统、设备及计算机可读存储介质
CN111397560A (zh) * 2020-03-06 2020-07-10 深圳力合精密装备科技有限公司 获取方槽理论值的方法、装置、计算机设备及存储介质
CN111666935A (zh) * 2019-03-06 2020-09-15 北京京东尚科信息技术有限公司 物品中心定位方法、装置以及物流系统和存储介质
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN111982009A (zh) * 2020-02-26 2020-11-24 深圳市安达自动化软件有限公司 一种拉杆箱3d尺寸检测系统及方法
CN112013784A (zh) * 2019-05-28 2020-12-01 深圳中科飞测科技有限公司 一种检测方法和检测系统
CN112710227A (zh) * 2019-10-24 2021-04-27 浙江舜宇智能光学技术有限公司 箱体体积测量方法及其系统
CN112991428A (zh) * 2019-12-02 2021-06-18 顺丰科技有限公司 箱体体积测量方法、装置、计算机设备和存储介质
CN113034619A (zh) * 2021-04-23 2021-06-25 中科微至智能制造科技江苏股份有限公司 包裹信息测量方法、装置及存储介质
CN113280733A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种基于激光雷达的货车车厢容积测量方法及系统
CN113313710A (zh) * 2021-07-28 2021-08-27 浙江华睿科技股份有限公司 质量检测方法及系统、电子设备、存储介质
CN113418467A (zh) * 2021-06-16 2021-09-21 厦门硅谷动能信息技术有限公司 基于ToF点云数据检测一般及黑色行李尺寸的方法
CN113538554A (zh) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 基于深度相机的体积测量方法、系统、设备及存储介质
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114396875A (zh) * 2022-01-18 2022-04-26 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
EP4160532A4 (en) * 2020-06-03 2023-12-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. OBJECT MEASUREMENT METHOD AND APPARATUS, VIRTUAL OBJECT PROCESSING METHOD AND APPARATUS, ELECTRONIC MEDIUM AND DEVICE
WO2024088251A1 (zh) * 2022-10-24 2024-05-02 顺丰科技有限公司 包裹尺寸测量方法、装置、计算机设备及存储介质
CN112991428B (zh) * 2019-12-02 2024-09-27 顺丰科技有限公司 箱体体积测量方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN106813568A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 物体测量方法及装置
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
CN107328364A (zh) * 2017-08-15 2017-11-07 顺丰科技有限公司 一种体积、重量测量系统及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN106813568A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 物体测量方法及装置
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
CN107328364A (zh) * 2017-08-15 2017-11-07 顺丰科技有限公司 一种体积、重量测量系统及其工作方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109663743A (zh) * 2018-12-28 2019-04-23 北海绩迅电子科技有限公司 一种称重分拣机和称重分拣控制方法
CN111666935B (zh) * 2019-03-06 2024-05-24 北京京东乾石科技有限公司 物品中心定位方法、装置以及物流系统和存储介质
CN111666935A (zh) * 2019-03-06 2020-09-15 北京京东尚科信息技术有限公司 物品中心定位方法、装置以及物流系统和存储介质
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN109886961B (zh) * 2019-03-27 2023-04-11 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN110136193A (zh) * 2019-05-08 2019-08-16 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
CN112013784A (zh) * 2019-05-28 2020-12-01 深圳中科飞测科技有限公司 一种检测方法和检测系统
CN110301801A (zh) * 2019-07-04 2019-10-08 深圳市智和创兴科技有限公司 一种带新型智能分拣机构的智能信箱
CN110349205A (zh) * 2019-07-22 2019-10-18 杭州光珀智能科技有限公司 一种物体体积的测量方法及装置
CN110349205B (zh) * 2019-07-22 2021-05-28 浙江光珀智能科技有限公司 一种物体体积的测量方法及装置
CN112710227A (zh) * 2019-10-24 2021-04-27 浙江舜宇智能光学技术有限公司 箱体体积测量方法及其系统
CN112991428B (zh) * 2019-12-02 2024-09-27 顺丰科技有限公司 箱体体积测量方法、装置、计算机设备和存储介质
CN112991428A (zh) * 2019-12-02 2021-06-18 顺丰科技有限公司 箱体体积测量方法、装置、计算机设备和存储介质
CN110987103A (zh) * 2019-12-20 2020-04-10 三一重机有限公司 一种液面测量方法、装置及工程机械
CN110987103B (zh) * 2019-12-20 2021-10-29 三一重机有限公司 一种液面测量方法、装置及工程机械
CN111353736A (zh) * 2020-01-02 2020-06-30 深圳市汇川技术股份有限公司 库存量计算方法、系统、设备及计算机可读存储介质
CN111353736B (zh) * 2020-01-02 2024-01-26 深圳市汇川技术股份有限公司 库存量计算方法、系统、设备及计算机可读存储介质
CN111982009A (zh) * 2020-02-26 2020-11-24 深圳市安达自动化软件有限公司 一种拉杆箱3d尺寸检测系统及方法
CN111397560A (zh) * 2020-03-06 2020-07-10 深圳力合精密装备科技有限公司 获取方槽理论值的方法、装置、计算机设备及存储介质
CN111397560B (zh) * 2020-03-06 2021-05-07 深圳力合精密装备科技有限公司 获取方槽理论值的方法、装置、计算机设备及存储介质
CN111307037A (zh) * 2020-04-14 2020-06-19 深圳市异方科技有限公司 一种基于3d摄像头的手持体积测量装置
CN113538554B (zh) * 2020-04-15 2023-10-20 深圳市光鉴科技有限公司 基于深度相机的体积测量方法、系统、设备及存储介质
CN113538554A (zh) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 基于深度相机的体积测量方法、系统、设备及存储介质
EP4160532A4 (en) * 2020-06-03 2023-12-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. OBJECT MEASUREMENT METHOD AND APPARATUS, VIRTUAL OBJECT PROCESSING METHOD AND APPARATUS, ELECTRONIC MEDIUM AND DEVICE
CN113280733A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种基于激光雷达的货车车厢容积测量方法及系统
CN113034619A (zh) * 2021-04-23 2021-06-25 中科微至智能制造科技江苏股份有限公司 包裹信息测量方法、装置及存储介质
CN113418467A (zh) * 2021-06-16 2021-09-21 厦门硅谷动能信息技术有限公司 基于ToF点云数据检测一般及黑色行李尺寸的方法
CN113313710B (zh) * 2021-07-28 2021-11-23 浙江华睿科技股份有限公司 质量检测方法及系统、电子设备、存储介质
CN113313710A (zh) * 2021-07-28 2021-08-27 浙江华睿科技股份有限公司 质量检测方法及系统、电子设备、存储介质
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114396875A (zh) * 2022-01-18 2022-04-26 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN114396875B (zh) * 2022-01-18 2023-11-10 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
WO2024088251A1 (zh) * 2022-10-24 2024-05-02 顺丰科技有限公司 包裹尺寸测量方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN108648230A (zh) 一种包裹尺寸测量方法、系统、储存介质及移动终端
CN109029253B (zh) 一种包裹体积测量方法、系统、储存介质及移动终端
CN109272547A (zh) 一种包裹外接体积测量方法、系统、存储介质及移动终端
EP2272050B1 (en) Using photo collections for three dimensional modeling
CN107862744B (zh) 航空影像三维建模方法及相关产品
CN108416804A (zh) 获取目标物体体积的方法、装置、终端设备及存储介质
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
CN109737874A (zh) 基于三维视觉技术的物体尺寸测量方法及装置
CN105389375B (zh) 一种基于可视域的图像索引设置方法、系统及检索方法
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN104966281B (zh) 多视影像的imu/gnss引导匹配方法
CN107247926B (zh) 一种人体检测方法及装置
CN107134008A (zh) 一种基于三维重建下的动态物体识别的方法及系统
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN115359333A (zh) 基于多种类数据采集设备的多维度信息融合方法
CN114783068A (zh) 姿态识别方法、装置、电子装置和存储介质
CN110505398A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110012236A (zh) 一种信息处理方法、装置、设备和计算机存储介质
CN113345072A (zh) 一种多视角遥感地形影像点云重建方法及系统
CN105783881B (zh) 空中三角测量的方法和装置
CN113379826A (zh) 物流件的体积测量方法以及装置
CN111290437A (zh) 一种无人机巡检轨迹的调整方法和装置
CN114494404B (zh) 物体体积测量方法、系统、装置和介质
CN207258005U (zh) 无人机倾斜摄影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012