CN109886961A - 基于深度图像的中大型货物体积测量方法 - Google Patents

基于深度图像的中大型货物体积测量方法 Download PDF

Info

Publication number
CN109886961A
CN109886961A CN201910237945.8A CN201910237945A CN109886961A CN 109886961 A CN109886961 A CN 109886961A CN 201910237945 A CN201910237945 A CN 201910237945A CN 109886961 A CN109886961 A CN 109886961A
Authority
CN
China
Prior art keywords
point cloud
goods
detected
dimensional
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910237945.8A
Other languages
English (en)
Other versions
CN109886961B (zh
Inventor
隗寒冰
张煜轩
徐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN201910237945.8A priority Critical patent/CN109886961B/zh
Publication of CN109886961A publication Critical patent/CN109886961A/zh
Application granted granted Critical
Publication of CN109886961B publication Critical patent/CN109886961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供的一种基于深度图像的中大型货物体积测量方法,包括步骤:S1:校准深度相机的景深参数;S2至S5:采集含有待测货两相邻面的三维点云场景图;S6:确定基准点云;S7:判断当前基座点云是否能完整复现待测货物表面,若否,进入步骤S8;若能,进入步骤S9;S8:将其他三维点云场景图拟合到基准点云,返回步骤S7;S9:进行降采样处理;S10:利用随机抽样一致性算法对降采样处理后的深度图像进行图像分割;S11:计算被测货物的初始体积;S12:对初始体积进行校正,得到最终的体积;本发明有效解决了对中大型的物流存储柜、货运集装箱等货物箱体的体积测量问题,易于实施和布置,测量快速准确,有效替代手工测量,提高了测量效率。

Description

基于深度图像的中大型货物体积测量方法
技术领域
本发明涉及物流和体积测量技术领域,具体涉及一种基于深度图像的中大型货物体积测量方法。
背景技术
中大型货物在国内物流、港口航运和机场航运的吞吐量非常巨大,且一直呈现高增长姿态。2017年全国港口完成货物吞吐量140.07亿吨,比上年增长6.1%,全国港口完成集装箱吞吐量2.38亿TEU,比上年增长8.3%。在各大快递、航运港口、机场航运的分拣中心,中大型货物、货柜或者集装箱的体积手工测量比较耗时,如何快捷测量中大型货物体积,以便高效合理利用运输空间,从而提高货物运输效率是一大行业难题。
现有计算机视觉领域体积测量方案多基于激光或者光幕扫描,且主要针对小型物流包裹。针对体积较大的货物、物流存储柜、货运集装箱等物流箱体,激光及光幕扫描设备难以合理布置且体积测量精度难以保证。
发明内容
有鉴于此,本发明的目的是提供一种基于深度图像的中大型货物体积测量方法,有效解决了对中大型的物流存储柜、货运集装箱等货物箱体的体积测量问题,易于实时和布置,测量快速准确,有效替代手工测量,提高了测量效率。
本发明提供一种基于深度图像的中大型货物体积测量方法,1.一种基于深度图像的中大型货物体积测量方法,其特征在于:包括步骤:
S1:校准深度相机的景深参数,获得真实景深和深度相机测量景深的校正比值K;
S2:利用深度相机对准待测货物中两相邻面的公共边,获取采集含有待测货物的三维点云场景图;该步骤中采集的三维点云场景图包括两相邻面的公共边和两相邻面的图像区域,所述待测货物为矩形箱体;
其中,若存在已采集的含有待测货物的三维点云场景图,则该步骤中采集的三维点云场景图至少有与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S3:判断已采集的含有待测货物的三维点云场景图是否能够拟合出完整的两相邻面的公共边,若能,则进入步骤S4;若不能,则移动深度相机到对准待测货物的两相邻面的公共边不能拟合的区域的位置,返回步骤S2;
S4:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中其中一个面的深度尺寸h,若能,则进入步骤S5;若不能,则移动深度相机到对准两相邻面中其中一个面的深度尺寸不能拟合的区域的位置,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S4;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S5:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中另一个面的完整表面信息,若能,则进入步骤S6,若不能,则移动深度相机对准待测货物的两相邻面中另一个面的不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S5;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S6:从已经采集到的三维点云场景图中随机选取的一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的坐标系作为基准点云;
S7:判断当前基座点云是否能完整复现待测货物表面,得到含有完整的待测货物的两相邻面的三维点云场景图,若能,则进入步骤S9;若不能,则进入步骤S8;
S8:判断是否还有未用作拟合的含有待测货物的三维点云场景图,若有,则从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图,利用迭代最近点算法,将该三维点云场景图的点云拟合到基准点云下,返回步骤S7;若无,则移动深度相机对准待测货物的两相邻面中不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S3;
S9:对含有完整的待测货物的两相邻面的三维点云场景图进行降采样处理,得到降采样处理后的三维点云场景图;
S10:利用随机抽样一致性算法对降采样处理后的深度图像进行图像分割,得到只包含有待测货物的两相邻面图像区域的三维点云场景图;
S11:找到经过图像分割后的三维点云场景图中待测货物的两相邻面中另一个面的点云的最小包围盒坐标,利用最下包围盒的四个顶点坐标计算得到待测货物的两相邻面中另一个面的表面面积S,再将S与待测货物的两相邻面中其中一个面的深度尺寸h相乘,得到被测货物的初始体积V0
S12:利用校正比值K校正初始体积V0,得到最终的被测货物体积V,其中,校正公式为:
V=K3V0 (1)
进一步,所述步骤S8中利用迭代最近点算法,将该三维点云场景图的点云拟合到基准点云下具体包括:
S81:利用kd-tree数据结构分别搜索在半径为acm范围内点云Q1和点云Qk邻近的三维点云法线集合N1和Nk;其中,Q1为步骤S6中选取出来一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的点云,Qk为步骤S8中从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图的点云;
S82:初始化N1和Nk中法线二范数距离判断阈值d和方向阈值φ;
S83:遍历N1和Nk中所有的法线,找到满足n1i和nkj的距离小于d且n1i和nkj的夹角小于φ的所有的n1i和nkj,其中,n1i表示点云Q1中第i个法线,nkj表示点云Qk中第j个法线;同时满足两个阈值判断条件的所有的n1i和nkj对应的点云Q1和点云Qk中的两个点是一对成功匹配的三维特征点对,即这两个点是含有待测货物的三维点云场景图上的同一点;
S84:根据成功匹配的三维特征点对,利用奇异值分解算法,得到欧式变换矩阵;
S85:利用欧式变换矩阵,将属于点云Qk中的点拟合变换到点云Q1的坐标下,即基准点云下。
进一步,所述步骤S84具体包括步骤:
S841:设定各匹配的三维特征点的误差项为:
ei=pi-(R×qi+t) (2)
其中,ei表示第i个成功匹配的三维特征点对的误差项;pi表示第i个成功匹配的三维特征点对中属于点云Q1的点,qi表示第i个成功匹配的三维特征点对中属于点云Qk的点,欧式变换矩阵为T(R,t),R表示旋转矩阵,t表示平移向量;
S842:根据误差项构建最小二乘问题min(R,t)J,所述最小二乘问题min(R,t)J为使误差项平方和最小的T(R,t),具体为:
其中,||||2表示二范数运算;
S843:计算成功匹配的三维特征点对中属于点云Q1的点的质心p,计算公式为:
计算成功匹配的三维特征点对中属于点云Qk的点的质心q,计算公式为:
其中,n表示成功匹配的三维特征点对总数量;
S844:将质心p和质心q带入(3)式,变换得到R的最优解R*和t的最优解t*,所述R*为:
其中,表示使得f(R)取得最大值所对应变量R的值,Pi=pi-p,Qi=qi-q;在公式(5-1)中
所述t*为:
t*=p-Rq (5-2)
S845:展开f(R),具体如下:
(6-1)式右边第一项与R无关,第二项RTR=I与R无关,因此可将(6-1)式优化为:
设定由于W是3×3的矩阵,对W进行奇异值分解,得到:
W=U∑VT (6-3)
其中,∑为奇异值组成的对角矩阵,对角线元素从大到小排列,而U和V为对角矩阵,当W满稚时,R为R=UVT,得到R,再将R带入(5-2)式,得到t,从而得到欧式变换矩阵T(R,t)。
进一步,所述步骤S85具体为:
令点云Qk与欧式变换矩阵相乘,将属于点云Qk中的点拟合变换到基准点云下。
进一步,所述步骤S9具体包括:将含有完整的待测货物的两相邻面的三维点云场景图经过体素滤波得到三维体素栅格图,然后将三维体素栅格图中每个体素用该体素自身的重心来替代,得到降采样处理后的三维点云场景图;其中,体素自身的重心是指该体素内所有点的重心。
进一步,步骤S91中三维体素栅格图中的体素在X、Y、Z三个坐标轴方向上设置叶子节点大小为1厘米。
进一步,所述步骤S10具体包括步骤:
S101:利用随机抽样一致性算法分割提取出降采样处理后的三维点云场景图中的待测货物的两相邻面图像区域的点云,得到三维点云场景图A;其中,随机抽样一致性算法的点云分割阈值ξ的取值范围为:2厘米≤ξ≤5厘米;
进一步,所述步骤S11中待测货物的两相邻面中另一个面的表面面积S的计算公式为:
其中,(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)分别步骤S11中得到最下包围盒的四个顶点坐标。
进一步,所述步骤S1具体包括步骤:
S11:深度相机采集M个实物的长度,其中,M个实物的真实长度已知;M为正数,且M≥10;
S12:求各个实物真实长度与深度相机采集的该实物的长度的比值;
S13:求步骤S12得到的若干比值的加权平均数,即得到真实景深和深度相机测量景深的校正比值K。
本发明的有益效果:本发明有效解决了对中大型的物流存储柜、货运集装箱等货物箱体的体积测量问题,易于实时和布置,测量快速准确,有效替代手工测量,提高了测量效率。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程示意图;
图2为最小包围盒示意图。
具体实施方式
如图1所示,本发明提供的一种基于深度图像的中大型货物体积测量方法,包括步骤:
S1:校准深度相机的景深参数,获得真实景深和深度相机测量景深的校正比值K;
S2:利用深度相机对准待测货物中两相邻面的公共边,获取采集含有待测货物的三维点云场景图,公共边是两个相邻侧面的重叠部分,为后续将相邻两个侧面拟合到一个点云坐标下,提供了关联的参考依据;该步骤中采集的三维点云场景图包括两相邻面的公共边和两相邻面的图像区域,所述待测货物为矩形箱体;
其中,若存在已采集的含有待测货物的三维点云场景图,则该步骤中采集的三维点云场景图至少有与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S3:判断已采集的含有待测货物的三维点云场景图是否能够拟合出完整的两相邻面的公共边,若能,则进入步骤S4;若不能,则移动深度相机到对准待测货物的两相邻面的公共边不能拟合的区域的位置,返回步骤S2;
S4:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中其中一个面的深度尺寸h,若能,则进入步骤S5;若不能,则移动深度相机到对准两相邻面中其中一个面的深度尺寸不能拟合的区域的位置,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S4;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S5:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中另一个面的完整表面信息,若能,则进入步骤S6,若不能,则移动深度相机对准待测货物的两相邻面中另一个面的不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S5;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;本实施例中,采用目前市场上主流的深度相机(如微软Kinect、英特尔RealSense等)采集待测货物的三维点云场景图,采集时尽量将深度相机与待测货物各侧面对角线交点所在的公共面在同一平面上,且在该平面移动深度相机,使深度相机每次采集的图像既能最大限度的包含更多的待测货物的图像信息,又能方便操作,避免移动无规则,导致重复采集。步骤S3至S5的判断过程可通过简单的人为观察进行粗略判断,并不需要高精度的判断,通过这种简单的人为粗略判断,为后续体积的自动测量缩小了范围,减少了杂物和背景区域,从而减少了开销,提高了测量精度。
S6:从已经采集到的三维点云场景图中随机选取的一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的坐标系作为基准点云;
S7:判断当前基座点云是否能完整复现待测货物表面,得到含有完整的待测货物的两相邻面的三维点云场景图,若能,则进入步骤S9;若不能,则进入步骤S8;
S8:判断是否还有未用作拟合的含有待测货物的三维点云场景图,若有,则从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图,利用迭代最近点算法,将该三维点云场景图的点云拟合到基准点云下,返回步骤S7;若无,则移动深度相机对准待测货物的两相邻面中不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S3;所述步骤S6至S8的判断,是在人为粗略采集含有待测货物的三维点云场景图后,判断是否能精确复现待测货物表面(相邻面中一面的深度和另一面的面积)。
S9:对含有完整的待测货物的两相邻面的三维点云场景图进行降采样处理,得到降采样处理后的三维点云场景图;
S10:利用随机抽样一致性算法对降采样处理后的深度图像进行图像分割,得到只包含有待测货物的两相邻面图像区域的三维点云场景图,得到相邻面中一面的深度和另一面的面积的三维点云场景图,具体地,所述步骤S10包括:
S101:设定最大迭代次数Ⅰ为T1
S102:
a.设定随机抽样一致性算法(RANSAC)分割的模型为平面模型;设定最大迭代次数Ⅱ为T2
b.在降采样处理后的深度图像中点云中随机选取一些点为平面模型内群;
c.把剩余没有选中的点带入平面模型,根据点与平面的距离小于2cm的条件,计算该点是否属于某个内群;
d.记下内群数量;
e.重复步骤b到d,直到达到最大迭代次数ⅡT2
f.比较每个内群中点的数量,数量最多的内群就是我们想要的平面模型;
g.将平面模型从输入点云中滤除,保留剩下的点云;
S102:重复步骤S102,直到达到最大迭代次数ⅠT1
S103:根据相机拍摄时相对地面的高度h’cm,利用直通滤波设定高度方向上的感兴趣区域条件h1≤H≤h2,即将不满足感兴趣区域条件的深度图像区域剔除,h1和h2的设置需保证待测货物区域不被删除的前提下最大限度的删除掉背景区域。
S104:将步骤S102中设计的RANSAC分割模型替换成圆柱状模型,最后保留分割出的柱状点云,虽然待测货物是矩形结构,但是RANSAC算法主要是针对柱状物进行分割,将矩形近似为柱状物,可实现RANSAC算法分割。
S11:找到经过图像分割后的三维点云场景图中待测货物的两相邻面中另一个面的点云的最小包围盒坐标,利用最下包围盒的四个顶点坐标计算得到待测货物的两相邻面中另一个面的表面面积S,再将S与待测货物的两相邻面中其中一个面的深度尺寸h相乘,得到被测货物的初始体积V0;本实施例中,所述最小包围盒坐标采用现有的软件或方法找寻得到,在此不赘述。
S12:利用校正比值K校正初始体积V0,得到最终的被测货物体积V,其中,校正公式为:
V=K3V0 (1)
通过上述方法,有效解决了对中大型的物流存储柜、货运集装箱等货物箱体的体积测量问题,易于实时和布置,测量快速准确,有效替代手工测量,提高了测量效率。现有的利用深度相机测量物体体积的方法,仅能测量小型物体(长度尺寸在1m以下),例如小型的快递包裹等,而中大型货物的长度尺寸往往能达到20m以上,市场上主流的深度相机的测量距离一般在4.5m到5m左右,根本不能测量中大型货物的体积,因此,本申请通过将不同的深度图像拟合到同一基准点云下,可以精确测量中大型货物的体积。
所述步骤S8中利用迭代最近点(ICP,Iterative Closest Point)算法,将该三维点云场景图的点云拟合到基准点云下具体包括:
S81:利用kd-tree数据结构分别搜索在半径为acm范围内点云Q1和点云Qk邻近的三维点云法线集合N1和Nk;其中,Q1为步骤S6中选取出来一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的点云,Qk为步骤S8中从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图的点云;kd-tree,又称k-d树,k-dimensional树的简称,是一种分割k维数据空间的数据结构。
S82:初始化N1和Nk中法线二范数距离判断阈值d和方向阈值φ;本实施例中,d=5cm,φ=5°。
S83:遍历N1和Nk中所有的法线,找到满足n1i和nkj的距离小于d且n1i和nkj的夹角小于φ的所有的n1i和nkj,其中,n1i表示点云Q1中第i个法线,nkj表示点云Qk中第j个法线;同时满足两个阈值判断条件的所有的n1i和nkj对应的点云Q1和点云Qk中的两个点是一对成功匹配的三维特征点对,即这两个点是含有待测货物的三维点云场景图上的同一点;
S84:根据成功匹配的三维特征点对,利用奇异值分解算法,得到欧式变换矩阵;
S85:利用欧式变换矩阵,将属于点云Qk中的点拟合变换到点云Q1的坐标下,即基准点云下。
所述步骤S84具体包括步骤:
S841:设定各匹配的三维特征点的误差项为:
ei=pi-(R×qi+t) (2)
其中,ei表示第i个成功匹配的三维特征点对的误差项;pi表示第i个成功匹配的三维特征点对中属于点云Q1的点,qi表示第i个成功匹配的三维特征点对中属于点云Qk的点,欧式变换矩阵为T(R,t),R表示旋转矩阵,t表示平移向量;
S842:根据误差项构建最小二乘问题min(R,t)J,所述最小二乘问题min(R,t)J为使误差项平方和最小的T(R,t),具体为:
其中,||||2表示二范数运算;
S843:计算成功匹配的三维特征点对中属于点云Q1的点的质心p,计算公式为:
计算成功匹配的三维特征点对中属于点云Qk的点的质心q,计算公式为:
其中,n表示成功匹配的三维特征点对总数量;
S844:将质心p和质心q带入(3)式,具体如下:
由上式变换得到R的最优解R*和t的最优解t*,所述R*为:
其中,表示使得f(R)取得最大值所对应变量R的值,Pi=pi-p,Qi=qi-q;在公式(5-1)中
所述t*为:
t*=p-Rq (5-2)
S845:展开f(R),具体如下:
(6-1)式右边第一项与R无关,第二项RTR=I与R无关,因此可将(6-1)式优化为:
设定由于W是3×3的矩阵,对W进行奇异值分解,得到:
W=U∑VT (6-3)
其中,∑为奇异值组成的对角矩阵,对角线元素从大到小排列,而U和V为对角矩阵,当W满稚时,R为R=UVT,得到R,再将R带入(5-2)式,得到t,从而得到欧式变换矩阵T(R,t)。
所述步骤S85具体为:
令点云Qk与欧式变换矩阵相乘,将属于点云Qk中的点拟合变换到基准点云下。本实施例中,所述点云Qk并不一定只包含一个点云,在实际操作中往往包括若干子点云,同理,所述点云Q1并不一定只包含一个点云,在实际操作中往往包括若干子点云。
点云Qk包括子点云Qk1,Qk2,……,Qkn’,n’表示点云Qk的子点云的总数量,则将属于点云Qk中的点拟合变换到基准点云下,具体如下:
Qk11=Qk1×T(R,t);
Qk12=Qk1×T(R,t);
……
Qk1n’=Qk1×T(R,t);
其中,Qk11,Qk12,……,Qk1n’表示子点云Qk1,Qk2,……,Qkn’拟合变换到基准点云的点云。
所述步骤S9具体包括:将含有完整的待测货物的两相邻面的三维点云场景图经过体素滤波得到三维体素栅格图,然后将三维体素栅格图中每个体素用该体素自身的重心来替代,得到降采样处理后的三维点云场景图;其中,体素自身的重心是指该体素内所有点的重心。这样该体素内所有点都用一个重心点来最终表示,对于所有体素处理后得到的过滤后的点云。针对单幅点数量为307200的深度图像,经过降采样后点数量为32000到36000。
步骤S91中三维体素栅格图中的体素在X、Y、Z三个坐标轴方向上设置叶子节点大小为1厘米。
所述步骤S10具体包括步骤:
S101:利用随机抽样一致性算法分割提取出降采样处理后的三维点云场景图中的待测货物的两相邻面图像区域的点云,得到三维点云场景图A;其中,随机抽样一致性算法的点云分割阈值ξ的取值范围为:2厘米≤ξ≤5厘米;本实施例中,ξ=2厘米
如图2所示,所述步骤S11中待测货物的两相邻面中另一个面的表面面积S的计算公式为:
其中,(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)分别步骤S11中得到最下包围盒的四个顶点坐标。
所述步骤S1具体包括步骤:
S11:深度相机采集M个实物的长度,其中,M个实物的真实长度已知;M为正数,且M≥10;
S12:求各个实物真实长度与深度相机采集的该实物的长度的比值;
S13:求步骤S12得到的若干比值的加权平均数,即得到真实景深和深度相机测量景深的校正比值K。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于深度图像的中大型货物体积测量方法,其特征在于:包括步骤:
S1:校准深度相机的景深参数,获得真实景深和深度相机测量景深的校正比值K;
S2:利用深度相机对准待测货物中两相邻面的公共边,获取采集含有待测货物的三维点云场景图;该步骤中采集的三维点云场景图包括两相邻面的公共边和两相邻面的图像区域,所述待测货物为矩形箱体;
其中,若存在已采集的含有待测货物的三维点云场景图,则该步骤中采集的三维点云场景图至少有与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S3:判断已采集的含有待测货物的三维点云场景图是否能够拟合出完整的两相邻面的公共边,若能,则进入步骤S4;若不能,则移动深度相机到对准待测货物的两相邻面的公共边不能拟合的区域的位置,返回步骤S2;
S4:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中其中一个面的深度尺寸h,若能,则进入步骤S5;若不能,则移动深度相机到对准两相邻面中其中一个面的深度尺寸不能拟合的区域的位置,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S4;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S5:判断已采集的含有待测货物的三维点云场景图是否能拟合出待测货物的两相邻面中另一个面的完整表面信息,若能,则进入步骤S6,若不能,则移动深度相机对准待测货物的两相邻面中另一个面的不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S5;其中,该步骤中采集的新的含有待测货物的三维点云场景图与已采集的含有待测货物的三维点云场景图的其中一张图的待测货物相重叠的部分区域;
S6:从已经采集到的三维点云场景图中随机选取的一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的坐标系作为基准点云;
S7:判断当前基座点云是否能完整复现待测货物表面,得到含有完整的待测货物的两相邻面的三维点云场景图,若能,则进入步骤S9;若不能,则进入步骤S8;
S8:判断是否还有未用作拟合的含有待测货物的三维点云场景图,若有,则从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图,利用迭代最近点算法,将该三维点云场景图的点云拟合到基准点云下,返回步骤S7;若无,则移动深度相机对准待测货物的两相邻面中不能拟合的表面区域,利用深度相机采集新的含有待测货物的三维点云场景图,返回步骤S3;
S9:对含有完整的待测货物的两相邻面的三维点云场景图进行降采样处理,得到降采样处理后的三维点云场景图;
S10:利用随机抽样一致性算法对降采样处理后的深度图像进行图像分割,得到只包含有待测货物的两相邻面图像区域的三维点云场景图;
S11:找到经过图像分割后的三维点云场景图中待测货物的两相邻面中另一个面的点云的最小包围盒坐标,利用最下包围盒的四个顶点坐标计算得到待测货物的两相邻面中另一个面的表面面积S,再将S与待测货物的两相邻面中其中一个面的深度尺寸h相乘,得到被测货物的初始体积V0
S12:利用校正比值K校正初始体积V0,得到最终的被测货物体积V,其中,校正公式为:
V=K3V0 (1)。
2.根据权利要求1所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S8中利用迭代最近点算法,将该三维点云场景图的点云拟合到基准点云下具体包括:
S81:利用kd-tree数据结构分别搜索在半径为acm范围内点云Q1和点云Qk邻近的三维点云法线集合N1和Nk;其中,Q1为步骤S6中选取出来一幅含有待测货物中两相邻面的公共边完整图像或部分图像的三维点云场景图的点云,Qk为步骤S8中从未用作拟合的含有待测货物的三维点云场景图中任意选取一幅含有待测货物的三维点云场景图的点云;
S82:初始化N1和Nk中法线二范数距离判断阈值d和方向阈值φ;
S83:遍历N1和Nk中所有的法线,找到满足n1i和nkj的距离小于d且n1i和nkj的夹角小于φ的所有的n1i和nkj,其中,n1i表示点云Q1中第i个法线,nkj表示点云Qk中第j个法线;同时满足两个阈值判断条件的所有的n1i和nkj对应的点云Q1和点云Qk中的两个点是一对成功匹配的三维特征点对,即这两个点是含有待测货物的三维点云场景图上的同一点;
S84:根据成功匹配的三维特征点对,利用奇异值分解算法,得到欧式变换矩阵;
S85:利用欧式变换矩阵,将属于点云Qk中的点拟合变换到点云Q1的坐标下,即基准点云下。
3.根据权利要求2所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S84具体包括步骤:
S841:设定各匹配的三维特征点的误差项为:
ei=pi-(R×qi+t) (2)
其中,ei表示第i个成功匹配的三维特征点对的误差项;pi表示第i个成功匹配的三维特征点对中属于点云Q1的点,qi表示第i个成功匹配的三维特征点对中属于点云Qk的点,欧式变换矩阵为T(R,t),R表示旋转矩阵,t表示平移向量;
S842:根据误差项构建最小二乘问题min(R,t)J,所述最小二乘问题min(R,t)J为使误差项平方和最小的T(R,t),具体为:
其中,|| ||2表示二范数运算;
S843:计算成功匹配的三维特征点对中属于点云Q1的点的质心p,计算公式为:
计算成功匹配的三维特征点对中属于点云Qk的点的质心q,计算公式为:
其中,n表示成功匹配的三维特征点对总数量;
S844:将质心p和质心q带入(3)式,变换得到R的最优解R*和t的最优解t*,所述R*为:
其中,表示使得f(R)取得最大值所对应变量R的值,Pi=pi-p,Qi=qi-q;在公式(5-1)中
所述t*为:
t*=p-Rq (5-2)
S845:展开f(R),具体如下:
(6-1)式右边第一项与R无关,第二项RTR=I与R无关,因此可将(6-1)式优化为:
设定由于W是3×3的矩阵,对W进行奇异值分解,得到:
W=U∑VT (6-3)
其中,∑为奇异值组成的对角矩阵,对角线元素从大到小排列,而U和V为对角矩阵,当W满稚时,R为R=UVT,得到R,再将R带入(5-2)式,得到t,从而得到欧式变换矩阵T(R,t)。
4.根据权利要求2所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S85具体为:
令点云Qk与欧式变换矩阵相乘,将属于点云Qk中的点拟合变换到基准点云下。
5.根据权利要求1所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S9具体包括:将含有完整的待测货物的两相邻面的三维点云场景图经过体素滤波得到三维体素栅格图,然后将三维体素栅格图中每个体素用该体素自身的重心来替代,得到降采样处理后的三维点云场景图;其中,体素自身的重心是指该体素内所有点的重心。
6.根据权利要求5所述基于深度图像的中大型货物体积测量方法,其特征在于:步骤S91中三维体素栅格图中的体素在X、Y、Z三个坐标轴方向上设置叶子节点大小为1厘米。
7.根据权利要求1所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S10具体包括步骤:
S101:利用随机抽样一致性算法分割提取出降采样处理后的三维点云场景图中的待测货物的两相邻面图像区域的点云,得到三维点云场景图A;其中,随机抽样一致性算法的点云分割阈值ξ的取值范围为:2厘米≤ξ≤5厘米。
8.根据权利要求1所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S11中待测货物的两相邻面中另一个面的表面面积S的计算公式为:
其中,(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)分别步骤S11中得到最下包围盒的四个顶点坐标。
9.根据权利要求1所述基于深度图像的中大型货物体积测量方法,其特征在于:所述步骤S1具体包括步骤:
S11:深度相机采集M个实物的长度,其中,M个实物的真实长度已知;M为正数,且M≥10;
S12:求各个实物真实长度与深度相机采集的该实物的长度的比值;
S13:求步骤S12得到的若干比值的加权平均数,即得到真实景深和深度相机测量景深的校正比值K。
CN201910237945.8A 2019-03-27 2019-03-27 基于深度图像的中大型货物体积测量方法 Active CN109886961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910237945.8A CN109886961B (zh) 2019-03-27 2019-03-27 基于深度图像的中大型货物体积测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910237945.8A CN109886961B (zh) 2019-03-27 2019-03-27 基于深度图像的中大型货物体积测量方法

Publications (2)

Publication Number Publication Date
CN109886961A true CN109886961A (zh) 2019-06-14
CN109886961B CN109886961B (zh) 2023-04-11

Family

ID=66934656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910237945.8A Active CN109886961B (zh) 2019-03-27 2019-03-27 基于深度图像的中大型货物体积测量方法

Country Status (1)

Country Link
CN (1) CN109886961B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110220456A (zh) * 2019-06-26 2019-09-10 浙江大学 一种手持式箱体尺寸测量装置及测量方法
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110686600A (zh) * 2019-11-05 2020-01-14 北京深测科技有限公司 一种基于飞行时间测量的测量方法及系统
CN112161568A (zh) * 2020-09-28 2021-01-01 山东大学 基于多目普通摄像机的大型煤堆体积测量方法
WO2021026797A1 (en) * 2019-08-14 2021-02-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
CN113034619A (zh) * 2021-04-23 2021-06-25 中科微至智能制造科技江苏股份有限公司 包裹信息测量方法、装置及存储介质
US11062521B2 (en) 2019-09-20 2021-07-13 Institute For Information Industry Virtuality-reality overlapping method and system
CN113362385A (zh) * 2021-06-21 2021-09-07 山东产研信息与人工智能融合研究院有限公司 一种基于深度图像的货物体积测量方法及设备
CN113496046A (zh) * 2021-01-18 2021-10-12 图林科技(深圳)有限公司 一种基于区块链的电商物流系统及方法
CN114418475A (zh) * 2021-12-15 2022-04-29 浙江百世技术有限公司 一种用于估算配送快件平均体积的方法、装置及存储介质
CN114998414A (zh) * 2022-06-02 2022-09-02 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质
CN115587073A (zh) * 2022-11-25 2023-01-10 中国外运股份有限公司 图像存储方法、装置、电子设备及可读存储介质
EP4202858A1 (en) * 2021-12-21 2023-06-28 VisionNav Robotics (Shenzhen) Co., Ltd. Method and device for cargo counting, computer equipment, and storage medium
CN117670979A (zh) * 2024-02-01 2024-03-08 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2439487A1 (de) * 2010-10-06 2012-04-11 Sick Ag Volumenmessvorrichtung für bewegte Objekte
WO2013116299A1 (en) * 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
CN103473805A (zh) * 2013-09-18 2013-12-25 内蒙古科技大学 基于改进区域生长算法测量三维重建肝脏模型体积的方法
DE102012220648A1 (de) * 2012-11-13 2014-05-28 Ifm Electronic Gmbh PMD-Kamera mit einer Volumenermittlung
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
CN105303558A (zh) * 2015-09-21 2016-02-03 重庆交通大学 沥青路面混合料摊铺均匀性的实时检测方法
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
US20170230639A1 (en) * 2014-10-21 2017-08-10 Hand Held Products, Inc. Dimensioning system with feedback
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108267083A (zh) * 2017-12-28 2018-07-10 顺丰科技有限公司 一种3d相机体积测量方法及系统
CN108447088A (zh) * 2018-03-21 2018-08-24 轻客智能科技(江苏)有限公司 一种用于快递寄件的体积测量方法及装置
US10074191B1 (en) * 2015-07-05 2018-09-11 Cognex Corporation System and method for determination of object volume with multiple three-dimensional sensors
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108648230A (zh) * 2018-05-14 2018-10-12 南京阿凡达机器人科技有限公司 一种包裹尺寸测量方法、系统、储存介质及移动终端
CN108895961A (zh) * 2018-05-24 2018-11-27 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法、测量设备以及粘贴带
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2439487A1 (de) * 2010-10-06 2012-04-11 Sick Ag Volumenmessvorrichtung für bewegte Objekte
WO2013116299A1 (en) * 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
DE102012220648A1 (de) * 2012-11-13 2014-05-28 Ifm Electronic Gmbh PMD-Kamera mit einer Volumenermittlung
CN103473805A (zh) * 2013-09-18 2013-12-25 内蒙古科技大学 基于改进区域生长算法测量三维重建肝脏模型体积的方法
US20170230639A1 (en) * 2014-10-21 2017-08-10 Hand Held Products, Inc. Dimensioning system with feedback
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
US10074191B1 (en) * 2015-07-05 2018-09-11 Cognex Corporation System and method for determination of object volume with multiple three-dimensional sensors
CN105303558A (zh) * 2015-09-21 2016-02-03 重庆交通大学 沥青路面混合料摊铺均匀性的实时检测方法
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108267083A (zh) * 2017-12-28 2018-07-10 顺丰科技有限公司 一种3d相机体积测量方法及系统
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108447088A (zh) * 2018-03-21 2018-08-24 轻客智能科技(江苏)有限公司 一种用于快递寄件的体积测量方法及装置
CN108648230A (zh) * 2018-05-14 2018-10-12 南京阿凡达机器人科技有限公司 一种包裹尺寸测量方法、系统、储存介质及移动终端
CN108895961A (zh) * 2018-05-24 2018-11-27 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法、测量设备以及粘贴带
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HASAN OCAK ET AL.: "Image processing based package volume detection with Kinect", 《 2015 23ND SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS CONFERENCE (SIU)》 *
张煜轩: "基于点云配准的中大型物体快速体积测量", 《科学大众》 *
李玲玲等: "基于Kinect 2.0深度图像的快速体积测量", 《微型机与应用》 *
陶森柏: "三维可视化体积测量系统的研究与实现", 《中国优秀硕士学位论文全文电子期刊网 信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110220456A (zh) * 2019-06-26 2019-09-10 浙江大学 一种手持式箱体尺寸测量装置及测量方法
WO2021026797A1 (en) * 2019-08-14 2021-02-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
US11062521B2 (en) 2019-09-20 2021-07-13 Institute For Information Industry Virtuality-reality overlapping method and system
CN110686600A (zh) * 2019-11-05 2020-01-14 北京深测科技有限公司 一种基于飞行时间测量的测量方法及系统
CN110686600B (zh) * 2019-11-05 2021-08-06 北京深测科技有限公司 一种基于飞行时间测量的测量方法及系统
CN112161568A (zh) * 2020-09-28 2021-01-01 山东大学 基于多目普通摄像机的大型煤堆体积测量方法
CN113496046B (zh) * 2021-01-18 2024-05-10 华翼(广东)电商科技有限公司 一种基于区块链的电商物流系统及方法
CN113496046A (zh) * 2021-01-18 2021-10-12 图林科技(深圳)有限公司 一种基于区块链的电商物流系统及方法
CN113034619A (zh) * 2021-04-23 2021-06-25 中科微至智能制造科技江苏股份有限公司 包裹信息测量方法、装置及存储介质
CN113362385A (zh) * 2021-06-21 2021-09-07 山东产研信息与人工智能融合研究院有限公司 一种基于深度图像的货物体积测量方法及设备
CN114418475A (zh) * 2021-12-15 2022-04-29 浙江百世技术有限公司 一种用于估算配送快件平均体积的方法、装置及存储介质
EP4202858A1 (en) * 2021-12-21 2023-06-28 VisionNav Robotics (Shenzhen) Co., Ltd. Method and device for cargo counting, computer equipment, and storage medium
CN114998414A (zh) * 2022-06-02 2022-09-02 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质
CN114998414B (zh) * 2022-06-02 2024-08-09 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质
CN115587073A (zh) * 2022-11-25 2023-01-10 中国外运股份有限公司 图像存储方法、装置、电子设备及可读存储介质
CN115587073B (zh) * 2022-11-25 2023-05-05 中国外运股份有限公司 图像存储方法、装置、电子设备及可读存储介质
CN117670979A (zh) * 2024-02-01 2024-03-08 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法
CN117670979B (zh) * 2024-02-01 2024-04-30 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法

Also Published As

Publication number Publication date
CN109886961B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN109886961B (zh) 基于深度图像的中大型货物体积测量方法
CN109541997B (zh) 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN105469388B (zh) 基于降维的建筑物点云配准方法
DE112012005350B4 (de) Verfahren zum Schätzen der Stellung eines Objekts
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN104331699B (zh) 一种三维点云平面化快速搜索比对的方法
CN106373118B (zh) 可有效保留边界和局部特征的复杂曲面零件点云精简方法
US9953110B2 (en) Apparatus and method for interactively extracting shapes from a point cloud
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN111429494B (zh) 一种基于生物视觉的点云高精度自动配准方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN111145129A (zh) 基于超体素的点云去噪方法
CN110047133A (zh) 一种面向点云数据的列车边界提取方法
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
CN115546202B (zh) 一种用于无人叉车的托盘检测与定位方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
Di Angelo et al. A review of computer-based methods for classification and reconstruction of 3D high-density scanned archaeological pottery
CN111028345B (zh) 一种港口场景下圆形管道的自动识别与对接方法
CN113409332A (zh) 一种基于三维点云的建筑物平面分割方法
CN114511546A (zh) 基于dbscan聚类和四象限的激光点云林木胸径获取方法
CN109345571B (zh) 一种基于扩展高斯图像的点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant