CN109059770B - 一种基于tof深度相机的包裹体积测量方法 - Google Patents

Abstract

本发明提供了一种基于TOF深度相机的包裹体积测量方法，其包括：第一步，相关参数校准；第二步，获取TOF深度相机返回的深度图像；第三步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域；第四步，噪声处理；第五步，体积测量。可以有效地解决传送带上包裹堆积的体积计算以及形状不规则的异形包裹体积计算问题，该测量方法准确、有效，可行性强。

Description

一种基于TOF深度相机的包裹体积测量方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于TOF深度相机的包裹体积测量方法。

背景技术

中国快递业已经连续六年每年增长超过50％，中国已成全球第一快递大国。在全球每年约700亿件的快递量中，中国占了300亿件。

在邮局等传统物流分拣中心，分拣量大，包裹种类繁多，在装载过程中出现形状不规则的异形包裹，包裹密集堆积甚至拥挤都是常见的问题，在上述问题下的体积计算是行业一大难题。

随着计算机视觉技术的不断发展，利用计算机或专用硬件设备实现对物体体积测量成为可能，此技术在最近几年快速发展，已经开始进入准确、高效运用阶段。

现在比较有效的包裹体积测量系统对单个规则包裹的体积计算已日趋成熟(图1是不规则堆积情况下的彩色图像，图2为其对应的深度图像)。但在不规则的异形包裹和密集堆积情况下，包裹的体积测量其准确率低且很难满足企业的需要。

发明内容

本发明的目的是为了克服现有技术的不足，提供一种基于TOF深度相机的包裹体积测量方法，可以有效解决的传送带上包裹密集堆积的体积计算以及不规则的异形包裹的体积计算问题，该测量方法准确、有效，可行性强。

为解决上述技术问题，本发明提供了一种基于TOF深度相机的包裹体积测量方法，其包括：

第一步，相关参数校准；

第二步，获取TOF深度相机返回的深度图像；

第三步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域；

第四步，噪声处理；

第五步，体积测量。

所述第一步进一步具体为利用相机捕获传送带的高度值h₀，确定测量的体积和实际体积的比值K，在匀速运动的传送带间歇性地放上若干个规则的物体，经过图像处理后，确定其轮廓及质心，记录其质心在统计区域的次数，对每个包裹通过本方法进行测量得到的体积与其实际体积的比值，并取它们的均值作为K’，这里用这个均值近似作为比值K的参数估计。

所述第二步进一步具体为将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像。

所述第三步进一步具体为提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP。

所述第四步进一步具体为通过图像滤波对热点区域进行去噪声处理。

所述第五步进一步具体为经第二步至第四步获取统计区域DP后，计算实际体积。

所述第一步更进一步具体为：

第1-1步，获取TOF深度相机返回的深度图像，将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

第1-2步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP；

第1-3步，噪声处理，将深度图像进行形态学处理，通过图像滤波对热点区域进行噪声处理；

第1-4步，校零，利用相机捕获传送带的高度值h₀；

第1-5步，准备n个规则的包裹，逐个(等前一个完全经过统计区域后，再放入下一个)放到传送带上；

第1-6步，二值化，以传送带的灰度值为阈值，对DP进行二值化处理。

第1-7步，确定轮廓中心，确定包裹的轮廓点集S，轮廓的中心坐标为

第1-8步，确定K，判断中心是否在统计区域内，若在，计数器递增，若从统计区域消失，记录该包裹测量得到的K值为K_i，重复第1-1步至第1-7步，直至n个包裹全部测试完成，取n个测量值的均值为最终的K值，即：

所述第四步中滤波的具体处理方法为：首先创建5*5大小的滤波结构元，对DP进行中值滤波操作：

g(x，y)＝med{f(x-l，y-m)，(l，m∈E，f(x，y)∈DP)}，其中g(x，y)为处理后的图像单元，E为二维模板。

所述第五步中体积计算的过程包括以下步骤：

第5-1步，提取深度信息。我们利用TOF相机提供的转化函数，提取深度图像DP中的深度信息，从而得到统计区域内各像素点的高度h(x，y)；

第5-2步，获取一个像素点所代表的实际长度，由小孔成像原理，整个相机在不同高度平面成像所代表的实际面积与该平面距相机平面距离的平方成正比，设画幅为c×r，假设相机在水平方向的视角的一半为α，在距相机高度为h的平面，每一个像素点的所代表的实际长度为

所以在深度图像中各点的实际长度为

第5-3步，获得当前帧的测量体积，将统计区域内的每一个体积微元的体积(即传送带以上物体的体积)累加求和得到当前帧的测量体积：

第5-4步，在一段时间(t₀，t₁)内，对经过统计区域的体积微元进行连续求和可以得到一段时间经过统计区域的物体的观测体积V_测，即

传送带在一般的运行情况下是保持匀速的，利用这一特点，每一个体积微元经过统计区域被计算的次数K基本稳定；

第5-5步，利用前述方法测量得到K值，(t₀，t₁)时间内通过统计区域的实际体积V的表达式即为：

本发明的有益效果：

本发明提供一种基于TOF深度相机的包裹体积测量方法，可以有效解决的传送带上包裹密集堆积的体积计算以及不规则异形包裹的体积计算问题，该测量方法准确、有效，可行性强。

附图说明

图1是现有技术测量系统不规则堆积情况下的彩色图像；

图2为现有技术测量系统对应的深度图像。

图3为本发明测量方法流程图；

图4为本发明包裹经过图像处理后的示意图；

图5为本发明包裹深度图像示意图；

图6为提取热点区域示意图；

图7为去噪声处理后的示意图；

图8为K值测量流程图；

图9为TOF相机的视角示意图。

具体实施方式

以下采用实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

图3展示了一种基于TOF深度相机的包裹体积测量方法，S1：相关参数校准，利用相机捕获传送带的高度值h₀；确定观测体积和实际体积的比值K，在匀速运动的传送带间歇性地的放上若干个规则的物体，经过图像处理后，确定其轮廓，如图4所示及质心，记录其质心在统计区域的次数，取均值作为K；S2：获取TOF深度相机返回的深度图像，将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像，如图5所示；S3：提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP，如图6所示；S4：去噪声处理，通过图像滤波对热点区域进行去噪声处理，处理后的统计区域如图7所示；S5：体积测量，经S2-S4获取统计区域DP后，计算实际体积。

其中，K值的测量方法具体如图8所示：第1-1步，获取TOF深度相机返回的深度图像，将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行，电源接通后，由数据控制处理单元发出开启指令，深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像；第1-2步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP；第1-3步，噪声处理，将深度图像进行形态学处理，通过图像滤波对热点区域进行去噪声处理；第1-4步，校零，利用相机捕获传送带的高度值h₀；第1-5步，准备n个规则的包裹，逐个(等一个完全经过统计区域后，再放入另一个)放上传送带；第1-6步，二值化，以传送带的灰度值为阈值，对DP进行二值化处理；第1-7步，确定轮廓中心，确定包裹的轮廓点集S，轮廓的中心坐标为

第1-8步，确定K，判断中心是否在统计区域内，若在，计数器自增，若从统计区域消失，记录该包裹测量得到的K值为K_i，重复第1-1步至第1-7步，直至n个包裹全部测试完成，取n个测量值的均值为最终的K值，即：

体积计算的过程包括：

第5-1步，提取深度信息。我们利用TOF相机提供的转化函数，提取深度图像DP中的深度信息，从而得到统计区域内各像素点的高度h(x，y)；

第5-2步，获取一个像素点所代表的实际长度，由小孔成像原理，整个相机在不同高度平面成像所代表的实际面积与该平面距相机平面距离的平方成正比，TOF相机的视角示意图如图9所示，设画幅为c×r，假设相机在水平方向的视角的一半为α，在距相机高度为h的平面，每一个像素点的所代表的实际长度为

所以在深度图像中各点的实际长度为

第5-3步，获得当前帧的观测体积，将统计区域内的每一个体积微元的体积(即传送带以上物体的体积)累加求和得到当前帧的观测体积：

第5-4步，在一段时间(t₀，t₁)内，对经过统计区域的体积微元进行连续求和可以得到一段时间经过统计区域的物体的观测体积V_测，即

传送带在一般的运行情况下是保持匀速的，利用这一特点，每一个体积微元经过统计区域被计算的次数K基本稳定；

第5-5步，利用前述方法测量得到K值，(t₀，t₁)时间内通过统计区域的实际体积V的表达式即为：

所有上述的首要实施这一知识产权，并没有设定限制其他形式的实施这种新产品和/或新方法。本领域技术人员将利用这一重要信息，上述内容修改，以实现类似的执行情况。但是，所有修改或改造基于本发明新产品属于保留的权利。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (2)

1.一种基于TOF深度相机的包裹体积测量方法，其特征在于，包括：

第一步，相关参数校准；

第二步，获取TOF深度相机返回的深度图像；

第三步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域；

第四步，噪声处理；

第五步，体积测量；

所述第一步更进一步具体为，

第1-1步，获取TOF深度相机返回的深度图像，将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行方向，电源接通后，由数据控制与处理单元发出开启指令，TOF深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

第1-2步，提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP；

第1-3步，噪声处理，将深度图像进行形态学处理，通过图像滤波对热点区域进行噪声处理；

第1-4步，校零，利用TOF深度相机捕获传送带的高度值h₀；

第1-5步，准备n个规则的包裹，逐个放到传送带上，等前一个完全经过统计区域后，再放入下一个；

第1-6步，二值化，以传送带的灰度值为阈值，对DP进行二值化处理；

第1-7步，确定轮廓中心，确定包裹的轮廓点集S,轮廓的中心坐标为

第1-8步，确定K，K为测量的体积和实际体积的比值，判断中心是否在统计区域内，若在，计数器递增，若从统计区域消失，记录该包裹测量得到的K值为K_i，重复第1-1步至第1-7步，直至n个包裹全部测试完成，取n个测量值的均值为最终的K值，即:

所述第二步进一步具体为将TOF深度相机安装在传送带上方，拍摄方向垂直于传送带运行方向，电源接通后，由数据控制与处理单元发出开启指令，TOF深度相机开启，将深度数据流传送到数据控制与处理单元，数据控制与处理单元将深度流转换成深度图像；

所述第三步进一步具体为提取热点区域，并对热点区域数据进行筛选和修正，保留矩形热点区域，选取热点区域中传送带中间的部分作为统计区域DP；

所述第四步进一步具体为通过图像滤波对热点区域进行去噪声处理；

所述第五步进一步具体为经第二步至第四步获取统计区域DP后，计算实际体积；

体积计算的过程包括以下步骤，

第5-1步，提取深度信息，利用TOF深度相机提供的转化函数，提取深度图像DP中的深度信息，从而得到统计区域内各像素点的高度h(x,y)；

第5-2步，获取一个像素点所代表的实际长度，由小孔成像原理，整个TOF深度相机在不同高度平面成像所代表的实际面积与该平面距TOF深度相机平面距离的平方成正比，设画幅为c×r,假设TOF深度相机在水平方向的视角的一半为α，在距TOF深度相机高度为h的平面，每一个像素点的所代表的实际长度为

所以在深度图像中各点的实际长度为

第5-3步，获得当前帧的观测体积，将统计区域内的每一个体积微元的体积累加求和得到当前帧的观测体积：

第5-4步，在一段时间(t₀,t₁)内，对经过统计区域的体积微元进行连续求和可以得到一段时间经过统计区域的物体的观测体积V_测，即

第5-5步，(t₀,t₁)时间内通过统计区域的实际体积V的表达式即为：

2.如权利要求1所述的基于TOF深度相机的包裹体积测量方法，其特征在于：

所述第四步中滤波的具体处理方法为：首先创建5*5大小的滤波结构元，对DP进行中值滤波操作：

g(x,y)＝med{f(x-l,y-m),(l,m∈E,f(x,y)∈DP)}，其中g(x,y)为处理后的图像单元，E为二维模板。

Images