CN112697042B - 手持式tof相机及其强适应包裹体积测量方法 - Google Patents

Abstract

本发明提出手持式TOF相机及其强适应包裹体积测量方法，该方法包括：手持式TOF相机开机，运行包裹体积测量程序；对包裹进行拍照，得到包裹的幅图图像和深度图像；以及对包裹的幅图图像和深度图像进行数据处理，将包裹的体积显示在手持式TOF相机的显示屏上。该手持式TOF相机包括：微处理器、发射模块、接收模块和显示屏；其中，该微处理器上运行有如上所述的包裹体积测量程序。能够很好地适用于包裹的收寄现场的体积测量应用场景。

Description

手持式TOF相机及其强适应包裹体积测量方法

技术领域

本发明涉及物体的体积测量方法，尤其涉及包裹的体积测量方法。

背景技术

包裹体积测量方法在物流货件领域中广泛应用，但市场上的包裹体积测量设备和软件较少，且大多是利用结构光扫描仪对包裹进行扫描。这种测量方法虽然精度较高，但存在测量低效、成本昂贵且需要较多的计算资源等缺陷；另外，这种测量方法通常对环境要求较高，易受环境光或太阳光影响，室外测量效果差。

中国专利CN209745230U公开了一种基于TOF深度相机的包裹体积测量装置，其包括依次排布的上货输送机、测量输送机、下货输送机，测量输送机的两端设有竖直支撑杆和横向支撑杆，横向支撑杆上安装有挑梁，挑梁的端部设有安装架，安装架通过连接件与TOF深度相机相连。这种测量方法，需要将TOF深度相机固定设置在设定位置，令待测的包裹遵照设定的运行轨迹相对于TOF深度相机运动，应用场景受到很大的限制，不能适用于包裹的收寄现场的体积测量应用场景。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提出一种手持式TOF相机及其强适应包裹体积测量方法，能够很好地适用于包裹的收寄现场的体积测量应用场景。

本发明解决其技术问题所采用的技术方案包括：提供一种基于TOF相机的强适应包裹体积测量方法，包括：

手持式TOF相机开机，运行包裹体积测量程序；

对包裹进行拍照，得到包裹的幅图图像和深度图像；以及

对包裹的幅图图像和深度图像进行数据处理，将包裹的体积显示在手持式TOF相机的显示屏上；

其中，所述的包裹体积测量程序执行以下步骤：

判断是否黑色包裹？是的话先进行黑色包裹图像预处理，再进行图像的滤波与矫正预处理；否则的话，跳过黑色包裹图像预处理，直接进行图像的滤波与矫正预处理；

阈值二值化提取包裹轮廓；

倾斜矫正；

根据第一深度与第二深度差得到包裹深度尺寸；

根据包裹轮廓得到包裹长宽尺寸；以及

根据包裹的长宽尺寸和深度尺寸得到包裹体积。

本发明解决其技术问题所采用的技术方案还包括：提供一种手持式TOF相机，包括：微处理器、发射模块、接收模块和显示屏；其中，该微处理器上运行有如上所述的包裹体积测量程序。

与现有技术相比，本发明通过在手持式TOF相机的微处理器上运行包裹体积测量程序，经过一系列的数据处理，能够将测得的包裹的长宽高尺寸及计算得到的体积直接显示在手持式TOF相机的显示屏上，进而能够很好地适用于包裹的收寄现场的体积测量应用场景。

附图说明

图1为手持式TOF相机的结构框图。

图2为强适应包裹体积测量方法的流程图。

图3为包裹幅度图像示例。

图4为包裹深度图像示例。

图5为显示有体积测量结果的包裹幅图图像示例。

图6为对包裹的幅图图像和深度图像进行数据处理的流程图。

图7为弱反光类黑色包裹实物示例。

图8为图7所示包裹的原始深度函数关系。

图9为图7所示包裹的经深度补偿函数处理后的深度函数关系。

图10为图7所示包裹的原始深度图像。

图11为图7所示包裹的经深度补偿处理后的深度图像。

图12为图7所示包裹经二值化处理后的幅图图像。

图13为显示有体积测量结果的图7所示包裹的幅度图像。

图14为强反光类黑色包裹实物示例。

图15为图14所示包裹的原始深度函数关系。

图16为图14所示包裹的经深度补偿函数处理后的深度函数关系。

图17为图14所示包裹的原始深度图像。

图18为图14所示包裹的经深度补偿处理后的深度图像。

图19为图14所示包裹经二值化处理后的幅图图像。

图20为显示有体积测量结果的图14所示包裹的幅度图像。

图21为相机倾斜矫正坐标。

其中，附图标记说明如下：100手持式TOF相机10微处理器20发射模块30接收模块40显示屏50存储器60电池供电单元200待测包裹。

具体实施方式

为了详细说明本发明的构造及特点所在，兹举以下较佳实施例并配合附图说明如下。

参见图1，图1为手持式TOF相机的结构框图。本发明提出一种手持式TOF(Time-of-Flight)相机100，其包括：微处理器10、发射模块20、接收模块30、显示屏40、存储器50和电池供电单元60。

微处理器10是手持式TOF相机100的控制和数据处理中枢。主要作用一是控制光源发出指定的调制波，二是处理感光芯片传回的深度数据，并转化为点云图数据。手持式TOF相机100的微处理器10运行有包裹体积测量程序，能够在对待测包裹200进行拍照的同时，及时得到待测包裹200的长宽高以及体积。包裹体积测量程序在后面会予以详细说明。

发射模块20主要包括红外光源和红外光源驱动。发射模块20需要完成的工作是：由驱动IC负责控制红外光源按指定方式发出调制波，而光源的发光角度由扩散片进行控制。

值得一提的是，发射模块20采用的红外光源是不可见光，波长范围通常在800nm～1550nm之间。具体波长的选择会结合产品设计、器件工艺和应用的场景来确定，以获得最好的成像效果。

为了实现高精度的测量，光源输出需要有良好的波形。目前一般采用VCSEL(Vertical Cavity Surface Emitting Laser，垂直腔面发射激光器)和LED作为发光器件，VCSEL是一种面阵光源，它发出的激光垂直于顶面，具有体积小、易集成和易生产测试等特点，特定的发光角度与接收的图像传感器更匹配。在本实施例中，即是选用VCSEL作为光源，并经过激光人眼安全认证，能够确保对人眼的危害控制在安全范围内。

接收模块30主要包括光学镜头、滤光片和3D感光芯片(Sensor)。其中，光学镜头是TOF相机100中最重要的光学器件。光学镜头可以将待测包裹200反射的调制光信号投射到3D传感芯片对应的区域。可以理解的是，每一个光学器件都需要经过精密的校准，而校准的参数就与光学镜头的焦距、视场角等参数有关。而一旦经过校准，光学器件就不能再发生更改，否则会影响测量精度。

值得一提的是，为了降低外界环境光的干扰，接收的光线需要尽可能的纯净，滤光片的作用就是过滤掉其他不相干波长的背景光，让与红外光源波长一致的光通过，这样有助于提高系统的测量精度。

3D感光芯片是整个手持式TOF相机100中最为关键的器件之一，它负责接收反射回来的红外光信号，将光信号处理后转换为原始距离信息，再交由微处理器10计算输出深度图像(参见图4示出的界面401)等信息。

值得一提的是，3D感光芯片的结构与普通手机摄像模组所采用的CMOS图像传感器相类似，但相对更复杂一些，它包含调制控制单元、A/D转换单元和数据处理单元等，因此3D感光芯片的像素比一般图像传感器的像素尺寸要大得多。

每个3D感光芯片都有一个分辨率，即最多能探测的点的数量。一般所说的单点、线阵及面阵TOF系统均是从下游应用端的层面出发。单点就是仅测量一个点的距离，如激光测距仪就是一个典型的单点应用；线阵就是能同时测出一条线上的距离，而面阵就是就如同2D相机拍照，一次可测出一个平面上所有点的距离。在本实施例中，所选用的3D感光芯片能够实现面阵。

显示屏40，与微处理器10配合，用于显示有关的界面。

存储器50，与微处理器10配合，用于存相互有关的数据。

电池供电单元60，用于为其他电路提供工作电源。举例而言，电池供电单元60包括可充电的锂电池和与锂电池相配合的电源管理电路。微处理器10能够借助于USB接口与外部设备通讯连接。电池供电单元60能够借助于USB接口与电源适配器相连而从外部获取能源。

可以理解的是，取决于实际应用场景的需要，手持式TOF相机100还可以配置诸如蓝牙模块、WAFI模块之类的无线通讯模块，和/或，诸如局域网之类的有线通讯模块。也就是说，手持式TOF相机100的硬件配置除了前述的微处理器10、发射模块20和接受模块30三者有所特别之外，其他硬件配置可以理解为与数码相机相类似，又或者，与智能手机相类似。

结合参见图2至图5，图2为基于手持式TOF相机的强适应包裹体积测量方法的流程图。图3为包裹幅度图像示例。图4为包裹深度图像示例。图5为显示有体积测量结果的包裹幅图图像示例。本发明提出一种基于TOF相机的强适应包裹体积测量方法，其包括以下步骤：

S201、手持式TOF相机开机，运行包裹体积测量程序；

S203、对包裹进行拍照，得到包裹的幅图图像和深度图像；

S205、对包裹的幅图图像(对应于图3示出的显示屏40上的界面301)和深度图像(对应于图4示出的显示屏40上的界面401)进行数据处理，将包裹的体积显示在手持式TOF相机的显示屏上(对应于图5示出的显示屏40上的界面501)。

值得一提的是，当手持着手持式TOF相机100对着放在地面(或者台面)上的待测包裹200获取深度数据时，最理想情况是手持式TOF相机100放在待测包裹200的正上方，手持式TOF相机100发出光垂直打到待测包裹200表面，这样获取到的深度数据和包裹成像表面是最正确的；但是在实际应用中，要求手持式TOF相机100每次都在正上方垂直对着待测包裹200是不现实的，为了弥补拍摄角度偏差可能带来的影响，现有一般做法是在手持式TOF相机100的硬件上设置一个陀螺仪来指示用户调整拍摄角度：在测量中根据陀螺仪的角度，实时地提示用户手持相机倾斜角度，以及调整至正确角度。这种做法，存在诸多问题：成本较高，操作费时费力，用户体验较差。本发明通过在包裹体积测量程序中设置了一倾斜矫正算法(后面会予以详细说明)来解决这个问题，不但无需增加硬件配置，并且能够改善用户体验。

参见图6，图6为对包裹的幅图图像和深度图像进行数据处理的流程图。可以理解的是，对包裹的幅图图像和深度图像进行数据处理属于包裹体积测量程序的核心内容，其大致包括以下步骤：

S601、判断是否黑色包裹？是的话转步骤S602，否则的话转步骤S603；黑色包裹的判断机理在于：物流中使用的黑色包裹在TOF相机中属于易吸光，易反光材质，当TOF相机红外光照射到黑色包裹后返回光不均匀，导致黑色包裹幅度图的幅度值变化范围很大，根据这一特征采用幅度梯度检测算法。具体地，利用opencv的函数计算图像的梯度幅度，首先使用filter2D函数对幅度图进行水平和垂直卷积运算，再使用carToPolar函数对幅度图水平和垂直卷积进行计算，最后得到浮动幅度的目标矩阵。按像素单元遍历整张幅度图时，当像素对应的浮动幅度目标矩阵的值大于阈值(这里阈值取50)时，认为幅度变化大，则当作黑色处理，反之当作普通处理。

S602、黑色包裹图像预处理；具体地，通过采集各个高度位置对黑色包裹的相机深度值和真实深度值的差值(举例而言，把TOF相机放在距离黑色包裹表面60cm处，通过深度图获得相机测量到黑色包裹表面的平均深度值depth，理论上depth应该是等于60cm，但是由于黑色包裹的材质原因，导致depth和真实距离60cm有差异，差值＝depth-真实距离(60)，记录差值，继续把TOF相机分别放在距离黑色包裹表面80cm,100cm,120cm,140cm,160cm处，并记录它们的差值。)，与幅度值(反射率)，进行深度补偿函数拟合。在实际测量中再通过深度补偿函数，对相机深度数据进行补偿，最后采用黑洞填充算法把过曝的、反光、吸光部分填充有效深度值。

深度补偿函数拟合：在特定距离特定曝光值提取黑色包裹表面深度数据与真实深度的深度差，幅度数据，进行拟合函数，根据拟合函数对深度数据进行补偿。

深度补偿函数：由于背景幅度值有可能和黑色包裹表面幅度值相同，导致背景深度数据跟着补偿。根据背景幅度值基本相同变化不大，而黑色包裹表面幅度值变化范围很大的特征采用幅度梯度检测算法，只对黑色包裹进行深度补偿。

对于黑色吸光材料实物如图7，深度函数原始关系和深度补偿函数拟合后关系如图8和图9，测量效果图如图10至图13。其中，图10为图7所示包裹的原始深度图像。图11为图7所示包裹的经深度补偿处理后的深度图像。图12为图7所示包裹经二值化处理后的幅图图像。图13为显示有体积测量结果的图7所示包裹的幅度图像。

对于黑色强反光材料实物如图14，深度函数原始关系和深度补偿函数拟合后关系如图15和图16，测量效果图如图17至图20。其中，图17为图14所示包裹的原始深度图像。图18为图14所示包裹的经深度补偿处理后的深度图像。图19为图14所示包裹经二值化处理后的幅图图像。图20为显示有体积测量结果的图14所示包裹的幅度图像。

S603、图像的滤波与矫正预处理；具体地，包括图像滤波(时域中值滤波、中值滤波)、畸变矫正、3D矫正、黑洞填充等，以减小点云的波动和去除噪声。

关于图像滤波，具体包括：图像滤波是指在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

时域中值滤波是在时域维度的中值滤波，即上几帧和当前的帧的中值滤波，主要防止帧与帧之间的深度数据跳动过大。

关于畸变矫正，具体包括：1.摄像机模型中，小孔成像映射，映射关系如下：

2.主点偏移，转化为像素值。

3.像素坐标非矩阵因素：

4.总结整理得到：

5.获取相机畸变系数，和获取的相机内参，通过调用opencv的畸变矫正undistort函数完成矫正。

关于3D矫正，具体包括：根据图像坐标与摄像机坐标关系：

可得：

其中，(u₀，v₀)为TOF传感器的光学中心，f_x，f_y分别为相机沿X轴和Y轴的焦距。根据摄像机内参和图像像素坐标就可以得到夹角的余弦值，再乘以原始深度值就得到矫正后的深度值。

关于黑洞填充，具体包括：对于由光滑物体表面因折射反射红外光线所导致的黑洞，采用均值和中值滤波方法的中值填充算法。对于由遮挡原因产生的黑洞，基于黑洞区域大小的填充方法，若黑洞区域小于所设定的阈值，则对该黑洞区域采用邻域填充；反之则采用改进的结合彩色信息的双边滤波进行填充。根据不同的黑洞产生原因采用不同的方法进行填充，这种方法可以有针对性的对黑洞进行不同处理。

S604、阈值二值化提取包裹轮廓；具体地，提取图像第一深度(例如：红色点的深度数值)，做为阈值进行二值化，提取出包裹轮廓。

阈值化图像其实就是对灰度图像进行二值化操作，根本原理是利用设定的阈值将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

深度图二值化，阈值设置为相机到包裹表面的深度，当深度值大于或小于该阈值将图像上的像素点的灰度值设置为0，即是深度值大于或小于阈值设置为黑色，深度值在阈值范围内的设置为255(即置为白)，白色部分是包裹。

S605、倾斜矫正；具体地，提取图像包裹外接圆上的背景点(例如：绿色点)，采用最小二乘法拟合平面，通过平面法向量与世界坐标系的夹角，确定手持相机倾斜角度，最后进行倾斜矫正。

关于最小二乘法拟合平面，具体包括：根据平面方程的一般表达式：

Ax+By+Cz+D＝0，(C≠0)

z＝a₀x+a₁y+a₂

可得平面方程拟合：

对于一系列的n个点(n≥3)：(x_i，y_i，z_i)，i＝0，1，…，n-1，要用点(x_i，y_i，z_i)，i＝0，1，…，n-1拟合计算上述平面方程，则使S最小：

要使得S最小，应满足：

即：

可得：

或

解上述线性方程组得a₀，a₁，a₂

即：z＝a₀x+a₁y+a₂

关于相机倾斜矫正，具体包括：1.通过最小二乘法拟合平面求得相机图像平面方程，再由平面方程求法向量，再由法向量和x，y坐标系夹角即为相机倾斜角度，坐标关系见图21。

非零向量与X轴、Y轴、Z轴分别形成α、β、γ称为/>的方向角，这三个角的余弦值称为/>的方向余弦，这两组量都能够确定/>的方向(这说明只要再知道向量的模，就可以求出此向量)，并且过M点分别做在X、Y、Z上的投影点，可以得到：

又

且(cosα)²+(cosβ)²+(cosγ)²＝1

那么就有：

2.由前述第1步求出旋转夹角后，根据3D旋转公式，绕着Y轴旋转α角度，也就是说旋转后的Y坐标是不变的，变化的只是X、Z坐标，据此，可得到绕各轴旋转矩阵：

3.有了旋转矩阵就可以直接求出旋转后的平面。

S606、根据第一深度与第二深度差得到包裹深度尺寸；具体地，通过包裹表面(例如：红色点)的第一深度减去背景(例如：绿色点)的第二深度求出包裹的深度(也即高)。

S607、根据包裹轮廓得到包裹长宽尺寸；具体地，通过二值化后的图像得到包裹轮廓，求出得最小外接矩形，根据外接矩形的长宽所占像数格再乘以每个像数格实际大小，求出长宽的实际大小。

S608、根据包裹的长宽尺寸和深度尺寸得到包裹体积。具体地，根据体积等于长度×宽度×深度，计算得到包裹体积。

综上，本发明旨在提高测量效率、降低成本和减少计算资源。本发明提出的手持式TOF相机100，具有操作简单、测量效率高、可抑制环境光和可温度补偿等特点。微处理器10所运行的包裹体积测量程序的基本技术原理是：对已预处理的深度数据进行二值化，提取包裹轮廓；通过倾斜矫正算法，对手持着手持式TOF相机100可能产生的倾斜进行倾斜矫正，求出待测包裹200的长宽高以及体积。

本发明通过将包裹体积测量程序直接集成到手持式TOF相机100里，不需要额外的pc(personal computer)等其他设备来实现相关数据处理，有利于降低成本；通过tcp(Transmission Control Protocol)方式从手持式TOF相机100获取测量结果，方便用户集成到不同的平台、不同开发语言或环境，有利于增强兼用性；通过手持式TOF相机100的自动曝光，能够适用不同场景不同包裹(普通物流的黑色包裹也适用，但除了高度反光和黑色玻璃材质物体外)，有利于提高适应性。

以上，仅为本发明之较佳实施例，意在进一步说明本发明，而非对其进行限定。凡根据上述之文字和附图所公开的内容进行的简单的替换，都在本专利的权利保护范围之列。

Claims (9)

1.一种手持式TOF相机的强适应包裹体积测量方法，其特征在于，包括：

手持式TOF相机开机，运行包裹体积测量程序；

对包裹进行拍照，得到包裹的幅图图像和深度图像；以及

对包裹的幅图图像和深度图像进行数据处理，将包裹的体积显示在手持式TOF相机的显示屏上；

其中，所述的包裹体积测量程序执行以下步骤：

判断是否黑色包裹？是的话先进行黑色包裹图像预处理，再进行图像的滤波与矫正预处理；否则的话，跳过黑色包裹图像预处理，直接进行图像的滤波与矫正预处理；

阈值二值化提取包裹轮廓；

倾斜矫正；

根据第一深度与第二深度差得到包裹深度尺寸；

根据包裹轮廓得到包裹长宽尺寸；以及

根据包裹的长宽尺寸和深度尺寸得到包裹体积；

所述的黑色包裹图像预处理具体包括：通过采集各个高度位置对黑色包裹的相机深度值和真实深度值的差值，与幅度值，进行深度补偿函数拟合。

2.根据权利要求1所述的方法，其特征在于，所述的图像的滤波与矫正预处理具体包括：图像滤波、畸变矫正、3D矫正和黑洞填充。

3.根据权利要求1所述的方法，其特征在于，所述的阈值二值化提取包裹轮廓具体包括：提取图像第一深度，做为阈值进行二值化，提取出包裹轮廓。

4.根据权利要求1所述的方法，其特征在于，所述的倾斜矫正具体包括：提取图像包裹外接圆上的背景点，采用最小二乘法拟合平面，通过平面法向量与世界坐标系的夹角，确定手持相机倾斜角度，最后进行倾斜矫正。

5.根据权利要求1所述的方法，其特征在于，所述的根据第一深度与第二深度差得到包裹深度尺寸具体包括：通过包裹表面的第一深度减去背景的第二深度求出包裹的深度。

6.根据权利要求1所述的方法，其特征在于，所述的根据包裹轮廓得到包裹长宽尺寸具体包括：通过二值化后的图像得到包裹轮廓，求出得最小外接矩形，根据外接矩形的长宽所占像数格再乘以每个像数格实际大小，求出长宽的实际大小。

7.根据权利要求1所述的方法，其特征在于，所述的根据包裹的长宽尺寸和深度尺寸得到包裹体积具体包括：根据体积等于长度×宽度×深度，计算得到包裹体积。

8.根据权利要求1所述的方法，其特征在于，所述的判断是否黑色包裹具体包括：按像素单元遍历整张的包裹的幅图图像时，当像素对应的浮动幅度目标矩阵的值大于阈值时，认为幅度变化大，则当作黑色处理，反之当作普通处理。

9.一种手持式TOF相机，包括：微处理器、发射模块、接收模块和显示屏；其特征在于，该微处理器上运行有如权利要求1至8任一项所述的包裹体积测量程序。