CN109903328B - 一种应用于智能手机的物体体积测量的装置及方法 - Google Patents

Abstract

本发明公开了一种应用于智能手机的物体体积测量的装置及方法，红外散斑投射器投射散斑至待测物体，IR摄像头接收红外散斑图像，进行预处理、运动估计匹配和后处理得到深度图信息。RGB摄像头采集RGB彩色图像经过坐标转换后与深度图信息进行点云配准、点云融合拼接、添加RGB信息、表面生成、纹理映射后实现三维重建。通过三维重建后的像素总数与每个像素的体积相乘得出待测物体的体积。本发明通过智能手机进行非接触式测量，达到了快速、便捷、精准的测量物体体积的目的。

Description

一种应用于智能手机的物体体积测量的装置及方法

技术领域

本发明涉及一种应用于智能手机的物体体积测量的装置及方法，属于测量技术领域。

背景技术

随着测量技术发展，基于计算机视觉的测量方法越来越得到重视。计算机视觉的本质是实现二维图像到三维空间的重建，而基于计算机视觉的测量技术中关键的步骤就是获取目标物体的三维信息，近年来研究比较热门的深度感知技术为我们提供了获取三维信息的重要途径。通过该技术不仅获取重要参数信息还实现了三维重建，进而对物体的几何参数进行测量。

手机的智能化使手机具备越来越多的功能。无论手机的硬件还是软件都得到突破性发展。使得手机越来越智能化。以往的接触式测量方式也被不同的非接触式方式替代，利用所拍摄的图像进行处理分析，重建模型得到物体几何尺寸，使得测量效率更高。随着人工智能的发展，这些技术也相继应用到手机中，使手机具备这些功能，能够更快地提高人们工作效率。

发明内容

本发明的目的在于提供一种应用于智能手机的物体体积测量的装置及方法，旨在通过智能手机实现快速、便捷、精准的测量物体体积。

本发明采用如下技术方案：一种应用于智能手机的物体体积测量的装置，所述装置包括：

红外散斑投射模块：用于投射散斑至待测物体；

图像采集模块：用于扫描待测物体的左视图、右视图、俯视图并获取各视图的像素当量值；以及用于实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像，并将实时采集的红外散斑图像、RGB彩色图像和各视图像素当量值通过通信接口发送至处理模块；

处理模块：用于对接收到的红外散斑图像进行图像处理以得到显示效果平滑的深度图；以及用于对接收到的RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合以形成三维模型，并根据获得的各视图像素当量值和三维模型计算待测物体的体积。

图形显示模块：用于显示待测物体的深度图、三维模型及计算的体积。

本发明还提供一种应用于智能手机的物体体积测量的方法，所述方法包括如下步骤：

S100、投射散斑至待测物体，移动所述智能手机以扫描待测物体的左视图、右视图、俯视图，并获得各视图的像素当量值；

S200、实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像；

S300、对红外散斑图像进行图像处理得到显示效果平滑的深度图，并将RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合形成三维模型，进而根据获得的各视图像素当量值和三维模型计算待测物体的体积。

S400、显示待测物体的深度图、三维模型及计算的体积。

本发明通过非接触式测量，达到了快速、便捷、精准的测量物体体积的目的。

附图说明

图1是本发明实施例的整体流程框图；

图2是本发明应用于智能手机的物体体积测量装置模型图；

图3是本发明实施例中的深度感知处理模块流程图；

图4是本发明实施例中的图像分割C-V模型图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述，但不作为对本发明的限定。

图1是本发明实施例的整体流程框图。

一种应用于智能手机的物体体积测量的装置，主要包括红外散斑投射模块、图像采集模块、处理模块以及图形显示模块。

其中，红外散斑投射模块：用于投射散斑至待测物体；

图像采集模块：用于扫描待测物体的左视图、右视图、俯视图并获取各视图的像素当量值；以及用于实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像，并将实时采集的红外散斑图像、RGB彩色图像和各视图像素当量值通过通信接口发送至处理模块；

处理模块：用于对接收到的红外散斑图像进行图像处理以得到显示效果平滑的深度图；以及用于对接收到的RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合以形成三维模型，并根据获得的各视图像素当量值和三维模型计算待测物体的体积。

图形显示模块：用于显示待测物体的深度图、三维模型及计算的体积。

在一个优选实施例中，红外散斑投射模块包括红外散斑投射器及第一驱动电路，第一驱动电路控制红外散斑投射器投射散斑至待测物体。

在一个优选实施例中，图像采集模块包括IR摄像头、RGB摄像头、第二驱动电路、第三驱动电路，第二驱动电路控制IR摄像头实时采集待测物体目标场景中每个像素的红外散斑图像，同时通过扫描待测物体的左视图、右视图、俯视图获取各视图的像素当量值；第三驱动电路控制RGB摄像头实时采集待测物体目标场景中每个像素的RGB彩色图像。

如图2所示，本发明应用于智能手机的物体体积测量的装置硬件模型图。基于一智能手机，智能手机上设置有物体体积测量装置。其中5是智能手机主体，1是IR摄像头，2是红外散斑投射器，3是RGB摄像头，4是智能手机的处理模块，6是图形显示模块(即手机显示界面)。智能手机的结构还包括物体体积测量装置的控制电路和控制端。

在一个优选实施例中，处理模块包括ASIC处理器，所述ASIC处理器包括深度感知处理模块、三维重建模块、存储器和体积计算模块；

其中，深度感知处理模块用于将接收到的红外散斑图像进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图，并将显示效果平滑的深度图通过通信接口发送至图形显示模块；

三维重建模块用于对接收到的RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行点云配准、点云融合拼接、添加RGB信息、表面生成、纹理映射后形成三维模型，并将三维模型通过通信接口发送至体积计算模块和图形显示模块；

存储器用于存储图像采集模块发送的各视图像素当量值，并将各视图像素当量值通过通信接口发送至体积计算模块；

体积计算模块用于根据获得的各视图像素当量值和三维模型计算待测物体的体积，并将计算的体积通过通信接口发送至图形显示模块。

在一个优选实施例中，深度感知处理模块包括标准散斑参考图存储器、图像预处理模块、运动估计匹配模块、图像后处理模块；

其中，标准散斑参考图存储器用于将IR摄像头采集的具有已知参考散斑距离的散斑图像作为参考散斑图进行存储；

图像预处理模块用于将IR摄像头实时采集的红外散斑图像进行预处理转换成灰度值序列散斑图；

运动估计匹配模块用于将预处理后的灰度值序列散斑图与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配以得到深度图；

图像后处理模块用于将深度图进行图像滤波和图像分割，得到显示效果平滑的深度图。

本发明还提供了一种应用于智能手机的物体体积测量的方法，包括如下步骤：

S100、投射散斑至待测物体，移动所述智能手机以扫描待测物体的左视图、右视图、俯视图，并获得各视图的像素当量值；

S200、实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像；

S300、对红外散斑图像进行图像处理得到显示效果平滑的深度图，并将RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合形成三维模型，进而根据获得的各视图像素当量值和三维模型计算待测物体的体积。具体步骤如下：

S301、对红外散斑图像进行图像预处理、运动估计匹配及图像后处理，以得到显示效果平滑的深度图。具体步骤如下：

S3011、将IR摄像头采集的具有已知参考散斑距离的散斑图像作为参考散斑图进行存储；

S3012、将IR摄像头实时采集的红外散斑图像进行预处理转换成灰度值序列散斑图；

S3013、将预处理后的灰度值序列散斑图与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图；

S3014、采用二维Otsu算法与C-V图像分割法将深度图进行图像滤波、图像分割，得到显示效果平滑的深度图。

S302、对RGB彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与显示效果平滑的深度图进行点云配准、点云融合拼接、添加RGB信息、表面生成、纹理映射后形成三维模型。

S303、根据获得的各视图的像素当量值和三维模型计算待测物体的体积。计算待测物体的体积公式如下：

V＝sum×ε₁×ε₂×ε₃

其中，V表示待测物体体积，sum表示统计的三维模型空间中所包含的实际立体像素块数目，ε₁、ε₂、ε₃分别表示的是使用智能手机IR摄像头扫描待测物体左视图、右视图和俯视图时的像素当量值；每个像素当量值ε通过

公式获得，其中D是待测物体的几何尺寸，N是待测物体图像所占像素数，L是待测物体到摄像头聚焦点的距离，f是焦距。

S400、显示待测物体的深度图、三维模型及计算的体积。

在一个更具体实施例中，参照图1～图4所示，对本发明应用于智能手机的物体体积测量的方法，详述步骤如下：

步骤1：通过智能手机控制端触发控制电路，产生控制信号打开红外散斑投射器、IR摄像头和RGB摄像头，红外散斑投射器向待测物体投射散斑，缓慢移动智能手机，IR摄像头扫描待测物体的左视图、右视图、俯视图，并获得各视图的像素当量值，并将获得的各视图的像素当量值发送至存储器中。

步骤2：IR摄像头实时采集红外散斑图像信息，并将采集的红外散斑图像信息发送至深度感知处理模块，同时将IR摄像头采集的具有已知参考散斑距离的散斑图像作为参考散斑图存储至标准散斑参考图存储器中。

步骤3：图像预处理模块将IR摄像头采集的红外散斑图像信息进行图像预处理，即将其转换成灰度值序列。

步骤4：运动估计匹配模块进行运动估计匹配。

在预处理后的灰度值序列散斑图中提取大小为m×n的图像块block_m×n；在参考散斑图中，以图像块block_m×n所对应位置为中心，大小为M×N的搜索窗search-block_M×N内，采用三步搜索法(TSS)或者绝对误差和(SAD)来寻找该图像块的最优匹配块。获得该图像块和匹配块之间的偏移量(Δx，Δy)，即为该图像块的运动向量，选择X或Y方向上的最优偏移量记为Δm，用于图像块深度信息d′的计算。其中M、N、m、n都是整数，且M＞m，N＞n。

步骤5：图像后处理模块进行图像后处理。主要进行图像滤波和图像分割，进行去噪处理，得出待测物体显示效果平滑的深度图信息。

由于经过图像匹配之后基于硬件方面等的干扰会产生少量的误匹配点，所以要对获得的深度图信息进行去噪处理，得到显示效果平滑的深度图。深度感知处理模块在设计的过程中采用串行流水线操作，该操作降低了设计的延时，从时间上看数据流是连续操作的，因此深度感知处理模块可以实时的输出刷新频率为30Hz的深度图像数据流。具体步骤如下：

步骤(1)：获得输入散斑图像块中心点的深度信息d′。根据位移向量Δm和三角测距原理，结合已知参考散斑距离参数d、红外散斑投射器与IR摄像头基线距离s、IR摄像头焦距f、像素点点距μ，根据下面公式得到像素点在实际空间中的深度图信息。

步骤(2)：将目标待测物体与无关背景信息进行分割。图4给出了C-V分割算法模型图。F1可以被看作是C为边界围成的区域内灰度值与c1的误差项，c1是以C为边界围成的区域内所有像素点灰度的平均值。c2是以C为边界围成的区域外所有像素点灰度的平均值，F2可以被看作是C为边界围成的区域外灰度值与c2的误差，F1、F2逐渐的变化就代表着线也逐渐缓慢的向着物体的目标接近，当F₁≈0，F₂≈0就意味着轮廓演化到边界。

本发明的图像分割法将二维Otsu算法与C-V模型结合起来，该方法基本思想如下：

(a)先利用待分割的原始图像得到该图像的二维直方图，通过最大类间方差的原则选出一个二维阈值点，从而将图像预分割为目标、背景、噪声和边缘四部分；

(b)根据预分割的结果定义一个初始的水平集函数，定义该水平集函数为只有两个函数值1和-1的分段常值函数；

(c)通过能量泛函来判断噪声、边缘区域的像素点属于目标或是背景。

本发明图像分割法具体步骤如下：

①利用二维Otsu算法对得到的深度图初始分割，根据所分结果定义水平函数φ如下：

其中1，2分别对应目标和背景，3、4分别对应边缘和噪声。

②由于水平集函数φ把图像分为了准目标、准背景两部分，分别计算两区域各自的加权平均像素值，并计算相对应的能量泛函；

③通过水平集函数φ寻找集合

对于集合KUΩ₃UΩ₄中的像素点，其中Ω₃表示边缘部分、Ω₄表示噪声部分。当φ(x)的符号改变时，如果对应的能量泛函数减小，则令φ(x)＝-φ(x)，如果没有减小，则令φ(x)不变。

④不断重复②、③步骤，当能量泛函数不在变化时停止。

⑤得到最终的分割结果，即显示效果平滑的深度图信息，并通过通信接口将该深度图在智能手机的图形显示界面显示。

步骤6：由三维重建模块进行三维重建。本发明主要是基于视频流进行三维重建，通过IR摄像头和RGB摄像头实时采集图像信息。本发明使用基于GPU加速的ICP算法，通过检测RGB图像的ORB特征点，在配准流程中增加ORB特征点的权重来减少ICP算法的迭代次数，实现扫描重建的实时性。IR摄像头、RGB摄像头实时采集图像数据，相邻两帧图像点云进行配准到同一坐标系下，再进行点云融合和拼接、添加RGB信息、表面生成、纹理映射后，重建出待测物体的三维模型，控制模块触发信号，通过通信接口将三维模型在智能手机的图形显示界面显示。ICP算法具体步骤如下：

(1)：输入的两幅深度图像，分3层抽样，按照coarse-to-fine的方式配准，对于抽样后的点云做滤波。

(2)：通过原始深度图像计算点的三维坐标(用于点云的配准和融合)，通过滤波后的图像计算三维点云坐标(用于计算法向量)。

(3)：对于两幅点云计算匹配点。

(4)：根据匹配点极小化目标函数计算位姿。

(5)：目标函数误差小于一定值时，停止迭代，否则进入步骤(3)。

步骤7：由体积计算模块进行体积计算。具体步骤如下：

(1)：在图像数据获取阶段前，使用智能手机IR摄像头扫描待测物体的左视图、右视图、俯视图，并获得各视图的像素当量值，并将获得的各视图的像素当量值发送至存储器。由图像成像几何原理知：

其中D是被测物体的几何尺寸，N是被测物图像所占像素数，L是被测物到摄像头聚焦点的距离，f是焦距，ε为像素当量值，通过扫描待测物体可以求得三维重建之后的每个像素的体积为ε₁×ε₂×ε₃。其中ε₁、ε₂、ε₃分别表示的是使用智能手机IR摄像头扫描待测物体左视图、右视图和俯视图时的像素当量值。

(2)：通过分别对三维模型中z值进行最大值的限制约束换算，统计三维模型空间中所包含的实际立体像素块数目sum，计算物体的像素体积换算为实际的测量体积V＝sum×ε₁×ε₂×ε₃。

步骤8：图形显示模块(即手机显示界面)显示待测物体的深度图、三维模型及计算的体积。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种应用于智能手机的物体体积测量的装置，所述装置包括：

红外散斑投射模块：用于投射散斑至待测物体；

图像采集模块：用于扫描待测物体的左视图、右视图、俯视图并获取各视图的像素当量值；以及用于实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像，并将实时采集的红外散斑图像、RGB彩色图像和各视图像素当量值通过通信接口发送至处理模块；

处理模块：用于对接收到的红外散斑图像进行图像处理以得到显示效果平滑的深度图；以及用于对接收到的RGB 彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合以形成三维模型，并根据获得的各视图像素当量值和三维模型计算待测物体的体积；

图形显示模块：用于显示待测物体的深度图、三维模型及计算的体积；

所述红外散斑投射模块包括红外散斑投射器及第一驱动电路，所述第一驱动电路控制红外散斑投射器投射散斑至待测物体；

所述图像采集模块包括IR摄像头、RGB摄像头、第二驱动电路、第三驱动

电路，所述第二驱动电路控制IR摄像头实时采集待测物体目标场景中每个像素的红外散斑图像，同时通过扫描待测物体的左视图、右视图、俯视图获取各视图的像素当量值；所述第三驱动电路控制RGB摄像头实时采集待测物体目标场景中每个像素的RGB彩色图像；

所述装置通过智能手机非接触式测量，实现快速、便捷、精准的测量物体体积；

所述处理模块包括ASIC处理器，所述ASIC处理器包括深度感知处理模块、三维重建模块、存储器和体积计算模块；

所述深度感知处理模块用于将接收到的红外散斑图像进行图像预处理、运动

估计匹配及图像后处理，得到显示效果平滑的深度图，并将显示效果平滑的深度图通过通信接口发送至图形显示模块；

所述三维重建模块用于对接收到的RGB 彩色图像进行坐标转换且将坐标转

换后的RGB彩色图像与所述显示效果平滑的深度图进行点云配准、点云融合拼接、添加RGB信息、表面生成、纹理映射后形成三维模型，并将三维模型通过通信接口发送至体积计算模块和图形显示模块；

所述存储器用于存储图像采集模块发送的各视图像素当量值，并将各视图像素当量值通过通信接口发送至体积计算模块；

所述体积计算模块用于根据获得的各视图像素当量值和三维模型计算待测物体的体积，并将计算的体积通过通信接口发送至图形显示模块；

所述计算待测物体的体积公式如下：

其中，V表示待测物体体积，sum表示统计的三维模型空间中所包含的实际立体像素块数目，

分别表示的是使用智能手机IR摄像头扫描待测物体左视图、右视图和俯视图时的像素当量值；每个像素当量值

通过

公式获得，其中D是待测物体的几何尺寸，N是待测物体图像所占像素数，L是待测物体到摄像头聚焦点的距离，f是焦距。

2.根据权利要求1所述的装置，其特征在于，

所述深度感知处理模块包括标准散斑参考图存储器、图像预处理模块、运动

估计匹配模块、图像后处理模块；

所述标准散斑参考图存储器用于将IR摄像头采集的具有已知参考散斑距离的散斑图像作为参考散斑图进行存储；

所述图像预处理模块用于将IR摄像头实时采集的红外散斑图像进行预处理转换成灰度值序列散斑图；

所述运动估计匹配模块用于将预处理后的灰度值序列散斑图与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配以得到深度图；

所述图像后处理模块用于将深度图进行图像滤波和图像分割，得到显示效果平滑的深度图。

3.一种根据权利要求1所述的应用于智能手机的物体体积测量的装置进行物体体积测量的方法，所述方法包括如下步骤：

S100、投射散斑至待测物体，移动所述智能手机以扫描待测物体的左视图、右视图、俯视图，并获得各视图的像素当量值；

S200、实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像；

S300、对红外散斑图像进行图像处理得到显示效果平滑的深度图，并将RGB 彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与所述显示效果平滑的深度图进行结合形成三维模型，进而根据获得的各视图像素当量值和三维模型计算待测物体的体积；

S400、显示待测物体的深度图、三维模型及计算的体积。

4.根据权利要求3所述的方法，其特征在于，

所述步骤S100通过IR摄像头扫描待测物体的左视图、右视图、俯视图以及获取各视图的像素当量值；所述步骤S200通过IR摄像头实时采集待测物体目标场景中每个像素的红外散斑图像；且所述步骤S200通过RGB摄像头实时采集待测物体目标场景中每个像素的RGB彩色图像。

5.根据权利要求4所述的方法，其特征在于，所述S300的具体步骤如下：

S301、对红外散斑图像进行图像预处理、运动估计匹配及图像后处理，以得到显示效果平滑的深度图；

S302、对RGB 彩色图像进行坐标转换且将坐标转换后的RGB彩色图像与显示效果平滑的深度图进行点云配准、点云融合拼接、添加RGB信息、表面生成、纹理映射后形成三维模型；

S303、根据获得的各视图的像素当量值和三维模型计算待测物体的体积。

6.根据权利要求5所述的方法，其特征在于，所述S301的具体步骤如下：

S3011、将IR摄像头采集的具有已知参考散斑距离的散斑图像作为参考散

斑图进行存储；

S3012、将IR摄像头实时采集的红外散斑图像进行预处理转换成灰度值序列散斑图；

S3013、将预处理后的灰度值序列散斑图与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图；

S3014、采用二维Otsu算法与C-V图像分割法将深度图进行图像滤波、图像分割，得到显示效果平滑的深度图。

7.根据权利要求6所述的方法，其特征在于，所述步骤S303计算待测物体的体积公式如下：

其中，V表示待测物体体积，sum表示统计的三维模型空间中所包含的实际立体像素块数目，

分别表示的是使用智能手机IR摄像头扫描待测物体左视图、右视图和俯视图时的像素当量值；每个像素当量值

通过

公式获得，其中D是待测物体的几何尺寸，N是待测物体图像所占像素数，L是待测物体到摄像头聚焦点的距离，f是焦距。

Images