CN110889442A - 一种针对脉冲型ToF深度相机的物体材质分类的方法 - Google Patents

Abstract

本发明提出一种适用于脉冲型ToF相机的物体材质分类的方法，属于模式识别和图像处理领域，包括：脉冲型ToF相机原始数据去噪处理，图像数据转化为特征向量，径向基神经网络分类器的优化，其特征在于，针对脉冲型ToF成像模型提出了物体材质分类方法，并使用二阶全广义变分模型和半盲反褶积方法对原始图像进行去噪处理，之后将去噪后的图像进行采样，拟合曲线和再采样得到物体材质的特征向量，最后利于奇异值分解对径向基神经网络分类器的优化，满足物体材质分类的高精确性和鲁棒性。

Description

一种针对脉冲型ToF深度相机的物体材质分类的方法

技术领域

本发明涉及模式识别和图像处理领域，具体涉及到一种适用于脉冲型Time- of-Flight(ToF)深度相机的物体材质分类的方法。

背景技术

随着计算机视觉和人工智能的发展，对高精确度的物体材质分类的需求将会日益增长。在计算机视觉的研究领域中，非入侵性和非接触式的物体材质分类是一项重要的研究方向。根据使用相机种类的不同，可以将其分为可见光相机领域和Time-of-Flight(ToF)深度相机领域的两大类。在使用可见光相机进行物体材质分类的方法中，他们以物体材质的视觉外观作为材质分类的特征，其中具有代表性的特征是物体材质的纹理，颜色，粗糙程度和颜色信息。但是这类方法的主要问题是受不同材质相似外观以及环境光的影响，会导致物体材质分类的精确度严重下降。随着TOF深度相机的发展，越来越多人将研究的重心转向了连续波型 ToF的物体材质分类。连续波型TOF深度相机进行物体材质分类的方式是通过精确恢复时间脉冲响应获取测量值与调制频率之间的关系作为物体材质分类的特征。但是由于连续型ToF深度相机的激光器功耗大，发热明显，进行远距离测量时无法长时间使用，且在距离解析时会产生周期性误差，致使测量值拟合后与实际距离之间的关系不稳定，影响到分类的精确度。

为了弥补连续波型ToF深度相机的上述缺点，随着脉冲型激光器研究的日趋成熟，脉冲型ToF深度相机应运而生。脉冲型ToF深度相机相比于连续波型 ToF深度相机具有以下优势：(1)不需要使用相位等其他参数，避免了计算过程中的累积误差，所以测距精度更高，适用于对测量精度要求较高的场合；(2)可以在极短时间释放高能量信号，减少了外界光源对测量结果的影响；(3)功耗小，发热相对较少，能够长时间的测量；(4)具有更高的稳定性。因此，在物体材质分类的领域中研究一种基于脉冲型ToF深度相机的物体材质分类的方法来弥补可见光相机和连续波型易受环境光和分类精度不高的不足就显得尤为重要，便于计算机视觉在应用时掌握更多信息。

脉冲型ToF相机测量深度值的过程。第一次曝光为脉冲式ToF相机在同一时刻打开传感器和电子快门，在该过程中，传感器收集每个像素处的光子的累积，并且将得到的图像记录为S0。然后，电子快门开启的时间是激光器关闭的时间，并且持续时间保持与之前相同的时间，将得到的图像记录为S1。最后，ToF相机仅打开电子设备以获得环境光噪声，生成的图像记录为BG。根据公式1推算出去除环境噪声测量值。

发明内容

为了克服现有非入侵性和非接触式的物体材质分类方法易受环境光影响和分类精度不高的不足，本发明提出一款针对脉冲型ToF深度相机的物体材质分类的方法，分别通过原始图像去噪模块、特征向量归一化模块与径向基神经网络分类器训练与优化模块，通过该方法可以减小环境光的影响，得到高分类精度的结果。经过多种材质的测试，该方法的分类精度为94.6％，极大提升了物体材质分类的鲁棒性和精确性。

图像去噪模块：由于后续物体材质分类的特征数据都是从脉冲型ToF相机采集得到的，因此，需要对原始图像进行去噪处理得到高质量的图像。图像去噪模块主要去除的是环境噪声和传感器噪声。为了消除环境噪声，脉冲型ToF深度相机在每次采集数据中利用第三次曝光创建环境噪声矩阵BG，图3所示。前两次曝光S0和S1包含环境噪声，因此我们使用S0的测量值和S1的测量值减去BG 噪声矩阵来抵消环境噪音。C表示光速，T_p表示激光器脉冲时长，则去除环境噪声测量值m为(如公式1所示)：

消除传感器噪声模块的基本原理：为了减少传感器噪声的影响，我们使用二阶总广义变分模型和半盲去卷积方法来减少脉冲型ToF深度相机传感器噪声以及利用全变分去噪模型以及基于二阶Total Generalized Variation(TGV)的正则化器提升去噪效果。去除传感器噪声模块最小化的目标函数(如公式2所示)：

具体步骤：该算法分析了脉冲型ToF深度相机成像模型，通过同时迭代点扩散函数k和测量值g(m₀)，先将每个像素点处的点扩散函数通过半盲反卷积的方法估计出来，保存在查找表中，利用深度相机获取的含噪图像的原始测量值，根据当前测量值b(m)(m表示b中的像素)(权利要求书对应第一个公式b(m)) 去查找相应像素m处的点扩散函数，从而对测量值g(m₀)也进行半盲反卷积估计，直到收敛为止，得到高质量图像，从而能够有效地对脉冲型ToF图像进行去噪处理。

特征向量归一化模块基本原理：针对脉冲型ToF深度相机的测距机制，脉冲型ToF深度相机成像原理以及物体材质的双向反射分布函数特性，设计了用于脉冲型ToF深度相机的特征向量归一化模块。根据脉冲型ToF图像形成模型，连续测量m(t)(如公式4所示)，表示为反射函数r(t)(如公式3所示)和仪器响应函数

之间的相互作用的结果，其中，反射函数r(t)包含脉冲函数p(t,θ_i)和场景响应函数h(t)。

r(t)＝∫p(τ)h(t,τ)dτ (公式3)

将脉冲型ToF深度相机成像原理与物体材质的双向反射分布函数特性相结合得到针对于脉冲型ToF深度相机的测量值m(θ_o)(如公式5所示)，θ_i入射光的角度，λ是入射光的波长，θ_o是反射光的角度，t为激光器发射时长，针对本发明研究的对象h(*)＝f_r(θ_i,θ_o,λ)，f_r(θ_i,θ_o,λ)是物体材质的双向反射分布函数，

是脉冲型ToF深度相机对于光谱灵敏度。

其中，对于脉冲型ToF深度像机，其脉冲函数可表示为(如公式6所示)阶跃函数u(t)和入射光函数的角度和功率函数L(θ_i)的乘积。

p(t,θ_i)＝u(t)L(θ_i) (公式6)

物体材质的双向反射分布函数可以分离为角度变量函数f_r(θ_i,θ_o)和入射光波长变量f_r(λ)，所以公式5可可以化简为(如公式7所示)

其中

部分是之于脉冲型ToF相机特性和激光源特性相关，每种相机参数一致所以我们将其定义为常量C_t,λ。

由此可知每个像素位置对应于一个入射角度。

特征向量归一化模块基本步骤及归一化原因：当获取到原始特征向量后，对原始特征向量进行归一化处理。由于在某些预设角度入射光的测量可能无法测量，因此我们开发了一种不需要预设特定角度测量值的特征向量归一化。虽然我们无法直接获得入射光的所有预设角度的测量值，但可以通过拟合曲线并对曲线进行采样来获得测量结果。我们将原始特征向量映射到坐标系，其横坐标表示入射光的角度，纵坐标表示脉冲ToF摄像机的测量值。对原始特征向量离散数据使用梯度下降多项式拟合方法拟合曲线。三次多项式模型公式(如公式9所示)

梯度下降算法的误差函数是最小二乘函数Loss(x_i)(如公式10所示)

其中f(x_i)为目标函数。梯度下降法的迭代过程(如公式11所示)

其中Θ是迭代步骤，α是学习率。当公式10小于默认值，表示结束迭代。在拟合曲线完成之后，我们在曲线的入射光的预设角度处对拟合值进行采样，以形成归一化特征向量，作为用于训练或测试分类器的训练集或测试集。

径向基神经网络分类器训练与优化模块：在特征向量归一化之后，我们有一个物体材质数据集。根据数据集非线性的特征，我们采用径向基神经网络作为分类器来适应数据集的特征。因为，径向基神经网络具有良好的非线性映射，局部逼近容量和鲁棒性。它可以映射复杂的非线性关系，其学习规则易于通过计算机实现。径向基神经网络是具有单个隐藏层的三层前馈神经网络。在设计径向基神经网络时，需要根据归一化特征向量的维数对输入层神经元的数量进行设计，并根据物体材质数据集的标签设计输出层神经元的数量。在我们的分类器中，归一化特征向量都是M维特征向量，其中M是对拟合曲线采样点的数量。因此，输入层有M个神经元。由于分类器输出为物体材质的标签值，因此输出层神经元的数量为1。最关键的问题是如何确定径向基神经网络隐藏层中的神经元数量。我们的方法是先将径向基神经网络的隐含层神经元数量设置为理论最大值，其理论最大值为输入层神经数量M乘以数据集中样本的种类，再通过基于奇异值分解理论对径向基神经网络结构优化策略采用聚类方法。它减少隐藏层冗余神经元的数量和增加了径向基神经网络的泛化能力，提高分类的精确性。我们定义神经网络贡献率C(如公式12所示)

其中q是预期保留的奇异值的数量，l是奇异值的总数，并且σ是隐藏层输出矩阵的奇异值。这种优化策略的基本思想是：首先，我们在每种材料的每个入射角中随机选择一个点。总共存在Z个隐含层神经元作为隐藏层神经元的初始聚类中心，其中Z是归一化特征向量的维数M与数据集中的物体材质数量的乘积。然后，聚类算法用于训练神经网络，并计算隐藏层输出矩阵。通过奇异值分解理论分析双向反射分布函数特征向量和输入权重矩阵乘积的矩阵。根据每个隐藏层神经元对径向基神经网络的贡献率C，我们删除小于某贡献率的神经元。

有益效果

本发明提出了一种针对脉冲型ToF深度相机的物体材质分类的方法。该方法可对物体材质进行分类，具有鲁棒性和高精确性。为计算机视觉中的物体材质分类提供了一个新的方法。

附图说明

图1为本发明实施总体流程图。

图2为本发明图像去噪模块流程示意图。

图3为脉冲型ToF相机去除环境噪声方法示意图。

图4为基于半盲反卷积的脉冲型ToF原始图像去除传感器噪声方法的示意图。

图5为梯度下降法对离散数据进行拟合曲线的效果图。

图6为特征向量归一化模块流程示意图

图7为径向基神经网络结构图。

图8为入射光角度为90时，对钛板进行采样处理。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。

图1是本发明提出的一种适用于脉冲型ToF深度相机的物体材质分类的方法的总体流程图，如图1所示，包括：

原始ToF图像去噪模块、特征向量归一化模块、径向基神经网络分类器训练与优化模块。

实施中脉冲型ToF深度相机的参数：脉冲宽度为T_p＝44ns，可以测量0.5-6.6m 之间的深度图

原始ToF图像去噪模块：其中消除环境噪声的方法，控制脉冲型ToF深度相机在不发射红外脉冲的情况下，采集一张曝光时长为T_p的环境噪声图像BG。用图3中S0曝光的红外图像以及S1曝光的红外图像分辨减去环境噪声图像BG来去除环境噪声。去除传感器噪声的方法，首先需要估计点扩散函数。我们打印随机噪声在带网格的白板上，将含噪白板固定在一个平移台上，平移台距离相机在 50厘米到500厘米之间，即深度图的像素值分布在50厘米到500厘米之间，平移台每隔2厘米平移一次(远离相机方向)，在每一个距离处，通过调整光圈和是否添加随机噪声获取两张深度图像，一张不含随机噪声且比较清晰的深度图，我们认为是原始深度图；一张含随机噪声其相对模糊的深度图，我们认为是降质之后的深度图，然后通过非盲反卷积的方法估计出此处的点扩散函数。之后查找表中查找对应的点扩散函数，估计出较为精准的深度值。这是一个迭代的过程，迭代结束的条件即深度图的峰值信噪比达到最高，可以认为达到了较好的效果。根据查找表中的点扩散函数对深度值进行非盲反卷积的估计，最终可以估计出质量较好的深度图。

特征向量归一化模块：首先我们测量不同物体材质的深度畸变数据。我们将材料板放置在角度旋转台系统上，修改入射光角度。我们将垂直于材料板的ToF 相机视野的中心定义为90度。为了覆盖入射光的宽度角，我们以10度的间隔修改从30度到150度的13种不同的入射光角度。在每个角度下，以相同的曝光时间捕获总共10帧。在图像中的材质板位置，水平方向均匀选取5行，竖直方向均匀选取5列，并在行列交叉的位置上对深度值采样，这样从每个图像中采样25 个位置作为离散数据点。该数据集由9种材料组成，包括金属(具体为钛，不锈钢，铝和白铜)和有机塑料(具体为聚甲醛(POM)，丙烯腈丁二烯苯乙烯塑料(ABS)，聚酰胺(PA)，聚甲基丙烯酸甲酯(PMMA)和聚丙烯(PP))。该数据集总共有9x13x25x10＝29250个离散数据点。离散数据按材料和采样位置分为2250组。每组使用梯度下降多项式拟合方法拟合曲线。以5度的间隔对曲线进行采样以形成归一化特征向量。物体材质归一化特征向量具有25个向量元素。我们将数据集中2000组作为训练集，剩下的250组作为测试集。

径向基神经网络分类器训练与优化模块：采用径向基神经网络RBF，该网络共有三层，第一层为输入层，第二次为隐含层，第三次为输出层，本发明对隐含层神经元数量进行优化，具体优化方式为：设训练样本分别为x₁，x₂,……x_N,共N 个，则在样本xj(1≤j≤N)的作用下，网络的第i个隐含层神经元的输出u_ij为：

式中，c_i表示第i个隐含层神经元的中心；σ_i为第i个隐含层神经元的宽度常数。则所有隐藏层神经元在样本x_j的作用下的输出可以表示为下面的矩阵：

U_j＝[u_1j,u_2j,......,u_hj]^T (公式14)

根据公式14，我们可以将全部N个训练样本作用下的径向基神经网络的隐含层神经元表示为下面的矩阵：

U＝[U₁,U₂,......,U_N] (公式15)

矩阵U的奇异值按照由大到小的顺序分布在奇异值分解矩阵的对角线上。由奇异值分解的几何意义我们知道，奇异值的大小反映着被分解矩阵所携带的突变信息。对于径向基神经网络来说，各个奇异值的大小反映了与之对应的各隐含层神经元对于整个神经网络的贡献程度(由公式12所示)。将神经网络贡献率C作为指标，将对整个网络贡献率非常小的隐含层神经元全部删除，就得到了经过优化的结构较为精简的径向基神经网络。通过改变C的大小，可以调整优化后的网络中剩余的隐含层节点个数，将得到不同的优化效果。

我们定义神经网络贡献率C(如公式12所示)

其中q是预期保留的奇异值的数量，l是奇异值的总数，并且η_i是隐藏层输出矩阵U的第i个奇异值。当C达到预设阈值时，删除q+1，…,l对应的神经元，即根据c去反推q。

根据材料归一化特征向量元素的数量和材料标签值，可以确定输入层神经元的数量为25，输出层神经元的数量为1，隐藏层的理论神经元数量Z是225，数值的计算方法是对拟合曲线采样点的数量与本方法能识别的材料种类数量乘积。我们选择入射光角度的测量值作为RBF神经网络的输入，并将材料的标签值作为径向基神经网络的输出。将输入层神经元数量设置为25，隐藏层神经元数量设置为225，输出层神经元数量设置为1，来构建径向基神经网络的网络结构。用特征向量归一化模块生成数据集来训练该网络。将所有隐藏层节点在样本X_j的作用下表示为225×1维的矩阵，之后将全部训练样本作用下径向基神经网络的隐藏层输出表示为225×2250维的矩阵，对其进行奇异值分解。将公式12的神经网络贡献率C作为指标将对整个网络贡献非常小的隐藏层节点全部删除，就得到了经过优化的结构较为精简的径向基神经网络。我们将C定为5×10^-5，删除了其中131个隐藏层神经元，剩下来94个。径向基神经网络的分类精度提高到 94.6％。

应当理解，虽然本说明书根据实施方式加以描述，但是并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域的技术人员应当将说明书作为一个整体，各个实施方式中的技术方案也可以适当组合，按照本领域技术人员的理解来实施。

上文所列出的一系列详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用于限制本发明的保护范围，凡是未脱离发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (6)

1.一种针对脉冲型ToF深度相机的物体材质分类的方法，其特征在于包括以下步骤：

数据获取及处理阶段：

(1)利用脉冲型ToF深度相机获取待分类的物质材料深度图像，每张深度图像都对应一个测量距离和测量角度，每次的测量角度都以固定角度A进行变化，固定角度A的所有取值称为测量角度的数量B；

(2)利用原始图像去噪模块对上述图像进行去噪，其中原始图像去噪模块包括去除环境噪声模块和去除传感器噪声模块；

物质材质分类阶段：

(3)将步骤2的去噪结果输入特征向量归一化模块，得到归一化特征向量，具体包括三个步骤：首先从经步骤2去噪后的图像中提取原始特征向量，包括像素位置及对应的深度测量值，其中，每个像素的位置对应一个测量角度和测量距离；根据原始特征向量，拟合不同测量角度与深度测量值之间的函数关系F；再根据函数关系得到预设测量角度以及对应的深度测量值，预设测量角度以及对应的深度值即为归一化特征向量；

(4)将特征向量{(A，B₁)，(A，B₂)，…，(A，B_N)}输入径向基神经网络分类器训练与优化模块，完成材质分类，其中，A为由归一化之后的测量角度构成的向量，B_i为对应于A的、且由函数关系F计算得到的第i种材质的深度值。

2.如权利要求1所述的一种针对脉冲型ToF深度相机的物体材质分类的方法，其特征在于：

所述的消除环境噪声模块用于对输入图像进行环境去噪，其中去除环境噪声后的图像深度值m的计算公式如下所示：

其中，c为光速，T_p为曝光时长，脉冲型ToF深度相机一次拍摄包括三次曝光，S0为第一次曝光的测量值，S1为第二次曝光的测量值，BG为第三次曝光的测量值。

3.如权利要求1所述的一种针对脉冲型ToF深度相机的物体材质分类的方法，其特征在于：

所述的传感器噪声模块用于对去除环境噪声后的图像进一步进行传感器去噪，得到去除噪声后的图像g(m₀)，求解模型如下：

其中，b(m)表示带有传感器噪声的待分类物质图像，g(m₀)表示去除传感器噪声的待分类物质图像，k表示点扩散函数，*表示卷积运算，|| ||_L表示L范数，▽为图像的梯度算子，▽x是一个在图像像素的二阶导数，其结果为在图像中寻找的一个最优解x向量，最终使得模型函数的值最小。

4.如权利要求3所述的一种针对脉冲型ToF深度相机的物体材质分类的方法，其特征在于：所述点扩散函数k的求解方法如下，

首先利用脉冲型ToF深度相机获取相同测量距离和相同测量角度下的两组白板图像，两组图像中都含有环境噪声和传感器噪声，且其中一组白板图像还添加了人为噪声；所述测量距离指ToF深度相机与待测物之间的垂直距离；

改变测量距离和测量角度，获取更多照片；

将上述获取的图像带入以下公式，迭代求出最优的点扩散函数k，

其中，b表示去除环境噪声之后的含人为噪声的白板图像，g(m₀)表示经过环境去噪后的不含人为噪声的白板图像，m₀表示图像g(m₀)上的像素点，*表示卷积运算，|| ||_L表示L范数，▽为图像的梯度算子，▽x是一个在图像像素的二阶对称导数，其结果为在图像中寻找的一个最优解x向量，最终使得模型函数的值最小。

5.如权利要求1所述的一种针对脉冲型ToF深度相机的物体材质分类的方法，其中所述的径向基神经网络分类器训练与优化模块采用径向基神经网络RBF，该网络共有三层，第一层为输入层，第二次为隐含层，第三次为输出层，隐含层神经元的数量＝对拟合曲线采样点的数量*本方法能识别的材料种类数量,其特征在于：对隐含层神经元数量进行优化。

6.如权利要求5所述的一种针对脉冲型ToF深度相机的物体材质分类的方法，其特征在于:隐含层神经元数量优化方式为：计算出网络的隐含层输出矩阵，对该矩阵进行奇异值分解，计算神经网络贡献率C，具体公式如下：

其中q是预期保留的奇异值的数量，l是奇异值的总数，并且η_i是隐藏层输出矩阵U的第i个奇异值；

当C达到预设阈值时，删除q+1，…,l对应的神经元，即根据C去反推q，得到简化后的RBF神经网络。

Images