CN106408524A - 基于二维图像辅助的深度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于二维图像辅助的深度图像增强方法，该方法包括：利用ToF相机和高分辨率彩色相机分别获取同场景的低分辨率深度图像和高分辨率的彩色图像，并将低分辨率深度图映射到高分辨率彩色空间；根据深度图像的重构约束构造目标函数的数据项；利用彩色图像的边缘信息对正则化模型加权，将扩散张量引入二阶广义总变分模型，构成针对深度图像特点的正则化模型；通过迭代重加权和原‑对偶算法进行求解，获得重建结果。本发明能够有效解决深度图像分辨率低、边缘不清晰、存在噪声的问题，有效地保护图像的边缘结构。

Description

基于二维图像辅助的深度图像增强方法

技术领域

本发明涉及由ToF相机获取的深度图像增强方法，具体是一种基于二维图像辅助的深度图像增强方法。

背景技术

近年来，随着三维技术的不断发展，许多的应用诸如：人机交互、三维电视、场景重建、手势识别等都对获取场景的深度信息提出了更高的要求。目前主流的获取深度信息的方式有两种：被动获取和主动获取。被动获取由于受光线变化、遮挡、复杂度高等因素的影响，还不能满足多数实际应用的需求。主动获取中应用较广泛的是ToF(Time of Flight)相机，它能实时采集场景深度信息，其工作原理是通过发射源发射可控频率调制光线来进行测距。

ToF相机获取的深度图像存在着分辨率低、许多细节信息丢失、边缘处深度测量效果较差、噪声大等问题。为提高深度图像的分辨率，目前运用较广泛的方法是结合ToF相机和高分辨率彩色相机，以二维彩色图像辅导重建深度图像。

这类方法使用一个ToF相机和高清彩色摄像机组成的拍摄阵列采集同一场景的深度和彩色图。该方法将ToF相机釆集到的深度图像进行上采样，然后把深度图像映射到相应的彩色空间。利用彩色图像的边缘信息来对深度图像进行改进，这种方法对深度图像的边缘修复有一定的作用。

例如James Diebel等人在《An application of markov random fields torange sensing》中提出通过定义一个基于马尔可夫随机场(Markov Random Field(MRF))的局部能量函数来修正ToF相机得到的深度信息，能够有效的提高深度图像空间邻域内深度图的一致性，获取更为稠密的深度图，但求解该能量函数的构建过于复杂，且边缘重建信息不准确。Qingxiong Yang等人在《Spatial-depth super resolution for rangeimages》中提出利用双边滤波的思想修正深度信息，其主要思路是如果两个像素点的颜色越相近、在图像上的距离越邻近，那么这两个像素点的深度值越就越接近的假设，改良最终的深度图。该方法速度快，实现简 单，但是对于复杂的场景尤其是色彩反复的区域效果很差。

发明内容

本发明的目的在于提供一种基于二维图像辅助的深度图像增强方法，该方法利用彩色图像的边缘信息对二阶TGV模型进行改进，不仅能够提高深度图像分辨率、去噪，同时保持了清晰的边缘。

实现本发明目的的技术解决方案为：一种基于二维图像辅助的深度图像增强方法，包括下列步骤：

步骤1，利用TOF相机和高分辨率彩色相机分别获取同场景的深度图像D_L和彩色图像C_H，并进行初校正，将深度图像映射到彩色空间得到高分辨率稀疏深度图D_S；

步骤2，对彩色图像作边缘检测得到彩色图像边缘，利用彩色图像边缘定义边缘指示函数；

步骤3，构造能够保证待求解的高分辨深度图像u_x和高分辨率稀疏深度图D_S之间的相似性的数据项；

步骤4，计算彩色图像的扩散张量T^1/2，利用边缘指示函数结合扩散张量构造正则约束项；

步骤5，结合数据项和正则约束项构造深度图像增强的目标函数，根据Legendre-Fenchel变换，得到目标函数的对偶形式，利用原-对偶算法对目标函数的对偶形式进行求解；

步骤6，根据初始值进行迭代，直到|uⁿ⁺¹-uⁿ|<tol(tol为阈值)或迭代次数达到上限，迭代完成，输出高分辨率深度图像D_H。

本发明与现有技术相比，其显著效果是：本发明利用图像颜色信息进行深度图像增强，可以根据具体情况有针对性地选择彩色图像边缘提取算法，如相位一致性算法、小波变换等，一般的利用两类图像的相关性进行深度图重建不能保证对象边界处的深度不连续性，本发明不但使重建对象间深度过渡具有不连续 性，而且保证了重构对象内部的深度均匀性，有效地消除了图像边缘的毛刺和模糊状况，使边缘更加清晰，抑制噪声，同时该方法操作简单、快速经济。

附图说明

图1是本发明基于二维图像辅助的深度图像增强方法的系统结构框图。

图2是本发明基于带有边缘指示函数二阶TGV模型的深度图像增强方法的流程图。

图3是本发明基于三次B样条小波边缘检测框图。

图4是本发明实施例中运用Middleburry数据集Art作为输入，包括图4(a)高分辨率彩色图像，图4(b)加有高斯噪声的低分辨率深度图像。

图5是本发明实施例中重建结果对比图，包括图5(a)双线性插值效果图，图5(b)本发明方法重建效果图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细说明。

如图1、2所示，本发明基于二维图像辅助的深度图像增强方法，具体包括以下步骤：

步骤1，利用ToF相机和高分辨率彩色相机分别获取同场景的深度图像D_L和彩色图像C_H，并进行初校正，我们使用棋盘格来对ToF相机的内部参数以及外部参数进行标定。即利用ToF相机输出的距离数据，采用二维摄像机的成像模型以及棋盘格进行标定，从而获取摄像机的焦距、图像中心点、畸变系数等内部参数以及旋转矩阵R和平移矩阵T等外部参数。最后将深度图像映射到彩色空间得到高分辨率稀疏深度图D_S；

步骤2，对彩色图像作边缘检测得到彩色图像边缘|M_af(x,y)|，定义边缘指示函数为本发明实施例中利用小波变换对彩色图像进行边缘提取。如图3所示，步骤2具体包括：

步骤2-1、输入高分辨率彩色图像f(x,y)，选定平滑函数θ(x,y)；

B样条小波边界检测的效果相对较好，所以本发明采用3次B样条函数(导数为2阶B样条小波变换)作为平滑函数θ_a(x,y)进行图像边缘检测。

步骤2-2、对f(x,y)的每一行与每一列分别作卷积，并分别求取每行和每列的模极大值点；

由θ_a(x,y)定义的两个二维小波为：

f(x,y)在尺度a上的小波变换的两个分量为：

其矢量形式为：

步骤2-3、计算图像边缘的模和方向角，连接边缘点：

当a为二进制小波变换时，a为2^j(j∈Z),梯度矢量的模和梯度方向的表达式为：

步骤2-4、输出边缘图像。

步骤3，构造数据项：数据项保证了重建后的图像与输入的高分辨率稀疏深度图像的相似性，其表达式如下：

步骤4，计算基于同场景彩色图像的各向异性扩散张量T^1/2，利用边缘指示函数构造正则约束项：

带有边缘指示函数的二阶TGV正则项如下：

其中：

步骤5，结合数据项和正则约束项构造深度图像增强的目标函数，根据原-对偶算法进行求解：

将数据项与正则约束项结合起来，得到算法的目标函数：

利用Legendre-Fenchel变换，得到目标函数的对偶形式为：

p、q为原-对偶优化算法中的对偶变量，其所在集合分别为

利用原-对偶算法对对偶式进行求解可得(迭代初始值：n＝0,u⁰＝D_S,v⁰,p⁰,q⁰＝0,σ_p,σ_q,τ_u,τ_v>0)：

其中：

步骤6，根据初始值进行迭代，直到|u^k+1-u^k|<tol(tol为阈值)或迭代次数达到上限，迭代完成，输出高分辨率深度图像D_H。

实施例

为了对本发明算法进行说明，充分展现出该算法不仅能够提高ToF深度图像的分辨率，而且保证了重构对象内部的深度均匀性，使重建对象间深度过渡具有不连续性，有效地消除了图像边缘的毛刺和模糊状况，使边缘更加清晰，抑制噪声，，完成深度图像增强的实验如下：

(2)实验初始条件及参数设置

采用同场景的高分辨率彩色图像和深度图像进行实验。测试数据集采用的是Middlebury公开数据集(http://vision.middlebury.edu/stereo/data.)。原始的高分辨率彩色图像和深度图像的分辨率都是1390×1110，图3输入的是1390×1110的高分辨彩色图像和下采样倍数为8的且加有高斯噪声的低分辨率深度图。

实验将双线性插值算法和本发明算法进行对比，分别从定性(主观视觉效果)和定量(客观评价指标)两个方面进行评估。为了客观评价本发明算法的优越性，采用了均方根误差(Root Mean Square Error,RMSE)准则作为图像客观质量评价标准，RMSE值越小说明重建效果越好。均方根误差计算公式如下：

其中M*N表示重建后的深度图像的像素数，x_i是重建得到的实际值，y_i是数据集提供的真实值。

本文算法的参数设置为α₀＝10，α₁＝0.06,β＝9,γ＝0.85,k＝0.001,tol＝0.1

(3)实验结果分析

图5是基于Art图片的三种算法的重建效果图，为方便观察，进行了局部放大。从图中可以看出，图5(a)双线性插值算法效果较差，图5(b)本发明的算法不但能够抑制噪声，而且边缘处更加清晰，细节处能够恢复出来。

由于Middleburry数据集提供了真实值，可以计算RMSE值，所以对加有高斯噪声的Art图片分别进行2、4、8倍的下采样，然后进行重建，计算对应的RMSE值。表1列出了基于Middleburry数据集的各种方法对应的RMSE值，能够清楚明了的比较RMSE值得大小，从而分析比较重建效果的优劣，本发明的重建算法效果最好。

表1均方误差比较

Claims (7)

1.一种基于二维图像辅助的深度图像增强方法，其特征在于包括下列步骤：

步骤1，利用TOF相机和高分辨率彩色相机分别获取同场景的深度图像D_L和彩色图像C_H，并进行初校正，将深度图像映射到彩色空间得到高分辨率稀疏深度图D_S；

步骤2，对彩色图像作边缘检测得到彩色图像边缘，利用彩色图像边缘定义边缘指示函数；

步骤3，构造能够保证待求解的高分辨深度图像u_x和高分辨率稀疏深度图D_S之间的相似性的数据项；

步骤4，计算彩色图像的扩散张量T^1/2，利用边缘指示函数结合扩散张量构造正则约束项；

步骤5，结合数据项和正则约束项构造深度图像增强的目标函数，根据Legendre-Fenchel变换，得到目标函数的对偶形式，利用原-对偶算法对目标函数的对偶形式进行求解；

步骤6，根据初始值进行迭代，直到|uⁿ⁺¹-uⁿ|<tol或迭代次数达到上限，tol为阈值，迭代完成，输出高分辨率深度图像D_H；

式中：uⁿ⁺¹、uⁿ分别是第n+1次和第n次迭代所得的重建结果。

2.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：实现步骤1的具体方法为：

首先，利用ToF相机和高分辨率彩色相机分别获取同场景的深度图像D_L和彩色图像C_H，并进行初校正；

然后，利用棋盘格来对ToF相机的内部参数以及外部参数进行标定，即利用ToF相机输出的距离数据，采用二维摄像机的成像模型以及棋盘格进行标定，从而获取摄像机的焦距、图像中心点、畸变系数以及旋转矩阵R和平移矩阵T；

最后，将深度图像映射到彩色空间得到高分辨率稀疏深度图D_S。

3.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：所述步骤2中利用小波变换对彩色图像进行边缘检测，具体方法为：

步骤2-1、输入高分辨率彩色图像f(x,y)，选定平滑函数θ(x,y)；

采用3次B样条函数，导数为2阶B样条小波变换，作为平滑函数θ_a(x,y)进行图像边缘检测；

步骤2-2、对f(x,y)的每一行与每一列分别作卷积，并分别求取每行和每列的模极大值点；

由θ_a(x,y)定义的两个二维小波为：

f(x,y)在尺度a上的小波变换的两个分量为：

其矢量形式为：

步骤2-3、计算图像边缘的模和方向角，连接边缘点：

当a为二进制小波变换时，a为2^j(j∈Z),梯度矢量的模和梯度方向的表达式为：

步骤2-4、对彩色图像作边缘检测得到彩色图像边缘|M_af(x,y)|，定义边缘指示函数为

4.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：实现步骤3的具体方法为：

构造能够保证重建后的图像与输入的高分辨率稀疏深度图像之间相似性的数据项，其表达式如下：

式中:u_x为待求解的高分辨率深度图像记为u和高分辨率稀疏深度图D_S(C_H,D_S:Ω_H∈R²；D_L:Ω_L∈R²)，w为权重因子，

5.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：实现步骤4的具体方法为：

计算基于同场景彩色图像的各向异性扩散张量T^1/2，利用边缘指示函数构造正则约 束项：

带有边缘指示函数的二阶TGV正则项如下：

其中：

式中：为利用高分辨率彩色信息进行先验知识约束的二阶TGV正则项，α₀、α₁为非负加权系数，g(M_af(x,y))为边缘指示函数，k为有效表征图像边缘的非负常数，T^1/2是同场景彩色图像的各向异性扩散张量，u_x为待求解的高分辨率深度图像，简记为u，v_x为辅助约束变量，简记为v，为单位彩色图像梯度，n^T为n的转置，n^⊥为梯度的法向量，n^⊥T为n^⊥的转置，β、γ为调节彩色图像约束项大小和光滑度的因子。

6.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：实现步骤5的具体方法为：

首先，结合数据项和正则约束项构造深度图像增强的目标函数：

其次，利用Legendre-Fenchel变换，得到目标函数的对偶形式为：

p、q为原-对偶优化算法中的对偶变量，其所在集合分别为

最后，利用原-对偶算法对对偶式进行求解可得：

其中：

式中：n为迭代次数，迭代初始值：n＝0,u⁰＝D_S,v⁰,p⁰,q⁰＝0，步长σ_p,σ_q,τ_u,τ_v均设为大于0的常数。

7.根据权利要求1所述的基于二维图像辅助的深度图像增强方法，其特征在于：实现步骤6的具体方法为：

根据初始值进行迭代，直到|u^k+1-u^k|<tol或迭代次数达到上限，tol为阈值，迭代完成，输出高分辨率深度图像D_H。