CN105354797B

CN105354797B - 一种基于l1-l2罚函数的深度图超分辨率重建方法

Info

Publication number: CN105354797B
Application number: CN201510825906.1A
Authority: CN
Inventors: 袁红星
Original assignee: Ningbo University of Technology
Current assignee: Ningbo University of Technology
Priority date: 2015-11-25
Filing date: 2015-11-25
Publication date: 2018-05-25
Anticipated expiration: 2035-11-25
Also published as: CN105354797A

Abstract

本发明公开了一种基于L1‑L2罚函数的深度图超分辨率重建方法，包括以下步骤：步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面；步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则为0；步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型；步骤五、求解能量模型，获得重建的高分辨率深度图。本发明的优点在于：能够在保持对象内部深度平滑过渡的同时，增强深度图的对象边缘。

Description

一种基于L1-L2罚函数的深度图超分辨率重建方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其指一种基于L1-L2罚函数的深度图超分辨率重建方法，用于立体视觉或深度传感器获取图像的超分辨率增强。

背景技术

机器人导航、机器人自主抓取、手势识别、碰撞检测、3D重建、工业自动化及虚拟现实都依赖于高分辨率的深度信息。虽然随着深度相机的广泛普及，我们可实时获得3D场景的深度；但受传感器的限制，这些相机仅能获取低分辨率的深度图。这一局限性限制了深度相机在上述场合应用的性能。为此，人们提出各种方法用于深度图的分辨率增强；深度图超分辨率重建是指不改变深度相机硬件的前提下，通过算法提高深度图分辨率和质量的技术。

当前广泛采用的方法是基于图像引导的技术，即假设高分辨率彩色图像的边缘对应着深度图的边缘，将深度图的坐标映射到高分辨率的彩色图像平面，然后根据坐标点之间颜色或亮度的相似性进行深度插值。现有方法存在的问题是难以保持深度图的对象边缘，而对象边缘包含了深度图的主要能量，决定了其后续应用的效果。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供重建效果好，能够在保持对象内部深度平滑过渡的同时，增强深度图的对象边缘的一种基于L1-L2罚函数的深度图超分辨率重建方法。

本发明解决上述技术问题所采用的技术方案为：

一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：包括以下步骤：

步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面；

步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为0；

步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；

步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一项为重建深度与初始深度之间的差异，即保真项，第二项为L1-L2罚函数正则项；

步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘法予以求解，获得重建的高分辨率深度图。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤一的初始估计深度的计算中，映射计算公式为：

B(sr,sc)＝Y(r,c)

其中B为初始深度图的矩阵表示，Y为低分辨率深度图的矩阵表示，(r,c)表示空间坐标，s为分辨率增大倍数。

上述的步骤三的近邻矩阵的计算中，相似性计算公式为：

w_a(i,j)＝exp(-α||I_i-I_j||²-β||x_i-x_j||²)

其中w_a(i,j)为近邻矩阵第i行第j列的元素；I_i和I_j分别表示高分辨率彩色图像上第i个像素点与第j个像素点归一化的YCbCr值；x_i和x_j分别表示第i个像素点与第j个像素点的空间坐标；α和β为参数，分别控制颜色差异与空间距离对近邻相似性度量的影响。

上述的步骤四的构造深度超分辨率重建模型中，能量模型定义为：

f(d)＝(d-b)^TM(d-b)+λ1^TW_a oW_l1-l21

其中d为待重建的高分辨率深度图；b为步骤一中获取的初始深度图的列向量表示；W_a为步骤三获得的近邻矩阵；W_l1-l2为L1-L2罚函数形成的正则化矩阵；1表示所有元素均为1的列向量；o表示矩阵的Hadamard积；λ为常数，用于控制正则项对重建深度的影响程度。

上述的正则化矩阵的第i行第j列的元素的计算公式为：

其中d_i表示待重建深度列向量表示d的第i个元素，即第i个像素点的深度值。

上述的步骤五的能量模型求解，包括以下步骤：

步骤1)、初始化，为迭代变量分配初值；

步骤2)、为能量模型构造凸上界函数；

步骤3)、计算最小化凸上界函数的解作为当前迭代估计的高分辨率深度图；

步骤4)、更新迭代变量值，判断是否达到终止条件，若达到则退出，否则跳到步骤2)。

上述的凸上界函数的函数定义为：

其中d^k表示第k次迭代获得的重建深度图；1表示所有元素均为1的列向量；W_a为近邻矩阵；表示第k次迭代中L1-L2罚函数形成的正则化矩阵；L^k为K×K的拉普拉斯矩阵。

上述的凸上界函数的求解计算公式为：

d^k+1＝(M+λL^k)^-1Mb。

上述的步骤4)中的终止条件为迭代次数达到5或相邻两次迭代解之间的绝对差小于设定的阈值。

与现有技术相比，本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，其利用L1-L2罚函数正则化、高分辨率彩色图像引导的深度图超分辨率重建模型，可得到对象边缘保持的高质量深度图，不像传统深度超分辨率重建方法抑制深度图对象边缘，丢失深度图的不连续过渡。深度图与彩色图像相比，具有分段平滑的特点，其不连续过渡主要发生在对象边缘，这表明深度的对象边缘具有稀疏性。本发明采用非凸的L1-L2罚函数对重建深度进行正则化，有助于保持深度图这些稀疏的结构性信息，从而达到保持重建深度图对象边缘，并保证对象内部深度平滑过渡的目的。

附图说明

图1是本发明的流程图；

图2是本发明的具体实现过程图；

图3是本发明的L1-L2罚函数曲线图；

图4是本发明的迭代收敛图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1至图4所示，

本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，包括以下步骤：

步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面。假设输入的低分辨率深度图为Y，对应的高分辨率彩色图像为I，Y的大小为m×n，I的大小为M×N，其中这里s为分辨率扩大倍数。则其过程为：首先，将Y所在平面的坐标扩大s倍，如坐标点(r,c)映射为(sr,sc)；其次，构造与高分辨率彩色图像大小相同的初始估计深度图B，其中B(sr,sc)＝Y(r,c)，这里B(r,c)和Y(r,c)分别表示B和Y在坐标点(r,c)处的深度值；最后，将大小为M×N的B转换成K×1向量表示形式b，即B(r,c)＝b(r×N+c)，其中K＝M×N表示高分辨率彩色图像的像素点个数。

步骤二、掩模矩阵的计算：构造K×K的对角矩阵M，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为0；即第i个对角元素M(i,i)＝1，若b(i)≠0；否则M(i,i)＝0；这里b(i)表示向量b的第i个元素。

步骤三、近邻矩阵的计算：构造K×K的近邻矩阵W_a，其第i行第j列的元素w_a(i,j)定义为w_a(i,j)＝exp(-α||I_i-I_j||²-β||x_i-x_j||²)。这里I_i表示彩色图像第i个像素点的YCbCr值；x_i表示第i个像素点的空间坐标，即x_i＝[r_i c_i]^T，i＝r_i×N+c_i，其中r_i和c_i分别表示第i个像素点的纵坐标和横坐标。

步骤四、构造深度超分辨率重建模型：以L1-L2罚函数作为正则项建立深度图超分辨率重建的能量模型。该能量模型为：

f(d)＝(d-b)^TM(d-b)+λ1^TW_aoW_l1-l21

上式中o为矩阵的Hadamard积；d表示待重建超分辨率深度图的向量表示；1为所有元素均为1的K×1列向量；W_a为步骤三构造的近邻矩阵；K×K的W_l1-l2表示L1-L2罚函数形成的正则化矩阵，其第i行第j列的元素w_l1-l2(i,j)定义为这里d_i表示d的第i个元素。上述能量模型的第一项为保真项，使重建深度尽量逼近经低分辨率深度图放大获得的初始估计深度图；第二项为正则项，使重建深度保持深度图对象边缘对应的稀疏结构。常数λ用于平衡保真项和正则项对重建深度的影响。

步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘法予以求解，通过能量函数的最小化获得重建的高分辨率深度图。具体过程如下所述：

步骤1)初始化。将迭代次数变量k设为0，为能量模型中的λ分配合适的值，将第0次迭代中重建深度图初始化为d⁰＝b。

步骤2)构造能量模型的上界凸函数，即找到一个大于或等于步骤四能量模型f(d)的凸函数:

上式中d^k表示第k次迭代获得的重建深度图；表示第k次迭代中L1-L2罚函数形成的正则化矩阵，其第i行第j列的元素定义为这里表示d^k的第i个元素；L^k为K×K的拉普拉斯矩阵，其定义为这里D^k表示K×K的对角矩阵，其第i个对角元素定义为N_i表示第i个像素点的局部邻域。K×K矩阵第i行第j列的元素定义为f(d)≤g(d,d^k)且当d＝d^k时取等号。

步骤3)将g(d,d^k)对d求导并令其为0，得到

(M+λL^k)d＝Mb

步骤4)求解步骤3)获得的稀疏线性方程组，获得第k次迭代重建的深度图，即d＝(M+λL^k)^-1Mb。

步骤5)将迭代变量设为k＝k+1。如达到终止条件，退出；否则跳到步骤2)。

由于f(d^k+1)≤g(d^k+1,d^k)≤g(d^k,d^k)＝f(d^k)，因而上述过程可确保随着迭代，获得的解将逐步减小，即k趋近于无穷大时可获得最优解。实际应用中k达到5时上述过程即可达到收敛状态。

本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims

1.一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：包括以下步骤：

步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；近邻矩阵的计算中，相似性计算公式为：

w_a(i,j)＝exp(-α||I_i-I_j||²-β||x_i-x_j||²)

其中w_a(i,j)为近邻矩阵第i行第j列的元素；I_i和I_j分别表示高分辨率彩色图像上第i个像素点与第j个像素点归一化的YCbCr值；x_i和x_j分别表示第i个像素点与第j个像素点的空间坐标；α和β为参数，分别控制颜色差异与空间距离对近邻相似性度量的影响；

步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一项为重建深度与初始深度之间的差异，即保真项，第二项为L1-L2罚函数正则项；能量模型定义为：

其中d为待重建的高分辨率深度图；b为步骤一中获取的初始深度图的列向量表示；M为K×K的对角矩阵，K表示高分辨率图像的像素点个数，W_a为步骤三获得的近邻矩阵；W_l1-l2为L1-L2罚函数形成的正则化矩阵；1表示所有元素均为1的列向量；o表示矩阵的Hadamard积；λ为常数，用于控制正则项对重建深度的影响程度

2.根据权利要求1所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的步骤一的初始估计深度的计算中，映射计算公式为：

B(sr,sc)＝Y(r,c)

3.根据权利要求2所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的正则化矩阵的第i行第j列的元素的计算公式为：

4.根据权利要求3所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的步骤五的能量模型求解，包括以下步骤：

步骤1)、初始化，为迭代变量分配初值；

步骤2)、为能量模型构造凸上界函数；

5.根据权利要求4所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的凸上界函数的函数定义为：

<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <msup> <mi>d</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>&equiv;</mo> <msup> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>M</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&lambda;</mi> <msup> <mn>1</mn> <mi>T</mi> </msup> <msub> <mi>W</mi> <mi>a</mi> </msub> <msubsup> <mi>oW</mi> <mrow> <mi>l</mi> <mn>1</mn> <mo>-</mo> <mi>l</mi> <mn>2</mn> </mrow> <mi>k</mi> </msubsup> <mn>1</mn> <mo>+</mo> <msup> <mi>&lambda;d</mi> <mi>T</mi> </msup> <msup> <mi>L</mi> <mi>k</mi> </msup> <mi>d</mi> <mo>-</mo> <mi>&lambda;</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>L</mi> <mi>k</mi> </msup> <msup> <mi>d</mi> <mi>k</mi> </msup> </mrow>

6.根据权利要求5所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的凸上界函数的求解计算公式为：

d^k+1＝(M+λL^k)^-1Mb。

7.根据权利要求6所述的一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：所述的步骤4)中的终止条件为迭代次数达到5或相邻两次迭代解之间的绝对差小于设定的阈值。