CN105335929A - 一种深度图超分辨方法 - Google Patents

Abstract

本发明公开了一种深度图超分辨方法，包括:进行低分辨率字典A_L和高分辨率字典A_H的训练；从待处理的低分辨率深度图Dˊ_L中提取低分辨率图像块集合及其对应的低分辨率特征集合对于每一个低分辨率特征输入无噪的高分辨率的引导彩色图C_H，利用C_H计算出每一个高分辨率特征满足的权重约束W，结合低分辨率字典A_L和高分辨率字典A_H以及权重约束W并利用0范数求解得到重构系数α，再使用重构系数α和高分辨率字典A_H重建出对应的高分辨率特征再将所有重构的高分辨特征加上对应的低分辨率图像块得到所有相应的高分辨率图像块融合所有高分辨图像块形成一张高分辨深度图Dˊ_H。该方法结合了引导图像插值方法和稀疏表示方法，处理速度快，获得的高分辨率深度图质量高。

Description

一种深度图超分辨方法

技术领域

本发明涉及计算机视觉和图像处理领域，特别是涉及一种深度图超分辨方法。

背景技术

深度图作为真实3D空间物体的位置的一种表示，在目标识别、立体医疗、3D重建和立体视频等领域扮演着越来越重要的作用。尽管当前存在许多深度获取方法能够从自然场景中获取深度信息形成深度图，但是获取的深度图其分辨率相当于与同一场景下拍摄的彩色图的分辨率小很多，而且获取的深度图也有许多噪声，这主要是由于这些深度获取方法使用的采集设备的感知芯片尺寸较小。这些缺点都极大的限制了基于深度信息的实际应用的发展。

深度图超分辨是解决上述问题的一个重要手段。深度图超分辨属于计算机视觉和图像处理领域，是一个经典的图像处理问题，有着重要的学术和工业研究价值。深度图超分辨的主要目标就是，输入低分辨率的深度图，能够在保证重构误差尽量小的情况下，保持比较好的视觉效果，即获得较好的客观和主观质量。当前主流的深度图超分辨方法可以分为两大类：基于引导图像插值的方法；基于稀疏表示的方法。

基于引导图像插值的方法，其处理过程通常会使用一张高分辨率的彩色引导图像，计算出目标深度图每一个像素点的值所应当满足的约束，之后进行最小二乘优化来求解出高分辨率的深度图。但是，很多情况下，这类方法产生的结果会受到引导彩色图的干扰，所得到的高分辨率深度图中有很多多余的纹理信息，而且速度较慢。基于稀疏表示的方法，通常是通过建立训练集，训练出字典，之后通过目标深度图满足的稀疏约束，通过求解1范数或者0范数问题来获得目标的高分辨率深度图。这类方法没有结合引导图图像，而且不能很好地应对噪声问题。

发明内容

本发明的主要目的在于针对现有技术的不足，提供一种处理速度快、质量高的深度图超分辨方法。

为实现上述目的，本发明采用以下技术方案：

一种深度图超分辨方法，包括训练步骤和超分辨处理步骤，其中：

所述训练步骤包括：

(1)建立深度图训练集，获取高分辨率深度图集合并从所述高分辨率深度图集合中提取得到高分辨率特征集合对所述高分辨率深度图集合下采样后再上采样得到低分辨率深度图集合从所述低分辨率深度图集合中提取得到低分辨率特征集合

(2)利用所述低分辨率特征集合训练得到低分辨率字典A_L并得到低分辨率特征相应的重构系数集合X；利用所述高分辨率特征集合和所述重构系数集合X计算得到高分辨率字典A_H；

所述超分辨处理步骤包括：

(3)输入待处理的低分辨率深度图D'_L，提取得到当前低分辨率图像块集合并从所述当前低分辨率图像块集合提取得到当前低分辨率特征集合对于每一个当前低分辨率特征输入无噪的高分辨率的引导彩色图C_H，利用所述引导彩色图C_H计算得到每一个重构的高分辨率特征满足的权重约束W，结合所述低分辨率字典A_L和所述高分辨率字典A_H以及所述权重约束W并利用0范数求解得到重构系数α；

(4)使用所述重构系数α和所述高分辨率字典A_H重建出每一个当前低分辨率特征对应的重构的高分辨率特征再将所有重构的高分辨特征集合加上所述重构的高分辨率特征对应的当前低分辨率图像块集合得到所述重构的高分辨率特征相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张高分辨深度图D'_H。

本发明的有益效果包括：本发明提出的深度图超分辨方法结合了基于稀疏表示和引导图插值的方法，利用本发明可获得充分利用了稀疏表示方法的快速性，还能够结合引导图像的无噪性来进行引导插值，最终得到高分辨率且质量高的深度图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

在本发明的实施例中，针对单张低分辨率的图像，提出一种深度图超分辨方法。根据该方法，在训练步骤中，进行低分辨率字典A_L和高分辨率字典A_H的训练。在超分辨处理步骤(也即重构阶段)中，从输入的待处理的低分辨率深度图D'_L中，提取当前低分辨率图像块集合并由此提取得到其对应的当前低分辨率特征集合对于每一个当前低分辨率特征再输入无噪的高分辨率的引导彩色图C_H，利用引导彩色图C_H计算出每一个重构的高分辨率特征满足的权重约束W，结合低分辨率字典A_L和高分辨率字典A_H以及权重约束W并利用0范数求解得到重构系数α。使用重构系数α和高分辨率字典A_H重建出每一个当前低分辨率特征对应的重构的高分辨率特征再将所有重构的高分辨特征集合加上其对应的当前低分辨率图像块集合得到所有相应的当前高分辨率图像块集合融合所有的当前高分辨图像块形成一张高分辨深度图D'_H。

在本发明的一个优选实施例中，深度图超分辨方法包括以下步骤：

训练步骤，包括：

(1)建立深度图训练集，获取高分辨率深度图集合并从高分辨率深度图集合中提取得到高分辨率特征集合对高分辨率深度图集合下采样后再上采样得到低分辨率深度图集合从低分辨率深度图集合中提取得到低分辨率特征集合

在一个更优选的实施例中，具体来说，步骤(1)的步骤可以包括：

a)对高分辨率深度图集合使用插值算法进行下采样后再进行上采样处理得到低分辨率深度图集合

b)从高分辨率深度图集合中提取高分辨率图像块集合从低分辨率深度图集合中的相应位置提取出低分辨率图像块集合再对高分辨率图像块集合和低分辨率图像块集合进行特征提取以分别获得高分辨率特征和低分辨率特征具体提取方法是：高分辨率特征为：

$y_H^i=p_H^i-p_L^i,---\left(1\right)$

对低分辨率图像块集合进行一阶水平方向、一阶竖直方向、二阶水平方向和二阶竖直方向梯度特征提取，以获得低分辨率特征为：

$y_L^i=\[f_1*p_L^i;f_2*p_L^i;f_3*p_L^i;f_4*p_L^i\],---\left(2\right)$

其中，符号*表示卷积操作，f₁和f₂分别表示水平与竖直方向的一阶梯度高通滤波器，f₃和f₄分别表示水平与垂直方向二阶梯度高通滤波器。

(2)利用低分辨率特征集合训练得到低分辨率字典A_L并得到低分辨率特征相应的重构系数集合X；利用高分辨率特征集合和重构系数集合X计算得到高分辨率字典A_H。

在一个更优选的实施例中：

低分辨率的字典A_L通过优化以下目标函数来获得：

$\underset{A_L,X}{\min }\left|\right|Y_L-A_{L}X|{|}_F^2,---\left(3\right)$

s.t.||x_n||₀≤L

其中A_L，X分别为低分辨率特征集合、低分辨率字典以及低分辨率特征相应的重构系数集合，是重构误差项，||x_n||₀≤L是系数0范数约束项。

高分辨率字典A_H使用最小二乘优化方法获得：

$\underset{A_H}{\min }\left|\right|Y_H-A_{H}X|{|}_F^2,---\left(4\right)$

其中A_H，X分别为高分辨率特征集合、高分辨率字典以及低分辨率特征相应的重构系数集合，是重构误差项。

超分辨处理步骤，包括：

(3)输入待处理的低分辨率深度图D'_L，提取得到当前低分辨率图像块集合并从当前低分辨率图像块集合提取得到当前低分辨率特征集合对于每一个当前低分辨率特征输入无噪的高分辨率的引导彩色图C_H，利用引导彩色图C_H计算得到每一个重构的高分辨率特征满足的权重约束W，结合低分辨率字典A_L和高分辨率字典A_H以及权重约束W并利用0范数求解得到重构系数α。

在一个更优选的实施例中，步骤(3)中从当前低分辨率图像块集合提取得到当前低分辨率特征集合的方法如下：

对当前低分辨率图像块集合进行一阶水平方向、一阶竖直方向、二阶水平方向和二阶竖直方向梯度特征提取，以获得当前低分辨率特征为：

${y^{\′}}_L^i=\[f_1*{p^{\′}}_L^i;f_2*{p^{\′}}_L^i;f_3*{p^{\′}}_L^i;f_4*{p^{\′}}_L^i\],---\left(5\right)$

其中，符号*表示卷积操作，f₁和f₂分别表示水平与竖直方向的一阶梯度高通滤波器，f₃和f₄分别表示水平与垂直方向二阶梯度高通滤波器。

权重约束W的计算方法如下：

$w_{ij}=\exp (-\frac{\underset{k=1}{\overset{3}{\Σ}}{(I_i^k-I_j^k)}^2}{2{\mathrm{\σ}}_I^2}),---\left(6\right)$

其中w_ij是W的第i行第j列的元素的值，是引导彩色图C_H的所有像素点的值拉成列向量后的第i个像素点的值，σ_I是归一化因子。

对于每一个低分辨率特征通过优化以下目标函数来获得重构系数α：

$\underset{\mathrm{\α}}{\min }\left|\right|{y^{\′}}_L^i-A_L\mathrm{\α}|{|}_F^2+\mathrm{\λ}|\left|{\mathrm{WA}}_H\mathrm{\α}\right|{|}_F^2,---\left(7\right)$

s.t.||α||₀≤L

其中，A_L，A_H，α分别为当前低分辨率特征、低分辨率字典、高分辨率字典以及重构系数，是重构误差项，||α||₀≤L是系数0范数约束项，是引导图像权重约束项。

(4)使用重构系数α和高分辨率字典A_H重建出每一个当前低分辨率特征对应的重构的高分辨率特征再将所有重构的高分辨特征集合加上重构的高分辨率特征对应的低分辨率图像块集合得到相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张高分辨深度图D'_H。

具体来说，重构的高分辨率特征：

${y^{\′}}_H^i=A_H\mathrm{\α},---\left(8\right)$

最后将所有重构的高分辨特征集合加上对应的当前低分辨率图像块集合得到相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张高分辨深度图D'_H。

利用本发明可获得充分利用了稀疏表示方法的快速性，还能够结合引导图像的无噪性来进行引导插值，最终得到高分辨率且质量高的深度图。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (8)

1.一种深度图超分辨方法，其特征在于，包括训练步骤和超分辨处理步骤，其中：

所述训练步骤包括：

(1)建立深度图训练集，获取高分辨率深度图集合并从所述高分辨率深度图集合中提取得到高分辨率特征集合对所述高分辨率深度图集合下采样后再上采样得到低分辨率深度图集合从所述低分辨率深度图集合中提取得到低分辨率特征集合

(2)利用所述低分辨率特征集合训练得到低分辨率字典A_L并得到低分辨率特征相应的重构系数集合X；利用所述高分辨率特征集合和所述重构系数集合X计算得到高分辨率字典A_H；

所述超分辨处理步骤包括：

(3)输入待处理的低分辨率深度图D'_L，提取得到当前低分辨率图像块集合并从所述当前低分辨率图像块集合提取得到当前低分辨率特征集合对于每一个当前低分辨率特征输入无噪的高分辨率的引导彩色图C_H，利用所述引导彩色图C_H计算得到每一个重构的高分辨率特征满足的权重约束W，结合所述低分辨率字典A_L和所述高分辨率字典A_H以及所述权重约束W并利用0范数求解得到重构系数α；

(4)使用所述重构系数α和所述高分辨率字典A_H重建出每一个当前低分辨率特征对应的重构的高分辨率特征再将所有重构的高分辨特征集合加上所述重构的高分辨率特征对应的当前低分辨率图像块集合得到所述重构的高分辨率特征相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张高分辨深度图D'_H。

2.如权利要求1所述的深度图超分辨方法，其特征在于，所述训练步骤的步骤(1)包括：

a)对所述高分辨率深度图集合使用插值算法进行下采样后再进行上采样处理得到所述低分辨率深度图集合

b)从所述高分辨率深度图集合中提取所述高分辨率图像块集合从所述低分辨率深度图集合中的相应位置提取出低分辨率图像块集合再对所述高分辨率图像块集合和所述低分辨率图像块集合进行特征提取以分别获得高分辨率特征和低分辨率特征其中，所述高分辨率特征为：

$y_H^i=p_H^i-p_L^i,---\left(1\right)$

对所述低分辨率图像块集合进行一阶水平方向、一阶竖直方向、二阶水平方向和二阶竖直方向梯度特征提取，以获得低分辨率特征为：

$y_L^i=\[f_1*p_L^i;f_2*p_L^i;f_3*p_L^i;f_4*p_L^i\],---\left(2\right)$

其中，符号*表示卷积操作，f₁和f₂分别表示水平与竖直方向的一阶梯度高通滤波器，f₃和f₄分别表示水平与垂直方向二阶梯度高通滤波器。

3.如权利要求1所述的深度图超分辨方法，其特征在于，所述训练步骤的步骤(2)中：

所述低分辨率的字典A_L通过优化以下目标函数来获得：

$\underset{A_L,X}{min}\left|\right|Y_L-A_{L}X|{|}_F^2,---\left(3\right)$

s.t.||x_n||₀≤L

其中A_L，X分别为低分辨率特征集合、低分辨率字典以及低分辨率特征相应的重构系数集合，是重构误差项，||x_n||₀≤L是系数0范数约束项。

4.如权利要求1所述的深度图超分辨方法，其特征在于，所述训练步骤的步骤(2)中：

所述高分辨率字典A_H使用最小二乘优化方法获得：

$\underset{A_H}{min}\left|\right|Y_H-A_{H}X|{|}_F^2,---\left(4\right)$

其中A_H，X分别为高分辨率特征集合、高分辨率字典以及低分辨率特征相应的重构系数集合，是重构误差项。

5.如权利要求1所述的深度图超分辨方法，其特征在于，所述超分辨处理步骤的步骤(3)中从所述当前低分辨率图像块集合提取得到当前低分辨率特征集合的方法如下：

对所述当前低分辨率图像块集合进行一阶水平方向、一阶竖直方向、二阶水平方向和二阶竖直方向梯度特征提取，以获得当前低分辨率特征为：

${y^{\′}}_L^i=\[f_1*{p^{\′}}_L^i;f_2*{p^{\′}}_L^i;f_3*{p^{\′}}_L^i;f_4*{p^{\′}}_L^i\],---\left(5\right)$

其中，符号*表示卷积操作，f₁和f₂分别表示水平与竖直方向的一阶梯度高通滤波器，f₃和f₄分别表示水平与垂直方向二阶梯度高通滤波器。

6.如权利要求1所述的深度图超分辨方法，其特征在于，所述超分辨率步骤的步骤(3)中，所述权重约束W的计算方法如下：

$w_{ij}=\exp (-\frac{\underset{k=1}{\overset{3}{\Σ}}{(I_i^k-I_j^k)}^2}{2{\mathrm{\σ}}_I^2}),---\left(6\right)$

其中w_ij是W的第i行第j列的元素的值，是所述引导彩色图C_H的所有像素点的值拉成列向量后的第i个像素点的值，σ_I是归一化因子。

7.如权利要求1所述的深度图超分辨方法，其特征在于，所述超分辨处理步骤的步骤(3)中，对于每一个当前低分辨率特征通过优化以下目标函数来获得重构系数α：

$\underset{\mathrm{\α}}{min}\left|\right|{y^{\′}}_L^i-A_L\mathrm{\α}|{|}_F^2+\mathrm{\λ}|\left|{\mathrm{WA}}_H\mathrm{\α}\right|{|}_F^2,---\left(7\right)$

s.t.||α||₀≤L

其中A_L，A_H，α分别为当前低分辨率特征、低分辨率字典、高分辨率字典以及重构系数，是重构误差项，||α||₀≤L是系数0范数约束项，是引导图像权重约束项。

8.如权利要求1所述的深度图超分辨方法，其特征在于，所述超分辨处理步骤的步骤(4)中：由所述重构系数α和所述高分辨率字典A_H得到所述重构的高分辨率特征

${y^{\′}}_H^i=A_H\mathrm{\α},---\left(8\right)$

最后将所有重构的高分辨特征集合加上对应的当前低分辨率图像块集合得到相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张高分辨深度图D'_H。