CN104867106A - 一种深度图超分辨率方法 - Google Patents

Abstract

本发明公开了一种深度图超分辨方法，其中，训练阶段步骤包括：从高分辨率深度图中提取高分辨率特征，从低分辨率深度图中提取低分辨率特征，利用高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；超分辨率阶段步骤包括：提取当前低分辨率深度图的当前深度图低分辨率特征，计算当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据当前深度图高分辨率特征、当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。

Description

一种深度图超分辨率方法

【技术领域】

本发明涉及计算机视觉和图像处理领域，具体涉及一种深度图超分辨率方法。

【背景技术】

深度图在计算机视觉应用中被广泛使用，比如图像分类、目标识别以及交互式游戏等。但是，和高质量高分辨的彩色图相比，深度图的分辨率很低，这在很大程度上限制了深度图的进一步使用。深度图分辨率很低的原因主要在于获取的方式较少，且不能简便快捷地获取。

深度图超分辨的首要前提是获取低分辨率的深度图。主要是利用深度相机直接获取深度图。比如：PMD CamCube 3.0，SwissRange SR400以及Kinect。但是这些设备的共同缺点就是分辨率很低。因此，提高深度图的分辨率成为弥补这种不足的有效手段，是一个重要而急迫的研究内容。

通常，深度图超分辨的方法可以分为三大类。第一类是基于融合的方法，这类方法或者将多个深度获取设备或者将得到的多张深度图融合在一起，以得到高分辨率深度图。这类方法操作起来比较复杂且设备昂贵，一般用户很难使用这类方法来提高深度图的分辨率。第二类是结合彩色/灰度图的方法，利用高分辨率彩色/灰度图的边缘信息，来提高超分辨率后深度图边缘的准确度。这类方法往往在提高深度图分辨率的情况下，也引入了深度图的纹理信息，就造出深度值的不准确，而且，实际情况中，深度图和彩色/灰度图的配准就是一个难以解决的问题。第三类是基于单张深度图超分辨的方法，这类方法借鉴单张自然图像超分辨方法，特别是借鉴利用信号在某些变换域下稀疏性的字典学习方法，这类方法得到的高分辨率深度图，质量比较高，而且易于实现。

【发明内容】

为了得到质量较高的高分辨率深度图，本发明提出了一种深度图超分辨方法。

一种深度图超分辨方法，包括训练步骤和超分辨处理步骤；

其中，训练步骤包括如下步骤：

从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，

对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，

利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典(synthesis dictionary)和分析型字典(analysis dictionary)；

超分辨率处理步骤包括如下步骤：

将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，

根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典(synthesisdictionary)来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。

在一个实施例中，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。

在一个实施例中，在所述训练步骤中，所述高分辨率特征为y_H，所述低分辨率特征为y_L，

y_H＝p_H-p_L，

$y_L=[\frac{\∂}{\∂x}{p}_L,\frac{\∂}{\∂y}{p}_L,\frac{{\∂}^2}{\∂x^2}{p}_L,\frac{{\∂}^2}{\∂y^2}{p}_L],$

其中，p_H和p_L分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低分辨率深度图中对应位置提取的低分辨率深度图块，和中的x和y分别表示水平与垂直方向。

通过如下方式得到高分辨率合成型字典和低分辨率合成型字典(synthesisdictionary)：

$\begin{array}{c}\underset{D,X}{\min }\underset{i}{\mathrm{\Σ}}({\left|\right|y^i-D\·x_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x_i\left|\right|}_1)\\ {\left|\right|D(:,j)\left|\right|}_2^2\≤1,j=1,...,d\end{array},$

其中，D＝[D_H；D_L]，高分辨率合成型字典和低分辨率合成型字典(synthesis dictionary)分别为D_H和D_L，表示第i个高分辨率特征，表示第i个低分辨率特征，x_i为稀疏系数，λ为常数，表示L₂范数的平方，|| ||₁表示L₁范数，D(:,j)表示字典中的第j个字典基d_j。

在一个实施例中，所述训练步骤中的所述分析型字典(analysis dictionary)可通过求解以下最优化问题得到：

$\underset{\mathrm{\Ω}}{\min }G(\mathrm{\Ω}\·Y_H),$

其中，函数G()是稀疏度评价函数，Ω是所述分析型字典(analysis dictionary)。

在一个实施例中，所述超分辨率处理步骤中，通过如下方式求解稀疏系数x_i：

$\underset{x_i}{\min }{\left|\right|{y_L^i}^{\′}-D_L\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Ω}\·D_H\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_2{\left|\right|x_i\left|\right|}_1,$

其中，λ₁和λ₂是调节系数，表示所述当前深度图低分辨率特征。

在一个实施例中，所述超分辨率处理步骤中，通过如下方式获得当前深度图高分辨率特征

${y_H^i}^{\′}=D_H\·x_i.$

本发明的有益效果是：相对传统只单一地利用合成型(synthesis dictionary)或分析型字典(analysis dictionary)的情况，本发明提出了一种基于对偶稀疏模型的深度图超分辨方法。利用本发明能够综合利用稀疏表示合成模型与分析模型的优势，避免采用单一模型所造成的不足，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率深度图。

【附图说明】

图1是本发明一种实施例的深度图超分辨方法的流程示意图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所述，一种实施例的深度图超分辨方法，包括训练步骤和超分辨率处理步骤。其中，训练步骤包括如下步骤：

A1：从深度训练图集(深度图公共数据集，如Middlebury数据集)中获取高分辨率深度图集合表示第i个高分辨率深度图。

A2，使用插值算法，对高分辨率深度图集合进行缩小设定倍数s的下采样后，再进行放大所述设定倍数s的上采样，得到低分辨率深度图集合表示第i个低分辨率深度图，也即是说，第i个低分辨率深度图的尺寸与第i个高分辨率深度图的尺寸相同，而高分辨率深度图比低分辨率深度图所包含的图像内容更为丰富。

A3，从所述高分辨率深度图集合中提取高分辨率图像块集合和高分辨率特征集合在低分辨率深度图集合中的相应位置提取出低分辨率图像块集合与低分辨率特征集合例如，高分辨率图像块取自高分辨率深度图的左上角5*5区域，那么相应的低分辨率图像块也应取自低分辨率深度图的左上角5*5区域。

其中，高分辨率特征y_H为：

y_H＝p_H-p_L   (1)，

低分辨率特征y_L为：

$y_L=[\frac{\∂}{\∂x}{p}_L,\frac{\∂}{\∂y}{p}_L,\frac{{\∂}^2}{\∂x^2}{p}_L,\frac{{\∂}^2}{\∂y^2}{p}_L]---\left(2\right).$

和中的x和y分别表示水平和垂直方向，为了得到高分辨率合成型字典D_H和低分辨率合成型字典D_L，可以利用高分辨率特征集合和低分辨率特征集合来优化下列目标函数：

$\begin{array}{c}\underset{D,X}{\min }\underset{i}{\mathrm{\Σ}}({\left|\right|y^i-D\·x_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x_i\left|\right|}_1)\\ {\left|\right|D(:,j)\left|\right|}_2^2\≤1,j=1,...,d\end{array}---\left(3\right),$

其中，表示第i对高分辨率特征和低分辨率特征，D＝[D_H；D_L]，x_i表示稀疏系数，λ为平衡重构误差(即公式(3)中的第一项)与系数稀疏度(即公式(3)中的第二项)之间的常数，可以是大于零的数值，D(:,j)表示字典中的第j个字典基d_j。具体求解公式(3)中最优化问题的算法可采用特征标记搜索算法方法(Feature SignSearch Algorithm)等，本发明涵盖的范围不限于所例举的方法。

A4，对于训练阶段分析型字典(analysis dictionary)Ω可通过求解以下最优化问题得到：

$\underset{\mathrm{\Ω}}{\min }G(\mathrm{\Ω}\·Y_H)---\left(4\right),$

其中，函数G()是稀疏度评价函数，有多种形式，比如，G(x)＝||x||_p,0≤p≤1，该形式为L_p范数。是高分辨率特征集合。具体求解算法可以是GOAL算法(GeOmetric Analysis operator Learning)等，本发明涵盖的范围不限于所例举的方法。

超分辨率处理步骤包括如下步骤：

A5：在训练步骤之后，对于任意的需要进行处理的低分辨率深度图，进行放大所述设定倍数s的上采样(由于在训练阶段中采用了放大倍数s的上采样，因此，在实际超分辨率处理过程中，采用同样的放大倍数s得到的运算结果更加准确)，得到当前低分辨率深度图I'_L，在当前低分辨率深度图I'_L分成相互重叠的当前深度图低分辨率特征(相邻的之间相互重叠，以保证重构的图像更加完整)、以及提取当前深度图低分辨率图像块计算每一个当前深度图低分辨率特征在对偶稀疏模型下的系数x_i。该求解过程可以通过求解如下最优化函数得到的：

$\underset{x_i}{\min }{\left|\right|{y_L^i}^{\′}-D_L\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Ω}\·D_H\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_2{\left|\right|x_i\left|\right|}_1---\left(5\right),$

λ₁和λ₂分别是调整公式(5)中各自对应项权重的系数，可以是大于零的数值，具体求解上述最优化问题可采用特征标记搜索算法方法(Feature Sign Search Algorithm)等，本发明涵盖的范围不限于所例举的方法。

A6，对于每一个当前深度图低分辨率特征及其稀疏系数x_i，使用高分辨率字典D_H来恢复相应的当前深度图高分辨率特征即，将所有重构的高分辨特征加上包含低频信息的当前深度图低分辨率图像块得到相应的当前深度图高分辨率图像块将所有当前深度图高分辨图像块融合成一张高分辨图像I_H。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (6)

1.一种深度图超分辨方法，其特征是，包括训练步骤和超分辨处理步骤；

其中，训练步骤包括如下步骤：

从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，

对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，

利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；

超分辨率处理步骤包括如下步骤：

将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，

根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。

2.如权利要求1所述的深度图超分辨方法，其特征是，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。

3.如权利要求2所述的深度图超分辨方法，其特征是，在所述训练步骤中，所述高分辨率特征为y_H，所述低分辨率特征为y_L，

y_H＝p_H-p_L，

$y_L=[\frac{\∂}{\∂x}{p}_L,\frac{\∂}{\∂y}{p}_L,\frac{{\∂}^2}{\∂x^2}{p}_L,\frac{{\∂}^2}{\∂y^2}{p}_L],$

其中，p_H和p_L分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低分辨率深度图中对应位置提取的低分辨率深度图块，和中的x和y分别表示水平和垂直方向，

通过如下方式得到高分辨率合成型字典和低分辨率合成型字典：

$\underset{D,X}{\min }\underset{i}{\mathrm{\Σ}}({\left|\right|y^i-D\·x_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x_i\left|\right|}_1),$

${\left|\right|D(:,j)\left|\right|}_2^2\≤1,j=1,...,d$

其中，D＝[D_H；D_L]，高分辨率合成型字典和低分辨率合成型字典分别为D_H和D_L，表示第i个高分辨率特征，表示第i个低分辨率特征，x_i为稀疏系数，λ为常数，表示L₂范数的平方，||||₁表示L₁范数，D(:,j)表示字典中的第j个字典基d_j。

4.如权利要求3所述的深度图超分辨方法，其特征在于，所述训练步骤中的所述分析型字典可通过求解以下最优化问题得到：

$\underset{\mathrm{\Ω}}{\min }G(\mathrm{\Ω}\·Y_H),$

其中，函数G()是稀疏度评价函数，Ω是所述分析型字典。

5.如权利要求4所述的深度图超分辨方法，其特征在于，所述超分辨率处理步骤中，通过如下方式求解稀疏系数x_i：

$\underset{x_i}{\min }{\left|\right|y_L^{i\′}-D_L\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Ω}\·H_D\·x_i\left|\right|}_2^2+{\mathrm{\λ}}_2{\left|\right|x_i\left|\right|}_1,$

其中，λ₁和λ₂是调节系数，表示所述当前深度图低分辨率特征。

6.如权利要求5所述的深度图超分辨方法，其特征在于，所述超分辨率处理步骤中，通过如下方式获得当前深度图高分辨率特征

$y_H^{i\′}=D_H\·x_i.$