CN107767357B - 一种基于多方向字典的深度图像超分辨率方法 - Google Patents

Abstract

本发明公开一种基于多方向字典的深度图像超分辨率方法，包括以下步骤：步骤一：提取彩色图像特征，获得轮廓图；步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；步骤四：进行字典训练；步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像。采用本发明的技术方案，使深度图像的分辨率得到增强，边界纹理区域清晰。

Description

一种基于多方向字典的深度图像超分辨率方法

技术领域

本发明涉及计算机图像处理领域，具体涉及一种基于多方向字典的深度图像 超分辨率方法。

背景技术

近些年随着飞行时间相机和微软的Kinect等3D相机的迅猛发展，深度图像 已经广泛应用于低成本的计算机视觉领域，比如机器人导航、增强现实和场景分 析等。然而，受外在条件和设备本身所限，使用这些3D相机得到的深度图像往 往存在着低分辨率、大量噪声以及在一些深度边界结构丢失的问题，导致这些深 度图像不能直接用于深度感知和3D重建。

深度图像超分辨率算法目前已经取得了很大的进展，主要分为两个方面：基 于优化的方法和基于滤波的方法。基于优化的方法可以被视为能量最小化方法， 这种方法的一个标志性工作是，使用马尔科夫随机场来生成高分辨率深度图像。 比如Park等提出了一种基于加权最小二乘法的优化框架，他们用一个附加的边 缘加权方案扩展了正则项(J.Park,H.Kim,Y.-W.Tai,M.S.Brown,and I.Kweon, “High quality depth mapupsampling for 3D-TOF cameras,”in Computer Vision (ICCV),2011IEEEInternational Conference on,2011,pp.1623-1630.)。基于滤波的 方法中，联合双边滤波是一个开创性的方法，自此一系列的滤波器，比如测地线 滤波器、引导滤波器以及它们的扩展版本面世。然而无论是优化的方法还是滤波 的方法得到的深度图像往往存在一些问题，这些问题主要集中于图像边界不清晰 和一些错误的纹理信息。最近，基于学习的深度图像超分辨率算法引起了广泛关 注，这种方法是通过学习大量低分辨率图像和高分辨率图像的相关性，从而来获 得清晰的低分辨率深度图的边界信息，比如Yang等提出了基于稀疏表示的2D 图像超分辨率逼近方法(J.Yang,J.Wright,T.Huang,and Y.Ma,“Imagesuper-resolution via sparse representation,”IEEE Trans.Image Processing,vol.19, no.11.pp.2681-2873,2010.)，该方法能从一定程度上提高重建后深度图像的质量，但通过实验可以发现得到的图像纹理边界较为模糊。

综上，现有的深度图像超分辨率算法获得的结果质量较低，纹理边界区域较 为模糊，具有一定的局限性。

发明内容

本发明的目的是克服上述现有技术的缺点，提供一种质量高的深度图像超分 辨率方法，使深度图像的分辨率得到增强，边界纹理区域清晰。

本发明的深度图像超分辨算法是将图像分块进行的，对于每个图像块，通过 计算其几何方向来选择相应的字典，然后结合彩色图像纹理信息来实现超分辨率 重建。在重建过程中，使用自回归模型来加强重建约束来获得高质量的重建结果。

为实现上述目的，本发明采用如下的技术方案：

一种基于多方向字典的深度图像超分辨率方法，包括以下步骤：

步骤一：提取彩色图像特征，获得轮廓图；

步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；

步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；

步骤四：进行字典训练；

步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像。

作为优选，

步骤一的具体操作：将低分辨率深度图像插值放大到彩色图像的分辨率大 小，对于每个彩色图像块：

式中，对于图像块i，C_i表示彩色图像的轮廓图的块，▽表示边缘提取操作，

表示彩色图像块，

表示插值后的深度图像块。

作为优选，

步骤二的具体操作：首先将低分辨率深度图像插值放大到彩色图像分辨率大 小，然后用一阶二阶导数作为高通滤波来表示每个块的特征：

式中，L_i表示低分辨率图像块的特征，

表示插值后的深度图像块。

作为优选，

步骤三的具体操作：对于低分辨率深度图像块j，计算其几何方向ω：

式中，G_ω表示沿着已定义的几何方向重新排列像素值，{θ₁,θ₂,…,θ_Q}表示自 定义的几何方向，W^T表示一维正交Haar小波变换，

表示前25％个最大的小 波系数，x_j表示低分辨率深度图像块。

作为优选

步骤四的具体操作：首先收集足够多的高分辨率深度图像和对应的彩色图 像，作为字典训练的训练集，其中低分辨率的深度图像由高分辨率的深度图像通 过下采样获得。根据步骤一提取得到彩色图像轮廓图，步骤二得到低分辨率深度 图的特征，步骤三计算得到每个块的几何方向，将具有同一个方向的块收集到一 类里。训练集里的高分辨率深度图像的特征可以表示为：

Y_i＝Y_i-mean(Y_i) (4)

式中，Y_i表示高分辨率深度图像块，mean()表示取平均。

字典的训练在拥有相同方向的每个类里进行，图像块S＝{S₁,S₂,…,S_M}以及定 义的几何方向{θ₁,θ₂,…,θ_Q}，通过步骤三，将图像块集S分为Q类，即 {S₁,S₂,…,S_Q}，然后在每一个类里训练一个字典D_ω(ω＝1,2,…,Q)：

式中，A表示系数矩阵，λ为参数，且λ＝1。

对于低分辨率深度图像、彩色图像和高分辨率深度图像，通过使其稀疏系数 保持一致来约束它们的特征，进一步得到字典：

式中，

分别表示相应于低分辨率深度图(l)、彩色图像(c)和高分辨 率深度图(h)在ω方向的字典，λ_l，λ_c，λ_h及λ为权重参数，其参数均等于1。

作为优选，

步骤五的具体操作：首先对于每个低分辨率的图像块，通过自回归模型得到 约束项Z：

式中，η是权重参数，且η＝0.01，

是数据保真项

式中，Z_x表示在位置x处的像素值，Ω表示x周围相邻的像素。

E_AR(Z)表示自回归项：

式中，N(x)表示与像素x邻近的像素，a_x,y表示自回归系数。

然后计算系数：

式中，

是根据图像块的几何方向选择的字典，λ_l，λ_c，λ_h及λ为权重参 数。

最后重建深度图像块：

将所有的图像块拼接在一起，重叠区域取平均值，就得到了重建后的深度图像。

与现有技术相比，本发明通过计算图像块的几何方向来选择相应的字典，再 用相同的稀疏系数来建立起低分辨率深度图、彩色图像和高分辨率深度图三者之 间的关系，在重建过程中使用自回归模型增加约束。其有益的效果是：深度图像 的分辨率得到显著的提升，纹理边界细节更加清晰，非纹理区域有较好的空间平 滑性。

附图说明：

图1为深度图像超分辨率框架图；

图2为部分训练图像；

图3a为测试图片ART；

图3b为图3a的对应的真实图像；

图4a第一深度图像的几何方向；

图4b第二深度图像的几何方向；

图5a为原图；

图5b为图5a的第一处局部放大图；

图5c为图5a的第二处局部放大图

图6a本发明得到的图像；

图6b为图6a的第一处局部放大图；

图6c为图6a的第二处局部放大图；

图7测试图片；

图8(a)-图8(g)为Art不同算法重建结果主观质量比较(第一图片的局部1)；其中，图8(a)为第一局部原图像、图8(b)本发明的图像、图8(c)JESR图像、图8 (d)SCSR图像、图8(e)SRF图像、图8(f)双三次插值图像，图8(g)为第一图片；

图9(a)-图9(g)为Art不同算法重建结果主观质量比较(第一图片的局部2)；其中，图9(a)为第二局部原图像、图9(b)本发明的图像、图9(c)JESR图像、图9 (d)SCSR图像、图9(e)SRF图像、图9(f)双三次插值图像，图9(g)为第一图片；

图10(a)-图10(g)为Reindeer不同算法重建结果主观质量比较(第二图片的局部1)；其中，图10(a)为第一局部原图像、图10(b)本发明的图像、图10(c)JESR 图像、图10(d)SCSR图像、图10(e)SRF图像、图10(f)双三次插值图像，图10 (g)为第二图片；

图11(a)-图11(g)为Reindeer不同算法重建结果主观质量比较(第二图片的局部2)；其中，图11(a)为第二局部原图像、图11(b)本发明的图像、图11(c)JESR图 像、图11(d)SCSR图像、图11(e)SRF图像、图11(f)双三次插值图像，图11(g) 为第二图片。

具体实施方式：

为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描 述：

本发明的框架图如图1，具体实施过程分为两个阶段，字典学习阶段和超分 辨率重建阶段。

一、字典学习阶段

字典学习阶段分为四个步骤：收集训练图像集、图像特征提取、计算几何方 向以及字典训练。

1、收集训练图像

首先从标准图像中收集足够多的高分辨率深度图像和对应的彩色图像作为 字典训练的训练集，如图2，其中低分辨率的深度图像由高分辨率的深度图像下 采样得到。

2、图像特征提取

a.彩色图像轮廓提取：

将低分辨率深度图像插值放大到彩色图像的分辨率大小，对于每个彩色图像 块i：

式中，C_i表示彩色图像的轮廓图的块，▽表示边缘提取操作，

表示彩色图像块，

表示插值后的深度图像块。

b.低分辨率深度图像特征提取：

将低分辨率深度图像插值放大到彩色图像分辨率大小，然后用一阶二阶导数 作为高通滤波来表示每个块的特征：

式中，L_i表示低分辨率图像块的特征，

表示插值后的深度图像块。

c.高分辨率深度图像特征提取：

Y_i＝Y_i-mean(Y_i) (3)

式中，Y_i表示高分辨率深度图像块，mean()表示取平均。

3、计算几何方向

对于每一个低分辨率深度图像块j，计算其几何方向ω：

式中，G_ω表示沿着已定义的几何方向重新排列像素值，{θ₁,θ₂,…,θ_Q}表示自定义的几何方向，W^T表示一维正交Haar小波变换，

表示前25％个最大的小波系 数，x_j表示低分辨率深度图像块。

4、字典训练

将上一步中有相同方向的块放到一个类里，字典的训练分别在每一个类里进 行。对于某个类ω中的低分辨率深度图像、彩色图像和高分辨率深度图像，通过 使其稀疏系数保持一致来约束它们的特征，进一步得到字典：

式中，

分别表示相应于低分辨率深度图(l)、彩色图像(c)和高分辨 率深度图(h)在ω方向的字典，λ_l，λ_c，λ_h及λ为权重参数(实验设置这些参数 都等于1)，可采用KSVD字典解决。

二、超分辨率重建阶段

超分辨率重建阶段包括三个步骤：图像特征提取、计算几何方向并选择字典 以及约束重建。测试图片为Art，如图3a、图3b.

1、图像特征提取

a.彩色图像轮廓提取：

将低分辨率深度图像插值放大到彩色图像的分辨率大小，对于彩色图像块i：

式中，C_i表示彩色图像的轮廓图的块，▽表示边缘提取操作，

表示彩色图像块，

表示插值后的深度图像块。

b.低分辨率深度图像特征提取：

将低分辨率深度图像插值放大到彩色图像分辨率大小，然后用一阶二阶导数 作为高通滤波来表示每个块的特征：

式中，L_i表示低分辨率图像块的特征，

表示插值后的深度图像块。

2、计算图像块的几何方向，并选择相应字典。

对于每一个低分辨率深度图像块j，计算其几何方向ω：

式中，G_ω表示沿着已定义的几何方向重新排列像素值，{θ₁,θ₂,…,θ_Q}表示自定义的几何方向，W^T表示一维正交Haar小波变换，

表示前25％个最大的小波系 数，x_j表示低分辨率深度图像块。

计算结果如图4a、图4b，然后利用得到几何方向，选择相应字典。

3、在自回归模型的约束下重建深度图像

a.计算约束项

对于每个低分辨率的图像块，通过自回归模型得到约束项Z：

式中，η是参数(实验设置η＝0.01)，

是数据保真项

式中，Z_x表示在位置x处的像素值，Ω表示x周围相邻的像素。

E_AR(Z)表示自回归项：

式中，N(x)表示与像素x邻近的像素，a_x,y表示自回归系数。

b.计算系数：

式中，

是根据图像块的几何方向选择的字典，λ_l，λ_c，λ_h及λ为参数(实 验设置这些参数都等于1)。

c.重建深度图像块：

最后将所有的图像块拼接在一起，重叠区域取平均值，就得到了重建后的深 度图像。原图及局部放大图如图5a、图5b、图5c，本发明得到的图像及局部放 大图如图6a、图6b、图6c。

图像质量评价：

现在分别对Art、cones、Laundry、Midd2、Reindeer(如图7)采用本发明提 供的算法与当前主流的几种算法进行比较评价，这些算法分别是双三次插值、 SRF(J.-B.Huang,A.Singh,and N.Ahuja,“Single image super-resolution from transformed self-exemplars,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit. (CVPR),pp.5197–5206,Jul.2015)、SCSR(J.Yang,J.Wright,T.Huang,and Y.Ma, “Image super-resolutionvia sparse representation,”IEEE Trans.Image Processing, vol.19,no.11.pp.2681-2873,2010)、JESR(J.Li,T.Xue,L.Sun,and J.Liu, “Joint example-based depth mapsuper-resolution,”IEEE Int.Conf.Multimedia Expo(ICME),pp.152-157.2012)。

对图像质量客观评价指标均方根误差：

式中，R表示均方根误差，X_i表示重建后的图像像素值，Y_i表示原图像素值,n表 示像素个数。均方根误差越小说明重建效果越好，即重建得到的图像分辨率越高。

表1是本发明与四种主流算法的均方根误差比较，可以看出本发明所得到的 的均方根误差最小。主观比较：如图8(a)-图8(g)、图9(a)-图9(g)、图10(a)- 图10(g)、图11(a)-图11(g)，本发明得到的结果有更清晰的轮廓边缘，非纹理区 域平滑性更好。结合客观和主观比较，可以看出本发明得到的深度图像的分辨率 更高，误差更小，纹理轮廓更加清晰。

表1不同算法的客观质量比较

Claims (5)

1.一种基于多方向字典的深度图像超分辨率方法，其特征在于，包括以下步骤：

步骤一：提取彩色图像特征，获得轮廓图；

步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；

步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；

步骤四：进行字典训练；

步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像；

步骤五的具体操作：首先对于每个低分辨率的图像块，通过自回归模型得到约束项Z：

式中，η是权重参数，且η＝0.01，函数

是数据保真项，

式中，Z_x表示在位置x处的像素值，Ω表示x周围相邻的像素；

E_AR(Z)表示自回归项：

式中，N(x)表示与像素x邻近的像素，a_x,y表示自回归系数；

然后计算系数：

式中，

是根据图像块的几何方向选择的字典，λ_l，λ_c，λ_h及λ为参数；

最后重建深度图像块：

将所有的图像块拼接在一起，重叠区域取平均值，就得到了重建后的深度图像。

2.如权利要求1所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤一的具体操作：将低分辨率深度图像插值放大到彩色图像的分辨率大小，对于每个彩色图像块：

式中，对于图像块i,C_i表示彩色图像的轮廓图的块，▽表示边缘提取操作，

表示彩色图像块，

表示插值后的深度图像块。

3.如权利要求2所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤二的具体操作：首先将低分辨率深度图像插值放大到彩色图像分辨率大小，然后用一阶二阶导数作为高通滤波来表示每个块的特征：

式中，L_i表示低分辨率图像块的特征，

表示插值后的深度图像块。

4.如权利要求3所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤三的具体操作：对于低分辨率深度图像块j，计算其几何方向ω：

式中，G_ω表示沿着已定义的几何方向重新排列像素值，{θ₁,θ₂,…,θ_Q}表示自定义的几何方向，W^T表示一维正交Haar小波变换，

表示前25％个最大的小波系数，x_j表示低分辨率深度图像块。

5.如权利要求4所述的基于多方向字典的深度图像超分辨率方法，其特征在于，

步骤四的具体操作：步骤三计算得到每个块的几何方向，将具有同一个方向的块收集到一类里；训练集里的高分辨率深度图像的特征可以表示为：

Y_i＝Y_i-mean(Y_i) (4)

式中，Y_i表示高分辨率深度图像块，mean()表示取平均；

字典的训练在拥有相同方向的每个类里进行，图像块S＝{S₁,S₂,…,S_M}以及定义的几何方向{θ₁,θ₂,…,θ_Q}，通过步骤三，将图像块集S分为Q类，即{S₁,S₂,…,S_Q}，然后在每一个类里训练一个字典D_ω，ω＝1,2,…,Q：

式中，A表示系数矩阵，λ为参数，且λ＝1；

对于低分辨率深度图像、彩色图像和高分辨率深度图像，通过使其稀疏系数保持一致来约束它们的特征，进一步得到字典：

式中，

分别表示相应于低分辨率深度图l、彩色图像c和高分辨率深度图h在！方向的字典，λ_l，λ_c，λ_h及λ为权重参数，其参数均等于1。

Images