CN109087247A - 一种对立体图像进行超分的方法 - Google Patents

Abstract

本发明属于图像编辑技术领域，具体为一种对立体图像进行超分的方法。本发明方法包括采用光流估计网络对左右图位置信息进行估计；采用图像超分网络重构出高分辨率图像；在重构立体图像中的左图时，不仅利用该图像内部像素的局部冗余和结构关联的特点，还结合该立体图像的左图和右图之间内容之间关联及互补的特性，获得更多的低分辨率左图中丢失的高频信息，以恢复原始图像的内容，达到了增强图像分辨率丰富细节纹理的效果。实验结果表明，本方法可有效提升立体图像的分辨率的提升，使得立体图像的具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

Description

一种对立体图像进行超分的方法

技术领域

本发明属于图像编辑技术领域，涉及一种图像超分方法，更具体的说，涉及一种对立体图像进行超分的方法。

背景技术

传统的图像超分技术基本是作为图像质量增强技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代图像处理技术。

图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,质量越佳，图像提供的信息越丰富。因此具有更高高分辨率的图像在各个领域都有着重要的应用价值及研究前景。但由于图像在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取高分辨率图像最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。目前，通过从低质量的图像中重构出新的具有更丰富细节内容的高分辨率图像，图像超分技术在生物医学、航空研究、军事应用、图像监控、图像格式转换、图像增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。

图像超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率图像到高分辨率图像的映射上有许多解，并且这类方法仅使用低分辨率图像的信息，因此很难模拟真实图像的视觉复杂性，对于纹理复杂、平滑着色的图像，插值法很可能生成不真实的效果。不能很好地重构出高分辨率图像。

因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率图像中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率图像。该方法的不足是会损失图像中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN^[1]及VDSR^[3]方法最具代表性。通过对图像每一帧采用这些方法可以简单地将图像超分扩展到图像超分领域。

C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。

神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN^[2]方法，改进了神经网络的结构实现更快的超分效果。Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。随着卷积神经网络在超分领域实现不断提升的效果，更多的学者通过继续改进网络结构在超分结果的主观视觉质量及客观数值标准上得到不断突破。

传统的图像超分方法是基于单张图像内部结构信息预测出其丢失的高频内容，生成细节丰富的高分辨率图像。随着双目摄像头在现实生活中的广泛应用，对同一场景的不同视角的立体图像提供了更加丰富的图像信息。因此，基于用双目摄像头所获取的立体图像对恢复高分辨率图像中提供了更丰富的信息。提出一种对低分辨率立体图像进行超分的方法具有较大的现实意义及应用价值。

发明内容

本发明的目的在于提供一种可以充分利用针对同一场景的左右图中的丰富信息来重构高质量的高分辨率图像的立体图像超分方法。

本发明提供的对立体图像进行超分的方法，主要针对由双目摄像头获取的低分辨率立体图像进行处理，具体步骤如下：

(1)左右图位置信息估计：

将低分辨率立体图像的左图和右图(LR_left，LR_right)输入到光流估计网络F_OE中，学习出两图之间的位移光流O，该光流记录了左图和右图之间的视差信息，记为：

O＝F_OE(LR_left,LR_right)

(2)左右图对齐：

根据光流网络F_OE估计出的左图和右图之间的光流O，使用反向变形方式将右图中对应像素位移到左图的对应像素位置上，来补偿两图之间的视差，得到与左图统一视角的右图LR_right’：

LR'_right＝Warp(LR_right,O)

(3)高分辨率图像的重构：

将对齐到同一视角的左右图(LR_left,LR_right’)输入到图像超分网络F_SR中，重构出高分辨率的左图像SR_left，恢复原立体图像中丰富的边缘纹理等细节信息；

SR_left＝F_SR(LR_left,LR′_right)。

本发明中，步骤(1)所述的采用光流估计网络F_OE，学习出两图之间的位移光流O，具体流程为：

首先，提取左右图的亮度通道Y_left，Y_right；将左右图的亮度通道级联起来得到光流估计网络的输入Y：

Y＝concat(Y_left,Y_right)

其次，将Y输入光流估计网络，首先经过一个大小为3×3×64的卷积层生成特征图f：

f＝Conv(Y)

再将f依次经过一个GRU卷积块、一个1×1的卷积层、一个最大池化操作，输出特征f₁；将GRU卷积块、1×1大小的卷积层以及一个最大池化操作，共重复执行三次，每次分别生成特征f₁，f₂及f₃：

f₁＝Maxpool(Conv(GRU(f)))

f₂＝Maxpool(Conv(GRU(f₁)))

f₃＝Maxpool(Conv(GRU(f₂)))

将特征f₃通过双线性插值放大其特征维度，再经过一个大小为1×1×256的卷积层，生成特征f₄：

f₄＝GRU(Conv(Bilinear(f₃)))

将f₄与f₂级联起来一同输入一个1×1×256的卷积层及一个GRU块中，得到特征f₅：

f₅＝GRU(Conv(concat(f₄,f₂)))

将特征f₅经过双线性插值放大后，经过一个1×1×128的卷积层，得到特征f₆：

f₆＝Maxpool(Conv(GRU(f₅)))

将f₆与f₁级联起来输入一个1×1×128的卷积层及一个GRU块中，得到特征f₇：

f₇＝GRU(Conv(concat(f₆,f₁)))

将特征f₇也经双线性插值放大，并经过一个3×3×64的卷积层，得到特征f₈：

f₈＝Conv(Bilinear(f₇))

将f₈与f级联起来输入一个GRU块和一个大小为3×3×2的卷积层，得到光流图(u,v)：

(u,v)＝Conv(GRU(concat(f₈,f)))。

本发明中，步骤(2)所述的反向变形的具体流程为：

在上一步得到的光流的基础上，将低分辨率右图的每一个像素位置(x,y)根据光流矩阵(u,v)中分别存放的每个像素水平及垂直方向的位移量(u(x,y),v(x,y))对应位移到新的位置(x’,y’)：

(x',y')＝(x-u(x,y),y-v(x,y))。

本发明中，步骤(3)中所述采用图像超分网络F_SR，重构出高分辨率的左图像SR_left，具体流程为：

首先，将对齐后的低分辨率左图和右图的亮度通道(LR_left,LR_right’)级联输入，经过一个大小为3×3×64的卷积层，得到特征p₁：

P₁＝Conv(concat(LR_left,LR_r'_ight))

其次，将特征p₁依次经过7个GRU块结构，每个GRU块分别生成特征g₁,g₂,...,g₇；

g_i＝GRU_i(GRU_i-1(...,GRU₁(p1)...))i＝1,2…，7；

将每个GRU块的输出级联起来，经过一个大小为4×4×64的去卷积层，放大图像特征分辨率，再经过一个大小为3×3×1的卷积层将特征转化为重构的图像残差I_res：

I_res＝Conv(Deconv(concat(g₇,g₆,...g₁)))

最后将生成的残差与经双三次插值直接放大的低分辨率左图相加，得到超分后的左图：

本发明中，步骤(1)和(3)中的光流估计和图像超分网络，都包括多个结构相同的GRU块；每个GRU块的结构及处理流程为：

首先把GRU块的输入x送给上通道，依次经过一个dropout层、三个卷积层，输出y，其中前两个卷积层后跟一个修正线性激活函数(ReLU)^[5]；将上通道的输出y输入下通道，依次经过一个卷积层及一个sigmoid函数^[6]激活，得到下通道的输出g；最后用下通道的输出g将输入信号x与上通道的输出y通过聚合层结合起来，最后得到GRU块的输出：

Output＝g*y+(1-g)*x。

其中，ReLU激活函数的公式表达为：

其中，sigmoid激活函数的公式表达为：

本发明方法不仅考虑了单张低分辨率左图内部的结构及纹理信息，还利用了针对同一场景的低分辨率右图中的辅助信息，预测出左图更多的高频细节内容，实现了较好的立体图像的重构效果，是一种更具有实际应用价值的立体图像超分方法。实验结果表明，本方法较好地实现了立体图像的分辨率的提升，使得立体图像的具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

附图说明

图1为本发明的流程图。

图2为本发明采用的光流估计网络的结构图。

图3为本发明采用的图像超分网络的结构图。

图4为本发明的网络结构中采用的GRU块的结构图。

图5为利用本方法将对非理想条件下的低分辨率图像超分的结果。

具体实施方式

对于一对低分辨率立体图像，进行超分处理，具体流程如图1所示。

具体步骤为：

对于已有的低分辨率立体图像(LR_left，LR_right)，首先将其输入到光流估计网络F_OE中，具体步骤如图2所示：

提取左图和右图的亮度通道Y_left，Y_right，并将其级联起来得到Y；其次，将Y经过一个大小为3×3×64的卷积层生成特征图f；再将f依次经过一个GRU卷积块，一个1×1的卷积层，一个最大池化操作输出特征f₁；将GRU卷积块、1×1大小的卷积层以及一个最大池化操作一共重复执行三次，每次分别生成特征f₁，f₂及f₃；将特征f₃通过双线性插值放大其特征维度，再经过一个大小为1×1×256的卷积层生成特征f₄，将f₄与f₂级联起来一同输入一个1×1×256的卷积层及一个GRU块中输出特征f₅；将特征f₅经过双线性插值放大后，经过一个1×1×128的卷积层，得到特征f₆，将f₆与f₁级联起来输入一个1×1×128的卷积层及一个GRU块中输出特征f₇；将特征f₇也经双线性插值放大，并经过一个3×3×64的卷积层，得到特征f₈，将f₈与f级联起来输入一个GRU块和一个大小为3×3×2的卷积层计算出光流矩阵(u,v)。

其次，根据光流网络估计出的光流，使用反向变形方式将右图LR_right中对应像素位移到左图的对应像素位置上，得到与左图统一视角的右图LR_right’。

最后，如图3所示，提取对齐后的低分辨率左图和右图的亮度通道(LR_left,LR_right’)并将其级联起来，经过一个大小为3×3×64的卷积层，以及7个GRU块结构，每个GRU块分别生成特征g₁,g₂,...,g₇；再将g₁,g₂,...,g₇级联，经过一个大小为4×4×64的去卷积层和一个大小为3×3×1的卷积层生成重构的左图的残差图像I_res；对原始低分辨率左图使用双三次插值放大，再将其与生成的残差与相加，得到超分后的左图。

图4为本方法采用的GEU具体结构：首先把GRU块的输入x送给上通道，依次经过一个dropout层，三个卷积层，输出y，其中前两个卷积层后跟一个修正线性激活函数(ReLU)；将上通道的输出y输入下通道，依次经过一个卷积层及一个sigmoid函数激活，得到下通道的输出g；最后用下通道的输出g将输入信号x与上通道的输出y通过聚合层结合起来，最后得到GRU块的输出。

图5为本方法的一个实验例子。其中，(a)是输入的立体图像的低分辨率左图，(b)是使用本发明方法重构出来的高分辨率左图，(c)是真实的高分辨率左图。可以看出，本发明方法可以有效地恢复出清晰的图像纹理及边缘，生成与原始高分辨率图像更接近的真实细节信息，重构出具有较高视觉质量的高分辨率立体图像。

参考文献：

[1]C.Dong,C.C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI),38(2):295–307,2015.

[2]C.Dong,C.C.Loy,and X.Tang.Accelerating the super-resolutionconvolutional neural network.In European Conference on Computer Vision(ECCV),pages 391–407.Springer International Publishing,2016.

[3]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.

[4]Nair,V.and Hinton,G.Rectified linear units improve restrictedboltzmann machines.In ICML,2010.

[5]Mount J.The equivalence of logistic regression and maximumentropymodels[J].2011.。

Claims (5)

1.一种对立体图像进行超分的方法，其特征在于，具体步骤如下：

(1)左右图位置信息估计：

将低分辨率立体图像的左图和右图(LR_left，LR_right)输入到光流估计网络F_OE中，学习出两图之间的位移光流O，该光流记录了左图和右图之间的视差信息，记为：

O＝F_OE(LR_left,LR_right)；

(2)左右图对齐：

根据光流网络F_OE估计出的左图和右图之间的光流O，使用反向变形方式将右图中对应像素位移到左图的对应像素位置上，补偿两图之间的视差，得到与左图统一视角的右图LR_right’：

LR'_right＝Warp(LR_right,O)；

(3)高分辨率图像的重构：

将对齐到同一视角的左右图(LR_left,LR_right’)输入到图像超分网络F_SR中，重构出高分辨率的左图像SR_left，恢复原立体图像中丰富的边缘纹理等细节信息；

SR_left＝F_SR(LR_left,LR′_right)。

2.根据权利要求1所述的对立体图像进行超分的方法，其特征在于，步骤(1)中，通过光流估计网络F_OE学习出两图之间的位移光流，具体步骤为：

首先，提取左右图的亮度通道Y_left，Y_right；将左右图的亮度通道级联起来得到光流估计网络的输入Y：

Y＝concat(Y_left,Y_right)

其次，将Y经过一个大小为3×3×64的卷积层生成特征图f：

f＝Conv(Y)

再将f依次经过一个GRU卷积块、一个1×1的卷积层、一个最大池化操作，输出特征f₁；将GRU卷积块、1×1大小的卷积层以及一个最大池化操作，一共重复执行三次，每次分别生成特征f₁，f₂及f₃：

f₁＝Maxpool(Conv(GRU(f)))

f₂＝Maxpool(Conv(GRU(f₁)))

f₃＝Maxpool(Conv(GRU(f₂)))

将特征f₃通过双线性插值放大其特征维度，再经过一个大小为1×1×256的卷积层，生成特征f₄：

f₄＝GRU(Conv(Bilinear(f₃)))

将f₄与f₂级联起来一同输入一个1×1×256的卷积层及一个GRU块中，得到特征f₅：

f₅＝GRU(Conv(concat(f₄,f₂)))

将特征f₅经过双线性插值放大后，经过一个1×1×128的卷积层，得到特征f₆：

f₆＝Maxpool(Conv(GRU(f₅)))

将f₆与f₁级联起来输入一个1×1×128的卷积层及一个GRU块中，得到特征f₇：

f₇＝GRU(Conv(concat(f₆,f₁)))

将特征f₇也经双线性插值放大，并经过一个3×3×64的卷积层，得到特征f₈：

f₈＝Conv(Bilinear(f₇))

将f₈与f级联起来输入一个GRU块和一个大小为3×3×2的卷积层，得到光流图(u,v)：

(u,v)＝Conv(GRU(concat(f₈,f)))。

3.根据权利要求2所述的对立体图像进行超分的方法，其特征在于，步骤(2)所述的反向变形的具体流程为：

在上一步得到的光流的基础上，将低分辨率右图的每一个像素位置(x,y)根据光流矩阵(u,v)中分别存放的每个像素水平及垂直方向的位移量(u(x,y),v(x,y))对应位移到新的位置(x’,y’)：

(x',y')＝(x-u(x,y),y-v(x,y))。

4.根据权利要求2所述的对立体图像进行超分的方法，其特征在于，步骤(3)中通过图像超分网络F_SR重构出高分辨率的左图像SR_left，具体流程为：

首先，将对齐后的低分辨率左图和右图的亮度通道(LR_left,LR_right’)级联输入，经过一个大小为3×3×64的卷积层，得到特征p₁：

P₁＝Conv(concat(LR_left,LR_r'_ight))

其次，将特征p₁依次经过7个GRU块结构，每个GRU块分别生成特征g₁,g₂,...,g₇；

g_i＝GRU_i(GRU_i-1(...,GRU₁(p1)...))i＝1,2…，7；

然后，将每个GRU块的输出级联起来，经过一个大小为4×4×64的去卷积层，放大图像特征分辨率，再经过一个大小为3×3×1的卷积层将特征转化为重构的图像残差I_res：

I_res＝Conv(Deconv(concat(g₇,g₆,...g₁)))

最后，将生成的残差与经双三次插值直接放大的低分辨率左图相加，得到超分后的左图：

5.根据权利要求2或3所述的对立体图像进行超分的方法，其特征在于，步骤(1)和(3)中的光流估计F_OE和图像超分网络F_SR，都包括多个结构相同的GRU块；每个GRU块的结构及处理流程为：

首先，把GRU块的输入x送给上通道，依次经过一个dropout层、三个卷积层，输出y，其中前两个卷积层后跟一个修正线性激活函数(ReLU)；

然后，将上通道的输出y输入下通道，依次经过一个卷积层及一个sigmoid函数激活，得到下通道的输出g；

最后，用下通道的输出g将输入信号x与上通道的输出y通过聚合层结合起来，最后得到GRU块的输出：

Output＝g*y+(1-g)*x；

其中，ReLU激活函数为：

sigmoid激活函数为：