CN111091503B - 基于深度学习的图像去失焦模糊方法 - Google Patents

Abstract

本发明属于数字图像智能处理技术领域，具体为一种基于深度学习的图像去失焦模糊方法。本发明方法包括：通过拍摄或添加随机模糊等方式构建去失焦模糊数据集，使得每组数据包含一张清晰的图像作为原图，以及若干张模糊的图像作为清晰图所对应的模糊图；训练去失焦模糊深度神经网络；使用非对齐损失函数通过深度神经网络从图像中恢复处于焦平面外的模糊物体；在真实场景下拍摄非像素级对齐的去模糊数据集，通过非对齐损失函数训练深度神经网络。实验结果表明，本发明可以对真实场景中拍摄的失焦模糊图进行有效的恢复，提出的数据集能够通过非对齐损失函数有效地训练去失焦模糊网络。本发明可以用于相机变焦、机器人视觉系统等。

Description

基于深度学习的图像去失焦模糊方法

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像去模糊方法，更具体地，涉及一种基于深度学习的图像去失焦模糊方法。

背景技术

近年来，随着深度学习的快速发展，盲图像去模糊(Blind image deblurring)取得了一定的进展：Orest等人提出了一个端到端的去运动模糊算法^[1]，取得了当时最高的客观质量评价(PSNR与SSIM)得分，以及不错的视觉效果。该文章是首次使用GAN loss与content loss相加的方式来设计去运动模糊的损失函数，并进行了对照实验证明了该损失函数的有效性；随后Orest等人又对该方法进行了改进^[3]，引入了特征金字塔(FeaturePyramid Network)作为生成器(generator)。使得原方法的速度和效果都有了更进一步的提升；Tao等人^[2]提出了一个具有循环结构的深层网络，采用从粗糙到精细的思想(coarse-to-fine)实现了去运动模糊。

这些去运动模糊的方法尽管能够比较好的预测运动模糊的模糊核，但却很难对失焦模糊起到效果。这是因为失焦模糊不同于运动模糊，其模糊核取决于每个像素点所对应的景深，模糊核在空间上存在变化。而运动模糊的模糊核则是由相机与场景之间的相对运动决定的，通常可以由一条运动曲线来表征。目前已有的去失焦模糊方法均为传统算法，并且难以取得令人满意的效果。Xu等人提出了基于单张图的去失焦模糊算法^[5]，该算法使用模糊图预测算法^[4]对图像中不同程度的模糊部分进行分层，随后逐层对失焦部分进行还原，该算法依赖于模糊图预测算法的准确性，并且容易在边界处产生伪纹理。

因此，本发明采用深度学习技术，训练了一个深度神经网络实现图像去失焦模糊。深度学习技术是目前计算机视觉中的研究热点，它在传统神经网络的基础上强调了模型结构的深度，通常至少有5-10层，甚至数十层的隐层节点。通过逐层特征变换，将原空间的特征变换到一个新的特征空间，从而使分类或预测更容易。

由于训练一个深度神经网络需要大量的数据支持，本发明拍摄了一个用于图像去失焦模糊的真实场景数据集。而由于相机对焦会改变相机的像距或焦距，清晰图像与失焦模糊图像之间并非像素级对齐关系，如果使用像素级对齐的损失函数，如L1、MSE损失函数，会导致去失焦模糊后的图片边界、轮廓不清。因此本发明使用一个非对齐损失函数来进行训练。该损失函数借用感知损失的思想，先从预训练的VGG-16模型中提取了高层的特征，随后逐个将最相近的特征进行匹配，并加以L2约束进行正则化，从而对深度神经网络进行有效地训练。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习的图像去失焦模糊方法。

本发明提供的基于深度学习的图像去失焦模糊方法，主要针对图像中存在处于焦平面外的模糊物体的情况，构造深度神经网络，将图像中出现失焦模糊的部分进行还原。同时提出了一个用于图像去失焦模糊的数据集，并通过非对齐损失函数训练该深度神经网络。

本发明提供的基于深度学习的图像去失焦模糊方法，具体步骤如下。

(一)建立去失焦模糊数据集

通过拍摄或添加随机模糊等方式构建一个去失焦模糊数据集，使得每组数据包含一张清晰的图像作为原图，以及若干张模糊的图像作为清晰图所对应的模糊图。具体来说：

所述通过拍摄构建一个去失焦模糊数据集，具体做法为：

真实场景下拍摄RSDBR数据集(如图5所示)；训练集共有128组数据，每组数据包含了一张清晰图像与若干张(2-5张)失焦模糊图像。测试集共有60组数据，每组数据包含了一张清晰图像与一张失焦模糊图像。所有图像的分辨率均为3216×2136像素。由于相机对焦会改变相机的像距或焦距，因此清晰图像与失焦模糊图像之间并非像素级对齐关系，而是存在约20像素左右的偏移；

所述通过添加随机模糊等方式构建一个去失焦模糊数据集，是使用291张高分辨率的图像作为清晰图，通过手动添加模糊来构造失焦模糊图，从而形成一对训练数据(如图4所示)，其具体步骤如下：

(1)清晰图过大时，将清晰图等比例缩小到短边为1024像素；

(2)随机切出512×512像素大小的区域R；

(3)在区域R上随机选择一种模糊方式：

(3.1)整个区域R添加模糊核半径为2到17像素的均匀圆形模糊；

(3.2)随机生成一条高次曲线将区域R分成两部分，每部分分别添加一个如步骤3.1所述的随机半径的圆形模糊；

(3.3)随机生成一条高次曲线将区域R分成两部分，一部分添加一个如步骤3.1所述的随机半径的圆形模糊，另一部分保持清晰；

(3.4)随机生成一条高次曲线将区域R分成两部分，每部分分别添加一个模糊核大小和方差随机的高斯模糊；

(4)在模糊图上随机添加一个微小的高斯噪声提升鲁棒性。

(二)训练去失焦模糊深度神经网络

首先构建一个如图2所示的深度神经网络，其模型结构可以分为三个模块：下采样模块、残差模块和上采样模块。模块具体设计如下：

(1)下采样模块使用下采样块(DownBlock)作为基本单元，逐步提升通道数量并减少特征图的大小，从而起到编码的作用(Encoding)。DownBlock由一个步长为2的卷积层和三个残差块构成，将通道数翻倍的同时进行1/2下采样。本模型实现中使用一个卷积层与三个下采样块组成下采样模块；

(2)残差模块使用残差块(ResnetBlock)作为基本单元(其结构如图1所示)，目的是增加网络深度，提升网络的参数量。本模型实现中使用五个残差单元组成残差模块；

(3)上采样模块使用上采样块(UpBlock)作为基本单元，逐步减少通道数量并恢复到原图大小，起到解码的作用(Decoding)。UpBlock由一个步长为2的反卷积层和三个残差块构成，将通道数减半的同时进行1/2上采样。本模型实现中使用三个上采样块与一个卷积层组成上采样模块；

(4)下采样模块与上采样模块中同等大小的特征图之间使用跳转连接(skipconnection)，联合高层的语义信息和低层的细粒度信息，使得去模糊后的图像更准确、纹理更清晰。

随后，如图3所示，随机从步骤(一)中所述去模糊数据集中选择一张模糊图像I_blur，并随机裁剪出一个256×256的区域后输入上述深度神经网络，得到一个3×256×256大小的去模糊图像P_deblur。将去模糊图像P_deblur和去模糊数据集中与之对应的清晰图区域P_clear计算非像素级对齐损失Loss。具体计算去模糊图像P_deblur和与之对应的真实清晰图区域P_clear的非对齐损失loss的方式如下：

(1)将P_deblur与P_clear输入固定参数的VGG-16网络中，提取经过网络“conv1_2”层、“conv22”层和“conv32”层后的结果作为特征图。将特征随机池化至64×64大小，因此对于P_deblur与P_clear分别得到三个大小为64×64×64、128×64×64和256×64×64的特征图；

(2)定义特征图P_layer与Q_layer的损失为loss_layer，则定义非对齐损失loss为：

其中，w_layer为layer层特征图对应的权重系数，其中三层特征图的w_layer均可取值为1；

(3)将C×H×W大小的特征图视为H×W个C维的特征向量，定义两个C维特征向量x，y之间的距离为d(x，y)：

(4)设C×H×W大小的特征图X与Y的所有C维特征向量分别为x_i，y_i(i＝1，2，...，M)，M＝H×W，第i个特征向量的坐标为(h_i，w_i)。则定义特征向量x_i，y_j之间的距离为d′(x_i，y_j)：

d′(x_i，y_j)＝d(x_i-μ_y，y_j-μ_y)+||(h_i，w_i)-(h_j，w_j)||₂

其中：

(5)定义正则化距离

为：

∈是一个极小数；具体可取：∈＝10^-5；

(6)定义指数化距离w(x_i，y_j)为：

h是一个极小数；具体可取：h＝10^-1；

(7)定义归一化距离n(x_i，y_j)为：

(8)定义layer层的特征图P_layer与Q_layer之间的损失loss_layer为：

(9)按照步骤2计算出最终的非对齐损失loss：

通过反向传播算法更新深度神经网络模型中的参数。

重复步骤(二)直至去失焦模糊深度神经网络收敛。

(三)将失焦模糊图像转化为张量

将一张存在失焦模糊的RGB图像视为3×H×W的张量T，将张量T除以256得到取值介于0-1之间的张量T′。

(四)将张量输入深度神经网络

将步骤(三)中的张量T′输入步骤(二)中训练的去失焦模糊深度神经网络，得到结果张量T_result。

(五)将结果张量恢复为图像

将步骤(四)中的结果张量T_result乘以256并进行取整，取整后的张量可以视为去失焦模糊后的RGB图像。

本发明的有益效果在于：可以对真实场景中拍摄的失焦模糊图进行有效的恢复，提出的数据集能够通过非对齐损失函数有效地训练去失焦模糊网络。本发明可以用于相机变焦、机器人视觉系统等。本发明相比其他传统去失焦模糊算法或其他基于深度学习的去模糊算法的效果更好，并且在真实的场景测试中取得了较好的效果。

附图说明

图1为本发明中使用的残差单元结构图。

图2为本发明去模糊深度神经网络结构图。

图3为本发明中非对齐损失函数的原理图。

图4为本发明提出的数据集中构造的失焦模糊样例图。

图5为本发明提出的数据集中拍摄的真实场景失焦模糊样例图。

图6为本发明去模糊效果与参考文献[2]的对比结果。其中，(a)是原图，(b)是参考文献[2]的效果，(c)是本发明的效果。

具体实施方式

对于一张真实场景中拍摄的失焦模糊图像，需要将其处于焦平面外的模糊物体进行恢复，从而得到一张清晰的图像，可以采用图2所示的去失焦模糊深度神经网络进行图像去失焦模糊处理。具体步骤如下。

(1)建立去失焦模糊数据集

通过拍摄或添加随机模糊等方式构建一个去失焦模糊数据集，使得每组数据包含一张清晰的图像作为原图，以及若干张模糊的图像作为清晰图所对应的模糊图。

(2)训练去失焦模糊深度神经网络

随机从步骤(1)中的去模糊数据集中选择一张模糊图像I_blur，并随机裁剪出一个256×256的区域后输入神经网络，得到一个3×256×256大小的去模糊图像P_deblur。将去模糊图像P_deblur和去模糊数据集中与之对应的清晰图区域P_clear计算非对齐损失Loss，通过反向传播算法更新深度神经网络模型中的参数。重复步骤(2)直至去失焦模糊深度神经网络收敛。

(3)将失焦模糊图像转化为张量

将一张存在失焦模糊的RGB图像视为3×H×W的张量T，将张量T除以256得到取值介于0-1之间的张量T′。

(4)将张量输入深度神经网络

将步骤(3)中的张量T′输入步骤(2)中训练的去失焦模糊深度神经网络，得到结果张量T_result。

(5)将结果张量恢复为图像

将步骤(4)中的结果张量T_result乘以256并进行取整，取整后的张量可以视为去失焦模糊后的RGB图像。

由于目前去失焦模糊暂时没有公认的客观评价指标，接下来使用我们自行拍摄的测试集作为主观评价的标准：

图6为本发明去模糊效果与SRNDeblur[2]的对比结果。其中(a)是原图，(b)是参考文献[2]的效果，(c)是本发明的效果。可以看出，本发明去失焦模糊后得到的图像无论是在真实性上，还是在美观度上，都要优于SRNDeblur[2]，并且对SRNDeblur[2]无法恢复的部分，本发明的方法也可以得到较好的恢复效果。

参考文献

[1]OrestKupyn，VolodymyrBudzan，MykolaMykhailych，DmytroMishkin，and JiriMatas.Deblurgan：Blind motion deblurring using conditional adversarialnetworks.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，pages 8183-8192，2018.

[2]Xin Tao，HongyunGao，XiaoyongShen，Jue Wang，and JiayaJia.Scale-recurrent network for deep image deblurring.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，pages 8174-8182，2018.

[3]OrestKupyn，TetianaMartyniuk，Junru Wu and Zhangyang Wang.DeblurGan-v2：Deblurring(Orders-of-Magnitude)Faster and Better.In proceedings of the Inproceedings of the IEEE International Conference on Computer Vision，2019.

[4]GuodongXu，YuhuiQuan and HuiJi.Estimating defocus blur throughrankof local patches.In proceedings of the IEEE International Conference onComputer Vision，2017.

[5]GuodongXu，Chongqiang Liu and HuiJi.Removing out-of-focus blur froma single image.arxiv：1808.09166v1.。

Claims (4)

1.一种基于深度学习的图像去失焦模糊方法，其特征在于，具体步骤如下：

(一)建立去失焦模糊数据集

通过拍摄或添加随机模糊等方式构建一个去失焦模糊数据集，使得每组数据包含一张清晰的图像作为原图，以及若干张模糊的图像作为清晰图所对应的模糊图；

(二)训练去失焦模糊深度神经网络

随机从步骤(一)中的去模糊数据集中选择一张模糊图像I_blur，并随机裁剪出一个256×256的区域后输入神经网络，得到一个3×256×256大小的去模糊图像P_deblur；将去模糊图像P_deblur和去模糊数据集中与之对应的清晰图区域P_clear计算非对齐损失Loss，通过反向传播算法更新深度神经网络模型中的参数；重复步骤(2)直至去失焦模糊深度神经网络收敛；

(三)将失焦模糊图像转化为张量

将一张存在失焦模糊的RGB图像视为3×H×W的张量T，将张量T除以256得到取值介于0-1之间的张量T′；

(四)将张量输入深度神经网络

将步骤(三)中的张量T′输入步骤(二)中训练的去失焦模糊深度神经网络，得到结果张量T_result；

(五)将结果张量恢复为图像

将步骤(四)中的结果张量T_result乘以256并进行取整，取整后的张量视为去失焦模糊后的RGB图像。

2.根据权利要求1所述的基于深度学习的图像去失焦模糊方法，其特征在于，步骤(一)中，所述通过拍摄构建一个去失焦模糊数据集，具体做法为：

真实场景下拍摄RSDBR数据集；训练集共有128组数据，每组数据包含一张清晰图像与2-5张失焦模糊图像；测试集共有60组数据，每组数据包含一张清晰图像与一张失焦模糊图像；所有图像的分辨率均为3216×2136像素；

所述通过添加随机模糊等方式构建一个去失焦模糊数据集，是使用291张高分辨率的图像作为清晰图，通过手动添加模糊来构造失焦模糊图，从而形成一对训练数据，其具体步骤如下：

(1)清晰图过大时，将清晰图等比例缩小到短边为1024像素；

(2)随机切出512×512像素大小的区域R；

(3)在区域R上随机选择一种模糊方式：

(3.1)整个区域R添加模糊核半径为2到17像素的均匀圆形模糊；

(3.2)随机生成一条高次曲线将区域R分成两部分，每部分分别添加一个如步骤3.1所述的随机半径的圆形模糊；

(3.3)随机生成一条高次曲线将区域R分成两部分，一部分添加一个如步骤3.1所述的随机半径的圆形模糊，另一部分保持清晰；

(3.4)随机生成一条高次曲线将区域R分成两部分，每部分分别添加一个模糊核大小和方差随机的高斯模糊；

(4)在模糊图上随机添加一个微小的高斯噪声提升鲁棒性。

3.根据权利要求1所述的基于深度学习的图像去失焦模糊方法，其特征在于，步骤(二)中，去失焦模糊深度网络所使用的损失函数是一个非像素级对齐的损失函数；计算去模糊图像P_deblur和与之对应的真实清晰图区域P_clear的非对齐损失loss的方式如下：

(1)将P_deblur与P_clear输入固定参数的VGG-16网络中，提取经过网络“conv1_2”层、“conv2_2”层和“conv3_2”层后的结果作为特征图；将特征随机池化至64×64大小，因此对于P_deblur与P_clear分别得到三个大小为64×64×64、128×64×64和256×64×64的特征图；

(2)定义特征图P_layer与Q_layer的损失为loss_layer，则定义非对齐损失loss为：

其中，w_layer为layer层特征图对应的权重系数，其中三层特征图的w_layer均取值为1；

(3)将C×H×W大小的特征图视为H×W个C维的特征向量，定义两个C维特征向量x,y之间的距离为d(x,y)：

(4)设C×H×W大小的特征图X与Y的所有C维特征向量分别为x_i,y_i(i＝1,2,…,M),M＝H×W，第i个特征向量的坐标为(h_i,w_i)；则定义特征向量x_i,y_j之间的距离为d’(x_i,y_j)：

d’(x_i,x_j)＝d(x_i-μ_y,y_j-μ_y)+‖(h_i,w_i)-(h_j,w_j)‖₂

其中：

(5)定义正则化距离

为：

∈是一个极小数；

(6)定义指数化距离w(x_i,y_j)为：

h是一个极小数；

(7)定义归一化距离n(x_i,y_j)为：

(8)定义layer层的特征图P_layer与Q_layer之间的损失loss_layer为：

(9)按照步骤(2)计算出最终的非对齐损失loss：

4.根据权利要求1所述的基于深度学习的图像去失焦模糊方法，其特征在于，步骤(二)中的去模糊深度神经网络是一种与UNet结构有一定相似之处的全卷积网络；模型结构分为三个模块：下采样模块、残差模块和上采样模块；模块具体设计如下：

(1)下采样模块由一个卷积层与三个下采样块组成，其中下采样块作为基本单元，逐步提升通道数量并减少特征图的大小，从而起到编码的作用；下采样块由一个步长为2的卷积层和三个残差块构成，将通道数翻倍的同时进行1/2下采样；

(2)残差模块由五个残差单元组成；残差块作为基本单元，以增加网络深度，提升网络的参数量；

(3)上采样模块由三个上采样块与一个卷积层组成上采样模块；上采样块作为基本单元，逐步减少通道数量并恢复到原图大小，起到解码的作用；上采样块由一个步长为2的反卷积层和三个残差块构成，将通道数减半的同时进行1/2上采样；

(4)下采样模块与上采样模块中同等大小的特征图之间使用跳转连接，联合高层的语义信息和低层的细粒度信息，使得去模糊后的图像更准确、纹理更清晰。

Images