CN114331886A - 一种基于深度特征的图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于深度特征的图像去模糊方法。本发明涉及低质图像增强领域，本发明利用标准的非盲去卷积去模糊方法解决模糊图像复原的问题,步骤如下：1.对原始模糊图像进行灰度化和消色算法预处理；2.采用VGG16网络扩大输入图像的感受野，进行模糊特征的提取；3.选择一个局部图像块获得初始模糊核，采用标准的非盲去卷积去模糊方法重建清晰图像；4.构建双损失函数，即利用平滑度损失函数和色彩损失函数优化复原后的清晰图像。

Description

一种基于深度特征的图像去模糊方法

技术领域

本发明涉及低质图像增强技术领域，特别是一种基于深度特征的图像去模糊方法。

背景技术

在图像采集过程中，由于摄像机抖动或某些不可控因素引起的图像模糊，导致局部信息无法辨认，难以进行特征提取，甚至特征信息丢失，增加了进一步图像处理的困难程度，如目标识别、目标检测与跟踪任务。因此，针对如何有效地对模糊图像进行前期恢复处理，是图像增强技术研究的热点问题。

现有的模糊复原方法有基于逆滤波的方法、基于维纳滤波的方法、基于正则项约束的图像盲复原方法、基于最大条件概率(Richardson-Lucy)以及基于概率统计的图像复原方法等。然而，这些方法在实际应用中突显出明显的不足之处：1、图像降质过程中存在噪声信息，逆滤波方法只适用于理想图像的恢复；2、当复原图像噪声较小时，维纳滤波会产生严重的振铃效应；3、由于复原过程中运用多尺度的变分贝叶斯算法，算法复杂度高，计算量大；4、由于不同图像的应用环境不同、模糊程度不同，存在较差的鲁棒性。

发明内容：

针对上述存在的问题，本发明提供一种基于深度特征的图像去模糊方法，以克服现有模糊图像复原技术存在的噪声信息、严重的振铃效应问题。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于深度特征的图像去模糊方法，包括以下步骤：

步骤1：模糊图像数据集制作：

步骤1.1：数据集的获取；

步骤1.2：将获取的数据集进行分类，划分为训练集、验证集及测试集；

步骤1.3：读取预训练模型，并读入模糊图像目录；

步骤2：图像预处理：

步骤2.1:原始模糊图像进行灰度化处理；

步骤2.2:利用消色算法处理图像；

步骤3：运用骨干网络VGG16增加网络深度，扩展输入图像的感受野范围并利用骨干网络VGG16对感受野增大的原始模糊图像进行特征提取；

步骤4：选择局部图像块，估计模糊核，利用标准的非盲去卷积去模糊算法进行模糊图像复原；

步骤5：构建双损失函数，利用平滑度损失函数和色彩损失函数对初始去模糊图像进行优化处理，抑制振铃效应的产生。

上述方案中，所述步骤3的具体步骤如下：

(1)对于一个标准的VGG16网络，输入一幅R^h×w×m的特征图I，其中h、w、m分别代表特征图的高、宽和输入特征图的通道数，I与R^s×s×m×n进行无增加网络深度的卷积操作，得到R^{(h-s+1)×(w-s+1)×n}的输出特征图O：

其中：s代表卷积核的尺寸，n代表输出特征图的通道数，O(y,x,j)代表第j个特征图中点(y,x)的值；K(u,v,i,j)代表第j个卷积核中第i个通道上点(u,v)上的值；I(y,x,j)代表第i个输入通道上点(y,x)的值；

(2)输入同样的特征图I，用扩张率为r同尺寸大小的卷积核K进行卷积操作，得到输出特征图O_d：

上述方案中，所述步骤5中，双损失函数如下：

其中，

代表平滑度损失函数，

代表色彩损失函数。ω_s、ω_c是相应部分的权重。

与现有技术相比，本发明的有益效果是：

1)本发明充分考虑噪声对图像去模糊的影响，对所有需要被修改和恢复的模糊图像进行灰度化处理，利用消色算法使得灰度化后的图像相对于原始模糊图像而言，其对比度信息、颜色一致性和灰度像素特征保持不变，从而便于图像特征的提取，防止模糊图像复原的过拟合；

2)本发明通过增加骨干网络深度扩大输入图像的感受野范围，在低分辨率下恢复一个大规模的信息，在高分辨率下恢复图像中各细节的信息，对复杂问题进行了逐步的分解和恢复，在简化问题的同时也扩大了输入图像的感受野范围，便于原始模糊图像的特征提取；

3)将预处理后的模糊图像送入感受野增大模块，通过卷积、池化等操作，增大输入图像的视觉感受野范围并进行参数更新，减少了计算参数，加快了处理速度；

4)学习去噪后的模糊图像特征，选择一个局部图像块来获得初始模糊核，并利用标准的非盲去卷积去模糊算法进行清晰图像的复原，从而提升模糊图像复原的处理效率与视觉效果；

5)复原后的去模糊图像会产生振铃效应，这在很大程度上降低了恢复后的清晰图像的精度和质量，给后续的图像应用带来了很大的困难，本发明构建双损失函数对复原后的清晰图像进行优化，有效的抑制振铃效应的产生，有助于减少过拟合，加强复原图像的可视性，提高网络的泛化能力。

6)该发明可以对模糊图像进行有效恢复，在主观评价方面包括峰值信噪比和结构相似性指数分别达到32.359dB，98.2％，客观评价方面有效地提高了增强图像的恢复效果。

附图说明

图1为本发明实施例的方法流程图；

图2为基于深度特征的图像去模糊结构图；

图3为灰度化处理结果图；

图4为消色处理结果图；

图5为感受野增大示意图；

图6为部分数据集图；

图7为盲去卷积图像去模糊算法与本发明模糊复原算法比较图。

具体实施方式

本发明通过具体实施方法和附图进一步详细说明。

如图1所示，一种基于深度特征的图像去模糊方法，依次包括以下步骤：

步骤1、模糊图像数据集制作阶段：利用摄像头进行模糊图像采集，不仅运用最简单的方法获得了模糊图像，而且可以有效扩大模糊图像数据集的数量，降低数据获取成本。

具体的步骤如下：

步骤101、数据集的获取：相机拍摄不同抖动程度下的模糊图片；

步骤102、将获取的数据集进行分类，划分为训练集、验证集及测试集；

步骤103、读取预训练模型，并读入模糊图像目录。

步骤2、图像预处理：

步骤201、均值法求取灰度值公式如下所示：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3

式中，(i,j)表示模糊图像中任一像素点位置；

步骤202、建立对比度能量保持函数E₁来保持原始图像的局部和全局对比度，即

式中，σ∈[0,1]；δ_xy表示颜色对比度，α_xy为像素对的灰度级。

其中，G(δ_xt,σ²)表示像素x和灰度像素t之间的差异所服从的高斯函数：

式中，L、a和b分别表示彩色图像的亮度通道和两个颜色通道；

步骤203、建立颜色一致性约束能量函数E₂保持图像中颜色相同的像素之间在灰度化后依然保持着这种联系：

式中，U表示整幅图像的所有像素；w_xj表示在重建像素x时，第j个最邻近所占的权重。

步骤204、建立灰度特征保持能量函数E₃，将灰度像素作为一个硬性的约束条件，使得其他像素的灰度值能根据灰度像素的灰度值进行调整：

式中，P表示图像中所有灰度像素的集合；α_xt表示像素x所对应的δ_xt的符号，G(δ_xt,σ²)表示像素x和灰度像素t之间的差异所服从的高斯函数：

式中，g_t表示灰度像素，是一个已知量。

最终，建立如下目标色差函数:

E＝λ₁E₁+λ₂E₂+λ₃E₃

式中，λ₁、λ₂、λ₃分别表示三个能量项在目标函数中的比例。

步骤3：运用骨干网络VGG16增加网络深度，扩展输入图像的感受野范围，在低分辨率下恢复大规模信息，在高分辨率下恢复图像中的每个细节信息，从而减少网络参数，扩大接收域；并利用骨干网络VGG16对感受野增大的原始模糊图像进行特征提取。

具体步骤如下：

对于一个标准的VGG16网络，输入一幅R^h×w×m的特征图I，其中h、w、m分别代表特征图的高、宽和输入特征图的通道数。I与R^s×s×m×n(s代表卷积核的尺寸，n代表输出特征图的通道数)进行无增加网络深度的卷积操作，可得到R^{(h-s+1)×(w-s+1)×n}的输出特征图O：

其中：O(y,x,j)代表第j个特征图中点(y,x)的值；K(u,v,i,j)代表第j个卷积核中第i个通道上点(u,v)上的值；I(y,x,j)代表第i个输入通道上点(y,x)的值。

增加网络深度以后，输入同样的特征图I，用扩张率为r同尺寸大小的卷积核K进行卷积操作，此时，输出特征图O_d：

步骤4、选择局部图像块，利用标准的非盲去卷积去模糊算法进行模糊图像复原，其过程是：首先，拍摄到同一场景下的模糊和噪声图像，其次将其分割成N×N个图像块，选取一个局部图像块获得初始的模糊核，最后在模糊核已知的情况下利用标准的非盲去卷积去模糊算法求取其复原后的清晰图像。具体的步骤如下：

(1)建立模糊退化模型：在实际的图像采集过程中，噪声的存在是不可避免的。图像的模糊处理过程一般被理解为原始清晰图像和点扩散函数的一个卷积处理过程，而点扩散函数往往受到噪声的干扰。因此。模糊图像的退化模型表示为：

其中，b(x,y)表示观测到的模糊图像，h(x,y)表示模糊核，n(x,y)表示噪声，f(x,y)则为需要恢复的清晰图像。

(2)进行估计模糊图像的模糊核，需要在同一场景下拍摄两幅图像：一幅模糊图像，一幅噪声图像，将两幅图像分成相同的N×N个图像块，选取一个局部图像块来获得初始的模糊核，分块图像的模糊可表示为：

其中，

表示模糊图像块的转置，u_i,j为相应的噪声图像块，h_i,j是对应的模糊核，n_i,j是相应噪声图像块所包含的高斯噪声。

(3)计算模糊核：模糊核可表示为

式中，第一项表示清晰图像与模糊核卷积所得到的模糊图像和输入的模糊图像之间的误差，其越接近0越好；第二项为正则项，减少由模型的不精准度所引入的噪声。

(4)模糊核确定后，利用标准的非盲去卷积去模糊算法进行模糊图像复原：

第一项为误差项；第二项为全变分正则项，能够有效去除噪声的影响。

步骤5：构建双损失函数对得到的清晰图像进行优化，抑制振铃效应的产生。

振铃效应会导致信息的丢失，特别是高频信息的丢失，这种情况很大程度上降低了清晰图像的精度和质量，给后续图像的应用带来了困难。双损失函数的构建有助于减少过拟合，提高网络的泛化能力，并且能够加强影像的可视性。

对于在上一阶段生成的清晰图像，引入平滑度损失函数

和色彩损失函数

抑制振铃效应的产生，设计并最小化两部分损失函数L。表示为：

式中，

代表平滑度损失函数，

代表色彩损失函数。ω_s、ω_c是相应部分的权重。

本发明实例能够对模糊图像进行有效的模糊复原，通过对Gopro数据集中的模糊图像进行复原处理，图像质量评价指标峰值信噪比和结构相似性指数分别达到了32.359dB，98.2％，统计结果如表1所示。

表1

参见图1。首先，拍摄到由于相机抖动或某些不确定因素导致的模糊图像，其次对需要进行模糊复原的图像利用均值法求取其灰度值并利用消色算法进行预处理，再次利用VGG16网络进行特征提取，增加网络深度进行模糊图像的视觉感受野的增大，然后利用标准的非盲去卷积去模糊算法进行清晰图像的重建，为了抑制振铃效应的产生，在网络中构建颜色、平滑度双损失函数最后得到优化后的模糊复原图像。

图2所示本发明设计的一个用于模糊图像复原的一体式网络，该网络分为4个阶段，第一阶段为图像的预处理阶段；第二阶段为利用骨干网络VGG16网络进行模糊图像特征的提取以及通过增加网络深度增大输入图像的视觉感受野；第三阶段为利用标准的非盲去卷积去模糊算法进行清晰图像的恢复；第四阶段为为了抑制振铃效应的产生导致图像细节恢复效果差，网络中加入双损失函数：色彩损失函数、平滑度损失函数，有助于减少过拟合，提高网络的泛化性和适应能力；并且加强了影像的可视性。

图3为灰度化预处理后的图像，灰度化预处理有利于图像特征的提取。第一行为原始的模糊图像，第二行为其对应的灰度化处理后的图像。

图4为利用消色算法取不同σ值的结果图，参数σ用于调整图像的平滑度，其值越大，结果图像越平滑。通常，默认σ＝0.1。可根据需求进行σ值的调整。

图5为利用VGG16网络实现感受野增大的网络结构示意图。该方法对复杂问题进行了逐步的分解和恢复，在简化问题的同时也扩展了图像的视觉感受野。

参见图6，从计算机视觉领域的公开数据集Gopro中提取出500幅清晰度较差的图像，通过处理以及尺度变换等方法进行扩充后达到26000张尺寸为321×481的模糊图像，经过扩充的原始资料以及网络上的图像，数据集一共30000张图片。

参见图7，可以看出，本发明所提出的一种基于深度特征的图像去模糊方法可以很好地保持色彩并很好地抑制了边缘细节信息所产生的振铃效应，复原图像的可视性更高，表现出更好的视觉感受。

上述具体实施例用于说明本发明，仅仅是为了帮助理解本发明，而不是限制本发明。对于本发明技术领域的技术人员来说，根据本发明的思想，也可以进行一些简单的推断、修改或替换。

Claims (3)

1.一种基于深度特征的图像去模糊方法，其特征在于，包括以下步骤：

步骤1：模糊图像数据集制作：

步骤1.1：数据集的获取；

步骤1.2：将获取的数据集进行分类，划分为训练集、验证集及测试集；

步骤1.3：读取预训练模型，并读入模糊图像目录；

步骤2：图像预处理阶段：

步骤2.1:原始模糊图像进行灰度化处理；

步骤2.2:利用消色算法处理图像；

步骤3：运用骨干网络VGG16增加网络深度，扩展输入图像的感受野范围并利用骨干网络VGG16对感受野增大的原始模糊图像进行特征提取；

步骤4：选择局部图像块，估计模糊核，利用标准的非盲去卷积去模糊算法进行模糊图像复原；

步骤5：构建双损失函数，利用平滑度损失函数和色彩损失函数对初始去模糊图像进行优化处理，抑制振铃效应的产生。

2.根据权利要求1所述的一种基于深度特征的图像去模糊方法，其特征在于，所述步骤3的具体步骤如下：

(1)对于一个标准的VGG16网络，输入一幅R^h×w×m的特征图I，其中h、w、m分别代表特征图的高、宽和输入特征图的通道数，I与R^s×s×m×n进行无增加网络深度的卷积操作，得到R^{(h -s+1)×(w-s+1)×n}的输出特征图O：

其中：s代表卷积核的尺寸，n代表输出特征图的通道数，O(y,x,j)代表第j个特征图中点(y,x)的值；K(u,v,i,j)代表第j个卷积核中第i个通道上点(u,v)上的值；I(y,x,j)代表第i个输入通道上点(y,x)的值；

(2)输入同样的特征图I，用扩张率为r同尺寸大小的卷积核K进行卷积操作，得到输出特征图O_d：

3.根据权利要求1或2所述的一种基于深度特征的图像去模糊方法，其特征在于，所述步骤5中，双损失函数如下：

其中，

代表平滑度损失函数，

代表色彩损失函数。ω_s、ω_c是相应部分的权重。

Images