CN108734677A - 一种基于深度学习的盲去模糊方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的盲去模糊方法及系统。该方法包括如下步骤：步骤1，准备阶段：对图像数据预处理，创建新的模型或者读入先前训练的模型；步骤2，训练阶段：利用步骤1的模型，将模糊图像和清晰图像传入生成器网络、鉴别器网络以及特征提取网络中迭代训练；步骤3，优化阶段：通过反向优化使生成器网络输出结果逐步逼近清晰图像。本发明的方法不仅克服了传统的通过解模糊核去模糊的泛化性差的缺点，也在一定程度上解决了有监督深度学习的数据集制作困难的缺点。

Description

一种基于深度学习的盲去模糊方法及系统

技术领域

本发明属于图像处理和深度学习领域，涉及一种在无监督情况下去除图像模糊的方法和系统。

背景技术

人们在使用相机拍照的过程中，由于拍照者手臂的抖动或者被拍照者处于运动状态，以及光学器件的硬件缺陷，往往导致拍摄的照片出现不同程度的模糊。为了使得到的图片更加清晰，通常会采用一些方法，对拍摄的图片进行去模糊处理。

在传统的去模糊方法中，往往采用一定的算法计算模糊图像的模糊核，使用模糊核对模糊图像解卷积来达到去模糊的效果，但这种方法一般鲁棒性较差，适用的范围有限。随着深度学习的广泛应用和快速发展，其在图像处理领域里发挥着越来越重要的作用。

目前神经网络的去模糊应用中，在训练数据方面通常采用监督的方式，模糊图像集和清晰图像集之间有严格的对应关系，训练时要将清晰图像和模糊图像按照对应的顺序送入神经网络中训练，如果两者之间图像不匹配或者顺序错位，则无法得到良好的效果。严格的对照组图像集一般由清晰图像集采用一些算法生成模糊图像集作为对照来实现，对照组的模糊图像和自然条件下的模糊图像始终会有一些细微的差别。而如果要通过相机自然采集清晰图像和模糊图像，往往耗时费力。在这种背景下，无监督的深度学习去模糊方法被纳入考虑的范围。

在无监督深度学习模型中，并不要求两种数据集严格对应，只要它们之间存在一定的对应关系即可，即使这种对应关系是抽象的概念，比如一张清晰的小河的图像和一张模糊的花朵的图像。在无监督的模型下，测试图像集更加容易制作，算法的鲁棒性和泛化性良好。

发明内容

本发明主要针对传统去模糊技术以及有监督的深度学习去模糊技术存在的问题，提出一种无监督的、具有良好泛化能力的盲去模糊方法和系统。

为了达到上述目的，本发明方法采用的技术方案为：

一种基于深度学习的盲去模糊方法，包括如下步骤：

步骤1，准备阶段：对图像数据预处理，创建新的模型或者读入先前训练的模型；

步骤2，训练阶段：利用步骤1的模型，将模糊图像和清晰图像传入生成器网络、鉴别器网络以及特征提取网络中迭代训练；

步骤3，优化阶段：通过反向优化使生成器网络输出结果逐步逼近清晰图像。

本发明的一种基于深度学习的盲去模糊系统，包括：

数据预处理模块：对相同数量的清晰图像和模糊图像进行预处理，形成清晰图像子集A和模糊数据子集B；

生成器网络A2B：用于将清晰图像子集A送入卷积神经网络进行学习，生成近似模糊图像子集FakeB，以及将近似清晰图像子集FakeA转化为相似模糊图像子集SimilarB；

生成器网络B2A：用于将模糊图像子集B送入卷积神经网络进行学习，生成近似清晰图像子集FakeA，以及将近似模糊图像子集FakeB转化为相似清晰图像子集SimilarA；

特征提取网络N1：用于提取清晰图像子集A和近似模糊图像子集FakeB的特征层；

特征提取网络N2：用于提取模糊图像子集B和近似清晰图像子集FakeA的特征层；

鉴别器网络DA：用于鉴别近似清晰图像子集FakeA的清晰度；

鉴别器网络DB：用于鉴别近似模糊图像子集FakeB的模糊度；

训练模块：用于将图像数据集传入卷积神经网络中进行迭代训练更新参数。

本发明通过引入神经网络，在无监督的情况下通过学习模糊图像集和清晰数据集的特征，使图像在两个数据域相互转化，特别地，由模糊图像转化为清晰图像，从而实现了模糊图像的去模糊。本发明的方法不仅克服了传统的通过解模糊核去模糊的泛化性差的缺点，也在一定程度上解决了有监督深度学习的数据集制作困难的缺点。

附图说明

图1是本发明方法的实施流程图。

图2是本发明系统中各神经网络之间的关系图。

图3是本发明各数据集之间的逻辑关系图。

图4是本发明生成器网络的工作流程图。

图5是本发明鉴别器网络的工作流程图。

图6是本发明特征提取网络的工作流程图。

具体实施方式

以下结合附图，对本发明的优选实施例进行详细的描述，应当理解，优选实施例仅用于说明本发明，而不是为了限制本发明的保护范围。

图1所示了本发明实施例的去模糊方法的流程图，主要分为训练部分和测试部分。训练时，首先判断是否存在先前训练的模型，如存在，则在该模型的基础上继续优化迭代直到指定次数。如不存在模型，则按照设置的神经网络结构初始化模型进行训练。在训练过程中，同时加载相同数量的清晰图像和模糊图像，并根据训练结果调整神经网络参数。加载完一次图像集中的所有图像视作迭代一次。由于每次加载图像时会对图像进行缩放和裁剪，所以每次迭代输入的图像并非和上一次迭代输入的图像完全一致，通过对图像的预操作大大增加神经网络的泛化能力。为避免执行程序中途中断，每训练一定的迭代次数便及时的保存当前模型参数，以便重新启动程序时能够继续训练。当训练到设定的迭代次数时，保存模型并退出执行程序。测试图像时，加载指定目录下的模糊图像，并加载已训练好的模型。将模糊图像输入生成器B2A中通过参数计算得到清晰图像并输出。

图2为去模糊系统的深度学习模型和数据之间的结构，其中平行四边形模块代表数据，矩形模块代表流程或神经网络，菱形代表判断。清晰图像集和模糊图像集经过预处理变为清晰图像子集A和模糊图像子集B。清晰图像子集A输入生成器A2B输出近似模糊图像集FakeB，模糊图像子集B通过生成器B2A生成近似清晰图像集FakeA。将A和FakeB依次输入特征提取网络N1得到两个特征提取层FeatureA和FeatureFakeB，将FeatureA和FeatureFakeB进行相似度比较生成目标函数loss_mesN1。将B和FakeA依次输入特征提取网络N2得到两个特征提取层FeatureB和FeatureFakeA，将FeatureB和FeatureFakeA进行相似度比较生成目标函数loss_mesN2：

FeatureA，FeatureFakeB，FeatureB，FeatureFakeB都是一个具有高和宽的二维矩阵。在这里它们的宽和高均为rfea。FeatureA_x,y表示FeatureA在坐标(x,y)的取值。

将FakeB和FakeA分别送入鉴别器DA和鉴别器DB生成DFakeB和DFakeA，进行鉴别并生成目标函数loss_GA2B与loss_GB2A：

DFakeB和DFakeA同样是一个具有高和宽的二维矩阵，在这里它们的宽和高均为rdis。DFakeA_x,y、DFakeB_x,y分别表示二维矩阵DFakeB与DFakeA在坐标(x,y)处的值。

将FakeB和FakeA分别送入生成器B2A和生成器A2B并输出相似清晰图像SimilarA和相似模糊图像SimilarB。将A与SimilarA相似度对比生成目标函数，将B与SimilarB相似度对比生成目标函数loss_cycA和loss_cycB：

rpic表示图像A、图像B、图像SimilarA、图像SimilarB的尺寸。A_x,y、SimilarA_x,y、B_x,y、SimilarB_x,y分别表示清晰图像A、相似清晰图像SimilarA、模糊图像B和相似模糊图像SimilarB在坐标(x,y)处的值。

此外，为保证鉴别器具有良好的鉴别能力，需要将子集A、B分别输入鉴别器DA，DB进行训练分别生成目标函数loss_DA和loss_DB，为避免混淆，此部分未在图中画出。

鉴别器DA的目标函数为：

鉴别器DB的目标函数为：

其中，rdis为二维矩阵的尺寸，二维矩阵DRealA₁、DRealB₁、DRealA₂和DRealB₂的尺寸相同，DRealA_1x,y、DRealB_1x,y、DRealA_2x,y和DRealB_2x,y分别表示二维矩阵DRealA₁、DRealA₂、DRealB₁与DRealB₂在坐标(x，y)处的值，DRealA₁与DRealB₁为清晰图像A和模糊图像B经过鉴别器DA得到的二维矩阵，DRealA₂与DRealB₂为清晰图像A模糊图像B经过鉴别器DB得到的二维矩阵。

将所有目标函数通过反向梯度优化，促使总Loss向0逼近，使该模型能够良好的拟合数据集。

值得注意的是，图1中两次使用到生成器A2B，但实际上它们是同一张神经网络，第二次是对同一张神经网络重复使用，两次使用生成器B2A亦是如此。此外，该神经网络的最终目标是模糊图像通过生成器B2A生成近似清晰图像FakeA。即FakeA是模糊图像B对应的清晰图像，也是该系统的最终输出。

图3进一步解释了该神经网络模型中6种图像数据之间的逻辑关系，清晰图像A、FakeA、SimilarA均属于清晰数据域的子集。其中清晰图像A和SimilarA应具有良好的相似性，模糊图像B、FakeB、SimilarB均属于模糊数据域的子集。其中模糊图像B和SimilarB应具有良好的相似性。FakeB由A通过生成器A2B生成，FakeA由B通过生成器B2A生成。SimilarB由FakeA通过生成器A2B生成，SimilarA由FakeB通过生成器B2A生成。

图4说明了生成器的结构，生成器A2B和生成器B2A具有相同的结构。其步骤主要包括对输入图像进行若干次的卷积、归一化、非线性变换、归一化、解卷积，操作流程如图4所示。作为优选，采用15层神经网络，具体参数如下表所示：

其中，核表示卷积核的大小，步长表示卷积操作的步长，个数表示卷积和的输出个数。Conv层的步长改变输入的尺寸，当步长为2时，图像长和宽变为原来的二分之一。个数改变Conv层的通道数量，当个数为64时，输出的通道变为64。每个Resnet层包括两个卷积和归一化。Deconv层的步长改变输入的尺寸，当步长为2时，图像的长和宽变为原来的二倍。对数据进行归一化以及非线性变化并不改变数据的尺寸。作为优选，当生成器网络采用输入为256*256*3的图像时，该生成器将输出大小为256*256*3的图像。

图5说明了鉴别器的结构，鉴别器DA和鉴别器DB具有相同的结构。其步骤主要包括卷积、非线性变换、归一化，操作流程如图5所示。作为优选，采用5层神经网络，具体参数如下表所示：

作为优选，鉴别器输入为256*256*3的图像，输出大小为32*32*1的二维矩阵数据，这个数据代表了输入图像可能为真的概率分布。

图6说明了特征提取网络的结构，特征提取网络N1和特征提取网络N2具有相同的结构。其步骤主要包括了非线性变换、卷积和池化操作。作为优选，选取14层神经网络，具体参数如下表所示：

作为优选，特征提取网络输入256*256*3的图像，输出大小为32*32*1的二维矩阵数据，这个数据代表了输入图像的特征分布。清晰图像A和近似模糊图像FakeB应具有相似的特征分布，比如它们的色彩在图像空间上的分布应当是相似的。模糊图像B和近似清晰图像FakeA也是如此。

虽然本发明所示出和描述的实施方法如上，但所述的内容仅为便于理解本发明所采取的方式，并非加以限定本发明，本发明所属领域内的技术人员，在不脱离发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改和变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种基于深度学习的盲去模糊方法，其特征在于，包括如下步骤：

步骤1，准备阶段：对图像数据预处理，创建新的模型或者读入先前训练的模型；

步骤2，训练阶段：利用步骤1的模型，将模糊图像和清晰图像传入生成器网络、鉴别器网络以及特征提取网络中迭代训练；

步骤3，优化阶段：通过反向优化使生成器网络输出结果逐步逼近清晰图像。

2.根据权利要求1所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤1中，在数据预处理时，对图像进行缩放变为固定像素尺寸256*256。

3.根据权利要求1所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤2中，模糊图像和清晰图像并无直接的对应关系。

4.根据权利要求1所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤2中，具体的训练步骤包括：

(1)将模糊图像B传入生成器网络B2A中并生成近似清晰图像FakeA，将清晰图像A传入生成器网络A2B中并生成近似模糊图像FakeB，将清晰图像A和近似模糊图像FakeB分别传入特征提取网络N1中得到清晰图像A的特征层FeatureA和近似模糊图像FakeB特征层FeatureFakeB，将模糊图像B和近似清晰图像FakeA分别传入特征提取网络N2中得到模糊图像B的特征层FeatureB和近似清晰图像FakeA的特征层FeatureFakeA；

(2)计算特征层FeatureA和特征层FeatureFakeB的特征相似度1，计算特征层FeatureB和特征层FeatureFakeA的特征相似度2；

(3)将近似清晰图像FakeA传入生成器A2B中得到相似模糊图像SimilarB，将近似模糊图像FakeB传入生成器B2A中得到相似清晰图像SimilarA；利用鉴别器DA鉴别近似清晰图像FakeA是否足够清晰，输出二维矩阵DFakeA；利用鉴别器DB鉴别近似模糊图像FakeB是否足够模糊，输出二维矩阵DFakeB；对清晰图像A和相似清晰图像SimilarA进行相似度比对，对模糊图像B和相似模糊图像SimilarB进行相似度比对。

5.根据权利要求4所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤(2)中，特征相似度的计算公式如下：

特征相似度2的计算公式如下：

其中，rfea表示特征层的尺寸，四个特征层FeatureA、FeatureFakeB、FeatureB和FeatureFakeA的尺寸相同；FeatureA_x,y、FeatureFakeB_x,y、FeatureB_x,y、FeatureFakeA_x,y分别表示特征层FeatureA、特征层FeatureFakeB、特征层FeatureB、特征层FeatureFakeA在坐标(x，y)处的值。

6.根据权利要求4所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤(3)中，生成器A2B与生成器B2A的总目标函数为：

loss_G＝loss_GA2B+loss_GB2A+loss_cycA+loss_cycB

其中，

rdis表示二维矩阵的尺寸，二维矩阵DFakeB与DFakeA的尺寸相同，rpic表示图像的尺寸，图像A、图像B、图像SimilarA和图像SimilarB的尺寸相同；DFakeA_x,y、DFakeB_x,y分别表示二维矩阵DFakeB与DFakeA在坐标(x,y)处的值；A_x,y、SimilarA_x,y、B_x,y、SimilarB_x,y分别表示清晰图像A、相似清晰图像SimilarA、模糊图像B和相似模糊图像SimilarB在坐标(x,y)处的值。

7.根据权利要求4所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤(3)中，鉴别器DA的目标函数为：

鉴别器DB的目标函数为：

其中，rdis为二维矩阵的尺寸，二维矩阵DRealA₁、DRealB₁、DRealA₂和DRealB₂的尺寸相同，DRealA_1x,y、DRealB_1x,y、DRealA_2x,y和DRealB_2x,y分别表示二维矩阵DRealA₁、DRealA₂、DRealB₁与DRealB₂在坐标(x，y)处的值，DRealA₁与DRealB₁为清晰图像A和模糊图像B经过鉴别器DA得到的二维矩阵，DRealA₂与DRealB₂为清晰图像A模糊图像B经过鉴别器DB得到的二维矩阵。

8.根据权利要求1所述的一种基于深度学习的盲去模糊方法，其特征在于，所述步骤(3)中，通过随机梯度下降的方式减小Loss以优化整个网络。

9.一种基于深度学习的盲去模糊系统，其特征在于，包括：

数据预处理模块：对相同数量的清晰图像和模糊图像进行预处理，形成清晰图像子集A和模糊数据子集B；

生成器网络A2B：用于将清晰图像子集A送入卷积神经网络进行学习，生成近似模糊图像子集FakeB，以及将近似清晰图像子集FakeA转化为相似模糊图像子集SimilarB；

生成器网络B2A：用于将模糊图像子集B送入卷积神经网络进行学习，生成近似清晰图像子集FakeA，以及将近似模糊图像子集FakeB转化为相似清晰图像子集SimilarA；

特征提取网络N1：用于提取清晰图像子集A和近似模糊图像子集FakeB的特征层；

特征提取网络N2：用于提取模糊图像子集B和近似清晰图像子集FakeA的特征层；

鉴别器网络DA：用于鉴别近似清晰图像子集FakeA的清晰度；

鉴别器网络DB：用于鉴别近似模糊图像子集FakeB的模糊度；

训练模块：用于将图像数据集传入卷积神经网络中进行迭代训练更新参数。