CN110070517A - 基于退化成像机理和生成对抗机制的模糊图像合成方法 - Google Patents

Abstract

本发明公开了一种基于退化成像机理和生成对抗机制的模糊图像合成方法，包括以下步骤：S1：收集训练样本，建立训练数据集；S2：利用退化图像成像机理建立点对点的通用模糊成像模型；S3：利用生成对抗学习机制，将通用的模糊成像模型融入到深度卷积生成对抗网络中，建立复合深度卷积生成对抗网络；S4：将训练样本送入复合深度卷积生成对抗网络中，训练复合深度卷积生成对抗网络，合成能够覆盖真实数据空间的模糊图像标签样本。本发明在生成对抗机制中融入成像机理，可以降低网络训练难度，可应对图像中有多种模糊类型混合存在的情况，可以合成覆盖真实数据空间的模糊图像标签样本，为后续的研究工作提供便利。

Description

基于退化成像机理和生成对抗机制的模糊图像合成方法

技术领域

本发明涉及计算机视觉领域中模糊图像合成方法，特别是涉及一种基于退化成像机理和生成对抗机制的模糊图像合成方法。

背景技术

近年来，随着深度学习技术的快速发展，以图像分类、目标识别、语义分割等问题为代表的高层视觉领域的研究取得了突破性进展，这些进展在很大程度上要归功于ImageNet、PASCAL VOC等大型图像数据库的出现。这些数据库提供了大量带有手工标注结果的真实图像数据，为高层视觉和深度学习的研究者提供了数据平台和研究对象。但是，一个不容忽视的问题是，这些图像数据与实际视觉应用场合中的图像数据还存在着不同。以ImageNet为例，数据库中的图像大多来自于用户通过网络上传的共享图片，用户在共享图片时会更倾向于选择清晰无损的高质量图像，但在实际视觉应用中，计算机视觉系统所需要处理的很有可能是一幅模糊的低质图像。最新的研究成果表明，当图像中存在有中等程度的模糊现象时，现有图像分类算法的准确率就会显著的下降。

基于学习的模糊图像处理方法所面临的最大问题是如何获得足够的标签样本，现有的方法大多是基于退化成像模型合成图像样本用于训练和测试。但与基于模型的方法所面临的问题相似，由于现有的退化成像模型是在某些理想假设条件下推导和建立的简化模型，其表示能力有限，因此所合成的模糊图像与真实的模糊图像之间会存在有明显的偏差。这严重影响了基于监督学习的图像复原方法在实际中的应用。

最近，基于生成对抗网络(Generative Adversarial Nets，GAN)的半监督学习方法也被引入到这一领域的研究中，借鉴风格转移(Style Transfer)研究中的图像翻译(Image to Image Translation)机制，实现图像去模糊处理。但是由于问题求解空间巨大，GAN网络的训练难度很高，面临着模式坍塌、图像分辨率不足等诸多问题，导致这些工作的复原效果有限。一种解决方案是将GAN的训练移植到图像编码特征空间内进行，这可以有效提高GAN网络的可学习性。但这种方案同时也加大了特征编解码的难度，一旦图像重建模型的表示能力不足，很容易导致最终的复原结果缺少足够细节。现有基于学习的方法面临的另一个问题是，为了降低训练的难度，这些方法通常不会直接对清晰图像进行求解，而是会引入成像模型的某个重要参数如卷积核、散射图等作为中间结果，然后再借助传统方法利用去卷积或者引导滤波计算得到最终的清晰图像。这使得这些中间结果的估计质量成为算法能否成功的关键，一旦出现估计错误或包含噪声，会因为误差累积导致最终的复原结果完全失败。而且更重要的是，这种方式也使得现有方法无法应对图像中有多种模糊类型混合存在的情况。

因此亟需提供一种新型的模糊图像合成方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于退化成像机理和生成对抗机制的模糊图像合成方法，为模糊图像的处理提供能够覆盖真实数据空间的模糊图像标签样本。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于退化成像机理和生成对抗机制的模糊图像合成方法，包括以下步骤：

S1：收集训练样本，建立训练数据集；

S2：利用退化图像成像机理建立点对点的通用模糊成像模型；

S3：利用生成对抗学习机制，将通用的模糊成像模型融入到深度卷积生成对抗网络中，建立复合深度卷积生成对抗网络；

S4：将训练样本送入复合深度卷积生成对抗网络中，训练复合深度卷积生成对抗网络，合成能够覆盖真实数据空间的模糊图像标签样本。

在本发明一个较佳实施例中，步骤S1的具体步骤包括：

搭建运动模糊图像采集平台，人工筛选出1000—5000张清晰的RGB图像及其对应的深度图像d与模糊图片。

在本发明一个较佳实施例中，在步骤S2中，所述通用模糊成像模型为：

I_λ(x,y,d)＝J_λ(x,y,d)B_diffuse(x,y,d)+A_λ(x,y)(1-B_diffuse(x,y,d))

其中，I_λ(x,y,d)代表模糊图像的矩阵；J_λ(x,y,d)代表清晰图像的矩阵；λ代表颜色通道；B_diffuse(x,y,d)为模糊图，描述图像在各个像素位置上的模糊程度；A_λ(x,y)为邻域关系图的矩阵，描述了以(x,y)为中心的局部邻域内其它场景点对当前场景点模糊成像的贡献程度。

在本发明一个较佳实施例中，在步骤S3中，所述复合深度卷积生成对抗网络包括生成器和判别器；

所述生成器包含三部分，分别对应了模糊成像模型中的模糊图、邻域关系图以及相机渐晕模型；

所述判别器由深度卷积网络建立，包含四个卷积单元，每个卷积单元包含一个卷积层与一个最大池化层，卷积层用于提取图像特征，最大池化层用于去除冗余信息。

进一步的，所述生成器的建立过程包括以下步骤：

S3.1：将噪声向量Z₁与输入的深度图d合并在一起形成新的特征向量用来描述模糊图，即：

其中，β为模型参数，通过网络训练得到；

S3.2：将噪声向量Z₂与清晰图像局部结构相似性特征合并在一起形成新的邻域关系特征向量，表示为：

其中，δ_uv是kronecker函数，U₃是3*3单位矩阵，ε是模型正则化参数，通过网络训练得到；

S3.3：在生成器中加入了相机渐晕模型模拟成像设备的特性，如下式所示：

V＝1+a·c²

其中，c为图像中各个像素到中心像素的距离；a为模型参数，通过网络训练得到；

S3.4：分别在S3.1、S3.2、S3.3所描述的三个部分内分别接两层全连接层，用于学习β，ε，a三个关键模型参数。

进一步的，步骤S4的具体步骤包括：

S4.1：设置带动量的SGD优化器，动量设为0.9，学习率设为0.001，每训练1000步，权重衰减一次，权重衰减为0.005；

S4.2：将清晰的RGB图像、深度图像d和噪声向量(Z₁,Z₂)送入生成器，输出合成的模糊图像；

S4.3：将S4.2合成的模糊图像以及采集的真实的模糊图像，同时送入判别器，输出是一个二分类结果，0代表判断为模糊图像，1代表判断为真实图像；

S4.4：同时优化生成器G(Z₁,Z₂)和判别器D(x)，训练过程中观察训练误差，当误差不再下降，即终止训练。

本发明的有益效果是：

(1)本发明所提出的点对点模糊成像模型，计算简单并且表示能力很强，可以很容易地描述空变模糊、混合模糊等复杂条件下的模糊退化过程；而且由于这一模型中不包含卷积过程，抑制了振铃现象的产生，基于这一模型可以生成反映各个像素位置模糊程度的模糊图作为网络训练或性能测试的真值标签，为后续模糊辨识性特征学习任务奠定了基础；

(2)本发明在生成对抗机制中融入成像机理，可以降低网络训练难度，可应对图像中有多种模糊类型混合存在的情况，输出的合成模糊图像的数据分布与真实模糊图像尽可能逼近，可以合成覆盖真实数据空间的模糊图像标签样本，为后续的研究工作提供便利。

附图说明

图1是本发明基于退化成像机理和生成对抗机制的模糊图像合成方法的流程示意图；

图2是基于退化成像机理和生成对抗机制的模糊图像合成过程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1和图2，本发明实施例包括：

一种基于退化成像机理和生成对抗机制的模糊图像合成方法，包括以下步骤：

S1：收集训练样本，建立训练数据集；

借鉴R.Kohler等提出的模糊图像数据采集方法(R.Kohler et al.ECCV12)搭建运动模糊图像采集平台，人工筛选出1000—5000张清晰的RGB图像及其对应的深度图像d与模糊图片。

S2：利用退化图像成像机理建立点对点的通用模糊成像模型；

利用模糊图像的光学成像机理，根据每个传感器单元接收到的辐照光强的组成成分，将模糊图像的成像过程分解为直接衰减和扩散传输两个部分进行分析，绕过对于光线传输过程的复杂机理分析，直接从接收端所接收到光强的组成成分入手，建立一种全新通用的非卷积操作的点对点模糊成像模型：

I_λ(x,y,d)＝J_λ(x,y,d)B_diffuse(x,y,d)+A_λ(x,y)(1-B_diffuse(x,y,d)) (1)

其中，I_λ(x,y,d)代表模糊图像的矩阵；J_λ(x,y,d)代表清晰图像的矩阵；λ代表颜色通道。式(1)中右侧的第一项描述的是图像退化导致的图像亮度衰减，第二项描述的是图像退化导致的图像模糊，这一模型的两个关键性参数分别是模糊图B_diffuse(x,y,d)和邻域关系图A_λ(x,y)。B_diffuse(x,y,d)为模糊图，描述图像在各个像素位置上的模糊程度；A_λ(x,y)为邻域关系图的矩阵，描述了以(x,y)为中心的局部邻域内其它场景点对当前场景点模糊成像的贡献程度。

通过改变A_λ(x,y)的表现形式，构建不同类型的模糊退化模型。令A_λ(x,y)为一个常数A时，此时式(1)是一个标准的雾天散射成像模型；令A_λ(x,y)为局部邻域ω_xy内所有像素的平均值，即时，此时式(1)描述的是一个近似的散焦模糊过程。

S3：利用生成对抗学习机制，将通用的模糊成像模型融入到深度卷积生成对抗网络中，建立复合深度卷积生成对抗网络，具体的，一方面将退化成像模型融合到生成式网络的设计中，利用成像机理指导和约束网络的训练过程，建立输入RGB图像与输出模糊图像之间逐级映射的关系；另一方面设计判别式网络，构建复合深度卷积生成对抗神经网络。

所述复合深度卷积生成对抗网络包括生成器和判别器。

利用退化成像机理构建生成器，所述生成器包含三部分，分别对应了模糊成像模型中的模糊图、邻域关系图以及相机渐晕模型：

S3.1：将噪声向量Z₁与输入的深度图d合并在一起形成新的特征向量用来描述模糊图，即：

其中，β为模型参数，通过网络训练得到；

S3.2：将噪声向量Z₂与清晰图像局部结构相似性特征合并在一起形成新的邻域关系特征向量，表示为：

其中，δ_uv是kronecker函数，U₃是3*3单位矩阵，ε是模型正则化参数，通过网络训练得到；

S3.3：在生成器中加入了相机渐晕模型模拟成像设备的特性，如下式所示：

V＝1+a·c²

其中，c为图像中各个像素到中心像素的距离；a为模型参数，通过网络训练得到；

S3.4：分别在S3.1、S3.2、S3.3所描述的三个部分内分别接两层全连接层，用于学习β，ε，a三个关键模型参数，其中全连接层分别包含1024和1个神经单元。

所述判别器由深度卷积网络建立，包含四个卷积单元，每个卷积单元包含一个卷积层与一个最大池化层，卷积层用于提取图像特征，最大池化层用于去除冗余信息。其中卷积层的卷积核数目依次为32、64、128、256，卷积核大小为3×3，每层的激活函数为RELU，最大池化层的步长为2。

S4：将训练样本送入复合深度卷积生成对抗网络中，训练复合深度卷积生成对抗网络，合成能够覆盖真实数据空间的模糊图像标签样本。具体步骤包括：

S4.1：设置带动量的SGD优化器，动量设为0.9，学习率设为0.001，每训练1000步，权重衰减一次，权重衰减为0.005；

S4.2：将清晰的RGB图像、深度图像d和噪声向量(Z₁,Z₂)送入生成器，输出合成的模糊图像；

S4.3：将S4.2合成的模糊图像以及采集的真实的模糊图像，同时送入判别器，输出是一个二分类结果，0代表判断为模糊图像，1代表判断为真实图像；

S4.4：同时优化生成器G(Z₁,Z₂)和判别器D(x)，训练过程中观察训练误差，当误差不再下降，即终止训练。

网络的训练目标是使得生成器所合成的模糊图像能够欺骗判别器，使其判断为真实图像。这一过程可以描述为，通过同时优化生成器G(Z₁,Z₂)和判别器D(x)，使得输出的合成模糊图像的数据分布与真实模糊图像尽可能逼近。

经过对比和分析，相比于目前已有的其他方法，本发明有如下两点优势：

(1)与传统的卷积成像模型相比，本发明所提出的点对点模糊成像模型，计算简单并且表示能力很强，可以很容易地描述空变模糊、混合模糊等复杂条件下的模糊退化过程；而且由于这一模型中不包含卷积过程，抑制了振铃现象的产生，基于这一模型可以生成反映各个像素位置模糊程度的模糊图作为网络训练或性能测试的真值标签，为后续模糊辨识性特征学习任务奠定了基础；

(2)在生成对抗机制中融入成像机理，可以降低网络训练难度，可应对图像中有多种模糊类型混合存在的情况，输出的合成模糊图像的数据分布与真实模糊图像尽可能逼近，可以合成覆盖真实数据空间的模糊图像标签样本，为后续的研究工作提供便利。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于退化成像机理和生成对抗机制的模糊图像合成方法，包括以下步骤：

S1：收集训练样本，建立训练数据集；

S2：利用退化图像成像机理建立点对点的通用模糊成像模型；

S3：利用生成对抗学习机制，将通用的模糊成像模型融入到深度卷积生成对抗网络中，建立复合深度卷积生成对抗网络；

S4：将训练样本送入复合深度卷积生成对抗网络中，训练复合深度卷积生成对抗网络，合成能够覆盖真实数据空间的模糊图像标签样本。

2.根据权利要求1所述的基于退化成像机理和生成对抗机制的模糊图像合成方法，其特征在于，步骤S1的具体步骤包括：

搭建运动模糊图像采集平台，人工筛选出1000—5000张清晰的RGB图像及其对应的深度图像d与模糊图片。

3.根据权利要求1所述的基于退化成像机理和生成对抗机制的模糊图像合成方法，其特征在于，在步骤S2中，所述通用模糊成像模型为：

I_λ(x,y,d)＝J_λ(x,y,d)B_diffuse(x,y,d)+A_λ(x,y)(1-B_diffuse(x,y,d))

其中，I_λ(x,y,d)代表模糊图像的矩阵；J_λ(x,y,d)代表清晰图像的矩阵；λ代表颜色通道；B_diffuse(x,y,d)为模糊图，描述图像在各个像素位置上的模糊程度；A_λ(x,y)为邻域关系图的矩阵，描述了以(x,y)为中心的局部邻域内其它场景点对当前场景点模糊成像的贡献程度。

4.根据权利要求1所述的基于退化成像机理和生成对抗机制的模糊图像合成方法，其特征在于，在步骤S3中，所述复合深度卷积生成对抗网络包括生成器和判别器；

所述生成器包含三部分，分别对应了模糊成像模型中的模糊图、邻域关系图以及相机渐晕模型；

所述判别器由深度卷积网络建立，包含四个卷积单元，每个卷积单元包含一个卷积层与一个最大池化层，卷积层用于提取图像特征，最大池化层用于去除冗余信息。

5.根据权利要求4所述的基于退化成像机理和生成对抗机制的模糊图像合成方法，其特征在于，所述生成器的建立过程包括以下步骤：

S3.1：将噪声向量Z₁与输入的深度图d合并在一起形成新的特征向量用来描述模糊图，即：

其中，β为模型参数，通过网络训练得到；

S3.2：将噪声向量Z₂与清晰图像局部结构相似性特征合并在一起形成新的邻域关系特征向量，表示为：

其中，δ_uv是kronecker函数，U₃是3*3单位矩阵，ε是模型正则化参数，通过网络训练得到；

S3.3：在生成器中加入了相机渐晕模型模拟成像设备的特性，如下式所示：

V＝1+a·c²

其中，c为图像中各个像素到中心像素的距离；a为模型参数，通过网络训练得到；

S3.4：分别在S3.1、S3.2、S3.3所描述的三个部分内分别接两层全连接层，用于学习β，ε，a三个关键模型参数。

6.根据权利要求4所述的基于退化成像机理和生成对抗机制的模糊图像合成方法，其特征在于，步骤S4的具体步骤包括：

S4.1：设置带动量的SGD优化器，动量设为0.9，学习率设为0.001，每训练1000步，权重衰减一次，权重衰减为0.005；

S4.2：将清晰的RGB图像、深度图像d和噪声向量(Z₁,Z₂)送入生成器，输出合成的模糊图像；

S4.3：将S4.2合成的模糊图像以及采集的真实的模糊图像，同时送入判别器，输出是一个二分类结果，0代表判断为模糊图像，1代表判断为真实图像；

S4.4：同时优化生成器G(Z₁,Z₂)和判别器D(x)，训练过程中观察训练误差，当误差不再下降，即终止训练。