CN109801215B - 基于对抗生成网络的红外超分辨率成像方法 - Google Patents

Abstract

本发明属于红外成像技术领域，具体涉及一种基于对抗生成网络的红外超分辨率成像方法。所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试。与现有技术相比较，本发明采用卷积神经网对图像进行超分辨率和去模糊的处理。相对于传统的超分辨率和去模糊的方法，卷积神经网络可以直接对图像进行超分辨率和去模糊的处理，不需要估计模糊程度以及响应函数。因此对于不同场景下图像的超分辨率问题具有更强的适应性。

Description

基于对抗生成网络的红外超分辨率成像方法

技术领域

本发明属于红外成像技术领域，具体涉及一种基于对抗生成网络的红外超分辨率成像方法。

背景技术

红外成像技术在国民经济和军事国防等领域得到了越来越广泛的应用。在空间光学红外成像中，由于光学系统自身的衍射和像差、大气扰动、空间相机与拍摄场景的相对复合运动、相机离焦等因素影响，相机获得的红外图像会存在模糊，影响红外图像中感兴趣目标的判读。

图像去模糊和超分辨率方法一直以来都是图像处理领域的难点和热点。近年来，随着深度学习在图像处理领域的应用，卷积神经网被利用处理超分辨率和去模糊问题，并取得了良好的效果。但是，现有的方法都是将超分辨率和去模糊分开进行研究，模糊核的种类常常是单一的高斯核，对于实际成像过程中的复杂情况会出现结构扭曲现象。因此，如何利用神经网络处理图像去模糊和超分辨率，依然是一个具有挑战性的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何克服现有超分辨率方法的不足，对图像进行处理，将模糊的低分辨率图像恢复成清晰的高分辨率图像。

(二)技术方案

为解决现有技术问题，本发明提供一种基于对抗生成网络的红外超分辨率成像方法，所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试。

其中，所述方法包括：

步骤1：合成数据集：利用点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集；

步骤2：建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)；

生成模型由2个反卷积层和10个卷积层组成；

判别模型由4个卷积层和一个全连接层组成；两个模型交替进行训练，互相竞争；当给定判别模型时，生成模型学习数据并生成样本，并且希望样本可以“欺骗”判别模型；当给定生成模型时，判别模型学习生成模型产生的样本和真实数据并区分它们；最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据；

其中，生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活；判别模型的输入为图像，输出为输入图像清晰的概率；使用了LeakyReLU作为激活函数；

所述生成模型的损失函数由二部分组成：

第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图；G为生成模型，D为判别模型，θ和ω分别为判别模型网络D和生成模型网络G中的神经元参数；如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分；

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图；

式中{xⁱ,i＝1,2,3...N}为高分辨率清晰图；(2)减少了生成模型的输出和数据集中对应的清晰图之间像素值的差异；可以将(1)和(2)综合起来得到生成模型最终的损失函数：

式中λ为权重项，使用(3)作为训练过程中的损失函数后，图像的恢复明显改善；并且相比只使用(1)作为损失函数，图像恢复的信噪比更低；

步骤3：利用tensorflow对训练集进行训练：

对步骤1获得训练集图像进行下采样和加模糊处理后得到模糊图像，并与原图像组成数据对，得到训练数据集和测试数据集；利用tensorflow对网络进行训练；训练完成后，用真实拍摄出的模糊图像和人工合成的测试数据集对网络进行测试。

其中，步骤1获得训练集共有一万三千张灰度图像。

其中，步骤1获得训练集的图像尺寸为116×116。

其中，步骤3中对步骤1获得训练集图像进行下采样和加模糊处理后得到尺寸为29×29的模糊图像。

(三)有益效果

(1)本发明采用卷积神经网对图像进行超分辨率和去模糊的处理。相对于传统的超分辨率和去模糊的方法，卷积神经网络可以直接对图像进行超分辨率和去模糊的处理，不需要估计模糊程度以及响应函数。因此对于不同场景下图像的超分辨率问题具有更强的适应性。

(2)本发明使用的生成对抗网络对图像进行处理。相对于传统的卷积神经网络，生成对抗网络有两个不同的部分(生成模型和判别模型)，训练方式是对抗训练，可以使得超分辨率结果更接近真实图像。

(3)本发明在生成模型里添加了反卷积层，同时能对图像进行分辨率增强和去模糊。相对于其他只能处理单一的去模糊或超分辨率问题的网络，本发明具有更广泛的适用性与更强的鲁棒性。

附图说明

图1是本发明采用的网络的结构图。其中方形代表网络的每一层，箭头代表数据流向。斜条纹的方形代表生成模型，竖条纹的方形代表判别模型。

图2是本发明每层的网络具体结构示意图。第一行区分网络的生成模型和鉴别模型。第二行说明网络的每一层的类型。第三行说明网络每一层的参数。

图3是将训练输入数据和标签制作成如下格式的训练数据对，输入是标签图像的模糊加四倍下采样示意图。右边的图是原始清晰图像。左边的小图是下采样和加模糊的之后的图像。

图4是网络训练完成后的测试结果示意图。从左到右依次是：输入的模糊低分辨率图像，输出的高分辨率图像，原有的清晰图像。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

为解决现有技术问题，本发明提供一种基于对抗生成网络的红外超分辨率成像方法，所述方法首先合成数据集，建立生成对抗网络，然后用人工合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试。

其中，所述方法包括：

步骤1：合成数据集：利用现有文献中的点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集；

步骤2：建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)；

生成模型由2个反卷积层和10个卷积层组成；

判别模型由4个卷积层和一个全连接层组成；两个模型交替进行训练，互相竞争；当给定判别模型时，生成模型学习数据并生成样本，并且希望样本可以“欺骗”判别模型；当给定生成模型时，判别模型学习生成模型产生的样本和真实数据并区分它们；最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据；

其中，生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活；判别模型的输入为图像，输出为输入图像清晰的概率；使用了LeakyReLU作为激活函数；

所述生成模型的损失函数由二部分组成：

第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图；G为生成模型，D为判别模型，θ和ω分别为判别模型网络D和生成模型网络G中的神经元参数；如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分；

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图；

式中{xⁱ,i＝1,2,3...N}为高分辨率清晰图；(2)减少了生成模型的输出和数据集中对应的清晰图之间像素值的差异；可以将(1)和(2)综合起来得到生成模型最终的损失函数：

式中λ为权重项，使用(3)作为训练过程中的损失函数后，图像的恢复明显改善；并且相比只使用(1)作为损失函数，图像恢复的信噪比更低；

所述判别模型的损失函数使用了生成对抗网络传统损失函数，经实验取得了很好的效果；

步骤3：利用tensorflow对训练集进行训练：

步骤1获得训练集共有一万三千张灰度图像，图像尺寸为116×116；对其进行下采样和加模糊处理后得到尺寸为29×29的模糊图像，并与原图像组成数据对，得到训练数据集和测试数据集；利用tensorflow对网络进行训练；训练完成后，用真实拍摄出的模糊图像和人工合成的测试数据集对网络进行测试。

可以看出，输出图片分辨率增加了四倍，并且模糊图片明显变清晰。

实施例1

本实施例采取的技术方案是基于生成对抗网络的红外超分辨率成像算法。人工合成数据集，建立生成对抗网络，然后用合成的数据集对网络进行训练。训练完成后，用网络对用同样方法人工合成的测试数据集和实际拍摄出的数据进行测试。本发明对生成对抗网络中生成模型的损失函数进行了改进，在传统损失函数的基础上添加了像素化损失项，使生成模型输出的图像更接近真实的清晰图像。本发明包括如下步骤：

1)合成数据集：利用现有文献中的点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集。

2)建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)。生成模型由2个反卷积层和10个卷积层组成。判别模型由4个卷积层和一个全连接层组成。两个模型交替进行训练，互相竞争。最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据。

本发明的生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活。判别模型的输入为图像，输出为输入图像清晰的概率。使用了LeakyReLU作为激活函数。

本发明生成模型的损失函数由二部分组成：第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图。G为生成模型，D为判别模型，θ和ω分别为判别模型D和生成模型G中的参数。如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分。

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图。

式中{xⁱ,i＝1,2,3...N}为高分辨率清晰图。(2)减少了生成模型的输出和数据集中对应的清晰图之间像素值的差异。可以将(1)和(2)综合起来得到生成模型最终的损失函数：

式中λ为权重项，使用(3)作为训练过程中的损失函数后，图像的恢复明显改善。并且相比只使用(1)作为损失函数，图像恢复的信噪比更低。

本发明的判别模型的损失函数使用了生成对抗网络传统损失函数，经实验取得了很好的效果。

3)利用tensorflow对训练集进行训练：

步骤1)的训练集共有一万三千张灰度图像，图像尺寸为116×116。对其进行下采样和加模糊处理后得到尺寸为29×29的模糊图像，并与原图像组成数据对，得到训练数据集和测试数据集。利用TensorFlow对网络进行训练。训练完成后，用真实拍摄出的模糊图像和人工合成的测试数据集对网络进行测试。具体的结果由图4所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于对抗生成网络的红外超分辨率成像方法，其特征在于，所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试；

所述方法包括：

步骤1：合成数据集：利用点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集；

步骤2：建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)；

生成模型由2个反卷积层和10个卷积层组成；

判别模型由4个卷积层和一个全连接层组成；两个模型交替进行训练，互相竞争；当给定判别模型时，生成模型学习数据并生成样本，并且希望样本可以“欺骗”判别模型；当给定生成模型时，判别模型学习生成模型产生的样本和真实数据并区分它们；最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据；

其中，生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活；判别模型的输入为图像，输出为输入图像清晰的概率；使用了LeakyReLU作为激活函数；

所述生成模型的损失函数由二部分组成：

第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图；G为生成模型，D为判别模型，θ和ω分别为判别模型网络D和生成模型网络G中的神经元参数；如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分；

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图；

式中{xⁱ,i＝1,2,3...N}为高分辨率清晰图；(2)减少了生成模型的输出和数据集中对应的清晰图之间像素值的差异；可以将(1)和(2)综合起来得到生成模型最终的损失函数：

式中λ为权重项，使用(3)作为训练过程中的损失函数后，图像的恢复明显改善；并且相比只使用(1)作为损失函数，图像恢复的信噪比更低；

步骤3：利用tensorflow对训练集进行训练：

对步骤1获得训练集图像进行下采样和加模糊处理后得到模糊图像，并与原图像组成数据对，得到训练数据集和测试数据集；利用tensorflow对网络进行训练；训练完成后，用真实拍摄出的模糊图像和人工合成的测试数据集对网络进行测试。

2.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤1获得训练集共有一万三千张灰度图像。

3.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤1获得训练集的图像尺寸为116×116。

4.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤3中对步骤1获得训练集图像进行下采样和加模糊处理后得到尺寸为29×29的模糊图像。

Images