CN116977188A - 一种基于深度全卷积神经网络的红外图像增强方法 - Google Patents

Abstract

本发明公开了一种基于深度全卷积神经网络的红外图像增强方法，涉及红外图像技术领域，包括如下步骤：采集与制作高低增益红外图像对作为深度学习所必须的数据集，并按比例划分为训练样本集与测试样本集，对训练样本集进行数据增强以获得更加丰富的训练数据集；针对低质量红外图像对比度低、细节模糊等问题，通过引入残差结构设计一种全卷积红外图像增强网络；利用训练样本集对该网络进行监督训练，获得一种红外图像增强模型，该模型适用于不同分辨率的红外图像；最后将待测试的低质量红外图像输入该模型，获得增强后的红外图像。

Description

一种基于深度全卷积神经网络的红外图像增强方法

技术领域

本发明涉及红外图像技术领域，具体是一种基于深度全卷积神经网络的红外图像增强方法。

背景技术

随着商品自动移动设备的出现，在夜间、不稳定的极端条件下识别变得越来越普遍。这种需要导致了使用多模态传感器的方法，它们可以相互补充。热敏照相机的选择提供了丰富的温度信息源，较少受到不断变化的照明或背景杂波的影响。然而，现有的热敏相机的分辨率比RGB相机相对较小，在识别任务中难以充分利用这些信息。因此，将红外图像进行增强获得高质量的红外图像对基于红外热成像相机的识别任务十分有意义。

传统的图像增强方法如直方图均衡化（histogram equalization，HE），该算法增强目标的同时，背景噪声也会被放大，效果较差。其改进算法对比度受限直方图均衡（contrast limited adaptive histogram equalization,CLAHE）能够抑制背景噪声，但是边缘容易被模糊。为了缓解这种情况，本发明在根据对现有方法的广泛分析后，实现了一种基于深度卷积神经网络的低分辨率热图像增强方法。

发明内容

鉴于上述技术缺点，本发明提供了一种基于深度全卷积神经网络的红外图像增强方法，包括如下步骤：

S1，采集与制作红外高低增益图像对，获得丰富的训练样本集与测试集；

S2，根据不同的获得方法，将S1中得到的训练样本集进行相应的数据预处理和数据增广；

S3，通过引入卷积块与残差结构构建红外图像增强网络；

S4，将S2中得到的训练样本集送入S3中设计的网络中进行训练，获得红外图像增强模型；

S5，将S1中得到的红外测试图像输入到S4训练完成的红外图像增强模型中，获得增强后的红外图像。

作为优选的，S1中所述的两种获得红外高低增益图像对的方法为：

方法一：合成灰度红外图片，使用来自公共数据集的可见光图像，对这些图像进行灰度化处理以获得高增益灰度图片。灰度化的方法为：采用对比度因子范围为[0.5,0.51]的随机对比度函数对高增益灰度图片进行低对比度化，获得相应的低增益灰度图片；

方法二：使用伪彩色红外图片，使用带有高低增益模式的商业红外机芯相机，选择不同的场景分别采集高低增益红外图像对，所获得的红外图像对形成数据集。

作为优选的，S2中所述的数据预处理操作为：

步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且使得图像长宽相等；

步骤二，采用图像翻转、图像对比度变换、图像尺度缩放等方式对切割后的图像进行数据增强。

作为优选的，S3 中构建的红外图像增强网络包括如下：

图像特征提取部分是利用 8 个卷积层进行红外图像特征的提取，得到 8 个特征图；其中所述的卷积层后面均使用 LeakyReLU激活函数，LeakyReLU激活函数的数学表达式如下：

接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；在8个卷积层中使用两次跳连接以充分融合各层特征；

最后利用1个卷积层输出结果，所述的卷积层后面同样使用 LeakyReLU激活函数。

作为优选的，S3中所述卷积块的结构为：

对于第一层卷积层至第四层卷积层，设置卷积核的大小为7×7，步长设置为1，padding设置为3；

对于第五层卷积层，设置卷积核的大小为5×5，步长设置为1，padding设置为2；

对于第六层卷积层至第九层卷积层，设置卷积核的大小为3×3，步长设置为1，padding设置为3；

对于全部卷积块，padding都以0填充。

作为优选的，S3中所述的残差结构的数学表达式如公式：

其中，x和y分别表示输入和输出，f(x)表示特征提取层；引入残差结构，融合红外图像增强模型的第一层卷积层提取的特征和第四层卷积层提取的特征，以及第五层卷积层提取的特征与第八层卷积层提取的特征。

作为优选的，S4 中所述的训练过程的超参数设置如下：

（1）初始学习率 lr 为 1e-3，使用余弦退火衰减方式，学习率从1e-3下降到1e-9。余弦退火公式为：

其中，η _t 为当前学习率，η _max 为最大学习率，η _min 为最小学习率，Tcur为当前迭代次数，Tmax为最大迭代次数;

（2）优化算法选择Adam梯度下降法，动量参数设置为0.9，损失函数使用均方损失。优化过程采用Adam梯度下降法和一般的反向传播方案，当训练进行时，同时测量PSNR（峰值信噪比），以检查模型训练的进展。Adam算法策略可以表示为：

其中，m_t和v_t分别为一阶动量和二阶动量项，β ₁ ，β ₂ 为动力值，大小为0.9和0.999，m_t ^{^}，v_t ^{^}分别为各自的修正值。W _t 表示t时刻，即第t迭代模型的参数，g_t=△J(W _t )表示t次迭代代价函数关于W的梯度大小；ε是一个取值很小的数，一般为1e-8，用以避免分母为0;

（3）批次大小 batch_size 设置为 64，总的迭代周期 EPOCH 设置为 500，设定训练样本总数为 S，最大迭代次数 N 如下所示：

S41，输入设定尺寸的红外图像，经过归一化的处理之后，每个卷积层获得图像的分辨率保持不变；

S42，接着再利用三个卷积模块进一步提取深层特征，并将此时的输出与第一层卷积层提取到的特征相融合，从而有效保留浅层特征中的纹理信息，同时避免退化问题；

S43，接着在进行第五次卷积，继续对特征进行提取；

S44，最后进行三次卷积操作，并将此时的输出利用残差结构与第五层卷积层提取的特征进行融合，获得语义信息与细节信息丰富的特征图，作为最终的输出；

S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：

其中，m 表示批量大小，W 和 H 表示图像长和宽，f _ij表示参考红外图像坐标点（i，j）的像素值，f _ij' 表示预测的增强后的红外图像坐标点（i，j）的像素值；

S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；

S47，重复上述步骤，直至训练次数达到设定的最大迭次数 N 后停止训练；保存训练好的红外增强模型。

本发明的有益效果是：

1.基于深度神经网络的图像处理方法目前严重依赖于资源的可用性，采用两种方式采集与制作训练与测试数据，使依赖样本数量的深度神经网络模型充分发挥其性能；

2.基于深度卷积神经网络设计的全卷积神经网络，使得输入图像尺寸不受限制，可以适用于不同分辨率的红外热成像相机；

3.以相对轻量级和简约的结构紧凑地设计了网络，以产生高质量的输出，易于实现，节省了训练与推理时间，使之可以在较低的计算环境中作为实际使用；

4.模型通过引入残差结构，能够更好地拟合高质量低质量红外图像的映射关系，获得高质量红外图像。

附图说明

图 1 为：本发明提供的流程示意图。

图 2 为：本发明提供的红外增强网络结构图。

图 3 为：本发明提供的残差结构示意图。

图 4 为：本发明提供的卷积块示意图。

具体实施方式

下面结合本发明的附图 1-4，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图 1 所示，一种基于深度全卷积神经网络的红外图像增强方法，包括如下步骤：

S1，采集与制作红外高低增益图像对，获得丰富的训练样本集与测试集；

在具体实施时，使用两种方法获得红外高低增益图像对：

方法一：合成灰度红外图片，使用来自公共数据集的可见光图像，对这些图像进行灰度化处理以获得高增益灰度图片。灰度化的方法为：采用对比度因子范围为[0.5,0.51]的随机对比度函数对高增益灰度图片进行低对比度化，获得相应的低增益灰度图片；

方法二：使用伪彩色红外图片，使用带有高低增益模式的商业红外机芯相机，选择不同的场景分别采集高低增益红外图像对，所获得的红外图像对形成数据集；

合并两种方法获得的获得的图像对，并按照 8:2 比例将数据集划分为训练样本集与测试样本集。

S2，根据不同的获得方法，将S1中得到的训练样本集进行相应的数据预处理和数据增广；

步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且

使得图像长宽相等；

对于训练样本集，为减少计算机资源耗用，利用滑动窗口算法将训练样本集中的红外图像裁剪至窗口大小为 128×128，步长设置为40×40，使得红外图像尺寸固定为128×128。不仅可以减少后续模型的计算量进而减少模型训练阶段使用时间；并且可以丰富红外图像训练样本；对于测试样本集，将训练样本集中的红外图像裁剪至窗口大小为 256×256；

步骤二，采用图像翻转、图像对比度变换、图像尺度缩放等方式对切割后的图像进行数据增强。

S3，通过引入卷积块与残差结构构建红外图像增强网络；

S3中构建的红外图像增强网络包括如下：

如图 2 所示，图像特征提取部分利用 8 个卷积层进行红外图像特征提取，得到8 个特征图；第一个卷积层提取的浅层特征包含较多的细节，第八个卷积层提取的特征图包含较多的深层语义信息；其中所述的卷积层后面均使用 LeakyReLU 激活函数，negative_slope参数设置为0.01，LeakyReLU 激活函数的数学表达式如下：

LeakyReLU 激活函数具有简单计算较快的作用。接着利用残差结构，将第一层卷积的输出融合到第四层卷积层的输出中，再将第五层的卷积层的输出融合到第八层中，使得特征图含有丰富的细节信息以及语义信息；

如图 3 所示，S3 中的残差结构的数学表达式为：

其中，x和y分别表示输入和输出，f(x)表示特征提取层；随着网络层数的加深，目标函数越来越容易陷入局部最优解，同时，随着层数增加，梯度消失问题更加严重，使得原理输出层的网络参数得不到有效的学习。而残差结构是一种非常有效的缓解梯度消失问题的方法，极大的提高了可以有效训练的网络的深度。残差单元可以以跳层连接的形式实现，即将单元的输入直接与单元输出加在一起，然后再激活。因此，使用跳连接将红外图像增强模型的第一层卷积层提取的特征连接到第四层，将第五层卷积层提取的特征连接到第八层，以避免梯度消失和梯度爆炸，同时，使用残差结构可以减小训练复杂度，并有利于反向传播；

如图4所示，S3 中的卷积块的结构为：

对于第一层卷积层至第四层卷积层，设置卷积核的大小为7×7，步长设置为1，padding设置为3；

对于第五层卷积层，设置卷积核的大小为5×5，步长设置为1，padding设置为2；

对于第六层卷积层至第九层卷积层，设置卷积核的大小为3×3，步长设置为1，padding设置为3；

对于全部卷积块，padding都以0填充；

在第一层至第四层，设置卷积核的大小为7×7，以便扩大感受野，获取更多的信息；

步长设置为1，以便获得更高的提取精度；同时，为保证每个卷积层获得图像的分辨率保持不变，padding设置为3。在第五层至第九层，逐步降低卷积核的大小，为在充分融合低层特征同时，减少参数量。在卷积之前填充零，以保证所有特征映射的大小与输入映射的大小相同。

S4，将 S2 得到的训练样本集监督训练红外图像增强网络，获得红外图像增强模型；

S4 中的监督训练过程如下：

S41，输入设定尺寸的红外图像，经过归一化的处理之后，每个卷积层获得图像的分辨率保持不变；

S42，接着再利用三个卷积模块进一步提取深层特征，并将此时的输出与第一层卷积层提取到的特征相融合，从而有效保留浅层特征中的纹理信息，同时避免退化问题；

S43，接着在进行第五次卷积，继续对特征进行提取；

S44，最后进行三次卷积操作，并将此时的输出利用残差结构与第五层卷积层提取的特征进行融合，获得语义信息与细节信息丰富的特征图，作为最终的输出；

S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：

其中，m 表示批量大小，W 和 H 表示图像长和宽，f _ij表示参考红外图像坐标点（i，j）的像素值，f _ij' 表示预测的增强后的红外图像坐标点（i，j）的像素值；

S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；

S47，重复上述步骤，直至训练次数达到设定的最大迭次数 N 后停止训练；保存训练好的红外增强模型；

S4 中的训练过程的超参数设置如下：

（1）初始学习率 lr 为 1e-3，使用余弦退火衰减方式，学习率从1e-3下降到1e-9。余弦退火公式为：

其中，η _t 为当前周期的学习率，η _max 为最大学习率，η _min 为最小学习率，Tcur为当前迭代次数，Tmax为最大迭代次数；

（2）优化算法选择Adam梯度下降法，动量参数设置为0.9，损失函数使用均方损失。优化过程采用Adam梯度下降法和一般的反向传播方案，当训练进行时，同时测量PSNR（峰值信噪比），以检查模型训练的进展。Adam算法策略可以表示为：

其中，m_t和v_t分别为一阶动量和二阶动量项，β₁，β₂为动力值，大小为0.9和0.999，m_t ^{^}，v_t ^{^}分别为各自的修正值。W_t表示t时刻，即第t迭代模型的参数，g_t=△J(W_t)表示t次迭代代价函数关于W的梯度大小；ε是一个取值很小的数，一般为1e-8，用以避免分母为0；

（3）批次大小 batch_size 设置为 64，总的迭代周期 EPOCH 设置为 500，设定训练样本总数为 S，最大迭代次数 N 如下所示：

学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度。学习率越小，损失梯度下降的速度越慢，收敛的时间更长。如果学习率过小，梯度下降很慢，如果学习率过大，则可能会跨过最优值。训练过程中，选择合适的超参数会加快训练阶段，提高训练速度，以及提高模型性能。

S5，将低质量的红外测试图像输入至 S4 训练完成的红外图像增强模型，获得增强后的红外图像；

设计的模型图中卷积层与全连接层是有参数的，训练过程就是调整这些参数，以达到模型输出的图像接近真实的高质量图像。在训练过程中，通过计算预测的高质量图像和真实的高质量图像距离差（均方误差函数）可以观察到每一次迭代模型的好坏，损失越小，预测的越接近高质量图像。反向传播，利用损失误差链式求导求梯度，依次更新模型参数（模型参数指的是卷积层的卷积核参数）。一次迭代包括一次前向传播和一次反向传播；

将测试图像与增强后的图像进行对比，并使用图像增强领域常用指标峰值信噪比(PSNR)作为性能评价标准，PSNR的计算公式如下所示：

其中，I是分辨率为m×n的干净图像，K为同样大小的噪声图像，MSE为图像的误差。MAX2I为图片可能的最大像素值。

在同样的条件下，与其他图像增强方法的对比效果如表1所示：

表 1 与其他方法的对比

方法	HE	TEN	TIECNN	IE-GAN	本专利方法
						PSNR	13.75	20.15	20.18	15.85	25.56

可见，与直方图均衡化(HE)、TEN、TIECNN、IE-GAN等方法相比，本专利的方法指标更高，性能更佳，证明了本专利方法的有效性。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，包括如下步骤：

S1，采集与制作红外高低增益图像对，获得丰富的训练样本集与测试集；

S2，根据不同的获得方法，将S1中得到的训练样本集进行相应的数据预处理和数据增广；

S3，通过引入卷积块与残差结构构建红外图像增强网络；

S4，将S2中得到的训练样本集送入S3中设计的网络中进行训练，获得红外图像增强模型；

S5，将S1中得到的红外测试图像输入到S4训练完成的红外图像增强模型中，获得增强后的红外图像。

2.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S1中所述的采集与制作红外高低增益图像对的方法为：

方法一，合成灰度红外图片，使用来自公共数据集的可见光图像，对这些图像进行灰度化处理以获得高增益的灰度图片；

方法二，使用伪彩色红外图片，使用带有高低增益模式的商业红外机芯相机，选择不同的场景分别采集红外图像对，所有的红外图像对形成数据集。

3.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S2中所述的数据预处理与增强操作为：

S31，利用滑动窗口裁剪算法对原始图像对进行裁切，使得图像长宽相等，并扩充训练样本对；

S32，采用图像翻转、图像对比度变换、图像尺度缩放等方式，对训练样本进行数据增广。

4.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S3中所述构建的红外图像增强网络包括如下：

图像特征提取部分是利用8个卷积层进行红外图像特征的提取，得到8个特征图；其中所述的卷积层后面均使用 LeakyReLU激活函数，LeakyReLU激活函数的数学表达式如公式1所示：

接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；在8个卷积层中使用两次跳连接以充分融合各层特征；

最后利用1个卷积层输出结果，所述的卷积层后面同样使用 LeakyReLU激活函数。

5.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S3中所述的卷积块结构为：

对于第一层卷积层至第四层卷积层，设置卷积核的大小为7×7，步长设置为1，padding设置为3；

对于第五层卷积层，设置卷积核的大小为5×5，步长设置为1，padding设置为2；

对于第六层卷积层至第九层卷积层，设置卷积核的大小为3×3，步长设置为1，padding设置为3；

对于全部卷积块，padding都以0填充。

6.根据权利要求 1 所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S3中所述的残差结构的数学表达式如公式2所示：

其中，x和y分别表示输入和输出，f(x)表示特征提取层。使用跳连接将红外图像增强模型的第一层卷积层提取的特征连接到第四层，将第五层卷积层提取的特征连接到第八层，以避免梯度消失和梯度爆炸，同时，使用残差结构可以减小训练复杂度，并有利于反向传播。

7.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S4 中所述的训练过程的超参数设置如下：

（1）初始学习率 lr为 1e-3，使用余弦退火衰减方式，学习率从1e-3下降到1e-9。余弦退火公式如公式3所示：

其中，η _t 为当前学习率，η _max 为最大学习率，η _min 为最小学习率，Tcur为当前迭代次数，Tmax为最大迭代次数；

（2）优化算法选择Adam梯度下降法，动量参数设置为0.9，损失函数使用均方损失。优化过程采用Adam梯度下降法和一般的反向传播方案，当训练进行时，同时测量PSNR（峰值信噪比），以检查模型训练的进展。Adam算法策略可以表示为公式4：

其中，m _t 和v _t 分别为一阶动量和二阶动量项，β ₁ ，β ₂ 为动力值，大小为0.9和0.999，m_t ^{^}，v_t ^{^}分别为各自的修正值。W _t 表示t时刻，即第t迭代模型的参数，g _t =△J(W _t )表示t次迭代代价函数关于W的梯度大小；ε是一个取值很小的数，一般为1e-8，用以避免分母为0；

（3）批次大小 batch_size 设置为 64，总的迭代周期 EPOCH 设置为 500，设定训练样本总数为 S，最大迭代次数 N 如公式5所示：

。

8.根据权利要求1所述的一种基于深度全卷积神经网络的红外图像增强方法，其特征在于，S4 中所述的监督训练过程如下：

S41，输入设定尺寸的红外图像，经过归一化的处理之后，每个卷积层获得图像的分辨率保持不变；

S42，接着再利用三个卷积模块进一步提取深层特征，并将此时的输出与第一层卷积层提取到的特征相融合，从而有效保留浅层特征中的纹理信息，同时避免退化问题；

S43，接着在进行第五次卷积，继续对特征进行提取；

S44，最后进行三次卷积操作，并将此时的输出利用残差结构与第五层卷积层提取的特征进行融合，获得语义信息与细节信息丰富的特征图，作为最终的输出；

S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式如公式6所示：

其中，m 表示批量大小，W 和 H 表示图像长和宽，f _ij表示参考红外图像坐标点（i，j）的像素值，f _ij' 表示预测的增强后的红外图像坐标点（i，j）的像素值；

S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；

S47，重复上述步骤，直至训练次数达到设定的最大迭次数 N 后停止训练；保存训练好的红外增强模型。