CN109544487A - 一种基于卷积神经网络的红外图像增强方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的红外图像增强方法，包括：构建图像增强模块；通过图像增强模块构建图像增强卷积神经网络；对原始图像集进行处理，得到红外图像训练集；利用红外图像训练集对图像增强卷积神经网络进行训练，得到训练后的图像增强卷积神经网络；将原始红外图像输入训练后的图像增强卷积神经网络，得到增强后的红外图像。本发明提供的一种基于卷积神经网络的红外图像增强方法采用端到端的方法直接生成增强图像，避免了传统方法不同图像需要不断调参的麻烦，在增强红外图像的同时也抑制了噪声，得到了较好的结果，同时还采用了S‑模型来构造红外图像训练集，解决了神经网络训练中红外数据集少以及图像不清晰的问题。

Description

一种基于卷积神经网络的红外图像增强方法

技术领域

本发明属于数字图像处理领域，具体涉及一种基于卷积神经网络的红外图像增强方法。

背景技术

数字图像受拍摄采集时的环境影响，会产生过暗或过亮的情况，从而使图像出现较差的视觉效果。特别是在红外成像系统中，由于探测器的制作工艺及采集环境的影响，得到的图像往往模糊，对比度不高，被检测目标细节不明确。因此，需要采用图像增强方法进行处理。

目前，传统的图像增强算法分为频域法和空域法，其中典型的有直方图均衡，灰度变换等。直方图均衡是将原始直方图变换为分布均匀的直方图，从而扩展灰度范围，但会使灰度级过多减少，不适用于局部亮度特征，同时，噪声也得到了强化，增强效果不尽人意。2017年，Li Tao等人将卷积神经网络引入到图像增强中，提出了一种基于卷积神经网络的低照度图像增强(LLCNN)，取得了一定的效果，但Li Tao等人提出的方法采用伽马校正产生训练集，灰度值主要集中在低值范围，与实际红外图像分布不符；另外Li Tao等人提出的网络结构不能完全提取红外图像中的特征信息，尤其是图像细节得不到增强，直方图扩展不明显，也没有处理增强过程中的噪声问题，不适合用来对红外图像进行增强。综上所述，寻找一种更符合红外图像的生成模型和增强模型是很有必要的。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于卷积神经网络的红外图像增强方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于卷积神经网络的红外图像增强方法，包括：

构建图像增强模块；

通过所述图像增强模块构建图像增强卷积神经网络；

对原始图像集进行处理，得到红外图像训练集；

利用所述红外图像训练集对所述图像增强卷积神经网络进行训练，得到训练后的图像增强卷积神经网络；

将原始红外图像输入所述训练后的图像增强卷积神经网络，得到增强后的红外图像

在本发明的一个实施例中，所述图像增强模块包括：图像增强单元、拼接层和融合层；其中，

所述图像增强单元用于对输入的特征图进行特征提取，得到多个特征图像，其中，所述多个特征图像包括第一特征图、第二特征图和第三特征图；

所述拼接层的输入连接所述图像增强单元的输出，用于对所述多个特征图进行拼接处理，得到拼接图像；

所述融合层的输入连接所述拼接层的输出，用于对所述拼接图像进行融合，得到融合图像。

在本发明的一个实施例中，所述图像增强单元包括：第一分支、第二分支和第三分支；其中，

所述第一分支、所述第二分支和所述第三分支并行连接；

所述第一分支用于对输入特征图进行特征提取，得到所述第一特征图像；

所述第二分支用于对输入特征图进行特征提取，得到所述第二特征图像；

所述第三分支用于对输入特征图进行特征提取，得到所述第三特征图像。

在本发明的一个实施例中，所述第一分支包括第一卷积层和第一激活层；其中，所述第一卷积层与所述第一激活层依次连接；

所述第二分支包括第二卷积层、第二激活层、第三卷积层和第三激活层；其中，所述第二卷积层、所述第二激活层、所述第三卷积层和所述第三激活层依次连接；

所述第三分支包括第四卷积层、第四激活层、第五卷积层和第五激活层；其中，所述第四卷积层、所述第四激活层、所述第五卷积层和所述第五激活层依次连接。

在本发明的一个实施例中，所述融合层包括：第六卷积层和第六激活层；其中，

所述第六卷积层用于融合所述拼接图像中的相同特征，得到预融合图像；

所述第六激活层输入连接所述第六卷积层输出，用于增加所述预融合图像的稀疏性。

在本发明的一个实施例中，其特征在于，通过所述图像增强模块构建图像增强卷积神经网络，包括：

通过多个所述图像增强模块构建图像增强子网络；

通过所述图像增强子网络构建所述图像增强卷积神经网络。

在本发明的一个实施例中，所述图像增强卷积神经网络包括：输入卷积层、输入激活层、所述图像增强子网络和输出卷积层；其中，所述输入卷积层、所述输入激活层、所述图像增强子网络和所述输出卷积层依次连接。

在本发明的一个实施例中，对原始图像集进行处理，得到红外图像训练集，包括：

对所述原始图像集进行处理，得到预处理图像集；

利用S-模型对所述预处理图像集进行处理，得到红外图像训练集。

在本发明的一个实施例中，所述S-模型计算公式为：

其中，x为所述预处理图像集的灰度值，y为生成的所述红外图像训练集的灰度值，alpha为所述预处理图像集灰度值的最大值，A压缩率参数，B灰度值参数，yita为调节因子。

与现有技术相比，本发明的有益效果：

(1)本发明提供的一种基于卷积神经网络的红外图像增强方法采用了端到端卷积神经网络直接生成增强图像，避免了不同图像需要不断调参的麻烦，增强了图像细节，同时解决了在图像增强时噪声也增强的问题；

(2)本发明提供的一种基于卷积神经网络的红外图像增强方法采用S-模型模拟生成红外图像训练集，使训练集更加接近真实红外图像，解决了采用神经网络训练数据少、图像不清晰的难题。

附图说明

图1为本发明提供的一种基于卷积神经网络的红外图像增强方法的流程示意图；

图2为本发明提供的一种基于卷积神经网络的红外图像增强方法的图像增强模块结构示意图；

图3为本发明提供的图像增强模块具体结构示意图；

图4为本发明提供的图像增强卷积神经子网络结构示意图；

图5为本发明提供的图像增强卷积神经网络结构示意图；

图6为本发明提供的S-模型示意图；

图7为本发明提供的原始红外图像；

图8为原始红外图像的直方图；

图9为通过本发明提供的红外图像增强方法增强后的红外图像；

图10为通过本发明提供的红外图像增强方法增强后的红外图像的直方图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1至图5，图1为本发明提供的一种基于卷积神经网络的红外图像增强方法的流程示意图；图2为本发明提供的一种基于卷积神经网络的红外图像增强方法的图像增强模块结构示意图；图3为本发明提供的图像增强模块具体结构示意图；图4为本发明提供的图像增强卷积神经子网络结构示意图；图5为本发明提供的图像增强卷积神经网络结构示意图；图6为本发明提供的S-模型示意图。

如图1所示，一种基于卷积神经网络的红外图像增强方法，包括：

构建图像增强模块；

通过所述图像增强模块构建图像增强卷积神经网络；

对原始图像集进行处理，得到红外图像训练集；

利用所述红外图像训练集对所述图像增强卷积神经网络进行训练，得到训练后的图像增强卷积神经网络；

将原始红外图像输入所述训练后的图像增强卷积神经网络，得到增强后的红外图像

进一步地，如图2所示，所述图像增强模块包括：图像增强单元、拼接层和融合层；其中，

所述图像增强单元用于对输入的特征图进行特征提取，得到多个特征图像，其中，所述多个特征图像包括第一特征图、第二特征图和第三特征图；

所述拼接层的输入连接所述图像增强单元的输出，用于对所述多个特征图进行拼接处理，得到拼接图像；

所述融合层的输入连接所述拼接层的输出，用于对所述拼接图像进行融合，得到融合图像。

进一步地，如图3所示，所述图像增强单元包括：第一分支、第二分支和第三分支；其中，

所述第一分支、所述第二分支和所述第三分支并行连接；

所述第一分支用于对输入特征图进行特征提取，得到所述第一特征图像；

所述第二分支用于对输入特征图进行特征提取，得到所述第二特征图像；

所述第三分支用于对输入特征图进行特征提取，得到所述第三特征图像。

进一步地，所述第一分支包括第一卷积层和第一激活层；其中，所述第一卷积层与所述第一激活层依次连接；

所述第二分支包括第二卷积层、第二激活层、第三卷积层和第三激活层；其中，所述第二卷积层、所述第二激活层、所述第三卷积层和所述第三激活层依次连接；

所述第三分支包括第四卷积层、第四激活层、第五卷积层和第五激活层；其中，所述第四卷积层、所述第四激活层、所述第五卷积层和所述第五激活层依次连接。

具体地，如图第一分支由第一卷积层和第一激活层依次连接而成，第一卷积层的卷积核大小为1*1，输出通道为64，第一卷积层的表达式为：

Y_11＝K_11*X+B_11

其中，X为输入该卷积层的输入图像，设h*w*c为该输入图像大小，则h、w分别为该输入图像的高和宽，c是输入图像的通道数；Y_11是第一卷积层的输出图像，大小为h*w*64，K_11为第一卷积层的卷积核，其大小为1*1*c*64；B_11是偏置，是一个64*1的列向量。

优选地，第一激活层为修正线性单元激活层，即ReLU(Rectified Linear Unit，简称ReLU)激活层，第一激活层用于增加第一卷积层输出结果的稀疏性，可以去除第一卷积层输出结果的冗余数据，最大可能保留输出结果的特征，第一激活层的表达式为：

Y_12＝max(0，Y_11)

其中，max表示取最大值，Y_11是第一激活层的输入图像，即第一卷积层输出图像为第一激活层的输入图像；Y_12为第一激活层的输出图像，也是第一分支的输出图像，即第一特征图像。

具体地，第二分支由第二卷积层、第二激活层、第三卷积层、第三激活层依次连接而成。第二卷积层的卷积核大小为1*1，输出通道为96，第二卷积层的表达式为：

Y_21＝K_21*X+B_21

其中，X为输入该卷积层的输入图像，设h*w*c为该输入图像大小，则h、w分别为该输入图像的高和宽，c是输入图像的通道数；Y_21为第二卷积层的输出图像，其大小为h*w*96；K_21为第二卷积层的卷积核，其大小为1*1*c*96，B_21是偏置，是一个96*1的列向量。

优选地，第二激活层为ReLU激活层，其表达式为：

Y_22＝max(0，Y_21)

其中，max表示取最大值，Y_22为第二激活层的输出图像；Y_21是第二激活层的输入图像，即第二卷积层输出图像为第二激活层的输入图像。

具体地，第三卷积层的卷积核大小为3*3，输出通道为128，第三卷积层的表达式为：

Y_23＝K_23*Y_22+B_23

其中，Y_22是第三卷积层的输入图像，即第二激活层的输出图像为第三卷积层的输入图像，其大小为h*w*96，h，w分别为该输入图像的高和宽；Y_23是第三卷积层的输出图像，其大小为h*w*128；K_23为第三卷积层的卷积核，其大小为3*3*96*128；B_23是偏置，是一个128*1的列向量。

优选地，第三激活层为ReLU激活层，其表达式为：

Y_24＝max(0，Y_23)

其中，max表示取最大值，Y_23是第三激活层的输入图像，即第三卷积层的输出图像；Y_24为第三激活层的输出图像，是第二分支的输出图像，即为第二特征图像。

具体地，第三分支由第四卷积层、第四激活层、第五卷积层、第五激活层依次连接而成。第四卷积层的卷积核大小为1*1，输出通道为16，第四卷积层的表达式为：

Y_31＝K_31*X+B_31

其中，X为输入该卷积层的输入图像，设h*w*c为该输入图像大小，则h、w分别为该输入图像的高和宽，c是输入图像的通道数；Y_31是第四卷积层的输出图像，其大小为h*w*16，K_31为第四卷积层的卷积核，其大小为1*1*c*16；B_31为偏置，是一个16*1的列向量。

优选地，第四激活层为ReLU激活层，其表达式为：

Y_32＝max(0，Y_31)

其中，max表示取最大值，Y_32为第四激活层的输出图像，Y_31是第四激活层的输入图像，即第四卷积层的输出图像。

具体地，第五卷积层的卷积核大小为3*3，输出通道为32，第五卷积层的表达式为：

Y_33＝K_33*Y_32+B_33

其中，Y_32为第五卷积层的输入图像，即第四激活层的输出图像，其大小为h*w*16，则h、w分别是输入图像的高和宽，Y_33是第五卷积层的输出图像，其大小为h*w*32，K_33为第五卷积层的卷积核，其大小为3*3*16*32；B_33为偏置，是一个32*1的列向量。

优选地，第五激活层为ReLU激活层，其表达式为：

Y_34＝max(0，Y_33)

其中，max表示取最大值，Y_33为第五激活层的输入图像，即第五卷积层的输出图像。Y_34为第五激活层的输出图像，也是第三分支的输出图像，即为第三特征图像。

具体地，拼接层由第一分支、第二分支、第三分支的输出图像依次按通道拼接而成，表达式为：

Y_con＝concate(Y_12，Y_24，Y_34)

其中，Y_12，Y_24，Y_34分别是第一特征图、第二特征图、第三特征图，其大小分别为h*w*64，h*w*128，h*w*32；Y_con是拼接层的输出图像，即拼接图像，其大小为h*w*224。

进一步地，所述融合层包括：第六卷积层和第六激活层；其中，

所述第六卷积层用于融合所述拼接图像中的相同特征，得到预融合图像；

所述第六激活层输入连接所述第六卷积层输出，用于增加所述预融合图像的稀疏性。

具体地，融合层由第六卷积层和第六激活层依次连接而成。第六卷积层的卷积核大小为1*1，输出通道为64，第六卷积层的表达式为：

Y_rh_1＝K_rh*Y_con+B_r

其中，Y_con是第六卷积层的输入图像，即融合图像，其大小为h*w*224；K_rh为第六卷积层的卷积核，其大小为1*1*224*64；B_r为偏置，是一个64*1的列向量；Y_rh_1是第六卷积层的输出图像，即预融合图像，其大小为h*w*64。第六卷积层用于融合拼接图像中相同的特征，得到预融合图像。

优选地，第六激活层为ReLU激活层。其表达式为：

Y_rh_2＝max(0，Y_rh_1)

其中，Y_rh_1是第六激活层的输入图像，即预融合图像；Y_rh_2是第六激活层的输出，也是整个图像增强模块的输出，即融合图像，其大小为h*w*64。

进一步地，其特征在于，通过所述图像增强模块构建图像增强卷积神经网络，包括：

通过多个所述图像增强模块构建图像增强子网络；

通过所述图像增强子网络构建所述图像增强卷积神经网络。

具体地，如图4所示，构建M个(多个)图像增强模块，即分别构建图像增强模块1、图像增强模块2……图像增强模块M；并将M个图像增强模块依次连接，构成了图像增强子网络，其中，M为大于等于2的整数。优选地，在本实施例中M＝4个。

进一步地，如图5所示，构建图像增强卷积神经网络包括，分别构建输入卷积层、输入激活层、图像增强子网络和输出卷积层；将输入卷积层、输入激活层、图像增强子网络和输出卷积层依次连接，从而构建图像增强卷积神经网络。

具体地，输入卷积层由一层卷积层构成，该卷积层的卷积核大小为3*3，输出通道为64，输入卷积层的表达式为：

Y_1＝K_1*X_1+B_1

其中，X_1为该卷积层的输入图像，设其大小为h*w*c，则h、w分别是输入图像的高和宽，c是输入图像的通道数；Y_1是输入卷积层的输出图像，大小为h*w*64，K_1是大小为3*3*c*64的卷积核，B_1是偏置，是一个64*1的列向量。

具体地，输入激活层由ReLU激活层构成，输入激活层的表达式为：

Y_2＝max(0，Y_1)

其中，max表示取最大值，Y_2为输入激活层的输出图像，Y_1是输入激活层的输入图像，即输入卷积层的输出图像。

具体地，通过4个图像增强模块构建图像增强子网络，即构建图像增强模块1、图像增强模块2、图像增强模块3、图像增强模块4。并依次连接。因此，图像增强模块1的输入图像Y_2的尺寸为h*w*64，经过4个图像增强模块后，图像增强子网络的输出图像(T)的尺寸为h*w*64。

具体地，输出卷积层由一层卷积层构成。卷积层的卷积核大小为3*3，输出通道为c，输出卷积层的表达式为：

Y＝K*T+B

其中，T是输出卷积层的输入图像，即图像增强子网络的输出图像，其大小为h*w*64，h，w分别是输入图像的高和宽，Y是输出卷积层的输出图像，其大小为h*w*c，c是输入图像的通道数，K该卷积层的卷积核，其大小为3*3*64*c，B是偏置，是一个c*1的列向量。

进一步地，对原始图像集进行处理，得到红外图像训练集，包括：

对所述原始图像集进行处理，得到预处理图像集；

利用S-模型对所述预处理图像集进行处理，得到红外图像训练集。

进一步地，如图6所示，本发明实施例提供了S模型，所述S模型计算公式为：

其中，x为所述预处理图像集的灰度值，y为生成的所述红外图像训练集的灰度值，alpha为所述预处理图像集灰度值的最大值，A压缩率参数，B灰度值参数，yita为调节因子。

优选地，从IRay官网上下载3个高清红外序列作为原始图像集。然后截取原始图像集中的图像帧，去除背景重复度高的图像，得到50张高清红外图像，再选取400张高清可见光图像，作为初始图像集。

然后，对初始图像集进行随机旋转、裁剪、缩放、加噪声，得到预处理图像集。

具体地，采用循环切的方法，步长选取为16，截取图像区域大小为160*160的区域，并缩放到41*41大小，得到一系列图像小块。给每个图像小块随机添加均值为0，方差为25左右的高斯噪声，生成带噪的图像小块，得到预处理图像集。

最后，利用S-模型对预处理图像集进行处理，得到红外图像训练集，即对预处理图像集中的每个图像小块进行变化，得到每个图像小块对应的红外图像灰度值，利用每个图像小块对应的红外图像灰度值替换原有的灰度值，从而得到红外图像训练集。

具体地，S-模型计算公式为：

其中，x是输入图像的灰度值，即输入的带噪图像小块的灰度值；y是输出图像的灰度值，即红外图像灰度值；alpha是固定值，其大小为输入的图像灰度的最大值；优选地，输入图像采用uint8格式，因此，alpha＝255；A、B、yita为模型参数，A主要控制输入图像的压缩率参数，大小在0.007-0.015之间，A增大，模型压缩率减小，A减小，模型压缩率增大；B主要控制构造红外图像的灰度值大小的灰度值参数，范围在20-150之间，随着B的增加，生成的红外图像灰度值减小，并且B增大，输入图像灰度值大的压缩严重，B减小，输入图像灰度值小的压缩严重；yita为调节因子，动态调节生成红外训练图像的灰度值，主要影响红外图像最大值，范围为0.3-0.5。

利用所述红外图像训练集对所述图像增强卷积神经网络进行训练，得到训练后的图像增强卷积神经网络，具体为：

采用结构相似度(structural similarity index)作为损失函数；其中，结构相似度从图像亮度、对比度和结构三个不同方面来对图像信息进行描述。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量，其公式如下：

SSIM(X，Y)＝L(X，Y)*C(X，Y)*S(X，Y)

其中，

SSIM(X，Y)为图像X和Y的相似度；L(X,Y)为图像X和Y的亮度比较函数，C(X,Y)为图像X和Y的对比度比较函数，S(X,Y)为图像X和Y的结构比较函数；u_x、u_y分别表示图像X和Y的均值，σ_x、σ_y分别表示图像X和Y的标准差，分别表示图像X和Y的方差。σ_xy代表图像X和Y协方差。C₁、C₂和C₃为常数，是为了避免分母为0的小数。通常取C₁＝(K₁*L)²，C₂＝(K₂*L)²，C₃＝C₂/2。优选地，K₁＝0.01，K₂＝0.03，L＝255。因此，结构相似度可以简化为：

具体地，使用随机梯度下降(stochastic gradient descent，简称：SGD)优化器对卷积神经网络进行训练，其中，批尺寸(batch size)设置为80，动量设置为0.9，学习率设为0.01，每隔50个回合学习率下降到当前学习率的10％，一共训练200个回合。

将原始红外图像输入所述训练后的图像增强卷积神经网络，得到增强后的红外图像，具体为：

具体地，首先获取原始红外图像信息，并进行判断，如果原始红外图像是一个三维图像，需要对该图像矩阵进行一次扩维操作，得到4维图像矩阵；如果原始红外图像是一个二维图像，需要对该图像矩阵进行两次扩维，得到4维图像矩阵。

在将原始红外图像处理为4维图像矩阵后，将该4维图像矩阵输入至训练后的图像增强卷积神经网络中进行处理，得到增强后的4维图像矩阵，然后将该增强后的4维图像矩阵缩减到和原始红外图像相同的维度，得到增强后的红外图像。

本发明提供的一种基于卷积神经网络的红外图像增强方法采用端到端的方法直接生成增强图像，避免了传统方法不同图像需要不断调参的麻烦，增强了图像细节，并且在增强红外图像的同时也抑制了噪声，得到了较好的结果，同时还采用了S-模型来构造红外图像训练集，解决了神经网络训练中红外数据集少以及图像不清晰的问题。

本发明的效果可以通过以下仿真实验进一步说明。

仿真实验1、分别采用直方图均衡化、灰度变换法、基于卷积神经网络的低照度图像增强方法(LLCNN)和本实施例提供的一种基于卷积神经网络的红外图像增强方法进行实验，并用基于信息熵的评价标准(EME)来进行定量比较，实验结果见表1。

表1 EME对比表

	原图	直方图均衡	LLCNN	本发明方法
					EME	6.58	38.0	46.1	85.3

由表1可见：本发明提出的一种基于卷积神经网络的红外图像增强方法相较于直方图均衡化、灰度变换法和LLCNN方法，对图像进行增强后，得到的EME值更大，说明图像增强后对比度更大，图像灰度分布更合理。

仿真实验2、如图7至图10所示，图7为本发明提供的原始红外图像；图8为原始红外图像的直方图；图9为通过本发明提供的红外图像增强方法增强后的红外图像；图10为通过本发明提供的红外图像增强方法增强后的红外图像的直方图。

如图7和图9所示，通过这两幅图的比较，可以看出，经过本发明提供的红外图像增强方法处理后，红外图像对比度更好，目标更加清晰，图像细节更加丰富，更符合人眼观察，同时，图像噪声也得到了一定的抑制。

如图8和图10所示，通过这两幅图的比较，可以看出，经过本发明提供的红外图像增强方法处理后，图像直方图分布更加平均，峰值由最初的820降到470，像素主要分布值由最初的50-140扩展到0-250，并且红外图像中热源信息大多在255，热源目标更加明显。综上所述，本发明提出的一种基于卷积神经网络的红外图像增强方法能够在红外图像增强方面有更好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于卷积神经网络的红外图像增强方法，其特征在于，包括：

构建图像增强模块；

通过所述图像增强模块构建图像增强卷积神经网络；

对原始图像集进行处理，得到红外图像训练集；

利用所述红外图像训练集对所述图像增强卷积神经网络进行训练，得到训练后的图像增强卷积神经网络；

将原始红外图像输入所述训练后的图像增强卷积神经网络，得到增强后的红外图像。

2.根据权利要求1所述的红外图像增强方法，其特征在于，所述图像增强模块包括：图像增强单元、拼接层和融合层；其中，

所述图像增强单元用于对输入的特征图进行特征提取，得到多个特征图像，其中，所述多个特征图像包括第一特征图、第二特征图和第三特征图；

所述拼接层的输入连接所述图像增强单元的输出，用于对所述多个特征图进行拼接处理，得到拼接图像；

所述融合层的输入连接所述拼接层的输出，用于对所述拼接图像进行融合，得到融合图像。

3.根据权利要求2所述的红外图像增强方法，其特征在于，所述图像增强单元包括：第一分支、第二分支和第三分支；其中，

所述第一分支、所述第二分支和所述第三分支并行连接；

所述第一分支用于对输入特征图进行特征提取，得到所述第一特征图像；

所述第二分支用于对输入特征图进行特征提取，得到所述第二特征图像；

所述第三分支用于对输入特征图进行特征提取，得到所述第三特征图像。

4.根据权利要求3所述的红外图像增强方法，其特征在于，所述第一分支包括第一卷积层和第一激活层；其中，所述第一卷积层与所述第一激活层依次连接；

所述第二分支包括第二卷积层、第二激活层、第三卷积层和第三激活层；其中，所述第二卷积层、所述第二激活层、所述第三卷积层和所述第三激活层依次连接；

所述第三分支包括第四卷积层、第四激活层、第五卷积层和第五激活层；其中，所述第四卷积层、所述第四激活层、所述第五卷积层和所述第五激活层依次连接。

5.根据权利要求2所述的红外图像增强方法，其特征在于，所述融合层包括：第六卷积层和第六激活层；其中，

所述第六卷积层用于融合所述拼接图像中的相同特征，得到预融合图像；

所述第六激活层输入连接所述第六卷积层输出，用于增加所述预融合图像的稀疏性。

6.根据权利要求1至5任一项所述的红外图像增强方法，其特征在于，通过所述图像增强模块构建图像增强卷积神经网络，包括：

通过多个所述图像增强模块构建图像增强子网络；

通过所述图像增强子网络构建所述图像增强卷积神经网络。

7.根据权利要求6所述的红外图像增强方法，其特征在于，所述图像增强卷积神经网络包括：输入卷积层、输入激活层、所述图像增强子网络和输出卷积层；其中，所述输入卷积层、所述输入激活层、所述图像增强子网络和所述输出卷积层依次连接。

8.根据权利要求1所述的红外图像增强方法，其特征在于，对原始图像集进行处理，得到红外图像训练集，包括：

对所述原始图像集进行处理，得到预处理图像集；

利用S-模型对所述预处理图像集进行处理，得到红外图像训练集。

9.根据权利要求8所述的红外图像增强方法，其特征在于，所述S-模型计算公式为：

其中，x为所述预处理图像集的灰度值，y为生成的所述红外图像训练集的灰度值，alpha为所述预处理图像集灰度值的最大值，A压缩率参数，B灰度值参数，yita为调节因子。