CN109614996B - 基于生成对抗网络的弱可见光与红外图像融合的识别方法 - Google Patents

基于生成对抗网络的弱可见光与红外图像融合的识别方法 Download PDF

Info

Publication number
CN109614996B
CN109614996B CN201811432339.3A CN201811432339A CN109614996B CN 109614996 B CN109614996 B CN 109614996B CN 201811432339 A CN201811432339 A CN 201811432339A CN 109614996 B CN109614996 B CN 109614996B
Authority
CN
China
Prior art keywords
image
visible light
network
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811432339.3A
Other languages
English (en)
Other versions
CN109614996A (zh
Inventor
江泽涛
覃露露
江婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201811432339.3A priority Critical patent/CN109614996B/zh
Publication of CN109614996A publication Critical patent/CN109614996A/zh
Application granted granted Critical
Publication of CN109614996B publication Critical patent/CN109614996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本发明公开了一种基于生成对抗网络的弱可见光与红外图像融合的识别方法，涉及图像识别技术领域，解决的技术问题是弱可见光与红外图像融合识别过程中，可见光图像成像模糊不清，成像过暗而丢失细节，融合效果不佳。该方法先利用生成对抗网络对弱可见光图像进行照度优化，然后将照度优化的可见光图像和红外图像进行图像级融合，最后将得到的融合图像输入修改得到的神经网络进行特征提取和分类识别的图像识别，本发明可有效解决弱可见光与红外图像融合识别过程中，可见光图像成像模糊不清，成像过暗而丢失细节，融合效果不佳问题，并得到更佳的识别效果。

Description

基于生成对抗网络的弱可见光与红外图像融合的识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于生成对抗网络的弱可见光与红外图像融合的识别方法。
背景技术
现有技术的图像识别方法，普遍存在针对弱光场景下获取的可见光图像照度偏小、成像偏暗、弱光图像无法获取目标等问题。
红外图像与彩色图像相比，既拥有彩色图像的鲁棒性特点又有着比彩色图像更好的灰度对比度信息。为了能够更加有效地利用红外图像中的场景信息，许多学者采用融合可见光和红外图像的识别方法，借鉴了图像伪彩色处理的原理，选用HSV颜色空间进行图像融合，通过将红外图像替换可见光图像中表示亮度的通道便可以得到信息更加丰富的彩色图像，但是这些方法基本都将研究重点放在图像的融合方法上，当可见光图像在弱光环境下采集时，将会出现可见光图像成像模糊不清，成像过暗而丢失细节等问题，在这种情况下直接采用显存的可见光和红外图像融合识别的方法将会出现融合效果不佳的情况。
生成对抗网络(Generative Adversarial Nets，GAN)，最早在2014年由IanGoodfellow引入深度学习领域。GAN是一个概率生成模型，一般包括一个成器G网络模型和一个判别器D网络模型，创新性地使用对抗训练机制对两个神经网络进行训练，并使用随机梯度下降法(Stochastic Gradient Descent，SGD)实现参数的优化。GAN在计算机视觉领域具有突出的表现，例如图像翻译、图像超分辨率、图像修复等。
卷积神经网络(Convolutional Neural Networks,CNN)是以人工神经网络为基础，并结合深度学习理论而提出的一种识别算法。卷积神经网络可以提取高层特征，提高特征的表达能力。
在此理论基础上，提出一种融合效果更好的弱可见光与红外图像融合识别方法很有必要。
发明内容
针对现有技术的不足，本发明所解决的技术问题是弱可见光与红外图像融合识别过程中，可见光图像成像模糊不清，成像过暗而丢失细节，融合效果不佳。
为解决上述技术问题，本发明采用的技术方案是一种基于生成对抗网络的弱可见光与红外图像融合的识别方法，先利用生成对抗网络对弱可见光图像进行照度优化，然后将照度优化的可见光图像和红外图像进行图像级融合，最后将得到的融合图像输入修改得到的神经网络进行特征提取和分类识别，包括如下步骤：
(一)建立数据源，建立来源图像，包括：正常日光照度的可见光图像(Nor-vis)、同时在弱光环境下获取的弱可见光图像(Dim-vis)以及红外图像(Dim-nir)，对上述三种来源的图像进行尺寸归一化数据处理，将所有的图像大小固定为W×H像素值，将归一化的图像数据构造成一个Dim-nir-nor-Data数据集，按照生成对抗网络GAN阶段和卷积神经网络CNN阶段，分为两个子数据集；数据集的分组情况如下表所示：
Figure GDA0003533958910000031
所述弱可见光图像(Dim-vis)、红外图像(Dim-nir)，属于同源不同模态的图像对，每一类场景每种类型图像对数不少于40对；
所述正常照度的可见光图像(Nor-vis)，与所述弱可见光、红外图像对相同场景或相似场景，是在照度较高的正常日光照度下进行采集的，图像照度比所述弱可见光图像照度要高，图像更加清晰。
(二)生成对抗网络GAN的训练，包括以下分步骤：
(1)建立生成器G网络模型，参照残差网络进行设计，其输入为弱可见光图像(Dim-vis)，输出为照度优化后的弱可见光图像(Gen-vis)，生成器G网络模型架构采用含五个残差块的残差神经网络模式，具体模型建立过程如下：
1)一个卷积单元A，包含一个卷积核和一个激活层，卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；
2)五个残差块，每个残差块中层次顺序为：卷积层-批量归一化层-激活层-卷积层-批量归一化层-元素求和层，其中两个卷积层均设置为3x3内核和64个特征映射；
3)接一个卷积单元B，包含一个卷积层，一个批量归一化层和一个元素求和层；这个卷积单元B也是作为跳跃链接的最后一个跳跃接入点，卷积层设置为3x3卷积内核和64个特征映射，步长为1；
4)二个卷积单元C，卷积单元C包含一个卷积层，两个像素重组层再加一个激活层；卷积层为像素重组层的作用就是通过重组像素将卷积结果重组成图像信息；
5)一个单独的卷积层，卷积层参数：卷积核9x9，3个特征映射，步长为1，卷积的结果将得到最后的照度优化的可见光图像(Gen-vis)。
(2)建立判别器D网络模型，参照VGGNet的网络结构进行设计，输入为正常照度的可见光图像(Nor-vis)或照度优化后的弱可见光图像(Gen-vis)，输入数据随机从以上两个数据源获取，总输入数据比例为1:1；输出为概率D(x)，表示输入图像为真实图像的概率；判别器D网络模型架构为：激活层使用的激活函数均为LeakyReLU函数(α＝0.2)，具体模型建立过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1，激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，激活函数采用LeakyReLU函数；
3)一个全连接单元C，全连接单元C由一个全连接层和一个激活层构成；该全连接层设置有1024个特征映射，相当于该层的神经元数为1024，该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为Sigmoid函数的激活层构成；Sigmoid激活层输出结果即为输入图像的判定概率D(x)；
如果判别器D网络模型输入的是真图像(Nor-vis，正常照度的可见光图像)，输出结果就越接近1；而输入的是假图像(Gen-vis，照度优化后的弱可见光图像)，则输出结果越接近0；
(3)对损失函数进行优化，包括均方误差MSE损失函数、对抗性损失函数、感知损失函数三个损失函数的优化；
所述均方误差MSE损失函数作为内容损失(content loss)函数是应用最为广泛的损失函数，是预测值与目标值之间差值取平方和的均值，其公式为：
Figure GDA0003533958910000051
其中n为统计的数据量总数，yi、
Figure GDA0003533958910000052
表示真实值和输出的预测值；
在本发明中所述均方误差MSE损失函数为：
Figure GDA0003533958910000061
其中W、H分别表示图像的宽度和高度，
Figure GDA0003533958910000062
表示真实正常光照的可见光图像像素，G(IDim-vis)x,y表示利用生成器G网络模型对弱可见光图像IDim-vis进行照度优化后的结果图像素；上式反映原图像和照度优化的可见光图像(Gen-vis)之间的均方误差，均方误差越小，则照度优化后的弱可见光图像与真实可见光图像的相似度越接近，反则照度优的弱可化后见光图像与真实可见光图像的相似度越低；
所述对抗性损失函数是为了从视觉效果得到更加真实的图像，引入的基于判别模型D的损失变量即对抗性损失(adversarial loss)，生成器损失
Figure GDA0003533958910000063
是基于判别器D网络模型的概率D(G(IDim-vis))在所有训练样本上的定义：
Figure GDA0003533958910000064
其中，N表示判别图像总数，D(G(IDim-vis))表示照度优化弱可见光图像G(IDim-vis)即Gen-vis图像被判定为来源于正常照度的可见光图像(Nor-vis)数据集的概率；而D(G(IDim -vis))越大，则
Figure GDA0003533958910000065
就越小，那么由生成器进行照度优化的效果就越接近正常光照样本的照度，具有更好的视觉效果，为了方便求取梯度，采用最小化-logD(G(IDim-vis))而不是log[1-D(G(IDim-vis))]；
所述感知损失(perceptual loss)函数作为GAN的损失函数，通过将结合均方误差MSE损失函数和基于视觉特性的对抗性损失函数进行加权求和而得，具体公式为：
Figure GDA0003533958910000071
该感知损失函数能够使生成器G网络模型得到的结果从内容和视觉上都能够产生更能够欺骗到判别器D网络模型的图像数据，即能够生成更加具有与真实正常照度可见光图像相似的弱可见光图像照度优化的结果；
(4)对生成对抗网络GAN模型进行训练，用单独交替迭代训练方式将生成器G网络模型和判别器D网络模型训练成为两个独立的模型，训练过程运用的数据集为步骤(一)中弱可见光与正常日光照度图像对数据集(dim-nor-Data)的训练集(dim-nor-Train)，具体训练过程如下：
1)在数据集dim-nor-Train中进行采样，一个mini-batch为16组相同场景或相似场景的弱可见光图像IDim-vis和正常照度的可见光图像INor-vis；
2)将弱可见光图像IDim-vis输入生成器G网络模型中，得到一张生成的照度优化的弱可见光图像数据，记为IGen-vis＝G(IDim-vis)，并将其进行判别标记为Fake，即Label＝0；
3)将对应数据组的正常照度的可见光图像INor-vis进行判别标记为Real，即Label＝1；
4)将过程2)或过程3)中产生的图像数据作为判别器D网络模型的输入，(判别器的输入为两类数据：真/假，真实正常高照度图像为真real＝1，生成器G网络模型输出的照度优化弱可见光图像为假fake＝0)；判别器D网络模型的输出值为该输出属于真实数据的概率D(x)；
5)根据得到的概率值D(x)与输入的数据Label进行损失函数的运算，得到误差；
6)如果误差不能达到需要，就根据误差利用现有技术的Adam优化算法进行网络参数的更新；Adam优化算法先对判别器D网络模型进行网络参数的更新，再对生成器G网络模型进行网络参数的更新；
7)训练过程不断迭代上述过程，使误差在训练过程中收敛，直到能够误差能够达到需要；
8)如果误差已达到需要即无论判别器D网络模型的输入源是真图像还是假图像，输出结果均接近于为0.5，则分别保存GAN中生成器G网络模型和判别器D网络模型的权重参数，结束训练；
(三)对弱可见光图像进行照度优化，具体分步骤如下：
(1)将生成对抗网络的生成器G网络模型作为此处的生成网络GNN，只是改了网络的名称，并不对网络结构进行任何修改；
(2)将生成器G网络模型的网络权重参数载入当前生成网络GNN中，得到权重参数训练好的生成网络GNN；
(3)将数据集中弱可见光图像IDim-vis输入生成网络GNN，通过各个隐含层的处理后输出照度优化后的弱可见光图像IGen-vis；
(四)对照度优化的弱可见光图像与红外图像进行融合，得到融合图像，具体的分步骤如下：
(1)将照度优化后的弱可见光图像(Gen-vis)从原本的RGB颜色空间映射到HSV颜色空间，得到该图像在HSV颜色空间下的Gen-vis-hsv图像，映射原则如下：
Figure GDA0003533958910000091
Figure GDA0003533958910000092
其中H、S和V分别表示HSV颜色空间中的色调(Hue)、饱和度(Saturation)和明度(Value)通道；色调H表示色彩信息即所处光谱颜色位置，取值范围为0°～360°；饱和度S表示颜色明亮的程度，取值范围为0％～100％，值越大，颜色越饱和；明度V表示颜色明亮的程度，取值范围为0％(黑)到100％(白)；min和max分别表示RGB颜色空间中R、G、B三个通道中的最小值和最大值；
(2)将得到Gen-vis-hsv图像中表示图像明亮程度的通道Gen-vis-V图像与红外图像(Dim-nir)进行加权平均，将得到的新的明度通道图像代替原Gen-vis-V图像：
Figure GDA0003533958910000093
其中V表示照度优化后的弱可见光图像的明度V通道图像，Dim-nir表示与弱可将光图像同源的红外图像；
(3)新明度通道图像，原始的色调H通道、饱和度S通道构成新的HSV颜色空间图像(Fusion-hsv)，该图像为照度优化后的弱可见光图像和红外图像在HSV颜色空间上的融合图像；
(4)将在HSV颜色空间上的融合图像Fusion-hsv，按照如下公式所示映射逆变换还原到RGB颜色空间，得到最终融合图像Fudion-img：
C＝V×S
X＝C×(1-|(H/60°)mod2-1|)
m＝V-C
Figure GDA0003533958910000101
(R,G,B)＝((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中C、X、m和(R′,G′,B′)只作为中间变量，没有具体的含义；H、S、V分别表示HSV颜色空间中的色调H、饱和度S和明度V通道图像，R、G、B则分别表示RGB颜色空间中的红色R、绿色G和蓝色B通道图像；映射之后的(R,G,B)即为还原得到的RGB图像；
以上步骤得到的RGB图像就是融合了红外图像信息与照度优化后的弱可见光图像信息的融合图像(Fusion-img)；
(五)对识别卷积神经网络进行构造与训练，包括以下分步骤：
(1)对识别卷积神经网络进行构造，识别卷积神经网络的输入、输出数据及模型架构具体如下：输入为融合图像(Fusion-img)，输出为识别结果标签，表示输入图像属于哪个类型的标签，识别卷积神经网络的模型架构利用深度卷积神经网络实现，其中激活层使用的激活函数均为LeakyReLU函数(α＝0.2)，具体识别卷积神经网络的模型构造过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，但是特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，激活函数采用LeakyReLU函数；
3)二个全连接单元C，全连接单元C由一个全连接层和一个激活层构成，全连接层设置有4096个特征映射(相当于该层神经元数为4096)；该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为softmax函数的激活层；
(2)对识别卷积神经网络进行训练，具体过程如下：
1)将保存的判别器D网络模型的网络权重参数载入到识别卷积神经网络CNN中作为识别卷积神经网络的初始权重，提升识别卷积神经网络的训练速度；
2)将该融合图像(Fusion-img)输入到识别卷积神经网络CNN，经过网络中的各个隐藏层后，输出相应的识别结果；
3)将识别结果按照损失函数进行计算得到误差；
4)如果误差能够达到需要，保存识别卷积神经网络的权重参数，完成识别卷积神经网络的训练；
5)如果误差不能达到需要，利用Adam优化算法对识别卷积神经网络CNN进行权重参数更新；
6)不断的迭代以上过程2)至过程5)的训练过程，使误差在迭代过程中收敛，直到误差能够达到需要，完成训练；
(3)对识别卷积神经网络进行识别，具体过程如下：
1)将测试数据集(dim-nor-Test)中的一对弱可见光图像(Dim-vis)和红外图像(Dim-nir)载入，分别作为照度优化步骤和融合图像步骤的输入数据；
2)将弱可见光图像(Dim-vis)按照步骤(三)所述的方法，得到照度优化的弱可见光图像(Gen-vis)；
3)将得到的照度优化的弱可见光图像(Gen-vis)与红外图像(Dim-nir)按照步骤(四)所述的图像融合方法(如图8(b))，将两个图像数据进行融合，输出融合图像(Fusion-img)；
4)将步骤(五)中分步骤(2)训练得到的识别卷积神经网络权重参数载入到当前的识别卷积神经网络CNN中，得到权重参数已经训练好的识别卷积神经网络CNN；
5)输出融合图像(Fusion-img)输入到该识别卷积神经网络CNN中，经过网络中的多个隐藏层的计算，输出对应输入图像的识别结果，完成识别卷积神经网络对于图像的识别分类。
采用本发明的技术方案可有效解决弱可见光与红外图像融合识别过程中，可见光图像成像模糊不清，成像过暗而丢失细节，融合效果不佳问题，并得到更佳的识别效果。
附图说明
图1为本发明流程示意图；
图2为生成对抗网络GAN网络中生成器G网络模型的结构图；
图3为生成对抗网络GAN网络中判别器D网络模型的结构图；
图4为生成对抗网络GAN训练过程示意图；
图5为照度优化后的弱可见光图像与红外图像通过HSV颜色空间的融合过程示意图；
图6为识别卷积神经网络CNN的结构示意图；
图7为融合图像对识别卷积神经网络的训练过程示意图；
图8为本发明完整识别过程示意图；
图8(a)为弱可见光图像的照度优化步骤图；
图8(b)为图像融合步骤图；
图8(c)为融合图像的识别步骤图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
图1示出了一种基于生成对抗网络的弱可见光与红外图像融合的识别方法，先利用生成对抗网络对弱可见光图像进行照度优化，然后将照度优化的可见光图像和红外图像进行图像级融合，最后将得到的融合图像输入修改得到的神经网络进行特征提取和分类识别，包括如下步骤：
(一)建立数据源，建立来源图像，包括：正常日光照度的可见光图像(Nor-vis)、同时在弱光环境下获取的弱可见光图像(Dim-vis)以及红外图像(Dim-nir)，对上述三种来源的图像进行尺寸归一化数据处理，将所有的图像大小固定为W×H像素值，将归一化的图像数据构造成一个Dim-nir-nor-Data数据集，按照GAN阶段和CNN阶段，分为两个子数据集；数据集的分组情况如下表所示：
Figure GDA0003533958910000141
Figure GDA0003533958910000151
所述弱可见光图像(Dim-vis)、红外图像(Dim-nir)，属于同源不同模态的图像对，每一类场景每种类型图像对数不少于40对；
所述正常照度的可见光图像(Nor-vis)，与所述弱可见光、红外图像对相同场景或相似场景，是在照度较高的正常日光照度下进行采集的，图像照度比所述弱可见光图像照度要高，图像更加清晰；
(二)生成对抗网络GAN的训练，包括以下分步骤：
(1)建立生成器G网络模型，为了将弱可见光图像(Dim-vis)按照捕获的正常可见光图像的数据分布进行照度优化，参照残差网络进行设计，其输入为弱可见光图像(Dim-vis)，输出为照度优化后的弱可见光图像(Gen-vis)，生成器G网络模型架构采用含五个残差块的残差神经网络模式，具体模型建立过程如下：
1)一个卷积单元A，包含一个卷积层和一个激活层，卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；
2)五个残差块，每个残差块中层次顺序为：卷积层-批量归一化层-激活层-卷积层-批量归一化层-元素求和层，其中两个卷积层均设置为3x3内核和64个特征映射；
3)接一个卷积单元B，包含一个卷积层，一个批量归一化层和一个元素求和层；这个卷积单元B也是作为跳跃链接的最后一个跳跃接入点，卷积层设置为3x3卷积内核和64个特征映射，步长为1；
4)二个卷积单元C，卷积单元C包含一个卷积层，两个像素重组层再加一个激活层；卷积层为像素重组层的作用就是通过重组像素将卷积结果重组成图像信息；
5)一个单独的卷积层，卷积层参数：卷积核9x9，3个特征映射，步长为1，卷积的结果将得到最后的照度优化的可见光图像(Gen-vis)；
在生成器网络模型中，激活函数均使用Parametric ReLU(PReLU)函数,生成器网络模型架构如图2所示；由于运用到的框架及层次是被熟知的残差网络结构、批量归一化、激活函数均为现有技术，在此不再赘述。
(2)建立判别器D网络模型，为了区分输入的图像是来自于真实的正常照度可见光图像(Nor-vis)还是生成的照度优化后的弱可见光图像(Gen-vis)，参照VGGNet的网络结构进行设计，输入为正常照度的可见光图像(Nor-vis)或照度优化后的弱可见光图像(Gen-vis)，输入数据随机从以上两个数据源获取，总输入数据比例为1:1；输出为概率D(x)，表示输入图像为真实图像的概率；判别器D网络模型架构为：激活层使用的激活函数均为LeakyReLU函数(α＝0.2)，模型架构如图3所示，具体模型建立过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1，激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，具体参数设置见图3所示，激活函数采用LeakyReLU函数；
3)一个全连接单元C，全连接单元C由一个全连接层和一个激活层构成；该全连接层设置有1024个特征映射，相当于该层的神经元数为1024，该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为Sigmoid函数的激活层构成；Sigmoid激活层输出结果即为输入图像的判定概率D(x)；
如果判别器D网络模型输入的是真图像(Nor-vis，正常照度的可见光图像)，输出结果就越接近1；而输入的是假图像(Gen-vis，照度优化后的弱可见光图像)，则输出结果越接近0；
(3)对损失函数进行优化，包括均方误差MSE损失函数、对抗性损失函数、感知损失函数三个损失函数的优化；
所述均方误差MSE损失函数作为内容损失(content loss)函数是应用最为广泛的损失函数，是预测值与目标值之间差值取平方和的均值，其公式为：
Figure GDA0003533958910000171
其中n为统计的数据量总数，yi、
Figure GDA0003533958910000172
表示真实值和输出的预测值；
在本发明中所述均方误差MSE损失函数为：
Figure GDA0003533958910000181
其中W、H分别表示图像的宽度和高度，
Figure GDA0003533958910000182
表示真实正常光照的可见光图像像素，G(IDim-vis)x,y表示利用生成器G网络模型对弱可见光图像IDim-vis进行照度优化后的结果图像素；上式反映原图像和照度优化的可见光图像(Gen-vis)之间的均方误差，均方误差越小，则照度优化后的弱可见光图像与真实可见光图像的相似度越接近，反则照度优化后的弱可见光图像与真实可见光图像的相似度越低；
所述对抗性损失函数是为了从视觉效果得到更加真实的图像，引入的基于判别模型D的损失变量即对抗性损失(adversarial loss)，生成器损失
Figure GDA0003533958910000184
是基于判别器D网络模型的概率D(G(IDim-vis))在所有训练样本上的定义：
Figure GDA0003533958910000183
其中，N表示判别图像总数，D(G(IDim-vis))表示照度优化弱可见光图像G(IDim-vis)即Gen-vis图像被判定为来源于正常照度的可见光图像(Nor-vis)数据集的概率；而D(G(IDim -vis))越大，则
Figure GDA0003533958910000185
就越小，那么由生成器进行照度优化的效果就越接近正常光照样本的照度，具有更好的视觉效果，为了方便求取梯度，采用最小化-logD(G(IDim-vis))而不是log[1-D(G(IDim-vis))]；
所述感知损失(perceptual loss)函数作为GAN的损失函数，通过将结合均方误差MSE损失函数和基于视觉特性的对抗性损失函数进行加权求和而得，具体公式为：
Figure GDA0003533958910000191
该感知损失函数能够使生成器G网络模型得到的结果从内容和视觉上都能够产生更能够欺骗到判别器D网络模型的图像数据，即能够生成更加具有与真实正常照度可见光图像相似的弱可见光图像照度优化的结果；
(4)对生成对抗网络GAN模型进行训练，用单独交替迭代训练方式将生成器G网络模型和判别器D网络模型训练成为两个独立的模型，训练过程运用的数据集为步骤(一)中弱可见光与正常日光照度图像对数据集(dim-nor-Data)的训练集(dim-nor-Train)，具体训练过程如图4所示：
1)在数据集dim-nor-Train中进行采样，一个mini-batch为16组相同场景或相似场景的弱可见光图像IDim-vis和正常照度的可见光图像INor-vis；
2)将弱可见光图像IDim-vis输入生成器G网络模型中，得到一张生成的照度优化的弱可见光图像数据，记为IGen-vis＝G(IDim-vis)，并将其进行判别标记为Fake，即Label＝0；
3)将对应数据组的正常照度的可见光图像INor-vis进行判别标记为Real，即Label＝1；
4)将过程2)或过程3)中产生的图像数据作为判别器D网络模型的输入，(判别器的输入为两类数据：真/假，真实正常高照度图像为真real＝1，生成器G网络模型输出的照度优化弱可见光图像为假fake＝0)；判别器D网络模型的输出值为该输出属于真实数据的概率D(x)；
5)根据得到的概率值D(x)与输入的数据Label进行损失函数的运算，得到误差；
6)如果误差不能达到需要，就根据误差利用现有技术的Adam优化算法进行网络参数的更新；Adam优化算法先对判别器D网络模型进行网络参数的更新，再对生成器G网络模型进行网络参数的更新；
7)训练过程不断迭代(迭代次数设为20000)上述过程，使误差在训练过程中收敛，直到能够误差能够达到需要；
8)如果误差已达到需要即无论判别器D网络模型的输入源是真图像还是假图像，输出结果均接近于为0.5，则分别保存GAN中生成器G网络模型和判别器D网络模型的权重参数，结束训练；
GAN的训练结果表现为判别器D网络模型无论输入的数据源是真图像还是假图像，输出结果是一个接近0.5的值(极限情况就是0.5)，即完成了生成对抗网络GAN的训练；在训练过程中，损失函数使用Adam算法(参数选取学习率η＝10-5，β1＝0.9，β2＝0.999，ε＝10-8)进行参数调整与优化；
(三)对弱可见光图像进行照度优化，具体分步骤如图8(a)所示：
(1)将生成对抗网络的生成器G网络模型作为此处的生成网络GNN，只是改了网络的名称，并不对网络结构进行任何修改；
(2)将生成器G网络模型的网络权重参数载入当前生成网络GNN中，得到权重参数训练好的生成网络GNN；
(3)将数据集中弱可见光图像IDim-vis输入生成网络GNN，通过各个隐含层的处理后输出照度优化后的弱可见光图像IGen-vis；
(四)对照度优化的弱可见光图像与红外图像进行融合，得到融合图像，具体的分步骤如图5所示：
(1)将照度优化后的弱可见光图像(Gen-vis)从原本的RGB颜色空间映射到HSV颜色空间，得到该图像在HSV颜色空间下的Gen-vis-hsv图像，映射原则如下：
Figure GDA0003533958910000211
Figure GDA0003533958910000212
其中H、S和V分别表示HSV颜色空间中的色调(Hue)、饱和度(Saturation)和明度(Value)通道；色调H表示色彩信息即所处光谱颜色位置，取值范围为0°～360°；饱和度S表示颜色明亮的程度，取值范围为0％～100％，值越大，颜色越饱和；明度V表示颜色明亮的程度，取值范围为0％(黑)到100％(白)；min和max分别表示RGB颜色空间中R、G、B三个通道中的最小值和最大值；
(2)将得到Gen-vis-hsv图像中表示图像明亮程度的通道Gen-vis-V图像与红外图像(Dim-nir)进行加权平均，将得到的新的明度通道图像代替原Gen-vis-V图像：
Figure GDA0003533958910000221
其中V表示照度优化后的弱可见光图像的明度V通道图像，Dim-nir表示与弱可将光图像同源的红外图像；
(3)新明度通道图像，原始的色调H通道、饱和度S通道构成新的HSV颜色空间图像(Fusion-hsv)，该图像为照度优化后的弱可见光图像和红外图像在HSV颜色空间上的融合图像；
(4)将在HSV颜色空间上的融合图像Fusion-hsv，按照如下公式所示映射逆变换还原到RGB颜色空间，得到最终融合图像Fudion-img：
C＝V×S
X＝C×(1-|(H/60°)mod2-1|)
m＝V-C
Figure GDA0003533958910000222
(R,G,B)＝((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中C、X、m和(R′,G′,B′)只作为中间变量，没有具体的含义；H、S、V分别表示HSV颜色空间中的色调H、饱和度S和明度V通道图像，R、G、B则分别表示RGB颜色空间中的红色R、绿色G和蓝色B通道图像；映射之后的(R,G,B)即为还原得到的RGB图像；
以上步骤得到的RGB图像就是融合了红外图像信息与照度优化后的弱可见光图像信息的融合图像(Fusion-img)。
为了能够便于后面的识别卷积神经网络的训练，在实际的方法执行过程中，并不会每一次迭代训练都从原始的弱可见光与红外图像对数据集(vis-nir-Data)中选取原始数据从照度优化-图像融合-识别分类进行。本发明采用的方法是直接将原始的弱可见光与红外图像对数据集(vis-nir-Data)完成弱可见光图像的照度优化和与红外图像的融合后构造新的融合图像数据库(Fusion-img-Data)；该数据库是按照原始数据库的数据量进行划分的，因此融合图像数据集(Fusion-img-Data)包含于弱可见光与红外图像对数据集(vis-nir-Data)对应的训练集(Fusion-img-Train)和测试集(Fusion-img-Test)
(五)对识别卷积神经网络进行构造与训练，包括以下分步骤：
(1)对识别卷积神经网络进行构造，识别卷积神经网络的其输入、输出数据及模型架构具体如下，示意图如图6所示：输入为融合图像(Fusion-img)，输出为识别结果标签，表示输入图像属于哪个类型的标签，识别卷积神经网络的模型架构利用深度卷积神经网络实现，其中激活层使用的激活函数均为LeakyReLU函数(α＝0.2)，具体识别卷积神经网络的模型构造过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，但是特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，具体参数设置见图3所示，激活函数采用LeakyReLU函数；
3)二个全连接单元C，全连接单元C由一个全连接层和一个激活层构成，全连接层设置有4096个特征映射；该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为softmax函数的激活层；
sigmoid激活函数常用于用于二分类，而softmax函数常用于解决多分类问题；这个识别卷积神经网络能够完成特征提取，并实现对图像特征的分类识别；softmax函数用于多分类问题为现下常用技术，本发明就将不进行赘述。
(2)对识别卷积神经网络进行训练，具体的分步骤如图7所示：
1)将保存的判别器D网络模型的网络权重参数载入到识别卷积神经网络CNN中作为识别卷积神经网络的初始权重，提升识别卷积神经网络的训练速度；
2)将该融合图像(Fusion-img)输入到识别卷积神经网络CNN，经过网络中的各个隐藏层后，输出相应的识别结果；
3)将识别结果按照损失函数进行计算得到误差；
4)如果误差能够达到需要，保存识别卷积神经网络的权重参数，完成识别卷积神经网络的训练；
5)如果误差不能达到需要，利用Adam优化算法对识别卷积神经网络CNN进行权重参数更新；
6)不断的迭代以上过程2)至过程5)的训练过程(迭代次数为5000)，使误差在迭代过程中收敛，直到误差能够达到需要，完成训练；
这一阶段对于识别卷积神经网络CNN的训练是为了减小误差，也是为了提升识别分类的准确率；因此一般情况下，判断是否达到需要会同时对误差和准确率进行。
(3)对识别卷积神经网络进行识别，具体过程如图8所示：
1)将测试数据集(dim-nor-Test)中的一对弱可见光图像(Din-vis)和红外图像(Dim-nir)载入，分别作为照度优化步骤和融合图像步骤的输入数据；
2)将弱可见光图像(Din-vis)按照步骤(三)所述的方法，得到照度优化的弱可见光图像(Gen-vis)；
3)将得到的照度优化的弱可见光图像(Gen-vis)与红外图像(Dim-nir)按照步骤(四)所述的图像融合方法，将两个图像数据进行融合，输出融合图像(Fusion-img)；
4)将步骤(五)中分步骤(2)训练得到的识别卷积神经网络权重参数载入到当前的识别卷积神经网络CNN中，得到权重参数已经训练好的识别卷积神经网络CNN；
5)输出融合图像(Fusion-img)输入到该识别卷积神经网络CNN中，经过网络中的多个隐藏层的计算，输出对应输入图像的识别结果，如图8(c)所示，完成识别卷积神经网络对于图像的识别分类。
需要注意的一点，无论是弱可见光图像的照度优化步骤，还是融合图像的识别步骤，其中的权重参数的载入步骤均要在输入数据之前完成。只有先载入训练好的网络模型的权重参数，当前的网络模型才能达到训练好的模型的效果。
采用本发明的技术方案可有效解决弱可见光与红外图像融合识别过程中，可见光图像成像模糊不清，成像过暗而丢失细节，融合效果不佳问题，并得到更佳的识别效果。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (9)

1.一种基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，先利用生成对抗网络对弱可见光图像进行照度优化，然后将照度优化的可见光图像和红外图像进行图像级融合，最后将得到的融合图像输入修改得到的神经网络进行特征提取和分类识别，包括如下步骤：
(一)建立数据源，建立来源图像，包括：正常日光照度的可见光图像、同时在弱光环境下获取的弱可见光图像以及红外图像，对上述三种来源的图像进行尺寸归一化数据处理，将所有的图像大小固定为W×H像素值，将归一化的图像数据构造成一个Dim-nir-nor-Data数据集，按照生成对抗网络GAN阶段和卷积神经网络CNN阶段，分为两个子数据集；数据集的分组情况如下表所示：
Figure FDA0003544728750000011
(二)生成对抗网络GAN的训练，包括以下分步骤：
(1)建立生成器G网络模型，参照残差网络进行设计，其输入为弱可见光图像，输出为照度优化后的弱可见光图像，生成器G网络模型架构采用含五个残差块的残差神经网络模式；
(2)建立判别器D网络模型，参照VGGNet的网络结构进行设计，输入为正常照度的可见光图像或照度优化后的弱可见光图像，输入数据随机从以上两个数据源获取，总输入数据比例为1:1；输出为概率D(x)，表示输入图像为真实图像的概率；判别器D网络模型架构为：激活层使用的激活函数均为LeakyReLU函数，其中α＝0.2；
(3)对损失函数进行优化，包括均方误差MSE损失函数、对抗性损失函数、感知损失函数三个损失函数的优化；
所述均方误差MSE损失函数作为内容损失(content loss)函数是应用最为广泛的损失函数，是预测值与目标值之间差值取平方和的均值，其公式为：
Figure FDA0003544728750000021
其中n为统计的数据量总数，yi、
Figure FDA0003544728750000022
表示真实值和输出的预测值；
所述对抗性损失函数是为了从视觉效果得到更加真实的图像，引入的基于判别模型D的损失变量即对抗性损失(adversarial loss)，生成器损失
Figure FDA0003544728750000023
是基于判别器D网络模型的概率D(G(IDim-vis))在所有训练样本上的定义：
Figure FDA0003544728750000024
其中，N表示判别图像总数，D(G(IDim-vis))表示照度优化弱可见光图像G(IDim-vis)即Gen-vis图像被判定为来源于正常照度的可见光图像数据集的概率；而D(G(IDim-vis))越大，则
Figure FDA0003544728750000031
就越小，那么由生成器进行照度优化的效果就越接近正常光照样本的照度，具有更好的视觉效果，为了方便求取梯度，采用最小化-logD(G(IDim-vis))而不是log[1-D(G(IDim -vis))]；
所述感知损失函数作为GAN的损失函数，其由均方误差MSE损失函数和基于视觉特性的对抗性损失函数进行加权求和而得，具体公式为：
Figure FDA0003544728750000032
该感知损失函数能够使生成器G网络模型得到的结果从内容和视觉上都能够产生更能够欺骗到判别器D网络模型的图像数据，即能够生成更加具有与真实正常照度可见光图像相似的弱可见光图像照度优化的结果；
(4)对生成对抗网络GAN模型进行训练，用单独交替迭代训练方式将生成器G网络模型和判别器D网络模型训练成为两个独立的模型，训练过程运用的数据集为步骤(一)中弱可见光与正常日光照度图像对数据集的训练集；
(三)对弱可见光图像进行照度优化，具体分步骤如下：
(1)将生成对抗网络的生成器G网络模型作为此处的生成网络GNN，只是改了网络的名称，并不对网络结构进行任何修改；
(2)将生成器G网络模型的网络权重参数载入当前生成网络GNN中，得到权重参数训练好的生成网络GNN；
(3)将数据集中弱可见光图像IDim-vis输入生成网络GNN，通过各个隐含层的处理后输出照度优化后的弱可见光图像IGen-vis；
(四)对照度优化的弱可见光图像与红外图像进行融合，得到融合图像，具体的分步骤如下：
(1)将照度优化后的弱可见光图像从原本的RGB颜色空间映射到HSV颜色空间，得到该图像在HSV颜色空间下的Gen-vis-hsv图像，映射原则如下：
Figure FDA0003544728750000041
Figure FDA0003544728750000042
Figure FDA0003544728750000043
其中H、S和V分别表示HSV颜色空间中的色调(Hue)、饱和度(Saturation)和明度(Value)通道；色调H表示色彩信息即所处光谱颜色位置，取值范围为0°～360°；饱和度S表示颜色明亮的程度，取值范围为0％～100％，值越大，颜色越饱和；明度V表示颜色明亮的程度，取值范围为0％(黑)到100％(白)；min和max分别表示RGB颜色空间中R、G、B三个通道中的最小值和最大值；
(2)将得到的Gen-vis-hsv图像中表示图像明亮程度的通道Gen-vis-V图像与红外图像进行加权平均，将得到的新的明度通道图像代替Gen-vis-V图像：
Figure FDA0003544728750000051
其中V表示照度优化后的弱可见光图像的明度V通道图像，Dim-nir表示与弱可将光图像同源的红外图像；
(3)新明度通道图像，原始的色调H通道、饱和度S通道构成新的HSV颜色空间图像，记为Fusion-hsv，该图像为照度优化后的弱可见光图像和红外图像在HSV颜色空间上的融合图像；
(4)将在HSV颜色空间上的融合图像Fusion-hsv，按照如下公式所示映射逆变换还原到RGB颜色空间，得到最终融合图像Fudion-img：
C＝V×S
X＝C×(1-| (H/60°)mod2-1|)
m＝V-C
Figure FDA0003544728750000052
(R,G,B)＝((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中C、X、m和(R′,G′,B′)只作为中间变量，没有具体的含义；H、S、V分别表示HSV颜色空间中的色调H、饱和度S和明度V通道图像，R、G、B则分别表示RGB颜色空间中的红色R、绿色G和蓝色B通道图像；映射之后的(R,G,B)即为还原得到的RGB图像；
以上步骤得到的RGB图像就是融合了红外图像信息与照度优化后的弱可见光图像信息的融合图像；
(五)对识别卷积神经网络进行构造与训练，包括以下分步骤：
(1)对识别卷积神经网络进行构造，识别卷积神经网络的输入、输出数据及模型架构具体如下：输入为融合图像，输出为识别结果标签，表示输入图像属于哪个类型的标签，识别卷积神经网络的模型架构利用深度卷积神经网络实现，其中激活层使用的激活函数均为LeakyReLU函数；
(2)对识别卷积神经网络进行训练；
(3)对识别卷积神经网络进行识别。
2.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(一)中，所述弱可见光图像、红外图像，属于同源不同模态的图像对，每一类场景每种类型图像对数不少于40对；所述正常照度的可见光图像，与所述弱可见光、红外图像对相同场景或相似场景，是在照度较高的正常日光照度下进行采集的，图像照度比所述弱可见光图像照度要高，图像更加清晰。
3.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(二)分步骤(1)中，所述生成器G网络模型建立过程如下：
1)一个卷积单元A，包含一个卷积核和一个激活层，卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；
2)五个残差块，每个残差块中层次顺序为：卷积层-批量归一化层-激活层-卷积层-批量归一化层-元素求和层，其中两个卷积层均设置为3x3内核和64个特征映射；
3)接一个卷积单元B，包含一个卷积层，一个批量归一化层和一个元素求和层；这个卷积单元B也是作为跳跃链接的最后一个跳跃接入点，卷积层设置为3x3卷积内核和64个特征映射，步长为1；
4)二个卷积元C，卷积单元C包含一个卷积层，两个像素重组层再加一个激活层；卷积层为像素重组层的作用就是通过重组像素将卷积结果重组成图像信息；
5)一个单独的卷积层，卷积层参数：卷积核9x9，3个特征映射，步长为1，卷积的结果将得到最后的照度优化的可见光图像，记为Gen-vis。
4.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(二)分步骤(2)中，所述判别器D网络模型建立过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1，激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，激活函数采用LeakyReLU函数；
3)一个全连接单元C，全连接单元C由一个全连接层和一个激活层构成；该全连接层设置有1024个特征映射，相当于该层的神经元数为1024，该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为Sigmoid函数的激活层构成；Sigmoid激活层输出结果即为输入图像的判定概率D(x)；
如果判别器D网络模型输入的是真图像，即正常照度的可见光图像，输出结果就越接近1；而输入的是假图像，即照度优化后的弱可见光图像，则输出结果越接近0。
5.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(二)分步骤(3)中，所述均方误差MSE损失函数为：
Figure FDA0003544728750000081
其中W、H分别表示图像的宽度和高度，
Figure FDA0003544728750000082
表示真实正常光照的可见光图像像素，G(IDim-vis)x,y表示利用生成器G网络模型对弱可见光图像IDim-vis进行照度优化后的结果图像素；上式反映原图像和照度优化的可见光图像之间的均方误差，均方误差越小，则照度优化后的弱可见光图像与真实可见光图像的相似度越接近，反则照度优的弱可化后见光图像与真实可见光图像的相似度越低。
6.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(二)分步骤(4)中，对所述生成对抗网络GAN模型训练过程如下：
1)在数据集dim-nor-Train中进行采样，一个mini-batch为16组相同场景或相似场景的弱可见光图像IDim-vis和正常照度的可见光图像INor-vis；
2)将弱可见光图像IDim-vis输入生成器G网络模型中，得到一张生成的照度优化的弱可见光图像数据，记为IGen-vis＝G(IDim-vis)，并将其进行判别标记为Fake，即Label＝0；
3)将对应数据组的正常照度的可见光图像INor-vis进行判别标记为Real，即Label＝1；
4)将过程2)或过程3)中产生的图像数据作为判别器D网络模型的输入；判别器D网络模型的输出值为该输出属于真实数据的概率D(x)；
5)根据得到的概率值D(x)与输入的数据Label进行损失函数的运算，得到误差；
6)如果误差不能达到需要，就根据误差利用现有技术的Adam优化算法进行网络参数的更新；Adam优化算法先对判别器D网络模型进行网络参数的更新，再对生成器G网络模型进行网络参数的更新；
7)训练过程不断迭代上述过程，使误差在训练过程中收敛，直到能够误差能够达到需要；
8)如果误差已达到需要即无论判别器D网络模型的输入源是真图像还是假图像，输出结果均接近于为0.5，则分别保存GAN中生成器G网络模型和判别器D网络模型的权重参数，结束训练。
7.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(五)分步骤(1)中，所述识别卷积神经网络的模型构造过程如下：
1)一个卷积单元A，卷积单元A由一个卷积层和一个激活层组成；卷积层参数：卷积核大小为3x3，特征映射数为64，步长为1；激活函数采用LeakyReLU函数；
2)七个结构完全相同的卷积单元B，卷积单元B由三个层构成，包含一个卷积层、一个批量归一化层再加一个激活层；七个卷积单元使用的中卷积层的参数略有不同，七个卷积层使用的卷积核大小均为3x3，但是特征映射数量递增呈64-128-218-256-256-512-512，步长形成s1和s2穿插的模式，激活函数采用LeakyReLU函数；
3)二个全连接单元C，全连接单元C由一个全连接层和一个激活层构成，全连接层设置有4096个特征映射；该层激活函数同样采用LeakyReLU函数；
4)一个全连接单元D，全连接单元D由一个只有一个输出映射的全连接层，与一个激活函数为softmax函数的激活层。
8.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(五)分步骤(2)中，对所述识别卷积神经网络进行训练过程如下：
1)将保存的判别器D网络模型的网络权重参数载入到识别卷积神经网络CNN中作为识别卷积神经网络的初始权重，提升识别卷积神经网络的训练速度；
2)将该融合图像输入到识别卷积神经网络CNN，经过网络中的各个隐藏层后，输出相应的识别结果；
3)将识别结果按照损失函数进行计算得到误差；
4)如果误差能够达到需要，保存识别卷积神经网络的权重参数，完成识别卷积神经网络的训练；
5)如果误差不能达到需要，利用Adam优化算法对识别卷积神经网络CNN进行权重参数更新；
6)不断的迭代以上过程2)至过程5)的训练过程，使误差在迭代过程中收敛，直到误差能够达到需要，完成训练。
9.根据权利要求1所述的基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，步骤(五)分步骤(3)中，对所述识别卷积神经网络进行识别过程如下：
1)将测试数据集中的一对弱可见光图像和红外图像载入，分别作为照度优化步骤和融合图像步骤的输入数据；
2)将弱可见光图像按照步骤(三)所述的方法，得到照度优化的弱可见光图像；
3)将得到的照度优化的弱可见光图像与红外图像按照步骤(四)所述的图像融合方法，将两个图像数据进行融合，输出融合图像；
4)将步骤(五)中分步骤(2)训练得到的识别卷积神经网络权重参数载入到当前的识别卷积神经网络CNN中，得到权重参数已经训练好的识别卷积神经网络CNN；
5)输出融合图像输入到该识别卷积神经网络CNN中，经过网络中的多个隐藏层的计算，输出对应输入图像的识别结果，完成识别卷积神经网络对于图像的识别分类。
CN201811432339.3A 2018-11-28 2018-11-28 基于生成对抗网络的弱可见光与红外图像融合的识别方法 Active CN109614996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811432339.3A CN109614996B (zh) 2018-11-28 2018-11-28 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811432339.3A CN109614996B (zh) 2018-11-28 2018-11-28 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Publications (2)

Publication Number Publication Date
CN109614996A CN109614996A (zh) 2019-04-12
CN109614996B true CN109614996B (zh) 2022-05-17

Family

ID=66005655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811432339.3A Active CN109614996B (zh) 2018-11-28 2018-11-28 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Country Status (1)

Country Link
CN (1) CN109614996B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009569B (zh) * 2019-04-17 2023-03-21 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110147535A (zh) * 2019-04-18 2019-08-20 平安科技（深圳）有限公司 相似文本生成方法、装置、设备及存储介质
CN110022422B (zh) * 2019-04-19 2020-02-07 吉林大学 一种基于密集连接网络的视频帧序列生成方法
CN110363215B (zh) * 2019-05-31 2020-07-28 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN112017252A (zh) * 2019-05-31 2020-12-01 华为技术有限公司 一种图像处理方法和相关设备
CN110288555B (zh) * 2019-07-02 2022-08-02 桂林电子科技大学 一种基于改进的胶囊网络的低照度增强方法
CN110390631B (zh) * 2019-07-11 2022-11-18 上海媚测信息科技有限公司 生成uv光谱图片的方法、系统、网络及存储介质
CN112241668A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备
CN110543850B (zh) * 2019-08-30 2022-07-22 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN112488970A (zh) * 2019-09-12 2021-03-12 四川大学 基于耦合生成对抗网络的红外和可见光图像融合方法
CN112651262B (zh) * 2019-10-09 2022-10-14 四川大学 一种基于自适应行人对齐的跨模态行人重识别方法
CN110889813B (zh) * 2019-11-15 2023-11-24 安徽大学 基于红外信息的低光图像增强方法
CN110823576B (zh) * 2019-11-18 2021-04-30 苏州大学 基于生成对抗网络的机械异常检测方法
CN111145131B (zh) * 2019-11-28 2023-05-26 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111028163B (zh) * 2019-11-28 2024-02-27 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN110956581B (zh) * 2019-11-29 2022-08-02 南通大学 一种基于双通道生成-融合网络的图像模态变换方法
CN111080568B (zh) * 2019-12-13 2023-05-26 兰州交通大学 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法
CN111127412B (zh) * 2019-12-18 2021-05-28 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN111260594B (zh) * 2019-12-22 2023-10-31 天津大学 一种无监督的多模态图像融合方法
CN111353935A (zh) * 2020-01-03 2020-06-30 首都医科大学附属北京友谊医院 基于深度学习的磁共振成像优化方法及其设备
CN111259814B (zh) * 2020-01-17 2023-10-31 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN111539255B (zh) * 2020-03-27 2023-04-18 中国矿业大学 基于多模态图像风格转换的跨模态行人重识别方法
CN111582051B (zh) * 2020-04-17 2023-06-16 五邑大学 一种基于无人机的毒品原植物识别方法、系统及存储介质
CN111709903B (zh) * 2020-05-26 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111899288B (zh) * 2020-06-01 2023-04-07 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN112001868A (zh) * 2020-07-30 2020-11-27 山东师范大学 基于生成对抗性网络的红外和可见光图像融合方法及系统
CN111950649B (zh) * 2020-08-20 2022-04-26 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN113139924A (zh) * 2021-01-13 2021-07-20 上海有个机器人有限公司 图像增强方法、电子设备及存储介质
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
US20220284229A1 (en) * 2021-03-04 2022-09-08 Black Sesame International Holding Limited Rgb-nir dual camera face anti-spoofing method
CN115272083B (zh) * 2022-09-27 2022-12-02 中国人民解放军国防科技大学 一种图像超分辨率方法、装置、设备及介质
CN116091372B (zh) * 2023-01-03 2023-08-15 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN116109539A (zh) * 2023-03-21 2023-05-12 智洋创新科技股份有限公司 基于生成对抗网络的红外图像纹理信息增强方法和系统
CN116468645B (zh) * 2023-06-20 2023-09-15 吉林大学 一种对抗性高光谱多光谱遥感融合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪系统
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
CN106023129A (zh) * 2016-05-26 2016-10-12 西安工业大学 红外与可见光图像融合的汽车抗晕光视频图像处理方法
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN108197585A (zh) * 2017-12-13 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN108875669B (zh) * 2018-06-28 2020-09-15 深圳市哈哈零兽科技有限公司 一种基于可见光与红外图像融合的商品识别技术

Also Published As

Publication number Publication date
CN109614996A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109614996B (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Gijsenij et al. Color constancy using natural image statistics and scene semantics
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110555465B (zh) 一种基于cnn与多特征融合的天气图像识别方法
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN109886153B (zh) 一种基于深度卷积神经网络的实时人脸检测方法
JP2014515587A (ja) デジタル画像装置用の画像処理パイプラインの学習
CN109255758A (zh) 基于全1*1卷积神经网络的图像增强方法
CN109815923B (zh) 基于lbp特征与深度学习的金针菇菇头分选识别方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN111985554A (zh) 一种模型训练方法、手镯识别方法及对应装置
CN113096023B (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN115393225A (zh) 一种基于多层次特征提取融合的低光照图像增强方法
CN105426847A (zh) 低质量自然光虹膜图像非线性增强方法
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
CN112037139A (zh) 基于RBW-CycleGAN网络的图像去雾方法
CN110781936A (zh) 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法
Richart et al. Image colorization with neural networks
CN115359562A (zh) 基于卷积神经网络的手语字母拼写识别方法
CN116844241B (zh) 基于着色的红外视频行为识别方法、系统和电子设备
Yuan et al. Full convolutional color constancy with adding pooling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190412

Assignee: Guangxi Yanze Information Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2023980046249

Denomination of invention: A Recognition Method for Fusion of Weak Visible and Infrared Images Based on Generative Adversarial Networks

Granted publication date: 20220517

License type: Common License

Record date: 20231108