CN109472837A - 基于条件生成对抗网络的光电图像转换方法 - Google Patents

基于条件生成对抗网络的光电图像转换方法 Download PDF

Info

Publication number
CN109472837A
CN109472837A CN201811246302.1A CN201811246302A CN109472837A CN 109472837 A CN109472837 A CN 109472837A CN 201811246302 A CN201811246302 A CN 201811246302A CN 109472837 A CN109472837 A CN 109472837A
Authority
CN
China
Prior art keywords
network
condition
image
confrontation network
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811246302.1A
Other languages
English (en)
Inventor
吴鑫
程强
刘甜
刘德连
黄曦
张建奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811246302.1A priority Critical patent/CN109472837A/zh
Publication of CN109472837A publication Critical patent/CN109472837A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于条件生成对抗网络的光电图像转换方法,主要解决现有技术生成红外图像纹理特征不自然和转换场景受限的问题,其方案是:从数据库中获取已匹配好的可见光‑红外光电图像数据集;使用生成网络对可见光图像进行编‑解码操作,生成红外图像并得到对应的可见光‑红外图像转换结构;使用判别网络对转换结构进行判断,并构造条件生成对抗网络的损失函数;对条件生成对抗网络的损失函数进行优化,得到训练后的条件生成对抗网络;使用训练后的条件生成对抗网络对获取的可见光图像进行转换,生成对应的红外图像。本发明生成的红外图像具有自然的图像纹理特征,符合红外辐射特性,可适应于多种转换场景下对可见光图像的转换。

Description

基于条件生成对抗网络的光电图像转换方法
技术领域
本发明属于图像处理技术领域,尤其涉及一种光电图像转换方法,可用于将可见光图像转换为红外图像。
背景技术
红外成像技术因为其目标识别能力强、制导精度高、抗干扰能力强等优势,在目标探测、监视、跟踪等方面具有广泛的应用。常规红外图像主要是通过红外热像仪针对目标场景进行拍摄得到的,然而在对于一些特殊环境下,红外热像仪所能获得的图像数据量相对不足。同时,红外热像仪应与其他仪器相比,价格仍然很昂贵,这些都限制了红外图像数据的获得,影响了红外图像的应用。
传统意义上的图像转换,需要当前场景下的材质发射率、大气温度等多种先验信息,目前提出的图像转换算法大部分都利用数据拟合、仿真模拟等方式进行红外图像反演,但由于算法自身所拟合的数据量不足,很难有效并全面获取场景的内在特性信息,致使生成的转换图像纹理不自然,缺乏真实的红外场景特性,并由于其算法的局限性,其应用场景有限。
发明内容
本发明的目的在于针对上述现有技术的不足,提供一种基于条件生成对抗网络的图像转换方法,以在多种可见光图像下,有效捕捉场景的内在目标特性信息,生成较自然的图像纹理特征,避免拟合过多的先验信息所导致的算法复杂性,有效提高图像转换效率和真实性。
实现本发明目的的技术方案是:在经典条件生成对抗网络的基础上对网络结构和损失函数加以改进,利用其内部的生成网络和判别网络具有相互制约、相互竞争的特点,生成相对真实的红外图像特性,其实现步骤包括如下:
1.一种基于条件生成对抗网络的光电图像转换方法,其特征在于,包括如下:
(1)从数据库中获取已匹配好的可见光-红外光电图像数据集;
(2)使用已匹配的可见光-红外光电图像数据集,对条件生成对抗网络进行训练,得到适用于光电图像转换的条件生成对抗网络:
(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作;
(2b)使用生成网络对可见光图像进行编码和解码操作,生成红外图像,并得到对应的可见光-红外图像的转换结构;
(2c)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断,得到转换结构的逻辑判断结果,并依s据逻辑判断结果,构造条件生成对抗网络的损失函数其中LCGAN(G,D)为条件生成对抗网络的目标函数,为生成网络的l1范数损失函数,λ为自定义数值,它表示生成网络的l1范数损失函数在条件生成对抗网络损失函数中所占比例;
(2d)使用Adam优化器对条件生成对抗网络的损失函数G*进行优化,得到训练后的条件生成对抗网络;
(3)将实时获取的可见光图像,输入到(2)训练好的条件生成对抗网络中,输出其图像转换结果,即对应的红外图像。
本发明与现有技术相比,具有如下优点:
1、本发明使用神经网络对多种环境下的可见光图像的内部细节特征进行提取,并生成对应的红外图像,其特征提取过程不需要大量的先验数据,可有效避免传统图像转换算法对先验数据的依赖性以及对环境的局限性;
2、仿真结果表明,用本发明中生成的红外图像具有较自然的图像纹理细节特征,并具备较真实的红外场景特性,能较好的表现出图像的峰值信噪比、物体红外辐射特性这些信息。
附图说明
图1为本发明的实现流程图;
图2为本发明中的生成网络结构示意图;
图3为本发明中的条件生成对抗网络结构示意图;
图4为本发明中生成的红外图像与真实红外图像的对比图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步描述。
参照图1,本发明基于条件生成对抗网络的光电图像转换方法,其实现如下:
步骤1,获取可见光-红外光电图像数据集。
本发明中所采用的数据集,来源于论文Multispectral Pedestrian Detection:Benchmark Dataset and Baseline中已匹配的可见光-长波红外道路行人光电图像数据集。
本发明使用该数据集中白天所拍摄的数据,选取其中包括道路、校园、乡镇等多种环境下的35563组匹配数据作为训练集,对条件生成对抗网络进行训练.
步骤2,对条件生成对抗网络进行初始化。
如图3所示,条件生成对抗网络是一种有监督的深度学习神经网络,内部包含两个子网络,分别为生成网络和判别网络,其中在生成网络如图2所示,其由一个U-net编码-解码器构成,其中编码器使用8层卷积结构逐渐缩减输入图像数据的空间维度,而解码器通过8层解卷积结构逐步恢复图像的细节和相应的空间维度;判别网络,包含为5层卷积结构,其前4层的激活函数是rule函数,最后一层激活函数是sigmoid函数,判别网络可将可见光图像与对应红外图像进行组合并作为网络输入,再使用判别网络中的五层卷积层对输入进行下采样,得到采样后的特征图;
利用两个子网络之间的对抗原理来生成数据,其初始化为:
在生成网络中,将权重参数初始均值设为0,将初始方差设为0.02的正态分布;
在判别网络中,将权重参数初始均值设为0,将初始方差设为0.02的正态分布;
将两个网络的偏置参数均初始设置为0。
步骤3,使用生成网络对可见光图像进行特征提取。
利用生成网络的U-net编码-解码器对可光图像进行细节特征提取,提取过程包括编码和解码操作,其实现步骤如下:
(3a)编码操作:使用生成网络中的8层卷积结构对可见光图像进行下采样,其中卷积核尺寸均设为3*3,并且在每次下采样后对特征通道数加倍,以完成编码操作,得到编码特征图;
(3b)解码操作:使用生成网络中的8层的解卷积结构对(3a)得到的编码特征图进行上采样,同时将解卷积结构的每一层与卷积结构的每一层进行对称连接,从而完成解码操作,通过对称连接操作,可使得输出的红外图像与输入的可将光图像结构一致,避免了在卷积过程中图像信息丢失情况,增加了生成网络的模型可信度;
(3c)在完成生成网络的编码和解码过程后,得到生成的红外特征图像,以及对应的可见光-红外图像的转换结构。
步骤4,使用判别网络对转换结构进行判断,并构造条件生成对抗网络的损失函数
(4a)对于一组可见光图像与对应的红外图像,判别网络先将可见光图像与对应红外图像进行组合并作为网络输入,再使用判别网络中的五层卷积层对输入进行下采样,得到采样后的特征图;
(4b)对采样后的特征图进行逻辑判断,即使用判别网络的sigmoid激活函数对(4a)得到特征图进行非线性映射,将其特征信息压缩到0和1之间,其中:
将可见光-真实红外图像组合(x,y)所对应特征图的特征信息压缩为1,作为逻辑真,x为可见光图像,y为真实的红外图像;
将可见光-生成红外图像组合(x,G(x,z))所对应特征图的特征信息压缩为0,作为逻辑假,G(x,z)为生成网络所生成的红外图像;
(4c)依据(4b)的逻辑判别结果和(3c)生成的红外特征图像,构造条件生成对抗网络中的损失函数G*
其中:λ为自定义数值,表示生成网络的l1范数损失函数在条件生成对抗网络损失函数中所占比例,可通过在训练网络前调节该参数数值,来优化网络参数模型,使得网络模型最终生成的红外图像更接近真实红外图像,本发明经多次试验,选择最优值λ=100;
LCGAN(G,D)为条件生成对抗网络的目标函数,其中LCGAN(G,D)表达式为,
LCGAN(G,D)=Ex,y[log D(x,y)]+Ex,z[log(1-D(x,G(x,z)))],
式中G为(3c)中生成网络所生成的红外特征图像,D为(4b)中判别网络对特征图的判断结果,(x,y)表示可见光-红外光电图像转换结构,x为可见光图像数据,y为红外图像数据,G(x,z)为生成网络在随机噪声z和可见光图像数据x的条件下,生成的红外图像;D(x,y)表示判别网络在可见光和红外光图像转换结构(x,y)条件下,判别x与y的转换结构为真的概率,1-D(x,G(x,z))表示,判别网络D在判断x与G(x,z)的转换结构为假的概率,E表示期望均值;
为生成网络的l1范数损失函数,的表达式为:
式子中Ex,y,z表示条件生成网络的期望均值,这里使用生成红外图像与原始红外图像之间像素差值的l1范数作为本发明损失函数的一部分,来表征转换误差,以此来保证转换结果与原始图像在像素尺度上的相似性。
步骤5,使用Adam优化器对条件生成对抗网络的损失函数进行优化。
(5a)初始化条件生成网络损失函数中的参数矩阵,以及目标函数中参数梯度的一阶矩估计和二阶矩估计,即梯度均值和梯度的未中心化方差;
(5b)进行参数迭代,即使用Adam优化器中的矩估计衰减率参数,对(5a)目标函数中参数梯度的一阶矩估计和二阶矩估计进行更新,本实例将衰减参数值设为0.5;
(5c)根据(5b)得到更新后的一阶矩估计和二阶矩估计及条件生成对抗网络中的学习率参数,对条件生成对抗网络各参数进行更新,实现参数的动态调整,获得网络中各参数的最优值,从而完成对条件生成对抗网络的训练,在本实例中设学习率参数值为0.0002。
步骤6,将实时获取的可见光图像,转换生成为对应的红外图像;
对实时获取的可见光图像,使用训练得到的条件生成对抗网络对其进行图像转换,生成该可见光对应的红外图像。
本发明的效果可以通过以下的仿真结果进一步说明:
用本发明发明方法对拍摄的可见光图像进行图像转换,结果图4,其中:
图4(a)为拍摄的可见光图像,图4(b)为当前场景下拍摄的真实长波红外图像,图4(c)为使用本发明对图4(a)进行转换所生成的红外图像。
由图4(a)可看出,可见光下的街道场景包含路灯、车辆和行人多种红外辐射目标;由图4(b)可以看出,上述的目标在红外背景下具备较强的红外辐射特性。
将使用本发明所生成的红外图像4(c)与在当前场景下拍摄的真实长波红外图像4(b)进行比较,可以看出,两者在红外纹理细节特征、目标的辐射特性这些方面均具有高度的一致性,验证了本发明在可见光图像生成红外图像方面具有良好的图像转换效果。

Claims (5)

1.一种基于条件生成对抗网络的光电图像转换方法,其特征在于,包括如下:
(1)从数据库中获取已匹配好的可见光-红外光电图像数据集;
(2)使用已匹配的可见光-红外光电图像数据集,对条件生成对抗网络进行训练,得到适用于光电图像转换的条件生成对抗网络:
(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作;
(2b)使用生成网络对可见光图像进行编码和解码操作,生成红外图像,并得到对应的可见光-红外图像的转换结构;
(2c)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断,得到转换结构的逻辑判断结果,并依据逻辑判断结果与(2b)生成的红外图像,构造条件生成对抗网络的损失函数其中LCGAN(G,D)为条件生成对抗网络的目标函数,为生成网络的l1范数损失函数,λ为自定义数值,它表示生成网络的l1范数损失函数在条件生成对抗网络损失函数中所占比例;
(2d)使用Adam优化器对条件生成对抗网络的损失函数G*进行优化,得到训练后的条件生成对抗网络;
(3)对实时获取的可见光图像,使用训练得到的条件生成对抗网络对其进行图像转换,生成该可见光对应的红外图像。
2.根据权利要求1所述的方法,其特征在于:(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作,其实现包括如下:
在生成网络中,将权重参数初始均值设为0,将初始方差设为0.02的正态分布;
在判别网络中,将权重参数初始均值设为0,将初始方差设为0.02的正态分布;
将两个网络的偏置参数均初始设置为0。
3.根据权利要求1所述的方法,其特征在于:(2b)中使用生成网络对可见光图像进行编码和解码操作,生成红外图像,其实现包括如下:
(2b1)使用生成网络中的8层卷积结构进行图像下采样,其中卷积核大小均为3*3,并且在每次下采样后对特征通道数加倍,以完成编码操作,得到编码特征图;
(2b2)使用生成网络中的8层的解卷积结构对(2b1)得到的编码特征图进行上采样,同时将解卷积结构的每一层与卷积结构的每一层进行对称连接,从而完成解码操作,得到生成的红外图像特征图。
4.根据权利要求1所述的方法,其特征在于:(2c中)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断,并构造条件生成对抗网络的损失函数,其实现包括如下:
(2c1)对于一组可见光图像与对应红外图像,判别网络先将可见光图像与对应红外图像进行组合并作为网络输入,再使用判别网络中的五层卷积层对输入进行下采样,得到采样后的特征图;
(2c2)对采样后的特征图进行逻辑判断,即使用判别网络的sigmoid激活函数对(2c1)得到特征图进行非线性映射,将其特征信息压缩到0和1之间,其中:
将可见光-真实红外图像组合(x,y)所对应特征图的特征信息压缩为1,作为逻辑真,x为可见光图像,y为真实的红外图像;
将可见光-生成红外图像组合(x,G(x,z))所对应特征图的特征信息压缩为0,作为逻辑假,G(x,z)为生成网络所生成的红外图像。
(2c3)依据(2c2)的逻辑判别结果和(3c)生成的红外特征图像,构造条件生成对抗网络中的损失函数
5.根据权利要求1所述的方法,其特征在于:(2d)使用Adam优化器对条件生成对抗网络的目标函数进行优化,其实现包括如下:
(2d1)初始化条件生成网络目标函数中的参数矩阵,以及目标函数中参数梯度的一阶矩估计和二阶矩估计,即梯度均值和梯度的未中心化方差;
(2d2)进行参数迭代,即使用Adam优化器中的矩估计衰减率参数,对(2d1)目标函数中参数梯度的一阶矩估计和二阶矩估计进行更新;
(2d3)根据(2d2)得到的更新后的一阶矩估计和二阶矩估计及条件生成对抗网络中的学习率参数,对条件生成对抗网络的各参数进行更新,实现参数的动态调整,完成对条件生成对抗网络的训练。
CN201811246302.1A 2018-10-24 2018-10-24 基于条件生成对抗网络的光电图像转换方法 Pending CN109472837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246302.1A CN109472837A (zh) 2018-10-24 2018-10-24 基于条件生成对抗网络的光电图像转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246302.1A CN109472837A (zh) 2018-10-24 2018-10-24 基于条件生成对抗网络的光电图像转换方法

Publications (1)

Publication Number Publication Date
CN109472837A true CN109472837A (zh) 2019-03-15

Family

ID=65664131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246302.1A Pending CN109472837A (zh) 2018-10-24 2018-10-24 基于条件生成对抗网络的光电图像转换方法

Country Status (1)

Country Link
CN (1) CN109472837A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110209846A (zh) * 2019-04-25 2019-09-06 深圳大学 基于无人机指令序列的数据集构建方法、装置及终端设备
CN110263621A (zh) * 2019-05-06 2019-09-20 北京迈格威科技有限公司 图像识别方法、装置及可读存储介质
CN110472089A (zh) * 2019-08-16 2019-11-19 重庆邮电大学 一种基于对抗生成网络的红外和可见光图像检索方法
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质
CN110633682A (zh) * 2019-09-19 2019-12-31 合肥英睿系统技术有限公司 基于双光融合的红外图像的异常监测方法、装置、设备
CN110675316A (zh) * 2019-08-29 2020-01-10 中山大学 基于条件生成对抗网络的多域图像转换方法、系统及介质
CN110728188A (zh) * 2019-09-11 2020-01-24 北京迈格威科技有限公司 图像处理方法、装置、系统和存储介质
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN112308113A (zh) * 2020-09-23 2021-02-02 济南浪潮高新科技投资发展有限公司 一种基于半监督的目标识别方法、设备及介质
CN112906521A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种基于生成对抗网络的红外图像生成系统及方法
CN113221897A (zh) * 2020-02-06 2021-08-06 马上消费金融股份有限公司 图像矫正方法、图像文本识别方法、身份验证方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王雅欣 等: "《基于生成对抗网络的人脸热红外图像生成》", 《信息技术与网络安全》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110209846A (zh) * 2019-04-25 2019-09-06 深圳大学 基于无人机指令序列的数据集构建方法、装置及终端设备
CN110263621A (zh) * 2019-05-06 2019-09-20 北京迈格威科技有限公司 图像识别方法、装置及可读存储介质
CN110472089A (zh) * 2019-08-16 2019-11-19 重庆邮电大学 一种基于对抗生成网络的红外和可见光图像检索方法
CN110472089B (zh) * 2019-08-16 2022-03-11 重庆邮电大学 一种基于对抗生成网络的红外和可见光图像检索方法
CN110544239B (zh) * 2019-08-19 2021-12-17 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质
CN110675316A (zh) * 2019-08-29 2020-01-10 中山大学 基于条件生成对抗网络的多域图像转换方法、系统及介质
CN110675316B (zh) * 2019-08-29 2021-07-09 中山大学 基于条件生成对抗网络的多域图像转换方法、系统及介质
CN110728188A (zh) * 2019-09-11 2020-01-24 北京迈格威科技有限公司 图像处理方法、装置、系统和存储介质
CN110728188B (zh) * 2019-09-11 2022-12-02 北京迈格威科技有限公司 图像处理方法、装置、系统和存储介质
CN110633682A (zh) * 2019-09-19 2019-12-31 合肥英睿系统技术有限公司 基于双光融合的红外图像的异常监测方法、装置、设备
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN113221897A (zh) * 2020-02-06 2021-08-06 马上消费金融股份有限公司 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN112308113A (zh) * 2020-09-23 2021-02-02 济南浪潮高新科技投资发展有限公司 一种基于半监督的目标识别方法、设备及介质
CN112906521A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种基于生成对抗网络的红外图像生成系统及方法

Similar Documents

Publication Publication Date Title
CN109472837A (zh) 基于条件生成对抗网络的光电图像转换方法
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
Shao et al. Remote sensing image fusion with deep convolutional neural network
CN110097528B (zh) 一种基于联合卷积自编码网络的图像融合方法
Liu et al. MLFcGAN: Multilevel feature fusion-based conditional GAN for underwater image color correction
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111275647A (zh) 一种基于循环生成对抗网络的水下图像复原方法
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111709902A (zh) 基于自注意力机制的红外和可见光图像融合方法
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN111402306A (zh) 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN103971329A (zh) 一种基于遗传优化细胞神经网络的多源图像融合方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN112634184A (zh) 基于融合性卷积神经网络的rgb图像光谱反射率重建方法
CN114119356A (zh) 基于CycleGAN的热红外图像转类可见光彩色图像方法
CN112766217B (zh) 基于解纠缠和特征级差异学习的跨模态行人重识别方法
Ye et al. An unsupervised SAR and optical image fusion network based on structure-texture decomposition
Schirrmeister et al. When less is more: Simplifying inputs aids neural network understanding
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN115620150B (zh) 基于孪生Transformer的多模态图像地面建筑识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190315