CN113902947B - 一种自然图像的对空目标红外图像生成式对抗网络构建方法 - Google Patents
一种自然图像的对空目标红外图像生成式对抗网络构建方法 Download PDFInfo
- Publication number
- CN113902947B CN113902947B CN202111175362.0A CN202111175362A CN113902947B CN 113902947 B CN113902947 B CN 113902947B CN 202111175362 A CN202111175362 A CN 202111175362A CN 113902947 B CN113902947 B CN 113902947B
- Authority
- CN
- China
- Prior art keywords
- infrared
- infrared image
- image
- rgb
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000013508 migration Methods 0.000 claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001559 infrared map Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003471 anti-radiation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自然图像的对空目标红外图像生成式对抗网络构建方法，包括S1.基于领域自适应迁移的思想，构建自动生成RGB图像到红外图像的生成对抗网络模型；S2.训练生成对抗网络模型，并采用生成对抗网络模型，在原有交通红外图像数据库和少量对空目标红外图像数据集的基础上，生成并扩充对空红外目标数据集；S3.基于对空红外目标数据集，从结构相似性、对空视频分辨率、检测速度和正确识别率几个指标评估生成对抗网络模型性能。本发明一种自然图像的对空目标红外图像生成式对抗网络技术具有效率高，创新性高，实用性强的优点。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种自然图像的对空目标红外图像生成式对抗网络构建方法。
背景技术
空中红外目标探测与识别在空中侦察和防空武器等领域有着重要的研究意义和应用价值，常规的主动雷达成像探测与可见光成像探测存在诸多不足，难以满足一些实际探测需求。例如，雷达由于机动性差，工作地形容易受到限制，易受到干扰和反辐射导弹攻击，对低空、超低空发现目标困难等缺点在作战中不仅难以发挥作用，还可能成为敌方的“活靶子”。又例如，可见光成像探测很容易被云层、烟雾等因素干扰，并且容易被不同的伪装手段欺骗。另外，可见光成像只能在光照度较好的条件下工作，导致不能全天时工作。
而红外图像可以利用目标热辐射被动探测，不易受到敌方干扰和反射导弹的攻击，在恶劣的电磁环境下，仍能正常工作，自身无辐射源，属于被动探测，不需要向外界发送信号，利于隐蔽，并且可以全天时工作。
红外探测具有环境适应性好、隐蔽性好、抗干扰能力强、能在一定程度上识别伪装目标，且设备体积小、重量轻、功耗低等特点，在军事上被广泛应用于红外夜视、红外侦察以及红外制导等方面。
目前在红外探测技术中，红外成像可以根据目标物体的热辐射情况得到目标图像的灰度分布，可全天候使用，尤其是在夜晚环境下能够较好的进行工作，通过对目标所产生的红外辐射探测，实现对目标的检测、识别和攻击。为了更精确地打击空中红外目标，需要多角度、多尺度地对目标进行观测。然而，在远距离观测时，目标图像分辨率较小，目标包含的像素值较少，并缺乏几何形状、纹理结构等特征，可利用的信息较少，增加了空中红外目标的识别难度。
针对基于红外图像的对空目标检测，大规模的数据采集和标注样本相对困难或者代价极高，限制了深度学习在该领域的应用。例如，部分军用飞机比较罕见以及出于保护隐私的需要，公开的数据极其有限，图2是一组红外图像数据集图片。生成样本丰富的对空目标数据集，继而可提供对空目标检测的性能。然而，目前大多数特征提取技术和机器学习框架，都针对可见光数据集进行优化，在红外图像领域却鲜有大规模公开的数据集可用于目标检测任务，这也是取得性能改善要解决的难点和痛点。
近年来，随着深度学习算法的迅速发展，涌现出许多基于神经网络的新框架，其中生成对抗网络(Generative Adversarial Networks，GAN)可实现无需标记训练样本的无监督学习，已广泛应用于可见光图片生成、补全、风格转换等任务。生成对抗网络的基本思想是学习训练样本的概率分布，通过设定参与游戏双方分别为生成器和判别器，生成器的目的是尽量去学习真实的数据分布，而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器；为了取得游戏胜利，这两个游戏参与者需要不断优化，各自提高自己的生成能力和判别能力，这个学习优化过程就是寻找二者之间的一个纳什均衡。GAN能学习真实样本的分布，探索样本的真实结构，同时具有更强大的预测能力。
目前研究存在的问题：
(1)在实际应用中，有些场景和目标的红外图像很难获取，而且数据量少，但可以获取目标和场景大量彩色图像，为了得到大量红外图像数据，因此将彩色图像转换为红外图像是进行数据增强的一种很好的思路。例如，红外多光谱图像的仿真生成；基于可见光图像的红外场景仿真和基于可见光图像仿真生成红外图像的方法：通过对可见光图像进行分割、材质标定、温度计算、辐射计算、细节调制最终生成红外图像。但是这些基于仿真的方法是一个复杂的过程，需要大量计算和建立复杂的模型；
(2)传统的GAN模型对于数据的属性不加限定，无法有效地控制生成的结果，在生成的图像中往往会存在较多的噪点；此外，传统GAN模型一次只能学习一类数据，对于包含多个类的数据样本集，需逐类学习及生成相应类的样本集，导致效率低下。最近有很多工作基于GAN来作图像生成，一种方式是基于服从某一分布的随机向量生成图像，该方法的基本思想是用一个多层神经网络实现一个非线性的映射，该映射可以将采样的随机向量映射为目标域中的图像。例如标准GAN、集成高斯混合模型的条件生成对抗网络、信息最大化生成对抗网络(Info-GAN)、自注意力生成对抗网络(SAGAN)等。但是目前国内外很少有公开文献将GAN模型应用于红外目标的图像生成领域。
(3)现阶段的目标识别框架，如RCNN、Faster-RCNN、SSD、YOLO等算法主要针对自然场景的可见光图像，网络结构复杂、参数量大，为了在计算资源和存储资源有限的情况下实现最优的精度，将卷积神经网络更好地应用于对空目标检测中。需要改进原有模型，从而在平均精确度、模型尺寸和检测速度方面取得很好的平衡，将其直接应用于空中红外目标识别中。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种自然图像的对空目标红外图像生成式对抗网络构建方法，可实现对空目标红外图像行业中专业性强的图像生成，同时解决计算量大和模型复杂的问题。
为实现上述技术目的，本发明采取的技术方案为：
一种自然图像的对空目标红外图像生成式对抗网络构建方法，包括：
S1.基于领域自适应迁移的思想，构建自动生成RGB图像到红外图像的生成对抗网络模型；
S2.训练生成对抗网络模型，并采用生成对抗网络模型，在原有交通红外图像数据库和少量对空目标红外图像数据集的基础上，生成并扩充对空红外目标数据集；
S3.基于对空红外目标数据集，从结构相似性、对空视频分辨率、检测速度和正确识别率几个指标评估生成对抗网络模型性能。
为优化上述技术方案，采取的具体措施还包括：
上述的生成对抗网络模型包括生成器、多尺度特征融合模块和联合判别器；
所述生成器，用于交通红外图像数据和对空目标红外图像数据的领域自适应迁移；
所述多尺度特征融合模块，用于提取不同尺度的红外图像高纬度特征；
所述联合判别器，用于输入图像深度特征与红外图像高纬度特征的组合。
上述的生成器的输入为RGB图像数据，其进行交通红外图像数据和对空目标红外图像数据的领域自适应迁移，具体为：
首先，将交通RGB图像数据和对空目标RGB图像数据通过两个部分共享权重的编码器映射到潜在的高纬度联合子空间；
其次，利用高斯随机过程，由交通数据的高纬度特征组合得到对空目标数据的高纬度特征；
最终，由共同的解码器解码生成对空目标红外图像数据。
上述的生成器包括两个编码器和一个共用的解码器，且两个编码器的后部网络层共享同一参数权重，具体的：
所述编码器共包含6个卷积残差块，每个卷积残差块分别由CNN层、BN层、RULU激活函数层组成，且后4个残差块采用权重共享的方式；
对应的，解码器由6个反卷积残差块组成。
上述的多尺度特征融合模块的输入是生成的假对空目标RGB图像和真对空目标RGB图像，输出是从对应红外图像提取的高纬度特征；
所述多尺度特征融合模块，提取不同尺度的红外图像高纬度特征，具体为：
先采用CNN分别提取真红外图像与假红外图像的高维特征；
其次用优化器来最小化两者高维特征的欧式距离来来缩小其差异性并保证其空间一致性。
上述的多尺度特征融合模块包括3个多尺度的HDC模块；
所述HDC模块由空洞率为1，3，5的空洞卷积依次串联组成，实现多尺度的红外图像特征的提取。
上述的联合判别器的输入数据是RGB图像和与之对应的多尺度特征融合模块输出的特征；
所述联合判别器，对输入图像深度特征与红外图像高纬度特征进行组合，具体为：
先提取输入图像的深度特征，再与多尺度特征融合模块所得的特征相组合，最后经过多次卷积层输出一个是否为真对空目标RGB图像的概率值。
上述的联合判别器，先采用3个卷积层从红外图像中提取红外图像的特征；其次，将提取到红外图像特征与多尺度融合模块的相组合，最终，组合得到的特征经过多个卷积层最终输出概率值。
上述的S2所述训练生成对抗网络模型，包括有标签交通数据训练阶段和无标签领域迁移训练阶段；
其中，在无标签领域迁移训练阶段，基于领域自适应迁移的思想，实现在无标签情况下，交通红外图像数据到对空目标红外图像数据的迁移；
所述有标签交通数据训练阶段的具体计算方法为：
利用RGB图像和红外图像的交通数据集，训练编码器E1和解码器D1；
令生成器G1(·)＝D1(E1(·))，交通数据RGB图像I1，rgb通过生成器G1生成红外图像，则有以下损失函数：
其中，是对应的交通数据红外图标签；
采用Adam优化器来优化损失函数Losslabel，使整个模型收敛；
在训练过程中，保存每个交通数据的高纬度向量f，以供后续无标签阶段训练使用。
上述的无标签领域迁移训练阶段的具体计算方法为：
(1)固定编码器E1非共享部分权重和解码器D1权重，训练编码器E2。
对空目标数据在潜在联合空间的高纬度特征标签由交通红外图像数据的高纬度特征组合而成，则有：
其中，N代表交通红外图像数据的总数目，γi代表权重，fi是交通红外图像数据潜在联合空间的高纬度特征；
由高斯随机过程运算得到Zu，label；
令损失函数为：Lossu1＝||Zu，label-Zu，pre||2，
其中，Zu，pre是对空目标数据在潜在联合空间的高纬度特征；
令生成器G2(·)＝D1(E2(·))，则对空目标红外图I2，ir为：
其中，是收集的真实无标签对空红外RGB图像。
(2)借鉴Cycle Gan的思路，使由对空目标RGB图像生成的红外图像可以“恢复”为原RGB图像，保证物体的结构特征一致性；
由生成器G2生成对空目标红外图I2，ir；
令生成器G3(·)＝D2(E3(·))，则假对空目标RGB图像I2，rgb_f＝G3(I2，ir)；
先训练特征融合模块和联合判别器，使其可识别真与假地对空目标RGB图像，其次在训练生成器G3，使其生成的假地对空目标RGB图像可以欺骗联合判别器；
训练过程，优化以下损失函数：
Lossu2＝Lossf+Lossgan
其中，特征融合损失函数Lossf为。
其中，y(·)代表特征融合模块函数，是真实地对空目标RGB图像。特别地，Lossgan为：
在无标签领域迁移训练阶段，总体损失函数为：
Lossu＝Lossu1+Lossu2。
本发明具有以下有益效果：
本发明可实现对空目标红外图像数据集的建立和扩充，实现对空目标的检测、识别与定位，节省人力成本，具有效率高，准确率高，实用性强，专业性强的优点，同时解决了计算量大，过程复杂，模型复杂的问题。
附图说明
图1是本发明方法的流程图；
图2是本发明的红外图像数据集示意图；
图3是本发明的RGB图像生成红外图像流程图；
图4是本发明的生成器网络结构图；
图5是本发明的特征融合模块结构图；
图6是本发明的联合判别器网络结构图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
本发明提供一种自然图像的对空目标红外图像生成式对抗网络构建方法的流程图，其流程图如图1所示，具体包括以下步骤：
S1.基于领域自适应迁移(Domain Adaptation Transfer)的思想，构建自动生成RGB图像到红外图像的生成对抗网络模型；
本发明设计了新颖的基于领域自适应迁移训练生成对抗网络，可生成并扩充红外对空目标数据集，总体流程图由图3所示。
网络结构可分为生成器、多尺度特征融合模块和联合判别器。
本发明的生成器的具体设计方法为：
输入的RGB图像数据先进入生成器，在此生成器中进行交通红外图像数据和对空目标红外图像数据的领域自适应迁移。
交通红外图像数据与对空目标红外图像数据不属于同一分布空间。深度卷积神经网络可以将两个不同分布的数据映射到同一潜在领域(latent domain)的高维空间。在潜在的高纬度的联合子空间中，利用高斯随机过程运算方法，目标领域的高位特征可由原领域的高维特征组合而成。具体的，在潜在的高纬度联合子空间中，对空目标数据的高纬特征可由交通数据的高维特征组合而成。在此生成器中，具体流程为：
所述生成器的输入为RGB图像数据，其进行交通红外图像数据和对空目标红外图像数据的领域自适应迁移，具体为：
首先，将交通RGB图像数据和对空目标RGB图像数据通过两个部分共享权重的编码器映射到潜在的高纬度联合子空间；
其次，利用高斯随机过程，由交通数据的高纬度特征组合得到对空目标数据的高纬度特征；
最终，由共同的解码器解码生成对空目标红外图像数据。
生成器具体的网络结构图如图4(a)所示。该生成器由2个编码器和1个共用的解码器组成。由于共享参数权重有利于深度网络学到原领域和目标领域的潜在联合分布，故两个编码器的后部网络层共享同一参数权重。具体的，编码器共包含6个卷积残差块。如图4(b)所示，每个卷积残差块分别由CNN层、BN层、RULU激活函数层组成。为学到交通数据和对空目标数据的潜在联合分布，后4个残差块采用权重共享的方式。对应的，解码器由6个反卷积残差块组成。同理，在计算cycle loss过程中用到的另一生成器结构与本生成器类似。
本发明的多尺度特征融合模块的具体设计方法为：
特征融合模块的输入是生成的假对空目标RGB图像和真对空目标RGB图像，输出是从对应红外图像提取的高纬度特征。
生成的假红外图虽然能保持原RGB图像的结构特征，但仍存在不同程度的差异，如目标的姿态和视角等。本发明提出特征融合模块来提取红外图像的高纬度特征来解决以上问题。先采用CNN分别提取真红外图像与假红外图像的高维特征；
其次用优化器来最小化两者的欧式距离来来缩小其差异性并保证其空间一致性。
为提取不同尺度的红外图像特征，特征融合模块由3个多尺度的HDC模块组成。如图5(a)所示，HDC模块由空洞率为1，3，5的空洞卷积依次串联组成，这样既可提取多尺度的红外图像特征，又能避免产生由空洞卷积简单堆叠造成的栅格化问题。
本发明的联合判别器的具体设计方法为：
该判别器的输入数据是RGB图像和与之对应的融合特征。
在本模块中，先提取输入图像的深度特征，再与融合模块所得的特征相组合，最后经过多次卷积层输出一个是否为真对空目标RGB图像的概率值。
判别器网络结构图如图6所示：先采用3个卷积层从红外图像中提取红外图像的特征。其次，将提取到红外图像特征与多尺度融合模块的相组合。最终，新组合的特征经过多个卷积层最终输出概率值。
S2.训练生成对抗网络模型，并采用生成对抗网络模型，在原有交通红外图像数据库和少量对空目标红外图像数据集的基础上，生成并扩充对空红外目标数据集；
网络模型的训练分为有标签交通数据训练阶段和无标签领域迁移训练阶段；
其中，在无标签领域迁移训练阶段，基于领域自适应迁移的思想，实现在无标签情况下，交通红外图像数据到对空目标红外图像数据的迁移；
有标签交通数据训练阶段的具体计算方法为：
利用丰富RGB图像和红外图像的交通数据集，训练编码器E1和解码器D1；
令生成器G1(·)＝D1(E1(·))，交通数据RGB图像I1，rgb通过生成器G1生成红外图像，则有以下损失函数：
其中，是对应的交通数据红外图标签；
采用Adam优化器来优化损失函数Losslabel，使整个模型收敛；
在训练过程中，保存每个交通数据的高纬度向量f，以供后续无标签阶段训练使用。
无标签领域迁移训练阶段的具体计算方法为：
固定编码器E1非共享部分权重和解码器D1权重，训练编码器E2。
对空目标数据在潜在联合空间的高纬度特征标签由交通红外图像数据的高纬度特征组合而成，则有：
其中，N代表交通红外图像数据的总数目，γi代表权重，fi是交通红外图像数据潜在联合空间的高纬度特征；
由高斯随机过程运算得到Zu，label；
令损失函数为：Lossu1＝||Zu，label-Zu，pre||2，
其中，Zu，pre是对空目标数据在潜在联合空间的高纬度特征；
令生成器G2(·)＝D1(E2(·))，则对空目标红外图I2，ir为：
其中，是收集的真实无标签对空红外RGB图像。
借鉴Cycle Gan的思路，使由对空目标RGB图像生成的红外图像可以“恢复”为原RGB图像，保证物体的结构特征一致性。
由生成器G2生成对空目标红外图I2，ir；
令生成器G3(·)＝D2(E3(·))，则假对空目标RGB图像I2，rgb_f＝G3(I2，ir)；
先训练特征融合模块和联合判别器，使其可识别真与假地对空目标RGB图像，其次在训练生成器G3，使其生成的假地对空目标RGB图像可以欺骗联合判别器；
训练过程，优化以下损失函数：
Lossu2＝Lossf+Lossgan
其中，特征融合损失函数Lossf为。
其中，y(·)代表特征融合模块函数，是真实地对空目标RGB图像。特别地，Lossgan为：
在无标签领域迁移训练阶段，总体损失函数为：
Lossu＝Lossu1+Lossu2
S3.基于对空红外目标数据集，从结构相似性、对空视频分辨率、检测速度和正确识别率几个指标评估生成对抗网络模型性能。
经过测评，本发明设计的网络生成的空红外目标数据集，信噪比>25dB，结构相似性的评价指标Sa不低于0.7；
本发明能够采集、处理战斗机等红外目标视频，对空视频分辨率从240Pixel×180Pixel到640Pixel×360Pixel；本发明能够实现面向对空目标检测与识别，检测速度达到25frame/s，目标正确识别率≥90％。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (4)
1.一种自然图像的对空目标红外图像生成式对抗网络构建方法，其特征在于，包括：
S1.基于领域自适应迁移的思想，构建自动生成RGB图像到红外图像的生成对抗网络模型；
S2.训练生成对抗网络模型，并采用生成对抗网络模型，在原有交通红外图像数据库和少量对空目标红外图像数据集的基础上，生成并扩充对空红外目标数据集；
S3.基于对空红外目标数据集，从结构相似性、对空视频分辨率、检测速度和正确识别率几个指标评估生成对抗网络模型性能；
所述生成对抗网络模型包括生成器、多尺度特征融合模块和联合判别器；
所述生成器，用于交通红外图像数据和对空目标红外图像数据的领域自适应迁移；
所述生成器包括两个编码器和一个共用的解码器，且两个编码器的后部网络层共享同一参数权重，具体的：
所述编码器共包含6个卷积残差块，每个卷积残差块分别由CNN层、BN层、RULU激活函数层组成，且后4个残差块采用权重共享的方式；
对应的，解码器由6个反卷积残差块组成；
所述多尺度特征融合模块，用于提取不同尺度的红外图像高纬度特征；
所述多尺度特征融合模块包括3个多尺度的HDC模块；
所述HDC模块由空洞率为1，3，5的空洞卷积依次串联组成，实现多尺度的红外图像特征的提取；
所述联合判别器，用于输入图像深度特征与红外图像高纬度特征的组合；
所述联合判别器，先采用3个卷积层从红外图像中提取红外图像的特征；其次，将提取到红外图像特征与多尺度融合模块的相组合，最终，组合得到的特征经过多个卷积层最终输出概率值；
S2所述训练生成对抗网络模型，包括有标签交通数据训练阶段和无标签领域迁移训练阶段；
其中，在无标签领域迁移训练阶段，基于领域自适应迁移的思想，实现在无标签情况下，交通红外图像数据到对空目标红外图像数据的迁移；
所述有标签交通数据训练阶段的具体计算方法为：
利用RGB图像和红外图像的交通数据集，训练编码器E1和解码器D1；
令生成器G1(·)＝D1(F1(·))，交通数据RGB图像I1，rgb通过生成器G1生成红外图像，则有以下损失函数：
其中，是对应的交通数据红外图标签；
采用Adam优化器来优化损失函数Losslabel，使整个模型收敛；
在训练过程中，保存每个交通数据的高纬度向量f，以供后续无标签阶段训练使用；
所述无标签领域迁移训练阶段的具体计算方法为：
(1)固定编码器E1非共享部分权重和解码器D1权重，训练编码器E2；
对空目标数据在潜在联合空间的高纬度特征标签由交通红外图像数据的高纬度特征组合而成，则有：
其中，N代表交通红外图像数据的总数目，γi代表权重，fi是交通红外图像数据潜在联合空间的高纬度特征；
由高斯随机过程运算得到Zu，label；
令损失函数为：Lossu1＝||Zu，label-Zu，pre||2，
其中，Zu，pre是对空目标数据在潜在联合空间的高纬度特征；
令生成器G2(·)＝D1(E2(·))，则对空目标红外图I2，ir为：
I2，ir＝G2(I2，rgb_t)
其中，I2，rgb_t是收集的真实无标签对空红外RGB图像；
(2)借鉴Cycle Gan的思路，使由对空目标RGB图像生成的红外图像可以“恢复”为原RGB图像，保证物体的结构特征一致性；
由生成器G2生成对空目标红外图I2，ir；
令生成器G3(·)＝D2(E3(·))，则假对空目标RGB图像I2，rgb_f＝G3(I2，ir)；
先训练特征融合模块和联合判别器，使其可识别真与假地对空目标RGB图像，其次在训练生成器G3，使其生成的假的对空目标RGB图像可以欺骗联合判别器；
训练过程中，优化以下损失函数：
Lossu2＝Lossf+Lossgan
其中，特征融合损失函数Lossf为：
Lossf＝||y(I2，rgb_f)-y(I2，rgb_t)||
其中，y(·)代表特征融合模块函数，I2，rgb_t是真实地对空目标RGB图像；
特别地，Lossgan为：
则在无标签领域迁移训练阶段，总体损失函数为：
Lossu＝Lossu1+Lossu2。
2.根据权利要求1所述的一种自然图像的对空目标红外图像生成式对抗网络构建方法，其特征在于，所述生成器的输入为RGB图像数据，其进行交通红外图像数据和对空目标红外图像数据的领域自适应迁移，具体为：
首先，将交通RGB图像数据和对空目标RGB图像数据通过两个部分共享权重的编码器映射到潜在的高纬度联合子空间；
其次，利用高斯随机过程，由交通数据的高纬度特征组合得到对空目标数据的高纬度特征；
最终，由共同的解码器解码生成对空目标红外图像数据。
3.根据权利要求1所述的一种自然图像的对空目标红外图像生成式对抗网络构建方法，其特征在于，所述多尺度特征融合模块的输入是生成的假对空目标RGB图像和真对空目标RGB图像，输出是从对应红外图像提取的高纬度特征；
所述多尺度特征融合模块，提取不同尺度的红外图像高纬度特征，具体为：
先采用CNN分别提取真红外图像与假红外图像的高维特征；
其次用优化器来最小化两者高维特征的欧式距离来来缩小其差异性并保证其空间一致性。
4.根据权利要求1所述的一种自然图像的对空目标红外图像生成式对抗网络构建方法，其特征在于，所述联合判别器的输入数据是RGB图像和与之对应的多尺度特征融合模块输出的特征；
所述联合判别器，对输入图像深度特征与红外图像高纬度特征进行组合，具体为：
先提取输入图像的深度特征，再与多尺度特征融合模块所得的特征相组合，最后经过多次卷积层输出一个是否为真对空目标RGB图像的概率值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175362.0A CN113902947B (zh) | 2021-10-09 | 2021-10-09 | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175362.0A CN113902947B (zh) | 2021-10-09 | 2021-10-09 | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902947A CN113902947A (zh) | 2022-01-07 |
| CN113902947B true CN113902947B (zh) | 2023-08-25 |
Family
ID=79190713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111175362.0A Active CN113902947B (zh) | 2021-10-09 | 2021-10-09 | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902947B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115541030B (zh) * | 2022-09-21 | 2024-02-27 | 中冶南方工程技术有限公司 | 高炉炉顶料面温度分布的识别方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
| CN111145131A (zh) * | 2019-11-28 | 2020-05-12 | 中国矿业大学 | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 |
| CN113222824A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 一种红外图像超分辨率及小目标检测方法 |
| CN113420639A (zh) * | 2021-06-21 | 2021-09-21 | 南京航空航天大学 | 基于生成对抗网络的近地面红外目标数据集建立方法及装置 |
-
2021
- 2021-10-09 CN CN202111175362.0A patent/CN113902947B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145131A (zh) * | 2019-11-28 | 2020-05-12 | 中国矿业大学 | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 |
| CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
| CN113222824A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 一种红外图像超分辨率及小目标检测方法 |
| CN113420639A (zh) * | 2021-06-21 | 2021-09-21 | 南京航空航天大学 | 基于生成对抗网络的近地面红外目标数据集建立方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 亢伉 ; .利用对抗生成网络的视觉显著性预测研究.电子设计工程.2020,(第08期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902947A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Deep learning-based classification and reconstruction of residential scenes from large-scale point clouds | |
| Geng et al. | Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles | |
| CN111460968A (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
| Peng et al. | Battlefield image situational awareness application based on deep learning | |
| CN109063549A (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN113902947B (zh) | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 | |
| CN117237740A (zh) | 一种基于CNN和Transformer的SAR图像分类方法 | |
| CN112766102A (zh) | 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法 | |
| CN115984439A (zh) | 一种伪装目标的三维对抗纹理生成方法和装置 | |
| Zhang et al. | Learning nonlocal quadrature contrast for detection and recognition of infrared rotary-wing UAV targets in complex background | |
| CN114419444A (zh) | 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法 | |
| CN112906564B (zh) | 用于无人机载sar图像自动目标识别的智能决策支持系统设计及实现方法 | |
| CN112598032B (zh) | 面向红外图像对抗攻击的多任务防御模型构建方法 | |
| CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
| Lin et al. | Infrared small target detection based on YOLO v4 | |
| CN109767434A (zh) | 基于神经网络的时域弱小目标检测方法 | |
| Liu et al. | Remote sensing fine-grained ship data augmentation pipeline with local-aware progressive image-to-image translation | |
| CN108268533A (zh) | 一种用于图像检索的图像特征匹配方法 | |
| Wu et al. | A Review of Camouflaged Target Detection Research | |
| Wang et al. | Remote sensing image super-resolution reconstruction based on generative adversarial network | |
| Wang et al. | Exploring the response mechanism of remote sensing images in monitoring fixed assets investment project in terms of building detection | |
| Wang et al. | A Joint Detection Method for Military Targets and Their Key Parts for UAV Images | |
| Wang et al. | Motion parallax estimation for ultra low altitude obstacle avoidance | |
| Junfei et al. | Research on UAV Image Recognition Based on Convolutional Neural Network | |
| Gan et al. | A camouflage target detection method based on local minimum difference constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |