CN112767297B - 基于图像衍生的复杂背景下红外无人机群目标仿真方法 - Google Patents
基于图像衍生的复杂背景下红外无人机群目标仿真方法 Download PDFInfo
- Publication number
- CN112767297B CN112767297B CN202110163909.9A CN202110163909A CN112767297B CN 112767297 B CN112767297 B CN 112767297B CN 202110163909 A CN202110163909 A CN 202110163909A CN 112767297 B CN112767297 B CN 112767297B
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- aerial vehicle
- infrared
- org
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000004088 simulation Methods 0.000 title claims abstract description 56
- 238000009795 derivation Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000002156 mixing Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000006731 degradation reaction Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 37
- 230000015556 catabolic process Effects 0.000 claims description 28
- 239000000203 mixture Substances 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 5
- 230000007850 degeneration Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明属于红外图像仿真领域，公开了一种基于图像衍生的复杂背景下红外无人机群目标仿真方法。该方法包括步骤：(S1)对红外视频进行预处理，得到原始无人机模板数据集和背景模板数据集；(S2)制作模糊‑复原数据集；(S3)对进化‑退化对抗网络模型进行有监督预训练与无监督微调；(S4)使用对抗网络模型进行无人机模板提取、背景叠加、图像复原；(S5)联合求解高斯‑泊松方程得到仿真图像；(S6)多次混合多个原始无人机模板得到红外无人机群仿真图像。本发明方法能够剔除红外无人机图像中的背景信息，提取高清晰度和信噪比的无人机模板与背景模板进行混合，去除了合成图像的深色伪影，得到了调和度和视觉真实性较高的合成图像。
Description
技术领域
本发明属于红外图像仿真与图像编辑领域，涉及红外图像编辑与人工神经网络训练，实现了一种基于图像衍生的复杂背景下红外无人机群目标仿真方法。
背景技术
现代小型无人机技术日趋成熟，由于其具备挂载枪支和爆炸物等危险物品的能力，因而对社会公共秩序与国防安全产生了严重威胁。不同背景下的包含无人机、无人机群的红外视频图像是红外无人机目标识别跟踪算法研究和验证基础，但受限于无人机协同技术的高复杂度和高昂的人力物力资源消耗，使得更多研究者选择利用仿真的方法来代替实测数据拍摄。为了满足无人机群目标检测跟踪算法验证、机器学习模型训练等需求，本发明实现了一种基于图像衍生的红外无人机群图像仿真方法，利用红外无人机图像模板与红外场景混合生成大量复杂背景下的无人机群红外图像数据。
现有的红外图像仿真技术大致可以分为两类：其一是对目标及背景通过红外特性分析建模进行反演并生成红外图像，在云层、海天、深空背景下的红外弱小目标仿真中通常采用此手段，但是对于复杂背景下的扩展目标仿真，其背景与目标建模复杂，且环境噪声复杂、干扰源较多，仿真结果往往违和感较大，难以真实还原出实测景象，仿真结果视觉真实度较低，不利于识别、跟踪算法的设计、验证以及机器学习模型的训练。其二是基于实测的目标图像与背景图像混合的方法实现仿真，其具体步骤为首先建立目标模板库，而后通过距离仿射变换、噪声叠加后，将模板与不同的背景图像通过某种图像混合算法进行融合。该方法的优势在于，目标与背景皆来自真实数据，因而仿真结果与真实情况更加接近，其生成结果更适合用于深度学习方法的训练、以及各种目标检测跟踪方法的验证。特别是在如高价值固定区域安防、边海防预警等已知环境背景的应用场景下，可对无人机、无人机群恶意来袭的真实场景进行图像的模拟和仿真，更具实用价值。
图像合成算法是基于图像混合的仿真方法的关键。由于实际应用场景中，复杂背景下的红外无人机目标通常由于大气传输、失焦、剧烈运动等因素而造成图像退化问题，进而导致目标边缘模糊，难以提取出清晰的无人机目标模板。因此，目前现有的图像混合算法对于红外无人机图像的生成结果的特征表现与现实情况具有差异，具体体现在混合图像中目标边界有明显的黑色伪影、目标与图像不调和、混合前后目标灰度特性变化较大等问题。
发明内容
针对基于图像混合的红外无人机群目标仿真方法中，目标模板难以分离、合成图像调和度低、特性不一致的问题，利用对偶生成对抗网络进化-退化网络的进化生成器进行原始模板图像的清晰化；而后提取清晰化的目标模板并与背景图像进行叠加，进而利用进化-退化网络的退化生成器对叠加图像进行图像复原，得到合成图像的复原图像；最后将上述输出结果作为灰度约束项，将原始无人机模板图像的梯度特征作为梯度约束项，对高斯-泊松方程进行联合优化求得闭式解，得到目标-背景混合图像，重复上述过程实现复杂背景下的无人机群目标图像的仿真。具体技术方案如下：
一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，主要包括以下步骤：
(S1)对包含单个无人机目标的红外视频进行预处理，得到原始无人机模板数据集；对不包含无人机目标的红外视频进行预处理，得到背景模板数据集；
(S2)使用公开的红外数据集制作模糊-复原数据集；所述模糊-复原数据集包括红外数据集中的红外图像，及利用高斯核对该红外图像进行退化处理得到的模糊图像，其中，所述红外图像与所述模糊图像一一对应；
(S3)构建进化-退化对抗网络模型，先使用(S2)中的模糊-复原数据集对进化-退化对抗网络进行有监督预训练，再使用(S1)生成的原始无人机模板数据集对进化-退化对抗网络进行无监督微调，得到训练好的进化-退化对抗网络模型；所述进化-退化网络包括两个具有相同网络结构的子网络，每个子网络均包含一个生成器和一个判别器，所述生成器和所述判别器分别用于实现图像的生成与鉴别；
(S4)分别使用(S3)训练好的进化-退化对抗网络模型中的进化网络与退化网络依次进行无人机模板提取、背景叠加、图像复原，得到复原后的合成图像；
(S5)利用(S4)中得到的合成图像与所述步骤(S1)中的原始无人机模板数据集中的原始无人机模板分别作灰度约束与梯度约束，通过求解高斯-泊松方程进行联合优化，得到复杂背景下的红外无人机仿真图像；
(S6)重复(S4)-(S5)过程，根据需求在同一幅红外无人机仿真图像中混合多个原始无人机模板，得到红外无人机群仿真图像。
优选地，所述步骤(S1)中对包含单个无人机目标的红外视频进行预处理的具体过程为：利用红外探测器获取空中无人机目标的红外视频，对红外视频中的无人机目标进行人工标注，根据标注信息提取无人机目标切片，而后对无人机目标切片进行像素级标注，生成每个无人机目标对应的二值掩膜图像，将所述二值掩膜覆盖下的无人机目标切片作为该无人机目标对应的原始无人机模板；
所述步骤(S1)中对不包含无人机目标的红外视频进行预处理的具体过程为：截取不含无人机目标的红外视频中的图像作为背景模板；
多个原始无人机模板构成原始无人机模板数据集，多个背景模板构成背景模板数据集。
优选地，所述步骤(S2)中模糊-复原数据集制作过程为：对Flir红外公开数据集中的车辆目标进行人工标注，标注出车辆目标长、宽、中心点坐标信息，而后根据标注信息提取红外公开数据集中的红外车辆目标切片，将所述红外车辆目标切片缩放至预设尺寸后，利用高斯核对图像进行模糊退化处理，得到模糊图像；模糊退化处理前后的图像切片作为一组标签数据，得到模糊-复原数据集H。
优选地，所述步骤(S3)中进化-退化对抗网络的有监督预训练具体过程为：利用(S2)中模糊-复原数据集，对进化-退化对抗网络进行有监督的预训练，其损失函数Lpt为：
Lpt(forg,fsrc,Forg,Fsrc)＝λLR(forg,fsrc,Forg,Fsrc)+(1-λ)LA(forg,fsrc,Forg,Fsrc)(1)
式中，λ表示权重值，LR表示两个子网络的重建损失，LA表示对抗损失；训练样本为模糊-复原数据集H，其中包括模糊图像fsrc，以及模糊图像fsrc对应的原始图像forg，Forg表示由进化生成器GE(·)生成的高清晰度的中间图像，Fsrc由退化生成器DE(·)生成的复原图像；
重建损失LR由生成的中间图像Forg与原始图像forg的L2损失得到：
对抗损失LA为：
在该过程中，首先将模糊图像fsrc输入进化生成器GE(·)训练模型的图像去模糊任务，得到高清晰度中间图像Forg，其对应标签为原始图像forg；计算两图像之间的L2距离作为GE(·)部分的重建损失，同时分别将Forg与forg输入进化判别器DE(·)进行真假判别，其中Forg标注为假值，forg标注为真值，进而得到进化判别器的对抗损失；退化生成器GD(·)与判别器DD(·)的训练过程与上述过程相同，其中退化生成器GD(·)的输入图像为进化生成器GE(·)的输出结果Forg，即GE(fsrc)，退化生成器的输出结果Fsrc标注为假值，真值为模糊图像fsrc；E(·)表示求期望值；
所述步骤(S3)中进化-退化对抗网络的无监督微调具体过程为：
利用原始无人机模板对进化-退化对抗网络进行无监督微调，其损失函数Lupt为：
Lupt(forg,fsrc,Forg,Fsrc)＝λLC(forg,fsrc,Forg,Fsrc)+(1-λ)LA(forg,fsrc,Forg,Fsrc)(4)
在模糊图像fsrc中增加步骤(S1)中的无人机目标切片，得到混合模糊图像fsrc′，混合模糊图像fsrc′与原始图像forg组成无监督数据集H′，循环损失LC定义为：
首先将混合模糊图像fsrc′输入进化生成器，得到中间图像结果Forg′；而后将中间结果图像Forg′和forg，一同输入至退化生成器，得到退化图像Fsrc′，同样地将生成的退化图像Fsrc′作为新的模糊图像继续上述循环，利用梯度下降法进行反复迭代直至收敛，得到微调后的进化-退化对抗网络模型。
优选地，所述步骤(S4)中无人机模板提取、背景叠加、图像复原的具体过程为：
(S41)将(S1)中的原始无人机模板输入训练好的进化-退化对抗网络中的进化网络对进行图像去模糊，得到具有较高信噪比、具有清晰边缘的清晰无人机图像，利用边缘检测算法对该图像进行分割得到清晰无人机模板；
(S42)将得到的清晰无人机模板叠加至(S1)中的任意背景模板，得到叠加图像；
(S43)将步骤(S42)中获取的叠加图像输入训练好的进化-退化对抗网络模型中的退化网络对进行图像复原，得到复原图像。
优选地，所述步骤(S5)的具体计算过程为：
用(S4)中得到的复原图像作为灰度约束，即重建图像的低频部分，使得联合优化结果Fblend的局部灰度值逼近复原图像的灰度特征；用(S1)中的原始无人机模板作为梯度约束，即重建图像的高频部分，使得联合优化结果Fblend的局部纹理等高频细节逼近原始无人机模板，
高斯-泊松方程进行联合优化目标函数为：
式中β为灰度约束的权重项；G(·)为高斯滤波器；
为拉普拉斯算子；对梯度约束的描述采用图像散度divσ来描述，具体表示为：
其中Δ为散度算子，t表示图像中的第t个像素点，
表示该像素点的灰度值；求解得到最小化式(6)的闭式解Fblend即为最终合成图像；
表示背景模板fdst的第t个像素点；
表示模糊图像fsrc的第t个像素点，t取正整数。
优选地，所述步骤(S2)中高斯核的尺寸约束大小为3×3至10×10。
优选地，在损失函数Lpt和损失函数Lupt中，权重值λ设置为0.5。
优选地，所述高斯-泊松方程进行联合优化目标函数中，灰度约束的权重项β设置为1。
为了充分理解本发明，下面对技术方案中涉及的相关原理进行说明。
图像混合作为图像编辑和图像仿真领域的基础任务之一，其目的在于实现目标图像与背景图像之间的无缝拼接和融合，融合结果不仅需要视觉上自然逼真，还需要符合目标的真实物理特性。图像混合任务的目的是通过图像混合算法提高融合图像FBlending中的目标部分与背景的空间一致性与色彩一致性，即在分辨率不变的前提下使得融合图像FBlending的语义性与目标源保持一致，图像灰度与背景保持协调，在视觉上呈现出真实性和自然性。此外，利用此方法进行红外图像混合仿真过程中，由于目标模板与叠加背景图像由同一探测器在相同的外部条件下获取，因此需要保证目标源与混合后的目标保持灰度与结构具有较高一致性，从而确保混合图像FBlending与获取的原始红外图像具有相同的信噪比，使得混合图像更加逼近真实值。
在红外无人机图像仿真任务中，由于红外无人机图像的特性，使得现有的经典图像混合方法在本任务中的混合效果均不理想：与高分辨率下的静态可见光图像不同，红外图像中的运动无人机通常因为失焦模糊、运动/微动模糊、大气衰减等因素造成图像质量的退化，从而难以通过分割算法或人工裁剪的到边缘清晰的目标模板，而是得到边缘模糊的图像模板。传统的基于图像编辑的融合方法如基于图像加权叠合的方法、基于梯度不变性的图像混合方法没有体现红外成像中的图像退化过程，因此该混合方法掺杂原始模板的背景信息，使得混合结果产生了目标与背景间的深色伪影、混合图像调和度低、混合前后目标灰度特性变化较大等问题。
为解决上述问题，本发明使用对偶生成式对抗网络：进化-退化网络，通过监督预训练与无监督的微调反演红外成像过程中的图像退化过程，从而提取出具有清晰边缘和高信噪比的无人机模板图像，使用该模板与新背景叠加后使用该网络的对偶网络还原图像退化过程实现图像混合前后的特性统一；而后使用该混合图像作为灰度约束、原始无人机模板的梯度图像作为梯度约束实现高斯-泊松方程的联合优化，最终得到自然调和、目标灰度与结构特性一致性较高的混合图像。
进化-退化网络分为两个具有相同网络结构的子网络，即，进化网络NE与退化网络ND，分别用来实现原始图像去模糊任务与图像复原任务。每个子网络均包含一个生成器(GE(·)、GD(·))和一个判别器(DE(·)、DD(·))，分别用来实现对应图像的生成与鉴别该图像生成质量的优劣。
在该网络的训练过程中，涉及两个关键问题：一是在数据集与模型训练方面，由于该任务属于多任务学习范畴，即使用一个模型框架完成两个目标任务，即图像去模糊、图像复原，因此需要制作对应的数据集与联合训练方法；二是在迁移学习方面，需要并且对训练模型向该任务的数据域即红外无人机图像进行迁移，进而提高模型的鲁棒性与泛化能力。因此，在数据集与模型训练方面，本发明使用大规模公开红外数据集Flir红外数据集进行图像退化，从而生成具有标签的图像模糊-还原数据集H。具体为，原始图像作为清晰图像forg，退化后的图像作为模糊图像fsrc，因此可以令fsrc作为训练数据，forg作为标签，进行图像去模糊任务的训练；或将forg作为训练数据，forg本身作为标签，进行图像复原任务的训练。在迁移学习方面，本发明将原始无人机图像切片加入模糊图像集H，得到无监督数据集H′对模型进行迁移微调，由于缺少对应清晰图像作为标签，因此无法进行监督学习，因此本发明使用无监督学习的方式进行迁移。
在该网络的使用过程中，使用一个闭环框架同时完成图像去模糊与图像还原两个任务，从而实现背景剔除、模板提取、图像叠合、图像复原的流程。首先将原始无人机模板输入训练好的进化-退化对抗网络中的进化网络对进行图像去模糊，得到具有较高信噪比、具有清晰边缘的清晰无人机红外图像，利用边缘检测算法对该图像进行分割得到清晰模板。该过程通过去模糊操作剥离了原始模板中的背景信息，进而提高无人机模板的信噪比，减少仿真结果的噪声输入。而后使用该模板与新背景叠加后输入训练好的进化-退化对抗网络中的退化网络对进行图像复原，得到与原始无人机模板信噪比相近的复原图像，提高图像混合前后的特征一致性。
进化退化网络输出结果为经过图像还原重建后的混合图像fblend，其灰度特性与原始图像较为接近，但由于进行了图像退化过程，难以保证图像局部的高频细节，因此我们将fblend作为灰度约束求解泊松-高斯方程的方式得到最终混合图像Fblend，以提高目标模板的梯度特征一致性，保持混合前后的分辨率并进一步提高混合图像的调和度。
进化退化网络的输出结果fblend经过了混合图像的恢复重建，在灰度特性与原始模板较为一致且具有较高的图像调和度，而原始目标模板中包含的高频细节(如局部纹理、边缘等)可以作为一项高频约束，来对fblend生成结果进行修正，进而保证最终混合图像的特征一致性。因此最终结果Fblend应满足两个限制条件：用进化退化网络生成的图像fblend作为灰度约束，即重建图像的低频部分，使得联合优化结果Fblend的局部灰度值逼近进化退化网络生成的灰度特征不变图像fblend；用原始图像fsrc的梯度信息作为梯度约束，即重建图像的高频部分，使得Fblend的局部纹理等高频细节逼近原始模板图像fsrc，最终得到具有高调和度、与原始图像特征一致性较高的仿真图像。
采用本发明获得的有益效果：
本发明方法能够有效剔除红外无人机图像中的背景信息，提取出清晰度、信噪比较高的无人机模板与背景进行叠合，而后将叠合图像进行图像复原，进而得到与原始无人机图像特征一致性较高的混合图像；最后将上述混合图像作为灰度约束项，将原始无人机模板图像的梯度特征作为梯度约束项，对高斯-泊松方程进行联合优化，最终得到具有高调和度的仿真图像，保证了仿真图像的高频与低频细节与真实红外图像的特征一致性，通过重复上述过程即可实现复杂背景下的无人机群目标图像的仿真。
附图说明
图1为本发明方法流程图；
图2为本发明方法仿真框架流程示意图；
图3为本发明具体实施例在每一步骤中输出的图像结果示意图；
图4为本发明中进化-退化对抗网络模型结构示意图；
图5为本发明中图像模糊-复原数据集示意图；
图6为进化-退化对抗网络图像合成结果对比图；
图7为本发明方法消融实验结果对比图；
图8为不同背景图像下无人机红外仿真结果示意图；
图9为采用本发明方法的红外无人机群仿真结果示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，为本发明方法的总流程图；基于图像衍生的红外无人机群目标整体仿真框架如图2所示。本发明方法具体流程示意如图3所示，其中进化-退化对抗网络模型结构的网络结构示意图如图4所示，该网络的训练数据集如图5所示。为了测试本发明方法中各模块的效果和可靠性，首先对算法的中间结果，即进化生成器与退化网络生成的结果进行了的可视化分析；其中图6(a)为进化生成器生成的去模糊后的清晰无人机模板，与原始无人机模板相比，其清晰度明显提升；图6(b)为模糊生成器生成的混合复原图像，与原始无人机模板的图像相似性和特征一致性较高；而后利用消融实验分别对比了使用原始无人机模板进行合成的仿真结果以及不使用无监督学习训练的模型进行仿真的结果(如图7所示)，实验结果验证了本发明方法的有效性，结果显示通过进化-退化网络进行灰度约束以及无监督学习方法去除了合成图像的深色伪影，提高了图像的调和度和视觉真实性，验证了本发明方法的有效性。本发明方法具体步骤如下：
(S1)对包含单个无人机目标的红外视频进行预处理，得到原始无人机模板数据集；对不包含无人机目标的红外视频进行预处理，得到背景模板数据集；
利用红外探测器获取空中无人机目标的红外视频，对红外视频中的无人机目标进行人工标注，人工标注的内容包括标注目标长、宽和中心点坐标信息，而后根据标注信息提取数据集中的红外图像目标切片，而后对无人机目标切片进行像素级标注，生成每个无人机目标对应的二值掩膜图像，将所述二值掩膜覆盖下的无人机目标切片作为该无人机目标对应的原始无人机模板。同时录取其它不包含无人机目标的红外图像作为红外背景模板。多个原始无人机模板构成原始无人机模板数据集，多个背景模板构成背景模板数据集。
(S2)使用公开的红外数据集制作模糊-复原数据集；所述模糊-复原数据集包括红外数据集中的红外图像，及利用高斯核对该红外图像进行退化处理得到的模糊图像，其中，所述红外图像与所述模糊图像一一对应；
在实施例中，选择Flir公开红外数据集制作图像模糊-复原数据集，也可以选择其它类似的红外数据集。
如图5所示，对Flir红外数据集中的机动车目标进行人工标注，标注出目标长、宽、中心点坐标信息，而后根据标注信息提取数据集中的红外车辆目标切片，将该切片缩放为统一尺寸后，利用高斯核对图像进行退化处理，每组退化前后的图像切片作为一组标签数据，得到红外图像模糊-复原数据集H。具体实施例中，所述制作红外图像退化-复原数据集所使用的高斯核尺寸约束为(3×3)至(10×10)。模糊系数约束取值范围为[0.3-0.6]。
(S3)分别使用(S2)、(S1)生成的数据集H对进化-退化对抗网络进行有监督的预训练与无监督微调；
进化-退化网络的网络结构示意图如图4所示，进化-退化网络共分为两个具有相同网络结构的子网络：进化网络NE与退化网络ND。每个子网络均包含一个生成器(进化生成器GE(·)、退化生成器GD(·))和一个判别器(进化判别器DE(·)、退化判别器DD(·))，分别用来实现对应图像的生成与鉴别该图像生成质量的优劣。其中生成器的网络模型采用对偶的U-Net-128结构(参考文献：Ronneberger,Olaf,P.Fischer,and T.Brox.“U-Net:Convolutional Networks for Biomedical Image Segmentation.”InternationalConference on Medical Image Computing and Computer-Assisted InterventionSpringer,Cham,2015)，判别器采用特征尺度逐层递减的四层全卷积网络结构，其网络尺寸自下而上依次为：128、64、32、16，最后聚合为1位输出值。
(S31)进化-退化对抗网络的有监督预训练
利用(S2)中模糊-复原数据集，对进化-退化对抗网络进行有监督的预训练，其损失函数Lpt为：
式中，λ表示权重值，LR表示两个子网络重建损失，LA表示对抗损失；训练样本为步骤(S2)中产生的模糊-复原数据集H，其中包括模糊图像fsrc，以及模糊图像fsrc对应的原始图像forg，Forg表示由进化生成器GE(·)生成的高清晰度的中间图像，Fsrc由退化生成器DE(·)生成的复原图像；
重建损失LR具体为生成的中间图像Forg与原始图像forg的L2损失：
对抗损失LA为：
在该过程中，首先将模糊图像fsrc输入进化生成器GE(·)训练模型的图像去模糊任务，得到高清晰度中间图像Forg，其对应标签为原始图像forg；计算两图像之间的L2距离作为GE(·)部分的重建损失，同时分别将Forg与forg输入进化判别器DE(·)进行真假判别，其中Forg标注为假值，forg标注为真值，进而得到进化判别器的对抗损失；退化生成器GD(·)与判别器DD(·)的训练过程与上述过程相同，其中退化生成器GD(·)的输入图像为进化生成器GE(·)的输出结果Forg，即GE(fsrc)，退化生成器的输出结果Fsrc标注为假值，真值为模糊图像fsrc；E(·)表示求期望值；||·||2表示范数2-范数。
(S32)进化-退化对抗网络的无监督微调
利用原始无人机模板对进化-退化对抗网络进行无监督微调，其损失函数Lupt为：
Lupt(forg,fsrc,Forg,Fsrc)＝λLC(forg,fsrc，Forg，Fsrc)+(1-λ)LA(forg，fsrc，Forg，Fsrc)(4)
在模糊图像fsrc中增加步骤(S1)中的无人机目标红外图像切片，得到混合模糊图像fsrc′，混合模糊图像fsrc′与原始图像forg组成无监督数据集H′，循环损失LC定义为：
首先将混合模糊图像fsrc′输入进化生成器，得到中间图像结果Forg′；而后将中间结果图像Forg′和forg，一同输入至退化生成器，得到退化图像Fsrc′，同样地将生成的退化图像Fsrc′作为新的模糊图像继续上述循环，利用梯度下降法进行反复迭代直至收敛，得到微调后的进化-退化对抗网络模型。
(S4)分别使用(S3)训练好的进化-退化对抗网络模型中的进化网络与退化网络依次进行无人机模板提取、背景叠加、图像复原，得到复原后的合成图像。
(S41)无人机模板提取
将(S1)中的原始无人机模板输入训练好的进化-退化对抗网络中的进化网络对进行图像清晰化，得到具有较高信噪比、具有清晰边缘的清晰无人机图像，利用边缘检测算法对该图像进行分割得到清晰无人机模板，图6(a)为清晰化后的无人机图像与其对应的原始无人机模板对比图；
(S42)背景叠加
将清晰无人机模板叠加至(S1)中的任意背景模板，得到叠加图像。
(S43)叠加图像的图像复原
将(S42)中获取的叠加图像输入训练好的进化-退化对抗网络中的退化网络对进行图像复原，得到与原始模板信噪比相近的复原图像，图6(b)为图像复原处理后得到的复原图像与原始无人机模板图像的对比图。
(S5)利用(S4)中得到的合成图像与(S1)中的原始无人机模板分别作为灰度约束与梯度约束求解高斯-泊松方程进行联合优化，得到复杂背景下的红外无人机仿真图像。
求解高斯-泊松方程，其具体计算过程为：
用(S4)中得到的复原图像作为灰度约束，即重建图像的低频部分，使得联合优化结果Fblend的局部灰度值逼近复原图像的灰度特征；用(S1)中的原始无人机模板作为梯度约束，即重建图像的高频部分，使得联合优化结果Fblend的局部纹理等高频细节逼近原始无人机模板。
高斯-泊松方程进行联合优化目标函数P为：
式中β为灰度约束的权重项；G(·)为高斯滤波器；
为拉普拉斯算子；对梯度约束的描述采用图像散度divσ来描述，具体表示为：
其中Δ为散度算子，t表示图像中的第t个像素点，
表示该像素点的灰度值；求解得到最小化式(6)的闭式解Fblend即为最终合成图像；
表示背景模板fdst的第t个像素点；
表示模糊图像fsrc的第t个像素点。
图8为不同背景模板下无人机红外仿真结果示意图，其中图8(a)为山地背景下无人机红外仿真结果、其中图8(b)为林地背景下无人机红外仿真结果、其中图8(c)为云层背景下无人机红外仿真结果、其中图8(d)为楼群背景下无人机红外仿真结果。
(S6)重复(S4)-(S5)过程，根据需求在同一图像混合多个无人机模板，得到红外无人机群仿真图像；
本实施例中，λ设置为0.5，β设置为1。如图8中所示为本发明方法实现了复杂背景下红外无人机图像、无人机群图像的仿真，图像调和度与视觉真实度均较高，且通过消融实验，验证了本发明方法与无监督训练的有效性。
在实际运用中，可以根据仿真要求设定所需无人机数量，并选取不同的原始无人机模板，设置无人机目标在背景模板中的叠加位置，进而重复(S4)-(S5)过程，在同一图像混合多个无人机模板，得到红外无人机群仿真图像，如图9所示，为一个具体实施例无人机群仿真结果图。
实验结果表明，本发明能实现视觉真实度较高的红外无人机图像仿真，混合图像与真实图像具有较高的结构相似性，去除了合成图像的深色伪影，提高了图像的调和度和视觉真实性，可以为红外预警安防系统中的无人机、无人机群目标检测跟踪算法验证、机器学习模型训练等提供数据基础。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，包括以下步骤：
(S1)对包含单个无人机目标的红外视频进行预处理，得到原始无人机模板数据集；对不包含无人机目标的红外视频进行预处理，得到背景模板数据集；
(S2)使用公开的红外数据集制作模糊-复原数据集；所述模糊-复原数据集包括红外数据集中的红外图像，及利用高斯核对该红外图像进行退化处理得到的模糊图像，其中，所述红外图像与所述模糊图像一一对应；
(S3)构建进化-退化对抗网络模型，先使用(S2)中的模糊-复原数据集对进化-退化对抗网络进行有监督预训练，再使用(S1)生成的原始无人机模板数据集对进化-退化对抗网络进行无监督微调，得到训练好的进化-退化对抗网络模型；所述进化-退化网络包括两个具有相同网络结构的子网络，每个子网络均包含一个生成器和一个判别器，所述生成器和所述判别器分别用于实现图像的生成与鉴别；
(S4)分别使用(S3)训练好的进化-退化对抗网络模型中的进化网络与退化网络依次进行无人机模板提取、背景叠加、图像复原，得到复原后的合成图像；
(S5)利用(S4)中得到的合成图像与所述步骤(S1)中的原始无人机模板数据集中的原始无人机模板分别作灰度约束与梯度约束，通过求解高斯-泊松方程进行联合优化，得到复杂背景下的红外无人机仿真图像；
(S6)重复(S4)-(S5)过程，根据需求在同一幅红外无人机仿真图像中混合多个原始无人机模板，得到红外无人机群仿真图像。
2.如权利要求1所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述步骤(S1)中对包含单个无人机目标的红外视频进行预处理的具体过程为：利用红外探测器获取空中无人机目标的红外视频，对红外视频中的无人机目标进行人工标注，根据标注信息提取无人机目标切片，而后对无人机目标切片进行像素级标注，生成每个无人机目标对应的二值掩膜图像，将所述二值掩膜覆盖下的无人机目标切片作为该无人机目标对应的原始无人机模板；
所述步骤(S1)中对不包含无人机目标的红外视频进行预处理的具体过程为：截取不含无人机目标的红外视频中的图像作为背景模板。
3.如权利要求1所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述步骤(S2)中模糊-复原数据集制作过程为：选择Flir红外公开数据集，对Flir红外公开数据集中的车辆目标进行人工标注，标注出车辆目标长、宽、中心点坐标信息，而后根据标注信息提取红外公开数据集中的红外车辆目标切片，将所述红外车辆目标切片缩放至预设尺寸后，利用高斯核对图像进行模糊退化处理，得到模糊图像；模糊退化处理前后的图像切片作为一组标签数据，得到模糊-复原数据集H。
4.如权利要求2所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述步骤(S3)中进化-退化对抗网络的有监督预训练具体过程为：
利用(S2)中模糊-复原数据集，对进化-退化对抗网络进行有监督的预训练，其损失函数Lpt为：
Lpt(forg，fsrc，Forg，Fsrc)＝λLR(forg，fsrc，ForgFsrc)+(1-λ)LA(forg，fsrc，Forg，Fsrc) (1)
式中，λ表示权重值，LR表示两个子网络的重建损失，LA表示对抗损失；训练样本为模糊-复原数据集H，其中包括模糊图像fsrc，以及模糊图像fsrc对应的原始图像forg，Forg表示由进化生成器GE(·)生成的高清晰度的中间图像，Fsrc由退化生成器DE(·)生成的复原图像；
重建损失LR由生成的中间图像Forg与原始图像forg的L2损失得到：
对抗损失LA为：
在该过程中，首先将模糊图像fsrc输入进化生成器GE(·)训练模型的图像去模糊任务，得到高清晰度中间图像Forg，其对应标签为原始图像forg；计算两图像之间的L2距离作为GE(·)部分的重建损失，同时分别将Forg与forg输入进化判别器DE(·)进行真假判别，其中Forg标注为假值，forg标注为真值，进而得到进化判别器的对抗损失；退化生成器GD(·)与判别器DD(·)的训练过程与上述过程相同，其中退化生成器GD(·)的输入图像为进化生成器GE(·)的输出结果Forg，即GE(fsrc)，退化生成器的输出结果Fsrc标注为假值，真值为模糊图像fsrc；E(·)表示求期望值；
所述步骤(S3)中进化-退化对抗网络的无监督微调具体过程为：
利用原始无人机模板对进化-退化对抗网络进行无监督微调，其损失函数Lupt为：
Lupt(forg，ffsrc，Forg，Fsrc)＝λLC(forg，fsrc，Forg，Fsrc)+(1-λ)LA(forg，fsrc，Forg，Fsrc) (4)
在模糊图像fsrc中增加步骤(S1)中的无人机目标切片，得到混合模糊图像fsrc′，混合模糊图像fsrc′与原始图像forg组成无监督数据集H′，循环损失LC定义为：
首先将混合模糊图像fsrc′输入进化生成器，得到中间图像结果Forg′；而后将中间结果图像Forg′和forg，一同输入至退化生成器，得到退化图像Fsrc′，同样地将生成的退化图像Fsrc′作为新的模糊图像继续上述循环，利用梯度下降法进行反复迭代直至收敛，得到微调后的进化-退化对抗网络模型。
5.如权利要求1所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述步骤(S4)中无人机模板提取、背景叠加、图像复原的具体过程为：
(S41)将(S1)中的原始无人机模板输入训练好的进化-退化对抗网络中的进化网络对进行图像去模糊，得到具有较高信噪比、具有清晰边缘的清晰无人机图像，利用边缘检测算法对该图像进行分割得到清晰无人机模板；
(S42)将得到的清晰无人机模板叠加至(S1)中的任意背景模板，得到叠加图像；
(S43)将步骤(S42)中获取的叠加图像输入训练好的进化-退化对抗网络模型中的退化网络对进行图像复原，得到复原图像。
6.如权利要求1所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述步骤(S5)的具体计算过程为：
用(S4)中得到的复原图像作为灰度约束，用(S1)中的原始无人机模板作为梯度约束，高斯-泊松方程进行联合优化目标函数为：
式中β为灰度约束的权重项；G(·)为高斯滤波器；
为拉普拉斯算子；对梯度约束的描述采用图像散度divσ来描述，具体表示为：
其中Δ为散度算子，t表示图像中的第t个像素点，
表示该像素点的灰度值；求解得到最小化式(6)的闭式解Fblend即为最终合成图像；
表示背景模板fdst的第t个像素点；
表示模糊图像fsrc的第t个像素点。
7.如权利要求1所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于：所述步骤(S2)中高斯核的尺寸约束大小为3×3至10×10。
8.如权利要求5所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于：在损失函数Lpt和损失函数Lupt中，权重值λ设置为0.5。
9.如权利要求6所述的一种基于图像衍生的复杂背景下红外无人机群目标仿真方法，其特征在于，所述高斯-泊松方程进行联合优化目标函数中，灰度约束的权重项β设置为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163909.9A CN112767297B (zh) | 2021-02-05 | 2021-02-05 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163909.9A CN112767297B (zh) | 2021-02-05 | 2021-02-05 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767297A CN112767297A (zh) | 2021-05-07 |
| CN112767297B true CN112767297B (zh) | 2022-09-23 |
Family
ID=75705103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110163909.9A Active CN112767297B (zh) | 2021-02-05 | 2021-02-05 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767297B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283237B (zh) * | 2021-12-20 | 2024-05-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机仿真视频生成方法 |
| CN116129292A (zh) * | 2023-01-13 | 2023-05-16 | 华中科技大学 | 一种基于少样本增广的红外车辆目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816695A (zh) * | 2019-01-31 | 2019-05-28 | 中国人民解放军国防科技大学 | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 |
| CN111274964A (zh) * | 2020-01-20 | 2020-06-12 | 中国地质大学（武汉） | 一种基于无人机视觉显著性分析水面污染物的检测方法 |
| CN111444801A (zh) * | 2020-03-18 | 2020-07-24 | 成都理工大学 | 一种无人机红外目标实时检测方法 |
-
2021
- 2021-02-05 CN CN202110163909.9A patent/CN112767297B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816695A (zh) * | 2019-01-31 | 2019-05-28 | 中国人民解放军国防科技大学 | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 |
| CN111274964A (zh) * | 2020-01-20 | 2020-06-12 | 中国地质大学（武汉） | 一种基于无人机视觉显著性分析水面污染物的检测方法 |
| CN111444801A (zh) * | 2020-03-18 | 2020-07-24 | 成都理工大学 | 一种无人机红外目标实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的车牌图像去运动模糊技术;毛勇等;《杭州电子科技大学学报(自然科学版)》;20180915(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767297A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Scene-adaptive remote sensing image super-resolution using a multiscale attention network | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| Yeh et al. | Semantic image inpainting with deep generative models | |
| Zhang et al. | Global and local saliency analysis for the extraction of residential areas in high-spatial-resolution remote sensing image | |
| Jozdani et al. | A review and meta-analysis of generative adversarial networks and their applications in remote sensing | |
| CN112767297B (zh) | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 | |
| CN111046868B (zh) | 基于矩阵低秩稀疏分解的目标显著性检测方法 | |
| Huh et al. | Feedback adversarial learning: Spatial feedback for improving generative adversarial networks | |
| Qu et al. | Hyperspectral and panchromatic image fusion via adaptive tensor and multi-scale retinex algorithm | |
| Li et al. | Exploring image generation for UAV change detection | |
| Liao et al. | Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement | |
| Dhir et al. | An overview of advances in image colorization using computer vision and deep learning techniques | |
| Xu et al. | COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences | |
| Kratzwald et al. | Improving video generation for multi-functional applications | |
| Zhao et al. | CNN, RNN, or ViT? An evaluation of different deep learning architectures for spatio-temporal representation of Sentinel time series | |
| Chen et al. | Attentive generative adversarial network for removing thin cloud from a single remote sensing image | |
| Mehta et al. | Deep learning enhanced uav imagery for critical infrastructure protection | |
| Chen et al. | Image haze removal by adaptive CycleGAN | |
| Billaut et al. | ColorUNet: A convolutional classification approach to colorization | |
| Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks | |
| Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
| Weligampola et al. | A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images | |
| Julian et al. | UAV depth perception from visual images using a deep convolutional neural network | |
| Zhang et al. | A self-supervised monocular depth estimation approach based on uav aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |