CN116630642A - 一种基于生成对抗网络的红外弱小目标数据集生成方法 - Google Patents
一种基于生成对抗网络的红外弱小目标数据集生成方法 Download PDFInfo
- Publication number
- CN116630642A CN116630642A CN202310499319.2A CN202310499319A CN116630642A CN 116630642 A CN116630642 A CN 116630642A CN 202310499319 A CN202310499319 A CN 202310499319A CN 116630642 A CN116630642 A CN 116630642A
- Authority
- CN
- China
- Prior art keywords
- infrared
- data set
- small target
- countermeasure network
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000008034 disappearance Effects 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 7
- 230000008485 antagonism Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种基于生成对抗网络的红外弱小目标数据集生成方法，包括：构建一个深度卷积生成对抗网络的红外弱小目标天空背景模型；创建红外弱小目标模型及渲染；创建一个基于多尺度特征提取和改进的条件生成对抗网络，生成红外弱小目标序列数据集及对应的数据集标签。根据本发明，解决了因增大图像尺寸带来的梯度消失问题，提高生成图像的质量。
Description
技术领域
本发明涉及红外弱小目标序列数据集生成的技术领域，特别涉及一种基于生成对抗网络的红外弱小目标数据集生成方法。
背景技术
随着红外成像技术的发展，红外监控与预警系统逐渐在现代军事中占据重要地位，特别是在精确制导、目标巡视、遥感监测等领域得到了广泛的应用。根据Society ofPhoto-Optical Instrumentation Engineers的定义，红外弱小目标的尺寸通常认为在256×256图像中的弱小目标面积不超过9×9像素。目前公开的数据集有MDvsFA和SIRST，其中MDvsFA包含10000张图像，大部分是近景拍摄，目标距离较近且面积较大。SIRST包含427张图像，场景种类多样但是数量较少。数据集是深度学习的重要部分之一，数据集的数量和质量直接影响着模型的训练效果。由于军事目标的敏感性，很难获得足够数量的公开数据集对军用的深度学习红外弱小目标检测算法进行训练。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种基于生成对抗网络的红外弱小目标数据集生成方法，解决了因增大图像尺寸带来的梯度消失问题，提高生成图像的质量。为了实现根据本发明的上述目的和其他优点，提供了一种基于生成对抗网络的红外弱小目标数据集生成方法，包括：
S1、构建深度卷积生成对抗网络模型生成红外天空背景；
S2、创建红外弱小目标模型及渲染；
S3、创建一个基于多尺度特征提取和改进的条件生成对抗网络；
S4、生成红外弱小目标序列数据集及对应标签。
优选的，步骤S1中通过在训练深度卷积生成对抗网络前引进残差模块，所述残差模块用于解决因网络图像尺寸增大导致的生成图像质量差和梯度消失的问题，使其符合红外弱小目标数据集的标准。
优选的，步骤S2中对所需创建模型的外形比例、结构、外观材质进行分析，按照1:1的比例使用3ds Max工具分别进行建模，随后采用贴图绘制技术展现模型细节。
优选的，步骤S3中结合了目标的空间位置和大小等约束参数，以实现目标背景图像的合理合成。为了提高目标背景图像生成的质量，引入了多尺度特征融合机制和注意力机制，从而提高了生成图像的保真度。
优选的，步骤S4中数据集包括控制红外弱小目标在三维场景的运动、红外波长和噪声参数。
本发明与现有技术相比，其有益效果是：添加了残差模块的深度卷积生成对抗网络模型，有效的解决了因增大图像尺寸带来的梯度消失问题，提高生成图像的质量。生成的数据集有效，能够应用到红外弱小目标检测模型训练中，解决了红外弱小目标数据集较少的问题，为目标检测算法提供了丰富的数据支持。经过实验评价，该方法生成的数据集与真实拍摄的红外数据集相似度较高，并且在最新的深度学习模型中训练后能够提升模型检测精度。
附图说明
图1为根据本发明的基于生成对抗网络的红外弱小目标数据集生成方法的流程图；
图2为根据本发明的基于生成对抗网络的红外弱小目标数据集生成方法的增加残差模块的深度卷积生成对抗模型网络图；
图3为根据本发明的基于多尺度特征提取和改进的条件生成对抗模型网络图。
图4为根据本发明的基于生成对抗网络的红外弱小目标数据集生成方法的生成红外弱小目标数据集的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-4，一种基于生成对抗网络的红外弱小目标数据集生成方法，包括：步骤S1，构建深度卷积生成对抗网络模型生成红外天空背景。具体地讲，深度卷积生成对抗网络的图像尺寸最高只有64×64，更大的尺寸会出现梯度消失的问题，在训练深度卷积生成对抗网络前引进残差模块解决因网络图像尺寸增大导致的生成图像质量差和梯度消失的问题，使其符合红外弱小目标数据集的标准。
步骤S2，创建红外弱小目标模型及渲染。具体地讲，对所需创建模型的外形比例、结构、外观材质等方面进行分析，按照1:1的比例使用3ds Max工具分别进行建模，随后采用贴图绘制技术，在资源占用最小情况下更好的展现模型细节。最后对模型进行渲染，确保目标外观逼真、飞行效果逼真。
步骤S3，创建一个基于多尺度特征提取和改进的条件生成对抗网络。设计了一个多尺度特征模块，利用不同尺度的卷积核来获得不同范围的感受野，从而获得更全面的目标和场景特征信息，增强网络对多尺度的适应性。同时，在特征提取中加入了注意力机制，使模型能够提取出更有意义的图像特征。实现了一种多尺度双向融合目标背景图像生成器和鉴别器。通过向原始生成对抗网络添加约束，将条件生成对抗网络扩展为条件模型。这是通过在附加信息上调节模型来实现的，附加信息反过来约束和引导图像生成过程。改进的生成器使用U-net结构，其中卷积层用作编码器，去卷积层用作解码器。在编码器-解码器部分中引入了跳接技术，其中每个去卷积层的输入是前一层的输出加上与该层对称卷积的层的输出，从而确保编码器信息在解码器时不断地被重新建模，从而允许生成的图像尽可能多地保留原始图像信息。
步骤S4，生成红外弱小目标序列数据集为控制红外弱小目标在三维场景的运动、红外波长和噪声参数，生成红外弱小目标序列数据集及对应标签。利用红外仿真场景自动生成红外弱小目标序列数据集的标签，替代了人工标注数据集。
表1为在MdvsFA数据集训练模型
| 训练模型 | 精度 |
| IAANET | 0.642 |
| DNANET | 0.883 |
| AGPCNET | 0.593 |
表2为在本发明的数据集训练模型
| 训练模型 | 精度 |
| IAANET | 0.765 |
| DNANET | 0.924 |
| AGPCNET | 0.702 |
综上，本发明通过添加残差模块的深度卷积生成对抗网络，有效的解决了因增大图像尺寸带来的梯度消失问题，提高生成图像的质量；通过构一个建基于多尺度特征提取和改进的条件生成对抗网络，生成了有效的红外弱小目标数据集，能够应用到红外弱小目标检测模型训练中。解决了红外弱小目标数据集较少的问题，为目标检测算法提供了丰富的数据支持；经过实验评价，该方法生成的数据集于真实拍摄的红外数据集相似度较高，并且在最新的深度学习模型中训练后能够提升模型检测精度。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (5)
1.一种基于生成对抗网络的红外弱小目标数据集生成方法，其特征在于，包括以下步骤：
S1、构建深度卷积生成对抗网络模型生成红外天空背景；
S2、创建红外弱小目标模型及渲染；
S3、创建一个基于多尺度特征提取和改进的条件生成对抗网络；
S4、生成红外弱小目标序列数据集及对应标签。
2.如权利要求1所述的一种基于生成对抗网络的红外弱小目标数据集生成方法，其特征在于，步骤S1中通过在训练深度卷积生成对抗网络前引进残差模块，所述残差模块用于解决因网络图像尺寸增大导致的生成图像质量差和梯度消失的问题，使其符合红外弱小目标数据集的标准。
3.如权利要求2所述的一种基于生成对抗网络的红外弱小目标数据集生成方法，其特征在于，步骤S2中对所需创建模型的外形比例、结构、外观材质进行分析，按照1:1的比例使用3ds Max工具分别进行建模，随后采用贴图绘制技术展现模型细节。
4.如权利要求3所述的一种基于生成对抗网络的红外弱小目标数据集生成方法，其特征在于，步骤S3中设计了一个多尺度特征模块，利用不同尺度的卷积核来获得不同范围的感受野，从而获得更全面的目标和场景特征信息，增强网络对多尺度的适应性；同时，在特征提取中加入了注意力机制，使模型能够提取出更有意义的图像特征；实现了一种多尺度双向融合目标背景图像生成器和鉴别器；通过向原始生成对抗网络添加约束，将条件生成对抗网络扩展为条件模型，从而提高了生成图像的保真度。
5.如权利要求4所述的一种基于生成对抗网络的红外弱小目标数据集生成方法，其特征在于，步骤S4中通过改变红外弱小目标在场景的运动、红外波长和噪声参数，生成红外弱小目标序列数据集及对应标签；利用红外仿真场景自动生成红外弱小目标序列数据集的标签，替代了人工标注数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310499319.2A CN116630642A (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成对抗网络的红外弱小目标数据集生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310499319.2A CN116630642A (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成对抗网络的红外弱小目标数据集生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630642A true CN116630642A (zh) | 2023-08-22 |
Family
ID=87609107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310499319.2A Pending CN116630642A (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成对抗网络的红外弱小目标数据集生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630642A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
-
2023
- 2023-05-06 CN CN202310499319.2A patent/CN116630642A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
| CN117409192B (zh) * | 2023-12-14 | 2024-03-08 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198145B (zh) | 用于点云数据修复的方法和装置 | |
| JP6866495B2 (ja) | 画像品質の評価方法及び画像品質の評価システム | |
| CN110675418A (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN112927297A (zh) | 一种基于yolo系列的目标检测和视觉定位方法 | |
| CN109934095A (zh) | 一种基于深度学习的遥感图像水体提取方法及系统 | |
| CN110992366A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN116630642A (zh) | 一种基于生成对抗网络的红外弱小目标数据集生成方法 | |
| CN116402851A (zh) | 一种复杂背景下的红外弱小目标跟踪方法 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
| CN111027407A (zh) | 针对遮挡情况的彩色图像手部姿态估计方法 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN116229106A (zh) | 一种基于双u结构的视频显著性预测方法 | |
| CN116524062A (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN117197632A (zh) | 一种基于Transformer的电镜花粉图像目标检测方法 | |
| CN116206196A (zh) | 一种海洋低光环境多目标检测方法及其检测系统 | |
| CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
| CN112668644B (zh) | 一种基于ssd改进算法的无人机航拍目标检测方法 | |
| CN111899284A (zh) | 一种基于参数化esm网络的平面目标跟踪方法 | |
| CN113593007A (zh) | 一种基于变分自编码的单视图三维点云重建方法及系统 | |
| CN112508441B (zh) | 基于深度学习三维重建的城市高密度区室外热舒适评价方法 | |
| Haghighi et al. | Accelerating stereo image simulation for automotive applications using neural stereo super resolution | |
| CN113627480B (zh) | 一种基于强化学习的极化sar影像分类方法 | |
| CN113947774B (zh) | 一种轻量级的车辆目标检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |