CN117808685B - 一种红外图像数据增强的方法、装置 - Google Patents
一种红外图像数据增强的方法、装置 Download PDFInfo
- Publication number
- CN117808685B CN117808685B CN202410228161.XA CN202410228161A CN117808685B CN 117808685 B CN117808685 B CN 117808685B CN 202410228161 A CN202410228161 A CN 202410228161A CN 117808685 B CN117808685 B CN 117808685B
- Authority
- CN
- China
- Prior art keywords
- network
- image data
- infrared image
- training
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000002708 enhancing effect Effects 0.000 title abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 168
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 abstract 1
- 230000008034 disappearance Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003331 infrared imaging Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001266 bandaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种红外图像数据增强的方法、装置，基于智能计算平台实现；该方法包括：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；从模型库中随机选取若干预训练模型为目标模型；在每相邻的两个目标模型的网络顶层衔接分类器得到组合模型，将组合模型与目标网络并联得到待训练网络；训练完成后，利用生成对抗网络进行红外图像数据增强，基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；智能计算平台提供预训练模型及红外图像数据的存储功能，并提供在不同计算节点同步训练待训练网络的功能。能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。
Description
技术领域
本发明涉及电子围网系统技术领域，更具体地说，涉及一种红外图像数据增强的方法、装置。
背景技术
目前的电子围网系统通常利用可见光成像实现目标检测，但处于较为恶劣天气时可见光成像所用传感器难以有效地对环境进行监控，而红外成像得益于其成像机理优势，可穿透浓雾、强降水等能见度低的气象条件，实施全天时、全天候的监控监测任务。
如将红外成像应用于电子围网系统的目标检测，则需要充分标注的红外样本来实现目标检测模型的训练，但实际很难实现；发明人在此基础上深入研究基于生成对抗网络（GAN）的红外图像数据增强来解决实际标注的红外样本不充分的挑战，但是发现由于GAN的训练需要实现判别器和生成器的纳什均衡，其训练稳定性和难度被广泛诟病，进而导致无法有效实现图像数据增强，更无法满足电子围网系统的目标检测需求。
发明内容
本发明的目的是提供一种红外图像数据增强的方法、装置，能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。
为了实现上述目的，本发明提供如下技术方案：
一种红外图像数据增强的方法，基于智能计算平台实现，所述红外图像数据增强的方法包括：
依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；
从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；
在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；
对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。
优选的，预先获取所述红外图像数据，包括：
在所述电子围网系统的覆盖区域内选取测试巡航位置，并在指定时间段及指定拍摄角度，利用拍摄装置在所述测试巡航位置进行拍摄得到相应的红外图像数据；
收集互联网上的开源数据集或者网络数据库，得到相应的红外图像数据。
优选的，基于预先获取的红外图像数据对所述待训练网络进行训练之前，还包括：
确定部分所述红外图像数据的标签，并将该部分所述标签的值分别修改为相应的较小值或较大值；其中，所述较小值为小于所述标签的值且与所述标签值的差值在预设范围内的值，所述较大值为大于所述标签的值且与所述标签的值的差值在预设范围内的值。
优选的，基于预先获取的红外图像数据对所述待训练网络进行训练，包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，将所述待训练网络的指定中间层的输出作为n维特征，按照下列公式计算n维特征每个维度的标准差的均值o，并将所述均值o作为特征图与n维特征拼接后，输入至所述指定中间层的下一层；
；
；
其中，i为表示维度的变量，j为表示数据的变量，m为；所述指定中间层输出的数据的数量，f（xj）i表示所述指定中间层输出的在第i个维度的第j个数据，表示所述指定中间层输出的在第i个维度的数据平均值。
优选的，基于预先获取的红外图像数据对所述待训练网络进行训练包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，每经过预设时间间隔，则将所述待训练网络学习过的判断结果为假的红外图像数据再次输入至所述待训练网络进行训练。
优选的，基于预先获取的红外图像数据对所述待训练网络进行训练包括：
在对所述待训练网络进行训练的过程中，每次训练完成后，确定训练所述待训练网络的进程速度是否达到预设需求，如果是，则对所述待训练网络中全部模型及网络的权重进行求和或者求积运算，以固定所述待训练网络。
优选的，基于全部的红外图像数据实现电子围网系统的红外目标检测，包括：
基于全部的红外图像数据对所述电子围网系统的目标检测模型进行调整，并将调整后的所述目标检测模型应用于所述电子围网系统，以使得所述电子围网系统基于所述目标检测模型实现红外目标检测。
一种红外图像数据增强的装置，基于智能计算平台实现，所述红外图像数据增强的装置包括：
确定模块，用于：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；
选取模块，用于：从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；
构建模块，用于：在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；
检测模块，用于：对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。
一种红外图像数据增强的设备，所述设备包括存储器及处理器，所述存储器上存储的程序在被所述处理器运行时可实现如上任一项所述红外图像数据增强的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储的程序被处理器执行时实现如上任一项所述红外图像数据增强的方法的步骤。
本发明提供一种红外图像数据增强的方法、装置，基于智能计算平台实现；该方法包括：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；从预先创建的模型库中随机选取若干预训练模型为目标模型，所述模型库包含多个预设最优的预训练模型；在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。本发明在训练生成对抗网络时，利用最优预训练模型与生成对抗网络中的生成器或判别器并联构建新的网络，对该新的网络进行训练从而实现对相应生成器或判别器的训练，利用训练完成的生成对抗网络实现红外图像数据增强，进而基于红外图像数据增强的结果实现电子围网系统的目标检测。可见，本发明能够充分利用已确定最优的预训练模型实现生成对抗网络的训练，且通过生成对抗网络及预训练模型联合训练的方式避免梯度消失，从而能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种红外图像数据增强的方法的流程图；
图2为本发明实施例提供的一种红外图像数据增强的方法中的网络构建示意图；
图3为本发明实施例提供的一种红外图像数据增强的方法中数据集示意图；
图4为本发明实施例提供的一种红外图像数据增强的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种红外图像数据增强的方法的流程图，其基于智能计算平台实现；具体可以包括：
S11：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络。
需要说明的是，红外线是波长介于750nm至1mm之间的电磁波，任何高于绝对零度的物体都会主动发射红外波段的电磁波，红外成像正是利用传感器被动接收目标的红外辐射来获取成像信息；相较于微波雷达、可见光成像等目标检测方式，红外成像系统具备全天候工作、穿透云雾等恶劣天气的能力强、温度灵敏度高、探测距离较远、被动成像、隐蔽性强等优点。因此本发明实施例将红外成像技术应用于电子围网系统的目标检测中，从而有效提高电子围网系统的目标检测准确性。
生成对抗网络（Generative Adversarial Nets, GAN）是一种优秀的生成式模型，能够不依赖任何先验假设便能学习到高维复杂的数据分布，具有摆脱数据规模和标签依赖的潜力，本发明实施例基于GAN实现红外图像数据增强。GAN的基本框架包含两个不同的网络，一个被称为生成器，另一个被称为判别器。生成器G根据输入的随机噪声z产生随机的模拟样本G，而判别器D的任务则是判断输入的样本是否真实，并输出其为真实样本的概率D；G的目标是尽可能生成真实的样本去欺骗D，而D则要正确区分出真实样本x与模拟样本G。两者构成一种动态的博弈过程，并在对抗的过程中不断提升直至均衡，因此G和D的总体损失函数可以由下式来描述：
。
本发明实施例可以基于预训练模型来实现生成对抗网络的训练，从而提高训练效率及网络稳定性。具体来说，在对生成对抗网络进行训练时，可以依次对生成器及判别器分别进行训练，也可以同时对生成器及判别器进行训练。对应于步骤S11，如果是依次对生成器和判别器进行训练，则可以先将生成器或判别器作为目标网络，在完成目标网络对应待训练网络的训练后，再将生成器和判别器中未作为过目标网络的一个作为新的目标网络，并在完成目标网络对应待训练网络的训练后确定完成对生成对抗网络的训练；如果是同时对生成器及判别器进行训练，则可以将两者分别作为单独的目标网络，然后同时进行训练，从而在训练完成后确定完成对生成对抗网络的训练；具体可以根据实际需要进行设定，均在本发明的保护范围之内。
S12：从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型。
本发明实施例可以预先选取目标在图像分类、目标识别表现最好的前沿预训练模型构成模型库，然后从模型库中随机选取若干预训练模型作为生成对抗网络训练时所用模型，从而能够使得生成对抗网络训练时所用模型为目前的最优模型，提高网络整体的训练效率。
S13：在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练。
需要说明的是，在GAN的训练过程中，预训练模型可直接被视为最优的判别器或生成器，但直接将预训练模型嫁接在GAN的结构时会导致梯度消失，从而影响GAN无法有效训练；因此本发明实施例通过将预训练模型与判别器或生成器结合同时训练的方式，尽可能克服梯度消失的问题。以判别器为例进行说明，在从模型库中随机选取若干预训练模型后，可以在这些预训练模型中每相邻两个预训练模型的网络顶层衔接分类器（分类器根据实际需要选取现有技术中效果较好的模型即可）来构建新的判别器，接着将GAN中原始的判别器与该新的判别器并联，得到如图2所示的结构（其中的预训练模型库即为模型库，生成网络即为生成器，判别网络即为判别器），并对所有的判别器开展训练；在对判别器训练完成后，继续对生成器开展训练。由于所有判别器同时参与训练，便可以调和原始判别器太弱、同时预训练模型构成的判别器太强的现象，从而在一定程度上克服梯度消失的问题。同理，本发明实施例也可采用相同的方法对生成器并联预训练模型，亦或同时对生成器和判别器并联预训练模型，最终可通过对比及消融实验选取最优的训练方式。
S14：对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测。
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。
在完成生成对抗网络的训练后，即可基于生成对抗网络进行红外图像数据增强，并进一步基于红外图像数据增强的结果实现电子围网系统的红外目标检测，从而有效提高电子围网系统的目标检测准确性。
本发明红外图像增强的方法可基于智能计算平台实现，该智能计算平台可以为横琴先进智能计算云平台及其他类似智能计算平台。具体来说，基于智能计算平台可实施步骤如下：
1. 确定计算节点：MLU集群或专用AI加速卡型号。
2. 配置环境：安装并配置所选超算平台的软件和驱动程序，确保与红外图像生成模型（也即用于实现红外图像数据增强的生成对抗网络）兼容。
3. 数据准备：将训练数据集（即用于步骤S13中待训练网络训练的红外图像数据）和预训练模型上传到超算平台上的存储设备。
4. 并行化训练：利用超算平台的并行计算能力，将训练过程分配给多个MLU或多个计算节点，并使用分布式训练算法加快训练速度。
5. 超参调整：通过在超算平台上同时运行多个训练作业，尝试不同的超参数组合，例如学习率、批大小和网络结构，以找到最佳配置。
6. 训练监控：使用超算平台提供的监控工具，实时监视训练过程中的性能指标和资源利用率，及时发现和解决问题。
7. 模型评估：在训练完成后，使用超算平台上的测试数据集评估模型的性能，并进行必要的调整和改进。
8. 部署和推理：在超算平台上部署训练好的生成对抗网络，并使用超算平台的推理引擎进行实时红外图像数据增强。
可见，本发明实施例提供的所述红外图像增强的方法可融合横琴先进智能计算云平台及其他类似智能计算平台实现计算结果，可确保红外图像数据和模型参数在不同计算节点间的高效同步。
本发明在训练生成对抗网络时，利用最优预训练模型与生成对抗网络中的生成器或判别器并联构建新的网络，对该新的网络进行训练从而实现对相应生成器或判别器的训练，利用训练完成的生成对抗网络实现红外图像数据增强，进而基于红外图像数据增强的结果实现电子围网系统的目标检测。可见，本发明能够充分利用已确定最优的预训练模型实现生成对抗网络的训练，且通过生成对抗网络及预训练模型联合训练的方式避免梯度消失，从而能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。
本发明实施例提供的一种红外图像数据增强的方法，预先获取所述红外图像数据，可以包括：
在所述电子围网系统的覆盖区域内选取测试巡航位置，并在指定时间段及指定拍摄角度，利用拍摄装置在所述测试巡航位置进行拍摄得到相应的红外图像数据；
收集互联网上的开源数据集或者网络数据库，得到相应的红外图像数据。
需要说明的是，电子围网系统在海浪环境下的船只检测mAP为0.55，行人和车辆在相近照度或能见度下的mAP为0.61和0.65左右。为提升电子围网系统的红外目标检测能力，本发明实施例会收集整理电子围网系统覆盖区域的真实红外图像数据，并基于步骤S11至步骤S13的数据增强方法对电子围网系统的目标检测模型进行微调，从而构建出适用电子围网系统监测监控范围的红外目标检测模型；将红外目标检测模型部署在相应云服务平台，并通过接入红外相机终端，搭建出基于电子围网真实数据的红外目标检测原型系统。具体来说，可以在电子围网系统的覆盖区域内选取测试巡航位置，进而在根据实际需要设定的指定时间段及指定拍摄角度，同时用红外和常规相机在测试巡航位置同时进行拍摄，获取相应红外图像数据，与开源数据集最大的不同是由此获得的数据将包含更多的海洋场景或者其他电子围网系统需监控的场景，从而使得对于红外图像数据的增强与该场景相适配，更能提高基于此实现的目标检测的准确性。
另外，还可以通过互联网开源数据集或网络数据库进行红外图像数据的收集，这种方式简单易行，且能够有利于扩大本发明方案关于领域和研究成果的影响；目前已经收集的开源数据集包括FLIR, KAIST，LLVIP等具体见图3，这些数据集包含配对的红外图像和可见光图像，主要用于前期的生成对抗网络的训练。
本发明实施例提供的一种红外图像数据增强的方法，基于预先获取的红外图像数据对所述待训练网络进行训练之前，还可以包括：
确定部分所述红外图像数据的标签，并将该部分所述标签的值分别修改为相应的较小值或较大值；其中，所述较小值为小于所述标签的值且与所述标签值的差值在预设范围内的值，所述较大值为大于所述标签的值且与所述标签的值的差值在预设范围内的值。
需要说明的是，本发明实施例可以随机或者根据实际需要选取部分红外图像数据，并将这些红外图像数据的标签值改为接近的其他值，从而阻止判别器对红外图像数据的标签过于信任，使其无法依赖于有限的一组特征来判断输入是真或假，进而有效提高生成对抗网络的模型稳定性。其中，标签值的范围为0至1，越接近1表示是真的可能性越大；预设范围可以根据实际需要进行设定，如0.1；较大值及较小值均是针对某一标签值来说的，略大于该标签值的值可以为较大值，略小于该标签值的值则可以为较小值，如某一标签值为1，则可以将其修改为0.9，某一标签值为0.5，则可以将其修改为0.4或者0.6。
本发明实施例提供的一种红外图像数据增强的方法，基于预先获取的红外图像数据对所述待训练网络进行训练，可以包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，将所述待训练网络的指定中间层的输出作为n维特征，按照下列公式计算n维特征每个维度的标准差的均值o，并将所述均值o作为特征图与n维特征拼接后，输入至所述指定中间层的下一层；
；
；
其中，i为表示维度的变量，j为表示数据的变量，m为所述指定中间层输出的数据的数量，f（xj）i表示所述指定中间层输出的在第i个维度的第j个数据，表示所述指定中间层输出的在第i个维度的数据平均值。
对于判别器的输入样本（x1至xm），抽取判别器的某一中间层（即指定中间层，可根据实际需要选取）作为n维特征（f（x1）至f（xm）），然后计算n个维度中每个维度的标准差，并求该n个维度的标准差的均值，最后将该均值与该一中间层的输出拼接到一起，得到的结果作为该一中间层的下一层的输入，相当于在判别器中增加了一层，实现批量样本的统计特征的计算，通过这种方式能够降低生成对抗网络模型崩溃的可能性，进一步提高生成对抗网络的模型稳定性。
本发明实施例提供的一种红外图像数据增强的方法，基于预先获取的红外图像数据对所述待训练网络进行训练，可以包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，每经过预设时间间隔，则将所述待训练网络学习过的判断结果为假的红外图像数据再次输入至所述待训练网络进行训练。
预设时间间隔可以根据实际需要进行设定，如30s。每经过一段时间则可以将判别器已学习过的假的红外图像数据再次输入至待训练网络，使得待训练网络重复学习旧的假样本，使其学习样本的结果准确性更高，从而进一步提高生成对抗网络模型的有效性。
本发明实施例提供的一种红外图像数据增强的方法，基于预先获取的红外图像数据对所述待训练网络进行训练，可以包括：
在对所述待训练网络进行训练的过程中，每次训练完成后，确定训练所述待训练网络的进程速度是否达到预设需求，如果是，则对所述待训练网络中全部模型及网络的权重进行求和或者求积运算，以固定所述待训练网络。
预设需求可以根据实际需要进行设定的对进程速度的要求，如对训练时间的要求、对生成对抗网络的精度要求等，在确定要求后，每次训练完成一次生成器及判别器后，则可以判断当前的生成对抗网络的进程速度是否满足预设需求，如满足则可以直接确定生成对抗网络训练完成，否则说明需要继续进行生成对抗网络的训练，从而能够使得训练完成的对抗生成网络满足要求的同时，避免多余工作的进行。
本发明实施例提供的一种红外图像数据增强的方法，基于全部的红外图像数据实现电子围网系统的红外目标检测，可以包括：
基于全部的红外图像数据对所述电子围网系统的目标检测模型进行调整，并将调整后的所述目标检测模型应用于所述电子围网系统，以使得所述电子围网系统基于所述目标检测模型实现红外目标检测。
在实现红外图像数据的增强后，可以基于增强前的数据及增前后的数据共同实现对目标检测模型的调整，提高目标检测模型的精度，进而利用目标 检测模型实现红外目标检测，能够大大提高电子围网系统红外目标检测的准确性，满足实际场景的目标检测需求。
需要说明的是，针对红外图像数据规模小、种类少、收集难，无法直接构建或使用预训练模型的问题，以及生成对抗网络训练不稳定且无法使用微调方法的难点，在GAN的训练过程中，预训练模型可直接被视为最优的判别器或生成器，为避免直接将预训练模型嫁接在GAN的结构时会导致梯度消失，从而影响GAN无法有效训练，本发明实施例可以采用并行架构（一种新型的生成网络架构，可简称PSGAN，即预训练模型及生成对抗网络联合构建的模型）来解决梯度消失问题，充分利用生成对抗网络优异拟合能力的同时大幅降低了对原始和目标数据的依赖，以判别器为例，首先选取目前在图像分类、目标识别表现最好的前沿预训练模型构成模型库，然后从中随机选取若干预训练模型并在其网络顶层衔接分类器来构建新的判别器，接着将GAN中原始的判别器与之并联，并对所有的判别器开展训练，最后可根据对训练进程速度的需求，对所有判别器的权重进行求和或求积运算后，便可固定判别器模块，继而对生成器开展训练，由于所有判别器同时参与训练，便可以调和原始判别器太弱同时预训练判别器太强的现象，从而在一定程度上克服梯度消失。同理，也可采用相同的方法对生成器并联预训练模型，亦或同时对生成器和判别器并联预训练模型，最终将通过对比及消融实验选取最优的训练方式。同时，采用这种直接的红外图像数据增强的方法，避免了先前模型对配对数据依赖，可以有效解决常规图像易受环境、光源、设备等因素导致的问题，大幅拓展红外图像的研究和应用边界。
本发明实施例还提供了一种红外图像数据增强的装置，基于智能计算平台实现（或者该装置可适配智能计算平台），如图4所示，具体可以包括：
确定模块11，用于：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；
选取模块12，用于：从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；
构建模块13，用于：在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；
检测模块14，用于：对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。
Claims (5)
1.一种红外图像数据增强的方法，其特征在于，基于智能计算平台实现，所述红外图像数据增强的方法包括：
依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；
从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；
在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；
对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能；
预先获取所述红外图像数据，包括：
在所述电子围网系统的覆盖区域内选取测试巡航位置，并在指定时间段及指定拍摄角度，利用拍摄装置在所述测试巡航位置进行拍摄得到相应的红外图像数据；
收集互联网上的开源数据集或者网络数据库，得到相应的红外图像数据；
基于预先获取的红外图像数据对所述待训练网络进行训练之前，还包括：
确定部分所述红外图像数据的标签，并将该部分所述标签的值分别修改为相应的较小值或较大值；其中，所述较小值为小于所述标签的值且与所述标签的值的差值在预设范围内的值，所述较大值为大于所述标签的值且与所述标签的值的差值在预设范围内的值；
基于预先获取的红外图像数据对所述待训练网络进行训练，包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，将所述待训练网络的指定中间层的输出作为n维特征，按照下列公式计算n维特征每个维度的标准差的均值o，并将所述均值o作为特征图与n维特征拼接后，输入至所述指定中间层的下一层；
其中，i为表示维度的变量，j为表示数据的变量，m为所述指定中间层输出的数据的数量，f(xj)i表示所述指定中间层输出的在第i个维度的第j个数据，表示所述指定中间层输出的在第i个维度的数据平均值，σi表示所述指定中间层输出的在第i个维度的数据的标准差；
基于预先获取的红外图像数据对所述待训练网络进行训练，包括：
如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，每经过预设时间间隔，则将所述待训练网络学习过的判断结果为假的红外图像数据再次输入至所述待训练网络进行训练；
基于预先获取的红外图像数据对所述待训练网络进行训练，包括：
在对所述待训练网络进行训练的过程中，每次训练完成后，确定训练所述待训练网络的进程速度是否达到预设需求，如果是，则对所述待训练网络中全部模型及网络的权重进行求和或者求积运算，以固定所述待训练网络。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括基于全部的红外图像数据实现电子围网系统的红外目标检测，所述基于全部的红外图像数据实现电子围网系统的红外目标检测包括：
基于全部的红外图像数据对所述电子围网系统的目标检测模型进行调整，并将调整后的所述目标检测模型应用于所述电子围网系统，以使得所述电子围网系统基于所述目标检测模型实现红外目标检测。
3.一种红外图像数据增强的装置，其特征在于，基于智能计算平台实现，所述红外图像数据增强的装置包括：
确定模块，用于：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；
选取模块，用于：从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；
构建模块，用于：在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；
检测模块，用于：对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；
其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能；
所述装置还用于预先获取所述红外图像数据，所述预先获取所述红外图像数据具体包括：在所述电子围网系统的覆盖区域内选取测试巡航位置，并在指定时间段及指定拍摄角度，利用拍摄装置在所述测试巡航位置进行拍摄得到相应的红外图像数据；收集互联网上的开源数据集或者网络数据库，得到相应的红外图像数据；
所述装置还用于：基于预先获取的红外图像数据对所述待训练网络进行训练之前，确定部分所述红外图像数据的标签，并将该部分所述标签的值分别修改为相应的较小值或较大值；其中，所述较小值为小于所述标签的值且与所述标签的值的差值在预设范围内的值，所述较大值为大于所述标签的值且与所述标签的值的差值在预设范围内的值；
所述构建模块基于预先获取的红外图像数据对所述待训练网络进行训练具体包括：如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，将所述待训练网络的指定中间层的输出作为n维特征，按照下列公式计算n维特征每个维度的标准差的均值o，并将所述均值o作为特征图与n维特征拼接后，输入至所述指定中间层的下一层；
其中，i为表示维度的变量，j为表示数据的变量，m为所述指定中间层输出的数据的数量，f(xj)i表示所述指定中间层输出的在第i个维度的第j个数据，表示所述指定中间层输出的在第i个维度的数据平均值，σi表示所述指定中间层输出的在第i个维度的数据的标准差；
所述构建模块基于预先获取的红外图像数据对所述待训练网络进行训练具体包括：如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，每经过预设时间间隔，则将所述待训练网络学习过的判断结果为假的红外图像数据再次输入至所述待训练网络进行训练；
所述构建模块基于预先获取的红外图像数据对所述待训练网络进行训练具体包括：在对所述待训练网络进行训练的过程中，每次训练完成后，确定训练所述待训练网络的进程速度是否达到预设需求，如果是，则对所述待训练网络中全部模型及网络的权重进行求和或者求积运算，以固定所述待训练网络。
4.一种红外图像数据增强的设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储的程序在被所述处理器运行时可实现如权利要求1至2中任一项所述红外图像数据增强的方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储的程序被处理器执行时实现如权利要求1至2中任一项所述红外图像数据增强的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410228161.XA CN117808685B (zh) | 2024-02-29 | 2024-02-29 | 一种红外图像数据增强的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410228161.XA CN117808685B (zh) | 2024-02-29 | 2024-02-29 | 一种红外图像数据增强的方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117808685A CN117808685A (zh) | 2024-04-02 |
| CN117808685B true CN117808685B (zh) | 2024-05-07 |
Family
ID=90433787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410228161.XA Active CN117808685B (zh) | 2024-02-29 | 2024-02-29 | 一种红外图像数据增强的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117808685B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696066A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于改进wgan-gp的多波段图像同步融合与增强方法 |
| CN113688806A (zh) * | 2021-10-26 | 2021-11-23 | 南京智谱科技有限公司 | 一种红外与可见光图像融合的多光谱目标检测方法及系统 |
| CN114187442A (zh) * | 2021-12-14 | 2022-03-15 | 深圳致星科技有限公司 | 图像处理方法、存储介质、电子设备及图像处理装置 |
| CN114842235A (zh) * | 2022-03-22 | 2022-08-02 | 西安电子科技大学 | 一种基于形状先验分割和多尺度特征聚合的红外弱小目标识别方法 |
| US11475276B1 (en) * | 2016-11-07 | 2022-10-18 | Apple Inc. | Generating more realistic synthetic data with adversarial nets |
| CN115661530A (zh) * | 2022-10-28 | 2023-01-31 | 合肥高斯智能科技有限公司 | 一种图像数据增强方法、系统及电子设备 |
| CN115965843A (zh) * | 2023-01-04 | 2023-04-14 | 长沙观谱红外科技有限公司 | 一种可见光和红外图像融合方法 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11138469B2 (en) * | 2019-01-15 | 2021-10-05 | Naver Corporation | Training and using a convolutional neural network for person re-identification |
| CN116342884B (zh) * | 2023-03-28 | 2024-02-06 | 阿里云计算有限公司 | 图像分割及模型训练的方法、服务器 |
| CN117058554A (zh) * | 2023-09-07 | 2023-11-14 | 广东电网有限责任公司广州供电局 | 电力设备目标检测方法、模型训练方法和装置 |
-
2024
- 2024-02-29 CN CN202410228161.XA patent/CN117808685B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475276B1 (en) * | 2016-11-07 | 2022-10-18 | Apple Inc. | Generating more realistic synthetic data with adversarial nets |
| CN111696066A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于改进wgan-gp的多波段图像同步融合与增强方法 |
| CN113688806A (zh) * | 2021-10-26 | 2021-11-23 | 南京智谱科技有限公司 | 一种红外与可见光图像融合的多光谱目标检测方法及系统 |
| CN114187442A (zh) * | 2021-12-14 | 2022-03-15 | 深圳致星科技有限公司 | 图像处理方法、存储介质、电子设备及图像处理装置 |
| CN114842235A (zh) * | 2022-03-22 | 2022-08-02 | 西安电子科技大学 | 一种基于形状先验分割和多尺度特征聚合的红外弱小目标识别方法 |
| CN115661530A (zh) * | 2022-10-28 | 2023-01-31 | 合肥高斯智能科技有限公司 | 一种图像数据增强方法、系统及电子设备 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
| CN115965843A (zh) * | 2023-01-04 | 2023-04-14 | 长沙观谱红外科技有限公司 | 一种可见光和红外图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深层特征融合的行人重识别方法;熊炜;熊子婕;杨荻椿;童磊;刘敏;曾春艳;;计算机工程与科学;20200215(第02期);全文 * |
| 融合反射强度图像的地铁隧道点云自动配准;赵文更;张旭;邵晴晴;;测绘通报;20200925(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117808685A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
| US20210003697A1 (en) | Method and apparatus for end-to-end sar image recognition, and storage medium | |
| Li et al. | A method of cross-layer fusion multi-object detection and recognition based on improved faster R-CNN model in complex traffic environment | |
| US20220215259A1 (en) | Neural network training method, data processing method, and related apparatus | |
| CN112800906A (zh) | 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法 | |
| CN110443155A (zh) | 一种基于卷积神经网络的视觉航标识别与分类方法 | |
| CN114170532A (zh) | 一种基于困难样本迁移学习的多目标分类方法和装置 | |
| Abbott et al. | Deep object classification in low resolution lwir imagery via transfer learning | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN116012880A (zh) | 分布式边缘协同推理的行人重识别方法、系统及装置 | |
| CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| Yu et al. | Obstacle detection with deep convolutional neural network | |
| CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
| CN117808685B (zh) | 一种红外图像数据增强的方法、装置 | |
| CN115272685B (zh) | 一种小样本sar舰船目标识别方法及装置 | |
| CN115861595A (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN115272882A (zh) | 一种基于遥感影像的离散建筑物检测方法及系统 | |
| CN115546668A (zh) | 海洋生物的检测方法、装置及无人机 | |
| CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 | |
| CN114220078A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| CN113705304A (zh) | 一种图像处理方法、装置、存储介质及计算机设备 | |
| CN117011616B (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
| WO2023029704A1 (zh) | 数据处理方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |