CN111915566B - 基于循环一致对抗网络的红外样本目标检测方法 - Google Patents

基于循环一致对抗网络的红外样本目标检测方法 Download PDF

Info

Publication number
CN111915566B
CN111915566B CN202010635626.5A CN202010635626A CN111915566B CN 111915566 B CN111915566 B CN 111915566B CN 202010635626 A CN202010635626 A CN 202010635626A CN 111915566 B CN111915566 B CN 111915566B
Authority
CN
China
Prior art keywords
image
network
target detection
infrared
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010635626.5A
Other languages
English (en)
Other versions
CN111915566A (zh
Inventor
杨嘉琛
李爱云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010635626.5A priority Critical patent/CN111915566B/zh
Publication of CN111915566A publication Critical patent/CN111915566A/zh
Application granted granted Critical
Publication of CN111915566B publication Critical patent/CN111915566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于循环一致对抗网络的红外样本目标检测方法，包括下列步骤：1)原始数据集红外图像细节增强；修改图像生成网络；训练图像生成网络，使用经过红外图像细节增强的数据集对调整过后的图像生成网络进行训练，训练数据包括可见光图像以及经过图像细节增强处理的红外图像；得到最终的图像生成网络模型；应用于目标检测网络，将通过图像生成网络模型得到的可见光图像输入目标检测模型进行目标检测。

Description

基于循环一致对抗网络的红外样本目标检测方法
技术领域
本发明属图像处理领域，涉及红外小样本目标检测方法。
背景技术
人类的视觉系统只能接收可见光的光谱信息，专家学者们在可见光图像领域中已经提出了很多先进的计算机视觉目标检测方法。但是，可见光图像很容易受到天气和光强等环境因素的影响，在某些环境中很难进行目标检测任务。红外图像通过接收目标和背景辐射的热量成像，以此表示检测目标在当前场景中的能量或温度信息，信息很少受到环境因素的影响。因此，红外图像目标检测成为了一个重要的研究方向。
随着深度学习技术的发展，红外图像目标检测算法应运而生，但仍有几个问题。例如，当红外数据集为小样本时，人们很难使用现有的目标检测算法来训练新的目标检测网络。因此，利用可见光图像将红外图像直接应用于训练有素的目标检测网络是红外信息挖掘的一个难点。
通常，一个比较成功的目标检测网络需要大量的参数和大规模的数据进行训练，这样的目标检测网络才具有较强的泛化能力，但是生成大规模的带注释的数据集会耗费大量的成本。数据扩充是一种针对小样本目标检测很有帮助的方法，它利用平移或旋转的方法创建额外的样本，通过扩展数据集训练神经网络。但是数据扩充存在局限性，它只是扩大了数据集的规模，并未提高目标检测信息的质量，这会使目标检测网络学习的特征表示不够强健。在红外小样本目标检测上，这种局限性会产生更大的影响。因此，本发明提出了一种基于循环一致生成对抗网络的红外小样本目标检测方法。
发明内容
本发明的目的是提供一种基于循环一致生成对抗网络的红外样本目标检测方法，采用本发明所述方法，能实现红外小样本目标图像与可见光图像两种不同数据的样式转换的，并将转换后的可见光图像应用于现有的目标检测网络。本发明的技术方案如下：
一种基于循环一致对抗网络的红外样本目标检测方法，包括下列步骤：
1)原始数据集红外图像细节增强，方法如下：
第1步：选取以像素点k为中心，r为半径的局部窗口wk，使用式(1)、(2)计算ak，bk
Figure BDA0002568289450000011
Figure BDA0002568289450000012
用I表示输入的原始红外图像，
Figure BDA0002568289450000013
为输入的原始红外图像I在局部窗口wk中的像素的方差，
Figure BDA0002568289450000014
为输入的原始红外图像I在窗口wk中的像素平均值，ε为正则化参数；
第2步：Ii为原始红外图像在局部窗口wk中的像素，使用式(3)得到对应的细节增强后的红外图像像素，并用qi表示：
Figure BDA0002568289450000021
第3步：qi组成细节增强后的红外图像q，用I(y)表示。
2)修改图像生成网络，方法如下
对循环一致生成网络中的生成器网络结构进行修改调整，在生成器网络结构的最后引入如下网络结构：
c7s1-3,c7s1-3,E,A
c7s1-3表示该层网络使用7*7步长为1的卷积核，3个滤波器；E为能量信息转换层，称之为“能量桥”，“能量桥”的具体结构如下：
c7s2-1,c7s2-1,c7s2-1,c7s2-1
“能量桥”网络共有4层，每层均使用7*7步长为2的卷积核，1个滤波器，利用“能量桥”即能量信息转换层提取细节增强后的红外图像q的能量信息特征，并将其转化为能量特征图；A为能量残差融合层，具体结构如下：
C64,C128,C256,C512
能量残差融合层共有4层，每层均使用4*4步长为2的卷积核，滤波器数量分别为64，128，256，512；
3)训练图像生成网络，方法如下：
第1步：设置网络训练轮数为200，其中前100轮学习率设置为0.0002，后100轮学习率随轮次线性下降至0；
第2步：使用经过红外图像细节增强的数据集对调整过后的图像生成网络进行训练，训练数据包括可见光图像以及经过图像细节增强处理的红外图像；
第3步：得到最终的图像生成网络模型；
4)应用于目标检测网络，方法如下：
第1步：选用yolov3目标检测算法的保留预训练参数的目标检测模型；
第2步：将经过图像细节增强操作后的红外图像输入图像生成网络模型，得到可见光图像；
第3步：将通过图像生成网络模型得到的可见光图像输入目标检测模型进行目标检测。
本专利提出基于循环一致生成对抗网络的红外小样本目标检测方法。首先将原始红外图像数据集中的原始红外图像通过细节增强方法提高目标能级，实现能量的初步筛选；接下来利用增强后的数据集对修改调整后的循环一致生成网络进行训练，训练得到的网络模型可以生成直接应用于目标检测网络的可见光图像；最后将生成的可见光图像应用于最先进的目标检测网络。本方法的特征有：1)提高了红外检测图像的质量。2)在夜间或特定任务受到红外样本有限的情况下，生成的可见光图像可以直接应用于目标检测网络。
附图说明
图1本发明所提方法框图
图2图像细节增强变化图
(a)(b)分别是原始红外图像和能量分布，(c)(d)分别是增强后的红外图像和能量分布
图3所提方法生成的可见光图像
(a)和(b)为夜间环境，(c)和(d)为日间环境
图4目标检测效果图
具体实施方式
所提方法主要包括：原始数据集红外图像细节增强、修改图像生成网络、训练图像生成网络、yolov3图像检测等步骤。图1给出了所提方法的框图。包括：
1.原始数据集红外图像细节增强
本专利选用FLIR ADAS数据集作为原始数据集，该数据集包含的数据图像为非对应场景的的红外图像与可见光图像，从中选取红外图像1366张，可见光图像1257幅作为训练图像，并对其中的红外图像进行细节增强，具体方法如下：
对原始红外图像选取以像素点k为中心，r为半径的局部窗口wk，使用式(1)、(2)计算ak，bk：
Figure BDA0002568289450000031
Figure BDA0002568289450000032
用I表示输入的原始红外图像，
Figure BDA0002568289450000033
为输入的原始红外图像I在局部窗口wk中的像素的方差，
Figure BDA0002568289450000034
为输入的原始红外图像I在窗口wk中的像素平均值，ε为正则化参数。Ii为原始红外图像在局部窗口wk中的像素，使用式(3)得到对应的细节增强后的红外图像像素，并用qi表示：
Figure BDA0002568289450000035
qi组成细节增强后的红外图像q，用I(y)表示。
2.修改图像生成网络
本专利所用网络在原有循环一致对抗生成网络的结构基础上进行修改调整，对循环一致生成网络中的生成器网络结构进行修改调整，在生成器网络结构的最后引入如下网络结构：
c7s1-3,c7s1-3,E,A
各网络层之间用“，”隔开表示，c7s1-3表示该层网络使用7*7步长为1的卷积核，3个滤波器。E为能量信息转换层，称之为“能量桥”，“能量桥”的具体结构如下：
c7s2-1,c7s2-1,c7s2-1,c7s2-1
“能量桥”网络共有4层，每层均使用7*7步长为2的卷积核，1个滤波器，利用“能量桥”即能量信息转换层可以提取图像的能量信息特征，并将其转化为能量特征图。A为能量残差融合层，具体结构如下：
C64,C128,C256,C512
能量残差融合层共有4层，每层均使用4*4步长为2的卷积核，滤波器数量分别为64，128，256，512，利用能量残差融合层可以将通过“能量桥”即能量信息转换层得到的能量特征图与生成器网络生成的图像融合，得到能直接应用于目标检测网络的可见光图像。
3.训练图像生成网络
在服务器中使用增强处理后的FLIR ADAS数据集对调整过后的图像生成网络进行训练，训练数据包括1257幅可见光图像以及经过图像细节增强处理的1366张红外图像。为防止过拟合，网络训练轮数设置为200，其中前100轮学习率设置为0.0002，后100轮学习率随轮次线性下降至0。在得到最终的训练模型后，将经过图像细节增强操作后的原始红外图像输入模型，可以得到可见光图像。
4.应用于目标检测网络
图3为本方法最终生成的可见光图像，这类图像可以直接应用于最先进的目标检测网络，本专利使用的目标检测网络为yolov3，并且选取保留预训练参数的模型进行最后的目标检测，图4为最终检测效果。

Claims (1)

1.一种基于循环一致对抗网络的红外样本目标检测方法，包括下列步骤：
1)原始数据集红外图像细节增强，方法如下：
第1步：选取以像素点k为中心，r为半径的局部窗口wk，使用式(1)、(2)计算ak，bk
Figure FDA0002568289440000011
Figure FDA0002568289440000012
用I表示输入的原始红外图像，
Figure FDA0002568289440000013
为输入的原始红外图像I在局部窗口wk中的像素的方差，
Figure FDA0002568289440000014
为输入的原始红外图像I在窗口wk中的像素平均值，ε为正则化参数；
第2步：Ii为原始红外图像在局部窗口wk中的像素，使用式(3)得到对应的细节增强后的红外图像像素，并用qi表示：
Figure FDA0002568289440000015
第3步：qi组成细节增强后的红外图像q，用I(y)表示；
2)修改图像生成网络，方法如下
对循环一致生成网络中的生成器网络结构进行修改调整，在生成器网络结构的最后引入如下网络结构：
c7s1-3,c7s1-3,E,A
c7s1-3表示该层网络使用7*7步长为1的卷积核，3个滤波器；E为能量信息转换层，称之为“能量桥”，“能量桥”的具体结构如下：
c7s2-1,c7s2-1,c7s2-1,c7s2-1
“能量桥”网络共有4层，每层均使用7*7步长为2的卷积核，1个滤波器，利用“能量桥”即能量信息转换层提取细节增强后的红外图像q的能量信息特征，并将其转化为能量特征图；A为能量残差融合层，具体结构如下：
C64,C128,C256,C512
能量残差融合层共有4层，每层均使用4*4步长为2的卷积核，滤波器数量分别为64，128，256，512；
3)训练图像生成网络，方法如下：
第1步：设置网络训练轮数为200，其中前100轮学习率设置为0.0002，后100轮学习率随轮次线性下降至0；
第2步：使用经过红外图像细节增强的数据集对调整过后的图像生成网络进行训练，训练数据包括可见光图像以及经过图像细节增强处理的红外图像；
第3步：得到最终的图像生成网络模型；
4)应用于目标检测网络，方法如下：
第1步：选用yolov3目标检测算法的保留预训练参数的目标检测模型；
第2步：将经过图像细节增强操作后的红外图像输入图像生成网络模型，得到可见光图像；
第3步：将通过图像生成网络模型得到的可见光图像输入目标检测模型进行目标检测。
CN202010635626.5A 2020-07-03 2020-07-03 基于循环一致对抗网络的红外样本目标检测方法 Active CN111915566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010635626.5A CN111915566B (zh) 2020-07-03 2020-07-03 基于循环一致对抗网络的红外样本目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010635626.5A CN111915566B (zh) 2020-07-03 2020-07-03 基于循环一致对抗网络的红外样本目标检测方法

Publications (2)

Publication Number Publication Date
CN111915566A CN111915566A (zh) 2020-11-10
CN111915566B true CN111915566B (zh) 2022-03-15

Family

ID=73227344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010635626.5A Active CN111915566B (zh) 2020-07-03 2020-07-03 基于循环一致对抗网络的红外样本目标检测方法

Country Status (1)

Country Link
CN (1) CN111915566B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699885A (zh) * 2020-12-21 2021-04-23 杭州反重力智能科技有限公司 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统
CN113052865B (zh) * 2021-04-16 2023-12-19 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869132A (zh) * 2016-04-26 2016-08-17 成都市晶林科技有限公司 一种红外图像细节增强方法
CN108491809A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于生成近红外图像生成模型的方法和装置
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869132A (zh) * 2016-04-26 2016-08-17 成都市晶林科技有限公司 一种红外图像细节增强方法
CN108491809A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于生成近红外图像生成模型的方法和装置
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Infrared Small-Target Detection Using Multiscale Gray Difference Weighted Image Entropy;HE DENG et al;《IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS》;20160228;第60-72页 *
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks;Jun-Yan Zhu et al;《2017 IEEE International Conference on Computer Vision》;20171231;第2242-2251页 *
基于伪模态转换的红外目标融合检测算法;安浩南等;《光子学报》;20200609;第1-12页 *
基于深度卷积生成对抗网络的图像识别算法;刘恋秋;《液晶与显示》;20200415(第04期);第94-99页 *
面向航空飞行安全的遥感图像小目标检测;李希等;《航空兵器》;20200615(第03期);第58-65页 *

Also Published As

Publication number Publication date
CN111915566A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
Ren et al. Low-light image enhancement via a deep hybrid network
Liu et al. Deep depthwise separable convolutional network for change detection in optical aerial images
CN110119703B (zh) 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN107945118B (zh) 一种基于生成式对抗网络的人脸图像修复方法
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN111915566B (zh) 基于循环一致对抗网络的红外样本目标检测方法
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
Liu et al. Video image target monitoring based on RNN-LSTM
CN110363751B (zh) 一种基于生成协作网络的大肠内视镜息肉检测方法
Li et al. Single image dehazing with an independent detail-recovery network
CN116486408B (zh) 遥感图像跨域语义分割方法及装置
CN111340011B (zh) 一种自适应时序移位神经网络时序行为识别方法
Wang et al. Occluded person re-identification via defending against attacks from obstacles
Wei et al. Non-homogeneous haze removal via artificial scene prior and bidimensional graph reasoning
Liu et al. TransCloudSeg: Ground-based cloud image segmentation with transformer
Chen et al. Colorization of infrared images based on feature fusion and contrastive learning
Wang et al. Adaptive feature fusion network based on boosted attention mechanism for single image dehazing
Zhu et al. Learning knowledge representation with meta knowledge distillation for single image super-resolution
Song et al. Semi-MapGen: translation of remote sensing image into map via semisupervised adversarial learning
Hao et al. Research on an unsupervised person re-identification based on image quality enhancement method
CN116563103A (zh) 一种基于自适应神经网络的遥感图像时空融合方法
Jin et al. Adversarial attacks on multi-focus image fusion models
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant