CN112288026B - 一种基于类激活图的红外弱小目标检测方法 - Google Patents

一种基于类激活图的红外弱小目标检测方法 Download PDF

Info

Publication number
CN112288026B
CN112288026B CN202011215190.0A CN202011215190A CN112288026B CN 112288026 B CN112288026 B CN 112288026B CN 202011215190 A CN202011215190 A CN 202011215190A CN 112288026 B CN112288026 B CN 112288026B
Authority
CN
China
Prior art keywords
class
target
infrared
class activation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011215190.0A
Other languages
English (en)
Other versions
CN112288026A (zh
Inventor
王欢
冯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011215190.0A priority Critical patent/CN112288026B/zh
Publication of CN112288026A publication Critical patent/CN112288026A/zh
Application granted granted Critical
Publication of CN112288026B publication Critical patent/CN112288026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类激活图的红外弱小目标检测方法。首先构建深度学习网络模型STDCAM网络，该网络是一个二分类网络，用于判断图片中是否含有红外弱小目标；然后合成仿真样本构造训练集，利用训练集训练STDCAM网络模型；模型训练好后，将测试图片输入STDCAM网络，如果网络预测图片中含有小目标，就计算测试图片对应的类激活图，通过对类激活图的阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。本发明是一种弱监督的目标检测方法，结合了图片分类和目标定位，相比于强监督模型减少了图片标注的工作量，在实验中证明了本发明在大量场景中具有的有效性。

Description

一种基于类激活图的红外弱小目标检测方法
技术领域
本发明属于红外图像分析技术，具体为一种基于类激活图的红外弱小目标检测方法。
背景技术
红外弱小目标检测在军事和安防中的目标探测、海上搜救、工业缺陷检测和温度监控、医学影像分析、森林防火、野生动物保护等方面有着十分广泛的应用。近年来，深度学习也被应用到红外弱小目标检测中。由于红外弱小目标尺寸小的特性，采用深度学习语义分割模型比目标检测模型直接框出目标位置效果更好。现在大部分深度学习语义分割模型都是强监督模型，在模型训练时需要对训练图片进行语义标注，即训练图片中每一个像素的语义信息，需要花费大量的标注时间。
发明内容
本发明的目的在于提供一种弱监督的深度学习模型和方法用于红外弱小目标检测，
实现本发明目的的技术方案为：一种基于类激活图的红外弱小目标检测方法，包括以下步骤：
步骤1、构建STDCAM二分类深度学习网络模型，所述STDCAM二分类深度学习网络模型包括特征提取模块和特征分类模块，所述特征提取模块和特征分类模块间采用全局平均池化作为连接；
步骤2、合成仿真样本构造训练集；
步骤3、利用训练集训练STDCAM模型；
步骤4、将测试图片输入训练好的STDCAM模型。如果模型判别测试图片含有小目标，则将该图片在模型前向传播中的最后一层卷积特征图与类别对应的全连接层系数加权求和得到类激活图。最后类激活图经过阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。
优选地，所述特征提取模块采用全卷积网络架构，包括8个卷积层，每个卷积层采用3x3卷积核，并使用全零填充保持在卷积操作中特征图的宽和高不变，卷积层的通道数随着网络的深度先递增然后递减；
所述全局平均池化用于将特征图变成特征向量；
所述特征分类模块采用一层全连接层对特征向量进行二分类。
优选地，所述STDCAM二分类深度学习网络的损失函数为交叉熵损失函数：
Figure BDA0002760138520000021
其中，N表示训练图像的数量，yi表示样本i的类别，正类为1，负类为0，pi表示样本i预测为正的概率。
优选地，步骤2中合成仿真样本构成训练集的步骤为：
步骤21、从自然场景红外图像中提取固定大小的图像块作为训练样本的反例图像；
步骤22、在反例图像上随机指定目标叠加位置，按预设尺寸和目标中心灰度值生成灰度分布满足二维高斯函数的目标；
步骤23、将步骤22中目标叠加在步骤21中的反例图像的指定位置上，获得正例图像，正例图像和反例图像构成了训练集。
优选地，步骤4计算待检测图片的类激活图如下：
设fk(x,y)表示图片前向传播过程中最后一层卷积特征图第k个通道(x,y)位置的值，
Figure BDA0002760138520000022
表示全连接层中输入为第k个神经元输出为类别c对应的权值，则类激活图(x,y)位置
Figure BDA0002760138520000023
将类激活图归一化到[0-1]；
对得到的类激活图进行基于均值和方差的阈值化得到二值化图像。
优选地，阈值化的具体公式为：
t＝u+pmax(σ,σmin)
式中，t表示进行二值化时的阈值，u和σ分别为类激活图的灰度均值和标准差，p和σmin均为经验常数。
本发明与现有技术相比，其显著优点为：本发明中的分类模型，模型训练时只需提供图像类别信息，不需要像语义分割时提供图像每个像素的语义信息，对于采用真实训练样本来训练的情况，减少了人工标注的工作量；对于模型判断出图片有小目标的情况，通过类激活图来对目标进行定位，结合了图片分类和目标定位，是一种弱监督的检测方法，在大量场景中取得良好的效果。
附图说明
图1为本发明的STDCAM网络模型和类激活图计算示意图。
图2为自然场景红外图像。
图3为本发明以及现有3个方法在5个不同场景的检测结果和对应真实目标图。图3(a)为深空临边场景，图3(b)为海面场景，图3(c)为强边缘干扰场景，图3(d)为天空多云场景，图3(e)为太空多目标场景。
图4为图3中不同场景各个方法结果的ROC曲线图。图4(a)为深空临边场景的ROC曲线图，图4(b)为海面场景的ROC曲线图，图4(c)为强边缘干扰场景的ROC曲线图，图4(d)为天空多云场景的ROC曲线图，图4(e)为太空多目标场景的ROC曲线图。
具体实施方式
如图1、2所示，一种基于类激活图的红外弱小目标检测方法，具体步骤为：
步骤1、构建STDCAM二分类深度学习网络模型；
STDCAM模型主要分为两部分，所述STDCAM二分类深度学习网络模型包括特征提取模块和特征分类模块；所述特征提取模块和特征分类模块间采用全局平均池化作为连接。
进一步的实施例中，如图1所示，特征提取模块采用全卷积网络结构，包括8个卷积层，卷积核大小为3x3，通过全零填充使得随着网络的加深，特征图的宽高不变。目的是为了在用类激活图来进行目标定位时不需要进行上采样来扩大类激活图的尺寸，提高定位的精度。特征图的通道数先增后减，前半段特征通道数依次增加为64，64，128，256，512，希望网络能学到越来越多的特征。后半段特征通道数依次减少为512，256，128，64，希望网络能关注小目标的特征。
特征提取完后对特征图采用全局平均池化使特征图变成特征向量用于后续的分类。
分类部分采用一层全连接层，输入为全局平均池化后的特征向量，输出为图片的类别。
进一步的实施例中，所述STDCAM二分类深度学习网络的损失函数为交叉熵损失函数：
Figure BDA0002760138520000041
其中N表示训练图像的数量，yi表示样本i的类别，正类为1，负类为0，pi表示样本i预测为正的概率。
步骤2、合成仿真样本构造训练集；
STDCAM网络是一个二分类模型，需要大量的正负样本进行训练。本发明中为了获得足够多的训练样本，通过合成的方法来构造。首先从自然场景中利用已有的红外热像仪在不同天气下拍摄不同的自然地物和天空混合场景，如图2所示。然后利用拍摄的图片制作训练集，具体方法为：
(1)从自然场景红外图像中提取固定大小的图像块作为训练样本的反例，即不含有小目标的图像；
(2)在反例图像上随机指定目标叠加位置，按预设尺寸和目标中心灰度值生成灰度分布满足二维高斯函数的目标；
(3)将(2)中目标叠加在步骤(1)中的背景图像的指定位置上，获得正例样本，即含有小目标的图像。正例图像和反例图像构成了训练集。
在某些实施例中，图像块的大小取128x128,小目标的半径取2-5个像素大小，目标中心灰度值范围在20-50。
步骤3、利用训练集训练STDCAM模型；
利用训练集训练STDCAM模型具体为：将训练集分批次输入深度学习网络，整个训练集被访问一轮后，重新打乱整个训练集，进行下一轮，反复直至模型收敛停止训练；
在某些实施例中，每批训练集大小设为16，采用Adam算法进行网络参数的优化，参数学习率设为0.00001，其他参数采用Adam默认值。网络的初始权重采用Pytorch框架的默认初始化方式。
步骤4、模型检测；
将一幅待检测图片输入训练好的STDCAM网络模型，经过模型的计算判断测试图片中是否含有小目标。如果网络判断出测试图片含有小目标，则计算测试图片对应的类激活图，计算类激活图的方法如下：
设fk(x,y)表示图片前向传播过程中最后一层卷积特征图第k个通道(x,y)位置的值，
Figure BDA0002760138520000051
表示全连接层中输入为第k个神经元输出为类别c对应的权值，则类激活图(x,y)位置
Figure BDA0002760138520000052
最后将类激活图归一化到[0-1]。
对得到的类激活图按式(2)进行基于均值和方差的阈值化得到二值化图像。
t＝u+pmax(σ,σmin) (2)
其中，t表示进行二值化时的阈值，u和σ分别为类激活图的灰度均值和标准差，p和σmin均为经验常数。在二值化图像中提取连通区域，获取每个连通区域的质心，则每个连通区域即对应一个弱小目标，该待检测图像检测完毕。
本发明结合图片分类和目标定位，减少模型训练时数据标注的工作量并在大量场景中取得良好的红外弱小目标检测效果。本发明中提出的深度学习模型是一个二分类模型。在训练模型时，只需要提供训练图片是否含有小目标这一信息。对于预测出有目标的图像，为了得到类似语义分割模型输出的语义图用于目标检测定位，通过将输入图片在模型前向传播过程中的最后一层卷积特征图与该图片输出类别对应的全连接层系数加权求和，得到类激活图。类激活图反映了模型判别输入为某一类别时关注的图像区域，因此通过类激活图可以实现红外弱小目标的检测定位。
图3给出了本发明与3种代表性方法(形态学滤波Tophat，块相似性方法PatchSim，红外块图像模型IPI)在5个不同场景的测试结果。图4为对应场景下不同方法的ROC曲线图。可以看出，本发明能达到和3种代表性方法相当的检测能力，在海面场景下优于其他方法，并且本发明的方法在正确检测出目标的同时，背景抑制效果最好。在太空多目标场景中的检测结果说明了本发明的方法具有同时检测多个目标的能力。

Claims (6)

1.一种基于类激活图的红外弱小目标检测方法，其特征在于，包括以下步骤：
步骤1、构建STDCAM二分类深度学习网络模型，所述STDCAM二分类深度学习网络模型包括特征提取模块和特征分类模块，所述特征提取模块和特征分类模块间采用全局平均池化作为连接；
步骤2、合成仿真样本构造训练集；
步骤3、利用训练集训练STDCAM模型；
步骤4、将测试图片输入训练好的STDCAM模型，如果模型判别测试图片含有小目标，则将该图片在模型前向传播中的最后一层卷积特征图与类别对应的全连接层系数加权求和得到类激活图， 最后类激活图经过阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。
2.根据权利要求1所述的基于类激活图的红外弱小目标检测方法，其特征在于，所述特征提取模块采用全卷积网络架构，包括8个卷积层，每个卷积层采用3x3卷积核，并使用全零填充保持在卷积操作中特征图的宽和高不变，卷积层的通道数随着网络的深度先递增然后递减；
所述全局平均池化用于将特征图变成特征向量；
所述特征分类模块采用一层全连接层对特征向量进行二分类。
3.根据权利要求1所述的基于类激活图的红外弱小目标检测方法，其特征在于，所述STDCAM二分类深度学习网络的损失函数为交叉熵损失函数：
Figure FDA0003756042500000011
其中，N表示训练图像的数量，yi表示样本i的类别，正类为1，负类为0，pi表示样本i预测为正的概率。
4.根据权利要求1所述的基于类激活图的红外弱小目标检测方法，其特征在于，步骤2中合成仿真样本构成训练集的步骤为：
步骤21、从自然场景红外图像中提取固定大小的图像块作为训练样本的反例图像；
步骤22、在反例图像上随机指定目标叠加位置，按预设尺寸和目标中心灰度值生成灰度分布满足二维高斯函数的目标；
步骤23、将步骤22中目标叠加在步骤21中的反例图像的指定位置上，获得正例图像，正例图像和反例图像构成了训练集。
5.根据权利要求1所述的基于类激活图的红外弱小目标检测方法，其特征在于，步骤4计算待检测图片的类激活图如下：
设fk(x,y)表示图片前向传播过程中最后一层卷积特征图第k个通道(x,y)位置的值，
Figure FDA0003756042500000021
表示全连接层中输入为第k个神经元输出为类别c对应的权值，则类激活图(x,y)位置
Figure FDA0003756042500000022
将类激活图归一化到[0，1]；
对得到的类激活图进行基于均值和方差的阈值化得到二值化图像。
6.根据权利要求5所述的基于类激活图的红外弱小目标检测方法，其特征在于，阈值化的具体公式为：
t＝u+pmax(σ,σmin)
式中，t表示进行二值化时的阈值，u和σ分别为类激活图的灰度均值和标准差，p和σmin均为经验常数。
CN202011215190.0A 2020-11-04 2020-11-04 一种基于类激活图的红外弱小目标检测方法 Active CN112288026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215190.0A CN112288026B (zh) 2020-11-04 2020-11-04 一种基于类激活图的红外弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215190.0A CN112288026B (zh) 2020-11-04 2020-11-04 一种基于类激活图的红外弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN112288026A CN112288026A (zh) 2021-01-29
CN112288026B true CN112288026B (zh) 2022-09-20

Family

ID=74352300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215190.0A Active CN112288026B (zh) 2020-11-04 2020-11-04 一种基于类激活图的红外弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN112288026B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255683B (zh) * 2021-06-25 2021-10-01 广东兴睿科技有限公司 一种基于神经网络的图像分割方法、系统及存储介质
CN113674288B (zh) * 2021-07-05 2024-02-02 华南理工大学 一种非小细胞肺癌数字病理图像组织自动分割方法
CN116310293B (zh) * 2023-02-13 2023-09-12 中国矿业大学(北京) 一种基于弱监督学习的生成高质量候选框目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054698A (ja) * 2011-09-06 2013-03-21 Nec Corp 会話検出システム、会話検出装置、会話検出方法およびプログラム
CN109902715B (zh) * 2019-01-18 2022-09-06 南京理工大学 一种基于上下文聚合网络的红外弱小目标检测方法
CN110147904B (zh) * 2019-04-23 2021-06-18 深圳先进技术研究院 一种城市聚集事件预测与定位方法及装置

Also Published As

Publication number Publication date
CN112288026A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN112288026B (zh) 一种基于类激活图的红外弱小目标检测方法
CN109345508B (zh) 一种基于两阶段神经网络的骨龄评价方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN108510504B (zh) 图像分割方法和装置
CN112614136B (zh) 一种红外小目标实时实例分割方法及装置
CN110110596B (zh) 高光谱图像特征提取、分类模型构建及分类方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
Nguyen et al. Satellite image classification using convolutional learning
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN112329771B (zh) 一种基于深度学习的建筑材料样本识别方法
CN112562255A (zh) 微光环境下电缆沟道烟雾火情的智能图像检测方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN113642606A (zh) 一种基于注意力机制的海上舰船检测方法
Wang et al. MLFFNet: Multilevel feature fusion network for object detection in sonar images
CN113139618B (zh) 一种基于集成防御的鲁棒性增强的分类方法及装置
CN111027570A (zh) 一种基于细胞神经网络的图像多尺度特征提取方法
CN115546638A (zh) 基于暹罗级联差分神经网络的变化检测方法
Özgür et al. Lip segmentation using adaptive color space training
CN117408304B (zh) 6d姿态预测神经网络模型系统及方法
CN112419227B (zh) 基于小目标搜索缩放技术的水下目标检测方法和系统
CN115205853B (zh) 一种基于图像的柑橘果实检测与识别方法及系统
CN113255681B (zh) 一种生物数据性状识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant