CN114119514A - 一种红外弱小目标的检测方法、装置、电子设备和存储介质 - Google Patents

一种红外弱小目标的检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114119514A
CN114119514A CN202111341950.7A CN202111341950A CN114119514A CN 114119514 A CN114119514 A CN 114119514A CN 202111341950 A CN202111341950 A CN 202111341950A CN 114119514 A CN114119514 A CN 114119514A
Authority
CN
China
Prior art keywords
feature
network
result
feature extraction
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111341950.7A
Other languages
English (en)
Inventor
程宇航
张樯
杨忠东
李斌
张蛟淏
姚裔仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202111341950.7A priority Critical patent/CN114119514A/zh
Publication of CN114119514A publication Critical patent/CN114119514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本申请涉及目标检测技术领域，特别涉及一种红外弱小目标的检测方法、装置、电子设备和存储介质。该方法通过构建特征提取网络以提取红外图像中不同深度的特征；构建采用ASPP结构的第一金字塔结构，以提取红外图像的上下文特征；构建特征融合结构，以组成第二金字塔结构，用于对所述特征提取网络和所述第一金字塔结构的输出结果进行特征融合；构建全卷积网络结构，以对特征融合后的结果进行语义分割，并输出红外图像中的目标检测结果。本申请提供的红外弱小目标的检测方法能够提高红外弱小目标的检测准确率和降低虚警率。

Description

一种红外弱小目标的检测方法、装置、电子设备和存储介质
技术领域
本申请涉及目标检测技术领域，特别涉及一种红外弱小目标的检测方法、装置、电子设备和存储介质。
背景技术
在计算机视觉领域中，红外目标的检测一直是一个热门且富有挑战性的课题。近年来，军事领域和工业、医疗等民用领域都开始广泛使用红外目标检测技术，且取得了巨大成功。这些领域的特殊需求促进了对更高检测率和更低虚警率的算法的研究和应用。
红外弱小目标是指具有本身缺乏颜色纹理等特征，尺寸极小(一般小于9x9像素)，对比度低等特点的一类目标。对其进行检测的难点包括：目标可用特征少、图像信噪比低、成像环境复杂、背景相似程度高等。
近年来，传统的红外弱小目标检测算法注重于参考人类视觉系统，获得图像中局部对比度，例如MPCM算法取得了很好的效果，但在检测准确率和虚警率等指标上还未达到预期水平。
因此，目前亟待需要一种红外弱小目标的检测方法、装置、电子设备和存储介质来解决上述技术问题。
发明内容
本申请提供了一种红外弱小目标的检测方法、装置、电子设备和存储介质，能够提高红外弱小目标的检测准确率和降低虚警率。
第一方面，本申请实施例提供了一种红外弱小目标的检测方法，包括：
获取待检测的红外图像；
将所述待检测的红外图像输入到预先构建好的神经网络模型中，得到针对所述待检测的红外图像中包括的目标检测结果；
其中，所述神经网络模型是通过如下方式进行构建的：
构建特征提取网络；其中，所述特征提取网络用于提取红外图像中不同深度的特征；
构建采用ASPP结构的第一金字塔结构；其中，所述第一金字塔结构用于提取红外图像的上下文特征；
构建特征融合结构；其中，所述特征融合结构用于对所述特征提取网络和所述第一金字塔结构的输出结果进行特征融合以构建第二特征金字塔结构；
构建全卷积网络结构；其中，所述全卷积网络结构用于对特征融合后的结果进行语义分割，以输出针对红外图像中包括的目标的检测结果。
在一种可能的设计中，所述特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，所述第一残差网络用于对接收的红外图像进行第一次特征提取，所述第二残差网络用于对第一次特征提取的结果进行第二次特征提取，所述第三残差网络用于对第二次特征提取的结果进行第三次特征提取，所述第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
所述第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
在一种可能的设计中，所述构建特征融合结构，包括：
构建第一特征融合结构；其中，所述第一特征融合结构用于对第三次特征提取的结果和所述第一金字塔结构的输出结果进行特征融合；
构建第二特征融合结构；其中，所述第二特征融合结构用于对第二次特征提取的结果和所述第一特征融合结构融合的结果进行特征融合。
在一种可能的设计中，所述第一特征融合结构和所述第二特征融合结构是基于位置注意力和通道注意力机制构建的。
第二方面，本申请实施例提供了一种红外弱小目标的检测装置，包括：
获取模块，用于获取待检测的红外图像；
检测模块，用于将所述待检测的红外图像输入到预先构建好的神经网络模型中，得到针对所述待检测的红外图像中包括的目标的检测结果；
其中，所述神经网络模型是通过如下方式进行构建的：
构建特征提取网络；其中，所述特征提取网络用于提取红外图像中不同深度的特征；
构建采用ASPP结构的第一金字塔结构；其中，所述第一金字塔结构用于提取红外图像的上下文特征；
构建特征融合结构；其中，所述特征融合结构用于对所述特征提取网络和所述第一金字塔结构的输出结果进行特征融合以构建第二特征金字塔结构；
构建全卷积网络结构；其中，所述全卷积网络结构用于对特征融合后的结果进行语义分割，以输出针对红外图像中包括的目标的检测结果。
在一种可能的设计中，所述特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，所述第一残差网络用于对接收的红外图像进行第一次特征提取，所述第二残差网络用于对第一次特征提取的结果进行第二次特征提取，所述第三残差网络用于对第二次特征提取的结果进行第三次特征提取，所述第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
所述第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
在一种可能的设计中，所述构建特征融合结构，包括：
构建第一特征融合结构；其中，所述第一特征融合结构用于对第三次特征提取的结果和所述第一金字塔结构的输出结果进行特征融合；
构建第二特征融合结构；其中，所述第二特征融合结构用于对第二次特征提取的结果和所述第一特征融合结构融合的结果进行特征融合。
在一种可能的设计中，所述第一特征融合结构和所述第二特征融合结构是基于位置注意力和通道注意力机制构建的。
第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如上述任一项所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项所述的方法。
本实施例提供了一种红外弱小目标的检测方法、装置、电子设备和存储介质，通过基于双金字塔结构的网络模型对红外弱小目标进行检测。该网络模型分别构建由残差连接网络组成的特征提取网络，以提取红外图像中不同层次的尺度特征；构建采用ASPP结构的第一金字塔结构，以提取红外图像的上下文特征；构建特征融合结构，以对所述特征提取网络和所述第一金字塔结构的输出结果进行特征融合构成第二金字塔结构；构建全卷积网络结构，以对特征融合后的结果进行语义分割，并输出红外图像中的目标检测结果。本申请提供的红外弱小目标的检测方法能够提高红外弱小目标的检测准确率和降低虚警率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种红外弱小目标的检测方法示意图；
图2是本发明实施例提供的神经网络结构示意图；
图3是本发明实施例一提供的针对简单背景下的高对比度样本，本发明检测方法与传统算法目标分割效果对比图；
图4是本发明实施例二提供的针对复杂背景下的低对比度样本，本发明检测方法与传统算法目标分割效果对比图；
图5是本发明实施例三提供的针对地物背景，本发明检测方法与传统算法目标分割效果对比图；
图6是本发明实施例提供的一种计算设备的硬件架构图；
图7是本发明实施例提供的一种红外弱小目标的检测装置的结构图。
具体实施方式
以下结合附图及实施例，对本申请进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在本申请实施例的描述中，除非另有明确的规定和限定，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性；除非另有规定或说明，术语“多个”是指两个或两个以上；术语“连接”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接，或电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
本说明书的描述中，需要理解的是，本申请实施例所描述的“上”、“下”等方位词是以附图所示的角度来进行描述的，不应理解为对本申请实施例的限定。此外，在上下文中，还需要理解的是，当提到一个元件连接在另一个元件“上”或者“下”时，其不仅能够直接连接在另一个元件“上”或者“下”，也可以通过中间元件间接连接在另一个元件“上”或者“下”。
现有技术中，针对红外弱小目标的检测方法有很多种，包括Top-Hat法、Max-Median法和MPCM法等传统模型驱动算法和ACM等基于神经网络的算法，这些方法在对背景简单的场景下目标检测效果不错，但是当背景复杂，目标与背景差异不明显时，交并比低、虚警率高、检测效果不佳。
为了解决该技术问题，可以考虑采用双金字塔结构构建网络模型，并结合注意力机制进行特征融合，进而提高检测模型的准确率。
如图1所示，本发明实施例提供了一种红外弱小目标的检测方法，该方法包括如下步骤：
步骤100：获取待检测的红外图像；
步骤102：将待检测的红外图像输入到预先构建好的神经网络模型中，得到针对待检测的红外图像中包括的目标检测结果；
如图2所示，神经网络模型是通过如下方式进行构建的：
构建由残差连接网络组成的特征提取网络；其中，特征提取网络用于提取红外图像中不同深度的特征；
构建采用ASPP结构的第一金字塔结构；其中，第一金字塔结构用于提取红外图像的上下文特征；
构建特征融合结构；其中，特征融合结构用于对第一金字塔结构和第二金字塔结构的输出结果进行特征融合以构成第二金字塔结构；
构建全卷积网络结构；其中，全卷积网络结构用于对特征融合后的结果进行分类，以输出针对红外图像中包括的目标的检测结果。
在本发明实施例中，通过构建由残差连接网络组成的特征提取网络，以提取红外图像中不同深度的特征；构建采用ASPP结构的第以金字塔结构，以提取红外图像的上下文特征；构建特征融合结构，以对特征提取网络和第以金字塔结构的输出结果进行特征融合以构成第二金字塔结构；构建全卷积网络结构，以对特征融合后的结果进行语义分割，并输出红外图像中的目标检测结果。
本申请提供的红外弱小目标的检测方法能够提高红外弱小目标的检测准确率和降低虚警率。
在该实施例中，特征提取网络可以采用四阶残差网络，该网络能够很好的训练深层网络，有助于解决梯度消失和梯度爆炸问题。需要说明的是，虽然本实施例采用四阶的残差网络，但是并不能理解为对本模型的限定，用户可以根据模型的复杂程度，选择任意阶的残差网络和每阶中残差块的数量，并不以此为限。
第一金字塔结构可以是采用了稠密链接的空间金字塔池化结构(ASPP)，稠密链接结构能够通过密集链接的方式连接不同尺度的扩张卷积层，从而改进ASPP结构分辨率不够密集的缺陷。另外，该ASPP结构使用空洞卷积，能够在不减小特征分辨率的同时扩大感受野，并且不显著增加模型大小。
需要说明的是，ASPP结构可以包括扩张率d分别为d＝3、d＝6、d＝12和d＝18的4层空洞卷积结构。这一参数选择不仅能够覆盖足够大的感受野，而且能够形成密集的特征，从而有效增强对多尺度目标和上下文的感受能力。需要说明的是，本实施例只是一种优选方式，并不以此为限。
下面描述各步骤的实现过程。
针对步骤100，在一些实施方式中，需要收集足够多的包含红外弱小目标的红外图像，以生成数据集。
手动标注这些红外图像，并将数据集分为训练集、评估集、测试集三类。
在该实施例中，获得的红外图像可以是实际环境下拍摄得到的红外弱小目标图像，并手动对图像中的目标进行分割，原始目标图像作为输入，分割出来的小目标作为输出，用于对网络模型进行训练和测试。
针对步骤102，在一些实施方式中，特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，第一残差网络用于对接收的红外图像进行第一次特征提取，第二残差网络用于对第一次特征提取的结果进行第二次特征提取，第三残差网络用于对第二次特征提取的结果进行第三次特征提取，第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
在该实施例中，采用四阶段的残差块对红外图像进行特征提取，第一残差网络包含2个残差块，第二残差网络包含4个残差块，第三残差网络包含3个残差块，第四残差网络包含3个残差块，每一阶段的输出都将被保留作为第二金字塔的一层，从前向后，输入特征的尺度逐渐减小，特征层数逐渐增加。
可以理解的是，不同尺度特征图上包含的特征不相同，通常，浅层的特征图中通常包含有丰富的细节特征,而深层的特征图中包含有丰富的语义特征，因此，采用第四次特征提取的结果作为第一金字塔结构的输入，能够获得更全面的上下文信息。
针对步骤102，在一些实施方式中，构建特征融合结构，包括：
构建第一特征融合结构；其中，第一特征融合结构用于对第三次特征提取的结果和第一金字塔结构的输出结果进行特征融合；
构建第二特征融合结构；其中，第二特征融合结构用于对第二次特征提取的结果和第一特征融合结构融合的结果进行特征融合。
在该实施例中，通过两次特征融合，能够将利用第一金字塔结构提取的第二次特征、第三次特征以及利用第二金字塔结构提取的上下文特征全部融合到一起，融合后的特征具有更强的描述性，有利于小目标的检测。
针对步骤102，在一些实施方式中，第一特征融合结构和第二特征融合结构是基于位置注意力和通道注意力机制构建的。
在该实施例中，特征融合阶段采用注意力机制，对特征提取网络提取的目标特征和第一金字塔结构提取的上下文信息进行多尺度特征融合。
可以理解的是，底层特征图保留了图像边缘、轮廓等局部细节信息，有利于目标定位，因此对底层特征使用位置注意力，能够突出红外弱小目标的本身信息；高层特征图则包含更加抽象的语义信息，但对细节的感知能力较差，因此，对高层特征采用通道注意力，能够保留有价值的特征，剔除无价值的特征。由此可知，通过自上而下的横向连接将底层特征与高层特征相互融合，构建具有细粒度特征和丰富语义信息的特征表示，融合后的特征具有更强的描述性，有利于小目标的检测。
本申请红外弱小目标检测方法的具体步骤如下：
S1：收集包含红外弱小目标的图像生成数据集，手动标注数据集中的每个图像，并将数据集分为训练集、评估集、测试集三类；
S2：搭建网络模型并开始训练，读取训练集图像并按批次转化为四维张量数据，读入搭建好的神经网络；
S3：计算和存储神经网络中每层的参数，根据损失函数计算现有参数和手动标注结果的偏差值；
S4：根据偏差值求误差梯度，并以此梯度作为下一次更新神经网络参数的依据；
S5：在评估集上评估模型，并保存训练结果
S6：重复S2～S5步，直到输出结果和手动标注结果的误差到达可接受范围内；
S7：读取保存的训练模型参数，读取测试集并转化为四维张量，将读取的数据输出模型，得到网络的输出结果；
S8：转张量为向量，滤波并计算与手动标注结果的交并比，统计连通域并计算输出虚警率和检测率。
下面以三个具体的案例对本申请的红外弱小目标检测方法的检测效果做具体说明。
三个案例中特征提取网络采用采用四阶段的残差块对红外图像目标进行特征提取，第一残差网络包含2个残差块，第二残差网络包含4个残差块，第三残差网络包含3个残差块，第四残差网络包含3个残差块，每一阶段的输出都作为第一金字塔的一层，从前向后，输入特征的尺度逐渐减小，特征层数逐渐增加；第一金字塔结构中4层空洞卷积的扩张率分别为3、6、12和18。
案例一：如图3所示，针对简单背景下的高对比度样本，对比本发明与Top-Hat、Max-Median、MPCM、ACM算法的分割效果。从图中可以看出，在简单背景情形下，本申请检测方法的交并比高于所对比的传统算法和基于神经网络的方法。
案例二：如图4所示，针对复杂背景下的低对比度样本，对比本发明与Top-Hat、Max-Median、MPCM、ACM算法的分割效果。从图中可以看出，在复杂背景情形下，本申请的检测方法虚警率低，检测率高。
案例三：如图5所示，针对地物背景，对比本发明与Top-Hat、Max-Median、MPCM、ACM算法的分割效果。从图中可以看出，在地物背景情形下，本申请检测方法虚警率远低于其他算法，可有效地对目标和地物背景进行分割。
如表1所示，为本申请针对简单背景下的高对比度样本、复杂背景下的低对比度样本和地物背景三种情形下，采用本申请与Top-Hat、Max-Median、MPCM、ACM算法的目标检测结果对照表。
表1
算法名称 交并比(％) 检测率(％) 虚警率(×10<sup>-5</sup>)
Top-Hat 7.143 79.84 101.2
Max-Median 4.172 69.2 5.3
MPCM 35.7 77.95 544.6
ACM 70.33 93.91 3.4
本申请方法 74.29 98.08 1.4
从表中可以看出，本申请检测方法对不同大小、亮度、对比度的目标都有良好的检测能力。对背景复杂，目标与背景差异不明显的场景，虚警率低，检测率高，且能良好地保留目标本身的形状。其中，本发明在测试数据集上交并比达到了74.29％，检测率达到了98.08％，虚警率降低到了1.456×10-5。
如图6和图7所示，本发明实施例提供了一种红外弱小目标的检测装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图6所示，为本发明实施例提供的一种红外弱小目标的检测装置所在计算设备的一种硬件架构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图7所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。
如图7所示，本实施例提供的一种红外弱小目标的检测装置，包括：
获取模块300，用于获取待检测的红外图像；
检测模块302，用于将待检测的红外图像输入到预先构建好的神经网络模型中，得到针对待检测的红外图像中包括的目标的检测结果；
在本发明实施例中，获取模块300可用于执行上述方法实施例中的步骤100，检测模块302可用于执行上述方法实施例中的步骤102。
在本发明一个实施例中，在执行检测模块300之前，需要执行如下操作：
步骤S1：构建由残差连接网络组成的特征提取网络，以用于提取红外图像中不同深度的特征；
其中，特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，第一残差网络用于对接收的红外图像进行第一次特征提取，第二残差网络用于对第一次特征提取的结果进行第二次特征提取，第三残差网络用于对第二次特征提取的结果进行第三次特征提取，第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
步骤S2：构建采用ASPP结构的第一金字塔结构；
其中，第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
步骤S3：构建特征融合结构，以用于对特征提取网络和第一金字塔结构的输出结果进行特征融合以构成第二金字塔结构；
构建特征融合结构包括：
步骤A：构建第一特征融合结构；
步骤B：构建第二特征融合结构；
需要说明的是：第一特征融合结构和第二特征融合结构是基于位置注意力和通道注意力机制构建的。
其中，第一特征融合结构用于对第三次特征提取的结果和第一金字塔结构的输出结果进行特征融合；
第二特征融合结构用于对第二次特征提取的结果和第一特征融合结构融合的结果进行特征融合。
步骤S4：构建全卷积网络结构，以用于对特征融合后的结果进行语义分割，以输出针对红外图像中包括的目标的检测结果。
可以理解的是，本发明实施例示意的结构并不构成对一种红外弱小目标的检测装置的具体限定。在本发明的另一些实施例中，一种红外弱小目标的检测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了一种计算设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时，实现本发明任一实施例中的一种红外弱小目标的检测方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在被处理器执行时，使处理器执行本发明任一实施例中的一种红外弱小目标的检测方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或GPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种红外弱小目标的检测方法，其特征在于，包括：
获取待检测的红外图像；
将所述待检测的红外图像输入到预先构建好的神经网络模型中，得到针对所述待检测的红外图像中包括的目标检测结果；
其中，所述神经网络模型是通过如下方式进行构建的：
构建特征提取网络；其中，所述特征提取网络用于提取红外图像中不同深度的特征；
构建采用ASPP结构的第一金字塔结构；其中，所述第一金字塔结构用于提取红外图像的上下文特征；
构建特征融合结构以组成第二金字塔结构；其中，所述特征融合结构用于对所述特征提取网络和所述第一金字塔结构的输出结果进行特征融合；
构建全卷积网络结构；其中，所述全卷积网络结构用于对特征融合后的结果进行语义分割，以输出针对红外图像中包括的目标的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，所述第一残差网络用于对接收的红外图像进行第一次特征提取，所述第二残差网络用于对第一次特征提取的结果进行第二次特征提取，所述第三残差网络用于对第二次特征提取的结果进行第三次特征提取，所述第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
所述第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
3.根据权利要求1所述的方法，其特征在于，所述构建特征融合结构，包括：
构建第一特征融合结构；其中，所述第一特征融合结构用于对第三次特征提取的结果和所述第一金字塔结构的输出结果进行特征融合；
构建第二特征融合结构；其中，所述第二特征融合结构用于对第二次特征提取的结果和所述第一特征融合结构融合的结果进行特征融合。
4.根据权利要求3所述的方法，其特征在于，所述第一特征融合结构和所述第二特征融合结构是基于位置注意力和通道注意力机制构建的。
5.一种红外弱小目标的检测装置，其特征在于，包括：
获取模块，用于获取待检测的红外图像；
检测模块，用于将所述待检测的红外图像输入到预先构建好的神经网络模型中，得到针对所述待检测的红外图像中包括的目标的检测结果；
其中，所述神经网络模型是通过如下方式进行构建的：
构建特征提取网络；其中，所述特征提取网络用于提取红外图像中不同深度的特征；
构建采用ASPP结构的第一金字塔结构；其中，所述第一金字塔结构用于提取红外图像的上下文特征；
构建特征融合结构组成的第二金字塔结构；其中，所述特征融合结构用于对所述第一金字塔结构和所述特征提取网络的输出结果进行特征融合；
构建全卷积网络结构；其中，所述全卷积网络结构用于对特征融合后的结果进行语义分割，以输出针对红外图像中包括的目标的检测结果。
6.根据权利要求5所述的装置，其特征在于，所述特征提取网络包括依次连接的第一残差网络、第二残差网络、第三残差网络和第四残差网络，所述第一残差网络用于对接收的红外图像进行第一次特征提取，所述第二残差网络用于对第一次特征提取的结果进行第二次特征提取，所述第三残差网络用于对第二次特征提取的结果进行第三次特征提取，所述第四残差网络用于对第三次特征提取的结果进行第四次特征提取；
所述第一金字塔结构用于接收第四次特征提取的结果，以提取红外图像的上下文特征。
7.根据权利要求6所述的装置，其特征在于，所述构建特征融合结构，包括：
构建第一特征融合结构；其中，所述第一特征融合结构用于对第三次特征提取的结果和所述第一金字塔结构的输出结果进行特征融合；
构建第二特征融合结构；其中，所述第二特征融合结构用于对第二次特征提取的结果和所述第一特征融合结构融合的结果进行特征融合。
8.根据权利要求7所述的装置，其特征在于，所述第一特征融合结构和所述第二特征融合结构是基于位置注意力和通道注意力机制构建的。
9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-4中任一项所述的方法。
CN202111341950.7A 2021-11-12 2021-11-12 一种红外弱小目标的检测方法、装置、电子设备和存储介质 Pending CN114119514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111341950.7A CN114119514A (zh) 2021-11-12 2021-11-12 一种红外弱小目标的检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111341950.7A CN114119514A (zh) 2021-11-12 2021-11-12 一种红外弱小目标的检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114119514A true CN114119514A (zh) 2022-03-01

Family

ID=80379645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111341950.7A Pending CN114119514A (zh) 2021-11-12 2021-11-12 一种红外弱小目标的检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114119514A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631452A (zh) * 2022-11-15 2023-01-20 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
CN115861309A (zh) * 2023-02-22 2023-03-28 和普威视光电股份有限公司 红外弱小目标检测mpcm加速方法、装置、终端及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631452A (zh) * 2022-11-15 2023-01-20 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
CN115631452B (zh) * 2022-11-15 2023-03-10 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
CN115861309A (zh) * 2023-02-22 2023-03-28 和普威视光电股份有限公司 红外弱小目标检测mpcm加速方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN105869173B (zh) 一种立体视觉显著性检测方法
CN108960409B (zh) 标注数据生成方法、设备及计算机可读存储介质
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN114119514A (zh) 一种红外弱小目标的检测方法、装置、电子设备和存储介质
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
US8175335B2 (en) Content adaptive detection of images with stand-out object
CN112541483A (zh) Yolo和分块-融合策略结合的稠密人脸检测方法
CN109598234A (zh) 关键点检测方法和装置
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN111222564B (zh) 基于图像通道相关性的图像鉴别系统、方法、装置
CN103020265A (zh) 图像检索的方法和系统
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN109671055B (zh) 肺结节检测方法及装置
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
Xue et al. Boundary-induced and scene-aggregated network for monocular depth prediction
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
JP6426441B2 (ja) 密度計測装置、密度計測方法、およびプログラム
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、系统及介质
CN107644105A (zh) 一种搜题方法及装置
CN115661573A (zh) 红外弱小目标的检测方法、装置、计算设备及存储介质
CN114549959A (zh) 基于目标检测模型的红外弱小目标实时检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination