CN112101434B - 基于改进YOLO v3的红外图像弱小目标检测方法 - Google Patents

基于改进YOLO v3的红外图像弱小目标检测方法 Download PDF

Info

Publication number
CN112101434B
CN112101434B CN202010926384.5A CN202010926384A CN112101434B CN 112101434 B CN112101434 B CN 112101434B CN 202010926384 A CN202010926384 A CN 202010926384A CN 112101434 B CN112101434 B CN 112101434B
Authority
CN
China
Prior art keywords
infrared image
feature map
loss
bounding boxes
yolo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010926384.5A
Other languages
English (en)
Other versions
CN112101434A (zh
Inventor
李永军
李莎莎
李鹏飞
杜浩浩
陈竞
陈立家
张东明
秦勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202010926384.5A priority Critical patent/CN112101434B/zh
Publication of CN112101434A publication Critical patent/CN112101434A/zh
Application granted granted Critical
Publication of CN112101434B publication Critical patent/CN112101434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明提供了基于改进YOLO v3的红外图像弱小目标检测方法，首先利用在轻量级特征提取网络中使用深度可分离卷积改进YOLOv3残差模块中的标准卷积操作，然后在轻量级特征提取网络每一个残差模块中引入通道自注意力机制，然后在轻量级特征提取网络每一个残差模块中引入空间自注意力机制，最后在轻量级特征提取网络中使用H‑swish激活函数加速网络训练，进而构建基于改进YOLO v3的红外图像弱小目标检测模型，搭建轻量级特征提取网络；本发明在网络模型设计过程中，使用了深度可分离卷积代替YOLO v3的标准卷积操作，通过多尺度提取特征图获得不同的感受野并降低参数，使得本发明具有网络参数大大减少、计算速度快的优点。

Description

基于改进YOLO v3的红外图像弱小目标检测方法
技术领域
本发明涉及图像目标技术检测领域，尤其涉及基于改进YOLO v3的红外图像弱小目标检测方法。
背景技术
红外成像是基于目标对红外光的反射和目标自身的热辐射进行成像，受光照强度条件的影响很小，不但在白天可以很好工作，也可以实现夜间目标检测。但是红外图像对比度较低、纹理特征弱、干扰大，检测目标在强噪声和相似背景的影响下，成为弱小目标，一般的目标识别算法很难适用。深度学习的出现，使得红外图像弱小目标检测有了突破性进展。尤其是基于回归的YOLO v3目标检测算法只需要对图片作一次卷积操作，然后直接在原始图像上通过回归的方法预测出目标的分类、位置和置信度，速度快、精度较高，获得了广泛应用。
西安电子科技大学拥有的在其专利技术申请“一种红外目标检测方法”(专利申请号：2018109063127，公开号：CN110826554A)中公开了一种基于迭代量化-局部敏感哈希的多尺度的红外目标检测方法。该方法引入局部敏感哈希和迭代量化编码方法，通过压缩图像的不同窗口滑动、连续数据二进制编码、候选框和目标框汉明距离计算实现目标位置确定。由于该专利使用粗精结合筛选以及汉明距离对候选框和目标模板库相似度计算，速度得到了一定的提升，但是由于是人工设计特征描述算子、提取图像特征，检测精度不是特别高。
李慕锴、张涛和崔文楠在论文“基于YOLO v3的红外行人小目标检测技术研究”(红外技术2020年42卷2期第176页到181页)中提出了一种基于YOLO v3的红外行人小目标检测方法。该方法，以YOLO v3网络为基础，学习了SENet(Squeeze-and-Excitation Networks)对特征进行权重重标定的思路，将SE block引入到YOLO v3网络中替换该网络的中的inception或者residual层。这种方法在红外行人小目标检测精度上取得了一定的效果，但是SENet仅显示建模特征通道间的相互依赖关系，对空间信息获取不足。
发明内容
本发明的目的在于提供基于改进YOLO v3的红外图像弱小目标检测方法，能够在网络模型每一个残差模块的空间和通道两个维度引入注意机制，使得本发明在执行卷积操作时能够更加关注图像中的目标信息，特别是小目标和遮挡目标的图像特征信息。
为了实现上述目的，本发明采用以下技术方案：
基于改进YOLO v3的红外图像弱小目标检测方法，其特征在于，包括以下步骤：
步骤1：构建基于改进YOLO v3的红外图像弱小目标检测模型，搭建轻量级特征提取网络；
步骤2：定义损失函数Loss，具体的：
用边界框的重叠程度和两个边界框的中心距离，以及预测框的长宽比和真实框的长宽比即CIou(Complete-IoU)作为边界框的损失函数LossCIoU，结合物体类别预测误差损失Lossobj和预测置信度损失Lossconf，则训练回归的损失函数Loss为：
Figure GDA0003757678540000031
其中，Loss表示训练回归的损失函数，
Figure GDA0003757678540000032
表示两个边界框中心的距离损失，α表示权重函数，ν表示预测框的长宽比和真实框的长宽比的相似性，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离；
Figure GDA0003757678540000033
表示第i个网格中第j个边界框中是否存在目标，若存在目标，则
Figure GDA0003757678540000034
的值为1，计算两个边界框的中心坐标之间的差值；若不存在目标，则
Figure GDA0003757678540000035
的值为0，不计算损失；γnoobj表示单元格中没有目标的置信度同样进行了加权操作，但会有较低的预测置信度做惩罚，本发明中γnoobj取值0.5；S2表示输入图像被分割的网格数，B表示每个网格生成的包围框数，ci表示预测的置信度，c′i表示真实的置信度，pi(c)表示是在网格i内目标属于c的真实概率，p′i(c)表示在网格i内目标属于c的预测概率；
步骤3：选取红外图像组建红外图像数据集，对该数据集里的红外图像进行预处理，选取70％红外图像作为训练数据集，30％红外图像作为测试数据集；
步骤4：将红外图像训练数据集输入步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型，并利用步骤2所述的损失函数训练步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5：将红外图像测试数据集输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型，输出红外图像测试数据集目标预测边界框；
步骤6：对于输出的多个目标预测边界框，以GIou和边界框中心点距离的值作为筛选候选框的阈值，并使用高斯模型降低周围边界框的置信度，进行非极大值抑制，输出目标框，如下式所示:
Figure GDA0003757678540000041
这里bi表示每个类别的预测边界框，Si表示当前框的得分，M是具有最大分数的边界框,Nt表示筛选两个重叠框的阈值，这里取0.3,
Figure GDA0003757678540000042
表示两个边界框中心的距离损失，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离。
所述的步骤1包括以下步骤：
步骤1.1：在轻量级特征提取网络中使用深度可分离卷积改进YOLOv3残差模块中的标准卷积操作；
步骤1.2：在轻量级特征提取网络每一个残差模块中引入通道自注意力机制；
步骤1.3：在轻量级特征提取网络每一个残差模块中引入空间自注意力机制；
步骤1.4：在轻量级特征提取网络中使用H-swish激活函数加速网络训练。
所述的步骤5包括以下步骤：
步骤5.1：将红外图像测试数据集中的红外图像通过纵横比、缩放操作，将红外图像大小统一设置为416×416×3，然后输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5.2：步骤5.1中输入的红外图像经过32个卷积核大小为1×1，步长为2的卷积层，得到对应的第一个下采样的特征图，大小为208×208×32；
步骤5.3：步骤5.2中下采样的特征图经过第一个步长为1的残差模块，得到大小为208×208×16的输出特征图；
步骤5.4：步骤5.3中输出特征图经过多个残差模块进行图像特征的提取，得到不同大小的特征图；
步骤5.5：最后使用1×1的卷积层，通过对步骤5.4中所述的不同大小的特征图进行物体类别、位置和置信度的预测，输出多个目标预测边界框。
所述步骤1.2包括以下步骤：
步骤1.2.1：待处理图片输入到特征提取网络残差模块中，分别经过卷积核大小为1×1和3×3的卷积层，输出特征图F；
步骤1.2.2：在特征图F上引入通道自注意力机制，利用特征之间的通道相关性，生成通道自注意力特征图Mc(F)，如下式所示：
Mc(F)＝δ(MLP(AvgPool(F))+MLP(MaxPool(F)))；
其中，Mc(F)表示通道自注意力特征图，δ表示激活函数，MLP是共享网络的多层感知机制，AvgPool(F)表示平均池化操作，MaxPool(F)表示最大池化操作。
所述步骤1.3包括以下步骤：
步骤1.3.1：步骤1.2.2中所述特征图F生成的通道自注意力特征图Mc(F)与特征图F执行加权操作得到加权特征图F1；
步骤1.3.2：对加权特征图F1使用平均池化操作AvgPool(F1)和最大池化操作MaxPool(F1)，生成两个2D的特征图
Figure GDA0003757678540000061
和
Figure GDA0003757678540000062
步骤1.3.3：对两个2D的特征图
Figure GDA0003757678540000063
和
Figure GDA0003757678540000064
通过卷积核大小为7×7的卷积层生成空间注意力特征图Ms(F1)，对需要强调或者抑制的地方进行编码，具体计算如下式所示：
Figure GDA0003757678540000065
其中Ms(F1)表示空间自注意力特征图，δ为激活函数，f7×7代表卷积核大小7×7的卷积操作。
本发明的有益效果：
第一，由于本发明在网络模型设计过程中，使用了深度可分离卷积代替YOLO v3的标准卷积操作，通过多尺度提取特征图获得不同的感受野并降低参数，使得本发明具有网络参数大大减少、计算速度快的优点；
第二，由于本发明在网络模型每一个残差模块的空间和通道两个维度引入注意机制，使得本发明在执行卷积操作时能够更加关注图像中的目标信息，特别是小目标和遮挡目标的图像特征信息的优点；
第三，由于在模型训练过程中重新定义了YOLO v3的边界框预测标准，用GIou更加准确的表示两个边界框的重叠程度，结合GIou和两个边界框的中心距离，CIoU把anchor的长宽比和目标框的长宽比用比例系数进行衡量，使得本发明具有在训练过程中有着更快更准确的回归，也使得检测算法对于图像中的小目标检测具备更加友好的优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为本发明所述基于改进YOLO v3的红外图像弱小目标检测模型的结构示意图；
图3为本发明所述红外图像(a1、b1、c1)以及对应的视觉图像(a、b、c)目标检测结果的示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所述的基于改进YOLO v3的红外图像弱小目标检测方法，包括以下步骤：
步骤1：构建基于改进YOLO v3的红外图像弱小目标检测模型，搭建轻量级特征提取网络；包括以下步骤：
步骤1.1：在轻量级特征提取网络中使用深度可分离卷积改进YOLOv3残差模块中的标准卷积操作；
上述操作可实现空间相关性和通道相关性同时进行映射；
步骤1.2：在轻量级特征提取网络每一个残差模块中引入通道自注意力机制；具体的，包括以下步骤：
步骤1.2.1：待处理图片输入到特征提取网络残差模块中，分别经过卷积核大小为1×1和3×3的卷积层，输出特征图F；
步骤1.2.2：在特征图F上引入通道自注意力机制，利用特征之间的通道相关性，生成通道自注意力特征图Mc(F)，如下式所示：
Mc(F)＝δ(MLP(AvgPool(F))+MLP(MaxPool(F)))；
其中，Mc(F)表示通道自注意力特征图，δ表示激活函数，MLP是共享网络的多层感知机制，AvgPool(F)表示平均池化操作，MaxPool(F)表示最大池化操作；
步骤1.3：在轻量级特征提取网络每一个残差模块中引入空间自注意力机制；具体的，包括以下步骤：
步骤1.3.1：步骤1.2.2中所述特征图F生成的通道自注意力特征图Mc(F)与特征图F执行加权操作得到加权特征图F1；
步骤1.3.2：对加权特征图F1使用平均池化操作AvgPool(F1)和最大池化操作MaxPool(F1)，生成两个2D的特征图
Figure GDA0003757678540000081
和
Figure GDA0003757678540000082
步骤1.3.3：对两个2D的特征图
Figure GDA0003757678540000083
和
Figure GDA0003757678540000084
通过卷积核大小为7×7的卷积层生成空间注意力特征图Ms(F1)，对需要强调或者抑制的地方进行编码，具体计算如下式所示：
Figure GDA0003757678540000091
其中Ms(F1)表示空间自注意力特征图，δ为激活函数，f7×7代表卷积核大小7×7的卷积操作；
步骤1.4：在轻量级特征提取网络中使用激活函数H-swish加快网络计算速度，具体计算如下所示：
Figure GDA0003757678540000092
步骤2：定义损失函数Loss，具体的：
用边界框的重叠程度和两个边界框的中心距离，以及预测框的长宽比和真实框的长宽比即CIou(Complete-IoU)作为边界框的损失函数LossCIoU，结合物体类别预测误差损失Lossobj和预测置信度损失Lossconf，则训练回归的损失函数Loss为：
Figure GDA0003757678540000093
其中，Loss表示训练回归的损失函数，
Figure GDA0003757678540000094
表示两个边界框中心的距离损失，α表示权重函数，ν表示预测框的长宽比和真实框的长宽比的相似性，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离；
Figure GDA0003757678540000095
表示第i个网格中第j个边界框中是否存在目标，若存在目标，则
Figure GDA0003757678540000096
的值为1，计算两个边界框的中心坐标之间的差值；若不存在目标，则
Figure GDA0003757678540000097
的值为0，不计算损失；γnoobj表示单元格中没有目标的置信度同样进行了加权操作，但会有较低的预测置信度做惩罚，本发明中γnoobj取值0.5；S2表示输入图像被分割的网格数，B表示每个网格生成的包围框数，ci表示预测的置信度，c′i表示真实的置信度，pi(c)表示是在网格i内目标属于c的真实概率，p′i(c)表示在网格i内目标属于c的预测概率；
步骤3：选取红外图像组建红外图像数据集，对该数据集里的红外图像进行预处理，选取70％红外图像作为训练数据集，30％红外图像作为测试数据集；
步骤4：将红外图像训练数据集输入步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型，并利用步骤2所述的损失函数训练步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5：将红外图像测试数据集输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型，输出红外图像测试数据集目标预测边界框；具体的，包括以下步骤：
步骤5.1：将红外图像测试数据集中的红外图像通过纵横比、缩放操作，将红外图像大小统一设置为416×416×3，然后输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5.2：步骤5.1中输入的红外图像经过32个卷积核大小为1×1，步长为2的卷积层，得到对应的第一个下采样的特征图，大小为208×208×32；
步骤5.3：步骤5.2中下采样的特征图经过第一个步长为1的残差模块，得到大小为208×208×16的输出特征图；
步骤5.4：步骤5.3中输出特征图经过多个残差模块进行图像特征的提取，得到不同大小的特征图；
步骤5.5：最后使用1×1的卷积层，通过对步骤5.4中所述的不同大小的特征图进行物体类别、位置和置信度的预测，输出多个目标预测边界框；
步骤6：对于输出的多个目标预测边界框，以GIou和边界框中心点距离的值作为筛选候选框的阈值，并使用高斯模型降低周围边界框的置信度，进行非极大值抑制，输出目标框，如下式所示:
Figure GDA0003757678540000111
这里bi表示每个类别的预测边界框，Si表示当前框的得分，M是具有最大分数的边界框,Nt表示筛选两个重叠框的阈值，这里取0.3,
Figure GDA0003757678540000112
表示两个边界框中心的距离损失，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离。
下面结合附图1对本发明的实现步骤做详细的描述。
步骤1.构建基于改进YOLO v3的红外图像弱小目标检测模型，搭建轻量级特征提取网络取代YOLO v3特征提取网络。
YOLO v3特征提取网络结构如表1所示，主要包括2个卷积层和8个残差模块，每个卷积层或残差模块输出的通道数用c表示，n表示卷积核的大小，s表示池化层步长，其他层的步长为；利用YOLO v3特征提取网络进行红外图像的特征提取主要包括以下步骤：
1)：输入的红外图像首先经过纵横比、缩放等操作，将红外图像大小统一设置为416×416×3；
2)；经过卷积核32个、大小为1×1、步长为2的卷积层得到第一个下采样的特征图，第一个下采样的特征图的大小为208×208×32；
3)：第一个下采样的特征图经过第一个步长为1的残差模块，得到输出大小为208×208×16的特征图；
4)大小为208×208×16的特征图经过一系列的残差模块进行图像特征的提取，得到不同大小的特征图，特征图的大小如表1所示；
5)：最后使用1×1的卷积层，对不同大小的特征图进行物体类别、位置和大小的预测。
Figure GDA0003757678540000121
表1：YOLO v3特征提取网络结构
本发明所述的基于改进YOLO v3的红外图像弱小目标检测方法，包括以下步骤：
步骤1：构建基于改进YOLO v3的红外图像弱小目标检测模型，以得到轻量级特征提取网络取代YOLO v3特征提取网络，具体的，包括以下步骤：
步骤1.1：使用深度可分离卷积改进YOLO v3特征提取网络残差模块中的标准卷积操作，以实现对空间和通道两个维度相关性同时进行映射，具体的，采用以下方法：
首先在通道相关性上使用1×1卷积将输入的特征图映射到维度比原来更小的空间上，即对所有通道做线性组合，然后再使用3×3卷积计算上一层输出的特征图，深度可分离卷积将YOLO v3特征提取网络中的标准卷积分解为两步卷积操作，大大的减少了卷积层的计算量，提高了卷积层的运算速度；
步骤1.2：在步骤1.1中利用深度可分离卷积改进的YOLO v3特征提取网络的每一个残差模块中引入空间自注意力机制，具体包括以下步骤：
步骤1.2.1：将红外图像输入到利用深度可分离卷积改进的YOLO v3特征提取网络残差模块中，分别经过卷积核大小为1×1和3×3的卷积层，输出特征图F；
步骤1.2.2：在特征图F上引入通道自注意力机制，利用特征之间的通道关系，生成通道注意力特征图Mc(F)，如下式所示：
Mc(F)＝δ(MLP(AvgPool(F))+MLP(MaxPool(F)))；
其中，Mc(F)表示通道注意力特征图，δ表示激活函数，MLP是共享网络的多层感知机制,AvgPool(F)表示平均池化操作，MaxPool(F)表示最大池化操作；
步骤1.3：在步骤1.1中利用深度可分离卷积改进的YOLO v3特征提取网络的每一个残差模块中引入通道自注意力机制，具体包括以下步骤：
步骤1.3.1：将步骤1.2.1中的通道注意力特征图Mc(F)与特征图F执行加权的操作得到加权特征图F1；
步骤1.3.2：对步骤1.3.1中所述的加权特征图F1使用平均池化操作AvgPool(F1)和最大池化操作MaxPool(F1)，生成两个2D的特征图
Figure GDA0003757678540000141
和
Figure GDA0003757678540000142
步骤1.3.3：通过卷积核大小为7×7的卷积层生成空间注意力特征图Ms(F1)，对需要强调或者抑制的地方进行编码，具体计算如下式所示：
Figure GDA0003757678540000143
其中，Ms(F1)表示空间注意力特征图，δ为激活函数，f7×7代表卷积核大小为7×7的卷积操作；
步骤1.4：定义激活函数，具体的：
为了克服YOLO v3特征提取网络的swish激活函数计算量较大的问题，加快网络计算速度，本发明采用H-swish函数作为激活函数，如下式所示：
Figure GDA0003757678540000144
其中，relu6(x)＝min(max(0,x),6)，min表示取最小值，max表示取swish激活函数最大值，H-swish函数是非单调的，有助于在不同数据集之间实现更好的性能；
用边界框的重叠程度和两个边界框的中心距离，以及预测框的长宽比和真实框的长宽比即CIoU(Complete-IoU)作为边界框的损失函数LossCIoU，结合物体类别预测误差损失Lossobj和预测置信度损失Lossconf，则训练回归的损失函数Loss为：
Figure GDA0003757678540000151
其中，Loss表示训练回归的损失函数，
Figure GDA0003757678540000152
表示两个边界框中心的距离损失，α表示权重函数，ν表示预测框的长宽比和真实框的长宽比的相似性，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离；
Figure GDA0003757678540000153
表示第i个网格中第j个边界框中是否存在目标，若存在目标，则
Figure GDA0003757678540000154
的值为1，计算两个边界框的中心坐标之间的差值；若不存在目标，则
Figure GDA0003757678540000155
的值为0，不计算损失；γnoobj表示单元格中没有目标的置信度同样进行了加权操作，但会有较低的预测置信度做惩罚，本发明中γnoobj取值0.5；S2表示输入图像被分割的网格数，B表示每个网格生成的包围框数，ci表示预测的置信度，c′i表示真实的置信度，pi(c)表示是在网格i内目标属于c的真实概率，p′i(c)表示在网格i内目标属于c的预测概率；
进一步的，本发明中用改进的GIou(Generalized Intersection over Union广义交并比)代替YOLO v3的IoU作为边界框的度量标准，如下式所示：
Figure GDA0003757678540000161
其中，C是两个框包含的最大矩形的面积，而A和B代表任何两个边界框的面积，GIOU更加准确的表示两个边界框的重叠程度；
步骤3：选取多个红外图像组建红外图像数据集，对该红外图像数据集里的红外图像进行预处理，选取70％的红外图像作为训练数据集，30％的红外图像作为测试数据集；
步骤4：将红外图像训练数据集输入步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型，利用步骤3所述的训练数据集训练该基于改进YOLO v3的红外图像弱小目标检测模型；训练模型具体参数设置为：GIou损失3.54、分类损失37.4、IoU阈值0.225、初始学习率0.00579、动量momentum 0.937、权重衰减0.000484、批次大小8、旋转角度增加训练样本1.98；
步骤5：将红外图像测试数据集输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型，输出红外图像测试数据集目标预测边界框；基于改进YOLO v3的红外图像弱小目标检测模型主要包括特征提取和网络模型预测结果两部分，如图2所示，在特征提取网络中，Conv表示标准2D卷积操作，Residual block表示特征提取网络中的残差模块，包括1×1的2D卷积，3×3的可分离卷积，激活函数以及自注意力机制；
具体的，包括以下步骤：
步骤5.1：将红外图像测试数据集中的红外图像通过纵横比、缩放操作，将红外图像大小统一设置为416×416×3，然后输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5.2：步骤5.1中输入的红外图像经过32个卷积核大小为1×1，步长为2的卷积层，分别得到对应的第一个下采样的特征图，大小为208×208×32；
步骤5.3：步骤5.2中下采样的特征图经过第一个步长为1的残差模块，得到大小为208×208×16的输出特征图；
步骤5.4：步骤5.3中输出特征图经过多个残差模块进行图像特征的提取，得到不同大小的特征图；
步骤5.5：最后使用1×1的卷积层，通过对步骤5.4中所述的不同大小的特征图进行物体类别、位置和置信度的预测，输出多个目标预测边界框；
步骤6：对于步骤5输出的多个目标预测边界框，以GIou和边界框中心点距离的值作为筛选候选框的阈值，并使用高斯模型降低周围边界框的置信度，进行非极大值抑制，输出目标框，如下式所示:
Figure GDA0003757678540000171
这里bi表示每个类别的预测边界框，Si表示当前框的得分，M是具有最大分数的边界框,Nt表示筛选两个重叠框的阈值，这里一般取0.3,c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离；该式使用高斯惩罚函数来降低周围边界框的置信度，而不删除它，提高了模型的检测准确度，同时也在一定的程度上解决了物体的遮挡问题；图3给出了一组本发明的红外图像(a1、b1、c1)以及对应的视觉图像(a、b、c)目标检测结果的示例图，可以看出本发明无论是可见光图像还是红外图像检测精度都比较高，特别是图b和b(1)遮挡目标以及图c的远距离小目标都能正确检测。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.基于改进YOLO v3的红外图像弱小目标检测方法，其特征在于，包括以下步骤：
步骤1：构建基于改进YOLO v3的红外图像弱小目标检测模型，搭建轻量级特征提取网络；所述的步骤1包括以下步骤：
步骤1.1：在轻量级特征提取网络中使用深度可分离卷积改进YOLOv3残差模块中的标准卷积操作；
步骤1.2：在轻量级特征提取网络每一个残差模块中引入通道自注意力机制；
步骤1.3：在轻量级特征提取网络每一个残差模块中引入空间自注意力机制；
步骤1.4：在轻量级特征提取网络中使用H-swish激活函数加速网络训练；
步骤2：定义损失函数Loss，具体的：
用边界框的重叠程度和两个边界框的中心距离，以及预测框的长宽比和真实框的长宽比即CIou即Complete-IoU作为边界框的损失函数LossCIoU，结合物体类别预测误差损失Lossobj和预测置信度损失Lossconf，则训练回归的损失函数Loss为：
Figure FDA0003784264920000011
其中，Loss表示训练回归的损失函数，
Figure FDA0003784264920000012
表示两个边界框中心的距离损失，α表示权重函数，ν表示预测框的长宽比和真实框的长宽比的相似性，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离；
Figure FDA0003784264920000013
表示第i个网格中第j个边界框中是否存在目标，若存在目标，则
Figure FDA0003784264920000014
的值为1，计算两个边界框的中心坐标之间的差值；若不存在目标，则
Figure FDA0003784264920000015
的值为0，不计算损失；γnoobj表示单元格中没有目标的置信度同样进行了加权操作，但会有较低的预测置信度做惩罚，γnoobj取值0.5；S2表示输入图像被分割的网格数，B表示每个网格生成的包围框数，ci表示预测的置信度，ci'表示真实的置信度，pi(c)表示是在网格i内目标属于c的真实概率，p′i(c)表示在网格i内目标属于c的预测概率，用改进的GIou代替YOLO v3的IoU作为边界框的度量标准，如下式所示：
Figure FDA0003784264920000021
其中，C是两个框包含的最大矩形的面积，而A和B代表任何两个边界框的面积，GIou更加准确的表示两个边界框的重叠程度；
步骤3：选取红外图像组建红外图像数据集，对该数据集里的红外图像进行预处理，选取70％红外图像作为训练数据集，30％红外图像作为测试数据集；
步骤4：将红外图像训练数据集输入步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型，并利用步骤2所述的损失函数训练步骤1所述的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5：将红外图像测试数据集输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型，输出红外图像测试数据集目标预测边界框；
步骤6：对于输出的多个目标预测边界框，以GIou和边界框中心点距离的值作为筛选候选框的阈值，并使用高斯模型降低周围边界框的置信度，进行非极大值抑制，输出目标框，如下式所示:
Figure FDA0003784264920000022
这里bi表示每个类别的预测边界框，Si表示当前框的得分，M是具有最大分数的边界框,Nt表示筛选两个重叠框的阈值，这里取0.3,
Figure FDA0003784264920000023
表示两个边界框中心的距离损失，c表示两个边界框所组成的最小矩形的对角线距离，ρ2(b,bgt)表示两个边界框中心点的距离。
2.根据权利要求1所述的基于改进YOLO v3的红外图像弱小目标检测方法，其特征在于：所述的步骤5包括以下步骤：
步骤5.1：将红外图像测试数据集中的红外图像通过纵横比、缩放操作，将红外图像大小统一设置为416×416×3，然后输入步骤4中训练好的基于改进YOLO v3的红外图像弱小目标检测模型；
步骤5.2：步骤5.1中输入的红外图像经过32个卷积核大小为1×1，步长为2的卷积层，得到对应的第一个下采样的特征图，大小为208×208×32；
步骤5.3：步骤5.2中下采样的特征图经过第一个步长为1的残差模块，得到大小为208×208×16的输出特征图；
步骤5.4：步骤5.3中输出特征图经过多个残差模块进行图像特征的提取，得到不同大小的特征图；
步骤5.5：最后使用1×1的卷积层，通过对步骤5.4中所述的不同大小的特征图进行物体类别、位置和置信度的预测，输出多个目标预测边界框。
3.根据权利要求1所述的基于改进YOLO v3的红外图像弱小目标检测方法，其特征在于：所述步骤1.2包括以下步骤：
步骤1.2.1：待处理图片输入到特征提取网络残差模块中，分别经过卷积核大小为1×1和3×3的卷积层，输出特征图F；
步骤1.2.2：在特征图F上引入通道自注意力机制，利用特征之间的通道相关性，生成通道自注意力特征图Mc(F)，如下式所示：
Mc(F)＝δ(MLP(AvgPool(F))+MLP(MaxPool(F)))；
其中，Mc(F)表示通道自注意力特征图，δ表示激活函数，MLP是共享网络的多层感知机制，AvgPool(F)表示平均池化操作，MaxPool(F)表示最大池化操作。
4.根据权利要求3所述的基于改进YOLO v3的红外图像弱小目标检测方法，其特征在于：所述步骤1.3包括以下步骤：
步骤1.3.1：步骤1.2.2中所述特征图F生成的通道自注意力特征图Mc(F)与特征图F执行加权操作得到加权特征图F1；
步骤1.3.2：对加权特征图F1使用平均池化操作AvgPool(F1)和最大池化操作MaxPool(F1)，生成两个2D的特征图
Figure FDA0003784264920000031
和
Figure FDA0003784264920000032
步骤1.3.3：对两个2D的特征图
Figure FDA0003784264920000033
和
Figure FDA0003784264920000034
通过卷积核大小为7×7的卷积层生成空间注意力特征图Ms(F1)，对需要强调或者抑制的地方进行编码，具体计算如下式所示：
Figure FDA0003784264920000041
其中Ms(F1)表示空间自注意力特征图，δ为激活函数，f7×7代表卷积核大小7×7的卷积操作。
CN202010926384.5A 2020-09-04 2020-09-04 基于改进YOLO v3的红外图像弱小目标检测方法 Active CN112101434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010926384.5A CN112101434B (zh) 2020-09-04 2020-09-04 基于改进YOLO v3的红外图像弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926384.5A CN112101434B (zh) 2020-09-04 2020-09-04 基于改进YOLO v3的红外图像弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN112101434A CN112101434A (zh) 2020-12-18
CN112101434B true CN112101434B (zh) 2022-09-09

Family

ID=73757736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926384.5A Active CN112101434B (zh) 2020-09-04 2020-09-04 基于改进YOLO v3的红外图像弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN112101434B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651326B (zh) * 2020-12-22 2022-09-27 济南大学 一种基于深度学习的驾驶员手部检测方法及系统
CN112633174B (zh) * 2020-12-23 2022-08-02 电子科技大学 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质
CN112580600A (zh) * 2020-12-29 2021-03-30 神华黄骅港务有限责任公司 粉尘浓度检测方法、装置、计算机设备和存储介质
CN112668662B (zh) * 2020-12-31 2022-12-06 北京理工大学 基于改进YOLOv3网络的野外山林环境目标检测方法
CN112651376B (zh) * 2021-01-05 2024-10-18 珠海大横琴科技发展有限公司 一种船只检测方法和装置
CN112733749B (zh) * 2021-01-14 2022-04-12 青岛科技大学 融合注意力机制的实时行人检测方法
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN112801169B (zh) * 2021-01-25 2024-02-06 中国人民解放军陆军工程大学 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN112766188B (zh) * 2021-01-25 2024-05-10 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN112836745B (zh) * 2021-02-02 2022-12-09 歌尔股份有限公司 一种目标检测方法和装置
CN112906521A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种基于生成对抗网络的红外图像生成系统及方法
CN112911171B (zh) * 2021-02-04 2022-04-22 上海航天控制技术研究所 一种基于加速处理的智能光电信息处理系统及方法
CN113052006B (zh) * 2021-02-19 2024-05-28 中南大学 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN112949633B (zh) * 2021-03-05 2022-10-21 中国科学院光电技术研究所 一种基于改进YOLOv3的红外目标检测方法
CN112686225A (zh) * 2021-03-12 2021-04-20 深圳市安软科技股份有限公司 Yolo神经网络的训练方法、行人检测方法和相关设备
CN113011308A (zh) * 2021-03-15 2021-06-22 山东大学 一种引入注意力机制的行人检测方法
CN113223044A (zh) * 2021-04-21 2021-08-06 西北工业大学 一种结合特征聚合和注意力机制的红外视频目标检测方法
CN113537226A (zh) * 2021-05-18 2021-10-22 哈尔滨理工大学 一种基于深度学习的烟雾检测方法
CN113160062B (zh) * 2021-05-25 2023-06-06 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN113239845A (zh) * 2021-05-26 2021-08-10 青岛以萨数据技术有限公司 一种面向嵌入式平台的红外目标检测方法及系统
CN113256601B (zh) * 2021-06-10 2022-09-13 北方民族大学 路面病害检测方法及系统
CN113536929A (zh) * 2021-06-15 2021-10-22 南京理工大学 一种复杂场景下的sar图像目标检测方法
CN113327241B (zh) * 2021-06-16 2023-02-24 南昌航空大学 一种轴承端面的表面缺陷视觉检测方法及系统
CN113393468A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置和电子设备
CN113837275B (zh) * 2021-09-24 2023-10-17 南京邮电大学 基于扩张坐标注意力的改进YOLOv3目标检测方法
CN113869412B (zh) * 2021-09-28 2024-06-07 安徽大学 一种联合轻量级注意力机制和YOLOv3网络的图像目标检测方法
CN114022681B (zh) * 2021-11-03 2025-04-25 南昌航空大学 一种红外图像弱小目标检测方法及系统
CN114067126A (zh) * 2021-11-19 2022-02-18 长春理工大学 一种红外图像目标检测方法
CN113902044B (zh) * 2021-12-09 2022-03-01 江苏游隼微电子有限公司 一种基于轻量级yolov3的图像目标提取方法
CN114266951A (zh) * 2021-12-23 2022-04-01 数量级(上海)信息技术有限公司 一种提升红外图像目标识别精度的方法
CN114332942B (zh) * 2021-12-31 2024-10-25 武汉理工大学 基于改进YOLOv3的夜间红外行人检测方法及系统
CN114359387B (zh) * 2022-01-06 2024-09-27 东北林业大学 基于改进yolov4算法的袋料栽培香菇检测方法
CN114444663A (zh) * 2022-01-28 2022-05-06 吉林大学 一种基于时间卷积网络的供水管网泄漏检测与定位方法
CN114708207B (zh) * 2022-03-24 2024-07-16 浙江大学 基于Yolo v3改进的红外热像颈椎部位提取的方法
CN114782798A (zh) * 2022-04-19 2022-07-22 杭州电子科技大学 一种基于注意力融合的水下目标检测方法
CN114882233A (zh) * 2022-04-24 2022-08-09 广州杰赛科技股份有限公司 一种目标检测方法、装置、设备及存储介质
CN115240240A (zh) * 2022-04-29 2022-10-25 清远蓄能发电有限公司 基于yolo网络的红外人脸识别方法及系统
CN115226650B (zh) * 2022-06-02 2023-08-08 南京农业大学 基于交互特征的母猪发情状态自动检测系统
CN115100148B (zh) * 2022-06-23 2023-05-30 安徽省农业科学院农业经济与信息研究所 一种基于轻量型卷积神经网络的农作物害虫检测方法
CN115147650A (zh) * 2022-07-04 2022-10-04 广西科学院 一种基于SKNet和YOLOv5的海洋目标识别方法
CN116310785B (zh) * 2022-12-23 2023-11-24 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法
CN116363425A (zh) * 2023-03-27 2023-06-30 南通大学 一种基于改进的YOLOv5的商品种类识别及裁剪方法
CN116503800B (zh) * 2023-04-20 2024-01-23 南京航空航天大学 一种军事敏感区域迭代反馈红外目标检测模型建立方法
CN117576488B (zh) * 2024-01-17 2024-04-05 海豚乐智科技(成都)有限责任公司 一种基于目标图像重建的红外弱小目标检测方法
CN119049025A (zh) * 2024-08-23 2024-11-29 南宁师范大学 基于对角线损失的农业病虫害精准识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110472542A (zh) * 2019-08-05 2019-11-19 深圳北斗通信科技有限公司 一种基于深度学习的红外图像行人检测方法及检测系统
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN111460894A (zh) * 2020-03-03 2020-07-28 温州大学 一种基于卷积神经网络的车标智能检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110472542A (zh) * 2019-08-05 2019-11-19 深圳北斗通信科技有限公司 一种基于深度学习的红外图像行人检测方法及检测系统
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN111460894A (zh) * 2020-03-03 2020-07-28 温州大学 一种基于卷积神经网络的车标智能检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Object Detection Algorithm Based on Improved Network Structure;Haohao Du et al;《2019 6th International Conference on Information Science and Control Engineering (ICISCE)》;20200604;146-151页 *
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression;Zhaohui Zheng et al;《The Thirty-Fourth AAAI Conference on Artificial Intelligence》;20200403;12993-13000页 *
Tiny YOLOV3目标检测改进;马立等;《光学精密工程》;20200430;第28卷(第4期);988-995页 *
基于改进YOLOv3的同步目标定位与多种属性识别;吴疆等;《计算机应用》;20200710;第40卷;1-7页 *

Also Published As

Publication number Publication date
CN112101434A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112101434B (zh) 基于改进YOLO v3的红外图像弱小目标检测方法
CN111723748B (zh) 一种红外遥感图像舰船检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN112069896A (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN110659664B (zh) 一种基于ssd的高精度识别小物体的方法
CN112418330A (zh) 一种基于改进型ssd的小目标物体高精度检测方法
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN109871792B (zh) 行人检测方法和装置
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN116740439A (zh) 一种基于跨尺度金字塔Transformer的人群计数方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN116758411A (zh) 一种基于遥感图像逐像素处理的舰船小目标检测方法
WO2023154986A1 (en) Method, system, and device using a generative model for image segmentation
CN116486203B (zh) 一种基于孪生网络和在线模板更新的单目标跟踪方法
CN117409190A (zh) 一种实时红外图像目标检测方法、装置、设备及存储介质
CN114782709A (zh) 一种基于高斯分配策略的图像小目标检测方法及系统
CN114972760A (zh) 基于多尺度注意力增强U-Net的电离图自动描迹方法
CN111368625A (zh) 一种基于级联优化的行人目标检测方法
CN116740134B (zh) 基于分层注意力策略的图像目标跟踪方法、装置、设备
CN118608905A (zh) 基于二维图像与三维数据的变电站设备识别方法及系统
CN118942052A (zh) 一种基于重构卷积与增强特征融合的船舶检测方法
CN118366205A (zh) 一种基于注意力机制的轻量化人脸追踪方法及系统
CN118429422A (zh) 基于人类模糊直觉驱动的关键目标定位与分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant