CN113673616B - 一种耦合注意力和上下文的轻量化小目标检测方法 - Google Patents

一种耦合注意力和上下文的轻量化小目标检测方法 Download PDF

Info

Publication number
CN113673616B
CN113673616B CN202110985588.0A CN202110985588A CN113673616B CN 113673616 B CN113673616 B CN 113673616B CN 202110985588 A CN202110985588 A CN 202110985588A CN 113673616 B CN113673616 B CN 113673616B
Authority
CN
China
Prior art keywords
module
image
model
context
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110985588.0A
Other languages
English (en)
Other versions
CN113673616A (zh
Inventor
车明亮
王英利
张驰
李凯隆
郭有志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110985588.0A priority Critical patent/CN113673616B/zh
Publication of CN113673616A publication Critical patent/CN113673616A/zh
Application granted granted Critical
Publication of CN113673616B publication Critical patent/CN113673616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种耦合注意力和上下文的轻量化小目标检测方法，包括生成标签数据‑图像预处理‑参数初始化‑创建数据集‑构建目标检测模型‑模型训练‑目标检测‑后处理8个步骤，在构建目标检测模型中，以轻量化的卷积模块和Fire模块为基础，设计了骨架网络和上下文聚合网络，结合简单易用的CBAM注意力模块，设计了BatNet模型，该模型耦合了双上下文聚合网络和双注意力模块，因此在检测小目标方面具有优势，相比参考模型显著提高了检测精度；BatNet模型由1×1卷积和3×3卷积模块构成，因此模型是轻量化的，相比参考模型明显减少了参数量；BatNet模型在参数加载方面和模型前馈方面的运行速度是快速的，因此具有较高的实时性。

Description

一种耦合注意力和上下文的轻量化小目标检测方法
技术领域
本发明涉及图像目标检测领域，具体为一种耦合注意力和上下文的轻量化小目标检测方法。
背景技术
目标检测又称目标识别是图像处理和计算机视觉领域中的基本任务之一，它用于在给定图像中查找目标类别并标定目标位置；近几年，基于深度学习的目标检测技术取得了很大的突破，总体可划分为两类：两阶段模型和单阶段模型。
两阶段模型通常能保证目标检测质量，它通过提取建议区和对其进行分类完成检测任务；提取建议区的方法有很多，比如滑动窗口，选择性搜索（Van De Sande等，2011），边缘检测（Zitnick等，2014），目标物颜色和形状（Che等，2020）等。在此基础上，训练分类器进行分类与回归；使用较广泛的分类器包括支撑向量机（Support Vector Machine，SVM）和卷积神经网络（Convolutional Neural Network，CNN）。两阶段模型代表性方法包括R-CNN系列模型，如R-CNN、Fast R-CNN、Faster R-CNN（Girshick等，2014；Girshick等，2015；Ren等，2015）等和SPP Net模型（He等，2015）。
相对于两阶段模型，单阶段模型不需要提取建议区，只利用单一网络即可直接快速输出目标类别和相应的位置；这类模型根据是否使用锚框（即先验框）又可分为无锚框模型和有锚框模型；前者主要以YOLO（You Only Look Once）模型（Redmon等，2016）为代表，后者则以单发多框检测（Single Shot Multibox Detector，SSD）模型（Liu等，2016）和YOLOV2-V5（Redmon等，2017；Redmon等，2018；Bochkovskiy等，2020）等为代表；无锚框模型不需要预先估计边框先验信息，模型参数体量较小，但容易产生目标漏检和误检；相比之下，有锚框模型虽能提高目标检测精度，但需要边框先验信息，会增加模型体量和复杂度。
上述模型在目标检测业务应用中各有利弊，单阶段模型的检测精度不如两阶段模型高，而两阶段模型的实时性不如单阶段模型强。在检测小尺寸目标物方面，上述模型的检测性能表现都差强人意；以VOC 2007数据集中的水瓶（Bottle）检测为例，该目标物在图像中的平均面积占比低于5%，在相关参考文献中，上述模型的检测精度（Average precision，AP）不足0.6，这意味着深度学习模型在小目标检测方面具有较大的局限性；为进一步提高检测精度，多种先进技术被提出，如超像素标注（Yan等，2015），特征金字塔（Lin等，2017），注意力机制（Wang等，2017；Woo等，2018），上下文信息（Lin等，2019）等。通过在骨干网络中耦合上述模块可以提高检测精度；然而上述模块的使用需要谨慎行事，贸然使用很可能会显著增加模型参数体量，延长模型训练和运行时间，甚至还可能会进一步降低模型的检测精度。
由此可见，现有的深度学习模型在小目标检测方面的应用性并不强。虽然有一些可用于提高检测精度的先进技术被提出，但如何最优化使用它们仍面临巨大困难，尤其是在协调精度、速度、体量和复杂度等方面，为此需要作进一步的技术优化。
发明内容
发明目的：本发明的目的是为了解决现有技术中的不足，提供了一种耦合注意力和上下文的轻量化小目标检测方法，以解决现有目标检测方法在检测小目标方面存在的召回率较低、精准率不高、运行效率低下等技术问题。
技术方案：本发明所述的一种耦合注意力和上下文的轻量化小目标检测方法，包括以下步骤：
（1）生成标签数据：根据获取的图像数据，利用图像标注工具在图像数据中标注小目标物位置，生成目标物图像-标签数据；
（2）图像预处理：对步骤1中的图像数据进行增强处理，包括图像去燥、图像锐化和图像均衡化等操作；
（3）参数初始化：对检测方法中涉及到的参数进行初始化；
（4）创建数据集：对步骤2的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应。根据步骤3设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据。根据训练集和测试集比例将数据集划分为训练数据和测试数据；
（5）构建目标检测模型：模型框架记为BatNet，它主要包括骨架网络，注意力机制模块和上下文聚合网络三部分。骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块等构成。注意力机制模块采用Woo等（2018）设计的轻量级的卷积块注意力模块（Convolutional Block Attention Module，CBAM）。由于CBAM模块同时考虑了通道注意力和空间注意力机制，因此它相比单一的空间或通道注意力机制模块在捕获检测重点区域方面能获得更好的效果。上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成。利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；
（6）模型训练：根据步骤3设置的初始参数，使用步骤4中得到的训练集来训练检测模型直到收敛，记录并保存最优的模型权重，获得最优的网络模型；
（7）目标检测：加载已经保存的最优网络模型权重，利用本方法构建的目标检测模型进行目标物检测；
（8）后处理：根据步骤3设置的初始参数，对检测出的边框进行非极大值抑制（Non-Maximum Suppression，NMS）去重处理，对边框的坐标进行空间变换，还原为图像绝对坐标，并使用步骤4中得到的测试集进行测试。
优选的，在上述步骤（1）中，标签数据格式为JSON或XML。
优选的，在上述步骤（2）中，图像去燥方法主要采用卷积核为3×3的中值滤波消除椒盐噪声；图像锐化主要使用4领域的拉普拉斯算子（Laplace Operator）突出地物轮廓；图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。
优选的，在上述步骤（3）中，需要初始化的参数主要包括：分类数量CLS_NUM，格子尺寸S，每个格子预测的边框数B，图像尺寸IMG_SIZE，批次大小BATCH_SIZE，学习率LR，损失阈值LOSS_THR，置信度阈值CONF_THR，交并比阈值IOU_THR等。
优选的，在上述步骤（4）中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[-1,1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标；
优选的，在上述步骤（5）中，骨架网络由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块等串联构成；注意力机制模块包括：Attention1和Attention2，Attention1和Attention2分别连接在Conv1模块和Block1模块后面；上下文聚合网络包括：Feature Fusion1和Feature Fusion2；Feature Fusion1连接在Attention1模块、Block1模块和Block4模块后面，Feature Fusion2连接在Attention2模块、Block2模块和Block4模块后面；
在Conv1模块中，卷积核为3的基础卷积（Conv）操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样；
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了三层网络模块；
Block模块以SqueezeNet模型（Iandola等，2017）的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block；Fire模块包括压缩层和扩展层两部分；压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成。使用1×1卷积和3×3卷积的特殊组合可以大幅度降低参数量；其中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层；它们的区别在于通道数不同。经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16；Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度；经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32；Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小；
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图；其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成。采用1×1卷积操作用于减少上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身；采用3×3卷积操作用于第一次下采样；全局平均池化操作用于直接下采样。最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor中进行训练或预测；
Regressor模块采用三层串联的1×1卷积运算取代了常规的全连接层以此降低参数量，最后进行Sigmoid函数映射；其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量；该特征图向量经过训练后，可用于目标检测；类似YOLO模型（Redmon等，2016）的设计思路，每个特征向量包含了B个预测边框和一个分类概率；其中B个预测边框分别用来预测B个目标（如果边框有重叠，视为一个目标），且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标（x,y）和目标尺寸（w,h）；若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM。
优选的，在上述步骤（6）中，优化器使用RMSprop算法，学习率衰减采用等间隔调整StepLR策略；当检测模型的损失函数值低于损失阈值LOSS_THR时，被认为是训练收敛，结束训练。
优选的，在上述步骤（8）中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框；边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
与现有技术相比，本发明揭示了一种耦合注意力和上下文的轻量化小目标检测方法，具有如下有益效果：
1）以轻量化的卷积模块和Fire模块为基础，设计了骨架网络和上下文聚合网络，结合简单易用的CBAM作为时间-空间注意力机制模块，设计了BatNet模型；利用该模型检测小目标提高了检测精度。
2）设计的BatNet模型主要由1×1卷积和3×3卷积模块构成，因此模型的参数是轻量化的，模型的权重文件只有23.67MB，仅是YOLO模型的10%，为VGG-YOLO模型的39%，是SSD模型的25%，进一步提高方法整体的运行速度。
3）该检测方法具有较高的实时性，轻量化的权重文件缩短了模型的加载时间，精心设计的BatNet结构减少了模型前馈时间，因此本发明设计的检测方法的帧频(FramesPer Second，FPS)可达80，相比YOLO模型提高了35，相比VGG-YOLO模型提高了69，相比SSD模型提高了46。
附图说明
图1为本发明的流程示意图；
图2为本发明设计的目标检测模型结构图；
图3为本发明设计的目标检测模型包含的模块结构图；
图4为本发明设计的目标检测模型包含的上下文聚合网络结构图；
图5为本发明设计的目标检测模型包含的回归器结构图；
图6为本发明检测小目标物的实际效果图（黑框为检测值，白框为真实值）。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种耦合注意力和上下文的轻量化小目标检测方法，如图1所示，具体步骤包括如下：
（1）生成标签数据：根据获取的图像数据，利用图像标注工具在图像数据中标注小目标物位置，生成目标物图像-标签数据；
（2）图像预处理：对步骤1中的图像数据进行增强处理，包括图像去燥、图像锐化和图像均衡化等操作；
（3）参数初始化：对检测方法中涉及到的参数进行初始化；
（4）创建数据集：对步骤2的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应。根据步骤3设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据。根据训练集和测试集比例将数据集划分为训练数据和测试数据；
（5）构建目标检测模型：模型框架记为BatNet，它主要包括骨架网络，注意力机制模块和上下文聚合网络三部分，如图2所示。骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块等构成。各模块结构如图3所示。注意力机制模块采用Woo等（2018）设计的轻量级的卷积块注意力模块（Convolutional Block Attention Module，CBAM）。由于CBAM模块同时考虑了通道注意力和空间注意力机制，因此它相比单一的空间或通道注意力机制模块在捕获检测重点区域方面能获得更好的效果。上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成，如图4所示。利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；
（6）模型训练：根据步骤3设置的初始参数，使用步骤4中得到的训练集来训练检测模型直到收敛，记录并保存最优的模型权重，获得最优的网络模型；
（7）目标检测：加载已经保存的最优网络模型权重，利用本方法构建的目标检测模型进行目标物检测；
（8）后处理：根据步骤3设置的初始参数，对检测出的边框进行非极大值抑制（Non-Maximum Suppression，NMS）去重处理，对边框的坐标进行空间变换，还原为图像绝对坐标，并使用步骤4中得到的测试集进行测试。
本实例中进一步优选的，在上述步骤（1）中，获取的图像数据主要为街景图像，包含近1800幅高清彩色图像，其分辨率为1024*512像素。该数据集中的场景主要包括道路、人行道、行道树、道路隔离带和建筑物等等。其中小目标物为雨水篦子，主要分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小（平均值仅为5‰）。所使用的图像标注工具不唯一，在本实施例中使用开源注释工具LabelMe，标签数据保存格式为JSON或XML；
本实例中进一步优选的，在上述步骤（2）中，图像去燥方法主要采用卷积核为3×3的中值滤波消除椒盐噪声。图像锐化主要使用4领域的拉普拉斯算子（Laplace Operator）突出地物轮廓。图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度；
本实例中进一步优选的，在上述步骤（3）中，需要初始化的参数主要包括：分类数量CLS_NUM=1，格子尺寸S=7，每个格子预测的边框数B=2，图像尺寸IMG_SIZE=448，批次大小BATCH_SIZE=8，学习率LR=2*10-4，损失阈值LOSS_THR=50，置信度阈值CONF_THR=0.8，交并比阈值IOU_THR=0.5等；
本实例中进一步优选的，在上述步骤（4）中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换。图像数据经通道归一化后可转换为值域为[-1,1]的张量。根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标。训练集和测试集比例保持在8:2；
本实例中进一步优选的，在上述步骤（5）中，骨架网络由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块等串联构成，如图2所示。注意力机制模块Attention1和Attention2分别连接在Conv1模块和Block1模块后面。上下文聚合网络Feature Fusion1连接在Attention1模块、Block1模块和Block4模块后面，FeatureFusion2连接在Attention2模块、Block2模块和Block4模块后面。
在Conv1模块中，卷积核为3的基础卷积（Conv）操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样，如图3b所示。经过Conv1操作，输入图像的空间尺寸降为原尺寸的1/4。
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了基础的三层网络模块，如图3a所示。
Block模块以SqueezeNet模型（Iandola等，2017）的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block。Fire模块包括压缩层和扩展层两部分。压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成。使用1×1卷积和3×3卷积的特殊组合可以大幅度降低参数量。在本发明中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层。它们的区别在于通道数不同，如图3c所示。经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16。Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度，如图3d所示。经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32。Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小，如图3e所示。
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图，如图4所示。其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成，如图3a所示。采用1×1卷积操作用于减少上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身。采用3×3卷积操作用于第一次下采样。全局平均池化操作用于直接下采样。最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor中进行训练或预测。
Regressor模块采用三层串联的1×1卷积运算取代了常规的全连接层以此降低参数量，最后进行Sigmoid函数映射，如图5所示。其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成，如图3a所示。目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量。该特征图向量经过训练后，可用于目标检测。类似YOLO模型（Redmon等，2016）的设计思路，每个特征向量包含了B个预测边框和一个分类概率。其中B个预测边框分别用来预测B个目标（如果边框有重叠，视为一个目标），且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标（x,y）和目标尺寸（w,h）。若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM。在本实施例中C=11；
本实例中进一步优选的，在上述步骤（6）中，优化器使用RMSprop算法，学习率衰减采用等间隔调整StepLR策略。当检测模型的损失函数值低于损失阈值LOSS_THR时，被认为是训练收敛，结束训练；
本实例中进一步优选的，在上述步骤（8）中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框。边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
经过上述步骤处理后，本发明设计的检测方法检测小目标物的实际效果如图6所示（黑框为检测值，白框为真实值）。同时，图6中也显示了参考方法的检测效果。可以看出，两种方法在场景1中都能检测出目标物，尽管交并比有一定差异。在场景2中，参考方法出现了漏检，而本发明设计的检测方法则全部检出。
综上所述，一种耦合注意力和上下文的轻量化小目标检测方法中，其优点，
（1）以轻量化的卷积模块和Fire模块为基础，设计了骨架网络和上下文聚合网络，结合简单易用的CBAM作为时间-空间注意力机制模块，设计了BatNet模型；利用该模型检测小目标（以街景图像中的雨水篦子为例）的平均精度（Average precision，AP）可达0.83，其中召回率（Recall）达到0.90，精准率（Precision）达到0.91，相比YOLO模型提高了13%的精度，相比VGG-YOLO模型提高了5%的精度，相比SSD模型提高了15%的精度。
2）本发明设计的BatNet模型主要由1×1卷积和3×3卷积模块构成，因此模型的参数是轻量化的，模型的权重文件只有23.67MB，仅是YOLO模型的10%，为VGG-YOLO模型的39%，是SSD模型的25%。
3）本发明设计的检测方法具有较高的实时性，轻量化的权重文件缩短了模型的加载时间，精心设计的BatNet结构减少了模型前馈时间，因此本发明设计的检测方法的帧频(Frames Per Second，FPS)可达80，相比YOLO模型提高了35，相比VGG-YOLO模型提高了69，相比SSD模型提高了46。

Claims (8)

1.一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：包括以下步骤：
（1）生成标签数据：根据获取的图像数据，利用图像标注工具在图像数据中标注小目标物位置，生成目标物图像-标签数据；
（2）图像预处理：对步骤1中的图像数据进行增强处理，包括图像去燥、图像锐化和图像均衡化操作；
（3）参数初始化：对检测方法中涉及到的参数进行初始化；
（4）创建数据集：对步骤2的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应；根据步骤3设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据；根据训练集和测试集比例将数据集划分为训练数据和测试数据；
（5）构建目标检测模型：模型框架记为BatNet，它主要包括骨架网络，注意力机制模块和上下文聚合网络三部分；骨架网络由轻量级的Conv1模块、一系列串联的Block模块和Regressor模块构成；
注意力机制模块采用轻量级的卷积块注意力模块；上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成；利用上下文聚合网络，可以将浅层的目标物具象信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；
（6）模型训练：根据步骤3设置的初始参数，使用步骤4中得到的训练集来训练检测模型直到收敛，记录并保存最优的模型权重，获得最优的网络模型；
（7）目标检测：加载已经保存的最优网络模型权重，利用步骤5构建的目标检测模型进行目标物检测；
（8）后处理：根据步骤3设置的初始参数，对检测出的边框进行非极大值抑制去重处理，对边框的坐标进行空间变换，还原为图像绝对坐标，并使用步骤4中得到的测试集进行测试。
2.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（1）中，标签数据格式为JSON或XML。
3.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（2）中，图像去燥方法主要采用卷积核为3×3的中值滤波消除椒盐噪声；图像锐化主要使用4领域的拉普拉斯算子（Laplace Operator）突出地物轮廓；图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。
4.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（3）中，需要初始化的参数主要包括：分类数量CLS_NUM，格子尺寸S，每个格子预测的边框数B，图像尺寸IMG_SIZE，批次大小BATCH_SIZE，学习率LR，损失阈值LOSS_THR，置信度阈值CONF_THR，交并比阈值IOU_THR。
5.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（4）中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[-1,1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标。
6.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（5）中，骨架网络由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块串联构成；
注意力机制模块包括Attention1和Attention2；Attention1和Attention2分别连接在Conv1模块和Block1模块后面；
上下文聚合网络包括Feature Fusion1和Feature Fusion2；Feature Fusion1连接在Attention1模块、Block1模块和Block4模块后面，Feature Fusion2连接在Attention2模块、Block2模块和Block4模块后面；
在Conv1模块中，卷积核为3的基础卷积（Conv）操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样；
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了三层网络模块；
Block模块以SqueezeNet模型的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block；Fire模块包括压缩层和扩展层两部分；压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成；使用1×1卷积和3×3卷积的特殊组合大幅度降低参数量；其中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层；它们的区别在于通道数不同；经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16，Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度；经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32；Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小；
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图；其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；采用1×1卷积操作用于减少上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身；采用3×3卷积操作用于第一次下采样；全局平均池化操作用于直接下采样；最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor中进行训练或预测；
Regressor模块采用三层串联的1×1卷积运算取代了常规的全连接层以此降低参数量，最后进行Sigmoid函数映射；
其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量；该特征图向量经过训练后，可用于目标检测；
类似YOLO模型的设计思路，每个特征向量包含了B个预测边框和一个分类概率；其中B个预测边框分别用来预测B个目标（如果边框有重叠，视为一个目标），且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标（x,y）和目标尺寸（w,h）；
若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM。
7.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（6）中，优化器使用RMSprop算法，学习率衰减采用等间隔调整StepLR策略；当检测模型的损失函数值低于损失阈值LOSS_THR时，被认为是训练收敛，结束训练。
8.根据权利要求1所述的一种耦合注意力和上下文的轻量化小目标检测方法，其特征在于：所述步骤（8）中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框；边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
CN202110985588.0A 2021-08-26 2021-08-26 一种耦合注意力和上下文的轻量化小目标检测方法 Active CN113673616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110985588.0A CN113673616B (zh) 2021-08-26 2021-08-26 一种耦合注意力和上下文的轻量化小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110985588.0A CN113673616B (zh) 2021-08-26 2021-08-26 一种耦合注意力和上下文的轻量化小目标检测方法

Publications (2)

Publication Number Publication Date
CN113673616A CN113673616A (zh) 2021-11-19
CN113673616B true CN113673616B (zh) 2023-09-29

Family

ID=78546421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110985588.0A Active CN113673616B (zh) 2021-08-26 2021-08-26 一种耦合注意力和上下文的轻量化小目标检测方法

Country Status (1)

Country Link
CN (1) CN113673616B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863426B (zh) * 2022-05-05 2022-12-13 北京科技大学 一种目标特征注意力与金字塔相耦合的微小目标检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN111144376A (zh) * 2019-12-31 2020-05-12 华南理工大学 视频目标检测特征提取方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN113011336A (zh) * 2021-03-19 2021-06-22 厦门大学 一种基于深度多分支聚合的实时街景图像语义分割方法
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN111144376A (zh) * 2019-12-31 2020-05-12 华南理工大学 视频目标检测特征提取方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN113011336A (zh) * 2021-03-19 2021-06-22 厦门大学 一种基于深度多分支聚合的实时街景图像语义分割方法
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Modular Lightweight Network for Road Object Detection Using a Feature Fusion Approach;Yazhou Liu等;百度学术;全文 *
改进YOLO轻量化网络的口罩检测算法;王兵等;《计算机工程与应用》;第第57卷卷(第第8期期);全文 *

Also Published As

Publication number Publication date
CN113673616A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108921875B (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112395961B (zh) 一种洒水车的视觉主动行人避让及水压自适应控制方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN113537211B (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法
CN113673616B (zh) 一种耦合注意力和上下文的轻量化小目标检测方法
CN114708566A (zh) 一种基于改进YOLOv4的自动驾驶目标检测方法
CN115272987A (zh) 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置
CN105023264A (zh) 一种结合对象性和背景性的红外图像显著特征检测方法
Tsutsui et al. Distantly supervised road segmentation
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
Chen et al. Visual depth guided image rain streaks removal via sparse coding
CN111027542A (zh) 一种基于Faster RCNN算法改进的目标检测方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN113837058B (zh) 一种耦合上下文聚合网络的轻量化雨水篦子检测方法
Ran et al. Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images
Rosende et al. Optimization algorithm to reduce training time for deep learning computer vision algorithms using large image datasets with tiny objects
Zhang et al. Research on rainy day traffic sign recognition algorithm based on PMRNet
Chen et al. Building footprint generation by integrating U-Net with deepened space module
Gobhinath et al. Dynamic Objects Detection and Tracking from Videos for Surveillance Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant