CN116206185A - 一种基于改进YOLOv7的轻量级小目标检测方法 - Google Patents

一种基于改进YOLOv7的轻量级小目标检测方法 Download PDF

Info

Publication number
CN116206185A
CN116206185A CN202310190191.1A CN202310190191A CN116206185A CN 116206185 A CN116206185 A CN 116206185A CN 202310190191 A CN202310190191 A CN 202310190191A CN 116206185 A CN116206185 A CN 116206185A
Authority
CN
China
Prior art keywords
model
small target
lightweight
target detection
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310190191.1A
Other languages
English (en)
Inventor
杨彤
李雪
姜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202310190191.1A priority Critical patent/CN116206185A/zh
Publication of CN116206185A publication Critical patent/CN116206185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于改进YOLOv7的轻量级小目标检测方法，涉及图像检测技术领域，包括：S1、构建小目标检测数据集；S2、基于YOLOv7框架搭建Tiny‑YOLO小目标检测模型，所述Tiny‑YOLO小目标检测模型包括Input、Backbone、Head三部分，搭建过程中，在Backbone部分的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，将Head部分进行特征融合的标准卷积更改为深度可分离卷积；S3、利用数据集训练Tiny‑YOLO小目标检测模型，训练过程中进行模型剪枝操作，直至模型收敛，得到轻量化检测模型；S4、进行轻量化检测模型的推理加速，嵌入移动端部署；S5、轻量化检测模型获取场景中的待检测小目标图像，输出检测结果。本发明可以精准实时的检测图像中的小目标。

Description

一种基于改进YOLOv7的轻量级小目标检测方法
技术领域
本发明涉及图像检测技术领域，具体的说是一种基于改进YOLOv7的轻量级小目标检测方法。
背景技术
近年来，深度学习得到了快速的发展，越来越的学者将其应用到目标检测领域，以YOLO、SSD为代表的一阶段目标检测算法因其网络结构简单、运行速度快的优势应用最为广泛。其中，YOLOv7算法在经过YOLOv1和YOLOv6的迭代和优化后，在检测实时性和预测精度方面都有了很大进步。目前这些优秀的目标检测算法主要应用于尺寸较大的目标，大尺度目标包含更多有价值的信息，且数据集较为常见，检测便利。但小目标检测长期以来仍是目标检测中的重点和难点之一。
在目标检测中，通常将像素值小于32*32的目标或者目标的像素值占整个图像0.12％以下的物体称为小目标。小目标物体在图像中所占的像素数量少，分辨率低，且背景信息复杂，难以提取有效特征信息，导致模型检测精度降低、检测效果不理想。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种检测实时、易于部署的基于改进YOLOv7的轻量级小目标检测方法，可以实时检测到图像中的小目标且提高其检测精度。
本发明的一种基于改进YOLOv7的轻量级小目标检测方法，解决上述技术问题采用的技术方案如下：
一种基于改进YOLOv7的轻量级小目标检测方法，包括如下步骤：
S1、构建小目标检测数据集，所述小目标指的是：像素值小于32*32的目标或者目标的像素值占整个图像0.12％以下的物体；
S2、基于YOLOv7框架搭建Tiny-YOLO小目标检测模型，所述Tiny-YOLO小目标检测模型包括Input、Backbone、Head三部分，其中，Input部分用于输入待检测小目标图像，Backbone部分用于待检测小目标图像的特征提取，Head部分用于待检测小目标图像的预测分类，搭建过程中，在Backbone部分的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，将Head部分进行特征融合的标准卷积更改为深度可分离卷积；
S3、利用步骤S1的数据集训练Tiny-YOLO小目标检测模型，训练过程中进行模型剪枝操作，直至模型收敛，得到轻量化检测模型；
S4、进行轻量化检测模型的推理加速，嵌入移动端部署；
S5、轻量化检测模型获取场景中的待检测小目标图像，输出检测结果。
可选的，执行步骤S2，在Backbone的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，CBAM分别从空间和通道2个独立的维度依次判断特征注意力图，并且与原始特征图相乘进行自适应优化，通过学习加强或抑制相关的特征信息，具体如下：
(1)ELAN模块输出的特征图F输入到通道注意力模块MC(F)建模，对各通道赋予不同的权重得到特征F'，通道注意力模块MC(F)公式如下：
Figure BDA0004105191870000021
其中，σ指激活函数，W0和W1指全连接层MLP的权重，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着通道轴进行平均池化操作和最大池化操作，得到的是平均池化的特征
Figure BDA0004105191870000022
和最大池化的特征/>
Figure BDA0004105191870000023
(2)特征图F'与输入特征图F相乘后输入空间注意力模块MS(F)建模,使Tiny-YOLO小目标检测模型对特征图F'、F感兴趣的区域给予更多关注，得到权重系数F"，空间注意力模块MS(F)公式如下：
Figure BDA0004105191870000024
其中，σ指激活函数，
Figure BDA0004105191870000031
指逐元素加和操作，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着空间轴进行平均池化操作和最大池化操作，得到的是平均池化的特征/>
Figure BDA0004105191870000032
和最大池化的特征/>
Figure BDA0004105191870000033
(3)特征图F与得到的权重系数F"相乘得到最终的输出特征。
进一步可选的，执行步骤S2，模型搭建过程中，扩张模型检测尺度，改进自适应锚框计算，这就需要在Backbone部分的输入端增加一层160×160尺寸的检测层来检测小目标，随后使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析。
进一步可选的，使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析，具体过程如下：
在数据集中随机确定第一个初始聚类中心点，计算剩下所有样本点距离该初始聚类中心点的距离D(X)；
计算该初始聚类中心点能够作为下一个聚类中心点的概率
Figure BDA0004105191870000034
通过轮盘法选出新的聚类中心点；
重复前述步骤，直到选出3个聚类中心点，随后针对同一个样本设定大、中、小、极小四种尺度的锚框，将极小尺度的锚框放缩到和数据集样本的标注信息中最小框相同大小，再根据放缩比例进行大尺度锚框、中尺度锚框、小尺度锚框进行线性放缩，最终得到12组锚框尺寸。
可选的，执行步骤S2，模型搭建过程中，将Head部分进行特征融合的标准卷积更改为深度可分离卷积，深度可分离卷积是深度卷积和逐点卷积的组合，用于提高模型检测速度。
可选的，执行步骤S2，模型搭建过程中，在Head部分的输出端采用GIOU_loss做边界框坐标的损失函数，同时引入Focal Loss优化边界框回归任务中的样本不平衡问题，缓解密集及场景下小目标检测存在的漏检问题。
进一步可选的，所涉及步骤S3具体包括如下内容：
S3.1、利用数据集训练Tiny-YOLO小目标检测模型，训练至基本收敛，基本收敛的判定条件：模型训练损失函数loss稳定在0.3-0.4之间；
S3.2、设定剪枝阈值N，对模型进行剪枝操作，去除权重低于剪枝阈值N的连接；
S3.3、利用数据集重新训练剪枝后的Tiny-YOLO小目标检测模型，模型收敛则作为轻量化检测模型输出，模型不能收敛则返回执行S3.1。
进一步可选的，执行以下操作，设定剪枝阈值N：
Backbone部分和Head部分中BN层的每个通道引入代表激活程度的缩放因子α；
模型训练过程中，对上述缩放因子α施加稀疏正则化，以自动识别不重要的通道；
稀疏处理后，对所有的尺度因子进行统计和排序，设定剪枝阈值N；
移除小于设定剪枝阈值N对应的次要通道。
进一步可选的，执行步骤S1，使用数据增强技术扩充数据集，具体操作包括：随机的旋转、水平平移、垂直平移、缩放、水平反转，随后按照8:1:1的比例将扩充后的数据集随机划分为训练集、测试集和验证集；
执行步骤S3过程中，利用训练集训练Tiny-YOLO小目标检测模型，模型收敛后，利用测试集测试模型，测试通过后作为轻量化检测模型输出；
执行步骤S4，模型嵌入移动端部署，利用验证集验证模型，验证通过后执行步骤S5。
可选的，执行步骤S4，将轻量化检测模型转化为ONNX形式，随后输入到TensorRT框架进行推理加速处理，具体包括网络层的张量融合及低精度/整型量化，其中，
网路层的张量融合包括：①横向合并，即将模型中参数相同的Convolution层、Bias层和ReLU层组合拼接成一个CBR层，②纵向合并，即将模型网络结构相同但参数不同的层叠加组合成一个CBR层；
推理加速过程中使用FPl6及INT8精度的张量替换FP32张量。
本发明的一种基于改进YOLOv7的轻量级小目标检测方法，与现有技术相比具有的有益效果是：
(1)本发明利用改进YOLOv7框架搭建Tiny-YOLO小目标检测模型，随后对搭建的Tiny-YOLO小目标检测模型加入CBAM注意力模块，将标准卷积更改为深度可分离卷积，改进自适应锚框计算，对模型进行剪枝操作，除去权重低的通道，得到轻量化模型并部署到移动端，实现了图像中小目标的实时检测，且可以提高图像中小目标的检测精度；
(2)本发明利用模型重构和模型剪枝对小目标检测模型进行设计，在精准识别小尺寸目标的同时，降低网络计算参数，为后续轻量化小目标检测方法在工业生产、卫星遥感、医学检测等领域进行快速和高效的部署应用提供可能。
附图说明
附图1是本发明实施例一的方法流程图；
附图2是本发明实施例一中所述Tiny-YOLO小目标检测模型的网络结构图；
附图3是本发明实施例一中所述Tiny-YOLO小目标检测模型的剪枝流程图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1、2，本实施例提出一种基于改进YOLOv7的轻量级小目标检测方法，包括如下步骤：
S1、构建小目标检测数据集，所述小目标指的是：像素值小于32*32的目标或者目标的像素值占整个图像0.12％以下的物体。
S2、基于YOLOv7框架搭建Tiny-YOLO小目标检测模型，所述Tiny-YOLO小目标检测模型包括Input、Backbone、Head三部分，其中，Input部分用于输入待检测小目标图像，Backbone部分用于待检测小目标图像的特征提取，Head部分用于待检测小目标图像的预测分类。
搭建模型过程中，
S2.1、在Backbone部分的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，CBAM分别从空间和通道2个独立的维度依次判断特征注意力图，并且与原始特征图相乘进行自适应优化，通过学习加强或抑制相关的特征信息，具体如下：
S2.1.1、ELAN模块输出的特征图F输入到通道注意力模块MC(F)建模，对各通道赋予不同的权重得到特征F'，通道注意力模块MC(F)公式如下：
Figure BDA0004105191870000061
其中，σ指激活函数，W0和W1指全连接层MLP的权重，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着通道轴进行平均池化操作和最大池化操作，得到的是平均池化的特征
Figure BDA0004105191870000062
和最大池化的特征/>
Figure BDA0004105191870000063
S2.1.2、特征图F'与输入特征图F相乘后输入空间注意力模块MS(F)建模,使Tiny-YOLO小目标检测模型对特征图F'、F感兴趣的区域给予更多关注，得到权重系数F"，空间注意力模块MS(F)公式如下：
Figure BDA0004105191870000064
其中，σ指激活函数，
Figure BDA0004105191870000065
指逐元素加和操作，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着空间轴进行平均池化操作和最大池化操作，得到的是平均池化的特征/>
Figure BDA0004105191870000066
和最大池化的特征/>
Figure BDA0004105191870000067
S2.1.3、特征图F与得到的权重系数F"相乘得到最终的输出特征。
S2.2、将Head部分进行特征融合的标准卷积更改为深度可分离卷积，深度可分离卷积是深度卷积和逐点卷积的组合，用于提高模型检测速度。
S3、利用步骤S1的数据集训练Tiny-YOLO小目标检测模型，训练过程中进行模型剪枝操作，直至模型收敛，得到轻量化检测模型，结合附图3，具体包括如下内容：
S3.1、利用数据集训练Tiny-YOLO小目标检测模型，训练至基本收敛，基本收敛的判定条件：模型训练损失函数loss稳定在0.3-0.4之间；
S3.2、执行以下操作，设定剪枝阈值N：
Backbone部分和Head部分中BN层的每个通道引入代表激活程度的缩放因子α，
模型训练过程中，对上述缩放因子α施加稀疏正则化，以自动识别不重要的通道，
稀疏处理后，对所有的尺度因子进行统计和排序，设定剪枝阈值N，
移除小于设定剪枝阈值N对应的次要通道；
S3.3、基于剪枝阈值N，对模型进行剪枝操作，去除权重低于剪枝阈值N的连接；
S3.4、利用数据集重新训练剪枝后的Tiny-YOLO小目标检测模型，模型收敛则作为轻量化检测模型输出，模型不能收敛则返回执行S3.1。
S4、将轻量化检测模型转化为ONNX形式，随后输入到TensorRT框架进行推理加速处理，嵌入移动端部署。
将轻量化检测模型转化为ONNX形式，随后输入到TensorRT框架进行推理加速处理，具体包括网络层的张量融合及低精度/整型量化，其中，
网路层的张量融合包括：①横向合并，即将模型中参数相同的Convolution层、Bias层和ReLU层组合拼接成一个CBR层，②纵向合并，即将模型网络结构相同但参数不同的层叠加组合成一个CBR层；
推理加速过程中使用FPl6及INT8精度的张量替换FP32张量。
S5、轻量化检测模型获取场景中的待检测小目标图像，输出检测结果。
需要补充的是：本实施例在执行步骤S1时，为了扩大数据集包含的样本数量，使用数据增强技术扩充数据集，具体操作包括：随机的旋转、水平平移、垂直平移、缩放、水平反转，随后按照8:1:1的比例将扩充后的数据集随机划分为训练集、测试集和验证集。
本实施例在执行步骤S3时，利用训练集训练Tiny-YOLO小目标检测模型，模型收敛后，利用测试集测试模型，测试通过后作为轻量化检测模型输出。
本实施例在执行步骤S4时，模型嵌入移动端部署，利用验证集验证模型，验证通过后执行步骤S5。
本实施例在模型搭建过程中还可以进一步扩张模型检测尺度，改进自适应锚框计算，这就需要在Backbone部分的输入端增加一层160×160尺寸的检测层来检测小目标，随后使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析。
进一步可选的，使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析，具体过程如下：
在数据集中随机确定第一个初始聚类中心点，计算剩下所有样本点距离该初始聚类中心点的距离D(X)；
计算该初始聚类中心点能够作为下一个聚类中心点的概率
Figure BDA0004105191870000081
通过轮盘法选出新的聚类中心点；
重复前述步骤，直到选出3个聚类中心点，随后针对同一个样本设定大、中、小、极小四种尺度的锚框，将极小尺度的锚框放缩到和数据集样本的标注信息中最小框相同大小，再根据放缩比例进行大尺度锚框、中尺度锚框、小尺度锚框进行线性放缩，最终得到12组锚框尺寸。
本实施例在模型搭建过程中还可以进一步在Head部分的输出端采用GIOU_loss做边界框坐标的损失函数，同时引入Focal Loss优化边界框回归任务中的样本不平衡问题，缓解密集及场景下小目标检测存在的漏检问题。
综上可知，采用本发明的一种基于改进YOLOv7的轻量级小目标检测方法，利用改进YOLOv7框架搭建Tiny-YOLO小目标检测模型，随后对搭建的Tiny-YOLO小目标检测模型加入CBAM注意力模块，将标准卷积更改为深度可分离卷积，改进自适应锚框计算，对模型进行剪枝操作，除去权重低的通道，得到轻量化模型并部署到移动端，实现了图像中小目标的实时检测，且可以提高图像中小目标的检测精度。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于,包括如下步骤：
S1、构建小目标检测数据集，所述小目标指的是：像素值小于32*32的目标或者目标的像素值占整个图像0.12％以下的物体；
S2、基于YOLOv7框架搭建Tiny-YOLO小目标检测模型，所述Tiny-YOLO小目标检测模型包括Input、Backbone、Head三部分，其中，Input部分用于输入待检测小目标图像，Backbone部分用于待检测小目标图像的特征提取，Head部分用于待检测小目标图像的预测分类，搭建过程中，在Backbone部分的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，将Head部分进行特征融合的标准卷积更改为深度可分离卷积；
S3、利用步骤S1的数据集训练Tiny-YOLO小目标检测模型，训练过程中进行模型剪枝操作，直至模型收敛，得到轻量化检测模型；
S4、进行轻量化检测模型的推理加速，嵌入移动端部署；
S5、轻量化检测模型获取场景中的待检测小目标图像，输出检测结果。
2.根据权利要求1所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S2，在Backbone的ELAN模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块CBAM，CBAM分别从空间和通道2个独立的维度依次判断特征注意力图，并且与原始特征图相乘进行自适应优化，通过学习加强或抑制相关的特征信息，具体如下：
(1)ELAN模块输出的特征图F输入到通道注意力模块MC(F)建模，对各通道赋予不同的权重得到特征F'，通道注意力模块MC(F)公式如下：
Figure FDA0004105191860000011
其中，σ指激活函数，W0和W1指全连接层MLP的权重，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着通道轴进行平均池化操作和最大池化操作，得到的是平均池化的特征
Figure FDA0004105191860000021
和最大池化的特征/>
Figure FDA0004105191860000022
(2)特征图F'与输入特征图F相乘后输入空间注意力模块MS(F)建模,使Tiny-YOLO小目标检测模型对特征图F'、F感兴趣的区域给予更多关注，得到权重系数F"，空间注意力模块MS(F)公式如下：
Figure FDA0004105191860000023
其中，σ指激活函数，
Figure FDA0004105191860000024
Figure FDA0004105191860000025
指逐元素加和操作，AvgPool为全局平均池化，MaxPool为全局最大池化，分别沿着空间轴进行平均池化操作和最大池化操作，得到的是平均池化的特征/>
Figure FDA0004105191860000026
和最大池化的特征/>
Figure FDA0004105191860000027
(3)特征图F与得到的权重系数F"相乘得到最终的输出特征。
3.根据权利要求2所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S2，模型搭建过程中，扩张模型检测尺度，改进自适应锚框计算，这就需要在Backbone部分的输入端增加一层160×160尺寸的检测层来检测小目标，随后使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析。
4.根据权利要求3所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，使用改进的K-Means++聚类算法，对数据集样本的标注框进行聚类分析，具体过程如下：
在数据集中随机确定第一个初始聚类中心点，计算剩下所有样本点距离该初始聚类中心点的距离D(X)；
计算该初始聚类中心点能够作为下一个聚类中心点的概率
Figure FDA0004105191860000028
通过轮盘法选出新的聚类中心点；
重复前述步骤，直到选出3个聚类中心点，随后针对同一个样本设定大、中、小、极小四种尺度的锚框，将极小尺度的锚框放缩到和数据集样本的标注信息中最小框相同大小，再根据放缩比例进行大尺度锚框、中尺度锚框、小尺度锚框进行线性放缩，最终得到12组锚框尺寸。
5.根据权利要求1所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S2，模型搭建过程中，将Head部分进行特征融合的标准卷积更改为深度可分离卷积，深度可分离卷积是深度卷积和逐点卷积的组合，用于提高模型检测速度。
6.根据权利要求1所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S2，模型搭建过程中，在Head部分的输出端采用GIOU_loss做边界框坐标的损失函数，同时引入Focal Loss优化边界框回归任务中的样本不平衡问题，缓解密集及场景下小目标检测存在的漏检问题。
7.根据权利要求1所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，所述步骤S3具体包括如下内容：
S3.1、利用数据集训练Tiny-YOLO小目标检测模型，训练至基本收敛，基本收敛的判定条件：模型训练损失函数loss稳定在0.3-0.4之间；
S3.2、设定剪枝阈值N，对模型进行剪枝操作，去除权重低于剪枝阈值N的连接；
S3.3、利用数据集重新训练剪枝后的Tiny-YOLO小目标检测模型，模型收敛则作为轻量化检测模型输出，模型不能收敛则返回执行S3.1。
8.根据权利要求7所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行以下操作，设定剪枝阈值N：
Backbone部分和Head部分中BN层的每个通道引入代表激活程度的缩放因子α；
模型训练过程中，对上述缩放因子α施加稀疏正则化，以自动识别不重要的通道；
稀疏处理后，对所有的尺度因子进行统计和排序，设定剪枝阈值N；
移除小于设定剪枝阈值N对应的次要通道。
9.根据权利要求8所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S1，使用数据增强技术扩充数据集，具体操作包括：随机的旋转、水平平移、垂直平移、缩放、水平反转，随后按照8:1:1的比例将扩充后的数据集随机划分为训练集、测试集和验证集；
执行步骤S3过程中，利用训练集训练Tiny-YOLO小目标检测模型，模型收敛后，利用测试集测试模型，测试通过后作为轻量化检测模型输出；
执行步骤S4，模型嵌入移动端部署，利用验证集验证模型，验证通过后执行步骤S5。
10.根据权利要求1所述的一种基于改进YOLOv7的轻量级小目标检测方法，其特征在于，执行步骤S4，将轻量化检测模型转化为ONNX形式，随后输入到TensorRT框架进行推理加速处理，具体包括网络层的张量融合及低精度/整型量化，其中，
网路层的张量融合包括：①横向合并，即将模型中参数相同的Convolution层、Bias层和ReLU层组合拼接成一个CBR层，②纵向合并，即将模型网络结构相同但参数不同的层叠加组合成一个CBR层；
推理加速过程中使用FPl6及INT8精度的张量替换FP32张量。
CN202310190191.1A 2023-02-27 2023-02-27 一种基于改进YOLOv7的轻量级小目标检测方法 Pending CN116206185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310190191.1A CN116206185A (zh) 2023-02-27 2023-02-27 一种基于改进YOLOv7的轻量级小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310190191.1A CN116206185A (zh) 2023-02-27 2023-02-27 一种基于改进YOLOv7的轻量级小目标检测方法

Publications (1)

Publication Number Publication Date
CN116206185A true CN116206185A (zh) 2023-06-02

Family

ID=86518914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310190191.1A Pending CN116206185A (zh) 2023-02-27 2023-02-27 一种基于改进YOLOv7的轻量级小目标检测方法

Country Status (1)

Country Link
CN (1) CN116206185A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385810A (zh) * 2023-06-05 2023-07-04 江西农业大学 一种基于YOLOv7的小目标检测方法及系统
CN116502810A (zh) * 2023-06-28 2023-07-28 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN116630720A (zh) * 2023-06-09 2023-08-22 中国电子技术标准化研究院 一种基于YoloV7的抗原检测结果识别方法
CN117173444A (zh) * 2023-06-08 2023-12-05 南京林业大学 基于改进型YOLOv7网络模型的封边板外观缺陷检测方法及系统
CN117689731A (zh) * 2024-02-02 2024-03-12 陕西德创数字工业智能科技有限公司 一种基于改进YOLOv5模型的轻量化新能源重卡电池包识别方法
CN117876763A (zh) * 2023-12-27 2024-04-12 广州恒沙云科技有限公司 一种基于自监督学习策略的涂布缺陷分类方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385810A (zh) * 2023-06-05 2023-07-04 江西农业大学 一种基于YOLOv7的小目标检测方法及系统
CN116385810B (zh) * 2023-06-05 2023-08-15 江西农业大学 一种基于YOLOv7的小目标检测方法及系统
CN117173444A (zh) * 2023-06-08 2023-12-05 南京林业大学 基于改进型YOLOv7网络模型的封边板外观缺陷检测方法及系统
CN116630720A (zh) * 2023-06-09 2023-08-22 中国电子技术标准化研究院 一种基于YoloV7的抗原检测结果识别方法
CN116502810A (zh) * 2023-06-28 2023-07-28 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN116502810B (zh) * 2023-06-28 2023-11-03 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN117876763A (zh) * 2023-12-27 2024-04-12 广州恒沙云科技有限公司 一种基于自监督学习策略的涂布缺陷分类方法及系统
CN117689731A (zh) * 2024-02-02 2024-03-12 陕西德创数字工业智能科技有限公司 一种基于改进YOLOv5模型的轻量化新能源重卡电池包识别方法
CN117689731B (zh) * 2024-02-02 2024-04-26 陕西德创数字工业智能科技有限公司 一种基于改进YOLOv5模型的轻量化新能源重卡电池包识别方法

Similar Documents

Publication Publication Date Title
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN111402266A (zh) 一种构建数字岩心的方法及系统
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN114821204A (zh) 一种基于元学习嵌入半监督学习图像分类方法与系统
CN106251375A (zh) 一种通用隐写分析的深度学习堆栈式自动编码方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN114913434B (zh) 一种基于全局关系推理的高分辨率遥感影像变化检测方法
CN114494870A (zh) 一种双时相遥感图像变化检测方法、模型构建方法和装置
CN113487600A (zh) 一种特征增强尺度自适应感知船舶检测方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN112800934B (zh) 一种多类别工程车的行为识别方法及装置
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN116863271A (zh) 一种基于改进yolo v5的轻量级红外火焰检测方法
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN115035408A (zh) 基于迁移学习和注意力机制的无人机影像树种分类方法
CN114219998A (zh) 一种基于目标检测神经网络的声纳图像实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination