CN114283469B - 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv4‑tiny的轻量型目标检测方法和系统，一种基于改进YOLOv4‑tiny的轻量型目标检测方法包括获取口罩图像数据；制作口罩数据集；搭建改进的YOLOv4‑tiny目标检测模型；训练改进的YOLOv4‑tiny目标检测模型；对改进的YOLOv4‑tiny目标检测模型进行评估；进行测试，一种基于改进YOLOv4‑tiny的轻量型目标检测系统包括监控设备、计算设备、控制设备、报警设备、语音设备、限流设备和显示设备。本发明所述方法及系统能够对公共场所中行人的口罩佩戴情况进行快速、实时、准确的监测，对未佩戴口罩和未正确佩戴口罩的行人目标进行跟踪提醒，大大提高了公共场合下口罩佩戴的检测效率。

Description

一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统

技术领域

本发明涉及目标检测技术领域，特别是一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统。

背景技术

口罩，是一种卫生用品，一般指戴在口鼻处用于过滤进入口鼻的空气，以达到阻挡空气中有害的气体、飞沫、病毒等物质的作用，在呼吸道传染病流行时，特别地，在疫情期间，佩戴口罩是一种极为有效且经济的防控手段，也是防止病毒传播的有效途径之一。

公共场合(如社区、校园、超市、医院、工厂、车站等)的口罩佩戴检测已经成为一项日常检查的核心工作。但在这些大部分地方，目前基本都是人工检查佩戴口罩情况。人工方式一方面会造成人力资源的浪费和效率低下，另一方面存在近距离接触的安全隐患，更重要的是，还存在漏检和误检等问题。同时，对于不正确佩戴口罩的问题，除了会造成人工检测工作量额外增加，还会威胁周围环境的安全。

机器视觉技术的发展使得能够利用监控、计算机等软硬件设备集成的方式来实现人脸口罩佩戴情况检测，从而达到非接触自动检测的目的。由于口罩的不同形态、颜色、光照影响、遮挡干扰等让检测任务变得更加艰难，更具有挑战性，如何在现阶段特定情形下，对佩戴口罩的人群实现准确、快速的口罩自动检测成为了当下一个重要的研究问题。

目前大多数研究都是采用基于机器学习与深度学习实现口罩佩戴检测，存在如下问题：

(1)传统的机器学习检测方法，比较倾向于使用不同尺寸的滑动窗口选中图中的部分区域，分析选中区域的特征，但需要人工提取特征，建模难度大，比较繁琐，对使用者要求较高。

(2)现有的深度卷积神经网络，比如VGGNet、GoogLeNet、ResNet和DenseNet等在完成分类时，由于自身网络结构复杂，使得模型参数繁多，模型权重文件较大，训练时间较长。

(3)现有的基于深度学习的目标检测算法，比如R-CNN、Fast-RCNN、Faster-RCNN等两阶段算法，虽然能得到较高的检测精度，但由于阶段复杂，使得测试速度通常较慢，不太适合用于需要实时检测，快速响应的应用场合。而像SSD、YOLO等一系列单阶段算法，虽然具有很快的检测速度，能满足实时检测需求，但某些应用上的检测精度仍有待提高。这些深度学习算法对计算机等设备的性能通常要求较高。然而，公共场合下用于自动检测的计算机硬件配置通常不会太高，这对算法的性能会有较大的影响。

(4)近几年兴起的一些轻量型卷积神经网络，比如：MobileNet系列、YOLO v3-tiny、YOLO v4-tiny等，虽然它们大大缩短了模型参数量和训练时间，但是在牺牲了一部分准确率的前提下，使得配置不高的硬件设备可以实现检测，但在具体应用过程中，仍然存在一定的局限性。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有的基于改进YOLOv4-tiny的轻量型目标检测方法中存在的问题，提出了本发明。

因此，本发明所要解决的问题在于如何提供一种基于改进YOLOv4-tiny的轻量型目标检测方法。

为解决上述技术问题，本发明提供如下技术方案：一种基于改进YOLOv4-tiny的轻量型目标检测方法，其包括，获取口罩图像数据；制作口罩数据集；搭建改进的YOLOv4-tiny目标检测模型；训练改进的YOLOv4-tiny目标检测模型；对改进的YOLOv4-tiny目标检测模型进行评估；进行测试。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：所述改进的YOLOv4-tiny目标检测模型包括主干特征提取网络、颈部加强特征提取网络和预测网络；在主干特征提取网络中，将原YOLOv4-tiny网络的3个CSPBlock结构分别替换为1个轻量模块和2个增强模块，将原YOLOv4-tiny网络通道数为512的卷积层替换为1个多尺度融合模块；在颈部加强特征提取网络中，在原YOLOv4-tiny网络基础上增加1个改进的空间金字塔池化结构和2个改进的双重注意力机制结构；在预测网络中，将原YOLOv4-tiny网络通道数为256和512的卷积层分别替换为1个深度可分离卷积结构。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：所述双重注意力机制结构包括通道注意力模块和空间注意力模块；

所述通道注意力模块采用如下公式计算：

式中，M_c(F)∈R^C×1×1表示通道注意力；

表示均值池化的通道描述信息；

表示最大值池化的通道描述信息；σ表示Sigmoid激活函数，

表示卷积核大小为k的一维卷积操作，k为卷积核大小，可自适应计算，公式如下：

式中，C是通道数，γ,b为超参数，|*|_odd表示与*最邻近的奇数；

所述空间注意力模块采用如下公式计算：

式中，M_S(F′)∈R^1×H×W表示空间注意力；

表示均值池化的通道描述信息；

表示最大值池化的通道描述信息；σ表示Sigmoid激活函数，

表示采用卷积核大小为7的空洞卷积，空洞率为2。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：口罩图像数据包括佩戴口罩图像、未佩戴口罩图像和未正确佩戴口罩图像。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：在制作口罩数据集时，将口罩图像数据进行目标类别名称标注和定位位置标注，并将其分为训练集、验证集和测试集。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：在训练所述改进的YOLOv4-tiny目标检测模型时，输入训练集图片作为模型特征学习样本，输入验证集图片作为模型评估和验证样本，同时，利用K-means++算法对先验框进行选取，从而提高检测精度。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：在评估时，通过精确率Precision、召回率Recall、平均精确率AP、平均精确率的平均值mAP、F1分数、速率FPS、参数量Params、浮点运算数FLOPs等多个指标进行综合评价。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：在测试时，输入测试集图片，输出带有预测结果的测试集图片，目标位置用方框进行标注，目标类别用不同类别名称和预测值进行标注，其中，不同类别的颜色不同。

本发明还提供了一种基于改进YOLOv4-tiny的轻量型目标检测系统，其能够实现在特定情形下，对佩戴口罩的人群实现准确、快速的口罩自动检测。

为解决上述技术问题，本发明提供如下技术方案：一种基于改进YOLOv4-tiny的轻量型目标检测系统，其包括，监控设备、计算设备、控制设备、报警设备、语音设备、限流设备和显示设备，所述监控设备用于拍摄待检测区域的视频或图像，采集完成后上传至所述计算设备，所述控制设备用于接收所述计算设备传递的行人的口罩正确佩戴率信息，所述计算设备通过基于改进YOLOv4-tiny的轻量型目标检测方法，计算得到的待检测区域行人口罩佩戴情况及口罩正确佩戴率，并反馈至所述显示设备。

作为本发明所述基于改进YOLOv4-tiny的轻量型目标检测方法的一种优选方案，其中：所述控制设备接收所述计算设备传递的行人的口罩正确佩戴率信息时，通过对比设定的阈值，进行相应操作，若口罩正确佩戴率小于阈值时，反馈至所述报警设备和语音设备，同时，反馈至所述限流设备，启动区域限流；若口罩正确佩戴率大于阈值时，反馈至所述限流设备，关闭区域限流。

本发明有益效果为：能够对公共场所中行人的口罩佩戴情况进行快速、实时、准确的监测，对未佩戴口罩和未正确佩戴口罩的行人目标进行跟踪提醒，大大提高了公共场合下口罩佩戴的检测效率，能有效减轻工作人员的劳动量，并辅助工作人员维护公众场合的良好秩序。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为基于改进YOLOv4-tiny的轻量型目标检测方法的基本流程示意图。

图2为基于改进YOLOv4-tiny的轻量型目标检测方法的改进的YOLOv4-tiny网络结构示意图。

图3为基于改进YOLOv4-tiny的轻量型目标检测方法的获取口罩数据集流程图。

图4为基于改进YOLOv4-tiny的轻量型目标检测方法的改进的双重注意力机制结构示意图。

图5为基于改进YOLOv4-tiny的轻量型目标检测方法的改进的空间金字塔池化结构示意图。

图6为基于改进YOLOv4-tiny的轻量型目标检测系统的系统示意图。

图7为基于改进YOLOv4-tiny的轻量型目标检测方法的改进YOLOv4-tiny模型与其他现有技术损失值对比示意图。

图8为基于改进YOLOv4-tiny的轻量型目标检测方法的改进YOLOv4-tiny模型与其他现有技术mAP、参数量、计算量等多指标对比示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

实施例1

参照图1～图5，为本发明第一个实施例，该实施例提供了一种基于改进YOLOv4-tiny的轻量型目标检测方法，基于改进YOLOv4-tiny的轻量型目标检测方法包括如下步骤：

S1：获取口罩图像数据；

S2：制作口罩数据集；

S3：搭建改进的YOLOv4-tiny目标检测模型；

S4：训练改进的YOLOv4-tiny目标检测模型；

S5：对改进的YOLOv4-tiny目标检测模型进行评估；

S6：进行测试。

进一步的，所述改进的YOLOv4-tiny目标检测模型包括主干特征提取网络、颈部加强特征提取网络和预测网络，在主干特征提取网络中，将原YOLOv4-tiny网络的3个CSPBlock结构分别替换为1个轻量模块和2个增强模块，将原YOLOv4-tiny网络通道数为512的卷积层替换为1个多尺度融合模块，既保证了浅层网络的参数能够传递至深层网络，又避免了过拟合现象，同时还降低了网络的计算成本，提高了网络的学习能力。

优选地的，在颈部加强特征提取网络中，在原YOLOv4-tiny网络基础上增加1个改进的空间金字塔池化结构和2个改进的双重注意力机制结构，扩大了特征图对全局信息的感知范围，缓解了网络对目标尺度的过度敏感，克服了原网络对小目标检测能力弱的缺点。

较佳的，在预测网络中，将原YOLOv4-tiny网络通道数为256和512的卷积层分别替换为1个深度可分离卷积结构。

需要说明的是，其余部分或结构则保持为原始YOLOv4-tiny网络不变。

在本实施例中，口罩图像数据包括佩戴口罩图像、未佩戴口罩图像和未正确佩戴口罩图像。在制作口罩数据集时，将口罩图像数据进行目标类别名称标注和定位位置标注，并将其分为训练集、验证集和测试集。

在训练所述改进的YOLOv4-tiny目标检测模型时，输入训练集图片作为模型特征学习样本，输入验证集图片作为模型评估和验证样本，同时，利用K-means++算法对先验框进行选取，从而提高检测精度。

进一步的，在评估时，通过精确率Precision、召回率Recall、平均精确率AP、平均精确率的平均值mAP、F1分数、速率FPS、参数量Params、浮点运算数FLOPs等多个指标进行综合评价。

在测试时，输入测试集图片，输出带有预测结果的测试集图片，目标位置用方框进行标注，目标类别用不同类别名称和预测值进行标注，其中，不同类别的颜色不同。

本发明在YOLOv4-tiny目标检测网络中设计了轻量模块、增强模块和多尺度融合模块用于主干特征提取，引入了改进的双重注意力机制和改进的空间金字塔池化结构用于加强特征提取，分别改进了主干、颈部网络的激活函数为SiLU和Hardswish确保了参数的有效平滑传递，采用了深度可分离卷积用于网络预测，同时，在训练之前，利用Kmeans++对先验框进行选取，使网络更容易训练，参数更容易收敛。

所述双重注意力机制结构包括通道注意力模块和空间注意力模块；

所述通道注意力模块采用如下公式计算：

式中，M_c(F)∈R^C×1×1表示通道注意力；

表示均值池化的通道描述信息；

表示最大值池化的通道描述信息；σ表示Sigmoid激活函数，

表示卷积核大小为k的一维卷积操作，k为卷积核大小，可自适应计算，公式如下：

式中，C是通道数，γ,b为超参数，|*|_odd表示与*最邻近的奇数；

所述空间注意力模块采用如下公式计算：

式中，M_S(F′)∈R^1×H×W表示空间注意力；

表示均值池化(Avgpool)的通道描述信息；

表示最大值池化(Max pool)的通道描述信息；σ表示Sigmoid激活函数，

表示采用卷积核大小为7的空洞卷积，空洞率为2。

并结合迁移学习冻结和解冻训练的策略，提出了一种基于改进YOLOv4-tiny的轻量型目标检测方法。

实施例2

参照图1～图8，为本发明第二个实施例，该实施了基于上一个实施例。

具体的，S1：获取口罩图像数据。利用爬虫技术从网页上获得佩戴口罩图像、未佩戴口罩图像和未正确佩戴口罩图像。在筛选收集到的图片时，可充分考虑口罩类型、形状、颜色等因素以及公共场合下密集人群的小目标，以满足口罩图像数据的丰富性，并剔除冗余，去掉低质量图片。

S2：制作口罩数据集。利用LabelImg可视化图像标定工具标记好人脸口罩目标的位置信息和分类信息，分别保存为XML文件(标注)和JPG文件(图像)。在具体命名时，两种格式的文件分别一一对应，并按照编号0001开始编号直至所有图片编完。将标注好的图像数据按照8:1:1的比例划分为训练集、验证集和测试集。三个样本集均包含有上述三类图像。

S3：搭建改进的YOLOv4-tiny目标检测模型。其中，在原始YOLOv4-tiny网络的基础上进行改进，改进步骤如下：

S3.1：在主干特征提取网络中，设计轻量模块，特征在于，将原CSPBlock结构的第一层卷积核大小为3×3、输出通道为2C的卷积层(特征整合层)替换卷积核大小为1×1、通道数为C的卷积层和卷积核大小为3×3、输出通道为2C的卷积层的组合。

S3.2：在主干特征提取网络中，设计增强模块，特征在于，在原CSPBlock结构的第一层卷积核大小为3×3、输出通道为2C的卷积层(特征整合层)之后，添加一个卷积核大小为1×1、通道数为C的点卷积层，接着添加一个卷积核大小为3×3、输出通道为2C的卷积层。

进一步地，利用轻量模块替换掉原YOLOv4-tiny网络的第一个CSPBlock结构，再利用增强模块换掉原YOLOv4-tiny网络的第二、三个CSPBlock结构。

S3.3：在主干特征提取网络中，设计多尺度融合模块，特征在于，首先，将最大池化层2输出的分辨率为26×26的特征图，经过步长为2的3×3卷积层进行下采样，得到13×13分辨率的特征图；其次，将该特征图与最大池化层3输出的13×13的特征图拼接Concat，形成分辨率为13×13，通道数为640的特征图；最后，再经过卷积核大小为1×1，通道数为512的卷积层压缩通道数后输出主干特征提取网络的特征图。用于替换原YOLOv4-tiny网络中卷积3。

S3.4：在颈部加强特征提取网络中，设计改进的双重注意力机制结构，特征在于，改进的双重注意力机制由通道注意力模块和空间注意力模块两部分组成。

进一步地，在通道注意力模块，利用自适应维度k的一维卷积来聚合k个邻域通道内的特征信息，然后，相加两个通道的信息元素，并通过Sigmoid函数进行激活，生成通道注意力。公式描述如下：

式中，M_c(F)∈R^C×1×1表示通道注意力；

表示均值池化(Avgpool)的通道描述信息；

表示最大值池化(Max pool)的通道描述信息；σ表示Sigmoid激活函数，

表示卷积核大小为k的一维卷积操作，k为卷积核大小，可自适应计算，公式如下：

其中，C是通道数，γ,b为超参数，|*_odd表示与*最邻近的奇数。

进一步地，在空间注意力模块，使用空洞卷积提高感受野，进一步聚合上下文空间中的信息，然后，使用Sigmoid函数生成空间注意力模型，最后，再将该空间注意力模型与输入特征对应元素相乘即可注入空间注意力机制。公式描述如下：

式中，M_S(F′)∈R^1×H×W表示空间注意力；

表示均值池化(Avgpool)的通道描述信息；

表示最大值池化(Max pool)的通道描述信息；σ表示Sigmoid激活函数，

表示采用卷积核大小为7的空洞卷积，空洞率为2。

S3.5：在颈部加强特征提取网络中，设计改进的空间金字塔池化结构。特征在于，该结构由改进的空间金字塔池化模块和改进的双重注意力机制模块组合而成的。

进一步地，改进的空间金字塔池化模块是对原始空间金字塔池化结构的最大池化核改进为7、5和3，可以在不同尺度上保留最显著的特征，增加了局部区域特征图的感受野，使得网络获得更丰富的局部特征信息，捕获更多的口罩特征。

进一步地，改进的双重注意力机制模块为上述步骤S3.4所述。

S3.6：改进的激活函数。特征在于，对主干特征提取网络采用SiLU函数，对加强特征提取网络采用Hardswish函数。能够更好的传递梯度流，能在保证检测精度的同时，提高检测速度。

进一步地，SiLU函数公式如下：

SiLU(x)＝x·sigmoid(x)

进一步地，Hardswish函数公式如下：

S3.7：改进的预测网络。将原始YOLOv4-tiny网络输出的2个尺度YOLO Head预测网络(13×13和26×26)中的卷积核大小为3×3常规卷积替换为深度可分离卷积，输出口罩的位置和类别置信度信息。

进一步地，深度可分离卷积操作分为深度卷积和逐点卷积两个步骤。在深度卷积中，卷积核数量与输入特征通道数相同，一个卷积核只与一个通道的输入特征进行卷积操作。逐点卷积与标准卷积操作相同，卷积核采用尺寸大小为1×1的单位卷积。

S4：训练改进的YOLOv4-tiny目标检测模型。利用PyTorch框架、Anaconda编译器、Python语言进行部署。

S4.1：输入训练集图片作为模型特征学习样本，输入验证集图片作为模型评估和验证样本，以便实时评价训练模型的优劣，从而改进模型参数。训练模型之前，需要初始化它的超参数。

进一步地，利用迁移学习的思想，对训练模型采用冻结训练和解冻训练的策略，这可以加快训练效率，也可以防止权值被破坏。

设置网络的超参数初始化如下：输入图片大小为416×416，优化器冲量Momentum为0.9，采用马赛克Mosaic数据增强、学习率余弦退火和标签平滑策略；启用冻结训练模式；冻结训练Epoch为50；冻结训练学习率为0.001；解冻训练学习率为0.0001；总训练Epoch为500。

S4.2：利用K-means++算法对先验框进行选取。首先，随机选择一个先验框作为当前的第一个聚类中心，然后计算其余每个先验框和已有聚类中心之间的最短距离，并将该先验框归类到与其相距最小的聚类中心所对应的类别中。其次，计算出每个先验框被认定为下一个聚类中心的概率，选择概率最大的先验框作为下一个中心，其中概率的计算公式为：

式中：D(x)为每一个先验框到当前中心的最短距离，是利用面积交并比(IntersectionOverUnion，IOU)来进行度量。再次，每次分配一个对象，聚类中心会根据现有聚类的对象重新计算，重复此过程直到没有对象被重新分配到其他的聚类中。最后，筛选出K个聚类中心。

S5：评估已改进的YOLOv4-tiny目标检测模型。通过精确率Precision、召回率Recall、平均精确率AP、平均精确率的平均值mAP、F1分数、速率FPS、参数量Params、浮点运算数FLOPs、模型大小Weight等多个指标进行综合评价。定义如下：

Params＝(H×W×C_in+1)×C_out

FLOPs＝2×H×W×(C_inK²+1)×C_out

式中：TP为真阳性样本数，FP为假阳性样本数，FN为假阴性数样本。

Precision表示查准率，即真实病例样本占预测是阳性样本的比例；Recall是查全率，即所有正例的样本中，被模型判为正样本的比例；F1值一般形式为Precision和Recall的调和均值，如果Fl值较高，意味着模型的测试效果会更好；AP表示P-R曲线下的面积，综合考虑精确率和召回率的影响，反映了模型对不同种类识别的好坏程度；mAP表示每个类别AP的平均值，表达在所有类别上的平均好坏程度；FPS表示每秒帧率，即每秒内可以处理的图片数，它用来评估目标检测的速度。它的值越大，表示检测速度越快；Params表示模型的参数规模，直接决定模型权重文件的大小，也影响模型推断时对内存的占用量；FLOPs表示浮点运算数，理解为计算量，用来衡量算法/模型的复杂度，它通常是一个很大的数目；

S6：进行测试，获得检测结果。输入测试集图片，输出带有预测结果的测试集图片。目标位置用方框进行标注，目标类别用不同类别名称和预测值进行标注，其中，红色表示佩戴口罩图像(with mask)，绿色表示未佩戴口罩图像(without mask)，蓝色表示未正确佩戴口罩图像(maskweared incorrect)。

我方发明所述检测方法与一些较为流行的轻量级深度学习检测模型进行了对比，包括YOLOX_s，YOLOv4-tiny，MobileNetv3-YOLOv4。所有实验分别在PASCALVOC2007+2012数据集上进行预训练，得到预训练权重，利用迁移学习，在相同的口罩数据集上进行训练和测试。在IOU＝0.5下，各模型的检测结果如下表所示：

表1测试集上不同模型的样本检测结果

本发明提出的改进YOLOv4-tiny算法，相比原始YOLOv4-tiny网络，各个类别的精确度P、召回率R和F1分数值至少在原基础上提升了2.5％以上。其中，对“未正确佩戴口罩”类别的识别能力提升较为显著，精确度提高了16.26％，召回率提升了4.68％，F1值提升了0.09。对“正确佩戴口罩”类别的精确度提高了2.5％，召回率提升了3.71％，F1值提升了0.03。对“未佩戴口罩”类别的精确度提高了2.5％，召回率提升了6.76％，F1值提升了0.05。同时，各个类别的平均精度分别提高了9.03％、1.26％和2.69％。

测试集上不同检测模型的评价指标对比实验结果如下表所示：

表2测试集上不同检测模型的评价指标对比实验结果

本发明提出的改进YOLOv4-tiny算法，虽然单从某一类别的平均精度来看，改进后算法的表现可能并不是最优的，但在实验测试集中的总体mAP是明显优于其他轻量级算法的，比其他轻量级算法均高出4％以上，并且在参数量Params、计算量FLOPs和模型大小Weight上的表现也都优于原网络模型。其中，mAP比原始网络的提高了4.33％。参数量是这些模型中最少的，只有约3.76×10⁶个，是原始网络的2/3。同时，FLOPs也比原始网络每秒减少了1.8×10¹⁰次，下降了约16.48％。Weight相比原始下降了8.2MB，减少了约36.44％。虽然在FPS上的表现略低于原始网络，但影响不大，仍然满足实时性要求。

参照图7，本发明所述改进YOLOv4-tiny模型的损失值明显小于其他现有技术，精度更高。参照图8，图中的符号(—)表示相反数，数值则是经过min-max标准归一化处理之后所得，指标越靠近1表示结果越好。从三个指标来看，改进YOLOv4-tiny模型的综合性能最好。

实施例3

参照图6，为本发明第三个实施例，该实施了提供了一种基于改进YOLOv4-tiny的轻量型目标检测系统，基于改进YOLOv4-tiny的轻量型目标检测系统包括监控设备、计算设备、控制设备、报警设备、语音设备、限流设备和显示设备。

具体的，所述监控设备用于拍摄待检测区域的视频或图像，采集完成后上传至所述计算设备，所述控制设备用于接收所述计算设备传递的行人的口罩正确佩戴率信息，所述计算设备通过基于改进YOLOv4-tiny的轻量型目标检测方法，计算得到的待检测区域行人口罩佩戴情况及口罩正确佩戴率，并反馈至所述显示设备进行显示。

进一步的，所述控制设备接收所述计算设备传递的行人的口罩正确佩戴率信息时，通过对比设定的阈值，进行相应操作，若口罩正确佩戴率小于阈值时，反馈至所述报警设备和语音设备进行警报和语音提示，同时，反馈至所述限流设备，关闭准入闸门，启动区域限流；若口罩正确佩戴率大于阈值时，则打开准入闸门反馈至所述限流设备，关闭区域限流。

需要说明的是，各个设备之间通过总线连接计算设备。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：包括，

获取口罩图像数据；

制作口罩数据集；

搭建改进的YOLOv4-tiny目标检测模型；

训练改进的YOLOv4-tiny目标检测模型；

对改进的YOLOv4-tiny目标检测模型进行评估；

进行测试；

所述改进的YOLOv4-tiny目标检测模型包括主干特征提取网络、颈部加强特征提取网络和预测网络；

所述主干特征提取网络包括依次设置的卷积1、卷积2、轻量模块、最大池化层1、增强模块1、最大池化层2、增强模块2、最大池化层3以及多尺度融合模块，

所述多尺度融合模块包括依次设置的卷积4、第一拼接Concat模块和卷积3，所述卷积4与所述最大池化层2连接，所述第一拼接Concat模块与最大池化层3连接；

所述颈部加强特征提取网络包括与最大池化层2连接的第一改进的双重注意力机制结构、与第一改进的双重注意力机制结构连接的第二拼接Concat模块，以及依次设置的改进的空间金字塔池化结构、卷积5、上采样卷积6和第二改进的双重注意力机制结构，所述第二改进的双重注意力机制结构与所述第二拼接Concat模块连接，所述卷积3与所述改进的空间金字塔池化结构连接；

所述预测网络包括依次设置的深度可分离卷积2和卷积8，以及依次设置的深度可分离卷积1和卷积7，所述深度可分离卷积2与所述第二拼接Concat模块连接，所述深度可分离卷积1与所述卷积5连接；

多尺度融合模块的设置包括如下步骤，

首先，将最大池化层2输出的分辨率为26×26的特征图，经过卷积4步长为2的3×3卷积层进行下采样，得到13×13分辨率的特征图；其次，将该特征图与最大池化层3输出的13×13的特征图拼接Concat，形成分辨率为13×13，通道数为640的特征图；最后，再经过卷积核大小为1×1，通道数为512的卷积3后输出主干特征提取网络的特征图；

所述轻量模块是将原CSPBlock结构的第一层卷积层3×3替换为1×1和3×3的卷积层，即由原3×3、输出通道为2c的卷积层替换为先经过1×1、将通道数压缩至c的点卷积层，再经过3×3、将通道由c扩张为2c的卷积层，然后将其分成第一部分和第二部分，其中第二部分依次经过两个卷积层3×3，并将经过第一个卷积层3×3后的结果与经过第二个卷积层3×3后的结果进行拼接Concat，然后再经一个卷积层1×1后与第一部分进行拼接Concat，形成轻量模块；

所述增强模块是在原CSPBlock结构的第一层卷积核大小为3×3、输出通道为2C的卷积层之后，添加一个卷积核大小为1×1、通道数为C的点卷积层，接着添加一个卷积核大小为3×3、输出通道为2C的卷积层，然后将其同样分成第一部分和第二部分，其中第二部分依次经过两个卷积层3×3，并将经过第一个卷积层3×3后的结果与经过第二个卷积层3×3后的结果进行拼接Concat，然后再经一个卷积1×1后与第一部分进行拼接Concat，形成增强模块。

2.如权利要求1所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：所述双重注意力机制结构包括通道注意力模块和空间注意力模块；

所述通道注意力模块采用如下公式计算：

式中，M_c(F)∈R^C×1×1表示通道注意力；

表示均值池化的通道描述信息；

表示最大值池化的通道描述信息；σ表示Sigmoid激活函数，

表示卷积核大小为k的一维卷积操作，k为卷积核大小，可自适应计算，公式如下：

式中，C是通道数，γ,b为超参数，

表示与

最邻近的奇数；

所述空间注意力模块采用如下公式计算：

式中，M_S(F′)∈R^1×H×W表示空间注意力；

表示均值池化的通道描述信息；

表示最大值池化的通道描述信息；σ表示Sigmoid激活函数，

表示采用卷积核大小为7的空洞卷积，空洞率为2。

3.如权利要求2所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：口罩图像数据包括佩戴口罩图像、未佩戴口罩图像和未正确佩戴口罩图像。

4.如权利要求3所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：在制作口罩数据集时，将口罩图像数据进行目标类别名称标注和定位位置标注，并将其分为训练集、验证集和测试集。

5.如权利要求2～4任一所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：在训练所述改进的YOLOv4-tiny目标检测模型时，输入训练集图片作为模型特征学习样本，输入验证集图片作为模型评估和验证样本，同时，利用K-means++算法对先验框进行选取，从而提高检测精度。

6.如权利要求1～4任一所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：在评估时，通过精确率Precision、召回率Recall、平均精确率AP、平均精确率的平均值mAP、F1分数、速率FPS、参数量Params和浮点运算数FLOPs指标进行综合评价。

7.如权利要求1～4任一所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其特征在于：在测试时，输入测试集图片，输出带有预测结果的测试集图片，目标位置用方框进行标注，目标类别用不同类别名称和预测值进行标注，其中，不同类别的颜色不同。

8.一种基于改进YOLOv4-tiny的轻量型目标检测系统，其特征在于：用于实现权利要求1～7任一所述的基于改进YOLOv4-tiny的轻量型目标检测方法，其包括监控设备、计算设备、控制设备、报警设备、语音设备、限流设备和显示设备，所述监控设备用于拍摄待检测区域的视频或图像，采集完成后上传至所述计算设备，所述控制设备用于接收所述计算设备传递的行人的口罩正确佩戴率信息，所述计算设备通过基于改进YOLOv4-tiny的轻量型目标检测方法，计算得到的待检测区域行人口罩佩戴情况及口罩正确佩戴率，并反馈至所述显示设备。

9.如权利要求8所述的基于改进YOLOv4-tiny的轻量型目标检测系统，其特征在于：所述控制设备接收所述计算设备传递的行人的口罩正确佩戴率信息时，通过对比设定的阈值，进行相应操作，若口罩正确佩戴率小于阈值时，反馈至所述报警设备和语音设备，同时，反馈至所述限流设备，启动区域限流；

若口罩正确佩戴率大于阈值时，反馈至所述限流设备，关闭区域限流。

Images