CN114783021A - 一种口罩佩戴智能检测方法、装置、设备及介质 - Google Patents

一种口罩佩戴智能检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN114783021A
CN114783021A CN202210360948.2A CN202210360948A CN114783021A CN 114783021 A CN114783021 A CN 114783021A CN 202210360948 A CN202210360948 A CN 202210360948A CN 114783021 A CN114783021 A CN 114783021A
Authority
CN
China
Prior art keywords
improved
detection
mask
wearing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210360948.2A
Other languages
English (en)
Inventor
林凡
彭梓鑫
黄俊贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN202210360948.2A priority Critical patent/CN114783021A/zh
Publication of CN114783021A publication Critical patent/CN114783021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种口罩佩戴智能检测方法、装置、设备及介质，能够通过对传统YOLOv4网络模型进行改进，在特征提取网络结构上添加bneck‑m模块结构，提高模型对有用信息的专注能力，增强通道间注意力，抑制干扰信息；改进网络结构，新增检测层来细化网格以对小尺度目标进行更好检测；改进损失函数，对分类损失应用类平滑标签来降低负样本的惩罚，提高模型的泛化能力；使用改进后的聚类算法对数据集进行聚类分析，重新生成有利于口罩检测的初始候选框；改进NMS非极大值抑制，有助于解决目标互相遮挡情况下的漏检问题。从而保证在小目标众多且密集的条件下，实现了较高的检测速度以及较高的检测精度。

Description

一种口罩佩戴智能检测方法、装置、设备及介质
技术领域
本发明涉及机器学习领域，尤其涉及一种口罩佩戴智能检测方法、装置、设备及介质。
背景技术
民众在公共场景出行时需要佩戴口罩以防感染，因此，在车站、商城等人流量大的公共场景中均有大量佩戴口罩的人员，但是，经常存在民众遗忘佩戴口罩或者放松警惕摘下口罩的现象。为了减少这类情况的发生，相关场景的工作人员都会对民众进行提醒，但单单依靠人员提醒不仅需要大量的人力，且无法实时发现和无法达到全面覆盖。因此，借助公共场景中各类监控设备进行口罩佩戴检测十分重要。
但是，本发明人在对现有技术的研究中发现，由于公共场景中小目标多且易被遮挡、检测场景复杂、尺度变化性大，导致检测精度不高，而现有的目标检测算法无法准确分辨目标，容易出现误检、漏检等现象。
发明内容
本发明提供一种口罩佩戴智能检测方法、装置、设备及介质，能够进一步提高口罩佩戴检测的精确度。
为实现上述目的，第一方面，本发明实施例提供了一种口罩佩戴智能检测方法，包括以下步骤：
获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集；
构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析；
将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型；
将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
作为第一方面其中一种可选的实施例，所述在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，以替换原特征提取模块，具体包括：
采用改进后的特征提取模块替换传统YOLOv4网络模型中的特征提取模块；其中，所述改进后的特征提取模块采用ShuffleNet。
作为第一方面其中一种可选的实施例，所述新增对小尺度目标进行检测的检测层，具体包括：
在传统YOLOv4网络结构的基础上，在4倍下采样处新增小目标检测层。
作为第一方面其中一种可选的实施例，所述基于交叉熵损失函数对传统 YOLOv4网络模型的损失函数进行修改，具体为：
Figure BDA0003585243500000021
其中，
Figure BDA0003585243500000022
表示当前样本以狄拉克δ函数分布的独热真实标签，pi(c)表示观测样本，i表示类别c的预测概率，
Figure BDA0003585243500000023
表示第i个网格、第j个锚框中落入目标中心点时值为1，否则为0。
作为第一方面其中一种可选的实施例，所述采用类平滑标签对原标签进行软化的表达式为：
Figure BDA0003585243500000031
其中，ε为平滑因子，Nclass表示类别数量。
作为第一方面其中一种可选的实施例，所述基于改进的聚类算法进行聚类分析，包括：
使用改进后的k-means聚类算法对数据集进行聚类分析，生成利于口罩检测的初始候选框。
作为第一方面其中一种可选的实施例，所述改进后的YOLOv4网络模型还包括：
采用DIoU作为NMS的评判标准进行非极大值抑制。
第二方面，本发明实施例提供了一种口罩佩戴智能检测装置，包括：
数据获取模块，用于获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集；
模型构建模块，用于构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于 bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析；
模型训练模块，用于将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型；
佩戴检测模块，用于将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
第三方面，本发明实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一实施例所述的口罩佩戴智能检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一实施例所述的口罩佩戴智能检测方法。
与现有技术相比，本发明实施例提供的一种口罩佩戴智能检测方法、装置、设备及介质，具有以下有益效果：
通过对传统YOLOv4网络模型进行改进，在特征提取网络结构上添加 bneck-m模块结构，提高模型对有用信息的专注能力，增强通道间注意力，抑制干扰信息；改进网络结构，新增检测层来细化网格以对小尺度目标进行更好检测；改进损失函数，对分类损失应用类平滑标签来降低负样本的惩罚，提高模型的泛化能力；使用改进后的聚类算法对数据集进行聚类分析，重新生成有利于口罩检测的初始候选框；改进NMS非极大值抑制，有助于解决目标互相遮挡情况下的漏检问题。从而保证在小目标众多且密集的条件下，实现了较高的检测速度以及较高的检测精度，同时能够通过检测结果对人员进行提醒，进一步避免疫情的传播。
附图说明
图1是本发明实施例提供的一种口罩佩戴智能检测方法的流程示意图；
图2是本发明实施例提供的一种口罩佩戴智能检测装置的结构示意图；
图3是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明实施例提供了一种口罩佩戴智能检测方法，参见图1，是本发明实施例提供的一种口罩佩戴智能检测方法的流程示意图，所述方法包括步骤S11至步骤S14：
S11、获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集。
S12、构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析。
S13、将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型。
S14、将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
可以理解的是，YOLOv4网络结构主要由CSPDarknet53特征提取模块，SPP(Spatial Pyramid Pooling，空间金字塔池化)和PANet(Path Aggregation Network，路径聚合网络)特征融合模块以及进行回归目标信息的YOLO检测层模块组成，考虑将算法部署于监控系统，本发明使用简化版YOLOv4网络结构—S-YOLOv4。具体的，S-YOLOv4网络模型结构是对YOLOv4进行局部跨阶段(Cross Stage Partial，CSP)化后，再采用复合缩放的方法，对其进行压缩所得。
进一步的，局部跨阶段网络结构将卷积网络结构拆分成两部分，一部分在卷积块后进行残差模块或者卷积堆叠，一部分则进行少量卷积处理，然后通过张量拼接等方式将两部分结合。局部跨阶段网络能够在轻量化网络模型的同时保持模型的精度，增强卷积神经网络的学习能力。
示例性的，S-YOLOv4网络模型的算法原理主要为：
对输入图像进行缩放、翻转、色域变换等数据增强步骤，随机抽取其中四张数据增强后的图片按照上下左右四个方位拼接在一起，固定拼接图像尺寸并将图像输入网络模型主干网络中进行特征提取，提取后的特征图部分进入路径聚合网络进行上采样融合和8倍、16倍和32倍下采样，部分进入空间金字塔网络中使用1×1，5×5，9×9，13×13的卷积层进行空间池化后张量拼接，将经过空间金字塔网络和路径聚合网络充分融合后的特征图在YOLO检测层中进行预测，特征图的输出维度为S×S×3×(4+1+classes)，YOLO检测层每层设置3个锚框，每个框有4维预测框数值tx,ty,tw,th，表示目标中心点坐标x,y和宽高 w,h对偏移量进行相应处理后的数据，1维预测框置信度，classes维检测目标类别数，S×S表示输入图像划分的网格尺寸。在YOLO层中通过预测值与真实值比对进行损失计算，然后通过反向传播更新梯度进行学习，最后通过非极大值抑制法进行后处理，剔除不合适的锚框从而选出最合适的预测框。
与现有技术相比，本发明实施例提供的一种口罩佩戴智能检测方法，能够通过对传统YOLOv4网络模型进行改进，在特征提取网络结构上添加bneck-m模块结构，提高模型对有用信息的专注能力，增强通道间注意力，抑制干扰信息；改进网络结构，新增检测层来细化网格以对小尺度目标进行更好检测；改进损失函数，对分类损失应用类平滑标签来降低负样本的惩罚，提高模型的泛化能力；使用改进后的聚类算法对数据集进行聚类分析，重新生成有利于口罩检测的初始候选框；改进NMS非极大值抑制，有助于解决目标互相遮挡情况下的漏检问题。从而保证在小目标众多且密集的条件下，实现了较高的检测速度以及较高的检测精度，同时能够通过检测结果对人员进行提醒，进一步避免疫情的传播。
作为第一方面其中一种可选的实施例，在所述步骤S12中，所述在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，以替换原特征提取模块，具体包括：
采用改进后的特征提取模块替换传统YOLOv4网络模型中的特征提取模块；其中，所述改进后的特征提取模块采用ShuffleNet。
具体的，S-YOLOv4网络结构是由YOLOv4网络结构改进的，区别是 S-YOLOv4在主干网络(即CSPDarknet53特征提取模块)采用ShuffleNet瓶颈块，调整通道数，并分组卷积，使网络稀疏化，进而减少计算量，其他模块与YOLOv4 网络结构一致。
进一步的，在所述步骤S12中，示例性的，所述基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块，具体可以理解为：
S-YOLOv4特征提取网络主体结构是局部跨阶段残差网络结构，它在每个阶段融合局部感受野内的空间和通道间特征信息来构建特征映射，并且默认每个通道是同等重要的，但是在特征提取网络结构中，不同通道的重要性应该是有差异的。在特征提取模块中加入bneck-m模块。
bneck是一种特殊的深度可分离卷积模块，能有效提取目标的特征信息，且拥有较少的参数量。bneck由残差连接结构、深度可分离卷积结构和SE注意力模块构成。其中，深度可分离卷积用于提取图像特征，SE通道注意力用于提高特征的表达能力，残差连接结构用于解决由于网络层数过深而产生过拟合的问题。
但bneck模块中所采用的H-Swish激活函数非线性处理能力有限，为提高整个模块的非线性能力，选用Mish函数作为模型的激活函数，进而提高整个模块的特征提取能力。其中，Mish函数计算如下：
fMish(x)＝tanh(ln(1+ex)) (1)
SE注意力机制利用卷积网络通道之间的相互作用和彼此依赖的特性来建立模型,并对网络通道特征进行重标定，使卷积网络自动学习全局特征信息并突出有用特征信息，抑制其他不太重要的特征信息，使模型判断更加准确。
SE注意力机制结构如下图所示，主要包括压缩(Squeeze)、激励(Excitation) 和重标定(Scale)三个过程：
压缩：对于一个输入维度为W×H×C的特征图，首先通过全局平均池化将其压缩为1×1×C：
Figure BDA0003585243500000081
其中，xc∈RW×H为输入的特征映射；
激励：挤压后的特征图进入两个全连接层通过先降维(输出为
Figure BDA0003585243500000082
)再升维(输出为1×1×C的处理方式增加非线性过程，再通过sigmoid层得到1×1×C 的特征图)：
ec＝σ(w2δ(w1sc)) (3)
其中，δ(x)＝max(0,x)表示ReLU函数；
Figure BDA0003585243500000083
表示sigmoid函数，
Figure BDA0003585243500000084
重标定：将输入的W×H×C的特征图与激励后的1×1×C的特征图进行矩阵全乘以得到一个新的W×H×C特征图。通过两个全连接层和相应的激活函数构建通道间的相关性，公式如下：
yc＝ec·xc (4)
其中，yc＝[y1,y2,…yC]表示输入特征映射与其对应通道权重参数相乘的结果。
基于上述分析，bneck-m模块结构在提高模块非线性能力的同时，自适应地从特征的通道维度学习有用特征信息，同时抑制干扰信息。利用bneck-m模块可以构建轻量级特征提取网络，并将其作为S-YOLOv4模型新的主干网络。
值得说明的是，采用bneck-m模块结构，使网络学习全局信息选择性的强调有用信息，增强通道间注意力，抑制其他不太重要的特征信息，使模型判断更加准确，并防止过拟合的产生，减少参数量，同时抑制干扰信息。
作为第一方面其中一种可选的实施例，在所述步骤S12中，所述新增对小尺度目标进行检测的检测层，具体包括：
在传统YOLOv4网络结构的基础上，在4倍下采样处新增小目标检测层。
具体的，S-YOLOv4在8倍，16倍和32倍下采样处分别设有YOLO检测层，检测三种不同尺度的目标。原算法依据COCO数据集在每个检测层设置三个不同尺度的锚框：检测小目标的(12,16)，(19,36)，(40,28)，检测中目标的 (36,75)，(76,55)，(72,146)，检测大目标的(142,110)，(192,243)， (459,401)。针对公共场景中目标尺度偏小，且小型目标数量偏多的特点，本文在原网络结构的基础上，在4倍下采样处新增一个小目标检测层。新增检测层后网络模型原预设锚框的尺寸与数据集的适配度不高，因此再根据改进后的聚类算法，对数据集重新聚类生成12个预设锚框尺度：新增检测小目标的(8,14)，(11,6)， (13,24)，检测小目标的(16,16)，(21,27)，(22,10)，检测中目标的(26,20)， (28,50)，(30,13)，检测大目标的(46,31)，(55,58)，(101,121)。
值得说明的是，采用新增检测层及改进NMS非极大值抑制，对小尺度目标进行更好检测，防止出现漏检现象，在密集并且容易产生遮挡的场景中精确检测出被遮挡物体，提高了定位精度，保证对公共场景复杂图像的准确分析，降低漏检率。
作为第一方面其中一种可选的实施例，在所述步骤S12中，所述基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改，具体为：
Figure BDA0003585243500000091
其中，
Figure BDA0003585243500000092
表示当前样本以狄拉克δ函数分布的独热(one-hot)真实标签， pi(c)表示观测样本，i表示类别c的预测概率，
Figure BDA0003585243500000093
表示第i个网格、第j个锚框中落入目标中心点时值为1，否则为0。
具体的，S-YOLO在处理目标检测分类问题时，将输入图像切分为S×S的网格，判断检测目标中心点是否在当前网格中，若在，则当前网格负责检测该目标，然后对预测框和真实框对比进行损失计算。对于多目标检测，分类损失使用交叉熵损失函数。
作为第一方面其中一种可选的实施例，在所述步骤S12中，所述采用类平滑标签对原标签进行软化的表达式为：
Figure BDA0003585243500000101
其中，ε为平滑因子，Nclass表示类别数量。
具体的，若只考虑正确标签位置的损失，而不考虑其他错误标签的损失，则会造成模型过于相信预测结果，导致过拟合的问题。通过引入类平滑标签对原标签进行软化，当n分类的独热标签平滑后，会降低对正确分类的奖励和错误分类的惩罚，减小过拟合的可能性，从而提高模型的泛化能力。
值得说明的是，基于标签平滑策略，引入类平滑标签对原标签进行软化，降低对正确分类的奖励和错误分类的惩罚，进一步减小过拟合的可能性，从而提高模型的泛化能力。
作为第一方面其中一种可选的实施例，在所述步骤S12中，所述基于改进的聚类算法进行聚类分析，包括：
使用改进后的k-means聚类算法对数据集进行聚类分析，生成利于口罩检测的初始候选框。
具体的，YOLOv4使用k-means算法对数据集聚类分析，给出了9个固定大小的初始候选框(Anchors)。因数据集中小目标数量较少，生成的Anchors尺寸偏大，会影响口罩检测的速度和精度，且设置不同的随机种子会得到完全不同的结果，因此本文使用改进后的k-means++算法对数据集进行聚类分析，重新生成有利于口罩检测的初始候选框。
k-means++算法首先随机选取一个初始聚类中心，然后选择数据中与第一个聚类中心距离最远的k-1个点作为剩余的初始聚类中心，如此迭代直至选出k个聚类中心。k-means++算法相比k-means算法更符合直觉，即聚类中心离得越远越好。因存在多种方法选取聚类中心个数k,为获得符合的初始候选框，本文采用平均重叠度(AvgIoU)作为聚类分析度量，选取AvgIoU值较大且平稳时的聚类中心个数平均重叠度的计算公式如下：
Figure BDA0003585243500000111
其中,B为边界盒(groud truth),值为groud truth的长和宽；C为簇的中心，值为k； n为总的边界盒数量。首先求出一个边界盒与k个先验框(anchors)的交并比(IoU) 值，然后取最大值，依次求出n个边界盒的IoU值后再求均值，即可得到平均重叠度AvgIoU。
值得说明的是，采用改进的k-means++聚类分析，重新生成有利于口罩检测的初始候选框，进一步提高了公共场景的小目标检测精度和速度
作为第一方面其中一种可选的实施例，所述改进后的YOLOv4网络模型还包括：
采用DIoU作为NMS的评判标准进行非极大值抑制。
具体的，预测阶段通常使用NMS移除多余的检测框，评判的标准是某个检测框与预测得分最高的检测框的交并比的IoU，当IoU大于设定的阈值时，预测的检测框将被移除。但是在目标密集的环境中，由于各个目标之间相互存在遮挡，不同目标的检测框非常近，重叠面积较大，因此会被NMS错误的移除，导致目标检测失败。公共场景是一种人员分布较为密集且容易产生遮挡的场景，本文利用DIoU作为NMS的评判标准。
DIoU在IoU的基础上考虑了两个边界框中心点的距离，公式如下：
Figure BDA0003585243500000112
其中，预测边界框中心点用b表示，真实边界框中心点用bgt表示，ρ2(·)表示欧氏距离，c代表预测边界框与真实边界框的最小包围框的最短对角线长度。
DIoU-NMS的定义如下:
Figure BDA0003585243500000121
式中，
Figure BDA0003585243500000122
表示预测分数最高的一个预测框，Bi表示判断是否需要被移除的预测框，si表示分类分数，ε表示NMS的阈值。DIoU-NMS考虑IoU的同时，判断两个边界框
Figure BDA0003585243500000123
和Bi中心点的距离，当距离较远时不会移除预测框，而是认为检测到了另外的目标，这有助于解决目标互相遮挡情况下的漏检问题。
值得说明的是，采用新增检测层及改进NMS非极大值抑制，在密集并且容易产生遮挡的场景中精确检测出被遮挡物体，提高了定位精度，保证对公共场景复杂图像的准确分析，降低漏检率。
第二方面，本发明实施例提供了一种口罩佩戴智能检测装置，参见图2，是本发明实施例提供的一种口罩佩戴智能检测装置的结构示意图，包括：
数据获取模块21，用于获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集；
模型构建模块22，用于构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析；
模型训练模块23，用于将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型；
佩戴检测模块24，用于将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
与现有技术相比，本发明实施例第二方面提供的一种口罩佩戴智能检测装置，通过对传统YOLOv4网络模型进行改进，在特征提取网络结构上添加bneck-m模块结构，提高模型对有用信息的专注能力，增强通道间注意力，抑制干扰信息；改进网络结构，新增检测层来细化网格以对小尺度目标进行更好检测；改进损失函数，对分类损失应用类平滑标签来降低负样本的惩罚，提高模型的泛化能力；使用改进后的聚类算法对数据集进行聚类分析，重新生成有利于口罩检测的初始候选框；改进NMS非极大值抑制，有助于解决目标互相遮挡情况下的漏检问题。从而保证在小目标众多且密集的条件下，实现了较高的检测速度以及较高的检测精度，同时能够通过检测结果对人员进行提醒，进一步避免疫情的传播。
作为第二方面其中一种可选的实施例，所述在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，以替换原特征提取模块，具体包括：
采用改进后的特征提取模块替换传统YOLOv4网络模型中的特征提取模块；其中，所述改进后的特征提取模块采用ShuffleNet。
作为第二方面其中一种可选的实施例，所述新增对小尺度目标进行检测的检测层，具体包括：
在传统YOLOv4网络结构的基础上，在4倍下采样处新增小目标检测层。
作为第二方面其中一种可选的实施例，所述基于交叉熵损失函数对传统 YOLOv4网络模型的损失函数进行修改，具体为：
Figure BDA0003585243500000131
其中，
Figure BDA0003585243500000132
表示当前样本以狄拉克δ函数分布的独热真实标签，pi(c)表示观测样本，i表示类别c的预测概率，
Figure BDA0003585243500000133
表示第i个网格、第j个锚框中落入目标中心点时值为1，否则为0。
作为第二方面其中一种可选的实施例，所述采用类平滑标签对原标签进行软化的表达式为：
Figure BDA0003585243500000141
其中，ε为平滑因子，Nclass表示类别数量。
作为第二方面其中一种可选的实施例，所述基于改进的聚类算法进行聚类分析，包括：
使用改进后的k-means聚类算法对数据集进行聚类分析，生成利于口罩检测的初始候选框。
作为第二方面其中一种可选的实施例，所述改进后的YOLOv4网络模型还包括：
采用DIoU作为NMS的评判标准进行非极大值抑制。
另外，需要说明的是，本发明实施例第二方面提供的一种口罩佩戴智能检测装置的各实施例的具体实现方案和有益效果，与本发明实施例第一方面提供的一种口罩佩戴智能检测方法的各实施例的具体实现方案和有益效果对应相同，在此不作赘述。
第三方面，本发明实施例提供了一种终端设备，参见图3，是本发明实施例提供的一种终端设备的结构示意图。该实施例的终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序。所述处理器30执行所述计算机程序时实现上述第一方面任一实施例所述的口罩佩戴智能检测方法。或者，所述处理器30执行所述计算机程序时实现上述各装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器31中，并由所述处理器30执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备3中的执行过程。
所述终端设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备3可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备3还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述终端设备3的控制中心，利用各种接口和线路连接整个终端设备3的各个部分。
所述存储器31可用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器31内的计算机程序和/或模块，以及调用存储在存储器31内的数据，实现所述终端设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD) 卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备3集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的口罩佩戴智能检测方法。
本领域技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元组合成一个模块或单元，以及此外可以把它们分成多个子模块或子单元。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种口罩佩戴智能检测方法，其特征在于，包括：
获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集；
构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析；
将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型；
将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
2.根据权利要求1所述的口罩佩戴智能检测方法，其特征在于，所述在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，以替换原特征提取模块，具体包括：
采用改进后的特征提取模块替换传统YOLOv4网络模型中的特征提取模块；其中，所述改进后的特征提取模块采用ShuffleNet。
3.根据权利要求1所述的口罩佩戴智能检测方法，其特征在于，所述新增对小尺度目标进行检测的检测层，具体包括：
在传统YOLOv4网络结构的基础上，在4倍下采样处新增小目标检测层。
4.根据权利要求1所述的口罩佩戴智能检测方法，其特征在于，所述基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改，具体为：
Figure FDA0003585243490000021
其中，
Figure FDA0003585243490000022
表示当前样本以狄拉克δ函数分布的独热真实标签，pi(c)表示观测样本，i表示类别c的预测概率，
Figure FDA0003585243490000023
表示第i个网格、第j个锚框中落入目标中心点时值为1，否则为0。
5.根据权利要求4所述的口罩佩戴智能检测方法，其特征在于，所述采用类平滑标签对原标签进行软化的表达式为：
Figure FDA0003585243490000024
其中，ε为平滑因子，Nclass表示类别数量。
6.根据权利要求1所述的口罩佩戴智能检测方法，其特征在于，所述基于改进的聚类算法进行聚类分析，包括：
使用改进后的k-means聚类算法对数据集进行聚类分析，生成利于口罩检测的初始候选框。
7.根据权利要求1所述的口罩佩戴智能检测方法，其特征在于，所述改进后的YOLOv4网络模型还包括：
采用DIoU作为NMS的评判标准进行非极大值抑制。
8.一种口罩佩戴智能检测装置，其特征在于，包括：
数据获取模块，用于获取预设场景下人脸图像的原始数据，并将所述原始数据划分为训练集、验证集、测试集；
模型构建模块，用于构建改进后的YOLOv4网络模型；包括：在所述改进后的YOLOv4网络模型中添加改进后的特征提取模块，替换原特征提取模块；基于bneck-m模块结构，选用Mish函数作为模型的激活函数，结合SE注意力机制在所述改进后的特征提取模块中添加深度可分离卷积模块；新增对小尺度目标进行检测的检测层；基于交叉熵损失函数对传统YOLOv4网络模型的损失函数进行修改；采用类平滑标签对原标签进行软化；基于改进的聚类算法进行聚类分析；
模型训练模块，用于将所述训练集输入所述改进后的YOLOv4网络模型中进行训练，训练完成后将所述测试集和所述验证集作为输入，对训练结果进行验证，进而得到改进后的目标检测模型；
佩戴检测模块，用于将待检测的人脸图像输入所述改进后的目标检测模型中进行口罩佩戴检测，得到口罩佩戴检测结果。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的口罩佩戴智能检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的口罩佩戴智能检测方法。
CN202210360948.2A 2022-04-07 2022-04-07 一种口罩佩戴智能检测方法、装置、设备及介质 Pending CN114783021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210360948.2A CN114783021A (zh) 2022-04-07 2022-04-07 一种口罩佩戴智能检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210360948.2A CN114783021A (zh) 2022-04-07 2022-04-07 一种口罩佩戴智能检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114783021A true CN114783021A (zh) 2022-07-22

Family

ID=82426964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210360948.2A Pending CN114783021A (zh) 2022-04-07 2022-04-07 一种口罩佩戴智能检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114783021A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116122A (zh) * 2022-08-30 2022-09-27 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和系统
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117496274A (zh) * 2023-12-29 2024-02-02 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116122A (zh) * 2022-08-30 2022-09-27 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和系统
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117496274A (zh) * 2023-12-29 2024-02-02 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质
CN117496274B (zh) * 2023-12-29 2024-06-11 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质

Similar Documents

Publication Publication Date Title
CN110572362B (zh) 针对多类不均衡异常流量的网络攻击检测方法及装置
CN111523470B (zh) 一种行人重识别方法、装置、设备及介质
CN111008640B (zh) 图像识别模型训练及图像识别方法、装置、终端及介质
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN110826379B (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN106960195A (zh) 一种基于深度学习的人群计数方法及装置
CN111626184B (zh) 一种人群密度估计方法及系统
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN110378348A (zh) 视频实例分割方法、设备及计算机可读存储介质
CN109472193A (zh) 人脸检测方法及装置
CN111860398A (zh) 遥感图像目标检测方法、系统及终端设备
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN110879982A (zh) 一种人群计数系统及方法
CN110349167A (zh) 一种图像实例分割方法及装置
CN110069959A (zh) 一种人脸检测方法、装置及用户设备
CN109671055B (zh) 肺结节检测方法及装置
CN110070115A (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN110210278A (zh) 一种视频目标检测方法、装置及存储介质
CN108921162A (zh) 基于深度学习的车牌识别方法及相关产品
CN111178196B (zh) 一种细胞分类的方法、装置及设备
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN113641906A (zh) 基于资金交易关系数据实现相似目标人员识别处理的系统、方法、装置、处理器及其介质
CN115223042A (zh) 基于YOLOv5网络模型的目标识别方法及装置
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination