CN111985621A - 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 - Google Patents
口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 Download PDFInfo
- Publication number
- CN111985621A CN111985621A CN202010859490.6A CN202010859490A CN111985621A CN 111985621 A CN111985621 A CN 111985621A CN 202010859490 A CN202010859490 A CN 202010859490A CN 111985621 A CN111985621 A CN 111985621A
- Authority
- CN
- China
- Prior art keywords
- neural network
- real
- mask
- network model
- wearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000011897 real-time detection Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000001537 neural effect Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 25
- 230000036760 body temperature Effects 0.000 claims description 23
- 240000007651 Rubus glaucus Species 0.000 claims description 22
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 22
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 102100025508 Cytoplasmic tRNA 2-thiolation protein 2 Human genes 0.000 claims description 8
- 101000856509 Homo sapiens Cytoplasmic tRNA 2-thiolation protein 2 Proteins 0.000 claims description 8
- 210000005036 nerve Anatomy 0.000 claims description 8
- 238000011056 performance test Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 239000000523 sample Substances 0.000 description 10
- 241000700605 Viruses Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000002458 infectious effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010257 thawing Methods 0.000 description 2
- 101150020277 NCS2 gene Proteins 0.000 description 1
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 1
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 101150112648 ctu2 gene Proteins 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种口罩佩戴实时检测的神经网络模型的搭建方法及实施系统，本发明的系统通过将口罩佩戴实时检测的神经网络模型内置于神经计算棒中，能够经过神经计算棒的加速推理，再结合控制板的实时处理能力，使本系统能够实时的对拍摄的检测区域人员是否带口罩进行分析处理图像识别，并输出结果至显示器中，本发明能够实现实时口罩检测，将图像数据处理的计算量完全迁移到网络边缘，也不再使用任何服务器，可以降低检测成本，识别精度高，减少劳动力，具有很大的实用价值。
Description
技术领域
本发明属于边缘计算的目标检测领域，具体涉及一种口罩佩戴实时检测的神经网络模型的 搭建方法及实施系统。
背景技术
传染病毒目前还是主要通过飞沫传播和接触传播，在某些特殊的条件下才可能发生气溶胶 传播，一般的工作生活条件下，正确佩戴口罩，足以满足日常防护需求。疫情期间，普通公众 出门正确带口罩显得尤为重要。为全力做好传染病毒的防控工作，有效切断病毒传播途径，坚 决遏制疫情蔓延势头，确保人民群众生命安全和身体健康，需要在各小区、学校、单位、食堂、 车站等公共场合增设大量的防疫人员和检测点，逐一检测进出人员是否佩戴口罩或正确佩戴口 罩及检测人体体温是否异常，带来巨大的人力、物力的投入。
发明内容
本发明的目的在于克服上述不足，提供一种口罩佩戴实时检测的神经网络模型的搭建方法 及实施系统，能够高效、准确的检测出人员脸上的口罩是否正确佩戴。
为了达到上述目的，一种口罩佩戴实时检测的神经网络模型的搭建方法，包括以下步骤：
步骤一，收集不同人员佩戴口罩的照片，并对照片进行数据增强，来扩大数据集；
步骤二，对数据集中的照片进行标注，标注后，并将数据集分为训练集、验证集和测试集；
步骤三，将标注后的数据集进行归一化处理，再通过tensorflow2框架下搭建yolov4算法 目标检测神经网络模型；
步骤四，通过导入验证集数据，神经网络模型的损失函数在迭代过程中如果趋于收敛，停 止训练，输出目标检测神经网络模型；
步骤五，根据测试集数据，对输出的目标检测神经网络模型进行性能测试，包括准确度以 及召回率；
步骤六，测试合格的模型确定为最终的口罩佩戴实时检测的神经网络模型。
步骤一中，通过Python爬虫方法在Internet上得到若干不同人员是否佩戴口罩的照片，对 所述的口罩数据集中的数据使用mosaic数据增强，每次读取四张图片，分别对四张图片进行 翻转、缩放和色域变化，并且按照左上、左下、右下和右上四个方向位置进行排列；最后进行 四张图片的组合到一张图片上，再对这一张图片也作为数据集的元素。
步骤二中，采用labelimg标注工具对数据集中的照片进行标注，标注分类为mask和no mask 数据集中训练集为60％，验证集为15％，测试集为25％。
步骤三中，基于yolov4算法的目标检测模型骨干网络采用CSPDarkNet53，由DBM(DarknetConv2D_BN_Mish)和Res残差结构组成，激活函数使用Mish以及使用SPP结构， SPP结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次DarknetConv2D_BN_Mish卷积后，分别利用四个不同尺度的最大池化进行处 理，分离出上下文特征。
步骤四中，通过CIOU公式对神经网络目标检测模型进行模型测试；
CIOU公式如下：
其中，ρ2(b，bgt)为预测框b和真实框bgt的中心点的欧式距离，c为能够同时包含预测框 和真实框的最小闭包区域的对角线距离，IOU为b和bgt交集和并集的比值；
其中，ωgt为真实框的角度，hgt为真实框的高度，ω为预测框的角度，h为预测框的高度；
计算CIOU公式的损失函数：
步骤五中，模型的性能测试为精确度precision和召回率recall；当预测框和真实框IOU>＝0.5 时，被认为是正样本，反之则为负样本。
Precesion＝TP/TP+FP；
Recall＝TP/TP+FN；
TP(True Positives)为被分为了正样本且分类正确；
TN(True Negatives)为被分为了负样本且分类正确；
FP(False Positives)为被分为了正样本但分类错误；
FN(False Negatives)为被分为了负样本但分类错误。
一种口罩佩戴实时检测的神经网络模型的实施系统，包括控制板、神经计算棒、摄像头、 体温探测器和显示器，神经计算棒内置有口罩佩戴实时检测的神经网络模型；
摄像头用于拍摄待测人员的面部信息，并发送至控制板中；
人体温探测器用于检测待测人员的体温，并发送至控制板中；
控制板用于接收人体温探测器的信息，并通过显示器显示；用于将待测人员的面部信息发 送至神经计算棒中；
神经计算棒用于将接收到的面部信息进行神经网络处理，判断待测人员是否佩戴口罩，并 反馈结果至控制板，控制板将反馈结果通过显示器显示。
控制板采用树莓派Pi 4Model B。
树莓派与后台操控中心的上位机绑定，上位机内部署的虚拟网络控制台观看器VNCviewer 能够访问和控制树莓派。
神经计算棒采用NCS2神经计算棒。
与现有技术相比，本发明搭建的口罩佩戴实时检测的神经网络模型通过对同人员佩戴口罩 的照片进行神经网络训练，并实时调整神经网络参数，使得神经网络参数在迭代过程中损失函 数趋于收敛，将待测人员面部信息输入口罩佩戴实时检测的神经网络模型中，本模型能够高效、 准确的检测出人员脸上的口罩是否正确佩戴，并输出结果。
本发明的系统通过将口罩佩戴实时检测的神经网络模型内置于神经计算棒中，能够经过神 经计算棒的加速推理，再结合控制板的实时处理能力，使本系统能够实时的对拍摄的检测区域 人员是否带口罩进行分析处理图像识别，并输出结果至显示器中，本发明能够实现实时口罩检 测，将图像数据处理的计算量完全迁移到网络边缘，也不再使用任何服务器，可以降低检测成 本，识别精度高，减少劳动力，具有很大的实用价值。
附图说明
图1为本发明的系统框图；
图2为本发明实施例中的口罩检测方法的流程图；
图3为本发明实施例中为检测模型的权重文件在神经计算棒上的部署流程图；
图4为本发明实施例中莓派上部署口罩检测模型框图；
图5为本发明的模型搭建流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参见图1，一种口罩佩戴实时检测的神经网络模型的实施系统，包括控制板、神经计算棒、 摄像头、体温探测器和显示器，神经计算棒内置有口罩佩戴实时检测的神经网络模型；
摄像头用于拍摄待测人员的面部信息，并发送至控制板中；
人体温探测器用于检测待测人员的体温，并发送至控制板中；
控制板用于接收人体温探测器的信息，并通过显示器显示；用于将待测人员的面部信息发 送至神经计算棒中；
神经计算棒用于将接收到的面部信息进行神经网络处理，判断待测人员是否佩戴口罩，并 反馈结果至控制板，控制板将反馈结果通过显示器显示。
控制板采用树莓派Pi 4Model B。树莓派与后台操控中心的上位机绑定，上位机内部署的 虚拟网络控制台观看器VNCviewer能够访问和控制树莓派。
神经计算棒采用NCS2神经计算棒。
一种口罩佩戴实时检测的神经网络模型的搭建方法，包括以下步骤：
步骤一，收集不同人员佩戴口罩的照片，并对照片进行数据增强，来扩大数据集；
步骤二，对数据集中的照片进行标注，标注后，并将数据集分为训练集、验证集和测试集； 采用labelimg标注工具对数据集中的照片进行标注，标注分类为mask和no mask，数据集中 训练集为60％，验证集为15％，测试集为25％；
步骤三，将标注后的训练集进行归一化处理，再通过tensorflow2框架下的yolov4算法搭 建目标检测神经网络模型；基于yolov4算法的目标检测模型骨干网络采用CSPDarkNet53，由 DBM和Res残差结构组成，激活函数使用Mish以及使用SPP结构，SPP结构参杂在对 CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次 DarknetConv2D_BN_Mish卷积后，分别利用四个不同尺度的最大池化进行处理，分离出上下 文特征。
步骤四，通过导入验证集数据，神经网络模型的损失函数在迭代过程中如果趋于收敛，停 止训练，输出目标检测神经网络模型；通过CIOU公式对神经网络目标检测模型进行损失函数 计算；
CIOU公式如下：
其中，ρ2(b，bgt)为预测框b和真实框bgt的中心点的欧式距离，c为能够同时包含预测框 和真实框的最小闭包区域的对角线距离，IOU为b和bgt交集和并集的比值；
其中，ωgt为真实框的角度，hgt为真实框的高度，ω为预测框的角度，h为预测框的高度；
计算CIOU公式的损失函数：
步骤五，根据测试集数据，对输出的目标检测神经网络模型进行性能测试
模型的性能测试为精确度precision和召回率recall；当预测框和真实框IOU>＝0.5时，被 认为是正样本，反之则为负样本。
Precesion＝TP/TP+FP；
Recall＝TP/TP+FN；
TP为被分为了正样本且分类正确；
TN为被分为了负样本且分类正确；
FP为被分为了正样本但分类错误；
FN为被分为了负样本但分类错误。
步骤六，测试合格的模型确定为最终的口罩佩戴实时检测的神经网络模型。
实施例：
本实施例的系统包括摄像头、树莓派4b开发板、NCS2神经计算棒、口罩检测预训练模 型、人体体温红外探测头、语音播报模块、显示屏；摄像头采集检测区域的人员面部图像，人 体体温红外探测头检测摄像头前人员的体温，树莓派分别获取摄像头采集的图像信息和图像中 人员的体温信息，将口罩检测的预训练模型导入到NCS2神经计算棒，经过神经棒的加速推理， 实时的对拍摄的检测区域人员是否带口罩进行分析处理图像识别，并在显示屏上进行相应的头 像画面显示及口罩佩戴是否正确和人体体温值文字提示。
摄像头用以采集检测区域的人员面部图像；
摄像头采用树莓派官方推出的摄像头Camera Module，能够拍摄500万像素图片和录制 1080p的视频，通过摄像头选择模块与树莓派CSI接口连接。
人体体温红外探测头用于检测摄像头前人员的体温；
树莓派选用Pi 4Model B(4B)，系统基于Linux，搭载1.5GHz64位四核处理器以及USB3.0， 双频802.11ac无线网络。
口罩检测的预训练模型是用目标检测算法tensorflow2-yolov4产生的weights文件转为神经 计算棒工具包openvino的IR模型，树莓派才能使用。
口罩检测的预训练模型主要导入到NCS2神经计算棒，经过神经棒的加速推理，应用到树 莓派中，然后调用opencv库在摄像头实现实时检测。
上位机用于显示树莓派摄像头上的显示界面，树莓派与上位机上部署虚拟网络控制台观看 器VNCviewer，并将树莓派的IP地址预先与所述后台操控中心绑定。
数据集通过Python爬虫方法在Internet上得到各式各样的人员佩戴口罩，再通过图像处理， 扩大数据集，使用labelimg标注工具，对口罩照片进行标注；搭建tensorflow2-yolov4目标检 测模型；训练目标检测网络，最后形成目标检测模型；然后形成的模型权重文件，转为NCS2 神经棒可使用的IR文件(包括bin文件和xml文件)；然后在NCS2神经棒的加速推理，导 入到树莓派上运行。
参见图2，训练中需要特征提取、分割、匹配和识别，首先需要对口罩数据集图片进行预 处理，灰度化以及降维；然后再场景检测分离背景和目标；
参见图3，由于训练出来的权重文件还不能在神经计算棒部署，由于训练所需的网络框架 是基于tensorflow框架，因此需要转换模型权重文件，首先转为pb文件，然后再将pb模型文 件转为ncs2神经计算棒可使用的IR文件，因为此文件可在神经计算棒上直接部署，进行加速 推理,最后经过神经计算棒上的模型优化器openvino对模型文件进行优化，可以实现树莓派上 部署。
参见图4，口罩检测系统搭建完，在运行过程中，通过opencv库来调用摄像头进行实时 的图像采集，然后进行帧初始化，对视频图像上的人员口罩进行检测，最后在口罩实现目标跟 踪。
参见图5，一种口罩佩戴实时检测的神经网络模型的搭建方法，包括以下步骤：
步骤一，通过Python爬虫方法在Internet上收集不同人员佩戴口罩的照片，通过数据增强， 扩大数据集。
步骤二，labelimg标注工具对数据集中的照片进行标注，标注分类为mask和nomask，将 数据集分为训练集、验证集和测试集，数据集总共为12450张图片，其中训练集为60％，验证 集为15％，测试集为25％；
对所述的口罩数据集中的数据使用mosaic数据增强，每次读取四张图片，分别对四张图 片进行翻转、缩放、色域变化等，并且按照四个方向(左上、左下、右下、右上)位置进行排 列；最后进行四张图片的组合到一张图片上，再对这一张图片也作为数据集的元素。
步骤三，根据标注后的照片通过tensorflow-yolov4网络框架搭建目标检测网络模型，目标 检测模型网络骨干结构采用CSPDarkNet53。
数据集首先进行尺度归一化处理，并归一化为608*608尺度，最后通过tensorflow框架下 的yolov4算法模型进行训练，得出三个输出层的shape分别为(19，19，21)，(38，38，21)， (76，76，21)，21为3*7,yolov4只有针对每个特征层存在3个先验框，本数据集为2，5个参数(x,y,w,h,confidence)分别为框中心点的x和y，以及框的宽高最后为置信度，所以最后 维度为3*7。
具体的yolov4的网络结构，主要使用CSPDarknet53(DBL+res1+res2+res8+res8+res4)作 为骨干网络，DBL(Darknetconv2d_BN_Mish)、res作为残差结构；使用了SPP结构，SPP 结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征 层进行三次DarknetConv2D_BN_Mish卷积后，分别利用四个不同尺度的最大池化进行处理， 最大池化的池化核大小分别为13x13、9x9、5x5、1x1和PANet结构，其可以它能够极大地增 加感受野，分离出最显著的上下文特征；YOLOV4当中，其主要是在三个有效特征层上使用 了PANet结构，主要用于特征的反复提取。
步骤四，通过导入验证集数据，神经网络模型的损失函数在迭代过程中如果趋于收敛，停 止训练，输出目标检测神经网络模型。
为了让模型加载在到实施系统中，本设计在yolov4算法中进行了改进，把激活函数改成 leakReLU，同时在结构上进行了剪枝，去掉了SPP结构，只用了一次有效特征层卷积后进行 上采样，然后与上一个shape的有效特征层进行堆叠并卷积。
损失函数(loss)的计算
在计算loss时，实际上是y_pre和y_true之间的对比：
y_pre为图像经过网络后的输出，内部含有三个特征层的内容；
y_true就是一个真实图像中，将它的真实框的位置以及框内物体的种类，转化成yolo3网 络输出后的格式的值。
实际上y_pre和y_true内容的shape都是(batch_size,19,19,3,21)，(batch_size,38,38,3,21)， (batch_size,76,76,3,21)。
最后的loss是三个loss的和，这loss分别为：
1)实际存在的框，CIOU LOSS。
ρ2(b,bgt)别代表了预测框和真实框的中心点的欧式距离。c代表的是能够同时包含预测框 和真实框的最小闭包区域的对角线距离。而α和v的公式如下
IOU为真实框与预测框的之间交集和并集的比值。
2)实际存在的框，预测结果中置信度的值与1对比；实际不存在的框，预测结果中置信 度的值与0对比，该部分要去除被忽略的不包含目标的框。
3)实际存在的框，种类预测结果与实际结果的对比。
训练中，解冻前最大学习率为0.001，解冻后最大学习率为0.0001，迭代次数为50，batch_size 为2，训练集为总数据集的60％，验证集为总数据集的15％，利用tensorflow2框架上搭建yolov4 算法模型，在RTX2080TI的GPU中进行训练，最后得到last.h5模型文件。
Claims (10)
1.一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，包括以下步骤：
步骤一，收集不同人员佩戴口罩的照片，并对照片进行数据增强，来扩大数据集；
步骤二，对数据集中的照片进行标注，标注后将数据集分为训练集、验证集和测试集；
步骤三，将标注后的训练集进行归一化处理，再通过tensorflow2框架下搭建yolov4算法目标检测神经网络模型；
步骤四，通过导入验证集数据，神经网络模型的损失函数在迭代过程中趋于收敛，停止训练，输出目标检测神经网络模型；
步骤五，根据测试集数据，对输出的目标检测神经网络模型进行性能测试；
步骤六，测试合格的tensorflow下yolov4的目标检测神经网络模型确定为最终的口罩佩戴实时检测的神经网络模型。
2.根据权利要求1所述的一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，步骤一中，通过Python爬虫方法在Internet上得到若干不同人员是否佩戴口罩的照片，对口罩数据集中的数据使用mosaic数据增强，每次读取四张图片，分别对四张图片进行翻转、缩放和色域变化，并且按照四个方向位置进行排列，最后进行四张图片的组合到一张图片上，这一张图片也作为数据集的元素。
3.根据权利要求1所述的一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，步骤二中，采用labelimg标注工具对数据集中的照片进行标注，标注分类为mask和nomask，数据集中训练集为60％，验证集为15％，测试集为25％。
4.根据权利要求1所述的一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，步骤三中，基于yolov4算法的目标检测模型骨干网络采用CSPDarkNet53，由DBM和Res残差结构组成，激活函数使用Mish以及使用SPP结构，SPP结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次DarknetConv2D_BN_Mish卷积后，分别利用四个不同尺度的最大池化进行处理，分离出上下文特征。
5.根据权利要求1所述的一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，步骤四中，通过CIOU公式对神经网络目标检测模型进行损失函数计算；
CIOU公式如下：
其中，ρ2(b，bgt)为预测框b和真实框bgt的中心点的欧式距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离，IOU为b和bgt交集和并集的比值；
其中，ωgt为真实框的角度，hgt为真实框的高度，ω为预测框的角度，h为预测框的高度；
计算CIOU公式的损失函数：
6.根据权利要求1所述的一种口罩佩戴实时检测的神经网络模型的搭建方法，其特征在于，步骤五中，模型的性能测试为精确度precision和召回率recall；当预测框和真实框IOU>＝0.5时，被认为是正样本，反之则为负样本；
Precesion＝TP/(TP+FP)；
Recall＝TP/(TP+FN)；
TP为被分为了正样本且分类正确；
TN为被分为了负样本且分类正确；
FP为被分为了正样本但分类错误；
FN为被分为了负样本但分类错误。
7.一种口罩佩戴实时检测的神经网络模型的实施系统，其特征在于，包括控制板、神经计算棒、摄像头、体温探测器和显示器，神经计算棒内置有口罩佩戴实时检测的神经网络模型；
摄像头用于拍摄待测人员的面部信息，并发送至控制板中；
人体温探测器用于检测待测人员的体温，并发送至控制板中；
控制板用于接收人体温探测器的信息，并通过显示器显示；用于将待测人员的面部信息发送至神经计算棒中；
神经计算棒用于将接收到的面部信息进行神经网络处理，判断待测人员是否佩戴口罩，并反馈结果至控制板，控制板将反馈结果通过显示器显示。
8.根据权利要求7所述的一种口罩佩戴实时检测的神经网络模型的实施系统，其特征在于，控制板采用树莓派Pi 4Model B。
9.根据权利要求8所述的一种口罩佩戴实时检测的神经网络模型的实施系统，其特征在于，树莓派与后台操控中心的上位机绑定，上位机内部署的虚拟网络控制台观看器VNCviewer能够访问和控制树莓派。
10.根据权利要求7所述的一种口罩佩戴实时检测的神经网络模型的实施系统，其特征在于，神经计算棒采用NCS2神经计算棒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010859490.6A CN111985621A (zh) | 2020-08-24 | 2020-08-24 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010859490.6A CN111985621A (zh) | 2020-08-24 | 2020-08-24 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111985621A true CN111985621A (zh) | 2020-11-24 |
Family
ID=73444240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010859490.6A Pending CN111985621A (zh) | 2020-08-24 | 2020-08-24 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985621A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395967A (zh) * | 2020-11-11 | 2021-02-23 | 华中科技大学 | 一种口罩佩戴监测方法、电子设备和可读存储介质 |
| CN112560816A (zh) * | 2021-02-20 | 2021-03-26 | 北京蒙帕信创科技有限公司 | 一种基于YOLOv4的设备指示灯识别方法及系统 |
| CN112818738A (zh) * | 2020-12-28 | 2021-05-18 | 贵州电网有限责任公司 | 基于神经计算棒的配网变压器实时识别设备及识别方法 |
| CN112950673A (zh) * | 2021-03-06 | 2021-06-11 | 山东万腾电子科技有限公司 | 一种对目标物的检测跟踪系统及其方法 |
| CN113033481A (zh) * | 2021-04-20 | 2021-06-25 | 湖北工业大学 | 结合长宽比优先的一阶全卷积目标检测（fcos）算法的手持棍棒的检测方法 |
| CN113221703A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于无服务边缘计算的佩戴口罩监测方法、装置及设备 |
| CN113221670A (zh) * | 2021-04-21 | 2021-08-06 | 成都理工大学 | 一种用于口罩佩戴识别的技术 |
| CN113486699A (zh) * | 2021-05-07 | 2021-10-08 | 成都理工大学 | 一种疲劳驾驶自动检测方法和装置 |
| CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
| TWI766560B (zh) * | 2021-01-27 | 2022-06-01 | 國立臺灣大學 | 結合語義分割與光達點雲之物件辨識與測距系統 |
| CN114821388A (zh) * | 2022-03-10 | 2022-07-29 | 慧之安信息技术股份有限公司 | 基于边缘计算的室内口罩检测方法和装置 |
| CN115719445A (zh) * | 2022-12-20 | 2023-02-28 | 齐鲁工业大学 | 一种基于深度学习和树莓派4b模块的海产品识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705395A (zh) * | 2019-09-18 | 2020-01-17 | 北京邮电大学 | 一种基于树莓派的检测系统 |
| CN111062429A (zh) * | 2019-12-12 | 2020-04-24 | 上海点泽智能科技有限公司 | 基于深度学习的厨师帽和口罩佩戴的检测方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111401202A (zh) * | 2020-03-11 | 2020-07-10 | 西南石油大学 | 一种基于深度学习的行人口罩佩戴实时检测方法 |
| CN111414887A (zh) * | 2020-03-30 | 2020-07-14 | 上海高重信息科技有限公司 | 基于yolov3算法的二次检测口罩人脸识别方法 |
| CN111488804A (zh) * | 2020-03-19 | 2020-08-04 | 山西大学 | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 |
| CN111507199A (zh) * | 2020-03-25 | 2020-08-07 | 杭州电子科技大学 | 一种佩戴口罩行为检测方法及装置 |
-
2020
- 2020-08-24 CN CN202010859490.6A patent/CN111985621A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705395A (zh) * | 2019-09-18 | 2020-01-17 | 北京邮电大学 | 一种基于树莓派的检测系统 |
| CN111062429A (zh) * | 2019-12-12 | 2020-04-24 | 上海点泽智能科技有限公司 | 基于深度学习的厨师帽和口罩佩戴的检测方法 |
| CN111401202A (zh) * | 2020-03-11 | 2020-07-10 | 西南石油大学 | 一种基于深度学习的行人口罩佩戴实时检测方法 |
| CN111488804A (zh) * | 2020-03-19 | 2020-08-04 | 山西大学 | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 |
| CN111507199A (zh) * | 2020-03-25 | 2020-08-07 | 杭州电子科技大学 | 一种佩戴口罩行为检测方法及装置 |
| CN111414887A (zh) * | 2020-03-30 | 2020-07-14 | 上海高重信息科技有限公司 | 基于yolov3算法的二次检测口罩人脸识别方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
Non-Patent Citations (3)
| Title |
|---|
| ZHAOHUI ZHENG 等: "Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression", ARXIV, pages 1 - 8 * |
| 徐子睿;刘猛;谈雅婷;: "基于YOLOv4的车辆检测与流量统计研究", 现代信息科技, no. 15 * |
| 管军霖等: "基于YOLOv4卷积神经网络的口罩佩戴检测方法", 现代信息科技, vol. 4, no. 11, pages 9 - 12 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395967A (zh) * | 2020-11-11 | 2021-02-23 | 华中科技大学 | 一种口罩佩戴监测方法、电子设备和可读存储介质 |
| CN112818738A (zh) * | 2020-12-28 | 2021-05-18 | 贵州电网有限责任公司 | 基于神经计算棒的配网变压器实时识别设备及识别方法 |
| TWI766560B (zh) * | 2021-01-27 | 2022-06-01 | 國立臺灣大學 | 結合語義分割與光達點雲之物件辨識與測距系統 |
| CN112560816A (zh) * | 2021-02-20 | 2021-03-26 | 北京蒙帕信创科技有限公司 | 一种基于YOLOv4的设备指示灯识别方法及系统 |
| CN112950673A (zh) * | 2021-03-06 | 2021-06-11 | 山东万腾电子科技有限公司 | 一种对目标物的检测跟踪系统及其方法 |
| CN113033481A (zh) * | 2021-04-20 | 2021-06-25 | 湖北工业大学 | 结合长宽比优先的一阶全卷积目标检测（fcos）算法的手持棍棒的检测方法 |
| CN113221670A (zh) * | 2021-04-21 | 2021-08-06 | 成都理工大学 | 一种用于口罩佩戴识别的技术 |
| CN113221703A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于无服务边缘计算的佩戴口罩监测方法、装置及设备 |
| WO2022227209A1 (zh) * | 2021-04-30 | 2022-11-03 | 平安科技（深圳）有限公司 | 基于无服务边缘计算的佩戴口罩监测方法、装置及设备 |
| CN113486699A (zh) * | 2021-05-07 | 2021-10-08 | 成都理工大学 | 一种疲劳驾驶自动检测方法和装置 |
| CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
| CN114821388A (zh) * | 2022-03-10 | 2022-07-29 | 慧之安信息技术股份有限公司 | 基于边缘计算的室内口罩检测方法和装置 |
| CN115719445A (zh) * | 2022-12-20 | 2023-02-28 | 齐鲁工业大学 | 一种基于深度学习和树莓派4b模块的海产品识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985621A (zh) | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| EP3092619B1 (en) | Information processing apparatus and information processing method | |
| US20210065381A1 (en) | Target tracking method, device, system and non-transitory computer readable medium | |
| US8750573B2 (en) | Hand gesture detection | |
| US8792722B2 (en) | Hand gesture detection | |
| US8351662B2 (en) | System and method for face verification using video sequence | |
| CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
| TWI439951B (zh) | 人臉影像性別辨識系統及其辨識方法及其電腦程式產品 | |
| WO2019080203A1 (zh) | 一种机器人的手势识别方法、系统及机器人 | |
| US8094971B2 (en) | Method and system for automatically determining the orientation of a digital image | |
| CN105760472A (zh) | 视频检索方法及系统 | |
| CN110827432B (zh) | 一种基于人脸识别的课堂考勤方法及系统 | |
| CN111539351B (zh) | 一种多任务级联的人脸选帧比对方法 | |
| CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN107133647A (zh) | 一种快速手写体识别方法 | |
| CN114170672A (zh) | 一种基于计算机视觉的课堂学生行为识别的方法 | |
| CN111680705A (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| Podbucki et al. | CCTV based system for detection of anti-virus masks | |
| CN112183287A (zh) | 一种移动机器人在复杂背景下的人数统计方法 | |
| CN116469164A (zh) | 基于深度学习的人体手势识别人机交互方法及系统 | |
| CN107679528A (zh) | 一种基于AdaBoost‑SVM集成学习算法的行人检测方法 | |
| CN107742112A (zh) | 一种基于图像的人脸防伪方法及装置 | |
| CN105760881A (zh) | 基于Haar分类器方法的人脸建模检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |