CN116958702A - 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 - Google Patents
基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 Download PDFInfo
- Publication number
- CN116958702A CN116958702A CN202310957994.5A CN202310957994A CN116958702A CN 116958702 A CN116958702 A CN 116958702A CN 202310957994 A CN202310957994 A CN 202310957994A CN 116958702 A CN116958702 A CN 116958702A
- Authority
- CN
- China
- Prior art keywords
- wearing
- image
- worn
- image data
- hotel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 230000036541 health Effects 0.000 claims abstract description 37
- 230000001681 protective effect Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 30
- 238000013139 quantization Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 27
- 102100030148 Integrator complex subunit 8 Human genes 0.000 claims description 22
- 101710092891 Integrator complex subunit 8 Proteins 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007667 floating Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统，实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端预设的识别模型；所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别，基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。本发明能够实现提高对于酒店卫勤人员穿戴检测的速度以及降低对硬件资源的占用。
Description
技术领域
本发明涉及防护用具穿戴检测方法，尤其涉及一种基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统。
背景技术
酒店由于是公共聚集场所，也是重点清洁以及消毒场所，因此酒店的后勤管理人员的日常穿戴检测尤为重要。对于酒店的后勤清洁人员要注意其是否规范穿戴清洁所需要的工作服饰，酒店的后勤管理人员的防护服正确穿戴需要边缘设备进行实时视频采集和分析。但是边缘目标检测技术在酒店的日常监控管理中也存在很多问题：一、一些比较高精度的模型算法参数量较多，在服务器端运行尚可，然而部署到算力较弱的边缘设备端，其运行不能实时检测。二、对于后期的功能维护不是很方便，用户在后期维护中需要对硬件设备一一进行管理，极大的增加了维护成本。
发明内容
本发明提供基于边缘人工智能的酒店卫勤人员穿戴检测方法、系统、设备和存储介质，以实现提高对于酒店卫勤人员穿戴分类检测的速度以及减少对于硬件资源的占用。
本发明提出了一种基于边缘人工智能的智慧酒店卫勤人员穿戴检测方法，包括以下步骤：实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端的预设识别模型；所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
优选的，在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练，训练的方法进一步包括：获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集，所述数据集包含若干张图像，其中分类主要包括：人、是否穿戴口罩、围裙、工作防护服、手套以及帽子；对所获取到的数据集中的图像进行标注，标注的信息包括卫勤人员的穿戴以及在图像中的位置信息，将标注好的图像信息生成文本文件，文本文件包含了每张图像的需要检测的信息；对图像进行旋转，裁剪，镜像对称以及利用马赛克的方式进行增强，调整图像分辨率；将所述数据集分为两部分，包括训练集和测试集，分在两个文件夹中，用于生成不同目录；通过所述训练集中的图像对所述识别模型进行训练，通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
优选的，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过主干特征提取算法Mobilenet-ECA对所述图像数据进行主干特征提取：对所述图像数据进行卷积、归一化及激活处理；通过多个特征提取模块进行特征提取，其中，特征提取模块进行特征提取时先进行1*1卷积和进行正则化处理并通过第一激活函数进行处理，所述第一激活函数的公式为：，其中x代表网络提取的特征信息，a为小于1的实数，公式计算结果作为下一层的输入数据； 再通过3×3的深度可分离卷积进行卷积以及正则化以后，利用第二激活函数进行处理，所述第二激活函数的公式为：/>，其中x代表网络提取的特征信息；将第二激活函数的输出进行平均池化和一维通道卷积，其中，卷积核尺寸大小/>，其中c表示通道数；将第二激活函数的输出与一维通道卷积的输出相乘，再和第二激活函数的输出进行相加，最后通过点卷积完成一个网络特征提取。
优选的，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过增强网络进行加强特征提取：构建两层特征金字塔，先通过平均池化以及一维卷积完成通道注意力机制的特征提取；将得到的特征图进行平均池化和最大池化，其池化均为一维池化，得到两个通道为1的特征图像，将两个通道为1的特征图像进行相加拼接，得到新的特征图像；将新的特征图像进行卷积运算，得到H×W×C的特征图像，其中，H为图像的高，W为图像的宽，C为图像的通道数，该特征图像完好的保存了通道特征以及空间特征。
优选的，所述方法还包括：在将所述识别模型部署至边缘设备端时，采用边训练边量化的方法，先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。
优选的，将INT8数据进行反量化得到FP32数据的计算公式为：r=S（q-Z），其中r为FP32浮点数，q为INT8量化后的值，S分别为缩放因子，Z为零点，在量化过程中，采用非定点量化方式对S和Z进行确定：
，/>；
其中，rmax为浮点数最大值，rmin为浮点数最小值，qmax为INT8最大值，qmin为INT8最小值；将FP32数据进行量化得到INT8数据的计算公式为：。
优选的，基于所述识别模型输出的检测结果作出预设预警进一步包括：在所述识别模型输出的检测结果包括未穿戴口罩、未穿戴围裙、未穿戴工作防护服、未穿戴手套或未穿戴帽子的情况下，发出第一预警信号；在预设时间内，所述识别模型输出的检测结果仍未发生变化，发出第二预警信号，并将检测结果上传至中心服务器。
基于相同的构思，本发明还提供一种基于边缘人工智能的酒店卫勤人员穿戴检测系统，包括：图像获取模块，用于实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端的预设识别模型；图像识别模块，用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；结果输出模块，用于基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
基于相同的构思，本发明还提供一种计算机设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现任意一项所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法。
基于相同的构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现任意一项所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法。
采用本发明的技术方案，能够取得如下技术效果：
1、在发明技术方案中，识别模型先利用特征提取算法进行主干特征提取，主干特征提取网络主要由多个特征提取网络组成，特征提取模块B模块，B模块主要由多个卷积组成，先是使用1×1卷积，然后通过正则化函数，再通过第一激活函数，再通过3×3的深度可分离卷积进行卷积以及正则化以后再利用第二激活函数计算，平均池化后，最后图像的特征大小从[H,W,C]变成[1,1,C]大小，即通道数不变，图像尺寸变化。然后进行通道卷积，即利用一维卷积核进行通道卷积，最后和输入端相乘，再和第二激活函数的输出进行相加，最后通过点卷积，就可以完成一个网络特征提取，在此模块进行中，主要通过引入了通道注意力机制，这样大大提升了网络的精度，大大减少了网络模型的参数量。最后将各个模块组成主干特征提取网络，完成图像的特征提取。
2、在本发明的技术方案中，识别模型的加强特征提取网络通过构建两层特征金字塔，通过特征金字塔的构建，实现加强特征提取设计，在加强特征提取端，为了提高对于小目标检测的精度，即对于小物体检测的精度，网络在设计的时候，加入了新的注意力网络，即通过增加新的注意力网络来提高感受视野，在特征增强网络设计中，发明所使用了一个特征增强网络设计，该网络设计采用了通道以及空间注意力机制，在设计中，先通过平均池化以及一维卷积，完成通道注意力机制的特征提取，然后再将得到的特征图进行平均池化以及最大池化，其池化为一维池化，得到两个通道为1的特征图像，然后进行相加拼接，得到新的特征图像，最后将新的特征图像进行卷积运算，得到H×W×C的特征图像，该特征图像完好的保存了通道特征以及空间特征。网络所设计一个新的注意力网络，其网络包含了空间特征以及通道特征，大大加强了网络对于酒店卫生的小目标特征提取，能够使得网络的精度大大提升，完成了较好的设计模块。检测酒店后勤人员是否正确穿戴的检测，相对于整张图片而言，其目标相对较小。本实施例采用上述增加新的注意力网络来提高感受视野，加强了网络对于酒店卫生的小目标特征提取。
3、在本发明的技术方案中，为了在移动端和边缘设备上更快地部署识别模型，采用边训练边量化的方法，对模型进行降重以减少参数数量和计算量。通过量化感知训练，来减少计算量的同时，精度没有减少太多。模型量化精度损失的主要原因为量化到反量化中，参数取整所引起的误差。因此，需要对这些误差进行调整。本发明提出将其在量化过程中产生的误差，放在神经网络中进行二次训练。即先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。可以有效地减小模型大小并提高运行效率，从而实现在低功耗设备上的快速部署。
附图说明
图1为本发明的识别模型的结构示意图；
图2为本发明主干特征提取网络中的B模块结构示意图；
图3为本发明注意力网络示意图；
图4为本发明量化训练流程图；
图5为本发明基于边缘人工智能的酒店卫勤人员穿戴检测方法流程示意图。
具体实施方式
以下结合附图，具体说明本发明。 在本公开的实施例中，术语“模型”能够处理输入并且提供相应输出。以神经网络模型为例，其通常包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的模型(也称为“深度学习模型”)通常包括许多隐藏层，从而延长网络的深度。神经网络模型的各个层按顺序相连以使得前一层的输出被用作后一层的输入，其中输入层接收神经网络模型的输入，而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。
本发明的基于边缘人工智能的酒店卫勤人员穿戴检测系统包括计算设备。计算设备可以是具有计算能力的任何设备，例如个人计算机、平板计算机、云服务器、大型机和分布式计算系统等。计算设备获取输入模块。例如，输入模块可以是图像、视频、音频、文本、和/或多媒体文件等。计算设备可以将输入模块应用于识别模型，以利用识别模型，生成与输入模块相对应的处理结果。在一些实施例中，识别模型可以是但不限于图像分类模型、目标检测模型、目标跟踪模型，或者其他与图像处理相关的神经网络模型。可以利用任何合适的网络结构来实现识别模型，包括但不限于各种深度学习/神经网络模型，CNN（卷积神经网络）、R-CNN、RetainNet、YOLO等。本发明公开的范围在此方面不受限制。
申请人在对边缘人工智能的酒店卫勤人员穿戴做神经元算法时，发现设定目标检测可以以配备的防护用品为目标，如口罩、围裙、防护工作服、手套、帽子等，将该些防护用品配带不符合要求的图片信息，特别是将不符合要求的地方做候选区域，即包括Fast R-CNN、Faster R-CNN 和 FPN基于候选区域的目标检测器，YOLO、SSD和RetinaNet等在内的单次检测器，利用该些算法来完成。
第一实施例
本实施例提供一种基于边缘人工智能的酒店卫勤人员穿戴检测系统，包括：
图像获取模块，用于实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端预设的识别模型；
图像识别模块，用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；
结果输出模块，用于基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
本实施例的基于边缘人工智能的酒店卫勤人员穿戴检测系统通过大量的卫勤人员穿戴照片，对预设识别模型进行训练，在训练完成之后即可实现自动化检测分类。本实施例的检测系统中的识别模型与传统的目标检测模型的不同在于，本实施例模型的网络更加轻量化，在不大量损失精度的情况下，能够极大提高运行速度，对于硬件所需要的资源消耗较少。对于边缘端，能够契合边缘计算平台的硬件性能，部署更加方便。
一般边缘平台算力有限，在实际部署中，不能够较好的满足目标检测算法所需要的硬件资源。针对此问题，本实施例的识别模型在运算过程中优选的在将所述识别模型部署至边缘设备端时，采用边训练边量化的方法，先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。在移动端和边缘设备上更快地部署识别模型，采用边训练边量化的方法，对模型进行降重以减少参数数量和计算量。通过量化感知训练，来减少计算量的同时，精度没有减少太多。模型量化精度损失的主要原因为量化到反量化中，参数取整所引起的误差。因此，需要对这些误差进行调整。本发明提出将其在量化过程中产生的误差，放在神经网络中进行二次训练。即先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。可以有效地减小模型大小并提高运行效率，从而实现在低功耗设备上的快速部署。
第二实施例
以下具体介绍。基于边缘人工智能的酒店卫勤人员穿戴检测方法的流程，如图5所示，其包括以下步骤：
S100: 实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端预设的识别模型；
S200：所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；
S300：基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
在本实施例的检测方法中，基于边缘人工智能的酒店卫勤人员穿戴检测系统通过大量的卫勤人员穿戴照片，对预设识别模型进行训练，在训练完成之后即可实现自动化检测分类。本实施例的检测系统中的识别模型与传统的目标检测模型的不同在于，本实施例模型的网络更加轻量化，在不大量损失精度的情况下，能够极大提高运行速度，对于硬件所需要的资源消耗较少。对于边缘端，能够契合边缘平台的硬件性能，部署更加方便。
优选的，如图1所示，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过Mobilenet-ECA算法对所述图像数据进行主干特征提取：对所述图像数据进行卷积、归一化及激活处理；通过多个特征提取模块进行特征提取，其中，特征提取模块进行特征提取时先进行1*1卷积和进行正则化处理并通过第一激活函数进行处理，所述第一激活函数的公式为：，其中x代表网络提取的特征信息，a为小于1的实数，公式计算结果作为下一层的输入数据； 再通过3×3的深度可分离卷积进行卷积以及正则化以后，利用第二激活函数进行处理，所述第二激活函数的公式为：/>，其中x代表网络提取的特征信息；将第二激活函数的输出进行平均池化和一维通道卷积，其中，卷积核尺寸大小/>，其中c表示通道数；将第二激活函数的输出与一维通道卷积的输出相乘，再和第二激活函数的输出进行相加，最后通过点卷积完成一个网络特征提取。
识别模型先利用特征提取算法进行特征提取，主干特征提取网络主要由多个特征提取网络组成，特征提取模块B模块，如图2所示，B模块主要由多个卷积组成，先是使用1×1卷积，然后通过正则化函数，再通过第一激活函数，再通过3×3的深度可分离卷积进行卷积以及正则化以后再利用第二激活函数计算，平均池化后，最后图像的特征大小从[H,W,C]变成[1,1,C]大小，即通道数不变，图像尺寸变化。然后进行通道卷积，即利用一维卷积核进行通道卷积，最后和输入端相乘，再和第二激活函数的输出进行相加，最后通过点卷积，就可以完成一个网络特征提取，在此模块进行中，主要通过引入了通道注意力机制，这样大大提升了网络的精度，大大减少了网络模型的参数量。最后将各个模块组成主干特征提取网络，完成图像的特征提取。
优选的，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过增强网络进行加强特征提取：构建两层特征金字塔，先通过平均池化以及一维卷积完成通道注意力机制的特征提取；将得到的特征图进行平均池化和最大池化，其池化均为一维池化，得到两个通道为1的特征图像，将两个通道为1的特征图像进行相加拼接，得到新的特征图像；将新的特征图像进行卷积运算，得到H×W×C的特征图像，其中，H为图像的高，W为图像的宽，C为图像的通道数，该特征图像完好的保存了通道特征以及空间特征。
识别模型的加强特征提取网络通过构建两层特征金字塔，通过特征金字塔的构建，实现加强特征提取设计，在加强特征提取端，为了提高对于小目标检测的精度，即对于小物体检测的精度，网络在设计的时候，加入了新的注意力网络，即通过增加新的注意力网络来提高感受视野，如图3所示，在特征增强网络设计中，发明所使用了一个特征增强网络设计，该网络设计采用了通道以及空间注意力机制，在设计中，先通过平均池化以及一维卷积，完成通道注意力机制的特征提取，然后再将得到的特征图进行平均池化以及最大池化，其池化为一维池化，得到两个通道为1的特征图像，然后进行相加拼接，得到新的特征图像，最后将新的特征图像进行卷积运算，得到H×W×C的特征图像，该特征图像完好的保存了通道特征以及空间特征。网络所设计一个新的注意力网络，其网络包含了空间特征以及通道特征，大大加强了网络对于酒店卫生的小目标特征提取，能够使得网络的精度大大提升，完成了较好的设计模块。检测酒店后勤人员是否正确穿戴的检测，相对于整张图片而言，其目标相对较小。本实施例采用上述增加新的注意力网络来提高感受视野，加强了网络对于酒店卫生的小目标特征提取。
优选的，如图4所示，所述方法还包括：在将所述识别模型部署至边缘设备端时，采用边训练边量化的方法，先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。
为了在移动端和边缘设备上更快地部署识别模型，采用边训练边量化的方法，对模型进行降重以减少参数数量和计算量。通过量化感知训练，来减少计算量的同时，精度没有减少太多。
优选的，将INT8数据进行反量化得到FP32数据的计算公式为：r=S（q-Z），其中r为FP32浮点数，q为INT8量化后的值，S分别为缩放因子，Z为零点，在量化过程中，采用非定点量化方式对S和Z进行确定：，/>，其中，rmax为浮点数最大值，rmin为浮点数最小值，qmax为INT8最大值，qmin为INT8最小值；将FP32数据进行量化得到INT8数据的计算公式为：/>。
模型量化精度损失的主要原因为量化到反量化中，参数取整所引起的误差。因此，需要对这些误差进行调整。本发明提出将其在量化过程中产生的误差，放在神经网络中进行二次训练。即先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。可以有效地减小模型大小并提高运行效率，从而实现在低功耗设备上的快速部署。
优选的，在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练，训练的方法进一步包括：获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集，所述数据集包含15311张图像，其中分类主要包括：人、是否穿戴口罩、围裙、工作防护服、手套以及帽子；对所获取到的数据集中的图像进行标注，标注的信息包括卫勤人员的穿戴以及在图像中的位置信息，将标注好的图像信息生成文本文件，文本文件包含了每张图像的需要检测的信息；对图像进行旋转，裁剪，镜像对称以及利用马赛克的方式进行增强，调整图像分辨率，将图像的分别率调整到416×416；将所述数据集分为两部分，包括训练集和测试集，其比例为9:1，分在两个文件夹中，用于生成不同目录；通过所述训练集中的图像对所述识别模型进行训练，通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
在进行训练之前，需要进行数据集的构建。将已经获取的图片数据进行分类清洗，质量较差的图片数据进行一定的筛选，将质量较好的图像数据进行标注，标注的信息主要包括卫勤人员的穿戴以及在图像中的位置信息，将标注好的图像信息生成文本文件，便于后期的程序能够自由处理图像中的信息。将获取到的图片进行旋转，裁剪，镜像对称以及利用马赛克的方式进行增强。扩大数据集中的图像数量。除此以外，本实施例除了使用上述所使用的传统的数据增强方式以外，使用了一种新的数据增强方式。使用几张图像随意裁剪，将裁剪后的图片进行拼接，然后将图像统一变成像素为416×416的正方形。
优选的，基于所述识别模型输出的检测结果作出预设预警进一步包括：在所述识别模型输出的检测结果包括未穿戴口罩、未穿戴围裙、未穿戴工作防护服、未穿戴手套或未穿戴帽子的情况下，发出第一预警信号；在预设时间内，所述识别模型输出的检测结果仍未发生变化，发出第二预警信号，并将检测结果上传至中心服务器。
所述识别模型识别出卫勤人员存在未穿戴口罩、未穿戴围裙、未穿戴工作防护服、未穿戴手套或未穿戴帽子的情况下，会发出语音提示、发出光信号提示、消息推送至目标客户端等任意一种提示方式。如果卫勤人员及时做出规范操作，恢复规范穿戴，则取消相应的告警，如果在预定时间内，所述识别模型仍然识别出卫勤人员存在未穿戴口罩、未穿戴围裙、未穿戴工作防护服、未穿戴手套或未穿戴帽子的行为，也就是未恢复规范穿戴，那么就做出升级预警，例如跨部门推送预设客户端等，置于所述第一预警信号、第二预警信号的形式在此并不做特别限定，只要能起到区分升级预警的目的即可。
本实施例中还提出了一种可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述检测方法，具体步骤在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，包括以下步骤：
实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端预设的识别模型；
所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；
基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
2.如权利要求1所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练，训练的方法进一步包括：
获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集，所述数据集包含若干张图像，其中分类主要包括：人、是否穿戴口罩、围裙、工作防护服、手套以及帽子；
对所获取到的数据集中的图像进行标注，标注的信息包括卫勤人员的穿戴以及在图像中的位置信息，将标注好的图像信息生成文本文件，文本文件包含了每张图像的需要检测的信息；
对图像进行旋转、裁剪、镜像对称以及利用马赛克的方式进行增强，调整图像分辨率；
将所述数据集分为两部分，包括训练集和测试集，分在两个文件夹中，用于生成不同目录；
通过所述训练集中的图像对所述识别模型进行训练，通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
3.如权利要求1所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过主干特征提取算法Mobilenet-ECA对所述图像数据进行主干特征提取：
对所述图像数据进行卷积、归一化及激活处理；
通过多个特征提取模块进行特征提取，其中，特征提取模块进行特征提取时先进行1*1卷积和进行正则化处理并通过第一激活函数进行处理，所述第一激活函数的公式为：，其中x代表网络提取的特征信息，a为小于1的实数，公式计算结果作为下一层的输入数据；再通过3×3的深度可分离卷积进行卷积以及正则化以后，利用第二激活函数进行处理，所述第二激活函数的公式为：，其中x代表网络提取的特征信息；将第二激活函数的输出进行平均池化和一维通道卷积，其中，卷积核尺寸大小/>，其中c表示通道数；将第二激活函数的输出与一维通道卷积的输出相乘，再和第二激活函数的输出进行相加，最后通过点卷积完成一个网络特征提取。
4.如权利要求3所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别进一步还包括通过增强网络进行加强特征提取：
构建两层特征金字塔，先通过平均池化以及一维卷积完成通道注意力机制的特征提取；
将得到的特征图进行平均池化和最大池化，其池化均为一维池化，得到两个通道为1的特征图像，将两个通道为1的特征图像进行相加拼接，得到新的特征图像；
将新的特征图像进行卷积运算，得到H×W×C的特征图像，其中，H为图像的高，W为图像的宽，C为图像的通道数，该特征图像完好的保存了通道特征以及空间特征。
5.如权利要求1所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，所述方法还包括：
在将所述识别模型部署至边缘设备端时，采用边训练边量化的方法，先将参数进行量化，得到对应的量化后的INT8数据，然后再进行反量化得到FP32的数据，再进行重新训练，不断重复以上过程直到收敛。
6.如权利要求5所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，将INT8数据进行反量化得到FP32数据的计算公式为：r=S（q-Z），其中r为FP32浮点数，q为INT8量化后的值，S分别为缩放因子，Z为零点，在量化过程中，采用非定点量化方式对S和Z进行确定：
，/>；
其中，rmax为浮点数最大值，rmin为浮点数最小值，qmax为INT8最大值，qmin为INT8最小值；
将FP32数据进行量化得到INT8数据的计算公式为：
。
7.如权利要求1所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法，其特征在于，基于所述识别模型输出的检测结果作出预设预警进一步包括：
在所述识别模型输出的检测结果包括未穿戴口罩、未穿戴围裙、未穿戴工作防护服、未穿戴手套或未穿戴帽子的情况下，发出第一预警信号；
在预设时间内，所述识别模型输出的检测结果仍未发生变化，发出第二预警信号，并将检测结果上传至中心服务器。
8.一种基于边缘人工智能的酒店卫勤人员穿戴检测系统，其特征在于，包括：
图像获取模块，用于实时获取待检测区域的图像数据，对所述图像数据进行预处理后发送给被配置在边缘设备端预设的识别模型；
图像识别模块，用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别；
结果输出模块，用于基于所述识别模型输出的检测结果作出预设预警，其中，所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
9.一种计算机设备，其特征在于，包括：
存储器，所述存储器用于存储处理程序；
处理器，所述处理器执行所述处理程序时实现如权利要求1至权利要求7中任意一项所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现如权利要求1至权利要求7中任意一项所述的基于边缘人工智能的酒店卫勤人员穿戴检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310957994.5A CN116958702B (zh) | 2023-08-01 | 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310957994.5A CN116958702B (zh) | 2023-08-01 | 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958702A true CN116958702A (zh) | 2023-10-27 |
| CN116958702B CN116958702B (zh) | 2024-05-24 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670441A (zh) * | 2018-12-14 | 2019-04-23 | 广东亿迅科技有限公司 | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 |
| CN111091110A (zh) * | 2019-12-24 | 2020-05-01 | 山东仁功智能科技有限公司 | 一种基于人工智能的反光背心穿戴识别方法 |
| CN111652046A (zh) * | 2020-04-17 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于深度学习的安全穿戴检测方法、设备及系统 |
| CN114241522A (zh) * | 2021-12-13 | 2022-03-25 | 北京国网信通埃森哲信息技术有限公司 | 现场作业安全穿戴识别方法、系统、设备及存储介质 |
| US20220180725A1 (en) * | 2020-12-04 | 2022-06-09 | Wearable Technologies Inc. | Smart wearable personal safety devices and related systems and methods |
| CN114937232A (zh) * | 2022-07-25 | 2022-08-23 | 浙江大学 | 医废处理人员防护用具穿戴检测方法、系统和设备 |
| CN115641608A (zh) * | 2022-09-29 | 2023-01-24 | 海南电网有限责任公司澄迈供电局 | 基于边缘智能的配网作业个人防护用品智能识别设备 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670441A (zh) * | 2018-12-14 | 2019-04-23 | 广东亿迅科技有限公司 | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 |
| CN111091110A (zh) * | 2019-12-24 | 2020-05-01 | 山东仁功智能科技有限公司 | 一种基于人工智能的反光背心穿戴识别方法 |
| CN111652046A (zh) * | 2020-04-17 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于深度学习的安全穿戴检测方法、设备及系统 |
| US20220180725A1 (en) * | 2020-12-04 | 2022-06-09 | Wearable Technologies Inc. | Smart wearable personal safety devices and related systems and methods |
| CN114241522A (zh) * | 2021-12-13 | 2022-03-25 | 北京国网信通埃森哲信息技术有限公司 | 现场作业安全穿戴识别方法、系统、设备及存储介质 |
| CN114937232A (zh) * | 2022-07-25 | 2022-08-23 | 浙江大学 | 医废处理人员防护用具穿戴检测方法、系统和设备 |
| CN115641608A (zh) * | 2022-09-29 | 2023-01-24 | 海南电网有限责任公司澄迈供电局 | 基于边缘智能的配网作业个人防护用品智能识别设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898547B (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
| CN111738160B (zh) | 视频微表情识别方法、装置、计算机设备及存储介质 | |
| CN105160318A (zh) | 基于面部表情的测谎方法及系统 | |
| WO2008091281A2 (en) | Artificial intelligence systems for identifying objects | |
| TWI753588B (zh) | 人臉屬性識別方法、電子設備和電腦可讀儲存介質 | |
| Salve et al. | Iris recognition using SVM and ANN | |
| Herdiyeni et al. | Mobile application for Indonesian medicinal plants identification using fuzzy local binary pattern and fuzzy color histogram | |
| CN114937232B (zh) | 医废处理人员防护用具穿戴检测方法、系统和设备 | |
| CN111368926B (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
| Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
| CN113657195A (zh) | 人脸图像识别方法、设备、电子装置和存储介质 | |
| CN116704441A (zh) | 社区人员的异常行为检测方法、装置及相关设备 | |
| CN116543419B (zh) | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 | |
| Wazirali et al. | Hybrid Feature Extractions and CNN for Enhanced Periocular Identification During Covid-19. | |
| CN108090473B (zh) | 多相机下人脸识别的方法及装置 | |
| Rahul et al. | Siamese network for underwater multiple object tracking | |
| CN114036553A (zh) | 一种结合k匿名的行人身份隐私保护方法 | |
| Singh et al. | Improving verification accuracy by synthesis of locally enhanced biometric images and deformable model | |
| CN116958702B (zh) | 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 | |
| CN110008881A (zh) | 多运动目标的奶牛行为的识别方法及装置 | |
| CN116958702A (zh) | 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 | |
| CN109886320A (zh) | 一种人体股骨x光片智能识读方法及系统 | |
| Bhattacharya et al. | A deep neural network framework for detection and identification of bengal tigers | |
| Milczarski et al. | Complex colour detection methods used in skin detection systems | |
| Yasmin et al. | Impact of fuzziness for skin lesion classification with transformer-based model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |