CN116543419B - 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 - Google Patents
基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 Download PDFInfo
- Publication number
- CN116543419B CN116543419B CN202310825233.4A CN202310825233A CN116543419B CN 116543419 B CN116543419 B CN 116543419B CN 202310825233 A CN202310825233 A CN 202310825233A CN 116543419 B CN116543419 B CN 116543419B
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- image data
- model
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 230000036541 health Effects 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 69
- 230000007246 mechanism Effects 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000001681 protective effect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 26
- 238000013139 quantization Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 12
- 238000007667 floating Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000007639 printing Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统,实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,所述识别模型被配置在边缘设备端;所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,并对所述图像数据进行特征提取,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大,输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。以实现提高对于酒店卫勤人员穿戴检测的速度以及降低对硬件资源的占用。
Description
技术领域
本发明涉及防护用具穿戴检测方法,尤其涉及一种基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统。
背景技术
酒店由于是公共聚集场所,也是重点清洁以及消毒场所,因此酒店的后勤管理人员的日常穿戴检测尤为重要。对于酒店的后勤清洁人员要注意其是否规范穿戴清洁所需要的工作服饰,酒店的后勤管理人员的防护服正确穿戴需要嵌入式设备进行实时视频采集和分析。但是嵌入式目标检测技术在酒店的日常监控管理中也存在很多问题:一、一些比较高精度的模型算法参数量较多,在服务器端运行尚可,然而部署到算力较弱的边缘设备端,其运行不能实时检测。二、对于后期的功能维护不是很方便,用户在后期维护中需要对硬件设备一一进行管理,极大的增加了维护成本。
发明内容
本发明提供基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统,以实现提高对于酒店卫勤人员穿戴分类检测的速度以及减少对于硬件资源的占用。
本发明提出了一种基于嵌入式平台的酒店卫勤人员穿戴检测方法,其包括以下步骤:
实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;
所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:通过GhostNet网络对所述图像数据进行特征提取以生成特征图;通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;
所述识别模型输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
优选的,在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练,训练的方法进一步包括:获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集;将所述数据集分为两部分,包括训练集和测试集,其比例为9:1,分在两个文件夹中,用于生成不同目录;通过所述训练集中的图像对所述识别模型进行训练,通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
优选的,通过GhostNet网络对所述图像数据进行特征提取以生成特征图进一步包括:先使用小规模的卷积核进行卷积运算以获得部分特征图;对所述部分特征图进行线性变换以得到其他与所述部分特征图相似的特征图;最后进行堆叠以完成特征提取,实现降低所述模型计算量的目的;构建特征金字塔,从不同尺度来预测模型结果,以实现利用特征融合机制在特征金字塔中进一步提高图像特征的提取能力。
优选的,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步包括:深度卷积使用的是维度为k×k×1×m卷积核,卷积核数量是m,由此可以得出深度卷积的计算量和参数量/>分别为:,/>,其中卷积核大小为k,卷积核的数量为m,图像通道数为n,w和h为图像的宽和高;每个通道在进行深度卷积以后,提取到一定的特征值,在通道的特征融合方面使用点卷积来实现,增加特征通道数,点卷积的计算量/>和分别为:/>,/>,其中特征通道数为n,图像的宽和高为w和h,卷积核的尺寸为k;深度可分离卷积的总计算量/>和总参数量/>分别为:/>,/>。
优选的,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步还包括:在预测端前,利用注意力机制来完成算法的特征提取,将目标的位置信息引入通道注意力机制中,以减少原本的通道注意力机制对于空间位置信息的忽略;将纵向和横向信息编码到通道注意力中,使得移动网络能够关注大范围的位置信息而不会带来过大的计算量。
优选的,所述方法还包括基于余弦距离非定点混合量化算法将所述识别模型的浮点数运算转化为定点数:先将网络模型每一层的推理所耗费时间打印出来,然后对在嵌入式上耗费时间超出预设时间的网络层进行分析;基于余弦相似度作为精度损失的参考,打印每层网络与前一层网络的余弦相似度损失,当余弦相似度损失大于阈值的情况下,该层网络不进行量化,在余弦相似度损失小于阈值的情况下,对该层网络进行量化。
优选的,对所述识别模型进行训练的方法进一步还包括:针对模型中先验框大小设计采用K-means聚类算法,首先对数据集的先验框的尺寸进行算法聚类,通过多次迭代生成与数据集实际相符合的先验框尺寸,提高网络检测效果;先随机初始化K个簇中心,输入样本以后,利用相似度度量方式将每个样本分配给对应的簇,然后计算样本的均值,更新簇中心,判断簇中心变化是否低于阈值,低于可以输出,没有低于,则继续计算,分配样本不断迭代更新,从而实现将数据集进行簇的划分,对于相似度较高的数据集划分在同一个簇内,对于相似度较低的数据集划分在不同的簇。
基于相同的构思,本发明还提供一种基于嵌入式平台的酒店卫勤人员穿戴检测系统,包括:图像获取模块,用于实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;图像识别模块,用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:通过GhostNet网络对所述图像数据进行特征提取以生成特征图;通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;结果输出模块,用于输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
基于相同的构思,本发明还提供一种计算机设备,包括:存储器,所述存储器用于存储处理程序;处理器,所述处理器执行所述处理程序时实现所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法。
基于相同的构思,本发明还提供一种可读存储介质,所述可读存储介质上存储有处理程序,所述处理程序被处理器执行时实现所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法。
采用本发明的技术方案,能够取得如下技术效果:
1、在发明技术方案中,识别模型先利用特征提取算法,通过GhostNet网络对图像进行分析,提取图像的基本信息,其网络设计结构和一般网络结构不同,利用线性变换的方式减少卷积的使用,从而有效的降低了运算次数,降低模型对边缘设备端的硬件资源需求。
2、在本发明的技术方案中,识别模型的加强特征提取网络通过将深度可分离卷积和注意力机制进行融合,对图像进行目标检测,一方面深度可分离卷积能够显著降低参数量,另一方面引入注意力机制来进行特征增强,轻量化网络结构大量使用了深度可分离卷积,因此在实际特征提取时候发现,其对于全局视野特征提取能力较弱。而针对本发明的应用场景,数据集中有很多小目标(例如口罩、手套灯)需要检测,需要比较好的感受视野,因此可以引入注意力机制来提高感受视野。使用注意力机制,将其与深度可分离卷积进行融合,在预测端前,利用注意力机制来完成算法的特征提取。算法将目标的位置信息引入到了通道注意力机制中,减少了原本的通道注意力机制对于空间位置信息的忽略。
3、在本发明的技术方案中,基于余弦距离非定点混合量化算法将所述识别模型中的部分浮点数运算转化为定点数,能够减少模型的参数位数大小,有效地压缩参数量,减低内存的使用,从而减少模型所占用的内存大小,加速神经网络推理速度。使用余弦相似度作为精度损失的参考,在使用过程中,打印每层网络与前一层的余弦相似度损失,当余弦相似度损失较大的情况下,一些网络不进行量化,在余弦相似度损失较小的情况下,可以对一些网络进行量化。如此,在不损失较多精度的前提下,提高了模型运行的效率。
4、在进行模型训练,数据集的构建过程中,为使先验框尺寸更加接近真实的框的尺寸,针对先验框大小设计采用K-means聚类算法来取代人工设计,首先对数据集的先验框的尺寸进行算法聚类,通过多次迭代生成与数据集实际相符合的先验框尺寸,提高网络检测效果。
附图说明
图1为深度可分离卷积示意图;
图2为本发明实施例提供的算法的部署流程图;
图3为本发明实施例提供的算法的整体结构示意图;
图4为本发明实施例提供的算法主干网络的架构图的单个改进模块;
图5为注意力机制模块;
图6为改进型注意力机制模块;
图7为K-means聚类流程图;
图8为量化计算示意图。
具体实施方式
以下结合附图,具体说明本发明。 在本公开的实施例中,术语“模型”能够处理输入并且提供相应输出。以神经网络模型为例,其通常包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的模型(也称为“深度学习模型”)通常包括许多隐藏层,从而延长网络的深度。神经网络模型的各个层按顺序相连以使得前一层的输出被用作后一层的输入,其中输入层接收神经网络模型的输入,而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元),每个节点处理来自上一层的输入。在本文中,术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。
本发明的基于嵌入式平台的酒店卫勤人员穿戴检测系统包括计算设备。计算设备可以是具有计算能力的任何设备,例如个人计算机、平板计算机、云服务器、大型机和分布式计算系统等。计算设备获取输入模块。例如,输入模块可以是图像、视频、音频、文本、和/或多媒体文件等。计算设备可以将输入模块应用于识别模型,以利用识别模型,生成与输入模块相对应的处理结果。在一些实施例中,识别模型可以是但不限于图像分类模型、目标检测模型、目标跟踪模型,或者其他与图像处理相关的神经网络模型。可以利用任何合适的网络结构来实现识别模型,包括但不限于各种深度学习/神经网络模型,CNN(卷积神经网络)、R-CNN、RetainNet、YOLO等。本公开的范围在此方面不受限制。
申请人在对嵌入式平台的酒店卫勤人员穿戴做神经元算法时,发现设定目标检测可以以配备的防护用品为目标,如口罩、围裙、防护工作服、手套、帽子等,将该些防护用品配带不符合要求的图片信息,特别是将不符合要求的地方做候选区域,即包括Fast R-CNN、Faster R-CNN 和 FPN基于候选区域的目标检测器,YOLO、SSD和RetinaNet等在内的单次检测器,利用该些算法来完成。
第一实施例
本实施例提供一种基于嵌入式平台的酒店卫勤人员穿戴检测系统,包括:
图像获取模块,用于实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;
图像识别模块,用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:通过GhostNet网络对所述图像数据进行特征提取以生成特征图;通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;
结果输出模块,用于输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
本实施例的基于嵌入式平台的酒店卫勤人员穿戴检测系统通过大量的卫勤人员穿戴照片,对预设识别模型进行训练,在训练完成之后即可实现自动化检测分类。本实施例的检测系统中的识别模型与传统的目标检测模型的不同在于,本实施例模型的网络更加轻量化,在不大量损失精度的情况下,能够极大提高运行速度,对于硬件所需要的资源消耗较少。对于嵌入式端,能够契合嵌入式平台的硬件性能,部署更加方便,具体参见图2为部署流程示意图。
所述识别模型主要包括:输入端网络、主干特征提取网络、加强特征提取网络以及预测网络。
本实施例中主干特征提取网络采用GhostNet网络,还包括特征增强模块。特征增强模块在网络设计中介于主干特征提取网络和结果输出之间,GhostNet网络主要由深度可分离卷积、批归一化层、激活函数构成,减少了模型参数以及计算量。参见图3,模型利用构建特征金字塔的方案来加强网络特征提取。
本实施例在加强特征提取网络中加入了注意力机制模块。如图4所示,从而加强特征提取,其主要利用精确的位置依赖性进行编码,在加强特征提取网络部分引入此注意力机制有助于网络精度的提高。同时在加强特征提取网络部分,使用了一些卷积来调整通道数大小。
参见图3,先将图像大小进行调整,使用双线性变化法将图像调整固定大小,然后利用如图4所示的主干特征提取网络提取特征图像,经过特征加强部分提取到图像的不同层的不同部分的特征。在预测端使用非极大线性抑制算法预测出最后的结果。模型还构建了特征金字塔,能够从不同尺度来预测模型结果,其中利用特征融合机制在特征金字塔中能够进一步提高图像特征的提取能力。
本实施例的识别模型与其他轻量化网络结构相比,其主干网络的大量线性卷积计算更加适配于嵌入式硬件的加速特性,网络模型先使用小规模的卷积核进行卷积运算,得到一些特征图,然后对于这些特征图进行线性变换,得到其他与其相似的特征图像,最后进行堆叠,完成特征提取。这样减少了特征图的冗余,大大减少了计算的重复性,有效利用了特征信息。最强大的优势是可以替换经典的卷积神经网络的操作,主要的优势是更加轻量更加高效。
此外,在加强特征提取网络中,采用注意力机制加深度可分离卷积融合的方式,如图6所示,即参考注意力机制在轻量化网络中的特性,通道注意力机制一般利用全局池化方式,将空间信息进行编码,最后将全局信息进行压缩,但是这样,往往会忽略掉比较重要的空间信息,因此本实施例没有使用直接全局池化,而是使用两个一维向量进行编码,如图5所示,C×H×W图像X经过池化核(H,1)和(1,W)来编码水平和垂直方向特征,则第C维特征的输出式为:
,/>
以上两个公式从不同的方向来集成特征,输出一对方向可知的特征图,相比于全局池化的方式而言,这样的处理方式能够捕捉单方向的长距离关系的同时也能保留另一个方向上的空间信息,帮助网络更加精准地定位目标,其输出的维度为C×H×1和C×1×H。
参见图5,当经过两个不同维度的平均池化以后,将图像进行拼接进行卷积以后,即输出的维度为C/r×H×1。再经过1×1卷积、BN以及非线性激活以后,其计算式为:,其中,/>为包含两个维度的空间信息的中间特征,r是缩减因子。/>为图5中注意力机制网络拼接和卷积的结果。
通过分片操作分离成两个独立的特征 和/>,然后利用1×1卷积以及激活函数将其特征进行转换,使其维度与整个网络输入维度一致。
图5的注意力机制网络包含了通道间的信息、横向信息以及纵向信息,能够帮助网络更加准确定位目标信息,提高检测能力。
将图5的注意力机制网络引入到深度可分离卷积中,减少了空间特性的损失,提高了精度。因此网络结构与其他的轻量化网络结构相比,在计算量相同的情况下,其精度有很大的优势,此外针对后期的部署的硬件的特性,做了很多更加适配于硬件加速特性的网络结构改进。而这些基于嵌入式的硬件加速特性改进方式,与其他轻量化网络结构相比,在实际部署中,有着更高效的网络推理速度。
一般嵌入式平台算力有限,在实际部署中,不能够较好的满足目标检测算法所需要的硬件资源。针对此问题,本实施例的识别模型在运算过程中还基于余弦距离非定点混合量化算法将浮点数运算转化为定点数,以进行模型量化。
首先,先将模型转换,使其能够适合部署在嵌入式端,然后,针对转换后的模型进行测试,得到其未经量化后所占用的资源,便于下一步的分析。随后,针对未量化过后的模型占用的资源进行分析,提出基于余弦距离的非定点混合量化的方式,将每一层网络进行分析,以余弦距离作为标准,选择性的量化部分网络。
在量化部分使用非对称量化,图8为非对称量化示意图,其主要是基于零点向两边进行分布,将32位的浮点运算的数据压缩到[-127,128]之间。如图8所示,非对称量化是在整个区间范围实现的均匀量化,将浮点数范围映射到[-127,128]之间,公式为:
。
但是由于数据集中存在大量的小目标的物体,量化后效果不佳,因此最终确定使用混合量化,通过神经网络的一些卷积层的推理时间的结果,针对每一层进行分析,将需要较大的推理时间的卷积层进行非对称量化。
利用余弦相似度进行量化,余弦相似度越接近1,则相似度越高,在使用余弦相似度作为精度损失的参考,在使用过程中,打印每层网络与前一层的余弦相似度损失,当余弦相似度损失较大的情况下,一些网络不进行量化,在余弦相似度损失较小的情况下,可以对一些网络进行量化。
余弦相似度度计算公式为:
。
其中为前一层的特征图像的数值,/> 为当前特征图像的数值,通过计算得到两个余弦相似度。将每一层的与上一层的网络进行对比,计算出余弦距离,然后设定一个阈值,将超过阈值的网络不进行量化处理。
第二实施例
以下具体介绍基于嵌入式平台的酒店卫勤人员穿戴检测方法,其包括以下步骤:
S100: 实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;
S200:所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:
通过GhostNet网络对所述图像数据进行特征提取以生成特征图;
通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;
S300:所述识别模型输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
在本实施例的检测方法中,识别模型先利用特征提取算法,通过GhostNet网络对图像进行分析,提取图像的基本信息,其网络设计结构和一般网络结构不同,利用线性变换的方式减少卷积的使用,从而有效的降低了运算次数,降低模型对边缘设备端的硬件资源需求。
优选的,通过GhostNet网络对所述图像数据进行特征提取以生成特征图进一步包括:先使用小规模的卷积核进行卷积运算以获得部分特征图;对所述部分特征图进行线性变换以得到其他与所述部分特征图相似的特征图;最后进行堆叠以完成特征提取,实现降低所述模型计算量的目的;构建特征金字塔,从不同尺度来预测模型结果,以实现利用特征融合机制在特征金字塔中进一步提高图像特征的提取能力。
主流的CNN卷积中的基本流程中,假设给定数据,h为高,w为宽,c为通道数量,输入图像,得到卷积运算表示为:/>,其中,*代表卷积,在输入图像以后,通过n个k×k的卷积核/>的计算,加上偏置项,得到/>的输出,其中/>和/>为输出的数据的高和宽,因此在普通卷积中计算一次所需要的浮点运算次数为/>。
容易知晓,在传统卷积运算的时候,会生成大量的冗余图像,很多图像彼此有很多相似性,可以通过一些简单的运算就可以互相转换出来。因此,可以利用少数的一些特征图像通过一些简单的运算就可以得到其他图像。这些少数的原始图像通常大小不大,并且都是由卷积所生成。其通道信息较少,一般用m个原始特征图像就可以生成。计算可以表示为:,其中X为输入图像,/>为生成的原始特征图,输入图像通过k×k的卷积核/>一次卷积运算得到,为了得到所有的特征图像,原始的特征图像经过一些简单的线性运算得到s个特征图,可以表示为:/>,其中/>代表/>中第i个生成的原始特征图,经过/>卷积的线性运算,可以生成j个原始特征图所扩展的其他特征图,利用简单的参数较少的线性运算,能够产生n=m×s个特征图,这些特征图可以作为网络模块输出。
在输入图像宽为w,高为h,通道数为c,对应的特征图的通道数则为n,设计中使用k×k尺寸的卷积核,对应的卷积的线性变换所使用的大小是d×d的卷积核,普通卷积运算为,对于其的计算量为/>,则传统的卷积运算与本申请改进后的卷积的计算量之比为:
。
可见,本实施例的识别模型所采用的改进后的GhostNet网络能够缩小卷积的运算量,这对于本发明所应用的场景,即边缘设备端不具有足够的运算能力以及酒店所产生的待检测的图像数据量较大的场景下,模型更加轻量化,数据计算量显著降低,在边缘设备硬件配置较低的情况下,依然能够实现识别模型的自动检测。
优选的,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步包括:深度卷积使用的是维度为k×k×1×m卷积核,卷积核数量是m,由此可以得出深度卷积的计算量和参数量/>分别为:,/>,其中卷积核大小为k,卷积核的数量为m,图像通道数为n,w和h为图像的宽和高;每个通道在进行深度卷积以后,提取到一定的特征值,在通道的特征融合方面使用点卷积来实现,增加特征通道数,点卷积的计算量/>和分别为:/>,/>,其中特征通道数为n,图像的宽和高为w和h,卷积核的尺寸为k;深度可分离卷积的总计算量/>和总参数量/>分别为:/>,。
在本实施例中,识别模型使用加强特征提取网络,在加强特征提取部分采取深度可分离卷积。一方面以3×3的卷积网络构造与嵌入式的硬件特性相适配,另外一方面利用深度可分离卷积可以减少参数量。在特征提取网络完成以后,利用加强特征提取网络来完成网络的特征更加深层次提取。深度可分离卷积与传统卷积相比,主要是将传统卷积拆分成两步,先进行3×3卷积运算,再进行1×1卷积运算,如图1所示,例如三通道的特征分别利用3个3×3卷积核,先进行3×3卷积,然后再用4个1×1卷积核卷积,变成四通道特征。这相比直接用四个3×3卷积而言,大大减少了模型参数量,减少了模型的运算。BN层能够加快网络的收敛速度,防止网络出现过拟合的现象。
标准卷积的维度是三维的,在卷积过程中,不仅仅只是提取中心的像素以及周围的像素语义信息,还结合了通道之间的信息,这样多了维度,就能扩大感受视野,但是计算量也随之指数增长,标准卷积的计算量C和参数量P可以表示为:
其中卷积核的尺寸大小为k,m为卷积核的数量,图像的特征通道数为k,特征图像的高和宽的尺寸为h和w。根据计算式子,所使用的卷积核的尺寸大小对于特征图像的感受视野影响较大,卷积核越大,感受视野越大,而感受视野越大,其模型效果越好。
深度可分离卷积主要包括两个部分,一个是深度卷积,另一个是1×1的点卷积,与标准卷积相比,深度可分离卷积在深度卷积部分,只需要考虑自身的通道,然后再利用点卷积来提升通道数。因此深度卷积的模型效果不如标准卷积那样,考虑通道之间的信息,因此在深度卷积中需要进行第二步,就是通道数量的增加,也就是进行1×1的点卷积。
其中深度卷积使用的是维度为k×k×1×m卷积核,卷积核数量是m,由此可以得出深度卷积的计算量和参数量/>如下式子。其中卷积核大小为k,卷积核的数量为m,图像通道数为n,w和h为图像的宽和高。
每个通道在进行深度卷积以后,提取到一定的特征值,在通道的特征融合方面使用点卷积来实现,增加特征通道数,点卷积的计算量和/>如下。所使用的通道数为n,图像的大小为w和h,卷积核的尺寸为k。
因此其总的计算量和参数量/>式子如下。
在本实施例中,深度可分离的创新的地方是用在深度分离上,在深度卷积中,其针对单个通道使用卷积运算,与常规卷积相比,其计算量减少了n倍,最后利用1×1的点卷积,1×1的卷积核设计的本身就是减少参数量以及计算量。通过整合单点的所有通道信息进行特征提取。其总的参数量和标准卷积对比为:
,
由于卷积核的k一般大小为3,而通道数量n远远大于3×3,因此估算相对于标准卷积,其参数量降低了8~9倍。
本实施例采用深度分离的方式,显著的降低了参数量,这对于本发明所应用的场景,即边缘设备端不具有足够的运算能力以及酒店所产生的待检测的图像数据量较大的场景下,数据量大大缩减,模型更加轻量化,运行效率更高,更稳定。
优选的,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步还包括:在预测端前,利用注意力机制来完成算法的特征提取,将目标的位置信息引入通道注意力机制中,以减少原本的通道注意力机制对于空间位置信息的忽略;将纵向和横向信息编码到通道注意力中,使得移动网络能够关注大范围的位置信息而不会带来过大的计算量。
本实施例中在使用轻量化网络结构以后,利用注意力机制来进行特征增强,轻量化网络结构大量使用了深度可分离卷积,因此在实际特征提取时候发现,其对于全局视野特征提取能力较弱。而针对本发明的应用场景,数据集中有很多小目标(例如口罩、手套灯)需要检测,需要比较好的感受视野,因此可以引入注意力机制来提高感受视野。使用注意力机制,将其与深度可分离卷积进行融合,在预测端前,利用注意力机制来完成算法的特征提取。算法将目标的位置信息引入到了通道注意力机制中,减少了原本的通道注意力机制对于空间位置信息的忽略。
做了上述改进后,能够将纵向和横向信息编码到通道注意力中,使得移动网络能够关注大范围的位置信息而不会带来过大的计算量。将通道注意力和空间注意力联合起来。注意力机制网络主要是利用坐标信息嵌入以及坐标注意力机制融合两个步骤来编码通道关系和长距离关系。
优选的,所述方法还包括基于余弦距离非定点混合量化算法将所述识别模型的浮点数运算转化为定点数:先将网络模型每一层的推理所耗费时间打印出来,然后对在嵌入式上耗费时间超出预设时间的网络层进行分析;基于余弦相似度作为精度损失的参考,打印每层网络与前一层网络的余弦相似度损失,当余弦相似度损失大于阈值的情况下,该层网络不进行量化,在余弦相似度损失小于阈值的情况下,对该层网络进行量化。
模型量化主要是将32位浮点数运算转化为定点数进行计算,可以有效地压缩参数量,减低内存的使用,但是会损失模型的一些精度。模型量化本质上就是牺牲深度学习模型的一些精度来提升运行的效率。模型量化能够减少模型的参数位数大小,从而减少模型所占用的内存大小,能够加速神经网络推理速度。
非对称量化是在整个区间范围实现的均匀量化,将浮点数范围映射到[-127,128]之间,其计算式如下所示:
x_int为量化后的int8数据,x_float量化前的float32数据,q为缩放因子,max(x_float)为浮点数最大值,n为整数的位数,z为零点。
将一些对精度影响不大的网络非量化层改为量化层,以损失较少的精度作为代价,提高模型推理的性能,但是相对于直接暴力量化,精度有所提高。
主要操作方式是,先将网络模型每一层的推理所耗费时间打印出来,然后对每一层在嵌入式上的耗费的时间进行分析,在量化推理时间较长的网络层时候必须考虑到其精度损失是否较大。
再使用余弦相似度作为精度损失的参考,在使用过程中,打印每层网络与前一层的余弦相似度损失,当余弦相似度损失较大的情况下,一些网络不进行量化,在余弦相似度损失较小的情况下,可以对一些网络进行量化。如此,在不损失较多精度的前提下,提高了模型运行的效率。
优选的,在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练,训练的方法进一步包括:获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集;将所述数据集分为两部分,包括训练集和测试集,其比例为9:1,分在两个文件夹中,用于生成不同目录;通过所述训练集中的图像对所述识别模型进行训练,通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
优选的,对所述识别模型进行训练的方法进一步还包括:针对模型中先验框大小设计采用K-means聚类算法,首先对数据集的先验框的尺寸进行算法聚类,通过多次迭代生成与数据集实际相符合的先验框尺寸,提高网络检测效果;先随机初始化K个簇中心,输入样本以后,利用相似度度量方式将每个样本分配给对应的簇,然后计算样本的均值,更新簇中心,判断簇中心变化是否低于阈值,低于可以输出,没有低于,则继续计算,分配样本不断迭代更新,从而实现将数据集进行簇的划分,对于相似度较高的数据集划分在同一个簇内,对于相似度较低的数据集划分在不同的簇。
对于所述的目标检测算法进行简单划分,第一步,基于数据集的聚类算法的先验框生成,为使先验框尺寸更加接近真实的框的尺寸,针对先验框大小设计采用K-means聚类算法来取代人工设计,将数据集进行簇的划分,对于相似度较高的数据集划分在一个簇内,对于相似度较低的数据集划分在不同的簇。
更具体的说:
首先,在进行训练之前,需要进行数据集的构建。将已经获取的图片数据进行分类清洗,质量较差的图片数据进行一定的筛选,将质量较好的图像数据进行标注,标注的信息主要包括卫勤人员的穿戴以及在图像中的位置信息,将标注好的图像信息生成文本文件,便于后期的程序能够自由处理图像中的信息。将获取到的图片进行旋转,裁剪,镜像对称以及利用马赛克的方式进行增强。扩大数据集中的图像数量。除此以外,本实施例除了使用上述所使用的传统的数据增强方式以外,使用了一种新的数据增强方式。使用几张图像随意裁剪,将裁剪后的图片进行拼接,然后将图像统一变成像素为416×416的正方形。
实际上,检测酒店后勤人员是否正确穿戴的检测,相对于整张图片而言,其目标相对较小。为使先验框尺寸更加接近真实的框的尺寸,针对先验框大小设计采用K-means聚类算法来取代人工设计,首先对数据集的先验框的尺寸进行算法聚类,通过多次迭代生成与数据集实际相符合的先验框尺寸,提高网络检测效果。其中,K-means算法是一种简单的无监督学习算法,作用是将数据集进行簇的划分,对于相似度较高的数据集划分在一个簇内,对于相似度较低的数据集划分在不同的簇。步骤如图7所示,K-means算法先随机初始化K个簇中心,然后输入样本以后,利用欧式距离等相似度度量方式将每个样本分配给对应的簇,然后计算样本的均值,更新簇中心,判断簇中心变化是否低于阈值,低于可以输出,没有低于,则继续计算,分配样本不断迭代更新。
本实施例中还提出了一种可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述检测方法,具体步骤在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,包括以下步骤:
实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;
所述识别模型对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:
通过GhostNet网络对所述图像数据进行特征提取以生成特征图;
通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;
基于余弦距离非定点混合量化算法将所述识别模型的浮点数运算转化为定点数:先将网络模型每一层的推理所耗费时间打印出来,然后对在嵌入式上耗费时间超出预设时间的网络层进行分析;基于余弦相似度作为精度损失的参考,打印每层网络与前一层网络的余弦相似度损失,当余弦相似度损失大于阈值的情况下,该层网络不进行量化,在余弦相似度损失小于阈值的情况下,对该层网络进行量化;
所述识别模型输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
2.如权利要求1所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,在实时获取待检测区域的图像数据之前还包括对所述识别模型进行训练,训练的方法进一步包括:
获取需要检测的酒店后勤场所抓取到卫勤人员图像的数据集;
将所述数据集分为两部分,包括训练集和测试集,其比例为9:1,分在两个文件夹中,用于生成不同目录;
通过所述训练集中的图像对所述识别模型进行训练,通过所述测试集中的图像对所述训练的效果进行验证是否能够达到预设准确率。
3.如权利要求1所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,通过GhostNet网络对所述图像数据进行特征提取以生成特征图进一步包括:
先使用小规模的卷积核进行卷积运算以获得部分特征图;
对所述部分特征图进行线性变换以得到其他与所述部分特征图相似的特征图;
最后进行堆叠以完成特征提取,实现降低所述模型计算量的目的;
构建特征金字塔,从不同尺度来预测模型结果,利用特征融合机制在特征金字塔中提取图像特征。
4.如权利要求1所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步包括:
深度卷积使用的是维度为k×k×1×m卷积核,卷积核数量是m,由此得出深度卷积的计算量Cdepth和参数量Pdepth分别为:
Cdepth=k×k×1×m×w×h,Pdepth=k×k×1×m,其中卷积核大小为k,卷积核的数量为m,图像通道数为n,w和h为图像的宽和高;
每个通道在进行深度卷积以后,提取特征值,在通道的特征融合方面使用点卷积来实现,增加特征通道数,点卷积的计算量Cpoint和Ppoint分别为:
Cpoint=1×1×m×n×w×h,Ppoint=1×1×m×n,其中特征通道数为n,图像的宽和高为w和h,卷积核的尺寸为k;
深度可分离卷积的总计算量Cds和总参数量Pds分别为:
Cds=Cdepth+Cpoint=(k×k+n)×w×m×h,Pds=Pdepth+Ppoint=(k×k+n)×m。
5.如权利要求1所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取进一步还包括:
在预测端前,利用注意力机制来完成算法的特征提取,将目标的位置信息引入通道注意力机制中,并将纵向和横向信息编码到通道注意力中。
6.如权利要求1所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法,其特征在于,对所述识别模型进行训练的方法进一步还包括:
针对模型中先验框大小设计采用K-means聚类算法,首先对数据集的先验框的尺寸进行算法聚类,通过多次迭代生成与数据集实际相符合的先验框尺寸,提高网络检测效果;
先随机初始化K个簇中心,输入样本以后,利用相似度度量方式将每个样本分配给对应的簇,然后计算样本的均值,更新簇中心,判断簇中心变化是否低于阈值,低于能够输出,没有低于则继续计算,分配样本不断迭代更新,从而实现将数据集进行簇的划分。
7.一种基于嵌入式平台的酒店卫勤人员穿戴检测系统,其特征在于,包括:
图像获取模块,用于实时获取待检测区域的图像数据,对所述图像数据进行预处理后发送给预设识别模型,其中,所述识别模型被配置在边缘设备端;
图像识别模块,用于对所述图像数据中卫勤工作人员防护用品穿戴是否正确进行识别,具体包括:通过GhostNet网络对所述图像数据进行特征提取以生成特征图;通过由深度可分离卷积和注意力机制融合构建的加强特征提取网络对所述特征图进行特征提取以实现通道数量的增加和感受视野的扩大;基于余弦距离非定点混合量化算法将所述识别模型的浮点数运算转化为定点数,具体包括:先将网络模型每一层的推理所耗费时间打印出来,然后对在嵌入式上耗费时间超出预设时间的网络层进行分析;基于余弦相似度作为精度损失的参考,打印每层网络与前一层网络的余弦相似度损失,当余弦相似度损失大于阈值的情况下,该层网络不进行量化,在余弦相似度损失小于阈值的情况下,对该层网络进行量化;
结果输出模块,用于输出检测结果并基于预设规则作出预设预警,其中,所述检测结果包括是否穿戴口罩、是否穿戴围裙、是否穿戴工作防护服、是否穿戴手套以及是否穿戴帽子。
8.一种计算机设备,其特征在于,包括:
存储器,所述存储器用于存储处理程序;
处理器,所述处理器执行所述处理程序时实现如权利要求1至权利要求6中任意一项所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有处理程序,所述处理程序被处理器执行时实现如权利要求1至权利要求6中任意一项所述的基于嵌入式平台的酒店卫勤人员穿戴检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310825233.4A CN116543419B (zh) | 2023-07-06 | 2023-07-06 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310825233.4A CN116543419B (zh) | 2023-07-06 | 2023-07-06 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116543419A CN116543419A (zh) | 2023-08-04 |
CN116543419B true CN116543419B (zh) | 2023-11-07 |
Family
ID=87454635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310825233.4A Active CN116543419B (zh) | 2023-07-06 | 2023-07-06 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116543419B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114492779B (zh) * | 2022-02-16 | 2024-09-27 | 安谋科技(中国)有限公司 | 神经网络模型的运行方法、可读介质和电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446491A (zh) * | 2021-01-20 | 2021-03-05 | 上海齐感电子信息科技有限公司 | 神经网络模型实时自动量化方法及实时自动量化系统 |
CN112766484A (zh) * | 2020-12-30 | 2021-05-07 | 上海熠知电子科技有限公司 | 浮点神经网络模型量化系统和方法 |
CN114186784A (zh) * | 2021-11-04 | 2022-03-15 | 广东顺德工业设计研究院(广东顺德创新设计研究院) | 基于边缘计算的电学考试评分方法、系统、介质及设备 |
WO2022062828A1 (zh) * | 2020-09-23 | 2022-03-31 | 深圳云天励飞技术股份有限公司 | 图像模型训练、图像处理方法、芯片、设备及介质 |
CN114937232A (zh) * | 2022-07-25 | 2022-08-23 | 浙江大学 | 医废处理人员防护用具穿戴检测方法、系统和设备 |
CN115018070A (zh) * | 2022-05-30 | 2022-09-06 | 上海商汤临港智能科技有限公司 | 神经网络的量化方法、目标检测方法及装置 |
CN115620272A (zh) * | 2022-10-20 | 2023-01-17 | 杭州海康威视数字技术股份有限公司 | 评估模型性能的方法、装置、计算机设备及可读存储介质 |
CN115690750A (zh) * | 2022-10-21 | 2023-02-03 | 浙江大学 | 一种驾驶员分心检测方法和装置 |
CN115913486A (zh) * | 2021-09-18 | 2023-04-04 | 维沃移动通信有限公司 | 信息上报方法、装置、终端及可读存储介质 |
CN116012879A (zh) * | 2022-12-27 | 2023-04-25 | 武汉科技大学 | 改进YOLOv4网络的行人检测方法、系统、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4156089A1 (en) * | 2021-09-23 | 2023-03-29 | Siemens Healthcare GmbH | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities |
-
2023
- 2023-07-06 CN CN202310825233.4A patent/CN116543419B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022062828A1 (zh) * | 2020-09-23 | 2022-03-31 | 深圳云天励飞技术股份有限公司 | 图像模型训练、图像处理方法、芯片、设备及介质 |
CN112766484A (zh) * | 2020-12-30 | 2021-05-07 | 上海熠知电子科技有限公司 | 浮点神经网络模型量化系统和方法 |
CN112446491A (zh) * | 2021-01-20 | 2021-03-05 | 上海齐感电子信息科技有限公司 | 神经网络模型实时自动量化方法及实时自动量化系统 |
CN115913486A (zh) * | 2021-09-18 | 2023-04-04 | 维沃移动通信有限公司 | 信息上报方法、装置、终端及可读存储介质 |
CN114186784A (zh) * | 2021-11-04 | 2022-03-15 | 广东顺德工业设计研究院(广东顺德创新设计研究院) | 基于边缘计算的电学考试评分方法、系统、介质及设备 |
CN115018070A (zh) * | 2022-05-30 | 2022-09-06 | 上海商汤临港智能科技有限公司 | 神经网络的量化方法、目标检测方法及装置 |
CN114937232A (zh) * | 2022-07-25 | 2022-08-23 | 浙江大学 | 医废处理人员防护用具穿戴检测方法、系统和设备 |
CN115620272A (zh) * | 2022-10-20 | 2023-01-17 | 杭州海康威视数字技术股份有限公司 | 评估模型性能的方法、装置、计算机设备及可读存储介质 |
CN115690750A (zh) * | 2022-10-21 | 2023-02-03 | 浙江大学 | 一种驾驶员分心检测方法和装置 |
CN116012879A (zh) * | 2022-12-27 | 2023-04-25 | 武汉科技大学 | 改进YOLOv4网络的行人检测方法、系统、设备及介质 |
Non-Patent Citations (3)
Title |
---|
HashGAN: Deep Learning to Hash with Pair Conditional Wasserstein GAN;Yue Cao等;2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition;1287-1296 * |
模型量化方法在计算机视觉中的研究与应用;利国富;中国优秀硕士学位论文全文数据库信息科技辑;I138-1047 * |
面向"边缘"应用的卷积神经网络量化与压缩方法;蔡瑞初;钟椿荣;余洋;陈炳丰;卢冶;陈瑶;;计算机应用;第38卷(第09期);2449-2454 * |
Also Published As
Publication number | Publication date |
---|---|
CN116543419A (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107085716B (zh) | 基于多任务生成对抗网络的跨视角步态识别方法 | |
CN110119686B (zh) | 一种基于卷积神经网络的安全帽实时检测方法 | |
CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
JP3649311B2 (ja) | Dctをベースとするフィーチャー・ベクトルを使った顔の認識 | |
CN105139004B (zh) | 基于视频序列的人脸表情识别方法 | |
CN112949572A (zh) | 基于Slim-YOLOv3的口罩佩戴情况检测方法 | |
US8861873B2 (en) | Image clustering a personal clothing model | |
CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
CN102473279A (zh) | 图像处理装置和方法、数据处理装置和方法、程序和记录介质 | |
CN114937232B (zh) | 医废处理人员防护用具穿戴检测方法、系统和设备 | |
CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及系统 | |
CN114283495B (zh) | 一种基于二值化神经网络的人体姿态估计方法 | |
CN103136516A (zh) | 可见光与近红外信息融合的人脸识别方法及系统 | |
CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
CN116543419B (zh) | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 | |
CN102184384A (zh) | 一种基于多尺度局部相位量化特征的人脸识别方法 | |
Algamdi et al. | Learning temporal information from spatial information using CapsNets for human action recognition | |
CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
CN109359530B (zh) | 一种智能视频监控方法及装置 | |
CN113436231B (zh) | 行人轨迹生成方法、装置、设备及存储介质 | |
CN116958702B (zh) | 基于边缘人工智能的酒店卫勤人员穿戴检测方法及系统 | |
CN112257688A (zh) | 一种基于gwo-oselm的非接触式手掌活体检测方法及装置 | |
CN111738194A (zh) | 一种用于人脸图像相似性的评价方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |