CN117496389A - 一种适用于Android设备的手卫生实时检测方法 - Google Patents
一种适用于Android设备的手卫生实时检测方法 Download PDFInfo
- Publication number
- CN117496389A CN117496389A CN202310852088.9A CN202310852088A CN117496389A CN 117496389 A CN117496389 A CN 117496389A CN 202310852088 A CN202310852088 A CN 202310852088A CN 117496389 A CN117496389 A CN 117496389A
- Authority
- CN
- China
- Prior art keywords
- hand
- hand washing
- model
- yolov5
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000011897 real-time detection Methods 0.000 title claims abstract description 18
- 238000005406 washing Methods 0.000 claims abstract description 89
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种适用于Android设备的手卫生实时检测方法，该方法包括以下步骤：通过摄像头实时采集目标人员洗手时的视频帧，对视频帧进行预处理，截取视频帧中手部区域，将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域输入动态检测网络，通过动态检测网络判断手是否运动，如果判断为动态洗手，获得视频流中手部区域的视频帧，即洗手图像；通过训练获得轻量化YOLOv5模型，并进行格式转换，调整模型输出结果中的置信度。依照评分规则计算得分，来评价该次洗手情况。本发明提出的一种适用于Android设备的手卫生实时检测方法，在医护人员完成手卫生后，对其洗手情况给出准确且实时的评价。
Description
技术领域
本发明属于图像处理的技术领域，具体涉及一种适用于Android设备的手卫生实时检测方法。
背景技术
目前有两种主要的洗手识别技术，分别是基于可穿戴设备和基于计算机视觉的方法。基于可穿戴设备的方法需要使用者佩戴设备，通过臂带中的陀螺仪和加速器采集数据，然后使用机器学习算法对洗手动作进行分类。但这种方法会给使用者带来不便，需要卷起袖子并佩戴设备，增加了洗手的负担，难以被广泛应用。相比之下，基于计算机视觉的方法识别洗手动作更加方便，更易于实际部署。它通过摄像头实时采集医护人员洗手行为，通过实时检测算法对所采集的每帧图片进行识别定位。这种方法识别速度快，适应性较好，但目前检测算法大都检测静态物体，而洗手是一个动态过程，利用视觉对洗手行为进行打分时，务必要考虑这种情况。
发明内容
针对以上问题，本发明提供一种适用于Android设备的手卫生实时检测方法，利用摄像头采集图像，截取视频帧中手部区域，将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域输入动态检测网络，若判断为运动，则获得视频流中手部区域的视频帧，即洗手图像，并将其丢入YOLO轻量化检测网络进行实时检测，反之则丢弃该图像，最后利用检测结果计算得分，以评判本次洗手是否符合规范。具体操作步骤如下：
步骤1、通过摄像头实时采集目标人员洗手时的视频帧。
步骤2、对视频帧进行预处理，截取视频帧中手部区域。
步骤3、将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域输入动态检测网络，通过动态检测网络判断手是否运动，如果判断为动态洗手，获得视频流中手部区域的视频帧，即洗手图像；反之，则丢弃该帧。
步骤4、获取洗手图像并对应标记洗手状态标注标签，构建包括洗手图像和对应洗手状态标注标签的数据集；对YOLOv5网络进行改进，获得改进后的轻量化YOLOv5网络，通过数据集对改进后的轻量化YOLOv5网络进行训练，构建以洗手图像为输入，洗手状态评价指标为输出，获得训练完成的轻量化YOLOv5模型；洗手状态评价指标包括位置、类别和置信度。
对训练完成的轻量化YOLOv5模型进行格式转换，获得Android设备下的轻量化YOLOv5模型，以便调用Android嵌入式平台的NPU，并进行实时检测。
步骤5、针对Android设备下的轻量化YOLOv5模型，通过对所述置信度进行后处理，调整模型输出结果中的置信度，提高识别的准确性；通过记录下的各步骤已检测帧数，以及各帧洗手状态评价指标，依照评分规则计算各步得分，得到总分S，用于评价目标人员洗手效果，如果某步被评价为不合格，则要求重新进行该步手卫生检测，直至所有步骤满足要求。
进一步地，所述步骤3中，先将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域转化为灰度图像，再经过高斯模糊消除噪声干扰，然后再将这两帧图像依照公式进行相减操作，得到差分图像。
Dn(x,y)＝|fn(x,y)-fn-1(x,y)|
其中Dn(x,y)为差分图像，fn(x,y)为第n帧灰度高斯模糊后图像，fn-1(x,y)为第n-1帧灰度高斯模糊后图像。
再根据设定的阈值T1，将差分图像二值化，得到二值化图像Rn(x,y)；
最后对二值化图像求和，得到Sumn，
与阈值T2进行比较，大于等于该值时，可视为处于洗手状态，小于该值时，视为处于静态洗手状态，其中阈值T2为预设参数。
进一步地，步骤4所述对YOLOv5网络进行的改进，包括将YOLOv5网络结构中的特征提取网络替换为ShuffleNetv2、在ShuffleNetv2之后引入SE注意力机制模块，删除最大特征图来简化网络结构，获得改进后的轻量化YOLOv5网络，用于提高检测速度。
进一步地，步骤4所述格式转换具体步骤为对于训练完成的轻量化YOLOv5模型，将其转换为ONNX格式模型文件，再转换成Android设备对应框架所使用的各模型文件格式，获得Android设备下的轻量化YOLOv5模型，以便于调用Android嵌入式平台的NPU，并进行实时推理。
进一步地，所述Android设备对应框架所使用的各模型文件格式包括NCNN文件、TFLITE文件、RKNN文件。
进一步地，步骤5所述的后处理包括对模型的置信度进行修正，包括增大高于阈值的置信度，不处理低于阈值的置信度；通过调整模型输出结果的置信度，用于提高识别准确度并降低格式转换以及实际场景中光照强度影响。
进一步地，步骤5分别计算出每一洗手步骤的得分，取七个步骤的均值为总分S，针对总分S对本次洗手进行评价，对于得分低于预设数值的步骤，要求其重新进行该步洗手动作。
进一步地，由于在实际场景中，洗手检测模型的置信度在一定程度上受到两方面影响，一是环境因素影响，比如光照强度等；另一方面是模型在安卓系统下实现时，会出现一定程度的置信度下降，这无疑会影响到最后的评价分数，因此需要对模型的置信度进行修正。对于大于阈值的置信度适当的增大，小于阈值则不做处理。
进一步地，评分方案适用于以下场景，首先严格按照七步洗手法的步骤进行，每个步骤检测时常为15秒，
其中Scorei表示第i步的得分，ck表示第i步检测中检测类别为该步的检测帧的置信度，ni表示第i步检测中检测类别为该步帧的数量，mi为第i步检测中运动帧的数量，t为每一步的检测时常，可根据实际情况自己设置，dmax为Android设备NPU一秒最大推理帧数，α1、α2、β1和β2为系数，需满足α1+α2＝1以及β1+β2＝1。
用于评估洗手的准确度，/>用于监督是否达到规定的洗手时长。
以上方案具有以下有益效果：
1.实时检测：通过摄像头实时采集手卫生视频帧，并进行处理和检测，能够实时获得手卫生状态评价指标，及时监控和提醒目标人员的手卫生情况。
2.自动化操作：该方法采用了动态检测网络和改进后的轻量化YOLOv5模型，能够自动提取手部区域并识别洗手动作，无需人工干预，提高了检测的效率和准确性。
3.移动设备适用性：该方法适用于Android设备，并优化了轻量化YOLOv5模型以适应移动设备的计算能力，方便在Android设备上进行实时检测，提高了手卫生检测的便捷性和实用性。
4.检测准确性提升：通过对模型输出结果中的置信度进行后处理，调整结果的准确性，提高了手部区域的识别准确率，从而提高了洗手状态评价的准确性。
5.评价人员洗手效果：根据记录的检测帧数和洗手状态评价指标，通过评分规则计算各步得分和总分S，可以评价目标人员的洗手效果，并提供针对不合格的步骤要求重新检测的功能，促进人员的正确洗手行为。
附图说明
图1为本发明所述适用于Android设备的手卫生实时检测方法的整体框架图；
图2为本发明所述适用于Android设备的手卫生实时检测方法的动态检测网络；
图3为本发明所述适用于Android设备的手卫生实时检测方法的Android实现框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
需要强调的是，在描述本发明过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚地说明本发明特征所在。
如图1所示，本发明实施例提供了一种适用于Android设备的手卫生实时检测方法，具体步骤如下：
步骤1、通过摄像头实时采集目标人员洗手时的视频帧；
步骤2、对视频帧进行预处理，截取视频帧中手部区域；
步骤3、将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域输入动态检测网络，通过动态检测网络判断手是否运动，如果判断为动态洗手，获得视频流中手部区域的视频帧，即洗手图像；反之，则丢弃该帧；
步骤4、获取洗手图像并对应标记洗手状态标注标签，构建包括洗手图像和对应洗手状态标注标签的数据集；对YOLOv5网络进行改进，获得改进后的轻量化YOLOv5网络，通过数据集对改进后的轻量化YOLOv5网络进行训练，构建以洗手图像为输入，洗手状态评价指标为输出，获得训练完成的轻量化YOLOv5模型；洗手状态评价指标包括位置、类别和置信度；
对训练完成的轻量化YOLOv5模型进行格式转换，获得Android设备下的轻量化YOLOv5模型，以便调用Android嵌入式平台的NPU，并进行实时检测；
步骤5、针对Android设备下的轻量化YOLOv5模型，通过对所述置信度进行后处理，调整模型输出结果中的置信度，提高识别的准确性；通过记录下的各步骤已检测帧数，以及各帧洗手状态评价指标，依照评分规则计算各步得分，得到总分S，用于评价目标人员洗手效果，如果某步评价为不合格，要求重新进行该步手卫生检测，直至所有步骤满足要求。
在其中一种实施例中，所述步骤3中，先将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域转化为灰度图像，再经过高斯模糊消除噪声干扰，然后再将这两帧图像由公式进行相减操作，得到差分图像；
Dn(x,y)＝|fn(x,y)-fn-1(x,y)|
其中Dn(x,y)为差分图像，fn(x,y)为第n帧灰度高斯模糊后图像，fn-1(x,y)为第n-1帧灰度高斯模糊后图像；
再根据设定的阈值T1，将差分图像二值化，得到二值化图像Rn(x,y)；
最后对二值化图像求和，得到Sumn，
与阈值T2进行比较，大于等于该值时，可视为处于洗手状态，小于该值时，视为处于静态洗手状态，其中阈值T2为预设参数。
在其中一种实施例中，步骤4所述对YOLOv5网络进行的改进，包括将YOLOv5网络结构中的特征提取网络替换为ShuffleNetv2、在ShuffleNetv2之后引入SE注意力机制模块，删除最大特征图来简化网络结构，获得改进后的轻量化YOLOv5网络，用于提高检测速度。
在其中一种实施例中，步骤4所述格式转换具体步骤为对于训练完成的轻量化YOLOv5模型，将其转换为ONNX格式模型文件，再转换成Android设备对应框架所使用的各模型文件格式，获得Android设备下的轻量化YOLOv5模型，以便于调用Android嵌入式平台的NPU，并进行实时推理。
在其中一种实施例中，所述Android设备对应框架所使用的各模型文件格式包括NCNN文件、TFLITE文件、RKNN文件。
在其中一种实施例中，步骤5所述的后处理包括对模型的置信度进行修正，包括增大高于阈值的置信度，不处理低于阈值的置信度；通过调整模型输出结果的置信度，用于提高识别准确度并降低格式转换以及实际场景中光照强度影响。
在其中一种实施例中，由于在实际场景中，洗手检测模型的置信度在一定程度上受到两方面影响，一是环境因素影响，比如光照强度等；另一方面是模型在安卓系统下实现时，会出现一定程度的置信度下降，这无疑会影响到最后的评价分数，因此需要对模型的置信度进行修正。对于大于阈值的置信度适当的增大，小于阈值则不做处理。
在其中一种实施例中，所述评分方案适用于以下场景，首先严格按照七步洗手法的步骤进行，每个步骤检测时常为15秒，
其中Scorei表示第i步的得分，ck表示第i步检测中检测类别为该步的检测帧的置信度，ni表示第i步检测中检测类别为该步帧的数量，mi为第i步检测中运动帧的数量，t为每一步的检测时常，可根据实际情况自己设置，dmax为Android设备NPU一秒最大推理帧数，α1、α2、β1和β2为系数，需满足α1+α2＝1以及β1+β2＝1。
其中用于评估洗手的准确度，/>用于监督是否达到规定的洗手时常。
在其中一种实施例中，所述步骤三中洗手图像和对应洗手状态标注标签的数据集中数据来源于两部分，第一是利用网络爬虫技术获取，第二是从医护人员洗手视频中获取，后经专家审核，删除不标准数据，最终得到用于训练的数据集。再利用LabelImg标注软件对数据进行标注，要求将手部区域完全包含；最后，将数据集按照8:1:1的比例划分训练集、验证集和测试集。
在其中一种实施例中，所述步骤三为了保证模型在安卓设备推理的实时性，对Yolov5网络进行轻量化修改，以提高检测速度。主要从三个方面修改，第一，将YOLOv5网络结构中的特征提取网络替换ShuffleNet v2，它是经典的轻量化网络，通过大量实验提出四条轻量化网络设计准则，对输入输出通道、分组卷积组数、网络碎片化程度、逐元素操作对不同硬件上的度和内存访问量MAC的影响进行了详细分析，通过Channel Split替代分组卷积等方法，满足四条设计准则，达到了速度和精度的最优权衡。第二，在主干网络之后引入SE注意力机制模块，它能在保留原始特征的基础上，通过学习不同通道之间的关系，去可以动态地调整不同通道的权重，从而提高模型的表现能力。第三，原模型最终生成三种不同尺度的特征图，分别用来检测不同尺度的目标，特征图越大，感受野就越小，检测小目标的能力也就越强。但由于被检测的手部区域占被检测图的大部分画面，因此实际场景下，主要是大目标的检测，所以选择删除最大特征图来简化网络结构。经过大量实验验证，检测速度相比原网络，提升明显，且精度下降不明显，满足实际中需求。
在其中一种实施例中，步骤5分别计算出每一洗手步骤的得分，取七个步骤的均值为总分S，针对总分S对本次洗手进行评价，对于得分低于预设数值的步骤，要求其重新进行该步洗手动作。
在其中一种实施例中，Yolov5原模型实验数据：通过测试集对得到的检测模型进行评估，该模型在手卫生检测任务上可达到mAP0.5为95.8％的检测精度，但模型在Android嵌入式设备上推理速度偏慢，仅有16fps。
Yolov5改进模型实验数据：通过测试集对改进后检测模型进行评估，虽然模型变得更加轻量，但该模型在手卫生检测任务上可达到mAP0.5为96.8％的检测精度，相比原模型上升一个百分点，并且模型在Android嵌入式设备上推理速度由16fps提高到30fps。由此可见，检测速度相比原网络提升明显，且精度提升，足以满足实际中需求。
在其中一种实施例中，动态检测网络中阈值T2主要是为了区分动态洗手和静态洗手。因为检测模型只能对视频流中每一帧进行检测，输出每一帧中洗手动作的位置和类别。如果用户仅仅是做出洗手动作，但手不相互对搓运动，称为静态洗手。在这种情况下，虽然根据检测结果，它一直做第一步的洗手动作，所以根据公式会得到很高的分数，但是这显然不符合实际，所以得对视频流中的帧进行判别，只有检测到手部在运动，才会丢入检测网络中进行检测。在实际场景下，分别进行多次静态洗手和动态洗手，去获取阈值T2。
在其中一种实施例中，所述步骤五中，因为在实际场景中，洗手检测模型的置信度在一定程度上受到两方面影响，一是环境因素影响，比如光照强度等；另一方面是模型在安卓系统下实现时，会出现一定程度的置信度下降，这无疑会影响到最后的评价分数，因此需要对模型的置信度进行修正，对将高于阈值的置信度，适当的增大，低于阈值的置信度，不进行处理。然后综合考虑手势置信度、运动帧数以及设备最大推理能力等因素，分别计算出每一步骤的得分，最后取七个步骤的均值为总得分S，最后观察S位于哪个区间(不合格、合格、良好和优秀)，用于对本次洗手进行评价。如果评价为不合格，将会要求重新进行手卫生检测，直至满足要求。此外，每一得分以及相应的洗手视频都上传到服务器进行保存，方便后续查看。以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
Claims (7)
1.一种适用于Android设备的手卫生实时检测方法，具体步骤如下：
步骤1、通过摄像头实时采集目标人员洗手时的视频帧；
步骤2、对视频帧进行预处理，截取视频帧中手部区域；
步骤3、将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域输入动态检测网络，通过动态检测网络判断手是否运动，如果判断为动态洗手，获得视频流中手部区域的视频帧，即洗手图像；反之，则丢弃该帧；
步骤4、获取洗手图像并对应标记洗手状态标注标签，构建包括洗手图像和对应洗手状态标注标签的数据集；对YOLOv5网络进行改进，获得改进后的轻量化YOLOv5网络，通过数据集对改进后的轻量化YOLOv5网络进行训练，构建以洗手图像为输入，洗手状态评价指标为输出，获得训练完成的轻量化YOLOv5模型；洗手状态评价指标包括位置、类别和置信度；
对训练完成的轻量化YOLOv5模型进行格式转换，获得Android设备下的轻量化YOLOv5模型，以便调用Android嵌入式平台的NPU，并进行实时检测；
步骤5、针对Android设备下的轻量化YOLOv5模型，通过对所述置信度进行后处理，调整模型输出结果中的置信度，提高识别的准确性；通过记录下的各步骤已检测帧数，以及各帧洗手状态评价指标，依照评分规则计算各步得分，得到总分S，用于评价目标人员洗手效果，如果某步评价为不合格，要求重新进行该步手卫生检测，直至所有步骤满足要求。
2.根据权利要求1所述一种适用于Android设备的手卫生实时检测方法，其特征在于，所述步骤3中，先将截取出的当前视频帧的手部区域与上一帧视频帧中的手部区域转化为灰度图像，再经过高斯模糊消除噪声干扰，然后再将这两帧图像由公式进行相减操作，得到差分图像；
Dn(x,y)＝|fn(x,y)-fn-1(x,y)|
其中Dn(x,y)为差分图像，fn(x,y)为第n帧灰度高斯模糊后图像，fn-1(x,y)为第n-1帧灰度高斯模糊后图像；
再根据设定的阈值T1，将差分图像二值化，得到二值化图像Rn(x,y)；
最后对二值化图像求和，得到Sumn，
与阈值T2进行比较，大于等于该值时，可视为处于洗手状态，小于该值时，视为处于静态洗手状态，其中阈值T2为预设参数。
3.根据权利要求1所述一种适用于Android设备的手卫生实时检测方法，其特征在于，步骤4所述对YOLOv5网络进行的改进，包括将YOLOv5网络结构中的特征提取网络替换为ShuffleNetv2、在ShuffleNetv2之后引入SE注意力机制模块，删除最大特征图来简化网络结构，获得改进后的轻量化YOLOv5网络，用于提高检测速度。
4.根据权利要求1所述一种适用于Android设备的手卫生实时检测方法，其特征在于，步骤4所述格式转换具体步骤为对于训练完成的轻量化YOLOv5模型，将其转换为ONNX格式模型文件，再转换成Android设备对应框架所使用的各模型文件格式，获得Android设备下的轻量化YOLOv5模型，以便于调用Android嵌入式平台的NPU，并进行实时推理。
5.根据权利要求4所述一种适用于Android设备的手卫生实时检测方法，其特征在于，所述Android设备对应框架所使用的各模型文件格式包括NCNN文件、TFLITE文件、RKNN文件。
6.根据权利要求1所述一种适用于Android设备的手卫生实时检测方法，其特征在于，步骤5所述的后处理包括对模型的置信度进行修正，包括增大高于阈值的置信度，不处理低于阈值的置信度；通过调整模型输出结果的置信度，用于提高识别准确度并降低格式转换以及实际场景中光照强度影响。
7.根据权利要求1所述一种适用于Android设备的手卫生实时检测方法，其特征在于，步骤5分别计算出每一洗手步骤的得分，取七个步骤的均值为总分S，针对总分S对本次洗手进行评价，对于得分低于预设数值的步骤，要求其重新进行该步洗手动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310852088.9A CN117496389A (zh) | 2023-07-12 | 2023-07-12 | 一种适用于Android设备的手卫生实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310852088.9A CN117496389A (zh) | 2023-07-12 | 2023-07-12 | 一种适用于Android设备的手卫生实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117496389A true CN117496389A (zh) | 2024-02-02 |
Family
ID=89677067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310852088.9A Pending CN117496389A (zh) | 2023-07-12 | 2023-07-12 | 一种适用于Android设备的手卫生实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496389A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115953A (zh) * | 2024-04-29 | 2024-05-31 | 武汉大学中南医院 | 一种手术室适用的外科手消毒智能化监测方法和装置 |
-
2023
- 2023-07-12 CN CN202310852088.9A patent/CN117496389A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115953A (zh) * | 2024-04-29 | 2024-05-31 | 武汉大学中南医院 | 一种手术室适用的外科手消毒智能化监测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316307B (zh) | 一种基于深度卷积神经网络的中医舌图像自动分割方法 | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| CN110059642B (zh) | 人脸图像筛选方法与装置 | |
| CN111325745B (zh) | 骨折区域分析方法和装置、电子设备及可读存储介质 | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| JP2013065103A (ja) | 追跡装置、追跡方法およびプログラム | |
| CN117496389A (zh) | 一种适用于Android设备的手卫生实时检测方法 | |
| CN111931654A (zh) | 一种人员跟踪智能监测方法、系统和装置 | |
| CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN111128369A (zh) | 一种用于评估患者的帕金森病情的方法和装置 | |
| CN111986163A (zh) | 人脸图像选择方法和装置 | |
| CN112991280A (zh) | 视觉检测方法、系统及电子设备 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN115861715A (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| CN112036328A (zh) | 银行客户满意度计算方法及装置 | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| Hao et al. | Automatic detection of fungi in microscopic leucorrhea images based on convolutional neural network and morphological method | |
| KR20100116404A (ko) | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 | |
| CN114708493A (zh) | 一种中医裂纹舌诊便携设备及使用方法 | |
| CN112991281A (zh) | 视觉检测方法、系统、电子设备及介质 | |
| CN112733722B (zh) | 姿态识别方法、装置、系统及计算机可读存储介质 | |
| Agnihotri et al. | Vision based Interpreter for Sign Languages and Static Gesture Control using Convolutional Neural Network | |
| Kardawi et al. | A Comparative Analysis of Deep Learning Models for Detection of Knee Osteoarthritis Disease through Mobile Apps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |