CN111598081A - 一种七步洗手法操作规范性自动检测方法 - Google Patents
一种七步洗手法操作规范性自动检测方法 Download PDFInfo
- Publication number
- CN111598081A CN111598081A CN202010272963.2A CN202010272963A CN111598081A CN 111598081 A CN111598081 A CN 111598081A CN 202010272963 A CN202010272963 A CN 202010272963A CN 111598081 A CN111598081 A CN 111598081A
- Authority
- CN
- China
- Prior art keywords
- gesture
- hand washing
- normative
- type
- learning rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005406 washing Methods 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 22
- 210000003811 finger Anatomy 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 13
- 238000001914 filtration Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 6
- 210000001145 finger joint Anatomy 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 206010011409 Cross infection Diseases 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000004898 kneading Methods 0.000 description 4
- 206010029803 Nosocomial infection Diseases 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005541 medical transmission Effects 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种七步洗手法操作规范性自动检测方法，包括以下步骤：S1，利用置于洗手台上方的摄像头，采集洗手视频；S2，根据硬件实际情况及检测帧率的要求，对洗手视频截图并对其进行预处理；S3，将预处理后的每一帧图像输入到采用自适应学习率算法训练的经裁剪的YOLOv3手势类型检测网络，得到每一帧的手势类型及其置信度；S4，基于所有检测得到的手势信息计算各手势类型的排列顺序、有效时间及其修正的平均置信度；S5，基于得到的各手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价。本发明提高评价的客观性、有利于实施有效监督；提高手势类型检测的速度和准确率；提高评价的合理性。
Description
技术领域
本发明涉及深度学习和手势识别领域，具体是一种基于YOLOv3的七步洗手法操作规范性自动检测方法，尤其涉及一种基于第三代You Only Look Once(简称YOLOv3)的手势自动识别方法。
背景技术
手卫生是预防医院疾病传播和交叉感染的重要手段，通常指各种清除手部皮肤表面病原生物的方法，主要指洗手、外科手消毒和卫生手消毒，是预防、控制医院感染最简便有效的方法。七步洗手法作为标准洗手法的代表，不仅能清除表面污渍、碎屑，还能消除致病菌，因此该方法在加强医院管理，减少医院感染上起到重要作用。
传统的洗手行为检测方法一般都是先进行特征提取，然后使用支持向量机等对提取的特征进行分类识别，因此传统方法在泛化能力以及计算开销上存在难以解决的问题。例如有基于几何特征的手势识别方法，几何特征指的是如手掌颜色、面积、轮廓特征，这种识别方法大多采用各种距离公式进行模板匹配，因此原理简单，但是无法解决手势的时间可变性，识别精度低。基于隐马尔可夫模型的手势识别，隐马尔可夫模型是一种能细致描述信号的时空变化统计分析的模型，所以对于动态手势识别非常合适，但由于其分析复杂、计算量大、速度慢，故而较少采用。因此，基于YOLOv3的七步洗手法操作规范性自动检测方法在预防医院感染中有较好的应用前景。
YOLO作为一种新的目标识别方法，属于one-stage目标识别算法(也称one-shotobject detectors)，其特点是一步到位，速度相对较快。one-stage识别方法，仅仅需要送入网络一次就可以预测出所有的边界框，因而速度较快，非常适合用于实时识别。YOLO采用单个神经网络直接预测目标边界和类型概率，实现端到端的检测。最新的第三代YOLO技术，在检测速度非常快的情况下，还能拥有较高的识别准确率，因此非常适合用于七步洗手法操作规范性自动检测。
发明内容
为了克服已有手势识别方法的鲁棒性较差、识别精度低、识别速度慢的缺点，以及亟待解决的洗手规范性检测，本发明提供了一种增强鲁棒性、提高识别精度和识别速度的基于YOLOv3的七步洗手法操作规范性自动检测方法。
本发明解决其技术问题所采用的技术方案是：
一种七步洗手法操作规范性自动检测方法，所述方法包括以下步骤：
S1，利用置于洗手台上方的摄像头，采集洗手视频；
S2，根据硬件实际情况及检测帧率的要求，对洗手视频截图并对其进行预处理；
S3，将预处理后的每一帧图像输入到采用自适应学习率算法训练的经裁剪的YOLOv3手势类型检测网络，得到每一帧的手势类型及其置信度；
S4，基于所有检测得到的手势信息计算各手势类型的排列顺序、有效时间及其修正的平均置信度；
S5，基于得到的各手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价。
进一步，所述步骤S1中，根据所述利用置于洗手台上方的摄像头，采集洗手人员的洗手视频，指将摄像头固定于洗手台上方，保证能够完整拍摄到水池区域的位置，以确保洗手人员的手部区域完整的出现在视频中。
再进一步，所述步骤S2的过程为：
七步洗手法中的各类洗手动作在正常操作下1秒内重复次数不会大于5次，因此检测帧率要求大于等于5fps，在硬件条件允许的情况下，尽可能的使检测帧率达到最大；
为获得质量较高的图像以提高网络检测的准确率，对原始图像进行双边滤波处理，双边滤波是一种考虑两个像素点的距离和相似度的滤波算法，可以有效的去除图像中的噪声。
更进一步，所述步骤S3的过程为：
收集不同人员的不同洗手图片用于训练YOLOv3手势类型检测网络，有以下两个途径，第一，从不同洗手监控历史视频中逐帧截取保存包含洗手人员的图片；第二，让20名(其中男女各半)年龄不同、身高体型不同的人员进行洗手操作，模拟正确洗手动作，从各个角度拍摄并保存照片；其中，对于任一类型手势，要求收集到的数量大于等于250张。
为拥有更多的数据集以提高网络检测的鲁棒性，对收集到的七步洗手数据集进行数据扩充，指对原始图像进行不同角度旋转、添加不同程度噪声、改变对比度、改变亮度；
对扩充后的数据集，利用labelImg软件进行手势区域的标注，得到xml标注文件；
为避免YOLOv3手势类型检测网络在训练过程中由于设置的学习率大小不恰当导致网络参数震荡及过早地收敛于局部最优解，使用自适应学习率算法根据网络训练情况自动调整学习率，避免上述问题出现；
自适应学习率下的模型训练对学习率大小的判断采用的策略就是:先使用0.001作为初始学习率，在训练的前几个epoch中慢慢增大学习率，之后再根据准确率的大小及其增量综合判断动态减小学习率。
在检测七步洗手法操作规范性时，由于操作人员的洗手速度各不相同，在一秒内对同一个类型的手势有可能会重复很多次，这就需要网络有较高的检测帧率，同时由于在拍摄洗手视频的过程中，摄像头距离手不宜过近，因此裁去YOLOv3网络中用于输出13*13尺寸特征图的卷积层，达到简化网络的效果，提高网络的检测帧率；
将训练集标签文件输入到裁剪后的YOLOv3网络中，经过网络计算得到26*26和52*52两种尺寸的特征图，结合维度聚类算法计算出的候选框得到误差损失，最后利用上述自适应学习率算法对网络进行500个epoch的训练，从而得到训练后的YOLOv3手势类型检测网络；
将预处理操作后的视频图像输入到训练后的YOLOv3手势类型检测网络，经过网络计算得到26*26和52*52两种尺寸的特征图。
通过双尺度特征图中包含的关于识别到的手势置信度、手势类型，记录对应帧中出现的手势置信度及类型。
进一步，所述步骤S4的过程为：
根据记录到的各帧图像中的手势类型，经过统计获得各手势类型的排列顺序，同时将对应手势计数器中加1获得该类手势识别次数，通过对手势识别次数进行统计，得到对应的各类手势的有效时间，根据记录到的各帧图像中的手势置信度，通过计算获取对应类型手势平均置信度；
考虑实际检测过程中，由于一些不稳定因素的存在，例如：光照强度和器件老化等，会影响YOLOv3手势类型检测网络检测到的手势置信度的准确率，因此引入修正函数对计算得到的各类型手势平均置信度进行修正，使低于30％的手势平均置信度衰减为更小的值；使高于70％的手势平均置信度增强为更大的值，以此使各类型手势平均置信度更切合实际。
进一步，所述步骤S5中，YOLOv3手势类型检测网络在对洗手人员的操作规范性检测时难免会对某些帧的手势检测出现差错，导致评价出现偏差，因此提出以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准克服上述困难，提高评价的合理性；
操作为：根据各手势类型的有效时间及其修正后的平均置信度进行对应类别手势的单独评分，再求和统计总分记为基础得分，然后结合手势先后顺序是否合理酌情考虑扣分，最后得到评价洗手规范性的总得分；
洗手规范性等级评价标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分。
本发明的有益效果主要表现在：采用图像处理和人工智能技术，实现对七步洗手法操作规范性进行自动检测，提高评价的客观性、有利于实施有效监督；通过裁剪YOLOv3网络，提高手势类型检测的速度；通过自适应学习率算法，提高YOLOv3网络对手势类型检测的准确率；以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准，降低因单帧手势检测差错引起的评价偏差，提高评价的合理性。
附图说明
图1为本发明所采用的七步洗手法操作规范性自动检测方法的整体结构示意图。
图2为本发明所采用的基于YOLOv3手势类型检测网络训练的流程示意图。
图3为本发明所采用的样本标签制作的结构示意图。
图4为本发明所采用的数据集数据扩充的结构示意图。
图5为本发明所采用的手势检测的流程示意图。
图6为本发明所采用的七步洗手法操作规范性评价的结构程示意图。
图7为本发明所采用的修正函数的曲线图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1-图7，一种七步洗手法操作规范性自动检测方法，用于七步洗手法操作规范性的自动检测。本申请实施例所述的洗手法操作规范性的检测方法，主要是指使用裁剪后的YOLOv3网络、自适应学习率算法以及洗手规范性评价标准。
本申请实施例中使用的网络整体结构如附图1所示。首先利用置于洗手台上方的摄像头，采集洗手人员的洗手视频，接着截取洗手视频中的每一帧图像并对其进行预处理操作，然后将预处理后的图像输入到训练后的YOLOv3手势检测网络中，通过计算得到对应帧的两个尺度的特征图，记录这些特征图中的手势信息并转换成各手势类型的顺序、有效时间及其修正后的平均置信度，接着根据洗手规范性评价规则进行评分，最后根据洗手规范性等级评价标准，得出洗手规范性等级。
本申请实施例所述的基于YOLOv3的七步洗手法操作规范性自动检测方法，包括如下步骤：
步骤S1，利用置于洗手台上方的摄像头，采集洗手视频；
步骤S2，根据硬件实际情况及检测帧率的要求，对洗手视频截图并对其进行预处理；
步骤S3，将预处理后的每一帧图像输入到采用自适应学习率算法训练的经裁剪的YOLOv3手势类型检测网络，得到每一帧的手势类型及其置信度；
步骤S4，基于所有检测得到的手势信息计算各手势类型的排列顺序、有效时间及其修正的平均置信度；
步骤S5，基于得到的各手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价。
本申请实施例中，根据所述利用置于洗手台上方的摄像头，采集洗手人员的洗手视频。
指将摄像头固定于洗手台上方，保证能够完整拍摄到水池区域的位置，以确保洗手人员的手部区域完整的出现在视频中。
本申请实施例中，所述步骤S2中，根据所述根据硬件实际情况及检测帧率的要求，对洗手视频截图并对其进行预处理，包括：
对截取下来的洗手视频原始图像进行双边滤波处理；
双边滤波是一种考虑两个像素点的距离和相似度的滤波算法，如式(1)所示：
d(ξ，x)＝d(ξ-x)＝||ξ-x|| (4)
σ(φ，f)＝δ(φ-f)＝||φ-f|| (6)
其中，x表示图像中某一像素点的坐标，h(x)表示像素点滤波后的值，k-1(x)为归一化因子，ξ表示图像中任意像素点的坐标，f(·)表示像素点值的大小，c(ξ，x)表示像素点之间距离的相似度，s(f(ξ)，f(x)表示像素点之间值的相似度，σd表示空域的方差，d(ξ，x)表示像素点之间距离差的绝对值，σr表示值域的方差，φ表示ξ像素点值的大小，f表示x像素点值的大小，σ(φ，f)表示像素点之间值差的绝对值；
本申请实施例中，所述步骤S4中，根据所述将预处理后的每一帧图像输入到采用自适应学习率算法训练的经裁剪的YOLOv3手势类型检测网络，得到每一帧的手势类型及其置信度，包括：
收集不同人员的不同洗手图片用于训练YOLOv3手势类型检测网络，有以下两个途径，第一，从不同洗手监控历史视频中逐帧截取保存包含洗手人员的图片；第二，让20名(其中男女各半)年龄不同、身高体型不同的人员进行洗手操作，模拟正确洗手动作，从各个角度拍摄并保存照片，其中，对于任一类型手势，要求收集到的数量大于等于250张。
如图3所示，对收集到的数据集进行顺时针旋转10度、逆时针旋转10度、添加高斯噪声、椒盐噪声、增减对比度10％、增减亮度10％。将原图片和衍生图片一并作为制作样本的素材，以此方式来扩充数据集，从而对抗摄像头识别目标角度不同，内部器件老化，以及光照环境不同等引起的误判。
七步洗手法中对于手势动作需分左右，但由于第1步和第3步左右手的差别很小，所以对于这两步洗手动作不分左右，因此共有7步12类洗手动作。
对扩充后的七步洗手法中12类洗手动作数据集制作标签，图4给出了步骤：
步骤S110，将数据集使用Python程序批量重命名为“00001.jpg”的形式；
步骤S120，对重命名的的图像数据集中的每张图片利用labelImg标签制作工具标记出手势区域框，并注释手势的类型信息和位置信息，生成xml手势标签文件；
步骤S130在工程下新建一个文件夹VOCdevkit，目录结构为VOCdevkit/VOC2007/，在此目录下新建文件夹Annotation，JPEGImages，ImageSet，将所有的训练图片都放入JPEGImages文件夹内，将所有的xml标注文件都放入Annotation文件夹内，接着创建/ImageSet/Main文件夹运行程序生成train.txt,val.txt，test.txt，分别表示训练、验证和测试图片的索引。在voc_annotation.py中修改所要检测的类型名，如classes＝[“1”,“2.0”,“2.1”,…,“7.0”,“7.1”]，其中洗手步骤1和3不分左右，其余手势步骤分左右，体现在标签中为小数点后0表示对应步骤的左手类型，1表示对应步骤的右手类型。
将制作好的标签文件输入到维度聚类算法中得到候选框大小并反馈给YOLOv3网络，用于后续计算误差损失。
维度聚类算法的主要策略如下述所示：
首先根据所需分类的数目给出K个聚类中心点(Wi，Hi)，i∈{1,2,…,k}，这里wi，hi是预测框的宽和高，由于预测框位置不固定，因此没有(x，y)的坐标。
其次计算每个标注框和每个聚类中心点的距离d-IOU(标注框，聚类中心)，计算时每个标注框的中心点都与聚类中心重合，这样才能计算IOU值，即d＝1-IOU[(xj,yj,wj,hj),(xj,yj,Wi,Hi)]，j∈{1,2,…,N},i∈{1,2,…,k}。将标注框分配给“距离“最近的聚类中心。
最后所有标注框分配完毕后，再对每个簇重新计算聚类中心点，重复如此直到聚类中心改变量很小。
裁去YOLOv3网络中用于输出13*13尺寸特征图的卷积层，保留26*26和52*52尺寸的特征图。
再将制作好的标签文件输入到裁剪后的YOLOv3网络得到误差损失，使用自适应学习率算法对误差损失进行梯度下降，获得用于检测七步洗手法操作规范性的网络。具体操作如下所示：
首先对模型训练进行阐述，YOLOv3在训练过程中将图像分割成SxS的网格，如果某个object的中心落在这个网格中，则这个网格就负责预测这个object，每个网格要预测3个bounding box，每个bounding box除了要回归自身的位置之外，还要附带一个confidence值用以判别预测框中物体为对象的概率。因此，其损失函数如式(7)所示：
其中，
为预测框坐标误差，
为预测框与标注框之间的IOU误差，
为分类误差。
在网络中对参数的训练过程即参数的更新公式如式(8)所示：
其中，θ′为模型中经训练后更新的参数，θ为模型中的参数，l为学习率，J(·)表示损失函数
自适应学习率算法采用的策略就是使用0.001作为初始学习率，在训练的前几个epoch中慢慢增大学习率，之后再根据准确率的大小及其增量综合判断动态减小学习率。具体实现过程如式(9)所示：
式(9)中a取1.05，b为设定的前几个epoch需要根据所训练的数据集大小判定，n表示当前训练epoch数，l0表示初始学习率，p表示当前的测试准确率，Δp表示准确率增量，A表示一次不使用自适应学习率训练得到的模型准确率收敛值。
利用上述自适应学习率算法对YOLOv3网络进行500个epoch的训练，具体流程如图2所示，最后得到用于七步洗手规范性检测的网络。
将预处理后的每一帧洗手视频图像输入到训练好的YOLOv3检测网络。
通过darknet-53基础网络之后的一个3*3和一个1*1的卷积层的计算，得到13*13尺寸的特征图；
通过对13*13尺寸的特征图进行上采样后卷积，再与darknet-53基础网络倒数第二层的残差网络块得到的26*26尺寸的特征图进行拼接，最后通过卷积层计算输出26*26尺寸的特征图用于预测中尺寸手势目标；
通过对26*26尺寸的特征图进行上采样后卷积，再与darknet-53基础网络倒数第三层的残差网络块得到的52*52尺寸的特征图进行拼接，最后通过卷积层计算输出52*52尺度的特征图用于预测小尺寸手势目标；
通过双尺度特征图中包含的关于识别到的手势置信度、手势类型，记录对应帧中出现的手势置信度及类型。
当连续3秒内无手势目标后，认为此次洗手过程结束，停止记录。
本申请实施例中，根据所述基于所有检测得到的手势信息计算各手势类型的排列顺序、有效时间及其修正的平均置信度。包括：
影响洗手规范性的因素主要有以下三个方面：一是单个手势动作的标准度，二是手势动作的持续时间，三是手势动作的先后顺序。
根据所述影响洗手规范性的三个因素分别将记录到的所有单帧手势信息转换为各帧图像的序列号以及各类型手势对应的平均置信度及识别次数，进行相应计算。
所述七步洗手法的文字表述如下：
第一步(内)：洗手掌。流水湿润双手，涂抹洗手液(或肥皂)，掌心相对，手指并拢相互揉搓；
第二步(外)：洗背侧指缝。手心对手背沿指缝相互揉搓，双手交换进行；
第三步(夹)：洗掌侧指缝。掌心相对，双手交叉沿指缝相互揉搓；
第四步(弓)：洗指背。弯曲各手指关节，半握拳把指背放在另一手掌心旋转揉搓，双手交换进行；
第五步(握)：洗拇指。一手握另一手大拇指旋转揉搓，双手交换进行；
第六步(立)：洗指尖。弯曲各手指关节，把指尖合拢在另一手掌心旋转揉搓，双手交换进行；
第七步(腕)：洗手腕、手臂。揉搓手腕、手臂，双手交换进行。
所述按各手势类型计算有效次数及平均置信度的获得方法如下述所示：
从记录到的各类型手势信息，按各手势类型计算有效次数，将对应手势计数器中加1获得该类手势有效次数，利用式(10)获取对应类型手势平均置信度。
式(10)中Ds表示第s类手势实际被网络总共识别到的次数，
表示第s类手势第n次被识别到的置信度，
表示第s类手势平均置信度，结果保留两位小数。
所述洗手过程中各手势类型的先后顺序排列的获得方法如下述所示：
按洗手规范性的要求，洗手步骤应严格按照从第一步到第七步的顺序执行七步洗手法的步骤。
所述洗手步骤先后顺序，根据s3中的各帧手势类型，得到各帧手势图像的序列号，从第一帧开始按各手势类型分类，根据式(11)对检测到的同类型手势对应的手势图像的序列号求和取平均得到各类型手势图像序列号的平均值，最后根据所得到的十二个手势图像序列号的平均值由小到大进行排序，从而得到各手势类型的排列顺序。
式(11)中，
表示各类型手势图像序列号的平均值，Ds表示第s类手势实际被网络总共识别到的次数，
表示第s类手势第n次被识别到的手势图像序列号。
所述各手势类型的排列顺序，用下述手势类型号的排列表示，按步骤顺序将十二个手势类型分别进行手势类型号标号，具体如下：手势类型号1.0为洗手掌，手势类型号2.0为洗左手背侧指缝，手势类型号2.1为洗右手背侧指缝，手势类型号3.0为洗掌侧指缝，手势类型号4.0为洗左手指背，手势类型号4.1为洗右手指背，手势类型号5.0为洗左手拇指，手势类型号5.1为洗右手拇指，手势类型号6.0为洗左手指尖，手势类型号6.1为洗右手指尖，手势类型号7.0为洗左手手腕手臂，手势类型号7.1为洗右手手腕手臂。
所述洗手的有效时间和修正的平均置信度的获得方法如下述所示：
从所述洗手动作的持续时间考虑，根据不同场合和要求，单步洗手动作的持续时间可做灵活变动，一般要求单步总时长不少于15s，总时间不少于105s，对分左右手步骤的动作，左右手时间应各不少于7.5s。若对单步时间有调整，则分左右手步骤的动作左手时间或右手时间仍应为单步总时长的一半。下述实施例中以单步时长为15s计算。
考虑实际操作过程中，不计算两个手势交换过程中的时间，对单个类型的手势持续时间的判定有一定误差，故提出有效时间作为计算洗手动作的持续时间的依据。
以单步时长15s为例，经过多次评估测试，认为检测到有效时间达到10s以上即为符合时间要求。
所述洗手动作有效时间，通过已获得的各类手势识别次数除以帧率fps得到。例如识别到手势1的次数为30次，fps为10帧/秒，则手势1的有效时间为3秒。
从所述单类手势的标准度考虑，对单次完整正确洗手过程，根据洗手规范性标准共分为七步十二个手势，其中洗手掌和洗掌侧指缝不分左右手动作，共两个手势。洗背侧指缝、洗指背、洗拇指、洗指尖和洗手腕手臂分左右手动作，共十个手势。
考虑实际检测过程中，由于一些不稳定因素的存在，例如：光照强度、器件老化等，会影响YOLOv3手势类型检测网络检测到的手势置信度的准确率，因此引入修正函数对计算得到的各类型手势平均置信度进行修正，使低于30％的手势平均置信度衰减为更小的值；使高于70％的手势平均置信度增强为更大的值，以此使各类型手势平均置信度更切合实际。
经过多次调整测试，引入式(12)的修正函数，修正函数的曲线图如图7所示，在0-0.3范围内呈现为下凸，起到衰减作用；在0-0.3范围内呈现为上凸，起到增强作用。利用此修正函数对式(10)中得到的
进行修正，得到经过修正的第s类手势的平均置信度
本申请实施例中，根据所述基于得到的各手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价。包括：
对所述七步十二类手势进行赋分，不分左右手动作的两个手势类型每个各15分，分左右手动作的十个手势类型每个各7分，总计为100分。
根据计算得到的各类手势洗手动作的有效时间和该次洗手过程单步时长的要求，计算得到第s类手势洗手的有效时间占要求单步有效时长的比例Ts，其中Ts值的上限不应超过1，超过部分的时间不记录有效时间中。
根据式(12)计算得到的
和所述第s类手势洗手的有效时间占要求单步有效时长的比例Ts，利用式(13)得到各个类型的手势动作的操作得分。
式(13)中，Cs表示第s类手势动作的得分，As表示第s类手势的赋分，
表示第s类手势经过修正的平均置信度,K表示扣分的权重值，可根据实际情况进行调整，经过多次调整测试，K取值为4较为合理。
考虑实际情况，Cs的值应大于等于0，故若计算得到的Cs<0，则Cs＝0。
考虑整体洗手过程中，洗手步骤对影响洗手效果的影响，进行酌情扣分，具体执行过程如下：
所述洗手步骤先后顺序是否出错，根据已获得的手势类型号的排列情况进行判断，考虑同一手势的左右手动作，先左后右或先右后左对洗手效果没有影响，故采用第n个手势类型号减第n-1个手势类型号得到的先后顺序判断数k判断先后顺序。
若-0.1≤k≤1.1，则认为是正确洗手顺序转变，若出现k＜-0.1或k＞1.1，则认为洗手步骤先后顺序发生错乱，认为洗手步骤先后顺序不规范。
发生一次先后顺序错乱扣1分。最后统计由洗手步骤先后顺序错乱的扣分d。
根据式(13)求得的第s类手势动作的得分Cs，结合由洗手步骤错乱的扣分d，由式(14)计算得到洗手总得分S，结果保留一位小数。
最后根据总得分S判断洗手规范性等级。
洗手规范性等级判断标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分。依据如上操作可有效避免由于单步误判从而导致对洗手规范的误判。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；对本领域的普通技术人员来说，可以根据上述说明加以改进，或者对其中部分或者全部技术特征进行等同变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种七步洗手法操作规范性自动检测方法，其特征在于：所述方法包括以下步骤：
S1，利用置于洗手台上方的摄像头，采集洗手视频；
S2，根据硬件实际情况及检测帧率的要求，对洗手视频截图并对其进行预处理；
S3，将预处理后的每一帧图像输入到采用自适应学习率算法训练的经裁剪的YOLOv3手势类型检测网络，得到每一帧的手势类型及其置信度；
S4，基于所有检测得到的手势信息计算各手势类型的排列顺序、有效时间及其修正的平均置信度；
S5，基于得到的各手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价。
2.根据权利要求1所述的七步洗手法操作规范性自动检测方法，其特征是所述步骤S3的过程为：
使用自适应学习率算法根据网络训练情况自动调整学习率；
自适应学习率下的模型训练对学习率大小的判断采用的策略就是:先使用0.001作为初始学习率，在训练的前几个epoch中慢慢增大学习率，之后再根据准确率的大小及其增量综合判断动态减小学习率；
裁去YOLOv3网络中用于输出13*13尺寸特征图的卷积层，达到简化网络的效果。
3.根据权利要求1或2所述的七步洗手法操作规范性自动检测方法，其特征是：所述步骤S4的过程为：
根据记录到的各帧图像中的手势类型，经过统计获得各手势类型的排列顺序，同时将对应手势计数器中加1获得该类手势识别次数，通过对手势识别次数进行统计，得到对应的各类手势的有效时间，根据记录到的各帧图像中的手势置信度，通过计算获取对应类型手势平均置信度；
引入修正函数对计算得到的各类型手势平均置信度进行修正，使低于30％的手势平均置信度衰减为更小的值；使高于70％的手势平均置信度增强为更大的值，以此使各类型手势平均置信度更切合实际。
4.根据权利要求1或2所述的七步洗手法操作规范性自动检测方法，其特征是：所述步骤S5中，以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准；
操作为：根据各手势类型的有效时间及其修正后的平均置信度进行对应类别手势的单独评分，再求和统计总分记为基础得分，然后结合手势先后顺序是否合理酌情考虑扣分，最后得到评价洗手规范性的总得分；
洗手规范性等级评价标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010272963.2A CN111598081A (zh) | 2020-04-09 | 2020-04-09 | 一种七步洗手法操作规范性自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010272963.2A CN111598081A (zh) | 2020-04-09 | 2020-04-09 | 一种七步洗手法操作规范性自动检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598081A true CN111598081A (zh) | 2020-08-28 |
Family
ID=72188689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010272963.2A Pending CN111598081A (zh) | 2020-04-09 | 2020-04-09 | 一种七步洗手法操作规范性自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598081A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132039A (zh) * | 2020-09-23 | 2020-12-25 | 深兰科技（上海）有限公司 | 基于lstm和手工特征实现动作分类的方法、系统 |
| CN112163531A (zh) * | 2020-09-30 | 2021-01-01 | 四川弘和通讯有限公司 | 一种基于行人手臂角度分析的加油员手势识别的方法 |
| CN112766041A (zh) * | 2020-12-25 | 2021-05-07 | 北京理工大学 | 一种基于惯性传感信号的老年痴呆患者洗手动作识别方法 |
| CN112836641A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种基于机器视觉的手卫生监测方法 |
| CN113205067A (zh) * | 2021-05-26 | 2021-08-03 | 北京京东乾石科技有限公司 | 作业人员监控方法、装置、电子设备和存储介质 |
| CN114067442A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市海清视讯科技有限公司 | 洗手动作检测方法、模型训练方法、装置及电子设备 |
| CN114120411A (zh) * | 2021-11-29 | 2022-03-01 | 杭州百世伽信息科技有限公司 | 手部卫生自动管理方法 |
| CN114973353A (zh) * | 2022-04-15 | 2022-08-30 | 合肥昊川信息科技有限公司 | 智能洗手评估方法、系统、存储介质和电子设备 |
| CN116071687A (zh) * | 2023-03-06 | 2023-05-05 | 四川港通医疗设备集团股份有限公司 | 一种手部清洁度检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120140054A1 (en) * | 2010-12-03 | 2012-06-07 | Wen-Hui Chen | Intelligent hand washing monitoring system |
| CN106154902A (zh) * | 2015-02-27 | 2016-11-23 | 毕思康 | 一种监控洗手流程的方法和系统 |
| CN109325454A (zh) * | 2018-09-28 | 2019-02-12 | 合肥工业大学 | 一种基于YOLOv3的静态手势实时识别方法 |
| CN110263689A (zh) * | 2019-06-11 | 2019-09-20 | 深圳市第三人民医院 | 一种洗手监测方法及其系统、洗手装置 |
| CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
| CN110363129A (zh) * | 2019-07-05 | 2019-10-22 | 昆山杜克大学 | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 |
| CN110458059A (zh) * | 2019-07-30 | 2019-11-15 | 北京科技大学 | 一种基于计算机视觉的手势识别方法及识别装置 |
| CN110796836A (zh) * | 2019-11-14 | 2020-02-14 | 北京小米移动软件有限公司 | 洗手监测方法、洗手监测装置及电子设备 |
-
2020
- 2020-04-09 CN CN202010272963.2A patent/CN111598081A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120140054A1 (en) * | 2010-12-03 | 2012-06-07 | Wen-Hui Chen | Intelligent hand washing monitoring system |
| CN106154902A (zh) * | 2015-02-27 | 2016-11-23 | 毕思康 | 一种监控洗手流程的方法和系统 |
| CN109325454A (zh) * | 2018-09-28 | 2019-02-12 | 合肥工业大学 | 一种基于YOLOv3的静态手势实时识别方法 |
| CN110263689A (zh) * | 2019-06-11 | 2019-09-20 | 深圳市第三人民医院 | 一种洗手监测方法及其系统、洗手装置 |
| CN110363129A (zh) * | 2019-07-05 | 2019-10-22 | 昆山杜克大学 | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 |
| CN110334684A (zh) * | 2019-07-12 | 2019-10-15 | 上海秒针网络科技有限公司 | 指导洗手流程的方法及装置 |
| CN110458059A (zh) * | 2019-07-30 | 2019-11-15 | 北京科技大学 | 一种基于计算机视觉的手势识别方法及识别装置 |
| CN110796836A (zh) * | 2019-11-14 | 2020-02-14 | 北京小米移动软件有限公司 | 洗手监测方法、洗手监测装置及电子设备 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132039A (zh) * | 2020-09-23 | 2020-12-25 | 深兰科技（上海）有限公司 | 基于lstm和手工特征实现动作分类的方法、系统 |
| CN112132039B (zh) * | 2020-09-23 | 2023-08-08 | 深兰科技（上海）有限公司 | 基于lstm和手工特征实现动作分类的方法、系统 |
| CN112163531A (zh) * | 2020-09-30 | 2021-01-01 | 四川弘和通讯有限公司 | 一种基于行人手臂角度分析的加油员手势识别的方法 |
| CN112766041A (zh) * | 2020-12-25 | 2021-05-07 | 北京理工大学 | 一种基于惯性传感信号的老年痴呆患者洗手动作识别方法 |
| CN112766041B (zh) * | 2020-12-25 | 2022-04-22 | 北京理工大学 | 一种基于惯性传感信号的老年痴呆患者洗手动作识别方法 |
| CN112836641A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种基于机器视觉的手卫生监测方法 |
| CN113205067A (zh) * | 2021-05-26 | 2021-08-03 | 北京京东乾石科技有限公司 | 作业人员监控方法、装置、电子设备和存储介质 |
| CN113205067B (zh) * | 2021-05-26 | 2024-04-09 | 北京京东乾石科技有限公司 | 作业人员监控方法、装置、电子设备和存储介质 |
| CN114120411A (zh) * | 2021-11-29 | 2022-03-01 | 杭州百世伽信息科技有限公司 | 手部卫生自动管理方法 |
| CN114067442A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市海清视讯科技有限公司 | 洗手动作检测方法、模型训练方法、装置及电子设备 |
| CN114973353A (zh) * | 2022-04-15 | 2022-08-30 | 合肥昊川信息科技有限公司 | 智能洗手评估方法、系统、存储介质和电子设备 |
| CN116071687A (zh) * | 2023-03-06 | 2023-05-05 | 四川港通医疗设备集团股份有限公司 | 一种手部清洁度检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598081A (zh) | 一种七步洗手法操作规范性自动检测方法 | |
| CN107767376B (zh) | 基于深度学习的x线片骨龄预测方法及系统 | |
| CN110503077B (zh) | 一种基于视觉的实时人体动作分析方法 | |
| CN108647663B (zh) | 基于深度学习和多层次图结构模型的人体姿态估计方法 | |
| CN105426929B (zh) | 对象形状对准装置、对象处理装置及其方法 | |
| CN108932724B (zh) | 一种基于多人协同图像标注的系统自动审核方法 | |
| CN112949408B (zh) | 一种过鱼通道目标鱼类实时识别方法和系统 | |
| CN112541529A (zh) | 表情与姿态融合的双模态教学评价方法、设备及存储介质 | |
| CN112836641A (zh) | 一种基于机器视觉的手卫生监测方法 | |
| CN108985223A (zh) | 一种人体动作识别方法 | |
| Davis et al. | Automated bone age assessment using feature extraction | |
| CN110472673B (zh) | 参数调整方法、眼底图像处理方法、装置、介质及设备 | |
| CN112862749A (zh) | 一种骨龄图像数字化处理后自动识别方法 | |
| CN109997199A (zh) | 基于深度学习的结核病检查方法 | |
| CN113974612B (zh) | 一种卒中患者上肢运动功能自动化评估方法与系统 | |
| CN114550299A (zh) | 基于视频的老年人日常生活活动能力评估系统和方法 | |
| CN109816721A (zh) | 图像定位方法、装置、设备及存储介质 | |
| CN114343577A (zh) | 认知功能评价方法、终端设备以及计算机可读存储介质 | |
| CN116704208B (zh) | 基于特征关系的局部可解释方法 | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和系统 | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| CN112597842B (zh) | 基于人工智能的运动检测面瘫程度评估系统 | |
| CN115294556A (zh) | 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法 | |
| CN107451578A (zh) | 基于体感设备的聋哑人手语机器翻译方法 | |
| Wu et al. | Spoon surface defect detection based on improved yolo v3 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |