CN114973353A - 智能洗手评估方法、系统、存储介质和电子设备 - Google Patents

智能洗手评估方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN114973353A
CN114973353A CN202210395790.2A CN202210395790A CN114973353A CN 114973353 A CN114973353 A CN 114973353A CN 202210395790 A CN202210395790 A CN 202210395790A CN 114973353 A CN114973353 A CN 114973353A
Authority
CN
China
Prior art keywords
hand washing
evaluation
score
frame
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210395790.2A
Other languages
English (en)
Inventor
鲁超
屈炎伟
唐文涛
张�林
李霄剑
刘键
李振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Haochuan Information Technology Co ltd
Original Assignee
Hefei Haochuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Haochuan Information Technology Co ltd filed Critical Hefei Haochuan Information Technology Co ltd
Priority to CN202210395790.2A priority Critical patent/CN114973353A/zh
Publication of CN114973353A publication Critical patent/CN114973353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种智能洗手评估方法、系统、存储介质和电子设备，涉及医疗教学评估技术领域。本发明基于七步洗手法，包括实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；根据上述实时判别结果，统计每一洗手步骤的有效时长；根据所述洗手全流程视频，检测每一帧的洗手速度；根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。对学员洗手过程的标准化、规范化及有效性能够进行客观、科学、智能化的量化评估，避免了由于授课老师的主观感受而造成的评估结果不准确等现象。

Description

智能洗手评估方法、系统、存储介质和电子设备
技术领域
本发明涉及医疗教学评估技术领域，具体涉及一种智能洗手评估方法、系统、存储介质和电子设备。
背景技术
随着社会经济的不断发展与生活水平的提高，人们越来越注重个人卫生的保持，勤洗手是一种良好的卫生习惯。在当前疫情依然严重的形势下，个人及公共卫生得到空前重视，手部清洁是减少手部细菌、病毒传播最直接、最有效、最经济、最便捷的方式之一。如何让人们能够按照规范流程和标准进行正确洗手，有效清除手部细菌病毒显得非常必要。
目前，在医疗院校中，正确洗手的教学课程一般由授课老师通过现场讲解及示范等方式进行传授，但依然存在一些缺陷：1、由于学员人数众多，而教学老师较少，增加老师的工作量，而且这种人工评估模式其效率也比较低下；2、不同的学员观察力、理解力不尽相同，最终学员洗手流程的规范化及标准化程度掌握如何，无法进行精准的量化；3、学员掌握程度的好坏，全靠教学老师的主观感受，没有一种科学的评估方法和标准。
鉴于此，有必要提供一种智能洗手评估技术方案。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种智能洗手评估方法、系统、存储介质和电子设备，解决了无法精准量化评估成果的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种智能洗手评估方法，该评估方法基于七步洗手法，包括：
实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
根据上述实时判别结果，统计每一洗手步骤的有效时长；
根据所述洗手全流程视频，检测每一帧的洗手速度；
根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。
优选的，在实时获取洗手全流程视频之前，该评估方法还包括：针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
以及在获取并实时显示所述学员的最终评估得分之后，该评估方法还包括：将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
优选的，采用深度神经网络算法对每一帧图像进行手势识别，判定每一帧所属的当前洗手步骤step_i；采用多数投票法判定1秒内此阶段当前步骤step_i；以及确定当前步骤step_i出现的总次数num_i。
优选的，采用Lucas-Kanade光流法检测每一帧的洗手速度，1秒内此阶段当前步骤step_i的速度vt＝vt/num_i，其中vt为当前步骤step_i所对应的每一帧洗手速度之和；
所述Lucas-Kanade光流法中采用随机采样一致性参数优化方法，具体包括：
从观测点集中随机取两点,计算出直线的参数k、t，得出一个候选的直线模型；
计算候选直线与整个点集的匹配程度，采用统计在直线上或到直线的距离小于预设距离阈值的点的个数，个数越多匹配度越高；
保留匹配程度最好的直线的参数；
如果本次尝试匹配点的个数占整个点集大部分,超出预期阈值,提前结束尝试。
优选的，所述根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，包括：
score_i＝α_i*β_i*100
其中，score_i表示第i步骤的阶段评估得分；
速度权重α_i＝num_i/num，
Figure BDA0003598881670000031
num_i表示当前步骤step_i出现的累积次数，初始化值为0；
thread_1、thread_2分别为最小速度及最大速度阈值；
vf表示当前帧的洗手速度；
num表示所有步骤出现的总次数；
时长权重
Figure BDA0003598881670000041
t为当前步骤的有效时长，threadt为时长阈值。
优选的，所述结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分，包括：
对所述阶段评估得分score_i求均值score_m；
统计全流程洗手顺序有效性，对score_m乘以洗手顺序权重系数γ获取最终评估得分score_final，并进行实时显示，其中：
Figure BDA0003598881670000042
Figure BDA0003598881670000043
正确洗手步骤为1234567，ε为洗手顺序错误的个数。
一种智能洗手评估系统，该评估系统基于七步洗手法，包括：
手势识别模块，用于实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
步骤-时长统计模块，用于根据上述实时判别结果，统计每一洗手步骤的有效时长；
速度检测模块，用于根据所述洗手全流程视频，检测每一帧的洗手速度；
智能评估模块，用于根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。
优选的，在所述手势识别模块执行实时获取洗手全流程视频之前，该评估系统还包括：人脸识别模块，用于针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
以及在智能评估模块执行获取并实时显示所述学员的最终评估得分之后，该评估系统还包括：数据存储模块，用于将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
一种存储介质，其存储有用于智能洗手评估的计算机程序，其中，所述计算机程序使得计算机执行如上所述的智能洗手评估方法。
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的智能洗手评估方法。
(三)有益效果
本发明提供了一种智能洗手评估方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明基于七步洗手法，包括实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；根据上述实时判别结果，统计每一洗手步骤的有效时长；根据所述洗手全流程视频，检测每一帧的洗手速度；根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。对学员洗手过程的标准化、规范化及有效性能够进行客观、科学、智能化的量化评估，避免了由于授课老师的主观感受而造成的评估结果不准确等现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种智能洗手评估方法的流程示意图；
图2为本发明实施例提供的一种洗手速度检测流程示意图；
图3为本发明实施例提供的一种智能洗手评估系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种智能洗手评估方法、系统、存储介质和电子设备，解决了无法精准量化评估成果的技术问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例基于七步洗手法，包括实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；根据上述实时判别结果，统计每一洗手步骤的有效时长；根据所述洗手全流程视频，检测每一帧的洗手速度；根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。对学员洗手过程的标准化、规范化及有效性能够进行客观、科学、智能化的量化评估，避免了由于授课老师的主观感受而造成的评估结果不准确等现象。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
如图1所示，本发明实施例提供了一种智能洗手评估方法，该评估方法基于七步洗手法，包括：
S1、针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
S2、实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
S3、根据上述实时判别结果，统计每一洗手步骤的有效时长；
S4、根据所述洗手全流程视频，检测每一帧的洗手速度；
S5、根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分；
S6、将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
本发明实施例一方面教学效果评估过程中，实现全流程的自动化与智能化，而无需人工手动及干预，提高了评估效率，大大减低了授课老师的工作强度；对学员洗手过程的标准化、规范化及有效性能够进行客观、科学、智能化的量化评估，避免了由于授课老师的主观感受而造成的评估结果不准确等现象。
另一方面，在学员进行评估过程中，洗手全流程数据及统计分析结果可实时存档，以便于后期的查阅，保证了评估效果的可追溯性。
下面将结合说明书附图详细介绍上述技术方案的各个步骤：
在步骤S1中，针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案。
开始时，相机1进行实时人脸检测：
若未检测到人脸，则持续进行检测，若检测到人脸，则自动截取人脸图像并与数据库中人脸图像进行相似性比较分析；
若检测到学员为新人，其人脸图像不存在于数据库，则新建其个人档案，并在数据库中保存其人脸图像信息，若人脸图像信息存在于数据库，则会成功匹配人脸，获取其个人档案位置，用于后期数据的保存。
同时关闭相机1，开启相机2，倒计时3秒后进入手势识别流程。
在步骤S2中，实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤。
学员按照七步洗手法流程进行洗手，采用深度神经网络算法对每一帧图像进行手势识别，判定每一帧所属的当前洗手步骤step_i；采用多数投票法判定1秒内此阶段当前步骤step_i；以及确定当前步骤step_i出现的总次数num_i。
此外，本步骤中还可以对步骤-时间界面、当前步骤界面按1秒钟频率进行刷新，将分析结果实时显示在界面上。
在步骤S3中，根据上述实时判别结果，统计每一洗手步骤的有效时长。
在步骤S2针对洗手步骤，采用多数投票法统计每1秒属于第几步后，本步骤将同一步骤洗手有效时长进行累计加1，并作为后续阶段评估的输入因素之一。
在步骤S4中，如图2所示，根据所述洗手全流程视频，检测每一帧的洗手速度。
采用Lucas-Kanade光流法检测每一帧的洗手速度，1秒内此阶段当前步骤step_i的速度vi＝vt/num_i，其中vt为当前步骤step_i所对应的每一帧洗手速度之和；且也按照1秒的刷新频率显示在界面上。
LK算法其基本思想基于以下三个假设：
①亮度恒定：即同一目标在不同帧间运动时，其亮度不会发生改变；
②时间连续或运动是“小运动”：即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移比较小；
③空间一致性：所有的相邻像素具有相似的运动，也就是在目标图像周围m*m的区域内，每个像素具有相同的光流矢量。
基本约束方程：
基于以上①②假设，我们得到图像的约束方程：
I(x,y,t)＝I(x+δx,y+δy,t+δt) ⑴
其中，I(x,y,t)为t时刻洗手图像帧在(x,y)位置的亮度，
I(x+δx,y+δy,t+δt)为t+δt时刻，图像在(x+δx,y+δy)处的亮度。
利用泰勒公式对函数I(x+δx,y+δy,t+δt)在(x,y,t)处展开可得：
Figure BDA0003598881670000101
其中，R(x,y,t)为高阶余项，近似为0。
联合公式(1)(2)得：
Figure BDA0003598881670000102
(3)式两边同除以δt得：
Figure BDA0003598881670000103
其中，
Figure BDA0003598881670000104
和
Figure BDA0003598881670000105
分别为像素点沿x,y方向的导数，也就是沿x,y方向的速度u和v，(u,v)即为我们要求解的光流矢量。
上式可改写成如下：
Ixu+Iyv＝-It ⑸
由于上式存在两个未知数，无法求解u和v。因此基于以上假设③，在大小为m*m(n＝m2)窗口内，每个像素的光流为一个定值，因此可到如下方程组：
Figure BDA0003598881670000111
采用RANSAC优化方法，即可得到最优解u*、v*，将这两个分量进行合并就得到每帧的洗手速度vf。
由于光照变化、周围环境及相机等不确定偶然因素的存在，对于每一帧图像可能会存在一定量的噪音干扰，此干扰会对速度结果产生影响，为了确保结果的准确性及鲁棒性，在所述Lucas-Kanade光流法中采用随机采样一致性(randomsampleconsensus,RANSAC)参数优化方法，避免了原Lucas-Kanade光流法中最小二乘法噪音剔除不理想问题，以此获取每一帧手部更为准确的速度；具体包括：
从观测点集中随机取两点,计算出直线的参数k、t，得出一个候选的直线模型；
计算候选直线与整个点集的匹配程度，采用统计在直线上或到直线的距离小于预设距离阈值的点的个数，个数越多匹配度越高；
保留匹配程度最好的直线的参数；
如果本次尝试匹配点的个数占整个点集大部分,超出预期阈值,提前结束尝试。
本发明实施例在于采用计算机视觉算法，对每一帧手部特征点进行检测，并采用参数优化方法，实现洗手速度的实时检测。
在步骤S5中，根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。
所述根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，包括：
score_i＝α_i*β_i*100
其中，score_i表示第i步骤的阶段评估得分；
速度权重α_i＝num_i/num，
Figure BDA0003598881670000121
num_i表示当前步骤step_i出现的累积次数，初始化值为0；
thread_1、thread_2分别为最小速度及最大速度阈值；
vf表示当前帧的洗手速度；
num表示所有步骤出现的总次数；
时长权重
Figure BDA0003598881670000122
t为当前步骤的有效时长，threadt为时长阈值。
持续进行上述步骤S2～4步骤，当检测到当前洗手步骤为第7步，且持续时间超过5秒，则系统提示当前洗手全流程已完成；否则将继续执行以上步骤S2～4。
所述结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分，包括：
对所述阶段评估得分score_i求均值score_m；
统计全流程洗手顺序有效性，对score_m乘以洗手顺序权重系数γ获取最终评估得分score_final，并进行实时显示，其中：
Figure BDA0003598881670000123
Figure BDA0003598881670000131
正确洗手步骤为1234567，ε为洗手顺序错误的个数。
在步骤S6中，将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
本步骤将阶段评估得分、最终评估得分以及洗手过程中的相关数据自动保存于学员对应的个人档案中，同时关闭相机2，打开相机1，为下一学员的洗手评估做准备。
本发明实施例综合采用机器学习、深度神经网络及计算机视觉等算法，对全流程中数据进行统计分析，基于洗手速度、有效时长及洗手顺序影响因素，综合评估每阶段洗手得分及最终得分。
如图3所示，本发明实施例还提供了一种智能洗手评估系统，该评估系统基于七步洗手法，包括：
人脸识别模块，用于针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
手势识别模块，用于实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
步骤-时长统计模块，用于根据上述实时判别结果，统计每一洗手步骤的有效时长；
速度检测模块，用于根据所述洗手全流程视频，检测每一帧的洗手速度；
智能评估模块，用于根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分；
数据存储模块，用于将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
本发明实施例还提供了一种存储介质，其存储有用于智能洗手评估的计算机程序，其中，所述计算机程序使得计算机执行如上所述的智能洗手评估方法。
本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的智能洗手评估方法。
可理解的是，本发明实施例提供的智能洗手评估系统、存储介质和电子设备与本发明实施例提供的智能洗手评估方法相对应，其有关内容的解释、举例和有益效果等部分可以参考智能洗手评估方法中的相应部分，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例一方面教学效果评估过程中，实现全流程的自动化与智能化，而无需人工手动操作及干预，提高了评估效率，大大减低了授课老师的工作强度；对学员洗手过程的标准化、规范化及有效性能够进行客观、科学、智能化的量化评估，避免了由于授课老师的主观感受而造成的评估结果不准确等现象。
2、另一方面，在学员进行评估过程中，洗手全流程数据及统计分析结果可实时存档，以便于后期的查阅，保证了评估效果的可追溯性。
3、本发明实施例在于采用计算机视觉算法，对每一帧手部特征点进行检测，并采用参数优化方法，实现洗手速度的实时检测。
4、本发明实施例综合采用机器学习、深度神经网络及计算机视觉等算法，对全流程中数据进行统计分析，基于洗手速度、有效时长及洗手顺序影响因素，综合评估每阶段洗手得分及最终得分。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能洗手评估方法，其特征在于，该评估方法基于七步洗手法，包括：
实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
根据上述实时判别结果，统计每一洗手步骤的有效时长；
根据所述洗手全流程视频，检测每一帧的洗手速度；
根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。
2.如权利要求1所述的智能洗手评估方法，其特征在于，
在实时获取洗手全流程视频之前，该评估方法还包括：针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
以及在获取并实时显示所述学员的最终评估得分之后，该评估方法还包括：将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
3.如权利要求1所述的智能洗手评估方法，其特征在于，
采用深度神经网络算法对每一帧图像进行手势识别，判定每一帧所属的当前洗手步骤step_i；采用多数投票法判定1秒内此阶段当前步骤step_i；以及确定当前步骤step_i出现的总次数num_i。
4.如权利要求1～3任一项所述的智能洗手评估方法，其特征在于，
采用Lucas-Kanade光流法检测每一帧的洗手速度，1秒内此阶段当前步骤step_i的速度vi＝vt/num_i，其中vt为当前步骤step_i所对应的每一帧洗手速度之和；
所述Lucas-Kanade光流法中采用随机采样一致性参数优化方法，具体包括：
从观测点集中随机取两点,计算出直线的参数k、t，得出一个候选的直线模型；
计算候选直线与整个点集的匹配程度，采用统计在直线上或到直线的距离小于预设距离阈值的点的个数，个数越多匹配度越高；
保留匹配程度最好的直线的参数；
如果本次尝试匹配点的个数占整个点集大部分,超出预期阈值,提前结束尝试。
5.如权利要求4所述的智能洗手评估方法，其特征在于，所述根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，包括：
score_i＝α_i*β_i*100
其中，score_i表示第i步骤的阶段评估得分；
速度权重α_i＝num_i/num，
Figure FDA0003598881660000021
num_i表示当前步骤step_i出现的累积次数，初始化值为0；
thread_1、thread_2分别为最小速度及最大速度阈值；
vf表示当前帧的洗手速度；
num表示所有步骤出现的总次数；
时长权重
Figure FDA0003598881660000031
t为当前步骤step_i的有效时长，threadt为时长阈值。
6.如权利要求5所述的智能洗手评估方法，其特征在于，所述结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分，包括：
对所述阶段评估得分score_i求均值score_m；
统计全流程洗手顺序有效性，对score_m乘以洗手顺序权重系数γ获取最终评估得分score_final，并进行实时显示，其中：
Figure FDA0003598881660000032
Figure FDA0003598881660000033
正确洗手步骤为1234567，ε为洗手顺序错误的个数。
7.一种智能洗手评估系统，其特征在于，该评估系统基于七步洗手法，包括：
手势识别模块，用于实时获取洗手全流程视频，对视频逐帧实时判别当前洗手步骤；
步骤-时长统计模块，用于根据上述实时判别结果，统计每一洗手步骤的有效时长；
速度检测模块，用于根据所述洗手全流程视频，检测每一帧的洗手速度；
智能评估模块，用于根据每一洗手步骤对应的有效时长和洗手速度，获取每一洗手步骤的阶段评估得分，以及结合全流程洗手顺序有效性，获取并实时显示所述学员的最终评估得分。
8.如权利要求7所述的智能洗手评估方法，其特征在于，
在所述手势识别模块执行实时获取洗手全流程视频之前，该评估系统还包括：人脸识别模块，用于针对学员进行实时人脸检测、截取并与数据库中脸部图片进行自动匹配，新建或进入个人档案；
以及在智能评估模块执行获取并实时显示所述学员的最终评估得分之后，该评估系统还包括：数据存储模块，用于将所述每一洗手步骤对应的有效时长和洗手速度、阶段评估得分、最终评估得分自动保存在所述学员对应的个人档案中。
9.一种存储介质，其特征在于，其存储有用于智能洗手评估的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～6任一项所述的智能洗手评估方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～6任一项所述的智能洗手评估方法。
CN202210395790.2A 2022-04-15 2022-04-15 智能洗手评估方法、系统、存储介质和电子设备 Pending CN114973353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210395790.2A CN114973353A (zh) 2022-04-15 2022-04-15 智能洗手评估方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210395790.2A CN114973353A (zh) 2022-04-15 2022-04-15 智能洗手评估方法、系统、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN114973353A true CN114973353A (zh) 2022-08-30

Family

ID=82977622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210395790.2A Pending CN114973353A (zh) 2022-04-15 2022-04-15 智能洗手评估方法、系统、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114973353A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN109740964A (zh) * 2019-01-22 2019-05-10 南京钟山虚拟现实技术研究院有限公司 基于人脸识别的视频授课综合评估方法和系统
CN111598081A (zh) * 2020-04-09 2020-08-28 浙江工业大学 一种七步洗手法操作规范性自动检测方法
CN112200094A (zh) * 2020-10-14 2021-01-08 四川港通医疗设备集团股份有限公司 一种洗手质量检测方法
CN112233395A (zh) * 2020-10-23 2021-01-15 维沃移动通信有限公司 洗手监测方法及装置
WO2021031384A1 (zh) * 2019-08-19 2021-02-25 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN112836641A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种基于机器视觉的手卫生监测方法
CN112906453A (zh) * 2020-12-17 2021-06-04 江南大学 智能识别并实时反馈的洗手监测系统
US20210334524A1 (en) * 2020-04-22 2021-10-28 Ubtech Robotics Corp Ltd Gesture recognition method and terminal device and computer readable storage medium using the same

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN109740964A (zh) * 2019-01-22 2019-05-10 南京钟山虚拟现实技术研究院有限公司 基于人脸识别的视频授课综合评估方法和系统
WO2021031384A1 (zh) * 2019-08-19 2021-02-25 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111598081A (zh) * 2020-04-09 2020-08-28 浙江工业大学 一种七步洗手法操作规范性自动检测方法
US20210334524A1 (en) * 2020-04-22 2021-10-28 Ubtech Robotics Corp Ltd Gesture recognition method and terminal device and computer readable storage medium using the same
CN112200094A (zh) * 2020-10-14 2021-01-08 四川港通医疗设备集团股份有限公司 一种洗手质量检测方法
CN112233395A (zh) * 2020-10-23 2021-01-15 维沃移动通信有限公司 洗手监测方法及装置
CN112906453A (zh) * 2020-12-17 2021-06-04 江南大学 智能识别并实时反馈的洗手监测系统
CN112836641A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种基于机器视觉的手卫生监测方法

Similar Documents

Publication Publication Date Title
CN113762133B (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN101577812B (zh) 一种岗位监测的方法和系统
CN103679215B (zh) 基于视觉大数据驱动的群体性行为分析的视频监控方法
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN104091173B (zh) 一种基于网络摄像机的性别识别方法及装置
CN106886994A (zh) 一种基于深度相机的人流量智能检测装置和检测方法
CN112200138B (zh) 基于计算机视觉的课堂学情分析方法
CN110598633A (zh) 一种摔倒行为识别方法、装置及系统
Li et al. Eye/eyes tracking based on a unified deformable template and particle filtering
CN103049748B (zh) 行为监测方法及装置
CN106557745A (zh) 基于最大类间方差及伽马变换的人体眼球检测方法及系统
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
Stacey et al. A salient information processing system for bionic eye with application to obstacle avoidance
CN114916964A (zh) 一种咽拭子采样有效性检测方法及自助式咽拭子采样方法
Kale et al. Posture Detection and Comparison of Different Physical Exercises Based on Deep Learning Using Media Pipe, Opencv
CN114973353A (zh) 智能洗手评估方法、系统、存储介质和电子设备
CN107633527A (zh) 基于全卷积神经网络的目标追踪方法及装置
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
Gao et al. Research on facial expression recognition of video stream based on OpenCV
CN115937793B (zh) 基于图像处理的学生行为异常检测方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
Park et al. Dynamic classification using multivariate locally stationary wavelet processes
CN116152924A (zh) 一种运动姿势评估方法、装置、系统及计算机存储介质
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
CN110751062B (zh) 一种基于姿态投票的考生姿态序列生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination