CN112836641A - 一种基于机器视觉的手卫生监测方法 - Google Patents
一种基于机器视觉的手卫生监测方法 Download PDFInfo
- Publication number
- CN112836641A CN112836641A CN202110152422.0A CN202110152422A CN112836641A CN 112836641 A CN112836641 A CN 112836641A CN 202110152422 A CN202110152422 A CN 202110152422A CN 112836641 A CN112836641 A CN 112836641A
- Authority
- CN
- China
- Prior art keywords
- gesture
- hand
- frame
- hand washing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000005406 washing Methods 0.000 claims abstract description 148
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 238000004080 punching Methods 0.000 claims abstract description 22
- 238000003032 molecular docking Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 15
- 210000004247 hand Anatomy 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000000137 annealing Methods 0.000 claims description 10
- 210000000707 wrist Anatomy 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 210000001145 finger joint Anatomy 0.000 description 4
- 238000004898 kneading Methods 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 206010011409 Cross infection Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
一种基于机器视觉的手卫生监测方法，包括以下步骤：S1，采集洗手区域的监控视频；S2，逐帧截图并进行裁剪与拼接；S3，将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度；S4，对监控视频中的人员利用训练好的128维表观特征和人的预测框利用Deepsort算法进行跟踪；S5，将跟踪信息、打卡信息和洗手信息进行对接，确定洗手人员的身份；S6，基于手势信息计算七步十二个手势的排列顺序、有效时间及其修正的平均置信度；S7，基于得到的手势类型特征值，根据规范性评价规则进行评分，并以此进行个人洗手操作规范性评价。本发明检测周期短、检测设备成本低、速度快。
Description
技术领域
本发明涉及计算机视觉技术领域，具体是一种基于机器视觉的手卫生监测方法。
背景技术
手卫生是全球公认的预防控制医院感染最简单、有效、方便和经济的措施之一，手卫生作为标准预防的关键措施之一，对预防和控制感染，控制耐药菌传播及暴发发挥了重要的作用。其中医院作为病毒等微生物高度聚集场所之一，长期工作在医院的医生和护士对于手卫生的操作规范性将很大程度的影响感染率，而其中对于七步洗手法的操作规范性将直接决定洗手效果的好坏。因此一套行之有效的管理医务人员正确执行手卫生操作的监测系统就十分重要。
传统评价七步洗手法是否合格的方法主要是对进行七步洗手法后的手部进行微生物学采样，通过细菌培养的方式，根据七步洗手法后细菌数量是否低于相关标准来判断洗手效果的好坏，这种方法存在一些问题，如：该方法检测周期较长，只能实行后期追责制度，无法实时评价七步洗手法规范性；该方法的检测结果易受其它因素干扰；该方法需要投入大量的人力物力财力，无法做到批量检测。
医院环境对手卫生的规范性要求高，且需要执行手卫生的时机众多，原有方法无法做到对每位医务人员每次执行手卫生情况进行及时有效的评价。只能执行抽查，有漏查、错查等风险。
近年来，随着人工智能技术的快速发展，特别是YOLO系列目标识别算法提出以来，使在保证识别精度的情况下，还能拥有较高的识别速度，使利用机器视觉实现端到端手卫生监测系统成为可能。
发明内容
为了克服传统评价七步洗手法操作规范性系统的检测周期长、检测设备成本高、速度慢的不足，本发明提供了一种基于机器视觉的手卫生监测方法，可以应用到医院管控平台的手卫生监测子系统。
本发明解决其技术问题所采用的技术方案是：
一种基于机器视觉的手卫生监测方法，所述方法包括以下步骤：
S1，将摄像头固定于能够保证完整拍摄洗手区域的位置，采集洗手区域的监控视频，存入硬盘录像机中；
S2，从硬盘录像机中读取监控视频，逐帧截图，并进行裁剪与拼接；
S3，将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度，并通过坐标信息将四个ROI区域中检测结果插入到原图的对应区域；
S4，对监控视频中的人员利用训练好的128维表观特征和步骤S3所得的人的预测框利用Deepsort算法进行跟踪；
S5，将跟踪信息、打卡信息和洗手信息进行对接，确定洗手人员的身份；
S6，基于步骤S3检测得到的手势信息计算七步十二个手势的排列顺序、有效时间及其修正的平均置信度；
S7，基于得到的手势类型特征值，根据规范性评价规则进行评分，并以此进行个人洗手操作规范性评价。
进一步，所述步骤S1的过程为：能完整拍摄进门打卡位置，进门后走动区域，四个执行手卫生的ROI区域，监控视频分辨率为1280*720，帧率为12fps，以.MP4格式存入硬盘录像机中。
再进一步，所述步骤S2的过程为：为了解决直接在原图上检测时，手部区域过小，特征过少等问题，根据确定的洗手站立区域划定四个长宽为208*208的洗手ROI区域，并将四个ROI区域裁剪出来，拼接成一张416*416大小的新图片。
更进一步，所述步骤S3的过程为：
收集不同人员的不同洗手图片用于训练YOLOv4检测网络。收集的照片需要包含标准清晰的七步洗手法动作之一，有以下两个途径，第一，从不同洗手监控历史视频中逐帧截取保存包含洗手人员的图片；第二，利用网络爬虫技术，通过百度搜索引擎爬取年龄不同、身高体型不同的人员及各种角度的七步洗手照片，其中，对于任一类型手势，要求收集到的数量大于等于500张；
对收集到的数据集，利用labelImg标注软件进行人的标注和手势及手腕区域的标注，得到xml标注文件；
为解决七步洗手数据集不够多以及训练的模型泛化能力不够的情况，对收集到的数据集进行mosaic数据增强，该算法的具体策略就是先读取四张图片，接着分别对四张图片进行翻转、缩放、色域变化等，并且按照四个方向位置摆好，最后进行图片的组合和框的组合；
为避免YOLOv4手势类型检测网络在训练过程中由于设置的学习率大小不恰当导致网络参数震荡及无法搜索到全局最优解的问题，使用模拟余弦退火算法自动调整学习率。
模拟余弦退火算法下的模型训练对学习率大小的更改策略就是:先使用0.001作为初始学习率，在训练的前50个epoch中慢慢减小学习率直到0.0001，之后学习率再骤然上升回到0.001，然后再接下来的100个epoch中慢慢减小学习率直到0.0001，每个批次的epoch数增加50，直到loss下降到所设阈值停止学习。
由于未改进前的网络的输入端一次只能输入一张图片，现在需要同时完成手势检测和人员检测两个任务，故将输入端改为可同时输入两张图片。
在检测七步洗手法操作规范性时，由于操作人员的洗手速度各不相同，在一秒内对同一个类型的手势有可能会重复很多次，这就需要网络有较高的检测帧率，然而传统的卷积网络在计算时分成两步，每个卷积核与每张特征图进行按位相成然后进行相加，计算量非常大。为此，将YOLOv4中的backbone替换为更轻量级的网络CSPDarknet53-tiny，并将激活函数修改为LeakyReLU，以实现减少计算量，达到提高网络的检测帧率的效果。
原YOLOv4-tiny网络只有预测大物体的13*13和中物体的26*26两种尺度的特征图，考虑到手势在整幅图像中的占比较小，故在原有网络的输出端，多进行一次卷积、一次上采样和一次特征融合，新增一个可以预测小物体的52*52尺度的特征图。
将增强后的图片及其对于标签文件输入到修改后的YOLOv4网络中，经过网络计算得到13*13、26*26和52*52三种尺度的特征图，结合K-Means维度聚类算法计算出的候选框得到误差损失，最后利用上述模拟余弦退火算法对网络进行1000个epoch的训练，从而得到训练后的YOLOv4手势类型检测网络。
将视频图像输入到训练后的YOLOv4检测网络。经过网络计算得到13*13、26*26和52*52三种尺度的特征图。
记录三种尺度的特征图中置信度最高的目标所对应的类型及其置信度。
并通过坐标信息，将四个ROI区域中检测结果插入到原图的对应区域。
优选的，所述步骤S4的过程为：根据检测结果中人的检测框和跟踪结果中的跟踪框的运动信息关联程度、外观信息关联程度和128维表观特征，利用匈牙利算法进行匹配级联，使检测框与跟踪框一一对应，得到对应的ID号，实现利用Deepsort跟踪算法对人员在监测范围内进行跟踪。
所述步骤S5中，所述对接包括先后两部分，一是跟踪信息和打卡信息的对接，二是洗手信息和洗手人员的对接；
根据医院进入洗手区域的要求，要求每位进入洗手区域的医务人员在打卡区域利用胸卡在打卡器上打卡，以此得到打卡信息，包括医务人员编号和进入洗手区域的时间信息；并根据步骤S4中基于Deepsort跟踪算法的跟踪信息，将跟踪的ID号替换成医务人员编号。实现跟踪信息和打卡信息的对接。当洗手人员到达洗手区域站定开始洗手，手势出现在预先设定的ROI区域后，根据坐标信息将洗手信息和洗手人员对接，实现洗手人员的身份确定。
所述步骤S6的过程为：
根据记录到的各帧图像中的手势类型，经过统计获得各手势类型的排列顺序，同时将对应手势计数器中加1获得该类手势识别次数。通过对手势识别次数进行统计，得到对应的各类手势的有效时间。根据记录到的各帧图像中的手势置信度，通过计算获取对应类型手势平均置信度；
考虑实际检测过程中，由于一些不稳定因素的存在，例如：光照强度、器件老化等，会影响YOLOv4手势类型检测网络检测到的手势置信度的准确率，因此引入修正函数对计算得到的各类型手势平均置信度进行修正，置信度低于0.4认为该动作不符合规范，不统计为有效动作，使置信度在0.4-0.7的手势衰减为更小的值；使置信度高于0.7-1的手势增强为更大的值，以此使各类型手势平均置信度更切合实际。
所述步骤S7中，YOLOv4手势类型检测网络在对洗手人员的操作规范性检测时难免会对某些帧的手势检测出现差错，导致评价出现偏差，因此提出以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准克服上述困难，提高评价的合理性。
操作过程为：根据各手势类型的有效时间及其修正后的平均置信度进行对应类别手势的单独评分，再求和统计总分记为基础得分，然后结合手势先后顺序是否合理酌情考虑扣分，最后得到评价洗手规范性的总得分；
洗手规范性等级评价标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分；
对评价为不合格的洗手过程，即得分低于60分的结果，当场发出警告，要求重新执行手卫生规范，做到某人某时某地执行七步洗手法的评分可查，方便进行后续追溯。
本发明系统的硬件部分由型号为海康威视DS-2CD3346WD-I 4mm的两个监控摄像头，一台型号为海康威视DS-7808NB-K1/8P的硬盘录像机和一台配置为WIN10操作系统，CPU为i5-9400F，GPU为GTX1660的服务器组成。
本发明的有益效果主要表现在：采用图像处理和人工智能技术，实现对外科洗手操作规范性的自动检测，提高评价的客观性、有利于实施有效监督；通过修改YOLOv4网络，提高手势类型检测的速度；通过自适应学习率算法，提高YOLOv4网络对手势类型检测的准确率；以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准，降低因单帧手势检测差错引起的评价偏差，提高评价的合理性。
附图说明
图1为本发明所采用的基于机器视觉的手卫生监测系统的整体结构示意图。
图2为本发明所采用的基于YOLOv4—DeepSort多目标检测跟踪方法的流程示意图。
图3为本发明所采用的改进的YOLOv4检测网络的示意图。
图4为本发明所采用的基于改进的YOLOv4检测网络训练的流程示意图。
图5为本发明所采用的手势检测的流程示意图。
图6为本发明所采用的七步洗手法操作规范性评价的流程示意图。
图7为本发明所采用的修正函数的曲线图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图7，一种基于机器视觉的手卫生监测系统，用于实现手卫生的监测管理，本实施例所述的基于机器视觉的手卫生监测系统，主要是指采用YOLOv4—DeepSort多目标检测跟踪网络对医务人员进行检测跟踪，采用改进的YOLOv4网络、自适应学习率算法以及洗手规范性评价标准对七步洗手法规范性进行评价。
本实施例中使用的基于机器视觉的手卫生监测系统的整体结构如附图1所示,将摄像头固定于能够保证完整拍摄洗手区域的位置，采集洗手区域的监控视频，存入硬盘录像机中。从硬盘录像机中读取监控视频，逐帧截图，将所得的截图进行裁剪与拼接，然后将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度，并通过坐标信息将四个ROI区域中检测结果插入到原图对应的区域中。利用Deepsort多目标跟踪算法实现医务人员的精确跟踪，将洗手信息和对应人员一一配对。再通过计算得到对应帧的三个尺度的特征图，记录这些特征图中的手势信息并转换成七步十二个手势的顺序、有效时间及其修正后的平均置信度，接着根据洗手规范性评价规则进行评分。
本发明系统的硬件部分由型号为海康威视DS-2CD3346WD-I 4mm的两个监控摄像头，一台型号为海康威视DS-7808NB-K1/8P的硬盘录像机和一台配置为WIN10操作系统，CPU为i5-9400F，GPU为GTX1660的服务器组成。
一种基于机器视觉的手卫生监测方法，包括以下步骤：
S1，将摄像头固定于能够保证完整拍摄洗手区域的位置，采集洗手区域的监控视频，存入硬盘录像机中；
S2，从硬盘录像机中读取监控视频，逐帧截图，并进行裁剪与拼接；
S3，将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度，并通过坐标信息将四个ROI区域中检测结果插入到原图的对应区域；
S4，对监控视频中的人员利用训练好的128维表观特征和步骤S3所得的人的预测框利用Deepsort算法进行跟踪；
S5，将跟踪信息、打卡信息和洗手信息进行对接，确定洗手人员的身份；
S6，基于步骤S3检测得到的手势信息计算七步十二个手势的排列顺序、有效时间及其修正的平均置信度；
S7，基于得到的手势类型特征值，根据规范性评价规则进行评分，并以此进行个人洗手操作规范性评价；
本实施例中，所述步骤S1中，根据所述将摄像头固定于能够保证完整拍摄洗手区域的位置，采集洗手区域的监控视频，存入硬盘录像机中，过程为：
能完整拍摄进门打卡位置，进门后走动区域，四个执行手卫生的ROI区域。监控视频分辨率为1280*720，帧率为12fps，以.MP4格式存入硬盘录像机中。
本实施例中，所述步骤S2中，根据所述从硬盘录像机中读取监控视频，逐帧截图，并进行裁剪与拼接，过程为：为了解决直接在原图上检测时，手部区域过小，特征过少等问题，根据确定的洗手站立区域划定四个长宽为208*208的洗手ROI区域。并将四个ROI区域裁剪出来，拼接成一张416*416大小的新图片。
本实施例中，所述步骤S3中，根据所述将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度，并通过坐标信息将四个ROI区域中检测结果插入到原图的对应区域，过程为：
收集不同人员的不同洗手图片用于训练YOLOv4检测网络。收集的照片需要包含标准清晰的七步洗手法动作之一，有以下两个途径，第一，从不同洗手监控历史视频中逐帧截取保存包含洗手人员的图片；第二，利用网络爬虫技术，通过百度搜索引擎爬取年龄不同、身高体型不同的人员及各种角度的七步洗手照片。其中，对于任一类型手势，要求收集到的数量大于等于500张。
对收集到的数据集，利用labelImg标注软件进行人的标注和手势及手腕区域的标注，得到xml标注文件。
利用K-Means维度聚类算法对标注好的数据集进行聚类，得到9个候选框的大小。
K-Means维度聚类算法在聚类候选框时，定义的聚类函数如式(1)所示：
d(box,centroid)＝1-CIOU(box,centroid) (1)
式(1)中CIOU将预测框与标注框之间的距离，重叠率、尺度、都考虑进去，使得目标框回归变得更加稳定。
为解决七步洗手数据集不够多以及训练的模型泛化能力不够的情况，对收集到的数据集进行mosaic数据增强，该算法的具体策略就是先读取四张图片，接着分别对四张图片进行翻转、缩放、色域变化等，并且按照四个方向位置摆好，最后进行图片的组合和框的组合。
为避免YOLOv4手势类型检测网络在训练过程中由于设置的学习率大小不恰当导致网络参数震荡及无法搜索到全局最优解的问题，使用模拟余弦退火算法自动调整学习率，避免上述问题出现。
模拟余弦退火算法下的模型训练对学习率大小的更改策略就是:先使用0.001作为初始学习率，在训练的前50个epoch中慢慢减小学习率直到0.0001，之后学习率再骤然上升回到0.001，然后再接下来的100个epoch中慢慢减小学习率直到0.0001，每个批次的epoch数增加50，直到loss下降到所设阈值停止学习。
利用模拟余弦退火算法调整学习率，然后对误差损失进行梯度下降，模拟余弦退火的主要思路如式(2)所示：
其中，
以及
表示第i次重启后的最小学习率和最大学习率，Tcur表示当前训练epoch中的iteration数，Ti表示第i个epoch中共含有的iteration数，ηt表示当前学习率大小。
由于未改进前的网络的输入端一次只能输入一张图片，现在需要同时完成手势检测和跟踪检测两个任务，故将输入端改为可同时输入两张图片。
在检测七步洗手法操作规范性时，由于操作人员的洗手速度各不相同，在一秒内对同一个类型的手势有可能会重复很多次，这就需要网络有较高的检测帧率，然而传统的卷积网络在计算时分成两步，每个卷积核与每张特征图进行按位相成然后进行相加，计算量非常大。为此，将YOLOv4中的backbone替换为更轻量级的网络CSPDarknet53-tiny，并将激活函数修改为LeakyReLU，减少计算量，提高网络的检测帧率。
原YOLOv4-tiny网络只有预测大物体的13*13和中物体的26*26两种尺度的特征图，考虑到手势在整幅图像中的占比较小，故在原有网络的输出端，多进行一次卷积、一次上采样和一次特征融合，实现新增一个可以预测小物体的52*52尺度的特征图。
将增强后的图片及其对于标签文件输入到修改后的YOLOv4网络中，经过网络计算得到13*13、26*26和52*52三种尺度的特征图，结合K-Means维度聚类算法计算出的候选框得到误差损失，最后利用上述模拟余弦退火算法对网络进行1000个epoch的训练，从而得到训练后的YOLOv4手势类型检测网络。
将视频图像输入到训练后的YOLOv4检测网络。经过网络计算得到13*13、26*26和52*52三种尺度的特征图。
记录三种尺度的特征图中置信度最高的目标所对应的类型及其置信度。
并根据坐标信息，将四个ROI区域中检测结果插入到原图的对应区域；
本申请实施例中，所述步骤S4中，对监控视频中的人员利用训练好的128维表观特征和S3所得的人的预测框利用Deepsort算法进行跟踪，过程如下：
根据检测结果中人的检测框和跟踪结果中的跟踪框的运动信息关联程度、外观信息关联程度和128维表观特征，利用匈牙利算法进行匹配级联，使检测框与跟踪框一一对应，得到对应的ID号，实现利用Deepsort跟踪算法对人员在监测范围内进行跟踪。
本实施例中，所述步骤S5中，将跟踪信息、打卡信息和洗手信息进行对接，确定洗手人员的身份。所述对接包括先后两部分，一是跟踪信息和打卡信息的对接，二是洗手信息和洗手人员的对接，过程为：
5.1.跟踪信息和打卡信息的对接
预先确定打卡点的ROI区域aread，进入洗手区域的医务人员在打卡区域利用胸卡在打卡器上打卡，得到打卡信息，包括医务人员编号和打卡时间T。根据Deepsort跟踪算法中各跟踪框开始跟踪的时间tx和跟踪区域areax，计算跟踪框和打卡点ROI区域的IOU1。
当式(4)同时成立时
则将跟踪的ID号替换成医务人员编号，实现跟踪信息和打卡信息的对接。
5.2.洗手信息和洗手人员的对接
当洗手人员到达洗手区域站定开始洗手，手势出现在预先设定的ROI区域后，得到手势预测框的区域areas，计算跟踪框和手势预测框的IOU2。
当IOU2＝1时，将洗手信息和洗手人员对接。实现洗手人员的身份确定。
本申请实施例中，所述步骤S6中，根据所述基于步骤S3检测得到的手势信息计算七步十二个手势的排列顺序、有效时间及其修正的平均置信度，过程为：
七步洗手法中对于手势动作需分左右，但由于第1步和第3步左右手无差别，所以对于这两步洗手动作不分左右，因此共有7步12类洗手动作。
影响洗手规范性的因素主要有以下三个方面：一是单个手势动作的标准度，二是手势动作的持续时间，三是手势动作的先后顺序。
本实施例的单个手势动作的标准度如下：
七步洗手法的标准：
第一步(内)：洗手掌。流水湿润双手，涂抹洗手液(或肥皂)，掌心相对，手指并拢相互揉搓；
第二步(外)：洗背侧指缝。手心对手背沿指缝相互揉搓，双手交换进行；
第三步(夹)：洗掌侧指缝。掌心相对，双手交叉沿指缝相互揉搓；
第四步(弓)：洗指背。弯曲各手指关节，半握拳把指背放在另一手掌心旋转揉搓，双手交换进行；
第五步(握)：洗拇指。一手握另一手大拇指旋转揉搓，双手交换进行；
第六步(立)：洗指尖。弯曲各手指关节，把指尖合拢在另一手掌心旋转揉搓，双手交换进行；
第七步(腕)：洗手腕、手臂至肘上。揉搓手腕、手臂至肘上，双手交换进行。
按标准将七步洗手法分为12个手势动作，分别为：洗手掌，洗左手背侧指缝，洗右手背侧指缝，洗掌侧指缝，洗左手指背，洗右手指背，洗左手拇指，洗右手拇指，洗左手手腕、手臂至肘上，洗右手手腕、手臂至肘上。
记录到的各类型手势信息，按各手势类型计算有效次数，将对应手势计数器中加1获得该类手势有效次数，利用式(6)获取对应类型手势平均置信度。
式(6)中Ds表示第s类手势实际被网络总共识别到的次数，
表示第s类手势第n次被识别到的置信度，
表示第s类手势平均置信度，结果保留两位小数。
考虑实际检测过程中，由于一些不稳定因素的存在，例如：光照强度、器件老化等，会影响YOLOv4手势类型检测网络检测到的手势置信度的准确率，因此引入修正函数对计算得到的各类型手势平均置信度进行修正，置信度低于0.4认为该动作不符合规范，不统计为有效动作，使置信度在0.4-0.7的手势衰减为更小的值；使置信度高于0.7-1的手势增强为更大的值，以此使各类型手势平均置信度更切合实际。
经过多次调整测试，引入式(7)的修正函数，修正函数的曲线图如图7所示，在0.4-0.7范围内呈现为下凸，起衰减作用；在0.7-1范围内呈现为上凸，起增强作用。利用此修正函数对式(6)中得到的
进行修正，得到经过修正的第s类手势的平均置信度
手势动作的持续时间：从所述洗手动作的持续时间考虑，根据不同场合和要求，单步洗手动作的持续时间可做灵活变动，一般要求单步总时长不少于15s，总时间不少于105s，对分左右手步骤的动作，左右手时间应各不少于7.5s。若对单步时间有调整，则分左右手步骤的动作左手时间或右手时间仍应为单步总时长的一半。
考虑实际操作过程中，不计算两个手势交换过程中的时间，对单个类型的手势持续时间的判定有一定误差，故提出有效时间作为计算洗手动作的持续时间的依据。
经过多次评估测试，认为检测到有效时间达到要求时间的80％以上即为符合时间要求。以单步时长15s为例，即有效时间达到12s以上即符合时长要求。
所述洗手动作有效时间，通过已获得的各类手势识别次数除以帧率fps得到。例如识别到手势1的次数为30次，fps为10帧/秒，则手势1的有效时间为3秒。
手势动作的先后顺序：洗手步骤先后顺序，根据S3中的各帧手势类型，得到各帧手势图像的序列号，从第一帧开始按各手势类型分类，根据式(8)对检测到的同类型手势对应的手势图像的序列号求和取平均得到各类型手势图像序列号的平均值，最后根据所得到的十二个手势图像序列号的平均值由小到大进行排序，从而得到各手势类型的排列顺序。
式(8)中，
表示各类型手势图像序列号的平均值，Ds表示第s类手势实际被网络总共识别到的次数，
表示第s类手势第n次被识别到的手势图像序列号。
所述各手势类型的排列顺序，用下述手势类型号的排列表示，按步骤顺序将十二个手势类型分别进行手势类型号标号，具体如下：手势类型号1.0为洗手掌，手势类型号2.0为洗左手背侧指缝，手势类型号2.1为洗右手背侧指缝，手势类型号3.0为洗掌侧指缝，手势类型号4.0为洗左手指背，手势类型号4.1为洗右手指背，手势类型号5.0为洗左手拇指，手势类型号5.1为洗右手拇指，手势类型号6.0为洗左手指尖，手势类型号6.1为洗右手指尖，手势类型号7.0为洗左手手腕、手臂至肘上，手势类型号7.1为洗右手手腕、手臂至肘上。
根据所述基于得到的手势类型特征值，根据规范性评价规则进行评分，并以此进行洗手操作规范性评价，包括：
对所述七步十二类手势进行赋分，其中第一步和第三步动作满分为15分，第二步、第四步、第五步、第六步和第七步动作左右手满分各为7分，每一步合计为14分，总分合计为100分。
根据计算得到的各类手势洗手动作的有效时间和该次洗手过程单步时长的要求，计算得到第s类手势洗手的有效时间占要求单步有效时长的比例Ts，其中Ts值的上限不应超过1，超过部分的时间不记录有效时间中。
根据式(7)计算得到的
和所述第s类手势洗手的有效时间占要求单步有效时长的比例Ts，利用式(9)得到各个类型的手势动作的操作得分。
式(9)中，Cs表示第s类手势动作的得分，As表示第s类手势的赋分，
表示第s类手势经过修正的平均置信度,Ks表示扣分的权重值，可根据实际情况进行调整，经过多次调整测试，当计算不分左右手动作的步骤时Ks取值为12较为合理，当分左右手动作的步骤时，Ks取6较为合理。
考虑实际情况，Cs的值应大于等于0，故若计算得到的Cs<0，则Cs＝0。
考虑整体洗手过程中，洗手步骤对洗手效果的影响，进行酌情扣分，执行过程如下：
所述洗手步骤先后顺序是否出错，根据已获得的手势类型号的排列情况进行判断，考虑同一手势的左右手动作，先左后右或先右后左对洗手效果没有影响，故采用第n个手势类型号减第n-1个手势类型号得到的先后顺序判断数k判断先后顺序。
若-0.1≤k≤1.1，则认为是正确洗手顺序转变，若出现k＜-0.1或k＞1.1，则认为洗手步骤先后顺序发生错乱，认为洗手步骤先后顺序不规范。
发生一次先后顺序错乱扣1分，最后统计由洗手步骤先后顺序错乱的扣分d1。
根据式(9)求得的第s类手势动作的得分Cs，结合由洗手步骤错乱的扣分d1。由式(10)计算得到洗手总得分S，结果保留一位小数。
最后根据总得分S判断洗手规范性等级。
洗手规范性等级判断标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分。依据如上操作可有效避免由于单步误判从而导致对洗手规范的误判。
对评价为不合格的洗手过程，即得分低于60分的结果，当场发出警告，要求重新执行手卫生规范,做到某人某时某地执行七步洗手法的评分可查，方便进行后续追溯。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；对本领域的普通技术人员来说，可以根据上述说明加以改进，或者对其中部分或者全部技术特征进行等同变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种基于机器视觉的手卫生监测方法，其特征在于，所述方法包括以下步骤：
S1，将摄像头固定于能够保证完整拍摄洗手区域的位置，采集洗手区域的监控视频，存入硬盘录像机中；
S2，从硬盘录像机中读取监控视频，逐帧截图，并进行裁剪与拼接；
S3，将图片输入到训练好的经修改的YOLOv4检测网络，得到人的预测框和每一帧的手势类型及其置信度，并通过坐标信息将四个ROI区域中检测结果插入到原图的对应区域；
S4，对监控视频中的人员利用训练好的128维表观特征和步骤S3所得的人的预测框利用Deepsort算法进行跟踪；
S5，将跟踪信息、打卡信息和洗手信息进行对接，确定洗手人员的身份；
S6，基于步骤S3检测得到的手势信息计算七步十二个手势的排列顺序、有效时间及其修正的平均置信度；
S7，基于得到的手势类型特征值，根据规范性评价规则进行评分，并以此进行个人洗手操作规范性评价。
2.如权利要求1所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S1的过程为：摄像头能完整拍摄进门打卡位置，进门后走动区域，四个执行手卫生的ROI区域，监控视频分辨率为1280*720，帧率为12fps，以.MP4格式存入硬盘录像机中。
3.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S2的过程为：根据确定的洗手站立区域划定四个长宽为208*208的洗手ROI区域，并将四个ROI区域裁剪出来，拼接成一张416*416大小的新图片。
4.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S3的过程为：
收集不同人员的不同洗手图片用于训练YOLOv4检测网络，收集的照片需要包含标准清晰的七步洗手法动作之一，有以下两个途径，第一，从不同洗手监控历史视频中逐帧截取保存包含洗手人员的图片；第二，利用网络爬虫技术，通过百度搜索引擎爬取年龄不同、身高体型不同的人员及各种角度的七步洗手照片，其中，对于任一类型手势，要求收集到的数量大于等于500张；
对收集到的数据集，利用labelImg标注软件进行人的标注和手势及手腕区域的标注，得到xml标注文件；
对收集到的数据集进行mosaic数据增强，先读取四张图片，接着分别对四张图片进行翻转、缩放和色域变化，并且按照四个方向位置摆好，最后进行图片的组合和框的组合；
使用模拟余弦退火算法自动调整学习率，先使用0.001作为初始学习率，在训练的前50个epoch中慢慢减小学习率直到0.0001，之后学习率再骤然上升回到0.001，然后再接下来的100个epoch中慢慢减小学习率直到0.0001，每个批次的epoch数增加50，直到loss下降到所设阈值停止学习；
YOLOv4网络输入端同时输入两张图片，所述YOLOv4中，采用网络CSPDarknet53-tiny，激活函数为LeakyReLU；YOLOv4-tiny网络包括预测大物体的13*13尺度的特征图、预测中物体的26*26尺度的特征图和预测小物体的52*52尺度的特征图；
将增强后的图片及其对于标签文件输入到修改后的YOLOv4网络中，经过网络计算得到13*13、26*26和52*52三种尺度的特征图，结合K-Means维度聚类算法计算出的候选框得到误差损失，最后利用上述模拟余弦退火算法对网络进行1000个epoch的训练，从而得到训练后的YOLOv4手势类型检测网络；
将视频图像输入到训练后的YOLOv4检测网络，经过网络计算得到13*13、26*26和52*52三种尺度的特征图；
记录三种尺度的特征图中置信度最高的目标所对应的类型及其置信度；
并通过坐标信息，将四个ROI区域中检测结果插入到原图的对应区域。
5.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S4的过程为：根据检测结果中人的检测框和跟踪结果中的跟踪框的运动信息关联程度、外观信息关联程度和128维表观特征，利用匈牙利算法进行匹配级联，使检测框与跟踪框一一对应，得到对应的ID号，实现利用Deepsort跟踪算法对人员在监测范围内进行跟踪。
6.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S5中，所述对接包括先后两部分，一是跟踪信息和打卡信息的对接，二是洗手信息和洗手人员的对接；
根据医院进入洗手区域的要求，要求每位进入洗手区域的医务人员在打卡区域利用胸卡在打卡器上打卡，以此得到打卡信息，包括医务人员编号和进入洗手区域的时间信息；并根据步骤S4中基于Deepsort跟踪算法的跟踪信息，将跟踪的ID号替换成医务人员编号，实现跟踪信息和打卡信息的对接；当洗手人员到达洗手区域站定开始洗手，手势出现在预先设定的ROI区域后，根据坐标信息将洗手信息和洗手人员对接，实现洗手人员的身份确定。
7.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S6的过程为：
根据记录到的各帧图像中的手势类型，经过统计获得各手势类型的排列顺序，同时将对应手势计数器中加1获得该类手势识别次数，通过对手势识别次数进行统计，得到对应的各类手势的有效时间，根据记录到的各帧图像中的手势置信度，通过计算获取对应类型手势平均置信度；
引入修正函数对计算得到的各类型手势平均置信度进行修正，置信度低于0.4认为该动作不符合规范，不统计为有效动作，使置信度在0.4-0.7的手势衰减为更小的值；使置信度高于0.7-1的手势增强为更大的值，以此使各类型手势平均置信度更切合实际。
8.如权利要求1或2所述的一种基于机器视觉的手卫生监测方法，其特征在于，所述步骤S7中，以手势置信度为基础，并结合手势类型的顺序和有效时间制定规范性评价标准；
操作过程为：根据各手势类型的有效时间及其修正后的平均置信度进行对应类别手势的单独评分，再求和统计总分记为基础得分，然后结合手势先后顺序是否合理酌情考虑扣分，最后得到评价洗手规范性的总得分；
洗手规范性等级评价标准的策略是：S<60分为不合格，60≤S＜75分为及格，75≤S＜85分为良好，85≤S≤100分为优秀，其中S表示总得分；
对评价为不合格的洗手过程，即得分低于60分的结果，当场发出警告，要求重新执行手卫生规范，做到某人某时某地执行七步洗手法的评分可查，方便进行后续追溯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110152422.0A CN112836641A (zh) | 2021-02-04 | 2021-02-04 | 一种基于机器视觉的手卫生监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110152422.0A CN112836641A (zh) | 2021-02-04 | 2021-02-04 | 一种基于机器视觉的手卫生监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836641A true CN112836641A (zh) | 2021-05-25 |
Family
ID=75931840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110152422.0A Pending CN112836641A (zh) | 2021-02-04 | 2021-02-04 | 一种基于机器视觉的手卫生监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836641A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113611387A (zh) * | 2021-07-30 | 2021-11-05 | 清华大学深圳国际研究生院 | 一种基于人体位姿估计的运动质量评估方法及终端设备 |
| CN114120411A (zh) * | 2021-11-29 | 2022-03-01 | 杭州百世伽信息科技有限公司 | 手部卫生自动管理方法 |
| CN114882393A (zh) * | 2022-03-29 | 2022-08-09 | 华南理工大学 | 一种基于目标检测的道路逆行与交通事故事件检测方法 |
| CN114973353A (zh) * | 2022-04-15 | 2022-08-30 | 合肥昊川信息科技有限公司 | 智能洗手评估方法、系统、存储介质和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598081A (zh) * | 2020-04-09 | 2020-08-28 | 浙江工业大学 | 一种七步洗手法操作规范性自动检测方法 |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
-
2021
- 2021-02-04 CN CN202110152422.0A patent/CN112836641A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598081A (zh) * | 2020-04-09 | 2020-08-28 | 浙江工业大学 | 一种七步洗手法操作规范性自动检测方法 |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113611387A (zh) * | 2021-07-30 | 2021-11-05 | 清华大学深圳国际研究生院 | 一种基于人体位姿估计的运动质量评估方法及终端设备 |
| CN114120411A (zh) * | 2021-11-29 | 2022-03-01 | 杭州百世伽信息科技有限公司 | 手部卫生自动管理方法 |
| CN114882393A (zh) * | 2022-03-29 | 2022-08-09 | 华南理工大学 | 一种基于目标检测的道路逆行与交通事故事件检测方法 |
| CN114973353A (zh) * | 2022-04-15 | 2022-08-30 | 合肥昊川信息科技有限公司 | 智能洗手评估方法、系统、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112836641A (zh) | 一种基于机器视觉的手卫生监测方法 | |
| CN111598081A (zh) | 一种七步洗手法操作规范性自动检测方法 | |
| Guyon et al. | Results and analysis of the chalearn gesture challenge 2012 | |
| CN107423686B (zh) | 视频多目标模糊数据关联方法及装置 | |
| CN105205462A (zh) | 一种拍照提示方法及装置 | |
| CN110414400B (zh) | 一种施工现场安全帽穿戴自动检测方法及系统 | |
| CN106373145B (zh) | 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法 | |
| CN108986137B (zh) | 人体跟踪方法、装置及设备 | |
| CN109063625A (zh) | 一种基于级联深度网络的人脸关键点检测方法 | |
| TWI776176B (zh) | 手部作業動作評分裝置、方法及電腦可讀取存儲介質 | |
| CN113936340B (zh) | 一种基于训练数据采集的ai模型训练方法及装置 | |
| CN116027903B (zh) | 基于大数据的计算机网络安全分析系统及方法 | |
| CN112541870A (zh) | 一种视频处理的方法、装置、可读存储介质和电子设备 | |
| Deane et al. | Deep-SAGA: a deep-learning-based system for automatic gaze annotation from eye-tracking data | |
| Mahurkar et al. | Real-time Covid-19 face mask detection with YOLOv4 | |
| CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
| Mokter et al. | Classification of ulcerative colitis severity in colonoscopy videos using vascular pattern detection | |
| CN114863571A (zh) | 一种基于计算机视觉的协作机器人手势识别系统 | |
| Qin et al. | Vision-based pointing estimation and evaluation in toddlers for autism screening | |
| Huang et al. | Real‐Time Precise Human‐Computer Interaction System Based on Gaze Estimation and Tracking | |
| Dutta et al. | A hand gesture-operated system for rehabilitation using an end-to-end detection framework | |
| CN109241942A (zh) | 图像处理方法、装置、人脸识别设备及存储介质 | |
| Sakai et al. | Hybrid Method Combining Learning Machine and Rule-Based Algorithm for Activity Recognition of Endotracheal Suctioning; and Attempt of Data Augmentation Using Generative AI | |
| Bagga et al. | Real-Time Posture Monitoring and Risk Assessment for Manual Lifting Tasks Using MediaPipe and LSTM | |
| Mg et al. | Customized Tracking Algorithm for Robust Cattle Detection and Tracking in Occlusion Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |