CN114120411A - 手部卫生自动管理方法 - Google Patents

手部卫生自动管理方法 Download PDF

Info

Publication number
CN114120411A
CN114120411A CN202111431354.8A CN202111431354A CN114120411A CN 114120411 A CN114120411 A CN 114120411A CN 202111431354 A CN202111431354 A CN 202111431354A CN 114120411 A CN114120411 A CN 114120411A
Authority
CN
China
Prior art keywords
hand
hand washing
head
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111431354.8A
Other languages
English (en)
Other versions
CN114120411B (zh
Inventor
应东东
屈世豪
许晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Bestplus Information Technology Co ltd
Original Assignee
Hangzhou Bestplus Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Bestplus Information Technology Co ltd filed Critical Hangzhou Bestplus Information Technology Co ltd
Priority to CN202111431354.8A priority Critical patent/CN114120411B/zh
Publication of CN114120411A publication Critical patent/CN114120411A/zh
Application granted granted Critical
Publication of CN114120411B publication Critical patent/CN114120411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种手部卫生自动管理方法，先是通过深度学习网络模型可以实现对洗手图像中的关键物体进行自动识别，从而得到手部卫生动作数据和头部位置数据。本申请进一步通过基于手部卫生动作数据和头部位置数据实现人员跟踪和手部卫生动作身份绑定，通过离开洗手区域判定和卫生进度判定实现对多人实时洗手行为进行准确监管。

Description

手部卫生自动管理方法
技术领域
本申请涉及医疗保健资源的管理技术领域，特别是涉及一种手部卫生自动管理方法。
背景技术
手部卫生是为洗手、卫生手部消毒和外科手部消毒的总称。对手部卫生进行严格监控和管理是控制医院感染的重要手段，也成了各大医院的重要目标。目前市面上的手部卫生自动管理方法，主要是使用图像识别技术对洗手行为进行自动监管，但是这部分技术还属于探索阶段，手段多为通过简单的建立近距离的洗手动作数据集从而训练出深度网络学习模型以实现对洗手行为图片的识别。
然而，此类方案只是对洗手动作进行了识别，并没有有效的和洗手人员的身份结合在一起，同时对多只手同时执行洗手动作也无法做到有效的分类，以至于无法达到准确监管的目的，无法真正应用在洗手流程的监管工作中。
发明内容
基于此，有必要针对传统手部卫生自动管理方法没有有效的将洗手动作和洗手人员的身份结合在一起，同时对多只手同时执行洗手动作也无法做到有效分类的问题，提供一种手部卫生自动管理方法。
本申请提供一种手部卫生自动监控方法，包括：
获取当前时刻的洗手图像；
将当前时刻的洗手图像输入至已训练完毕的深度学习网络模型；
运行已训练完毕的深度学习网络模型，控制已训练完毕的深度学习网络模型对所述当前时刻的洗手图像中的关键物体进行识别，得到手部卫生动作数据和头部位置数据；
基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定；
基于人员跟踪的结果，判断是否存在任意一个医护人员离开洗手区域；
若存在任意一个医护人员离开洗手区域，则从存储器调取离开洗手区域的医护人员的卫生进度；
判断离开洗手区域的医护人员的卫生进度是否为100％；
若离开洗手区域的医护人员的卫生进度不为100％，则输出报警消息；
基于手部卫生动作身份绑定的结果，对每一个医护人员的卫生进度进行累加，将每一个医护人员的卫生进度更新至存储器。
本申请涉及一种手部卫生自动管理方法，先是通过深度学习网络模型可以实现对洗手图像中的关键物体进行自动识别，从而得到手部卫生动作数据和头部位置数据。本申请进一步通过基于手部卫生动作数据和头部位置数据实现人员跟踪和手部卫生动作身份绑定，通过离开洗手区域判定和卫生进度判定实现对多人实时洗手行为进行准确监管。
附图说明
图1为本申请一实施例提供的手部卫生自动监控方法的流程示意图。
图2为本申请一实施例提供的手部卫生自动监控方法中的手部识别框权值区域分配示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种手部卫生自动监控方法。
如图1所示，在本申请的一实施例中，所述手部卫生自动监控方法包括如下S100至S700：
S100，获取当前时刻的洗手图像。
具体地，当前时刻的洗手图像由摄像头拍摄。所述摄像头可以架设于洗手台正上方。
S200，将当前时刻的洗手图像输入至已训练完毕的深度学习网络模型。
具体地，当前时刻的洗手图像本身包含拍摄时间。可选地，拍摄时间可以显示于当前时刻的洗手图像中，且可以被已训练完毕的深度学习网络模型识别并提取。
S300，运行已训练完毕的深度学习网络模型，控制已训练完毕的深度学习网络模型对所述当前时刻的洗手图像中的关键物体进行识别，得到手部卫生动作数据和头部位置数据。
具体地，所述关键物体包括处于标准洗手动作的医护人员的手部，医护人员的头部，以及处于接触消毒液动作的医护人员的人体。
S400，基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定。
具体地，人员跟踪可以判定是否存在任意一个医护人员离开洗手区域。手部卫生动作身份绑定可以将手部和医护人员的身份进行绑定，换言之，可以将洗手动作和医护人员的身份进行绑定。
S500，基于人员跟踪的结果，判断是否存在任意一个医护人员离开洗手区域。
具体地，若不存在任意一个医护人员离开洗手区域，则直接执行S700，执行对每一个医护人员的卫生进度进行累加，将每一个医护人员的卫生进度更新至存储器的步骤。
S610，若存在任意一个医护人员离开洗手区域，则从存储器调取离开洗手区域的医护人员的卫生进度。
具体地，每一个医护人员的卫生进度是以数据形式存储于存储器的，本步骤可以从存储器调取离开洗手区域的医护人员的卫生进度。
S620，判断离开洗手区域的医护人员的卫生进度是否为100％。
具体地，若离开洗手区域的医护人员的卫生进度为100％，则确定该离开洗手区域的医护人员完成了洗手流程，不存在手部卫生安全风险。直接执行S700，执行对每一个医护人员的卫生进度进行累加，将每一个医护人员的卫生进度更新至存储器的步骤。
S621，若离开洗手区域的医护人员的卫生进度不为100％，则输出报警消息。
具体地，若离开洗手区域的医护人员的卫生进度不为100％，则确定该离开洗手区域的医护人员未完成洗手流程，存在手部卫生安全风险，输出报警消息。
S700，基于手部卫生动作身份绑定的结果，对每一个医护人员的卫生进度进行累加，将每一个医护人员的卫生进度更新至存储器。
具体地，洗手流程包括多个标准洗手动作，每当医护人员完成一个标准洗手动作，对卫生进度进行一次累加，直至100％。本步骤就是结算医护人员的卫生进度的步骤。
本实施例中，先是通过深度学习网络模型可以实现对洗手图像中的关键物体进行自动识别，从而得到手部卫生动作数据和头部位置数据。本申请进一步通过基于手部卫生动作数据和头部位置数据实现人员跟踪和手部卫生动作身份绑定，通过离开洗手区域判定和卫生进度判定实现对多人实时洗手行为进行准确监管。
在本申请的一实施例中，所述手部卫生动作数据包括洗手动作数据和消毒动作数据。
所述洗手动作数据包括每一个处于标准洗手动作的医护人员的手部识别框的坐标、尺寸和序号，以及每一个手部识别框对应的标准洗手动作的动作序号。所述头部位置数据包括每一个医护人员的头部识别框的坐标、尺寸和序号。所述消毒动作数据包括每一个处于接触消毒液动作的医护人员的人体识别框的坐标、尺寸和序号。
具体地，处于标准洗手动作的医护人员的手部识别框为：医护人员执行标准洗手动作时，从手腕延伸至整个手掌的外接矩形框。洗手流程包括多个标准洗手动作，每一个标准洗手动作具有一个特殊的动作序号。例如，双手合十为A1，左手心对右手背进行揉搓为B1等。
医护人员的头部识别框为：包含佩戴物如眼镜、口罩、帽子等的头部外接矩形框。
处于接触消毒液动作的医护人员的人体识别框为：医护人员执行用手接消毒液动作时的整个人体外接矩形框。
本实施例中，通过限定洗手动作数据、头部位置数据和头部位置数据分别为不同的识别框的坐标、尺寸和序号，使得后续的人员跟踪和手部卫生动作身份绑定可以具有良好的数据基础。
在本申请的一实施例中，在S100之前，所述方法还包括如下S010至S040：
S010，采集多张原始洗手图像，基于多张原始洗手图像建立原始数据集。
具体地，S010至S040为深度学习网络模型的训练过程。为了丰富用于训练模型的数据的多样性，原始洗手图像的数量大于或等于100。
S020，对原始数据集中的每一张原始洗手图像进行关键物体标注，生成每一张与原始洗手图像对应的标注文件。
具体地，通过将原始洗手图像输入标注软件进行标注，并使用YOLO格式的标注标准。
S030，建立深度学习网络模型。
具体地，深度学习网络模型可以使用YOLOv4-tiny网络结构，这是一种工业化的，成熟的深度神经网络框架。
S040，将所有标注文件导入所述深度学习网络模型，并将所有标注文件作为训练数据对所述深度学习网络模型进行训练，得到已训练完毕的深度学习网络模型。
具体地，训练时，通过反向传播算法对深度学习网络模型进行拟合训练。
通过训练之后，已训练完毕的深度学习网络模型就具有了对洗手图像中的关键物体进行识别的能力，即可以在洗手图像中自动生成每一个处于标准洗手动作的医护人员的手部识别框，每一个医护人员的头部识别框，以及每一个处于接触消毒液动作的医护人员的人体识别框。
本实施例中，通过收集并标注包含键物体的原始洗手图像，生成标注文件，并将标注文件作为训练数据对所述深度学习网络模型进行训练，可以使得训练后的深度学习网络模型具有对洗手图像中的关键物体进行识别的能力。
在本申请的一实施例中，所述S010，包括如下S011至S013：
S011，获取摄像头拍摄的至少一个洗手视频。
具体地，S011至S013为原始洗手图像的具体采集步骤。本实施例中，原始洗手图像的数据来源是洗手视频。洗手视频可以为一个，也可以为多个。所述洗手视频必须包含所有可能出现的标准洗手动作，保证标准洗手动作的数据全面性。
S012，将每一个洗手视频逐帧拆解为多张原始洗手图像。
具体地，拆解时，尽量确保每一张原始洗手图像具有良好的清晰度，删除清晰度较差的原始洗手图像。
S013，建立原始数据集，将所有原始洗手图像纳入所述原始数据集。
具体地，将所有原始洗手图像纳入原始数据集可以更好的管理数量繁多的原始洗手图像。
本实施例中，通过将洗手视频逐帧拆解为多张原始洗手图像的方式获取原始洗手图像，使得原始洗手图像在拍摄时间上具有连续性，作为训练数据不容易丢失任意一个标准洗手动作。
在本申请的一实施例中，所述S020包括S021至S024：
S021，选取一张原始洗手图像。
S022，对所述原始洗手图像进行关键物体标注，生成标注后的原始洗手图像。
S023，基于标注后的原始洗手图像生成标注文件，所述标注文件包括关键物体编号和每一个识别框的坐标信息。所述关键物体编号包括每一个头部识别框的序号，每一个人体识别框的序号，每一个手部识别框的序号，以及每一个手部识别框对应的标准洗手动作的动作序号。
S024，返回所述021，直至所有原始洗手图像均生成与原始洗手图像对应的标注文件。
具体地，S022标注时会自动生成每一个处于标准洗手动作的医护人员的手部识别框，每一个医护人员的头部识别框，以及每一个处于接触消毒液动作的医护人员的人体识别框。且生成每一个识别框时，会对识别框进行序号添加，以区别不同的识别框。进一步地，标注时还会生成识别框的坐标信息。这些标注时产生的所有数据都会体现在标注文件中，后续进行存储。
本实施例中，通过对原始洗手图像进行关键物体标注，可以得到关键物体编号和每一个识别框的坐标信息，便于后续人员跟踪和手部卫生动作身份绑定时，保证较高的准确度，避免出现错误。
在本申请的一实施例中，所述S022包括：
S022a，对所述原始洗手图像中每一名处于标准洗手动作的医护人员的双手进行标注，生成手部识别框。
S022b，对所述原始洗手图像中每一名医护人员的头部进行标注，生成头部识别框。
S022c，对所述原始洗手图像中每一名处于接触消毒液动作的医护人员的人体进行标注，生成人体识别框。
具体地，生成每一个识别框时，会对识别框进行序号添加，以区别不同的识别框。进一步地，标注时还会生成识别框的坐标信息。
在本申请的一实施例中，所述S400包括：
S410，基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪。
所述S410包括如下S411至S416：
S411，获取当前时刻的洗手图像中所有头部识别框的中心坐标。
S412，调取前一时刻的洗手图像中所有头部识别框的中心坐标。所述前一时刻与当前时刻之间的时间间隔为预设时间间隔。
具体地，预设时间间隔可以为1秒。即每个1秒执行一次S100至S700。
S413，在当前时刻的洗手图像中选取一个头部识别框。
S414，计算当前时刻的洗手图像中该头部识别框的中心坐标和前一时刻的洗手图像中的每一个头部识别框的中心坐标之间的直线距离，得到多个直线距离。
具体地，当前时刻的洗手图像中有头部识别框甲和头部识别框乙，前一时刻的洗手图像中有头部识别框丙和头部识别框丁。对头部识别框甲进行配对时，那么就计算头部识别框甲的中心坐标和头部识别框丙的中心坐标之间的直线距离，以及计算头部识别框甲的中心坐标和头部识别框丁的中心坐标之间的直线距离。
S415，选取最小直线距离对应的前一时刻的洗手图像中的头部识别框，和当前时刻的洗手图像中该头部识别框进行配对。
具体地，承接上个例子，如果头部识别框甲的中心坐标和头部识别框丙的中心坐标之间的直线距离为1厘米，头部识别框甲的中心坐标和头部识别框丁的中心坐标之间的直线距离为2厘米，则头部识别框甲和头部识别框丙完成配对。
S416，返回所述S413，直至当前时刻的洗手图像中所有头部识别框配对完毕。
具体地，承接上个例子，对头部识别框甲进行配对完毕后，返回S413继续对头部识别框乙进行配对。
本实施例中，基于分析连续帧洗手图像的头部识别框之间的相对位置变化关系，可以实现前后两帧洗手图像的头部识别框的配对，从而实现对医护人员的实时跟踪。
在本申请的一实施例中，所述S400包括：
S420，基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行手部卫生动作身份绑定。
所述S420包括如下S421a至S421f：
S421a，在当前时刻的洗手图像中选取一个手部识别框。
S421b，获取所述手部识别框的坐标、尺寸和序号，以及当前时刻的洗手图像中每一个头部识别框的坐标、尺寸和序号。
S421c，依据所述手部识别框的坐标和每一个头部识别框的坐标，计算所述手部识别框和每一个头部识别框的区域权值。
具体地，可选地，手部识别框和头部识别框区域权值的计算方法，是基于手部识别框权值区域分配策略来计算的。如图2所示，由于摄像头架设位置为洗手台正上方，因此，在头部识别框正前方90度角扇形覆盖的区域为高权值区，在头部识别框的左侧扇形区域和右侧扇形区域为中权值区和低权值区。在头部识别框正下方的半圆区域为极低权值区。
当一个手部识别框位于一个头部识别框的高权值区时，该手部识别框和该头部识别框的区域权值最大，同理，当位于中权值区时，该手部识别框和该头部识别框的区域权值适中，当位于低权值区时，该手部识别框和该头部识别框的区域权值较小，当位于极低权值区时，该手部识别框和该头部识别框的区域权值最小。
不同权值区的区域权值的设置可以自由设置。
S421d，依据公式1计算所述手部识别框与每一个头部识别框的第一相关值，得到多个第一相关值。
Figure BDA0003380257160000101
其中，PAB为手部识别框A和头部识别框B的第一相关值。SA为手部识别框A的面积。SB为头部识别框B的面积。LAB为手部识别框A的中心坐标与头部识别框B的中心坐标之间的直线距离。WAB为手部识别框A和头部识别框B的区域权值。A为手部识别框的序号。B为头部识别框的序号。
具体地，公式1中的两个竖线符号为取绝对值的意思。
S421e，将多个第一相关值依照从大到小的顺序排序，选取最大第一相关值对应的头部识别框与所述手部识别框进行绑定。
具体地，公式1计算得到的第一相关值越大，代表头部识别框与手部识别框的相关性越高。因此，选取最大第一相关值对应的头部识别框与所述手部识别框进行绑定。
S421f，返回所述S421a，直至当前时刻的洗手图像中的所有手部识别框均与一个头部识别框绑定完毕。
本实施例中，通过手部识别框和头部识别框的区域权值，手部识别框和头部识别框的各自的面积，以及手部识别框的中心坐标和头部识别框的中心坐标之间的直线距离计算头部识别框与手部识别框的相关度，使得医护人员的头部和洗手动作绑定更准确，更符合实际情况。
在本申请的一实施例中，所述S420还包括如下S422a至S421a：
S422a，在当前时刻的洗手图像中选取一个人体识别框。
S422b，获取所述人体识别框的坐标、尺寸和序号，以及当前时刻的洗手图像中每一个头部识别框的坐标、尺寸和序号。
S422c，依据公式2计算所述人体识别框与每一个头部识别框的第二相关值，得到多个第二相关值。
Figure BDA0003380257160000111
其中，PBC为人体识别框C和头部识别框B的第二相关值。DBC为人体识别框C和头部识别框B的重叠面积。SB为头部识别框B的面积。LBC为人体识别框C的中心坐标与头部识别框B的中心坐标之间的直线距离。，B为头部识别框的序号。C为人体识别框的序号。
S422d，将多个第二相关值依照从大到小的顺序排序，选取最大第二相关值对应的头部识别框与所述人体识别框进行绑定。
S422e，返回所述S422a，直至当前时刻的洗手图像中的所有人体识别框均与一个头部识别框绑定完毕。
具体地，公式2计算得到的第二相关值越大，代表头部识别框与人体识别框的相关性越高。因此，选取最大第二相关值对应的头部识别框与所述人体识别框进行绑定。
本实施例中，通过人体识别框和头部识别框的重叠面积，头部识别框的面积，以及人体识别框的中心坐标和头部识别框的中心坐标之间的直线距离计算头部识别框与人体识别框的相关度，使得医护人员的头部和消毒动作绑定更准确，更符合实际情况。
在本申请的一实施例中，所述S500包括如下S510至S520：
S510，获取人员跟踪的结果，依据人员跟踪的结果判断前一时刻的洗手图像中是否存在未配对成功的头部识别框。
S520，若前一时刻的洗手图像中存在未配对成功的头部识别框，则确定存在任意一个医护人员离开洗手区域，执行后续S610。
具体地，例如前一时刻的洗手图像中存在3个头部识别框，当前时刻的洗手图像中存在2个头部识别框。在人员跟踪的步骤(即S411至S416)中，当前时刻的洗手图像中的2个头部识别框和前一时刻的洗手图像中的2个头部识别框配对成功，前一时刻的洗手图像中存在1个未配对成功的头部识别框，此时，确定存在一个医护人员离开洗手区域，此时需要执行S610调取离开洗手区域的医护人员的卫生进度进行检验。
以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本申请的一实施例中，S700中，基于手部卫生动作身份绑定的结果，对每一个医护人员的卫生进度进行累加时，每当一个医护人员执行一个标准洗手动作时，对该医护人员的卫生进度累加预设数值的百分比。一套完整的洗手流程有5个标准洗手动作，那么预设数值的百分比可以为20％，每完成一个标准洗手动作，卫生进度累加20％。
可选地，S700包括如下S710至S754b：
S710，在当前时刻的洗手图像中选取一个手部识别框。
S720，获取手部识别框的序号。
S730，获取与该手部识别框绑定的头部识别框的序号，作为待处理序号。
S740，从存储器读取与所述待处理序号对应的卫生进度。
S750，判断与所述待处理序号对应的卫生进度是否为100％。
S751，若与所述待处理序号对应的卫生进度为100％，则不对所述待处理序号对应的卫生进度进行累加，返回S100。
S752，若与所述待处理序号对应的卫生进度不为100％，则读取该手部识别框对应的标准洗手动作的动作序号。
S753，读取前一时刻的洗手图像中同一手部识别框(即手部识别框的序号相同的手部识别框)的标准洗手动作的动作序号。
S754，判断当前时刻的洗手图像中的手部识别框的标准洗手动作的动作序号是否等于前一时刻的洗手图像中的同一手部识别框的标准洗手动作的动作序号。
S754a，若当前时刻的洗手图像中的手部识别框的标准洗手动作的动作序号等于前一时刻的洗手图像中的同一手部识别框的标准洗手动作的动作序号，则不对所述待处理序号对应的卫生进度进行累加，返回S100。
S754b，若当前时刻的洗手图像中的手部识别框的标准洗手动作的动作序号不等于前一时刻的洗手图像中的同一手部识别框的标准洗手动作的动作序号，则对所述待处理序号对应的卫生进度累加预设数值的百分比，并将累加后的卫生进度同步更新至存储器。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种手部卫生自动管理方法，其特征在于，所述方法包括：
获取当前时刻的洗手图像；
将当前时刻的洗手图像输入至已训练完毕的深度学习网络模型；
运行已训练完毕的深度学习网络模型，控制已训练完毕的深度学习网络模型对所述当前时刻的洗手图像中的关键物体进行识别，得到手部卫生动作数据和头部位置数据；
基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定；
基于人员跟踪的结果，判断是否存在任意一个医护人员离开洗手区域；
若存在任意一个医护人员离开洗手区域，则从存储器调取离开洗手区域的医护人员的卫生进度；
判断离开洗手区域的医护人员的卫生进度是否为100％；
若离开洗手区域的医护人员的卫生进度不为100％，则输出报警消息；
基于手部卫生动作身份绑定的结果，对每一个医护人员的卫生进度进行累加，将每一个医护人员的卫生进度更新至存储器。
2.根据权利要求1所述的手部卫生自动管理方法，其特征在于，所述手部卫生动作数据包括洗手动作数据和消毒动作数据；
所述洗手动作数据包括每一个处于标准洗手动作的医护人员的手部识别框的坐标、尺寸和序号，以及每一个手部识别框对应的标准洗手动作的动作序号；
所述头部位置数据包括每一个医护人员的头部识别框的坐标、尺寸和序号；
所述消毒动作数据包括每一个处于接触消毒液动作的医护人员的人体识别框的坐标、尺寸和序号。
3.根据权利要求2所述的手部卫生自动管理方法，其特征在于，在所述获取当前时刻的洗手图像之前，所述方法还包括：
采集多张原始洗手图像，基于多张原始洗手图像建立原始数据集；
对原始数据集中的每一张原始洗手图像进行关键物体标注，生成每一张与原始洗手图像对应的标注文件；
建立深度学习网络模型；
将所有标注文件导入所述深度学习网络模型，并将所有标注文件作为训练数据对所述深度学习网络模型进行训练，得到已训练完毕的深度学习网络模型。
4.根据权利要求3所述的手部卫生自动管理方法，其特征在于，所述采集多张原始洗手图像，基于多张原始洗手图像建立原始数据集，包括：
获取摄像头拍摄的至少一个洗手视频；
将每一个洗手视频逐帧拆解为多张原始洗手图像；
建立原始数据集，将所有原始洗手图像纳入所述原始数据集。
5.根据权利要求3所述的手部卫生自动管理方法，其特征在于，所述对原始数据集中的每一张原始洗手图像进行关键物体标注，生成每一张与原始洗手图像对应的标注文件，包括：
选取一张原始洗手图像；
对所述原始洗手图像进行关键物体标注，生成标注后的原始洗手图像；
基于标注后的原始洗手图像生成标注文件，所述标注文件包括关键物体编号和每一个识别框的坐标信息；所述关键物体编号包括每一个头部识别框的序号，每一个人体识别框的序号，每一个手部识别框的序号，以及每一个手部识别框对应的标准洗手动作的动作序号；
返回所述选取一张原始洗手图像，直至所有原始洗手图像均生成与原始洗手图像对应的标注文件。
6.根据权利要求5所述的手部卫生自动管理方法，其特征在于，所述对所述原始洗手图像进行关键物体标注，生成标注后的原始洗手图像，包括：
对所述原始洗手图像中每一名处于标准洗手动作的医护人员的双手进行标注，生成手部识别框；
对所述原始洗手图像中每一名医护人员的头部进行标注，生成头部识别框；
对所述原始洗手图像中每一名处于接触消毒液动作的医护人员的人体进行标注，生成人体识别框。
7.根据权利要求4或6所述的手部卫生自动管理方法，其特征在于，所述基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定，包括：
基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪；
所述基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪包括：
获取当前时刻的洗手图像中所有头部识别框的中心坐标；
调取前一时刻的洗手图像中所有头部识别框的中心坐标；所述前一时刻与当前时刻之间的时间间隔为预设时间间隔；
在当前时刻的洗手图像中选取一个头部识别框；
计算当前时刻的洗手图像中该头部识别框的中心坐标和前一时刻的洗手图像中的每一个头部识别框的中心坐标之间的直线距离，得到多个直线距离；
选取最小直线距离对应的前一时刻的洗手图像中的头部识别框，和当前时刻的洗手图像中该头部识别框进行配对；
返回所述在当前时刻的洗手图像中获取一个头部识别框，直至当前时刻的洗手图像中所有头部识别框配对完毕。
8.根据权利要求7所述的手部卫生自动管理方法，其特征在于，所述基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定，还包括：
基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行手部卫生动作身份绑定；
所述基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行手部卫生动作身份绑定包括：
在当前时刻的洗手图像中选取一个手部识别框；
获取所述手部识别框的坐标、尺寸和序号，以及当前时刻的洗手图像中每一个头部识别框的坐标、尺寸和序号；
依据所述手部识别框的坐标和每一个头部识别框的坐标，计算所述手部识别框和每一个头部识别框的区域权值；
依据公式1计算所述手部识别框与每一个头部识别框的第一相关值，得到多个第一相关值；
Figure FDA0003380257150000041
其中，PAB为手部识别框A和头部识别框B的第一相关值，SA为手部识别框A的面积，SB为头部识别框B的面积，LAB为手部识别框A的中心坐标与头部识别框B的中心坐标之间的直线距离，WAB为手部识别框A和头部识别框B的区域权值，A为手部识别框的序号，B为头部识别框的序号；
将多个第一相关值依照从大到小的顺序排序，选取最大第一相关值对应的头部识别框与所述手部识别框进行绑定；
返回所述在当前时刻的洗手图像中选取一个手部识别框，直至当前时刻的洗手图像中的所有手部识别框均与一个头部识别框绑定完毕。
9.根据权利要求8所述的手部卫生自动管理方法，其特征在于，所述基于当前时刻的洗手图像中的手部卫生动作数据和头部位置数据进行人员跟踪和手部卫生动作身份绑定，还包括：
在当前时刻的洗手图像中选取一个人体识别框；
获取所述人体识别框的坐标、尺寸和序号，以及当前时刻的洗手图像中每一个头部识别框的坐标、尺寸和序号；
依据公式2计算所述人体识别框与每一个头部识别框的第二相关值，得到多个第二相关值；
Figure FDA0003380257150000051
其中，PBC为人体识别框C和头部识别框B的第二相关值，DBC为人体识别框C和头部识别框B的重叠面积，SB为头部识别框B的面积，LBC为人体识别框C的中心坐标与头部识别框B的中心坐标之间的直线距离，B为头部识别框的序号；C为人体识别框的序号；
将多个第二相关值依照从大到小的顺序排序，选取最大第二相关值对应的头部识别框与所述人体识别框进行绑定；
返回所述在当前时刻的洗手图像中选取一个人途识别框，直至当前时刻的洗手图像中的所有人体识别框均与一个头部识别框绑定完毕。
10.根据权利要求9所述的手部卫生自动管理方法，其特征在于，所述基于人员跟踪的结果，判断是否存在任意一个医护人员离开洗手区域，包括：
获取人员跟踪的结果，依据人员跟踪的结果判断前一时刻的洗手图像中是否存在未配对成功的头部识别框；
若前一时刻的洗手图像中存在未配对成功的头部识别框，则确定存在任意一个医护人员离开洗手区域，执行后续步骤。
CN202111431354.8A 2021-11-29 2021-11-29 手部卫生自动管理方法 Active CN114120411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111431354.8A CN114120411B (zh) 2021-11-29 2021-11-29 手部卫生自动管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111431354.8A CN114120411B (zh) 2021-11-29 2021-11-29 手部卫生自动管理方法

Publications (2)

Publication Number Publication Date
CN114120411A true CN114120411A (zh) 2022-03-01
CN114120411B CN114120411B (zh) 2022-05-31

Family

ID=80371168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111431354.8A Active CN114120411B (zh) 2021-11-29 2021-11-29 手部卫生自动管理方法

Country Status (1)

Country Link
CN (1) CN114120411B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731648A (zh) * 2022-12-08 2023-03-03 厦门农芯数字科技有限公司 基于人体姿态动态识别的养殖场管理系统
CN115862144A (zh) * 2022-12-23 2023-03-28 杭州晨安科技股份有限公司 一种摄像机手势识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644515A (zh) * 2017-09-19 2018-01-30 杭州百世伽信息科技有限公司 一种基于LoRaWAN物联网协议的医疗手卫生监督系统
CN110852249A (zh) * 2019-11-07 2020-02-28 上海秒针网络科技有限公司 监控人员洗手的方法及系统
US20200074835A1 (en) * 2018-09-04 2020-03-05 Cognizant Technology Solutions India Pvt. Ltd. System and method for efficiently monitoring hand hygiene
CN111598081A (zh) * 2020-04-09 2020-08-28 浙江工业大学 一种七步洗手法操作规范性自动检测方法
CN112183390A (zh) * 2020-09-30 2021-01-05 中国人民解放军陆军军医大学第一附属医院 医护人员洗手监控系统
CN112328074A (zh) * 2020-11-03 2021-02-05 泰康保险集团股份有限公司 一种智能服务终端
CN112507880A (zh) * 2020-12-09 2021-03-16 杭州百世伽信息科技有限公司 模型训练方法、洗手行为检测方法、装置、设备及介质
CN112635075A (zh) * 2020-12-23 2021-04-09 中科朗劢技术有限公司 一种医院感染控制的管理系统及方法
US11017655B2 (en) * 2019-10-09 2021-05-25 Visualq Hand sanitation compliance enforcement systems and methods
CN112836641A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种基于机器视觉的手卫生监测方法
CN113012190A (zh) * 2021-02-01 2021-06-22 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN113392738A (zh) * 2021-06-01 2021-09-14 浙江大华技术股份有限公司 行为规范性检测方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644515A (zh) * 2017-09-19 2018-01-30 杭州百世伽信息科技有限公司 一种基于LoRaWAN物联网协议的医疗手卫生监督系统
US20200074835A1 (en) * 2018-09-04 2020-03-05 Cognizant Technology Solutions India Pvt. Ltd. System and method for efficiently monitoring hand hygiene
US11017655B2 (en) * 2019-10-09 2021-05-25 Visualq Hand sanitation compliance enforcement systems and methods
CN110852249A (zh) * 2019-11-07 2020-02-28 上海秒针网络科技有限公司 监控人员洗手的方法及系统
CN111598081A (zh) * 2020-04-09 2020-08-28 浙江工业大学 一种七步洗手法操作规范性自动检测方法
CN112183390A (zh) * 2020-09-30 2021-01-05 中国人民解放军陆军军医大学第一附属医院 医护人员洗手监控系统
CN112328074A (zh) * 2020-11-03 2021-02-05 泰康保险集团股份有限公司 一种智能服务终端
CN112507880A (zh) * 2020-12-09 2021-03-16 杭州百世伽信息科技有限公司 模型训练方法、洗手行为检测方法、装置、设备及介质
CN112635075A (zh) * 2020-12-23 2021-04-09 中科朗劢技术有限公司 一种医院感染控制的管理系统及方法
CN113012190A (zh) * 2021-02-01 2021-06-22 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN112836641A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种基于机器视觉的手卫生监测方法
CN113392738A (zh) * 2021-06-01 2021-09-14 浙江大华技术股份有限公司 行为规范性检测方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RASHMI BAKSHI: "Hand Hygiene Video Classification Based on Deep Learning", 《ARXIV》 *
殷瑾等: "手卫生信息化管理系统应用实践", 《中国卫生质量管理》 *
王俊燕: "医务人员手卫生监测结果分析与对策", 《中国医药导报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731648A (zh) * 2022-12-08 2023-03-03 厦门农芯数字科技有限公司 基于人体姿态动态识别的养殖场管理系统
CN115862144A (zh) * 2022-12-23 2023-03-28 杭州晨安科技股份有限公司 一种摄像机手势识别方法
CN115862144B (zh) * 2022-12-23 2023-06-23 杭州晨安科技股份有限公司 一种摄像机手势识别方法

Also Published As

Publication number Publication date
CN114120411B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN114120411B (zh) 手部卫生自动管理方法
US11189379B2 (en) Methods and systems for using multiple data structures to process surgical data
US20240085545A1 (en) System and method for monitoring clinical activities
Ng et al. Measuring gait variables using computer vision to assess mobility and fall risk in older adults with dementia
CN110838118B (zh) 用于医疗过程中异常检测的系统和方法
Bardram et al. Phase recognition during surgical procedures using embedded and body-worn sensors
CN111524608A (zh) 智能检测与防疫系统和方法
CN108231174A (zh) 一种确定科室的方法、装置及系统
WO2020140684A1 (zh) 评估车损识别模型的方法及装置
CN115187911A (zh) 一种医疗防护用品穿脱消毒视频ai监测方法及装置
CN105117838A (zh) 一种职业人员体能考核与健康管理的信息化系统
CN114937293A (zh) 基于gis的农业服务管理方法及系统
Alia et al. Summary of the third nurse care activity recognition challenge-can we do from the field data?
Kaku et al. Strokerehab: A benchmark dataset for sub-second action identification
CN116189311A (zh) 一种防护服穿戴标准化流程监测系统
CN115966023A (zh) 防护服规范化穿脱检测方法及相关系统
CN113963413A (zh) 基于人工智能的疫情排查方法、装置、电子设备及介质
CN114255412A (zh) 行为识别方法、装置、电子设备和存储介质
Liu Video-based human motion capture and force estimation for comprehensive on-site ergonomic risk assessment
Baskaran et al. Using facial landmark detection on thermal images as a novel prognostic tool for emergency departments
Hakim Improving healthcare systems through process mining
Ng Vision based human pose estimation for gait assessment of older adults with dementia
CN111091901A (zh) 老年人急救决策方法、装置、设备及存储介质
Mohamadipanah et al. Can deep learning algorithms help identify surgical workflow and techniques?
WO2024103264A1 (zh) 一种疫情检测的管理方法、装置及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant