CN116664819B - 一种医护人员手部识别定位方法、装置、设备及存储介质 - Google Patents

一种医护人员手部识别定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116664819B
CN116664819B CN202310573895.7A CN202310573895A CN116664819B CN 116664819 B CN116664819 B CN 116664819B CN 202310573895 A CN202310573895 A CN 202310573895A CN 116664819 B CN116664819 B CN 116664819B
Authority
CN
China
Prior art keywords
medical staff
roi
medical
hand
hands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310573895.7A
Other languages
English (en)
Other versions
CN116664819A (zh
Inventor
袁玉峰
席子昂
刘荔
王莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Zhongnan Hospital of Wuhan University
Original Assignee
Tsinghua University
Zhongnan Hospital of Wuhan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Zhongnan Hospital of Wuhan University filed Critical Tsinghua University
Priority to CN202310573895.7A priority Critical patent/CN116664819B/zh
Publication of CN116664819A publication Critical patent/CN116664819A/zh
Application granted granted Critical
Publication of CN116664819B publication Critical patent/CN116664819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医护人员手部识别定位方法、装置、设备及存储介质，该方法包括步骤：采集重症监护室场景的人员数据，并判断是否为医护人员；当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。本申请能够提高识别定位医护手部的精度，并实时监测医护人员的手部行为，还可以预警经手接触高风险传播链，实现经手接触传播的实时预警与干预。

Description

一种医护人员手部识别定位方法、装置、设备及存储介质
技术领域
本发明涉及医疗技术领域，尤其涉及一种医护人员手部识别定位方法、装置、设备及存储介质。
背景技术
重症监护室(ICU)内患者病情危重，免疫力低下，长期卧床且接受的各种侵入性操作较多，是住院期间发生获得性感染的高风险人群。目前，ICU内导致患者发生获得性感染的重要途径是经医护人员的手接触导致的交叉传播，即医护人员手接触到被ICU内环境、设备表面、患者的体液血液分泌物上的致病病原微生物等污染，未进行充分手卫生的情况后，通过手携带致病病原微生物，传播至其他患者，造成其他患者的感染，严重情况下可造成病区内短时间的医院感染暴发，属于重大医疗安全事故。因此，ICU内医护人员的手一直以来是国内外医疗机构中重点监测与预警的重要传播途径。
目前，国内外对ICU内医护人员手的监测主要依靠人工随机抽样监测、回溯视频监控抽样监测等。现有技术的缺点是：覆盖范围较小，回溯性监测导致的延迟预警，人工监测带来的误差偏移，人工监测带来的人时耗费等。而ICU内医护人员医疗活动复杂且高频，现有对手部行为的监测技术无法满足医疗安全的预警与质量控制需求。
因此，如何提高医护人员手部识别定位的精度，是目前亟需解决的技术问题。
发明内容
本发明主要目的在于提供一种医护人员手部识别定位方法、装置、设备及存储介质，能够提高识别定位医护手部的精度，并实时监测医护人员的手部行为，还可以预警经手接触高风险传播链，实现经手接触传播的实时预警与干预。
第一方面，本申请提供了一种医护人员手部识别定位方法，该方法包括步骤：
采集重症监护室场景的人员数据，并判断是否为医护人员；
当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；
基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；
根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。
结合上述第一方面，作为一种可选的实现方式，当确定所述医护人员ROI和医护人员手部ROI有重合区域，且医护人员的人体骨骼点坐标中的手腕坐标在医护手部ROI区域内部时，确定为医护人员手部，并进行实时定位监测。
结合上述第一方面，作为一种可选的实现方式，分别设置医护及医护人员的手两类标签，当确定为医护人员时，通过设置的标签对医护人员和医护人员手部进行标注，以对医护人员和医护人员手部进行区分。
结合上述第一方面，作为一种可选的实现方式，将医护人员整个手部以及靠近手腕的前臂三分之一的部分作为一个整体进行标注。
结合上述第一方面，作为一种可选的实现方式，利用YoloV5目标检测模型确定所述医护人员ROI的长宽比；
根据所述医护人员ROI的长宽比，对医护人员与患者的识别精度进行优化。
结合上述第一方面，作为一种可选的实现方式，根据安装在重症监护室内方向从床尾朝向床头区域以及床头朝向床尾区域的两个深度摄像头，采集重症监护室场景内的所有人员数据；
通过采集的人员数据中医护与患者之间的服装差异，确定医护人员。
结合上述第一方面，作为一种可选的实现方式，提取YoloV5目标检测模型中的医护人员ROI，并利用OpenPose框架提取医护人员ROI的人体骨骼点坐标；
根据提取的人体骨骼点坐标，确定手腕坐标。
第二方面，本申请提供了一种医护人员手部识别定位装置，该装置包括：
采集单元，其用于采集重症监护室场景的人员数据，并判断是否为医护人员；
处理单元，当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；
提取单元，其用于基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；
确定单元，其用于根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。
第三方面，本申请还提供了一种电子设备，所述电子设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现第一方面任一项所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行第一方面任一项所述的方法。
本申请提供的一种医护人员手部识别定位方法、装置、设备及存储介质，该方法包括步骤：采集重症监护室场景的人员数据，并判断是否为医护人员；当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。本申请能够提高识别定位医护手部的精度，并实时监测医护人员的手部行为，还可以预警经手接触高风险传播链，实现经手接触传播的实时预警与干预。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1为本申请实施例中提供的一种医护人员手部识别定位方法流程图；
图2为本申请实施例中提供的一种医护人员手部识别定位装置示意图；
图3为本申请实施例中提供的人体骨骼点坐标示意图；
图4为本申请实施例中提供的一种电子设备示意图；
图5为本申请实施例中提供的一种计算机可读程序介质示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。附图所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本申请实施例提供了一种医护人员手部识别定位方法、装置、设备及存储介质，能够提高识别定位医护手部的精度，并实时监测医护人员的手部行为，还可以预警经手接触高风险传播链，实现经手接触传播的实时预警与干预。
为达到上述技术效果，本申请的总思路如下：
一种医护人员手部识别定位方法，该方法包括步骤：
S101：采集重症监护室场景的人员数据，并判断是否为医护人员。
S102：当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI。
S103：基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标。
S104：根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。
以下结合附图对本申请的实施例作进一步详细说明。
参照图1，图1所示为本发明提供的一种医护人员手部识别定位方法流程图，如图1所示，该方法包括步骤：
步骤S101:采集重症监护室场景的人员数据，并判断是否为医护人员。
具体而言，根据安装在重症监护室内方向从床尾朝向床头区域以及床头朝向床尾区域的两个深度摄像头，采集重症监护室场景内的所有人员数据，并通过采集的人员数据中医护与患者之间的服装差异，确定医护人员。
方便理解进一步进行说明，首先对重症监护室(ICU)内建筑布局进行实地勘测与测量，并调研重症监护室内的病床数以及医护人员数，估算摄像头的安装位置及数量，可以理解的是，需要根据场景以及人员确定摄像头最佳安装位置以及摄像头数量。
一实施例中，在ICU重症监护室内某一病床床单元空间内架设2个深度摄像头，方向从床尾朝向床头区域以及床头朝向床尾区域，记录2个视频，每个摄像头视频流进行单独计算。需要说明的是，摄像头为对称安装，即两个相向朝向的摄像头能够避免由于视野遮挡导致识别不到的问题，无论何种情形医护都能够暴露在某一摄像头视野下。
根据采集重症监护室场景内的所有人员数据，通过医护与患者之间的服装差异，确定医护人员，可以理解的是，在ICU病房内由于医护与患者之间服装有较为明显的差异(医护着白色、蓝色刷手服，佩戴口罩及圆帽；患者着蓝白条纹病患服)，因此可通过医护与患者服装的差异，区分医护人员与患者。
步骤S102:当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI。
具体而言，根据采集重症监护室场景内的所有人员数据，通过医护与患者之间的服装差异，确定医护人员后，分别设置医护及医护人员的手两类标签，对确定的医护人员进行标注，随后对标注的医护人员手部进行标注，需要说明的是，对医护人员以及对应的手部进行标注的目的是为了更好的对医护人员和医护人员手部进行区分，同时也能更好的提高训练的精度。
一实施例中，将医护人员整个手部以及靠近手腕的前臂三分之一的部分作为一个整体进行标注，可以理解的是，在整个手部标注过程中，将医护整个手部以及靠近手腕的前臂1/3的部分作为整体进行标注，目的是让目标检测模型(YoloV5)学习到医护手臂服装的特征，以提高医护手部与患者手部的区分度，减少对患者手部的误判。
将标注后的医护人员和医护人员手部，输入YoloV5目标检测模型进行训练，并输出训练后的结果，即训练好的目标检测模型会输出识别到的医护手部ROI和医护人员ROI，需要说明的是，ROI是region of interest的简称，意思是感兴趣区。在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是你的图像分析所关注的重点，圈定该区域以便进行进一步处理，使用ROI圈定想读取的目标，以减少处理时间，增加精度。
一实施例中，利用YoloV5目标检测模型确定所述医护人员ROI的长宽比，根据所述医护人员ROI的长宽比，对医护人员与患者的识别精度进行优化。可以理解的是，由于ICU病房内病患几乎完全失去移动能力，仅保持在病床区域平躺，因此医护与由于站立和平躺姿势的不同，矩形ROI(ROI即感兴趣区域，即要操作的区域)的长宽比有着显著的区分，对模型输出的医护坐标进行长宽比计算，将坐标中纵向(宽)距离小于横向(长)距离的剔除，该坐标误判为患者，将其余输出的医护坐标确定为医护，以此对医护人员与患者的识别精度进行优化。
步骤S103:基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标。
具体而言，提取YoloV5目标检测模型中的医护人员ROI，并利用OpenPose框架提取医护人员ROI的人体骨骼点坐标，根据提取的人体骨骼点坐标，确定手腕坐标。可以理解的是，利用人体骨架辅助计算，对目标检测模型中提取出的医护人员ROI调用OpenPose框架提取18点人体骨骼点坐标，7、4点是openpose框架提取出默认的左右手腕部坐标。
步骤S104:根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。
具体而言，根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位，可以理解的是，当确定所述医护人员ROI和医护人员手部ROI有重合区域，且医护人员的人体骨骼点坐标中的手腕坐标在医护手部ROI区域内部时，确定为医护人员手部，并进行实时定位监测。
一实施例中，将手腕点坐标与目标检测模型中输出的医护手部ROI进行计算，当目标检测模型中输出的医护手部ROI与医护人员ROI有重合区域或者手部坐标在医护坐标区域内，且医护人体骨骼点中某个手腕点在目标检测模型中输出的医护手部ROI区域内部通过以上计算，同时满足上述两个条件即能够排除在背景中的手部空检，且能够以较高可信度区分除医护和患者的手部，唯一识别医护的手部区域，即可有较高置信度确定为医护手部。可以理解的是，计算最终的目的是提高目标检测模型检测医护手部的精度，排除在背景中的手部空检。
可以理解的是，本申请利用目标检测和人体骨骼点提取模型，能够以较高的精度识别定位医护的手部，实时监测医护人员的手部行为，进一步地可以预警经手接触高风险传播链，以期实现ICU内经手接触传播的实时预警与干预。
参照图2，图2所示为本发明提供的一种医护人员手部识别定位装置示意图，如图2所示，该装置包括：
采集单元201：其用于采集重症监护室场景的人员数据，并判断是否为医护人员。
处理单元202：当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI。
提取单元203：其用于基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标。
确定单元204：其用于根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。
进一步地，一种可能的实施方式中，确定单元204，还用于当确定所述医护人员ROI和医护人员手部ROI有重合区域，且医护人员的人体骨骼点坐标中的手腕坐标在医护手部ROI区域内部时，确定为医护人员手部，并进行实时定位监测。
进一步地，一种可能的实施方式中，处理单元202，还用于分别设置医护及医护人员的手两类标签，当确定为医护人员时，通过设置的标签对医护人员和医护人员手部进行标注，以对医护人员和医护人员手部进行区分。
进一步地，一种可能的实施方式中，处理单元202，还用于将医护人员整个手部以及靠近手腕的前臂三分之一的部分作为一个整体进行标注。
进一步地，一种可能的实施方式中，处理单元202，还用于利用YoloV5目标检测模型确定所述医护人员ROI的长宽比；
根据所述医护人员ROI的长宽比，对医护人员与患者的识别精度进行优化。
进一步地，一种可能的实施方式中，采集单元201，还用于根据安装在重症监护室内方向从床尾朝向床头区域以及床头朝向床尾区域的两个深度摄像头，采集重症监护室场景内的所有人员数据；
通过采集的人员数据中医护与患者之间的服装差异，确定医护人员。
进一步地，一种可能的实施方式中，提取单元203，还用于提取YoloV5目标检测模型中的医护人员ROI，并利用OpenPose框架提取医护人员ROI的人体骨骼点坐标；
根据提取的人体骨骼点坐标，确定手腕坐标。
参照图3，图3所示为本发明提供的人体骨骼点坐标示意图，如图3所示：
利用人体骨架辅助计算，对目标检测模型中提取出的医护ROI调用OpenPose框架提取18点人体骨骼点坐标，由图可知，7、4点是openpose框架提取出默认的左右手腕部坐标。方便理解对提取的18点人体骨骼点坐标进行一步说明。其中，坐标点0对应为人体的鼻子、坐标点1对应为人体的颈部、坐标点2对应为人体的右肩、坐标点3对应为人体的右肘、坐标点4对应为人体的右手腕、坐标点5对应为人体的左肩、坐标点6对应为人体的左肘、坐标点7对应为人体的左手腕、坐标点8对应为人体的右髋、坐标点9对应为人体的右膝、坐标点10对应为人体的右脚踝、坐标点11对应为人体的左髋、坐标点12对应为人体的左膝、坐标点13对应为人体的左脚踝、坐标点14对应为人体的右眼、坐标点15对应为人体的左眼、坐标点16对应为人体的右耳、坐标点17对应为人体的左耳。
将手腕点坐标与目标检测模型中输出的医护手部ROI进行计算，其中计算内容包括：1)目标检测模型中输出的医护手部ROI与医护人员ROI有重合区域或者手部坐标在医护坐标区域内；2)医护人体骨骼点中某个手腕点在目标检测模型中输出的医护手部ROI区域内部。通过以上计算，同时满足上述两个条件即能够排除在背景中的手部空检，且能够以较高可信度区分除医护和患者的手部，即可有较高置信度确定为医护手部。
可以理解的是，利用目标检测和人体骨骼点提取模型，能够以较高的精度识别定位医护的手部，实时监测医护人员的手部行为。
下面参照图4来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)421和/或高速缓存存储单元422，还可以进一步包括只读存储单元(ROM)423。
存储单元420还可以包括具有一组(至少一个)程序模块425的程序/实用工具424，这样的程序模块425包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开的方案，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
综上所述，本申请提供的一种医护人员手部识别定位方法、装置、设备及存储介质，该方法包括步骤：采集重症监护室场景的人员数据，并判断是否为医护人员；当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位。本申请能够提高识别定位医护手部的精度，并实时监测医护人员的手部行为，还可以预警经手接触高风险传播链，实现经手接触传播的实时预警与干预。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

Claims (9)

1.一种医护人员手部识别定位方法，其特征在于，包括：
采集重症监护室场景的人员数据，并判断是否为医护人员；
当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；
基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；
根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位；
其中，当确定所述医护人员ROI和医护人员手部ROI有重合区域，且医护人员的人体骨骼点坐标中的手腕坐标在医护手部ROI区域内部时，确定为医护人员手部，并进行实时定位监测。
2.根据权利要求1所述的方法，其特征在于，包括：所述当确定为医护人员时，对医护人员和医护人员手部进行标注，包括：
分别设置医护及医护人员的手两类标签，当确定为医护人员时，通过设置的标签对医护人员和医护人员手部进行标注，以对医护人员和医护人员手部进行区分。
3.根据权利要求2所述的方法，其特征在于：
将医护人员整个手部以及靠近手腕的前臂三分之一的部分作为一个整体进行标注。
4.根据权利要求1所述的方法，其特征在于，所述利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员ROI和医护人员手部ROI之后，包括：
利用YoloV5目标检测模型确定所述医护人员ROI的长宽比；
根据所述医护人员ROI的长宽比，对医护人员与患者的识别精度进行优化。
5.根据权利要求1所述的方法，其特征在于，所述采集重症监护室场景的人员数据，并判断是否为医护人员，包括：
根据安装在重症监护室内方向从床尾朝向床头区域以及床头朝向床尾区域的两个深度摄像头，采集重症监护室场景内的所有人员数据；
通过采集的人员数据中医护与患者之间的服装差异，确定医护人员。
6.根据权利要求1所述的方法，其特征在于，所述基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标，包括：
提取YoloV5目标检测模型中的医护人员ROI，并利用OpenPose框架提取医护人员ROI的人体骨骼点坐标；
根据提取的人体骨骼点坐标，确定手腕坐标。
7.一种医护人员手部识别定位装置，其特征在于，包括：
采集单元，其用于采集重症监护室场景的人员数据，并判断是否为医护人员；
处理单元，当确定为医护人员时，对医护人员和医护人员手部进行标注，并利用目标检测模型对标注的医护人员及医护人员手部进行训练，得到医护人员感兴趣区ROI和医护人员手部ROI；
提取单元，其用于基于医护人员ROI提取人体骨骼点坐标中的手腕点坐标；
确定单元，其用于根据医护人员ROI和医护人员手部ROI是否存在重叠区，以及手腕点是否在医护手部ROI区域内部，以对所述医护人员手部进行识别定位；
当确定所述医护人员ROI和医护人员手部ROI有重合区域，且医护人员的人体骨骼点坐标中的手腕坐标在医护手部ROI区域内部时，确定为医护人员手部，并进行实时定位监测。
8.一种电子设备，其特征在于，所述电子设备，包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至6中任一项所述的方法。
CN202310573895.7A 2023-05-17 2023-05-17 一种医护人员手部识别定位方法、装置、设备及存储介质 Active CN116664819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310573895.7A CN116664819B (zh) 2023-05-17 2023-05-17 一种医护人员手部识别定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310573895.7A CN116664819B (zh) 2023-05-17 2023-05-17 一种医护人员手部识别定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116664819A CN116664819A (zh) 2023-08-29
CN116664819B true CN116664819B (zh) 2024-01-09

Family

ID=87711093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310573895.7A Active CN116664819B (zh) 2023-05-17 2023-05-17 一种医护人员手部识别定位方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116664819B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN112580778A (zh) * 2020-11-25 2021-03-30 江苏集萃未来城市应用技术研究所有限公司 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
CN113052029A (zh) * 2021-03-12 2021-06-29 天天惠民(北京)智能物流科技有限公司 基于动作识别的异常行为监管方法、装置及存储介质
CN114584836A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质
CN114863310A (zh) * 2022-03-18 2022-08-05 广东省第二人民医院（广东省卫生应急医院） 一种基于人工智能的手卫生自动监测方法及系统
CN115376702A (zh) * 2022-08-24 2022-11-22 清华大学 识别医院内医护手部触摸行为的方法、装置、设备及介质
CN115620398A (zh) * 2022-11-08 2023-01-17 北京爱笔科技有限公司 一种目标动作检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2368202A1 (en) * 2008-12-18 2011-09-28 Clean Contact Aps Hand hygiene system
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN112580778A (zh) * 2020-11-25 2021-03-30 江苏集萃未来城市应用技术研究所有限公司 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
CN114584836A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质
CN113052029A (zh) * 2021-03-12 2021-06-29 天天惠民(北京)智能物流科技有限公司 基于动作识别的异常行为监管方法、装置及存储介质
CN114863310A (zh) * 2022-03-18 2022-08-05 广东省第二人民医院（广东省卫生应急医院） 一种基于人工智能的手卫生自动监测方法及系统
CN115376702A (zh) * 2022-08-24 2022-11-22 清华大学 识别医院内医护手部触摸行为的方法、装置、设备及介质
CN115620398A (zh) * 2022-11-08 2023-01-17 北京爱笔科技有限公司 一种目标动作检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Performance analysis of static hand gesture recognition approaches using artificial neural network, support vector machine and two stream based transfer learning approach;Anjali R. Patil ；S. Subbaraman;International Journal of Information Technology;第14卷(第7期);第3781-3792页 *
基于姿态估计的驾驶员手部动作检测方法研究;刘唐波;杨锐;王文伟;何楚;信号处理(第12期);第136-143页 *

Also Published As

Publication number Publication date
CN116664819A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Shi et al. Review of artificial intelligence techniques in imaging data acquisition, segmentation, and diagnosis for COVID-19
Kamruzzaman New opportunities, challenges, and applications of edge-AI for connected healthcare in smart cities
US11776680B2 (en) Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
CN111898580B (zh) 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备
US20050075537A1 (en) Method and system for real-time automatic abnormality detection for in vivo images
US20200372641A1 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
CN106793980A (zh) 患者监测系统和方法
US20220133149A1 (en) System and method of monitoring association between wireless sensors and a monitored patient
WO2005041770A1 (ja) 乳児運動解析システムおよび乳児運動解析方法
CN113610145A (zh) 模型训练方法、图像预测方法、训练系统及存储介质
CN110648318A (zh) 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN107786591A (zh) 基于车联网智能终端的无线医疗救护系统及其使用方法
CN116664819B (zh) 一种医护人员手部识别定位方法、装置、设备及存储介质
CN116664925B (zh) 一种重症监护室内目标识别方法、装置、设备及存储介质
CN105512490A (zh) 一种基于虹膜信息检测健康的可穿戴设备
CN115424162B (zh) 一种有创机械通气患者脱管预警系统
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
CN114052724B (zh) 基于人工智能的骨科牵引异常检测系统
CN115376702A (zh) 识别医院内医护手部触摸行为的方法、装置、设备及介质
CN107752171A (zh) 一种重症监护儿童病号服
CN113610841B (zh) 一种血管异常图像识别方法、装置、电子设备和存储介质
CN115662586A (zh) 一种基于ai图像识别系统的医院感染管理系统
CN111192679B (zh) 一种影像数据异常的处理方法、装置及存储介质
WO2021153863A1 (ko) 신체의 목적 타겟 위치 확인 방법
CN218220187U (zh) 一种对城市排水管网井下作业人员风险监测的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant