CN115187911A - 一种医疗防护用品穿脱消毒视频ai监测方法及装置 - Google Patents

一种医疗防护用品穿脱消毒视频ai监测方法及装置 Download PDF

Info

Publication number
CN115187911A
CN115187911A CN202210864957.5A CN202210864957A CN115187911A CN 115187911 A CN115187911 A CN 115187911A CN 202210864957 A CN202210864957 A CN 202210864957A CN 115187911 A CN115187911 A CN 115187911A
Authority
CN
China
Prior art keywords
action
video
medical staff
medical
wearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210864957.5A
Other languages
English (en)
Inventor
罗雀华
关山
陈彦丹
容典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Vlinker Information Technology Co ltd
Guangdong General Hospital
Original Assignee
Guangzhou Vlinker Information Technology Co ltd
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Vlinker Information Technology Co ltd, Guangdong General Hospital filed Critical Guangzhou Vlinker Information Technology Co ltd
Priority to CN202210864957.5A priority Critical patent/CN115187911A/zh
Publication of CN115187911A publication Critical patent/CN115187911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明适用于医疗防护领域，提供了一种医疗防护用品穿脱消毒视频AI监测方法及装置，所述方法包括：计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；使用所选择算法判断医务人员是否出现不规范动作；当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。该监测方法，应用在发热门诊医务人员的防护上，可以实现对医务人员的穿脱消毒进行监督。

Description

一种医疗防护用品穿脱消毒视频AI监测方法及装置
技术领域
本发明属于医疗防护技术领域，尤其涉及一种医疗防护用品穿脱消毒视频AI监测方法及装置。
背景技术
随着当今社会经济的不断发展，人们对自身抵抗力的忽视，以及各种新型传染病的突发，对于一些新出现的疾病其传染方式多样，传播途径复杂，且呈长久传染的趋势，其传染性不随季节交替的变化而降低，也不集中于单一的人群聚集呼吸感染，甚至会经由中间接触物而残留于其上造成进一步的传染。
结合近年来发热门诊全国防护经验，容易让医护人员传染的环节包括：防护用品未规范穿戴，易感染；防护用品未规范脱除，易导致二次污染；洗手未严格按要求的流程进行执行。目前大多数医院采用人工监督的方式，此方式一定程度上增加了医院的管理成本，且人工监督的方式难免因为各个医院管理制度以及重视程度的差异，导致规范具体落地实施效果参差不齐。
为此，亟需创新技术手段，以解决目前对防护用品穿脱全过程步骤及洗手步骤进行智能化分析的不足，以及解决目前监督过程中不能及时发现不规范或漏步骤的问题，无法做到提醒纠正的问题。
发明内容
本发明的目的在于提供一种医疗防护用品穿脱消毒视频AI监测方法及装置，旨在解决上述背景技术中所提出的技术问题。
为实现上述目的，本发明提供了如下的技术方案。
第一方面，本发明提供了一种医疗防护用品穿脱消毒视频AI监测方法，所述的监测方法包括以下步骤：
视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；
使用所选择算法判断医务人员是否出现不规范动作；
当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
在本发明提供的一个实施例中，所述视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据的步骤包括：
根据医务人员在视频监控器前的期间内，视频监控器获取对该期间内穿戴和洗手的医务人员拍摄后所采集的图像，得到医务人员的穿戴和洗手图像视频数据。
在本发明提供的一个实施例中，所述计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据的步骤包括：
所述视频监控器所获取的医务人员拍摄采集图像中所识别到的每一医务人员动作数据进行检索对应；
若未在所述计算机处理设备的已知动作数据库内检索到，则将该医务人员的动作标记为未知动作，并将所述未知动作录入至所述计算机设备的未知动作数据库中。
在本发明提供的一个实施例中，所述计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断医务人员是否出现不规范动作的步骤包括：
提取所述医务人员图像数据中的动作特征数据，并对待识别的动作特征数据进行预处理，消除背景，获取其中的人体动作区域；
记录所述人体动作区域中人体动作的几何特征值，并给每个所述几何特征值进行标记；
采用时序动作检测模型判断医务人员穿戴、脱除动作是否规范；
采用时空动作检测模型判断医务人员洗手动作是否规范。
在本发明提供的一个实施例中，所述几何特征值还包括目标部位的外观和位置，其中，所述目标部位包括人体躯干、头部和四肢。
在本发明提供的一个实施例中，所述当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令的步骤包括：
当所述计算机处理设备未在所述已知动作数据库内检索到医务人员的动作特征数据时，将该医务人员的动作标记为不规范动作，生成报警文本信息，将所述报警文本信息发送至所述报警设备，利用报警设备进行报警通知，同时将所记录的该医务人员的所述动作特征数据传输至报警设备以备管理人员查询。
在本发明提供的一个实施例中，判断医务人员的穿戴和洗手图像视频的动作过程结束的步骤包括：
步骤S111：输入当次医务人员穿脱消毒图像视频X’，使用训练集Ψp＝{tp}识别是否存在起始动作
Figure BDA0003758211760000021
若存在则根据
Figure BDA0003758211760000022
判断X’的类型；
根据X’的类型选择对应的算法，同时启动对动作集合Ψ’g的判断，在本次判断结束前不再识别是否存在起始动作
Figure BDA0003758211760000031
步骤S112：对于
Figure BDA0003758211760000032
判断是否等于动作
Figure BDA0003758211760000033
以及动作持续时间是否等于d，若等于则判断下一个动作
Figure BDA0003758211760000034
以此类推；
步骤S113：判断动作集合Ψ’g的先后顺序及完整性，即是否按照
Figure BDA0003758211760000035
的顺序，总的来说即是否等于训练集Ψp；
步骤S114：判断是否满足训练集Ψp，若满足则提示穿脱消毒流程结束。
在本发明提供的一个实施例中，对医务人员的穿戴和洗手图像视频的动作过程进行预警的方法包括：
根据所述步骤S111，若不满足起始动作等于
Figure BDA0003758211760000036
则不处理或提示医务人员可以开始进入穿脱消毒流程；若满足则提示医务人员穿脱消毒流程开始；
根据所述步骤S112，若单个动作
Figure BDA0003758211760000037
持续时间小于d已进入下一个动作
Figure BDA0003758211760000038
则告警前一个动作
Figure BDA0003758211760000039
操作时间不足；若单个动作
Figure BDA00037582117600000310
持续时间大于或等于d则提示已完成本动作
Figure BDA00037582117600000311
需要进入下一个动作
Figure BDA00037582117600000312
根据所述步骤S111、所述步骤S112和所述步骤S113，在穿脱消毒流程开始后，对于动作集合
Figure BDA00037582117600000313
第一，发生动作
Figure BDA00037582117600000314
后，出现无法判断的动作，然后发生动作
Figure BDA00037582117600000315
第二，发生动作
Figure BDA00037582117600000316
后，没有发生动作
Figure BDA00037582117600000317
然后发生动作
Figure BDA00037582117600000318
第三，发生动作
Figure BDA00037582117600000319
后，其中，n＞1，然后发生动作
Figure BDA00037582117600000320
则发出告警指示医务人员作下一步处理；
根据所述步骤S114，动作集合Ψ’g满足训练集Ψp，包括最后一个动作等于
Figure BDA00037582117600000321
则提示整个流程结束并向医务人员给出下一步工作指示。
在本发明提供的一个实施例中，所述时空动作检测采用SlowFast模型，分为Slow和Fast两种采样率的路径；两个路径分别输入视频进行处理，Slow采样率的路径提取外观特征，提取视频空间语义特征，size{T,S2,C}；Fast采样率的路径提取运动特征，提取视频时域运动特征，size{αT,S2,βC}，其中α＞1，β＜1；之后将两个路径的特征进行融合，其中，横向连接将Fast的特征融合到Slow路径，使用3D卷积对Fast特征进行卷积，得到形状为{T,S2,2βC}的特征，对医护人员动作是否规范进行识别。
第二方面，本发明还提供了一种医疗防护用品穿脱消毒视频AI监测装置，所述监测装置包括：
图像采集模块，用于对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
动作识别模块，用于对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
视频AI模块，用于对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；使用所选择算法判断医务人员是否出现不规范动作；
动作预警模块，用于当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
与现有技术相比，本发明提供的医疗防护用品穿脱消毒视频AI监测方法，应用在发热门诊医务人员的防护上，聚焦于每个人具体的姿态、动作、手势以及其与物品的互动细节，可以实现以下功能：
第一，防护用品穿戴AI智能监测：采用AI智能动作识别算法，按照医务人员穿戴防护用品流程，监管是否正确穿戴；
第二，防护用品脱除消毒AI智能监测：采用AI智能动作识别算法，对医务人员脱除防护用品流程及消毒过程进行监管；
第三，手部卫生AI智能监测：采用AI智能动作识别算法，以监管是否正确洗手。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明提供的用于实现医疗防护用品穿脱消毒视频AI监测方法的系统架构图；
图2为本发明提供的医疗防护用品穿脱消毒视频AI监测方法的实现流程图；
图3为本发明提供的医疗防护用品穿脱消毒视频AI监测方法的逻辑图；
图4为本发明提供的判断不规范动作的流程图；
图5为本发明提供的医疗防护用品穿脱消毒视频AI监测装置的结构框图；
图6为本发明提供的一种计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
目前，结合近年来发热门诊全国防护经验，容易让医护人员传染的环节包括：防护用品未规范穿戴，易感染；防护用品未规范脱除，易导致二次污染；洗手未严格按要求的流程进行执行。目前大多数医院采用人工监督的方式，此方式一定程度上增加了医院的管理成本，且人工监督的方式难免因为各个医院管理制度以及重视程度的差异，导致规范具体落地实施效果参差不齐。
为此，亟需创新技术手段，以解决目前对防护用品穿脱全过程步骤及洗手步骤进行智能化分析的不足，以及解决目前监督过程中不能及时发现不规范或漏步骤的问题，无法做到提醒纠正的问题。
为解决上述问题，本发明提供了一种医疗防护用品穿脱消毒视频AI监测方法及装置，在本发明提供的一种医疗防护用品穿脱消毒视频AI监测方法中，视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；使用所选择算法判断医务人员是否出现不规范动作；当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
图1为本发明提供的用于实现医疗防护用品穿脱消毒视频AI监测方法的系统架构图。
如图1所示，本发明的应用场景中包括视频监控器100、计算机设备200和报警设备300，所述计算机设备200与视频监控器100之间，以及计算机设备200与报警设备300之间均通过网络400进行通信，以实现数据之间的传递，所述通信网络400可以是用以在所述计算机设备200与视频监控器100之间，以及计算机设备200与报警设备300之间提供通信链路的介质。网络400可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等，具体不进行限定。
在本发明中，视频监控器100用于获取指定区域内的视频图像，如视频监控器100安装在医务人员的工作区域，进一步的，所述指定区域为可以获取到医务人员进行穿戴和洗手等消毒动作时所在区域，通过视频监控器100对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据。
视频监控器100通过网络400实现与计算机设备之间的数据交互。
计算机设备200可以是硬件，也可以是软件。当计算机设备200为硬件时，可以是具有数据存储功能、数据处理功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当计算机设备200为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的视频监控器100、报警设备300和计算机设备200的数目仅仅是示意性的。根据实现需要，可以具有任意数目的视频监控器100、报警设备300和计算机设备200。
以下结合具体实施例对本发明提供的监测方法的具体实现进行详细描述。
实施例1
如图2-图3所示，在本发明实施例1中，提供了一种医疗防护用品穿脱消毒视频AI监测方法，所述的监测方法包括以下步骤：
步骤S1：视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
步骤S2：计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
步骤S3：计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；
步骤S4：使用所选择算法判断医务人员是否出现不规范动作；
步骤S5：当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
进一步的，在本发明实施例中，所述视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据的步骤包括：
根据医务人员在视频监控器前的期间内，视频监控器获取对该期间内穿戴和洗手的医务人员拍摄后所采集的图像，得到医务人员的穿戴和洗手图像视频数据。
进一步的，在本发明实施例中，所述计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据的步骤包括：
所述视频监控器所获取的医务人员拍摄采集图像中所识别到的每一医务人员动作数据进行检索对应；
若未在所述计算机处理设备的已知动作数据库内检索到，则将该医务人员的动作标记为未知动作，并将所述未知动作录入至所述计算机设备的未知动作数据库中。
进一步的，在本发明实施例中，所述判断医务人员是否出现不规范动作的步骤包括：
提取所述医务人员图像数据中的动作特征数据，并对待识别的动作特征数据进行预处理，消除背景，获取其中的人体动作区域；
记录所述人体动作区域中人体动作的几何特征值，并给每个所述几何特征值进行标记；
在进行规范判断前，需要对图像视频进行分类，以选择不同的算法对图像视频是否规范进行判断，采用时序动作检测模型BMN判断医务人员穿戴、脱除动作是否规范，采用时空动作检测模型SlowFast判断医务人员洗手动作是否规范。
具体的，在本发明实施例中，规范的图像视频应包含一组具有固定先后顺序的动作集合，组成动作集合的每一个指定动作均符合规范，且每一个指定动作具有指定的时间范围。若指定动作发生的先后顺序不一致，或在动作集合中有遗漏某一指定动作，或在动作集合中插入了非指定动作，或在动作集合中有指定动作不规范，或在动作集合中有指定动作发生的持续时间不在指定的时间范围内，都会使得这个动作集合不符合规范。
在本发明实施例中，所述时序动作检测采用BMN模型，分为时序动作提名生成和动作分类两个阶段。
具体的，在本发明提供的BMN模型中，先定位动作的边界，再将边界节点组合为时序提名，对候选的时序提名基于置信度分数进行筛选，得到最终的动作定位集合。首先使用双流网络对输入视频进行预处理得到编码特征，然后将编码特征输入Base Module使用两层时序卷积提取特征，其后分TEM和PEM两个分支进行处理，TEM模块通过两层时序卷积处理得到视频每个位置为开始边界的概率序列和为结束边界的概率序列，PEM模块处理得到BM配置信度图(将一个时序动作提名
Figure BDA0003758211760000071
表示为开始边界为ts，结束边界为te的匹配对。
进一步的，创建由有不同开始边界和长度的边界匹配对组成的二维置信图Mc。用Mc(i,j)表示提名
Figure BDA0003758211760000072
的置信度分数，其中
Figure BDA0003758211760000073
的开始边界ts＝tj，持续时间d＝ti，因此其结束边界te＝tj+ti，使用该置信度图可以得到任一候选提名的置信度分数。
进一步的，在后处理阶段，边界概率两个序列中的极大值点及超过最大值一半的点所在视频位置被视为候选开始边界或候选结束边界。通过对两种边界的两两组合可以得到一系列的候选动作提名，再通过在置信度图中检索分数可以得到一个拥有置信度分数的候选提名集合。
在本发明实施例中，定义
Figure BDA0003758211760000081
X是一个未处理的医务人员穿脱消毒图像视频，lv为视频X的总帧数，xn为视频X中的第n帧。
在本发明实施例中，定义
Figure BDA0003758211760000082
Ψg是视频X中的动作集合，
Figure BDA0003758211760000083
为该动作集合Ψg中的单个动作，ts,n为单个动作
Figure BDA0003758211760000084
的开始时间，te,n为单个动作
Figure BDA0003758211760000085
的结束时间，且[ts,te]满足d＝ts-te∈[dmin,dmax]即满足视频的最大和最小长度，Ng为视频X中的动作数量。
在本发明实施例中，Ψp为Ψg的训练集。
同时，在本发明实施例中，应根据给定医务人员穿脱消毒图像视频X的不同，区分出不同类型的动作集合，即定义Ψg＝{tg}，tg为动作集合的类型。
如图4所示，本发明中，判断不规范动作的流程如下：
步骤S111：输入当次医务人员穿脱消毒图像视频X’，使用训练集Ψp＝{tp}识别是否存在起始动作
Figure BDA0003758211760000086
若存在则根据
Figure BDA0003758211760000087
判断X’的类型；
根据X’的类型选择对应的算法，同时启动对动作集合Ψ’g的判断，在本次判断结束前不再识别是否存在起始动作
Figure BDA0003758211760000088
步骤S112：对于
Figure BDA0003758211760000089
判断是否等于动作
Figure BDA00037582117600000810
以及动作持续时间是否等于d，若等于则判断下一个动作
Figure BDA00037582117600000811
以此类推；
步骤S113：判断动作集合Ψ’g的先后顺序及完整性，即是否按照
Figure BDA00037582117600000812
的顺序，总的来说即是否等于训练集Ψp；
步骤S114：判断是否满足训练集Ψp，若满足则提示穿脱消毒流程结束。
对医务人员的穿戴和洗手图像视频的动作过程进行预警方式：
A：根据上述步骤S111，若不满足起始动作等于
Figure BDA00037582117600000813
则不处理或提示医务人员可以开始进入穿脱消毒流程；若满足则提示医务人员穿脱消毒流程开始。
B：根据上述步骤S112，若单个动作
Figure BDA00037582117600000814
持续时间小于d已进入下一个动作
Figure BDA00037582117600000815
则告警前一个动作
Figure BDA0003758211760000091
操作时间不足；若单个动作
Figure BDA0003758211760000092
持续时间大于或等于d则提示已完成本动作
Figure BDA0003758211760000093
需要进入下一个动作
Figure BDA0003758211760000094
C：根据所述步骤S111、所述步骤S112和所述步骤S113，在穿脱消毒流程开始后，对于动作集合
Figure BDA0003758211760000095
(a)发生动作
Figure BDA0003758211760000096
后，出现无法判断的动作，然后发生动作
Figure BDA0003758211760000097
(b)发生动作
Figure BDA0003758211760000098
后，没有发生动作
Figure BDA0003758211760000099
然后发生动作
Figure BDA00037582117600000910
(c)发生动作
Figure BDA00037582117600000911
(其中，n＞1)后，然后发生动作
Figure BDA00037582117600000912
则发出告警指示医务人员作下一步处理；
D：根据上述步骤S114，动作集合Ψ’g满足训练集Ψp(包括最后一个动作等于
Figure BDA00037582117600000913
)，则提示整个流程结束并向医务人员给出下一步工作指示。
特别地指出，在本发明实施例中，分为两个不同类型的动作集合，即穿戴、脱除的动作集合，以及洗手的动作集合。因此，对于动作集合Ψg＝{tg}，应根据动作集合的类型tg区分为穿戴、脱除动作集合以及洗手动作集合的训练集。对于穿戴、脱除动作集合应采用时序动作检测模型BMN进行判断，对于洗手动作集合应采用时空动作检测模型SlowFast进行判断，而对于其他动作集合则不进行判断。
另外，在本发明实施例中，所述时空动作检测采用SlowFast模型，分为Slow和Fast两种采样率的路径。
具体的，在本发明实施例中，两个路径分别输入视频进行处理，前者提取外观特征(提取视频空间语义特征，size{T,S2,C})，后者提取运动特征(提取视频时域运动特征，size{αT,S2,βC}，其中α＞1，β＜1)，之后将两个路径的特征进行融合，具体的，横向连接将Fast的特征融合到Slow路径，使用3D卷积对Fast特征进行卷积，得到形状为{T,S2,2βC}的特征，进行动作的识别。
进一步的，在本发明实施例中，所述几何特征值还包括目标部位的外观和位置，其中，所述目标部位包括人体躯干、头部和四肢。
进一步的，在本发明实施例中，所述当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令的步骤包括：
当所述计算机处理设备未在所述已知动作数据库内检索到医务人员的动作特征数据时，将该医务人员的动作标记为不规范动作，生成报警文本信息，将所述报警文本信息发送至所述报警设备，利用报警设备进行报警通知，同时将所记录的该医务人员的所述动作特征数据传输至报警设备以备管理人员查询。
目前的AI监测方法是使用视频AI模块对人员的动作特征数据进行视频AI分析，一般使用事先设定的算法。而对于类型差别较大、持续时间较长、准确度要求较高的动作集合，使用事先设定的算法未必能够达到较高的识别效率。
因此，本发明针对动作集合的不同属性如动作幅度、涉及身体部位、动作组合、持续时间、精确度要求等，设定了不同类型的备选算法。在开始对整个动作集合的识别前，先由起始动作触发对动作集合的分类判断，选择相应的算法后，再启动对整个动作集合的判断，从而达到提高判断准确度，降低输出结果时延，减少系统开销的有益效果。
综上所述，本发明提供的医疗防护用品穿脱消毒视频AI监测方法，应用在发热门诊医务人员的防护上，聚焦于每个人具体的姿态、动作、手势以及其与物品的互动细节，可以实现以下功能：1、防护用品穿戴AI智能监测：采用AI智能动作识别算法，按照医务人员穿戴防护用品流程，监管是否正确穿戴；2、防护用品脱除消毒AI智能监测：采用AI智能动作识别算法，对医务人员脱除防护用品流程及消毒过程进行监管；3、手部卫生AI智能监测：采用AI智能动作识别算法，以监管是否正确洗手。
实施例2
如图5所示，本发明实施例2还提供了一种医疗防护用品穿脱消毒视频AI监测装置，所述监测装置包括：
图像采集模块11，用于对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
动作识别模块12，用于对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
视频AI模块13，用于对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；使用所选择算法判断医务人员是否出现不规范动作；
动作预警模块14，用于当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
实施例3
如图6所示，在本发明实施例3中，提供了一种计算机设备，所述的计算机设备包括存储器21和处理器22，所述存储器21中存储有计算机可读指令，所述处理器22执行所述计算机可读指令时实现如实施例1所提供的医疗防护用品穿脱消毒视频AI监测方法的步骤。
具体的，所述医疗防护用品穿脱消毒视频AI监测方法的步骤包括：
步骤S1：视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
步骤S2：计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
步骤S3：计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；
步骤S4：使用所选择算法判断医务人员是否出现不规范动作；
步骤S5：当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
此外，本发明实施例提供的所述计算机设备还可具有通讯接口23，通讯接口23用于接收控制指令。
进一步的，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如实施例1所提供的医疗防护用品穿脱消毒视频AI监测方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
在本发明实施例的一个典型的配置中，终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开的实施例旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述的监测方法包括以下步骤：
视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；
使用所选择算法判断医务人员是否出现不规范动作；
当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
2.根据权利要求1所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述视频监控器通过图像采集模块对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据的步骤包括：
根据医务人员在视频监控器前的期间内，视频监控器获取对该期间内穿戴和洗手的医务人员拍摄后所采集的图像，得到医务人员的穿戴和洗手图像视频数据。
3.根据权利要求2所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据的步骤包括：
所述视频监控器所获取的医务人员拍摄采集图像中所识别到的每一医务人员动作数据进行检索对应；
若未在所述计算机处理设备的已知动作数据库内检索到，则将该医务人员的动作标记为未知动作，并将所述未知动作录入至所述计算机设备的未知动作数据库中。
4.根据权利要求3所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述判断医务人员是否出现不规范动作的步骤包括：
提取所述医务人员图像数据中的动作特征数据，并对待识别的动作特征数据进行预处理，消除背景，获取其中的人体动作区域；
记录所述人体动作区域中人体动作的几何特征值，并给每个所述几何特征值进行标记；
在进行规范判断前，需要对图像视频进行分类，以选择不同的算法对图像视频是否规范进行判断，采用时序动作检测模型BMN判断医务人员穿戴、脱除动作是否规范，采用时空动作检测模型SlowFast判断医务人员洗手动作是否规范。
5.根据权利要求4所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述几何特征值还包括目标部位的外观和位置，其中，所述目标部位包括人体躯干、头部和四肢。
6.根据权利要求5所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令的步骤包括：当所述计算机处理设备未在所述已知动作数据库内检索到医务人员的动作特征数据时，将该医务人员的动作标记为不规范动作，生成报警文本信息，将所述报警文本信息发送至所述报警设备，利用报警设备进行报警通知，同时将所记录的该医务人员的所述动作特征数据传输至报警设备以备管理人员查询。
7.根据权利要求4所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，判断医务人员的穿戴和洗手图像视频的动作过程结束的步骤包括：
步骤S111：输入当次医务人员穿脱消毒图像视频X’，使用训练集Ψp＝{tp}识别是否存在起始动作
Figure FDA0003758211750000021
若存在则根据
Figure FDA0003758211750000022
判断X’的类型；
根据X’的类型选择对应的算法，同时启动对动作集合Ψ’g的判断，在本次判断结束前不再识别是否存在起始动作
Figure FDA0003758211750000023
步骤S112：对于
Figure FDA0003758211750000024
判断是否等于动作
Figure FDA0003758211750000025
以及动作持续时间是否等于d，若等于则判断下一个动作
Figure FDA0003758211750000026
以此类推；
步骤S113：判断动作集合Ψ’g的先后顺序及完整性，即是否按照
Figure FDA0003758211750000027
的顺序，总的来说即是否等于训练集Ψp；
步骤S114：判断是否满足训练集Ψp，若满足则提示穿脱消毒流程结束。
8.根据权利要求7所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，对医务人员的穿戴和洗手图像视频的动作过程进行预警的方法包括：
根据所述步骤S111，若不满足起始动作等于
Figure FDA0003758211750000028
则不处理或提示医务人员可以开始进入穿脱消毒流程；若满足则提示医务人员穿脱消毒流程开始；
根据所述步骤S112，若单个动作
Figure FDA0003758211750000029
持续时间小于d已进入下一个动作
Figure FDA00037582117500000210
则告警前一个动作
Figure FDA00037582117500000211
操作时间不足；若单个动作
Figure FDA00037582117500000212
持续时间大于或等于d则提示已完成本动作
Figure FDA00037582117500000213
需要进入下一个动作
Figure FDA00037582117500000214
根据所述步骤S111、所述步骤S112和所述步骤S113，在穿脱消毒流程开始后，对于动作集合
Figure FDA0003758211750000031
第一，发生动作
Figure FDA0003758211750000032
后，出现无法判断的动作，然后发生动作
Figure FDA0003758211750000033
第二，发生动作
Figure FDA0003758211750000034
后，没有发生动作
Figure FDA0003758211750000035
然后发生动作
Figure FDA0003758211750000036
第三，发生动作
Figure FDA0003758211750000037
后，其中，n＞1，然后发生动作
Figure FDA0003758211750000038
则发出告警指示医务人员作下一步处理；
根据所述步骤S114，动作集合Ψ’g满足训练集Ψp，包括最后一个动作等于
Figure FDA0003758211750000039
则提示整个流程结束并向医务人员给出下一步工作指示。
9.根据权利要求8所述的医疗防护用品穿脱消毒视频AI监测方法，其特征在于，所述时空动作检测采用SlowFast模型，分为Slow和Fast两种采样率的路径；两个路径分别输入视频进行处理，Slow采样率的路径提取外观特征，提取视频空间语义特征，size{T,S2,C}；Fast采样率的路径提取运动特征，提取视频时域运动特征，size{αT,S2,βC}，其中α＞1，β＜1；然后将两个路径的特征进行融合，其中，横向连接将Fast的特征融合到Slow路径，使用3D卷积对Fast特征进行卷积，得到形状为{T,S2，2βC}的特征，对医护人员动作是否规范进行识别。
10.一种用于实现如权利要求1-9任一所述医疗防护用品穿脱消毒视频AI监测方法的监测装置，其特征在于，所述监测装置包括：
图像采集模块，用于对医务人员进行拍摄，获取医务人员的穿戴和洗手图像视频数据；
动作识别模块，用于对医务人员的穿戴和洗手图像视频数据进行动作识别，获取医务人员的动作特征数据；
视频AI模块，用于对医务人员的动作特征数据进行视频AI分析，判断动作集合所属类型，选择该类型对应的算法进行规范性判断；使用所选择算法判断医务人员是否出现不规范动作；动作预警模块，用于当监测到不规范动作时，计算机处理设备通过动作预警模块向报警设备发送报警指令。
CN202210864957.5A 2022-07-21 2022-07-21 一种医疗防护用品穿脱消毒视频ai监测方法及装置 Pending CN115187911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210864957.5A CN115187911A (zh) 2022-07-21 2022-07-21 一种医疗防护用品穿脱消毒视频ai监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210864957.5A CN115187911A (zh) 2022-07-21 2022-07-21 一种医疗防护用品穿脱消毒视频ai监测方法及装置

Publications (1)

Publication Number Publication Date
CN115187911A true CN115187911A (zh) 2022-10-14

Family

ID=83520544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210864957.5A Pending CN115187911A (zh) 2022-07-21 2022-07-21 一种医疗防护用品穿脱消毒视频ai监测方法及装置

Country Status (1)

Country Link
CN (1) CN115187911A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796030A (zh) * 2023-08-24 2023-09-22 北京龙德缘电力科技发展有限公司 一种用于工作票中规范的动作流程播报及语音交互的系统
CN117392606A (zh) * 2023-10-19 2024-01-12 应急管理部大数据中心 基于图像识别的粉尘设备维护行为监测方法和系统
CN118115953A (zh) * 2024-04-29 2024-05-31 武汉大学中南医院 一种手术室适用的外科手消毒智能化监测方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796030A (zh) * 2023-08-24 2023-09-22 北京龙德缘电力科技发展有限公司 一种用于工作票中规范的动作流程播报及语音交互的系统
CN116796030B (zh) * 2023-08-24 2023-11-21 北京龙德缘电力科技发展有限公司 一种用于工作票中规范的动作流程播报及语音交互的系统
CN117392606A (zh) * 2023-10-19 2024-01-12 应急管理部大数据中心 基于图像识别的粉尘设备维护行为监测方法和系统
CN117392606B (zh) * 2023-10-19 2024-06-25 应急管理部大数据中心 基于图像识别的粉尘设备维护行为监测方法和系统
CN118115953A (zh) * 2024-04-29 2024-05-31 武汉大学中南医院 一种手术室适用的外科手消毒智能化监测方法和装置

Similar Documents

Publication Publication Date Title
US20220036055A1 (en) Person identification systems and methods
CN115187911A (zh) 一种医疗防护用品穿脱消毒视频ai监测方法及装置
CN110458101B (zh) 基于视频与设备结合的服刑人员体征监测方法及设备
JP6447108B2 (ja) 利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラム
CN110325983A (zh) 图像检索装置和图像检索方法
US20210192270A1 (en) Person indentification systems and methods
Fan et al. Fall detection via human posture representation and support vector machine
CN113657150A (zh) 一种跌倒检测方法、装置和计算机可读存储介质
CN109887234A (zh) 一种防儿童走失方法、装置、电子设备及存储介质
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN105030234A (zh) 一种脑电波监测仪及其智能监测系统和方法
CN115695734A (zh) 红外热成像防护监控方法、装置、设备、系统和介质
Sun et al. Real-time elderly monitoring for senior safety by lightweight human action recognition
CN114937242A (zh) 睡眠检测预警方法及装置
CN112036267A (zh) 一种目标检测方法、装置、设备和计算机可读存储介质
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
Li et al. Daily life event segmentation for lifestyle evaluation based on multi-sensor data recorded by a wearable device
Iosifidis et al. The MOBISERV-AIIA Eating and Drinking multi-view database for vision-based assisted living.
Begam et al. Eyeblink artefact removal from EEG using independent component analysis
CN117315532A (zh) 一种智能看护系统及方法
Wahla et al. Visual fall detection from activities of daily living for assistive living
Xie et al. Skeleton-based fall events classification with data fusion
CN114429676A (zh) 一种医疗机构消毒供应室人员身份与行为识别系统
Li et al. Non-Invasive Screen Exposure Time Assessment Using Wearable Sensor and Object Detection
Dilber et al. A new video synopsis based approach using stereo camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination