CN114170436A - 手卫生依从性监测方法、装置、设备及储存介质 - Google Patents

Abstract

本申请公开了一种手卫生依从性监测方法、装置、设备及储存介质，其中，方法包括：从监测请求中获取监测图像；对监测图像进行处理以分离出监测手部图像；根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令；根据一系列监测手部图像所生成的标记采集时间生成监测评分指标；根据监测评分指标生成发送至指示终端的第二类依从指示指令。本申请的有益之处在于：提供了一种根据监测手部图像与预设手部图像进行对比以及生成标记采集时间并根据标记采集时间生成监测评分指标的监测方案以实现监督评价使用者手卫生过程合格的手卫生依从性监测方法、装置、设备及储存介质。

Description

手卫生依从性监测方法、装置、设备及储存介质

技术领域

本申请涉卫生监测领域，具体而言，涉及一种手卫生依从性监测方法、装置、设备及储存介质。

背景技术

手卫生消毒装置是现代社会最常使用的卫生设备，人们为了杀灭手上的细菌及有害微生物，在各种公共场所的卫生间都设有手卫生消毒装置。尤其是医院里，由于病人多，存在大量各种病菌，为了预防和减少病菌的感染和交叉传播，手卫生消毒是一个必不可少的卫生措施，因此手卫生消毒装置是必不可少的设备。

常见的是手卫生消毒通过使用机械式或红外感应式出液器使消毒液滴出，供人们进行手卫生消毒。目前医院的手卫生消毒工作处于依靠医务人员和病人的自觉进行消毒，无法保证和监督手卫生消毒，同时也无法对手卫生依从性进行有效的监测。

发明内容

本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本申请的一些实施例提出了手卫生依从性监测方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

作为本申请的第一方面，本申请的一些实施例提供了一种手卫生依从性监测方法，包括：响应于一个监测终端上传的监测请求，从监测请求中获取监测图像；将从监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对监测图像进行处理以分离出监测手部图像；根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令；根据一系列监测手部图像所生成的标记采集时间生成监测评分指标；根据监测评分指标生成发送至指示终端的第二类依从指示指令。

进一步的，其中，根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成第一类依从指示指令，包括：将监测手部图像与预设手部图像进行比较；判断监测手部图像与预设手部图像的比较结果是否为匹配；如果比较结果为匹配则记录监测图像的标记采集时间；如果比较结果为不匹配则生成第一类依从指示指令。

进一步的，其中，判断监测手部图像与预设手部图像的比较结果是否为匹配，包括：判断监测手部图像与预设手部图像相比是否存在佩戴饰物的情况；判断监测手部图像与预设手部图像相比是否存在指甲超出手指轮廓的情况。

进一步的，其中，判断监测手部图像与预设手部图像的比较结果是否为匹配，还包括：判断监测手部图像与预设手部图像相比时手部的轮廓形状是否类同。

进一步的，其中，根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令，包括：当监测手部图像与预设手部图像相比时手部的轮廓形状类同时，则生成标记采集时间，标记采集时间为该监测手部图像的采集时间。

进一步的，其中，根据一系列监测手部图像所生成的标记采集时间生成监测评分指标，包括：采集若干标记采集时间t₁、t₂、t₃…t_i-1、t_i；计算标记采集时间的采集时间差值X_j，其中，X_j＝t_i-t_i-1；根据采集时间差值的序列X₁、X₂、X₃…X_j…X_m计算监测评分指标y，其中，y＝a₁X₁+…a_iX_j+…+a_nX_m，式中a₁、a_i、a_n为洗手动作指数；且a₁+…a_i+…a_n＝B，式中B为一个设定的常数，将其定义满分常量。

进一步的，其中，根据监测评分指标生成发送至指示终端的第二类依从指示指令，包括：判断监测评分指标y是否小于设定的监测评分指标阈值fB，如果是则生成第二类依从指示指令；其中，B为满分常量，满分常量为一个设定的常量，洗手动作指数之和等于满分常量，f为标准率，标准率f的取值范围为大于0小于1。

作为本申请的第二方面，本申请的一些实施例提供了一种手卫生依从性监测装置，包括：获取模块，响应于一个监测终端上传的监测请求，从监测请求中获取监测图像；比较模块处理模块，将从监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对监测图像进行处理以分离出监测手部图像；标记模块，根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令；评分模块，根据一系列监测手部图像所生成的标记采集时间生成监测评分指标；指令模块，根据监测评分指标生成发送至指示终端的第二类依从指示指令。

作为本申请的第三方面，本申请的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

作为本申请的第四方面，本申请的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

本申请的有益效果在于：提供了一种根据监测手部图像与预设手部图像进行对比以及生成标记采集时间并根据标记采集时间生成监测评分指标的监测方案以实现监督评价使用者手卫生过程合格的手卫生依从性监测方法、装置、设备及储存介质。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。

另外，贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

在附图中：

图1是根据本申请一种实施例的手卫生依从性监测方法的主要步骤示意图；

图2是根据本申请一种实施例的手卫生依从性监测方法中步骤S3的具体步骤的示意图；

图3是根据本申请一种实施例的手卫生依从性监测方法中步骤S32的具体步骤的示意图；

图4是根据本申请一种实施例的手卫生依从性监测方法中步骤S4的具体步骤的示意图；

图5是根据本申请一种实施例的手卫生依从性监测方法中步骤S41的具体步骤的示意图；

图6是根据本申请一种实施例的手卫生依从性监测方法中的时间轴示意图；

图7是根据本申请另一种实施例的手卫生依从性监测方法的主要步骤示意图；

图8是根据本申请另一种实施例的手卫生依从性监测方法的具体工作流程图；

图9是根据本申请另一种实施例的手卫生依从性监测方法的另一主要步骤示意图；

图10是根据本申请另一种实施例的手卫生依从性监测方法的另一具体工作流程图；

图11是根据本申请另一种实施例的手卫生依从性监测方法中步骤ST201的具体步骤的示意图；

图12是根据本申请另一种实施例的手卫生依从性监测方法中动作预测模型分析的示意图；

图13是根据本申请另一种实施例的手卫生依从性监测方法中在时间轴上图像采集示意图；

图14是根据本申请另一种实施例的手卫生依从性监测方法中动作预测模型的训练示意图；

图15是根据本申请一种实施例的手卫生依从性监测装置的模块示意框图；

图16是根据本申请一种实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

如图1所示，本申请的手卫生依从性监测方法主要包括如下步骤：

S1：响应于一个监测终端上传的监测请求，从监测请求中获取监测图像。

S2：将从监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对监测图像进行处理以分离出监测手部图像。

S3：根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令。

S4：根据一系列监测手部图像所生成的标记采集时间生成监测评分指标。

S5：根据监测评分指标生成发送至指示终端的第二类依从指示指令。

作为具体方案，本申请中的监测终端可以被构造为设置固定位置处的摄像头装置，比如设置在洗手池上方的可见光摄像头。

作为扩展方案，监测终端包括：图像采集模块、终端通讯模块和终端控制模块，其中，图像采集模块用于采集图像，其可以有一个CCD芯片构成，终端通讯模块主要用于实现监测终端与外部的数据交互，其可以主要通过无线通讯网络进行通讯从而提高监测终端的可布设性；终端控制模块用于控制图像采集模块和终端通讯模块并具有一定的数据处理能力，从而能在监测终端处进行一定数据筛选和预处理。作为进一步地的方案，监测终端还包括一个电源模块已能够为图像采集模块、终端通讯模块和终端控制模块进行供电，电源模块可以是能够接入电网的交流电源也可以为存储电能的直流电源。

作为进一步的优选方案，本申请的监测终端还包括：监测触发模块。监测触发模块主要用于触发监测终端的图像采集工作，从而在无需监测的情况下节约能源和系统占用。作为可选方案，监测触发模块可以是红外线感应器、触碰感应器中的一种。当然，也可以采用图像采集模块本身进行监测触发，比如图像采集模块按照一定时间间隔(比如30秒)采集图像，所采集的图像不上传至服务器，仅由终端控制模块进行识别是否存在触发对象(比如人体图像和手部图像)，如果没有继续循环采集程序，如果有则触发监测程序。

作为一种优选方案，图像采集模块可以采用双目摄像头，从对伸入指定区域的手进行拍摄，并通过调节聚焦位置点对手的放置位置进行调节，从而可以进行高清度的拍摄。当然，还可以是自聚焦功能的单目摄像头获取监测图像。

作为优选的方案，当冬天采集监测图像时，由于一般使用温水进行洗手，洗手过程中容易产生雾气，雾气会阻挡监测图像的采集，造成影像的残缺。在视频拍摄清晰时，拍摄手部特征，例如手指长、掌宽等，当雾气阻挡视频拍摄时，根据手掌位置，手掌轮廓等手部非阻挡部分，利用手部特征将手掌影像进行弥补，从而避免了异物阻挡。作为进一步的优选方案，图像采集模块可以采用毫米波摄像头，其能有效避免衣物以及雾气遮挡，从而采集到不受干扰的手部图像。

作为具体方案，监测终端还可以包括：终端指示模块，终端指示模块用于向洗手的用户反馈相应的信息，比如报警信息，比如引导信息。优选地，终端指示模块具有声音和图像的双重反馈功能，比如采用显示屏和扬声器的结合构成终端指示模块。作为另外的可选方案，本申请中也可以采用其他能与服务器交互的单独的设备，但是无论是单独的设备还是监测终端中的终端指示模块，它们均被认为是本申请中所定义的指示终端。

作为具体方案，参照图2所示，上述步骤S3具体包括如下步骤：

S31：将监测手部图像与预设手部图像进行比较。

S32：判断监测手部图像与预设手部图像的比较结果是否为匹配；如果比较结果为匹配则记录监测图像的标记采集时间；如果比较结果为不匹配则生成第一类依从指示指令。

S33：当监测手部图像与预设手部图像相比时手部的轮廓形状类同时，则生成标记采集时间，标记采集时间为该监测手部图像的采集时间。

在步骤S32中，第一类依从指示指令用于发送到监测终端或指示终端，用于向洗手用户进行告警或者指导。

作为具体方案，在采集手部图像时，可以预先向洗手的用户反馈，令其配合拍摄手部的正面图片和背面图片原图，然后对原图进行正规化投影，并进行摊平，获得与手部比例相同的图像；对图像进行背景分离，获得手部图；调节手部图，调节手部图，调节手部图可以是调节对比度、明亮度等，具体在此不做赘述。从而获得手部轮廓和标准手部图片。通过调节图片，可以对指甲进行虚化，从而可使手部轮廓具有指甲，标准手部图片不含有指甲。将手部轮廓与标准手部图片进行对比，判断是否有佩戴饰品或者指甲超过指尖的情况，如果有，则认为不符合监测规定，服务器发出相应的反馈指令，告知用户进行处理，同时系统进行记录。

作为进一步的优选方案，通过对监测终端的图像采集模块的配置，可以使图像采集模块采集相应的光谱图像，从而获取相应的复合了手部信息和细菌分布的细菌扫描图像，然后根据细菌扫描图像进行相应用户反馈，比如报警和告知洗手建议。作为一种优选方案，系统可以检索一个预设的与细菌分布对应的洗手方法的对应关系表，从而建议用户采用相应的洗手方法。作为进一步优选方案，系统可以构建一个三维场景，并在三维场景中构建手部模型，然后根据细菌扫描图像将二维图像中细菌分布映射到三维手部模型上以获取三维细菌分布，然后通过图像反馈方式，通过监测终端或指示终端向用户反馈，并对应提供洗手建议(比如检索到的洗手法)，在反馈的图像中，可以采用颜色或者颜色深浅等图像表达进行细菌分布律的显示。

作为具体方案，参照图3所示，上述步骤S32具体包括如下步骤：

S321：判断监测手部图像与预设手部图像相比是否存在佩戴饰物的情况。

S322：判断监测手部图像与预设手部图像相比是否存在指甲超出手指轮廓的情况。

S323：判断监测手部图像与预设手部图像相比时手部的轮廓形状是否类同。

采用以上方式，根据是否存在佩戴饰物的情况、指甲超出手指轮廓的情况、与预设手部图像相比时手部的轮廓形状是否类同，保证获取完整清晰的监测手部图像。

作为具体方案，参照图4所示，上述步骤S4具体包括如下步骤：

S41：采集若干标记采集时间t₁、t₂、t₃…t_i-1、t_i。

S42：计算标记采集时间的采集时间差值X_j，其中，X_j＝t_i-t_i-1。

S43：根据采集时间差值的序列X₁、X₂、X₃…X_j…X_m计算监测评分指标y，其中，y＝a₁X₁+…a_iX_j+…+a_nX_m，式中a₁、a_i、a_n为洗手动作指数；且a₁+…a_i+…a_n＝B，式中B为一个设定的常数，将其定义满分常量。

具体而言，作为优选方案，计算总时差X_总＝t_m-t，t_m为作业结束的总时间，判断总时差是否大于一个预先设置的标准时间值，如果否，则发出报警信号。本申请的洗手动作指数可以对应准备、揉搓、清洗、干手和消毒这个步骤，当然并不限于这几个步骤，比如如图5所示，还可包括以下操作步骤：

S411：将手伸到指定区域，并进入到监测触发模块进行感应区域内部，监测触发模块感应到手，并启动图像采集模块，获取使用者开始把手伸向洗手液容器，图像采集模块拍摄手伸到指定区域。终端控制模块(或服务器)识别到手进入到指定区域的时间点，时间点采集模块记录为t₁(t代表时间)，将t₁设定为手卫生初始时间。

S412：时间点采集模块获取使用者挤出洗手液后的时间点，记录为t₂，t₂设定为手卫生准备工作结束时间点，t₂-t₁即手卫生准备时长，即X₁。

S413：终端控制模块(或服务器)识别到使用者开始揉搓动作时的时间点，时间点采集模块记录为t₃，设定t₃为洗手发动作的开始时间。

S414：终端控制模块(或服务器)识别到使用者结束揉搓动作时的时间点，时间点采集模块记录为t₄，设定t₄为洗手发动作的结束时间；t₄-t₃即手卫生揉搓时长，即X₂。

S415：终端控制模块(或服务器)识别到使用者将手伸向伸到出水口下时的时间点，时间点采集模块记录为t₅，将t₅设定为手部冲洗的开始时间点。

S416：终端控制模块(或服务器)识别到使用者手离开出水口的时间点t₆，将t₆记录为首部冲洗结束的时间点。t₆-t₅的差即手卫生冲洗时长，即X₃。

S417：获取使用者完成冲洗将手伸向手纸盒的时间点，记录为t₇，将t₇设定为干手的开始时间。

S418：获取使用者将擦拭纸扔至废纸篓的时间点，记录为t₈，将t₈设定为干手结束时间，t₈与t₇的差即手卫生擦干时长，即X₄。

S419：获取使用者压取消毒液后离开的时间点，记录为t₉，将t₉设定为消毒剂手消毒开始时间点。

S4110：获取使用者手揉搓至干燥的时间点，记录为t₁₀，将t₁₀设定为消毒剂手消毒结束时间。t₁₀-t₉的差即手卫生消毒时长，即X₅。t₁₀-t₁即手卫生整体时间，即总时差X_总。

作为具体方案，上述步骤S5具体包括如下步骤：

判断监测评分指标y是否小于设定的监测评分指标阈值fB(即f×B)，如果是则生成第二类依从指示指令；其中，B为满分常量，满分常量为一个设定的常量，洗手动作指数之和等于满分常量，f为标准率，标准率f的取值范围为大于0小于1。

作为一种优选方案，可以利用标记采集时间和对应的判断结果作为训练数据，训练一个HMM模型，利用该HMM模型进行判断结果的输出，即输入一个序列的记采集时间到HMM模型，由该HMM模型输出该序列对应的洗手行为是否规范。这样可以更加柔性进行洗手规范判断。

上述方案中采用连续拍摄的方式，获得若干标记采集时间t₁、t₂、t₃…t_i-1、t_i及其对应的监测图像，并从大量的监测图像数据中分辨出一个洗手动作的初始图像及结束图像，获取每个洗手动的采集时间差值X_j，根据采集时间差值的序列X₁、X₂、X₃…X_j…X_m计算监测评分指标y。此监测方式中需要连续拍摄以获得大量的监测图像数据并需要对其进行处理分析，然而位于如t₁至t₂之间的大部分图像并不能用于计算采集时间差值X_j，造成拍摄资源及计算资源的浪费。

如图7所示，作为本申请的另外一种实施方式，本申请的手卫生依从性监测方法主要包括如下步骤：

ST100：响应于一个监测终端上传的监测请求，对一个手卫生过程开始计。

ST200：判断当前时间是否到达预设时间节点t_n的时长，若是则发出信号指示图像采集模块采集监测图像，若否则返回ST100并继续计时。

ST300：对所述监测图像进行处理以分离出监测手部图像。

ST400：将分离出的监测手部图像输入至一个动作分析模型以使动作分析模型输出当前动作类型。

ST500：判断当前动作类型是否符合预设时间节点t_n之前的动作类型，若是则记得分+1并进入下一次预设时间节点t_n+1的计时；若否，则执行ST600。

ST600：判断判断当前动作类型是否为预设时间节点t_n之后的动作类型，若是，则记得分-1并进入下一次预设时间节点t_n+1的计时；若否，则不计分。

采用这样的方式，将一个手卫生过程的总得分作为监测指标，判断监测指标是否小于设定的阈值，从而判定洗手行为是否规范。

作为优选方案，手卫生过程中开始计时的时刻设为第一张监测图像的拍摄时间。

具体而言，ST400中的动作分析模型采用CNN模型，可以利用监测手部图像构成动作分析模型的训练集，标注监测手部图像对应的动作类型构成动作分析模型的输出数据。由该动作分析模型输出监测手部图像对应的动作类型，可以更加柔性进行洗手动作判断。

具体而言，本申请中的洗手动作至少包括准备、手心清洁、手背清洁、交叉清洁、冲洗及擦干，各洗手动作对应动作分析模型的输出结果依次为M1、M2、M3、M4、M5、M6；如图6所示，建立一个手卫生过程的时间轴，该时间轴可以与公共时间(如北京时间)同步；当然，该时间轴也可以手卫生初始时间记为0s。在此基础上计时将各洗手动作对应的预设时间节点在时间轴上分别标记为t₁、t₂、t₃…t_n；如t₁表示准备(挤洗衣液)的时间节点，t₂表示手心清洁的时间节点，t₃表示手背清洁的时间节点，t₄表示交叉清洁的时间节点，t₅表示冲洗的时间节点，t₆表示擦干的时间节点。另外，记t₇对应一个手卫生过程完成时无手部图像对应的时间节点，该无手部图像对应动作分析模型的输出结果为M7。

作为一种优选的方案，如图11所示，其中ST200包括以下具体步骤：

ST201：判断当前时间是否到达预设时间节点t_n的时长，若是执行ST202，若否则继续计时。

ST202：判断是否到达预设时间节点t₇；若达到预设时间节点t₇,则进入下一次手卫生过程的等待阶段；若未达到预设时间节点t₇，则发出信号指示图像采集模块采集监测图像。

采用这样的方式，设定预设时间节点t₇，作为一个手卫生过程的结束标志。

作为具体方案，如图8所示，本申请的手卫生依从性监测方法具体包括如下步骤：

st001：监测终端被触发以生成开始监测请求，并发送至服务器。

st002：服务器响应于一个监测终端的上传的监测请求，对一个手卫生过程开始计时。

st003：判断当前时间是否到达预设时间节点t_n的时长，若是则发出信号指示图像采集模块采集监测图像，若否则继续计时。

st004：判断t_n是否为t7，若否，则执行st005；若是，则返回st001。

st005：发出信号指示图像采集模块采集监测图像，并将监测图像发送至服务器。

st006：服务器接收监测图像并将监测图像输入至一个动作分析模型。

st007：动作分析模型分析监测图像以输出监测图像对应的动作类型。

st008：判断当前动作类型是否符合预设时间节点t_n之前的动作类型，若是则记得分+1并进入下一次预设时间节点t_n+1的计时；若否，则执行st009。

st009：判断判断当前动作类型是否为预设时间节点t_n之后的动作类型，若是，则记得分-1并进入下一次预设时间节点t_n+1的计时；若否，则不计分。

为减少一次手卫生过程的图像采集频率，如图6所示，可间隔第一时间差Δt_a建立图像采集时间点，在每个采集时间点采集一次监测手部图像，并将监测手部图像即时输入动作分析模型进行判别；其中，每个预设时间节点对应时长内的第一时间差Δt_a可单独设定，且上述标记时间点分别与其中一个像采集时间点重合。

通过以上采用间隔第一时间差Δt_a拍摄的方式虽然可以降低图像采集频率，然而若在预设时间节点之前的一个第一时间差Δt_a内结束当前动作，以致于当前动作结束的时间点并不能被准确捕捉到，造成误差较大；作为对以上拍摄方式的补充，作为优选方案，如图6所示在预设时间节点之前的一个第一时间差Δt_a内设置若干预检时间点，在每个预检时间点拍摄手部图像，其中第一时间差Δt_a可以根据预设时间节点t_n的时长相应设计；采用这样的方式，设置预检时间点，在即将到达预设时间点之前对监测手部图像进行较高频率的采集，提高监测结果准确性。

当预检时间点达到累加次数上限时(即时间轴上的时刻达到预设时间点t_n)，如果使用者仍保持预设时间节点tn之前的动作类型，此时采用预检时间点并不能准确捕捉到t_n之前的动作类型结束的准确时刻。作为一种优选的方案，如图9所示，还包括以下步骤：

ST700：采用第二时间差Δt_b插入一个时间节点作为新的预设时间节点。

ST800：判断第二时间差Δt_b是否达到使用次数上限，若否则执行ST200，若是则采用第三时间差Δtc插入一个时间节点作为新的预设时间节点。

具体而言，如图6所示，其中ST700中采用第二时间差Δt_b插入的时间节点大于上一次的预设时间点，且Δt_b<Δt_a，如间隔Δt_b＝0.01s拍摄一次监测图像，提高大于预设时间节点t_n时动作捕捉的准确性；将从监测图像中分离出监测手部图像实时输入至动作分析模型以输出分析结果，判断分析结果显示的动作类型是否进入下一洗手阶段，若否，则记录本次拍摄时间并间隔Δt_b进行下一次拍摄；若是，则记本次拍摄时间为结束时间，并将此结束时间作为下一洗手阶段的开始时间。

具体而言，如图6所示，其中ST800中采用第三时间差Δtc插入的时间节点大于上一次的预设时间点，且Δt_c>Δt_b，当第二时间差Δt_b达到使用次数上限而使用者依旧未切换动作时，若继续采用第二时间差Δt_b插入一个时间节点，则会造成图像采集量过大；此时选择采用第三时间差Δtc插入时间点，则会明显改善以上缺陷。

作为具体方案，如图10所示，本申请的手卫生依从性监测方法具体包括如下步骤：

st001：监测终端被触发以生成开始监测请求，并发送至服务器。

st002：服务器响应于一个监测终端的上传的监测请求，对一个手卫生过程开始计时。

st003：判断当前时间是否到达预设时间节点t_n的时长，若是则发出信号指示图像采集模块采集监测图像，若否则继续计时。

st004：判断t_n是否为t7，若否，则执行st005；若是，则返回st001。

st005：发出信号指示图像采集模块采集监测图像，并将监测图像发送至服务器。

st006：服务器接收监测图像并将监测图像输入至一个动作分析模型。

st007：动作分析模型分析监测图像以输出监测图像对应的动作类型。

st008：判断当前动作类型是否符合预设时间节点t_n之前的动作类型，若是则记得分+1并进入下一次预设时间节点t_n+1的计时；若否，则执行st009。

st009：判断判断当前动作类型是否为预设时间节点t_n之后的动作类型，若是，则记得分-1并进入下一次预设时间节点t_n+1的计时；若否，则不计分。

st010：判断第二时间差Δt_b是否达到使用次数上限，若否则采用第二时间差Δt_b插入时间节点作为一个新的预设时间节点，并返回st003；若是则执行st011。

st011：采用第三时间差Δt_c插入时间节点作为一个新的预设时间节点，并返回st003。

采用第一时间差Δt_a及第二时间间隔Δt_b虽然能降低采样频率及较准确步骤动作切换的时刻，然而此Δt_a和Δt_b作为设定值，并不能根据使用使用者手卫生习惯做出调整。对于间隔Δt_b插入新的预设时间节点的情况，若最终插入的新的预设时间节点远大于初始的预设时间节点，相较于传统的采样方式并不能明显降低总体的监测图像采样次数。

作为一种优选方案，如图12所示，设置一个RNN模型作为动作预测模型，该动作预测模型的输入数据为当前监测手部图像及当前监测手部图像的动作类型，输出数据为下一次图像采集的间隔时间Δt_d。采用这样的方式，根据当前监测手部图像及当前监测手部图像的动作类型来预测当前动作类型的结束时间，大幅度减少监测图像的采集频率。

如图13和图14所示，其中动作预测模型的构建方法为：采集历史手卫生过程的监测手部图像及对应的动作类型以构成动作预测模型的训练集的输入数据，输出该监测手部图像距离下一动作类型开始的间隔时间Δt_d构成动作预测模型的训练集的输出数据，采用训练集中对应的输入数据和输出数据训练动作预测模型。间隔时间Δt_d的预测准确率可以根据以上步骤S1-S5所获取的历史手卫生过程的监测手部图像数据作比对。比如，其中一个手卫生过程的手心清洁阶段按拍摄时间顺序采集有n张监测图像，将这些监测图像依次标记为P₂₁～P_2n，手背清洁阶段的第一张监测图像标记为P₃₁，则根据记录的图像采集时间可以分别计算出P₂₁～P_2n至P₃₁的间隔时间△t₂₁，△t₂₂…△t_2n，将△t₂₁，△t₂₂…△t_2n与模型的输出的间隔时间Δt_d作比对，根据比对结果对动作预测模型进行修正。一个手卫生过程的其他阶段可类比此方法进行比对。

如图15所示，本申请的手卫生依从性监测装置，包括：获取模块，响应于一个监测终端上传的监测请求，从监测请求中获取监测图像；处理模块，将从监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对监测图像进行处理以分离出监测手部图像；标记模块，根据监测手部图像与预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令；评分模块，根据一系列监测手部图像所生成的标记采集时间生成监测评分指标；指令模块，根据监测评分指标生成发送至指示终端的第二类依从指示指令。

如图16所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806：包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808：以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图16示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图16中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本公开的一些实施例的方法中限定的上述功能。

需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的：也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于一个监测终端上传的监测请求，从监测请求中获取监测图像；对监测图像进行处理以分离出监测手部图像；根据监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令；根据一系列监测手部图像所生成的标记采集时间生成监测评分指标；根据监测评分指标生成发送至指示终端的第二类依从指示指令。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言―诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言：诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。

例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种手卫生依从性监测方法，包括：

响应于一个监测终端上传的监测请求，从所述监测请求中获取监测图像；

将从所述监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对所述监测图像进行处理以分离出监测手部图像；

根据所述监测手部图像与所述预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令；

根据一系列所述监测手部图像所生成的所述标记采集时间生成监测评分指标；

根据所述监测评分指标生成发送至所述指示终端的第二类依从指示指令。

2.根据权利要求1所述的手卫生依从性监测方法，其中，所述根据所述监测手部图像生成标记采集时间或生成发送至指示终端的第一类依从指示指令根据所述监测手部图像与所述预设手部图像的比较结果，则生成标记采集时间或生成第一类依从指示指令，包括：

将所述监测手部图像与预设手部图像进行比较；

判断所述监测手部图像与所述预设手部图像的比较结果是否为匹配；

如果比较结果为匹配则记录所述监测图像的标记采集时间；

如果比较结果为不匹配则生成所述第一类依从指示指令。

3.根据权利要求2所述的手卫生依从性监测方法，其中，所述判断所述监测手部图像与所述预设手部图像的比较结果是否为匹配，包括：

判断所述监测手部图像与所述预设手部图像相比是否存在佩戴饰物的情况；

判断所述监测手部图像与所述预设手部图像相比是否存在指甲超出手指轮廓的情况。

4.根据权利要求3所述的手卫生依从性监测方法，其中，所述判断所述监测手部图像与所述预设手部图像的比较结果是否为匹配，还包括：

判断所述监测手部图像与所述预设手部图像相比时手部的轮廓形状是否类同。

5.根据权利要求4所述的手卫生依从性监测方法，其中，所述根据所述监测手部图像与所述预设手部图像的比较结果，生成标记采集时间或生成发送至指示终端的第一类依从指示指令，包括：

当所述监测手部图像与所述预设手部图像相比时手部的轮廓形状类同时，则生成所述标记采集时间，所述标记采集时间为该所述监测手部图像的采集时间。

6.根据权利要求5所述的手卫生依从性监测方法，其中，所述根据一系列所述监测手部图像所生成的所述标记采集时间生成监测评分指标，包括：

采集若干所述标记采集时间t₁、t₂、t₃…t_i-1、t_i；

计算所述标记采集时间的采集时间差值X_j，其中，X_j＝t_i-t_i-1；

根据所述采集时间差值的序列X₁、X₂、X₃…X_j…X_m计算所述监测评分指标y，其中，y＝a₁X₁+…a_iX_j+…+a_nX_m，式中a₁、a_i、a_n为洗手动作指数；

且a₁+…a_i+…a_n＝B，式中B为一个设定的常数，将其定义满分常量。

7.根据权利要求2所述的手卫生依从性监测方法，其中，所述根据所述监测评分指标生成发送至所述指示终端的第二类依从指示指令，包括：

判断所述监测评分指标y是否小于设定的监测评分指标阈值fB，如果是则生成所述第二类依从指示指令；

其中，B为满分常量，所述满分常量为一个设定的常量，所述洗手动作指数之和等于所述满分常量，f为标准率，所述标准率f的取值范围为大于0小于1。

8.一种手卫生依从性监测装置，包括：

获取模块，响应于一个监测终端上传的监测请求，从所述监测请求中获取监测图像；

比较模块处理模块，将从所述监测图像中的背景中分离出的监测手部图像与预设手部图像进行比较对所述监测图像进行处理以分离出监测手部图像；

标记模块，根据所述监测手部图像与所述预设手部图像的比较结果，则生成标记采集时间或生成发送至指示终端的第一类依从指示指令；

评分模块，根据一系列所述监测手部图像所生成的所述标记采集时间生成的监测评分指标；

指令模块，根据所述监测评分指标生成发送至所述指示终端的第二类依从指示指令。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述处理器实现如权利要求1至7任意一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。

Images