CN113012190B - 手卫生合规监测方法、装置、设备及存储介质 - Google Patents
手卫生合规监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113012190B CN113012190B CN202110137222.8A CN202110137222A CN113012190B CN 113012190 B CN113012190 B CN 113012190B CN 202110137222 A CN202110137222 A CN 202110137222A CN 113012190 B CN113012190 B CN 113012190B
- Authority
- CN
- China
- Prior art keywords
- depth image
- hand washing
- hand
- personnel
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000005406 washing Methods 0.000 claims abstract description 178
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于手卫生管理技术领域，提供一种手卫生合规监测方法、装置、设备及存储介质，包括：获取洗手人员在洗手过程中的第一深度图像；将所述第一深度图像输入已训练的深度神经网络，生成手卫生结果；若所述手卫生结果符合第一条件，则获取与所述洗手人员对应的深度图像模板以及所述洗手人员在洗手后移动至不同位置时的第二深度图像；将所述第二深度图像与所述深度图像模板进行匹配；根据所述匹配的结果，生成所述洗手人员的行踪信息。本申请能以非入侵的方式对手卫生不合规的洗手人员进行准确且快速的持续跟踪，能提高获得的该洗手人员的行踪信息的精细程度。
Description
技术领域
本申请属于手卫生管理技术领域，尤其涉及一种手卫生合规监测方法、装置、设备及存储介质。
背景技术
手卫生合规是阻止医疗感染最重要的因素。手卫生不合规会给病人、病人家属和医务工作者带来患病风险，甚至造成疾病的大范围传播。有研究表明，很多疾病的发生和传播都和手卫生有关，手卫生不合规已经成为世界范围内造成发病和死亡的主要威胁。因此，如何有效的对医院进行手卫生合规检测和监督显得尤为重要。目前，实现手卫生合规监测的方式一般为：通过让医护人员佩戴胸卡的方式，当医护人员在使用洗手液智能分配器取液时，前述胸卡会收到智能分配器发出的信号，以此判断医护人员是否手卫生合规。然而，该技术方案需要医护人员佩戴胸牌，且需要使用指定的洗手液智能分配器，是一种侵入式的手卫生合规监测方法。
发明内容
本申请的实施例提供一种手卫生合规监测方法、装置、设备及存储介质，能以非侵入的方式对手卫生不合规的洗手人员进行准确且快速的持续跟踪，能提高获得的该洗手人员的行踪信息的精细程度。
第一方面，本申请的实施例提供一种手卫生合规监测方法，包括：
获取洗手人员在洗手过程中的第一深度图像；
将所述第一深度图像输入已训练的深度神经网络，生成手卫生结果；
若所述手卫生结果符合第一条件，则获取与所述洗手人员对应的深度图像模板以及所述洗手人员在洗手后移动至不同位置时的第二深度图像；
将所述第二深度图像与所述深度图像模板进行匹配；
根据所述匹配的结果生成所述洗手人员的行踪信息。
在第一方面的一种可能的实现方式中，还包括：若所述手卫生结果符合第一条件，且获取与所述洗手人员对应的深度图像模板失败，则获取所述洗手人员在单个摄像头视野范围内的第三深度图像；
根据所述第三深度图像跟踪所述洗手人员，生成所述洗手人员的行踪信息。
在第一方面的一种可能的实现方式中，还包括：若获取所述洗手人员的第三深度图像失败，则获取所述洗手人员从一个摄像头的视野范围移动至另一个摄像头的视野范围时的第四深度图像；其中，所述第三深度图像是由第一摄像头采集的，所述第四深度图像是由第二摄像头采集的；
确定所述洗手人员在所述第二摄像头的视野中的初始位置信息；
根据所述第四深度图像和所述初始位置信息跟踪所述洗手人员，生成所述洗手人员的行踪信息。
在第一方面的一种可能的实现方式中，根据所述第四深度图像和所述初始位置信息跟踪所述洗手人员，包括：
根据所述第四深度图像和所述初始位置信息，利用人体运动连续性跟踪所述洗手人员；
或者，根据所述第四深度图像和所述初始位置信息，利用人体深度图像轮廓和骨架信息跟踪所述洗手人员。
在第一方面的一种可能的实现方式中，根据所述第三深度图像跟踪所述洗手人员，包括：
根据所述第三深度图像，利用人体运动连续性跟踪所述洗手人员；
或者，根据所述第三深度图像，利用人体深度图像轮廓和骨架信息跟踪所述洗手人员。
第二方面，本申请的实施例提供一种手卫生合规监测装置，包括：
深度图像获取单元，用于获取洗手人员在洗手过程中的第一深度图像以及所述洗手人员在洗手后移动至不同位置时的第二深度图像；
深度神经网络，用于根据所述第一深度图像生成手卫生结果；
深度模板获取单元，用于在所述手卫生结果符合第一条件时获取与所述洗手人员对应的深度图像模板；
匹配跟踪单元，用于：将所述第二深度图像与所述深度图像模板进行匹配；
行踪信息生成单元，用于：根据所述匹配的结果生成所述洗手人员的行踪信息。
第三方面，本申请的实施例提供一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。
第四方面，本申请的实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。
第五方面，本申请的实施例提供一种计算机程序产品，当计算机程序产品在计算设备上运行时，使得计算设备执行上述第一方面中任一项所述的方法。
本申请的实施例与现有技术相比存在的有益效果是：
将获取到的洗手人员的第一深度图像输入已训练的深度神经网络，生成手卫生结果；若手卫生结果符合第一条件，则获取与该洗手人员对应的深度图像模板以及该洗手人员在洗手后移动至不同的位置时的第二深度图像；将不同位置的第二深度图像与深度图像模板进行匹配，根据匹配的结果生成洗手人员的行踪信息；如此，能在各个位置快速完成图像匹配，能以非侵入的方式对手卫生不合规的洗手人员进行准确且快速的持续跟踪，能提高获得的该洗手人员的行踪信息的精细程度。
本申请的实施例的一些可能的实现方式具有如下有益效果：
在获取非合规的洗手人员对应的深度图像模板失败之后，获取该人员在单个摄像头视野范围内的第三深度图像，根据第三深度图像使用人体运动连续性对洗手人员进行跟踪，生成洗手人员的行踪信息；如此，能对手卫生不合规的洗手人员进行持续跟踪，具有很好的持续跟踪效果；
在获取非合规的洗手人员对应的深度图像模板失败之后，且获取由第一摄像头采集的该人员的第三深度图像失败，则获取由第二摄像头采集的该人员的第四深度图像；确定洗手人员在第二摄像头的视野中的初始位置信息，根据第四深度图像和初始位置信息，使用人体运动连续性对洗手人员进行跟踪并生成跟踪结果，根据跟踪结果生成该人员的行踪信息；如此，能对该人员进行精准的跨摄像头持续跟踪，能精准记录该人员所到过的位置。
附图说明
为了更清楚地说明本申请的实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的手卫生合规监测方法的流程图；
图2是本申请一实施例提供的手卫生合规监测方法的一种变型方式的流程图；
图3是本申请另一实施例提供的手卫生合规监测方法的流程图；
图4是本申请另一实施例提供的手卫生合规监测方法的一种变型方式的流程图；
图5是本申请一实施例提供的手卫生合规监测装置的结构示意图；
图6是本申请一实施例提供的计算设备的结构示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图1至6及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请的实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
本实施例提供一种手卫生合规监测方法，其一种表现形式为软件，能应用于计算设备中。其中，计算设备包括个人计算机、服务器、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)等，本实施例对计算设备的具体类型不作任何限制。
图1示出本实施例提供的手卫生合规监测方法的示意性流程图，作为示例而非限定，该方法可以应用于上述计算设备中。
本实施例提供的手卫生合规监测方法能应用于需要对人员的手卫生是否合规进行监测的场所，比如应用于医院或者诊所。
本实施例提供的手卫生合规监测方法包括步骤S1至步骤S6。
步骤S1，获取洗手人员在洗手过程中的第一深度图像。
洗手人员是指在供洗手的地方进行洗手，比如在洗手池洗手的人员，具体可以是医院的医护人员、患者或者患者家属。在洗手人员洗手的过程中，预先设置的摄像头拍摄洗手人员的深度图像，该深度图像为第一深度图像。其中，预先设置的摄像头为深度摄像头。
预先设置的摄像头拍摄到洗手人员的第一深度图像之后，将第一深度图像发送计算设备，如此，计算设备便获取到洗手人员的第一深度图像。
需要说明的是，深度图像能保护个人的隐私，属于非侵入式的图像。
步骤S2，将第一深度图像输入已训练的深度神经网络，生成手卫生结果。
在获取到洗手人员的第一深度图像之后，将第一深度图像输入已训练的深度神经网络，以判断洗手人员的手卫生是否合规。
深度神经网络是预先训练好的，根据输入的第一深度图像，能输出结果，该结果为手卫生结果。手卫生结果包括手卫生合规和手卫生不合规。
步骤S3，若手卫生结果符合第一条件，则获取与洗手人员对应的深度图像模板。
在本实施例中，第一条件为手卫生不合规，该洗手人员为非合规人员。手卫生结果符合第一条件，表示需要对该洗手人员进行跟踪，因此，计算设备获取与洗手人员对应的深度图像模板以执行后续跟踪。
与洗手人员对应的深度图像模板是预先存储的，比如预先存储在存储部件中，在需要的时候读取。
深度图像模板是通过对深度图像进行处理后得到的；比如，获取洗手人员的多张深度图像，将这些深度图像经过处理后形成深度图像模板并保存。
步骤S4，获取洗手人员在洗手后移动至不同位置时的第二深度图像。
洗手人员在完成洗手之后就开始移动。摄像头拍摄洗手人员在洗手后移动至不同位置时的深度图像，该深度图像为第二深度图像；其中，这里的摄像头可以是前述拍摄第一深度图像的摄像头，也可以是设置在其他位置的摄像头。摄像头将第二深度图像发送给计算设备，如此，计算设备获取到洗手人员在不同的位置的第二深度图像。
步骤S5，将第二深度图像与深度图像模板进行匹配。
第二深度图像与深度图像模板的匹配是一个持续的过程。摄像头将在位置A拍摄到的人员的第二深度图像发送给计算设备，由计算设备将位置A对应的第二深度图像与预先存储的深度图像模板进行匹配；如果匹配成功，则表明该第二深度图像所属的人员是前述手卫生不合规的洗手人员，生成匹配结果，该匹配结果为跟踪结果。根据前面的跟踪结果，摄像头继续对该洗手人员进行跟踪，拍摄该洗手人员在位置B的第二深度图像并发送给计算设备，由计算设备将位置B对应的第二深度图像与深度图像模板进行匹配；如果匹配成功，则表明该第二深度图像所属的洗手人员是前述手卫生不合规的洗手人员，生成匹配结果，该匹配结果为跟踪结果；根据跟踪结果，摄像头继续对该洗手人员进行跟踪，拍摄该洗手人员在不同位置的第二深度图像并发送给计算设备进行匹配，实现对该洗手人员的持续跟踪。
其中，不同位置的第二深度图像可以是由一个摄像头拍摄的，也可以是由不同的摄像头拍摄的，只要计算设备能获取到即可。
步骤S6，根据匹配的结果生成洗手人员的行踪信息。
根据前面的跟踪结果，比如一个或者多个匹配结果，记录手卫生不合规的洗手人员所经过的位置，形成该洗手人员的行踪信息。具体的，前面的跟踪结果表明某个位置的人员就是前述手卫生不合规的洗手人员，计算设备据此记录该洗手人员到过该位置。
根据上述可知，将获取到的洗手人员的第一深度图像输入已训练的深度神经网络，生成手卫生结果；若手卫生结果符合第一条件，也即手卫生结果为手卫生不合规，则获取与该洗手人员对应的深度图像模板以及该洗手人员在洗手后移动至不同位置时的第二深度图像；将不同位置的第二深度图像与深度图像模板进行匹配，根据匹配的结果生成洗手人员的行踪信息；如此，能在各个位置快速完成图像匹配，能以非侵入的方式对手卫生不合规的洗手人员进行准确且快速的持续跟踪，能提高获得的该洗手人员的行踪信息的精细程度。
其中，对应有深度图像模板的洗手人员是医护人员，如此，可以离线获取医护人员深度图模板，通过模板匹配算法对其进行手卫生监督，这样对医护人员能起到更强的监督作用。
参考图2，本实施例提供的手卫生合规监测方法还包括深度图像模板的生成，具体包括步骤C1和步骤C2。在本实施例中，步骤C1和步骤C2在前述步骤S1之前执行。
步骤C1，采集洗手人员的各个角度的深度图像。
可事先采集洗手人员的深度图像，用于后续生成该洗手人员的深度图像模板。其中，洗手人员可以是医院的工作人员，比如医护人员；也可以是外来人员，比如患者或者其家属。为生成有效的深度图像模板，可通过摄像头采集洗手人员的各个角度的深度图像。
示例的，当患者家属在办理住院手续时，可在适当位置布置摄像头，获取患者家属各个角度的深度图像信息。
步骤C2，根据各个角度的深度图像，生成与洗手人员对应的深度图像模板。
示例的，将步骤C1中的患者家属的各个角度的深度图像作为与患者家属对应的深度图像模板存储到数据库中。可离线获取家属的各个角度的深度图像作为待匹配的深度图像模板。这样，当利用上述方案发现患者家属手卫生不合规时，可以及时进行教育，引导其做到手卫生合规，起到更好的手卫生监督效果。
实施例二
对于手卫生结果符合第一条件之后的步骤，本实施例与实施例一的有所不同。
参考图3，本实施例提供的手卫生合规监测方法包括前述步骤S1、前述步骤S2、步骤A3和步骤A4。
前述步骤S1和前述步骤S2的具体内容请参考实施例一，在此略过。
步骤A3，若手卫生结果符合第一条件，且获取与洗手人员对应的深度图像模板失败，则获取洗手人员在单个摄像头视野范围内的第三深度图像。
具体的，可以通过判定洗手人员没有对应的深度图像模板来表示获取该深度图像模板失败。洗手人员没有对应的深度图像模板，表示之前没有录入该洗手人员的深度图像模板。该洗手人员可以是医院的外来人员，比如新来的患者或其家属。
具体的，根据第一深度图像在深度图像模板库中匹配相关的深度图像模板，如果匹配不到相关的深度图像模板，则表明该洗手人员没有对应的深度图像模板，从而判定获取洗手人员对应的深度图像模板失败。
在判定洗手人员没有对应的深度图像模板之后，第一摄像头采集洗手人员的深度图像，该深度图像为第三深度图像。其中，第一摄像头可以是前述摄像头，也可以是不同于前述摄像头的摄像头。
第三深度图像是洗手人员在单个摄像头视野范围内的深度图像，比如都是在第一摄像头的视野范围内的深度图像。
步骤A4，根据第三深度图像跟踪洗手人员，生成洗手人员的行踪信息。
具体的，根据第三深度图像，利用人体运动连续性对洗手人员进行跟踪。
第三深度图像可以是指一张或者多张深度图像。区别于步骤S1的第一深度图像，第三深度图像是用于通过人体运动连续性对洗手人员进行跟踪的深度图像。
根据获取到的第三深度图像，使用人体运动连续性对洗手人员进行跟踪，能对洗手人员进行持续跟踪，生成一个或多个跟踪结果。其中，使用人体运动连续性对洗手人员进行跟踪的具体实现方案请参考论文“Human Detection Using Depth Information byKinect”。
在其他一些实施例中，步骤A4是：根据第三深度图像，利用人体深度图像轮廓和骨架信息对洗手人员进行跟踪，生成跟踪结果。这里的步骤A4具体是基于传统的深度图跟踪方法和骨架信息匹配方法对洗手人员进行跟踪。
生成跟踪结果之后，与前述步骤S6类似，根据跟踪结果生成并记录洗手人员的行踪信息。
根据上述可知，在获取非合规人员对应的深度图像模板失败之后，获取该人员在单个摄像头视野范围内的第三深度图像，比如通过第一摄像头采集该人员的第三深度图像，根据第三深度图像使用人体运动连续性对洗手人员进行跟踪，生成洗手人员的行踪信息；如此，能对手卫生不合规的洗手人员进行持续跟踪，具有很好的持续跟踪效果。
参考图4，本实施例提供的手卫生合规监测方法还包括步骤B3至步骤B5。
步骤B3，若获取洗手人员的第三深度图像失败，则获取洗手人员从一个摄像头的视野范围移动至另一个摄像头的视野范围时的第四深度图像；其中，第三深度图像是由第一摄像头采集的，第四深度图像是由第二摄像头采集的。
第一摄像头持续采集洗手人员的第三深度图像，以实现持续跟踪。如果在某个时刻采集不到洗手人员的第三深度图像，表明洗手人员已经不在第一摄像头的视野范围内，已行走至其他地方，第一摄像头无法持续采集洗手人员的第三深度图像，计算设备也无法持续获取到洗手人员的第三深度图像，表示获取第三深度图像失败。
为继续实现对洗手人员的跟踪，使用第二摄像头采集洗手人员的第四深度图像。洗手人员位于第二摄像头的视野范围内，第四深度图像是洗手人员移动至第二摄像头的视野范围时的深度图像。第二摄像头能拍摄到超出第一摄像头的视野范围的洗手人员的深度图像；示例的，第二摄像头和第一摄像头为相距指定距离比如十米设置的摄像头，洗手人员走出第一摄像头的视野之后进入第二摄像头的视野。
第二摄像头拍摄到的洗手人员的深度图像为第四深度图像。
步骤B4，确定洗手人员在第二摄像头的视野中的初始位置信息。
具体可以根据拍摄到的深度图像确定洗手人员在第二摄像头的视野中的初始位置信息。该初始位置信息是洗手人员首次出现在第二摄像头的视野中的位置，因此，可以根据第二摄像头在此次跟踪过程中首次拍摄到的洗手人员的深度图像来确定该初始位置信息；在第二摄像头首次拍摄到的洗手人员的深度图像中，洗手人员在第二摄像头的视野范围所处的位置就是前述初始位置信息。
示例的，使用马尔科夫链和K最短路径法确定洗手人员在第二摄像头的视野中的初始位置信息，也就是确定非合规人员在下一个镜头中的位置。
步骤B5，根据第四深度图像和初始位置信息跟踪洗手人员，生成洗手人员的行踪信息。
具体的，根据第四深度图像和初始位置信息，利用人体运动连续性对洗手人员进行跟踪。
第四深度图像可以是指一张或者多张深度图像。区别于前述第三深度图像，第四深度图像是由第二摄像头拍摄且用于通过人体运动连续性对洗手人员进行跟踪的深度图像。
由于已确定洗手人员在第二摄像头的视野范围的初始位置，再根据获取到的由第二摄像头采集的第四深度图像，使用人体运动连续性对洗手人员进行跟踪，能对洗手人员进行持续跟踪，生成一个或多个跟踪结果。
在其他一些实施例中，步骤B5是：根据第四深度图像和初始位置信息，利用人体深度图像轮廓和骨架信息对洗手人员进行跟踪，生成跟踪结果；这里的步骤B5具体是基于传统的深度图跟踪方法和骨架信息匹配方法对洗手人员进行跟踪。
生成跟踪结果之后，与前述步骤S6类似，根据跟踪结果生成并记录洗手人员的行踪信息。
根据上述可知，当不在模板内的非合规人员走到下一个摄像头的视野范围中，比如从第一摄像头的视野范围走到第二摄像头的视野范围，由于角度差异，很容易跟丢这个非合规人员。为此，本实施例在获取非合规人员对应的深度图像模板失败之后，且获取由第一摄像头采集的该人员的第三深度图像失败，则获取由第二摄像头采集的该人员的第四深度图像；确定洗手人员在第二摄像头的视野中的初始位置信息，根据第四深度图像和初始位置信息，使用人体运动连续性对洗手人员进行跟踪并生成跟踪结果，根据跟踪结果记录该人员的行踪信息；如此，能对该人员进行精准的跨摄像头持续跟踪，能精准记录该人员所到过的位置。
实施例三
对应于上文实施例所述方法，图5示出本实施例提供的手卫生合规监测装置的结构框图，为了便于说明，仅示出与本申请实施例相关的部分。
参考图5，该装置包括深度图像获取单元51、深度神经网络52、深度模板获取单元53、匹配跟踪单元54、行踪生成单元55、深度模板生成单元56和初始位置确定单元57。
深度图像获取单元51用于获取洗手人员的深度图像，包括第一深度图像、第二深度图像、第三深度图像和第四深度图像。
深度神经网络52用于根据深度图像生成手卫生结果，包括根据前述第一深度图像生成手卫生结果。
深度模板获取单元53用于在手卫生结果符合第一条件时获取与洗手人员对应的深度图像模板。
匹配跟踪单元54用于：将第二深度图像与深度图像模板进行匹配；以及，根据第三深度图像，使用人体运动连续性对洗手人员进行跟踪；以及，根据第四深度图像和初始位置信息，使用人体运动连续性对洗手人员进行跟踪。
行踪生成单元55用于：根据匹配的结果或跟踪结果生成洗手人员的行踪信息。
深度模板生成单元56用于生成洗手人员的深度图像模板。
初始位置确定单元57用于确定洗手人员在第二摄像头的视野中的初始位置信息。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图6为本申请一实施例提供的计算设备的结构示意图。如图6所示，该实施例的计算设备6包括：至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在存储器61中并可在至少一个处理器60上运行的计算机程序62；处理器60执行计算机程序62时实现上述任意各个**方法实施例中的步骤。
计算设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算设备可包括，但不仅限于，处理器60和存储器61。本领域技术人员可以理解，图6仅仅是计算设备的举例，并不构成对计算设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备、总线等。
处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器61在一些实施例中可以是计算设备6的内部存储单元，例如计算设备的硬盘或内存。存储器61在另一些实施例中也可以是计算设备的外部存储设备，例如计算设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括计算设备的内部存储单元也包括外部存储设备。存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器60执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序62在计算设备6中的执行过程。
上述实施例针对目前医院手卫生合规问题提出一种非侵入式手卫生合规监测方法，不需要给医务工作者或者病人及其家属佩戴智能穿戴设备就能实现手卫生合规的监测；将待监测人员(洗手人员)划分为医护工作者和非医护工作者，对于医护工作者的手卫生合规能够利用深度图模板进行跟踪，起到更强的监督作用；上述实施例还提出一种单相机和跨相机深度图跟踪策略，能够精准、实时地对非合规人员的运动信息进行监测；相比目前的基于RGB图的手卫生监测方法，上述实施例能够有效保护用户的隐私。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
前述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于计算机可读存储介质中；该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请的实施例提供一种计算机程序产品，当计算机程序产品在计算设备比如计算机上运行时，使得计算机执行时实现可实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
前述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种手卫生合规监测方法，其特征在于，包括：
获取洗手人员在洗手过程中的第一深度图像；
将所述第一深度图像输入已训练的深度神经网络，生成手卫生结果；
若所述手卫生结果符合第一条件，则获取与所述洗手人员对应的深度图像模板以及所述洗手人员在洗手后移动至不同位置时的第二深度图像；
将所述第二深度图像与所述深度图像模板进行匹配；
根据所述匹配的结果生成所述洗手人员的行踪信息；
所述方法还包括：
若所述手卫生结果符合第一条件，且获取与所述洗手人员对应的深度图像模板失败，则获取所述洗手人员在单个摄像头视野范围内的第三深度图像；
根据所述第三深度图像跟踪所述洗手人员，生成所述洗手人员的行踪信息；
若获取所述洗手人员的第三深度图像失败，则获取所述洗手人员从一个摄像头的视野范围移动至另一个摄像头的视野范围时的第四深度图像；其中，所述第三深度图像是由第一摄像头采集的，所述第四深度图像是由第二摄像头采集的；
确定所述洗手人员在所述第二摄像头的视野中的初始位置信息；
根据所述第四深度图像和所述初始位置信息跟踪所述洗手人员，生成所述洗手人员的行踪信息；
其中，根据所述第四深度图像和所述初始位置信息跟踪所述洗手人员，包括：
根据所述第四深度图像和所述初始位置信息，利用人体运动连续性跟踪所述洗手人员；
或者，根据所述第四深度图像和所述初始位置信息，利用人体深度图像轮廓和骨架信息跟踪所述洗手人员；
根据所述第三深度图像跟踪所述洗手人员，包括：
根据所述第三深度图像，利用人体运动连续性跟踪所述洗手人员；
或者，根据所述第三深度图像，利用人体深度图像轮廓和骨架信息跟踪所述洗手人员。
2.如权利要求1所述的方法，其特征在于，确定所述洗手人员在所述第二摄像头的视野中的初始位置信息，包括：
使用马尔科夫链和K最短路径法确定所述洗手人员在所述第二摄像头的视野中的初始位置信息。
3.如权利要求1或2所述的方法，其特征在于，还包括：
采集所述洗手人员的各个角度的深度图像；
根据所述各个角度的深度图像，生成与所述洗手人员对应的深度图像模板。
4.一种手卫生合规监测装置，其特征在于，包括：
深度图像获取单元，用于获取洗手人员在洗手过程中的第一深度图像以及所述洗手人员在洗手后移动至不同位置时的第二深度图像；
深度神经网络，用于根据所述第一深度图像生成手卫生结果；
深度模板获取单元，用于在所述手卫生结果符合第一条件时获取与所述洗手人员对应的深度图像模板；
匹配跟踪单元，用于：将所述第二深度图像与所述深度图像模板进行匹配；以及，根据第三深度图像，使用人体运动连续性对洗手人员进行跟踪；以及，根据第四深度图像和初始位置信息，使用人体运动连续性对洗手人员进行跟踪；
行踪信息生成单元，用于：根据所述匹配的结果生成所述洗手人员的行踪信息。
5.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137222.8A CN113012190B (zh) | 2021-02-01 | 2021-02-01 | 手卫生合规监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137222.8A CN113012190B (zh) | 2021-02-01 | 2021-02-01 | 手卫生合规监测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012190A CN113012190A (zh) | 2021-06-22 |
| CN113012190B true CN113012190B (zh) | 2024-02-06 |
Family
ID=76384720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110137222.8A Active CN113012190B (zh) | 2021-02-01 | 2021-02-01 | 手卫生合规监测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012190B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120411B (zh) * | 2021-11-29 | 2022-05-31 | 杭州百世伽信息科技有限公司 | 手部卫生自动管理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN109086725A (zh) * | 2018-08-10 | 2018-12-25 | 北京华捷艾米科技有限公司 | 手部跟踪方法及机器可读存储介质 |
| CN109446942A (zh) * | 2018-10-12 | 2019-03-08 | 北京旷视科技有限公司 | 目标跟踪方法、装置和系统 |
| CN110706250A (zh) * | 2019-09-27 | 2020-01-17 | 广东博智林机器人有限公司 | 一种对象的跟踪方法、装置、系统及存储介质 |
| CN112270310A (zh) * | 2020-11-24 | 2021-01-26 | 上海工程技术大学 | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200273200A1 (en) * | 2019-02-25 | 2020-08-27 | Microsoft Technology Licensing, Llc | Camera localization based on skeletal tracking |
-
2021
- 2021-02-01 CN CN202110137222.8A patent/CN113012190B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN109086725A (zh) * | 2018-08-10 | 2018-12-25 | 北京华捷艾米科技有限公司 | 手部跟踪方法及机器可读存储介质 |
| CN109446942A (zh) * | 2018-10-12 | 2019-03-08 | 北京旷视科技有限公司 | 目标跟踪方法、装置和系统 |
| CN110706250A (zh) * | 2019-09-27 | 2020-01-17 | 广东博智林机器人有限公司 | 一种对象的跟踪方法、装置、系统及存储介质 |
| CN112270310A (zh) * | 2020-11-24 | 2021-01-26 | 上海工程技术大学 | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012190A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moro et al. | Markerless vs. marker-based gait analysis: A proof of concept study | |
| CN111815754B (zh) | 一种三维信息确定方法、三维信息确定装置及终端设备 | |
| Hellsten et al. | The potential of computer vision-based marker-less human motion analysis for rehabilitation | |
| US11281896B2 (en) | Physical activity quantification and monitoring | |
| Lonini et al. | Video-based pose estimation for gait analysis in stroke survivors during clinical assessments: a proof-of-concept study | |
| CN107742100B (zh) | 一种考生身份验证方法及终端设备 | |
| US11980790B2 (en) | Automated gait evaluation for retraining of running form using machine learning and digital video data | |
| Augustyniak et al. | Seamless tracing of human behavior using complementary wearable and house-embedded sensors | |
| US11403882B2 (en) | Scoring metric for physical activity performance and tracking | |
| Li et al. | Automated assessment of levodopa-induced dyskinesia: Evaluating the responsiveness of video-based features | |
| Aziz et al. | Comparison of artificial intelligence with other interventions to improve adenoma detection rate for colonoscopy: a network meta-analysis | |
| Yang et al. | Autonomous Gait Event Detection with Portable Single‐Camera Gait Kinematics Analysis System | |
| CN113012190B (zh) | 手卫生合规监测方法、装置、设备及存储介质 | |
| Huang et al. | An automatic screening method for strabismus detection based on image processing | |
| Parnandi et al. | PrimSeq: A deep learning-based pipeline to quantitate rehabilitation training | |
| Patil et al. | Body posture detection and motion tracking using AI for medical exercises and recommendation system | |
| Cornman et al. | Video-based quantification of human movement frequency using pose estimation: A pilot study | |
| CN109545370B (zh) | 基于样本处理的病种确定方法、装置及终端 | |
| CN117393109B (zh) | 场景自适应的饮食监控方法、装置、设备及存储介质 | |
| Rahman et al. | Auto-gait: Automatic ataxia risk assessment with computer vision from gait task videos | |
| CN114511922A (zh) | 一种体能训练姿态识别方法、装置、设备及存储介质 | |
| Wang et al. | A webcam-based machine learning approach for three-dimensional range of motion evaluation | |
| Mittal et al. | Feasibility of video-based joint hypermobility assessment in individuals with suspected Ehlers-Danlos syndromes/generalised hypermobility spectrum disorders: a single-site observational study protocol | |
| CN116439691A (zh) | 基于人工智能的关节活动度检测方法及相关设备 | |
| Sarker et al. | Analysis of smooth pursuit assessment in virtual reality and concussion detection using bilstm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |