CN114364407B - 使用视频流监控医疗表面的表面清洁 - Google Patents

Abstract

清洁向导监控医疗设备的清洁并提供反馈，以确保基于最佳实践进行清洁。清洁向导接收其中包括医疗设备项目的视频流，并且将来自视频流的第一组视频帧输入到第一机器学习模型中。第一机器学习模型被训练为输出第一组视频帧是否对应于启动医疗设备的清洁方案的活动。响应于清洁方案被启动，清洁向导将第二组视频帧输入到第二机器学习模型中，该模型被训练为输出第二组帧是否满足清洁方案的标准。响应于满足清洁方案的所有标准，清洁向导向操作者发送清洁方案完成的通知。

Description

使用视频流监控医疗表面的表面清洁

相关申请的交叉引用

本申请要求2019年6月28日提交的美国临时申请第62/868,243号的权益，其全部内容通过引用并入本文。

背景技术

本公开总体上涉及使用相机结合机器学习来监控表面的清洁，并且更具体地涉及使用视频流来监控对医疗表面清洁方案的遵守情况并提供反馈。

在医疗保健中，为了控制和减少感染在患者之间传播，正确清洁医疗设备至关重要。例如，接触患者皮肤的小型医疗设备(如听诊器和温度计)可能会导致感染传播。作为一个特殊的示例，已证明听诊器(最重要的是膜)几乎100％被潜在的病原体和皮肤菌群污染，这些病原体和菌群通常是从定植或感染患者处获得。众所周知且有记录称，听诊器污染的程度即使在进行一次身体检查后也与医生惯用手的一部分的污染程度相当。与患者皮肤或黏膜直接接触的类似类型的医疗设备也存在这种污染程度的风险。

尽管对医疗环境中的污染进行了全面记录，但对环境清洁标准和方案的遵守情况各不相同，从而导致疾病爆发。遵守方面的问题包括未能遵循制造商说明中规定的适当准备消毒剂、消毒剂的时间安排以及施加，且工作流程不一致，导致缺乏标准化方案和不遵守最佳实践。

发明内容

上述和其他问题由清洁向导解决，该向导在清洁医疗表面期间使用视频流进行监控并提供反馈。相机捕获视频流，并将其传输至清洁向导。相机可以被安装在医疗设备项目上或医疗设备项目内，或者可以被设置在外部以捕获医疗设备项目的视图。基于视频数据，清洁向导监控医疗设备项目的清洁方案，并且基于最佳实践(包括CDC指南和制造商说明)在清洁方案需要注意、失败或完成时通知一个或多个操作者。

在一个实施例中，清洁向导接收其中包括描绘医疗设备的帧的视频流。清洁向导基于视频流确定医疗设备的清洁方案何时被启动。在一个实施例中，清洁向导将视频流数据输入到机器学习模型，以检测何时开始清洁。例如，将机器学习模型训练成当在视频流中检测到用布在医疗设备项目表面上移动的擦拭运动时，输出清洁方案被启动。

响应于检测到清洁尝试，清洁向导可以监控视频流，以确保清洁剂被正确施加到医疗设备的表面，并且清洁剂被充分施加以满足制造商的说明。例如，对于许多清洁剂而言，要求表面在一段时间内保持足够湿润，以完全清洁表面。为了保持表面的湿度，操作者可能被通知并被要求在这段时间内重新施加清洁剂。在一个实施例中，清洁向导将视频流数据输入到一个或多个机器学习模型，这些模型被训练为输出视频流是否满足清洁方案的标准。

当清洁向导确定视频流中所示的清洁有不符合清洁方案标准的危险时，清洁向导可以通知操作者以执行校正措施，例如将清洁剂施加到遗漏的表面区域或者将清洁剂重新施加到湿度即将不足够的区域。在清洁向导确定视频流中所示的清洁不符合清洁方案的标准的情况下，清洁向导可以通知操作者重新开始清洁方案的一部分或全部。当清洁向导确定视频流中所示的清洁符合清洁方案的标准时，清洁向导可以通知操作者清洁方案已经完成。

附图说明

图1是根据一个实施例的清洁向导进行操作的系统环境的框图。

图2A至图2B是根据一个实施例的用于捕获视频流的相机的示例图示，该视频流用于通过清洁向导监控表面清洁并提供反馈。

图3是根据一个实施例的清洁向导的架构的框图。

图4是根据一个实施例的用于监控医疗表面的表面清洁并提供反馈的方法的示例流程图。

图5是根据一个实施例的用于监控医疗表面的表面清洁并提供反馈的方法的示例图。

附图仅出于说明的目的描绘了各种实施例。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。

具体实施方式

图1是清洁向导150的系统环境100的框图。图1所示的系统环境100包括相机105、客户端设备110、网络115和清洁向导150。在备选配置中，系统环境100中可以包括不同的和/或附加组件。例如，系统环境100可以包括一个或多个相机105以及一个或多个客户端设备110。

客户端设备110是能够接收用户输入、向查看用户显示信息、以及经由网络115发送和/或接收数据的一个或多个计算设备。在一个实施例中，客户端设备110是常规计算机系统，例如台式或膝上型计算机。备选地，客户端设备110可以是具有计算机功能的设备，例如个人数字助理(PDA)、移动电话、智能电话或其他合适的设备。客户端设备110被配置为经由网络115进行通信。在一个实施例中，客户端设备110执行允许客户端设备110的用户与清洁向导150交互的应用。例如，客户端设备110执行浏览器应用，以使能经由网络115在客户端设备110与在线系统150之间的交互。在另一个实施例中，客户端设备110通过在客户端设备110的本地操作系统(例如或ANDROID^TM)上运行的应用编程接口(API)来与在线系统150交互。

客户端设备110被配置为使用有线和/或无线通信系统经由网络115进行通信，网络115可以包括局域网和/或广域网的任意组合。在一个实施例中，网络115使用标准通信技术和/或协议。例如，网络115包括使用诸如以太网、802.11、微波接入全球互通(WiMAX)、3G、4G、码分多址(CDMA)、数字用户线路(DSL)等技术的通信链路。用于经由网络115进行通信的网络协议的示例包括：多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)和文件传输协议(FTP)。通过网络115交换的数据可以使用任何合适的格式来表示，例如超文本标记语言(HTML)或可扩展标记语言(XML)。在一些实施例中，网络115的通信链路的所有或一些可以使用任何合适的技术来加密。

一个或多个相机105可以被耦合到网络115，用于与清洁向导150通信，以下将结合图2A至图2B和图3对此进行进一步描述。相机105捕获包括一系列连续图像帧的视频流，并且将所捕获的视频流传输到清洁向导150。在一个实施例中，相机105是客户端设备110的组件，例如膝上型或台式计算机上的相机。在一个实施例中，相机105在医疗设备项目的内部，例如内置或安装在或处于医疗设备项目中(例如，待清洁的是相机105的透镜，则该透镜是医疗设备项目)。在另一个实施例中，相机在医疗设备的外部，并且可以被定位以捕获其中包括医疗设备项目的视频流。

清洁向导150从一个或多个相机105接收视频数据，并且监控视频流，以确定医疗设备项目的清洁方案何时被操作者启动。在一个实施例中，清洁方案的启动由开始将清洁剂施加于医疗设备项目的表面所定义。清洁剂可包括一种或多种液体、喷雾剂、湿巾、擦拭巾，其要求操作者在一段时间内保持表面足够湿润和/或与表面进行某些附加的相互作用。可以通过擦拭、喷洒、冲洗或其他方法来施加清洁剂。当清洁方案被启动时，清洁向导150监控清洁尝试的视频流，以确保清洁尝试满足清洁方案的所有标准，包括：例如，充分覆盖医疗设备项目的表面、医疗设备项目的表面足够湿润、以及将清洁剂施加于医疗设备项目表面的时间足够长。在执行清洁方案期间，如果清洁尝试有不满足清洁方案标准的危险，则清洁向导150向操作者的客户端设备110发送通知，以校正清洁尝试中的缺陷。当满足清洁方案的所有标准时，清洁向导向操作者的客户端设备110发送清洁方案完成的通知。下面参照图2至图5描述清洁向导150的活动的进一步细节。

如图1的示例所示，清洁向导150被远程托管，并且例如通过诸如AMAZON WEBSERVICES、MICROSOFT AZURE或GOOGLE CLOUD PLATFORM之类的服务提供商在云上完全操作。在另一个实施例中，部分或整个清洁向导150在本地被实现。例如，清洁向导150的部分或全部在一个或多个相机105和/或一个或多个客户端设备110上被操作。

图2A是相机105A的示例图示，相机105A被定位在外部以捕获医疗设备210A项目的视频流。在一个实施例中，相机105A被定位为捕获至少包括医疗设备210A项目的表面的视频流。在另一个实施例中，相机105A被定位为捕获包括其上定位有待清洁医疗设备项目的表面的视频流(例如，相机被定位为捕获其上放置有待清洁听诊器的桌子的视频流)。当在相机105A所捕获的视频流内操作者215A用布跨医疗设备210A的表面进行擦拭运动时，清洁向导150启动医疗设备项目的清洁方案。

在一个实施例中，由于外部相机105A可能相对于医疗设备被不正确移动或定位，所以清洁向导150启动对相机105A的位置的检查，以确保所捕获的视频流准确地表示清洁尝试。因此，在这种实施例中，当清洁方案被启动时，清洁向导150可以确定医疗设备项目在视频流中相对于相机105A的位置。响应于医疗设备210A项目相对于相机被定位在阈值距离之外，例如太远或太靠近相机105A以至于不能精确分析要执行的清洁尝试，清洁向导150可以向操作者发送通知以重新定位医疗设备项目。在执行清洁方案的同时，附加地，清洁向导150可以对相机105A的位置进行定期检查，以确保视频流不被例如操作者或其他项目或物体遮挡，并且在清洁方案期间相机不被移动。响应于检测到遮挡时间大于阈值时间量或位置变化，清洁向导150向操作者发送通知以采取校正措施。

图2B是安装在医疗设备210B上或医疗设备210B中的相机105B的示例图。在图2B的示例中，相机105B被安装在医疗设备210B项目的内部，并且例如通过透明或半透明面板来捕获医疗设备项目的表面的视频流，使得当操作者215B用布跨医疗设备的表面进行擦拭运动时，相机105B捕获视频流上的擦拭运动。例如，医疗设备可以是视网膜相机，其中用户将其前额和下巴放在医疗设备上，并且凝视玻璃屏幕。视网膜相机或另一个内部相机可以将下巴托、前额托和玻璃屏幕全部或部分地收在其视区内，并且可以在不需要外部相机的情况下监控清洁方案。在其他示例中，相机105B可以被安装在医疗设备210B的外表面或组件上，并且可以由医疗设备的操作者定位、附接或移除。在另一个示例中，相机105B可以捕获视频流，以用于相机的组件(例如透镜)的清洁尝试。

在一些实施例中，多个相机(包括一个或多个外部相机105A和一个或多个内部相机105B)被用于捕获医疗设备的视频流，以确保视频流提供医疗设备的全面视图。例如，具有内部相机105B的视网膜相机可能具有部分模糊的下巴托和前额托的视图，除了视网膜相机本身的透镜之外，还必须正确地清洁下巴托和前额托。一个或多个外部相机105A被定位为捕获内部相机105B的盲点。内部相机105B和一个或多个外部相机105A的视频流被发送到清洁向导150。在一个实施例中，视频流被逻辑缝合以供清洁向导150处理。

图3是根据一个实施例的清洁向导150的架构的框图。图3所示的清洁向导150包括视频接收模块305、方案存储装置310、机器学习模型存储装置315、清洁启动模块320、擦拭检测模块325、湿度预测模块330、残留物检测模块335、清洁协调模块340和通知模块345。在其他实施例中，清洁向导150可以包括用于各种应用的附加、更少或不同组件。诸如网络接口、安全功能、负载平衡器、故障转移服务器、管理和网络操作控制台等常规组件未被示出，以免模糊系统架构的细节。

视频接收模块305从相机105接收视频流。在一个实施例中，视频流被连续地、周期性地或以一些其他编程的间隔或有规律地接收。附加地或备选地，例如在工作日开始时，在开始清洁方案之前，视频流可以被操作者启动。在一个实施例中，视频接收模块305将所接收的视频流的多组帧传输到清洁启动模块320、擦拭检测模块325、湿度预测模块330和残留物检测模块335。备选地或附加地，视频接收模型305可以将帧存储到能够由清洁向导150的其他模块访问的共享存储器中，这些模块可以从共享存储器中访问帧。在一个实施例中，视频接收模块305从清洁协调模块340接收用于存储和/或传输视频流的指令。

方案存储装置310存储和维护描述清洁方案的信息。通常，清洁方案规定了清洁尝试的一个或多个方面的一个或多个要求值或缺陷值，为了用给定清洁剂对给定医疗设备项目成功地进行清洁尝试，必须满足这些值，例如，以满足CDC的指南或清洁剂制造商的说明。要求值表示为成功满足清洁方案标准所要求的最小值或最大值。缺陷值表示清洁方案失败的最小值或最大值。在一些实施例中，清洁方案可以规定清洁方案的一个或多个方面的可接受值的范围，或者可以规定清洁尝试尚未失败但是需要校正措施的阈值。清洁方案可以规定，例如用于医疗设备项目的清洁剂的类型、量或浓度；医疗设备项目表面所需的湿度；擦拭或保持表面湿润的持续时间；表面冲洗；在接触人体皮肤之前表面所需的干燥等。

机器学习模型存储装置315存储被训练为输出描述满足清洁方案的标准的信息的一个或多个模型。在一个实施例中，该一个或多个模型被训练为使用正训练样本和负训练样本来检测清洁尝试是否满足清洁方案的标准。正训练样本可以是例如由CDC、清洁剂制造商或医疗专业人员批准的作为清洁医疗设备的最佳实践的视频数据或帧。负训练样本可以是例如在医疗设备项目附近移动而未清洁医疗设备项目、未正确清洁医疗设备项目等的视频数据或帧。正训练样本和负训练样本被标记以识别剪辑，例如正确的清洁尝试、不正确的清洁尝试或未尝试。可以针对例如具有不同制造商说明的不同清洁剂、具有不同表面的不同医疗设备项目等训练一个或多个模型。清洁方案的特定值，例如用于触发向操作者发送通知的阈值，可以通过模型来调整或者可以手动建立。

清洁启动模块320将建议网络应用于来自视频流的多组帧，以确定医疗设备的清洁方案何时被启动。在一个实施例中，建议网络是机器学习模型，其被训练为从视频流接收多组帧作为数据，并且输出该组帧组是否对应于启动医疗设备的清洁方案的活动。例如，建议网络被训练为如果一组帧包括操作者用布或擦拭物擦拭医疗设备项目的表面，则输出该组帧对应于清洁方案被启动。在另一个示例中，建议网络被训练为如果一组帧包括操作者向医疗设备的表面喷洒或施加清洁剂，则输出该组帧对应于清洁方案被启动。

在一个实施例中，清洁启动模块320将建议网络应用于视频流的采样帧或帧子组。例如，清洁启动模块320将建议网络应用于清洁向导150从相机105接收的每第十帧。响应于清洁启动模块320检测到清洁尝试，清洁启动模块320将与采样帧或帧子组周围的时间帧对应的一组帧传输到擦拭检测模块325。在一个实施例中，建议网络是卷积神经网络。在其他实施例中，可以使用其他机器学习方法。

在一个实施例中，建议网络是在下游执行大量处理之前使用的轻量级网络。当未进行清洁尝试时，建议网络的使用降低了清洁向导150所需的处理能力。因为建议网络周期性地在单个帧或短帧组上运行，因此不需要进行大量的视频数据处理，清洁向导150能够有效地识别医疗设备的清洁方案何时被操作者启动，而不需要大量的计算资源、电池使用等。在建议网络输出清洁方案被启动的情况下，清洁向导150可以应用一个或多个重量级网络来确认清洁方案被启动。这样，在进行大量处理之前使用建议网络提高了清洁向导150的整体效率，同时仍然采用稳健的网络来消除无需清洁时误报触发清洁方案循环的可能性。

响应于从清洁启动模块320接收到一组帧，擦拭检测模块325将擦拭检测器模型应用于来自视频流的帧组，以确定是否已经正确施加了清洁剂。虽然“擦拭”是贯穿本公开的普遍示例，但这仅仅是示例性的；可以使用任何清洁表面的动作来代替“擦拭”。例如，擦拭检测模块325可用于检测冲洗运动、喷洒运动等，而非擦拭运动。在这种情况下，术语“擦拭检测模块”并不意味着需要检测“擦拭”，而是可以用于检测任何相关的相应清洁机制。

清洁剂的正确施加可以包括空间和时间参数，例如是否将清洁剂施加到医疗设备项目表面的足够区域和/或清洁剂的施加是否在阈值时间量内。在备选或附加实施例中，擦拭检测模块325用于检测任何表面清洁活动，包括将清洁剂施加到表面的备选方法。例如，擦拭检测模块325可以检测经由喷雾瓶喷洒清洁剂和/或用清洁剂冲洗表面，清洁剂可以是例如施加到医疗设备项目表面的水流或清洁液体。

在一个实施例中，使用正训练样本和负训练样本来训练擦拭检测器模型。训练样本可以包括视频剪辑，该视频剪辑包括用于表面清洁的各种方法，包括用布擦拭表面、冲洗表面、在表面上喷洒清洁剂等。训练样本可以是例如由CDC或清洁剂制造商发布的视频剪辑，并且被标记为例如正确施加清洁剂、未正确施加清洁剂和未施加清洁剂。训练样本也可以由有意生成具有各种标签的示例的熟练的用户来生成，或者由标记来自真实清洁尝试的视频剪辑的熟练的贴标机来生成。此外，这些剪辑可以在清洁向导150运行时被收集，并且用于持续改进。在一个实施例中，擦拭检测器模型是三维卷积神经网络。在其他实施例中，可以使用其他机器学习方法。

例如，擦拭检测器模型被训练为接收一组视频帧和清洁方案作为输入，并且输出二进制值，该二进制值表示清洁剂是否被正确施加于医疗设备。在另一个示例中，擦拭检测器模型被训练为输出表示清洁剂是否被正确施加的概率的数值。一些清洁方案不需要施加清洁剂(例如，仅需要水的冲洗方案)；在这样的清洁方案中，可以将擦拭检测器模型训练为检测是否已经采取了适当的动作(例如，帧反映已经开始冲洗)。擦拭检测模块325将擦拭检测器模型所输出的概率与阈值概率进行比较，以确定清洁剂是否被正确施加。在另一示例中，擦拭检测器模型被训练为输出表示清洁方案的各方面的一个或多个标志，例如其中标志表示清洁剂是否被施加到医疗设备项目的足够区域，标志表示清洁剂的施加是否在阈值时间量内，和/或一个或多个标志表示清洁剂正确施加到医疗设备项目的部分。

响应于擦拭检测器模型的输出，擦拭检测模块325向清洁协调模块340发送通知，包括描述清洁剂是否已被正确施加的信息。响应于擦拭检测器模型输出清洁剂尚未被正确施加(或者，在擦拭或清洁剂施加没有问题的情况下，响应于检测到未正确完成任何需要的活动)，擦拭检测模块325可以重新开始清洁尝试或者可以接收多组帧作为擦拭检测器模型的附加输入。例如，如果清洁尝试由于操作者未能将清洁剂施加到医疗设备项目的表面的一部分而失败，则可以指示操作者将清洁剂施加到该部分，而不是重新开始清洁尝试。除了初始的一组帧之外，擦拭检测模块325还将来自操作者将清洁剂施加到该部分的视频流的一组帧输入到擦拭检测器模型中。在另一个示例中，如果由于操作者未能在时间帧内施加足够的清洁剂，清洁尝试失败，则可以指示操作者重新开始清洁尝试。擦拭检测模块325将来自操作者重新开始清洁尝试的视频流的一组帧输入到擦拭检测器模型中，而无初始的一组帧。

湿度预测模块330将湿度预测器模型应用于来自视频流的多组帧，以确定在清洁尝试期间医疗设备项目的表面是否保持足够的湿度。为了使清洁剂对表面进行充分消毒以防止感染的传播，清洁剂经常附有在一段时间内保持表面的阈值湿度的制造商说明。例如，表面可能需要保持湿润三分钟，以便清洁剂对表面进行消毒。

在一个实施例中，使用训练样本训练湿度预测器模型。训练样本可以是例如包括硬表面的视频数据或图像的帧。训练样本与将硬表面识别为足够湿、不够湿、接近干或干的标签相关联。当视频数据的帧被标记时，可以从已经标记的帧内插中间帧的标记。例如，如果在第1帧和第10帧中表面是湿的，则可以假设第2帧到第9帧中表面是湿的。在其他示例中，可以使用附加的、更少或不同的标签。在一些示例中，训练样本中的表面的一些部分可以被单独标记，使得第一部分可以被识别为“足够湿”，而将第二部分识别为“干燥”。在一些实施例中，在对训练样本进行训练期间，输出像素图可能需要跨空间和时间维度的平滑度调节。这种平滑度调节可以采取最小化像素图的导数的形式。该调节项将与系数一起被添加到标准神经网络损失中。

在一个实施例中，湿度预测模型是递归卷积神经网络。湿度预测器模型接收一组视频帧和清洁方案作为输入，并且输出像素图，其中为该组帧的每个时间戳生成每像素湿度值。在一个示例中，湿度预测器模型对来自视频流的一组帧应用平滑操作，以减少单像素误差的影响。在另一个示例中，缩小帧的尺寸，使得输出像素图的每个像素表示该组帧的一个区域，例如，缩小10,000×10,000像素的初始帧的尺寸，并且以512×512像素生成像素图。在其他实施例中，可以使用其他机器学习方法，并且可以使用表面湿度的其他定性或定量表示。

湿度预测模块330基于像素图确定表面的总湿度值。在一些实施例中，湿度预测模块330应用一个或多个分类器，该一个或多个分类器被训练为接收像素图和清洁方案作为输入，并且输出表示像素图的像素是否个体上符合清洁方案的要求值(例如湿度值)的值。在一些实施例中，该值可以是像素图的像素是否符合清洁方案的要求值的二进制表示。在其他实施例中，该值可以是表示像素图的像素符合清洁方案要求值的百分比的数值，或者像素图的像素个体上符合清洁方案的要求值的概率。在其他实施例中，该值可以是表示医疗设备表面的平均或最小湿度的数值。一个或多个分类器可以被存储在机器学习模型存储装置315中。湿度预测模块330基于一个或多个分类器的输出，确定医疗设备表面的总体湿度是否满足清洁方案的标准。

在其他实施例中，湿度预测模块330确定并评估像素图的最小值，以确保像素图的最小值在所需持续时间期间内高于清洁方案的规定阈值。湿度预测模块330评估对应于视频流的当前帧的像素图和对应于视频流的一个或多个先前帧的一个或多个像素图，使得湿度预测模块330可以在湿度值随着时间降低到接近阈值时，警告清洁协调模块340。

残留物检测模块335将残留物检测器模型应用于来自视频流的多组帧，以确定在清洁方案期间医疗设备表面上的残留物是否增加或减少了足够量。在一些实施例中，残留物检测器模型是湿度预测器模型的备选或补充，这是因为表面上的湿度或清洁剂液滴可以被表示为残留物。残留物还可以包括例如灰尘或污垢颗粒、其他液体等。

在一个实施例中，残留物检测器模型是递归卷积神经网络，其输出表示医疗设备表面上每像素残留物量的像素图。在一些示例中，残留物检测器模型输出表示残留物种类的一个或多个像素图，例如表示表面上的液体残留物的像素图和表示表面上的灰尘颗粒的像素图，其中残留物检测模块335将表示表面上的液体残留物的像素图评估为与表示同一表面上的灰尘颗粒的像素图不同的阈值或标准。

清洁协调模块340从擦拭检测模块325、湿度预测模块330和残留物检测模块335接收描述机器学习模型输出的信息，并且基于所接收的信息确定信号。清洁协调模块340监控来自机器学习模型的输出，并且响应于至少一个监控的输出在缺陷值的阈值范围内(例如，湿度值为0.3，接近缺陷值0.2)，清洁协调模块向通知模块345发信号以通知操作者校正缺陷。响应于所监控的至少一个输出未能满足缺陷值(例如，由于操作者未能及时重新施加清洁剂，湿度值为0.1，小于缺陷值0.2)，清洁协调模块340向通知模块345发信号以通知操作者重新开始清洁方案，并且向擦拭检测模块325发信号以通知重新开始清洁方案。响应于所监控的所有输出满足清洁方案的标准，清洁协调模块340向通知模块345发信号以通知操作者清洁方案完成。

在一些实施例中，附加地，清洁协调模块340识别在清洁尝试中使用的清洁方案。因为不同清洁剂和医疗设备项目的清洁方案可能不同，所以响应于操作者启动清洁尝试，清洁协调模块340确定在清洁尝试期间使用的清洁剂的类型和被清洁的医疗设备项目中的至少一项。例如，清洁协调模块340可以应用被训练为例如基于视频流中出现的品牌名称或标签、清洁剂的施加方法、医疗设备的空间形状等，从视觉数据识别清洁剂的类型和医疗设备的模型。在其他实施例中，清洁协调模块340从操作者接收说明清洁剂类型和被清洁的医疗设备的信息作为输入。基于该信息，清洁协调模块340访问方案存储装置310，并且选择将被应用到清洁尝试的清洁方案。在一个实施例中，清洁剂可以简单地是水(例如，如冲洗方案中所要求的)。

通知模块345向一个或多个客户端设备110发送通知，以在医疗设备项目的清洁尝试期间提供反馈。通知模块345经由网络115与执行清洁方案的操作者的客户端设备110通信。响应于来自清洁协调模块340的信号，通知模块345向操作者提供文本或图像通知，以在清洁尝试期间执行校正动作、重新开始清洁尝试，或者在清洁方案成功完成时通知操作者。结合图5进一步讨论了示例通知。

在备选实施例中，可以省略一个或多个模块，以简化清洁向导150的功能。例如，在一个备选实施例中，省略了清洁启动模块320和建议网络。在该实施例中，响应于清洁协调模块340发出提示操作者重新施加清洁剂的信号，可以提示擦拭检测模块325运行。备选地，例如响应于清洁向导150启动或开启，提示擦拭检测模块325运行整个清洁方案。

在另一备选实施例中，省略了擦拭检测模块325和擦拭检测器模型。在该实施例中，清洁启动模块320应用建议网络来确定清洁尝试何时被启动，并且湿度预测模块330应用湿度预测器模型来确定表面的部分何时变得太干或者在初始施加时未适当地施加清洁剂。该实施例也可以用于使用非擦拭方法(例如冲洗)来施加清洁剂的情况。

在另一备选实施例中，省略了湿度预测模块330和湿度预测器模型。在该实施例中，清洁协调模块340向通知模块345发送信号，以通知操作者在初始施加清洁剂后以周期性间隔重新施加清洁剂。周期性间隔的被时间设置为使得充分施加清洁剂后，保持医疗设备项目表面的湿度值。如果擦拭检测模块325未在每个间隔期间检测到充分施加(例如，有间隔未施加，或者表面的一部分未施加)，则清洁协调模块340向通知模块345发信号以通知操作者清洁方案已经失败并且必须重新开始。

图4是根据一个实施例的用于监控医疗表面的表面清洁并提供反馈的方法的示例流程图。如下所述，图4的步骤可以由清洁向导150执行。在其他实施例中，一些或所有步骤可以由其他模块执行。此外，其他实施例可以包括不同的和/或附加步骤，并且这些步骤可以以不同的顺序执行。

清洁向导150的视频接收模块305接收405视频流。清洁启动模块320将视频流的第一组帧输入410到第一机器学习模型中。第一机器学习模型被存储在机器学习模型存储装置315中，并且被训练为输出第一组帧是否对应于启动医疗设备的清洁方案的活动。一个或多个清洁方案由清洁向导150存储在方案存储装置310中，并且可以由清洁启动模块320访问。在一个示例中，第一机器学习模型被训练为响应于在第一组帧中检测到用布跨医疗设备的表面进行擦拭运动，输出清洁方案被启动。在另一个示例中，第一机器学习模型被训练为响应于在第一组帧中检测到在医疗设备的表面上喷洒清洁剂，输出清洁方案被启动。

响应于清洁方案启动，清洁向导150将视频流的第二组帧输入415到被存储在机器学习模型存储装置315中的第二机器学习模型中。第二机器学习模型被训练为输出第二组帧是否满足清洁方案的标准。清洁方案可以为清洁尝试的方面规定清洁尝试失败的一个或多个缺陷值，和/或为清洁尝试的方面规定清洁尝试成功所必须满足的要求值。清洁向导的清洁协调模块340可以发信号通知一个或多个模块基于清洁尝试的所规定的方面来应用一个或多个机器学习模型。例如，湿度预测模块330将第二组帧输入到被训练为输出清洁尝试期间医疗设备项目的表面湿度的表示的机器学习模型中。备选地或附加地，擦拭检测模块325将第二组帧输入到被训练为输出清洁剂是否正确被施加于医疗设备项目的机器学习模型中。备选地或附加地，残留物检测模块335将第二组帧输入到被训练为输出在清洁尝试期间医疗设备的一个或多个表面上的残留物的表示的机器学习模型中。

在一个实施例中，附加地或备选地，第二机器学习模型可以包括一个或多个分类器，该一个或多个分类器被训练为输出在第二组帧中捕获的清洁尝试的方面是否符合清洁方案的标准。例如，第二机器学习模型确定在第二组帧的持续时间内，诸如表面湿度、表面残留物和喷雾或擦拭覆盖表面的标准是否保持在正确的范围内。该一个或多个分类器针对清洁方案的每个方面输出像素图的像素是否符合清洁方案的要求值。

响应于第二机器学习模型的输出在清洁方案的缺陷值的阈值范围内(例如，表面湿度值为0.3，缺陷值为0.2)，清洁向导150的清洁协调模块340向通知模块345发送信号，以向操作者发送通知来校正缺陷。例如，通知可以指示操作者向医疗设备的表面的至少一部分重新施加清洁剂。响应于第二机器学习模型的输出未能满足清洁方案的缺陷值(例如，表面湿度值为0.1，缺陷值为0.2)，清洁协调模块340向通知模块345发送信号，以向操作者发送通知重新开始清洁方案。

响应于第二机器学习模型的输出满足清洁方案标准，清洁协调模块340向通知模块345发送信号，以向操作者发送420清洁方案已经被成功完成的通知。

图5是根据一个实施例的用于监控医疗表面的表面清洁并提供反馈的方法的示例图。相机105捕获医疗设备的视频流，并且将该视频流传输到清洁向导150。医疗设备项目的操作者通过用布擦拭医疗设备项目的表面来启动清洁方案505A。响应于确定清洁方案已经被启动，清洁向导150确定为成功完成清洁方案的要求值。在图5的示例中，清洁方案的要求值明确了医疗设备项目表面需保持湿润三分钟，以便充分清洁表面。在其他示例中，可以规定清洁方案的其他要求值和其他方面。

响应于医疗设备的表面保持表面湿润达所需的三分钟510A，清洁向导完成清洁方案，并且向操作者的客户端设备110发送清洁方案完成的通知515，例如“清洁完成”和指示清洁方案成功完成的一个或多个可视元素。

响应于清洁向导150确定医疗设备项目的表面未能保持表面湿润达三分钟520，清洁向导向操作者的客户端设备110发送通知525。通知525明确了操作者重新开始清洁方案的指令，例如，“请重新向透镜施加清洁剂。使用前请等待三分钟”。医疗设备项目的操作者通过将清洁剂重新施加于医疗设备项目的表面来重新启动清洁方案505B。响应于清洁向导150确定清洁方案已经被重新启动505B，清洁向导监控清洁尝试，以确保表面湿度保持所需的三分钟。在表面湿度保持所需的三分钟510B后，清洁向导150完成清洁方案，并向操作者的客户端设备110发送清洁方案完成的通知515。

出于说明的目的，已经呈现了实施例的前述描述；该描述并不旨在穷举或将专利权限制于所公开的精确形式。相关领域的技术人员可以理解，根据上述公开，可以进行许多修改和变化。

本说明书的一些部分根据算法和对信息的操作的符号表示来描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达其工作的实质。虽然在功能上、计算上或逻辑上描述了这些操作，但是这些操作应理解为由计算机程序或等效电路、微码等来实现。此外，在不失一般性的情况下，将这些操作安排称为模块有时也证明是很方便的。所描述的操作及其相关模块可以体现为软件、固件、硬件或其任意组合。

本文描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或多个硬件或软件模块来执行或实现。在一个实施例中，软件模块用计算机程序产品来实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器来执行，以执行所描述的任何或所有步骤、操作或过程。

实施例还可以涉及用于执行本文的操作的装置。该装置可以为所需目的专门构造，和/或其可以包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂态、有形计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，这些介质可以被耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。

实施例还可以涉及通过本文描述的计算过程生产的产品。这种产品可以包括由计算过程产生的信息，其中该信息被存储在非暂态、有形计算机可读存储介质上，并且可以包括本文描述的计算机程序产品或其他数据组合的任何实施例。

最后，说明书中使用的语言主要是出于可读性和指导性的目的而选择的，而非为了描述或限制专利权而选择的。因此，旨在使专利权的范围不受该详细描述的限制，而是受基于此的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制权利要求的范围，权利要求的范围在以下权利要求中阐述。

Claims (20)

1.一种监测清洁的方法，包括：

接收视频流；

将所述视频流的第一组帧输入到第一机器学习模型中，所述第一机器学习模型被训练为输出：所述第一组帧是否对应于启动医疗设备项目的清洁方案的活动；

响应于接收到所述第一组帧对应于启动所述清洁方案的活动的输出，将来自所述视频流的第二组帧输入到第二机器学习模型中，所述第二机器学习模型被训练为输出：所述第二组帧是否满足所述清洁方案的标准；以及

响应于所述第二组帧满足所述清洁方案的标准，向操作者发送所述清洁方案完成的通知。

2.根据权利要求1所述的方法，其中所述清洁方案的所述标准包括针对所述清洁方案的一方面的缺陷值。

3.根据权利要求2所述的方法，其中所述第二机器学习模型为所述一组帧中的每个帧生成输出，并且其中所述方法还包括：

分析所述第二机器学习模型的、与所述一组帧的给定帧对应的给定输出；以及

响应于所述给定输出在所述缺陷值的阈值范围内，向所述操作者发送通知以校正所述缺陷。

4.根据权利要求3所述的方法，还包括：

监控所述第二机器学习模型的、与所述给定帧之后的帧对应的输出；以及

响应于所监控的所述输出中的至少一个输出未能满足所述缺陷值，向所述操作者发送通知以重新开始所述清洁方案。

5.根据权利要求1所述的方法，其中所述第一机器学习模型是建议网络。

6.根据权利要求1所述的方法，其中所述第一机器学习模型被训练为：响应于在所述第一组帧中检测到用布在所述医疗设备项目的表面上进行擦拭运动，输出所述清洁方案被启动。

7.根据权利要求1所述的方法，还包括：

还响应于接收到所述第一组帧对应于启动所述清洁方案的活动的输出，确定所述视频流中的所述医疗设备项目相对于捕获所述视频流的相机的位置；以及

响应于所述医疗设备项目相对于所述相机被定位在阈值距离之外，向所述操作者发送通知以重新定位所述医疗设备项目。

8.根据权利要求1所述的方法，其中所述视频流由安装在所述医疗设备项目上或所述医疗设备项目中的相机捕获。

9.根据权利要求1所述的方法，其中所述第二机器学习模型的输出包括像素图，所述像素图表示所述清洁方案的基于所述第二组帧的一个或多个方面。

10.根据权利要求9所述的方法，还包括：

将所述像素图输入到所述第二机器学习模型的一个或多个分类器中；

从所述一个或多个分类器中的每个分类器，接收分类器的输出：所述像素图的像素是否符合所述清洁方案的要求值；以及

响应于所述像素图的像素符合所述清洁方案的所述要求值，确定所述第二组帧满足所述清洁方案的所述标准。

11.根据权利要求10所述的方法，其中所述清洁方案包括所述医疗设备项目的表面的湿度的要求值。

12.根据权利要求1所述的方法，其中启动针对所述医疗设备项目的所述清洁方案还包括：

至少部分地基于所述第一组帧，确定在所述清洁方案期间使用的清洁剂的类型；以及

基于所确定的所述清洁剂类型，调整所述清洁方案的所述标准。

13.一种非暂态计算机可读存储介质，包括其上编码有指令的存储器，所述指令能够由一个或多个处理器执行，以使所述一个或多个处理器执行操作，所述指令包括用于以下操作的指令：

接收视频流；

将所述视频流的第一组帧输入到第一机器学习模型中，所述第一机器学习模型被训练为输出：所述第一组帧是否对应于启动医疗设备项目的清洁方案的活动；

响应于接收到所述第一组帧对应于启动所述清洁方案的活动的输出，将来自所述视频流的第二组帧输入到第二机器学习模型中，所述第二机器学习模型被训练为：输出所述第二组帧是否满足所述清洁方案的标准；以及

响应于所述第二组帧满足所述清洁方案的标准，向操作者发送所述清洁方案完成的通知。

14.根据权利要求13所述的计算机可读存储介质，其中所述清洁方案的所述标准包括针对所述清洁方案的一方面的缺陷值。

15.根据权利要求14所述的计算机可读存储介质，其中所述第二机器学习模型为所述一组帧中的每个帧生成输出，并且其中所述指令还包括用于以下操作的指令：

分析所述第二机器学习模型的、与所述一组帧的给定帧对应的给定输出；以及

响应于所述给定输出在所述缺陷值的阈值范围内，向所述操作者发送通知以校正所述缺陷。

16.根据权利要求15所述的计算机可读存储介质，其中所述指令还包括用于：

监控所述第二机器学习模型的、与所述给定帧之后的帧对应的输出；以及

响应于所监控的所述输出中的至少一个输出未能满足所述缺陷值，向所述操作者发送通知以重新开始所述清洁方案。

17.根据权利要求13所述的计算机可读存储介质，其中所述第一机器学习模型是建议网络。

18.一种监测清洁的系统，包括：

存储器，其上编码有指令；以及

一个或多个处理器，当其执行所述指令时，所述指令使所述一个或多个处理器执行以下操作：

接收视频流；

将所述视频流的第一组帧输入到第一机器学习模型中，所述第一机器学习模型被训练为：输出所述第一组帧是否对应于启动医疗设备项目的清洁方案的活动；

响应于接收到所述第一组帧对应于启动所述清洁方案的活动的输出，将来自所述视频流的第二组帧输入到第二机器学习模型中，所述第二机器学习模型被训练为：输出所述第二组帧是否满足所述清洁方案的标准；以及

响应于所述第二组帧满足所述清洁方案的标准，向操作者发送所述清洁方案完成的通知。

19.根据权利要求18所述的系统，其中所述清洁方案的所述标准包括针对所述清洁方案的一方面的缺陷值。

20.根据权利要求19所述的系统，其中所述第二机器学习模型为所述一组帧中的每个帧生成输出，并且其中使所述一个或多个处理器执行操作还包括：

分析所述第二机器学习模型的、与所述一组帧的给定帧对应的给定输出；以及

响应于所述给定输出在所述缺陷值的阈值范围内，向所述操作者发送通知以校正所述缺陷。