CN115966023A - 防护服规范化穿脱检测方法及相关系统 - Google Patents

Abstract

本申请公开了一种防护服规范化穿脱检测方法及相关系统，涉及图像处理技术领域，该系统包括摄像头、检测设备和提示设备，该方法包括：摄像头进行视频录制获得视频流，检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，根据至少一个目标动作的起止时间和类别，确定用户穿脱防护服是否符合防护服穿脱规范，当用户穿脱防护服不符合规范，提示设备向用户发出提示。该方法可以实现在穿脱过程中对防护服穿脱是否符合相关规范进行检测，并在检测到不符合相关规范时，及时向用户发出提示，以引导用户正确穿脱防护服，降低风险。

Description

防护服规范化穿脱检测方法及相关系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种防护服规范化穿脱检测方法以及相关系统。

背景技术

防护服是指具有防护作用的服装，如工业生产领域中具有防尘作业的无尘防护服，或者医疗领域中能够抵抗病毒或细菌渗透的医疗防护服。为了充分发挥防护服的作用，防护服的穿脱通常需要符合相关规范。例如，为了降低病毒感染风险，医务人员穿脱防护服应当符合如下规范：《医务人员穿脱防护用品的流程》。

目前，业界通常会采用视频监控方式录制穿脱防护服的流程，并通过后续人为查看分析筛选出错误流程或者动作。然而上述方法是针对穿脱防护服的整个过程进行事后监控，穿脱者只有通过大量的培训才能掌握穿脱流程以及细节问题，未经培训的人(例如安保人员、维修人员、保洁人员)在穿脱防护服时有较大几率不符合相关规范，如此产生了风险，难以满足业务的需求。

发明内容

本申请的主要目的在于提供一种防护服规范化穿脱检测方法、穿脱检测系统、穿脱检测装置、存储介质，能够在穿脱过程中实时检测防护服穿脱是否符合相关规范，并在不符合相关规范时，主动向用户发出提示，以引导相关人员正确穿脱，避免产生风险，如感染风险或污染风险，能够满足业务的需求。

第一方面，本申请提供了一种防护服规范化穿脱检测方法，应用于穿脱检测系统，所述系统包括摄像头、检测设备和提示设备，所述方法包括：

所述摄像头进行视频录制，获得视频流；

所述检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测设备根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范；

当所述用户穿脱所述防护服不符合所述防护服穿脱规范，所述提示设备向所述用户发出提示。

在一些可能的实现方式中，所述检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，包括：

所述检测设备从所述视频流中提取目标区域图像，通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述时序动作检测模型为流式时移模型，所述检测设备通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别，包括：

所述检测设备通过所述时序动作检测模型，在不同时间尺度对所述目标区域图像进行特征提取，获得多尺度特征；

根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述方法还包括：

在缓存中融合所述多尺度特征；

所述根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别，包括：

根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述检测设备从所述视频流中提取目标区域图像，包括：

所述检测设备从所述视频流中获取主码流和子码流，所述子码流的分辨率低于所述主码流；

所述检测设备对所述子码流执行行人检测任务，获得目标检测框的位置；

所述检测设备根据所述目标检测框的位置对所述主码流进行处理，获得目标区域图像。

在一些可能的实现方式中，所述提示设备包括显示器，所述提示设备向所述用户发出提示，包括：

所述提示设备向所述用户展示提示视频，所述提示视频中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备包括音响；

所述提示设备向所述用户发出提示，包括：

所述提示设备播放提示语音，所述提示语音中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备为智能镜，所述智能镜包括穿衣镜和镜内显示器。

在一些可能的实现方式中，所述检测设备为边缘计算设备，所述边缘计算设备嵌入在所述智能镜中。

第二方面，本申请提供了一种穿脱检测系统，包括：

摄像头，用于进行视频录制，获得视频流；

检测设备，用于对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测设备，还用于根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范；

提示设备，用于当所述用户穿脱所述防护服不符合所述防护服穿脱规范，向所述用户发出提示。

在一些可能的实现方式中，所述检测设备具体用于：

从所述视频流中提取目标区域图像，通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述时序动作检测模型为流式时移模型，所述检测设备具体用于：

通过所述时序动作检测模型，在不同时间尺度对所述目标区域图像进行特征提取，获得多尺度特征；

根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述检测设备还用于：

在缓存中融合所述多尺度特征；

所述检测设备具体用于：

根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述检测设备具体用于：

从所述视频流中获取主码流和子码流，所述子码流的分辨率低于所述主码流；

对所述子码流执行行人检测任务，获得目标检测框的位置；

根据所述目标检测框的位置对所述主码流进行处理，获得目标区域图像。

在一些可能的实现方式中，所述提示设备包括显示器，所述提示设备具体用于：

向所述用户展示提示视频，所述提示视频中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备包括音响；

所述提示设备具体用于：

播放提示语音，所述提示语音中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备为智能镜，所述智能镜包括穿衣镜和镜内显示器。

在一些可能的实现方式中，所述检测设备为边缘计算设备，所述边缘计算设备嵌入在所述智能镜中。

第三方面，本申请提供了一种穿脱检测装置。所述装置包括：

获取模块，用于获取视频流；

检测模块，用于对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测模块，还用于根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范。

第四方面，本申请提供了一种检测设备，该检测设备可以是边缘计算设备，该边缘计算设备包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述防护服规范化穿脱检测方法中由检测设备执行的步骤。

第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算设备如检测设备上运行时，使得所述检测设备执行上述防护服规范化穿脱检测方法中由检测设备执行的步骤。

第六方面，本申请还提供了一种计算机程序产品，所述计算机程序产品在计算设备上运行时，使得所述计算设备执行上述防护服规范化穿脱检测方法中的任意一种实现方式。

由上述技术方案可知，本申请至少具有以下有益效果：

本申请提供了一种防护服规范化穿脱检测方法。该方法由穿脱检测系统执行，所述系统包括摄像头、检测设备和提示设备。具体地，摄像头进行视频录制，获得视频流，检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作，然后检测设备根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范，当所述用户穿脱所述防护服不符合所述防护服穿脱规范，所述提示设备向所述用户发出提示。

区别于传统方法只能在事后监控，本申请的穿脱检测方法可以实现在穿脱过程中对防护服穿脱是否符合相关规范进行检测，并在检测到不符合相关规范时，及时向用户发出提示，以引导用户正确穿脱防护服，降低风险。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的一种防护服脱卸流程的示意图；

图1B为本申请实施例提供的一种防护服脱卸流程的示意图；

图2为本申请实施例提供的一种防护服规范化穿脱检测方案的整体流程图；

图3为本申请实施例提供的一种医护人员从污染区到清洁区的动线示意图；

图4为本申请实施例提供的一种基于视频认知技术的时序动作检测的流程示意图；

图5为本申请实施例提供的一种流式时移模型传递时序信息的示意图；

图6为本申请实施例提供的一种多时间尺度提取特征进行检测的流程图；

图7为本申请实施例提供的一种缓存特征进行检测的流程图；

图8为本申请实施例提供的一种时序动作检测的流程图；

图9为本申请实施例提供的一种产品形态的对比示意图；

图10为本申请实施例提供的一种边缘计算设备的结构示意图；

图11为本申请实施例提供的一种知识蒸馏的原理图；

图12为本申请实施例提供的一种模型剪枝的原理图；

图13为本申请实施例提供的一种模型量化的示意图；

图14为本申请实施例提供的一种数据应用的示意图；

图15为本申请实施例提供的一种防护服规范化穿脱检测方法的流程图；

图16为本申请实施例提供的一种穿脱检测系统的结构示意图；

图17为本申请实施例提供的一种穿脱检测装置的结构示意图。

具体实施方式

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。

首先对本申请实施例中所涉及到的一些技术术语进行介绍。

防护服是指具有防护作用的服装，如工业生产领域中具有防尘作业的无尘防护服，或者医疗领域中能够抵抗病毒或细菌渗透的医疗防护服。

防护服穿脱规范是指相关部门或组织制定的、穿脱防护服应当遵循的流程、规定。例如，在医疗卫生领域，卫健委为了防止一些传染病快速传播，制定了《医务人员穿脱防护用品的流程》。又例如，在工业生产领域，工厂为了防止人员进入无尘生产车间时带入尘埃，制定了《生产人员穿脱无尘防护服的规定》。

为了便于理解，下面结合示例对防护服穿脱规范示例说明。图1A和图1B分别示出了防护服脱卸流程，如图1A或图1B所示，在医院等医疗机构设置有污染区和清洁区，其中，污染区可以包括就诊人员活动区、医护(人员)活动区，清洁区可以包括医生办公区。污染区和清洁区之间设置有一脱间、二脱间，在离开污染区后，进入清洁区之前，需要在一脱间和二脱间进行防护服脱卸。

其中，在一脱间进行步骤1至7，具体包括七步洗手法洗手、摘防护面罩、七步洗手法洗手、撕胶条并拉拉链、脱防护服(由上向下脱，并边脱边卷)、丢防护服至垃圾桶、七步洗手法洗手。在二脱间进行步骤8至12，具体包括七步洗手法洗手、脱帽子、脱口罩、七步洗手法洗手、戴外科口罩。

考虑到脱卸流程比较复杂，在脱卸流程中常见如下问题：进一脱间忘记洗手；脱防护服时不是向后卷；步骤中间忘记洗手；洗手时间短、不按七步洗手法等不合规；在一脱间将帽子摘掉；进二脱间忘记洗手；出二脱间忘记换口罩。

为此，医院按照要求通过视频监控方式录制整个穿脱流程，并通过后续人为查看分析筛选出错误流程或者动作，来为后续降低感染风险提供支撑。

用于视频录制通常在一个房间设置一个，角度一般在上方角落，拍摄的角度导无法拍到人员正面以及细节动作，需要人员后续分析错误点以及错误人员，由于穿脱间除了医护人员通过以外，还有安保人员、维修人员、保洁人员也需要通过房间完成穿脱，整体通行量和监控量还是比较高的，即使通过活体识别筛选的情况下每天还需要查看近4个小时，费时费力。

并且，上述方法是针对穿脱防护服的整个过程进行事后监控，穿脱者只有通过大量的培训才能掌握穿脱流程以及细节问题，未经培训的人(例如安保人员、维修人员、保洁人员)在穿脱防护服时有较大几率不符合相关规范，如此产生了风险，难以满足业务的需求。

有鉴于此，本申请提供了一种防护服规范化穿脱检测方法。该方法由穿脱检测系统执行，所述系统包括摄像头、检测设备和提示设备。具体地，摄像头进行视频录制，获得视频流，检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作，然后检测设备根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范，当所述用户穿脱所述防护服不符合所述防护服穿脱规范，所述提示设备向所述用户发出提示。

区别于传统方法只能在事后监控，本申请的穿脱检测方法可以实现在穿脱过程中对防护服穿脱是否符合相关规范进行检测，并在检测到不符合相关规范时，及时向用户发出提示，以引导用户正确穿脱防护服，降低风险。该方法在传统方案基础上进行优化，通过视频流、形体识别、周遭物体变动检测、语音交互等，形成一套既解决视频筛查费时费力，同时解决事中的监控告警问题的方案，降低了风险。

本申请的防护服规范化穿脱检测方法可以基于时序动作定位实现，根据业务场景不同，可以选择相应的技术路线，最终通过技术集合业务场景解决人工筛查费时费力以及不能在穿脱过程中实时监控并告警的问题。

为了便于描述，下面以医疗场景进行示例说明。

参见图2所示的防护服规范化穿脱检测方案的整体流程图，该检测方案包括如下多个阶段：场景及动线设计、建立物联和数联、视频认知技术应用、交互式反馈和数据应用。下面对各个阶段进行详细说明。

阶段一：场景及动线设计

首先设计医护人员从污染区到清洁区的动线。参见图3所示的动线示意图，该动线整体包括如下多个功能区：就诊人员活动区、医护活动区、一脱间、二脱间、医生办公区，本申请的防护服规范化穿脱检测方法主要针对人员从医护活动区到办公区的流程管控。

其中，污染区通常是负压，清洁区的气压大于污染区，如此可以避免污染区的气流对流至清洁区。污染区可以设置摄像头、显示器(如电视屏)、音箱用于对脱口罩的行为进行提醒。污染区还可以设置消毒机，该消毒机可以进行消毒。需要说明的是，污染区和一脱间可以设置摄像头、联动门和门禁，如此可以实现手势或语音开门。为了保障安全，通常需要在识别到穿戴有防护服，且识别到指示开门的手势或语音时触发开发。清洁区与二脱间相邻，类似地，清洁区与二脱间可以设置摄像头、联动门和门禁，区别于污染区，清洁区可以是在识别到佩戴有口罩，且识别到指示开门的手势或语音时触发开门。需要说明的是，清洁区还可以设置监控屏和数据屏，其中，监控屏可以展示一脱间、二脱间的录制视频，数据屏可以展示监控数据，如在设定的时间段内检测到的不符合防护服穿脱规范的事件。

一脱间设置有摄像头、显示器(如电视屏)和音响，用于对防护服穿脱规范中的一脱规范进行提醒。一脱间设置有至少一个脱衣区，该脱衣区可以为单人指定脱衣区，该单人指定脱衣区可以设置在与摄像头、电视屏相对的位置，以便于监控或提示。此外，一脱间还可以设置洗手池、消毒机、垃圾桶，以支持完成一脱规范中的相关操作。一脱间和二脱间可以设置摄像头、联动门和门禁，以支持通过手势或声音开门。二脱间设置有洗手池、消毒机，以支持完成二脱规范中的相关操作。

阶段二：建立物联和数联

该方案中，大量前端硬件设备以及感控业务系统需要打通。本实施例可以采用物联网，将包括摄像头、消毒机、联动门、门禁、显示器(如电视屏)等设备打通，进而实现统一管理。再利用集成技术将上述智能硬件、用于实现防护服规范化穿脱检测的人工智能(artificial intelligence，AI)能力、感控平台打通。如后台可以设置门禁的出入规则，消毒剂的开关。软硬件之间建立数联，使得摄像头能够传输数据给AI能力进行处理，同时处理结果能够推送到感控平台方便人工进行筛选。

阶段三：视频认知技术应用

基于视频认知技术(具体是视频认知技术中的图像识别)可以实现防护规范化穿脱检测。如图4所示，视频认知技术依赖用于监控的摄像头和进行检测的检测设备。检测设备可以是边缘计算设备。

其中，检测设备可以部署防护服规范化穿脱检测应用，该应用的输入可以为视频流，如实时流协议(Real-Time Stream Protocol，RTSP)视频流、实时消息传送协议(Real-Time Messaging Protocol，RTMP)视频流、基于超文本传输协议(Hyper Text TransferProtocol，HTTP)的流媒体网络传输协议(HTTP Live Streaming，HLS)视频流，输出为识别到的目标动作的起止时间和类别。目标动作可以为防护服穿脱规范中定义的动作。例如，目标动作可以七步洗手法洗手、脱防护服。

该应用可以通过算法实现防护服规范化穿脱检测。具体地，检测设备可以通过算法对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别。参见图4中的算法流程示意图，检测设备可以从所述视频流中提取目标区域图像，通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

考虑到边缘设备的算力，检测设备可以将视频流分为主码流和子码流，例如是通过芯片的视频处理子系统(Video Process Sub System，VPSS)产生主码流和子码流。其中，子码流的分辨率低于主码流的分辨率。检测设备可以对所述子码流执行行人检测任务，获得目标检测框的位置。然后检测设备根据所述目标检测框的位置对所述主码流进行处理，获得目标区域图像。

由于边缘计算设备的算力限制，opencv、libyuv等图像处理库的性能无法满足需求，检测设备在根据目标检测框的位置对主码流处理时，可以使用像素图像加速单元(Raster Graphic Acceleration Unit，RGA)对目标检测框区域进行crop_resize，从而获得目标区域图像。目标区域图像经过时序动作检测模型，当检测到目标动作时，输出起止时间和动作类别。

检测设备实现防护服规范化穿脱检测的核心在于时序动作检测。为此，可以针对防护服规范化穿脱检测业务场景，针对性地设计时序动作检测模型。考虑到防护服脱卸动作存在以下特点：长时和短时动作均有，不同类别动作的时间跨度大；“从上到下边脱边卷”动作长，不同人做同一动作耗时差距可能很大；实时性要求高，需要在动作结束时快速抛出结果；需要在边缘计算设备落地，需要设计轻量级网络，可以将时序动作检测模型设计为流式时移模型(Temporal Shift Module)。

首先，为保证实时性和轻量化，如图5所示，时序动作检测模型的特征提取模块需要采用流式设计，通过例如时移(Temporal Shift)的方式将时序信息进行单向传递，不能使用基于未来信息的视频分类网络。

其次，为了同时建模短期信息和长期信息，如图6所示，可以参考SlowFast、TEA的多尺度建模方式，在不同时间尺度提取特征。进一步地，检测设备还可以对多尺度特征进行融合，根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

再次，考虑到超长时动作的存在，仅靠特征在模型内传播可能无法满足长时记忆要求，如图7所示，检测设备可以引入Memory Buffer。每帧图像特征在融合历史特征后，在Memory Buffer入栈，然后Memory Buffer中的特征滑窗出栈，送入时序动作检测模块，从而利用超长历史信息进行动作检测。

最后，由于动作持续时间长，无明显的开始、结束边界，可能检测到多次开始/结束，检测设备可以通过解码规则进行合并。此时，预测与标签数量不一致，常规的分类损失(如交叉熵损失cross entropy loss)无法使用，检测设备可以参考语音识别、文本识别的方式，使用连接主义时间分类损失(connectionist temporal classification loss，CTCloss)。CTS loss无需对齐输入数据及标签，可以进行端到端的训练。

参见图8，检测设备通过轻量化地流式时移模型确保实时性，通过时间多尺度模型融合长短期特征，并通过Memory Buffer记录长期信息，最后通过引入CTC loss实现many-to-one的监督。总的来看，时序动作检测模型具备在边缘计算设备上实现准实时、高效推理的可行性。

上述“时序动作检测”可以参考“体态动作识别”。以下为通用体态动作识别能力在实际使用场景中，常用体态动作识别的效果：

可以理解，本申请的时序动作检测应用到防护服规范化穿脱检测，也可以获得较好的识别效果。

以上对目标动作识别的过程进行了详细说明，进一步地，检测设备还可以根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范。例如，检测设备可以检测经过一脱间、二脱间的行人如医生是否遗漏了一些目标动作，或者在执行目标动作时是否出错。

阶段四：交互式反馈

本申请设计了一整套交互式反馈，来更贴切地运用到实际场景中。本申请提供了多种产品形态，如图9所示，一种形态为短焦摄像头、边缘设备、安卓一体机和全身镜，该形态具有设备稳定，价格相对较低等优点，另一种形态为智能镜(也可以称为魔镜)。智能镜可以内嵌摄像头和处理器，如图形处理器(graphics processing unit，GPU)，可以实现一体化交付。智能镜自带普通镜子功能，可以帮助节省空间，在一脱间更好安放。由于自带普通镜子功能，用户体验更友好，与摄像头交互也更为自然。而且，智能镜施工简单，类似壁挂电视一样安装即可，施工布线成本低，交付周期也较短，一个小时即可完成安装并投入使用，适用于现有改造项目。

需要说明的是，本申请实施例的智能镜可以通过智能健身镜实现。智能镜包括镜子、镜内显示器。进一步地，智能镜还可以包括摄像头、音响(如语音喇叭)、收音设备(如麦克风)，用于实现交互。此外，用于实现检测功能的边缘计算设备也可以嵌入到智能镜，实现交互、展示、计算融为一体。

由于边缘设备算力的限制，边缘端引擎设计与云端引擎存在显著不同。首先，时序动作检测模型应用到边缘计算设备前，可以先进行知识蒸馏、模型裁剪和/或量化操作，在保持效果的前提下降低时序动作检测模型的计算量。其次，由于端侧芯片的限制，部分算子不支持，时序动作检测模型可以进行算子替换和调整。最后，由于边缘计算设备的算力限制，opencv、libyuv等图像处理库的性能无法满足需求，可以使用RGA硬件图像处理加速器。总体来说，开发应用于边缘计算设备的时序动作检测模型，需要对效率和性能进行深度地优化。

下面以边缘计算设备为瑞昱RK3399 Pro示例说明。其部件框图如图10所示，上述边缘计算设备为具有中央处理器(central processing unit，CPU)、GPU、神经网络处理器(Neural-Network Processing Unit，NPU)的片上系统(System on Chip，SoC)芯片。

CPU具有两个cluster，一个cluster上有双核A72，另一个cluster上有四核A53。NPU由4个部分组成：Host Interface、Power Management、Nerual Network Engine、VectorProcessing Unit。其中，Nerual Network Engine支持INT8、INT16、FP16运算，支持卷积、Pooling、ReLU等常见算子，总算力达到2.4T操作数/秒(operations per second，OPS)。

为了在边缘计算设备实现快速计算，边缘推理引擎进行了大量底层算子级优化，从而具备如下优势：不依赖第三方计算库，依靠汇编实现核心运算，充分发挥ARM CPU的算力；卷积、转置卷积算法高效稳定，对于任意形状的卷积均能高效运行，广泛运用了Winograd卷积算法，对3x3→7x7等对称卷积有高效的实现；支持异构设备混合计算；利用RGA进行高效的图像处理，覆盖常见的形变、转换等需求。

通过上述改进，边缘推理引擎可以支持在有限算力的情况下实现高效地视频推理计算任务(时序动作检测的任务)，实时得到分析结果(时序动作检测的结果)。

下面对时序动作检测模型应用到边缘计算设备的其他改进进行详细说明。

一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速，这就是知识蒸馏在模型优化中的应用。

如图11所示，其核心思想是先训练一个复杂网络模型，然后使用这个复杂网络的输出和数据的真实标签去训练一个更小的网络，因此知识蒸馏框架通常包含了一个复杂模型(被称为Teacher模型)和一个小模型(被称为Student模型)。通过知识蒸馏技术可能将原先运行在云端的负责模型压缩到足够小，使用更少的计算资源在边缘芯片和端芯片上进行深度学习计算，得到预期的计算结果。在本实施例中，边缘计算设备可以根据图11所示的流程，对时序动作检测模型进行知识蒸馏，以压缩时序动作检测模型。

随着深度学习的发展，模型变得越来越复杂，随之而来的模型参数也越来越多，对于需要训练的模型硬件要求也越来越高。模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。

剪枝的思路在工程上非常常见，在学习决策树的时候就有通过剪枝的方法来防止过拟合。同样地，深度学习模型剪枝就是利用这种思想，来删除收益过低的一些计算成本。基于深度神经网络的大型预训练模型往往拥有着庞大的参数量,然后达到目前状态最佳(state-of-the-art，SOTA)模型的效果参考生物的神经网络,可以发现依靠大量稀疏的连接来完成复杂的意识活动。仿照生物的稀疏神经网络,通过将大型网络中的稠密连接变成稀疏的连接,在训练的过程中，逐步将权重较小的参数置为0，然后把那些权重值为0的去掉，也可以达到SOTA的效果,就是模型的剪枝方法。

模型剪枝的过程主要分以下几步：

步骤1：训练一个性能较好的原始模型，原模型网络参数量较大，推理速度较慢；

步骤2：评估权重和神经元的重要性，例如用L1、L2等评估权重的重要性；

步骤3：对权重或者神经元的重要性进行排序然后移除不重要的权重或神经元，如图12所示；

步骤4：移除部分权重或者神经元后网络的准确率会受到一些损伤，因此需要进行微调；

步骤5：为了不会使剪枝造成模型效果的过大损伤，一次不能剪掉太多的权重或神经元，因此这个过程需要迭代。

此外，在深度模型训练和推理过程中，常常使用32bit浮点型精度。但是高比特意味着模型的体积更大，推理速度更慢，硬件资源的消耗更多。这对于部署在计算资源和存储资源有限的边缘计算设备上是很不友好的。通过使用更低比特的精度，在尽量保持原模型效果的同时，获得尺寸更小、推理速度更快、硬件资源占用更少的模型是目前研究的重点方向。

把深度网络模型中高比特的权值和特征值用更低比特来表示的方法称为模型量化。当量化后的的数值是2的幂次倍的时候，如1、2、4、8bit等，量化也可以称为定点化。量化后的值成为定点值。模型量化方法本质上是函数映射。根据映射函数是否线性可以把量化分为线性量化和非线性量化，线性量化是目前最常用的量化方法。8bit量化是目前在工程上应用最为成熟的方案，该方案非常好的平衡了推理速度和精度损失之间的矛盾，RK3399Pro即支持8bit量化。常见的线性量化过程可以此公式来表示：

R＝round(S·(Q-Z))

其中，R表示原始的float32数值，Z表示float32数值的偏移量，在很多地方又叫Zero Point，S表示float32的缩放因子，在很多地方又叫Scale，Q表示量化后的整数值。

量化的具体步骤为：

统计输入数据的数值区间[min_value,max_value]；

根据量化方法，以及输入区间计算量化参数：零点值Z和缩放系数S；

根据转换公式，对输入的float32精度的数据转换为int8精度的数据，如图13所示，float32精度的数据可以通过非对称量化转换为int8精度的数据；

利用不同的S和Z，验证量化后的模型效果，搜索最优的S和Z。

在完成以上模型、引擎轻量化、计算效率优化后，将计算芯片(边缘计算设备)与交互终端(如智能镜)融合，进而可以进行交互式反馈。具体地，镜子是在穿脱过程中不可或缺的物品，同时镜子的存在也能将穿脱人员注意力集中在镜子上，通过广角摄像头能够采集时序动作检测模型所需要的视频流，同时镜内显示器可以根据当前穿脱人员步骤以及动作给出提示。通过收音和喇叭形成于穿脱人员的实时交互。

阶段五：数据应用

数据有多种应用途径。如图14所示，一种应用途径是，提供给感控人员进行检测，通过时序动作检测模型识别以及实时交互，大大减少了穿脱过程中错误流程的出现，即使出现也能事后反馈到感控人员，感控人员可以通过错误事件订阅方式查看错误视频，而不需要向原先从头到尾整体查看。另一种应用途径是，在感控人员视频查看的过程中提供了人工纠错功能，能够记录时序动作检测模型返回的错误数据，为时序动作检测模型后续的迭代升级提供数据基础。

以上对穿脱检测系统的搭建过程进行了详细说明，下面对防护服规范化穿脱检测方法的流程进行详细说明。

参见图15所示的防护服规范化穿脱检测方法的流程图，该方法包括如下步骤：

S1502：摄像头进行视频录制，获得视频流。

S1504：检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别。

目标动作为防护服穿脱规范中定义的动作，包括但不限于七步洗手法洗手、脱防护服(边脱边卷)、摘口罩等。检测设备可以从所述视频流中提取目标区域图像，然后通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

考虑到检测设备的算力有限，检测设备在提取目标区域图像时，可以从视频流中获取主码流和子码流，对所述子码流执行行人检测任务，获得目标检测框的位置。然后检测设备根据所述目标检测框的位置对主码流进行处理，例如是通过RGA硬件加速器对主码流进行crop_resize，获得目标区域图像。

在该实施例中，时序动作检测模型为流式时移模型，相应地，检测设备在进行时序动作检测时，可以通过所述时序动作检测模型，在不同时间尺度对所述目标区域图像进行特征提取，获得多尺度特征，根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别。其中，检测设备可以在缓存如memory buffer中融合多尺度特征，根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

S1506：检测设备根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范。当所述用户穿脱所述防护服不符合所述防护服穿脱规范，执行S1508。

具体地，检测设备可以将识别到的目标动作序列与防护服穿脱规范中的动作序列进行比较，若一致，则将目标动作序列的动作与防护服穿脱规范中的动作序列包括的动作进行逐个比较，确定目标动作是否正确，动作持续时长是否足够等，从而确定用户穿脱所述防护服是否符合防护服穿脱规范。当动作序列一致，且每个目标动作正确，动作持续时长足够，则表征用户穿脱上述防护服符合防护服穿脱规范。当动作序列不一致，或者至少有一个目标动作不正确，则表征用户穿脱上述防护服不符合防护服穿脱规范。

S1508：提示设备向所述用户发出提示。

具体地，提示设备可以包括显示器，相应地，提示设备可以向所述用户展示提示视频，该提示视频中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。在一些实施例中，提示设备也可以包括音响，相应地，提示设备可以播放提示语音，所述提示语音中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

基于上述内容描述，本申请实施例的防护服规范化穿脱检测方法可以实现在穿脱过程中对防护服穿脱是否符合相关规范进行检测，并在检测到不符合相关规范时，主动向用户发出提示，以引导用户正确穿脱防护服，降低风险。该方法在传统方案基础上进行优化，通过视频流、形体识别、周遭物体变动检测、语音交互等，形成一套既解决视频筛查费时费力，同时解决事中的监控告警问题的方案，降低了风险。

基于本申请实施例提供的上述方法，本申请实施例还提供了与上述方法对应的穿脱检测系统。

参见图16所示的穿脱检测系统的结构示意图，该系统1600包括：

摄像头1602，用于进行视频录制，获得视频流；

检测设备1604，用于对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测设备1604，还用于根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范；

提示设备1606，用于当所述用户穿脱所述防护服不符合所述防护服穿脱规范，向所述用户发出提示。

在一些可能的实现方式中，所述检测设备1604具体用于：

从所述视频流中提取目标区域图像，通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述时序动作检测模型为流式时移模型，所述检测设备1604具体用于：

通过所述时序动作检测模型，在不同时间尺度对所述目标区域图像进行特征提取，获得多尺度特征；

根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述检测设备1604还用于：

在缓存中融合所述多尺度特征；

所述检测设备1604具体用于：

根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

在一些可能的实现方式中，所述检测设备1604具体用于：

从所述视频流中获取主码流和子码流，所述子码流的分辨率低于所述主码流；

对所述子码流执行行人检测任务，获得目标检测框的位置；

根据所述目标检测框的位置对所述主码流进行处理，获得目标区域图像。

在一些可能的实现方式中，所述提示设备1606包括显示器，所述提示设备1606具体用于：

向所述用户展示提示视频，所述提示视频中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备1606包括音响；

所述提示设备1606具体用于：

播放提示语音，所述提示语音中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

在一些可能的实现方式中，所述提示设备1606为智能镜，所述智能镜包括穿衣镜和镜内显示器。

在一些可能的实现方式中，所述检测设备1604为边缘计算设备，所述边缘计算设备嵌入在所述智能镜中。

基于本申请实施例提供的上述方法，本申请实施例还提供了与上述方法对应的穿脱检测装置。穿脱检测装置可以包括多个单元/模块，描述于本申请实施例中所涉及到的单元/模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元/模块的名称在某种情况下并不构成对该单元/模块本身的限定。

参见图17所示的一种穿脱检测装置的结构示意图，所述装置1700包括：

获取模块1702，用于获取视频流；

检测模块1704，用于对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测模块1704，还用于根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范。

本申请实施例还提供了一种检测设备，该检测设备可以是边缘计算设备，包括：处理器、存储器、系统总线；

处理器以及存储器通过系统总线相连；

存储器用于存储一个或多个程序，其中，一个或多个程序包括指令，该指令当被处理器执行时使处理器执行上述防护服规范化穿脱检测方法中由检测设备执行的步骤。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算设备上运行时，使得计算设备执行上述防护服规范化穿脱检测方法中由检测设备执行的步骤。

本申请实施例还提供了一种计算机程序产品，计算机程序产品在计算设备上运行时，使得计算设备执行上述防护服规范化穿脱检测方法中由检测设备执行的步骤。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种防护服规范化穿脱检测方法，其特征在于，应用于穿脱检测系统，所述系统包括摄像头、检测设备和提示设备，所述方法包括：

所述摄像头进行视频录制，获得视频流；

所述检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测设备根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范；

当所述用户穿脱所述防护服不符合所述防护服穿脱规范，所述提示设备向所述用户发出提示。

2.根据权利要求1所述的方法，其特征在于，所述检测设备对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，包括：

所述检测设备从所述视频流中提取目标区域图像，通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别。

3.根据权利要求2所述的方法，其特征在于，所述时序动作检测模型为流式时移模型，所述检测设备通过时序动作检测模型对所述目标区域图像进行检测，获得至少一个目标动作的起止时间和类别，包括：

所述检测设备通过所述时序动作检测模型，在不同时间尺度对所述目标区域图像进行特征提取，获得多尺度特征；

所述检测设备根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述检测设备在缓存中融合所述多尺度特征；

所述检测设备根据所述多尺度特征进行检测，获得至少一个目标动作的起止时间和类别，包括：

根据融合后的特征进行检测，获得至少一个目标动作的起止时间和类别。

5.根据权利要求2所述的方法，其特征在于，所述检测设备从所述视频流中提取目标区域图像，包括：

所述检测设备从所述视频流中获取主码流和子码流，所述子码流的分辨率低于所述主码流；

所述检测设备对所述子码流执行行人检测任务，获得目标检测框的位置；

所述检测设备根据所述目标检测框的位置对所述主码流进行处理，获得目标区域图像。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述提示设备包括显示器，所述提示设备向所述用户发出提示，包括：

所述提示设备向所述用户展示提示视频，所述提示视频中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述提示设备包括音响；

所述提示设备向所述用户发出提示，包括：

所述提示设备播放提示语音，所述提示语音中包括所述用户的错误动作或错误流程以及对应的正确动作或正确流程。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述提示设备为智能镜，所述智能镜包括穿衣镜和镜内显示器。

9.根据权利要求8所述的方法，其特征在于，所述检测设备为边缘计算设备，所述边缘计算设备嵌入在所述智能镜中。

10.一种穿脱检测系统，其特征在于，所述系统包括：

摄像头，用于进行视频录制，获得视频流；

检测设备，用于对所述视频流进行图像识别，获得至少一个目标动作的起止时间和类别，所述目标动作为防护服穿脱规范中定义的动作；

所述检测设备，还用于根据所述至少一个目标动作的起止时间和类别，确定用户穿脱所述防护服是否符合所述防护服穿脱规范；

提示设备，用于当所述用户穿脱所述防护服不符合所述防护服穿脱规范，向所述用户发出提示。

Images