CN114758286A

CN114758286A - 基于工作票事件的边缘智能安全监测方法和装置

Info

Publication number: CN114758286A
Application number: CN202210670874.2A
Authority: CN
Inventors: 姜军; 朱磊; 刘艾明; 潘志高; 胡家玉
Original assignee: Hangzhou Zhixian Technology Co ltd
Current assignee: Hangzhou Zhixian Technology Co ltd
Priority date: 2022-06-15
Filing date: 2022-06-15
Publication date: 2022-07-15
Anticipated expiration: 2042-06-15
Also published as: CN114758286B

Abstract

本申请公开了一种基于工作票事件的边缘智能安全监测方法和装置，该方法基于目标工作票的不同工作票事件，分别运行边缘计算装置中的第一和第二边缘应用程序执行作业现场相应的安全监测功能；识别一组作业人员的第二姿态特征数据，并根据与第二姿态特征数据的预定位置关系，检测一组作业人员中目标人员是否存在违章行为相关的特征对象，并根据目标人员的第二姿态特征数据与第一姿态特征数据之间的匹配关系来确定所述目标人员的身份信息。本申请能够实现电网作业现场的边缘计算装置中的按需计算，降低边缘计算装置的运行负载，还可以将边缘计算装置识别的违章行为事件定位到具体的作业人员，实现更精准的安全预警和管控。

Description

基于工作票事件的边缘智能安全监测方法和装置

技术领域

本申请涉及物联网、边缘计算技术领域，具体而言，涉及一种基于工作票事件的边缘智能安全监测方法和装置。

背景技术

随着电网结构日趋复杂，电网运维和建设施工任务繁重，作业现场和作业人员数量多，各类安全风险和事故隐患交织叠加，导致作业现场的安全管控难度日益增大，传统的作业现场安全管控方式已经无法匹配这种发展趋势。为了提升作业现场安全管控的数字化水平，技术人员开展了一些相关的技术研究，一方面尝试利用基于边缘计算架构的AI视频图像识别能力来构建电网作业现场的安全生产监控系统，通过在边缘计算装置部署用于安全监控的边缘应用，结合预训练的AI图像识别算法模型实现对作业现场的视频图像数据的采集和实时分析处理，从而实现对作业现场的安全风险事件的监控和预警。另一方面，通过构建数字化工作票系统来保障电网作业任务的数字化流程管理，共同推进作业现场的安全管控的数字化水平。数字化工作票是保障现场作业业务流转的新型载体，数字化工作票的引入可以对作业现场的作业计划、安全准入、安全交底、作业执行等关键环节进行流程管控。

上述现有的方案还存在诸多缺陷，一方面，安全生产监控系统和数字化工作票系统是各自实现不同业务目的的两套独立的业务系统，二者在电网作业现场的部署和实施各自依赖不同的技术架构体系，难以整合集成。在数字化工作票系统的业务流转过程中，无论作业任务当前是否需要执行某个监控功能，位于安全生产监控系统的边缘侧的边缘计算装置部署的用于安全监控的各类边缘应用一直处于运行负载的状态，极大地消耗了各边缘计算装置的计算资源；另一方面，电网作业现场可能在多个不同位置部署图像采集设备，边缘计算装置从这些不同位置采集的视频图像数据中直接检测是否存在安全风险事件相关的特征对象，例如作业人员是否佩戴安全帽和绝缘手套、是否存在卷袖行为等，以此识别是否存在导致安全风险事件的违章行为，这种方式无法将具体的安全风险事件定位到具体的作业人员，无法满足精准地安全预警和管控的目的，并且对位于作业人员身上的小特征对象检测的准确率较低，导致作业人员的违章行为难以准确识别和监测。因此，急需一种改进的方法和系统来解决这些问题。

发明内容

有鉴于此，本申请提出一种基于工作票事件的边缘智能安全监测方法和装置，以解决上述问题。

第一方面，本申请提出一种基于工作票事件的边缘智能安全监测方法，包括：

边缘计算装置从云端服务器的边缘智能服务接收目标工作票的第一工作票事件和属性信息，其中所述边缘计算装置与所述目标工作票涉及的作业现场对应；

所述边缘计算装置根据所述第一工作票事件，运行第一边缘应用程序，从位于所述作业现场的第一位置的第一图像采集设备所采集的第一视频数据的第一组视频帧中检测一组作业人员的人脸特征数据，并与所述属性信息中的人脸特征数据进行比较，识别出所述一组作业人员中每个作业人员的身份信息，并从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据；

响应于从所述边缘智能服务接收到所述目标工作票的第二工作票事件，所述边缘计算装置运行第二边缘应用程序，从位于所述作业现场的第二位置的第二图像采集设备所采集的第二视频数据的第二组视频帧中识别所述一组作业人员的第二姿态特征数据，根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象，如是，则根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息。

在可选的实施方式中，所述从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据包括：

从所述第一组视频帧中每帧识别所述一组作业人员的一组姿态特征数据，得到多组姿态特征数据，所述姿态特征数据包括关节点集向量和所述关节点集向量的置信度度量值；

根据所述多组姿态特征数据中每组姿态特征数据中的每个在所述第一组视频帧中的位置与所述一组作业人员的人脸特征数据在所述第一组视频帧中的位置的关系，分别识别出与每个作业人员的身份信息关联的一组姿态特征数据；

从与每个作业人员的身份信息关联的一组姿态特征数据中选择置信度度量值最大的关节点集向量作为所述每个作业人员的第一姿态特征数据。

在可选的实施方式中，所述根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象包括：

根据与所述第二姿态特征的预定位置关系，从所述第二组视频帧中的每个视频帧获得至少一个目标检测区域；

将所述至少一个目标检测区域的图像数据输入违章行为识别模型，判断所述至少一个目标检测区域的图像数据是否属于与预定违章行为相关的特征对象的分类。

在可选的实施方式中，所述根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息包括：

根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息。

在可选的实施方式中，所述根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息包括：

计算所述第二姿态特征数据中关节点集与所述每个作业人员的第一姿态特征数据中的关节点集之间的拟合关节点占比，作为所述形状相似度；

计算所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离的归一化值，作为所述尺度相似度；

从所述每个作业人员的第一姿态特征数据中选取所述形状相似度和尺度相似度的加权和最大的第一姿态特征数据所关联的作业人员的身份信息，确定为所述目标人员的身份信息。

在可选的实施方式中，所述方法还包括：

所述边缘智能服务预先构建所述边缘计算装置中的各边缘应用程序与各工作票事件之间的关联关系，并将各边缘应用程序及其与各工作票事件之间的关联关系一起部署至所述边缘计算装置。

在可选的实施方式中，所述方法还包括：

所述边缘智能服务在所述云端服务器中保存包含目标工作票与边缘计算装置之间的映射关系的地址路由表；

所述边缘智能服务根据所述地址路由表，将所述目标工作票的各工作票事件和属性信息转发给与所述目标工作票具有映射关系的边缘计算装置。

在可选的实施方式中，所述方法还包括：

响应于从所述边缘智能服务接收到所述目标工作票的第三工作票事件，所述边缘计算装置退出所述第一边缘应用程序和第二边缘应用程序。

第二方面，本申请还提出一种基于工作票事件的边缘智能安全监测装置，包括：

事件接收模块，用于边缘计算装置从云端服务器的边缘智能服务接收目标工作票的第一工作票事件和属性信息，其中所述边缘计算装置与所述目标工作票涉及的作业现场相对应；

人员识别模块，用于边缘计算装置根据所述第一工作票事件，运行第一边缘应用程序，从位于所述作业现场的第一位置的第一图像采集设备所采集的第一视频数据的第一组视频帧中检测一组作业人员的人脸特征数据，并与所述属性信息中的人脸特征数据进行比较，识别出所述一组作业人员中每个作业人员的身份信息，并从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据；

违章识别模块，用于响应于从所述边缘智能服务接收到所述目标工作票的第二工作票事件，所述边缘计算装置运行第二边缘应用程序，从位于所述作业现场的第二位置的第二图像采集设备所采集的第二视频数据的第二组视频帧中识别所述一组作业人员的第二姿态特征数据，根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象，如是，则根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息。

在可选的实施方式中，人员识别模块还包括以下单元：

姿态识别单元，用于从所述第一组视频帧中每帧识别所述一组作业人员的一组姿态特征数据，得到多组姿态特征数据，所述姿态特征数据包括关节点集向量和所述关节点集向量的置信度度量值；

姿态映射单元，用于根据所述多组姿态特征数据中每组姿态特征数据中的每个在所述第一组视频帧中的位置与所述一组作业人员的人脸特征数据在所述第一组视频帧中的位置的关系，分别识别出与每个作业人员的身份信息关联的一组姿态特征数据；

身份关联单元，用于从与每个作业人员的身份信息关联的一组姿态特征数据中选择置信度度量值最大的关节点集向量作为所述每个作业人员的第一姿态特征数据。

在可选的实施方式中，违章识别模块还包括以下单元：

区域检测单元，用于根据与所述第二姿态特征的预定位置关系，从所述第二组视频帧中的每个视频帧获得至少一个目标检测区域；

对象检测单元，用于将所述至少一个目标检测区域的图像数据输入违章行为识别模型，判断所述至少一个目标检测区域的图像数据是否属于与预定违章行为相关的特征对象的分类。

在可选的实施方式中，违章识别模块还包括：姿态匹配单元，用于根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息。

在可选的实施方式中，姿态匹配单元还包括以下单元：

形状相似计算单元，用于计算所述第二姿态特征数据中的关节点集与所述每个作业人员的第一姿态特征数据中的关节点集之间的拟合关节点占比，作为所述形状相似度；

尺度相似计算单元，用于计算所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离的归一化值，作为所述尺度相似度；

身份信息映射单元，用于从所述每个作业人员的第一姿态特征数据中选取所述形状相似度和尺度相似度的加权和最大的第一姿态特征数据所关联的作业人员的身份信息，确定为所述目标人员的身份信息。

第三方面，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现如前述任一实施方式所述的方法。

本申请实施例至少可以达到如下有益效果：一方面，能够实现电网作业现场的边缘计算装置中的按需计算，降低边缘计算装置的运行负载，减少对边缘计算装置的计算资源的消耗；另一方面，还可以将边缘计算装置识别的违章行为事件定位到具体的作业人员，实现更精准的安全预警和管控，同时提高作业人员违章行为监测的准确性和实时性能。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，而不应被看作是对本申请范围的限制。

图1是根据本申请一实施例的系统架构示意图；

图2是根据本申请一实施例的基于工作票事件的边缘智能安全监测方法的流程示意图；

图3是根据本申请另一实施例的基于工作票事件的边缘智能安全监测方法的部分流程示意图；

图4是根据本申请另一实施例的基于工作票事件的边缘智能安全监测方法的部分流程示意图；

图5是根据本申请另一实施例的基于工作票事件的边缘智能安全监测方法的部分流程示意图；

图6是根据本申请一实施例的基于工作票事件的边缘智能安全监测装置的结构示意图；

图7是根据本申请另一实施例的基于工作票事件的边缘智能安全监测装置的部分结构示意图；

图8是根据本申请另一实施例的基于工作票事件的边缘智能安全监测装置的部分结构示意图；

图9是根据本申请另一实施例的基于工作票事件的边缘智能安全监测装置的部分结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例中的技术方案进行清楚、完整地描述。然而应当理解，所描述的实施例仅仅是本申请的部分示例性实施例，而不是全部实施例，因此以下对本申请实施例的详细描述并非旨在限制要求保护的本申请的范围。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等仅是用于区别描述类似的对象，而不是用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。

本申请实施例所应用的系统架构如图1所示。该系统架构在作业现场部署有安全生产监控系统100和数字化工作票系统200。其中，安全生产监控系统100包括部署于云端服务器110，所述云端服务器110部署有安全生产监控平台111和边缘智能服务112。安全生产监控系统100还包括位于边缘侧的一个或多个边缘计算装置120和位于端侧的各类智能终端设备130，边缘计算装置120通信连接至云端服务器110上运行的边缘智能服务112，智能终端设备130分别通过网络接入该一个或多个边缘计算装置120。其中，边缘计算装置120可以通过多种远程网络通信方式与云端服务器110进行安全通信连接，并可以通过LoRa无线传输、蓝牙、以太网、RS-485、RS-232等多种本地通信方式实现与智能终端设备130的通信连接。作为示例，智能终端设备130可以包括若干图像采集设备，例如固定摄像头、移动布控球以及带有摄像头的智能安全帽等。

边缘计算装置120主要实现作业现场的智能安全管控功能，可以基于各类智能终端设备130采集的作业现场的视频图像数据的实时检测和分析，执行各类安全风险事件的智能识别和预警，并将安全风险事件的识别和预警结果发送给安全生产监控平台111。边缘智能服务112实现边缘计算装置120的接入和运行管理，实现各类边缘应用程序以及AI图像识别算法模型向边缘计算装置120的分发部署和更新管理。

数字化工作票系统200包括部署于另一云端服务器的数字化工作票平台210和通信连接至该数字化工作票平台210的一个或多个移动终端220。其中，移动终端220安装有数字化工作票应用程序APP，可以从数字化工作票平台210接收作业任务的数字化工作票和向数字化工作票平台210反馈数字化工作票的业务流程进度，并提供数字化工作票所需的作业端信息输入和更新。此外，安全生产监控系统100还可通过边缘智能服务112向数字化工作票平台210推送作业现场的安全风险事件，以辅助进行数字化工作票的安全交底、工作票许可、安全核查等相关的业务操作。

如前所述，在应用安全生产监控系统和数字化工作票系统实施电网作业现场的数字化安全管控过程中，无论作业任务当前是否需要执行某个监控功能，边缘计算装置120中部署的各类边缘应用程序一直处于运行负载的状态，极大地消耗了各边缘计算装置的计算资源，另一方面，边缘计算装置从位于不同位置的图像采集设备采集的视频图像数据中直接检测是否存在安全风险事件相关的特定目标对象，例如作业人员是否佩戴安全帽和绝缘手套、是否卷袖等，无法将具体的安全风险事件定位到具体的人员，无法满足精准地安全预警和管控目的，并且对位于作业人员身上的小目标对象检测的准确率较低。为此，本申请提出一种基于工作票事件的边缘智能安全监测方法和装置，一方面能够实现边缘计算装置中的按需计算，降低边缘计算装置的运行负载，减少对边缘计算装置的计算资源的消耗，另一方面，可以将边缘计算装置识别的安全风险事件定位到具体的人员，实现更精准的安全预警和管控，同时提高作业人员违章行为监测的准确率和实时性能。

图2是根据本申请一实施例的基于工作票事件的边缘智能安全监测方法的流程示意图。如图2所示，本申请实施例的基于工作票事件的边缘智能安全监测方法，包括以下步骤：

步骤S210，边缘计算装置120从云端服务器110的边缘智能服务112接收目标工作票的第一工作票事件和属性信息，其中所述边缘计算装置120与所述目标工作票涉及的作业现场相对应。

本实施例中，安全生产监控系统100可通过云端服务器110中的边缘智能服务112实现与数字化工作票系统200之间的工作票信息的交互，边缘智能服务112内置工作票信息交互接口，用于从数字化工作票系统200的数字化工作票平台210中接收工作票事件和属性信息。

本实施例中，工作票事件是表征数字化工作票系统中工作票的业务流程节点从一个节点流转到下一节点的流程事件。工作票的业务流程节点包括工作票接收节点、工作票许可节点、工作票执行节点、工作票终结节点等，相应地，工作票事件可以包括为工作票许可事件、工作票执行事件、工作票终结事件等。在一个实施方式中，本步骤中的第一工作票事件可以为表示目标工作票进入许可阶段的工作票许可事件。

本实施例中，工作票的属性信息可以包括作业现场、作业内容、作业人员信息、安全措施数据、设备状态数据等。其中，作业现场表示工作票当前作业任务涉及的位置区域，作业内容表示工作票当前作业任务和计划，作业人员信息表示当前作业任务的作业人员信息，例如可以包括作业人员的姓名、证件号码等基础信息以及表示作业资质的资质信息，还包括用于核查作业人员身份的人脸特征数据。安全措施数据表示作业过程必要的现场安全措施，例如是否需要布置围栏、标示牌、接地线等。设备状态数据表示当前作业涉及的目标电气设备的初始交接状态，例如开关状态指示、压板位置、刀闸状态、指示灯状态等。在工作票的不同节点阶段，不同的边缘应用程序执行预定的安全监控功能可能需要依赖于工作票的属性信息，因此，在基于工作票事件运行不同的边缘应用程序时可以根据工作票的属性信息为边缘应用程序提供定制化的输入。

在一个实施方式中，由于在工作票的不同节点阶段，边缘计算装置120所需执行的安全监控功能需求是不同的，因而所需执行的边缘应用程序也是不同的，因此，本实施例的方法可以进一步包括：

边缘智能服务112预先构建边缘计算装置120中的各边缘应用程序与数字化工作票系统200中各工作票事件之间的关联关系，并将各边缘应用程序及其与各工作票事件之间的关联关系一起部署至所述边缘计算装置120。

该实施例通过将各边缘应用程序的启动运行与工作票事件之间建立关联关系，实现以工作票的流程节点为主线按需执行边缘应用程序。边缘计算装置120可以基于各边缘应用程序与工作票事件之间的关联关系来触发运行相关的边缘应用程序以执行所需的安全监控功能。

在一个实施方式中，所述边缘智能服务112从所述数字化工作票系统200接收目标工作票和与其相关的属性信息，从所述目标工作票的属性信息中获取所述目标工作票涉及的作业现场，获得与所述作业现场对应的目标边缘计算装置，将所述目标工作票与所述目标边缘计算装置进行映射绑定。边缘智能服务112在接收到数字化工作票系统200新产生的目标工作票的工作票事件，可以根据所述目标工作票与所述目标边缘计算装置的映射关系，将该目标工作票的工作票事件事件和最新的属性信息直接转发至该目标边缘计算装置。

在一个实施方式中，边缘智能服务112可以在云端服务器110中保存包含所接收的目标工作票与边缘计算装置120之间的映射关系的地址路由表，该地址路由表至少可以包括工作票ID和边缘计算装置120的IP地址。当数字化工作票系统200中目标工作票随着业务流程产生工作票事件，该工作票事件和目标工作票的属性信息会经由边缘智能服务112的工作票信息交互接口发送给边缘智能服务112，边缘智能服务112可以根据目标工作票ID查找云端服务器110中保存的地址路由表，获得与该目标工作票具有映射关系的边缘计算装置120的IP地址，将相关工作票事件和属性信息转发给该IP地址对应的边缘计算装置120。

步骤S220，边缘计算装置120根据所述第一工作票事件，运行第一边缘应用程序，从位于所述作业现场的第一位置的第一图像采集设备所采集的第一视频数据的第一组视频帧中检测一组作业人员的人脸特征数据，并与所述属性信息中的人脸特征数据进行比较，识别出所述一组作业人员中每个作业人员的身份信息，并从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据。

本步骤中，当边缘计算装置120接收到来自边缘智能服务112转发的第一工作票事件之后，所述边缘计算装置120相应地触发运行第一边缘应用程序。该第一边缘应用程序可以是人员识别应用程序，该应用程序利用预训练的人脸识别模型，基于位于所述作业现场的第一位置的第一图像采集设备所采集的第一视频数据和所述目标工作票的所述属性信息，执行进入作业现场的一组作业人员的人脸图像识别，识别出每个作业人员的身份信息。在一个实施方式中，第一图像采集设备可以是设置在作业现场入口的摄像头，其正对作业人员入场的视角方向，该摄像头接入所述边缘计算装置120，可以较好的视角同时采集包含多个作业人员的第一视频数据，使得所述边缘计算装置120可以基于第一视频数据中所述多个作业人员的人脸图像执行多目标识别任务。具体而言，所述第一边缘应用程序基于人脸识别模型从所述第一视频数据的第一组视频帧检测到进入作业现场的一组作业人员的人脸特征数据，并与所述目标工作票的属性信息中指定的作业人员的人脸特征数据进行匹配，确认进入作业现场的作业人员的身份信息，从而可以在工作票的许可阶段对进入作业现场的人员身份进行验证，确保工作票所需执行的作业任务可以被具有安全资质的指定人员来执行。本实施例中，人脸识别模型可以基于常规的多目标人脸识别模型实现，在此不做限定。

本步骤中，除了完成作业人员的人脸身份识别，边缘计算装置120还需要从所述第一视频数据中的所述第一组视频帧中识别每个作业人员的第一姿态特征数据，并与每个作业人员的身份信息关联。该步骤与本实施例后续执行的步骤S230紧密关联，其目的是从第一视频数据中通过人体姿态目标检测，识别出每个作业人员的姿态特征数据，并与已经识别出的人员身份信息关联，进而在后续步骤S230中执行第二边缘应用程序，即违章行为识别应用程序时，当识别到目标作业人员存在违章行为有关的安全风险事件时，可以基于该目标作业人员的姿态特征数据的匹配，能够同时识别出该目标作业人员的身份信息，在后续步骤的详细描述中还会进一步阐述。

在一个实施方式，边缘计算装置120从所述第一组视频帧中识别每个作业人员的第一姿态特征数据可以基于人体姿态识别模型实现，该人体姿态识别模型可以采用轻量化后的多种人体姿态识别模型，例如OpenPose模型、AlphaPose模型等，这些经过轻量化的模型适于在边缘计算装置的算力配置下部署。OpenPose模型是基于卷积神经网络和监督学习的姿态识别模型，其采用自底向上的检测方法，可以实现视频帧中多人目标的实时姿态检测，可以实现人体动作、面部表情、手指运动等姿态估计。AlphaPose模型采用自顶向下的方法，提出了区域多人姿态检测框架，该框架主要包括对称空间变换网络 (SSTN)实现野外场景下多人姿态估计问题。

步骤S230，响应于从所述边缘智能服务112接收到所述目标工作票的第二工作票事件，所述边缘计算装置120运行第二边缘应用程序，从位于所述作业现场的第二位置的第二图像采集设备所采集的第二视频数据的第二组视频帧中识别所述一组作业人员的第二姿态特征数据，根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象，如是，则根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息。

本步骤中，第二工作票事件可以是表示目标工作票进入执行阶段的工作票执行事件。当接收到边缘智能服务112转发的工作票执行事件，边缘计算装置120触发运行第二边缘应用程序，该第二边缘应用程序可以是违章行为识别应用程序。违章行为识别应用程序通过结合人体姿态识别模型和违章行为识别模型，可以基于位于作业现场的第二位置处的、可以覆盖主要作业区域的第二图像采集设备例如移动布控球实时采集的第二视频数据，对第二视频数据中的多个作业人员进行姿态和目标检测，以识别作业人员是否存在与违章行为相关的特征对象，例如是否未佩戴安全帽、是否未佩戴绝缘手套、是否卷袖、是否抽烟等典型电网作业中的违章行为。受限于第二图像采集设备的拍摄视角，这些典型违章行为在采集的视频数据中通常属于分辨率较低的小特征对象，本申请实施例通过结合人体姿态识别模型对人体姿态特征数据的识别，并根据与作业人员的姿态特征数据的预定位置关系，基于违章行为识别模型去检测目标人员是否存在这些违章行为相关的小特征对象，可以以更高的准确率检测出这些小特征对象。本步骤中，违章行为识别模型是预训练的目标检测分类模型，可以基于常规的目标检测分类模型，例如YOLO v1-v5模型，通过作业现场收集的违章行为图像数据集训练得到。YOLO v1-v5模型是基于神经网络实现的直接从图像中去预测不同目标物体的类别与位置的单阶段（one-stage）模型，具有检测速度快的特点，适合在边缘计算环境中部署，可以满足实时性目标检测的需求。

需要说明的是，本步骤中的人体姿态识别模型可以采用前述步骤中相同的人体姿态识别模型实现，在此不再赘述。

本申请实施例一方面通过基于目标工作票的不同工作票事件，要触发运行边缘计算装置中的各边缘应用程序执行相应的安全监测功能，实现以工作票事件来驱动执行电网作业现场的不同安全监测功能，从而能够实现电网作业现场的边缘计算装置中的按需计算，降低边缘计算装置的运行负载，减少对边缘计算装置的计算资源的消耗。另一方面，本申请实施例通过根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象，并在检测出目标人员存在违章行为相关的特征对象之后，根据目标人员的第二姿态特征数据与第一姿态特征数据之间的匹配关系来确定所述目标人员的身份信息，可以将基于作业现场的不同位置处的不同图像采集设备所采集的视频数据识别出的姿态特征数据映射到同一人员，从而可以将第二姿态特征数据也关联到作业人员的身份信息，在提高作业人员违章行为监测的准确性和实时性能的同时，可以将该违章行为关联到具体的人员身份，实现更精准地安全预警和管控。

在一个实施方式中，本申请所述方法还可以包括：响应于从所述边缘智能服务112接收到所述目标工作票的第三工作票事件，所述边缘计算装置120退出所述第一边缘应用程序和第二边缘应用程序。本实施例中，第三工作票事件可以是工作票进入终结阶段的事件，此时边缘智能服务112可以从数字化工作票系统200接收该第三工作票事件，根据所述目标工作票与边缘计算装置之间的映射关系，转发给该目标工作票对应的边缘计算装置120。边缘计算装置120基于该第三工作票事件，可以退出所述第一边缘应用程序和第二边缘应用程序，从而释放该边缘计算装置120的计算资源，降低边缘计算装置120中的资源占用率。

在一个实施方式中，如图3所示，上述步骤S220中从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据，进一步可以包括以下步骤：

步骤S310，从所述第一组视频帧中每帧识别所述一组作业人员的一组姿态特征数据，得到多组姿态特征数据，所述姿态特征数据包括关节点集向量和所述关节点集向量的置信度度量值。

本步骤中，边缘计算装置120运行第一边缘应用程序，即人员识别应用程序时，可以基于人体姿态识别模型，从第一视频数据的第一组视频帧中的每个视频帧中识别人体骨架的关节点集，并输出由关节点集向量和该关节点集向量的置信度度量值构成的姿态特征数据。在一个实施方式中，所述关节点集向量包括人体骨架的每个关节点的归一化二维坐标数据及其关联的置信度评分，该关节点集向量的置信度度量值则是关节点集向量整体的置信度评分。作为示例，本申请实施例以采用OpenPose模型作为人体姿态识别模型进行人体姿态识别为例，该模型可以为视频帧中的每个人输出包含18或25个关节点的关节点集的二维坐标数据以及每个关节点的位于区间[0,1]的置信度评分。

在一个实施方式中，该关节点集向量的置信度度量值可以为所述关节点集向量中每个关节点的坐标数据关联的置信度评分的加权平均值。假设每个作业人员的一组姿态特征数据中每个的关节点集向量表示为：

，其中N为关节点的数量，

和

分别表示第i个关节点的归一化二维坐标数据，

表示第i个关节点的置信度评分，i=1, 2 , ... , N。本实施中，关节点的归一化二维坐标数据可以是将相机坐标系中的原始二维坐标数据归一化为[-1,1]区间的二维坐标数据。

相应地，关节点集向量的置信度度量值可以表示为：

，其中

表示第i个关节点的权重，

=1。当所有关节点的权重都相同，即为1/N时，该置信度度量值即为全部关节点的置信度评分的平均值。

步骤S320，根据所述多组姿态特征数据中每组姿态特征数据中的每个在所述第一组视频帧中的位置与所述一组作业人员的人脸特征数据在所述第一组视频帧中的位置的关系，分别识别出与每个作业人员的身份信息关联的一组姿态特征数据。

本步骤中，由于常规的面向多人目标的人体姿态识别模型（例如OpenPose模型等）通常都是基于连续帧中每个单独视频帧进行姿态目标检测，意味着每帧中识别的人体骨架的唯一标识（ID）会在不同视频帧之间频繁变化，不能映射到同一个人员ID上，也就是说前述步骤中第一边缘应用程序从所述第一组视频帧中每帧识别所述一组作业人员的一组姿态特征数据，都是单独的姿态特征数据的集合，并不能直接分别映射到不同作业人员的身份信息。因此，为了将从所述一组视频帧中每帧识别出的所述一组作业人员的一组姿态特征数据都映射到作业人员的身份信息，本实施例是根据每组姿态特征数据中的每个在所述第一组视频帧中的位置与所述一组作业人员的人脸特征数据在所述第一组视频帧中的位置的关系，分别识别出与每个作业人员的身份信息关联的一组姿态特征数据。例如，可以判断每帧中人脸特征数据是否与特定人员的姿态特征数据中的颈部关节点紧密相邻且位于所述颈部关节点之上。从而，对于每个作业人员都可以识别出与其身份信息关联的一组姿态特征数据。

步骤S330，从与每个作业人员的身份信息关联的一组姿态特征数据中选择置信度度量值最大的关节点集向量作为所述每个作业人员的第一姿态特征数据。

本步骤中，在已经针对每个作业人员获得了与其身份信息关联的一组姿态特征数据之后，第一边缘应用程序可以从每个作业人员的一组姿态特征数据之中选择最佳的姿态特征数据，作为所述每个作业人员的第一姿态特征数据。具体而言，可以从每个作业人员的一组姿态特征数据中选择置信度度量值最大的关节点集向量作为所述每个作业人员的第一姿态特征数据。对于每个作业人员来说，置信度度量值最大的关节点集向量的可靠性也越大。本申请实施例中，每个作业人员的第一姿态特征数据可以作为参照基准，用于边缘计算装置120在基于不同位置的图像采集设备所采集的不同视频数据执行多人目标的人体姿态识别时，可以对不同的视频数据中检测的姿态特征数据之间进行身份信息的匹配关联。

在一个实施方式中，如图4所示，上述步骤S230中根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象可以包括以下步骤：

步骤S410，根据与所述第二姿态特征的预定位置关系，从所述第二组视频帧中的每个视频帧获得至少一个目标检测区域。

本步骤中，与第二姿态特征的预定位置关系可以包括位于所述第二姿态数据中的鼻部关节点上方，或者位于所述第二姿态数据中的肘部关节点的邻近位置，或者位于所述第二姿态数据中的手部关节点的邻近位置等。在一个实施方式中，本实施例可以根据与所述第二姿态特征的上述预定位置关系从所述第二组视频帧中的每个获得至少一个预定尺寸的边界框作为目标检测区域。

步骤S420，将所述至少一个目标检测区域的图像数据输入违章行为识别模型，判断所述至少一个目标检测区域的图像数据是否属于与预定违章行为相关的特征对象的分类。

本步骤中，违章行为识别模型为前述已经描述的预训练的违章行为识别模型，该模型基于作业现场收集的预定违章行为的图像数据集训练得到。通过将所述至少一个目标检测区域的图像数据输入该违章行为识别模型，可以识别得到所述至少一个目标检测区域的图像数据是否存在与预定违章行为相关的特征对象的分类。

本实施例通过与所述第二姿态特征的预定位置关系，从所述第二组视频帧中的每个视频帧获得至少一个目标检测区域，结合预训练的违章行为识别模型，从而可以更准确地实时检测出视频数据的视频帧中是否存在与预定违章行为相关的低分辨率的小特征对象，满足边缘计算装置中对作业人员违章行为的实时性监测要求。

在一个实施方式中，上述步骤S230中根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息可以包括：

本实施例中，所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系可以是基于形状相似度和尺度相似度的两个度量因子的匹配关系。对于分别基于不同位置的图像采集设备所采集的不同视频数据执行多人目标的人体姿态识别所得到的第二姿态特征数据与第一姿态特征数据，由于无法直接建立二者之间的人员映射匹配，因此，本实施例通过第二姿态特征数据与第一姿态特征数据在形状相似度和尺度相似度上的匹配关系来建立二者之间的映射匹配。一方面，基于人体姿态模型从不同视频数据识别的姿态特征数据对于同一人员的人体骨架曲线之间的存在着形状上的相似性，从而本申请实施例用第二姿态特征数据与第一姿态特征数据之间的形状相似度来表征人体姿态特征之间在形状上的相似性，进而可以用于判断第二姿态特征数据与第一姿态特征数据属于同一作业人员的第一可能性。另一方面，基于人体姿态模型从不同视频数据识别的姿态特征数据对于同一人员的人体骨架曲线还存在着尺度上的相似性，从而本申请实施例用第二姿态特征数据与第一姿态特征数据之间的尺度相似度来表征人体姿态特征之间在尺度上的相似性，进而可以用于判断第二姿态特征数据与第一姿态特征数据属于同一作业人员的第二可能性。综合考虑目标人员的第二姿态特征数据与第一姿态特征数据在形状相似度和尺度相似度的两个度量因子的匹配关系，可以更加准确地将第二姿态特征数据与第一姿态特征数据映射到同一作业人员，从而可以准确地、实时地确定存在违章行为的目标人员的身份信息，实现更精准地安全预警和管控。

作为示例，在一个实施方式中，如图5所示，所述根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息，可以包括以下步骤：

步骤S510，计算所述第二姿态特征数据中的关节点集与所述每个作业人员的第一姿态特征数据中的关节点集之间的拟合关节点占比，作为所述形状相似度。

本步骤中，所述拟合关节点占比是所述第二姿态特征数据中的关节点集与所述第一姿态特征数据中的关节点集之间的拟合关节点数量与所述第二姿态特征数据中的全部关节点数量之间的比值。假设所述第二姿态特征数据中的关节点集表示为

，第j个作业人员的第一姿态特征数据中的关节点集表示为

，j=1, 2 , ... , M，其中M为作业人员总数，N为关节点的数量。那么，可以分别将

与

进行拟合运算，分别得到

与

之间在误差范围内的拟合关节点数量为

。随后，可以计算得到

与

之间的拟合关节点占比

。该拟合关节点占比可以作为第二姿态特征数据与第一姿态特征数据之间的形状相似度的度量因子。

本步骤中，对第二姿态特征数据中的关节点集与每个作业人员的第一姿态特征数据中的关节点集进行拟合运算可以采用常用的图像曲线拟合算法实现，例如可以基于OpenCV算法库中的曲线拟合算法进行编程实现，OpenCV算法库是一个基于Apache2.0许可发行的跨平台计算机视觉和机器学习开源软件库，提供轻量级且高效的图像处理和计算机视觉方面的通用算法，在此不再赘述。

步骤S520，计算所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离的归一化值，作为所述尺度相似度。

本步骤中，关节长度向量是将关节点集中的相邻关节点连接成线段，得到每个线段长度构成的向量，表示为：

。那么，所述第二姿态特征数据中关节点集的关节长度向量表示为：

，第j个作业人员的第一姿态特征数据中关节点集的关节长度向量表示为：

，则

和

之间的距离

可以计算为：

。随后，将该距离

进行归一化处理，得到距离的归一化值

，

。该距离的归一化值可以作为第二姿态特征数据与第一姿态特征数据之间的尺度相似度的度量因子。可以理解，所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离越大，则该距离的归一化值越小，表示所述第二姿态特征数据与第一姿态特征数据之间的尺度相似度越小；反之，所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离越小，则该距离的归一化值越大，表示所述第二姿态特征数据与第一姿态特征数据之间的尺度相似度越大。

步骤S530，从所述每个作业人员的第一姿态特征数据中选取所述形状相似度和尺度相似度的加权和最大的第一姿态特征数据所关联的作业人员的身份信息，确定为所述目标人员的身份信息。

本步骤中，经过前述步骤的计算处理，可以为每个作业人员的第一姿态特征数据分别计算拟合关节点占比（即形状相似度）和所述距离的归一化值（即尺度相似度）的两个度量因子的加权和，即

，α为拟合关节点占比的权重系数，

。在具体实施中，该权重系数可以基于常规的机器学习算法进行学习训练得到合理的取值。该加权和可以表征目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，该加权和的值越大，表示目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状和尺度上越相似，最可能属于同一作业人员。从而，可以选择

，即从

中选择拟合关节点占比和所述距离的归一化值的加权和最大的第一姿态特征数据，匹配映射到所述第二姿态特征数据，将该第一姿态特征数据关联的作业人员的身份信息确定为所述目标人员的身份信息。

本实施例通过引入第二姿态特征数据与第一姿态特征数据之间的拟合关节点占比（即形状相似度）和所述距离的归一化值（即尺度相似度）的两个度量因子，基于该两个度量因子的加权和最大的方式，来建立基于作业现场的不同位置处的不同图像采集设备所采集的视频数据识别出的姿态特征数据之间的人员身份映射，从而在边缘计算装置中仅部署轻量化的人体姿态识别模型的基础上，就可以在不同视频数据中的姿态特征数据之间建立映射关联，实现将识别的违章行为关联到具体的作业人员，达到更精准地安全预警和管控。

图6是根据本申请一实施例的基于工作票事件的边缘智能安全监测装置的结构示意图。如图6所示，本申请实施例的基于工作票事件的边缘智能安全监测装置，包括以下模块：

事件接收模块610，用于边缘计算装置120从云端服务器110的边缘智能服务112接收目标工作票的第一工作票事件和属性信息，其中所述边缘计算装置120与所述目标工作票涉及的作业现场相对应。

人员识别模块620，用于边缘计算装置120根据所述第一工作票事件，运行第一边缘应用程序，从位于所述作业现场的第一位置的第一图像采集设备所采集的第一视频数据的第一组视频帧中检测一组作业人员的人脸特征数据，并与所述属性信息中的人脸特征数据进行比较，识别出所述一组作业人员中每个作业人员的身份信息，并从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据。

违章识别模块630，用于响应于从所述边缘智能服务112接收到所述目标工作票的第二工作票事件，所述边缘计算装置120运行第二边缘应用程序，从位于所述作业现场的第二位置的第二图像采集设备所采集的第二视频数据的第二组视频帧中识别所述一组作业人员的第二姿态特征数据，根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象，如是，则根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息。

在一个实施方式中，如图7所示，人员识别模块620还可以包括以下单元：

姿态识别单元6210，用于从所述第一组视频帧中每帧识别所述一组作业人员的一组姿态特征数据，得到多组姿态特征数据，所述姿态特征数据包括关节点集向量和所述关节点集向量的置信度度量值。

姿态映射单元6220，用于根据所述多组姿态特征数据中每组姿态特征数据中的每个在所述第一组视频帧中的位置与所述一组作业人员的人脸特征数据在所述第一组视频帧中的位置的关系，分别识别出与每个作业人员的身份信息关联的一组姿态特征数据。

身份关联单元6230，用于从与每个作业人员的身份信息关联的一组姿态特征数据中选择置信度度量值最大的关节点集向量作为所述每个作业人员的第一姿态特征数据。

在一个实施方式中，如图8所示，违章识别模块630还可以包括以下单元：

区域检测单元6310，用于根据与所述第二姿态特征的预定位置关系，从所述第二组视频帧中的每个视频帧获得至少一个目标检测区域。

对象检测单元6320，用于将所述至少一个目标检测区域的图像数据输入违章行为识别模型，判断所述至少一个目标检测区域的图像数据是否属于与预定违章行为相关的特征对象的分类。

在一个实施方式中，仍如图8所示，违章识别模块630还可以包括：姿态匹配单元6330，用于根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息。

在一个实施方式中，如图9所示，姿态匹配单元6330还可以包括以下子单元：

形状相似计算单元6331，用于计算所述第二姿态特征数据中的关节点集与所述每个作业人员的第一姿态特征数据中的关节点集之间的拟合关节点占比，作为所述形状相似度。

尺度相似计算单元6332，用于计算所述第二姿态特征数据中关节点集的关节长度向量与所述每个作业人员的第一姿态特征数据中关节点集的关节长度向量之间的距离的归一化值，作为所述尺度相似度。

身份信息映射单元6333，用于从所述每个作业人员的第一姿态特征数据中选取所述形状相似度和尺度相似度的加权和最大的第一姿态特征数据所关联的作业人员的身份信息，确定为所述目标人员的身份信息。

本领域技术人员可以理解，本申请的任一方法实施例所描述的具体实施方式的说明解释以及任一方法实施例所描述的有益效果，同样适用于本申请的相应的装置实施例中，在此不再赘述。

本申请实施例提出的基于工作票事件的边缘智能安全监测方面和装置，一方面，能够实现电网作业现场的边缘计算装置中的按需计算，降低边缘计算装置的运行负载，减少对边缘计算装置的计算资源的消耗；另一方面，还可以将边缘计算装置识别的违章行为事件定位到具体的作业人员，实现更精准的安全预警和管控，同时提高作业人员违章行为监测的准确性和实时性能。

在一些实施方式中，本申请可以通过软件、硬件或软硬件结合的方式实施。当实现为计算机软件程序时，该计算机软件程序可以安装于服务器中被一个或多个处理器执行以实现相应功能。

在一些实施方式中，本申请实施例还可以包括一种服务器，该服务器包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序；其中，所述计算机程序被所述一个或多个处理器执行以实现如前述任一实施例描述的方法的步骤。

在一些实施方式中，本申请实施例还可以包括一种计算机可读介质，该计算机可读介质存储有程序指令，在这样的实施例中，当该计算机可读存储介质被装载在计算设备中时，该程序指令可以被一个或多个处理器执行以执行本申请任一实施例中描述的方法的步骤。

在一些实施方式中，本申请的实施例还可以包括一种计算机程序产品，包括承载程序指令的计算机可读介质，在这样的实施例中，该程序指令可以被一个或多个处理器执行以执行本申请任一实施例中描述的方法的步骤。

以上描述了本申请示例性的实施例，应当理解，上述示例性的实施例不是限制性的，而是说明性的，本申请的保护范围不限于此。应理解，本领域技术人员在不脱离本申请的精神和范围的情况下，可以对本申请实施例进行修改和变型，这些修改和变型理应在本申请的保护范围之内。

Claims

1.一种基于工作票事件的边缘智能安全监测方法，其特征在于，包括：

2.根据权利要求1所述的边缘智能安全监测方法，其特征在于，所述从所述第一组视频帧中识别与所述每个作业人员的身份信息关联的第一姿态特征数据包括：

3.根据权利要求1所述的边缘智能安全监测方法，其特征在于，所述根据与所述第二姿态特征数据的预定位置关系，检测所述一组作业人员中目标人员是否存在违章行为相关的特征对象包括：

4.根据权利要求1所述的边缘智能安全监测方法，其特征在于，所述根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间的匹配关系，确定所述目标人员的身份信息包括：

5.根据权利要求4所述的边缘智能安全监测方法，其特征在于，所述根据所述目标人员的第二姿态特征数据与所述第一姿态特征数据之间在形状相似度和尺度相似度上的匹配关系，确定所述目标人员的身份信息包括：

6.根据权利要求1-5任一项所述的边缘智能安全监测方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的边缘智能安全监测方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的边缘智能安全监测方法，其特征在于，所述方法还包括：

9.一种基于工作票事件的边缘智能安全监测装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至8中任一项所述的方法。