CN115641608A - 基于边缘智能的配网作业个人防护用品智能识别设备 - Google Patents

Abstract

本发明涉及一种基于边缘智能的配网作业个人防护用品智能识别设备，该系统包括视频采集模块、视频流逐帧提取模块、防护用品穿戴检测人工智能组件和异常记录及告警模块；视频采集模块用于现场作业视频拍摄；视频流逐帧提取模块用于对视频采集模块采集到的视频逐帧提取；防护用品穿戴检测人工智能组件用于对每一帧画面进行人脸识别，识别出现场工作人员及其负责人的相关信息，然再识别该帧画面中现场工作人员是否正确穿戴防护用品，若存在没有正确穿戴防护用品情况，则发送信号给异常记录及告警模块进行报警；本发明能解决配网作业现场防护用品穿戴安全风险管控的共享、实时、预警、全覆盖问题，构建作业现场无人化、自动化、智能化现场安全监督模式。

Description

基于边缘智能的配网作业个人防护用品智能识别设备

技术领域

本发明属于配网作业技术领域，具体涉及一种基于边缘智能的配网作业个人防护用品智能识别设备。

背景技术

随着电力生产需求剧增，配网作业呈现体量大、点多面广战线长的特点。目前，配网工作现场防护用户穿戴安全管控手段，一是现场监察人员现场安全管控，二是通过现场布置布控球等高清视频采集设备进行现场工作视频记录，用于现场工作备份和后期工作安全监察和复盘。

传统的视频监控系统功能都相对较为简单，通过摄像头视频采集系统，对作业现场进行监控并采集现场的视频信息，并且如果要甄别异常情况，需要大量的工作人员进行人工识别，准确率低、效率慢。有的场景需要及时采取有效措施，就必须进行实时监控识别，这个时候工作人员必须一直不停的观看监视视频，人工识别出其中的异常行为，并且报警。但视频监控采集的现场画面通常包含多专业、多工种的作业人员，信息复杂多变，靠人工远程判断难以全面而准确的判定违规作业情况，在对多路监控视频进行监控时，往往无法及时发现突发或有威胁的安全事件，很多事件因此无法得到及时预防与控制，延误了最佳处理时机，对因违章作业引发的重大人身安全责任事故无法做到提前预防。因此如何克服现有技术的不足是目前配网作业技术领域亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种基于边缘智能的配网作业个人防护用品智能识别设备，通过结合在边缘设备中运行的轻量人工智能组件的视频智能识别技术来实现智能防护用户穿戴安全管控。首先在边端设备中实现视频监控与工作任务、作业人员信息关联、防护用户穿戴情况智能识别；同时依据智能识别情况记录各个现场工作中人员防护用品穿戴情况，对存在违规的情况进行实时反馈，以短信、实时通讯软件等方式自动向监管人员发送违规告警，并在边端设备中进行声音报警。本发明能解决配网作业现场防护用品穿戴安全风险管控的共享、实时、预警、全覆盖问题，构建作业现场“无人化”、“自动化”、“智能化”现场安全监督模式，解决人力资源短缺和安全监督效率、质量问题，为安全纠察、作业回顾等提供全方位的实景信息支持。

为实现上述目的，本发明采用的技术方案如下：

基于边缘智能的配网作业个人防护用品智能识别设备，包括视频采集模块、视频流逐帧提取模块、防护用品穿戴检测人工智能组件和异常记录及告警模块；

视频采集模块用于现场作业视频拍摄；

视频流逐帧提取模块，与视频采集模块相连，用于对视频采集模块采集到的视频逐帧提取；

所述的防护用品穿戴检测人工智能组件中预存有人脸识别模型和基于YOLOv3目标检测模型；所述的人脸识别模型用于识别现场工作人员及其负责人的人脸及身份信息；所述的基于YOLOv3目标检测模型用于识别现场工作人员是否正确穿戴防护用品；

防护用品穿戴检测人工智能组件，与视频流逐帧提取模块相连，用于对视频流逐帧提取模块传来的每一帧画面进行人脸识别，识别出现场工作人员及其负责人的人脸及身份信息，然后识别该帧画面中现场工作人员是否正确穿戴防护用品，若存在没有正确穿戴防护用品情况，则发送信号给异常记录及告警模块；

异常记录及告警模块，与防护用品穿戴检测人工智能组件相连，用于根据防护用品穿戴检测人工智能组件识别出的现场工作人员及其负责人的人脸及身份信息，将该现场工作人员的没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

进一步，优选的是，所述的视频采集模块为摄像头。

进一步，优选的是，所述的防护用品包括安全帽、安全绳和绝缘手套。

进一步，优选的是，所述的人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别。

进一步，优选的是，所述的基于YOLOv3目标检测模型训练时，训练集为历史现场作业视频帧画面，人工对历史现场作业视频帧画面进行标签标注，标注防护用品是否穿戴正常；然后以作业视频帧画面作为输入，以标准的标签作为输出，对基于YOLOv3目标检测模型进行训练。

本发明同时提供基于边缘智能的配网作业个人防护用品智能识别方法，采用上述基于边缘智能的配网作业个人防护用品智能识别设备，包括如下步骤：

步骤一，数据采集：采集配网作业现场作业视频数据并进行数据清洗；

步骤二，视频流逐帧提取：对步骤一获得的视频逐帧进行提取；

步骤三，人脸识别：将步骤二提取的每一帧画面输入到人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别，识别出现场工作人员及其负责人的相关信息；

步骤四，穿戴防护用品识别：将步骤二提取的每一帧画面输入到基于YOLOv3目标检测模型，识别现场工作人员是否正确穿戴防护用品

步骤五，报警信息提醒：将现场工作人员没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

进一步，优选的是，步骤一中，数据清洗时，对于不清晰的现场作业视频数据进行修复或者删除。

进一步，优选的是，步骤五中，以短信和/或即时通讯软件将将现场工作人员没有正确穿戴防护用品情况的报警信息发送给现场工作人员及其负责人，并进行现场声音提醒。

本发明步骤一中，数据清洗时，对于不清晰的现场作业视频数据进行修复或者删除处理，为能够运行防护用品穿戴检测人工智能组件研发准备基础数据。

本发明对于前期数据标注主要依靠人工来进行，然后在与标注的基础上，人工进行数据审核入库实现半自动数据标注。

异常记录及告警模块在进行现场声音提醒时，调用现场音响设备进行现场声音提醒。

本发明基于现场作业视频采集设备，采用计算机视觉、图像处理等技术，实现在现场作业视频采集设备中人工智能分析，在配网现场工作视频拍摄过程中逐帧对画面进行工作人员安全帽、安全绳、绝缘手套穿戴情况分析，而不是通过将视频传到云端服务器进行分析。一方面提高了视频数据智能分析的工作效率、另一方面避免了大量现场作业视频数据传输，保障数据安全。

本发明利用边缘计算、人工智能技术实现智能、实时的配网现场作业风险全景洞察，构建基于作业人员安全防护设备穿戴检测、实时异常情况分析的现场作业防护用户风险实时预警机制，辅助安全监察人员进行视频抽查，实现精益化现场安全管控，推进电网“本质安全”建设。

本发明与现有技术相比，其有益效果为：

本发明提出的基于边缘智能的配网作业个人防护用品智能识别设备，结合了边缘计算、人工智能技术，将配网作业工作票视频监控与实时人工智能分析进行关联，实现现场人员防护用品智能监管。

本发明结合边缘计算、目标检测方法与人脸识别技术，实现了复杂场景下的高效识别。本发明与传统的方法相比，检测速度及其效果得到了大幅度的提升，满足了电力作业的实际工作需求。基于各类视频分析模型，实现作业现场的风险可视、实时预警，辅助安全监察人员进行及时的风险干预，防范各类安全风险，保障电网安全稳定运行，减少各类事故损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于边缘智能的配网作业个人防护用品智能识别设备的结构示意图；

图2为本发明基于边缘智能的配网作业个人防护用品智能识别流程示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”到另一元件时，它可以直接连接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”可以包括无线连接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“内”、“上”、“下”等指示的方位或状态关系为基于附图所示的方位或状态关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设有”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

基于边缘智能的配网作业个人防护用品智能识别设备，包括视频采集模块、视频流逐帧提取模块、防护用品穿戴检测人工智能组件和异常记录及告警模块；

视频采集模块用于现场作业视频拍摄；

视频流逐帧提取模块，与视频采集模块相连，用于对视频采集模块采集到的视频逐帧提取；

所述的防护用品穿戴检测人工智能组件中预存有人脸识别模型和基于YOLOv3目标检测模型；所述的人脸识别模型用于识别现场工作人员及其负责人的人脸及身份信息；所述的基于YOLOv3目标检测模型用于识别现场工作人员是否正确穿戴防护用品；

防护用品穿戴检测人工智能组件，与视频流逐帧提取模块相连，用于对视频流逐帧提取模块传来的每一帧画面进行人脸识别，识别出现场工作人员及其负责人的人脸及身份信息，然后识别该帧画面中现场工作人员是否正确穿戴防护用品，若存在没有正确穿戴防护用品情况，则发送信号给异常记录及告警模块；

异常记录及告警模块，与防护用品穿戴检测人工智能组件相连，用于根据防护用品穿戴检测人工智能组件识别出的现场工作人员及其负责人的人脸及身份信息，将该现场工作人员的没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

所述的视频采集模块为摄像头。

所述的防护用品包括安全帽、安全绳和绝缘手套。

所述的人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别。

所述的基于YOLOv3目标检测模型训练时，训练集为历史现场作业视频帧画面，人工对历史现场作业视频帧画面进行标签标注，标注防护用品是否穿戴正常；然后以作业视频帧画面作为输入，以标准的标签作为输出，对基于YOLOv3目标检测模型进行训练。

基于边缘智能的配网作业个人防护用品智能识别方法，采用上述基于边缘智能的配网作业个人防护用品智能识别设备，包括如下步骤：

步骤一，数据采集：采集配网作业现场作业视频数据并进行数据清洗；

步骤二，视频流逐帧提取：对步骤一获得的视频逐帧进行提取；

步骤三，人脸识别：将步骤二提取的每一帧画面输入到人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别，识别出现场工作人员及其负责人的相关信息；

步骤四，穿戴防护用品识别：将步骤二提取的每一帧画面输入到基于YOLOv3目标检测模型，识别现场工作人员是否正确穿戴防护用品

步骤五，报警信息提醒：将现场工作人员没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

步骤一中，数据清洗时，对于不清晰的现场作业视频数据进行修复或者删除。

步骤五中，以短信和/或即时通讯软件将将现场工作人员没有正确穿戴防护用品情况的报警信息发送给现场工作人员及其负责人，并进行现场声音提醒。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，包括视频采集模块、视频流逐帧提取模块、防护用品穿戴检测人工智能组件和异常记录及告警模块；

视频采集模块用于现场作业视频拍摄；

视频流逐帧提取模块，与视频采集模块相连，用于对视频采集模块采集到的视频逐帧提取；

所述的防护用品穿戴检测人工智能组件中预存有人脸识别模型和基于YOLOv3目标检测模型；所述的人脸识别模型用于识别现场工作人员及其负责人的人脸及身份信息；所述的基于YOLOv3目标检测模型用于识别现场工作人员是否正确穿戴防护用品；

防护用品穿戴检测人工智能组件，与视频流逐帧提取模块相连，用于对视频流逐帧提取模块传来的每一帧画面进行人脸识别，识别出现场工作人员及其负责人的人脸及身份信息，然后识别该帧画面中现场工作人员是否正确穿戴防护用品，若存在没有正确穿戴防护用品情况，则发送信号给异常记录及告警模块；

异常记录及告警模块，与防护用品穿戴检测人工智能组件相连，用于根据防护用品穿戴检测人工智能组件识别出的现场工作人员及其负责人的人脸及身份信息，将该现场工作人员的没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

2.根据权利要求1所述的基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，所述的视频采集模块为摄像头。

3.根据权利要求1所述的基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，所述的防护用品包括安全帽、安全绳和绝缘手套。

4.根据权利要求1所述的基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，所述的人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别。

5.根据权利要求1所述的基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，所述的基于YOLOv3目标检测模型训练时，训练集为历史现场作业视频帧画面，人工对历史现场作业视频帧画面进行标签标注，标注防护用品是否穿戴正常；然后以作业视频帧画面作为输入，以标准的标签作为输出，对基于YOLOv3目标检测模型进行训练。

6.基于边缘智能的配网作业个人防护用品智能识别方法，采用权利要求1所述的基于边缘智能的配网作业个人防护用品智能识别设备，其特征在于，包括如下步骤：

步骤一，数据采集：采集配网作业现场作业视频数据并进行数据清洗；

步骤二，视频流逐帧提取：对步骤一获得的视频逐帧进行提取；

步骤三，人脸识别：将步骤二提取的每一帧画面输入到人脸识别模型中，先使用mtcnn进行人脸检测，然后再利用facenet来作为主干网络模型来进行人脸识别，识别出现场工作人员及其负责人的相关信息；

步骤四，穿戴防护用品识别：将步骤二提取的每一帧画面输入到基于YOLOv3目标检测模型，识别现场工作人员是否正确穿戴防护用品

步骤五，报警信息提醒：将现场工作人员没有正确穿戴防护用品情况的报警信息发送至现场工作人员及其负责人进行相应的提醒。

7.根据权利要求6所述的基于边缘智能的配网作业个人防护用品智能识别方法，其特征在于，步骤一中，数据清洗时，对于不清晰的现场作业视频数据进行修复或者删除。

8.根据权利要求6所述的基于边缘智能的配网作业个人防护用品智能识别方法，其特征在于，步骤五中，以短信和/或即时通讯软件将将现场工作人员没有正确穿戴防护用品情况的报警信息发送给现场工作人员及其负责人，并进行现场声音提醒。

Images