CN114244975A - 一种基于视频边缘计算的移动作业过程管控方法及系统 - Google Patents

Abstract

本发明提供一种基于视频边缘计算的移动作业过程管控方法及系统，涉及电力监控技术领域。本发明采用边缘计算结构，能适应水电站灵活部署、移动部署的要求，且中心服务器仅需承担一部分计算工作，使得系统网络负载量小；此外，边缘计算结构还增加了系统的鲁棒性，当中心服务器或任一节点发生故障时，作业过程管控系统仍能保存正常运行，在进行系统升级等操作时，仅需逐个节点进行操作，从而保证整个系统能随时保存运行状态；通过在水电站内部署若干AP路由节点实现动态自组网无线通信，无需有线或4G/5G公共网络，在作业面建立安全、稳定可靠的无线通讯链路；针对水电站不同的管控区域，分别进行针对性的模型训练，以达到满足不同管控区域不同需求。

Description

一种基于视频边缘计算的移动作业过程管控方法及系统

技术领域

本发明涉及电力监控技术领域，尤其涉及一种基于视频边缘计算的移动作业过程管控方法及系统。

背景技术

随着社会的发展，我国在大力推进新能源体系的建设，其中，水力发电作为一种清洁无污染，且能再生的发电源，具备广阔的发展与推广空间。但是，水力发电站，特别是大型水力发电站通常需要大量的运维人员进行维护，其安全稳定运行不仅关系电力系统的供电可靠性，更关系国民经济的发展。定期对水电站设备开展巡视、维护、检修，及时对故障设备开展应急抢修是保证水电站安全稳定运行的重要手段。

为确保上述巡视、维护、检修等现场作业的安全，减少作业违章情况，目前电网企业一般通过人工现场监管来加强现场作业安全管理，但存在以下问题：水电站内作业任务种类繁多、作业地点分散、作业面交错复杂，这将导致难以对外委作业人员实现实时跟踪监控，且监控工作效率低；由于外委作业人员安全意识、素质水平、技能水平参差不齐，当现场作业出现不安全行为或者违规作业行为时，安全监管人员难以及时发现警示信息，可能导致作业进度缓慢，甚至还可能发生误碰、误操作设备等行为，引发人身触电或设备短路、跳闸等电力安全事故。

为此，公开号为：CN111598411A的发明申请提供了一种变电站作业现场智能化安全管控系统，针对变电站安全管控体系建设，规划了作业资源管理、作业计划管理、作业现场管控、移动APP应用、智能终端管控、数据应用等多个模块的建设，同时计划建设全景可视化大屏展示功能，提供一种实现变电站生产运行、检修作业全过程精益化管控，提高变电站安全运行管控、提升作业现场安全管控能力的变电站作业现场智能化安全管控系统；该发明可实现作业自动化授权，自动化监控和告警，为无人值守站智能化建设提供前端经验，基于变电检修作业的全过程管控平台，覆盖资源管控、计划管控、现场管控和移动应用管控以及智能终端管控技术，提升作业管控能力。

但是，该申请未解决现场作业时不安全行为的自动监控，此外，还存在中性化结构的大网络负载对宽带网络造成极大压力的问题，且电站现场作业地点分散，现有工业电视难以进行远程监控。

因此，有必要提供新的一种基于视频边缘计算的移动作业过程管控方法及系统来解决上述技术问题。

发明内容

为解决上述之一技术问题，本发明提供的一种基于视频边缘计算的移动作业过程管控系统，部署于水电站中，并对水电站中各管控区域进行移动作业过程管控，所述水电站各管控区域内布置有若干边缘计算节点，并对应设置有中心服务器，所述中心服务器与若干边缘计算节点建立通过有线和/或无线通信连接；所述边缘计算节点包括视频采集单元、边缘计算单元、边缘存储单元、边缘通信单元和边缘电池单元。

具体的，所述视频采集单元用于对对应管控区域进行实时监控视频；所述边缘计算单元部署有边缘计算模型，并对实时监控视频数据进行视频边缘计算；所述边缘存储单元用于向边缘计算节点提供存储空间；所述边缘通信单元用于建立有线和/或无线通信连接；所述边缘电池单元为带有太阳能电板的供电电池，并向边缘计算节点提供稳定的工作电源；所述中心服务器用于接收边缘计算结果，并对边缘计算节点进行管理、控制、监测、调用和数据存读。

具体的，所述边缘计算模型用于对水电站站内外委作业人员的作业行为进行识别与监控；所述作业行为包括正确作业行为与不安全作业行为，并通过边缘计算模型进行实时识别与监控。

作为更加具体的解决方案，所述边缘计算模型通过训练样本集对机器学习模型训练得到；所述训练样本集是带有若干标注的样本集，其中，必备的标注包括正确作业行为与不安全作业行为，其余标注通过移动作业过程管控需求进行确定；所述机器学习模型通过采用SFNet网络结构单元进行设置。

作为更加具体的解决方案，对所述视频采集单元采集到的实时监控视频进行目标边界框位置约束，以降低边缘计算模型对作业行为的识别难度；所述目标边界框的位置约束通过目标检测算法进行，所述目标检测算法为YOLO算法，通过YOLO算法通过若干单元cell对实时监控视频中每个特征图进行目标检测识别。

作为更加具体的解决方案，通过数据扩增将训练样本集中不安全作业行为数据进行针对性的扩充，并加入到机器学习模型的训练中，所述数据扩增的具体扩增方法包括对图像/视频样本进行分割、缩放、旋转、复制、多角度形变，通过人为构造不安全作业行为，并得到模拟样本加入训练样本集进行数据扩增。

作为更加具体的解决方案，将扩增后的视频数据作为初始训练集，对指定的机器学习模型进行训练，所述机器学习模型选择KNN/Logistics/Decision tree/byeis/SVM中任一模型进行部署；在训练时，根据预先设置的标注将训练错误的数据挑选出来，并按照指定比例从初始训练集中选取视频数据与训练错误的数据进行混合，形成混合的训练集；之后将混合训练集用于第二阶段的训练，直至机器学习模型收敛。

作为更加具体的解决方案，在对边缘计算模型进行训练时，还根据管控区域特性选择边缘计算模型的学习偏好，得到侧重训练边缘计算模型，并将侧重训练边缘计算模型部署于对应管控区域的边缘计算单元中；通过人工设定各管控区域的侧重管控的不安全作业行为，所述侧重管控的不安全作业行为包括一个或者多个；在对边缘计算模型进行训练前，将训练样本集中加入更多侧重管控的不安全作业行为训练样本，使侧重管控的不安全作业行为在训练样本集中的占比达到侧重阈值，得到侧重训练样本集；通过侧重训练样本集对边缘计算模型进行训练，得到侧重训练边缘计算模型。

作为更加具体的解决方案，所述中心服务器通过不安全作业行为实时展示平台将边缘计算节点采集到发生不安全作业行为的实时监控视频进行实时直播展示；所述不安全作业行为实时展示平台通过LED拼接显示屏进行设置，所述中心服务器通过显示屏驱动板与LED拼接显示屏电性连接；所述边缘计算节点通过视频采集单元采集管控区域的实时监控视频，并通过边缘计算单元对实时监控视频中外委作业人员的作业行为进行识别与监控；当识别到发生不安全作业行为时，所述边缘计算节点通过边缘通信单元将发生不安全作业行为的实时监控视频上传至中心服务器，中心服务器通过实时展示平台将发生不安全作业行为的实时监控视频进行实时直播展示。

作为更加具体的解决方案，所述水电站内还部署有若干AP路由节点，所述AP路由节点通过有线网络与中心服务器进行网络连接；所述边缘通信单元为动态自组网无线通信单元，并通过连接对应的AP路由节点实现将数据传送给远端的中心服务器，其中，AP路由节点、中心服务器和边缘通信单元之间的交互数据均做加密处理；所述动态自组网通过无线Mesh网络进行部署，通过多信道协商、信道分配、网络发现、路由转发实现动态自组网通信。

作为更加具体的解决方案，所述边缘计算节点通过如下步骤进行移动作业过程管控：

S1在水电站中各管控区域部署若干边缘计算节点；

S2边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频；

S3边缘计算节点通过边缘计算单元对实时监控视频进行预处理，过滤掉未发生视频变化的固定画面视频和未检测到有外委作业人员的作业行为的视频，得到作业行为监测视频；

S4通过目标检测算法对作业行为监测视频进行目标边界框位置约束，得到动态目标检测视频；

S5边缘计算单元通过动态目标检测视频中水电站站内外委作业人员进行作业行为识别，得到外委作业人员实时的作业行为，作业行为的识别通过边缘计算模型实施；

S6根据作业行为的性质分类为正确作业行为与不安全作业行为；

S7若未检测到不安全作业行为发生，则边缘计算节点继续对对应管控区域进行实时视频监控；

S8若检测到不安全作业行为发生，则边缘计算节点通过边缘通信单元向AP路由节点发送不安全作业行为发生报告，报告包括不安全作业行为类别、不安全等级、发生时间、报告地点和不安全作业行为视频；

S9 AP路由节点将不安全作业行为发生报告转发上传至中心服务器；

S10中心服务器根据不安全等级和报告地点通知对应管理人员，并将不安全作业行为视频通过不安全作业行为实时展示平台进行展示直播；

S11当不安全作业行为解除后，中心服务器停止展示直播，自动生成不安全作业日志并保存。

作为更加具体的解决方案，所述边缘计算节点通过如下步骤进行视频数据进行存储管理：

D1边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频，并将实时监控视频临时保存至边缘存储单元中；

D2边缘计算节点通过边缘计算单元对实时监控视频进行处理分类，得到固定画面视频、未检测到有外委作业人员的作业行为的视频和作业行为监测视频；

D3将固定画面视频、未检测到有外委作业人员的作业行为的视频进行抽帧，仅对部分抽帧视频进行临时保存，并定期清除；

D4将作业行为监测视频通过边缘计算模型进行作业行为识别，得到正确作业行为视频与不安全作业行为视频；

D5将正确作业行为视频保存至本地，并在存储空间不足时自动清除早期保存的正确作业行为视频；

D6将不安全作业行为视频永久保存至本地，通过AP路由节点上传至中心服务器，并作为冗余异地备份。

与相关技术相比较，本发明提供的一种基于视频边缘计算的移动作业过程管控方法及系统具有如下有益效果：

1、本发明采用边缘计算结构，能适应水电站灵活部署、移动部署的要求，且中心服务器仅需承担一部分计算工作，其余的工作均在边缘节点完成，这就使系统网络负载量小；此外，边缘计算结构还增加了系统的鲁棒性，当中心服务器或任一节点发生故障时，作业过程管控系统仍能保存正常运行，在进行系统升级等操作时，仅需逐个节点进行操作，从而保证整个系统能随时保存运行状态；

2、本发明通过使用轻量级卷积神经网络架构(SFNet)，能部署在边缘，且对硬件要求不高，兼具成本与功能优势；通过YOLO算法对采集到的视频数据进行处理，实现对视频中的行为数据的标记，通过约束边界框的位置使得模型更容易稳定训练；

3、本发明通过在水电站内部署若干AP路由节点实现动态自组网无线通信；通过5.1～5.8GHz公共频段的微波技术，在源端AP路由节点与远端RT之间进行无线自组网，无需有线或4G/5G公共网络，在作业面建立安全、稳定可靠的无线通讯链路；

4、本发明针对水电站不同的管控区域，分别进行针对性的模型训练，以达到满足不同管控区域不同需求。

附图说明

图1为本发明实施例提供的一种基于视频边缘计算的移动作业过程管控系统的较佳的系统示意图；

图2为本发明实施例提供的一种基于视频边缘计算的移动作业过程管控方法的较佳的移动作业过程管控流程图；

图3为本发明实施例提供的一种基于视频边缘计算的移动作业过程管控方法的较佳的视频数据存储管理控流程图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

如图1至图3所示，本实施例提供的一种基于视频边缘计算的移动作业过程管控系统，部署于水电站中，并对水电站中各管控区域进行移动作业过程管控，所述水电站各管控区域内布置有若干边缘计算节点，并对应设置有中心服务器，所述中心服务器与若干边缘计算节点建立通过有线和/或无线通信连接；所述边缘计算节点包括视频采集单元、边缘计算单元、边缘存储单元、边缘通信单元和边缘电池单元。

具体的，所述视频采集单元用于对对应管控区域进行实时监控视频；所述边缘计算单元部署有边缘计算模型，并对实时监控视频数据进行视频边缘计算；所述边缘存储单元用于向边缘计算节点提供存储空间；所述边缘通信单元用于建立有线和/或无线通信连接；所述边缘电池单元为带有太阳能电板的供电电池，并向边缘计算节点提供稳定的工作电源；所述中心服务器用于接收边缘计算结果，并对边缘计算节点进行管理、控制、监测、调用和数据存读。

具体的，所述边缘计算模型用于对水电站站内外委作业人员的作业行为进行识别与监控；所述作业行为包括正确作业行为与不安全作业行为，并通过边缘计算模型进行实时识别与监控。

需要说明的是：水电站是电力的源端，其安全稳定运行不仅关系电力系统的供电可靠性，更关系国民经济的发展。定期对水电站设备开展巡视、维护、检修，及时对故障设备开展应急抢修是保证水电站安全稳定运行的重要手段。

为确保上述巡视、维护、检修等现场作业的安全，减少作业违章情况，目前电网企业一般通过人工现场监管来加强现场作业安全管理，但存在以下问题：水电站内作业任务种类繁多、作业地点分散、作业面交错复杂，这将导致难以对外委作业人员实现实时跟踪监控，且监控工作效率低；由于外委作业人员安全意识、素质水平、技能水平参差不齐，当现场作业出现不安全行为或者违规作业行为时，安全监管人员难以及时发现警示信息，可能导致作业进度缓慢，甚至还可能发生误碰、误操作设备等行为，引发人身触电或设备短路、跳闸等电力安全事故。

为此，本实施例采用一种基于视频边缘计算的移动作业过程管控系统，该移动作业过程管控系统采用边缘计算设计，在管控区域内布置有若干边缘计算节点，视频采集和视频处理都通过边缘计算节点进行处理，中心服务器仅接收较少的上传数据，并能对各边缘计算节点进行管控。传统的中性化作业过程管控系统，需要铺设复杂的通信网络，很难做到灵活部署、移动部署，且成本较高，网络负载量大；此外，中性化的作业过程管控系统会因为中心服务器故障而集体瘫痪，且维护升级时也无法正常工作。本实施例采用边缘计算结构，能适应水电站灵活部署、移动部署的要求，且中心服务器仅需承担一部分计算工作，其余的工作均在边缘节点完成，这就使系统网络负载量小；此外，边缘计算结构还增加了系统的鲁棒性，当中心服务器或任一节点发生故障时，作业过程管控系统仍能保存正常运行，在进行系统升级等操作时，仅需逐个节点进行操作，从而保证整个系统能随时保存运行状态。

作为更加具体的解决方案，所述边缘计算模型通过训练样本集对机器学习模型训练得到；所述训练样本集是带有若干标注的样本集，其中，必备的标注包括正确作业行为与不安全作业行为，其余标注通过移动作业过程管控需求进行确定；所述机器学习模型通过采用SFNet网络结构单元进行设置。

需要说明的是：边缘计算模型是实时识别与监控的核心，本实施例通过带有标注的训练样本集对机器学习模型进行训练，标注通常包括人员面部识别标注、正确作业行为、不安全作业行为等，其中，正确作业行为与不安全作业行为为必备标注，不安全作业行为包括未戴安全帽、未正确着装、作业面打电话、吸烟、着火、冒烟不安全事件，通过训练机器学习模型能实现对不安全作业行为的准确识别。此外，受算力限制，本实施采用一种轻量级卷积神经网络架构(SFNet)，所述轻量级卷积神经网络架构(SFNet)与现有神经网络结构最大的不同就是加入了切分模块对特征图进行切分处理，并达到减少计算量的目的。其中，输入切分模块层的特征图尺寸为D_f*D_f，通道数为M，切分模块层输出的特征图尺寸与输入特征图尺寸相同；所述切分模块层包括切分模块一层和切分模块二层，所述切分模块一层用于切分特征图和卷积操作，包括一层深度卷积和二层逐点卷积；

所述一层深度卷积使用单通道卷积核对特征图的各通道进行单独进行滤波并分别输出，将特征图延通道维度分割为4份

的子特征图，在使用四个不同尺寸的卷积核：1*D_k*1、D_k*1*1、D_k*D_k*1、1*1*1分别对子特征图进行独立卷积操作；所述二层逐点卷积用于将各通道对应输出进行线性组合，得到D_f*D_f*M的切分模块一层输出图，其中，D_k为卷积核大小；

所述切分模块二层用于对切分模块一层输出图进行通道融合，通过1*1*M卷积核处理切分模块一层输出图，得到切分模块二层输出图。

需要说明的是：本实施例通过使用轻量级卷积神经网络架构，能部署在边缘，且对硬件要求不高，兼具成本与功能优势。所述切分模块层通过深度可分离卷积将特征图进行不同片段上分别使用大小形状各不相同的多种形式的卷积核进行卷积操作，增加特征提取的多样性。相比目前通用的轻量级卷积神经网络，在卷积核数目及输入特征图通道数相同时，SFNet的参数和计算量更少，分类正确率更高。相比标准卷积，在网络复杂度大幅降低的情况下，切分模块的分类正确率持平甚至更高。

标准卷积层通过卷积核对输入特征图进行操作，卷积核K的尺寸为D_k×D_k×M×N，标准卷积层一般使用方形的卷积核D_k为卷积核的大小，M为卷积核的通道数，N为卷积核的个数，即输出通道数，当步长为1，并添加合适的0填充的情况下，一个标准卷积层的参数量为D_k×D_k×M×N，卷积层的计算量为D_k×D_k×M×N×Df×D_f，其中卷积层参数量与卷积核大小D_k、输入通道数M和卷积核个数N有关，而卷积层计算量与卷积核参数量及特征图大小D_f有关。所以可通过切分特征图打破输入特征图通道数与卷积核通道数的相等关系，并通过使用低秩卷积核减少每个卷积核参数量，从而减少卷积层的参数和计算量。

本实施所述的切分模块层设输入特征图大小为D_f×D_f×M，第一层将输入特征图切分成4部分，每部分单独拥有

大小的特征图，本文使用4种形状各不相同的卷积核分别对每份特征图进行卷积操作，则这4个卷积核大小分别为：

本实施例希望通过使用不同的卷积核让该网络学习到不同的特征，于是第一层卷积的参数量为：

计算量为：

如果使用额外的深度卷积，则这4种卷积核大小分别为：

该层的参数量为：

计算量为：

经过上述操作，特征图在空间维度上得到较好的滤波，但是还未在通道维度上进行任何处理，于是使用1×1的卷积，对其特征进行融合。将上一层各部分输出进行拼接，并输入到1×1卷积层，则该输入大小依旧为D_f×D_f×M，在这一层卷积核的大小为1×1×M×N。于是该层参数量为M×N，计算量为D_f×D_f×M×N。

所以切分结构的总参数量为：

总计算量为：

相比标准卷积，SFNet计算量和参数量只是原来的：

当取D_k＝3，则参数和计算量是标准卷积的

倍，故能减少计算量。

作为更加具体的解决方案，对所述视频采集单元采集到的实时监控视频进行目标边界框位置约束，以降低边缘计算模型对作业行为的识别难度；所述目标边界框的位置约束通过目标检测算法进行，所述目标检测算法为YOLO算法，通过YOLO算法通过若干单元cell对实时监控视频中每个特征图进行目标检测识别。

需要说明的是：具体实施过程中可以通过YOLO算法对采集到的视频数据进行处理，实现对视频中的行为数据的标记，通过约束边界框的位置使得模型更容易稳定训练。

作为更加具体的解决方案，通过数据扩增将训练样本集中不安全作业行为数据进行针对性的扩充，并加入到机器学习模型的训练中，所述数据扩增的具体扩增方法包括对图像/视频样本进行分割、缩放、旋转、复制、多角度形变，通过人为构造不安全作业行为，并得到模拟样本加入训练样本集进行数据扩增。

需要说明的是：在获取的工作事件相关的视频数据后，还可以对外委作业人员行为大数据的图像、视频样本进行数据扩增。例如在常规的水电站的视频监控中，能够获取到的不安全行为数据是非常稀少的，通过数据扩增，可以将不安全的行为数据进行针对性的扩充，从而适用于后续的机器学习模型的训练，具体的扩增方法可以是对图像或者视频样本进行分割，缩放，旋转，复制等等。同时扩增还能增强对目标视频集合形变的识别能力，在抓图角度存在一定偏差的情况下，仍能正确识别。

作为更加具体的解决方案，将扩增后的视频数据作为初始训练集，对指定的机器学习模型进行训练，所述机器学习模型选择KNN/Logistics/Decision tree/byeis/SVM中任一模型进行部署；在训练时，根据预先设置的标注将训练错误的数据挑选出来，并按照指定比例从初始训练集中选取视频数据与训练错误的数据进行混合，形成混合的训练集；之后将混合训练集用于第二阶段的训练，直至机器学习模型收敛。

需要说明的是：本申请的核心在于通过机器学习模型实现多分类的识别。在具体的训练过程中，为了加快网络的收敛速度，可以根据预先设置的标记将训练错误的数据挑选出来，并按照一定的比例从初始训练集中选取指定比例的视频数据与训练错误的数据进行混合，形成混合的训练集。之后将混合训练集用于第二阶段的训练，直至机器学习模型收敛。通过将训练错误的数据挑选出来，执行第二阶段的训练能够让训练过程重点学习之前训练错误的数据，而加入一定比例的初始训练集中的视频数据能够保证学习模型不会忘记在训练过程中已经习得的特征，从而达到快速收敛的效果。

作为更加具体的解决方案，在对边缘计算模型进行训练时，还根据管控区域特性选择边缘计算模型的学习偏好，得到侧重训练边缘计算模型，并将侧重训练边缘计算模型部署于对应管控区域的边缘计算单元中；通过人工设定各管控区域的侧重管控的不安全作业行为，所述侧重管控的不安全作业行为包括一个或者多个；在对边缘计算模型进行训练前，将训练样本集中加入更多侧重管控的不安全作业行为训练样本，使侧重管控的不安全作业行为在训练样本集中的占比达到侧重阈值，得到侧重训练样本集；通过侧重训练样本集对边缘计算模型进行训练，得到侧重训练边缘计算模型。

需要说明的是：本实施例针对水电站不同的管控区域，分别进行针对性的模型训练，以达到满足不同管控区域不同需求。比如针对重点的部位对重点行为进行重点的模型训练，例如油库，可以重点学习抽烟，着火、冒烟等不安全行为，危废库重点学习危废泄露；其目的是：有针对性的对相应的不安全行为进行视频数据获取和扩充。

作为更加具体的解决方案，所述中心服务器通过不安全作业行为实时展示平台将边缘计算节点采集到发生不安全作业行为的实时监控视频进行实时直播展示；所述不安全作业行为实时展示平台通过LED拼接显示屏进行设置，所述中心服务器通过显示屏驱动板与LED拼接显示屏电性连接；所述边缘计算节点通过视频采集单元采集管控区域的实时监控视频，并通过边缘计算单元对实时监控视频中外委作业人员的作业行为进行识别与监控；当识别到发生不安全作业行为时，所述边缘计算节点通过边缘通信单元将发生不安全作业行为的实时监控视频上传至中心服务器，中心服务器通过实时展示平台将发生不安全作业行为的实时监控视频进行实时直播展示。

作为更加具体的解决方案，所述水电站内还部署有若干AP路由节点，所述AP路由节点通过有线网络与中心服务器进行网络连接；所述边缘通信单元为动态自组网无线通信单元，并通过连接对应的AP路由节点实现将数据传送给远端的中心服务器，其中，AP路由节点、中心服务器和边缘通信单元之间的交互数据均做加密处理；所述动态自组网通过无线Mesh网络进行部署，通过多信道协商、信道分配、网络发现、路由转发实现动态自组网通信。

需要说明的是：由于水电站各区域跨度大，4G/5G等网络信号覆盖不全面，无法采用传统的网络通信；故本实施例通过在水电站内部署若干AP路由节点实现动态自组网无线通信；通过5.1～5.8GHz公共频段的微波技术，在源端AP路由节点与远端RT之间通过VideoX技术/无线Mesh网络计算进行无线自组网，无需有线或4G/5G公共网络，在作业面建立安全、稳定可靠的无线通讯链路。

如图2所示，作为更加具体的解决方案，所述边缘计算节点通过如下步骤进行移动作业过程管控：

S1在水电站中各管控区域部署若干边缘计算节点；

S2边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频；

S3边缘计算节点通过边缘计算单元对实时监控视频进行预处理，过滤掉未发生视频变化的固定画面视频和未检测到有外委作业人员的作业行为的视频，得到作业行为监测视频；

S4通过目标检测算法对作业行为监测视频进行目标边界框位置约束，得到动态目标检测视频；

S5边缘计算单元通过动态目标检测视频中水电站站内外委作业人员进行作业行为识别，得到外委作业人员实时的作业行为，作业行为的识别通过边缘计算模型实施；

S6根据作业行为的性质分类为正确作业行为与不安全作业行为；

S7若未检测到不安全作业行为发生，则边缘计算节点继续对对应管控区域进行实时视频监控；

S8若检测到不安全作业行为发生，则边缘计算节点通过边缘通信单元向AP路由节点发送不安全作业行为发生报告，报告包括不安全作业行为类别、不安全等级、发生时间、报告地点和不安全作业行为视频；

S9 AP路由节点将不安全作业行为发生报告转发上传至中心服务器；

S10中心服务器根据不安全等级和报告地点通知对应管理人员，并将不安全作业行为视频通过不安全作业行为实时展示平台进行展示直播；

S11当不安全作业行为解除后，中心服务器停止展示直播，自动生成不安全作业日志并保存。

如图3所示，作为更加具体的解决方案，所述边缘计算节点通过如下步骤进行视频数据进行存储管理：

D1边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频，并将实时监控视频临时保存至边缘存储单元中；

D2边缘计算节点通过边缘计算单元对实时监控视频进行处理分类，得到固定画面视频、未检测到有外委作业人员的作业行为的视频和作业行为监测视频；

D3将固定画面视频、未检测到有外委作业人员的作业行为的视频进行抽帧，仅对部分抽帧视频进行临时保存，并定期清除；

D4将作业行为监测视频通过边缘计算模型进行作业行为识别，得到正确作业行为视频与不安全作业行为视频；

D5将正确作业行为视频保存至本地，并在存储空间不足时自动清除早期保存的正确作业行为视频；

D6将不安全作业行为视频永久保存至本地，通过AP路由节点上传至中心服务器，并作为冗余异地备份。

需要说明的是：边缘计算节点在采集到实时监控视频之后，边缘计算节点对视频进行分类处理，并根据分类类型决定是否上传、是否完整保存、是否长期保存；通过这种方式将有效数据进行很好的保存，而一些用处不大的数据自动进行清理，很好的节省了存储空间，此外。对于分类处理之后的视频数据还可以进行分类存储，以便于后期对各类视频数据进行回放，或者作为素材视频数据来对机器学习模型进行更新训练。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于视频边缘计算的移动作业过程管控系统，部署于水电站中，并对水电站中各管控区域进行移动作业过程管控，其特征在于，所述水电站各管控区域内布置有若干边缘计算节点，并对应设置有中心服务器，所述中心服务器与若干边缘计算节点建立通过有线和/或无线通信连接；所述边缘计算节点包括视频采集单元、边缘计算单元、边缘存储单元、边缘通信单元和边缘电池单元；

所述视频采集单元用于对对应管控区域进行实时监控视频；所述边缘计算单元部署有边缘计算模型，并对实时监控视频数据进行视频边缘计算；所述边缘存储单元用于向边缘计算节点提供存储空间；所述边缘通信单元用于建立有线和/或无线通信连接；所述边缘电池单元为带有太阳能电板的供电电池，并向边缘计算节点提供稳定的工作电源；所述中心服务器用于接收边缘计算结果，并对边缘计算节点进行管理、控制、监测、调用和数据存读；

所述边缘计算模型用于对水电站站内外委作业人员的作业行为进行识别与监控；所述作业行为包括正确作业行为与不安全作业行为，并通过边缘计算模型进行实时识别与监控。

2.根据权利要求1所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，所述边缘计算模型通过训练样本集对机器学习模型训练得到；所述训练样本集是带有若干标注的样本集，其中，必备的标注包括正确作业行为与不安全作业行为，其余标注通过移动作业过程管控需求进行确定；所述机器学习模型通过采用SFNet网络结构单元进行设置。

3.根据权利要求2所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，对所述视频采集单元采集到的实时监控视频进行目标边界框位置约束，以降低边缘计算模型对作业行为的识别难度；所述目标边界框的位置约束通过目标检测算法进行，所述目标检测算法为YOLO算法，通过YOLO算法通过若干单元cell对实时监控视频中每个特征图进行目标检测识别。

4.根据权利要求3所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，通过数据扩增将训练样本集中不安全作业行为数据进行针对性的扩充，并加入到机器学习模型的训练中，所述数据扩增的具体扩增方法包括对图像/视频样本进行分割、缩放、旋转、复制、多角度形变，通过人为构造不安全作业行为，并得到模拟样本加入训练样本集进行数据扩增。

5.根据权利要求4所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，将扩增后的视频数据作为初始训练集，对指定的机器学习模型进行训练，所述机器学习模型选择KNN/Logistics/Decision tree/byeis/SVM中任一模型进行部署；在训练时，根据预先设置的标注将训练错误的数据挑选出来，并按照指定比例从初始训练集中选取视频数据与训练错误的数据进行混合，形成混合的训练集；之后将混合训练集用于第二阶段的训练，直至机器学习模型收敛。

6.根据权利要求5所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，在对边缘计算模型进行训练时，还根据管控区域特性选择边缘计算模型的学习偏好，得到侧重训练边缘计算模型，并将侧重训练边缘计算模型部署于对应管控区域的边缘计算单元中；通过人工设定各管控区域的侧重管控的不安全作业行为，所述侧重管控的不安全作业行为包括一个或者多个；在对边缘计算模型进行训练前，将训练样本集中加入更多侧重管控的不安全作业行为训练样本，使侧重管控的不安全作业行为在训练样本集中的占比达到侧重阈值，得到侧重训练样本集；通过侧重训练样本集对边缘计算模型进行训练，得到侧重训练边缘计算模型。

7.根据权利要求6所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，所述中心服务器通过不安全作业行为实时展示平台将边缘计算节点采集到发生不安全作业行为的实时监控视频进行实时直播展示；所述不安全作业行为实时展示平台通过LED拼接显示屏进行设置，所述中心服务器通过显示屏驱动板与LED拼接显示屏电性连接；所述边缘计算节点通过视频采集单元采集管控区域的实时监控视频，并通过边缘计算单元对实时监控视频中外委作业人员的作业行为进行识别与监控；当识别到发生不安全作业行为时，所述边缘计算节点通过边缘通信单元将发生不安全作业行为的实时监控视频上传至中心服务器，中心服务器通过实时展示平台将发生不安全作业行为的实时监控视频进行实时直播展示。

8.根据权利要求7所述的一种基于视频边缘计算的移动作业过程管控系统，其特征在于，所述水电站内还部署有若干AP路由节点，所述AP路由节点通过有线网络与中心服务器进行网络连接；所述边缘通信单元为动态自组网无线通信单元，并通过连接对应的AP路由节点实现将数据传送给远端的中心服务器，其中，AP路由节点、中心服务器和边缘通信单元之间的交互数据均做加密处理；所述动态自组网通过无线Mesh网络进行部署，通过多信道协商、信道分配、网络发现、路由转发实现动态自组网通信。

9.一种基于视频边缘计算的移动作业过程管控方法，部署在权利要求1至权利要求8中任一所述的一种基于视频边缘计算的移动作业过程管控系统中，其特征在于，所述边缘计算节点通过如下步骤进行移动作业过程管控：

S1在水电站中各管控区域部署若干边缘计算节点；

S2边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频；

S3边缘计算节点通过边缘计算单元对实时监控视频进行预处理，过滤掉未发生视频变化的固定画面视频和未检测到有外委作业人员的作业行为的视频，得到作业行为监测视频；

S4通过目标检测算法对作业行为监测视频进行目标边界框位置约束，得到动态目标检测视频；

S5边缘计算单元通过动态目标检测视频中水电站站内外委作业人员进行作业行为识别，得到外委作业人员实时的作业行为，作业行为的识别通过边缘计算模型实施；

S6根据作业行为的性质分类为正确作业行为与不安全作业行为；

S7若未检测到不安全作业行为发生，则边缘计算节点继续对对应管控区域进行实时视频监控；

S8若检测到不安全作业行为发生，则边缘计算节点通过边缘通信单元向AP路由节点发送不安全作业行为发生报告，报告包括不安全作业行为类别、不安全等级、发生时间、报告地点和不安全作业行为视频；

S9 AP路由节点将不安全作业行为发生报告转发上传至中心服务器；

S10中心服务器根据不安全等级和报告地点通知对应管理人员，并将不安全作业行为视频通过不安全作业行为实时展示平台进行展示直播；

S11当不安全作业行为解除后，中心服务器停止展示直播，自动生成不安全作业日志并保存。

10.根据权利要求9所述的一种基于视频边缘计算的移动作业过程管控方法，其特征在于，所述边缘计算节点通过如下步骤进行视频数据进行存储管理：

D1边缘计算节点通过视频采集单元对对应管控区域进行实时视频监控，得到实时监控视频，并将实时监控视频临时保存至边缘存储单元中；

D2边缘计算节点通过边缘计算单元对实时监控视频进行处理分类，得到固定画面视频、未检测到有外委作业人员的作业行为的视频和作业行为监测视频；

D3将固定画面视频、未检测到有外委作业人员的作业行为的视频进行抽帧，仅对部分抽帧视频进行临时保存，并定期清除；

D4将作业行为监测视频通过边缘计算模型进行作业行为识别，得到正确作业行为视频与不安全作业行为视频；

D5将正确作业行为视频保存至本地，并在存储空间不足时自动清除早期保存的正确作业行为视频；

D6将不安全作业行为视频永久保存至本地，通过AP路由节点上传至中心服务器，并作为冗余异地备份。

Images