CN115641694A - 一种基于智能图像处理的前中后端协同安全管理方法 - Google Patents

Abstract

本申请涉及变电站管理技术领域，公开了一种基于智能图像处理的前中后端协同安全管理方法，依如下步骤实施：将完成办理工作票信息录入到计算机存储器，形成工作票信息数据池；通过具有摄像功能的设备对现场作业人员现场开展作业进行的图片数据和视频数据进行采集，将图片数据和视频数据传输并且储存到计算机存储器中；使用智能识别管理工具自动识别图片数据和视频数据，将图像信息转为数据信息；将数据信息与工作票信息数据池中的信息进行比对，若出现不一致则自动发出警告，提醒值班人员现场作业可能存在违规违章。该一种基于智能图像处理的前中后端协同安全管理方法，解决了难以对变电站作业人员进行实时监督和提醒的问题。

Description

一种基于智能图像处理的前中后端协同安全管理方法

技术领域

本申请涉及变电站管理技术领域，具体为一种基于智能图像处理的前中后端协同安全管理方法。

背景技术

随着社会的高速发展，安全可持续发展的要求更加的凸显，既要快速，又要安全。作为保障安全民生的电力企业，电力生产更加需要做好安全保障，“管生产必须管安全”、安全事故可以预防的生产方针，要求在日常电力生产中时刻做好现场的安全管控。

在电网开展的现场作业中，工作人员需要先根据电力安全工作规程等要求办理好相应的电气工作票，确认好工作中的工作任务、工作地点、安全措施、保障措施和注意事项，确保工作中与保留的带电部位保持足够的安全距离，避免发生走错间隔导致误操作设备发生人身、设备、电网的安全事故事件。

以往工作负责人办理电气工作票后，到现场作业时存在人为的主观性，容易发生工作失误、失职等，常常导致出现走错工作地点等严重违章行为，极大威胁了电力安全生产的底线。如何管控现场作业人员，如何保障工作人员的作业安全、如何对作业人员做好实时的监督和提醒等，是防范事故事件发生，保障人身设备安全迫切需要解决的难题。

发明内容

针对现有技术的不足，本申请提供了一种基于智能图像处理的前中后端协同安全管理方法，解决了难以对变电站作业人员进行实时监督和提醒的问题。

为实现上述目的，本申请提供如下技术方案：一种基于智能图像处理的前中后端协同安全管理方法，依如下步骤实施：

建立工作票信息数据池：将完成办理工作票信息录入到计算机存储器，形成工作票信息数据池；

采集现场作业人员现场开展作业信息：通过具有摄像功能的设备对现场作业人员现场开展作业进行的图片数据和视频数据进行采集，将图片数据和视频数据传输并且储存到计算机存储器中；

分析现场开展作业信息：使用智能识别管理工具自动识别图片数据和视频数据，将图像信息转为数据信息；

对比工作票信息数据池与数据信息：将数据信息与工作票信息数据池中的信息进行比对，若出现不一致则自动发出警告，提醒值班人员现场作业可能存在违规违章。

优选的，所述建立工作票信息数据池包括如下步骤：

将工作票中的信息输入到固定表格模板；

程序读取表格信息，并且将表格信息填入表格矩阵

其中赋值矩阵中的元素C_ij为：

C₁₁为工作票编号；C₂₁为工作负责人和工作班成员姓名：C₃₁为工作开始时间；C₄₁为工作结束时间；C₅₁为工作地点名称，空缺位置用0补充。

优选的，所述采集现场作业人员现场开展作业信息包括：

拍摄现场作业人员所持的工作票编号；

拍摄工作票上作业开始和作业结束时间；

拍摄现场作业地点设备名称编号；

拍摄工作班成员照片。

优选的，所述采集现场作业人员现场开展作业信息还包括：将拍摄得到的照片和视频放置到具有云存储功能的共享文件夹内，具有云存储功能的共享文件夹能够实时同步照片和视频。

优选的，所述采集现场作业人员现场开展作业信息还包括：利用计算机中智能识别管理工具自动下载储存在共享文件夹内的照片和视频，为后续图像识别提供数据源。

优选的，智能识别管理工具自动识别图片数据和视频数据的过程包括：

文本框检测和定位；

文本框抽取和文字识别。

优选的，所述文本框检测和定位包括

提前准备和标注好大量文字图片和标签作为训练数据作为训练和测试深度学习模型的原始数据；

将原始数据分为训练集、验证集和测试集；

使用残差神经网络对分组后的数据进行预训练和特征提取；

利用完成训练的残差神经网络对采集到的图片信息经行处理，得到预测的概率图和阈值图，从而获得二值化预测结果。

优选的，所述文本框抽取和文字识别包括：

使用密集卷积神经网络对文本框进行局部编码和特征提取；

使用循环神经网络对文本框特征序列进行全局编码，学习序列中的特征向量并输出预测标签的分布；

表格中的文字结果最终按照行列输出工作票等信息，生成现场作业信息矩阵

其中，矩阵中的元素A_ij为：

A₁₁为工作票编号；A₂₁为工作负责人和工作班成员姓名：A₃₁为当前工作时间；A₄₁为当前工作时间；A₅₁为工作地点名称，空缺位置用0补充。

优选的，所述对比工作票信息数据池与数据信息包括比对C_ij和A_ij，判断现场作业的安全情况并实现告警；

A_1j与C_1j不一致时，告警“现在作业与许可作业不一致，禁止作业开展！”；

A_2j与C_2j不一致时，告警“现场作业人员与许可人员不一致！”；

A_3j不在C_3j与C_4j之间时，告警“工作开始时间不在计划时间内！”；

A_4j不在C_3j与C_4j之间时，告警“工作时间超期！”；

A_5j与C_5j不一致时，告警“工作地点不在许可工作范围！”。

本申请提供了一种基于智能图像处理的前中后端协同安全管理方法，具备以下有益效果：

该基于智能图像处理的前中后端协同安全管理方法，通过采集现场作业人员现场开展作业信息，对现场作业情况进行第一时间的数据采集，实现了作业管控的实时性监督；将采集的数据通过信息化的数据传输，传递到值班室等监管后台，解决了由于空间距离限制无法近距离监督作业人员的问题；通过采用数据预处理、图像识别、作业地点正确性自动判别、自动告警等智能化手段，现实对现场作业人员的有效管控，大大提升了作业安全管控的质量和效率，保障了作业安全，解决了难以对变电站作业人员进行实时监督和提醒的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一种基于智能图像处理的前中后端协同安全管理方法的流程图。

图2为本申请实施例一种工作票的示意图。

图3为本申请实施例中残差神经网络的残差层结构示意图。

图4为本申请实施例中基于残差神经网络的文本框检测流程图。

图5为本申请实施例中基于密集神经网络的文本框抽取和文字识别流程图。

图6为本申请实施例中密集连接块的结构示意图。

具体实施方式

为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

下面结合附图1-附图6并通过具体实施方式来进一步说明本申请的技术方案。

请参阅图1，本申请提供一种技术方案：一种基于智能图像处理的前中后端协同安全管理方法，依如下步骤实施：

建立工作票信息数据池：将完成办理工作票信息录入到计算机存储器，形成工作票信息数据池；

采集现场作业人员现场开展作业信息：通过具有摄像功能的设备对现场作业人员现场开展作业进行的图片数据和视频数据进行采集，将图片数据和视频数据传输并且储存到计算机存储器中；

分析现场开展作业信息：使用智能识别管理工具自动识别图片数据和视频数据，将图像信息转为数据信息；

对比工作票信息数据池与数据信息：将数据信息与工作票信息数据池中的信息进行比对，若出现不一致则自动发出警告，提醒值班人员现场作业可能存在违规违章。

请参阅图2，所述建立工作票信息数据池包括如下步骤：

值班人员现场办理工作票后，将工作票中的信息输入到固定表格模板；

程序读取表格信息，并且将表格信息填入表格矩阵

其中赋值矩阵中的元素C_ij为：

C₁₁为工作票编号；C₂₁为工作负责人和工作班成员姓名：C₃₁为工作开始时间；C₄₁为工作结束时间；C₅₁为工作地点名称，空缺位置用0补充。

因此可以得到工作票信息矩阵如下：

所述采集现场作业人员现场开展作业信息包括：通过智能化设备或工具，采集作业现场的信息。如拍摄现场所持的工作票编号，由于该编号的唯一性，因此可以保证后台管理智能算法中与工作票信息矩阵比对时的一一对应；拍摄现场作业地点设备名称编号，用于后端数据处理时识别除现场作业人员的工作地点是否有误，是否存在走错间隔等违章情况；拍摄工作班成员照片，与后台管理系统中存储的人员身份信息照片进行比如，智能人脸识别出工作班人员姓名，用于工作票信息矩阵中的姓名对比，保证工作人员的一致性；拍摄工作票上开始和结束时间，后台管理系统中识别出时间与工作票信息矩阵中的时间对比，确保作业在允许的时间段内，判别是否出现工作超期等违章情况。

所述采集现场作业人员现场开展作业信息还包括：使用具有远程数据传递功能的信息化手段进行前端采集的数据存储和传输。本发明中主要使用云储存技术，云储存技术可以有存储效率高、传输成本低、实时性强、读取地点灵活、可实现智能管理等优势，可为后台管理系统的布置提供更灵活的选择，也满足值班人员对现场作业实时性安全管理的需求。可以将采集的数据放置在具有云储存功能的共享文件夹内，从而实现后端数据的实时同步和更新。

所述采集现场作业人员现场开展作业信息还包括：在值班室中部署的计算机中下载和同步在云储存中的前端采集数据，计算机中智能识别管理工具可以自动读取下载的数据，为后续图像识别提供数据源。

智能识别管理工具自动识别图片数据和视频数据的过程包括：

文本框检测和定位；

文本框抽取和文字识别。

请参阅图3，在文本框检测和定位阶段，提前准备和标注好大量文字图片和标签作为训练数据作为训练和测试深度学习模型的原始数据。为了提高深度学习模型的泛化性，将原始数据进行随机采样和编号，然后以60:20:20的比例划分成训练集、验证集和测试集。使用残差神经网络对处理后的数据进行预训练和特征提取。残差神经网络在传统的卷积神经网络基础上加入了残差层，可以把浅层的特征通过恒等映射传递到深层的神经网络中，极大地提高了深层模型在训练中出现的梯度消失和过拟合等难点，保证了模型可以稳定的从文字图片中提取多层次的特征。本实施例中残差神经网络由5个残差层组成，每个残差层由2个连续的3x3卷积层组成，残差层的输入和卷积层的输出叠加进行恒等映射作为残差层的输出。如公式(1)所示：

式子中x是残差层的输入，

表示卷积层的计算函数，

是残差层的输出。

每个残差层的输出会把原图缩小到输入的1/2。最终所有的残差层的输出全部上采样到原图的1/4相加和拼接，得到混合的特征图作为最终的文字图片的特征提取。随后经过上采样层的逆卷积，如公式(2)所示：

式子中

是残差层的输入，

表示逆卷积层的计算函数，y是残差层的输出。

请参阅图4，输入的混合特征图恢复为原图大小输出，得到预测的概率图和阈值图，获得二值化预测结果。经过预训练后的残差神经网络可以应用在表格上自动检测和定位文本框位置，输出位置结果并提取文本框图片单独保存为下一阶段的模型输入。

请参阅图5，在文本框抽取和文字识别阶段，使用密集卷积神经网络和循环神经网络对保存的文本框图片进行局部编码和全局编码，在训练中使用连接时序分类损失对文字进行分类和输出文本框中的文字结果。相比残差神经网络只恒等映射前后层，密集卷积神经网络恒等映射前面所有层，保证了特征可以在所有层重复使用，节省了计算资源，提高了效率。

请参阅图6，本实施例中神经网络包含38个密集连接块，每个密集连接块包含1个1x1卷积层和1个3x3卷积层，

密集连接块之间由3个1x1卷积层和3个2x2平均池化层过渡。此外还包含1个7x7卷积层，1个3x3最大池化层，1个7x7全局平均池化层和1个全连接层，每个卷积层含32个卷积核，输出均采用线性整流函数ReLU()作为激活函数，如公式(3)所示：

ReLU(x)＝max(0,x) (3)

式子中x是输入特征，ReLU(·)表示线性整流函数。全连接层后由归一化指数函数作为激活函数输出分类，如公式(4)所示：

式子中z_i是第i类的特征，σ(·)表示归一化指数函数。

在训练过程中，为了防止模型过拟合和提高模型的泛化性能，每一个卷积层都采用L2正则和权值衰减，权值衰减率设为0.0001，卷积层之间采用批样本归一化。模型采用自适应钜估计优化器，在该优化器参数中，步长因子设为 0.001，控制权重分配的指数衰减率(β₁)设为0.9，控制梯度平方的指数衰减率(β₂)为0.999。模型的学习率采用指数衰减学习率，初始学习率为0.001，衰减系数为0.1。模型采用交叉熵损失函数，如公式(5)所示：

式子中p是真实标签的分布，q是模型的预测标签的分布。根据分类数的不同采用针对性的二分类或多分类损失函数。

在用密集神经网络对文本框进行局部编码和特征提取后，采用循环神经网络对文本框特征序列进行全局编码，学习序列中的特征向量并输出预测标签的分布。本专利采用的循环神经网络是双向长短时记忆循环神经网络。相比传统的循环神经网络，双向长短时记忆循环神经网络可以更好的处理梯度消失和爆炸的问题，同时更好得获得上下文的语境信息，从而对语境进行全局编码，可以显著增加文字推断的准确率。从双向长短时记忆循环神经网络的输出最终接上全连接层获取文本框的最终文字预测结果。

经过基于深度学习的文字识别算法，表格中的文字结果最终按照行列输出工作票等信息，生成现场作业信息矩阵：

其中，矩阵中的元素A_ij为：

A₁₁为工作票编号；A₂₁为工作负责人和工作班成员姓名：A₃₁为当前工作时间；A₄₁为当前工作时间；A₅₁为工作地点名称，空缺位置用0补充。

所述对比工作票信息数据池与数据信息包括比对C_ij和A_ij，判断现场作业的安全情况并实现告警；

A_1j与C_1j不一致时，告警“现在作业与许可作业不一致，禁止作业开展！”；

A_2j与C_2j不一致时，告警“现场作业人员与许可人员不一致！”；

A_3j不在C_3j与C_4j之间时，告警“工作开始时间不在计划时间内！”；

A_4j不在C_3j与C_4j之间时，告警“工作时间超期！”；

A_5j与C_5j不一致时，告警“工作地点不在许可工作范围！”。

综上所述，通过采集现场作业人员现场开展作业信息，对现场作业情况进行第一时间的数据采集，实现了作业管控的实时性监督；将采集的数据通过信息化的数据传输，传递到值班室等监管后台，解决了由于空间距离限制无法近距离监督作业人员的问题；通过采用数据预处理、图像识别、作业地点正确性自动判别、自动告警等智能化手段，现实对现场作业人员的有效管控，大大提升了作业安全管控的质量和效率，保障了作业安全，解决了难以对变电站作业人员进行实时监督和提醒的问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，依如下步骤实施：

建立工作票信息数据池：将完成办理工作票信息录入到计算机存储器，形成工作票信息数据池；

采集现场作业人员现场开展作业信息：通过具有摄像功能的设备对现场作业人员现场开展作业进行的图片数据和视频数据进行采集，将图片数据和视频数据传输并且储存到计算机存储器中；

分析现场开展作业信息：使用智能识别管理工具自动识别图片数据和视频数据，将图像信息转为数据信息；

对比工作票信息数据池与数据信息：将数据信息与工作票信息数据池中的信息进行比对，若出现不一致则自动发出警告，提醒值班人员现场作业可能存在违规违章。

2.根据权利要求1所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述建立工作票信息数据池包括如下步骤：

将工作票中的信息输入到固定表格模板；

程序读取表格信息，并且将表格信息填入表格矩阵

其中赋值矩阵中的元素C_ij为：

C₁₁为工作票编号；C₂₁为工作负责人和工作班成员姓名：C₃₁为工作开始时间；C₄₁为工作结束时间；C₅₁为工作地点名称，空缺位置用0补充。

3.根据权利要求1所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述采集现场作业人员现场开展作业信息包括：

拍摄现场作业人员所持的工作票编号；

拍摄工作票上作业开始和作业结束时间；

拍摄现场作业地点设备名称编号；

拍摄工作班成员照片。

4.根据权利要求3所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述采集现场作业人员现场开展作业信息还包括：将拍摄得到的照片和视频放置到具有云存储功能的共享文件夹内，具有云存储功能的共享文件夹能够实时同步照片和视频。

5.根据权利要求4所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述采集现场作业人员现场开展作业信息还包括：利用计算机中智能识别管理工具自动下载储存在共享文件夹内的照片和视频，为后续图像识别提供数据源。

6.根据权利要求2所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，智能识别管理工具自动识别图片数据和视频数据的过程包括：

文本框检测和定位；

文本框抽取和文字识别。

7.根据权利要求6所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述文本框检测和定位包括

提前准备和标注好大量文字图片和标签作为训练数据作为训练和测试深度学习模型的原始数据；

将原始数据分为训练集、验证集和测试集；

使用残差神经网络对分组后的数据进行预训练和特征提取；

利用完成训练的残差神经网络对采集到的图片信息经行处理，得到预测的概率图和阈值图，从而获得二值化预测结果。

8.根据权利要求6所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述文本框抽取和文字识别包括：

使用密集卷积神经网络对文本框进行局部编码和特征提取；

使用循环神经网络对文本框特征序列进行全局编码，学习序列中的特征向量并输出预测标签的分布；

表格中的文字结果最终按照行列输出工作票等信息，生成现场作业信息矩阵

其中，矩阵中的元素A_ij为：

A₁₁为工作票编号；A₂₁为工作负责人和工作班成员姓名：A₃₁为当前工作时间；A₄₁为当前工作时间；A₅₁为工作地点名称，空缺位置用0补充。

9.根据权利要求8所述的一种基于智能图像处理的前中后端协同安全管理方法，其特征在于，所述对比工作票信息数据池与数据信息包括比对C_ij和A_ij，判断现场作业的安全情况并实现告警；

A_1j与C_1j不一致时，告警“现在作业与许可作业不一致，禁止作业开展！”；

A_2j与C_2j不一致时，告警“现场作业人员与许可人员不一致！”；

A_3j不在C_3j与C_4j之间时，告警“工作开始时间不在计划时间内！”；

A_4j不在C_3j与C_4j之间时，告警“工作时间超期！”；

A_5j与C_5j不一致时，告警“工作地点不在许可工作范围！”。

Images