CN113657207A - 一种云-边协同配电站火光智能监测方法及系统 - Google Patents

Abstract

一种云‑边协同配电站火光智能监测方法及系统，该方法包括以下步骤，搜集火光数据集并对其进行标记，进行迁移训练后量化成模型Q_int8，初始化求和树，获取视频图像，滤除火光冗余帧得到火光关键帧p_key，将火光关键帧p_key输入检测网络Q_int8中检测，抽取m个样本并提醒用户标记，将用户标记后的样本上传，云平台将收到样本与现有样本按照一定比例重新随机组合得到新的火光数据集后结合现有网络权重进行迁移训练，训练完成后将训练权重以软更新的方式更新，量化成模型Q_int8下发。该系统包括云平台、边缘计算平台、视频设备。通过在边缘端搜集数据在云端训练的模式，提高了计算资源的利用率，减小了任务延迟，并能不断提升检测精度。

Description

一种云-边协同配电站火光智能监测方法及系统

技术领域

本发明涉及智能视频监控技术领域，尤其涉及一种云-边协同配电站火光智能监测方法及系统。

背景技术

长期以来，配电站(或开闭所，以下统称配电站)维护管理工作一直是电力系统运行可靠性的薄弱环节之一。配电站的维护管理关系到整个电力系统的安全。由于不能对配电站内设备的参数(电压、电流、高压开关触点的温度等)进行实时监控，一旦遇到突发异常情况，如因负荷突然变化引起配电设备过载、发热等异常，极容易烧毁设备，造成设备损坏和对外停电，影响供电可靠性的问题。因此需要对配电站进行异常情况实时监测，以便能够及时发现并排除安全隐患。目前，现有技术主要采用云计算或者边缘计算的方式监控配电站异常情况。例如，通过5G通信将边缘图像直接传输至云端，在云端进行异常检测。或者直接在配电站布设安装具有推理能力的边缘设备，在边缘进行异常监测。但是，配电站多处于偏远环境中，其所在地网络状态时好时坏，视频图像等非结构化数据只有就近在物侧或数据源侧进行结构化数据处理，才能有效降低网络带宽压力和后端计算、存储压力，提升整体分析效率，满足业务实时响应等要求。虽然云计算在处理大数据方面，利用超强的计算能力将从设备层采集上传到云平台的数据进行处理分析，但设备数量激增导致设备产生的数据量也在激增，然而网络带宽的增长速度远远赶不上数据的增长数据，使得网络带宽成为瓶颈，且越来越复杂的网络环境让网络延迟问题更加明显。因此采用云计算方式监控配电站异常情况的技术方案存在网络传输问题。而采用边缘计算的方式监控配电站异常情况的技术方案存在计算能力不足、本地存储冗余的问题。并且两种技术方案均无法自适应环境并不断提升系统检测性能。

发明内容

本发明要解决的技术问题是，提供一种能够提高计算资源的利用率、减小任务延迟并能不断提升检测精度的配电站异常监测方法及系统。

为解决上述技术问题，本发明提供一种云-边协同配电站火光智能监测方法，包括以下步骤：

步骤S1，搜集火光数据集X＝{x₁,x₂,...,x_N}，并对其进行标记得到对应的标签数据集Y＝{y₁,y₂,...,y_N}，数据集D＝(X,Y)。

步骤S2，初始化yolo-tiny网络Q同时修改特征层的检测头为单目标检测，加载预训练的网络权重w，将数据集D＝(X,Y)和网络Q上传云平台进行迁移训练后量化成模型Q_int8。

步骤S3，边缘代理从云平台下载Q_int8网络，初始化求和树,求和树的V个叶子节点的优先级p_V＝1。

步骤S4，调用视频采集设备，获取视频图像，滤除火光冗余帧，得到火光关键帧p_key。

步骤S5，将火光关键帧p_key输入检测网络Q_int8中，通过yolo-tiny网络检测出异常目标置信度c；

步骤S6，若

则边缘就地决策并将异常图片上报主站；若

则就地按预测类别保存图片后将图片上报主站；否则将图片就地抛弃；其中

为异常报警阀值，

为异常保存阀值。

步骤S7，当某个类的样本达到一定数量V后，抽取m个样本并提醒用户标记，将用户标记后的样本上传云平台。

步骤S8，云平台收到更新的样本，将收到样本与现有样本按照一定比例重新随机组合得到新的火光数据集后结合现有网络权重进行迁移训练，训练完成后将训练权重以软更新的方式更新，量化成模型Q_int8下发，返回步骤S3。

更进一步，步骤S4中所述滤除火光冗余帧得到火光关键帧p_key的步骤包括：

步骤S41，获取连续的四帧图像Pic＝[p₀,p₁，p₂，p₃]；

步骤S42，将图片Pic＝[p₀,p₁，p₂，p₃]缩放到合适尺寸后转换为灰度图片，按照公式

进行高斯滤波得到图片

其中(x_c,y_c)为卷积核当前中心点坐标，σ为卷积核对应的方差；

步骤S43，按照

对Pic^gray做差，得到为灰度图片相减后得到的灰度特征图dif、dif′；

步骤S44，按照

对dif、dif′自动填充，其中Thr_s为色差阈值；

步骤S45，调整dif、dif′为一维向量，按照公式

对dif、dif′求余弦相关系数corr，其中dif_i、dif_i′为dif、dif′的分量，n为dif、dif′的分量总数；

步骤S46，获取下一帧图片p₄，依次做以下操作，

步骤S47，若余弦相关系数corr大于门限值Thr_corr，则输出关键帧p_key＝p₄，否则返回步骤S42。

更进一步，步骤S7中所述当某个类的样本达到一定数量V后抽取m个样本的步骤包括：

步骤S71，初始化i＝1，j＝1，对求和树中的所有叶子节点求和得到根节点的优先级L_1,1，求和树层数为Floor＝1+log₂V；

步骤S72，将根节点优先级L_1,1平均分成

个区间，在每个区间随机选取一个数，得到t＝[t₁,...,t_i,...,t_y]；

步骤S73，按照t_i从最顶上的根节点开始搜索；

步骤S74，设此时左边叶子节点的优先级为left，右边叶子节点的优先级为right，若left＞t_i，则进入左边叶子节点；反之进入右边叶子节点，t_i＝t_i-left，j＝j+1；重复该步骤直到j＞Floor，此时t_i所对应的叶子节点所存储的样本为Sam_i，更新对应样本的优先级p_i＝1-c_i，其中c_i为样本Sam_i在网络输出中的置信度；

步骤S75，重复步骤S73、步骤S74，直至选出Sam＝[Sam₁,...,Sam_m]共m个样本为止；

步骤S76，从求和树中移除所选Sam＝[Sam₁,...,Sam_m]。

更进一步，步骤S2中所述对网络进行迁移训练包括以下步骤：

步骤S21，训练开始时先固定主干网络的权重保持不变，只训练特征网络；

步骤S22，训练一定轮数后取消固定主干网络权重，并继续训练。

更进一步，步骤S2中所述预训练权重为yolo-tiny网络在VOC07+VOC12上的训练权重。

更进一步，步骤S8中所述软更新方式为，w'＝w'(1-τ_ratio)+w*τ_ratio，其中w'为边缘代理的网络权重，w为云管理平台的权重，τ_ratio为软更新比例。

更进一步，步骤S8中所述收到样本与现有样本组合比例为3比1。

本发明还提供一种云-边协同配电站火光智能监测系统，包括云平台、边缘计算平台、视频设备，其特征在于，采用前面所述云-边协同配电站火光智能监测方法进行配电站火光监测。

更进一步，所述边缘计算平台包括边缘代理组件、边缘安全组件、运维管理组件、设备管理组件、数据管理组件、应用管理组件，所述边缘代理组件用于与云平台进行交互，所述应用管理组件用于管理边缘计算应用，所述设备管理组件用于管理与边缘计算平台连接的设备；采用容器运行边缘计算应用和边缘计算；通过北向云端管控接口连接云端；通过南向备接入接口连接设备，上传采集的设备数据和接收边端联动的设备事件。

更进一步，所述容器引擎采用轻量级的Containerd，所述容器的编排和生命周期管理使用适合于边缘IoT嵌入式环境的Kubernetes，所述边缘计算平台内部组件、容器应用、边端联动通过消息总线的方式进行命令、数据、消息、事件的转发。

本发明的有益效果在于：

在考虑边缘端计算能力的情况下，通过在边缘端过滤掉火光冗余帧以及量化方法提升边缘检测速度，同时在边缘端收集数据，在云端继续训练提升检测精度。云边协同方案不仅能满足特定场景对实时性、安全性的要求，还能按需将高质量结构化数据及分析结果传输至云端。云-边协同配电站火光智能监测系统通过在前期搜集火光数据样本训练模型使模型有了一定的火光识别能力后通过边缘计算平台部署到环境中，同时在环境中通过求和树存储以及用户标记持续提升在各种环境下的识别能力，并结合火光冗余帧过滤算法提升边缘检测速度，整个系统从而能够不断适应环境并逐步提升性能，减少了边缘端的冗余视频数据，减少边缘端的存储耗能，同时使系统更好的适应复杂的场景。

附图说明

图1是本发明一种云-边协同配电站火光智能监测方法的实施方式的流程图。

图2是图1中进行迁移训练的流程图。

图3是图1中滤除火光冗余帧得到火光关键帧的流程图。

图4是一种云-边协同配电站火光智能监测系统的实施方式的示意图。

图5是一种云-边协同配电站火光智能监测系统的实施方式中云计算平台的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1所示，一种云-边协同配电站火光智能监测方法，包括以下步骤：

步骤S101，搜集火光数据集X＝{x₁,x₂,...,x_N}，并对其进行标记得到对应的标签数据集Y＝{y₁,y₂,...,y_N}，数据集D＝(X,Y)。

步骤S102，初始化yolo-tiny网络Q同时修改特征层的检测头为单目标检测，加载预训练的网络权重w，预训练权重为yolo-tiny网络在VOC07+VOC12上的训练权重，将数据集D＝(X,Y)和网络Q上传云平台进行迁移训练后量化成模型Q_int8。

对网络进行迁移训练的流程如图2所示，将样本数据集依次通过主干网络、特征金字塔网络、检测头、编解码器进行处理，将解码器输出进行非极大值抑制处理后得到检测结果。将标签数据进行编码后，结合检测头的输出进行损失函数处理，然后将结果通过梯度反向传播送入检测头。其中，样本数据集通过主干网络处理的过程为：依次通过卷积单元(208，208，32)、卷积单元(104，104，64)、残差单元(52，52，128)、残差单元(26，26，256)、残差单元(13，13，512)、卷积单元(13，13，512)。残差单元(26，26，256)的输出通过主干层1送入特征金字塔网络的通道拼接(26*26*384)模块。卷积单元(13，13，512)的输出通过主干层2送入特征金字塔网络的卷积(13*13*512)模块之后，通过卷积(13*13*128)+上采样(26*26*128)模块处理后送入通道拼接(26*26*384)模块，与前述通过主干层1送来的残差单元(26，26，256)的输出数据进行拼接处理后，送入检测头1。特征金字塔的卷积(13*13*512)模块输出数据送入检测头2进行处理。检测头1的处理结果送入解码器进行处理。检测头1和检测头2的输出都送入损失函数模块进行处理。

训练开始时先固定主干网络的权重保持不变，只训练特征金字塔网络；训练一定轮数后取消固定主干网络权重，并继续训练。训练模块参数如下表所示：

步骤S103，边缘代理从云平台下载Q_int8网络，初始化求和树,求和树的V个叶子节点的优先级p_V＝1。作为更优化的方案，V＝128。

步骤S104，调用视频采集设备，获取视频图像，滤除火光冗余帧，得到火光关键帧p_key。

其中，滤除火光冗余帧，得到火光关键帧p_key的流程如图3所示。

步骤S301，从摄像头获取连续的四帧图像Pic＝[p₀,p₁，p₂，p₃]。

步骤S302，将图片Pic＝[p₀,p₁，p₂，p₃]缩放到合适尺寸后转换为灰度图片，按照公式

进行高斯滤波得到图片

其中(x_c,y_c)为卷积核当前中心点坐标，σ为卷积核对应的方差。

步骤S303，按照

对Pic^gray做差，得到为灰度图片相减后得到的灰度特征图dif、dif′。

步骤S304，按照

对dif、dif′自动填充，其中Thr_s为色差阈值；作为更优方案，色差阈值Thr_s取5。

步骤S305，调整dif、dif′为一维向量，按照公式

对dif、dif′求余弦相关系数corr，其中dif_i、dif_i′为dif、dif′的分量，n为dif、dif′的分量总数。

步骤S306，获取下一帧图片p₄，依次做以下操作，

步骤S307，判断余弦相关系数corr是否大于门限值Thr_corr，若是则执行步骤S308，若否则执行步骤S302。所为更优化方案，门限值Thr_corr取0.26。

步骤S308，输出关键帧p_key＝p₄。

步骤S105，将火光关键帧p_key输入检测网络Q_int8中，通过yolo-tiny网络检测出异常目标置信度c。

步骤S106，若

则边缘就地决策并将异常图片上报主站；若

则就地按预测类别保存图片后将图片上报主站；否则将图片就地抛弃；其中

为异常报警阀值，

为异常保存阀值。所为更优化方案，

步骤S107，当某个类的样本达到一定数量V后，抽取m个样本并提醒用户标记，将用户标记后的样本上传云平台。作为更优化方案，V＝128,m＝64。

其中，按照以下步骤抽取m个样本：

(1)初始化i＝1，j＝1，对求和树中的所有叶子节点求和得到根节点的优先级L_1,1，求和树层数为Floor＝1+log₂V；

(2)将根节点优先级L_1,1平均分成

个区间，在每个区间随机选取一个数，得到t＝[t₁,...,t_i,...,t_y]；

(3)按照t_i从最顶上的根节点开始搜索；

(4)设此时左边叶子节点的优先级为left，右边叶子节点的优先级为right，若left＞t_i，则进入左边叶子节点；反之进入右边叶子节点，t_i＝t_i-left，j＝j+1；重复该步骤直到j＞Floor，此时t_i所对应的叶子节点所存储的样本为Sam_i，更新对应样本的优先级p_i＝1-c_i，其中c_i为样本Sam_i在网络输出中的置信度；

(5)重复步骤(3)、步骤(4)，直至选出Sam＝[Sam₁,...,Sam_m]共m个样本为止；

(6)从求和树中移除所选Sam＝[Sam₁,...,Sam_m]。

步骤S108，云平台收到更新的样本，将收到样本与现有样本按照3比1的比例重新随机组合得到新的火光数据集后结合现有网络权重进行迁移训练，训练完成后将训练权重以软更新的方式更新，软更新方式为，w'＝w'(1-τ_ratio)+w*τ_ratio，其中w'为边缘代理的网络权重，w为云管理平台的权重，τ_ratio为软更新比例。最后量化成模型Q_int8下发，返回步骤S103。

如图4所示，本发明还提供一种云-边协同配电站火光智能监测系统，包括云平台、边缘计算平台、视频设备，采用前面所述云-边协同配电站火光智能监测方法进行配电站火光监测。云平台使用yolo-tiny网络对样本数据进行模型训练后将可用模型通过边缘管理平台下发至边缘计算平台的边缘代理，边缘代理通过冗余帧过滤将视频设备摄像头的视频图像滤除冗余帧得到关键帧进行处理，得到的低置信度样本进行存储进入求核实并截图上报，同时进行用户标记并上传标记样本。

其中，边缘计算平台结构如图5所示，边缘计算平台从云、到边缘端、到设备端，从上而下分为三层，包括边缘代理组件503、边缘安全组件502、运维管理组件504、设备管理组件505、数据管理组件506、应用管理组件507，边缘代理组件503用于与云(云端管控)501进行交互，所述应用管理组件507用于管理边缘计算应用，所述设备管理组件505用于管理与边缘计算平台连接的设备端510；采用容器运行边缘计算应用和边缘计算；通过北向云端管控接口连接云(云端管控)501；通过南向备接入接口连接设备端510，上传采集的设备数据和接收边端联动的设备事件。所述容器引擎采用轻量级的Containerd，容器的编排和生命周期管理508使用适合于边缘IoT嵌入式环境的Kubernetes(K3s)，所述边缘计算平台内部组件、容器应用、边端联动通过消息总线509的方式进行命令、数据、消息、事件的转发。

本发明实施例可以根据实际需要进行顺序调整、合并和删减。

实施例对本方案进行了详细的介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种云-边协同配电站火光智能监测方法，其特征在于，包括以下步骤：

S1，搜集火光数据集X＝{x₁,x₂,...,x_N}，并对其进行标记得到对应的标签数据集Y＝{y₁,y₂,...,y_N}，数据集D＝(X,Y)；

S2，初始化yolo-tiny网络Q同时修改特征层的检测头为单目标检测，加载预训练的网络权重w，将数据集D＝(X,Y)和网络Q上传云平台进行迁移训练后量化成模型Q_int8；

S3，边缘代理从云平台下载Q_int8网络，初始化求和树,求和树的V个叶子节点的优先级p_V＝1；

S4，调用视频设备，获取视频图像，滤除火光冗余帧，得到火光关键帧p_key；

S5，将火光关键帧p_key输入检测网络Q_int8中，通过yolo-tiny网络检测出异常目标置信度c；

S6，若

则边缘就地决策并将异常图片上报主站；若

则就地按预测类别保存图片后将图片上报主站；否则将图片就地抛弃；其中

为异常报警阀值，

为异常保存阀值；

S7，当某个类的样本达到一定数量V后，抽取m个样本并提醒用户标记，将用户标记后的样本上传云平台；

S8，云平台收到更新的样本，将收到样本与现有样本按照一定比例重新随机组合得到新的火光数据集后结合现有网络权重进行迁移训练，训练完成后将训练权重以软更新的方式更新，量化成模型Q_int8下发，返回步骤S3。

2.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S4中所述滤除火光冗余帧得到火光关键帧p_key的步骤包括：

S41，获取连续的四帧图像Pic＝[p₀,p₁，p₂，p₃]；

S42，将图片Pic＝[p₀,p₁，p₂，p₃]缩放到合适尺寸后转换为灰度图片，按照公式

进行高斯滤波得到图片

其中(x_c,y_c)为卷积核当前中心点坐标，σ为卷积核对应的方差；

S43，按照

对Pic^gray做差，得到为灰度图片相减后得到的灰度特征图dif、dif′；

S44，按照

对dif、dif′自动填充，其中Thr_s为色差阈值；

S45，调整dif、dif′为一维向量，按照公式

对dif、dif′求余弦相关系数corr，其中dif_i、dif_i′为dif、dif′的分量，n为dif、dif′的分量总数；

S46，获取下一帧图片p₄，依次做以下操作，

S47，若余弦相关系数corr大于门限值Thr_corr，则输出关键帧p_key＝p₄，否则返回步骤S42。

3.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S7中所述当某个类的样本达到一定数量V后抽取m个样本的步骤包括：

S71，初始化i＝1，j＝1，对求和树中的所有叶子节点求和得到根节点的优先级L_1,1，求和树层数为Floor＝1+log₂V；

S72，将根节点优先级L_1,1平均分成

个区间，在每个区间随机选取一个数，得到t＝[t₁,...,t_i,...,t_y]；

S73，按照t_i从最顶上的根节点开始搜索；

S74，设此时左边叶子节点的优先级为left，右边叶子节点的优先级为right，若left＞t_i，则进入左边叶子节点；反之进入右边叶子节点，t_i＝t_i-left，j＝j+1；重复该步骤直到j＞Floor，此时t_i所对应的叶子节点所存储的样本为Sam_i，更新对应样本的优先级p_i＝1-c_i，其中c_i为样本Sam_i在网络输出中的置信度；

S75，重复步骤S73、步骤S74，直至选出Sam＝[Sam₁,...,Sam_m]共m个样本为止；

S76，从求和树中移除所选Sam＝[Sam₁,...,Sam_m]。

4.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S2中所述对网络进行迁移训练包括以下步骤，

S21，训练开始时先固定主干网络的权重保持不变，只训练特征网络；

S22，训练一定轮数后取消固定主干网络权重，并继续训练。

5.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S2中所述预训练权重为yolo-tiny网络在VOC07+VOC12上的训练权重。

6.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S8中所述软更新方式为，

其中w'为边缘代理的网络权重，w为云管理平台的权重，τ_ratio为软更新比例。

7.根据权利要求1所述云-边协同配电站火光智能监测方法，其特征在于，步骤S8中所述收到样本与现有样本组合比例为3比1。

8.一种云-边协同配电站火光智能监测系统，包括云平台、边缘计算平台、视频设备，其特征在于，采用权利要求1-7任一项的云-边协同配电站火光智能监测方法进行配电站火光监测。

9.根据权利要求8所述云-边协同配电站火光智能监测系统，其特征在于，所述边缘计算平台包括边缘代理组件、边缘安全组件、运维管理组件、设备管理组件、数据管理组件、应用管理组件，所述边缘代理组件用于与云平台进行交互，所述应用管理组件用于管理边缘计算应用，所述设备管理组件用于管理与边缘计算平台连接的设备；采用容器运行边缘计算应用和边缘计算；通过北向云端管控接口连接云端；通过南向备接入接口连接设备，上传采集的设备数据和接收边端联动的设备事件。

10.根据权利要求9所述云-边协同配电站火光智能监测系统，其特征在于，所述容器引擎采用轻量级的Containerd，所述容器的编排和生命周期管理使用适合于边缘IoT嵌入式环境的Kubernetes，所述边缘计算平台内部组件、容器应用、边端联动通过消息总线的方式进行命令、数据、消息、事件的转发。

Images