CN113205177B - 一种基于增量协同注意力移动卷积的电力终端识别方法 - Google Patents

Abstract

本发明提出一种基于增量协同注意力移动卷积的电力终端识别方法，该方法将增量学习、协同注意力机制和移动卷积神经网络结合应用到电力终端识别中。所提方法基本步骤为：用电数据获取，数据预处理，协同注意力机制和移动卷积神经网络训练，识别和未被学习的电力终端的增量处理。增量处理包括自选择增量表征学习和学习率控制。所提方法能实现对电力终端的快速、精准识别。

Description

一种基于增量协同注意力移动卷积的电力终端识别方法

技术领域

本发明属于电力系统智能化与控制领域，涉及一种电力终端识别的机器学习方法，适用于电力系统配电网的电力终端识别。

背景技术

电力系统中电力终端的大量接入，为电力系统配电网带来了大量的高次谐波，使配电网电流波形偏离正弦波形。大功率设备的接入，使得配电网产生电压下降和频率波动，这些电力终端的运行对配电网安全运行带来了不利的影响。为了研究不同的电力终端接入对电力系统配电网带来的影响和为需求侧管理提供参考，提高电力系统运行效率和稳定性，对接入电力系统配电网的电力终端进行识别是必要的。

计算机计算能力的提高和智能算法的发展使得非侵入式电力终端识别的实现有了多样化的选择和更高的识别准确度。在边缘计算技术大规模应用的背景下，将非侵入式电力终端识别下沉到用户边际可以解决中心计算负担过大的问题。但边缘计算设备计算能力有限，这要求识别算法能够在嵌入式设备上快速地执行。

移动卷积神经网络通过卷积层和池化层的作用，能够将输入数据快速降维。通过测量得到的电力终端波形数据量较大，将其转换成电力终端图矩阵的形式后，使用移动卷积神经网络对其进行学习，可充分发挥移动卷积神经网络的优势，快速得到识别结果。

增量学习方法可以利用已经训练完成的神经网络进行扩充训练，使得原有的神经网络能够适应分类数量增多的情况。由于电力终端发展较快，不同种类电力终端将不断被接入电力系统配电网当中，所以可将增量学习方法引入电力终端识别中。

本发明将增量学习、协同注意力机制和移动卷积神经网络相结合。所提方法能够对电力终端图矩阵进行快速、精确识别，并满足未被学习的电力终端的接入需求。

发明内容

本发明提出一种基于增量协同注意力移动卷积的电力终端识别方法，该方法将增量学习、协同注意力机制和移动卷积神经网络结合应用到电力终端识别中，实现对电力终端的快速、精准识别。

本发明将增量学习、协同注意力机制和移动卷积神经网络相结合。协同注意力机制能够对输入移动卷积神经网络的电力终端图矩阵进行权重计算，从而确定需要重点学习和重点识别的数据区域。通过协同注意力机制的作用，移动卷积神经网络能够对高权重数据区域进行重点学习，以达到更快的学习速度和更高的识别准确度；增量学习的应用能够扩充已经被训练的移动卷积神经网络分类层个数，从而扩充移动卷积神经网络的分类数量，适应未被学习的电力终端的接入并对其进行学习和识别。

本发明所提方法分为以下5个步骤：

步骤(1)用电数据获取：使用电压电流传感器对电力终端各个工况下的运行电流和电压数据进行5kHz采样频率下的波形采集。

步骤(2)数据预处理：将传感器获得的电流和电压数据转化为电力终端图矩阵的形式。为了充分利用协同注意力机制的优势，在数据预处理过程中，电压波形数据和电流波形数据将作为两个通道独立进行处理。在这两个通道中，每个电网周期的电压数据和电流数据将被按照时序分为四段，并按照蛇形存入4行25列的图中，形成电力终端图矩阵。

步骤(3)协同注意力机制和移动卷积神经网络训练：为了满足在嵌入式设备上快速运行的需要，将移动卷积神经网络与协同注意力机制结合，作为电力终端识别所使用的神经网络。

移动卷积神经网络对卷积神经网络的卷积部分进行了优化，提高了卷积过程计算的速度。

在卷积神经网络中，卷积结果为：

其中，K为大小为D_K×D_K×M×N的卷积神经网络的卷积核矩阵，卷积核的宽度和高度均为D_K，M为输入通道数，N为输出通道数；F为被卷积的大小为D_W×D_H×M的电力终端图矩阵，其中,D_W与D_H分别为输入电力终端图矩阵的宽度和高度。

卷积神经网络的卷积过程的计算量为：

D_K·D_K·M·N·D_W·D_W (2)

移动卷积神经网络对卷积神经网络的卷积过程进行了改进，将卷积神经网络的卷积过程拆分为深度卷积和逐点卷积。深度卷积的结果为：

其中，K为深度卷积核，深度卷积核的大小为D_K×D_K×M；F为被卷积的大小为D_W×D_H×M的电力终端图矩阵。

逐点卷积的作用是扩充和压缩输入电力终端图矩阵的通道数。其方法是使用1×1×M×N的卷积核对输入电力终端图矩阵进行卷积操作。深度卷积和逐点卷积的卷积过程的计算量为：

D_K·D_H·M·D_W·D_W+M·N·D_W·D_H (4)

对比式(3)和式(4)可见，移动卷积能够实现更快的运算速度，具备在移动端设备和嵌入式设备上运行的条件。

在移动卷积神经网络中，单次卷积的过程由逐点卷积升维过程、6型线性整流函数激活过程、深度卷积过程、6型线性整流函数激活过程、逐点卷积降维过程、线性全连接过程组成。其中，6型线性整流函数表示为：

ReLU(6)＝min(max(0,x),6) (5)

式中，x为输入变量。

协同注意力机制是在注意力机制上发展而来。注意力机制对电力终端图矩阵进行并行学习，识别出电力终端图矩阵上应重点注意的通道和区域，并将通道和区域赋予不同的权重值后送入与其配合的卷积神经网络。通过注意力机制的作用，卷积神经网络能够有重点的学习电力终端图矩阵上的信息，从而获得更高的识别准确度。

协同注意力机制在水平方向上使用(D_H,1)的池化核，在垂直方向上使用(1,D_W)的池化核对大小为(D_H,D_W)的电力终端图矩阵在水平和垂直方向上进行全局池化。

协同注意力机制对高度层为h的第c个通道在水平方向上进行全局池化的输出为：

其中x_c为输入的电力终端图矩阵的第c个通道。

协同注意力机制对宽度层为w的第c个通道在垂直方向上进行全局池化的输出为：

协同注意力机制对输入的电力终端图矩阵进行水平和垂直方向上的全局池化之后，将池化结果使用卷积变换进行连接：

f＝δ(F₁([z_H,z_W])) (8)

其中，[·,·]为沿空间维度的连接操作；δ表示非线性激活函数；

其中r为控制块大小的缩减率；F₁(·)为1×1的卷积变换函数；z_H和z_W分别为所有层z_H,c和z_W,c的并集。

沿着空间维度将f重新分解为两个单独的向量

和

再使用1×1的卷积核对两个单独的向量f_H和f_W进行卷积，将结果变换到与输入电力终端图矩阵相同的维度上，得到电力终端图矩阵垂直和水平方向上的权重值分别为：

g_H＝σ(F_H(f_H)) (9)

g_W＝σ(F_W(f_W)) (10)

其中，g_H和g_W分别为电力终端图矩阵垂直和水平方向上的权重值；卷积变换函数F_H()和F_W(·)分别表示垂直和水平方向的1×1卷积函数。

协同注意力机制赋予输入电力终端图矩阵的权重值为：

y_c(i,j)＝x_c(i,j)×g_H,c(i)×g_W,c(j) (11)

其中，g_H,c和g_W,c分别为g_H和g_W的第c个通道；y_c为赋予权重值之后的电力终端图矩阵。

将被赋予权重值后的电力终端图矩阵送入移动卷积神经网络中进行学习，移动卷积神经网络和协同注意力机制参数在学习过程中同步更新。

步骤(4)识别：在步骤(3)协同注意力机制和移动卷积神经网络训练结束之后，继续使用电压和电流传感器获取电力终端运行工况下的电压和电流波形，并按照步骤(2)数据预处理的方法形成电力终端图矩阵，采用步骤(3)的协同注意力机制和移动卷积神经网络进行识别。

步骤(5)未被学习的电力终端的增量处理：为适应未被学习的电力终端，提出基于自选择增量表征学习和学习率控制的增量学习策略。并将自选择增量表征学习应用于协同注意力机制和移动卷积神经网络中，将学习率控制应用于协同注意力机制中。

增量学习策略中的自选择增量表征学习由对已学习数据中的部分数据进行重新学习的阶段和增量数据学习阶段组成。对已学习数据中的部分数据进行重新学习的阶段有效避免神经网络的灾难性遗忘；增量数据学习阶段使神经网络能够识别未被学习的电力终端。

采用步骤(3)中的已完成训练的协同注意力机制来选取对已学习数据中的部分数据进行重新学习的阶段所需要的数据。将所有已学习数据送入协同注意力机制进行处理，得到每个数据的权重值矩阵。将权重值矩阵按照列向量进行连接，并求取权重值矩阵的模值，将模值最大的10个电力终端图矩阵选出作为已学习数据中的部分数据进行重新学习的阶段所需要的数据。

将已学习数据中的部分数据进行重新学习的阶段所需要的数据和增量数据进行组合，并扩展协同注意力机制和移动卷积神经网络的分类层，使用以下的损失函数对协同注意力机制和移动卷积神经网络再次进行训练：

其中，

为损失函数；Θ为协同注意力机制和移动卷积神经网络中移动卷积神经网络部分的参数；X_i为第i个输入数据，X_i的前s-1个输入数据为已学习数据中的部分数据进行重新学习的阶段所需要的数据，X_i的s到t个数据为增量数据；Y_i为对应X_i的标签；δ_Yi为使用激活函数后的真实值；q_Y,i为概率化后的真实值；g_Y(X_i)为X_i对应的预测值；log(·)为以10为底的对数。

增量学习策略中的学习率控制作用于步骤(3)中的协同注意力机制。含电机元件的电力终端启动时刻波形起伏较大，含电机元件的电力终端形成的电力终端图矩阵在垂直方向上的具有差异。在使用含电机元件的电力终端数据进行训练时，协同注意力机制垂直方向卷积的学习率为：

η_Y＝η_o(1+log(Conv2d_Y(X_i)) (13)

其中，η_o为初始设定的学习率；Conv2d_Y(·)函数值表示在垂直方向上使用协同注意力机制得到的权重值。

在使用不含电机元件的电力终端数据进行训练时，协同注意力机制水平方向卷积的学习率为：

η_X＝η_o(1+log(Conv2d_X(X_i)) (14)

其中，Conv2d_X(·)函数值表示在水平方向上使用协同注意力机制得到的权重值。

完成步骤(5)未被学习的电力终端的增量处理后，协同注意力机制和移动卷积神经网络能对未被学习的电力终端进行识别。

附图说明

图1是本发明电力终端图矩阵生成示意图。

图2是本发明总体流程图。

具体实施方式

本发明提出的一种基于增量协同注意力移动卷积的电力终端识别方法，结合附图详细说明如下：

图1是本发明电力终端图矩阵生成示意图。在传感器获取电力终端运行期间的电压和电流波形后，将波形数据按照时序四等分，并按照蛇形排列存入4×25的矩阵当中，电压数据和电流数据分别存入电力终端图矩阵的两个通道当中。

图1是本发明总体流程图。首先，使用电压和电流传感器获取待识别的电力终端的波形。将获取到的波形按照电力终端图矩阵的生成方法进行处理，存储生成的电力终端图矩阵。得到电力终端图矩阵后，使用协同注意力机制和移动卷积神经网络对这些数据进行学习。在所有数据被学习完成后，协同注意力机制和移动卷积神经网络能够对电压和电流传感器从配电网中获取并转化为电力终端图矩阵形式的实时数据进行识别。在未被学习的电力终端接入配电网时，使用电压和电流传感器获取该电力终端运行时产生的波形，将波形数据处理为电力终端图矩阵进行存储。使用完成学习的协同注意力机制对已学习数据进行选择。被选择的已学习数据和增量数据组合作为训练集，使用协同注意力机制和移动卷积神经网络进行学习，在学习过程中，同时采用本发明提出的学习率控制方法。增量学习完成后的协同注意力机制和移动卷积神经网络可对全部已学习的电力终端进行识别。

Claims (1)

1.一种基于增量协同注意力移动卷积的电力终端识别方法，其特征在于，基于增量协同注意力移动卷积的电力终端识别方法将增量学习、协同注意力机制和移动卷积神经网络结合应用到电力终端识别中，实现对电力终端的快速、精准识别；基于增量协同注意力移动卷积的电力终端识别方法分为以下5个步骤：

步骤(1)用电数据获取：使用电压电流传感器对电力终端各个工况下的运行电流和电压数据进行5kHz采样频率下的波形采集；

步骤(2)数据预处理：将传感器获得的电流和电压数据转化为电力终端图矩阵的形式；在数据预处理过程中，电压波形数据和电流波形数据将作为两个通道独立进行处理；在这两个通道中，每个电网周期的电压数据和电流数据将被按照时序分为四段，并按照蛇形存入4行25列的图中，形成电力终端图矩阵；

步骤(3)协同注意力机制和移动卷积神经网络训练：将移动卷积神经网络与协同注意力机制结合；将卷积神经网络的卷积过程拆分为深度卷积和逐点卷积；深度卷积的结果为：

其中，K为深度卷积核，深度卷积核的大小为D_K×D_K×M；F为被卷积的大小为D_W×D_H×M的电力终端图矩阵；

移动卷积神经网络对卷积神经网络的卷积过程进行了改进，逐点卷积的作用是扩充和压缩输入电力终端图矩阵的通道数；其方法是使用1×1×M×N的卷积核对输入电力终端图矩阵进行卷积操作；深度卷积和逐点卷积的卷积过程的计算量为：

D_K·D_H·M·D_W·D_W+M·N·D_W·D_H

在移动卷积神经网络中，单次卷积的过程由逐点卷积升维过程、6型线性整流函数激活过程、深度卷积过程、6型线性整流函数激活过程、逐点卷积降维过程、线性全连接过程组成；其中，6型线性整流函数表示为：

ReLU(6)＝min(max(0,x),6)

式中，x为输入变量；

协同注意力机制在水平方向上使用(D_H,1)的池化核，在垂直方向上使用(1,D_W)的池化核对大小为(D_H,D_W)的电力终端图矩阵在水平和垂直方向上进行全局池化；

协同注意力机制对高度层为h的第c个通道在水平方向上进行全局池化的输出为：

其中x_c为输入的电力终端图矩阵的第c个通道；

协同注意力机制对宽度层为w的第c个通道在垂直方向上进行全局池化的输出为：

协同注意力机制对输入的电力终端图矩阵进行水平和垂直方向上的全局池化之后，将池化结果使用卷积变换进行连接：

f＝δ(F₁([z_H,z_W]))

其中，[·,·]为沿空间维度的连接操作；δ表示非线性激活函数；

其中r为控制块大小的缩减率；F₁(·)为1×1的卷积变换函数；z_H和z_W分别为所有层z_H,c和z_W,c的并集；

沿着空间维度将f重新分解为两个单独的向量

和

再使用1×1的卷积核对两个单独的向量f_H和f_W进行卷积，将结果变换到与输入电力终端图矩阵相同的维度上，得到电力终端图矩阵垂直和水平方向上的权重值分别为：

g_H＝σ(F_H(f_H))

g_W＝σ(F_W(f_W))

其中，g_H和g_W分别为电力终端图矩阵垂直和水平方向上的权重值；卷积变换函数F_H(·)和F_W(·)分别表示垂直和水平方向的1×1卷积函数；

协同注意力机制赋予输入电力终端图矩阵的权重值为：

y_c(i,j)＝x_c(i,j)×g_H,c(i)×g_W,c(j)

其中，g_H,c和g_W,c分别为g_H和g_W的第c个通道；y_c为赋予权重值之后的电力终端图矩阵；

将被赋予权重值后的电力终端图矩阵送入移动卷积神经网络中进行学习，移动卷积神经网络和协同注意力机制参数在学习过程中同步更新；

步骤(4)识别：在步骤(3)协同注意力机制和移动卷积神经网络训练结束之后，继续使用电压和电流传感器获取电力终端运行工况下的电压和电流波形，并按照步骤(2)数据预处理的方法形成电力终端图矩阵，采用步骤(3)的协同注意力机制和移动卷积神经网络进行识别；

步骤(5)未被学习的电力终端的增量处理：提出基于自选择增量表征学习和学习率控制的增量学习策略；并将自选择增量表征学习应用于协同注意力机制和移动卷积神经网络中，将学习率控制应用于协同注意力机制中；

增量学习策略中的自选择增量表征学习由对已学习数据中的部分数据进行重新学习的阶段和增量数据学习阶段组成；对已学习数据中的部分数据进行重新学习的阶段有效避免神经网络的灾难性遗忘；增量数据学习阶段使神经网络能够识别未被学习的电力终端；

采用步骤(3)中的已完成训练的协同注意力机制来选取对已学习数据中的部分数据进行重新学习的阶段所需要的数据；将所有已学习数据送入协同注意力机制进行处理，得到每个数据的权重值矩阵；将权重值矩阵按照列向量进行连接，并求取权重值矩阵的模值，将模值最大的10个电力终端图矩阵选出作为已学习数据中的部分数据进行重新学习的阶段所需要的数据；

将已学习数据中的部分数据进行重新学习的阶段所需要的数据和增量数据进行组合，并扩展协同注意力机制和移动卷积神经网络的分类层，使用以下的损失函数对协同注意力机制和移动卷积神经网络再次进行训练：

其中，l(Θ)为损失函数；Θ为协同注意力机制和移动卷积神经网络中移动卷积神经网络部分的参数；X_i为第i个输入数据，X_i的前s-1个输入数据为已学习数据中的部分数据进行重新学习的阶段所需要的数据，X_i的s到t个数据为增量数据；Y_i为对应X_i的标签；

为使用激活函数后的真实值；q_Y,i为概率化后的真实值；g_Y(X_i)为X_i对应的预测值；log(·)为以10为底的对数；

增量学习策略中的学习率控制作用于步骤(3)中的协同注意力机制；含电机元件的电力终端启动时刻波形起伏较大，含电机元件的电力终端形成的电力终端图矩阵在垂直方向上的具有差异；在使用含电机元件的电力终端数据进行训练时，协同注意力机制垂直方向卷积的学习率为：

η_Y＝η_o(1+log(Conv2d_Y(X_i)))

其中，η_o为初始设定的学习率；Conv2d_Y(·)函数值表示在垂直方向上使用协同注意力机制得到的权重值；

在使用不含电机元件的电力终端数据进行训练时，协同注意力机制水平方向卷积的学习率为：

η_X＝η_o(1+log(Conv2d_X(X_i)))

其中，Conv2d_X(·)函数值表示在水平方向上使用协同注意力机制得到的权重值。

Images