CN112508625A - 基于多分枝残差注意力网络的智能稽查建模方法 - Google Patents

Abstract

本发明提出了一种基于多分枝残差注意力网络的智能稽查建模方法，其步骤为：首先，获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；其次，构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；最后，将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。本发明通过多次卷积操作，捕获更多数据，解决长时序数据较难学习的问题，同时该网络采用高效注意力机制，在稽查数据变化较大的时刻点投入更多的注意力，从而提高了模型训练和预测的准确度。

Description

基于多分枝残差注意力网络的智能稽查建模方法

技术领域

本发明涉及智能稽查建模技术领域，特别是指一种基于多分枝残差注意力网络的智能稽查建模方法。

背景技术

电力稽查是电力营销中不可或缺的一个职能，在电力营销市场化过程中扮演越来越重要的角色。如何平衡稽查与被稽查者之间的利益，在有限的稽查中发现和预测电力营销中更多的错误，已经成为电力公司和科研人员关注的新课题。建立智能稽查模型，深入洞察电力营销业务中存在的问题，支撑异常问题整改，实现数字化稽查是提高电力营销稽查效率的必要手段。目前，电力营销稽查建模方法主要有以下几种：

(1)基于稽查结果的营销工作质量评价定性分析模型

该方法运用专家调查法进行风险程度和管控强度测评，基于评价得分和具体差错类型，应用专业统计分析建模技术，建立稽查结果统计分析模型，实现营销差错的主因分析确定、成因分析、责任岗位分析、营销业务短板分析、风险性分析，但是这种方法稽查方式单一。

(2)基于数据挖掘技术的电价执行在线稽查模型

该方法以计量、营销等海量用电数据为研究对象，利用K-Means聚类算法识别客户的典型用电模式，利用马氏距离判别算法识别电价异常用户。利用计量自动化、营销系统海量用电数据，基于自适应模糊神经推理和决策树C5.0算法构建电价执行智能稽查模型，但是这种方法准确率不高。

(3)基于数据挖掘的用电数据异常的分析与研究

该方法首先利用孤立森林算法构建异常检测模型，识别大部分异常用户。其次通过建立基于聚类分析、局部离群因子算法的异常检测模型并进行比较。再次利用决策树算法建立用电数据异常识别模型，但是此方法效率低下，排查范围有限。

(4)基于广义规则归纳算法的电力稽查关联问题分析模型

该模型从建模角度出发，对稽查样本问题库进行编码整理，再对问题字段进行bool变换，将文本规范化为符号变量，解决了文本难以分类和噪声过大的问题，然后利用数据挖掘中的GRI关联算法对已有的稽查样本数据库进行问题关联分析，得出问题间的隐含关系，但是此方法排查深度不够，误差率高。

发明内容

针对目前深度学习算法在稽查建模方法中存在特征提取不充分，浅层的网络容易出现梯度消失，较难有效学习长时序数据间的映射关系等问题，本发明提供了一种基于多分枝残差注意力网络的智能稽查建模方法，克服了传统方法人工筛选效率低、应用场景单一、模型精度差的缺陷。

本发明的技术方案是这样实现的：

一种基于多分枝残差注意力网络的智能稽查建模方法，其步骤如下：

步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；

步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；

步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。

所述稽查数据字段包括:日期、线路或台区ID、供电量、售电量、线路用户电量、电流、电压和功率因素。

所述多分枝残差注意力网络的网络结构为：输入层-卷积层I-多分枝残差注意力模块I-下采样层I-多分枝残差注意力模块II-下采样层II-多分枝残差注意力模块III-下采样层III-多分枝残差注意力模块IV-下采样层IV-卷积层II-池化层-全连接层I-全连接层II-输出层。

所述多分枝残差注意力模块I、多分枝残差注意力模块II、多分枝残差注意力模块III和多分枝残差注意力模块IV均包括多分枝残差块和高效注意力模块，多分枝残差块的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差块的输出侧与高效注意力模块的输入侧相连接，高效注意力模块的输出侧与下采样层I、下采样层II、下采样层III或下采样层IV相连接；所述多分枝残差块用于提取训练数据的特征，高效注意力模块用于优化训练数据的特征。

所述多分枝残差块包括多分枝残差单元I、多分枝残差单元II和多分枝残差单元III，多分枝残差单元I的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差单元I的输出侧与多分枝残差单元II的输入侧相连接，多分枝残差单元II的输出侧与多分枝残差单元III的输入侧相连接，多分枝残差单元III的输出侧与高效注意力模块的输入侧相连接，多分枝残差单元II的输出侧与高效注意力模块的输出侧相连接。

所述多分枝残差单元I、多分枝残差单元II和多分枝残差单元III的网络结构相同，均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层分别与第五卷积层、第二卷积层、第三卷积层和第四卷积层相连接，第二卷积层分别与第三卷积层和第五卷积层相连接，第三卷积层分别与第四卷积层和第五卷积层相连接，第四卷积层与第五卷积层相连接；第一卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输入卷积层，第五卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输出卷积层。

所述高效注意力模块包括第一池化层、一维卷积层I、一维卷积层II、一维卷积层III、激活层和第二池化层，第一池化层分别与一维卷积层I和第二池化层相连接，一维卷积层I与一维卷积层II相连接，一维卷积层II与激活层相连接，激活层与一维卷积层III相连接，一维卷积层III与第二池化层相连接；所述第一池化层为高效注意力模块的输入层，第二池化层为高效注意力模块的输出层。

高效注意力模块优化训练数据的特征的方法为：

对于大小为W×1×C的特征图U，U＝[x₁，x₂，...，x_c]，对特征图U进行一维化操作，得到一维化后的特征图Z；

利用特征图U的每个通道及其k近邻构造快速一维卷积y，并将一维化后的特征图Z与快速一维卷积y进行卷积运算，得到权重W_k；

利用激活函数对权重W_k进行归一化，并对归一化后的权重进行放大，得到最终的权重Fw；

利用最终的权重Fw加权到特征图U上得到优化后的特征图。

所述一维化后的特征图Z的获得方法为：

其中，z_c∈Z＝{z₁,z₂,…,z_c}，F_GAP(·)表示将特征通道c中的特征图的线性运算，x_i表示特征通道c中第i个特征图，W表示特征通道c中的特征图个数；

所述权重W_k为：

其中，F_h(·)表示利用快速一维卷积特征通道c学习到的预权重，

表示特征通道c对应的快速一维卷积，

表示c个特征通道中的所有k个近邻通道中非零数值的集合，其余位置由零填充，*表示卷积运算；

所述最终的权重Fw为：

Fw＝n·σ(W_k)

其中，n为权值放大系数，σ(·)为Sigmoid函数；

所述优化后的特征图为：

U′＝Fw·U

其中，U′为优化后的特征图。

本技术方案能产生的有益效果：

1)本发明首先对原始稽查数据进行归一化处理，通过滑动窗口的方式获得网络的输入；

2)多分枝残差注意力网络利用叠加的多分枝残差结构来提取深层的负载特征，降低网络优化的难度，增强了网络信息的传递，并解决网络的梯度消失问题；

3)通过多次卷积操作，捕获更多数据，解决长时序数据较难学习的问题，同时该网络采用高效注意力机制，在稽查数据变化较大的时刻点投入更多的注意力，从而提高了模型训练和预测的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的多分枝残差注意力网络。

图2是本发明的多分枝残差单元。

图3是本发明的高效注意力模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于多分枝残差注意力网络的智能稽查建模方法，具体步骤如下：

步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；所述稽查数据字段包括:日期、线路或台区ID、供电量、售电量、线路用户电量、电流、电压和功率因素。对稽查数据字段进行预处理：对线损率大于1或者小于0的数据进行标记，不纳入数据建模；对线路线损率超过6％以及台区线损率超过8％的日期标记为异常区间。

步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；本发明中将稽查数据分为70％的训练序列和30％的验证序列。多分枝残差块对数据进行特征提取，高效注意力模块对特征进行优化。网络利用自适应优化算法减少损失，反向传播更新网络的参数。如图1所示，在智能稽查模型中，根据深层次的特征更加能够反映注意力所在的位置，多分枝残差注意力网络首先利用卷积层进行浅层的负载特征提取，然后利用多个堆叠的多分枝残差块提取深层次的负载特征。

多分枝残差注意力网络的网络结构为：输入层-卷积层I-多分枝残差注意力模块I-下采样层I-多分枝残差注意力模块II-下采样层II-多分枝残差注意力模块III-下采样层III-多分枝残差注意力模块IV-下采样层IV-卷积层II-池化层-全连接层I-全连接层II-输出层。所述多分枝残差注意力模块I、多分枝残差注意力模块II、多分枝残差注意力模块III和多分枝残差注意力模块IV均包括多分枝残差块和高效注意力模块，多分枝残差块的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差块的输出侧与高效注意力模块的输入侧相连接，高效注意力模块的输出侧与下采样层I、下采样层II、下采样层III或下采样层IV相连接；所述多分枝残差块用于提取训练数据的特征，高效注意力模块用于优化训练数据的特征。

所述多分枝残差块包括多分枝残差单元I、多分枝残差单元II和多分枝残差单元III，多分枝残差单元I的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差单元I的输出侧与多分枝残差单元II的输入侧相连接，多分枝残差单元II的输出侧与多分枝残差单元III的输入侧相连接，多分枝残差单元III的输出侧与高效注意力模块的输入侧相连接，多分枝残差单元II的输出侧与高效注意力模块的输出侧相连接。

所述多分枝残差单元I、多分枝残差单元II和多分枝残差单元III的网络结构相同，均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层分别与第五卷积层、第二卷积层、第三卷积层和第四卷积层相连接，第二卷积层分别与第三卷积层和第五卷积层相连接，第三卷积层分别与第四卷积层和第五卷积层相连接，第四卷积层与第五卷积层相连接；第一卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输入卷积层，第五卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输出卷积层。

针对梯度消失的问题，何凯明提出了残差网络结构，该结构借鉴了HighwayNetwork的思想，即增加一个恒等变换，将原本网络的学习函数H(x)转换成F(x)+x。多分枝残差块在残差网络基础上做了以下创新。多分枝残差在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小，多分枝残差单元如图2所示。多分枝残差对原残差中的3×3进行改进，将1×1卷积后的特征图按通道数平均分为s(图中s＝4)块，每一个小块是X_i,每一个X_i都会进行一个3×1的卷积，用K_i表示卷积，卷积结果由y_i表示，X_i与K_i-1的输出相加，然后送入K_i。这样就可以得到不同数量和不同感受野大小的输出，例如：y₂得到3×1的感受野，y₃可以得到5×1的感受野，y₄则可以得到更大的7×1的感受野。最后将四个结果进行拼接融合，再进行1×1的卷积，这种先拆分后融合的思路可以得到多尺度的特征，和更好的进行特征融合。与此同时，原始残差函数的输出是(0，+∞)，这样会使得前向传播的信号是递增趋势，此结果会影响网络的表达能力，使得网络预测效果变差。多分枝残差块将激活函数ReLU加到残差单元的分支中，在每次卷积操作之前都会进行预激活操作，然后利用矩阵之间的加法进行合并。以上操作保证了残差函数的输出在(-∞，+∞)之间，使得网络性能大大优化。本发明中，激活函数σ(·)只在一条线路上对下一个。多分枝残差单元产生影响。通过调整激活函数和Batch Nomalization在残差单元中的位置，使得多分枝残差单元不仅满足了解决梯度消失的条件，同时也保证了残差函数的输出是在(-∞，+∞)。多分枝残差块的性能要优于原始残差块。

完成浅层特征的提取后，本实施例首先利用一个由3个多分枝残差单元组成的多分枝残差进行特征提取，每个多分枝残差单元中卷积核的个数均为30，多分枝残差单元中的卷积核的大小均为3×1。然后利用两组由4个多分枝残差单元组成的多分枝残差块提取深层次的负载特征信息，这两组多分枝残差块中卷积核的个数为40。最后再利用一个由3个多分枝残差单元组成的多分枝残差块(卷积核的个数为30)进行特征学习。在此同时，将四个多分枝残差块预处理得到的深层次的特征图进行相应的注意力操作，在经过多分枝残差块的特征提取后特征图进入高效注意力模块，进行相应的注意力操作。

受到Encoder-Decoder结构在图像分类和深层次的特征图中更能够反映注意力机制所在的区域观点的启发，本发明针对智能稽查模型，设计了一种前向的注意力机制，融入到多分枝残差块，最终构成多分枝残差注意力网络。高效注意力模块的结构如图3所示。

高效注意力模块用于生成输入特征图的软权重。深层次的特征图经过高效注意力模块后会生成注意力图，用该注意力图和特征图进行对应元素相乘，就能够得到加权的特征图，这样原来的特征图中显著的特征就得到了增强，不显著的特征就会相应得被抑制。在将特征进行四次多分枝残差块和高效注意力模块学习时，会对其进行下采样操作。最后将学习得到的特征图进行拉伸可以得到一个很长的特征向量，利用两个全连接层即可将建立输入序列和输出序列的一种映射，最终完成对电力营销业务中的异常问题的识别分类与自动排查。

所述高效注意力模块包括第一池化层、一维卷积层I、一维卷积层II、一维卷积层III、激活层和第二池化层，第一池化层分别与一维卷积层I和第二池化层相连接，一维卷积层I与一维卷积层II相连接，一维卷积层II与激活层相连接，激活层与一维卷积层III相连接，一维卷积层III与第二池化层相连接；所述第一池化层为高效注意力模块的输入层，第二池化层为高效注意力模块的输出层。

高效注意力模块优化训练数据的特征的方法为：

对于大小为W×1×C的特征图U，U＝[x₁，x₂，...，x_c]，对特征图U进行一维化操作，得到一维化后的特征图Z；本发明将每个通道独立进行求平均值操作，即把特征图一维化，即将每个特征通道变成一个实数，这个实数某种程度上具有全局(W×1)的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，公式如下：

其中，z_c∈Z＝{z₁,z₂,…,z_c}，F_GAP(·)表示将特征通道c中的特征图通过线性运算变成一个实数，x_i表示特征通道c中第i个特征图，W表示特征通道c中的特征图个数。

完成上述操作后，输入特征W×1×C的特征图变成1×1×C。之后，我们利用每个通道及其k个近邻构造快速一维卷积y_C1D，即第一通道第1至第k项为非零项，其他项均为零。第二通道中第2至第k+1项为非零项，其他项均为零，以此类推。快速一维卷积用来捕获本地跨通道交互，其中k代表本地跨通道交互的覆盖范围，即有多少个相近邻参与一个通道的注意力预测。快速一维卷积y_C1D的转置矩阵的表现形式如下：

其中，w^c,c-k+1表示特征通道c中第一个跨通道交互的数值，w^c,c表示特征通道c中第k个跨通道交互的数值。

利用特征图U的每个通道及其k近邻构造快速一维卷积y，并将一维化后的特征图Z与快速一维卷积y进行卷积运算，得到权重W_k；将一维化后的特征图Z与快速一维卷积进行卷积运算，对于z_c，只考虑z_c和k个近邻之间的信息交互。这种操作比起全连接操作，会大幅降低模型的复杂度，其公式为：

其中，F_h(·)表示利用快速一维卷积特征通道c学习到的预权重，

表示特征通道c对应的快速一维卷积，

表示c个特征通道中的所有k个相邻通道中非零数值的集合，其余位置由零填充，*表示卷积运算。

利用激活函数对权重W_k进行归一化，并对归一化后的权重进行放大，得到最终的权重Fw；加入Sigmoid门，目的为获得0-1之间归一化的权重。但由于归一化后的特征通道权值在0-1之间，会出现某些特征通道间关系的相关性和差异性不明显。因此，将权值放大，公式中n为权值放大系数，比如，n为10，即权重区间为0-10，使得重要权重更加显著，公式为：

Fw＝n·σ(W_k)

其中，σ(·)为Sigmoid函数；

利用最终的权重Fw加权到特征图U上得到优化后的特征图；述优化后的特征图为：

U′＝Fw·U

其中，U′为优化后的特征图。

通过上述操作，完成对权重的抑制或增强，即显著的稽查特征得到增强，非显著的稽查特征就会相应得被抑制。完成特征重标定的特征图接着进入下面网络，进行学习。

步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。本发明在进行智能稽查时，使用训练好的多分枝残差注意力网络模型。输入稽查数据，经过训练好的权重提取特征后映射出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，其步骤如下：

步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；

步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；

步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。

2.根据权利要求1所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述稽查数据字段包括:日期、线路或台区ID、供电量、售电量、线路用户电量、电流、电压和功率因素。

3.根据权利要求1所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差注意力网络的网络结构为：输入层-卷积层I-多分枝残差注意力模块I-下采样层I-多分枝残差注意力模块II-下采样层II-多分枝残差注意力模块III-下采样层III-多分枝残差注意力模块IV-下采样层IV-卷积层II-池化层-全连接层I-全连接层II-输出层。

4.根据权利要求3所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差注意力模块I、多分枝残差注意力模块II、多分枝残差注意力模块III和多分枝残差注意力模块IV均包括多分枝残差块和高效注意力模块，多分枝残差块的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差块的输出侧与高效注意力模块的输入侧相连接，高效注意力模块的输出侧与下采样层I、下采样层II、下采样层III或下采样层IV相连接；所述多分枝残差块用于提取训练数据的特征，高效注意力模块用于优化训练数据的特征。

5.根据权利要求4所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差块包括多分枝残差单元I、多分枝残差单元II和多分枝残差单元III，多分枝残差单元I的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差单元I的输出侧与多分枝残差单元II的输入侧相连接，多分枝残差单元II的输出侧与多分枝残差单元III的输入侧相连接，多分枝残差单元III的输出侧与高效注意力模块的输入侧相连接，多分枝残差单元II的输出侧与高效注意力模块的输出侧相连接。

6.根据权利要求5所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差单元I、多分枝残差单元II和多分枝残差单元III的网络结构相同，均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层分别与第五卷积层、第二卷积层、第三卷积层和第四卷积层相连接，第二卷积层分别与第三卷积层和第五卷积层相连接，第三卷积层分别与第四卷积层和第五卷积层相连接，第四卷积层与第五卷积层相连接；第一卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输入卷积层，第五卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输出卷积层。

7.根据权利要求5所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述高效注意力模块包括第一池化层、一维卷积层I、一维卷积层II、一维卷积层III、激活层和第二池化层，第一池化层分别与一维卷积层I和第二池化层相连接，一维卷积层I与一维卷积层II相连接，一维卷积层II与激活层相连接，激活层与一维卷积层III相连接，一维卷积层III与第二池化层相连接；所述第一池化层为高效注意力模块的输入层，第二池化层为高效注意力模块的输出层。

8.根据权利要求7所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，高效注意力模块优化训练数据的特征的方法为：

对于大小为W×1×C的特征图U，U＝[x₁，x₂，...，x_c]，对特征图U进行一维化操作，得到一维化后的特征图Z；

利用特征图U的每个通道及其k近邻构造快速一维卷积y，并将一维化后的特征图Z与快速一维卷积y进行卷积运算，得到权重W_k；

利用激活函数对权重W_k进行归一化，并对归一化后的权重进行放大，得到最终的权重Fw；

利用最终的权重Fw加权到特征图U上得到优化后的特征图。

9.根据权利要求8所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述一维化后的特征图Z的获得方法为：

其中，z_c∈Z＝{z₁,z₂,…,z_c}，F_GAP(·)表示将特征通道c中的特征图的线性运算，x_i表示特征通道c中第i个特征图，W表示特征通道c中的特征图个数；

所述权重W_k为：

其中，F_h(·)表示利用快速一维卷积特征通道c学习到的预权重，

表示特征通道c对应的快速一维卷积，

表示c个特征通道中的所有k个近邻通道中非零数值的集合，其余位置由零填充，*表示卷积运算；

所述最终的权重Fw为：

Fw＝n·σ(W_k)

其中，n为权值放大系数，σ(·)为Sigmoid函数；

所述优化后的特征图为：

U′＝Fw·U

其中，U′为优化后的特征图。

Images