CN116738355A - 一种考虑数据差异性的电力多模态特征级融合方法 - Google Patents

Abstract

本发明公开了一种考虑数据差异性的电力多模态特征级融合方法，以电力多参量时间序列和图像数据为融合对象，分别对电力多参量时间序列和图像数据进行特征提取；然后使用余弦损失构建特征同化目标函数，对不同的特征进行统一描述，解决语义差异性问题；接着基于交叉损失熵建立特定数据与电力目标感知能力间的映射关系，并在此基础上提出融合权重决策机制，解决感知能力差异性问题；最后对不同的特征进行加权并进行电力目标感知。本发明一定程度上解决了现有电力多模态数据融合对多模态间的语义差异性和感知能力差异性考虑不足，融合效果有限，难以应对数据异常、噪声等问题，可为基于多模态数据融合的电力感知场景提供参考。

Description

一种考虑数据差异性的电力多模态特征级融合方法

技术领域

本发明属于电力运维及安全领域，具体涉及一种考虑数据差异性的电力多模态特征级融合方法。

背景技术

电力多模态数据融合是充分利用电网各环节多模态数据，推动电力系统数字化的重要技术手段。多模态数据融合包括数据级、特征级和决策级融合。其中，特征级融合由于信息损失量小，适用于不同数据格式、不同物理含义的电力多模态数据融合而具有广泛的应用前景。但是，在基于多模态数据综合决策的电力场景中，多模态特征间的差异性限制了融合感知效果。

多模态特征的差异性主要包括语义差异性和感知能力差异性。其中，语义差异性指由于数据格式、物理含义以及其在电力目标感知中作用机理不同而造成的特征差异性。语义差异性使多模态特征具有不同的描述空间，而各描述空间中特征的描述方式具有差异性。如直接对其进行融合，则有可能因特征描述方式不同而限制融合效果。感知能力差异性指由于数据质量，特征提取网络、作用机理等造成的感知效果的差异性。如不考虑感知能力差异性而对所有特征赋予相同的信任度，则可能引入噪声，影响识别效果。因此，在多模态特征融合过程中，充分考虑多模态特征的语义差异性和感知能力差异性，具有重要的意义。

针对电力多模态特征融合中的感知能力差异性，现有研究侧重于结构化数据的异常检测、清洗及校正等方面。即将上述操作作为数据融合的预处理步骤，认为数据融合过程中的数据均为完备情况。但一方面，数据清洗、校正等预处理操作难以保证数据质量；另一方面，预处理方法无法应对数据间因特征提取方式、目标感知机理等造成的固有的感知能力差异性。因此，如何在数据融合过程中考虑多模态数据间的差异性，仍是需要关注的问题。与此同时，现有电力多模态融合多侧重于结构化数据的融合，对结构化与非结构化、非结构化与非结构化等场景考虑较少，对电力系统数字化场景的适应性有限。因此，本发明以电力图像和多参量时间序列为融合对象，提出一种同时考虑数据语义差异性和表现差异性的电力多模态特征级融合方法。

发明内容

本发明提供一种考虑数据差异性的电力多模态特征级融合方法，解决现有电力多模态数据融合对多模态间的语义差异性和感知能力差异性考虑不足，融合效果有限，难以应对数据异常、噪声等问题。

本发明提供一种考虑数据差异性的电力多模态特征级融合方法，包括以下步骤：

S1、对电力多参量时间序列进行特征提取，获取时间序列特征向量；

进一步地，步骤S1中，对电力多参量时间序列进行特征提取，具体包括：

S11、将电力多参量时间序列排列为X_p×n，其中，p为电力多参量数；n为时间序列长度，

S12、对电力多参量时间序列进行特征提取，可使用卷积神经网络，长短期记忆网络，

S13、在特征提取网络最后增加全连接层，并将其作为电力多参量时间序列的特征f_t，

S2、对电力图像数据进行特征提取，获取图像特征向量；

进一步地，步骤S2中，对电力图像数据进行特征提取，具体包括：

S21、对电力图像数据进行特征提取，使用卷积神经网络，

S22、在特征提取网络最后增加全连接层，并将其作为电力图像的特征f_i，

S3、对电力时间序列特征向量和电力图像特征向量进行特征同化，具体包括：

如下式所示，从角度差出发，构造余弦损失指导进行联合表征空间的寻找，从而进行特征同化：

l_a＝1-cos(f_t,f_i) (1)

其中，l_a为余弦损失，cos(f_t,f_i)表征二类特征间的余弦距离，在[0,π]范围内时，二者角度差越大，余弦值越小，为了最小化损失，所构建的损失函数如上所示，经过上式对二类特征进行优化后，f_t和f_i的角度差较小，可认为其经过特征同化后，二类特征分别被映射至联合表征空间而具有相同的特征描述方式；

S4、分别基于二类特征向量进行感知能力评估，并基于此进行融合权重分配，具体步骤如下：

S41、分别对电力多参量时间序列特征和电力图像特征进行感知能力评估，如是分类问题，在f_t后增加全连接层，并使用交叉损失熵进行感知能力评估，交叉损失熵如式(2)所示：

其中，l_c为交叉损失熵；P_i为模型预测结果；P_i ^*为样本真实标签；n为样本数,P_i采用softmax进行计算，具体如式(3)所示。

其中，x＝[x₁,x₂…x_m]，是softmax的输入，由softmax之前的网络参数决定；y为标签类别；m为类别数,

如是回归问题，则可增加全连接层，并以均方误差最小为目标，进行迭代训练，直到收敛，如式(4)所示

其中，MSE为均方误差函数；yⁱ为模型预测结果；y^*i为样本真实标签；n为样本数，

S42、构建权重决策模块和权重损失对二类模态特征进行权重决策，

在模型结构方面，如图1中权重决策模块所示，所构造的权重决策结构首先对电力多参量时间序列特征和图像特征进行拼接，然后分别经过2个2048维和1个2维的全连接层，最后使用softmax计算二类权重w_t和w_i，

如式(3)所示，softmax计算出的各类别的概率之和为1，故使用此方法能使得二类数据对应的融合权重之和为1，

在损失函数方面，如式(5)所示，本发明构造损失函数l_w指导模型基于电力目标感知能力进行融合权重决策。其中，l_s和l_i分别为电力多参量时间序列和电力图像对应的感知损失。为了最小化损失，模型会使式(5)中两个平方项趋向于0，从而使得交叉损失熵较大的支路对应较小的权重，而损失较小的支路对应较大的权重，即电力目标感知能力较强的支路对应较大的融合权重，反之电力目标感知能力较差的支路对应较小的融合权重。

S5、基于权重对多模态特征进行拼接融合，并进行进一步特征提取与电力目标感知，具体包括：

首先将二类特征与其相应的权重相乘，得到基于权重的电力多参量时间序列数据特征w_tf_t和图像特征w_if_i；然后对二类特征进行拼接，得到2048维的特征接着，将融合后的特征经两个4096维，并用增加相应的全连接层和损失函数(交叉损失熵或均方误差)；

S6、构造整体损失函数，并对模型进行训练，具体包括：

综合考虑特征提取、特征同化、权重决策机制以及电力目标感知构造损失函数，并以整体损失最小为目标，对模型进行训练，

l_t＝l_main+αl_a+βl_w+γl_t+δl_i (6)

其中，超参数α、β、γ和δ分别为l_a、l_w、l_s和l_i对应的权重，l_main为基于融合的电力目标感知损失。

本发明的有益效果是：本发明基于电力多参量时序数据和电力图像数据这两类多模态数据，提出针对多模态数据语义差异性的特征同化方法，以及针对感知能力差异性和权重决策机制，对二类数据进行特征级融合，解决了以往对多模态数融合效果有限的问题，有利于避免电力数据融合中因数据丢失、噪声等引起的感知能力下降问题。

附图说明

图1是本发明考虑数据差异性的电力多模态特征级融合方法图；

图2是本发明实施例中电力多参量时间序列特征提取及感知能力评估图；

图3是本发明实施例中电力图像特征提取及感知能力评估图。

具体实施方式

下面将结合附图对本发明作进一步的说明：

本发明提供一种考虑数据差异性的电力多模态特征级融合方法，基于电力多参量时序数据和电力图像数据这两类多模态数据，对电力场景进行融合感知。

本发明首先分别对电力多参量时序数据和电力图像数据进行特征提取；然后构造余弦损失进行特征同化，解决二类数据间的语义差异性问题；接着，分别构造感知能力评估模块对二类模态进行感知能力评估，并基于此进行融合权重计算；最后基于权重对二类模态特征进行拼接融合，并进行进一步的特征提取和电力目标感知。本发明充分考虑了电力多模态数据间的语义差异性和感知能力差异性，能有效提高电力多模态数据融合感知的效果，并有效应对数据质量差、存在噪声等问题。

本发明以输电线路覆冰识别为例，对包括温度、湿度、瞬时风速、最大拉力、最大拉力时风偏角及最大拉力时倾斜角六类时间序列数据和覆冰图像数据进行融合，并进行覆冰厚度分类。本实施例综合考虑所采集样本在线路及绝缘子的覆冰程度及工程经验，将覆冰厚度等级识别抽象为一个五分类问题，其中类别1为无覆冰情况，类别2-5覆冰厚度依次增加。

本实施例所使用的训练集共2875对，测试集为450对，数据分布情况如表1所示。

表1数据分布情况

具体步骤如下所示：

步骤1，对电力多参量时间序列进行特征提取，获取时间序列特征向量，并对其进行感知能力评估，所使用的网络如图2所示。首先将六类长度为20的多时间序列转换为大小为到维数为20×20的多参量递归图，转换方式如式(7)所示，然后分别经过大小为32×5×5的卷积神经网络和大小为2×2的最大池化层，最后连接大小为1024的全连接层，并将其作为电力多参量时间序列特征f_t。接着，将特征向量f_t输入至大小分别为1024和5的全连接层，并连接softmax对上述六类数据的覆冰厚度感知能力进行评估。

其中，R_ij为多参量递归图中第i行第j列元素，表征第i个和第j个时刻之间的关联关系。表征第i个时刻的电力多参量采样值。

步骤2，对覆冰图像进行特征提取，获取图像特征向量，并对其进行感知能力评估，所使用的网络如图3所示。本实施例采用Faster R-CNN对覆冰图像数据进行特征提取，并将经过ROI Pooling后的第一个全连接层作为覆冰图像特征。经过特征提取后，将获得大小为1024的图像数据特征f_i。接着，将特征向量f_i输入至大小分别为1024和5的全连接层，并连接softmax对上述六类数据的覆冰厚度感知能力进行评估。

步骤3，对f_t和f_i按照权重进行拼接融合，并分别经过两个大小为4096和一个大小为5的全连接层对融合后的特征进行进一步特征提取，然后使用softmax进行覆冰厚度分类。

步骤4，设置式(6)中各项损失的权重，并对网络进行训练。

步骤5，对训练好的模型进行测试。

本实施中用精确率(Precision，P)、召回率(Recall，R)、平均精确率(AveragePrecision，AR)和平均召回率(Average Recall，AR)进行模型测试的评价指标。为了验证本发明应对多模态数据差异性的有效性，本实施例分别对经特征同化和未经特征同化的模型，以及经权重决策机制和未经权重决策机制的模型进行对比。对比结果如表2和表3所示。

表2特征同化感知覆冰识别效果对比

表3融合权重决策机制覆冰识别效果对比

由表2可知，本发明的覆冰感知效果高于未经特征同化的融合感知效果，验证了本发明在电力多模态融合中应对语义差异性的有效性。与此同时，表2中基于传感器数据和基于图像数据的覆冰厚度识别效果均远低于基于二类数据融合的覆冰感知效果，进一步验证了多模态融合在电力场景中的有效性。

为了验证本发明对不同模态数据感知效果差异性的有效性，本发明分别对传感器数据和图像数据进行了噪声处理，然后直接拼接融合与本发明与权重的融合进行对比。由表3可知，本发明基于权重的融合在未经噪声处理、对传感器数据进行噪声处理以及对图像数据进行噪声处理的场景中均取得了最好的覆冰厚度识别效果，说明本发明能够更好地应对电力多模态融合中的感知能力差异性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，包括以下步骤：

S1、对电力多参量时间序列进行特征提取，获取时间序列特征向量；

S2、对电力图像数据进行特征提取，获取图像特征向量；

S3、对电力时间序列特征向量和电力图像特征向量进行特征同化；

S4、分别基于二类特征向量进行感知能力评估，并基于此进行融合权重分配；

S5、基于权重对多模态特征进行拼接融合，并进一步特征提取与电力目标感知；

S6、构造整体损失函数，并对模型进行训练。

2.根据权利要求1所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，步骤S1中，对电力多参量时间序列进行特征提取时，首先将电力多参量时间序列排列为参量数为p，时间序列长度为n的电力多参量时间矩阵X_p×n，然后对电力多参量时间序列进行特征提取，可使用卷积神经网络，长短期记忆网络，最后在特征提取网络最后增加全连接层，并将其作为电力多参量时间序列的特征f_t。

3.根据权利要求2所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，步骤S2中，使用卷积神经网络进行特征提取，并在特征提取网络最后增加全连接层，并将其作为电力图像数据的特征f_i。

4.根据权利要求1所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，步骤S3中，电力时间序列特征向量和电力图像特征向量进行特征同化方法，具体包括如下：

构建如式(1)所示余弦损失进行特征同化

l_a＝1-cos(f_t,f_i) (1)

其中，l_a为余弦损失，cos(f_t,f_i)表征二类特征间的余弦距离。

5.根据权利要求1所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，步骤S4中，具体步骤如下：

S41、分别对电力多参量时间序列特征和电力图像特征进行感知能力评估，如是分类问题，在f_t后增加全连接层，并使用交叉损失熵进行感知能力评估，交叉损失熵如式(2)所示：

其中，l_c为交叉损失熵；P_i为模型预测结果；P_i ^*为样本真实标签；n为样本数,P_i采用softmax进行计算，具体如式(3)所示，

其中，x＝[x₁,x₂…x_m]，是softmax的输入，由softmax之前的网络参数决定；y为标签类别；m为类别数,

如是回归问题，则可增加全连接层，并以均方误差最小为目标，进行迭代训练，直到收敛，如式(4)所示

其中，MSE为均方误差函数；yⁱ为模型预测结果；y^*i为样本真实标签；n为样本数，

S42、构建权重决策模块和权重损失对二类模态特征进行权重决策，

在模型结构方面，所构造的权重决策结构首先对电力多参量时间序列特征和图像特征进行拼接，然后分别经过2个2048维和1个2维的全连接层，最后使用softmax计算二类权重w_t和w_i，

如式(3)所示，softmax计算出的各类别的概率之和为1，故使用此方法能使得二类数据对应的融合权重之和为1，

在损失函数方面，如式(5)所示，本发明构造损失函数l_w指导模型基于电力目标感知能力进行融合权重决策，其中，l_s和l_i分别为电力多参量时间序列和电力图像对应的感知损失，为了最小化损失，模型会使式(5)中两个平方项趋向于0，从而使得交叉损失熵较大的支路对应较小的权重，而损失较小的支路对应较大的权重，即电力目标感知能力较强的支路对应较大的融合权重，反之电力目标感知能力较差的支路对应较小的融合权重，

6.根据权利要求1所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，在步骤S5中，首先将二类特征与其相应的权重相乘，得到基于权重的电力多参量时间序列数据特征w_tf_t和图像特征w_if_i；然后对二类特征进行拼接，得到2048维的特征接着，将融合后的特征经两个4096维，并用增加相应的全连接层和损失函数。

7.根据权利要求1所述的一种考虑数据差异性的电力多模态特征级融合方法，其特征在于，在步骤S6中，考虑特征提取、特征同化、权重决策机制以及电力目标感知构造损失函数，构建整体损失函数，

l_t＝l_main+αl_a+βl_w+γl_t+δl_i (6)

其中，超参数α、β、γ和δ分别为l_a、l_w、l_s和l_i对应的权重，l_main为基于融合的电力目标感知损失。