CN115564046A - 基于多任务学习的非侵入式负荷监测方法 - Google Patents

Abstract

本申请涉及一种基于多任务学习的非侵入式负荷监测方法，属于负荷监测技术领域，该方法包括：将干线中电能数据的N种物理量输入预先训练的多任务学习模型的共享模块，得到不同物理量之间的关联信息；共享模块是将MMoE中门控网络的可训练矩阵与LSTM编码模块结合后建立；将关联信息分别输入多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量；可以解决现有多任务学习模型的模型性能较差的问题；由于不同物理量之间的关联关系较强，且MMoE结合LSTM编码模块和Self‑Attention可以提取更复杂的关联关系，因此可以更加准确地学习不同物理量之间的关联关系。

Description

基于多任务学习的非侵入式负荷监测方法

技术领域

本申请涉及一种基于多任务学习的非侵入式负荷监测方法，属于负荷监测技术领域。

背景技术

非侵入式负荷监测(Non-intrusive load monitoring，NILM)是指在用户的干线(或称总线)入口处安装一台监测设备，通过智能算法将所采集的总负荷电气量分解为各用电器的独立运行数据，并识别各个用电器工作状态以及分析用户用电行为。目前，在机器学习领域，特别是在非侵入式负荷监测问题领域，大多数任务都是单任务学习，也就是模型一次只学习一个任务。比如：非侵入式负荷监测的目的是通过总线路的数据获取设备的耗电量数据，耗电量数据中包含多种不同的物理量信息。现有的方法在推断目标设备的耗电量数据时，只推断设备的有功功率数据。此时，在模型训练过程中，模型只有一个损失函数，即为单任务学习。

但是，非侵入式负荷监测有时需要同时优化多个目标。此时，可以结合多任务学习优化多个目标。目前，多任务学习可以通过正则化和迁移学习技术来提升模型在所有任务上的平均总体性能。然而，因为基于深度学习的多任务学习模型对数据分布以及任务之间的关系等比较敏感，导致在多任务学习模型中并非所有任务都优于相应的单任务模型的问题。

鉴于上述原因，在应用多任务学习方法解决非侵入式负荷监测问题时，需要使不同子任务具有一定的相似性和相关性。一些采用多任务方法进行非侵入式负荷监测解决方案中，分别将目标设备的状态识别和功率推断分别看作不同的任务，利用各个任务之间的相互关系同时提高模型对状态识别和功率推断的性能。

但是，设备状态与功率之间的关联性可能并不强，此时，基于设备状态和功率来进行多任务学习得到的模型性能不佳。

发明内容

本申请提供了一种基于多任务学习的非侵入式负荷监测方法，可以解决使用设备状态和有功功率建立多任务学习模型时，由于设备状态和有功功率的关联性不强，导致多任务学习模型的模型性能较差的问题。本申请提供如下技术方案：

获取干线中电能数据的N种物理量，所述N为大于1的整数；

将所述N种物理量输入预先训练的多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息；所述共享模块是将多门专家混合层MMoE中门控网络的可训练矩阵与长短期记忆LSTM编码模块结合后建立；

将所述关联信息分别输入所述多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量，不同子任务模块对应的物理量不同。

可选地，所述门控网络在所述LSTM编码模块之后引入自注意力机制Self-Attention，以将每个输入的特征表示为一个权重参数，供所述共享模块结合所述权重参数计算所述关联信息。

可选地，所述将所述N种物理量输入多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息，包括：

通过N个LSTM编码模块分别对N种物理量进行编码，得到每种物理量的特征向量；

对各个特征向量进行拼接操作，得到特征矩阵E；

将预先训练的矩阵W_q和W_k分别与所述特征矩阵E进行叉乘操作得到的矩阵Q和矩阵K；

计算矩阵Q与矩阵K的转置矩阵之间的点积，得到自注意力机制分值；

基于所述自注意力机制分值通过归一化函数得到归一化值；

将所述归一化值与所述N种物理量加权求和后的输出值相乘，得到所述关联信息。

可选地，所述基于所述自注意力机制分值通过归一化函数得到归一化值，包括：

使用预设尺度对所述自注意力机制分值进行缩放，得到缩放后的自注意力机制分值；

将所述缩放后的自注意力机制分值通过归一化函数归一化为概率分布，得到所述归一化值。

可选地，每个子任务模块包括特征提取模块和与所述特征提取模块相连的特征融合模块；

其中，特征提取模块基于自编码器建立，所述特征融合模块基于一个转置卷积层建立。

可选地，所述自编码器为全卷积网络结构。

可选地，所述子任务模块包括主任务对应的子任务模块和辅助任务对应的子任务模块；所述方法还包括：

获取训练集，所述训练集包括与所述N种物理量的种类一一对应的N种样本物理量、以及所述N种样本物理量对应的目标设备的对应物理量的标签值；

将所述N种样本物理量输出未训练的多任务学习模型，得各个子任务模块输出的模型结果；

对于每个子任务模块，使用所述子任务模块对应的损失函数计算所述模型结果和所述子任务模块对应的标签值之间的损失值；不同子任务模块对应的损失函数不同；

计算各个子任务模块对应的损失值的加权和，主任务对应的子任务模块的加权权重大于辅助任务对应的子任务模块的加权权重；

使用所述加权和对所述未训练的多任务学习模型进行迭代训练，得到训练后的多任务学习模型。

可选地，不同损失函数的类型相同。

可选地，所述计算各个子任务模块对应的损失值的加权和之前，还包括：

使用不同的加权权重组合对所述未训练的多任务学习模型进行迭代训练，得到每个加权权重组合对应的模型性能指标；

按照所述模型性能指标选择模型性能最好对应的加权权重组合。

本申请的有益效果至少包括：通过获取干线中电能数据的N种物理量；将N种物理量输入预先训练的多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息；共享模块是将MMoE中门控网络的可训练矩阵与LSTM编码模块结合后建立；将关联信息分别输入多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量，不同子任务模块对应的物理量不同；可以解决使用设备状态和有功功率建立多任务学习模型时，由于设备状态和有功功率的关联性不强，导致多任务学习模型的模型性能较差的问题；由于使用N种物理量来预测目标设备的多种物理量，可以使得多任务学习模型学习不同物理量之间的关联关系，而不同物理量之间的关联关系强于设备状态和有功功率的关联关系，因此，可以提高多任务学习模型的模型性能，从而提高预测目标设备的任意一种物理量的准确性。

另外，通过使用MMoE结合LSTM编码模块构建共享模块，可以更加准确地学习不同物理量之间的关联关系，进一步提高多任务学习模型的模型性能。

另外，通过在MMoE的门控网络中增加Self-Attention，可以提高模型计算主任务的准确性。

另外，通过使用不同的加权权重组合对未训练的多任务学习模型进行迭代训练，得到每个加权权重组合对应的模型性能指标；按照模型性能指标选择模型性能最好对应的加权权重组合，可以提高每个子任务模块对应的权重的准确性，从而进一步提高多任务学习模型的模型性能。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的基于多任务学习的非侵入式负荷监测方法的流程图；

图2是本申请一个实施例提供的三种不同的参数共享模型示意图；

图3是本申请一个实施例提供的RNN和LSTM单元网络结构差异对比的示意图；

图4是本申请一个实施例提供的LSTM编码过程示意图；

图5是本申请一个实施例提供的优化后的MMoE网络结构的示意图；

图6是本申请一个实施例提供的子任务模块的的结构示意图；

图7是本申请一个实施例提供的特征提取模块和特征融合模块的结构示意图；

图8是本申请一个实施例提供的主任务权重对模型不同性能指标的影响的示意图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在推断目标设备的耗电量数据时，可以将关于每一种物理量的推断看作一个独立任务，同一电路系统中的不同物理量之间存在着一定的联系，并不是完全相互独立，因此这些推断不同物理量的独立任务之间存在关联。且不同物理量之间的关联性强于物理量与设备状态之间的关联性。对于在整个电路系统中推断目标设备多种物理量这个总任务而言，将不同子任务对应的单任务模型纳入总模型当中时，单任务模型可以互相补充学习领域相关信息，互相促进学习，达到提升泛化效果、避免总模型过拟合、以及提升总模型性能的目的。因此，本申请提出了一种基于多任务学习的非侵入式负荷监测方法。

应用多任务学习方法解决问题有几个关键点。首先，多任务学习中的多个子任务之间应具有相关性，存在可共享信息。本申请提供的非侵入式负荷监测方法将通过干线中的物理量数据推断设备的相应物理量数据作为子任务，这些子任务的目标相似，不同子任务处理的数据均由同一电路系统产生，通过这样的设定可确保多个子任务之间存在关联。其次，需要设计合适的方法获取不同子任务的共享表示。本申请提供的非侵入式负荷监测方法通过设计专门的神经网络模块获取不同子任务的共享信息，该神经网络模块通过在模型训练过程中对参数不断调整，达到自动发掘任务间共享信息的目的。最后，多任务学习中的一个关键点是要分清不同子任务的重要程度。尽管多任务学习可以同时提升每个子任务的性能，但通常情况，人们更关注其中的某个特定任务。需要将此特定任务设定为主任务，将其他任务设定为辅助任务。通过这样的设定，总模型在训练学习过程中，会更偏向主任务。多任务学习属于归约迁移的一种，归约迁移可以通过归约偏置来改进模型的性能。多任务学习中的归约偏置由辅助任务提供。由于有功功率和耗电量也就是用户的电费账单直接相关，使设备的有功功率推断值更为准确更具有实际意义，同时也方便和其他非侵入式负荷监测方法进行对比。基于此，本申请提供的非侵入式负荷监测方法将以推断设备的有功功率作为主任务，推断其他物理量的任务作为辅助任务为例进行说明。在实际实现时，主任务也可以按照实际需求设置为其它类型的物理量。

可选地，本申请以各个实施例提供的基于多任务学习的非侵入式负荷监测方法用于电子设备中为例进行说明，该电子设备为具有计算能力的终端或服务器，终端可以为与干线相连的智能电表、或者与该智能电表通信相连的计算机、平板电脑等，本实施例不对电子设备的类型作限定。

图1是本申请一个实施例提供的基于多任务学习的非侵入式负荷监测方法的流程图，该方法至少包括以下几个步骤：

步骤101，获取干线中电能数据的N种物理量。

其中，N为大于1的整数。

一般而言，增加模型的输入数据种类数量，可以提高模型的性能，但需要注意的是，新加入的数据需为和任务以及原来的数据相关的数据，否则，在模型中新增和任务相关性不大的数据反而不利于模型的训练及收敛，会对模型性能造成损失。此外，当模型的输入信息种类比较多时，需要设计合适的网络结构将多种特征信息进行综合，使神经网路能够结合不同种类的数据获得其目标数据。

在负载监测场景中，居民的家庭用电大部分为交流电。基于此，电路系统中主要存在的物理量有以下几种：

1、有功功率(P)。当交流电路中存在电感、电容等储能元件时，储能元件可能会引起电路系统中能量流动方向发生周期性变化，在一个完整的循环周期当中，能量在一个方向上的净流量称为有功功率。

2、无功功率(Q)。一个完整循环周期中，在储能元件和电源之间往复的能量部分称为无功功率。

3、相位差

电路中存在的感性或容性元件，会造成频率相同的电压和电流之间的相位存在差值，此差值称为相位差。

4、视在功率(S)。有功功率和无功功率向量和的模长称为视在功率，视在功率可以反映系统的总容量，是有功和无功两种功率的具体体现。

5、功率因数(PF)。功率因数是交流电力系统中的特有物理量，指的是有功功率对视在功率的比值，其值的范围为[0，1]。

6、导纳(Y)。非侵入式负荷监测任务的本质是通过干线数据分析电路系统的内部信息，这些信息包括电路中设备的类型和运行状态等。导纳是一种可以描述设备内部信息的物理量，它的物理含义是表征交流电通过电路或系统时的困难程度。导纳由电导(G)和电纳(B)两部分组成，电导表示导体传输电流能力的强弱程度；电纳是电抗的倒数，电抗用于描述电容及电感对电流的阻碍作用的大小。

上述物理量均可从不同方面表现整个电路系统的运行状态，这和电路中设备的运行状态以及功率有关，综合利用这些物理量信息可以从有限的数据中提取更多的有用的物理量信息。

当上述物理量均存在于同一电网系统中时，把交流电的瞬时电压记为u(t)、瞬时电流记为i(t)、瞬时功率记为p(t)，正弦交流电中电压和电流的有效值分别记为V_rms和I_rms，虚数单位记为j。电路中的物理量存在以下约束关系：

p(t)＝u(t)i(t)

Y＝G+jB

从上面的计算公式中可以看出，不同物理量之间存在一定的数学关系。实际电路中存在的物理量远不止上文所提到的这些，在电路中可通过直接采集或间接计算得到的有意义的物理量可达十余种。这些物理量可能存在信息冗余，一些物理量可能对非侵入式负荷监测任务并没有帮助。模型输入的物理量个数影响特征提取模块的个数和特征融合模块的层数，为了避免信息冗余导致网络模型过拟合，同时也为了避免模型的参数量过多，需要从十余种物理量中挑选出少量具有代表性的关键物理量(即本步骤中的N种物理量)作为模型的输入，即需要进行特征选择。特征选择的目的是寻找最优特征子集。通过特征选择可以剔除特征集中的冗余或不相关的特征，这样能够减少特征个数，可以达到提高模型性能，降低运行时间的目的。

基于此，本实施例中N种物理量的获取方式包括但不限于以下几种：

第一种：获取用户预设的与预测目标设备的有功功率相关的N种物理量。

第二种：在获取干线中电能数据的N种物理量之前，确定N种物理量的类型。

其中，确定N种物理量的类型的方式为：过滤法(Filter)、包装法(Wrapper)或者嵌入法(Embedded)。下面对各种确定方式分别进行介绍。

1、过滤法。即按照皮尔逊(Pearson)相关系数、卡方验证、互信息和最大信息系数以及距离相关系数等对特征进行评分，然后设定阈值或待选特征个数进行筛选。具体地，确定N种物理量的类型，包括：采集干线的电能数据，得到第一物理量；使用电能数据计算各个类型的第二物理量；使用Pearson相关系数、卡方验证、互信息和最大信息系数以及距离相关系数对各个第一物理量和第二物理量进行评分；将大于预设评分阈值的第一物理量和/或第二物理量的类型确定为N种物理量的类型。

其中，第二物理量是使用第一物理量直接计算得到的，或者是使用第一物理量计算出的结果进一步计算得到的，本实施例不对第二物理量的实现方式作限定。

2、包装法。即根据模型评价指标的结果值，每次从特征集中选择或剔除若干特征。具体地，确定N种物理量的类型，包括：确定物理量的初始类型；使用初始类型的物理量训练全卷积自编码网络，得到模型评价指标的第一结果值；使用初始类型的物理量和其它类型的物理量再次训练全卷积自编码网络，得到模型评价指标的第二结果值；其中，其它类型与初始类型不同，且其它类型为能够从干线中采集到的数据类型，或者为能够基于从干线采集到的电能数据计算出的数据类型；在第二结果值大于第一结果值的情况下，将其它类型加入初始类型，并再次执行使用初始类型的物理量和其它类型的物理量再次训练全卷积自编码网络，得到模型评价指标的第二结果值的步骤；在第二结果值小于或等于第一结果值的情况下，将初始类型确定为N种物理量的类型。

其中，初始类型包括有功功率、电流的有功分量、电流的无功分量、导纳和功率因数中的至少两种。

3、嵌入法。即首先通过特定的机器学习模型获得各个特征的权值系数，随后从大到小根据系数值选择特征，此方法和过滤法类似，不同点在于此方法中的特征权值系数通过模型训练方法获得。具体地，确定N种物理量的类型，包括：采集电能数据，得到第一物理量；使用电能数据计算各个类型的第二物理量；将第一物理量和第二物理量输入预先训练的权值计算模型，得到各个物理量的权值系数；按照权值系数由大到小的顺序选择N种物理量的类型。

其中，权值计算模型基于神经网络建立，且使用样本物理量和该样本物理量的权值系数标签训练得到。

步骤102，将N种物理量输入预先训练的多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息。

其中，共享模块是将多门专家混合层(Multi-gate Mixture-of-Experts，MMoE)中门控网络的可训练矩阵与长短期记忆(Long short-term memory,LSTM)编码模块结合后建立。

步骤103，将关联信息分别输入多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量，不同子任务模块对应的物理量不同。

根据步骤102和103可知，多任务学习模型具有多个输入和多个输出，多任务学习模型的输入为干线中的多种不同的物理量，模型的输出为目标设备所在的分线路中相应物理量数据。在模型训练和推理阶段，首先将不同的物理量数据作为输入信息输入到同一个共享模块，共享模块可以学习和挖掘不同物理量数据之间的信息。连接在共享模块之后的是多个并行的针对不同任务的子任务模块，子任务模块的数量和子任务数量保持一致，每个子任务模块分别用于通过干线中的有功功率、导纳等N种物理量推断出目标设备的相对应物理量数据。其中，子任务数量基于用户需求设置，子任务数量可以与N的值相同或不同。

本实施例中，将多门专家混合层作为模型底部共享层用于发掘不同子任务之间的信息，将多个子任务模块和底部共享层相结合，构成了多任务非侵入式负荷监测模型。同时，本实施例中，还对专家混合层进行了针对非侵入负荷监测的修改。

在应用多任务学习方法解决问题时，需要设计合适的网络结构作为参数共享模块。目前，用于多任务学习的网络结果包括：专家混合模型(Mixture-of-Experts)、稀疏门控专家混合层(Sparsely-Gated Mixture-of-Expertslayer，MoE)、多门专家混合层(Multi-gate Mixture-of-Experts，MMoE)。其中，MMoE可以显式从数据中对模型之间关系进行建模。MMoE通过在模型训练过程中自动设置参数来捕获任务相关信息，从而减少了模型参数量，避免了模型训练过程中难以收敛的问题。

传统的共享模型的模型结构参考图2所示，其中，图2(a)是底层共享模型的示意图，图2(b)是单门MoE模型的示意图，图2(c)是多门MoE模型的示意图。多门MMoE模型即为MMoE模型，MMoE模型属于底部共享模型中的一种。用函数f(x)表示底部共享网络，用h^k表示K个不同任务对应的子任务模块，其中，k的取值范围为1≤k≤K。根据图2(a)中可知，底层共享网络接在输入层之上，每个子任务模块独有的网络建立在底部共享网络之上，每个子任务模块的输出y_k出自该子任务模块对应的h^k。因此，对于任务k，模型可以表述为：

y_k＝h^k(f(x))

原始的专家混合模型通过下式表示：

其中存在约束条件

g(x)_i是g(x)的第i个输出，表示专家f_i的概率值。具体来说，f_i是专家网络，g代表着一个汇集了所有的专家的结果的门控网络，门控网络g在n个专家上产生一个分布，模型的最终的实际输出是所有专家输出的加权和。

将底部共享模型和原始专家混合模型的思想相结合即可获得MMoE模型。具体来说，MMoE是将底部共享网络替换为MoE层，同时为每一个子任务k添加一个单独的门控网络。此时，子任务k的输出为：

其中，门控网络g^k(x)是由线性变换和Softmax层组合实现的，即：

g^k(x)＝Softmax(W_gkx)

是一个可训练的矩阵。其中，n是专家数量，d是特征维数即物理量种类数。MMoE的特点是，每个门控网络可以学习“选择”一个专家子集来处理输入样本，适用于多任务学习场景下的灵活参数共享。特殊情况下，每个门控网络若只选择一个具有最高分数的专家，n个门控网络实际上会把输入空间线性划分为n个区域，其中的每个区域对应一个专家。MMoE可以通过复杂的方式对子任务关系进行建模。

然而，原始MMoE框架中专家模块的门控网络过于简单，同时，非侵入式负荷监测任务的数据是一个时序数据，原始MMoE框架中的专家模块并没有针对时序数据进行针对性的网络设计。为此，本实施例对原始MMoE进行了修改优化，将其中的可训练矩阵替换为了更为复杂的LSTM编码模块。LSTM是一种特殊的循环神经网络(Recurrent Neural Network，RNN)。循环神经网络是一种适用于处理序列数据的神经网络，相比于一般神经网络而言，RNN能够有效处理序列数据中的变化，这正符合非侵入式负荷监测问题中数据的特点。

RNN单元和LSTM的网络结构差异如图3所示。从图中可以看出，相较于RNN，LSTM单元中多了细胞状态信息，LSTM可以通过细胞状态记忆信息。LSTM结构中特有的“门控机制”可有效解决RNN在长序列训练过程中的梯度消失和梯度爆炸问题。LSTM通过输入门、输出门和遗忘门并通过Sigmoid函数以及tanh函数相结合可以使LSTM不仅能处理短期依赖问题同时能处理长期依赖问题，这一点在解决非侵入负荷监测问题时十分有用。在整个电路系统中存在着各式各样的设备，不同设备的运行时长不同，例如电水壶的运行时长在五分钟左右，而洗衣机的运行时长在四十分钟左右，同时洗衣机在整个运行周期的不同时间段内存在不同的运行模式，需要同时对长期数据和短期数据进行分析。利用LSTM单元对数据进行编码的过程如图4所示。从图4中可以看出，将一段序列数据在每个时间步依次输入LSTM单元，最终状态下的LSTM单元的输出向量即为被输入数据的向量表示。在本实施例提供的非侵入式负荷监测方法中，LSTM编码模块的作用是将来自输入层的不同物理量数据编码为一个相同尺寸的不同特征向量。

可选地，本实施例中，对原始MMoE框架中的门控网络也进行了优化。具体地，门控网络在LSTM编码模块之后还引入自注意力机制(Self-Attention)，以将每个输入的特征表示为一个权重参数，供共享模块结合权重参数计算关联信息。

Self-Attention机制起源于Attention机制。Attention机制又称注意力机制，注意力机制的思想来源是让计算机模拟人类的观察行为内部过程。比如，人类在观察一张图片的时候，首先会迅速扫描整张图片，然后分析出需要重点关注的目标区域，进而对该区域投入更多的精力。Attention机制和此过程类似，它会将每个输入的特征表示为一个不同的权重参数，从而可以使模型更为关注和输入的元素相关的部分，降低其他无关信息的影响程度。Attention函数的本质可以理解为一个从查询(Query)到多个键值对(Key-Value)的映射。Self-Attention和Attention的不同点在于，Attention中的源和目标的内容是不同的，Attention机制是发生在源中的查询元素和目标中所有元素之间的，而Self-Attention的源和目标均来源自同一内容。换言之，Self-Attention是内部元素之间发生的注意力机制。下面，介绍本实施例提出的优化方案中门控网络的具体计算过程，参考图5，将N种物理量输入多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息，至少包括以下几个步骤：

步骤51，通过N个LSTM编码模块分别对N种物理量进行编码，得到每种物理量的特征向量。

其中，每种物理量对应一个LSTM编码模块，不同物理量对应的LSTM编码模块不同。

图5中，以输入至每个LSTM编码模块的物理量为256×1维的序列数据为例，设定原始序列数据通过滑动窗口技术处理为模型的输入，设定的窗口大小为256个数据点，因此N个物理量对应的输入向量的形状为256×1。经过LSTM编码模块编码后得到1×64维的特征向量。

步骤52，对各个特征向量进行拼接操作，得到特征矩阵E。

比如：对N个LSTM编码模块得到的N个1×64维的特征向量通过Concate函数拼接，得到N×64维的特征矩阵E。

步骤53，将预先训练的矩阵W_q和W_k分别与特征矩阵E进行叉乘操作得到的矩阵Q和矩阵K。

步骤54，计算矩阵Q与矩阵K的转置矩阵之间的点积，得到自注意力机制分值。

比如：矩阵Q为N×32维的矩阵、K为N×32维的矩阵，矩阵Q与矩阵K的转置矩阵进行点积之后，得到N×N维的矩阵，即，自注意力机制分值(Self-Attention Score)。

步骤55，基于自注意力机制分值通过归一化函数得到归一化值。

在一个示例中，通过Softmax函数归一化为概率分布获得归一化值SoftmaxScore。

可选地，为了防止矩阵Q与矩阵K的转置矩阵点积结果过大，需要对其利用尺度标度

进行缩放。d_k是K的维度，缩放的目的是让模型有更稳定的维度。相应地，基于自注意力机制分值通过归一化函数得到归一化值，包括：使用预设尺度对自注意力机制分值进行缩放，得到缩放后的自注意力机制分值；将缩放后的自注意力机制分值通过归一化函数归一化为概率分布，得到归一化值。

步骤56，将归一化值与N种物理量加权求和后的输出值相乘，得到关联信息。

比如：使用Concate函数对N种物理量加权求和，得到256×N维的输出值X_weighted，归一化值为256×N维的矩阵，则X_weighted与该256×N维的矩阵相乘，之后将得到特征值通过split函数拆分成N个256×1维的字符串，得到关联信息，以分别输出至对应的子任务模块，这样可以得到每个滑动窗口对应的关联信息。

具体地，本实施例提供的门控网络的具体计算过程可通过下式表示：

其中，Q＝W_qE，K＝W_kE，E＝LSTM(X)。

另外，本实施例中，提出了一种可利用干线中多种物理量数据推断目标设备的某种物理量的子任务模块，每个子任务模块包括特征提取模块和与特征提取模块相连的特征融合模块。其中，特征提取模块基于自编码器建立，特征融合模块基于一个转置卷积层建立。自编码器为全卷积网络结构。

本实施例中，将干线中的N种物理量集合记为Y，每种物理量数据分别记为Y_j。目标设备所在分线路中的N种物理量集合记为X，每种物理量数据分别记为X_j。本实施例采用多任务学习方法通过Y获得X，即通过干线中的多种物理量数据信息同时推断目标设备所在线路中的多种物理量数据。在多任务方法中，将单个任务的目的设定为通过Y_j获得X_j，即通过干线中的某种物理量数据推断设备分线路中对应的物理量数据。

基于此，由于现有面向非侵入式负荷监测的深度学习方法存在的一个问题是模型参数量过大，本实施例中是在子任务模块中不采用全连接层，采用卷积或转置卷积操作代替全连接操作对数据进行处理，这样可以极大地减少模型的参数数量。基于上述原理，子任务模块设计过程中借鉴了自编码器和深度可分离卷积的思想，子任务模块可以通过干线线路中的共享信息推断目标设备相应物理量的值。

参考图6，本实施例提供的非侵入式负荷监测方法的执行过程具体包括：首先，将共享信息输入特征提取模块61，特征提取模块的数量为1个。特征提取模块的设计思想来源于自编码器，自编码的目的是对一组数据学习出一种表示，表示也称为表征或编码。关于特征提取模块中的具体网络设计，下文中进行详细说明。特征融合模块62连接在特征提取模块61之后，特征融合模块62的作用是将特征提取模块61提取出来的特征融合，下文中对特征融合模块进行更为详尽地说明。网络中的最后一部分为输出层63，输出层63负责将融合后的特征进行处理转化为模型的输出，最后将模型的输出进行反归一化处理即可获得目标设备相应的物理量。

其中，特征提取模块的设计思想来源于降噪自编码器。从某种程度上来说，非侵入式负荷分解可以看作是一项去噪任务。典型的去噪任务包括从旧照片中移除颗粒点或者从录音当中移除混响。至于非侵入式负荷分解，可看作从干线中包含了“噪声”的“混合”数据当中恢复出目标设备“干净”的电力数据。自编码器是目前比较常用的一种用于降噪任务的人工神经网络。自编码器可以将输入信息作为需要学习的目标从而根据输入信息学习出一种编码。自编码器主要由编码器(Encoder)和解码器(Decoder)两部分组成。其中编码器用于将输入压缩编码为潜在空间表征，解码器的作用则是通过潜在空间表征重构输入信号。自编码器是一种典型的Encoder-Decoder结构，Encoder-Decoder作为一个通用框架可用于文字、语言、图像、视频等多种类型数据的处理任务。编码器和解码器可以分别采用不同的网络结构进行搭建，多物理量融合非侵入式负荷监测方法中所使用的特征提取模块的具体网络结构如图7所示。自编码器包括编码器71和与编码器相连的解码器72。

编码器71包括3个依次相连的一维卷积层，且输入至编码器的数据经过3个一维卷积层后，特征的尺寸依次减小。解码器32包括4个依次相连的一维转置卷积层，且输入至解码器的数据经过4个一维转置卷积层后，特征的尺寸依次恢复至输入至自编码器的数据的原始尺寸。

图7中，以3个依次相连的一维卷积层的卷积核尺寸均为8为例。每层一维卷积层的卷积核数量为下一层一维卷积层的卷积核数量的1/2，比如：第一层一维卷积层的卷积核数量为8、第二层一维卷积层的卷积核数量为16、第三层一维卷积层的卷积核数量为32。每个一维卷积层均包括线性整流(Rectified Linear Unit，relu)函数、且步长为1。

图7中，4个依次相连的一维转置卷积层的卷积核尺寸也为8，每层一维转置卷积层的卷积核数量为下一层一维转置卷积层的卷积核数量的2倍，比如：第一层一维转置卷积层的卷积核数量为16、第二层一维转置卷积层的卷积核数量为8、第三层一维转置卷积层的卷积核数量为1、且第四层一维转置卷积层的卷积核数量为1；每个一维转置卷积层包括Sigmoid函数、且步长为1。

通过图7可知，卷积层和转置卷积层的参数设置是为了使编码器和解码器网络结构对称。非侵入式负荷监测任务的数据为时序数据，所以比较适合采用一维卷积对其进行操作。

参考图7，特征融合层为1个转置卷积层73，转置卷积层中卷积核尺寸的时间方向上的尺寸不为1，且每层转置卷积层不采用激活函数。示意性地，转置卷积层中卷积核尺寸为8，卷积核数量为1，步长为1。经过一维转置卷积操作可以将特征提取模块的特征融合为单个特征。

采用转置卷积相比于采用全连接进行特征融合方法的优势在于，可以使计算量和参数量大大减小。深度可分离卷积主要分为逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)两个过程。在逐通道卷积中，每个卷积核只负责一个通道，每个通道只被单独一个卷积核进行卷积操作。逐通道卷积运算对每个通道都进行了独立的卷积操作，不能有效利用相同通道在空间位置上的特征信息，所以需要通过逐点卷积操作将特征进行组合生成新的特征。逐点卷积和常规卷积操作运算是非常相似的，唯一的不同点在于，逐点卷积的卷积核尺寸为1×1×M，M为上一层的通道数量，逐点卷积操作会将逐通道卷积操作生成的特征进行加权组合，产生新的特征。

本实施例提供的非侵入式负荷监测方法中的特征提取模块只对单独的物理量进行特征提取操作，无法有效利用特征在时间维度上的信息，特征提取模块和逐通道卷积的特点十分相似，所以可以通过逐点卷积的思想对已经提取到的特征进行特征融合。但是和逐点卷积操作不同的是，特征融合模块还需要将因卷积操作而尺寸缩小的特征恢复为原始输入大小，这样才能使干线和设备分线的数据形成同时刻对应关系，满足序列到序列的要求，鉴于此，选用转置卷积进行特征融合操作。此外，特征融合模块中的卷积核尺寸也和逐点卷积中的有所不同。转置卷积的卷积核尺寸的第一个维度，也就是在时间方向上的尺寸不能为1，因为对物理量数据进行单个时间点上的转置卷积没有意义，将一个时间段中的数据纳入转置卷积的感受野中，才能挖掘出数据的变化程度等特征。因此，本章方法将转置卷积核尺寸大小设置为8。特征融合模块的目的是对特征提取模块提取到的特征进行融合，替代了Seq2Point中的全连接层，所以特征融合模块中的转置卷积层中不采用激活函数。

本实施例中，子任务模块包括主任务对应的子任务模块和辅助任务对应的子任务模块；在使用多任务学习模型之前，还需要训练得到多任务学习模型。具体训练过程至少包括以下几个步骤：

步骤1，获取训练集，训练集包括与N种物理量的种类一一对应的N种样本物理量、以及N种样本物理量对应的目标设备的对应物理量的标签值。

步骤2，将N种样本物理量输出未训练的多任务学习模型，得各个子任务模块输出的模型结果。

步骤3，对于每个子任务模块，使用子任务模块对应的损失函数计算模型结果和子任务模块对应的标签值之间的损失值；不同子任务模块对应的损失函数不同。

不同损失函数的类型相同。

步骤4，计算各个子任务模块对应的损失值的加权和，主任务对应的子任务模块的加权权重大于辅助任务对应的子任务模块的加权权重。

当存在N个子任务时，定义第i个任务的损失函数为

其对应的权重因子为α_i，那么总体损失函数

的计算公式为：

在设置不同任务的权重时，一方面需要考虑任务类型是否相同，另一方面需要考虑不同任务的重要程度。需要平衡不同类型任务的原因是，当不同任务的损失函数的尺度具有较大差异时，若不将每个损失函数的尺度进行统一，会造成训练过程中整个网络被简单任务所主导，从而影响整体模型性能。

本实施例中，不同的子任务均为从干线数据中推测设备线路中的数据，不同子任务为同一类型任务。机器学习中的学习任务可分为分类和回归两大类，定性输出或离散变量的预测为分类任务，定量输出或连续变量的预测为回归任务。根据此定义，非侵入式负荷监测任务属于回归任务，本实施例中选用回归任务中常用的均方方差(Mean SquaredError，MSE)作为子任务的损失函数，因为各个子任务选用的损失函数的类型相同，所以在设置任务权重时不需要考虑任务类型差异方面的影响。在任务重要程度方面，本实施例将推测有功功率物理量的子任务作为主任务，其他任务作为辅助任务来帮助主任务获得更好的表现性能，因此，主任务相对应的损失函数的权重要大于其他辅助任务。

步骤5，使用加权和对未训练的多任务学习模型进行迭代训练，得到训练后的多任务学习模型。

可选地，计算各个子任务模块对应的损失值的加权和之前，还包括：使用不同的加权权重组合对未训练的多任务学习模型进行迭代训练，得到每个加权权重组合对应的模型性能指标；按照模型性能指标选择模型性能最好对应的加权权重组合。

示意性地，多任务学习模型的性能评价指标包括但不限于：平均绝对误差(MeanAbsolute Error，MAE)、信号聚合误差(signal aggregate error，SAE)和F1分数(F1-Score)。

在计算F1分数时，需要针对本实施例选用的数据集的设备特点，设定设备的上电阈值，比如本实施例中各个目标设备的上电阈值设定见表二。

表二：

比如：分别对任务设定几组不同的权重值，并进行实验观察模型表现。具体地，在N个任务中，共有一个主任务，N-1个辅助任务，设主任务的loss权重为β，第i个辅助任务的loss的权重为γ_i，在本实施例的loss权重确定过程中，它们需满足以下几条约束条件：

1、主任务需要比任一辅助任务的重要程度高，所以主任务的损失函数权重应大于任一辅助任务，所以应有β>1/N。

2、各个辅助任务在整个多任务模型训练过程中的地位相同，所以各个辅助任务的权重应该相等。

3、所有任务的权重的和为1，所以有

实验过程中，主任务的权重从0.3至1每次增加0.1，其他四个辅助任务的权重设定满足上面三个约束条件。假如将洗衣机作为为目标设备，将MAE、SAE和F1分数作为模型性能评价指标。

参考图8，从图中可以看出，当主任务的权重为0.3时，模型性能较差。随着主任务权重的不断增加，模型的性能逐渐提升。当主任务的权重为0.7时，模型的三项性能指标表现的最好。当主任务权重继续增加时，模型的性能逐渐下降。当主任务的权重为1，其他任务的权重为0时，模型的性能最差。

另外，本实施例中，还将单任务方法、通过原始MMoE实现的多任务方法、以及本申请中通过优化后的MMoE实现的多任务方法三者进行了对比，得到的对比结果见表二。通过表二可以看到，单任务方法、原始MMoE方法、优化后的MMoE方法，三种方法的性能表现依次提升。MAE指标方面，原始MMoE比单任务平均下降了10.230，下降幅度约为31.17％，优化后的MMoE比原始MMoE平均下降了4.373，下降幅度约为19.36；SAE指标方面，原始MMoE比单任务平均下降了0.073，下降幅度约为23.03％，优化后的MMoE比原始MMoE平均下降了0.030，下降幅度约为12.30％；F1指标方面，原始MMoE比单任务平均性能提升了0.097，提升幅度约为17.70％，优化后的MMoE比原始MMoE平均性能提升了0.034，提升幅度约为5.27％。通过表二中的实验结果数据可以看出，原始MMoE和优化后的MMoE实现的多任务方法的性能均优于单任务学习方法，证明了多任务学习方法相比于单任务学习方法能够学习到更多有用信息，提升分解的性能。此外，通过优化后的MMoE和原始MMoE二者的实验对比，说明了优化的MMoE比原始MMoE更适用于非侵入式负荷监测，证明了本申请提出的MMoE优化方案的有效性。

表二：

根据上述内容可知，本实施例中，首先，通过实验确定了基于多任务学习的非侵入式负荷监测方法中各子任务的权重。随后，将应用多门专家混合层所实现的多任务学习方法和采用单任务的方法进行了对比实验，证明了将原始任务设定为多任务学习中的主任务可有效提升原始任务的性能，证实了多任务学习方法的有效性。最后，对采用优化后的MMoE框架和原始MMoE框架实现的多任务非侵入式负荷监测方法进行了对比，证明了，在非侵入式负荷监测问题上，本申请提出的MMoE框架优化方案相比于原始MMoE能够更好地对任务关系进行建模、挖掘任务间的信息、提升模型性能。在对比实验时，单任务方法选用的物理量为有功功率，多任务方法选用了5种物理量，本实施例中物理量选择方案为有功功率、电流的有功分量、电流的无功分量、导纳和功率因数。具体理由如下：

有功功率(P)：由于模型输出的物理量是有功功率，将有功功率作为输入信息最为直观。

电流的有功分量(Ia)，即有功功率与电压之比：在交流电系统中，由于电网的作用，电压会有一定的波动，以有功功率除以电压求比值，能尽量消除电压波动造成的影响。

电流的无功分量(Ir)，即无功功率与电压之比：理由与电流的有功分量相同。

导纳(Y)：导纳是一个与电压无关的特征量，其值仅取决于设备本身的性质。

功率因数(PF)：功率因数的大小和电路中的负荷的性质密切相关，不同的电器内部具有不同的感性元件、容性元件和阻性元件。功率因数的值会因电路中存在的设备的不同而发生变化，比较适合用来分辨电路系统中所含设备的类别，较为适合作为非侵入式负荷分解的输入信息。

根据上文可知，本实施例提供的非侵入式负荷监测方法，通过干线中的有功功率数据推断目标设备有功功率数据的任务被设定为主任务，推断其他物理量的任务被设定为辅助任务。在模型训练过程中，辅助任务学习到的信息可以帮助模型泛化，提高主任务的学习效果。在模型的网络结构设计方面，将子任务模块和多门专家混合层进行了结合实现了基于多任务方法的非侵入式负荷监测模型。由于多门专家混合层中的神经网络过于简单同时其网络结构设计过程中没有考虑时序数据的特点，本实施例结合LSTM编码思想以及Self-Attention机制思想，对多门专家混合层进行了优化。最后，通过真实数据集AMPds2进行了实验，分别将单任务学习模型、采用原始的多门专家混合层实现的多任务学习模型、采用优化后的多门专家混合层实现的多任务学习模型三者进行了对比，证实了，在解决非侵入式负荷监测问题时，多任务学习方法比单任务学习方法效果更好，也证实了本实施例提出的多门专家混合层优化方案的有效性。

综上所述，本实施例提供的基于多任务学习的非侵入式负荷监测方法，通过获取干线中电能数据的N种物理量；将N种物理量输入预先训练的多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息；共享模块是将MMoE中门控网络的可训练矩阵与LSTM编码模块结合后建立；将关联信息分别输入多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量，不同子任务模块对应的物理量不同；可以解决使用设备状态和有功功率建立多任务学习模型时，由于设备状态和有功功率的关联性不强，导致多任务学习模型的模型性能较差的问题；由于使用N种物理量来预测目标设备的多种物理量，可以使得多任务学习模型学习不同物理量之间的关联关系，而不同物理量之间的关联关系强于设备状态和有功功率的关联关系，因此，可以提高多任务学习模型的模型性能，从而提高预测目标设备的任意一种物理量的准确性。

另外，通过使用MMoE结合LSTM编码模块构建共享模块，可以更加准确地学习不同物理量之间的关联关系，进一步提高多任务学习模型的模型性能。

另外，通过在MMoE的门控网络中增加Self-Attention，可以提高模型计算主任务的准确性。

另外，通过使用不同的加权权重组合对未训练的多任务学习模型进行迭代训练，得到每个加权权重组合对应的模型性能指标；按照模型性能指标选择模型性能最好对应的加权权重组合，可以提高每个子任务模块对应的权重的准确性，从而进一步提高多任务学习模型的模型性能。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多任务学习的非侵入式负荷监测方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多任务学习的非侵入式负荷监测方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于多任务学习的非侵入式负荷监测方法，其特征在于，所述方法包括：

获取干线中电能数据的N种物理量，所述N为大于1的整数；

将所述N种物理量输入预先训练的多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息；所述共享模块是将多门专家混合层MMoE中门控网络的可训练矩阵与长短期记忆LSTM编码模块结合后建立；

将所述关联信息分别输入所述多任务学习模型中多个并行的子任务模块，得到每个子任务模块输出的目标设备的相对应物理量，不同子任务模块对应的物理量不同。

2.根据权利要求1所述的方法，其特征在于，所述门控网络在所述LSTM编码模块之后引入自注意力机制Self-Attention，以将每个输入的特征表示为一个权重参数，供所述共享模块结合所述权重参数计算所述关联信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述N种物理量输入多任务学习模型的共享模块，得到共享模块挖掘出的不同物理量之间的关联信息，包括：

通过N个LSTM编码模块分别对N种物理量进行编码，得到每种物理量的特征向量；

对各个特征向量进行拼接操作，得到特征矩阵E；

将预先训练的矩阵W_q和W_k分别与所述特征矩阵E进行叉乘操作得到的矩阵Q和矩阵K；

计算矩阵Q与矩阵K的转置矩阵之间的点积，得到自注意力机制分值；

基于所述自注意力机制分值通过归一化函数得到归一化值；

将所述归一化值与所述N种物理量加权求和后的输出值相乘，得到所述关联信息。

4.根据权利要求3所述的方法，其特征在于，所述基于所述自注意力机制分值通过归一化函数得到归一化值，包括：

使用预设尺度对所述自注意力机制分值进行缩放，得到缩放后的自注意力机制分值；

将所述缩放后的自注意力机制分值通过归一化函数归一化为概率分布，得到所述归一化值。

5.根据权利要求1所述的方法，其特征在于，每个子任务模块包括特征提取模块和与所述特征提取模块相连的特征融合模块；

其中，特征提取模块基于自编码器建立，所述特征融合模块基于一个转置卷积层建立。

6.根据权利要求5所述的方法，其特征在于，所述自编码器为全卷积网络结构。

7.根据权利要求1所述的方法，其特征在于，所述子任务模块包括主任务对应的子任务模块和辅助任务对应的子任务模块；所述方法还包括：

获取训练集，所述训练集包括与所述N种物理量的种类一一对应的N种样本物理量、以及所述N种样本物理量对应的目标设备的对应物理量的标签值；

将所述N种样本物理量输出未训练的多任务学习模型，得各个子任务模块输出的模型结果；

对于每个子任务模块，使用所述子任务模块对应的损失函数计算所述模型结果和所述子任务模块对应的标签值之间的损失值；不同子任务模块对应的损失函数不同；

计算各个子任务模块对应的损失值的加权和，主任务对应的子任务模块的加权权重大于辅助任务对应的子任务模块的加权权重；

使用所述加权和对所述未训练的多任务学习模型进行迭代训练，得到训练后的多任务学习模型。

8.根据权利要求7所述的方法，其特征在于，不同损失函数的类型相同。

9.根据权利要求7所述的方法，其特征在于，所述计算各个子任务模块对应的损失值的加权和之前，还包括：

使用不同的加权权重组合对所述未训练的多任务学习模型进行迭代训练，得到每个加权权重组合对应的模型性能指标；

按照所述模型性能指标选择模型性能最好对应的加权权重组合。

Images