CN111582610A

CN111582610A - 基于卷积神经网络对家庭能量分解的预测方法

Info

Publication number: CN111582610A
Application number: CN202010666433.6A
Authority: CN
Inventors: 郭子健; 李晶晶; 朱海; 陈宗伟; 胡国平; 何平
Original assignee: Sichuan Energy Internet Research Institute EIRI Tsinghua University
Current assignee: Sichuan Energy Internet Research Institute EIRI Tsinghua University
Priority date: 2020-07-13
Filing date: 2020-07-13
Publication date: 2020-08-25

Abstract

本发明的实施例提供了一种基于卷积神经网络对家庭能量分解的预测方法，涉及家庭能量分解预测技术领域。该预测方法包括：构建面向负荷分解的卷积神经网络，卷积神经网络包括连接的特征提取层和高层；训练卷积神经网络，对于每一个神经元通过激活函数进行卷积与池化；多样本处理批量标准化；对于负荷分解的深度网络损失函数进行优化，并用损失函数来度量拟合的程度；通过Dropout技术防止机器学习模型的过拟合；进行序列到序列、序列到点的负荷分解预测；基于迁移学习进行负荷分解。该预测方法，解决了现有的深度神经网络配合简单的滑动窗口方法无法有效的预测单点元素的问题。

Description

基于卷积神经网络对家庭能量分解的预测方法

技术领域

本发明涉及家庭能量分解预测技术领域，具体而言，涉及一种基于卷积神经网络对家庭能量分解的预测方法。

背景技术

当前的家用电表只能报告整个家庭的累计耗能数据，无法以设备为单位展示家庭每个电器的耗电情况。能量分解本质上是无法识别的，因此是一个困难的预测问题。

深度神经网络已被证明是解决这些问题的一种有前途的方法，可以通过使用神经网络，如卷积和递归神经网络的序列到序列学习方法来对单通道盲源分离问题进行建模。序列到序列学习的思想是训练一个深层网络，以在家庭主电源功耗读数输入序列与单个家用电器设备功率读数输出序列之间进行映射。

现有的深度神经网络从一个观察到的主电源功耗数据中分解提取出多个能耗来源电器数据时，易于受到图形处理单元（GPU）的内存限制，以及在递归神经网络中存在的梯度消失和梯度爆炸问题，即使配合简单的滑动窗口方法无法有效的预测单点元素的问题。

因此，设计一种基于卷积神经网络对家庭能量分解的预测方法，能够避免图形处理单元的内存限制，也能够避免递归神经网络中的梯度消失和梯度爆炸问题，这是目前急需解决的技术问题。

发明内容

本发明的目的在于提供了一种基于卷积神经网络对家庭能量分解的预测方法，其能够避免图形处理单元的内存限制，也能够避免递归神经网络中的梯度消失和梯度爆炸问题。

本发明的实施例可以这样实现：

第一方面，本发明实施例提供一种基于卷积神经网络对家庭能量分解的预测方法，预测方法包括：

构建面向负荷分解的卷积神经网络，卷积神经网络包括连接的特征提取层和高层；

训练卷积神经网络，对于每一个神经元通过激活函数进行卷积与池化；

多样本处理批量标准化；

对于负荷分解的深度网络损失函数进行优化，并用损失函数来度量拟合的程度；

通过Dropout技术防止机器学习模型的过拟合；

进行序列到序列、序列到点的负荷分解预测；

基于迁移学习进行负荷分解。

在可选的实施方式中，多样本处理批量标准化的步骤包括：

在卷积神经网络的每一层前插入了一个归一化层。

在可选的实施方式中，特征提取层包括交替设置的卷积层和池化层，高层为全连接层。

在可选的实施方式中，全连接层位于卷积神经网络的隐含层的最后部分。

在可选的实施方式中，全连接层的数量为一层或两层，所述全连接层用于提取、整合信息，并发送至后续层。

在可选的实施方式中，构建面向负荷分解的卷积神经网络的步骤包括：

采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过循环的迭代训练提高网络的精度。

在可选的实施方式中，激活函数包括非线性函数Sigmoid和tanh函数。

在可选的实施方式中，对于负荷分解的深度网络损失函数进行优化，并用损失函数来度量拟合的程度的步骤包括：

将损失函数极小化，并选择对应的模型参数为最优参数。

在可选的实施方式中，基于迁移学习进行负荷分解的步骤包括：

通过放宽训练数据和测试数据为独立同分布的假设，将知识从源领域迁移到目标领域。

在可选的实施方式中，源领域包括要迁移的对象，对象包括知识和标注，目标领域用于赋予知识和标注。

本发明实施例提供的基于卷积神经网络对家庭能量分解的预测方法的有益效果：

面对日益严重的能源紧缺的问题以及用电量逐年增长的现状，该预测方法能够以设备为单位展示家庭每个电器的耗电情况，为用电节能改造以及发展智能电网技术创造了条件。该预测方法还解决了现有的深度神经网络从一个观察到的主电源功耗数据中分解提取出多个能耗来源电器数据时，易于受到图形处理单元（GPU）的内存限制，以及在递归神经网络中存在的梯度消失和梯度爆炸问题，即使配合简单的滑动窗口方法无法有效的预测单点元素的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于卷积神经网络对家庭能量分解的预测方法的流程图；

图2为卷积神经网络的组成示意图；

图3为池化的形式的示意图；

图4为神经元的结构示意图；

图5为神经网络采用dropout技术前后对比图；

图6为传统机器学习过程和迁移学习过程的示意图；

图7为两种不同迁移学习方案结构图。

图标：1-卷积神经网络；2-特征提取层；3-卷积层；4-池化层；5-高层。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

如何实现从一个观察到的主电源功耗数据中分解提取出多个能耗来源电器数据。此外，针对能源分解预测问题还有很多不确定性来源，包括数据中的噪声，单个电器实际用电量的不精确统计，多台功率相似的电器，以及同时开启或关闭多个电器问题等：深度神经网络已被证明是解决这些问题的一种有前途的方法，可以通过使用神经网络如卷积和递归神经网络的序列到序列学习方法来对单通道盲源分离问题进行建模。序列到序列学习的思想是训练一个深层网络，以在家庭主电源功耗读数输入序列与单个家用电器设备功率读数输出序列之间进行映射。

由于当前图形处理单元（GPU）的内存限制，以及递归神经网络中存在的梯度消失和梯度爆炸问题，过长的序列会使模型训练变得很困难。避免长序列问题的常见方法是滑动窗口方法，即训练网络将输入信号的窗口映射到输出信号的相应窗口，这引发了有关如何组合来自不同滑动窗口的预测结果的问题。这种方法有以下不足点，其一，由于每个滑动窗口都会对输出信号预测一次，则输出信号的每个元素会被多次预测，通过取平均值作为最后的预测值会导致边缘平滑现象；此外，如何实现某些滑动窗口能够比其他滑动窗口更好地预测一些单点元素，以便网络可以更好利用输入信号附近区域的信息，然而，简单的滑动窗口方法根本无法利用这些信息。

现有的深度神经网络从一个观察到的主电源功耗数据中分解提取出多个能耗来源电器数据时，易于受到图形处理单元（GPU）的内存限制，以及在递归神经网络中存在的梯度消失和梯度爆炸问题，即使配合简单的滑动窗口方法无法有效的预测单点元素的问题。对此，本实施例提供的基于卷积神经网络对家庭能量分解的预测方法，能够解决了现有的深度神经网络从一个观察到的主电源功耗数据中分解提取出多个能耗来源电器数据时，易于受到图形处理单元（GPU）的内存限制，以及在递归神经网络中存在的梯度消失和梯度爆炸问题，即使配合简单的滑动窗口方法无法有效的预测单点元素的问题。

请参考图1，本实施例提供了一种基于卷积神经网络对家庭能量分解的预测方法，预测方法包括以下步骤：

S1：构建面向负荷分解的卷积神经网络。

请参阅图2，卷积神经网络1包括连接的特征提取层2和高层5，特征提取层2相当于低隐层，特征提取层2包括交替设置的卷积层3和池化层4，高层5为全连接层。全连接层位于卷积神经网络的隐含层的最后部分。全连接层的数量为一层或两层，所述全连接层用于提取、整合信息，并发送至后续层。采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过循环的迭代训练提高网络的精度。

卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差，类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，也可以被称为“感受野”，其含义可类比视觉皮层细胞的感受野。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量，能够捕捉到多维输入数组数据的局部特征。对于一个二维输入矩阵X，卷积操作可用下式表示：

卷积后的特征图通过非线性激活函数进行激活，通常采用非饱和线性整流单元ReLU代替传统的激活函数，如采用双曲正切函数tanh和罗杰思特函数sigmoid。对于一个输出为T的神经元，使用线性整流激活函数后会得到输出max（0,T）。这种激活函数能够加速网络训练的速度，降低计算的复杂度，对各种干扰具有更强鲁棒性，并且能在一定程度上避免梯度消失问题。

池化层实际上是一种形式的降采样，有多种不同形式的非线性池化函数，请参阅图3，展示了平均值池化和最大值池化两种形式，其中最大值池化是最为常用的。它是将输入划分为若干个矩形区域，对每个子区域输出最大值。这种机制能够生效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层不会改变矩阵的深度，但是可以缩小矩阵的大小。池化层会不断地减小数据的空间大小并保证了输入特征的平移不变性，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层来进一步处理卷积层的输出，起到防止过拟合，提高模型训练效率的作用。

卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，可以有一层或两层，所述全连接层用于提取、整合信息，并发送至后续层。输入矩阵经过卷积层和池化层后得到的输出将被展开为向量，并通过激励函数进行非线性组合以得到网络的输出。

S2：训练卷积神经网络。

对于每一个神经元

通过激活函数f进行卷积与池化。激活函数f包括非线性函数Sigmoid和tanh函数。神经网络的工作原理包括前向传播和反向传播两个过程。前向传播时，网络输入经由各个隐藏层神经元激活并传递到输出。对于一个神经元i，其前向传播输出过程可用图4的结构表示，其中X^l _j代表神经网络的第l层中第i个神经元，W代表该层权重矩阵，f表示激活函数，一般采用非线性激活函数如Sigmoid和tanh函数。则在卷积神经网络中，卷积过程和池化过程可用下面式子表示：

在前向传播时，权重W和偏移量b被随机初始化，这会使得网络输出与目标值之间存在巨大偏差。而反向传播的过程就是通过梯度下降法则不断修正网络的权重和偏移量，直到网络输出和真实目标值之间的误差足够小。给定误差函数E，则神经网络的反向传播过程可通过链式法则求解。误差函数关于权重矩阵和偏置向量的偏导即为各层权值更新的依据，误差关于b的变化率称为灵敏度，可表示为：

对于卷积层的梯度计算，由于卷积层后为池化层，池化后的特征数据维度降低，故采用升采样还原池化前的数据维度，其中up表示上采样函数，如果池化因子是n的话，则在池化层每个水平和垂直方向上重复n次即可还原上一卷积层

输出的数据维度，可用Kronecker乘积实现：

误差关于偏置b求偏导由各区域灵敏度累计和表示，关于权重W的偏导由所有权值共享所有梯度累计和表示：

对于池化层的梯度计算，当池化层下一层为全连接层时灵敏度通过反向传播法则得到，若池化层后为卷积层，则需找到池化层和卷积层间的对应关系来计算灵敏度。得到灵敏度后，即可计算b和β的梯度：

S3：多样本处理批量标准化。

在卷积神经网络的每一层前插入了一个归一化层，即先做一个归一化处理，然后再进入网络的下一层。批量标准化(英文名：“Batch Normalization”，简称：BN)是将分散的数据统一的一种做法，也是优化神经网络的一种方法，能够加速训练过程。与激活函数层、卷积层、全连接层、池化层一样，批量标准化也属于网络的一层。其在训练深度卷积神经网络时是必不可少的，缺少分批标准化，会导致训练偏离非常快。因此在所有卷积层中，应用批量标准化进行处理。算法本质原理是在网络的每一层前插入了一个归一化层，即先做一个归一化处理，然后再进入网络的下一层。批量标准化是一个可学习、有参数（γ，β）的网络层。假设特征k的一个输入序列x，则对于训练过程中的每一个小批量输入数据，批量标准化前向传播过程可用下列式子表示，首先提取每次迭代时的每个小批量数据的平均值μ_B和方差σ² _B进行归一化得到

，再通过两个可学习的变量γ和β恢复要学习的特征值y_i。

如果实际应用的样本与训练样本分布不同，则一般要对模型重新进行训练。在神经网络，尤其是深度神经网络中，样本点的变化会导致模型预测效果变差。

批量标准化计算过程如下：

输入：从训练集中采样的m个样本作为小批量B={x_1~m}；

待学习的参数γ和β

输出：{y_i=BN_{γ，β（xi）}}

计算过程：

而批量标准化的作用既是通过减小内部协变量漂移的影响，来加速深度网络训练，让模型变得更加健壮，鲁棒性更强。批量标准化减少了各层权重和偏置向量之间的耦合性，让各层更加独立，实现自我训练学习的效果。

S4：对于负荷分解的深度网络损失函数进行优化，并用损失函数来度量拟合的程度。

具体的，对于负荷分解的深度网络损失函数进行优化，为了评估模型拟合的好坏，用损失函数来度量拟合的程度。将损失函数极小化，意味着拟合程度最好，并选择对应的模型参数为最优参数。

在线性回归中，损失函数通常为样本输出和假设函数的差取平方。梯度下降是指沿着损失函数梯度下降的方向求解极小值（也可以沿着梯度上升的方向求最大值）的最优化算法。对于所有待学习更新的参数θ，有：

在使用梯度下降时，需要对以下超参数进行调优：

（1）步长选择，步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度，步长取值取决于数据样本，步长太大，会导致迭代过快，甚至有可能错过最优解，步长太小，迭代速度太慢，很长时间算法都不能结束，所以算法的步长需要多次运行后才能得到一个较为优的值；

（2）算法参数的初始值选择，不同的初始值，获得的最小值也有可能不同，因此梯度下降求得的只是局部最小值，当然如果损失函数是凸函数则一定是最优解，由于有局部最优解的风险，需要多次用不同初始值运行算法，关注损失函数的最小值，选择损失函数最小化的初值；

（3）归一化，由于样本不同特征的取值范围不一样，可能导致迭代很慢，为了减少特征取值的影响，可以对特征数据进行归一化操作缩放到(-1,1)，即对于每个特征x，求出它的期望

和标准差std(x)，然后转化为

,如此可加快迭代速度。

在模型学习的实际使用过程中，通常采用优化形式的梯度下降算法进行最优化求解。根据参数更新时使用的样本数量区别，主要可以分为批量梯度下降法（BGD）、随机梯度下降法（SGD）、小批量梯度下降法（MBGD）。批量梯度下降法指在更新参数时使用所有的样本进行更新；而随机梯度下降法则是只选取一个样本对求解梯度。对于训练速度来说，随机梯度下降法由于每次仅仅采用一个样本来迭代，训练速度很快，而批量梯度下降法在样本量很大的时候，训练速度不能让人满意。对于准确度来说，随机梯度下降法用于仅仅用一个样本决定梯度方向，导致解很有可能不是最优。对于收敛速度来说，由于随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收敛到局部最优解。小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，从训练样本中选取部分样本用于更新参数。三种形式的优化下降算法对应点的更新公式如下：

自适应矩估计（英文名：“Adaptive Moment Estimation”，简称：Adam）优化算法是一种为每个参数提供自适应学习率的方法。该优化方法在对梯度平方(二阶矩)估计的基础上增加了对梯度(一阶矩)的估计，使得整个学习过程更加稳定。Adam在深度学习领域内是十分流行的算法，因为它能很快地实现优良的结果。经验性结果证明Adam算法在实践中性能优异，相对于其他种类的随机优化算法具有很大的优势。Adam优化算法在深度学习中应用于梯度下降方法的过程如下图所示：

参数：

（1）步长ϵ，默认取值为0.001；

（2）矩估计的指数衰减率，ρ₁和ρ₂在区间（0，1）内，建议取值分别为0.9和0.999；

（3）用于数值稳定的小常数δ，默认取值为10^-8；

（4）初始参数θ，初始化一阶和二阶矩变量s=0，r=0，初始化时间步t=0

算法过程：

While 没有达到停止准则 do

从训练集中采样包含

个样本

的小批量，对应目标为y^（i）

计算梯度：

更新有偏一阶矩估计：

更新有偏二阶矩估计：

修正一阶矩的偏差：

修正二阶矩的偏差：

计算更新：

（逐元素应用操作）

应用更新：

end while

其算法主要过程如下：（1）更新步数t到t+1；（2）计算原目标函数f(θ)对参数θ的梯度；（3）计算梯度的一阶矩，即过往梯度与当前梯度的平均，类似平滑操作，如上图的s即步数为t时的梯度一阶矩；（4）计算梯度的二阶距，即过往梯度平方与当前梯度平方的平均，如上图r即是步数为t时的梯度二阶矩；（5）修正一阶矩和二阶矩的偏差，由于他们初始值通常为0，因此在训练初期或者接近1时，估计的期望往往偏向于0，这样处理后会减少这种偏置影响；（6）最后计算更新参数θ，此时的θ_t可看作更新参数θ的学习率，

则为更新参数的梯度。

S5：通过Dropout技术防止机器学习模型的过拟合。

Dropout技术可以比较有效地缓解过拟合的发生，在一定程度上达到正则化的效果。Dropout可以作为训练深度神经网络的一种技巧供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。

这种方式可以减少特征检测器（隐层节点）间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。简单来说，在神经网络的前向传播过程中，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图5所示。

对于一个标准的神经网络，假设输入是X输出是Y，则网络训练过程为：X首先通过网络前向传播，然后计算模型误差，再把误差反向传播以决定如何更新参数让网络进行学习。对网络使用Dropout之后，过程变成如下：（1）随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图5中右子图中未连接的节点表示部分临时被删除的神经元）；（2）把X输入到修改后的网络进行前向传播，得到预测误差，之后通过修改后的网络进行反向传播，一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（W,b）；（3）重复以下过程：恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）；从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）；对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（W,b）,没有被删除的那一部分参数得到更新，而临时删除的神经元参数则保持被删除前的结果。

在训练模型阶段，采用dropout技术的网络计算公式如下：

其中Bernoulli函数是为了生成概率r向量，即随机生成一个0或1向量。代码实现时，为使某个神经元以概率p停止工作，可以设置其激活函数值以概率p变为0。在测试模型阶段，每一个神经单元的权重参数

都要乘以概率p。

Dropout被大量应用于全连接网络层，一般丢弃概率设置为0.5或者0.3。而在卷积网络隐藏层中，由于卷积自身的稀疏化以及稀疏化的ReLU函数的大量使用等原因，Dropout策略在卷积网络隐藏层中使用较少。

S6：进行序列到序列、序列到点的负荷分解预测。

具体的，序列到序列、序列到点的负荷分解预测，序列到序列预测通过定义一个神经网络模型把一个输入序列（家庭主电源在滑动窗口W内的读数序列

转化为输出序列（单个家用电器设备在同一滑动窗口W内的功耗读数

，从而实现对目标序列的预测功能。损失函数可用如下公式表示：

当

时，每个包含时刻

的滑动窗口都会对x_t实现一次预测，以多次预测值的平均值作为x_t的最终预测结果。实验结果表明采用这种基于序列到序列技术的预测方法对NILM任务的预测效果优于传统的方法如加性因子隐马尔科夫模型。

序列到点技术是一种不同于序列到序列预测技术的方法，该技术实现对滑动窗口的中点元素值的预测，而不是对整个窗口序列的预测。和序列到序列预测一样，该技术通过训练一个神经网络模型对输入的家庭主电源在滑动窗口W内的读数序列进行分解，从而实现对某一单一家用电器设备的功耗预测。然而，该项技术的输出仅是目标电器相应窗口的中点元素，而非整个窗口序列。该方法假设中点元素与主电源窗口间存在非线性回归关系

，通过学习神经网络F_p的各项参数实现预测功能。针对序列到点的预测技术，模型损失函数可以表示如下：

为解决序列两端点的预测问题，我们可以在整个序列的开头和末尾分别填充半个滑动窗口长度的0值，如此通过滑动窗口，即可实现对某一单一家用电器在每个时刻功耗读数的预测。

无论是序列到序列还是序列到点的预测技术，本质都是后验概率密度估计问题。当序列长度T趋向于无穷长时，滑动窗口个数也会变为无穷多个，形成一个总体概率分布π(X|Y)，其中X和Y是长度为W的随机向量，Y代表主电源窗口读数，X则表示单个用电设备的窗口读数。序列到序列的预测技术旨在找到一个θ值使得分布p(X|Y,θ)最大化，使用该值近似后验概率分布π(X|Y)，从而实现预测目的。通过最小化下面关于θ的KL-散度公式即可得到满足要求的θ值。因此，两种预测技术本质都是采用最小化KL-散度的蒙特卡洛近似来实现预测功能，如下公式所示：

S7：基于迁移学习进行负荷分解。

迁移学习是机器学习中解决训练数据不足问题的重要工具，通过放宽训练数据和测试数据为独立同分布的假设，将知识从源领域迁移到目标领域。源领域包括要迁移的对象，对象包括知识和标注，目标领域用于赋予知识和标注，这对由于训练数据不足而难以改善性能的许多研究领域产生巨大的积极影响。

迁移学习的问题形式化是进行一切研究的前提。在迁移学习中，有两个基本概念：领域和任务。领域是进行学习的主体。领域主要由两部分构成：数据和生成这些数据的概率分布。特别地，因为涉及到迁移，所以对应于两个基本的领域：源领域和目标领域。源领域就是有知识、有大量数据标注的领域，是要迁移的对象；目标领域就是最终要赋予知识、赋予标注的对象。知识从源领域传递到目标领域，就完成了迁移。值得注意的是，概率分布PP通常只是一个逻辑上的概念，即我们认为不同领域有不同的概率分布，却一般不给出（也难以给出）PP的具体形式。任务是学习的目标，主要由两部分组成：标签和标签对应的函数。

请参阅图6，传统的机器学习过程，针对不同学习任务需要学习不同的模型；而迁移学习学习过程，能够将从源领域学习到的模型迁移到目标领域。迁移学习可以定义为：给定一个基于目标数据D_t的学习任务T_t，利用从源领域D_s和任务T_s中学习到的有用先验知识，迁移到任务T_t，从而提高任务T_t的预测函数f_T的学习效果，其中D_s≠D_t并且T_s≠T_t。此外，大多数情况下，D_s的规模远大于D_t的规模。针对迁移学习中的跨领域迁移，可以先通过多任务学习得到先验知识的共享表示，即通过多个源领域任务的共同学习，提取出使用与其他相似任务的共享知识，然后迁移应用到新领域任务中，实现跨领域迁移。在多个源领域任务共荣学习的过程中，可以通过浅层的共享表示来互相分享、互相补充学习到的先验知识，从而促进各个任务之间的互相学习、共同提升。各个领域在多任务学习过程中所提取的通用知识，是单个任务学习无法实现的。同时，领域相关联的多任务学习比单任务学习能够取得更好的泛化效果。

针对迁移学习的实现，根据学习方式的不同可以分为四类：基于样本的迁移、基于特征的迁移、基于模型的迁移、以及基于关系的迁移。基于样本的迁移通过对源域中有标记样本加权利用完成知识迁移，例如相似的样本就给高的权重。该方法假设源域中的一些数据和目标域会共享很多共同的特征，通过对源域进行样本重新加权，筛选出与目标域数据相似度高的数据，然后进行训练学习。该方法简单易实现，但是存在一定得问题，如权重选择与相似度度量依赖于经验，源域和目标域的数据分布往往不同。基于特征的迁移假设源域和目标域仅仅有一些交叉特征，通过将源域和目标域特征变换到相同的空间（或者将其中之一映射到另一个的空间中）并最小化源域和目标域的距离来完成知识迁移，是目前使用最多也最易于上手完成的一种迁移方式，但是这种方式往往是一个优化问题，难求解且容易发生过适配。基于模型的迁移则假设源域和目标域可以共享一些模型参数，由源域学习到的模型运用到目标域上，再根据目标域学习新的模型，将源域和目标域的模型与样本结合起来调整模型的参数。这种方式利用模型间存在相似性，常被用于神经网络。基于关系的迁移则是通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。该方法利用源域学习逻辑关系网络，再应用于目标域上，基于如下假设：如果两个域是相似的，那么它们会共享某种相似关系。

此外，根据特征空间是否相同，可以将迁移学习分为同构迁移学习和异构迁移学习。所谓同构迁移学习，即域适应问题，是指源域和目标域的特征空间相同但分布不同。既然源域和目标域数据分布不一样，那么就把数据都映射到一个特征空间中，在特征空间中找一个度量准则，使得源域和目标域数据的特征分布尽量接近，于是基于源域数据特征训练的模型，就可以用到目标域数据上。从数据分布角度看，源域和目标域的概率分布相似，对此可以通过最小化概率分布距离来实现迁移，通常基于最大均值差异（英文名：“MaximumMean Discrepancy”，简称：MMD）进行优化求解。所谓MMD是指度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法，两个随机变量的距离计算方程如下：

其中k是映射，用于把原变量映射到高维空间中。X,Y表示两种分布的样本，F表示映射函数集。基于两个分布的样本，通过寻找在样本空间上的映射函数K，求不同分布的样本在K上的函数值的均值，通过把两个均值作差可以得到两个分布对应于K的均值差异。寻找一个K使得这个均值差异有最大值，就得到了MMD。最后取MMD作为检验统计量，从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。更加简单的理解就是：求两堆数据在高维空间中的均值的距离。

在此，假设使用CNN从主电源数据中提取到的特征在不同家用电器和不同数据域之间是不变的，这些不变特性是实现针对NILM问题的可靠迁移的关键因素。基于此，提出两种迁移学习方案：家用电器迁移学习(ATL)和交叉域迁移学习(CTL)。所谓家用电器迁移学习，旨在将针对某一种家用电器训练好的预测模型经过微调后，直接用于对另一种家用电器的功耗预测，如将基于洗衣机功耗数据训练得到的模型用于预测冰箱的功耗预测。而交叉域迁移学习则是在不同领域间迁移模型，此处不同领域是指在不同的地域收集数据，如将基于英国某地区的洗衣机功耗数据训练得到的模型用于预测中国某地区家庭的洗衣机功耗。

基于卷积神经网络的迁移学习是指将已经训练好的卷积神经网络部分应用在新样本的训练及测试中，称之为网络微调。由前面卷积神经网络的结构可知，全连接层前的网络部分可被看作一个特征提取器，输入数据经过特征提取后生成特征向量，该特征提取模块具有高度的泛化能力，将该部分训练好的参数直接迁移到目标领域模型中，实现迁移目的。结合序列到点的预测技术，请参阅图7展示的是两种不同迁移学习方案的结构图。

对于家用电器迁移学习方案，将基于电器A训练得到的卷积神经网络层部分迁移到电器B，从而实现对电器B的功耗预测，此时，冻结卷积神经网络部分的参数，仅训练全连接层参数。对于交叉域迁移学习方案，如果源域A和目标域B相似，则直接迁移基于源域A训练得到的整个模型对目标域B进行预测；如果二者差异较大，则采用和家用电器迁移学习方案同样的方式，仅迁移卷积神经网络部分，对全连接部分进行微调。

本实施例提供的基于卷积神经网络对家庭能量分解的预测方法的有益效果：

（1）、面对日益严重的能源紧缺的问题以及用电量逐年增长的现状，产生了对用电节能改造以及发展智能电网技术的需求，非侵入式负荷监控NILM的概念模型被提出来，然而现今NILM方法在识别性能上和对电器类型的覆盖率还有待完善，主要原因是没有一种NILM算法能够保证一定的识别性能，还能兼容所有的电器负载类型，同时不要求使用高端硬件采集数据，而将正蓬勃发展的深度神经网络技术应用于NILM任务中，是一种很有希望的尝试，该类方法不要求高采样率，只使用低端硬件采集数据，通过深度神经网络的深度学习能力学习电器负载特征的本质，建立相应的负载模型，以此进行负荷识别分解，而且基于深度神经网络的NILM方法在一些研究中已经表现出优于传统方法CO（组合优化）和FHMM（阶乘隐马尔科夫模型）的性能，这表明通过深度神经网络结构对NILM进行性能优化，具有一定的可能性，由此，本方法分析了现有的神经网络模型，并重点研究了基于深度神经网络进行NILM的可能性，深度神经网络可以应用于负荷识别分解中并取得良好结果；

（2）、该预测方法，针对深度神经网络难以训练的问题，限制了神经网络的前向传播和反向传播两个过程，并对其中的核心问题：梯度求导，做了推导，研究发现，在经过梯度求导和梯度反转后，深度神经网络模型可以更加便捷地应用到NILM任务中；

（3）一般的机器学习方法假设训练集与测试集必须服从相同的数据分布，但是在NILM任务中，不同的家庭和不同的用电场景导致不同的数据集的分布是不一致的，因此，一般的机器学习方法在应用到实际的NILM任务中时效果可能会大打折扣，本实施例提供的预测方法，提出用迁移学习方法来处理该问题，迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中，经过初步实验测试，发现迁移学习模型可以有效解决数据集分布不一致的问题，从而极大地提升了NILM模型的适用性和实用性。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述预测方法包括：

构建面向负荷分解的卷积神经网络，所述卷积神经网络包括连接的特征提取层和高层；

训练所述卷积神经网络，对于每一个神经元通过激活函数进行卷积与池化；

多样本处理批量标准化；

通过Dropout技术防止机器学习模型的过拟合；

进行序列到序列、序列到点的负荷分解预测；

基于迁移学习进行负荷分解。

2.根据权利要求1所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述多样本处理批量标准化的步骤包括：

在所述卷积神经网络的每一层前插入了一个归一化层。

3.根据权利要求1所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述特征提取层包括交替设置的卷积层和池化层，所述高层为全连接层。

4.根据权利要求3所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述全连接层位于所述卷积神经网络的隐含层的最后部分。

5.根据权利要求4所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述全连接层的数量为一层或两层，所述全连接层用于提取、整合信息，并发送至后续层。

6.根据权利要求5所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述构建面向负荷分解的卷积神经网络的步骤包括：

7.根据权利要求1所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述激活函数包括非线性函数Sigmoid和tanh函数。

8.根据权利要求1所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述对于负荷分解的深度网络损失函数进行优化，并用损失函数来度量拟合的程度的步骤包括：

将所述损失函数极小化，并选择对应的模型参数为最优参数。

9.根据权利要求1所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述基于迁移学习进行负荷分解的步骤包括：

10.根据权利要求9所述的基于卷积神经网络对家庭能量分解的预测方法，其特征在于，所述源领域包括要迁移的对象，所述对象包括知识和标注，所述目标领域用于赋予所述知识和所述标注。