CN107122790B - 基于混合神经网络和集成学习的非侵入式负荷识别算法 - Google Patents

基于混合神经网络和集成学习的非侵入式负荷识别算法 Download PDF

Info

Publication number
CN107122790B
CN107122790B CN201710152682.1A CN201710152682A CN107122790B CN 107122790 B CN107122790 B CN 107122790B CN 201710152682 A CN201710152682 A CN 201710152682A CN 107122790 B CN107122790 B CN 107122790B
Authority
CN
China
Prior art keywords
data
neural network
layer
lstm
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710152682.1A
Other languages
English (en)
Other versions
CN107122790A (zh
Inventor
焦润海
黄栩鉴
尚青兰
牛文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201710152682.1A priority Critical patent/CN107122790B/zh
Publication of CN107122790A publication Critical patent/CN107122790A/zh
Application granted granted Critical
Publication of CN107122790B publication Critical patent/CN107122790B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply

Abstract

本发明属于数据挖掘与机器学习领域,尤其涉及一种基于混合神经网络和集成学习的非侵入式负荷识别算法。首先对实验数据进行处理,使数据的格式符合模型的输入格式。处理好数据后建立混合神经网络模型,将数据输入到模型中,经过训练和测试得出识别结果,用集成学习的思想,对三个不同的模型的结果进行投票,得出最终识别结果。本发明得混合神经网络的特征提取效果以及负荷识别的效果都高于传统神经网络;同时提出了一种基于集成学习思想的方法,通过从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差并提升最终结果的识别效果,解决了引入谐波特征对识别效果产生不良影响的问题。

Description

基于混合神经网络和集成学习的非侵入式负荷识别算法
技术领域
本发明属于数据挖掘与机器学习领域,尤其涉及一种基于混合神经网络和集成学习的非侵入式负荷识别算法。
背景技术
电器负荷监测有两种方法:一种是侵入式负荷监测(ILM),另一种是非侵入式负荷监测(NILM)。传统的侵入式负荷监测需要为家庭内部每个用电器安装一个监测装置以获取用电器的数据,然后将获取到的数据通过网络传送到终端,由终端进行统一的处理。这种方法的劣势为监测设备本身就有一定的造价,而在使用过程中还要进行维护,这样使得其安装和维护的成本过高。与侵入式负荷监测相对应的就是非侵入式负荷监测,非侵入式负荷监测最大的优点就是只需要监测家庭总线数据,通过分析家庭总线的数据就可以知道家庭内部用电器的状态,以达到监测的目的。非侵入负荷识别算法主要分为两大类:一类是基于事件检测的负荷识别算法,另一类是非事件检测类识别负荷算法,这两类算法中非事件检测类算法的整体识别效果更好。传统的基于神经网络的负荷识别方法往往使用单一网络,对样本的特征提取效果不好,网络训练时间较长。其主要原因是负荷的使用是有时序特征的,负荷之间是有联系的,产生了因引入谐波这种维度高信息含量不均衡的特征而导致识别效果下降的问题。
发明内容
为了解决上述问题,本发明提出了一种基于混合神经网络和集成学习的非侵入式负荷识别算法,包括
步骤1、数据处理:将公开数据集中的数据进行处理,得到模型的输入数据;时域数据直接获得,频域数据需要经过傅里叶变换获得;
步骤2、建立混合神经网络模型:由循环神经网络RNN和人工神经网络ANN混合的混合神经网络HNN;混合神经网络的模型为输入层、一层循环神经网络、多层人工神经网络以及输出层;经过训练后,此模型对输入的负荷信息进行识别;
步骤3、训练及测试混合神经网络模型:用公开数据集中的数据对步骤2中建立好的模型进行训练及测试,获得初步的识别结果,输出各负荷识别结果;
步骤4、集成学习:从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差,提升最终识别的效果;用投票的方式确定最终负荷识别结果。
所述步骤1中数据处理包括
步骤101、采用网上公开的REDD数据集,REDD数据集包括6个家庭的用电数据,其中用电数据又分为三类:低频数据,高频数据和高频原始数据;对于低频数据和高频数据并非完全符合期望目标,数据中存在缺测、乱序、不合理的情况;对于乱序数据,先对原始数据按时间戳进行排序;排序完成后,剔除数据中的异常点,由于低频数据只有两项即总线视在功率和各用电器视在功率,无法检测是否含有异常点,所以仅剔除高频数据中的异常点;所述剔除高频数据异常点的方法为:根据高频数据的记录规则,两个时间戳之差应近似等于周期数乘以1/60,如果两者值相差较多则认为该条数据为不合理数据,将其舍去;
步骤102、所述算法采用的数据主要有两种类型,分别为时域数据和频域数据,后续的神经网络训练过程也是在数据中提取这两部分的特征;从原始数据中就能直接获得时域特征,而频域数据需要通过傅里叶变换获得;对于负荷识别来说,电压、电流的谐波特征较功率谐波特征对实验结果的提高更为明显,采用电压、电流的谐波特征作为频域特征;为了提取用电器的这种谐波特征,采用非周期性离散信号离散时域傅里叶变换进行处理;
步骤103、对经步骤2处理后的数据进行归一化处理,采取的归一化方法为线性函数归一化,当数据中某个值因异常而过大时会压低归一化后数据的整体均值,通过对各个维度的数据进行统计及画图观察发现,各个维度99%的值均小于最大值的80%,在进行线性归一化时,以最大值的80%替换原最大值。
所述步骤2中建立混合神经网络模型包括
通过RNN和ANN相结合构建混合神经网络,选取的RNN网络为长短期记忆网络LSTM;LSTM的工作流程为:在t时刻将外界输入xt和上一时刻的输出yt-1作为新的输入,输入到LSTM中;LSTM先计算遗忘门forget gate的值ft,以确定上一时刻的细胞状态的值Ct-1有多少保留到下一时刻;接下来计算本次输入带来多少新信息
Figure BDA0001246071110000031
再计算输入门input gate的值it,以确定该时刻有多少新信息被存放在细胞状态中;最后通过计算输出门output gate的值ot,及对细胞状态进行处理,确定最终的输出结果yt;具体为:
ft=σ(Wf[yt-1,xt]+bf)
it=σ(Wi[yt-1,xt]+bi)
ot=σ(Wo[yt-1,xt]+bo)
Figure BDA0001246071110000032
Figure BDA0001246071110000033
yt=ot*tanh(Ct)
其中,σ为sigmoid激活函数,tanh为tanh激活函数;权重矩阵Wf,Wi,Wo,WC和偏置bf,bi,bo,bC为学习参数;
通过LSTM与ANN相结合构建混合神经网络HNN,其中LSTM层用来负责从原始数据中提取时序特征,ANN层根据LSTM层传递过来的时序特征进行训练,起到分类器的作用;混合网络构建的方式为:最开始为输入层,用来接受某一时间点的输入特征;输入层后面接一层LSTM层,目的是在输入特征的基础上提取时序特征;在LSTM层后接多层传统神经网络,起到分类器的作用;最后为输出层,输出每个用电器在该时间点处于开启状态的概率值,得到输出后,再对每个用电器给予合理的阈值,将输出概率值离散化为0,1值,得到最终的用电器开关预测结果;对于每层网络来说,层节点个数不超30,由于LSTM比ANN的结构复杂,具有更多的参数值,同时训练集的样本数有限,为避免过拟合,只用单层LSTM。
所述步骤3中训练及测试混合神经网络模型包括
将步骤1中处理好的数据输入混合神经网络模型,在输入谐波特征数据过程中,每一个模型只输入一类谐波数据,分别为3次、5次、7次谐波,建立三种带有不同谐波特征输入的模型,三个模型分别进行训练、测试,测试得出的结果需要在下一步骤中进行投票得出最终识别结果。
所述步骤4中集成学习包括
通过从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差提升最终结果的效果;初期试验直接将频域特征引入算法,实验结果并没有得到明显改善,反而有所下降。进一步分析得到,实验结果下降是由于得到的频域特征很多,不当的噪声特征输入导致模型预测准确率的下降。为解决这一问题,本发明拟借鉴集成学习中随机森林的思想,通过集成学习的方式提高实验效果。
集成学习即通过构建并结合多个学习模型来完成目标学习任务;考虑一个二分类问题y∈{0,1}其真实目标函数为f,假设基分类器的错误率为ε,即对每个基分类器hi有P(hi(x)≠f(x))=ε;
假设集成通过最常用的投票法将N个基分类器结合在一起,且当有半数以上的基分类器正确,则集成分类结果就正确;随着集成中个体分类器数目N的增大,集成的错误率将呈指数级下降,最终趋近于0;
Figure BDA0001246071110000051
假设基分类器的错误率相互独立,则集成的错误率为
Figure BDA0001246071110000052
在得到训练数据后,由原特征集随机生成多个特征子集,用每个子特征集单独训练一个混合神经网络模型,对于一个新的样本点,每个混合神经网络模型都有一个输出与之对应,由所有输出采用投票的方式得到最终的结果。
由原特征集产生多个特征子集的过程中,每个特征子集均与原特征集共有相同的时域特征,仅在频域特征上进行特征的随机选择,同时特征子集需满足以下条件:(1)特征子集的并集为总特征集;(2)特征子集包含的频域特征应均匀,不应该出现某一频域特征在大多数特征子集中均出现,而某些频域特征从未在任何特征子集中出现的情况,如不满足上述条件则重新换分特征子集。
有益效果
与传统人工神经网络(ANN)的识别结果、主要的算法性能评价指标准确率、精度、召回率等以及训练测试时间对比,结果显示在各类评价指标上本发明的混合神经网络加集成学习的方法均高于传统神经网络,在训练以及测试时间上高于传统神经网络。本发明还提出了一种基于集成学习思想的方法,通过从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差并提升最终结果的识别效果,成功解决了引入谐波特征对识别效果产生不良影响的问题。
附图说明
图1为本发明示意图。
图2为本发明LSTM网络示意图。
图3为本发明混合网络示意图。
图4为本发明集成学习思想示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
图1为本发明示意图。参照图1所示,首先对需要进行识别的用户数据进行处理,数据来源为REDD数据集中house_3的数据。处理完成后获得电压、电流、功率等时域数据。然后通过非周期性离散信号离散时域傅里叶变换对数据进行处理,得到电压、电流的3、5、7次谐波特征,此为频域数据。接下来对数据进行归一化处理,归一化方法为线性函数归一化。将处理好的数据输入到由循环神经网络(RNN)以及人工神经网络(ANN)混合而成的混合神经网络中,训练好的神经网络会输出各用电器的开关状态。在建立混合神经网络模型的时候,输入的时域数据相同,但频域数据分别为3、5、7次谐波,因此就建立了3个不同的混合网络模型。在最终进行负荷预测时,将数据分别输入三个不同的模型,将得到三种不同的结果。然后借助随机森林思想,从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差提升最终结果的效果。对三个模型的输出结果进行投票,最后得出识别结果。具体实现步骤如下:
步骤一:数据处理
本发明采用的数据集为网上公开REDD数据集,REDD数据集包括6个家庭的用电数据,其中用电数据又分为三类:低频数据,高频数据和高频原始数据。对于低频数据和高频数据,由于监测仪器的故障等原因,使得所得到的数据并非完全符合期望目标,数据中存在缺测、乱序、不合理的情况。对于乱序数据,先对原始数据按时间戳进行排序。排序完成后,剔除数据中的异常点,由于低频数据只有两项(总线视在功率、各用电器视在功率),无法检测是否含有异常点,所以仅剔除高频数据中的异常点。剔除高频数据异常点的方法如下:根据高频数据的记录规则,两个时间戳之差应近似等于周期数乘以1/60,如果两者值相差较多则认为该条数据为不合理数据,将其舍去。本发明中所采用的数据主要有两种类型,分别为时域数据和频域数据,后续的神经网络训练过程也是在数据中提取这两部分的特征。从原始数据中就能直接获得时域特征,如电压、电流、功率。而频域数据需要通过傅里叶变换获得。
对于负荷识别来说,电压、电流的谐波特征较功率谐波特征对实验结果的提高更为明显,所以本实验中采用电压、电流的谐波特征作为频域特征。为了提取用电器的这种谐波特征,本发明采用非周期性离散信号离散时域傅里叶变换进行处理,快速傅里叶变换(FFT)是其中效率较高的一种算法。快速傅里叶变换的公式为
Figure BDA0001246071110000081
其中x(n)为有限长离散信号,X(k)为变换到频域的结果。
经过以上处理后,还需对实验数据进行归一化处理,本发明实验中采取的归一化方法为线性函数归一化,该归一化方法的结果会受最大、最小值的影响。当数据中某个值因异常而过大时会压低归一化后数据的整体均值。通过对各个维度的数据进行统计及画图观察可以发现,各个维度99%的值均小于最大值的80%,所以这里在进行线性归一化时,以最大值的80%替换原公式中的最大值。
步骤二:建立混合神经网络模型
本发明通过RNN和ANN相结合构建混合神经网络,选取的RNN网络为长短期记忆网络(LSTM)。LSTM是RNN诸多形式中的一种,也是RNN中效果最好的一种。而与大多数RNN不同的是,LSTM的记忆性非常强,记忆能力远高于其它RNN结构。LSTM结构如图2所示,最上层为LSTM的核心,是LSTM记忆性的体现,用来记录过去的信息,为细胞状态值C。LSTM的工作流程如下:在t时刻将本时刻的外界输入xt和上一时刻的输出yt-1作为新的输入,输入到LSTM中。LSTM先计算forget gate的值ft,以确定上一时刻的细胞状态的值Ct-1有多少保留到下一时刻。接下来计算本次输入带来多少新信息
Figure BDA0001246071110000082
再计算input gate的值it,以确定该时刻有多少新信息被存放在细胞状态中。最后通过计算output gate的值ot,及对细胞状态进行处理,确定最终的输出结果yt。具体计算方法如下:
ft=σ(Wf[yt-1,xt]+bf)
it=σ(Wi[yt-1,xt]+bi)
ot=σ(Wo[yt-1,xt]+bo)
Figure BDA0001246071110000091
Figure BDA0001246071110000092
yt=ot*tanh(Ct)
其中σ为sigmoid激活函数,tanh为tanh激活函数。权重矩阵Wf,Wi,Wo,WC和偏置bf,bi,bo,bC为学习参数。
人工神经网络(ANN)是一种模仿动物神经网络行为特征,进行信息处理的数学模型。神经网络方面的研究很早以前就已经出现了,经过长时间的发展与完善,到今天为止广泛应用于各个领域解决各种各样的实际问题。神经网络模型是参照人体大脑中神经细胞的工作机制而建立的。神经网络模型就是将许多个单一神经元联结在一起,这样一个神经元的输出就可以是另一个神经元的输入。神经网络最左边的一层叫做输入层,最右的一层叫做输出层。中间所有节点组成的一层叫做隐藏层,将中间节点称为隐藏层的原因是观察者不能在训练样本集中观测到它们的值。用n来表示网络的导数,假设n=3,将第l层记为Ll,于是L1就为输入层,输出层是L3。本发明的神经网络有参数(W,b)=(W(1),b(1),W(2),b(2)),其中
Figure BDA0001246071110000093
是第l层第j单元与第l+1层第i单元之间的联接参数(也就是连接线上的权重),
Figure BDA0001246071110000094
是第l+1层第i单元的偏轩项。因此在本例中W(1)∈R3*3,W(2)∈R3*3。这里需要注意的是,没有其他单元作为偏置单元的输入,偏置单元的值恒为+1,计算某一层节点数是不将偏置单元考虑在内。
Figure BDA0001246071110000095
表示第l层第i单元的输出值。当l=1时,
Figure BDA0001246071110000096
也就是第i个输入值。对于给定参数集合W和b,神经网络就可以按照函数hW,b(x)来计算输出结果。以有三个神经元的神经网络为例,神经网络的计算步骤如下:
Figure BDA0001246071110000101
Figure BDA0001246071110000102
Figure BDA0001246071110000103
Figure BDA0001246071110000104
Figure BDA0001246071110000105
表示第l层第i单元输入加权和(包括偏置单元):
Figure BDA0001246071110000106
Figure BDA0001246071110000107
这样就可以得到一种更简洁的表示法。这里将激活函数f(i)扩展为用向量来表示,即f([z1,z2,z3])=[f(z1),f(z2),f(z3)],那么,上面的等式可以更简洁地表示为:
z(2)=W(1)x+b(1)
a(2)=f(z(2))
z(3)=W(2)a(2)+b(2)
hW,b(x)=a(3)=f(z(3))
通过LSTM与ANN相结合构建混合神经网络(HNN),其中LSTM层用来负责从原始数据中提取时序特征,ANN层根据LSTM层传递过来的时序特征进行训练,起到分类器的作用。应用LSTM进行特征提取的优点在于,LSTM的记忆长度会根据实际情况不断调整,使得特征识别的范围越来越精确,获得更为有效的特征。混合网络构建的方式如下:最开始为输入层,用来接受某一时间点的输入特征;输入层后面接一层LSTM层,目的是在输入特征的基础上提取时序特征;在LSTM层后接多层传统神经网络,起到分类器的作用;最后为输出层,输出每个用电器在该时间点处于开启状态的概率值,示意图如图3。得到输出后,再对每个用电器给予合理的阈值,将输出概率值离散化为0,1值,得到最终的用电器开关预测结果。在本文的实验中,对于每层网络来说,层节点个数不超30即可取得较好的结果,由于LSTM比ANN的结构复杂,具有更多的参数值,同时训练集的样本数有限,为避免过拟合,实验中只用单层LSTM。
步骤三:混合神经网络模型训练及测试
本发明的实验环境为l inux环境,CPU为i7-930,主频2.8GHz,显卡为GTX TITANX,内存16G,混合网络的实现应用Keras深度学习框架,Keras的Backend为Theano。将处理好的数据输入混合神经网络模型。在输入谐波特征数据过程中,每一个模型只输入一类谐波数据,分别为3次、5次、7次谐波,这样就建立了三种带有不同谐波特征输入的模型,三个模型分别进行训练、测试,测试得出的结果需要在下一步骤中进行投票得出最终识别结果。
步骤四:集成学习
在前期实验中得知,当把谐波数据直接作为输入引入到混合神经网络中的识别结果并不好,由于得到的频域特征很多,不当的噪声特征输入导致模型预测准确率的下降,为解决这一问题,本发明拟借鉴集成学习中随机森林的思想,通过集成学习的方式提高实验效果。
对于集成学习来说,分为Bagging和Boosting两大类。这两类的重点又在于降低偏差与方差。所以在选择集成学习方法之前,应先弄清楚较差实验效果的由偏差过高还是由方差过高引起的。通过分析训练集准确率随时间的变化可知,训练集准确率随着时间增长而收敛,说明对于训练集来说模型已经充分训练并收敛。当模型已经充分训练时,对模型泛化误差的影响主要来源于方差,所以为了降低方差,集成学习算法应采用Bagging或随机森林。由于本实验要从连续的时间区段中提取时域特征,所以不能应用自助采样法,也就不能使用Bagging。从其它相关文献中了解到,频域特征在负荷识别算法中是一类很重要的特征,但直接将所有波段的频域特征全都输入模型中的实验结果反而较差。本文借鉴了随机森林算法,通过从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差提升最终结果的效果。
基于混合神经网络模型的集成学习方法总体结构和流程如图4所示,在得到训练数据后,由原特征集随机生成多个特征子集,用每个子特征集单独训练一个混合神经网络模型。对于一个新的样本点,每个混合神经网络模型都有一个输出与之对应,由所有输出采用投票的方式得到最终的结果。
实验中构建8个分类器,每个分类器除包含时域特征:电压、电流、功率外,另随机从频域特征中选取3个谐波幅值作为输入,训练基分类器。实验结果如下:
表1集成分类器和时频特征的结果
Figure BDA0001246071110000121
Figure BDA0001246071110000131
表2训练测试时间表
Figure BDA0001246071110000132
表3评价指标符号参考表
Figure BDA0001246071110000133
查准率P、查全率R与F1值分别定义为:
Figure BDA0001246071110000134
由于查准率和查全率会出现矛盾的情况,这时就需要综合考虑它们,最常见的方法就是F-Measure,当时就是最常见的F1值。F1值是查准率与查全率的调和平均,调和平均更重视较小值。
由结果可知本发明所提出的基于混合神经网络和集成学习的非侵入式负荷识别算法对非侵入式负荷识别有较好的结果。与传统神经网络相比,虽然算法的执行时间稍长,但各类评价指标都高于传统神经网络。此算法在现实生产生活中有很高的价值。

Claims (2)

1.一种基于混合神经网络和集成学习的非侵入式负荷识别算法,其特征在于,包括
步骤1、数据处理:将公开数据集中的数据进行处理,得到模型的输入数据;时域数据直接获得,频域数据需要经过傅里叶变换获得;
步骤2、建立混合神经网络模型:由循环神经网络RNN和人工神经网络ANN混合的混合神经网络HNN;混合神经网络的模型为输入层、一层循环神经网络、多层人工神经网络以及输出层;经过训练后,此模型对输入的负荷信息进行识别;
步骤3、训练及测试混合神经网络模型:用公开数据集中的数据对步骤2中建立好的模型进行训练及测试,获得初步的识别结果,输出各负荷识别结果;
步骤4、集成学习:从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差,提升最终识别的效果;用投票的方式确定最终负荷识别结果;
所述步骤2中建立混合神经网络模型包括
通过RNN和ANN相结合构建混合神经网络,选取的RNN网络为长短期记忆网络LSTM;LSTM的工作流程为:在t时刻将外界输入xt和上一时刻的输出yt-1作为新的输入,输入到LSTM中;LSTM先计算遗忘门forget gate的值ft,以确定上一时刻的细胞状态的值Ct-1有多少保留到下一时刻;接下来计算本次输入带来多少新信息
Figure FDA0002959288530000011
再计算输入门input gate的值it,以确定该时刻有多少新信息被存放在细胞状态中;最后通过计算输出门output gate的值ot,及对细胞状态进行处理,确定最终的输出结果yt;具体为:
ft=σ(Wf[yt-1,xt]+bf)
it=σ(Wi[yt-1,xt]+bi)
ot=σ(Wo[yt-1,xt]+bo)
Figure FDA0002959288530000021
Figure FDA0002959288530000022
yt=ot*tanh(Ct)
其中,σ为sigmoid激活函数,tanh为tanh激活函数;权重矩阵Wf,Wi,Wo,WC和偏置bf,bi,bo,bC为学习参数;
通过LSTM与ANN相结合构建混合神经网络HNN,其中LSTM层用来负责从原始数据中提取时序特征,ANN层根据LSTM层传递过来的时序特征进行训练,起到分类器的作用;混合神经网络构建的方式为:最开始为输入层,用来接受某一时间点的输入特征;输入层后面接一层LSTM层,目的是在输入特征的基础上提取时序特征;在LSTM层后接多层传统神经网络,起到分类器的作用;最后为输出层,输出每个用电器在该时间点处于开启状态的概率值,得到输出后,再对每个用电器给予合理的阈值,将输出概率值离散化为0,1值,得到最终的用电器开关预测结果;对于每层网络来说,层节点个数不超过30,由于LSTM比ANN的结构复杂,具有更多的参数值,同时训练集的样本数有限,为避免过拟合,只用单层LSTM;
所述步骤3中训练及测试混合神经网络模型包括
将步骤1中处理好的数据输入混合神经网络模型,在输入谐波特征数据的过程中,每一个模型只输入一类谐波数据,分别为3次、5次、7次谐波,建立三种带有不同谐波特征输入的模型,三个模型分别进行训练、测试,测试得出的结果需要在下一步骤中进行投票得出最终识别结果;
所述步骤4中集成学习包括
通过从总特征集中选择多个特征子集训练多个基分类器,再将多个基分类器进行结合,以降低方差,提升最终结果的效果;在得到训练数据后,由原特征集随机生成多个特征子集,用每个特征子集单独训练一个混合神经网络模型,对于一个新的样本点,每个混合神经网络模型都有一个输出与之对应,由所有输出采用投票的方式得到最终的结果。
2.根据权利要求1所述的一种基于混合神经网络和集成学习的非侵入式负荷识别算法,其特征在于,所述步骤1中数据处理包括
步骤101、采用网上公开的REDD数据集,REDD数据集包括6个家庭的用电数据,其中用电数据又分为三类:低频数据,高频数据和高频原始数据;低频数据和高频数据并非完全符合期望目标,数据中存在缺测、乱序、不合理的情况;对于乱序数据,先对原始数据按时间戳进行排序;排序完成后,剔除数据中的异常点,由于低频数据只有两项即总线视在功率和各用电器视在功率,无法检测是否含有异常点,所以仅剔除高频数据中的异常点;所述剔除高频数据异常点的方法为:根据高频数据的记录规则,两个时间戳之差等于周期数乘以1/60,如果两者值相差较多则认为该条数据为不合理数据,将其舍去;
步骤102、所述算法采用的数据主要有两种类型,分别为时域数据和频域数据,后续的神经网络训练过程也是在数据中提取这两部分的特征;从原始数据中就能直接获得时域特征,而频域数据需要通过傅里叶变换获得;对于负荷识别来说,电压、电流的谐波特征较功率谐波特征对实验结果的提高更为明显,采用电压、电流的谐波特征作为频域特征;为了提取用电器的这种谐波特征,采用非周期性离散信号离散时域傅里叶变换进行处理;
步骤103、对经步骤102处理后的数据进行归一化处理,采取的归一化方法为线性函数归一化,当数据中某个值因异常而过大时会压低归一化后数据的整体均值,通过对各个维度的数据进行统计及画图观察发现,各个维度99%的值均小于最大值的80%,在进行线性归一化时,以最大值的80%替换原最大值。
CN201710152682.1A 2017-03-15 2017-03-15 基于混合神经网络和集成学习的非侵入式负荷识别算法 Expired - Fee Related CN107122790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710152682.1A CN107122790B (zh) 2017-03-15 2017-03-15 基于混合神经网络和集成学习的非侵入式负荷识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710152682.1A CN107122790B (zh) 2017-03-15 2017-03-15 基于混合神经网络和集成学习的非侵入式负荷识别算法

Publications (2)

Publication Number Publication Date
CN107122790A CN107122790A (zh) 2017-09-01
CN107122790B true CN107122790B (zh) 2021-06-11

Family

ID=59718020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710152682.1A Expired - Fee Related CN107122790B (zh) 2017-03-15 2017-03-15 基于混合神经网络和集成学习的非侵入式负荷识别算法

Country Status (1)

Country Link
CN (1) CN107122790B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766937A (zh) * 2017-09-11 2018-03-06 重庆大学 基于特征选取和循环神经网络的风电场功率超短期预测方法
CN107679578B (zh) * 2017-10-12 2020-03-31 北京旷视科技有限公司 目标识别算法的测试方法、装置及系统
CN109670587A (zh) * 2017-10-16 2019-04-23 优酷网络技术(北京)有限公司 神经网络预测方法及装置
CN107730003B (zh) * 2017-10-23 2020-09-08 华中科技大学 一种支持多电器类型高精度的nilm实现方法
CN109802984B (zh) * 2017-11-17 2021-10-01 财团法人交大思源基金会 智慧型农业及环境管理系统
CN108133297A (zh) * 2018-01-26 2018-06-08 广州大学 基于长短期记忆网络的溶解氧预测方法与系统
CN108345906B (zh) * 2018-02-09 2022-02-22 无锡英臻科技有限公司 一种基于Boost模型的非侵入式用电器识别方法
CN108510006B (zh) * 2018-04-08 2020-06-09 重庆邮电大学 一种基于数据挖掘的企业用电量分析与预测方法
CN109063820A (zh) * 2018-06-07 2018-12-21 中国科学技术大学 利用时频联合长时循环神经网络的数据处理方法
CN108879702B (zh) * 2018-06-21 2020-10-27 浙江大学 一种基于家居负荷分解的用电控制系统
CN108803335B (zh) * 2018-06-25 2021-05-11 南京邮电大学 一种直流伺服电机控制乱序消除方法
CN109145949A (zh) * 2018-07-19 2019-01-04 山东师范大学 基于集成学习的非侵入式电力负荷监测与分解方法及系统
CN109034054B (zh) * 2018-07-24 2021-06-25 华北电力大学 基于lstm的谐波多标签分类方法
CN109284829A (zh) * 2018-09-25 2019-01-29 艾凯克斯(嘉兴)信息科技有限公司 基于评价网络的循环神经网络
CN109164328A (zh) * 2018-10-11 2019-01-08 深圳华建电力工程设计有限公司 一种非侵入式高危电器探测方法及装置
CN109583475B (zh) * 2018-11-02 2023-06-30 创新先进技术有限公司 异常信息的监测方法及装置
TWI671652B (zh) * 2018-11-26 2019-09-11 財團法人資訊工業策進會 模型建置裝置與負載解析系統
CN109598451B (zh) * 2018-12-27 2023-01-13 东北大学 一种基于pca与lstm神经网络的非侵入式负荷辨识方法
CN109922038A (zh) * 2018-12-29 2019-06-21 中国电力科学研究院有限公司 一种用于电力终端的异常数据的检测方法及装置
CN110033082B (zh) * 2019-03-19 2021-05-18 浙江工业大学 一种识别ai设备中深度学习模型的方法
CN109934303A (zh) * 2019-03-25 2019-06-25 宁夏隆基宁光仪表股份有限公司 一种非入侵式家用电器负荷识别方法、装置及存储介质
CN110188826A (zh) * 2019-05-31 2019-08-30 湖南科技大学 基于智能电表数据的家用电器运行状态非侵入式检测方法
CN110363231B (zh) * 2019-06-27 2023-01-06 平安科技(深圳)有限公司 基于半监督深度学习的异常识别方法、装置及存储介质
CN110376457B (zh) * 2019-06-28 2020-10-02 同济大学 基于半监督学习算法的非侵入式负荷监测方法及装置
CN110516788B (zh) * 2019-08-07 2023-05-02 深圳供电局有限公司 一种基于Bi-LSTM算法的非侵入式负荷检测方法及系统
CN110533089B (zh) * 2019-08-19 2023-07-11 三峡大学 基于随机森林的自适应非侵入式负荷识别方法
CN111092486A (zh) * 2019-11-20 2020-05-01 内蒙古电力(集团)有限责任公司包头供电局 一种非侵入式负荷采集系统及方法、存储介质
CN110852655B (zh) * 2019-11-29 2023-08-15 湖南科技大学 带有太阳能供电系统的家庭用电负荷分解系统与分解方法
CN111462479A (zh) * 2020-02-26 2020-07-28 南京新一代人工智能研究院有限公司 一种基于傅里叶-递归神经网络的交通流预测方法
CN111415270A (zh) * 2020-03-03 2020-07-14 浙江万胜智能科技股份有限公司 一种基于lstm学习的电力负荷智能识别方法
CN111460913A (zh) * 2020-03-13 2020-07-28 北京理工大学 一种自适应的时序信号方向性预测方法
CN111898694B (zh) * 2020-08-07 2021-09-17 广东电网有限责任公司计量中心 一种基于随机树分类的非入侵式负荷识别方法及装置
CN112085111B (zh) * 2020-09-14 2024-01-23 南方电网科学研究院有限责任公司 一种负荷辨识方法和装置
CN112365090A (zh) * 2020-11-26 2021-02-12 南方电网能源发展研究院有限责任公司 一种基于深度学习的非入侵式用电负荷识别方法及装置
CN112435142B (zh) * 2020-12-16 2022-05-20 北京航空航天大学 一种用电负荷识别方法及其负荷用电设施知识库构建方法
CN112633360B (zh) * 2020-12-18 2024-04-05 中国地质大学(武汉) 一种基于大脑皮层学习模式的分类方法
CN112968519B (zh) * 2021-01-15 2022-05-13 泉州装备制造研究所 一种智能电力负载识别方法
CN114970633B (zh) * 2022-06-07 2023-04-18 西安电子科技大学 一种基于lstm的非侵入式用电器识别方法、系统及设备
CN115112989B (zh) * 2022-08-29 2022-11-22 四川大学 基于低频数据的非侵入式负荷监测方法
CN116700206B (zh) * 2023-05-24 2023-12-05 浙江大学 基于多模态神经网络的工业控制系统异常检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589037A (zh) * 2016-03-16 2016-05-18 合肥工业大学 基于集成学习的电力电子开关器件网络故障诊断方法
CN106096726A (zh) * 2016-05-31 2016-11-09 华北电力大学 一种非侵入式负荷监测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589037A (zh) * 2016-03-16 2016-05-18 合肥工业大学 基于集成学习的电力电子开关器件网络故障诊断方法
CN106096726A (zh) * 2016-05-31 2016-11-09 华北电力大学 一种非侵入式负荷监测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的文本情感分析研究;曹宇慧;《中国优秀硕士学位论文全文数据库中国优秀硕士学位论文全文数据库(电子期刊)》;20170215;3.3.2 长短时记忆型循环神经网络;3.4 基于长短时记忆型循环神经网络的文本情感分析,图3-6 *

Also Published As

Publication number Publication date
CN107122790A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107122790B (zh) 基于混合神经网络和集成学习的非侵入式负荷识别算法
Mao et al. A new online detection approach for rolling bearing incipient fault via self-adaptive deep feature matching
Schmidt et al. Learning emotion-based acoustic features with deep belief networks
Zhang et al. Ensemble deep contractive auto-encoders for intelligent fault diagnosis of machines under noisy environment
Hajian et al. New automated power quality recognition system for online/offline monitoring
Guo et al. Towards the classification of cancer subtypes by using cascade deep forest model in gene expression data
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
Shaloudegi et al. SDP relaxation with randomized rounding for energy disaggregation
Masood et al. Differential evolution based advised SVM for histopathalogical image analysis for skin cancer detection
Gohar et al. Terrorist group prediction using data classification
CN112213687B (zh) 基于伪异常点辨识的关口电能表数据异常检测方法及系统
Zhao et al. A novel deep fuzzy clustering neural network model and its application in rolling bearing fault recognition
Wenxin Heart disease prediction model based on model ensemble
Precioso et al. NILM as a regression versus classification problem: the importance of thresholding
Delfosse et al. Deep learning applied to NILM: Is data augmentation worth for energy disaggregation?
Qu et al. Open-set gas recognition: A case-study based on an electronic nose dataset
Schirmer et al. Low-frequency energy disaggregation based on active and reactive power signatures
CN117056678B (zh) 一种基于小样本的机泵设备运行故障诊断方法及装置
Papavlasopoulos et al. A non-linear index to evaluate a journal’s scientific impact
Lu et al. A zero-shot intelligent fault diagnosis system based on EEMD
Wongkhamdi et al. A comparison of classical discriminant analysis and artificial neural networks in predicting student graduation outcomes
CN111239484A (zh) 一种非居民用户非侵入式负荷用电信息采集方法
Long et al. A statistical description of neural ensemble dynamics
Basavaraj et al. Reliability-driven time series data analysis in multiple-level deep Learning methods utilizing soft computing methods
Huang et al. Outlier detection method based on improved two-step clustering algorithm and synthetic hypothesis testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210611

CF01 Termination of patent right due to non-payment of annual fee