CN115905857A - 基于数学形态学和改进Transformer的非侵入式负荷分解方法 - Google Patents
基于数学形态学和改进Transformer的非侵入式负荷分解方法 Download PDFInfo
- Publication number
- CN115905857A CN115905857A CN202211279705.2A CN202211279705A CN115905857A CN 115905857 A CN115905857 A CN 115905857A CN 202211279705 A CN202211279705 A CN 202211279705A CN 115905857 A CN115905857 A CN 115905857A
- Authority
- CN
- China
- Prior art keywords
- layer
- data
- sequence
- power
- localbilstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
- Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
- Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
- Y04S20/20—End-user application control systems
- Y04S20/222—Demand response systems, e.g. load shedding, peak shaving
Landscapes
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于数学形态学和改进Transformer的非侵入式负荷分解方法,主要利用非侵入式负荷识别装置获取家庭的用电信息,进行数据预处理并构建数据集,通过构建多尺度数学形态学滤波器对数据进行滤波,然后输入到改进的Transformer神经网络进行训练学习:改进点主要体现在引入LocalBiLSTM层代替位置编码层,利用概率稀疏注意力机制代替传统注意力机制,并且使用1D卷积网络作为前向反馈层,训练时利用大量数据结合贝叶斯优化器不断调节网络参数,最后选出损失最小的作为最优模型参数,利用最优模型完成负荷分解任务,并对非侵入式负荷分解结果进行分析。通过本发明可以得到抗噪性强、稳定性强的负荷信息,并且负荷分解结果具有精度高和分解时间短的优势。
Description
技术领域
本发明涉及电力负荷分解的技术领域,尤其是指一种基于数学形态学和改进Transformer的非侵入式负荷分解方法。
背景技术
智能能源管理系统利用传感器的数据优化电力使用,实现高效的住宅能源消费。为了更好地了解在有限的监测数据下的家庭用电量,提出了非侵入式负荷监测NILM,或称能量分解,目的是将聚合电量分解为单个设备。使用智能计量技术,NILM算法通过监测家庭的总消耗量,可以实时预测单个电器的用电量,这种基于传感器的功率分析提供了用电量的反馈,因此支持可持续的能源消耗。
据估计,通过提供家庭级别的用电量反馈,可实现最高达12%的住宅节能,因此NILM在社区研究和公用事业包括住宅和商业能源使用、设备创新、节能营销和项目评估等领域都能造福广大市民群众。
综合以上论述,发明一种满足高准确率和实时的非侵入式负荷分解方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于数学形态学和改进Transformer的非侵入式负荷分解方法,可应用于在线监测家用电器的具体耗电量,具有监控成本低廉、分解准确率高等特点,通过本发明可以得到抗噪性能强、波形稳定的负荷数据,能够捕捉到前后负荷数据之间的密切关系,在执行负荷分解任务时能够在降低训练时间,并且提升结果的准确率。
为实现上述目的,本发明所提供的技术方案为:基于数学形态学和改进Transformer的非侵入式负荷分解方法,包括以下步骤:
1)利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,并进行数据预处理和构建数据集,将数据集划分训练集和测试集;
2)构建基于多尺度数学形态学处理数据的滤波器,称为多尺度数学形态学滤波器,对数据集中的数据进行滤波;
3)将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,利用训练集中的数据结合贝叶斯优化器不断调节更新模型参数,最后将测试集中的数据输入训练好的模型,得到待测目标电器的功率曲线,并利用相应指标进行评判;其中,构建的非侵入式负荷模型为改进的Transformer神经网络,该网络改进点包括:第一,引入了LocalBiLSTM层代替位置编码层,这不但无需根据不同的任务设计一个有效的位置嵌入层,并且LocalBiLSTM层能够充分捕捉每个窗口内的顺序信息,直接进行计算并行化,从而大大降低了计算的复杂性;第二,引入一种概率稀疏注意力机制,对注意力的计算过程进行稀疏化处理,以提高推理速度和减少空间消耗;第三,与传统的Transformer神经网络使用两层dense layer网络作为前向反馈层不同,其使用了两层1D卷积网络与ReLU激活,其动机是,对于非侵入式负荷分解任务来说,能够提取出相邻的隐藏元素彼此之间的关联信息,从而进一步提升精度。
进一步,在步骤1)中,利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,仅使用到用电入口处1Hz的低频功率,获取的原数据噪声大,异常数据多,需要进行数据预处理操作,具体是使用改进的箱型图进行数据异常值处理;改进的箱型图进行异常值处理的步骤包括:步骤1.1,求解数据的上分位数QU、下分位数QL与中位数;步骤1.2,设定最大值Max=QU+1.5(QU-QL)、最小值Min=QL-1.5(QU-QL);步骤1.3,如果数据date满足:date>Max或者date<Min则判定为异常值;步骤1.4,删除异常值,并采用拉格朗日插值法补全因此产生的空缺值;步骤1.5,重复步骤1.1~步骤1.4,检验异常值处理情况;
清理异常数据后,将数据按照比例划分成训练集和测试集,完成数据集的构建;
其中,拉格朗日插值法通过使用多项式函数近似输入与输出之间的关系,对于n+1个样本点(x0,y0),(x1,y1),···,(xi,yi),···,(xn,yn),其中,i=0,1,...n,xi为表示负荷总功率的第i个样本点,yi为表示设备功率的第i个样本点,在区间[a,b]内给定任意数据x,能够计算出x处对应的估计值,其公式如下:
式中,Ln(x)为拉格朗日插值多项式,i是n+1个数,n表示第n个采样点,j是在0到n之间不等于i的整数值,yi是xi处的函数值,xi、xj为互异节点,li(x)为基函数。
进一步,在步骤2)中,设输入信号为z(n),n∈{0,1,…,N-1},一共有N个数据,结构元素SE为γ(m),m∈{0,1,…,M-1},结构元素的长度为M,对该输入信号的膨胀和侵蚀操作定义为:
基于扩张和侵蚀的级联,开和闭的两个运算符表示为:
多尺度数学形态学MMM通过选择不同时间尺度的SE来实现开和闭操作,多尺度数学形态学的开放和封闭操作给定如下:
式中,st为时间尺度;
形态学上的开和关操作具有低通特性,将其级联能够同时过滤掉正负脉冲,根据级联的顺序,能够分别形成开-关OC或关-开CO滤波器,由于开操作的可扩展性和闭操作的反可扩展性,两个滤波器在统计上都有偏差,所以采用两个滤波器的平均组合,而滤波器的输出h(x)表示为:
h(x)=[OC(f(x))+CO(f(x))]/2
式中,f(x)为输入的数据;
因此,提出了一种多尺度数学形态学滤波器MMMF,它通过对目标信号的滤波结果进行加权和多尺度的SE,实现了灵活波动期下的波形分解,MMMF表示为:
最后,将构建完成的多尺度数学形态学滤波器对数据集中数据进行滤波。
进一步,在步骤3)中,首先,为了充分捕捉到数据的顺序信息和考虑数据的前后联系,采用LocalBiLSTM层代替传统Transformer神经网络中的位置编码层;
LocalBiLSTM层与以往的BiLSTM层不同,BiLSTM层应用于整个序列,而在此将原始负荷功率序列分成许多短的片段,这些片段只包含短时间的负荷信息;通过滑动窗口从经过滤波后的数据集中提取连续的窗口大小为G的局部功率序列,通过局部滑动窗口提取的负荷功率序列形成一个局部功率短序列,分别从前后两个方向从中训练一个共享的BiLSTM层来学习潜在的信息,通过上述方式,整个负荷数据序列的每个局部区域的局部功率信息被明确地纳入到学习的潜像表征中,把这种共享的BiLSTM层称为LocalBiLSTM层,LocalBiLSTM层只关注局部的短期依赖关系,而不考虑任何长期依赖关系;
具体来说,一系列功率序列xt-(M-1),xt-(M-2),…,xt被长度为G的滑动窗口依次选择,LocalBiLSTM层处理短期功率序列并产生G个隐藏状态,其中最后一个功率点xt被用作本地短序列ht的表示;
ht=LocalBiLSTM(xt-(G-1),xt-(G-2),…,xt)
为了使模型能够以自回归的方式处理序列,并且确保处理前后的序列长度一致,在利用滑动窗口处理之前将输入序列增加了(G-1)个长度,从序列的角度来看,LocalBiLSTM层接受一个输入序列x1,x2,…,xN后需要输出一个包含局部区域信息的隐藏表征序列h1,h2,…,hN:
h1,h2,…,hN=LocalBiLSTM(x1,x2,…,xN)
LocalBiLSTM层类似于一维卷积神经网络,然而,卷积运算完全忽略了局部窗口内位置的顺序信息,虽然传统的Transformer神经网络提出了位置嵌入层来缓解这一问题,但位置嵌入的有效性是有限的,而且根据不同的任务设计有效的位置嵌入还需要很多的额外努力;另一方面,LocalBiLSTM层能够完全捕获每个窗口内的顺序信息,逐个滑动运算还自然地包含了全局顺序信息,因此,在训练时就会考虑到前后功率信息的影响,从而提高训练精度;同时在处理短序列的计算是相互独立的,因此,计算并行化也相对简单,大大降低了计算复杂度;
其次,为了提高推理速度和减少空间消耗,引入一种概率稀疏注意力机制代替传统的自我注意力机制,对自注意的计算过程进行稀疏化处理,具体来说,对每个查询Q采用基于Kullback-Leibler散度的稀疏度度量来决定是否计算该查询Q的注意函数,传统的自我注意力机制Attention表示为:
式中,Q为目标向量,K为源向量,V为源向量对应的值,dk为K的维度,相似度计算采用向量的点积,并用dk对结果进行尺度缩放,然后用softmax函数求权重,在自注意力机制中,Q和K是相同的,所以Q=K=V,维度的大小都是dk;
u=clnL
式中,L表示K的长度,前u个元素取的标准,即区分重要联系和不重要联系的方法是KL散度的一个变体,被称为最大-均值度量,稀疏值M′越大的查询表示在自我注意机制中发挥更重要的作用:
式中,qi表示Q中第i个元素,kj表示K中第j个元素,这样只要随机选取u个Q中的元素和K计算M′,然后再从M′中选u个元素组成K,即可大大简化计算资源和内存资源,而自注意力机制的性能损失少;
最后,将传统Transformer前向反馈层中的两层dense layer改进为两层1D卷积网络,其动机是提取出相邻的隐藏元素之间的关联信息,使前后功率序列之间的联系更加密切,以提高非侵入式负荷分解任务的精度。
进一步,改进的Transformer神经网络包括以下模块:
模块1,特征提取层,由可分离1D卷积层、激活函数ReLU组成;
模块2,为2×2平均池化层;
模块3,LocalBiLSTM层;
模块4,多头概率稀疏注意力机制模块,由h个概率稀疏注意力机制层组成;
模块5,前向反馈层,由两个1D卷积层组成;
模块6,残差层;
模块7,层归一化层;
模块8,线性输出层,由dense layer组成;
整个改进的Transformer神经网络的体系结构表述为:
h1,h2,…,hT=LocalBiLSTM(x1,x2,…,xT)
式中,x1,x2,…,xT为输入的负荷序列,h1,h2,…,hT为经过LocalBiLSTM层输出的序列,为经过LayerNorm1层归一化层的序列,u1,u2,…,uT为经过MultiHeadAttention多头稀疏概率注意力机制层的序列,为经过LayerNorm2层归一化层的序列,m1,m2,...,mT为经过1D卷积的序列,n1,n2,...,nT为经过LayerNorm2层归一化层的序列,y1,y2,...,yT为经过dense layer的最终输出序列;
所以,总损失函数表示为:
losstotal=loss(Dense(Conv1D(Add&Norm(MultiheadAttention(LocalBiLSTM(feature(X)))))))
式中,losstotal代表总损失函数,Dense代表dense layer层,Add&Norm代表残差层和层归一化层,feature代表特征提取层,X代表输入的负荷功率序列。
进一步,在步骤3)中,将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,首先设置训练的初始神经网络参数,包括优化器、Batchsize、初始学习率、最大训练次数和滑动窗口大小,然后利用训练集中的数据结合贝叶斯优化器不断调节更新模型超参数,最终得到最优的Batchsize为256,最大训练次数为200,最优滑动窗口大小为5,选用Adam作为优化器,初始学习率为0.0001,损失函数采用最小均方误差MSE,为了进一步防止过拟合,加入早停earlystopping机制,即当均方误差停止下降达到10个迭代次数后,模型将会自动停止训练和引入了学习率衰减机制,并设置衰减率为0.1,衰减步长为1000,通过贝叶斯优化器不断对模型超参数的优化调整,能够提高模型准确率,同样地,卷积层、denselayer层、LocalBiLSTM层以及多头稀疏概率注意力机制层中的参数也能够用贝叶斯优化器去选择最佳的数值;在训练结束后,从保存的训练参数中选出损失最小的模型参数作为检测模型的模型参数;然后将测试集中的数据输入到训练好的模型,即可得出用户的分解结果。
进一步,在步骤3)中,为了更好评价模型执行非侵入式负荷分解任务的性能,利用平均绝对误差MAE、归一化信号总误差SAE和F1、准确率Accuracy、精确率Precision、回召率Recall进行评估,分别为:
式中,precision(cj)为准确率;recall(cj)为召回率;F1-Score(cj)为F1指标;TP(cj)表示正确识别出类别cj的个数;FN(cj)表示未能正确识别出类别cj的个数;FP(cj)为不属于cj类别,但被识别成cj的个数。
本发明与现有技术相比,具有如下优点与有益效果:
1、使用本发明的多尺度数学形态学滤波方法,能够清除由于非侵入式负荷识别装置或环境因素产生的测量异常点,使得数据更具有抗噪性,稳定性更强,负荷特征更加明显。
2、本发明提出了解决非侵入式负荷分解任务的新视角,与RNN和CNN模型不同的是,本发明提出的模型是具有并行计算能力的改进的Transformer神经网络,并且利用概率稀疏注意力机制进一步降低计算和存储量,提供了一种基于深度学习的负荷分解的高效方法。
3、本发明提出了采用LocalBiLSTM层代替位置嵌入层来充分捕捉负荷的局部信息,增强前后负荷数据之间的联系,以提高模型对负荷局部模式的识别。
4、本发明提出了采用两层1D卷积网络代替传统的前向反馈网络,能够提取出相邻的隐藏元素彼此之间的关联信息,进一步提升网络分解的精度。
附图说明
图1为本发明方法的流程图。
图2为利用多尺度数学形态学对数据进行滤波操作的示意图,图中raw signal表示原始信号,denoised signal表示滤波后的信号,multiscale morphology analysis表示对信号进行多尺度分析,adaptive selection of SEs表示自适应选择结构元素,weightedsummation表示加权求和。
图3为LocalBiLSTM层的结构图。
图4为改进的Transformer神经网络的结构图,图中Input layer表示输入的负荷序列,Feature extract layer表示特征提取层,Multihead Attention表示多头稀疏概率注意力机制层,Add&Norm表示残差层和层归一化层,Conv1d表示1D卷积层,Regressor表示用dense layer进行线性回归,Outputs表示最终的输入负荷分解结果。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1所示,本实施例公开了一种基于数学形态学和改进Transformer的非侵入式负荷分解方法,其具体情况如下:
1)利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,并进行数据预处理和构建数据集,将数据集划分训练集和测试集,具体如下:
利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,仅使用到用电入口处1Hz的低频功率,采集成本低,通常获取的原数据噪声比较大,异常数据比较多,需要进行数据预处理操作,我们使用改进的箱型图进行数据异常值处理;
改进的箱型图进行异常值处理的主要步骤为:步骤1.1,求解数据的上分位数QU、下分位数QL与中位数;步骤1.2,设定最大值Max=QU+1.5(QU-QL)、最小值Min=QL-1.5(QU-QL);步骤1.3,如果数据date:满足date>Max或者date<Min则判定为异常值;步骤1.4,删除异常值,并采用拉格朗日插值法补全因此产生的空缺值;步骤1.5,重复步骤1.1~步骤1.4,检验异常值处理情况;
其中,拉格朗日插值法通过使用多项式函数近似输入与输出之间的关系,对于n+1个样本点(x0,y0),(x1,y1),···,(xi,yi),···,(xn,yn),其中,i=0,1,...n,xi为表示负荷总功率的第i个样本点,yi为表示设备功率的第i个样本点,在区间[a,b]内给定任意数据x,能够计算出x处对应的估计值,其公式如下:
式中,Ln(x)为拉格朗日插值多项式,i是n+1个数,n表示第n个采样点,j是在0到n之间不等于i的整数值,yi是xi处的函数值,xi、xj为互异节点,li(x)为基函数;
清理异常数据后,进行数据的标准化处理,其目的是使数据更容易被神经网络所训练,有利于得到更好的结果,标准化公式表达如下:
设备 | 平均功率(w) | 标准偏差 |
水壶 | 700 | 1000 |
微波炉 | 500 | 800 |
冰箱 | 200 | 400 |
洗碗机 | 700 | 1000 |
洗衣机 | 400 | 700 |
最后,将数据按照7:3的比例划分成训练集和测试集,完成数据集的构建,为了使负荷分解的结果更明显且展现所提方法的优势,我们采取UK-DALE数据集中的几种典型的负荷设备包括:水壶、冰箱、洗衣机、洗碗机和微波炉进行分解,并以此来完成数据库的构建。
2)构建基于多尺度数学形态学处理数据的滤波器,称为多尺度数学形态学滤波器,对数据集中的数据进行滤波,具体如下:
设输入信号为z(n),n∈{0,1,…,N-1},一共有N个数据,结构元素SE为γ(m),m∈{0,1,…,M-1},结构元素的长度为M,对该输入信号的膨胀和侵蚀操作定义为:
基于扩张和侵蚀的级联,开和闭的两个运算符可以表示为:
多尺度数学形态学MMM可以通过选择不同时间尺度的SE来实现开和闭操作,多尺度数学形态学的开放和封闭操作可以给定如下:
式中,st为时间尺度;
形态学上的开和关操作具有低通特性,将其级联可以同时过滤掉正负脉冲,根据级联的顺序,可以分别形成开-关OC或关-开CO滤波器,由于开操作的可扩展性和闭操作的反可扩展性,两个滤波器在统计上都有偏差,所以本文采用两个滤波器的平均组合,而滤波器的输出h(x)可以表示为:
h(x)=[OC(f(x))+CO(f(x))]/2
式中,f(x)为输入的数据;
因此,我们提出了一种多尺度数学形态学滤波器MMMF,它通过对目标信号的滤波结果进行加权和多尺度的SE,实现了灵活波动期下的波形分解,MMMF可以表示为:
最后,将构建完成的多尺度数学形态学滤波器对数据集中数据进行滤波,滤波前后的结果及流程如图2所示,图中raw signal表示原始信号,denoised signal表示滤波后的信号,multiscale morphology analysis表示对信号进行多尺度分析,adaptiveselection of SEs表示自适应选择结构元素,weighted summation表示加权求和。
3)将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,利用训练集中的数据结合贝叶斯优化器不断调节更新模型参数,最后将测试集中的数据输入训练好的模型,得到待测目标电器的功率曲线,并利用相应指标进行评判;其中,构建的非侵入式负荷模型为改进的Transformer神经网络,该网络改进点包括:第一,引入了LocalBiLSTM层代替位置编码层,这不但无需根据不同的任务设计一个有效的位置嵌入层,并且LocalBiLSTM层能够充分捕捉每个窗口内的顺序信息,直接进行计算并行化,从而大大降低了计算的复杂性;第二,引入一种概率稀疏注意力机制,对注意力的计算过程进行稀疏化处理,以提高推理速度和减少空间消耗;第三,与传统的Transformer神经网络使用两层dense layer网络作为前向反馈层不同,我们使用了两层1D卷积网络与ReLU激活,其动机是,对于非侵入式负荷分解任务来说,能够提取出相邻的隐藏元素彼此之间的关联信息,从而进一步提升精度。
首先,为了充分捕捉到数据的顺序信息和考虑数据的前后联系,采用LocalBiLSTM层代替传统Transformer中的位置编码层,其结构如图3所示;
LocalBiLSTM层与以往的BiLSTM层不同,BiLSTM层通常应用于整个序列,而我们将原始负荷功率序列分成许多短的片段,这些片段只包含短时间的负荷信息;进一步来说,我们通过滑动窗口从经过滤波后的数据集中提取连续的窗口大小为K的局部功率序列,通过局部滑动窗口提取的负荷功率序列形成一个局部功率短序列,分别从前后两个方向从中训练一个共享的BiLSTM层来学习潜在的信息,通过上述方式,整个负荷数据序列的每个局部区域的局部功率信息被明确地纳入到学习的潜像表征中,我们把共享的BiLSTM层称为LocalBiLSTM层,与经典的BiLSTM层相比,LocalBiLSTM层只关注局部的短期依赖关系,而不考虑任何长期依赖关系;
具体来说,一系列功率序列xt-(M-1),xt-(M-2),…,xt被长度为G的滑动窗口依次选择,LocalBiLSTM层处理短期功率序列并产生G个隐藏状态,其中最后一个功率点xt被用作本地短序列ht的表示;
ht=LocalBiLSTM(xt-(G-1),xt-(G-2),…,xt)
为了使模型能够以自回归的方式处理序列,并且确保处理前后的序列长度一致,我们在利用滑动窗口处理之前将输入序列增加了(G-1)个长度,从序列的角度来看,LocalBiLSTM层接受一个输入序列x1,x2,…,xN后需要输出一个包含局部区域信息的隐藏表征序列h1,h2,…,hN:
h1,h2,…,hN=LocalBiLSTM(x1,x2,…,xN)
LocalBiLSTM类似于一维卷积神经网络,然而,卷积运算完全忽略了局部窗口内位置的顺序信息,虽然传统的Transformer神经网络提出了位置嵌入层来缓解这一问题,但位置嵌入的有效性是有限的,而且根据不同的任务设计有效的位置嵌入还需要相当多的额外努力;另一方面,LocalBiLSTM层能够完全捕获每个窗口内的顺序信息,逐个滑动运算还自然地包含了全局顺序信息,因此在训练时就会考虑到前后功率信息的影响,从而提高训练精度;同时在处理短序列的计算是相互独立的,因此,计算并行化也相对简单,大大降低了计算复杂度;
其次,为了提高推理速度和减少空间消耗,我们引入一种概率稀疏注意力机制代替传统的自我注意力机制,对自注意的计算过程进行稀疏化处理,具体来说,我们对每个查询Q采用基于Kullback-Leibler散度的稀疏度度量来决定是否计算该查询Q的注意函数,传统的自我注意力机制可以表示为:
其中Q为目标向量,K为源向量,V为源向量对应的值,dk为K的维度,相似度计算采用向量的点积,并用dk对结果进行尺度缩放,然后用softmax函数求权重,在自注意力机制中,Q和K是相同的,一般的注意力机制中,若没有特殊说明,K和V是相同的,所以Q=K=V,维度的大小都是dk;
u=clnL
其中L表示K的长度,前u个元素取的标准,即区分重要联系和不重要联系的方法是KL散度的一个变体,被称为最大-均值度量,稀疏值M′越大的查询表示在自我注意机制中发挥更重要的作用:
上式中,qi表示Q中第i个元素,kj表示K中第j个元素,这样只要随机选取u个Q中的元素和K计算M′,然后再从M′中选u个元素组成K,即可大大简化计算资源和内存资源,而自注意力机制的性能损失不会太多;
最后,我们将传统Transformer前向反馈层中的两层dense layer改进为两层1D卷积网络,其动机是提取出相邻的隐藏元素之间的关联信息,使前后功率序列之间的联系更加密切,以提高非侵入式负荷分解任务的精度。
整个改进的Transformer神经网络的结构如图4所示,其中Input layer表示输入的负荷序列,Feature extract layer表示特征提取层,Multihead Attention表示多头稀疏概率注意力机制层,Add&Norm表示残差层和层归一化层,Conv1d表示1D卷积层,Regressor表示用dense layer进行线性回归,Outputs表示最终的输入负荷分解结果。
综上所述,改进的Transformer神经网络包括以下模块:
模块1,特征提取层,由可分离1D卷积层、激活函数ReLU组成;
模块2,为2×2平均池化层;
模块3,LocalBiLSTM层;
模块4,多头概率稀疏注意力机制模块,由h个概率稀疏注意力机制层组成;
模块5,前向反馈层,由两个1D卷积层组成;
模块6,残差层;
模块7,层归一化层;
模块8,线性输出层,由dense layer组成;
整个改进的Transformer神经网络的体系结构可以表述为:
h1,h2,…,hT=LocalBiLSTM(x1,x2,…,xT)
y1,y2,...,yT=Dense(n1,n2,...,nT)
式中,x1,x2,…,xT为输入的负荷序列,h1,h2,…,hT为经过LocalBiLSTM层输出的序列,为经过LayerNorm1层归一化层的序列,u1,u2,…,uT为经过MultiHeadAttention多头稀疏概率注意力机制层的序列,为经过LayerNorm2层归一化层的序列,m1,m2,...,mT为经过1D卷积的序列,n1,n2,...,nT为经过LayerNorm2层归一化层的序列,y1,y2,...,yT为经过dense layer的最终输出序列;
所以,总损失函数表示为:
losstotal=loss(Dense(Conv1D(Add&Norm(MultiheadAttention(LocalBiLSTM(feature(X)))))))
式中,losstotal代表总损失函数,Dense代表dense layer层,Add&Norm代表残差层和层归一化层,feature代表特征提取层,X代表输入的负荷功率序列。
将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,首先设置训练的初始神经网络参数,包括优化器、Batchsize、初始学习率、最大训练次数、滑动窗口大小等,然后利用训练集中的数据结合贝叶斯优化器不断调节更新模型超参数,最终得到最优的Batchsize为256,最大训练次数为200,最优滑动窗口大小为5,选用Adam作为优化器,初始学习率为0.0001,损失函数采用最小均方误差MSE,为了进一步防止过拟合,我们加入早停earlystopping机制,即当均方误差停止下降达到10个迭代次数后,模型将会自动停止训练和引入了学习率衰减机制,并设置衰减率为0.1,衰减步长为1000,通过贝叶斯优化器不断对模型超参数的优化调整,能够提高模型准确率,同样地,卷积层、dense layer层、LocalBiLSTM层以及多头稀疏概率注意力机制层中的参数也可以用贝叶斯优化器去选择最佳的数值;在训练结束后,从保存的训练参数中选出损失最小的模型参数作为检测模型的模型参数;然后将测试集中的数据输入到训练好的模型,即可得出用户的分解结果。
为了更好评价模型执行非侵入式负荷分解任务的性能,我们利用平均绝对误差MAE、归一化信号总误差SAE和F1、准确率Accuracy、精确率Precision、回召率Recall进行评估,分别为:
式中,precision(cj)为准确率;recall(cj)为召回率;F1-Score(cj)为F1指标;TP(cj)表示正确识别出类别cj的个数;FN(cj)表示未能正确识别出类别cj的个数;FP(cj)为不属于cj类别,但被识别成cj的个数;通过上述的各种回归和分解指标公式可以验证本发明模型具有可行性,其在UK-DALE数据集上的结果如下表所示,其中房间2为验证集,房间1、3、4、5为训练集;
Error | 微波炉 | 冰箱 | 洗碗机 | 洗衣机 | 水壶 | 平均 |
MAE | 7.31 | 11.60 | 15.26 | 15.83 | 6.71 | 11.34±4.28 |
SAE | 0.305 | 0.051 | 0.114 | 0.154 | 0.057 | 0.136±0.103 |
Recall | 0.628 | 0.914 | 0.960 | 0.575 | 0.933 | 0.802 |
Accuracy | 0.902 | 0.973 | 0.992 | 0.989 | 0.996 | 0.970 |
Precision | 0.424 | 0.931 | 0.777 | 0.586 | 0.974 | 0.738 |
F1 | 0.506 | 0.922 | 0.859 | 0.581 | 0.953 | 0.764 |
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,包括以下步骤:
1)利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,并进行数据预处理和构建数据集,将数据集划分训练集和测试集;
2)构建基于多尺度数学形态学处理数据的滤波器,称为多尺度数学形态学滤波器,对数据集中的数据进行滤波;
3)将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,利用训练集中的数据结合贝叶斯优化器不断调节更新模型参数,最后将测试集中的数据输入训练好的模型,得到待测目标电器的功率曲线,并利用相应指标进行评判;其中,构建的非侵入式负荷模型为改进的Transformer神经网络,该网络改进点包括:第一,引入了LocalBiLSTM层代替位置编码层,这不但无需根据不同的任务设计一个有效的位置嵌入层,并且LocalBiLSTM层能够充分捕捉每个窗口内的顺序信息,直接进行计算并行化,从而大大降低了计算的复杂性;第二,引入一种概率稀疏注意力机制,对注意力的计算过程进行稀疏化处理,以提高推理速度和减少空间消耗;第三,与传统的Transformer神经网络使用两层dense layer网络作为前向反馈层不同,其使用了两层1D卷积网络与ReLU激活,其动机是,对于非侵入式负荷分解任务来说,能够提取出相邻的隐藏元素彼此之间的关联信息,从而进一步提升精度。
2.根据权利要求1所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,在步骤1)中,利用非侵入式负荷识别装置获取待测目标电器的功率序列和家庭总用电功率序列,仅使用到用电入口处1Hz的低频功率,获取的原数据噪声大,异常数据多,需要进行数据预处理操作,具体是使用改进的箱型图进行数据异常值处理,改进的箱型图进行异常值处理的步骤包括:步骤1.1,求解数据的上分位数QU、下分位数QL与中位数;步骤1.2,设定最大值Max=QU+1.5(QU-QL)、最小值Min=QL-1.5(QU-QL);步骤1.3,如果数据date满足:date>Max或者date<Min则判定为异常值;步骤1.4,删除异常值,并采用拉格朗日插值法补全因此产生的空缺值;步骤1.5,重复步骤1.1~步骤1.4,检验异常值处理情况;
清理异常数据后,将数据按照比例划分成训练集和测试集,完成数据集的构建;
其中,拉格朗日插值法通过使用多项式函数近似输入与输出之间的关系,对于n+1个样本点(x0,y0),(x1,y1),···,(xi,yi),···,(xn,yn),其中,i=0,1,...n,xi为表示负荷总功率的第i个样本点,yi为表示设备功率的第i个样本点,在区间[a,b]内给定任意数据x,能够计算出x处对应的估计值,其公式如下:
式中,Ln(x)为拉格朗日插值多项式,i是n+1个数,n表示第n个采样点,j是在0到n之间不等于i的整数值,yi是xi处的函数值,xi、xj为互异节点,li(x)为基函数。
3.根据权利要求2所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,在步骤2)中,设输入信号为z(n),n∈{0,1,…,N-1},一共有N个数据,结构元素SE为γ(m),m∈{0,1,…,M-1},结构元素的长度为M,对该输入信号的膨胀和侵蚀操作定义为:
基于扩张和侵蚀的级联,开和闭的两个运算符表示为:
多尺度数学形态学MMM通过选择不同时间尺度的SE来实现开和闭操作,多尺度数学形态学的开放和封闭操作给定如下:
式中,st为时间尺度;
形态学上的开和关操作具有低通特性,将其级联能够同时过滤掉正负脉冲,根据级联的顺序,能够分别形成开-关OC或关-开CO滤波器,由于开操作的可扩展性和闭操作的反可扩展性,两个滤波器在统计上都有偏差,所以采用两个滤波器的平均组合,而滤波器的输出h(x)表示为:
h(x)=[OC(f(x))+CO(f(x))]/2
式中,f(x)为输入的数据;
因此,提出了一种多尺度数学形态学滤波器MMMF,它通过对目标信号的滤波结果进行加权和多尺度的SE,实现了灵活波动期下的波形分解,MMMF表示为:
最后,将构建完成的多尺度数学形态学滤波器对数据集中数据进行滤波。
4.根据权利要求3所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,在步骤3)中,首先,为了充分捕捉到数据的顺序信息和考虑数据的前后联系,采用LocalBiLSTM层代替传统Transformer神经网络中的位置编码层;
LocalBiLSTM层与以往的BiLSTM层不同,BiLSTM层应用于整个序列,而在此将原始负荷功率序列分成许多短的片段,这些片段只包含短时间的负荷信息;通过滑动窗口从经过滤波后的数据集中提取连续的窗口大小为K的局部功率序列,通过局部滑动窗口提取的负荷功率序列形成一个局部功率短序列,分别从前后两个方向从中训练一个共享的BiLSTM层来学习潜在的信息,通过上述方式,整个负荷数据序列的每个局部区域的局部功率信息被明确地纳入到学习的潜像表征中,把这种共享的BiLSTM层称为LocalBiLSTM层,LocalBiLSTM层只关注局部的短期依赖关系,而不考虑任何长期依赖关系;
具体来说,一系列功率序列xt-(M-1),xt-(M-2),…,xt被长度为G的滑动窗口依次选择,LocalBiLSTM层处理短期功率序列并产生G个隐藏状态,其中最后一个功率点xt被用作本地短序列ht的表示;
ht=LocalBiLSTM(xt-(G-1),xt-(G-2),…,xt)
为了使模型能够以自回归的方式处理序列,并且确保处理前后的序列长度一致,在利用滑动窗口处理之前将输入序列增加了(G-1)个长度,从序列的角度来看,LocalBiLSTM层接受一个输入序列x1,x2,…,xN后需要输出一个包含局部区域信息的隐藏表征序列h1,h2,…,hN:
h1,h2,…,hN=LocalBiLSTM(x1,x2,…,xN)
LocalBiLSTM层类似于一维卷积神经网络,然而,卷积运算完全忽略了局部窗口内位置的顺序信息,虽然传统的Transformer神经网络提出了位置嵌入层来缓解这一问题,但位置嵌入的有效性是有限的,而且根据不同的任务设计有效的位置嵌入还需要很多的额外努力;另一方面,LocalBiLSTM层能够完全捕获每个窗口内的顺序信息,逐个滑动运算还自然地包含了全局顺序信息,因此,在训练时就会考虑到前后功率信息的影响,从而提高训练精度;同时在处理短序列的计算是相互独立的,因此,计算并行化也相对简单,大大降低了计算复杂度;
其次,为了提高推理速度和减少空间消耗,引入一种概率稀疏注意力机制代替传统的自我注意力机制,对自注意的计算过程进行稀疏化处理,具体来说,对每个查询Q采用基于Kullback-Leibler散度的稀疏度度量来决定是否计算该查询Q的注意函数,传统的自我注意力机制Attention表示为:
式中,Q为目标向量,K为源向量,V为源向量对应的值,dk为K的维度,相似度计算采用向量的点积,并用dk对结果进行尺度缩放,然后用softmax函数求权重,在自注意力机制中,Q和K是相同的,所以Q=K=V,维度的大小都是dk;
u=clnL
式中,L表示K的长度,前u个元素取的标准,即区分重要联系和不重要联系的方法是KL散度的一个变体,被称为最大-均值度量,稀疏值M′越大的查询表示在自我注意机制中发挥更重要的作用:
式中,qi表示Q中第i个元素,kj表示K中第j个元素,这样只要随机选取u个Q中的元素和K计算M′,然后再从M′中选u个元素组成K,即可大大简化计算资源和内存资源,而自注意力机制的性能损失少;
最后,将传统Transformer前向反馈层中的两层dense layer改进为两层1D卷积网络,其动机是提取出相邻的隐藏元素之间的关联信息,使前后功率序列之间的联系更加密切,以提高非侵入式负荷分解任务的精度。
5.根据权利要求4所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,改进的Transformer神经网络包括以下模块:
模块1,特征提取层,由可分离1D卷积层、激活函数ReLU组成;
模块2,为2×2平均池化层;
模块3,LocalBiLSTM层;
模块4,多头概率稀疏注意力机制模块,由h个概率稀疏注意力机制层组成;
模块5,前向反馈层,由两个1D卷积层组成;
模块6,残差层;
模块7,层归一化层;
模块8,线性输出层,由dense layer组成;
整个改进的Transformer神经网络的体系结构表述为:
h1,h2,…,hT=LocalBiLSTM(x1,x2,…,xT)
y1,y2,...,yT=Dense(n1,n2,...,nT)
式中,x1,x2,…,xT为输入的负荷序列,h1,h2,…,hT为经过LocalBiLSTM层输出的序列,为经过LayerNorm1层归一化层的序列,u1,u2,…,uT为经过MultiHeadAttention多头稀疏概率注意力机制层的序列,为经过LayerNorm2层归一化层的序列,m1,m2,...,mT为经过1D卷积的序列,n1,n2,...,nT为经过LayerNorm2层归一化层的序列,y1,y2,...,yT为经过dense layer的最终输出序列;
所以,总损失函数表示为:
losstotal=loss(Dense(Conv1D(Add&Norm(MultiheadAttention(LocalBiLSTM(feature(X)))))))
式中,losstotal代表总损失函数,Dense代表dense layer层,Add&Norm代表残差层和层归一化层,feature代表特征提取层,X代表输入的负荷功率序列。
6.根据权利要求5所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,在步骤3)中,将滤波后的数据输入构建的非侵入式负荷模型进行分解训练,首先设置训练的初始神经网络参数,包括优化器、Batchsize、初始学习率、最大训练次数和滑动窗口大小,然后利用训练集中的数据结合贝叶斯优化器不断调节更新模型超参数,最终得到最优的Batchsize为256,最大训练次数为200,最优滑动窗口大小为5,选用Adam作为优化器,初始学习率为0.0001,损失函数采用最小均方误差MSE,为了进一步防止过拟合,加入早停earlystopping机制,即当均方误差停止下降达到10个迭代次数后,模型将会自动停止训练和引入了学习率衰减机制,并设置衰减率为0.1,衰减步长为1000,通过贝叶斯优化器不断对模型超参数的优化调整,能够提高模型准确率,同样地,卷积层、denselayer层、LocalBiLSTM层以及多头稀疏概率注意力机制层中的参数也能够用贝叶斯优化器去选择最佳的数值;在训练结束后,从保存的训练参数中选出损失最小的模型参数作为检测模型的模型参数;然后将测试集中的数据输入到训练好的模型,即可得出用户的分解结果。
7.根据权利要求6所述的基于数学形态学和改进Transformer的非侵入式负荷分解方法,其特征在于,在步骤3)中,为了更好评价模型执行非侵入式负荷分解任务的性能,利用平均绝对误差MAE、归一化信号总误差SAE和F1、准确率Accuracy、精确率Precision、回召率Recall进行评估,分别为:
式中,precision(cj)为准确率;recall(cj)为召回率;F1-Score(cj)为F1指标;TP(cj)表示正确识别出类别cj的个数;FN(cj)表示未能正确识别出类别cj的个数;FP(cj)为不属于cj类别,但被识别成cj的个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211279705.2A CN115905857A (zh) | 2022-10-19 | 2022-10-19 | 基于数学形态学和改进Transformer的非侵入式负荷分解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211279705.2A CN115905857A (zh) | 2022-10-19 | 2022-10-19 | 基于数学形态学和改进Transformer的非侵入式负荷分解方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115905857A true CN115905857A (zh) | 2023-04-04 |
Family
ID=86471781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211279705.2A Pending CN115905857A (zh) | 2022-10-19 | 2022-10-19 | 基于数学形态学和改进Transformer的非侵入式负荷分解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115905857A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116756575A (zh) * | 2023-08-17 | 2023-09-15 | 山东科技大学 | 基于bgain-dd网络的非侵入式负荷分解方法 |
CN117081246A (zh) * | 2023-08-16 | 2023-11-17 | 北京市计量检测科学研究院 | 一种室内电动自行车充电识别系统及计算机设备 |
CN118094111A (zh) * | 2024-04-18 | 2024-05-28 | 国网山东省电力公司日照供电公司 | 一种基于机器学习的非侵入式负荷监测与辨识方法及系统 |
CN118194141A (zh) * | 2024-05-17 | 2024-06-14 | 国网安徽省电力有限公司营销服务中心 | 一种用电行为判别方法及系统 |
CN118298799A (zh) * | 2024-06-06 | 2024-07-05 | 清华大学 | 基于稀疏滑动窗口的低时延生成音频检测连续学习方法、装置、设备及介质 |
CN118673966A (zh) * | 2024-08-23 | 2024-09-20 | 吉林大学 | 基于Transformer模型和迁移学习的非侵入式负荷监测方法和设备 |
CN118673966B (zh) * | 2024-08-23 | 2024-10-22 | 吉林大学 | 基于Transformer模型和迁移学习的非侵入式负荷监测方法和设备 |
-
2022
- 2022-10-19 CN CN202211279705.2A patent/CN115905857A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117081246A (zh) * | 2023-08-16 | 2023-11-17 | 北京市计量检测科学研究院 | 一种室内电动自行车充电识别系统及计算机设备 |
CN116756575A (zh) * | 2023-08-17 | 2023-09-15 | 山东科技大学 | 基于bgain-dd网络的非侵入式负荷分解方法 |
CN116756575B (zh) * | 2023-08-17 | 2023-11-03 | 山东科技大学 | 基于bgain-dd网络的非侵入式负荷分解方法 |
CN118094111A (zh) * | 2024-04-18 | 2024-05-28 | 国网山东省电力公司日照供电公司 | 一种基于机器学习的非侵入式负荷监测与辨识方法及系统 |
CN118094111B (zh) * | 2024-04-18 | 2024-09-06 | 国网山东省电力公司日照供电公司 | 一种基于机器学习的非侵入式负荷监测与辨识方法及系统 |
CN118194141A (zh) * | 2024-05-17 | 2024-06-14 | 国网安徽省电力有限公司营销服务中心 | 一种用电行为判别方法及系统 |
CN118298799A (zh) * | 2024-06-06 | 2024-07-05 | 清华大学 | 基于稀疏滑动窗口的低时延生成音频检测连续学习方法、装置、设备及介质 |
CN118673966A (zh) * | 2024-08-23 | 2024-09-20 | 吉林大学 | 基于Transformer模型和迁移学习的非侵入式负荷监测方法和设备 |
CN118673966B (zh) * | 2024-08-23 | 2024-10-22 | 吉林大学 | 基于Transformer模型和迁移学习的非侵入式负荷监测方法和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115905857A (zh) | 基于数学形态学和改进Transformer的非侵入式负荷分解方法 | |
Rodrigues et al. | The daily and hourly energy consumption and load forecasting using artificial neural network method: a case study using a set of 93 households in Portugal | |
CN108320016B (zh) | 一种建筑能耗短期预测方法 | |
Liu et al. | Energy disaggregation of appliances consumptions using ham approach | |
Zhou et al. | Non-intrusive load decomposition based on CNN–LSTM hybrid deep learning model | |
CN103577694B (zh) | 一种基于多尺度分析的水产养殖水质短期组合预测方法 | |
CN113705877B (zh) | 基于深度学习模型的实时月径流预报方法 | |
CN108805743A (zh) | 一种电网企业售电公司运营效益评价方法 | |
CN112396234A (zh) | 一种基于时域卷积神经网络的用户侧负荷概率预测方法 | |
CN110781595B (zh) | 能源使用效率pue的预测方法、装置、终端及介质 | |
CN114119273A (zh) | 一种园区综合能源系统非侵入式负荷分解方法及系统 | |
CN115130830B (zh) | 基于级联宽度学习和麻雀算法的非侵入式负荷分解方法 | |
Akpinar et al. | Forecasting natural gas consumption with hybrid neural networks—Artificial bee colony | |
CN112132334A (zh) | 一种用于城市生活垃圾产量的预测方法 | |
CN115100466A (zh) | 一种非侵入式负荷监测方法、装置及介质 | |
CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
CN114462306A (zh) | 基于变权重时域卷积网络的非侵入式用电负荷分解方法 | |
Pamir et al. | Electricity theft detection for energy optimization using deep learning models | |
CN111582588B (zh) | 一种基于三重卷积融合gru的建筑物能耗预测方法 | |
CN117477561A (zh) | 居民家用负荷概率预测方法及系统 | |
Xiang et al. | Prediction model of household appliance energy consumption based on machine learning | |
CN116561569A (zh) | 一种基于EO特征选择结合AdaBoost算法的工业电力负荷辨识方法 | |
CN115622034A (zh) | 一种基于改进遗传神经网络的物联表电力负荷识别方法 | |
Heng et al. | A hybrid forecasting model based on empirical mode decomposition and the cuckoo search algorithm: a case study for power load | |
CN115759343A (zh) | 一种基于e-lstm的用户电量预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |