CN114781458A - 基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 - Google Patents
基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 Download PDFInfo
- Publication number
- CN114781458A CN114781458A CN202210481128.9A CN202210481128A CN114781458A CN 114781458 A CN114781458 A CN 114781458A CN 202210481128 A CN202210481128 A CN 202210481128A CN 114781458 A CN114781458 A CN 114781458A
- Authority
- CN
- China
- Prior art keywords
- fault
- data
- time
- representing
- time step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 23
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 230000000306 recurrent effect Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 26
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 239000011541 reaction mixture Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
- Y04S10/52—Outage or fault management, e.g. fault detection or location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明公开了一种基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法,包括:1、对采集到的电流和电压数据进行预处理并划分数据集;2、设计基于自适应小波变换的时频记忆递归神经网络核心结构;3、构建基于自适应小波变换和Attention机制的时频记忆递归神经网络;4、基于自适应小波和Attention机制的时频记忆递归神经网络得到测试集样本的输出结果。本发明通过基于自适应小波变换和Attention机制的时频记忆递归神经网络来提供时间序列的细粒度分析,可以动态的捕获数据在时域和频域上的特征,以提高初期故障的识别精度,满足了准确化快速化的实际需求。
Description
技术领域
本发明涉及小波变换技术,深度学习技术,Attention机制技术,具体涉及基于自适应小波变换和Attention机制的时频记忆递归神经网络进行初期故障识别方法,适用于主动配电系统中对初期故障进行实时检测。
背景技术
电网设备运行的状态可以分为正常状态和故障状态,而在实际中设备状态可细分为正常状态,初期故障状态和故障状态。设备的初期故障是以一种弱故障扰动,其故障信号微弱,持续时间短,可自行恢复,保护装置不会动作,因此初期故障容易对设备造成损害却未得到及时关注,最终将会演变成永久故障。检测初期故障有助于主动故障管理和预测性维护,使有缺陷的装置可以提前进行更换,对有效提高供电可靠性具有重要意义。
初期故障可以采用传统的故障识别的方法进行检测,传统方法通过对输入输出故障信号处理、状态估计、参数估计的方法,获得能够表征故障电压电流信号的特征量,通过对特征量分析计算,将分析结果与人工设定阈值比较,或根据特征量概率分布等规则,对初期故障进行辨识。这种通过人工选取特征再依据规则对初期故障辨识分类的方法对特征提取精度要求高,并且阈值设定和区分标准制定由经验确定,因此不适用于波形复杂的故障分类。
深度学习的兴起引起了人们的广泛关注,将神经网络应用到故障检测中取得了良好的识别效果。如利用LSTM与GRU构建深度递归神经网络架构对捕获的设备振动时间序列的隐藏信息进行故障分类;或者是先对故障特征信号做特征提取,再将提取的特征量作为神经网络输入进行故障分类;应用CNN处理通过测量设备获取的电压电流波形图像和放电电晕视频等。但因配电网初期故障是一种非平稳信号,直接运用神经网络对初期故障数据进行辨识,故障信号包含大量信息,会增加网络计算,且影响最终分类精度;先提取特征后再输入到神经网络中的方法需要解决提取特征与网络训练过程不同步带来误差;基于CNN的检测方法需要在配电网中额外布置大量测量设备,无法在工程上广泛应用。因此消除故障信号非平稳特性影响、解决特征提取误差对网络影响是应用深度学习对配电网初期故障辨识的难题。
云南民族大学信息工程学院王文凯提出了一种基于DAE-IPOS-SVM的电缆早期故障识别方法。该方法通多自降噪编码器对数据压缩和抽取特征,再将经过改进粒子群优化算法优化的支撑向量机作为分类器对特征提取的数据样本训练,最后用测试数据对模型进行测试。但是该方法对在不同配电网络的早期故障辨识时,需要重新调整模型参数,无法广泛应用。
四川大学电气工程学院汪颖提出了一种基于优化卷积神经网络的电缆早期故障分类识别(电力系统保护与控制,2020,48(07):10-18.)。该方法将小波变换与卷积神经网络结合,首先用小波变换对电流进行特征量提取,再利用优化后的卷积神经网络对特征量学习,经过训练得到分类器。但是该方法的精度与小波变换提取的特征量有关,小波提取的特征量之间存在冗余,一定程度上不能完全表征原始信号,这将影响最终检测精度。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提出一种基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法,以期能通过自适应小波变换和Attention机制动态捕获时序数据在时域和频域上的特征并对不同信息加以不同权重,从而提高初期故障的识别精度和神经网络的训练速度,满足准确化快速化的识别需求。
本发明为解决技术问题采用如下技术方案:
本发明一种基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法的特点在于,是按如下步骤进行:
步骤1、构建网络的训练集Tr和测试集Te;
步骤1.1、采集故障设备的三相电压和三相电流数据,并构建故障数据分类集合,记为F={U,I},其中,U表示三相电压数据集,且U={U1,U2…Uk…UK},Uk表示第k条故障数据的三相电压数据,且Uk={uk,a,uk,b,uk,c},uk,a表示第k条故障数据的A相电压数据,uk,b表示第k条故障数据的B相电压数据,uk,c表示第k条故障数据的C相电压数据;I表示三相电流数据集,且I={I1,I2…Ik…IK},Ik表示第k条故障数据的三相电流数据集,且Ik={ik,a,ik,b,ik,c},ik,a表示A相电流数据,ik,b表示B相电流数据,ik,c表示C相电流数据;1≤k≤K;
步骤1.2、构建故障数据分类集合F的标签信息集合,记为Y={y1,n,y2,n…yK,n…yK,n},其中,Yk,n表示第k条故障数据的标签值为第n种故障,1≤n≤N,N为故障种类数;
步骤1.3、将带有标签的故障数据集T=(F,Y)随机打乱顺序后,分为训练集Tr和测试集Te;且Tr={x1,x2…xk…xK},xk表示第k条带有标签的故障数据,且xk={xk,1,xk,2…xk,t…xk,T},xk,t表示第k条故障数据的第t个时间步长数据,1≤t≤T;T表示总时间步长;
步骤2、构建带有Attention机制的自适应小波变换时频记忆递归神经网络,包括:自适应小波变换的时频记忆递归层、Attention层和全连接层;
步骤2.1构建自适应小波变换的时频记忆递归层,包括:时频记忆遗忘部分、细胞更新单元;
其中,所述时频记忆遗忘部分包括:时域遗忘门、频域遗忘门、状态遗忘门;
所述细胞更新单元包括:输入门、自适应小波变换单元、输出门;
步骤2.1.1、所述第k条故障数据的第t个时间步长数据xk,t输入自适应小波变换的时频记忆递归层中,所述时频记忆遗忘部分利用式(1)-式(3)进行选择性丢弃处理,得到第k条故障数据的第t个时间步长的时域遗忘门的输出fk,t tim、第k条故障数据的第t个时间步长的频域遗忘门的输出fk,t fre、第k条故障数据的第t个时间步长的状态遗忘门的输出fk,t ste:
式(1)-式(3)中,hk,t-1表示第k条故障数据的第t-1个时间步长的故障信息隐藏状态值;当t=1时,令隐藏状态值hk,t-1为零;sigmoid( )表示将变量映射到0和1之间的激活函数;Wtim和Utim分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在时域上的权重矩阵,btim表示时域上的偏差向量,表示J维的实数向量,Wfre和Ufre分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在频域上的权重矩阵,bfre表示频域上的偏差向量,表示Q维的实数向量,Wste和Uste分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在状态上的权重矩阵,bste表示状态上的偏差向量,表示D维的实数向量;
所述时频记忆遗忘部分利用式(4)得到第k条故障数据的第t个时间步长的输出集合Fk,t:
步骤2.1.2、所述第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1输入所述细胞更新单元中,所述输入门利用式(5)-式(7)得到第k条故障数据的第t个时间步长的故障输入信息pk,t和故障调制信息gk,t;
pk,t=sigmoid(Wpxk,t+Ughk,t-1+bp) (5)
gk,t=tanh(Wgxk,t+Ughk,t-1+bg) (6)
式(5)-式(7)中,为所述输入门第t个时间步长的故障信息输出;Wp和Up分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1的在输入时的权重矩阵,bp表示输入门的偏差向量;Wg和Ug分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1在调制时的权重矩阵,bg表示调制的偏差向量;表示逐元素相乘运算;tanh()表示将小于0的变量变成0,大于0的变量保持不变的激活函数;
步骤2.1.3、所述自适应小波变换单元利用式(8)-式(10)对所述输入门的故障信息输出值进行时频域分解,得到第k条故障数据的第t个时间步长的故障信息输出在第j级时域、第q级频域上的自适应小波系数wt,k,j,q:
式(8)-式(10)中,w表示自适应Morlet小波的中心频率,b表示自适应Morlet小波的平移尺度;Ww表示输入门的故障信息输出值获得小波中心频率时的权重矩阵,bw表示获得小波中心频率的偏差向量;Wb表示输入门的故障信息输出值在获得平移尺度时的权重矩阵,bb表示所述平移尺度的偏差向量;i表示虚数单位,exp( )表示指数运算;j表示小波时域分解维度,q表示小波频域分解维度;
步骤2.1.4、所述输出门利用(11)得到第k条故障数据的第t个时间步长的内存状态Sk,t:
所述输出门利用式(12)得到第k条故障数据的第t个时间步长的内存状态Sk,t的幅值Ak,t:
式(12)中,Re和Im分别表示取实部和取虚部的函数;
所述输出门利用式(13)得到第k条故障数据的第t个时间步长的细胞状态ck,t:
式(13)中,表示第t个时间步长在第j级时域、第q级频域上细胞状态的权重矩阵,表示第t个时间步长在第j级时域、第q级频域上细胞状态的幅值,表示第t个时间步长在第j级时域、第q级频域上细胞状态的偏差向量;
所述输出门利用式(14)对第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1进行处理并得到第k条故障数据的第t个时间步长的复合信号ok,t:
ok,t=sigmoid(Woxk,t+Uohk,t-1+bo) (14)
式(14)中,Wo和Uo分别表示输出门对第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长故障信息隐藏状态值hk,t-1在输出时的权重矩阵,bo表示输出门的偏差向量;
所述输出门利用式(15)得到第k条故障数据的第t个时间步长的故障信息隐藏状态值ht,从而得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}:
步骤2.2、所述Attention层利用式(16)得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}的特征向量uk={uk,1,uk,2…uk,t},其中,uk,t表示第k条故障的第t时间步的特征向量;
uk,t=WuHk+bu (16)
式(16)中,Wu和bu分别表示特征向量的权重矩阵和偏差向量;
所述Attention层利用式(17)得到第k条故障的第t个时间步的特征向量uk,t的标准化权重αk,t:
所述Attention层利用式(18)得到加权平均后的第k条故障特征向量Vk:
步骤2.3、利用加权平均后的故障特征向量Vk进行故障分类;
步骤2.3.1、所述故障特征向量Vk输入全连接层中,并利用式(19)得到第k条带有标签的故障数据xk对应所有故障类型N的概率值P(xk|N);
P(xk|N)=softmax(WpVk+bp) (19)
式(19)中,Wp和bp分别表示加权平均后的故障特征向量V的权重矩阵和偏差向量;softmax表示激活函数;
步骤2.3.2、利用式(20)构建交叉熵损失函数Llog(yk,n,Pk,n):
式(20)中,Pk,n表示第k条故障数据预测为第n个标签的概率;
步骤2.3.3、基于所述训练集Tr,并利用反向传播和梯度下降法对所述损失函数Llog(yk,n,Pk,n)进行训练,当训练轮次达到最大训练轮次Epoch时,或损失函数Llog达到最小时,停止训练,从而得到训练好的自适应小波变换时频记忆递归神经网络,用于对所输入的故障数据集合映射对应故障类别标签。
与已有技术相比,本发明的有益效果体现在:
1、本发明所提出的基于自适应小波变换和Attention机制的时频记忆递归神经网络结构,通过加入自适应Morlet小波变换系数,将时频记忆递归神经网络的内存状态分解为多个时域和频域分量,在每一时间步网络信息更新时,小波变换系数根据输入信号的频率自适应调整,充分突出不同故障信号的特征,能对时间频率局部化分析,自适应调整尺度对故障信号逐步进行多尺度细化,最终达到了高频处时间细分,低频处频率细分,适应时频故障信号分析的要求,从而可聚焦到故障信号的任意细节,实现了对故障信号的高精度分解,提升了故障识别精度。
2、本发明所提出的基于自适应小波变换和Attention机制的时频记忆递归神经网络结构,通过加入Attention机制将经过自适应小波变换时频记忆递归层输出的每一步隐藏信息依据隐藏信息包含的故障信息的重要程度,分配不同的关注度,并以每一步隐藏信息的关注度大小确定最终输出,提供了对网络隐藏信息的全局性分析;从而达到了高精度的故障识别。
附图说明
图1为本发明提出的自适应小波变换时频记忆递层的结构图;
图2为本发明提出的基于自适应小波变换和Attention机制的时频记忆递归神经网络的层级结构图。
具体实施方式
本实施例中,一种基于基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法,是利用深度学习网络框架,并综合考虑配电网早期故障的特征,使用自适应小波变换时频记忆递归层提取故障信号特征获得时间、频率、状态细分的故障信息隐藏状态值,最后通过Attention层和全连接层得到最终故障标签概率分布,确定故障种类。如图1所示,模型的输入为三相电压和三相电流数据,将三相电压和三相电流数据集传输到自适应小波变化时频记忆递归层,通过自适应小波时频记忆递归层得到故障信号数据所有时间步长的隐藏状态Hk;然后,将所有时间步长的隐藏状态Hk作为Attention层的输入,从而获得加权平均后的最终故障信息隐藏信息输出向量Vk;最后,通过全连接层来计算输入故障数据xk对应所有故障类型N的概率值P(xk|N),得到故障标签,具体的说,是按如下步骤进行:
步骤1、构建网络的训练集Tr和测试集Te;
步骤1.1、采集故障设备的三相电压和三相电流数据,通过对发生故障线路上电压电流数据进行采样,归一化处理后,并构建故障数据分类集合,删除三相电压和三相电流不完整的数据,记为F={U,I},其中,U表示三相电压数据集,且U={U1,U2…Uk…UK},Uk表示第k条故障数据的三相电压数据,且Uk={uk,a,uk,b,uk,c},uk,a表示第k条故障数据的A相电压数据,uk,b表示第k条故障数据的B相电压数据,uk,c表示第k条故障数据的C相电压数据;I表示三相电流数据集,且I={I1,I2…Ik…IK},Ik表示第k条故障数据的三相电流数据集,且Ik={ik,a,ik,b,ik,c},ik,a表示A相电流数据,ik,b表示B相电流数据,ik,c表示C相电流数据;1≤k≤K;
步骤1.2、构建故障数据分类集合F的标签信息集合,删除频率过低的标签以及没有标签的数据,记为Y={y1,n,y2,n…yk,n…yK,n},其中,Yk,n表示第k条故障数据的标签值为第n种故障,1≤n≤N,N为故障种类数;
步骤1.3、将带有标签的故障数据集T=(F,Y)随机打乱顺序后,分为训练集Tr和测试集Te;且Tr={x1,x2…xk…xK},xk表示第k条带有标签的故障数据,且xk={xk,1,xk,2…xk,t…xk,T},xk,t表示第k条故障数据的第t个采样点数据,在网络训练时,每个采样点代表一个时间步长,1≤t≤T;T表示总时间步长;
步骤2、构建带有Attention机制的自适应小波变换时频记忆递归神经网络,包括:自适应小波变换的时频记忆递归层、Attention层和全连接层;
如图1所示,所述带有Attention机制的自适应小波变换时频记忆递归神经网络包括:自适应小波变换时频记忆递归层、Attention层和全连接层;
步骤2.1构建自适应小波变换的时频记忆递归层,包括:时频记忆遗忘部分、细胞更新单元;
其中,所述时频记忆遗忘部分包括:时域遗忘门、频域遗忘门、状态遗忘门;
所述细胞更新单元包括:输入门、自适应小波变换单元、输出门;
步骤2.1.1、所述第k条故障数据的第t个时间步长数据xk,t输入自适应小波变换的时频记忆递归层中,所述时频记忆遗忘部分的功能是决定应丢弃或保留哪些信息,利用式(1)-式(3)进行选择性丢弃处理,得到第k条故障数据的第t个时间步长的时域遗忘门的输出fk,t tim、第k条故障数据的第t个时间步长的频域遗忘门的输出fk,t fre、第k条故障数据的第t个时间步长的状态遗忘门的输出fk,t ste:
式(1)-式(3)中,hk,t-1表示第k条故障数据的第t-1个时间步长的故障信息隐藏状态值;当t=1时,令隐藏状态值hk,t-1为零;sigmoid( )表示将变量映射到0和1之间的激活函数;Wtim和Utim分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在时域上的权重矩阵,btim表示时域上的偏差向量,表示J维的实数向量,J表示将数据在时域上分解成J维,Wfre和Ufre分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在频域上的权重矩阵,bfre表示频域上的偏差向量,表示Q维的实数向量,Q表示将数据在频域上分解成Q维,Wste和Uste分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在状态上的权重矩阵,bste表示状态上的偏差向量,表示D维的实数向量,D表示将数据的状态分解成D维向量,在本实例中将数据在时域上分解成J=4维,在频域上分解成K=4维,状态上分解为D=8维;
所述时频记忆遗忘部分利用式(4)得到第k条故障数据的第t个时间步长的输出集合Fk,t:
步骤2.1.2、所述第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1输入所述细胞更新单元中,所述输入门的功能是输入将要自适应小波变换的故障数据,利用式(5)-式(7)得到第k条故障数据的第t个时间步长的故障输入信息pk,t和故障调制信息gk,t;
pk,t=sigmoid(Wpxk,t+Uphk,t-1+bp) (5)
gk,t=tanh(Wgxk,t+Ughk,t-1+bg) (6)
式(5)-式(7)中,为所述输入门第t个时间步长的故障信息输出;Wp和Up分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1的在输入时的权重矩阵,bp表示输入门的偏差向量;Wg和Ug分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1在调制时的权重矩阵,bg表示调制的偏差向量;表示逐元素相乘运算;tanh()表示将小于0的变量变成0,大于0的变量保持不变的激活函数;
步骤2.1.3、所述自适应小波变换单元的功能是根据输入门输入数据,自适应调整小波尺度,输出小波系数更新细胞状态,利用式(8)-式(10)对所述输入门的故障信息输出值进行时频域分解,得到第k条故障数据的第t个时间步长的故障信息输出在第j级时域、第q级频域上的自适应小波系数wt,k,j,q:
式(8)-式(10)中,w表示自适应Morlet小波的中心频率,b表示自适应Morlet小波的平移尺度;Ww表示输入门的故障信息输出值获得小波中心频率时的权重矩阵,bw表示获得小波中心频率的偏差向量;Wb表示输入门的故障信息输出值在获得平移尺度时的权重矩阵,bb表示所述平移尺度的偏差向量;i表示虚数单位,exp( )表示指数运算;j表示小波时域分解维度,q表示小波频域分解维度;
步骤2.1.4、所述输出门的功能是确定当前时间步隐藏状态的值,隐藏状态包含了先前输入的信息,利用(11)得到第k条故障数据的第t个时间步长的内存状态Sk,t:
所述输出门利用式(12)得到第k条故障数据的第t个时间步长的内存状态Sk,t的幅值Ak,t:
式(12)中,Re和Im分别表示取实部和取虚部的函数;
所述输出门利用式(13)得到第k条故障数据的第t个时间步长的细胞状态ck,t:
式(13)中,表示第t个时间步长在第j级时域、第q级频域上细胞状态的权重矩阵,表示第t个时间步长在第j级时域、第q级频域上细胞状态的幅值,表示第t个时间步长在第j级时域、第q级频域上细胞状态的偏差向量;
所述输出门利用式(14)对第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1进行处理并得到第k条故障数据的第t个时间步长的复合信号ok,t:
ok,t=sigmoid(Woxk,t+Uohk,t-1+bo) (14)
式(14)中,Wo和Uo分别表示输出门对第j条故障数据的第t个时间步长数据xk,t和第j条故障数据的第t-1个时间步长故障信息隐藏状态值hk,t-1在输出时的权重矩阵,bo表示输出门的偏差向量;
所述输出门利用式(15)得到第k条故障数据的第t个时间步长的故障信息隐藏状态值ht,从而得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}:
步骤2.2、所述Attention层功能是根据每一时间步隐藏状态所包含的故障信息程度,全局把控确定最终故障信息特征向量,利用式(16)得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}的特征向量uk={uk,1,uk,2…uk,t},其中,uk,t表示第k条故障的第t时间步的特征向量;
uk,t=WuHk+bu (16)
式(16)中,Wu和bu分别表示特征向量的权重矩阵和偏差向量;
所述Attention层利用式(17)得到第k条故障的第t个时间步的特征向量uk,t的标准化权重αk,t:
所述Attention层利用式(18)得到加权平均后的第k条故障特征向量Vk:
步骤2.3、利用加权平均后的第k条故障特征向量Vk进行故障分类;
步骤2.3.1、所述加权平均后的第k条故障特征向量Vk输入全连接层中,并利用式(19)得到第k条故障数据xk对应所有故障类型N的概率值P(xk|N);
P(xk|N)=softmax(WpVk+bp) (19)
式(19)中,Wp和bp分别表示加权平均后的故障特征向量V的权重矩阵和偏差向量;softmax表示激活函数;
步骤2.3.2、利用式(20)构建交叉熵损失函数Llog(yk,n,Pk,n):
式(20)中,Pk,n表示第k条故障数据预测为第n个标签的概率;
步骤2.3.3、基于所述训练集Tr,并利用反向传播和梯度下降法对所述损失函数Llog(yk,n,Pk,n)进行训练,当训练轮次达到最大训练轮次Epoch时,或损失函数Llog达到最小时,停止训练,从而得到训练好的自适应小波变换时频记忆递归神经网络,用于对所输入的故障数据集合映射对应故障类别标签。
本实施例中,将早期故障数据集T按照8:2的比例划分为训练集和测试集,Epoch=1000梯度下降法采用Adam优化算法,利用式(21)计算测试集上模型的精度Accuracy:
式(21)中,NurT表示测试集上模型预测正确标签的故障数,Nur表示测试集上故障总数。
Claims (1)
1.一种基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法,其特征在于,是按如下步骤进行:
步骤1、构建网络的训练集Tr和测试集Te;
步骤1.1、采集故障设备的三相电压和三相电流数据,并构建故障数据分类集合,记为F={U,I},其中,U表示三相电压数据集,且U={U1,U2…Uk…UK},Uk表示第k条故障数据的三相电压数据,且Uk={uk,a,uk,b,uk,c},uk,a表示第k条故障数据的A相电压数据,uk,b表示第k条故障数据的B相电压数据,uk,c表示第k条故障数据的C相电压数据;I表示三相电流数据集,且I={I1,I2…Ik…IK},Ik表示第k条故障数据的三相电流数据集,且Ik={ik,a,ik,b,ik,c},ik,a表示A相电流数据,ik,b表示B相电流数据,ik,c表示C相电流数据;1≤k≤K;
步骤1.2、构建故障数据分类集合F的标签信息集合,记为Y={y1,n,y2,n…yk,n…yK,n},其中,Tk,n表示第k条故障数据的标签值为第n种故障,1≤n≤N,N为故障种类数;
步骤1.3、将带有标签的故障数据集T=(F,Y)随机打乱顺序后,分为训练集Tr和测试集Te;且Tr={x1,x2…xk…xK},xk表示第k条带有标签的故障数据,且xk={xk,1,xk,2…xk,t…xk,T},xk,t表示第k条故障数据的第t个时间步长数据,1≤t≤T;T表示总时间步长;
步骤2、构建带有Attention机制的自适应小波变换时频记忆递归神经网络,包括:自适应小波变换的时频记忆递归层、Attention层和全连接层;
步骤2.1构建自适应小波变换的时频记忆递归层,包括:时频记忆遗忘部分、细胞更新单元;
其中,所述时频记忆遗忘部分包括:时域遗忘门、频域遗忘门、状态遗忘门;
所述细胞更新单元包括:输入门、自适应小波变换单元、输出门;
步骤2.1.1、所述第k条故障数据的第t个时间步长数据xk,t输入自适应小波变换的时频记忆递归层中,所述时频记忆遗忘部分利用式(1)-式(3)进行选择性丢弃处理,得到第k条故障数据的第t个时间步长的时域遗忘门的输出fk,t tim、第k条故障数据的第t个时间步长的频域遗忘门的输出fk,t fre、第k条故障数据的第t个时间步长的状态遗忘门的输出fk,t ste:
式(1)-式(3)中,hk,t-1表示第k条故障数据的第t-1个时间步长的故障信息隐藏状态值;当t=1时,令隐藏状态值hk,t-1为零;sigmoid( )表示将变量映射到0和1之间的激活函数;Wtim和Utim分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在时域上的权重矩阵,btim表示时域上的偏差向量,表示J维的实数向量,Wfre和Ufre分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在频域上的权重矩阵,bfre表示频域上的偏差向量,表示Q维的实数向量,Wste和Uste分别表示第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1在状态上的权重矩阵,bste表示状态上的偏差向量,表示D维的实数向量;
所述时频记忆遗忘部分利用式(4)得到第k条故障数据的第t个时间步长的输出集合Fk,t:
步骤2.1.2、所述第k条故障数据的第t个时间步长数据xk,t和第t-1个时间步长的故障信息隐藏状态值hk,t-1输入所述细胞更新单元中,所述输入门利用式(5)-式(7)得到第k条故障数据的第t个时间步长的故障输入信息pk,t和故障调制信息gk,t;
pk,t=sigmoid(Wpxk,t+Uphk,t-1+bp) (5)
gk,t=tanh(Wgxk,t+Ughk,t-1+bg) (6)
式(5)-式(7)中,为所述输入门第t个时间步长的故障信息输出;Wp和Up分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1的在输入时的权重矩阵,bp表示输入门的偏差向量;Wg和Ug分别表示所述第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1在调制时的权重矩阵,bg表示调制的偏差向量;表示逐元素相乘运算;tanh( )表示将小于0的变量变成0,大于0的变量保持不变的激活函数;
步骤2.1.3、所述自适应小波变换单元利用式(8)-式(10)对所述输入门的故障信息输出值进行时频域分解,得到第k条故障数据的第t个时间步长的故障信息输出在第j级时域、第q级频域上的自适应小波系数wt,k,j,q:
式(8)-式(10)中,w表示自适应Morlet小波的中心频率,b表示自适应Morlet小波的平移尺度;Ww表示输入门的故障信息输出值获得小波中心频率时的权重矩阵,bw表示获得小波中心频率的偏差向量;Wb表示输入门的故障信息输出值在获得平移尺度时的权重矩阵,bb表示所述平移尺度的偏差向量;i表示虚数单位,exp( )表示指数运算;j表示小波时域分解维度,q表示小波频域分解维度;
步骤2.1.4、所述输出门利用(11)得到第k条故障数据的第t个时间步长的内存状态Sk,t:
所述输出门利用式(12)得到第k条故障数据的第t个时间步长的内存状态Sk,t的幅值Ak,t:
式(12)中,Re和Im分别表示取实部和取虚部的函数;
所述输出门利用式(13)得到第k条故障数据的第t个时间步长的细胞状态ck,t;
式(13)中,表示第t个时间步长在第j级时域、第q级频域上细胞状态的权重矩阵,表示第t个时间步长在第j级时域、第q级频域上细胞状态的幅值,表示第t个时间步长在第j级时域、第q级频域上细胞状态的偏差向量;
所述输出门利用式(14)对第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值hk,t-1进行处理并得到第k条故障数据的第t个时间步长的复合信号ok,t:
ok,t=sigmoid(Woxk,t+Uohk,t-1+bo) (14)
式(14)中,Wo和Uo分别表示输出门对第k条故障数据的第t个时间步长数据xk,t和第k条故障数据的第t-1个时间步长故障信息隐藏状态值hk,t-1在输出时的权重矩阵,bo表示输出门的偏差向量;
所述输出门利用式(15)得到第k条故障数据的第t个时间步长的故障信息隐藏状态值ht,从而得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}:
步骤2.2、所述Attention层利用式(16)得到第k条故障所有时间步的故障信息隐藏状态Hk={hk,1,hk,2…hk,t}的特征向量uk={uk,1,uk,2…uk,t},其中,uk,t表示第k条故障的第t时间步的特征向量;
uk,t=WuHk+bu (16)
式(16)中,Wu和bu分别表示特征向量的权重矩阵和偏差向量;
所述Attention层利用式(17)得到第k条故障的第t个时间步的特征向量uk,t的标准化权重αk,t:
所述Attention层利用式(18)得到加权平均后的第k条故障特征向量Vk:
步骤2.3、利用加权平均后的故障特征向量Vk进行故障分类;
步骤2.3.1、所述故障特征向量Vk输入全连接层中,并利用式(19)得到第k条带有标签的故障数据xk对应所有故障类型N的概率值P(xk|N);
P(xk|N)=softmax(WpVk+bp) (19)
式(19)中,Wp和bp分别表示加权平均后的故障特征向量V的权重矩阵和偏差向量;softmax表示激活函数;
步骤2.3.2、利用式(20)构建交叉熵损失函数Llog(yk,n,Pk,n):
式(20)中,Pk,n表示第k条故障数据预测为第n个标签的概率;
步骤2.3.3、基于所述训练集Tr,并利用反向传播和梯度下降法对所述损失函数Llog(yk,n,Pk,n)进行训练,当训练轮次达到最大训练轮次Epoch时,或损失函数Llog达到最小时,停止训练,从而得到训练好的自适应小波变换时频记忆递归神经网络,用于对所输入的故障数据集合映射对应故障类别标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210481128.9A CN114781458B (zh) | 2022-05-05 | 2022-05-05 | 基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210481128.9A CN114781458B (zh) | 2022-05-05 | 2022-05-05 | 基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114781458A true CN114781458A (zh) | 2022-07-22 |
CN114781458B CN114781458B (zh) | 2024-02-20 |
Family
ID=82434282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210481128.9A Active CN114781458B (zh) | 2022-05-05 | 2022-05-05 | 基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114781458B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115935262A (zh) * | 2023-01-05 | 2023-04-07 | 合肥工业大学 | 图数据驱动的配电网拓扑辨识方法、电子设备及存储介质 |
CN117077544A (zh) * | 2023-10-13 | 2023-11-17 | 北京宝隆泓瑞科技有限公司 | 一种油气分离器出口压力预测方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200300907A1 (en) * | 2016-12-29 | 2020-09-24 | Hefei University Of Technology | Analog-circuit fault diagnosis method based on continuous wavelet analysis and elm network |
CN112016473A (zh) * | 2020-08-31 | 2020-12-01 | 国网安徽省电力有限公司电力科学研究院 | 基于半监督学习和注意力机制的配电网高阻接地故障诊断方法 |
CN113112039A (zh) * | 2021-04-13 | 2021-07-13 | 合肥工业大学 | 基于时频记忆递归神经网络的主动配电系统初期故障识别方法 |
CN113850330A (zh) * | 2021-09-27 | 2021-12-28 | 华北电力大学 | 一种基于短时傅里叶变换和卷积神经网络的配电网故障原因检测方法 |
US20220103444A1 (en) * | 2020-09-30 | 2022-03-31 | Mastercard International Incorporated | Methods and systems for predicting time of server failure using server logs and time-series data |
-
2022
- 2022-05-05 CN CN202210481128.9A patent/CN114781458B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200300907A1 (en) * | 2016-12-29 | 2020-09-24 | Hefei University Of Technology | Analog-circuit fault diagnosis method based on continuous wavelet analysis and elm network |
CN112016473A (zh) * | 2020-08-31 | 2020-12-01 | 国网安徽省电力有限公司电力科学研究院 | 基于半监督学习和注意力机制的配电网高阻接地故障诊断方法 |
US20220103444A1 (en) * | 2020-09-30 | 2022-03-31 | Mastercard International Incorporated | Methods and systems for predicting time of server failure using server logs and time-series data |
CN113112039A (zh) * | 2021-04-13 | 2021-07-13 | 合肥工业大学 | 基于时频记忆递归神经网络的主动配电系统初期故障识别方法 |
CN113850330A (zh) * | 2021-09-27 | 2021-12-28 | 华北电力大学 | 一种基于短时傅里叶变换和卷积神经网络的配电网故障原因检测方法 |
Non-Patent Citations (2)
Title |
---|
唐赛;何荇兮;张家悦;尹爱军;: "基于长短期记忆网络的轴承故障识别", 汽车工程学报, no. 04, 20 July 2018 (2018-07-20) * |
毛昭辉;: "基于Resnet网络和Attention-GRU门控机制的滚动轴承故障诊断", 组合机床与自动化加工技术, no. 07, 20 July 2020 (2020-07-20) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115935262A (zh) * | 2023-01-05 | 2023-04-07 | 合肥工业大学 | 图数据驱动的配电网拓扑辨识方法、电子设备及存储介质 |
CN115935262B (zh) * | 2023-01-05 | 2023-05-12 | 合肥工业大学 | 图数据驱动的配电网拓扑辨识方法、电子设备及存储介质 |
CN117077544A (zh) * | 2023-10-13 | 2023-11-17 | 北京宝隆泓瑞科技有限公司 | 一种油气分离器出口压力预测方法、装置及电子设备 |
CN117077544B (zh) * | 2023-10-13 | 2024-01-05 | 北京宝隆泓瑞科技有限公司 | 一种油气分离器出口压力预测方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114781458B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Data alignments in machinery remaining useful life prediction using deep adversarial neural networks | |
Grezmak et al. | Interpretable convolutional neural network through layer-wise relevance propagation for machine fault diagnosis | |
Zeng et al. | A deep attention residual neural network-based remaining useful life prediction of machinery | |
CN111273623B (zh) | 基于Stacked LSTM的故障诊断方法 | |
CN114781458A (zh) | 基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法 | |
CN113642754B (zh) | 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法 | |
Miao et al. | A novel real-time fault diagnosis method for planetary gearbox using transferable hidden layer | |
CN116244617A (zh) | 一种基于异构图结构学习的智能高压开关柜故障诊断方法和系统 | |
Moezi et al. | Simultaneous fault localization and detection of analog circuits using deep learning approach | |
CN113112039B (zh) | 基于时频记忆递归神经网络的主动配电系统初期故障识别方法 | |
Zhang et al. | MS-TCN: A multiscale temporal convolutional network for fault diagnosis in industrial processes | |
CN115561005A (zh) | 基于eemd分解和轻量化神经网络的化工过程故障诊断方法 | |
Lu et al. | GAN-LSTM predictor for failure prognostics of rolling element bearings | |
Fu et al. | MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction | |
Dwivedi et al. | DynamoPMU: A Physics Informed Anomaly Detection, Clustering and Prediction Method using Non-linear Dynamics on μPMU Measurements | |
Eo et al. | Deep learning framework with essential pre-processing techniques for improving mixed-gas concentration prediction | |
Orlov et al. | Intelligent technologies in the diagnostics using object’s visual images | |
Dang et al. | seq2graph: Discovering dynamic non-linear dependencies from multivariate time series | |
Wang et al. | Intermittent fault diagnosis of analog circuit based on enhanced one-dimensional vision transformer and transfer learning strategy | |
Dang et al. | seq2graph: discovering dynamic dependencies from multivariate time series with multi-level attention | |
Sinha et al. | Power system fault detection using image processing and pattern recognition | |
Song et al. | A novel framework for machine remaining useful life prediction based on time series analysis | |
Ganesan et al. | A deep learning approach to fault detection in a satellite power system using Gramian angular field | |
CN114118146A (zh) | 一种基于信念规则库的滚动轴承故障诊断方法及系统 | |
Wang et al. | Explainable machine learning for motor fault diagnosis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |