CN108428023B - 基于量子加权门限重复单元神经网络的趋势预测方法 - Google Patents
基于量子加权门限重复单元神经网络的趋势预测方法 Download PDFInfo
- Publication number
- CN108428023B CN108428023B CN201810510631.6A CN201810510631A CN108428023B CN 108428023 B CN108428023 B CN 108428023B CN 201810510631 A CN201810510631 A CN 201810510631A CN 108428023 B CN108428023 B CN 108428023B
- Authority
- CN
- China
- Prior art keywords
- weight
- qubit
- delta
- quantum
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003252 repetitive effect Effects 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 81
- 230000000694 effects Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 42
- 210000002569 neuron Anatomy 0.000 claims abstract description 19
- 230000010363 phase shift Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 239000002096 quantum dot Substances 0.000 claims description 131
- 239000013598 vector Substances 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 abstract description 22
- 238000006731 degradation reaction Methods 0.000 abstract description 22
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000012937 correction Methods 0.000 abstract description 2
- 238000012843 least square support vector machine Methods 0.000 description 13
- 238000012423 maintenance Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构；实时采集原始性态退化振动数据；通过小波变换对数据进行降噪处理；从降噪后的信号中提取排列熵信息构成性态退化指标集；QWGRUNN网络的训练和预测；得出最终预测结果。本发明引入量子位表示网络权值和活性值，构造量子相移门权值矩阵并通过门参数的修正实现权值量子位和活性值量子位的更新，改善了网络泛化能力，进而提高了对监控对象运行趋势预测的精度；采用与自身结构相适应的动态学习参数，改善了网络收敛速度，提高了计算效率。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种基于量子加权门限重复单元神经网络的趋势预测方法。
背景技术
旋转机械(如：发动机、汽轮机等)作为在石化、电力、冶金、煤炭、核能等行业中有着广泛应用的关键设备，常常由于出现各种不同形式的故障而影响其正常运转，严重时甚至会引发机毁人亡的事故，造成重大经济损失。将先进的故障诊断技术应用于旋转机械的维护，可起到确保设备安全运行、节约维修费用以及防止环境污染等重要作用，具有巨大的经济效益。
通常，机械设备检修方式大致可分为发生事故停机检修、定期停机检修、视情维修(也称为预测维修)三种。其中，视情维修由于具有后勤保障规模小、经济可承受性好、高效率以及可避免重大灾难性事故等显著优势而具有良好的发展前景。
视情维修要求系统自身具有对设备故障进行预测并对其健康状态进行管理的能力，以实现“经济可承受性”的目标，由此产生了故障预测与健康管理(prognostic andhealth management,PHM)的理念，而实现基于视情维修的PHM技术的关键在于故障预测。
在大多数的工业PHM系统应用中，建立复杂部件或系统的数学或物理模型十分困难甚至无法实现，或识别模型的参数较为复杂，因此，部件或系统设计、仿真、运行和维护等各个阶段的测试、传感器历史数据就成为掌握系统性能下降的主要手段。由此，基于测试或传感器数据的数据驱动(data-driven)预测方法逐渐获得重视并取得快速发展，成为PHM领域的重要研究热点。
目前，基于数据驱动的预测方法有随机系数模型，趋势估计和人工智能等方法。特别是基于人工智能的预测方法如自回归(Autoregressive,AR)模型，支持向量机(SupportVector Machine,SVM)，人工神经网络(Artificial Neural Network,ANN)等，由于其在生成合适模型方面的灵活性，是当前预测领域中最通用的预测方法。然而，这些预测方法由于各自的缺陷很难得到理想的预测结果。如AR模型容错性较差；基于最小二乘支持向量机核函数及其参数很多情况是人为选定，带有许多不确定性；基于人工神经网络的预测方法中，诸如BP神经网络(Back-Propagation Neural Network,BPNN)，循环神经网络(RecurrentNeural Network,RNN)等经典神经网络，存在学习收敛速度慢、训练困难、网络的学习和记忆具有不稳定性等问题。最近提出的门限重复单元神经网络(Gated Recurrent UnitNeural Network,GRUNN)，虽克服了RNN梯度消失的缺点，但也存在着训练过程困难，泛化能力不足等问题。
量子计算作为一种极富前景的非线性模型,被认为是改进神经计算的有效途径之一。量子神经网络利用了量子计算的一些优势特别是量子计算的并行计算特性，比经典神经网络具有更强的并行处理能力，并能处理更大的数据集，在数据处理方面具有前所未有的潜在优势。因此，可以通过量子计算与新型神经网络相结合的方式来构建新型量子神经网络，然后将该新型量子神经网络应用于旋转机械预测领域来解决现有预测方法面临的预测精度、计算速度及鲁棒性等问题，从而突破PHM技术关键难题。
发明内容
本发明所要解决的技术问题是提供一种预测精度和计算效率高的基于量子加权门限重复单元神经网络的趋势预测方法。
为解决上述技术问题，本发明的技术方案是：基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测。
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果。
作为优选的技术方案，步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid(记为σ)和tanh作为激活函数，其中，记t时刻的输入为
活性值序列
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
是前一时刻活性值
与待定活性值
的线性插值：
其中，t＝1时，
为一个更新门，决定该单元活性值的更新程度。
更新门
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵。
待定活性值
则由下式表示：
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，rt＝[rt 1 rt 2 … rt p]T是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵。
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[φ1〉,|φ2〉,…,|φm>]T表示权向量，其中，权值量子位|φi〉＝[cosθi sinθi]T为m维量子权向量|φ〉的第i个元素,i＝1,2,...,m,θi表示该量子位的相位)；
为活性值量子位(ξ为该活性值量子位的相位)，量子神经元的输入输出关系可表述为：
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)〉＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
其中，活性值量子位
是
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)、式(6)和式(7)可推导出量子神经元的输入输出关系如下：
其中，W为n×m阶权值矩阵，有：
(1.3)构建量子加权门限重复单元神经网络QWGRUNN的结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
隐层记为
输出层记为
激活函数同GRU，为sigmoid(记为σ)和tanh，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
当t＝1时，
同理结合式(4)和式(6)可推导重置门如下：
根据式(3)、式(6)和式(9)可表示待定活性值如下：
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
结合式(6)、式(11)可计算网络输出值如下：
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
则权值量子位及活性值量子位修正方式可表示为：
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n。在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
用于求解权值矩阵W的权值量子位|(φw)ij>和活性值量子位
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk>表示权值量子位矩阵|φwz>中第k行第j列的元素,下标kl表示p×n阶量子位矩阵中的第k行第l列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第l列的元素。活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素。
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj>的相位增量Δ(θuz)kj(t)，活性值量子位
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij>的相位增量Δ(θwr)ij(t)，活性值量子位
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj>的相位增量Δ(θur)kj(t)，活性值量子位
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij>的相位增量Δ(θw)ij(t)，活性值量子位
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
其中，
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
表达式如下：
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
作为优选的技术方案，步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
作为优选的技术方案，步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,...,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k(＜m-l)为QWGRUNN的输入维数，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
完成第n步预测。
由于采用了上述技术方案，本发明的有益效果是：本发明提出了一种新型量子神经网络—量子加权门限重复单元神经网络(Quantum Weighted Gated Recurrent UnitNeural Networks,简称QWGRUNN)。该量子神经网络引入量子位表示网络权值和活性值，构造量子相移门权值矩阵并通过门参数的修正实现权值量子位和活性值量子位的更新，并将上下文单元的权值扩展到隐层权值矩阵，在与隐层权值同步更新过程中获取时间序列的额外信息，改善了网络泛化能力，进而提高了所提出的性态退化趋势预测方法的预测精度；采用与自身结构相适应的动态学习参数，改善了网络收敛速度，进而提高了所提出的预测方法的计算效率。
在此基础上，本发明提出了基于量子加权门限循环单元神经网络(QWGRUNN)的趋势预测方法，预测精度和计算效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的门限重复单元模型的拓扑图；
图2是本发明实施例中的量子加权神经元的拓扑图；
图3是本发明实施例的工作流程图；
图4是本发明实施例中1号轴承最后三天排列熵退化指标示意图；
图5是本发明实施例中预测曲线与实际曲线的示意图；
图6是本发明实施例中四种神经网络的逼近误差曲线的示意图；
图7是本发明实施例中反向传播神经网络(Back Propagation Neural Network,简称BPNN)预测值与实际值对比结果示意图；
图8是本发明实施例中循环神经网络(Recurrent Neural Network,简称RNN)预测值与实际值对比结果示意图；
图9是本发明实施例中门限循环单元神经网络(Gated Recurrent Unit NeuralNetworks,简称GRUNN)预测值与实际值对比结果示意图；
图10是本发明实施例中最小二乘支持向量机(Least Squares Support VectorMachines,简称LS-SVM)预测值与实际值对比结果示意图；
图11是本发明实施例中五种性态退化趋势预测方法消耗时间对比结果示意图。
具体实施方式
如图1至图3共同所示，基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络的简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测。
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果。
其中，步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid(记为σ)和tanh作为激活函数，其中，记t时刻的输入为
活性值序列
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
是前一时刻活性值
与待定活性值
的线性插值：
其中，t＝1时，
为一个更新门，决定该单元活性值的更新程度。
更新门
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵。
待定活性值
则由下式表示：
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，rt＝[rt 1 rt 2 … rt p]T是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵。
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[|φ1>,|φ2>,…,|φm>]T表示权向量，其中，权值量子位|φi>＝[cosθi sinθi]T为m维量子权向量|φ>的第i个元素,i＝1,2,...,m,θi表示该量子位的相位)；
为活性值量子位(ξ为该活性值量子位的相位)，量子神经元的输入输出关系可表述为：
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)>＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
其中，活性值量子位
是
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)、式(6)和式(7)可推导出量子神经元的输入输出关系如下：
其中，W为n×m阶权值矩阵，有：
(1.3)构建量子加权门限重复单元神经网络QWGRUNN结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
隐层记为
输出层记为
激活函数同GRU，为sigmoid(记为σ)和tanh，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
当t＝1时，
同理结合式(4)和式(6)可推导重置门如下：
根据式(3)、式(6)和式(9)可表示待定活性值如下：
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
结合式(6)、式(11)可计算网络输出值如下：
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
则权值量子位及活性值量子位修正方式可表示为：
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n。在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
用于求解权值矩阵W的权值量子位|(φw)ij〉和活性值量子位
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk〉表示权值量子位矩阵|φwz>中第k行第j列的元素,下标kl表示p×n阶量子位矩阵中的第k行第l列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第l列的元素。活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素。
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj〉的相位增量Δ(θuz)kj(t)，活性值量子位
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij〉的相位增量Δ(θwr)ij(t)，活性值量子位
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj〉的相位增量Δ(θur)kj(t)，活性值量子位
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij〉的相位增量Δ(θw)ij(t)，活性值量子位
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
其中，
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
表达式如下：
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,…,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k(＜m-l)为QWGRUNN的输入维数，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
完成第n步预测。
本发明应用于滚动轴承机械性态退化趋势预测的实例验证如下：
使用Cincinnati大学实测的滚动轴承性态退化数据进行验证，轴承实验台的转轴上安装四个航空用轴承，这些航空轴承为Rexnord公司制造的ZA-2115双列滚子轴承，交流电机通过带传动以2000r/min的恒定转速带动转轴旋转，实验过程中轴承被施加6000lbs的径向载荷。采样频率为20kHz，采样长度为20480个点，每隔10min采集一次轴承的振动数据，轴承持续运行直到出现故障。在第二组实验中，实验台运行到第7天时1号轴承出现外圈故障而失效，采用1号轴承采集到的性态退化数据，代入量子加权门限重复单元神经网络进行实例论证。
取1号轴承失效前3天(即最后3天)共计432段的轴承性态退化的振动信号数据，通过小波变换对原始数据进行降噪处理，并从小波重构后的信号中提取排列熵构成性态退化指标集如图4所示。其中排列熵嵌入维数d＝5，延迟时间τ＝3。
由图4可知，在第97点处出现明显下降，表明该轴承处于退化初始阶段，从第152点开始出现明显不规则曲线，表明轴承出现了较大外圈缺陷，在330点以后不规则曲线密集程度明显增多，表明该轴承已出现严重故障，濒临失效。取第101点至330点轴承性态退化数据进行训练与预测，其中第101点至310点作为训练样本(即l＝101,m＝310)，最后20点(即第311点至330点)作为待预测样本，将这些排列熵指标集输入QWGRUNN分别用来训练和预测。
在QWGRUNN中，输入维数k＝5,训练对数m-l-k+1＝205,预测步数n＝20,学习速率为α＝0.1，动态收敛因子r＝0.25，训练次数取1000次，预测结果如图5所示。
由图5可知，预测曲线与实际曲线走势基本一致，实现了较好的拟合，验证了本申请中提出的基于量子加权门限循环单元神经网络(QWGRUNN)应用于的旋转机械性态退化趋势预测的有效性。
通过对比实验数据比较来验证基于量子加权门限循环单元神经网络(QWGRUNN)的趋势预测方法应用于旋转机械性态退化趋势预测的优越性。
比较，反向传播神经网络(Back Propagation Neural Network,简称BPNN)、循环神经网络(Recurrent Neural Network,简称RNN)、门限循环单元神经网络(GatedRecurrent Unit Neural Networks,简称GRUNN)、最小二乘支持向量机(Least SquaresSupport Vector Machines,简称LS-SVM)四种神经网络的收敛特性。
各神经网络参数设置保持不变，逼近误差E如式(15)，对比结果如图6所示。
随着迭代步数的增加，四种神经网络的逼近误差均不断下降且QWGRRUNN的逼近误差下降整体上下降得最快，当迭代步数Ns＝1000时，BPNN的逼近误差为0.2115，RNN的逼近误差为0.2392，GRUNN的逼近误差为0.1993，QWGRUNN的逼近误差仅为0.1655。通过实验验证和数据比较，QWGRUNN具有较快的收敛速度和较高的泛化能力。
对BPNN、RNN、GRUNN以及LS-SVM所得到的性态退化预测精度与QWGRUNN所得到的性态退化预测精度进行对比。采用BPNN、RNN、GRUNN以及LS-SVM这四种预测方法的训练次数及预测方式(即输入输出方式)与QWGRUNN保持一致，其中BPNN、RNN、GRUNN这三种神经网络学习速率均取α＝0.1，LS-SVM选择RBF核函数，且核参数为σ＝300，正规化参数γ＝300。经BPNN、RNN、GRUNN以及LS-SVM预测得到的滚动轴承性态退化预测结果如图7至图10所示。
为评价预测结果的准确性，采用均方根误差(RMSE)作为预测效果的评价指标，即
其中：n是预测点数，yi是实际值，
为预测值。
为了更直观且准确地评价各预测方法的预测效果，在QWGRUNN、BPNN、RNN、GRUNN、LS-SVM参数设置保持不变的条件下，用这五种预测方法反复进行50次预测，取最小均方根误差emin、最大均方根误差emax、平均均方根误差
作为这50次预测的预测误差评价指标，其对比结果如表1所示。
表1 5种性态退化趋势预测方法的预测误差对比
由图6和表1得出：QWGRUNN的平均预测误差较小，且预测误差的波动范围也较小，具有良好的泛化性能，将其用于典型旋转机械——双列滚子轴承的性态退化趋势预测，相较于BPNN、RNN、GRUNN及LS-SVM可以取得更好的预测精度。
最后，对BPNN、RNN、GRUNN以及LS-SVM进行性态退化趋势预测所耗用的计算时间与QWGRUNN所耗用的计算时间进行对比，其结果如图11所示，QWGRUNN消耗的时间仅为12.19s，BPNN消耗的时间为21.44s，RNN消耗的时间为15.24s，GRUNN消耗的时间为17.28s，LS-SVM消耗的时间为15.56s，因此QWGRUNN的网络收敛速度快。
本发明基于量子加权门限循环单元神经网络的趋势预测方法，不仅仅适用于旋转机械性态退化的趋势预测，同样也适用于其他非旋转机械的场合，用于对监控对象运行的趋势进行精确预测。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测；
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果；
步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid和tanh作为激活函数，其中，sigmoid记为σ，记t时刻的输入为
活性值序列
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
是前一时刻活性值
与待定活性值
的线性插值：
其中，t＝1时，
为一个更新门，决定该单元活性值的更新程度；
更新门
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵；
待定活性值
则由下式表示：
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，
是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵；
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[|φ1>,|φ2>,…,|φm>]T表示权向量，其中，权值量子位|φi>＝[cosθi sinθi]T为m维量子权向量|φ>的第i个元素,i＝1,2,...,m,θi表示该量子位的相位；
为活性值量子位，ξ为该活性值量子位的相位，量子神经元的输入输出关系可表述为：
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)>＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
其中，活性值量子位
是
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)可推导出量子神经元的输入输出关系如下：
其中，W为n×m阶权值矩阵，有：
(1.3)构建量子加权门限重复单元神经网络QWGRUNN的结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
隐层记为
输出层记为
激活函数同GRU，为sigmoid和tanh，其中，sigmoid记为σ，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
当t＝1时，
同理结合式(4)和式(6)可推导重置门如下：
根据式(3)、式(6)和式(9)可表示待定活性值如下：
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
结合式(6)、式(11)可计算网络输出值如下：
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
则权值量子位及活性值量子位修正方式可表示为：
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n；在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
用于求解权值矩阵W的权值量子位|(φw)ij>和活性值量子位
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j 列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk>表示权值量子位矩阵|(φuz)>中第j行第k列的元素，下标kl表示p×n阶量子位矩阵中的第k行第1列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第1列的元素；活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素；
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj>的相位增量Δ(θuz)kj(t)，活性值量子位
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij>的相位增量Δ(θwr)ij(t)，活性值量子位
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj>的相位增量Δ(θur)kj(t)，活性值量子位
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij>的相位增量Δ(θw)ij(t)，活性值量子位
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
其中，
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
表达式如下：
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
2.如权利要求1所述的基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于：步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率Pn；
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
3.如权利要求1所述的基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于：步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,...,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k为QWGRUNN的输入维数，其中，K<m-1，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
完成第n步预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510631.6A CN108428023B (zh) | 2018-05-24 | 2018-05-24 | 基于量子加权门限重复单元神经网络的趋势预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510631.6A CN108428023B (zh) | 2018-05-24 | 2018-05-24 | 基于量子加权门限重复单元神经网络的趋势预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108428023A CN108428023A (zh) | 2018-08-21 |
| CN108428023B true CN108428023B (zh) | 2022-03-15 |
Family
ID=63163999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810510631.6A Active CN108428023B (zh) | 2018-05-24 | 2018-05-24 | 基于量子加权门限重复单元神经网络的趋势预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108428023B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753872B (zh) * | 2018-11-22 | 2022-12-16 | 四川大学 | 强化学习单元匹配循环神经网络系统及其训练和预测方法 |
| CN110458278B (zh) * | 2019-04-19 | 2021-09-14 | 四川大学 | 基于量子注意力循环编码解码神经网络的退化预测方法 |
| CN110188263B (zh) * | 2019-05-29 | 2021-11-30 | 国网山东省电力公司电力科学研究院 | 一种面向异构时距的科学研究热点预测方法及系统 |
| CN112559827A (zh) * | 2020-12-08 | 2021-03-26 | 上海上实龙创智能科技股份有限公司 | 一种基于深度学习的测量参数预测及污水处理控制方法 |
| CN113810186B (zh) * | 2021-09-18 | 2023-11-07 | 上海循态量子科技有限公司 | 自适应量子效率高精度实时预测方法及系统 |
| CN116996237B (zh) * | 2023-09-29 | 2023-12-08 | 山东高速建设管理集团有限公司 | 一种基于量子门限签名的分布式管理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103018660A (zh) * | 2012-12-25 | 2013-04-03 | 重庆邮电大学 | 采用量子Hopfield神经网络的模拟电路多故障智能诊断方法 |
| CN106053067A (zh) * | 2016-05-24 | 2016-10-26 | 广东石油化工学院 | 基于量子遗传算法优化支持向量机的轴承故障诊断方法 |
| CN106651007A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 基于gru的光伏电站辐照度中长期预测的方法及装置 |
| CN107194460A (zh) * | 2017-05-22 | 2017-09-22 | 厦门大学 | 金融时间序列预测的量子粒子群优化递归神经网络方法 |
| EP3309718A1 (en) * | 2016-10-11 | 2018-04-18 | Atos Nederland B.V. | Data processing apparatus and method for operating a data processing apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11379736B2 (en) * | 2016-05-17 | 2022-07-05 | Microsoft Technology Licensing, Llc | Machine comprehension of unstructured text |
-
2018
- 2018-05-24 CN CN201810510631.6A patent/CN108428023B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103018660A (zh) * | 2012-12-25 | 2013-04-03 | 重庆邮电大学 | 采用量子Hopfield神经网络的模拟电路多故障智能诊断方法 |
| CN106053067A (zh) * | 2016-05-24 | 2016-10-26 | 广东石油化工学院 | 基于量子遗传算法优化支持向量机的轴承故障诊断方法 |
| EP3309718A1 (en) * | 2016-10-11 | 2018-04-18 | Atos Nederland B.V. | Data processing apparatus and method for operating a data processing apparatus |
| CN106651007A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 基于gru的光伏电站辐照度中长期预测的方法及装置 |
| CN107194460A (zh) * | 2017-05-22 | 2017-09-22 | 厦门大学 | 金融时间序列预测的量子粒子群优化递归神经网络方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Quantum Multilayer Self Organizing Neural Network For Object Extraction From A Noisy Background;Siddhartha Bhattacharyya et al.;《2014 Fourth International Conference on Communication Systems and Network Technologies》;20140529;第512-517页 * |
| Effect of spike-timing-dependent plasticity on neural assembly computing;Elahe Eskandari et al.;《Neurocomputing》;20160201;第107-116页 * |
| 一种量子神经网络模型学习算法及应用;李盼池;《控制理论与应用》;20090515;第26卷(第5期);第531-534页 * |
| 基于小波相关排列熵的轴承早期故障诊断技术;冯辅周 等;《机械工程学报》;20120705;第48卷(第13期);第73-79页 * |
| 量子门Elman神经网络及其梯度扩展的量子反向传播学习算法;李鹏华 等;《自动化学报》;20130915;第39卷(第9期);第1511-1522页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108428023A (zh) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108428023B (zh) | 基于量子加权门限重复单元神经网络的趋势预测方法 | |
| Chen et al. | Anomaly detection and critical SCADA parameters identification for wind turbines based on LSTM-AE neural network | |
| Li et al. | A directed acyclic graph network combined with CNN and LSTM for remaining useful life prediction | |
| Lei et al. | Fault diagnosis of wind turbine based on Long Short-term memory networks | |
| Wang et al. | A deep feature enhanced reinforcement learning method for rolling bearing fault diagnosis | |
| CN109726524B (zh) | 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法 | |
| CN111680446B (zh) | 一种基于改进多粒度级联森林的滚动轴承剩余寿命预测方法 | |
| Yu et al. | A radically data-driven method for fault detection and diagnosis in wind turbines | |
| CN109447305B (zh) | 一种基于量子加权长短时记忆神经网络的趋势预测方法 | |
| Junbo et al. | Fault diagnosis method study in roller bearing based on wavelet transform and stacked auto-encoder | |
| Alrifaey et al. | A novel deep learning framework based RNN-SAE for fault detection of electrical gas generator | |
| Liu et al. | A regularized LSTM method for predicting remaining useful life of rolling bearings | |
| Xiang et al. | Quantum weighted gated recurrent unit neural network and its application in performance degradation trend prediction of rotating machinery | |
| Samanta et al. | Prognostics of machine condition using soft computing | |
| Wu et al. | Layer-wise relevance propagation for interpreting LSTM-RNN decisions in predictive maintenance | |
| Remadna et al. | Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation | |
| Zhou et al. | Dual-thread gated recurrent unit for gear remaining useful life prediction | |
| Jiang et al. | Actuator fault diagnosis in autonomous underwater vehicle based on neural network | |
| Sun et al. | Fault diagnosis for bearing based on 1DCNN and LSTM | |
| CN111459144A (zh) | 一种基于深度循环神经网络的飞机飞控系统故障预测方法 | |
| Chen et al. | Gated adaptive hierarchical attention unit neural networks for the life prediction of servo motors | |
| Cui et al. | Rolling bearing fault prognosis using recurrent neural network | |
| Feng et al. | Finite-sensor fault-diagnosis simulation study of gas turbine engine using information entropy and deep belief networks | |
| Zhou et al. | A wavelet neural network informed by time-domain signal preprocessing for bearing remaining useful life prediction | |
| Muralidhar et al. | Multivariate long-term state forecasting in cyber-physical systems: A sequence to sequence approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Feng Inventor after: Xiang Wang Inventor after: Deng Chengjun Inventor before: Li Feng Inventor before: Xiang Wang Inventor before: Deng Chengjun |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |