CN108428023B - 基于量子加权门限重复单元神经网络的趋势预测方法 - Google Patents

基于量子加权门限重复单元神经网络的趋势预测方法 Download PDF

Info

Publication number
CN108428023B
CN108428023B CN201810510631.6A CN201810510631A CN108428023B CN 108428023 B CN108428023 B CN 108428023B CN 201810510631 A CN201810510631 A CN 201810510631A CN 108428023 B CN108428023 B CN 108428023B
Authority
CN
China
Prior art keywords
weight
qubit
delta
quantum
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810510631.6A
Other languages
English (en)
Other versions
CN108428023A (zh
Inventor
李锋
向往
邓成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201810510631.6A priority Critical patent/CN108428023B/zh
Publication of CN108428023A publication Critical patent/CN108428023A/zh
Application granted granted Critical
Publication of CN108428023B publication Critical patent/CN108428023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及一种基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构；实时采集原始性态退化振动数据；通过小波变换对数据进行降噪处理；从降噪后的信号中提取排列熵信息构成性态退化指标集；QWGRUNN网络的训练和预测；得出最终预测结果。本发明引入量子位表示网络权值和活性值，构造量子相移门权值矩阵并通过门参数的修正实现权值量子位和活性值量子位的更新，改善了网络泛化能力，进而提高了对监控对象运行趋势预测的精度；采用与自身结构相适应的动态学习参数，改善了网络收敛速度，提高了计算效率。

Description

基于量子加权门限重复单元神经网络的趋势预测方法
技术领域
本发明涉及信息处理技术领域，尤其涉及一种基于量子加权门限重复单元神经网络的趋势预测方法。
背景技术
旋转机械(如：发动机、汽轮机等)作为在石化、电力、冶金、煤炭、核能等行业中有着广泛应用的关键设备，常常由于出现各种不同形式的故障而影响其正常运转，严重时甚至会引发机毁人亡的事故，造成重大经济损失。将先进的故障诊断技术应用于旋转机械的维护，可起到确保设备安全运行、节约维修费用以及防止环境污染等重要作用，具有巨大的经济效益。
通常，机械设备检修方式大致可分为发生事故停机检修、定期停机检修、视情维修(也称为预测维修)三种。其中，视情维修由于具有后勤保障规模小、经济可承受性好、高效率以及可避免重大灾难性事故等显著优势而具有良好的发展前景。
视情维修要求系统自身具有对设备故障进行预测并对其健康状态进行管理的能力，以实现“经济可承受性”的目标，由此产生了故障预测与健康管理(prognostic andhealth management,PHM)的理念，而实现基于视情维修的PHM技术的关键在于故障预测。
在大多数的工业PHM系统应用中，建立复杂部件或系统的数学或物理模型十分困难甚至无法实现，或识别模型的参数较为复杂，因此，部件或系统设计、仿真、运行和维护等各个阶段的测试、传感器历史数据就成为掌握系统性能下降的主要手段。由此，基于测试或传感器数据的数据驱动(data-driven)预测方法逐渐获得重视并取得快速发展，成为PHM领域的重要研究热点。
目前，基于数据驱动的预测方法有随机系数模型，趋势估计和人工智能等方法。特别是基于人工智能的预测方法如自回归(Autoregressive,AR)模型，支持向量机(SupportVector Machine,SVM)，人工神经网络(Artificial Neural Network,ANN)等，由于其在生成合适模型方面的灵活性，是当前预测领域中最通用的预测方法。然而，这些预测方法由于各自的缺陷很难得到理想的预测结果。如AR模型容错性较差；基于最小二乘支持向量机核函数及其参数很多情况是人为选定，带有许多不确定性；基于人工神经网络的预测方法中，诸如BP神经网络(Back-Propagation Neural Network,BPNN)，循环神经网络(RecurrentNeural Network,RNN)等经典神经网络，存在学习收敛速度慢、训练困难、网络的学习和记忆具有不稳定性等问题。最近提出的门限重复单元神经网络(Gated Recurrent UnitNeural Network,GRUNN)，虽克服了RNN梯度消失的缺点，但也存在着训练过程困难，泛化能力不足等问题。
量子计算作为一种极富前景的非线性模型,被认为是改进神经计算的有效途径之一。量子神经网络利用了量子计算的一些优势特别是量子计算的并行计算特性，比经典神经网络具有更强的并行处理能力，并能处理更大的数据集，在数据处理方面具有前所未有的潜在优势。因此，可以通过量子计算与新型神经网络相结合的方式来构建新型量子神经网络，然后将该新型量子神经网络应用于旋转机械预测领域来解决现有预测方法面临的预测精度、计算速度及鲁棒性等问题，从而突破PHM技术关键难题。
发明内容
本发明所要解决的技术问题是提供一种预测精度和计算效率高的基于量子加权门限重复单元神经网络的趋势预测方法。
为解决上述技术问题，本发明的技术方案是：基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测。
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果。
作为优选的技术方案，步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
Figure GDA0003431099370000031
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid(记为σ)和tanh作为激活函数，其中，记t时刻的输入为
Figure GDA0003431099370000032
活性值序列
Figure GDA0003431099370000033
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
Figure GDA0003431099370000034
是前一时刻活性值
Figure GDA0003431099370000035
与待定活性值
Figure GDA0003431099370000036
的线性插值：
Figure GDA0003431099370000037
其中，t＝1时，
Figure GDA0003431099370000038
Figure GDA0003431099370000039
为一个更新门，决定该单元活性值的更新程度。
更新门
Figure GDA00034310993700000310
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
Figure GDA00034310993700000311
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵。
待定活性值
Figure GDA00034310993700000312
则由下式表示：
Figure GDA00034310993700000313
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，rt＝[rt 1 rt 2 … rt p]T是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵。
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[φ1〉,|φ2〉,…,|φm>]T表示权向量，其中，权值量子位|φi〉＝[cosθi sinθi]T为m维量子权向量|φ〉的第i个元素,i＝1,2,...,m,θi表示该量子位的相位)；
Figure GDA0003431099370000041
为活性值量子位(ξ为该活性值量子位的相位)，量子神经元的输入输出关系可表述为：
Figure GDA0003431099370000042
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)〉＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
Figure GDA0003431099370000043
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
Figure GDA0003431099370000044
其中，活性值量子位
Figure GDA0003431099370000045
是
Figure GDA0003431099370000046
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)、式(6)和式(7)可推导出量子神经元的输入输出关系如下：
Figure GDA0003431099370000047
Figure GDA0003431099370000051
其中，W为n×m阶权值矩阵，有：
Figure GDA0003431099370000052
(1.3)构建量子加权门限重复单元神经网络QWGRUNN的结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
Figure GDA0003431099370000053
隐层记为
Figure GDA0003431099370000054
输出层记为
Figure GDA0003431099370000055
激活函数同GRU，为sigmoid(记为σ)和tanh，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
Figure GDA0003431099370000056
当t＝1时，
Figure GDA0003431099370000057
同理结合式(4)和式(6)可推导重置门如下：
Figure GDA0003431099370000058
Figure GDA0003431099370000061
根据式(3)、式(6)和式(9)可表示待定活性值如下：
Figure GDA0003431099370000062
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
Figure GDA0003431099370000063
结合式(6)、式(11)可计算网络输出值如下：
Figure GDA0003431099370000064
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
Figure GDA0003431099370000065
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
Figure GDA0003431099370000066
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
Figure GDA0003431099370000067
则权值量子位及活性值量子位修正方式可表示为：
Figure GDA0003431099370000071
Figure GDA0003431099370000072
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
Figure GDA0003431099370000073
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n。在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
Figure GDA0003431099370000074
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
Figure GDA0003431099370000075
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
Figure GDA0003431099370000076
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
Figure GDA0003431099370000077
用于求解权值矩阵W的权值量子位|(φw)ij>和活性值量子位
Figure GDA0003431099370000078
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
Figure GDA0003431099370000079
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
Figure GDA00034310993700000710
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk>表示权值量子位矩阵|φwz>中第k行第j列的元素,下标kl表示p×n阶量子位矩阵中的第k行第l列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第l列的元素。活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素。
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
Figure GDA00034310993700000711
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj>的相位增量Δ(θuz)kj(t)，活性值量子位
Figure GDA0003431099370000081
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij>的相位增量Δ(θwr)ij(t)，活性值量子位
Figure GDA0003431099370000082
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj>的相位增量Δ(θur)kj(t)，活性值量子位
Figure GDA0003431099370000083
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij>的相位增量Δ(θw)ij(t)，活性值量子位
Figure GDA0003431099370000084
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
Figure GDA0003431099370000085
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
Figure GDA0003431099370000086
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
Figure GDA0003431099370000087
其中，
Figure GDA0003431099370000088
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
Figure GDA0003431099370000089
表达式如下：
Figure GDA00034310993700000810
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
Figure GDA0003431099370000091
Figure GDA0003431099370000092
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
作为优选的技术方案，步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
Figure GDA0003431099370000093
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率
Figure GDA0003431099370000101
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
Figure GDA0003431099370000102
作为优选的技术方案，步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,...,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Figure GDA0003431099370000103
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k(＜m-l)为QWGRUNN的输入维数，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
Figure GDA0003431099370000104
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
Figure GDA0003431099370000105
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
Figure GDA0003431099370000111
完成第n步预测。
由于采用了上述技术方案，本发明的有益效果是：本发明提出了一种新型量子神经网络—量子加权门限重复单元神经网络(Quantum Weighted Gated Recurrent UnitNeural Networks,简称QWGRUNN)。该量子神经网络引入量子位表示网络权值和活性值，构造量子相移门权值矩阵并通过门参数的修正实现权值量子位和活性值量子位的更新，并将上下文单元的权值扩展到隐层权值矩阵，在与隐层权值同步更新过程中获取时间序列的额外信息，改善了网络泛化能力，进而提高了所提出的性态退化趋势预测方法的预测精度；采用与自身结构相适应的动态学习参数，改善了网络收敛速度，进而提高了所提出的预测方法的计算效率。
在此基础上，本发明提出了基于量子加权门限循环单元神经网络(QWGRUNN)的趋势预测方法，预测精度和计算效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的门限重复单元模型的拓扑图；
图2是本发明实施例中的量子加权神经元的拓扑图；
图3是本发明实施例的工作流程图；
图4是本发明实施例中1号轴承最后三天排列熵退化指标示意图；
图5是本发明实施例中预测曲线与实际曲线的示意图；
图6是本发明实施例中四种神经网络的逼近误差曲线的示意图；
图7是本发明实施例中反向传播神经网络(Back Propagation Neural Network,简称BPNN)预测值与实际值对比结果示意图；
图8是本发明实施例中循环神经网络(Recurrent Neural Network,简称RNN)预测值与实际值对比结果示意图；
图9是本发明实施例中门限循环单元神经网络(Gated Recurrent Unit NeuralNetworks,简称GRUNN)预测值与实际值对比结果示意图；
图10是本发明实施例中最小二乘支持向量机(Least Squares Support VectorMachines,简称LS-SVM)预测值与实际值对比结果示意图；
图11是本发明实施例中五种性态退化趋势预测方法消耗时间对比结果示意图。
具体实施方式
如图1至图3共同所示，基于量子加权门限重复单元神经网络的趋势预测方法，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络的简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测。
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果。
其中，步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
Figure GDA0003431099370000121
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid(记为σ)和tanh作为激活函数，其中，记t时刻的输入为
Figure GDA0003431099370000122
活性值序列
Figure GDA0003431099370000123
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
Figure GDA0003431099370000124
是前一时刻活性值
Figure GDA0003431099370000125
与待定活性值
Figure GDA0003431099370000126
的线性插值：
Figure GDA0003431099370000127
其中，t＝1时，
Figure GDA0003431099370000131
Figure GDA0003431099370000132
为一个更新门，决定该单元活性值的更新程度。
更新门
Figure GDA0003431099370000133
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
Figure GDA0003431099370000134
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵。
待定活性值
Figure GDA0003431099370000135
则由下式表示：
Figure GDA0003431099370000136
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，rt＝[rt 1 rt 2 … rt p]T是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵。
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[|φ1>,|φ2>,…,|φm>]T表示权向量，其中，权值量子位|φi>＝[cosθi sinθi]T为m维量子权向量|φ>的第i个元素,i＝1,2,...,m,θi表示该量子位的相位)；
Figure GDA0003431099370000137
为活性值量子位(ξ为该活性值量子位的相位)，量子神经元的输入输出关系可表述为：
Figure GDA0003431099370000138
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)>＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
Figure GDA0003431099370000141
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
Figure GDA0003431099370000142
其中，活性值量子位
Figure GDA0003431099370000143
是
Figure GDA0003431099370000144
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)、式(6)和式(7)可推导出量子神经元的输入输出关系如下：
Figure GDA0003431099370000145
其中，W为n×m阶权值矩阵，有：
Figure GDA0003431099370000146
(1.3)构建量子加权门限重复单元神经网络QWGRUNN结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
Figure GDA0003431099370000147
隐层记为
Figure GDA0003431099370000148
输出层记为
Figure GDA0003431099370000149
激活函数同GRU，为sigmoid(记为σ)和tanh，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
Figure GDA0003431099370000151
当t＝1时，
Figure GDA0003431099370000152
同理结合式(4)和式(6)可推导重置门如下：
Figure GDA0003431099370000153
根据式(3)、式(6)和式(9)可表示待定活性值如下：
Figure GDA0003431099370000154
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
Figure GDA0003431099370000155
结合式(6)、式(11)可计算网络输出值如下：
Figure GDA0003431099370000156
Figure GDA0003431099370000161
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
Figure GDA0003431099370000162
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
Figure GDA0003431099370000163
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
Figure GDA0003431099370000164
则权值量子位及活性值量子位修正方式可表示为：
Figure GDA0003431099370000165
Figure GDA0003431099370000166
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
Figure GDA0003431099370000167
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n。在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
Figure GDA0003431099370000168
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
Figure GDA0003431099370000169
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
Figure GDA00034310993700001610
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
Figure GDA00034310993700001611
用于求解权值矩阵W的权值量子位|(φw)ij〉和活性值量子位
Figure GDA00034310993700001612
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
Figure GDA00034310993700001613
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
Figure GDA0003431099370000171
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk〉表示权值量子位矩阵|φwz>中第k行第j列的元素,下标kl表示p×n阶量子位矩阵中的第k行第l列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第l列的元素。活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素。
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
Figure GDA0003431099370000172
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj〉的相位增量Δ(θuz)kj(t)，活性值量子位
Figure GDA0003431099370000173
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij〉的相位增量Δ(θwr)ij(t)，活性值量子位
Figure GDA0003431099370000174
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj〉的相位增量Δ(θur)kj(t)，活性值量子位
Figure GDA0003431099370000175
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij〉的相位增量Δ(θw)ij(t)，活性值量子位
Figure GDA0003431099370000176
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
Figure GDA0003431099370000177
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
Figure GDA0003431099370000178
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
Figure GDA0003431099370000181
其中，
Figure GDA0003431099370000182
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
Figure GDA0003431099370000183
表达式如下：
Figure GDA0003431099370000184
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
Figure GDA0003431099370000185
Figure GDA0003431099370000186
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
Figure GDA0003431099370000191
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率
Figure GDA0003431099370000192
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
Figure GDA0003431099370000193
步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,…,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Figure GDA0003431099370000194
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k(＜m-l)为QWGRUNN的输入维数，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
Figure GDA0003431099370000201
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
Figure GDA0003431099370000202
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
Figure GDA0003431099370000203
完成第n步预测。
本发明应用于滚动轴承机械性态退化趋势预测的实例验证如下：
使用Cincinnati大学实测的滚动轴承性态退化数据进行验证，轴承实验台的转轴上安装四个航空用轴承，这些航空轴承为Rexnord公司制造的ZA-2115双列滚子轴承，交流电机通过带传动以2000r/min的恒定转速带动转轴旋转，实验过程中轴承被施加6000lbs的径向载荷。采样频率为20kHz，采样长度为20480个点，每隔10min采集一次轴承的振动数据，轴承持续运行直到出现故障。在第二组实验中，实验台运行到第7天时1号轴承出现外圈故障而失效，采用1号轴承采集到的性态退化数据，代入量子加权门限重复单元神经网络进行实例论证。
取1号轴承失效前3天(即最后3天)共计432段的轴承性态退化的振动信号数据，通过小波变换对原始数据进行降噪处理，并从小波重构后的信号中提取排列熵构成性态退化指标集如图4所示。其中排列熵嵌入维数d＝5，延迟时间τ＝3。
由图4可知，在第97点处出现明显下降，表明该轴承处于退化初始阶段，从第152点开始出现明显不规则曲线，表明轴承出现了较大外圈缺陷，在330点以后不规则曲线密集程度明显增多，表明该轴承已出现严重故障，濒临失效。取第101点至330点轴承性态退化数据进行训练与预测，其中第101点至310点作为训练样本(即l＝101,m＝310)，最后20点(即第311点至330点)作为待预测样本，将这些排列熵指标集输入QWGRUNN分别用来训练和预测。
在QWGRUNN中，输入维数k＝5,训练对数m-l-k+1＝205,预测步数n＝20,学习速率为α＝0.1，动态收敛因子r＝0.25，训练次数取1000次，预测结果如图5所示。
由图5可知，预测曲线与实际曲线走势基本一致，实现了较好的拟合，验证了本申请中提出的基于量子加权门限循环单元神经网络(QWGRUNN)应用于的旋转机械性态退化趋势预测的有效性。
通过对比实验数据比较来验证基于量子加权门限循环单元神经网络(QWGRUNN)的趋势预测方法应用于旋转机械性态退化趋势预测的优越性。
比较，反向传播神经网络(Back Propagation Neural Network,简称BPNN)、循环神经网络(Recurrent Neural Network,简称RNN)、门限循环单元神经网络(GatedRecurrent Unit Neural Networks,简称GRUNN)、最小二乘支持向量机(Least SquaresSupport Vector Machines,简称LS-SVM)四种神经网络的收敛特性。
各神经网络参数设置保持不变，逼近误差E如式(15)，对比结果如图6所示。
随着迭代步数的增加，四种神经网络的逼近误差均不断下降且QWGRRUNN的逼近误差下降整体上下降得最快，当迭代步数Ns＝1000时，BPNN的逼近误差为0.2115，RNN的逼近误差为0.2392，GRUNN的逼近误差为0.1993，QWGRUNN的逼近误差仅为0.1655。通过实验验证和数据比较，QWGRUNN具有较快的收敛速度和较高的泛化能力。
对BPNN、RNN、GRUNN以及LS-SVM所得到的性态退化预测精度与QWGRUNN所得到的性态退化预测精度进行对比。采用BPNN、RNN、GRUNN以及LS-SVM这四种预测方法的训练次数及预测方式(即输入输出方式)与QWGRUNN保持一致，其中BPNN、RNN、GRUNN这三种神经网络学习速率均取α＝0.1，LS-SVM选择RBF核函数，且核参数为σ＝300，正规化参数γ＝300。经BPNN、RNN、GRUNN以及LS-SVM预测得到的滚动轴承性态退化预测结果如图7至图10所示。
为评价预测结果的准确性，采用均方根误差(RMSE)作为预测效果的评价指标，即
Figure GDA0003431099370000221
其中：n是预测点数，yi是实际值，
Figure GDA0003431099370000222
为预测值。
为了更直观且准确地评价各预测方法的预测效果，在QWGRUNN、BPNN、RNN、GRUNN、LS-SVM参数设置保持不变的条件下，用这五种预测方法反复进行50次预测，取最小均方根误差emin、最大均方根误差emax、平均均方根误差
Figure GDA0003431099370000223
作为这50次预测的预测误差评价指标，其对比结果如表1所示。
表1 5种性态退化趋势预测方法的预测误差对比
Figure GDA0003431099370000224
由图6和表1得出：QWGRUNN的平均预测误差较小，且预测误差的波动范围也较小，具有良好的泛化性能，将其用于典型旋转机械——双列滚子轴承的性态退化趋势预测，相较于BPNN、RNN、GRUNN及LS-SVM可以取得更好的预测精度。
最后，对BPNN、RNN、GRUNN以及LS-SVM进行性态退化趋势预测所耗用的计算时间与QWGRUNN所耗用的计算时间进行对比，其结果如图11所示，QWGRUNN消耗的时间仅为12.19s，BPNN消耗的时间为21.44s，RNN消耗的时间为15.24s，GRUNN消耗的时间为17.28s，LS-SVM消耗的时间为15.56s，因此QWGRUNN的网络收敛速度快。
本发明基于量子加权门限循环单元神经网络的趋势预测方法，不仅仅适用于旋转机械性态退化的趋势预测，同样也适用于其他非旋转机械的场合，用于对监控对象运行的趋势进行精确预测。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于，包括以下步骤：
(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络简称为QWGRUNN；
(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；
(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；
(4)对所述排列熵指标集进行归一化操作；
(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测；
(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果；
步骤(1)具体包括：
(1.1)构建门限重复单元模型，包括输入、输出、待定活性值
Figure FDA0003460581470000011
活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid和tanh作为激活函数，其中，sigmoid记为σ，记t时刻的输入为
Figure FDA0003460581470000012
活性值序列
Figure FDA0003460581470000013
作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；
活性值
Figure FDA0003460581470000014
是前一时刻活性值
Figure FDA0003460581470000015
与待定活性值
Figure FDA0003460581470000016
的线性插值：
Figure FDA0003460581470000017
其中，t＝1时，
Figure FDA0003460581470000018
Figure FDA0003460581470000019
为一个更新门，决定该单元活性值的更新程度；
更新门
Figure FDA00034605814700000110
是t时刻输入值xt与t-1时刻活性值ht-1的线性求和，表达式如下：
Figure FDA0003460581470000021
其中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵；
待定活性值
Figure FDA0003460581470000022
则由下式表示：
Figure FDA0003460581470000023
其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，
Figure FDA0003460581470000024
是t时刻的重置门集，*表示对应元素相乘；
重置门rt j表达式与更新门类似，有：
rt j＝σ(Wrxt+Urht-1)j (4)；
其中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵；
(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x1,x2,…,xm]T，输出实数记为y，|φ>＝[|φ1>,|φ2>,…,|φm>]T表示权向量，其中，权值量子位|φi>＝[cosθi sinθi]T为m维量子权向量|φ>的第i个元素,i＝1,2,...,m,θi表示该量子位的相位；
Figure FDA0003460581470000027
为活性值量子位，ξ为该活性值量子位的相位，量子神经元的输入输出关系可表述为：
Figure FDA0003460581470000025
当神经元有多个输出，即y＝[y1,y2,…,yn]T时，由量子权向量|φ(j)>＝[|φ1j>,|φ2j>,…,|φmj>]T组成m×n阶量子位权值矩阵|φ>：
Figure FDA0003460581470000026
其中，权值量子位|φij>＝[cosθij,sinθij]T为量子位权值矩阵|φ>第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θij表示该量子位的相位；同时，活性值也可表示为：
Figure FDA0003460581470000031
其中，活性值量子位
Figure FDA0003460581470000032
是
Figure FDA0003460581470000033
中的第j个元素且j＝1,2,…,n，ξj为活性值量子位的相位，结合式(5)可推导出量子神经元的输入输出关系如下：
Figure FDA0003460581470000034
其中，W为n×m阶权值矩阵，有：
Figure FDA0003460581470000035
(1.3)构建量子加权门限重复单元神经网络QWGRUNN的结构，具体如下：
设QWGRUNN结构为m-p-n，则t时刻的输入层记为
Figure FDA0003460581470000036
隐层记为
Figure FDA0003460581470000037
输出层记为
Figure FDA0003460581470000038
激活函数同GRU，为sigmoid和tanh，其中，sigmoid记为σ，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；
结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：
Figure FDA0003460581470000041
当t＝1时，
Figure FDA0003460581470000042
同理结合式(4)和式(6)可推导重置门如下：
Figure FDA0003460581470000043
根据式(3)、式(6)和式(9)可表示待定活性值如下：
Figure FDA0003460581470000044
其中，*表示对应元素相乘；
然后，结合式(1)、式(8)和式(10)可计算活性值：
Figure FDA0003460581470000045
结合式(6)、式(11)可计算网络输出值如下：
Figure FDA0003460581470000046
Figure FDA0003460581470000051
(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：
记一位相移门
Figure FDA0003460581470000052
记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)>、
Figure FDA0003460581470000053
相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)>、
Figure FDA0003460581470000054
则权值量子位及活性值量子位修正方式可表示为：
Figure FDA0003460581470000055
Figure FDA0003460581470000056
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)>和活性值量子位
Figure FDA0003460581470000057
的更新，从而完成本次网络训练并为下次训练做好准备；
同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n；在QWGRUNN中，需要更新的权值量子位和活性值量子位有：
用于求解权值矩阵Wz的权值量子位|(φwz)ij>和活性值量子位
Figure FDA00034605814700000514
用于求解权值矩阵Uz的权值量子位|(φuz)kj>和活性值量子位
Figure FDA0003460581470000058
用于求解权值矩阵Wr的权值量子位|(φwr)ij>和活性值量子位
Figure FDA0003460581470000059
用于求解权值矩阵Ur的权值量子位|(φur)kj>和活性值量子位
Figure FDA00034605814700000510
用于求解权值矩阵W的权值量子位|(φw)ij>和活性值量子位
Figure FDA00034605814700000511
用于求解权值矩阵U的权值量子位|(φu)kj>和活性值量子位
Figure FDA00034605814700000512
用于求解权值矩阵Wy的权值量子位|(φwy)kl>和活性值量子位
Figure FDA00034605814700000513
其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j 列的元素，例如|(φwz)ij>表示权值量子位矩阵|φwz>中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φuz)jk>表示权值量子位矩阵|(φuz)>中第j行第k列的元素，下标kl表示p×n阶量子位矩阵中的第k行第1列的元素，例如|(φwy)kl>表示权值量子位矩阵|φwy>中第k行第1列的元素；活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素；
因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：
权值量子位|(φwz)ij>的相位增量Δ(θwz)ij(t)，活性值量子位
Figure FDA0003460581470000061
的相位增量Δ(ξwz)j(t)；
权值量子位|(φuz)kj>的相位增量Δ(θuz)kj(t)，活性值量子位
Figure FDA0003460581470000062
的相位增量Δ(ξuz)j(t)；
权值量子位|(φwr)ij>的相位增量Δ(θwr)ij(t)，活性值量子位
Figure FDA0003460581470000063
的相位增量Δ(ξwr)j(t)；
权值量子位|(φur)kj>的相位增量Δ(θur)kj(t)，活性值量子位
Figure FDA0003460581470000064
的相位增量Δ(ξur)j(t)；
权值量子位|(φw)ij>的相位增量Δ(θw)ij(t)，活性值量子位
Figure FDA0003460581470000065
的相位增量Δ(ξw)j(t)；
权值量子位|(φu)kj>的相位增量Δ(θu)kj(t)，活性值量子位
Figure FDA0003460581470000066
的相位增量Δ(ξu)j(t)；
权值量子位|(φwy)kl>的相位增量Δ(θwy)kl(t)，活性值量子位
Figure FDA0003460581470000067
的相位增量Δ(ξwy)l(t)；
采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：
Figure FDA0003460581470000071
其中，
Figure FDA0003460581470000072
和yk分别表示归一化后的期望输出和实际输出；显然E是关于相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)、(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)的一致连续函数；
定义动态学习速率
Figure FDA0003460581470000073
表达式如下：
Figure FDA0003460581470000074
其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；
根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：
Figure FDA0003460581470000075
Figure FDA0003460581470000076
分别将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；
同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)；
将相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)以及相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。
2.如权利要求1所述的基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于：步骤(3)包括以下步骤：
(3.1)将小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}进行相空间重构，得到重构矩阵R如下式：
Figure FDA0003460581470000081
式中：k＝N-(d-1)τ，j＝1,2,…,k，d为嵌入维数，τ为延迟时间；
(3.2)然后将重构矩阵R中的行向量R(j)＝[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的符号序列：S(g)＝{j1,j2,…,jd}，其中g＝1,2,…,k≤d！；d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d！，S(g)是d！种符号序列中的一种；
(3.3)记T＝d！，统计每种符号序列出现的次数，记为{N1,N2,…,NT}，然后计算每一种符号序列出现的概率Pn；
(3.4)经小波降噪后的信号构成的离散时间序列{x(i),i＝1,2,…,N}的排列熵如下式：
Figure FDA0003460581470000082
3.如权利要求1所述的基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于：步骤(5)具体包括：
(5.1)量子加权门限循环单元神经网络QWGRUNN的训练过程具体包括：从排列熵指标集中取s＝{xl,xl+1,...,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下：
Figure FDA0003460581470000083
Ytrain＝[xl+k xl+k+1 … xm]
其中，l为数据起始点，k为QWGRUNN的输入维数，其中，K<m-1，训练样本对数为m-k-l+1；
将Xtrain和Ytrain分别作为QWGRUNN的输入和输出，完成QWGRUNN的训练；
(5.2)量子加权门限循环单元神经网络QWGRUNN预测过程具体包括：
所述排列熵指标集通过QWGRUNN网络充分训练后，保持权值量子位和活性值量子位不变，采用循环迭代的方法进行下一歩预测：首先，将训练集后k个样本{xm-k+1,xm-k+2,…,xm}作为QWGRUNN初始输入，输出m+1时刻预测值
Figure FDA0003460581470000091
完成第一步预测；然后由{xm-k+2,xm-k+3,…,xm+1}组成QWGRUNN的输入来计算下一时刻预测值
Figure FDA0003460581470000092
完成第二步预测；以此类推，向QWGRUNN输入{xm+n-k,xm+n-k+1,…,xm+n-1}，可得到n时刻预测值
Figure FDA0003460581470000093
完成第n步预测。
CN201810510631.6A 2018-05-24 2018-05-24 基于量子加权门限重复单元神经网络的趋势预测方法 Active CN108428023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810510631.6A CN108428023B (zh) 2018-05-24 2018-05-24 基于量子加权门限重复单元神经网络的趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510631.6A CN108428023B (zh) 2018-05-24 2018-05-24 基于量子加权门限重复单元神经网络的趋势预测方法

Publications (2)

Publication Number Publication Date
CN108428023A CN108428023A (zh) 2018-08-21
CN108428023B true CN108428023B (zh) 2022-03-15

Family

ID=63163999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510631.6A Active CN108428023B (zh) 2018-05-24 2018-05-24 基于量子加权门限重复单元神经网络的趋势预测方法

Country Status (1)

Country Link
CN (1) CN108428023B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753872B (zh) * 2018-11-22 2022-12-16 四川大学 强化学习单元匹配循环神经网络系统及其训练和预测方法
CN110458278B (zh) * 2019-04-19 2021-09-14 四川大学 基于量子注意力循环编码解码神经网络的退化预测方法
CN110188263B (zh) * 2019-05-29 2021-11-30 国网山东省电力公司电力科学研究院 一种面向异构时距的科学研究热点预测方法及系统
CN112559827A (zh) * 2020-12-08 2021-03-26 上海上实龙创智能科技股份有限公司 一种基于深度学习的测量参数预测及污水处理控制方法
CN113810186B (zh) * 2021-09-18 2023-11-07 上海循态量子科技有限公司 自适应量子效率高精度实时预测方法及系统
CN116996237B (zh) * 2023-09-29 2023-12-08 山东高速建设管理集团有限公司 一种基于量子门限签名的分布式管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018660A (zh) * 2012-12-25 2013-04-03 重庆邮电大学 采用量子Hopfield神经网络的模拟电路多故障智能诊断方法
CN106053067A (zh) * 2016-05-24 2016-10-26 广东石油化工学院 基于量子遗传算法优化支持向量机的轴承故障诊断方法
CN106651007A (zh) * 2016-11-24 2017-05-10 北京理工大学 基于gru的光伏电站辐照度中长期预测的方法及装置
CN107194460A (zh) * 2017-05-22 2017-09-22 厦门大学 金融时间序列预测的量子粒子群优化递归神经网络方法
EP3309718A1 (en) * 2016-10-11 2018-04-18 Atos Nederland B.V. Data processing apparatus and method for operating a data processing apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113969A (zh) * 2016-05-17 2023-11-24 微软技术许可有限责任公司 非结构化文本的机器理解

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018660A (zh) * 2012-12-25 2013-04-03 重庆邮电大学 采用量子Hopfield神经网络的模拟电路多故障智能诊断方法
CN106053067A (zh) * 2016-05-24 2016-10-26 广东石油化工学院 基于量子遗传算法优化支持向量机的轴承故障诊断方法
EP3309718A1 (en) * 2016-10-11 2018-04-18 Atos Nederland B.V. Data processing apparatus and method for operating a data processing apparatus
CN106651007A (zh) * 2016-11-24 2017-05-10 北京理工大学 基于gru的光伏电站辐照度中长期预测的方法及装置
CN107194460A (zh) * 2017-05-22 2017-09-22 厦门大学 金融时间序列预测的量子粒子群优化递归神经网络方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Quantum Multilayer Self Organizing Neural Network For Object Extraction From A Noisy Background;Siddhartha Bhattacharyya et al.;《2014 Fourth International Conference on Communication Systems and Network Technologies》;20140529;第512-517页 *
Effect of spike-timing-dependent plasticity on neural assembly computing;Elahe Eskandari et al.;《Neurocomputing》;20160201;第107-116页 *
一种量子神经网络模型学习算法及应用;李盼池;《控制理论与应用》;20090515;第26卷(第5期);第531-534页 *
基于小波相关排列熵的轴承早期故障诊断技术;冯辅周 等;《机械工程学报》;20120705;第48卷(第13期);第73-79页 *
量子门Elman神经网络及其梯度扩展的量子反向传播学习算法;李鹏华 等;《自动化学报》;20130915;第39卷(第9期);第1511-1522页 *

Also Published As

Publication number Publication date
CN108428023A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN108428023B (zh) 基于量子加权门限重复单元神经网络的趋势预测方法
Chen et al. Anomaly detection and critical SCADA parameters identification for wind turbines based on LSTM-AE neural network
Haidong et al. Enhanced deep gated recurrent unit and complex wavelet packet energy moment entropy for early fault prognosis of bearing
Li et al. A directed acyclic graph network combined with CNN and LSTM for remaining useful life prediction
Wen et al. Recent advances and trends of predictive maintenance from data-driven machine prognostics perspective
Lei et al. Fault diagnosis of wind turbine based on Long Short-term memory networks
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
CN109726524B (zh) 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
Qureshi et al. Wind power prediction using deep neural network based meta regression and transfer learning
Junbo et al. Fault diagnosis method study in roller bearing based on wavelet transform and stacked auto-encoder
CN111680446B (zh) 一种基于改进多粒度级联森林的滚动轴承剩余寿命预测方法
Yu et al. A radically data-driven method for fault detection and diagnosis in wind turbines
Wang et al. A deep feature enhanced reinforcement learning method for rolling bearing fault diagnosis
CN109447305B (zh) 一种基于量子加权长短时记忆神经网络的趋势预测方法
Xiang et al. Quantum weighted gated recurrent unit neural network and its application in performance degradation trend prediction of rotating machinery
Cross et al. Model-based and fuzzy logic approaches to condition monitoring of operational wind turbines
Remadna et al. Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation
CN111459144A (zh) 一种基于深度循环神经网络的飞机飞控系统故障预测方法
Zhang et al. Rotating machinery remaining useful life prediction scheme using deep-learning-based health indicator and a new RVM
Jiang et al. Actuator fault diagnosis in autonomous underwater vehicle based on neural network
Cui et al. Rolling bearing fault prognosis using recurrent neural network
Wu et al. Layer-wise relevance propagation for interpreting LSTM-RNN decisions in predictive maintenance
Chen et al. Gated adaptive hierarchical attention unit neural networks for the life prediction of servo motors
Zhou et al. Dual-thread gated recurrent unit for gear remaining useful life prediction
Li et al. Quantum weighted long short-term memory neural network and its application in state degradation trend prediction of rotating machinery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Feng

Inventor after: Xiang Wang

Inventor after: Deng Chengjun

Inventor before: Li Feng

Inventor before: Xiang Wang

Inventor before: Deng Chengjun

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant