CN109447305B - 一种基于量子加权长短时记忆神经网络的趋势预测方法 - Google Patents

一种基于量子加权长短时记忆神经网络的趋势预测方法 Download PDF

Info

Publication number
CN109447305B
CN109447305B CN201810655698.9A CN201810655698A CN109447305B CN 109447305 B CN109447305 B CN 109447305B CN 201810655698 A CN201810655698 A CN 201810655698A CN 109447305 B CN109447305 B CN 109447305B
Authority
CN
China
Prior art keywords
qubit
phase
weight
quantum
wavelet packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810655698.9A
Other languages
English (en)
Other versions
CN109447305A (zh
Inventor
李锋
向往
邓成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201810655698.9A priority Critical patent/CN109447305B/zh
Publication of CN109447305A publication Critical patent/CN109447305A/zh
Application granted granted Critical
Publication of CN109447305B publication Critical patent/CN109447305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种基于量子加权长短时记忆神经网络的趋势预测方法，包括：实时采集振动样本数据；构建小波包能量熵集；对小波包能量熵集归一化处理；构建QWLSTMNN模型；归一化的小波包能量熵集输入QWLSTMNN模型中训练和预测；计算各时间点的小波包能量熵误差集；将小波包能量熵误差集输入QWLSTMNN模型中训练和预测；将预测的归一化的小波包能量熵误差集反归一化处理，得到最终预测结果。本发明构建了QWLSTMNN网络，引入量子位表示网络权值和活性值并将输入层权值扩展到隐层以获取额外的梯度信息，同时利用隐层权值的反馈信息以获取输入序列的全部记忆，改善了网络泛化能力；采用量子梯度下降算法修正量子相移门以实现权值量子位、活性值量子位的快速更新，提高了网络的收敛速度。

Description

一种基于量子加权长短时记忆神经网络的趋势预测方法
技术领域
本发明涉及神经网络系统技术领域，尤其涉及一种基于量子加权长短时记忆神经网络的趋势预测方法。
背景技术
旋转机械(如：发动机、汽轮机等)作为在石化、电力、冶金、煤炭、核能等行业中有着广泛应用的关键设备，常常因出现各种不同形式的故障而影响其正常运转，严重时甚至会引发机毁人亡的重大事故。将先进的故障诊断技术应用到旋转机械上，可起到确保设备安全运行、节约维修费用以及防止环境污染等关键作用，具有巨大的经济效益。
通常，机械设备检修方式可分为发生事故停机检修、定期停机检修、视情维修(也称为预测维修)三种。其中，视情维修由于具有后勤保障规模小、经济可承受性好、高效率以及可避免重大灾难性事故等显著优势而具有良好的发展前景。
视情维修要求系统自身具有对设备故障进行预测并对其健康状态进行管理的能力，以实现“经济可承受性”的目标，由此产生了故障预测与健康管理(prognostic andhealth management,PHM)的理念，而实现基于视情维修的PHM技术的关键在于故障预测。
在大多数的工业PHM系统中，建立复杂部件或系统的数学或物理模型十分困难甚至无法实现，或识别模型的参数较为复杂，因此，部件或系统设计、仿真、运行和维护等各个阶段的测试、传感器历史数据就成为掌握系统性能下降的主要手段。由此，基于测试或传感器数据的数据驱动(data-driven)预测方法逐渐获得重视并取得快速发展，成为PHM领域的重要研究热点。
目前，基于数据驱动的预测方法有随机系数模型，趋势估计和人工智能等方法。特别是基于人工智能的预测方法如支持向量机(Support Vector Machine,SVM)，模糊逻辑(fuzzy logic,FL)模型，人工神经网络(Artificial Neural Network,ANN)等，由于其在生成合适模型方面的灵活性，受到了广泛的关注与欢迎。然而，这些预测方法由于各自的缺陷很难得到理想的预测结果。比如支持向量机核函数及其参数很多情况是人为选定，带有许多不确定性；模糊逻辑具有与SVM类似的问题；基于人工神经网络的预测方法中，诸如BP神经网络(Back-Propagation Neural Network,BPNN)，循环神经网络(Recurrent NeuralNetwork,RNN)等经典神经网络，存在学习收敛速度慢、训练困难、网络的学习和记忆具有不稳定性等问题，而Elman神经网络(Elman Neural Network,Elman-NN)和长短时记忆神经网络(Long Short Term Memory Neural Network,LSTMNN)等RNN的变体，由于它们自身理论和结构上的缺陷，仍然难以做出准确预测。
量子计算作为一种极富前景的非线性模型，被认为是改进神经计算的有效途径之一。量子神经网络利用了量子计算的一些优势特别是其并行计算特性，比经典神经网络具有更强的并行处理能力，并且在数据处理方面具有前所未有的潜在优势。因此，可以通过量子计算与新型神经网络相结合的方式来构建新型量子神经网络，然后将该新型量子神经网络应用于旋转机械预测领域来解决现有预测方法面临的预测精度和计算速度等问题，从而突破PHM技术关键难题。
发明内容
本发明所要解决的技术问题是提供一种预测精度高且网络收敛速度快的基于量子加权长短时记忆神经网络的趋势预测方法。
为解决上述技术问题，本发明的技术方案是：一种基于量子加权长短时记忆神经网络的趋势预测方法，包括以下步骤：
S1：实时采集旋转机械的振动样本数据，作为训练样本和测试样本；
S2：为所有采集的旋转机械振动样本数据构建小波包能量熵；
S3：对所述小波包能量熵集进行归一化处理，得到归一化的小波包能量熵集；
S4：构建量子加权长短时记忆神经网络模型；
S5：将步骤S3中得到的归一化的小波包能量熵集输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵集；
S6：计算各时间点实际的小波包能量熵和预测的小波包能量熵的误差，构建小波包能量熵误差集；
S7：将所述小波包能量熵误差集归一化处理后，输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵误差集；
S8：将预测的归一化的小波包能量熵误差集进行反归一化处理，得到最终预测结果；
其中，步骤S4中构建量子加权长短时记忆神经网络，包括以下步骤：
S41：构建长短时记忆神经网络，长短时记忆神经网络在下文中简称为LSTMNN，包括输入门i；遗忘门f；输出门o；记忆单元c和候选记忆单元
Figure GDA0003129438910000041
隐层状态h；
t时刻的隐层状态
Figure GDA0003129438910000042
定义如下：
Figure GDA0003129438910000043
其中，
Figure GDA0003129438910000044
表示张量积；tanh表示双曲正切函数；
Figure GDA0003129438910000045
表示t时刻的记忆单元；
Figure GDA0003129438910000046
表示调节记忆曝光量的输出门，其数学表达式如下：
Figure GDA0003129438910000047
其中，
Figure GDA0003129438910000048
表示t时刻的输入，
Figure GDA0003129438910000049
表示t-1时刻的隐层状态，且当t＝1时，
Figure GDA00031294389100000410
Wo、Uo和
Figure GDA00031294389100000411
分别表示输出门中的输入权值矩阵、上一时刻隐层权值矩阵和偏置向量；
记忆单元通过添加部分候选记忆并遗忘部分历史记忆来更新信息，记忆单元
Figure GDA00031294389100000412
和候选记忆单元
Figure GDA00031294389100000413
定义如下：
Figure GDA00031294389100000414
Figure GDA00031294389100000415
其中，Wc、Uc和
Figure GDA00031294389100000416
分别表示候选记忆单元中的输入权值矩阵，上一时刻隐层权值矩阵和偏置向量；
输入门
Figure GDA00031294389100000417
和遗忘门
Figure GDA00031294389100000418
分别用来调节候选记忆添加程度和现有记忆遗忘程度，
Figure GDA00031294389100000419
和
Figure GDA00031294389100000420
可分别由以下公式表示：
Figure GDA00031294389100000421
Figure GDA00031294389100000422
其中，σ为sigmoid函数；Wi、Ui和
Figure GDA00031294389100000423
分别表示输入门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；Wf、Uf和
Figure GDA0003129438910000051
分别表示遗忘门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；
根据式(2)计算
Figure GDA0003129438910000052
根据式(3)至式(6)计算
Figure GDA0003129438910000053
将
Figure GDA0003129438910000054
和
Figure GDA0003129438910000055
代入式(1)计算出t时刻的隐层状态
Figure GDA0003129438910000056
后，由下式可计算LSTMNN的输出
Figure GDA0003129438910000057
Figure GDA0003129438910000058
其中，Wy表示输出层权值矩阵；
S42：构建量子相移门：
量子相移门可记为
Figure GDA0003129438910000059
设量子比特的初始状态为
Figure GDA00031294389100000510
则相位变换按如下规则进行：
Figure GDA00031294389100000511
其中，|φ′0>表示经过变换后观测到的最新状态；
S43：构建量子加权神经元模型，量子位|φi>、
Figure GDA00031294389100000512
分别表示权值和活性值，其中聚合算子记为∑，F是活化函数，f表示激励函数，激励采用sigmoid函数或双曲正切函数，神经元输入为
Figure GDA00031294389100000513
输出为y；权向量|φ>＝[|φ1>,|φ2>,…,|φm>]T，其中，权值量子位|φi>＝[cosθi,sinθi]T，其中，θi为|φi>的相位；活性值量子位
Figure GDA00031294389100000514
其中，ξ为
Figure GDA00031294389100000515
的相位；
则，量子加权神经元的输入输出关系可表述为：
Figure GDA00031294389100000516
Figure GDA0003129438910000061
当输入为
Figure GDA0003129438910000062
输出为
Figure GDA0003129438910000063
时，结合式(9)可推导出量子加权神经元输入输出关系如下：
Figure GDA0003129438910000064
其中，i＝1,2,…,m,j＝1,2,…,n；
Figure GDA0003129438910000065
表示量子权向量；|φij>＝[cosθij,sinθij]T和
Figure GDA0003129438910000066
分别是用于求解权值矩阵W的权值量子位和活性值量子位；θij和ξj分别是|φij>和
Figure GDA0003129438910000067
的相位；则，权值矩阵W可表示为：
Figure GDA0003129438910000068
由式(10)和式(11)可知，W中的任意一个元素wji均可由θij和ξj来表示，因此，通过更新权值量子位相位θij和活性值量子位相位ξj来更新权值量子位|φij>和活性值量子位
Figure GDA0003129438910000069
来实现整个权值矩阵的更新；
S44：构建量子加权长短时记忆神经网络结构，量子加权长短时记忆神经网络结构简称为QWLSTMNN；
记QWLSTMNN结构为m-p-n，t时刻的输入层为
Figure GDA00031294389100000610
隐层为
Figure GDA00031294389100000611
输出层为
Figure GDA00031294389100000612
激活函数为sigmiod，记为σ，i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p；l＝1,2,…,n；
首先，根据式(5)和式(10)可以推导出QWLSTMNN的输出门如下：
Figure GDA0003129438910000071
其中，(θwi)ij和(ξwi)j分别是用于求解权值矩阵Wi的权值量子位相位和活性值量子位相位，(θui)kj和(ξui)j分别是用于求解权值矩阵Ui的权值量子位相位和活性值量子位相位；当t＝1时，
Figure GDA0003129438910000072
同理，根据式(2)、式(4)、式(6)、式(10)，可推导遗忘门ft j、候选记忆单元
Figure GDA0003129438910000073
和输出门
Figure GDA0003129438910000074
如下：
Figure GDA0003129438910000075
其中，(θwf)ij和(ξwf)j分别是用于求解权值矩阵Wf的权值量子位相位和活性值量子位相位，(θuf)kj和(ξuf)j分别是用于求解权值矩阵Uf的权值量子位相位和活性值量子位相位；
Figure GDA0003129438910000076
其中，(θwc)ij和(ξwc)j分别是用于求解权值矩阵Wc的权值量子位相位和活性值量子位相位，(θuc)kj和(ξuc)j分别是用于求解权值矩阵Uc的权值量子位相位和活性值量子位相位；
Figure GDA0003129438910000077
其中，(θwo)ij和(ξwo)j分别为用于求解权值矩阵Wo的权值量子位相位和活性值量子位相位，(θuo)kj和(ξuo)j分别为用于求解权值矩阵Uo的权值量子位相位和活性值量子位相位；
接着，根据式(12-14)可推导记忆单元
Figure GDA0003129438910000081
如下：
Figure GDA0003129438910000082
然后，由式(14-15)计算隐层状态
Figure GDA0003129438910000083
如下：
Figure GDA0003129438910000084
最后，根据式(7)、式(10)、式(17)，可以得到QWLSTMNN在t时刻的输出值
Figure GDA0003129438910000085
如下：
Figure GDA0003129438910000086
其中，(θwy)kl和(ξwy)l分别为用于求解权值矩阵Wy的权值量子位相位和活性值量子位相位；
S45：通过修正量子相移门的相位来更新权值量子位和活性值量子位：
记第s步训练的权值量子位为|φ(s)>；s＝1,2,…,Nmax-1为训练步数，Nmax表示最大训练步数；θ(s)为|φ(s)>的相位；Δθ(s)为θ(s)的增量，
Figure GDA0003129438910000087
为第s步训练的活性值量子位；ξ(s)表示
Figure GDA0003129438910000088
的相位；Δξ(s)表示ξ(s)的增量；一位相移门表示如下：
Figure GDA0003129438910000089
更新后的权值量子位和活性值量子位表示如下：
Figure GDA0003129438910000091
Figure GDA0003129438910000092
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，就可以对权值量子位|φ(s)>和活性值量子位
Figure GDA0003129438910000093
进行更新，也即实现了权向量的更新；
记QWLSTMNN的逼近误差函数为：
Figure GDA0003129438910000094
其中，yl和
Figure GDA0003129438910000095
分别表示期望输出和实际输出；
定义动态学习速率
Figure GDA0003129438910000096
表达式如下：
Figure GDA0003129438910000097
Figure GDA0003129438910000098
其中，α表示学习率，e为自然常数，r∈[0,1]为动态收敛因子，用来调节
Figure GDA0003129438910000099
的变化范围，当r＝0时，
Figure GDA00031294389100000910
根据量子梯度下降法，相位增量Δθ(s)和Δξ(s)由以下两式分别得出：
Figure GDA00031294389100000911
Figure GDA00031294389100000912
令(θwi)ij(s)、(θwf)ij(s)、(θwo)ij(s)、(θwg)ij(s)、(θwy)kl(s)、(θui)kj(s)、(θuf)kj(s)、(θuo)kj(s)、(θug)kj(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的权值量子位相位，将这些权值量子位相位分别作为自变量代入公式(25)可求得对应的相位增量Δ(θwi)ij(s)、Δ(θwf)ij(s)、Δ(θwo)ij(s)、Δ(θwg)ij(s)、Δ(θwy)kl(s)、Δ(θui)kj(s)、Δ(θuf)kj(s)、Δ(θuo)kj(s)、Δ(θug)kj(s)；同理，令(ξwi)j(s)、(ξwf)j(s)、(ξwo)j(s)、(ξwg)j(s)、(ξwy)l(s)、(ξui)j(s)、(ξuf)j(s)、(ξuo)j(s)、(ξug)j(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的活性值量子位相位，分别将这些活性值量子位相位作为自变量代入公式(26)可求出对应的相位增量Δ(ξwi)j(s)、Δ(ξwf)j(s)、Δ(ξwo)j(s)、Δ(ξwg)j(s)、Δ(ξwy)l(s)、Δ(ξui)j(s)、Δ(ξuf)j(s)、Δ(ξuo)j(s)、Δ(ξug)j(s)；
将求得的相位增量分别带入式(20)和式(21)，即可实现所有权值量子位和活性值量子位的更新。
作为优选的技术方案，在步骤S5和S7中，归一化的小波包能量熵集或小波包能量熵误差集输入所述量子加权长短时记忆神经网络模型进行训练和预测的步骤包括：
从所述归一化的小波包能量熵集或小波包能量熵误差集中选择样本集
Figure GDA0003129438910000101
将
Figure GDA0003129438910000102
分为QWLSTMNN的训练样本集Xtrain和对应的期望输出集
Figure GDA0003129438910000103
其表达如下：
Figure GDA0003129438910000104
Figure GDA0003129438910000105
其中，Xtrain每一列表示一个m＜b-a维训练样本；
Figure GDA0003129438910000106
每一列表示相应的期望输出；
QWLSTMNN训练过程如下：(1)在第一步训练中初始化各相位，即将[0,2π]内的值随机赋给
Figure GDA0003129438910000107
和
Figure GDA0003129438910000108
(2)将样本集Xtrain输入QWLSTMNN得到输出
Figure GDA0003129438910000109
(3)利用量子梯度下降算法来更新
Figure GDA0003129438910000111
以得到下一个训练周期的初始相位；(4)重复步骤(2)和步骤(3)，直到
Figure GDA0003129438910000112
与
Figure GDA0003129438910000113
之间的误差小于设定的阈值，或者达到最大训练步数；
QWLSTMNN训练完成后，采用多步向前预测法进行状态退化趋势预测：将训练集后m个样本{xb-m+1,xb-m+2,…,xb}作为QWLSTMNN的初始输入，得到b+1时刻的输出
Figure GDA0003129438910000114
完成第一步预测；然后由
Figure GDA0003129438910000115
组成QWLSTMNN的输入来计算下一时刻的输出
Figure GDA0003129438910000116
完成第二步预测；以此类推，向QWLSTMNN输入
Figure GDA0003129438910000117
可得到b+N时刻的输出
Figure GDA0003129438910000118
完成第N步预测。
作为优选的技术方案，步骤S6中，计算各时间点的实际的小波包能量熵和预测的小波包能量熵的误差，采用如下公式：
Figure GDA0003129438910000119
其中，b表示初始值；N表示预测样本数；xb+i和
Figure GDA00031294389100001110
分别表示第b+i个样本的实际的排列熵和预测的排列熵。
作为优选的技术方案，在步骤S6之前，将预测的归一化的小波包能量熵集进行反归一化处理得到预测的小波包能量熵集。
作为优选的技术方案，所述监测对象是旋转机械，所述原始运行数据是所述旋转机械的原始振动数据。
由于采用了上述技术方案，本发明的有益效果是：本发明构建了量子加权长短是记忆神经网络QWLSTMNN，引入量子位表示网络权值和活性值并将输入层权值扩展到隐层以获取额外的梯度信息，同时利用隐层权值的反馈信息以获取输入序列的全部记忆，改善了网络泛化能力；另外，采用新型的量子梯度下降算法修正量子相移门以实现权值量子位、活性值量子位的快速更新，提高了网络的收敛速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中长短时神经网络LSTMNN的拓扑图；
图2是本发明实施例中的量子加权神经元的拓扑图；
图3是本发明实施例的工作流程图；
图4是本发明实施例中1号轴承运行7天的小波包能量熵曲线图；
图5是本发明实施例中1号轴承运行7天的小波包能量熵误差曲线图；
图6是本发明实施例通过QWLSTMNN网络预测的小波包能量熵曲线图；
图7是本发明实施例中四种神经网络的逼近误差曲线的示意图；
图8是本发明实施例中反向传播神经网络(Back Propagation Neural Network,简称BPNN)预测的小波包能量熵与实际的小波包能量熵误差对比示意图；
图9是本发明实施例中循环神经网络(Recurrent Neural Network,简称RNN)预测的小波包能量熵与实际的小波包能量熵误差对比示意图；
图10是本发明实施例中门限循环单元神经网络(Gated Recurrent Unit NeuralNetworks,简称GRUNN)预测的小波包能量熵与实际的小波包能量熵误差对比示意图；
图11是本发明实施例中最小二乘支持向量机(Least Squares Support VectorMachines,简称LS-SVM)预测的小波包能量熵与实际的小波包能量熵误差对比示意图；
图12是本发明实施例中五种性态退化趋势预测方法消耗时间对比结果示意图。
具体实施方式
如图1至图3共同所示，一种基于量子加权长短时记忆神经网络的趋势预测方法，包括以下步骤：
S1：实时采集旋转机械的振动样本数据，作为训练样本和测试样本。
S2：为所有采集的旋转机械振动样本数据构建小波包能量熵；
S3：对小波包能量熵集进行归一化处理，得到归一化的小波包能量熵集。
S4：构建量子加权长短时记忆神经网络模型，具体包括：
S41：构建长短时记忆神经网络，长短时记忆神经网络在下文中简称为LSTMNN，包括输入门i；遗忘门f；输出门o；记忆单元c和候选记忆单元
Figure GDA0003129438910000131
隐层状态h；
t时刻的隐层状态
Figure GDA0003129438910000132
定义如下：
Figure GDA0003129438910000133
其中，
Figure GDA0003129438910000134
表示张量积；tanh表示双曲正切函数；
Figure GDA0003129438910000135
表示t时刻的记忆单元；
Figure GDA0003129438910000136
表示调节记忆曝光量的输出门，其数学表达式如下：
Figure GDA0003129438910000141
其中，
Figure GDA0003129438910000142
表示t时刻的输入，
Figure GDA0003129438910000143
表示t-1时刻的隐层状态，且当t＝1时，
Figure GDA0003129438910000144
Wo、Uo和
Figure GDA0003129438910000145
分别表示输出门中的输入权值矩阵、上一时刻隐层权值矩阵和偏置向量；
记忆单元通过添加部分候选记忆并遗忘部分历史记忆来更新信息，记忆单元
Figure GDA0003129438910000146
和候选记忆单元
Figure GDA0003129438910000147
定义如下：
Figure GDA0003129438910000148
Figure GDA0003129438910000149
其中，Wc、Uc和
Figure GDA00031294389100001410
分别表示候选记忆单元中的输入权值矩阵，上一时刻隐层权值矩阵和偏置向量；
输入门
Figure GDA00031294389100001411
和遗忘门
Figure GDA00031294389100001412
分别用来调节候选记忆添加程度和现有记忆遗忘程度，
Figure GDA00031294389100001413
和
Figure GDA00031294389100001414
可分别由以下公式表示：
Figure GDA00031294389100001415
Figure GDA00031294389100001416
其中，σ为sigmoid函数；Wi、Ui和
Figure GDA00031294389100001417
分别表示输入门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；Wf、Uf和
Figure GDA00031294389100001418
分别表示遗忘门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；
根据式(2)计算
Figure GDA00031294389100001419
根据式(3)至式(6)计算
Figure GDA00031294389100001420
将
Figure GDA00031294389100001421
和
Figure GDA00031294389100001422
代入式(1)计算出t时刻的隐层状态
Figure GDA00031294389100001423
后，由下式可计算LSTMNN的输出
Figure GDA00031294389100001424
Figure GDA00031294389100001425
其中，Wy表示输出层权值矩阵；
S42：构建量子相移门：
量子相移门可记为
Figure GDA0003129438910000151
设量子比特的初始状态为
Figure GDA0003129438910000152
则相位变换按如下规则进行：
Figure GDA0003129438910000153
其中，|φ′0>表示经过变换后观测到的最新状态；
S43：构建量子加权神经元模型，量子位|φi>、
Figure GDA0003129438910000154
分别表示权值和活性值，其中聚合算子记为∑，F是活化函数，f表示激励函数，激励采用sigmoid函数或双曲正切函数，神经元输入为
Figure GDA0003129438910000155
输出为y；权向量|φ>＝[|φ1>,|φ2>,…,|φm>]T，其中，权值量子位|φi>＝[cosθi,sinθi]T，其中，θi为|φi>的相位；活性值量子位
Figure GDA0003129438910000156
其中，ξ为
Figure GDA0003129438910000157
的相位；
则，量子加权神经元的输入输出关系可表述为：
Figure GDA0003129438910000158
当输入为
Figure GDA0003129438910000159
输出为
Figure GDA00031294389100001510
时，结合式(9)可推导出量子加权神经元输入输出关系如下：
Figure GDA00031294389100001511
Figure GDA0003129438910000161
其中，i＝1,2,…,m,j＝1,2,…,n；
Figure GDA0003129438910000162
表示量子权向量；|φij>＝[cosθij,sinθij]T和
Figure GDA0003129438910000163
分别是用于求解权值矩阵W的权值量子位和活性值量子位；θij和ξj分别是|φij>和
Figure GDA0003129438910000164
的相位；则，权值矩阵W可表示为：
Figure GDA0003129438910000165
由式(10)和式(11)可知，W中的任意一个元素wji均可由θij和ξj来表示，因此，通过更新权值量子位相位θij和活性值量子位相位ξj来更新权值量子位|φij>和活性值量子位
Figure GDA0003129438910000166
来实现整个权值矩阵的更新；
S44：构建量子加权长短时记忆神经网络结构，量子加权长短时记忆神经网络结构简称为QWLSTMNN；
记QWLSTMNN结构为m-p-n，t时刻的输入层为
Figure GDA0003129438910000167
隐层为
Figure GDA0003129438910000168
输出层为
Figure GDA0003129438910000169
激活函数为sigmiod，记为σ，i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p；l＝1,2,…,n；
首先，根据式(5)和式(10)可以推导出QWLSTMNN的输出门如下：
Figure GDA00031294389100001610
其中，(θwi)ij和(ξwi)j分别是用于求解权值矩阵Wi的权值量子位相位和活性值量子位相位，(θui)kj和(ξui)j分别是用于求解权值矩阵Ui的权值量子位相位和活性值量子位相位；当t＝1时，
Figure GDA00031294389100001611
同理，根据式(2)、式(4)、式(6)、式(10)，可推导遗忘门ft j、候选记忆单元
Figure GDA0003129438910000171
和输出门
Figure GDA0003129438910000172
如下：
Figure GDA0003129438910000173
其中，(θwf)ij和(ξwf)j分别是用于求解权值矩阵Wf的权值量子位相位和活性值量子位相位，(θuf)kj和(ξuf)j分别是用于求解权值矩阵Uf的权值量子位相位和活性值量子位相位；
Figure GDA0003129438910000174
其中，(θwc)ij和(ξwc)j分别是用于求解权值矩阵Wc的权值量子位相位和活性值量子位相位，(θuc)kj和(ξuc)j分别是用于求解权值矩阵Uc的权值量子位相位和活性值量子位相位；
Figure GDA0003129438910000175
其中，(θwo)ij和(ξwo)j分别为用于求解权值矩阵Wo的权值量子位相位和活性值量子位相位，(θuo)kj和(ξuo)j分别为用于求解权值矩阵Uo的权值量子位相位和活性值量子位相位；
接着，根据式(12-14)可推导记忆单元
Figure GDA0003129438910000176
如下：
Figure GDA0003129438910000177
然后，由式(14-15)计算隐层状态
Figure GDA0003129438910000178
如下：
Figure GDA0003129438910000179
最后，根据式(7)、式(10)、式(17)，可以得到QWLSTMNN在t时刻的输出值
Figure GDA00031294389100001710
如下：
Figure GDA0003129438910000181
其中，(θwy)kl和(ξwy)l分别为用于求解权值矩阵Wy的权值量子位相位和活性值量子位相位；
S45：通过修正量子相移门的相位来更新权值量子位和活性值量子位：
记第s步训练的权值量子位为|φ(s)>；s＝1,2,…,Nmax-1为训练步数，Nmax表示最大训练步数；θ(s)为|φ(s)>的相位；Δθ(s)为θ(s)的增量，
Figure GDA0003129438910000182
为第s步训练的活性值量子位；ξ(s)表示
Figure GDA0003129438910000183
的相位；Δξ(s)表示ξ(s)的增量；一位相移门表示如下：
Figure GDA0003129438910000184
更新后的权值量子位和活性值量子位表示如下：
Figure GDA0003129438910000185
Figure GDA0003129438910000186
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，就可以对权值量子位|φ(s)>和活性值量子位
Figure GDA0003129438910000187
进行更新，也即实现了权向量的更新；
记QWLSTMNN的逼近误差函数为：
Figure GDA0003129438910000188
其中，yl和
Figure GDA0003129438910000189
分别表示期望输出和实际输出；
定义动态学习速率
Figure GDA00031294389100001810
表达式如下：
Figure GDA0003129438910000191
Figure GDA0003129438910000192
其中，α表示学习率，e为自然常数，r∈[0,1]为动态收敛因子，用来调节
Figure GDA0003129438910000193
的变化范围，当r＝0时，
Figure GDA0003129438910000194
根据量子梯度下降法，相位增量Δθ(s)和Δξ(s)由以下两式分别得出：
Figure GDA0003129438910000195
Figure GDA0003129438910000196
令(θwi)ij(s)、(θwf)ij(s)、(θwo)ij(s)、(θwg)ij(s)、(θwy)kl(s)、(θui)kj(s)、(θuf)kj(s)、(θuo)kj(s)、(θug)kj(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的权值量子位相位，分别将这些权值量子位相位作为自变量代入公式(25)可求得对应的相位增量Δ(θwi)ij(s)、Δ(θwf)ij(s)、Δ(θwo)ij(s)、Δ(θwg)ij(s)、Δ(θwy)kl(s)、Δ(θui)kj(s)、Δ(θuf)kj(s)、Δ(θuo)kj(s)、Δ(θug)kj(s)；同理，令(ξwi)j(s)、(ξwf)j(s)、(ξwo)j(s)、(ξwg)j(s)、(ξwy)l(s)、(ξui)j(s)、(ξuf)j(s)、(ξuo)j(s)、(ξug)j(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的活性值量子位相位，分别将这些活性值量子位相位作为自变量代入公式(26)可求出对应的相位增量Δ(ξwi)j(s)、Δ(ξwf)j(s)、Δ(ξwo)j(s)、Δ(ξwg)j(s)、Δ(ξwy)l(s)、Δ(ξui)j(s)、Δ(ξuf)j(s)、Δ(ξuo)j(s)、Δ(ξug)j(s)；
将求得的相位增量分别带入式(20)和式(21)，即可实现所有权值量子位和活性值量子位的更新。
S5：将步骤S3中得到的归一化的小波包能量熵集输入量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵集。
S6：计算各时间点实际的小波包能量熵和预测的小波包能量熵的误差，构建小波包能量熵误差集：首先，将预测的归一化的小波包能量熵集进行反归一化处理得到预测的小波包能量熵集
计算各时间点的实际的小波包能量熵和预测的小波包能量熵的误差，采用如下公式：
Figure GDA0003129438910000201
其中，b表示初始值；N表示预测样本数；xb+i和
Figure GDA0003129438910000202
分别表示第b+i个样本的实际的排列熵和预测的排列熵。
S7：将小波包能量熵误差集归一化处理后，输入量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵误差集；
S8：将预测的归一化的小波包能量熵误差集进行反归一化处理，得到最终预测结果；
其中，步骤S5和S7中，将归一化的小波包能量熵集或小波包能量熵误差集输入QWLSTMNN网络模型中进行训练和预测，具体包括以下步骤：
从归一化的小波包能量熵集或小波包能量熵误差集中选择样本集
Figure GDA0003129438910000203
将
Figure GDA0003129438910000204
分为QWLSTMNN的训练样本集Xtrain和对应的期望输出集
Figure GDA0003129438910000205
其表达如下：
Figure GDA0003129438910000206
Figure GDA0003129438910000207
其中，Xtrain每一列表示一个m＜b-a维训练样本；
Figure GDA00031294389100002112
每一列表示相应的期望输出；
QWLSTMNN训练过程如下：(1)在第一步训练中初始化各相位，即将[0,2π]内的值随机赋给
Figure GDA0003129438910000211
和
Figure GDA0003129438910000212
(2)将样本集Xtrain输入QWLSTMNN得到输出
Figure GDA0003129438910000213
(3)利用量子梯度下降算法来更新
Figure GDA0003129438910000214
以得到下一个训练周期的初始相位；(4)重复步骤(2)和步骤(3)，直到
Figure GDA0003129438910000215
与
Figure GDA0003129438910000216
之间的误差小于设定的阈值，或者达到最大训练步数；
QWLSTMNN训练完成后，采用多步向前预测法进行状态退化趋势预测：将训练集后m个样本{xb-m+1,xb-m+2,…,xb}作为QWLSTMNN的初始输入，得到b+1时刻的输出
Figure GDA0003129438910000217
完成第一步预测；然后由
Figure GDA0003129438910000218
组成QWLSTMNN的输入来计算下一时刻的输出
Figure GDA0003129438910000219
完成第二步预测；以此类推，向QWLSTMNN输入
Figure GDA00031294389100002110
可得到b+N时刻的输出
Figure GDA00031294389100002111
完成第N步预测。
本发明实施例优选的监测对象是旋转机械，原始运行数据是旋转机械的原始振动数据。
下面以本发明应用于旋转机械中的实施例，通过对旋转机械的性能退化趋势预测来说明本发明的优越性。
本实施例使用Cincinnati大学实测的滚动轴承状态退化数据对本发明中所提出的方法进行验证。轴承实验台的转轴上安装四个航空用轴承，这些航空轴承为Rexnord公司制造的ZA-2115双列滚子轴承，交流电机通过带传动以2000r/min的恒定转速带动转轴旋转，实验过程中轴承被施加6000lbs的径向载荷。采样频率为20kHz，采样长度为20480个点，每隔10min采集一次轴承的振动数据，轴承持续运行直到出现故障。在该实验中，1号轴承持续运转到第7天时因出现外圈故障而失效，本发明采用1号轴承状态退化数据来验证所提方法的有效性。
取1号轴承连续运行七天(共计984段)的轴承状态退化的振动信号数据来构造的小波包能量熵曲线图，由图4可知，从第531点开始出现明显下降，表明该轴承处于退化初始阶段，从679点开始出现明显不规则曲线，表明轴承出现了较大外圈故障，在670点以后不规则曲线密集程度明显增多，表明该轴承已出现严重故障，濒临失效。
首先通过QWLSTMNN来完成对各时间点的小波包能量熵的预测。
QWLSTMNN的参数设置如下：输入维数m＝30，隐层维数p＝8，输出维数n＝1，预测样本数N＝200，学习率α＝0.05，动态收敛因子r＝0.3，最大训练步数Nmax＝2000，均方误差阈值Emse＝0.01。令
Figure GDA0003129438910000221
将每组小波包能量熵输入QWLSTMNN，根据步骤S5，得到预测的小波包能量熵。再根据步骤S6和式(27)可计算出小波包能量熵误差{E280,E281,…E984}，如图5所示。
根据步骤S7，将计算得出的小波包能量熵误差输入QWLSTMNN来完成小波包能量熵误差的预测。QWLSTMNN的参数设置如下：输入维数m＝30，隐层维数p＝8，输出维数n＝1，预测样本数N＝200，学习率α＝0.05，动态收敛因子r＝0.3，最大训练步数Nmax＝2000，均方误差阈值Emse＝0.01。图6中第503到782个采样点处于初始退化阶段，是状态退化趋势观测中最重要的时间序列数据。因此，取第503点782点(共计280个样本点)的小波包能量熵误差用于训练和测试QLSTMNN。将前80个点作为训练样本，后200个点作为测试样本分别输入QWLSTMNN来完成训练和预测，网络的参数设置保持不变，预测结果如图6所示。
由图6可知，被预测的在[583,782]区间内的小波包能量熵误差与图5对应的小波包能量熵误差非常接近，即由QWLSTMNN预测的小波包能量熵误差拟合的曲线与实际小波包能量熵误差的动态趋势(即实际性能退化趋势)基本一致，这就说明基于QWLSTMNN的趋势预测方法是有效的，可以将该方法用于旋转机械的状态退化趋势预测。
下面，我们通过三组比较来验证所提出的基于量子加权门限循环单元神经网络(QWGRUNN)的旋转机械性能退化趋势预测方法的优越性。
首先，将BPNN、RNN、LSTMNN、与QWLSTMNN进行收敛特性对比，各神经网络参数设置保持不变，对比结果如图7所示。随着迭代步数的增加，四种神经网络的逼近误差均不断下降且的QWLSTMNN逼近误差下降得最快，达到最大训练步数Nmax＝2000时，QWLSTMNN的逼近误差比其它三种网络的逼近误差更小，这表明QWLSTMNN具有更快的收敛速度和更好的泛化能力。
然后，本发明实施例与基于BPNN、RNN、LSTMNN、LS-SVM的其他四种预测方法进行预测精度对比。后四种方法的训练次数及预测方式(即输入输出方式)同本发明QWLSTMNN保持一致并且BPNN、RNN、LSTMNN这三种神经网络参数设置与QWLSTMNN相同，LS-SVM选择RBF核函数，且通过留一交叉验证法自动设置核参数和正则化参数。采用这些方法得到的双列滚子轴承的状态退化趋势预测结果如图8至图11所示。
为进一步定量评价预测结果的准确性，采用均方根误差(RMSE)作为预测误差评价指标，即：
Figure GDA0003129438910000241
其中，N表示预测样本数；Eb+i和
Figure GDA0003129438910000242
分别表示第b+i个样本点实际的小波包能量熵误差和预测的小波包能量熵误差。
在QWLSTMNN、BPNN、RNN、LSTMNN、LS-SVM参数设置保持不变的条件下，用这五种预测方法反复进行100次预测，取最小均方根误差emin、最大均方根误差emax、平均均方根误差
Figure GDA0003129438910000243
作为这100次预测的预测误差评价指标，其对比结果如表1所示。
表1 5种状态退化趋势预测方法的预测误差对比
Figure GDA0003129438910000244
表1表明：QWLSTMNN的平均预测误差较小，且预测误差的波动范围也较小，说明该量子神经网络具有良好的泛化能力与预测稳定性，将其用于典型旋转机械—双列滚子轴承的状态退化趋势预测，相比于BPNN、RNN、LSTMNN、LS-SVM可以取得更高的预测精度。
最后，再用BPNN、RNN、LSTMNN、LS-SVM进行状态退化趋势预测所耗用的计算时间与QWLSTMNN所耗用的计算时间进行对比，如图12所示。QWLSTMNN消耗的时间为3.610575s，BPNN消耗的时间为5.608638s，RNN消耗的时间为4.895042s，LSTMNN消耗的时间为6.584945s，LS-SVM消耗的时间为0.753513s，QWLSTMNN的消耗的时间仅比LS-SVM长(但仍处于同一数量级)。结果表明：将QWLSTMNN用于典型旋转机械—双列滚子轴承的状态退化趋势预测，比BPNN、RNN、LSTMNN、LS-SVM具有更高的计算效率。
在此基础上，本发明提出了基于QWLSTMNN的旋转机械状态退化趋势预测方法。首先利用旋转机械运行过程中的原始振动数据来构建小波包能量熵误差特征集以表征其性能退化信息；然后将构建的特征集输入QWLSTMNN以完成性能退化趋势预测。滚动轴承性能退化趋势预测实例验证了该方法的有效性。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于量子加权长短时记忆神经网络的趋势预测方法，其特征在于，包括以下步骤：
S1：实时采集旋转机械的振动样本数据，作为训练样本和测试样本；
S2：为所有采集的旋转机械振动样本数据构建小波包能量熵；
S3：对所述小波包能量熵进行归一化处理，得到归一化的小波包能量熵集；
S4：构建量子加权长短时记忆神经网络模型；
S5：将步骤S3中得到的归一化的小波包能量熵集输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵集；
S6：计算各时间点实际的小波包能量熵和预测的小波包能量熵的误差，构建小波包能量熵误差集；
S7：将所述小波包能量熵误差集归一化处理后，输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵误差集；
S8：将预测的归一化的小波包能量熵误差集进行反归一化处理，得到最终预测结果；
其中，步骤S4中构建量子加权长短时记忆神经网络，包括以下步骤：
S41：构建长短时记忆神经网络，长短时记忆神经网络在下文中简称为LSTMNN，包括输入门i；遗忘门f；输出门o；记忆单元c和候选记忆单元
Figure FDA0003129438900000011
隐层状态h；
t时刻的隐层状态
Figure FDA0003129438900000012
定义如下：
Figure FDA0003129438900000013
其中，
Figure FDA0003129438900000014
表示张量积；tanh表示双曲正切函数；
Figure FDA0003129438900000015
表示t时刻的记忆单元；
Figure FDA0003129438900000016
表示调节记忆曝光量的输出门，其数学表达式如下：
Figure FDA0003129438900000017
其中，
Figure FDA0003129438900000018
表示t时刻的输入，
Figure FDA0003129438900000019
表示t-1时刻的隐层状态，且当t＝1时，
Figure FDA00031294389000000110
Wo、Uo和
Figure FDA00031294389000000111
分别表示输出门中的输入权值矩阵、上一时刻隐层权值矩阵和偏置向量；
记忆单元通过添加部分候选记忆并遗忘部分历史记忆来更新信息，记忆单元
Figure FDA0003129438900000021
和候选记忆单元
Figure FDA0003129438900000022
定义如下：
Figure FDA0003129438900000023
Figure FDA0003129438900000024
其中，Wc、Uc和
Figure FDA0003129438900000025
分别表示候选记忆单元中的输入权值矩阵，上一时刻隐层权值矩阵和偏置向量；
输入门
Figure FDA0003129438900000026
和遗忘门
Figure FDA0003129438900000027
分别用来调节候选记忆添加程度和现有记忆遗忘程度，
Figure FDA0003129438900000028
和
Figure FDA0003129438900000029
可分别由以下公式表示：
Figure FDA00031294389000000210
Figure FDA00031294389000000211
其中，σ为sigmoid函数；Wi、Ui和
Figure FDA00031294389000000212
分别表示输入门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；Wf、Uf和
Figure FDA00031294389000000213
分别表示遗忘门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；
根据式(2)计算
Figure FDA00031294389000000214
根据式(3)至式(6)计算
Figure FDA00031294389000000215
将
Figure FDA00031294389000000216
和
Figure FDA00031294389000000217
代入式(1)计算出t时刻的隐层状态
Figure FDA00031294389000000218
后，由下式可计算LSTMNN的输出
Figure FDA00031294389000000219
Figure FDA00031294389000000220
其中，Wy表示输出层权值矩阵；
S42：构建量子相移门：
量子相移门可记为
Figure FDA00031294389000000221
设量子比特的初始状态为
Figure FDA00031294389000000222
则相位变换按如下规则进行：
Figure FDA00031294389000000223
其中，|φ′0>表示经过变换后观测到的最新状态；
S43：构建量子加权神经元模型，量子位|φi>、
Figure FDA00031294389000000224
分别表示权值和活性值，其中聚合算子记为∑，F是活化函数，f表示激励函数，激励采用sigmoid函数或双曲正切函数，神经元输入为
Figure FDA00031294389000000225
输出为y；权向量|φ>＝[|φ1>,|φ2>,…,|φm>]T，其中，权值量子位|φi>＝[cosθi,sinθi]T，其中，θi为|φi>的相位；活性值量子位
Figure FDA0003129438900000031
其中，ξ为
Figure FDA0003129438900000032
的相位；
则，量子加权神经元的输入输出关系可表述为：
Figure FDA0003129438900000033
将上述量子神经元多输入-单输出模型拓展成多输入-多输出模型，即当输入为
Figure FDA0003129438900000034
输出为
Figure FDA0003129438900000035
时，结合式(9)可推导出量子加权神经元输入输出关系如下：
Figure FDA0003129438900000036
其中，i＝1,2,…,m,j＝1,2,…,n；
Figure FDA0003129438900000037
表示量子权向量；|φij>＝[cosθij,sinθij]T和
Figure FDA0003129438900000038
分别是用于求解权值矩阵W的权值量子位和活性值量子位；θij和ξj分别是|φij>和
Figure FDA0003129438900000039
的相位；则权值矩阵W可表示为：
Figure FDA00031294389000000310
由式(10)和式(11)可知，W中的任意一个元素wji均可由θij和ξj来表示，因此，通过更新权值量子位相位θij和活性值量子位相位ξj来更新权值量子位|φij>和活性值量子位
Figure FDA00031294389000000311
来实现整个权值矩阵的更新；
S44：构建量子加权长短时记忆神经网络结构，量子加权长短时记忆神经网络结构简称为QWLSTMNN；
记QWLSTMNN结构为m-p-n，t时刻的输入层为
Figure FDA0003129438900000041
隐层为
Figure FDA0003129438900000042
输出层为
Figure FDA0003129438900000043
激活函数为sigmiod，记为σ，i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p；l＝1,2,…,n；
首先，根据式(5)和式(10)可以推导出QWLSTMNN的输出门如下：
Figure FDA0003129438900000044
其中，(θwi)ij和(ξwi)j分别是用于求解权值矩阵Wi的权值量子位相位和活性值量子位相位，(θui)kj和(ξui)j分别是用于求解权值矩阵Ui的权值量子位相位和活性值量子位相位；当t＝1时，
Figure FDA0003129438900000045
同理，根据式(2)、式(4)、式(6)、式(10)，可推导遗忘门ft j、候选记忆单元
Figure FDA0003129438900000046
和输出门
Figure FDA0003129438900000047
如下：
Figure FDA0003129438900000048
其中，(θwf)ij和(ξwf)j分别是用于求解权值矩阵Wf的权值量子位相位和活性值量子位相位，(θuf)kj和(ξuf)j分别是用于求解权值矩阵Uf的权值量子位相位和活性值量子位相位；
Figure FDA0003129438900000049
其中，(θwc)ij和(ξwc)j分别是用于求解权值矩阵Wc的权值量子位相位和活性值量子位相位，(θuc)kj和(ξuc)j分别是用于求解权值矩阵Uc的权值量子位相位和活性值量子位相位；
Figure FDA0003129438900000051
其中，(θwo)ij和(ξwo)j分别为用于求解权值矩阵Wo的权值量子位相位和活性值量子位相位，(θuo)kj和(ξuo)j分别为用于求解权值矩阵Uo的权值量子位相位和活性值量子位相位；
接着，根据式(12-14)可推导记忆单元
Figure FDA0003129438900000052
如下：
Figure FDA0003129438900000053
然后，由式(14-15)计算隐层状态
Figure FDA0003129438900000054
如下：
Figure FDA0003129438900000055
最后，根据式(7)、式(10)、式(17)，可以得到QWLSTMNN在t时刻的输出值
Figure FDA0003129438900000056
如下：
Figure FDA0003129438900000057
其中，(θwy)kl和(ξwy)l分别为用于求解权值矩阵Wy的权值量子位相位和活性值量子位相位；
S45：通过修正量子相移门的相位来更新权值量子位和活性值量子位：
记第s步训练时的权值量子位为|φ(s)>；s＝1,2,…,Nmax-1为训练步数，Nmax表示最大训练步数；θ(s)为|φ(s)>的相位；Δθ(s)为θ(s)的增量，
Figure FDA0003129438900000058
为第s步训练的活性值量子位；ξ(s)表示
Figure FDA0003129438900000061
的相位；Δξ(s)表示ξ(s)的增量；一位相移门表示如下：
Figure FDA0003129438900000062
更新后的权值量子位和活性值量子位表示如下：
Figure FDA0003129438900000063
Figure FDA0003129438900000064
因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，就可以对权值量子位|φ(s)>和活性值量子位
Figure FDA0003129438900000065
进行更新，也即实现了权向量的更新；
记QWLSTMNN的逼近误差函数为：
Figure FDA0003129438900000066
其中，yl和
Figure FDA0003129438900000067
分别表示期望输出和实际输出；
定义动态学习速率
Figure FDA0003129438900000068
表达式如下：
Figure FDA0003129438900000069
Figure FDA00031294389000000610
其中，α表示学习率，e为自然常数，r∈[0,1]为动态收敛因子，用来调节
Figure FDA00031294389000000611
的变化范围，当r＝0时，
Figure FDA00031294389000000612
根据量子梯度下降法，相位增量Δθ(s)和Δξ(s)由以下两式分别得出：
Figure FDA00031294389000000613
Figure FDA00031294389000000614
令(θwi)ij(s)、(θwf)ij(s)、(θwo)ij(s)、(θwg)ij(s)、(θwy)kl(s)、(θui)kj(s)、(θuf)kj(s)、(θuo)kj(s)、(θug)kj(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的权值量子位相位，分别将这些权值量子位相位作为自变量代入公式(25)可求得对应的相位增量Δ(θwi)ij(s)、Δ(θwf)ij(s)、Δ(θwo)ij(s)、Δ(θwg)ij(s)、Δ(θwy)kl(s)、Δ(θui)kj(s)、Δ(θuf)kj(s)、Δ(θuo)kj(s)、Δ(θug)kj(s)；同理，令(ξwi)j(s)、(ξwf)j(s)、(ξwo)j(s)、(ξwg)j(s)、(ξwy)l(s)、(ξui)j(s)、(ξuf)j(s)、(ξuo)j(s)、(ξug)j(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的活性值量子位相位，分别将这些活性值量子位相位作为自变量代入公式(26)可求出对应的相位增量Δ(ξwi)j(s)、Δ(ξwf)j(s)、Δ(ξwo)j(s)、Δ(ξwg)j(s)、Δ(ξwy)l(s)、Δ(ξui)j(s)、Δ(ξuf)j(s)、Δ(ξuo)j(s)、Δ(ξug)j(s)；
将求得的相位增量分别带入式(20)和式(21)，即可实现所有权值量子位和活性值量子位的更新。
2.如权利要求1所述的一种基于量子加权长短时记忆神经网络的趋势预测方法，其特征在于：在步骤S5和S7中，归一化的小波包能量熵集或小波包能量熵误差集输入所述量子加权长短时记忆神经网络模型进行训练和预测的步骤包括：
从所述归一化的小波包能量熵集或小波包能量熵误差集中选择样本集
Figure FDA0003129438900000071
将
Figure FDA0003129438900000072
分为QWLSTMNN的训练样本集Xtrain和对应的期望输出集
Figure FDA0003129438900000073
其表达如下：
Figure FDA0003129438900000074
Figure FDA0003129438900000075
其中，Xtrain每一列表示一个m＜b-a维训练样本；
Figure FDA0003129438900000076
每一列表示相应的期望输出；
QWLSTMNN训练过程如下：(1)在第一步训练中初始化各相位，即将[0,2π]内的值随机赋给
Figure FDA0003129438900000081
和
Figure FDA0003129438900000082
(2)将样本集Xtrain输入QWLSTMNN得到输出
Figure FDA0003129438900000083
(3)利用量子梯度下降算法来更新
Figure FDA0003129438900000084
以得到下一个训练周期的初始相位；(4)重复步骤(2)和步骤(3)，直到
Figure FDA0003129438900000085
与
Figure FDA0003129438900000086
之间的误差小于设定的阈值，或者达到最大训练步数；
QWLSTMNN训练完成后，采用多步向前预测法进行状态退化趋势预测：将训练集后m个样本{xb-m+1,xb-m+2,…,xb}作为QWLSTMNN的初始输入，得到b+1时刻的输出
Figure FDA0003129438900000087
完成第一步预测；然后由
Figure FDA0003129438900000088
组成QWLSTMNN的输入来计算下一时刻的输出
Figure FDA0003129438900000089
完成第二步预测；以此类推，向QWLSTMNN输入
Figure FDA00031294389000000810
可得到b+N时刻的输出
Figure FDA00031294389000000811
完成第N步预测。
3.如权利要求1所述的一种基于量子加权长短时记忆神经网络的趋势预测方法，其特征在于：步骤S6中，计算各时间点的实际的小波包能量熵和预测的小波包能量熵的误差，采用如下公式：
Figure FDA00031294389000000812
其中，b表示初始值；N表示预测样本数；xb+i和
Figure FDA00031294389000000813
分别表示第b+i个样本的实际的排列熵和预测的排列熵。
4.如权利要求1所述的一种基于量子加权长短时记忆神经网络的趋势预测方法，其特征在于：在步骤S6之前，将预测的归一化的小波包能量熵集进行反归一化处理得到预测的小波包能量熵集。
CN201810655698.9A 2018-06-23 2018-06-23 一种基于量子加权长短时记忆神经网络的趋势预测方法 Active CN109447305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810655698.9A CN109447305B (zh) 2018-06-23 2018-06-23 一种基于量子加权长短时记忆神经网络的趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810655698.9A CN109447305B (zh) 2018-06-23 2018-06-23 一种基于量子加权长短时记忆神经网络的趋势预测方法

Publications (2)

Publication Number Publication Date
CN109447305A CN109447305A (zh) 2019-03-08
CN109447305B true CN109447305B (zh) 2021-09-07

Family

ID=65532683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810655698.9A Active CN109447305B (zh) 2018-06-23 2018-06-23 一种基于量子加权长短时记忆神经网络的趋势预测方法

Country Status (1)

Country Link
CN (1) CN109447305B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934156A (zh) * 2019-03-11 2019-06-25 重庆科技学院 一种基于elman神经网络的用户体验评价方法及系统
CN112784472B (zh) * 2021-01-27 2023-03-24 电子科技大学 循环神经网络模拟量子输运过程中的量子条件主方程的模拟方法
CN114878574A (zh) * 2022-03-31 2022-08-09 南通东德纺织科技有限公司 基于机器视觉的布匹缺陷检测方法、装置及系统
CN114897139A (zh) * 2022-05-09 2022-08-12 广西大学 一种排序稳定简化稀疏量子神经网络的轴承故障诊断方法
CN116400430B (zh) * 2023-03-23 2024-06-14 本源量子计算科技（合肥）股份有限公司 一种气象数据预测方法、装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN106603293A (zh) * 2016-12-20 2017-04-26 南京邮电大学 虚拟网络环境下一种基于深度学习的网络故障诊断方法
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN107102969A (zh) * 2017-04-28 2017-08-29 湘潭大学 一种时间序列数据的预测方法和系统
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129937A1 (en) * 2016-11-04 2018-05-10 Salesforce.Com, Inc. Quasi-recurrent neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN106603293A (zh) * 2016-12-20 2017-04-26 南京邮电大学 虚拟网络环境下一种基于深度学习的网络故障诊断方法
CN106815639A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 流数据的异常点检测方法及装置
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN107102969A (zh) * 2017-04-28 2017-08-29 湘潭大学 一种时间序列数据的预测方法和系统
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
故障预测与健康管理系统相关标准综述;景博 等;《电子测量与仪器学报》;20141215;第28卷(第12期);第1301-1307页 *

Also Published As

Publication number Publication date
CN109447305A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109447305B (zh) 一种基于量子加权长短时记忆神经网络的趋势预测方法
Chen et al. Anomaly detection and critical SCADA parameters identification for wind turbines based on LSTM-AE neural network
Wang et al. Degradation evaluation of slewing bearing using HMM and improved GRU
CN112926273B (zh) 一种多元退化设备剩余寿命预测方法
CN108428023B (zh) 基于量子加权门限重复单元神经网络的趋势预测方法
Wang et al. A deep feature enhanced reinforcement learning method for rolling bearing fault diagnosis
Cheng et al. Autoencoder quasi-recurrent neural networks for remaining useful life prediction of engineering systems
Gao et al. A neural network-based joint prognostic model for data fusion and remaining useful life prediction
Yan et al. A dynamic multi-scale Markov model based methodology for remaining life prediction
Alrifaey et al. A novel deep learning framework based RNN-SAE for fault detection of electrical gas generator
Yang et al. A comparison between extreme learning machine and artificial neural network for remaining useful life prediction
Zhang et al. Early fault detection method of rolling bearing based on MCNN and GRU network with an attention mechanism
Xiang et al. Quantum weighted gated recurrent unit neural network and its application in performance degradation trend prediction of rotating machinery
Zhou et al. Dual-thread gated recurrent unit for gear remaining useful life prediction
Remadna et al. Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation
CN109766745B (zh) 强化学习三态组合长短时记忆神经网络系统及训练和预测方法
Wu et al. Layer-wise relevance propagation for interpreting LSTM-RNN decisions in predictive maintenance
CN111459144A (zh) 一种基于深度循环神经网络的飞机飞控系统故障预测方法
Zhuang et al. Health assessment of rotating equipment with unseen conditions using adversarial domain generalization toward self-supervised regularization learning
Chen et al. Gated adaptive hierarchical attention unit neural networks for the life prediction of servo motors
Jia et al. Characteristics forecasting of hydraulic valve based on grey correlation and ANFIS
Chen et al. Transfer life prediction of gears by cross-domain health indicator construction and multi-hierarchical long-term memory augmented network
Liu et al. Multiple sensors based prognostics with prediction interval optimization via echo state Gaussian process
Huang et al. Bayesian neural network based method of remaining useful life prediction and uncertainty quantification for aircraft engine
Chen et al. Quantum recurrent encoder–decoder neural network for performance trend prediction of rotating machinery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Feng

Inventor after: Xiang Wang

Inventor after: Deng Chengjun

Inventor before: Li Feng

Inventor before: Xiang Wang

Inventor before: Deng Chengjun

GR01 Patent grant
GR01 Patent grant