CN108647839A - 基于代价敏感lstm循环神经网络的稳压器水位预测方法 - Google Patents

基于代价敏感lstm循环神经网络的稳压器水位预测方法 Download PDF

Info

Publication number
CN108647839A
CN108647839A CN201810689104.6A CN201810689104A CN108647839A CN 108647839 A CN108647839 A CN 108647839A CN 201810689104 A CN201810689104 A CN 201810689104A CN 108647839 A CN108647839 A CN 108647839A
Authority
CN
China
Prior art keywords
water level
lstm
model
neural network
voltage stabilizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810689104.6A
Other languages
English (en)
Inventor
张锦
潘志松
王晓龙
赵诚
沈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Military Transportation University of PLA Zhenjiang
Original Assignee
Army Military Transportation University of PLA Zhenjiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Military Transportation University of PLA Zhenjiang filed Critical Army Military Transportation University of PLA Zhenjiang
Priority to CN201810689104.6A priority Critical patent/CN108647839A/zh
Publication of CN108647839A publication Critical patent/CN108647839A/zh
Priority to CN201910496634.3A priority patent/CN110119854B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及船舶核动力稳压器水位预测技术领域，特别涉及一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法。一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法，包括如下步骤：S1，选取与稳压器水位耦合度较高的p个参数作为输入参数；S2，构建基于LSTM稳压器水位预测模型及其框架；S3，采用BPTT算法对步骤S2中构建的水位预测模型进行训练和优化。本发明LSTM模型比SVR模型和BP神经网络模型能够更好的逼近水位的真实值，具有更强的学习能力和预测能力，且基于代价敏感型的LSTM模型精度更好、收敛更快。

Description

基于代价敏感LSTM循环神经网络的稳压器水位预测方法
技术领域
本发明涉及船舶核动力稳压器水位预测技术领域，特别涉及一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法。
背景技术
稳压器水位是船用压水堆非常重要的状态参数，是操纵员掌握反应堆运行状态、判断运行瞬变的重要依据。受舰船核动力装置负荷波动和高温高湿恶劣工作条件的影响，稳压器易发生汽水混合现象和测量故障，从而产生假水位或异常显示等问题。在这些情况下，操纵员将无法获取稳压器水位的真实情况，操作难度增加，人因失误概率加大，这也是美国三哩岛核事故发生的主要原因之一。研究表明，反应堆及一回路系统主要参数间存在必然的内部联系，因此，当稳压器水位信号丧失时，可通过其他易于获取、可正常显示的参数快速计算出真实的稳压器水位，并以此来对判断仪表指示正确与否，或获得丧失指示参数的重新标定。
对核动力装置参数进行预测和重构的方法主要有两种，分别是基于数学物理模型的方法和基于数据驱动的方法。由于核反应堆一回路复杂的动态特性，不同工况下有着不同的热工水力模型，且相同类型的核动力装置之间也存在特性差异。预测模型必须具备很强表示能力和迁移学习能力才能较好构建运行参数之间的非线性映射关系。基于数学物理模型的方法采用大型安全分析程序实现参数预测。安全分析程序需要针对不同的PWRs进行修正，且不易与实际运行数据发生交互，因此该方法的通用性和迁移适应性较差。另外，模型越复杂在计算过程中引入的舍入误差、传递误差就会越多，从而模型的计算值和实际值的偏差越大。如果精简数学模型，则又无法达到较高的预测精度。基于数据驱动的方法构建的机器学习模型能够从运行数据中自动学习运行参数之间的映射关系，具有精度高、适用性强等优点。特别是随着人工智能的发展，深度学习模型表现出强大的非线性映射能力和表示学习能力，相比传统的机器学习方法，能够达到更高的预测精度。
参数预测和重构本质上都是一种回归分析。近年来，在核科学领域，构建数理统计模型，运用机器学习和数据挖掘算法对核动力装置有关特性参数进行回归分析的相关研究主要分为以下两类。一类采用支持向量回归模型（SVRM）开展回归分析，包括Wang X L通过支持向量回归对船舶核动力装置相关参数开展了预测和重构研究；Liu J[和Song M C运用支持向量回归对核动力装置故障预测进行了研究。支持向量回归具有学习速度快、泛化能力较好等优点，但也存在未能有效利用支持向量之外的数据信息，核函数及相关参数的选择对模型预测能力影响较大等缺点，而且模型假设输入数据之间是独立同分布的，但核动力装置运行参数具有很强的时序特性。
另一类是采用BP神经网络、自联想神经网络等浅层神经网络模型开展回归分析，包括Huang Y采用BP神经网络模型对压水堆偏离泡核沸腾比（Departure from NucleateBoiling Ratio）的计算进行了探讨；Shaheryar A以核电站传感器参数监测为分析对象，提出了通过引入几种正则化方法解决自联想神经网络(AANN)泛化性和鲁棒性较差的问题；Maio F D提出通过自联想核回归模型Auto-Associative Kernel Regression (AAKR)models对核电站信号重构问题进行了研究；Baraldi P主要运用主成分分析法（PCA）等数据挖掘算法对核动力装置传感器故障下的信号重构问题开展了研究探讨。这类模型具有很强的非线性映射能力，且网络越深，非线性映射能力越强，同时也容易因梯度消失而陷入局部极小值。
如何保证模型既具有较强的非线性映射能力，又避免梯度消失现象，深度学习技术应运而生。深度学习抽象模拟了人类神经元信息和链接的方式，具有不依赖高质量特征的优势，能够对输入信号逐层抽象并提取特征，挖掘出更深层次的潜在规律。循环神经网络(recurrent neural network, RNN)将时序的概念引入到网络结构设计中，使其在时序数据分析中表现出更强的适应性，而LSTM 模型作为改进的RNN已被广泛应用于交通流预测、电力需求预测、机器翻译等众多领域的时序数据研究中。由于LSTM模型采用权值共享机制和循环结构特性，因而能够有效解决梯度消失、梯度爆炸和长期记忆能力不足等问题。
发明内容
本发明要解决的技术问题是：船用压水堆稳压器水位易产生假水位和异常显示问题。
本发明的目的是构建了基于LSTM 循环神经网络的船用压水堆稳压器水位预测模型，并通过引入样本权重变量对模型进行了改进优化。基于该目的，本发明采用的技术方案如下：
一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，包括如下步骤：
S1，选取与稳压器水位耦合度较高的p个参数作为输入参数；S2，构建基于LSTM稳压器水位预测模型及其框架；S3，采用BPTT算法对步骤S2中构建的水位预测模型进行训练和优化。
进一步地，所述步骤S2包括：S21，应用RUN模型计算出隐藏层序列和输出序列；S22,将隐藏层的RNN细胞替换为LSTM细胞，使其具有长期记忆能力，构建LSTM模型；计算方法如下：
i t =σ(W xi ⊙x t +W hi ⊙h t-1 +W ci ⊙c t-1 +b i ) （4），
f t =σ(W xf ⊙x t +W hf ⊙h t-1 +W cf ⊙c t-1 +b f ) （5），
c t =f t ⊙c t-1 +i t ⊙tanh(W xc ⊙x t +W hc ⊙h t-1 +b c ) （6），
o t =σ(W xo ⊙x t +W ho ⊙h t-1 +W co ⊙c t +b o ) （7），
h t =o t ⊙tanh(c t ) （8），
其中，i、f、c、o分别代表输入门、遗忘门、细胞状态、输出门，W和b分别代表对应的权重和偏置值，σ和tanh分别为sigmoid和双曲正切激活函数；
选取与稳压器水位耦合度较高的p个参数作为输入参数，预测值与真实值的均方误差Loss为损失函数，LSTM网络中的权值W和偏置值b为决策变量（包括W xi W hi W ci W xf W hf W cf W xc W hc W xo W ho W co W hy b i b f b c b o b y ），
（9） ，
其中，y t 和分别为稳压器水位在t时刻的真实值和预测值，m为训练集样本总数，训练集样本按时序排列。
进一步地，所述步骤S21中，通过迭代公式(1)、(2)计算出一个隐藏层序列H=(h 1,h 2,…,h n )和一个输出序列，t时刻隐藏层序列、输出序列和输入特征向量分别为：
h t =σ(W xh ⊙x t +W hh ⊙h t-1 +b h ) t=1,2,…,n (1)，
=W hy ⊙h t +b y t=1,2,…,n (2)，
x t = [x t (1), x t (2), …, x t (p)] t=1,2,…,n (3)。
进一步地，引入代价敏感权重变量对原模型损失函数进行改进，改进后的模型损失函数如下： （10），其中，为t时刻样本权重。
进一步地，所述构造形式为 (12)。
进一步地，所述步骤S3中，采用BPTT算法，包括如下下四个步骤：S31，计算LSTM细胞的输出值h t ；S32，反向计算每个LSTM细胞的误差项，包括按时间和网络层级两个反向传播方向；S33，根据相应的误差项，计算每个权重的梯度；S34，应用基于梯度的优化算法更新权重。
进一步地，所述梯度优化算法采用适应性动量估计算法。
进一步地，所述步骤S1中，所述输入参数为稳压器水位耦合度较高的6项参数，包括反应堆进、出口平均温度、稳压器压力与温度、一回路主泵流量、核功率。
相比较现有技术，本发明具有的有益效果：选取与稳压器水位耦合度较高的多项参数作为输入参数，对稳压器水位进行预测，采集某船用压水堆模拟器堆功率由30%升至90%瞬变过程的运行数据，在“全过程学习”和“局部学习”两种模式下开展稳压器水位预测试验。结果表明，LSTM模型比SVR模型和BP神经网络模型能够更好的逼近水位的真实值，相比SVR模型，改进前和改进后的LSTM模型对水位预测的均方根误差分别降低了69%和79%，且随着训练次数的增加逐步逼近真实值，表现出了较好的鲁棒性和稳定性。LSTM模型和改进后的LSTM模型比SVR模型和BP神经网络模型具有更强的学习能力和预测能力，且改进后的LSTM模型精度更好、收敛更快。
附图说明
图1为实施例RNN网络结构图；
图2为LSTM 隐藏层细胞结构图；
图3为预测误差变化示意图；
图4为基于LSTM的稳压器水位预测模型及其训练框架；
图5 “全过程学习模式”和“局部学习模式”示意图；
图6a-6d为“全过程学习模式”下不同模型的预测试验效果图；
图7a-7d为“局部学习模式”下不同模型的预测试验效果图。
具体实施方式
下面结合实施例以及附图对本发明作进一步描述。
实施例1
一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法，包括如下步骤：
S1，选取与稳压器水位耦合度较高的p个参数作为输入参数。
S2，构建基于LSTM稳压器水位预测模型及其框架。具体步骤S2中，包括两个步骤，S21，应用RUN模型计算出隐藏层序列和输出序列。RNN神经元的结构与标准神经元的区别在于其具有循环结构，可以将上一个状态的信息传递到当前状态，如图1所示，当输入为时间序列时，可以将其展开为一系列相互连接的标准神经元。对于给定时间长度为n的输入序列X= (x 1;x 2;…; x n)，应用一个标准的RNN模型(如图2所示)，可以通过迭代公式(1)、(2)计算出一个隐藏层序列H=(h 1,h 2,…,h n )和一个输出序列。t时刻隐藏层序列、输出序列和输入特征向量分别为：
h t =σ(W xh ⊙x t +W hh ⊙h t-1 +b h ) t=1,2,…,n (1)
=W hy ⊙h t +b y t=1,2,…,n(2)
x t = [x t (1), x t (2), …, x t (p)] t=1,2,…,n (3)，
其中，x t (p)表示t时刻第p个输入特征的值；W表示权重系数矩阵（比如W xh 表示输入层到隐藏层的权重系数矩阵），在不同时刻RNN具有共享权值的特点；b表示偏置向量，b h 和b y 表示隐藏层和输出层的偏置向量，符号⊙表示矩阵乘法；σ表示激活函数，比如sigmoid、tanh或ReLU。将隐藏层的RNN细胞替换为LSTM细胞，使其具有长期记忆能力，构建LSTM模型。尽管RNN能够有效地处理非线性时间序列，但是仍然存在以下两个问题：(1)由于梯度消失和梯度爆炸的问题，RNN不能处理延迟过长的时间序列；(2)训练RNN模型需要预先确定延迟窗口长度，然而实际应用中很难自动地获取这一参数的最优值。由此，LSTM模型应用而生。LSTM模型是将隐藏层的RNN细胞替换为LSTM细胞，使其具有长期记忆能力。经过不断地演化，目前应用最为广泛的LSTM模型细胞结构如图2所示，其前向计算方法可以表示为：
i t =σ(W xi ⊙x t +W hi ⊙h t-1 +W ci ⊙c t-1 +b i ) (4)
f t =σ(W xf ⊙x t +W hf ⊙h t-1 +W cf ⊙c t-1 +b f ) (5)
c t =f t ⊙c t-1 +i t ⊙tanh(W xc ⊙x t +W hc ⊙h t-1 +b c ) (6)
o t =σ(W xo ⊙x t +W ho ⊙h t-1 +W co ⊙c t +b o ) (7)
h t =o t ⊙tanh(c t ) (8)
其中，i、f、c、o分别代表输入门、遗忘门、细胞状态、输出门，W和b分别代表对应的权重和偏置值，σ和tanh分别为sigmoid和双曲正切激活函数。选取与稳压器水位耦合度较高的p个参数作为输入参数。考虑到mean absolute error(MAE) is a more naturalmeasure of average error, and (unlike MAE) is unambiguous[20].因此，选择预测值与真实值的MAE为损失函数LOSS，LSTM网络中的权值W和偏置值b为决策变量（包括W xi W hi W ci W xf W hf W cf W xc W hc W xo W ho W co W hy b i b f b c b o b y ），联立式(2) -(9)构建基于LSTM稳压器水位预测模型及其框架。
(9)
其中，y t 和分别为稳压器水位在t时刻的真实值和预测值。m为训练集样本总数，训练集样本按时序排列。
S3，采用BPTT算法对步骤S2中构建的水位预测模型进行训练和优化。由于“循环”和权值共享特点的存在，传统的BP(Back-propagation)算法不能直接应用于LSTM模型的训练，需要采用BPTT算法，分为以下四个步骤：
（1）按照前向计算方法(式(4)-(8))计算LSTM细胞的输出值ht；（2）反向计算每个LSTM细胞的误差项，包括按时间和网络层级两个反向传播方向；（3）根据相应的误差项，计算每个权重的梯度；（4）应用基于梯度的优化算法更新权重。
基于梯度的优化算法种类众多，比如随机梯度下降SGD(stochastic gradientdescent)，AdaGrad,RMSProp等算法。本实施例中选用适应性动量估计算法（adaptivemoment estimation, Adam）。Adam算法是一种有效的基于梯度的随机优化算法，该算法融合了AdaGrad和RMSProp算法的优势，根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计，动态调整每个参数的学习速率，且每次迭代参数的学习步长都有一个确定的范围，不会因为很大的梯度导致很大的学习步长，对超参数的选择鲁棒性强。相比于其他的随机优化方法，Adam在实际应用中有更优的表现。如图4所示为，基于LSTM的稳压器水位预测模型及其训练框架。
实施例2
本实施例与实施例1的区别是，本实施例中，对LSTM模型进行修改，传统的LSTM回归模型以式(9)为损失函数，这实际上隐含着一个假设：训练样本的预测误差具有相同的权重。在试验中我们发现这存在不合理之处，为此引入样本权重变量对原模型损失函数进行改进，改进后的模型损失函数如下：
(10)。
其中，为t时刻样本权重。LSTM模型在以下两种情况下的误差会明显增加：
1) 当对时间的二阶导数增加时，通常误差也会突然增加。图3中曲线在点处斜率发生明显改变，误差随时间的增加速率也点后明显增加。引入参数表征t时刻的相对大小，
(11)
其中，令，显然且。为了增强变化时的纠偏效果，应当和正相关。
2)预测离当前时刻越远的水位值时，通常误差呈现变大的趋势。如图3所示，随着时间的增加，误差呈现增加的趋势，例如点、的时间间隔等于点、的时间间隔，误差却增加，|△3-△2|>|△2-△1|。样本出现越晚，重要度呈现越高的趋势，为此可以将设计成随时间t单调递增的特性。
基于上述分析，应当具备以下性质：
1）波动敏感性，与正相关
2）时序敏感性，随时间t单调递增，
3）恒正性，
4）收敛性，
将构造成如下形式：
(12)
式中，显然满足性质1)和3)，的引入确保了严格满足性质2）。下面利用正数的几何平均小于等于算术平均的性质，性质4)进行证明：
由于，因此收敛。
本发明选取与稳压器水位耦合度较高的6项参数——包括反应堆进、出口平均温度、稳压器压力与温度、一回路主泵流量、核功率，作为模型的输入参数。依托RELAP5某船用压水堆模拟器开展数据采集工作，采集包括6项输入参数和稳压器水位在内的共7项参数，以堆功率由30%升至90%的瞬变过程数据作为原始数据集，共3667组，采集时间步长为1秒，经归一化处理后，输入参数矩阵为X= (x 1;x 2;…; x 3667)，其中向量x i 表示第i时刻6项输入参数归一化后的值，输出参数为稳压器水位Y= (y 1; y 2;…; y 3667)，y i 表示第i时刻稳压器水位归一化后的值。本试验基于X和Y，如图5所示，在“全过程学习模式”和“局部学习模式”两种学习模式下开展稳压器水位预测数值试验，并将LSTM模型与SVR模型、BP神经网络模型的试验结果进行对比分析，以预测水位和真实水位y t 之间的平均误差MAE为评价模型精度的指标。
(13)
为了对试验过程中输入参数和稳压器水位构成的特征空间进行完整的学习，开展“全过程学习模式”试验。训练集和测试集数据规模按4:1划分，将3667组原始数据集中序号能被5整除的数据归为测试集，共734组，X TEST = (x 5 ;x 10 ;…; x 3665 )和Y TEST = (y 5 ; y 10 ;…;y 3665 )；其余归为训练集，共2993组，X TRAIN = (x 1 ;x 2 ; x 3 ;x 4 ; x 6 ;x 7 ;…; x 3667 )和Y TRAIN = (y 1 ;y 2 ; y 3 ;y 4 ; y 6 ;y 7 ;…; x 3667 )。
在“全过程学习模式”下，由于训练集数据较全面的涵盖了整个特征空间的主要信息，所以容易进行比较充分的学习，SVR和LSTM均取得了比较好的预测效果。为了进一步测试模型对未知工况的预测能力，开展“局部学习模式”下的预测能力试验。试验选取反应堆功率由30%升至78%的瞬变过程中，稳压器水位及其相关参数的数据作为训练集，共1600组，包括X TRAIN = (x 1;x 2;…; x 1600)和Y TRAIN = (y 1; y 2;…; y 1600)；选取反应堆功率由78%升至90%的瞬变过程中，稳压器水位及其相关参数的数据作为测试集，共400组，包括X TEST = (x 1601;x 1602 ;…; x 2000)和Y TEST = (y 1601;y 1602;…; y 2000)。
LSTM模型采用3×128的隐层加全连接层的结构。利用Adam梯度优化算法（Learning rate 取 0.001）结合批量梯度优化技术(batch = 8)，分别进行了一万次、十万次和百万次迭代训练。由于支持向量回归近年来在时间序列预测方面取得很多令人振奋的结论，选取SVR模型和BP神经网络模型开展对比试验，SVR模型分别采用RBF核、多项式核和线型核三种核函数进行预测试验。BP神经网络模型选用了500×300的隐层结构，为了防止“过拟合”还采用了dropout技术和动态学习率技术，其中 dropout系数选为0.7，学习率取值如下：
epoch为迭代周期数（14）。
表1为全过程学习模式预测试验结果。
在“全过程学习模式”下，LSTM模型和改进的LSTM模型表现最优。如图7(a)为一散点图，分别表示分别采用LSTM、代价敏感LSTM、BP neural network and SVR四种模型对稳压器水位的预测值及其真实值，横坐标1-733分别对应时间序列[5,10,…,3665]，纵坐标表示归一化后的稳压器水位值。在经过100万次迭代后，MAE分别为0.002649和0.001925，且随着训练次数的增加，逐渐由“欠拟合”进入逐渐收敛的稳定状态，并且表现出了很好的鲁棒性。SVR模型作为比较成熟的机器学习算法，预测效果也较好，其中，采用多项式核函数和线型核函数的预测效果略优于RBF核函数。BP神经网络迭代次数按周期记，即所有训练集样本经过一轮迭代后记为一个训练周期，当epoch等于100时模型处于欠拟合，随着迭代周期的增加，当epoch等于1000时模型效果相对较好，但是当epoch等于10000时模型在迭代过程中收敛到了局部最优值，而无法“逃离”，表现出了较差的稳定性。图6为“全过程学习模式”下不同模型的预测试验效果图。
在“局部学习模式”下，LSTM模型和改进的LSTM模型依然表现最优。图7(b)与(a)类似，不同的是(b)图中的横坐标1-400分别对应时间序列[1601, 1602, …, 2000]。而隐层结构为500×300的BP神经网络由于出现了严重的“过拟合”，因此改用300个神经元的单隐层结构开展试验。“过拟合”的原因主要是采用500×300的隐层结构时，模型需要学习的参数有约16万个，而训练样本数仅1600组，这种情况下模型难以得到充分的学习，当改用300个神经元的单隐层结构时，预测效果改善明显。
表2 为局部学习模式下的预测试验结果
采集某船用核动力模拟器预仿真数据开展试验验证，结果表明，相比于SVR和BP神经网络预测模型，LSTM模型具有更好的预测精度和鲁棒性，且改进后的LSTM模型表现更优。
综合实施例及实验分析表明， LSTM深度网络由于权值共享机制，大大减少了参数，在数据不足的情况下，既能确保“学习”效果，又不易出现“欠拟合”。SVR模型虽然具有计算效率高，预测效果较好的特点，但是由于SVR在训练过程中只用到了支持向量，没有充分利用支持向量以外的其他样本进行特征学习，所以在模型预测精度上难以达到LSTM模型的效果。LSTM模型在实际应用时，可以分工况建模，并将学习好的模型分别保存，在使用时直接调用训练好的模型进行预测，以确保较好的实时性。
本发明选择具有时序特性的深度神经网络LSTM为基础构建稳压器水位预测模型。传统的LSTM回归模型在构建损失函数时，训练样本通常采用相等的权重。然而由于核动力装置运行的变工况特性以及一回路运行参数的时序特点，本文认为训练样本的重要度具有以下两个普遍规律，一是相对于时序靠前的样本，时序越后的训练样本重要度相对较高；二是相对于平稳变化的样本，波动较大的样本的重要度相对较高。基于上述分析，本发明提出了代价敏感权重应当具有以下四条性质：时序敏感性、波动敏感性、恒正性和收敛性（see3.2），并构造了满足以上性质的代价敏感权重，在此基础上构建了一种基于代价敏感LSTM循环神经网络的稳压器水位预测模型。选取与稳压器水位耦合度较高的6项参数作为输入参数，对稳压器水位进行预测。采集某船用压水堆模拟器堆功率由30%升至90%瞬变过程的运行数据，在“全过程学习”和“局部学习”两种模式下开展稳压器水位预测试验。结果表明，传统的LSTM模型和代价敏感LSTM模型比SVR模型和BP神经网络模型具有更强的学习能力和预测能力，且代价敏感LSTM模型精度更好、收敛更快。本发明提出了一种核动力装置参数预测和重构的新方法，同时也推广了LSTM循环神经网络的应用领域。
最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims (8)

1.一种基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，包括如下步骤：
S1，选取与稳压器水位耦合度较高的p个参数作为输入参数；
S2，构建基于LSTM稳压器水位预测模型及其框架；
S3，采用BPTT算法对步骤S2中构建的水位预测模型进行训练和优化。
2.根据权利要求1所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，所述步骤S2包括：S21，应用RUN模型计算出隐藏层序列和输出序列；S22,将隐藏层的RNN细胞替换为LSTM细胞，使其具有长期记忆能力，构建LSTM模型；计算方法如下：
i t =σ(W xi ⊙x t +W hi ⊙h t-1 +W ci ⊙c t-1 +b i ) (4)
f t =σ(W xf ⊙x t +W hf ⊙h t-1 +W cf ⊙c t-1 +b f ) (5)
c t =f t ⊙c t-1 +i t ⊙tanh(W xc ⊙x t +W hc ⊙h t-1 +b c ) (6)
o t =σ(W xo ⊙x t +W ho ⊙h t-1 +W co ⊙c t +b o ) (7)
h t =o t ⊙tanh(c t ) (8)
其中，i、f、c、o分别代表输入门、遗忘门、细胞状态、输出门，W和b分别代表对应的权重和偏置值，σ和tanh分别为sigmoid和双曲正切激活函数；
选取与稳压器水位耦合度较高的p个参数作为输入参数，选择预测值与真实值的MAE为损失函数LOSS，LSTM网络中的权值W和偏置值b为决策变量（包括W xi W hi W ci W xf W hf W cf W xc W hc W xo W ho W co W hy b i b f b c b o b y ），
（9），
其中，y t 和分别为稳压器水位在t时刻的真实值和预测值，m为训练集样本总数，训练集样本按时序排列。
3.根据权利要求2所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，所述步骤S21中，通过迭代公式(1)、(2)计算出一个隐藏层序列H=(h 1,h 2,…,h n )和一个输出序列，t时刻隐藏层序列、输出序列和输入特征向量分别为：
h t =σ(W xh ⊙x t +W hh ⊙h t-1 +b h ) t=1,2,…,n (1)，
t=1,2,…,n (2)，
x t =[x t (1), x t (2), …, x t (p)] t=1,2,…,n (3)，
其中，x t (p)表示t时刻第p个输入特征的值；W表示权重系数矩阵（比如W xh 表示输入层到隐藏层的权重系数矩阵），在不同时刻RNN具有共享权值的特点；b表示偏置向量，b h 和b y 表示隐藏层和输出层的偏置向量，符号⊙表示矩阵乘法；σ表示激活函数，比如sigmoid、tanh或ReLU。
4.根据权利要求2所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，引入代价敏感权重对原模型损失函数进行改进，改进后的模型损失函数如下：
（10），
其中，为t时刻样本权重。
5.根据权利要求4所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，所述构造形式为 (12)。
6.根据权利要求2所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，所述步骤S3中，采用BPTT算法，包括如下四个步骤：
S31，计算LSTM细胞的输出值h t ；
S32，反向计算每个LSTM细胞的误差项，包括按时间和网络层级两个反向传播方向；
S33，根据相应的误差项，计算每个权重的梯度；
S34，应用基于梯度的优化算法更新权重。
7.根据权利要求6所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于，所述梯度优化算法采用适应性动量估计算法。
8.根据权利要求1所述的基于代价敏感LSTM循环神经网络的稳压器水位预测方法，其特征在于：所述步骤S1中，所述输入参数为稳压器水位耦合度较高的6项参数，包括反应堆进、出口平均温度、稳压器压力与温度、一回路主泵流量、核功率。
CN201810689104.6A 2018-06-28 2018-06-28 基于代价敏感lstm循环神经网络的稳压器水位预测方法 Pending CN108647839A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810689104.6A CN108647839A (zh) 2018-06-28 2018-06-28 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN201910496634.3A CN110119854B (zh) 2018-06-28 2019-06-10 基于代价敏感lstm循环神经网络的稳压器水位预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810689104.6A CN108647839A (zh) 2018-06-28 2018-06-28 基于代价敏感lstm循环神经网络的稳压器水位预测方法

Publications (1)

Publication Number Publication Date
CN108647839A true CN108647839A (zh) 2018-10-12

Family

ID=63750294

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810689104.6A Pending CN108647839A (zh) 2018-06-28 2018-06-28 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN201910496634.3A Active CN110119854B (zh) 2018-06-28 2019-06-10 基于代价敏感lstm循环神经网络的稳压器水位预测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910496634.3A Active CN110119854B (zh) 2018-06-28 2019-06-10 基于代价敏感lstm循环神经网络的稳压器水位预测方法

Country Status (1)

Country Link
CN (2) CN108647839A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359698A (zh) * 2018-10-30 2019-02-19 清华大学 基于长短时记忆神经网络模型的漏损识别方法
CN109359624A (zh) * 2018-11-14 2019-02-19 浙江农林大学 基于神经网络的蛋鸡采食行为的预测方法及预测装置
CN109583571A (zh) * 2018-12-05 2019-04-05 南京工业大学 一种基于lstm网络的移动机器人软地面通过性预测方法
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110276145A (zh) * 2019-06-26 2019-09-24 天津神州海创科技有限公司 城市排水系统仿真建模与调度方法
CN111222698A (zh) * 2020-01-06 2020-06-02 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
CN111241748A (zh) * 2020-01-13 2020-06-05 华北电力大学 基于长短期记忆模型循环神经网络的风力发电机故障诊断
CN112308278A (zh) * 2019-08-02 2021-02-02 中移信息技术有限公司 预测模型的优化方法、装置、设备和介质
CN113971319A (zh) * 2021-10-12 2022-01-25 浙江腾腾电气有限公司 配置有精度补偿的稳压器及其补偿方法
CN114880734A (zh) * 2020-12-21 2022-08-09 长沙理工大学 一种基于bp-lstm的钢混组合桥面系温度场及温度效应预测方法
CN117390419A (zh) * 2023-08-25 2024-01-12 国网四川省电力公司营销服务中心 一种适用于新能源配网的异常用电行为检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178588B (zh) * 2019-12-06 2022-11-25 天津大学 一种改进的gbdt算法预测电力系统负荷方法
CN111539355A (zh) * 2020-04-27 2020-08-14 东北电力大学 一种基于深层神经网络的光伏板异物检测系统及检测方法
CN112101519B (zh) * 2020-08-07 2022-04-08 中国南方电网有限责任公司超高压输电公司广州局 一种基于lstm的换流阀冷却裕度预测运维方法及系统
CN112215400A (zh) * 2020-09-14 2021-01-12 山东省地质矿产勘查开发局第一地质大队 一种地下水开采过度预警方法与系统
CN112307670A (zh) * 2020-09-29 2021-02-02 中国原子能科学研究院 基于bagging集成神经网络的压水堆堆芯参数预测模型设计方法
CN112139468B (zh) * 2020-09-30 2021-10-01 东北大学 薄带连铸布流包液位检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819407A (zh) * 2010-04-02 2010-09-01 杭州电子科技大学 基于神经网络的污水泵站水位预测方法
CN103544527A (zh) * 2013-10-11 2014-01-29 广东电网公司电力科学研究院 超超临界汽轮机fcb工况下除氧器水位的预测方法
CN107704426A (zh) * 2017-08-25 2018-02-16 南京邮电大学 基于扩展小波神经网络模型的水位预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389980B (zh) * 2015-11-09 2018-01-19 上海交通大学 基于长短时记忆递归神经网络的短时交通流预测方法
US10762426B2 (en) * 2016-08-12 2020-09-01 Beijing Deephi Intelligent Technology Co., Ltd. Multi-iteration compression for deep neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819407A (zh) * 2010-04-02 2010-09-01 杭州电子科技大学 基于神经网络的污水泵站水位预测方法
CN103544527A (zh) * 2013-10-11 2014-01-29 广东电网公司电力科学研究院 超超临界汽轮机fcb工况下除氧器水位的预测方法
CN107704426A (zh) * 2017-08-25 2018-02-16 南京邮电大学 基于扩展小波神经网络模型的水位预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANFENG ZHANG等: "Developing a Long Short-Term Memory (LSTM) based model for predicting water table depth in agricultural areas", 《JOURNAL OF HYDROLOGY》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359698A (zh) * 2018-10-30 2019-02-19 清华大学 基于长短时记忆神经网络模型的漏损识别方法
CN109359624B (zh) * 2018-11-14 2021-10-08 浙江农林大学 基于神经网络的蛋鸡采食行为的预测方法及预测装置
CN109359624A (zh) * 2018-11-14 2019-02-19 浙江农林大学 基于神经网络的蛋鸡采食行为的预测方法及预测装置
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN109583570B (zh) * 2018-11-30 2022-11-29 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN109583571A (zh) * 2018-12-05 2019-04-05 南京工业大学 一种基于lstm网络的移动机器人软地面通过性预测方法
CN109583571B (zh) * 2018-12-05 2023-04-28 南京工业大学 一种基于lstm网络的移动机器人软地面通过性预测方法
CN110276145A (zh) * 2019-06-26 2019-09-24 天津神州海创科技有限公司 城市排水系统仿真建模与调度方法
CN112308278A (zh) * 2019-08-02 2021-02-02 中移信息技术有限公司 预测模型的优化方法、装置、设备和介质
CN111222698B (zh) * 2020-01-06 2022-12-27 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
CN111222698A (zh) * 2020-01-06 2020-06-02 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
CN111241748A (zh) * 2020-01-13 2020-06-05 华北电力大学 基于长短期记忆模型循环神经网络的风力发电机故障诊断
CN114880734A (zh) * 2020-12-21 2022-08-09 长沙理工大学 一种基于bp-lstm的钢混组合桥面系温度场及温度效应预测方法
CN114880734B (zh) * 2020-12-21 2024-10-15 长沙理工大学 一种基于bp-lstm的钢混组合桥面系温度场及温度效应预测方法
CN113971319A (zh) * 2021-10-12 2022-01-25 浙江腾腾电气有限公司 配置有精度补偿的稳压器及其补偿方法
CN113971319B (zh) * 2021-10-12 2023-04-18 浙江腾腾电气有限公司 配置有精度补偿的稳压器及其补偿方法
CN117390419A (zh) * 2023-08-25 2024-01-12 国网四川省电力公司营销服务中心 一种适用于新能源配网的异常用电行为检测方法

Also Published As

Publication number Publication date
CN110119854A (zh) 2019-08-13
CN110119854B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN110119854B (zh) 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
Chen et al. Multi-kernel optimized relevance vector machine for probabilistic prediction of concrete dam displacement
CN107688850B (zh) 一种深度神经网络压缩方法
CN110245801A (zh) 一种基于组合挖掘模型的电力负荷预测方法及系统
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
Li et al. DRLSTM: A dual-stage deep learning approach driven by raw monitoring data for dam displacement prediction
CN111784061B (zh) 一种电网工程造价预测模型的训练方法、装置和设备
Xie et al. Residual life prediction of lithium-ion batteries based on data preprocessing and a priori knowledge-assisted CNN-LSTM
CN113743016A (zh) 基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法
CN112578089B (zh) 一种基于改进tcn的空气污染物浓度预测方法
CN114266278A (zh) 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN118297106B (zh) 一种天然气管道泄漏风险预测优化方法
CN113836783A (zh) 斜拉桥主梁温致挠度监测基准值的数字回归模型建模方法
CN115510748A (zh) 基于变分模态分解和cnn-gru的滑坡位移预测方法
Yu et al. A prediction model for remaining useful life of turbofan engines by fusing broad learning system and temporal convolutional network
CN114896895A (zh) 基于门控循环神经网络的脱硝系统入口氮氧化物排放预测方法及系统
CN118040678A (zh) 一种短期海上风电功率组合预测方法
Srivastava et al. Weather Prediction Using LSTM Neural Networks
Cao et al. Hierarchical prediction of dam deformation based on hybrid temporal network and load-oriented residual correction
CN113111573A (zh) 基于gru的滑坡位移预测方法
CN114548701B (zh) 面向全量测点耦合结构分析与估计的过程预警方法及系统
Guo et al. A hybrid-driven soft sensor with complex process data based on DAE and mechanism-introduced GRU
CN115630582A (zh) 一种多滑窗模型融合的软岩隧道围岩变形预测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181012

WD01 Invention patent application deemed withdrawn after publication