CN114580285B - 一种基于cae网络的双曲型系统模型约简方法 - Google Patents

一种基于cae网络的双曲型系统模型约简方法 Download PDF

Info

Publication number
CN114580285B
CN114580285B CN202210217132.4A CN202210217132A CN114580285B CN 114580285 B CN114580285 B CN 114580285B CN 202210217132 A CN202210217132 A CN 202210217132A CN 114580285 B CN114580285 B CN 114580285B
Authority
CN
China
Prior art keywords
network
time
cae
low
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210217132.4A
Other languages
English (en)
Other versions
CN114580285A (zh
Inventor
艾岭
甘俊哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Liangsu Agricultural Technology Co ltd
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210217132.4A priority Critical patent/CN114580285B/zh
Publication of CN114580285A publication Critical patent/CN114580285A/zh
Application granted granted Critical
Publication of CN114580285B publication Critical patent/CN114580285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于CAE网络的双曲型系统模型约简方法，所述方法包括如下步骤：步骤1：采集传感器时空数据，并对时空数据进行预处理；步骤2：对高维时空数据进行模型约简，训练CAE网络，获得编码器网络和解码器网络，由此计算系统的低维表示；步骤3：训练GRU网络，建立系统低维表示的低维时间序列模型；步骤4：将系统最近的时空数据经标准化后送入CAE编码器获得双曲型系统的低维表示，利用低维时间序列模型预测下一时刻低维表示的输出值，再由CAE解码器进行解码，重构未来输出的预测值，进行反标准化得到系统原始传感器时空数据的预测值。该方法通过使用CAE网络，提高了双曲型系统的模型约简精度。

Description

一种基于CAE网络的双曲型系统模型约简方法
技术领域
本发明涉及一种双曲型系统模型约简方法，具体涉及一种基于CAE(Convolutional AutoEncoder，卷积自编码器)网络的双曲型系统模型约简方法。
背景技术
在实际工业控制系统中，广泛存在着一类具有时空耦合的非线性系统，其系统动态特性可以由PDE(Partial Differential Equation，偏微分方程)描述，这类系统可以被称为分布参数系统。由于这类复杂系统存在无限维空间分布特性，往往还会存在非线性和不确定性，对其进行精确建模具有一定的挑战性。一般情况下，首先要对系统进行模型约简，先降低原始系统的维数，建立模型，随后再进行控制器的设计。
模型约简通常可分为时空离散化和时空分解两类。对于抛物型系统，由于动态特性可以划分为慢模态和快模态，采用基于PCA(Principal Component Analysis，主成分分析法)等时空分解方法可通过忽略快模态将高维系统用一组表征慢模态的空间基函数转化为求解相应的低维时间系数的系统辨识问题。然而，对于另一类广泛存在的双曲型系统，不存在主导基函数(慢模态)，采用传统方法(如谱方法、PCA等)无法找到其低维表示，只能采用有限差分或特征线法等时空离散化方法进行模型约简，这就导致双曲型系统的模型阶数偏高。
近年来，深度学习理论发展迅速，已经有学者尝试将数据分析中的降维算法引入到分布参数系统的建模问题中。然而，目前所采用的算法在处理双曲型系统时仍存在模型精度偏低、训练过程复杂等不足。
发明内容
本发明针对过程工业中常见的双曲型系统，提供了一种基于CAE网络的双曲型系统模型约简方法。该方法通过使用CAE网络，提高双曲型系统的模型约简精度，并给出一种基于GRU(Gated Recurrent Unit，门控循环单元)网络的低维时间序列预测模型。
本发明的目的是通过以下技术方案实现的：
一种基于CAE网络的双曲型系统模型约简方法，包括如下步骤：
步骤1：采集足够获得双曲型系统全部动态特性的传感器时空数据，并对采集的时空数据进行预处理，具体步骤如下：
(1)由如下一阶双曲型PDE描述双曲型系统动态特性：
Figure BDA0003535426410000021
初始条件和边界条件满足：
Ys(x,0)＝y0(x)；
Ys(a,t)＝L(t)；
其中，x表示空间变量，t表示时间变量，Ys(x,t)表示关于空间变量x和时间变量t的时空数据，f(x,t)和g(Ys,x,t)是关于空间变量x和时间变量t的光滑非线性函数，y0(x)表示系统的初始状态，a表示系统的左边界，L(t)表示关于时间变量t的连续光滑函数；
(2)假设在空间上布置足够采集双曲型系统全部动态特征的M个传感器，采用合适的采样时间ts对系统时空数据进行采集，共采集N个时刻的时空数据
Figure BDA0003535426410000031
Figure BDA0003535426410000032
表示系统在xm位置上第tn时刻的采样值，m＝0,1,...,M-1，n＝0,1,...,N-1，
Figure BDA0003535426410000033
表示系统在tn时刻所有传感器测量值组成的列向量，被称为系统输出在tn时刻的闪点，
Figure BDA0003535426410000034
表示系统的第m个传感器测量的全部采样值，上角标T表示矩阵转置；
(3)将采集的时空数据
Figure BDA0003535426410000035
进行预处理，得到标准化至[0,1]区间的时空数据
Figure BDA0003535426410000036
Figure BDA0003535426410000037
其中，
Figure BDA0003535426410000038
和
Figure BDA0003535426410000039
分别表示向量
Figure BDA00035354264100000310
中各元素的最小值和最大值；
步骤2：对高维时空数据进行模型约简，训练CAE网络，获得编码器网络T+和解码器网络T-，并由此计算双曲型系统的低维表示，具体步骤如下：
(1)进行CAE网络初始化，设定层数p，每一层的卷积核个数mp-1，其中：
所述CAE网络包含编码器、解码器两部分，均采用堆叠卷积层M-m1-…-mp-2-m的形式，每层所有卷积核的宽度均设置为1，卷积核长度由该层输入数据的维度决定，卷积层输出数据的维度等于卷积核个数，编码器通过逐层减少卷积核个数，最终实现数据的降维；解码器网络结构m-mp-2-…-m1-M与编码器网络结构完全对称，卷积核个数与之相反达到扩张维度的目的，便于下一步计算重构损失；
(2)使用BP(Back Propagation，反向传播)算法对CAE网络进行训练，选择Adam(Adaptive momentum，自适应矩估计)作为优化器，采用RMSE(Root Mean Square Error，均方根误差)作为评价指标，更新CAE网络权值直至网络收敛，获得编码器网络T+和解码器网络T-，由此计算出双曲型系统的低维表示y＝T+(Y)，其中，T+表示编码器网络，y∈Rm×N表示系统低维表示；
步骤3：训练GRU网络，建立双曲型系统低维表示的低维时间序列模型，具体步骤如下：
(1)初始化GRU网络，划分前N1个数据为训练集，后N2个数据为测试集，N1+N2＝N，训练GRU网络获得低维时间序列模型，其中：
所述GRU网络由GRU层与全连接层组成，GRU层包含2个门和2个状态，分别是更新门Zt、重置门rt、候选状态
Figure BDA0003535426410000041
和隐藏状态ht：
更新门：Zt＝σ(Wz[ht-1,yt]+bz)；
重置门：rt＝σ(Wr[ht-1,yt]+br)；
候选状态：
Figure BDA0003535426410000042
隐藏状态：
Figure BDA0003535426410000051
其中，
Figure BDA0003535426410000052
表示当前时刻的输入向量，
Figure BDA0003535426410000053
表示上一时刻的隐藏状态向量，ν表示GRU层神经元数量，Wz和bz分别表示更新门的权值矩阵和偏置向量，σ表示Sigmoid函数，
Figure BDA0003535426410000054
Zt表示更新门的激活向量，rt表示重置门，Wr与br分别表示重置门的权值矩阵和偏置向量，
Figure BDA0003535426410000055
⊙表示Hadamard乘积运算；隐藏状态在一个单元输出之后传导至下一个单元，最后一个时刻的隐藏状态即为GRU层的输出；在这之后接全连接层匹配低维表示的维度，全连接层公式如下：
Figure BDA0003535426410000056
其中，Wy表示维度匹配矩阵，ht表示输出层神经元向量，
Figure BDA0003535426410000057
表示GRU网络的最终输出，即低维表示的未来预测值；
(2)设GRU层的层数为c，每层节点数为d，则GRU网络结构为d0-d1-…-dc-1，应用滑动窗格法，设滑窗宽度为l+1，滑窗的步长为1，使用BP算法对GRU网络进行训练，更新GRU网络权值直至网络收敛，得到低维表示的未来预测值
Figure BDA0003535426410000058
步骤4：将双曲型系统最近的时空数据经标准化后送入CAE编码器获得双曲型系统的低维表示，利用低维时间序列模型预测下一时刻低维表示的输出值，再由CAE解码器进行解码，重构未来输出的预测值，进行反标准化得到双曲型系统原始传感器时空数据的预测值，具体步骤如下：
依次将双曲型系统最近的时空数据Ys|t经标准化为Y|t后送入CAE编码器获得系统的低维表示yt，利用低维时间序列模型G预测下一时刻低维表示的输出值
Figure BDA0003535426410000061
再由CAE解码器进行解码，从而获得系统未来输出的预测值
Figure BDA0003535426410000062
yt＝T+(Y|t)；
Figure BDA0003535426410000063
Figure BDA0003535426410000064
Figure BDA0003535426410000065
其中，Y|t表示系统在t时刻标准化的闪点数据，
Figure BDA0003535426410000066
表示模型在t+1时刻标准化的闪点预测值，
Figure BDA0003535426410000067
表示模型在t+1时刻的闪点预测值，G表示GRU网络，T-表示解码器网络。
相比于现有技术，本发明具有如下优点：
本发明采用CAE网络实现双曲型系统的模型约简，相比于传统SAE(StackAutoEncoder，堆叠自编码器)，使用一维卷积方式对输入信号进行线性变换，其权重是共享的，能够更好地挖掘系统的抽象特征，再通过逐层深度学习的方式，可以更好地提取到高维系统的本质特征，降低了系统维数，同时利用GRU网络获得低维时间序列精确模型，有效地提高了双曲型系统预测模型的重构精度，弥补了现有技术无法获得双曲型系统精确低维模型的问题。
附图说明
图1为基于CAE和GRU网络的双曲型系统建模方法；
图2为平流系统数值解；
图3为基于PCA方法的系统重建时空数据；
图4为基于SAE方法的系统重建时空数据；
图5为基于CAE方法的系统重构时空数据；
图6为基于GRU网络的系统低维表示；
图7为基于CAE和GRU网络的系统时空数据预测值。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于CAE网络的双曲型系统模型约简方法，包括如下步骤：
步骤1：采集足够获得双曲型系统全部动态特性的传感器时空数据，并对采集的时空数据进行预处理。
本步骤中，不失一般性，选择一阶双曲型系统进行说明，考虑系统动态特性可以由如下一阶双曲型PDE描述：
Figure BDA0003535426410000071
初始条件和边界条件满足：
Ys(x,0)＝y0(x) (2)；
Ys(a,t)＝L(t) (3)；
其中，x表示空间变量，t表示时间变量，Ys(x,t)表示关于空间变量x和时间变量t的时空数据，f(x,t)和g(Ys,x,t)是关于空间变量x和时间变量t的光滑非线性函数，y0(x)表示系统的初始状态，a表示系统的左边界，L(t)表示关于时间变量t的连续光滑函数。
假设在空间上布置足够采集系统全部动态特征的M个传感器，采用合适的采样时间ts对系统时空数据进行采集，共采集N个时刻的时空数据
Figure BDA0003535426410000081
表示系统在xm位置上第tn时刻的采样值，m＝0,1,...,M-1，n＝0,1,...,N-1，
Figure BDA0003535426410000082
表示系统在tn时刻所有传感器测量值组成的列向量，被称为系统输出在tn时刻的闪点，
Figure BDA0003535426410000083
表示系统的第m个传感器测量的全部采样值，上角标T表示矩阵转置。将采集的时空数据进行预处理，得到标准化至[0,1]区间的时空数据
Figure BDA0003535426410000084
Figure BDA0003535426410000085
其中，
Figure BDA0003535426410000086
和
Figure BDA0003535426410000087
分别表示向量
Figure BDA0003535426410000088
中各元素的最小值和最大值。
步骤2：对高维时空数据进行模型约简，训练CAE网络，获得编码器网络T+和解码器网络T-，并由此计算双曲型系统的低维表示。
本步骤中，进行CAE网络初始化，设定层数p，每一层的卷积核个数mp-1。
可选的：激活函数可以选择线性整流函数，其数学表达式为：
Figure BDA0003535426410000089
可选的，激活函数可以选择一种具有单侧抑制特点和稀疏激活性的改进的线性整流函数ELU函数，其数学表达式为：
Figure BDA0003535426410000091
其中，α是预先给定的超参数。
本发明所提方法中，所述CAE网络包含编码器、解码器两部分，均采用堆叠卷积层M-m1-…-mp-2-m的形式，每层所有卷积核的宽度均设置为1，卷积核长度由该层输入数据的维度决定，则实际的第一层卷积核大小为M×1，第二层卷积核大小m1×1，以此类推。卷积层输出数据的维度等于卷积核个数，编码器通过逐层减少卷积核个数，最终实现数据的降维。解码器网络结构m-mp-2-…-m1-M与编码器网络结构完全对称，卷积核个数与之相反达到扩张维度的目的，便于下一步计算重构损失。为便于说明，编码和解码过程分别用T+和T-抽象表达，则该过程可表示为：
y＝T+(Y) (7)；
Figure BDA0003535426410000092
其中，T+表示编码器网络，y∈Rm×N表示系统低维表示，T-表示解码器网络，
Figure BDA0003535426410000093
是高维重建时空数据。
选择衡量损失的评价指标为：
Figure BDA0003535426410000094
使用BP算法对网络进行训练，更新CAE网络权值直至网络收敛。
可选的，优化器选择Adam，学习率设置为0.001。
步骤3：训练GRU网络，建立双曲型系统低维表示的低维时间序列模型。
本步骤中，建立基于GRU网络独立的低维时间序列模型。初始化GRU网络，划分前N1个数据为训练集，后N2个数据为测试集，N1+N2＝N，训练GRU网络获得低维时间序列模型。GRU网络由GRU层与全连接层组成，GRU层包含2个门和2个状态，分别是更新门Zt、重置门rt、候选状态
Figure BDA0003535426410000101
和隐藏状态ht：
更新门：Zt＝σ(Wz[ht-1,yt]+bz) (10)；
重置门：rt＝σ(Wr[ht-1,yt]+br) (11)；
候选状态：
Figure BDA0003535426410000102
隐藏状态：
Figure BDA0003535426410000103
其中，
Figure BDA0003535426410000104
表示当前时刻的输入向量，
Figure BDA0003535426410000105
表示上一时刻的隐藏状态向量，ν表示GRU层神经元数量，Wz和bz分别表示更新门的权值矩阵和偏置向量，σ表示Sigmoid函数，
Figure BDA0003535426410000106
Zt表示更新门的激活向量，rt表示重置门，Wr与br分别表示重置门的权值矩阵和偏置向量，
Figure BDA0003535426410000107
⊙表示Hadamard乘积运算。隐藏状态在一个单元输出之后传导至下一个单元，最后一个时刻的隐藏状态即为GRU层的输出。在这之后需要接全连接层来匹配低维表示的维度，全连接层公式如下：
Figure BDA0003535426410000108
其中，Wy表示维度匹配矩阵，ht表示输出层神经元向量，
Figure BDA0003535426410000109
表示GRU网络的最终输出，即低维表示的未来预测值。设GRU层的层数为c，每层节点数为d，则GRU网络结构为d0-d1-…-dc-1。应用滑动窗格法，设滑窗宽度为l+1，滑窗的步长为1，使用BP算法对网络进行训练，更新GRU网络权值直至网络收敛。
可选的：优化器选择Adam，学习率设置为0.001。
步骤4：将双曲型系统最近的时空数据经标准化后送入CAE编码器获得双曲型系统的低维表示，利用低维时间序列模型预测下一时刻低维表示的输出值，再由CAE解码器进行解码，重构未来输出的预测值，进行反标准化得到双曲型系统原始传感器时刻数据的预测值。
本步骤中，依次将系统最近的时空数据Ys|t经标准化为Y|t后送入CAE编码器获得系统的低维表示yt，利用低维时间序列模型G预测下一时刻低维表示的输出值
Figure BDA0003535426410000111
再由CAE解码器进行解码，从而获得系统未来输出的预测值
Figure BDA0003535426410000112
yt＝T+(Y|t) (15)；
Figure BDA0003535426410000113
Figure BDA0003535426410000114
Figure BDA0003535426410000115
其中，Y|t表示系统在t时刻标准化的闪点数据，
Figure BDA0003535426410000116
表示模型在t+1时刻标准化的闪点预测值，
Figure BDA0003535426410000117
表示模型在t+1时刻的闪点预测值，G表示GRU网络函数。图1给出了所提建模方法的示意图。
本发明采用CAE网络对双曲型系统进行模型约简同现有方法相比，在相同降阶维度下，具有更优秀的建模精度，更少的网络训练时间和简单的网络结构。
实施例：
本实施例提供了一种基于CAE网络模型约简方法的具体应用，并给出一种基于GRU网络的低维时间序列预测模型。如图1所示，包括以下步骤：
步骤S01：考虑由一阶双曲型PDE描述的平流输运过程建模问题，假设在系统轴向等间隔设置足够的传感器，选择合适的采样时间采集系统的闪点值，并对获得的数据进行预处理。
在本实施例中，平流输运过程可由如下一阶双曲型PDE描述：
Figure BDA0003535426410000121
初始条件：
Figure BDA0003535426410000122
其中，Y(x,t)表示关于时间t和空间x上的某物理量(如热量、湿度或盐度)的函数，s表示该物理量的输运速度；当s为常数时，可以得到方程的行波解为：
Figure BDA0003535426410000123
当α＝5，s＝1，x∈[-2,2]，t∈[-2,2]时，传感器位置间隔Δx＝0.04，采样时间为ts＝0.001，取方程的行波解在100个传感器位置上的4000个采样值作为系统的真实输出值Ys(xm,tn)∈R100×4000，按式(4)的方法对数据Ys进行预处理后的数据为Y(xm,tn)，如图2所示。
步骤S02：对高维时空数据进行模型约简，采用Adam优化器训练CAE网络，获得编码器网络T+和解码器网络T-，并由此计算平流系统的低维表示；同时，采用相同的编解码器网络结构训练SAE网络和PCA降维算法作为估计所提方法性能的对比算法。
在本实施例中，设编码器结构为100-20-10-2，解码器结构为2-10-20-100，卷积层均使用ELU函数作为激活函数，α＝1。使用BP算法对网络进行训练，选择Adam作为优化器，采用评价指标(9)，更新CAE网络权值直至网络收敛，获得编码器网络T+和解码器网络T-，由此计算出平流系统Y的低维表示y。基于PCA方法、SAE方法和CAE方法的系统重构时空数据分别如图3-图5所示。
步骤S03：训练GRU网络，建立平流系统低维表示的时间序列模型G。
在本实施例中，初始化GRU网络，划分训练集N1＝2500和测试集N2＝1500，设置GRU层神经元数量v＝100，全连接层结构为100-80-2，滑窗宽度l＝5。根据式(10)-(14)使用BP算法对网络进行训练，选择Adam作为优化器，对GRU网络进行训练，得到系统的未来预测值
Figure BDA0003535426410000131
系统低维表示和基于GRU网络的预测输出如图6所示。
步骤S04：将平流系统最近的时空数据经标准化后送入CAE编码器获得系统的低维表示，利用低维时间序列模型预测下一时刻低维表示的输出值，再由CAE解码器进行解码，重构未来输出的预测值，进行反标准化得到平流系统原始传感器时刻数据的预测值。
在本实施例中，依次将系统最近的5个时刻的时空数据Ys|t-4…Ys|t送入CAE编码器T+获得平流系统的低维表示yt-4…yt，利用低维时间序列模型(16)预测下一时刻低维表示的输出值
Figure BDA0003535426410000141
再由CAE解码器T-进行解码，根据式(17)重构未来输出的预测值
Figure BDA0003535426410000142
对其进行反标准化得到平流系统原始的
Figure BDA0003535426410000143
基于CAE和GRU网络的系统时空数据预测值如图7所示。
将本发明所提CAE网络模型约简方法同PCA和SAE模型约简方法对比，降阶后的维数均选择2维，比较网络性能如表1所示。本实验环境应用Intel酷睿i56300HQ 2.8GHz处理器，12GB内存空间，Nvidia GTX 960M 2GB显卡，Windows 10操作系统以及Pytorch 1.6深度学习平台。
表1网络性能比较
采用方法 模型阶数 循环次数 训练时间 RMSE
PCA 2 1 1.0325s 0.2542
SAE 2 15000 36.5625s 0.0358
CAE 2 3500 14.1821s 0.0031
从表1和图2中可以看出，PCA方法虽然计算简单用时少，但是在低阶模型上表现很差，损失较大，以致无法在实际问题中应用。从表1和图3中可以看出，SAE网络相比本发明所提方法达到稳定的循环次数多，训练时间长，精度低。SAE网络RMSE达到0.0358，误差最大值0.13，达到原始值的13％。
从表1和图4中可以看出，本发明所提方法RMSE仅为0.0031，误差最大值0.03，仅为原始值的3％。从仿真结果可以看出，本发明所提的CAE网络可以很好地对双曲型系统进行模型降阶，模型精度高，实现简单。
本发明还给出了一种基于GRU网络的低维表示建模方法。从图6中可以看出，GRU网络对低维时间序列的预测值与真实值接近，训练集和测试集RMSE分别为0.0078和0.0204，在训练集和测试集上都能很好地体现低维时间序列的动态变化规律。从图7可以看出通过CAE网络模型降阶和GRU网络时间序列预测后系统重建时空数据可以很好地复现原始数据，证明了本发明所提方法具有良好的建模效果。
本发明采用CAE网络实现双曲型系统的模型约简，相比于传统SAE，使用一维卷积方式对输入信号进行线性变换，其权重是共享的，能够更好地挖掘系统的抽象特征，再通过逐层深度学习的方式，可以更好地提取到高维系统的本质特征，降低了系统维数，同时利用GRU网络获得低维时间序列精确模型，有效地提高了双曲型系统预测模型的重构精度，弥补了现有技术无法获得双曲型系统精确低维模型的问题。

Claims (5)

1.一种基于CAE网络的双曲型系统模型约简方法，其特征在于所述方法包括如下步骤：
步骤1：考虑由一阶双曲型PDE描述的平流输运过程建模问题，采集足够获得平流系统全部动态特性的传感器时空数据，并对采集的时空数据进行预处理，具体步骤如下：
步骤1.1：由如下一阶双曲型PDE描述平流系统动态特性：
Figure FDA0003850689260000011
初始条件满足：
Figure FDA0003850689260000012
其中，x表示空间变量，t表示时间变量，Y(x,t)表示关于时间变量t和空间变量x上的热量、湿度或盐度的函数，s表示热量、湿度或盐度的输运速度，a表示系统的左边界；
步骤1.2：假设在空间上布置足够采集平流系统全部动态特征的M个传感器，采用采样时间ts对系统时空数据进行采集，共采集N个时刻的时空数据
Figure FDA0003850689260000013
Figure FDA0003850689260000014
表示系统在xm位置上第tn时刻的采样值，m＝0,1,...,M-1，n＝0,1,...,N-1，
Figure FDA0003850689260000015
表示系统在tn时刻所有传感器测量值组成的列向量，被称为系统输出在tn时刻的闪点，
Figure FDA0003850689260000016
表示系统的第m个传感器测量的全部采样值，上角标T表示矩阵转置；
步骤1.3：将采集的时空数据
Figure FDA0003850689260000017
进行预处理，得到标准化至[0,1]区间的时空数据
Figure FDA0003850689260000021
Figure FDA0003850689260000022
其中，
Figure FDA0003850689260000023
和
Figure FDA0003850689260000024
分别表示向量
Figure FDA0003850689260000025
中各元素的最小值和最大值；
步骤2：对高维时空数据进行模型约简，训练CAE网络，获得编码器网络T+和解码器网络T-，并由此计算平流系统的低维表示，具体步骤如下：
步骤2.1：进行CAE网络初始化，设定层数p，每一层的卷积核个数mp-1；
步骤2.2：使用BP算法对CAE网络进行训练，选择Adam作为优化器，采用RMSE作为评价指标，更新CAE网络权值直至网络收敛，获得编码器网络T+和解码器网络T-，由此计算出平流系统的低维表示y＝T+(Y)，其中，T+表示编码器网络，
Figure FDA0003850689260000026
表示系统低维表示；
所述CAE网络包含编码器、解码器两部分，均采用堆叠卷积层
Figure FDA0003850689260000027
的形式，每层所有卷积核的宽度均设置为1，卷积核长度由该层输入数据的维度决定，卷积层输出数据的维度等于卷积核个数，编码器通过逐层减少卷积核个数，最终实现数据的降维；解码器网络结构
Figure FDA0003850689260000028
与编码器网络结构完全对称，卷积核个数与之相反达到扩张维度的目的，便于下一步计算重构损失；
步骤3：训练GRU网络，建立平流系统低维表示的低维时间序列模型；
步骤4：将平流系统最近的时空数据经标准化后送入CAE编码器获得平流系统的低维表示，利用低维时间序列模型预测下一时刻低维表示的输出值，再由CAE解码器进行解码，重构未来输出的预测值，进行反标准化得到平流系统原始传感器时空数据的预测值。
2.根据权利要求1所述的基于CAE网络的双曲型系统模型约简方法，其特征在于所述
Figure FDA0003850689260000031
3.根据权利要求1所述的基于CAE网络的双曲型系统模型约简方法，其特征在于所述步骤3的具体步骤如下：
步骤3.1：初始化GRU网络，划分前N1个数据为训练集，后N2个数据为测试集，N1+N2＝N；
步骤3.2：设GRU层的层数为c，每层节点数为d，则GRU网络结构为d0-d1-…-dc-1，应用滑动窗格法，设滑窗宽度为l+1，滑窗的步长为1，使用BP算法对GRU网络进行训练，更新GRU网络权值直至网络收敛，得到低维表示的未来预测值
Figure FDA0003850689260000032
4.根据权利要求3所述的基于CAE网络的双曲型系统模型约简方法，其特征在于所述GRU网络由GRU层与全连接层组成，GRU层包含2个门和2个状态，分别是更新门Zt、重置门rt、候选状态
Figure FDA0003850689260000033
和隐藏状态ht：
更新门：Zt＝σ(Wz[ht-1,yt]+bz)；
重置门：rt＝σ(Wr[ht-1,yt]+br)；
候选状态：
Figure FDA0003850689260000041
隐藏状态：
Figure FDA0003850689260000042
其中，
Figure FDA0003850689260000043
表示当前时刻的输入向量，
Figure FDA0003850689260000044
表示上一时刻的隐藏状态向量，ν表示GRU层神经元数量，Wz和bz分别表示更新门的权值矩阵和偏置向量，σ表示Sigmoid函数，
Figure FDA0003850689260000045
rt表示重置门，Wr与br分别表示重置门的权值矩阵和偏置向量，
Figure FDA0003850689260000046
⊙表示Hadamard乘积运算；隐藏状态在一个单元输出之后传导至下一个单元，最后一个时刻的隐藏状态即为GRU层的输出；在这之后接全连接层匹配低维表示的维度，全连接层公式如下：
Figure FDA0003850689260000047
其中，Wy表示维度匹配矩阵，ht表示输出层神经元向量，
Figure FDA0003850689260000048
表示GRU网络的最终输出，即低维表示的未来预测值。
5.根据权利要求1所述的基于CAE网络的双曲型系统模型约简方法，其特征在于所述步骤4的具体步骤如下：
依次将双曲型系统最近的时空闪点数据Ys|t经标准化为Y|t后送入CAE编码器获得系统的低维表示yt，利用低维时间序列模型G预测下一时刻低维表示的输出值
Figure FDA0003850689260000049
再由CAE解码器进行解码，从而获得系统未来输出的预测值
Figure FDA00038506892600000410
yt＝T+(Y|t)；
Figure FDA00038506892600000411
Figure FDA0003850689260000051
Figure FDA0003850689260000052
其中，Y|t表示系统在t时刻标准化的闪点数据，
Figure FDA0003850689260000053
表示模型在t+1时刻标准化的闪点预测值，
Figure FDA0003850689260000054
表示模型在t+1时刻的闪点预测值，G表示GRU网络，T-表示解码器网络。
CN202210217132.4A 2022-03-07 2022-03-07 一种基于cae网络的双曲型系统模型约简方法 Active CN114580285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210217132.4A CN114580285B (zh) 2022-03-07 2022-03-07 一种基于cae网络的双曲型系统模型约简方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210217132.4A CN114580285B (zh) 2022-03-07 2022-03-07 一种基于cae网络的双曲型系统模型约简方法

Publications (2)

Publication Number Publication Date
CN114580285A CN114580285A (zh) 2022-06-03
CN114580285B true CN114580285B (zh) 2022-11-01

Family

ID=81778085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210217132.4A Active CN114580285B (zh) 2022-03-07 2022-03-07 一种基于cae网络的双曲型系统模型约简方法

Country Status (1)

Country Link
CN (1) CN114580285B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109862585A (zh) * 2019-01-31 2019-06-07 湖北工业大学 一种基于深度时空神经网络的动态异构网络流量预测方法
CN110133610A (zh) * 2019-05-14 2019-08-16 浙江大学 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN110321603A (zh) * 2019-06-18 2019-10-11 大连理工大学 一种用于航空发动机气路故障诊断的深度计算模型
WO2019197450A1 (en) * 2018-04-11 2019-10-17 Pie Medical Imaging Bv Method and system for assessing vessel obstruction based on machine learning
WO2021069945A1 (en) * 2019-10-09 2021-04-15 Toyota Motor Europe Method for recognizing activities using separate spatial and temporal attention weights
CN112836808A (zh) * 2021-03-22 2021-05-25 哈尔滨理工大学 基于深度学习的分布式参数系统建模的时空耦合学习方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11604956B2 (en) * 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019197450A1 (en) * 2018-04-11 2019-10-17 Pie Medical Imaging Bv Method and system for assessing vessel obstruction based on machine learning
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109862585A (zh) * 2019-01-31 2019-06-07 湖北工业大学 一种基于深度时空神经网络的动态异构网络流量预测方法
CN110133610A (zh) * 2019-05-14 2019-08-16 浙江大学 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN110321603A (zh) * 2019-06-18 2019-10-11 大连理工大学 一种用于航空发动机气路故障诊断的深度计算模型
WO2021069945A1 (en) * 2019-10-09 2021-04-15 Toyota Motor Europe Method for recognizing activities using separate spatial and temporal attention weights
CN112836808A (zh) * 2021-03-22 2021-05-25 哈尔滨理工大学 基于深度学习的分布式参数系统建模的时空耦合学习方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于卷积自编码与密集时间卷积网络的回转支承退化趋势预测;张典震 等;《振动与冲击》;20211227;第40卷(第23期);9-16 *
基于卷积自编码网络的BPSK信号降噪;彭峰等;《信息通信》;20200815(第08期);46-49 *
基于自编码网络特征降维的轻量级入侵检测模型;高妮等;《电子学报》;20170315(第03期);221-230 *
基于非监督预训练的结构优化卷积神经网络;刘庆等;《工程科学与技术》;20170630;213-218 *
多标记学习自编码网络无监督维数约简;杨文元;《智能系统学报》;20180611(第05期);140-149 *

Also Published As

Publication number Publication date
CN114580285A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110263479B (zh) 一种大气污染因子浓度时空分布预测方法及系统
CN107832787B (zh) 基于双谱自编码特征的雷达辐射源识别方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN114612715B (zh) 基于本地差分隐私的边缘联邦图像分类方法
CN111832228B (zh) 基于cnn-lstm的振动传递系统
CN111047078B (zh) 交通特征预测方法、系统及存储介质
CN112016242B (zh) 一种基于数据驱动的分布参数热过程温度预测方法
CN114611798A (zh) 一种基于动态超图卷积神经网络的od客流预测方法
CN118330386B (zh) 拓扑变化自适应的新型配电系统高阻接地故障定位方法
CN113988357A (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN113962262B (zh) 一种基于连续学习的雷达信号智能分选方法
CN113988415A (zh) 一种中长期电力负荷预测方法
CN114580285B (zh) 一种基于cae网络的双曲型系统模型约简方法
Flores et al. Model for time series imputation based on average of historical vectors, fitting and smoothing
CN113435243B (zh) 一种高光谱真实下采样模糊核估计方法
CN115481816A (zh) 基于互补集成经验模分解的时空卷积短时交通流预测方法
CN113469331B (zh) 基于全局和局部时空图卷积的车辆尾气预测方法及系统
CN115630566A (zh) 一种基于深度学习和动力约束的资料同化方法和系统
CN113850202A (zh) 一种基于深度学习的半监督高光谱影像混合像元分解方法
CN114004421B (zh) 一种基于时空集成学习的交通数据缺失值插补方法
CN115544309B (zh) 基于gcn的改进最近邻数据互联方法
CN118194139B (zh) 一种基于自适应图学习与神经受控微分方程的时空数据预测方法
CN117935555A (zh) 一种基于双向gru超图卷积模型的交通流量预测方法
Goerg Predictive State Smoothing (PRESS): Scalable non-parametric regression for high-dimensional data with variable selection
CN117313039A (zh) 一种基于多视图的短期负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230803

Address after: Room 403, Unit 3, Building 12, Enterprise Accelerator, Science and Technology Innovation City, Harbin High tech Industrial Development Zone, Harbin, Heilongjiang Province, 150028

Patentee after: Harbin LIANGSU Agricultural Technology Co.,Ltd.

Address before: No. 52 Xuefu Road, Nangang District, Harbin, Heilongjiang Province

Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY