CN107908595B - 基于卷积神经网络和数据驱动的非线性动态系统辨识方法 - Google Patents

基于卷积神经网络和数据驱动的非线性动态系统辨识方法 Download PDF

Info

Publication number
CN107908595B
CN107908595B CN201711034478.6A CN201711034478A CN107908595B CN 107908595 B CN107908595 B CN 107908595B CN 201711034478 A CN201711034478 A CN 201711034478A CN 107908595 B CN107908595 B CN 107908595B
Authority
CN
China
Prior art keywords
data
nonlinear
tensor
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711034478.6A
Other languages
English (en)
Other versions
CN107908595A (zh
Inventor
付荣荣
王世伟
潘明
鲍甜恬
田永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201711034478.6A priority Critical patent/CN107908595B/zh
Publication of CN107908595A publication Critical patent/CN107908595A/zh
Application granted granted Critical
Publication of CN107908595B publication Critical patent/CN107908595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法，其内容包括：以Lorenz非线性系统生成观测数据及其微分值，并进行归一化处理；由归一化后的观测数据中各个状态量构建非线性状态函数字典，并对其进行张量化扩展；取该张量中的一半数据和其所对应的输出微分值训练卷积神经网络，深度挖掘期望输出微分值与输入之间的内在回归关系；将张量中剩下一半数据作为测试数据输入到卷积神经网络中，比较测试数据的卷积神经网络输出微分值与实际期望输出微分值，给出非线性动态系统辨识结果。本发明针对非线性动态系统辨识问题，在不需要先验信息的情况直接从测量数据实现非线性动态系统的辨识。

Description

基于卷积神经网络和数据驱动的非线性动态系统辨识方法
技术领域
本发明属于信号处理和系统辨识技术领域，具体涉及一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法。
背景技术
机器学习和回归技术为发掘数据集和学习潜在行为提供有力的数学工具，掀起了对复杂数据的分析和理解的研究热潮。针对非线性动态系统辨识问题，如何在不需要先验信息的情况下直接从测量数据实现非线性动态系统的辨识成为关键所在。在解决系统中潜在的非线性动力特性探寻问题上，国内外专家已经进行了将近30年的研究。回归分析在数据拟合上具有优势，并广泛的应用于从实验数据发现物理信息，如最小二乘拟合和符号回归等统计分析方法。传统基于回归分析的方法在揭示静态数据的统计关系上极为有效，而在从大量数据提取深层隐含的动态过程的能力上应用有一定局限。卷积神经网络具有强大的大量数据深层信息挖掘能力，广泛的使用在多模态的分类问题上。区别于传统应用，本发明将卷积神经网络应用于深度回归，提出基于卷积神经网络和数据驱动的系统辨识方法，在不需要先验信息的情况下直接从测量数据实现非线性动态系统的辨识。
发明内容
针对上述现有技术存在的问题，本发明的目的在于提供一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法。
为了解决上述存在的技术问题实现发明目的，本发明是通过以下技术方案实现的：
一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法，该方法针对非线性动态系统辨识问题，在不需要先验信息的情况直接从测量数据实现非线性动态系统的辨识；所述方法内容包括以下步骤：
步骤1：获取非线性动态系统的数据及预处理；以Lorenz非线性系统生成观测数据，如下式：
Figure GDA0002691162380000021
其中,σ：为普朗特数，ρ：为瑞利数，β：为系统参数。故由(1)式可以得到Lorenz系统中各个状态量x，y，z及各个状态量的微分值x’，y’，z’，并对状态量及其微分值进行归一化处理得到X＝(xnorm，ynorm，znorm)及其微分值X’＝(xnorm’，ynorm’，znorm’)；
步骤2：由归一化处理后的状态量X中各列构造候选非线性状态项，以各个候选非线性状态项为列构建非线性状态函数字典Θ(X)，如下公式：
Figure GDA0002691162380000022
其中，
Figure GDA0002691162380000023
代表状态量X的二次非线性项；非线性状态函数字典Θ(X)用于找到表达及辨识非线性动态系统的各个非线性状态项；
步骤3：将非线性状态函数字典Θ(X)进行张量化扩展，即将大小为m×144的非线性状态函数字典Θ(X)转化为m×12×12的张量并实现方阵化，将方阵化后的非线性状态函数张量进行进一步扩展形成大小为m×24×24的张量，即将m×12×12大小的张量数据进行数据复制为4份，最终构建成为大小为m×24×24的张量；
步骤4：在大小为m×24×24的张量中任意取一半，得到大小为
Figure GDA0002691162380000031
的张量，将此部分张量数据和其所对应的输出微分值作为训练集训练卷积神经网络，即在训练集中的张量数据中每一片24×24的截面矩阵，共计
Figure GDA0002691162380000032
片，作为卷积神经网络的输入层信息，输入卷积神经网络中，深度挖掘期望输出微分值与输入之间的内在回归关系；
步骤5：将剩下一半输入数据作为测试数据输入到卷积神经网络中，比较测试数据的卷积神经网络输出的微分值与实际期望输出的微分值，实现非线性动态系统的辨识。
由于采用上述技术方案，本发明与现有技术相比具有这样的有益效果：
本发明针对非线性动态系统辨识问题，提出基于卷积神经网络和数据驱动的系统辨识方法，在不需要先验信息的情况直接从测量数据实现非线性动态系统的辨识。
附图说明
图1是非线性动态系统Lorenz及Lorenz吸引子；
图2是特征项字典张量化扩展示意图；
图3是回归分析卷积神经网络结构图；
图4是输入层到卷积层C1计算过程示意图；
图5是卷积层C2到降采样层S2降采样计算过程示意图；
图6是降采样层S2到全连接层f及输出计算过程示意图；
图7是训练数据的输出回归分析结果；
图8是测试数据的输出回归分析结果；
图9是迭代次数与误差曲线；
图10是本发明方法的总体流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明的一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法，其总体的流程图如图10所示，该方法内容包括以下步骤：
步骤1、非线性动态系统的数据获取及预处理；
步骤1-1、以Lorenz非线性动态系统生成观测数据，如下式所示，
Figure GDA0002691162380000041
由上式(3)可以得到Lorenz系统中各个状态量x，y，z及各个状态量的微分值x’，y’，z’，即Lorenz吸引子如图1所示；在已知信息更少的情况下，如状态量x，y，z可以测量得到，则可以近似估计出各个状态量的微分值，反之亦然；
步骤1-2、对状态量及其微分值进行归一化处理得到X＝(xnorm，ynorm，znorm)及其微分值X’＝(xnorm’，ynorm’，znorm’)；
步骤2、由归一化处理后的状态量X中各列构造候选非线性状态项，以各个候选非线性状态项为列构建非线性状态函数字典Θ(X)，如下公式：
Figure GDA0002691162380000051
其中，
Figure GDA0002691162380000052
代表状态X的二次非线性项。本发明方法中Θ(X)的大小为m×144，Θ(X)也可以扩展到包含状态量X的更高次幂。由各个候选非线性状态项构建非线性状态函数字典Θ(X)，用于找到表达及辨识非线性动态系统的各个非线性状态项；
步骤3、将非线性状态函数字典Θ(X)进行张量化扩展，即将大小为m×144的非线性状态函数字典Θ(X)，如图2(a)所示，转化为大小为m×12×12的张量，实现截面矩阵方阵化，如图2(b)所示，将方阵化后的非线性状态函数张量进行进一步扩展如图2(c)所示形成大小为m×24×24的张量；
步骤4、在大小为m×24×24的张量中任意取一半，得到大小为
Figure GDA0002691162380000053
的张量，将此部分张量数据和其所对应的微分值作为训练集训练卷积神经网络，即在训练集中的张量数据中每一片24×24的截面矩阵(共
Figure GDA0002691162380000061
片)作为卷积神经网络的输入层信息，深度挖掘输入的张量数据和其所对应的微分值之间的内在回归关系；
首先初始化卷积神经网络，刚开始的神经网络参数(包括卷积核、偏置项等)并没有确定的值，需要随机赋值，得到一个初始的卷积神经网络后才可以计算得到一个实际输出。给定卷积神经网络的输入和期望输出即张量数据和其所对应的微分值后，对卷积神经网络进行训练，带入到卷积神经网络中进行逐层运算。本发明方法中所构建的卷积神经网络结构如图3所示。其中第一层为输入层，输入矩阵通过和两个(个数可调)可训练的滤波器(即卷积计算)，卷积得到第二层C1层(卷积层)，C1层经过降采样得到第三层S1层(降采样层)，以同样的方法将S1层作为输入得到第四层C2层、第五层S2层，最终，这些数值重新排列连接成一个向量输入到传统的神经网络中得到第六层输出层(全连接层)。
卷积过程以输入层到卷积层C1的过程为例，如图4所示，输入的矩阵经过卷积以后得到的值再加上一个偏置项，通过sigmoid函数得到C1层。类似的，降采样层S1到卷积层C2的计算也是经过5×5卷积核加上偏置项再通过sigmoid函数计算得到。
降采样过程以卷积层C2(6×6)到降采样层S2(3×3)的过程为例，如图5所示，C2层的每相邻4个元素值求和后乘权值，加偏置项，将得到的数值带入到Sigmoid函数中最终得到降采样层。类似的计算过程可以实现卷积层C1到降采样层S1的计算。
由降采样层S2到全连接层f再到输出的过程如图6所示，从降采样层两个3×3的矩阵展开成一个18×1的全连接矩阵，全连接矩阵乘以权重与偏置项求和得到3×1的输出。
步骤5、将剩下一半输入数据作为测试数据输入到卷积神经网络中，比较测试数据的卷积神经网络输出的微分值与实际期望输出的微分值，给出非线性动态系统辨识结果。训练数据辨识出的结果如图7所示，测试数据辨识出的结果如图8所示。图9是在训练时的迭代次数与误差曲线，横轴表示修正CNN参数的迭代次数，纵轴表示期望输出微分值与实际输出微分值的误差，从图9中可以看到通过迭代不断修正参数误差也在减少，当误差参数在迭代过程变化小于阈值(0.001)时认为获得了较为理想的输出。
本发明方法针对非线性动态系统辨识问题，提出基于卷积神经网络和数据驱动的系统辨识方法，在不需要先验信息的情况直接从测量数据实现非线性动态系统的辨识。
上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (1)

1.一种基于卷积神经网络和数据驱动的非线性动态系统辨识方法，该方法针对非线性动态系统辨识问题，在不需要先验信息的情况直接从测量数据实现非线性动态系统的辨识；所述方法包括以下步骤：
步骤1：获取非线性动态系统的数据及预处理；以Lorenz非线性系统生成观测数据，如下式：
Figure FDA0002788057140000011
其中,σ：为普朗特数，ρ：为瑞利数，β：为系统参数；故由(1)式得到Lorenz系统中各个状态量x，y，z及各个状态量的微分值x’，y’，z’，并对状态量及其微分值进行归一化处理得到X＝(xnorm，ynorm，znorm)及其微分值X’＝(xnorm’，ynorm’，znorm’)；
步骤2：由归一化处理后的状态量X中各列构造候选非线性状态项，以各个候选非线性状态项为列构建非线性状态函数字典Θ(X)，即将状态量X及其各个非线性项组合成为一个大型矩阵数据集Θ(X)，如下公式：
Figure FDA0002788057140000012
其中，
Figure FDA0002788057140000013
代表状态量X的二次非线性项；非线性状态函数字典Θ(X)用于找到表达及辨识非线性动态系统的各个非线性状态项；
步骤3：将非线性状态函数字典Θ(X)转换为张量，即将大小为m×144的非线性状态函数字典Θ(X)转化为m×12×12的张量并实现方阵化，接着将方阵化后的非线性状态函数张量进行张量扩展，即将m×12×12大小的张量数据进行数据复制，最终形成大小为m×24×24的张量；
步骤4：在大小为m×24×24的张量中任意取一半，得到大小为
Figure FDA0002788057140000021
的张量，将此部分张量数据和其所对应的输出微分值作为训练集训练卷积神经网络，即在训练集中的张量数据中每一片24×24的截面矩阵，共计
Figure FDA0002788057140000022
片，作为卷积神经网络的输入层信息输入卷积神经网络中，深度挖掘期望输出微分值与输入之间的内在回归关系；
步骤5：将剩下一半输入数据作为测试数据输入到卷积神经网络中，比较测试数据的卷积神经网络输出微分值与实际期望输出微分值，实现非线性动态系统的辨识。
CN201711034478.6A 2017-10-30 2017-10-30 基于卷积神经网络和数据驱动的非线性动态系统辨识方法 Active CN107908595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711034478.6A CN107908595B (zh) 2017-10-30 2017-10-30 基于卷积神经网络和数据驱动的非线性动态系统辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711034478.6A CN107908595B (zh) 2017-10-30 2017-10-30 基于卷积神经网络和数据驱动的非线性动态系统辨识方法

Publications (2)

Publication Number Publication Date
CN107908595A CN107908595A (zh) 2018-04-13
CN107908595B true CN107908595B (zh) 2021-02-23

Family

ID=61842106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711034478.6A Active CN107908595B (zh) 2017-10-30 2017-10-30 基于卷积神经网络和数据驱动的非线性动态系统辨识方法

Country Status (1)

Country Link
CN (1) CN107908595B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969438A (zh) * 2012-12-18 2015-10-07 核科学股份有限公司 用于在无线功率传输系统中检测物体的非线性系统辨识
CN105404609A (zh) * 2015-10-21 2016-03-16 中国人民解放军军事医学科学院卫生装备研究所 一种新型多目标动力系统参数辨识方法
CN106950830A (zh) * 2017-03-01 2017-07-14 清华大学 一种辨识含饱和非线性系统的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969438A (zh) * 2012-12-18 2015-10-07 核科学股份有限公司 用于在无线功率传输系统中检测物体的非线性系统辨识
CN105404609A (zh) * 2015-10-21 2016-03-16 中国人民解放军军事医学科学院卫生装备研究所 一种新型多目标动力系统参数辨识方法
CN106950830A (zh) * 2017-03-01 2017-07-14 清华大学 一种辨识含饱和非线性系统的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Gradient Learning With Applications;Yunlong Feng et al.;《IEEE Transactions on Neural Networks and Learning Systems》;20160430;第27卷(第4期);第822-835页 *
高速列车非线性模型的极大似然辨识;衷路生 等;《自动化学报》;20141231;第40卷(第12期);第2950-2976页 *

Also Published As

Publication number Publication date
CN107908595A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
Anitescu et al. Artificial neural network methods for the solution of second order boundary value problems
Jagtap et al. Locally adaptive activation functions with slope recovery for deep and physics-informed neural networks
Lim Reservoir properties determination using fuzzy logic and neural networks from well data in offshore Korea
Pawar et al. Data assimilation empowered neural network parametrizations for subgrid processes in geophysical flows
CN112396191B (zh) 一种基于联邦学习进行模型参数更新的方法、系统及装置
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
Ramirez et al. Prediction of PVT properties in crude oil using machine learning techniques MLT
CN108090229A (zh) 一种基于卷积神经网络确定评分矩阵的方法和装置
Yang et al. A novel intelligent fault diagnosis method of rolling bearings with small samples
US20190034802A1 (en) Dimensionality reduction in Bayesian Optimization using Stacked Autoencoders
Mojgani et al. Lagrangian pinns: A causality-conforming solution to failure modes of physics-informed neural networks
CN107563430A (zh) 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法
Hrafnkelsson et al. Max-and-smooth: A two-step approach for approximate Bayesian inference in latent Gaussian models
US20230419143A1 (en) Systems and methods for simulation of quantum circuits using extracted hamiltonians
CN109002794A (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
Loaiza-Maya et al. Variational Bayes estimation of discrete-margined copula models with application to time series
CN113283524A (zh) 一种基于对抗攻击的深度神经网络近似模型分析方法
CN113392871A (zh) 一种基于散射机制多通道扩张卷积神经网络的极化sar地物分类方法
CN106227767A (zh) 一种基于领域相关性自适应的协同过滤方法
Yang et al. A study on software reliability prediction based on support vector machines
Li et al. Soil seismic response modeling of KiK-net downhole array sites with CNN and LSTM networks
Duan et al. Non-intrusive data-driven reduced-order modeling for time-dependent parametrized problems
CN107609604A (zh) 一种基于l1范数的二维概率线性判别分析的图像识别方法
Rumsey et al. Dealing with measurement uncertainties as nuisance parameters in Bayesian model calibration
Zhu et al. Least square support vector machine for structural reliability analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant