CN112596391A - 一种基于数据驱动的深度神经网络大时滞系统动态建模方法 - Google Patents
一种基于数据驱动的深度神经网络大时滞系统动态建模方法 Download PDFInfo
- Publication number
- CN112596391A CN112596391A CN202011549476.2A CN202011549476A CN112596391A CN 112596391 A CN112596391 A CN 112596391A CN 202011549476 A CN202011549476 A CN 202011549476A CN 112596391 A CN112596391 A CN 112596391A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- modeling method
- lag system
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 abstract description 3
- 238000000465 moulding Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000005094 computer simulation Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于数据驱动的深度神经网络大时滞系统动态建模方法，其中主要涉及数据预处理方法与新型深度神经网络建模技术。本发明针对在成型控制和工业制造中常见的大时滞系统中出现的建模难度大、强耦合、多干扰等问题，公开了一种基于深度神经网络的大时滞系统建模方法。在数据预处理过程中考虑了系统响应大时滞特性，并对深度神经网络算法权值更新精度差、速度慢的缺点进行优化，增强了其泛化能力。本发明能有效地解决大时滞系统机理模型难以建立的问题，所得到的深度网络模型也具有很好的泛化性能。
Description
技术领域
本发明属于非线性系统建模技术领域，更为具体地讲，涉及一种基于数据驱动的深度神经网络大时滞系统动态建模方法。
背景技术
非线性大时滞系统普遍存在于现在的大多数许多工业过程中。由于该系统时延时间长，输入输出多，易受干扰影响，内部结构复杂难以分析等特点，对大时滞系统的的建模辨识与控制问题受到了广泛的关注。
对系统建模方法的选择直接影响到系统建模的准确性与可靠性。如今，已有很多非线性建模方法如最小二乘估计，局部动态线性化等已被广泛应用于各种工业场合。随着机器学习的发展，诸如支持向量机，核心向量机等机器学习方法也被应用于非线性系统建模。随着神经网络理论的发展，深度神经网络因其具有深度挖掘数据特征的能力，解耦性能好，泛化能力强等特点，逐渐在非线性复杂系统建模场合崭露头角。然而，神经网络在权值寻优过程中容易遇到权值更新慢、效率低的问题，因此选择合适的寻优算法对神经网络的训练具有重要意义。
而针对系统大时滞特点，对输入数据预处理就显得十分关键。在原始数据中如何选择合适的变量子集作为回归建模的输入非常重要，变量选择的算法也十分繁杂。为高效选择最优数据子集，有学者提出了如序列前向搜索、序列后向搜索、逐步回归法等贪婪搜索策略。但上述方法计算量很大，并易使建模产生过拟合风险。其他选择方法诸如决策树、压缩系数法等嵌入式选择方法则在变量选择与训练模型同时进行，而基于相关系数、欧氏距离、贝叶斯信息准则等过滤式选择方法则独立于模型训练过程。数据预处理、变量选择是建模过程中必不可少的关键环节，因此需要选择合适的选择方法以便后续工作能顺利进行。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于数据驱动的深度神经网络大时滞系统动态建模方法，以解决神经网络在权值寻优过程中容易遇到权值更新慢、效率低的问题。
为实现上述目的，本发明基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于，包括如下步骤：
步骤1：通过机理分析进行多输入数据进行相关变量分析，排除不相关输入；
步骤2：通过相关系数分析与时滞相关数据特征，将处理后的特征作为神经网络输入；
步骤3：对动态深度神经网络权重进行更新；
步骤4：将处理好的数据集带入深度神经网络训练，得到该系统模型；
所述基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于：将系统的较多输入先按照机理分类，再采取包括但不限于采用弹性约束估计，岭估计及自适应绝对约束估计(LASSO)算法等筛选最优子集，以确定基础数据集；
所述基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于：将筛选完的数据进行相关性分析，包括但不限于Pearson系数、Spearman系数、Kendall系数等相关系数算法，再根据设定好的相关性阈值筛选数据集作为深度神经网络的输入；
所述基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于：在深度神经网络训练中使用动态进化算法对误差函数进行寻优，进而更新神经网络前向传播的权重值；
所述基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于：将时滞相关性分析后筛选出的数据集作为训练集，对上步所述深度神经网络进行训练，以得到该系统的深度神经网络模型。
本发明的目的是这样实现的：
本发明基于数据驱动的深度神经网络大时滞系统动态建模方法，其中主要涉及数据预处理方法与新型深度神经网络建模技术。本发明针对在化工、机械等工业制造过程中常见的大时滞系统中出现的建模难度大、强耦合、多干扰等问题，公开了一种基于深度神经网络的大时滞系统建模方法。在数据预处理过程中考虑了系统响应大时滞特性，并对深度神经网络算法权值更新精度差、速度慢的缺点进行优化，增强了其泛化能力。本发明能有效地解决大时滞系统机理模型难以建立的问题，所得到的深度网络模型也具有很好的泛化性能。
附图说明
图1是本发明基于数据驱动的深度神经网络大时滞系统动态建模方法流程图；
图2是本发明基于数据驱动的深度神经网络大时滞系统动态建模方法一种具体实施方式流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
大时滞系统为多输入系统时，先用机理分析对多个输入数据进行分析，预选影响系统输出的相关输入数据。但在考虑到系统工况，外界干扰等各种因素的影响，使用自适应LASSO算法对预选后的输入数据进行再筛选。
自适应LASSO算法如下式：
其中
γ＞0。由上式可知λ作为估计参数大小惩罚项的权重值是时变自适应的，而非一般LASSO算法中选择常数作为惩罚项权值。
在对变量进行自适应LASSO分类之后，根据贝叶斯信息准则(BIC)筛选无关变量并将其从输入中筛除。BIC公式如下所示，其中k代表所建立模型参数个数，L为似然函数最大值：
BIC＝k ln(n)-2 ln(L)
通过斯皮尔曼相关性系数对剩余数据分析其与时滞的相关性，并设置相关性阈值去掉相关性系数峰值在设定阈值之下的输入数据，最后选择相关性系数阈值之上数据集作为神经网络的输入值。
在所述深度神经网络建模过程中，对前向通道权重采用动态进化算法进行更新。相比静态算法中使用设定好的时间常数值进行计算，动态算法在设计优化目标公式与适应函数时，每建立一个新的深度神经网络分配方案时，就对其进行一次运行并获得其运行时间，再带入优化目标公式与适应函数中进行动态更新。本发明流程图如图1、2所示。
优化目标公式如下式：
f＝min max(t1,t2,...,tm)
其中优化函数f的目标是尽可能减小深度神经网络中需要计算时间最大的模型执行时间。在对获得的运行时间进行收集后，采用上述公式修改某些不可行解，并进行惩罚后得到适应度值。
将筛选处理好的数据作为训练集带入上述深度神经网络模型进行训练，判断是否达到终止条件，最终得到该大时滞系统的深度神经网络模型。
本发明涉及大时滞系统的一种深度神经网络建模技术，其中主要涉及数据预处理方法与新型深度神经网络建模技术。本发明针对在成型控制和工业制造过程中常见的大时滞系统中出现的建模难度大、强耦合、多干扰等问题，提出了一种基于深度神经网络的大时滞系统建模方法。在数据预处理过程中考虑了系统响应大时滞特性，并对深度神经网络算法权值更新精度差、速度慢的缺点进行优化，增强了其泛化能力。本发明能有效地解决大时滞系统机理模型难以建立的问题，所得到的深度网络模型也具有很好的泛化性能。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于数据驱动的深度神经网络大时滞系统动态建模方法，其特征在于，包括如下步骤：
步骤1：通过机理分析进行多输入数据进行相关变量分析，排除不相关输入；
步骤2：通过相关系数分析与时滞相关数据特征，将处理后的特征作为神经网络输入；
步骤3：对动态深度神经网络权重进行更新；
步骤4：将处理好的数据集带入深度神经网络训练，得到该系统模型。
2.根据权利要求1所述基于深度神经网络的大时滞系统动态建模方法，其特征在于：步骤1所述采取分类方法，包括但不限于采用弹性约束估计，岭估计及自适应绝对约束估计(LASSO)算法等，将系统的较多输入先按照机理分类，筛选最优子集，以确定基础数据集。
3.根据权利要求1所述基于深度神经网络的大时滞系统动态建模方法，其特征在于：步骤2所述将筛选完的数据进行相关性分析，包括但不限于Pearson系数、Spearman系数、Kendall系数等相关系数算法，再根据设定好的相关性阈值筛选数据集作为深度神经网络的输入。
4.根据权利要求1所述基于深度神经网络的大时滞系统动态建模方法，其特征在于：步骤3所述在深度神经网络训练中使用新型动态进化算法对误差函数进行寻优，进而更新神经网络前向传播的权重值。
5.根据权利要求1所述基于深度神经网络的大时滞系统动态建模方法，其特征在于：步骤4所述将步骤2筛选出的数据集作为训练集，对步骤5所述深度神经网络进行训练，以得到该系统的深度神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549476.2A CN112596391B (zh) | 2020-12-24 | 2020-12-24 | 一种基于数据驱动的深度神经网络大时滞系统动态建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549476.2A CN112596391B (zh) | 2020-12-24 | 2020-12-24 | 一种基于数据驱动的深度神经网络大时滞系统动态建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112596391A true CN112596391A (zh) | 2021-04-02 |
| CN112596391B CN112596391B (zh) | 2022-08-02 |
Family
ID=75200872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011549476.2A Expired - Fee Related CN112596391B (zh) | 2020-12-24 | 2020-12-24 | 一种基于数据驱动的深度神经网络大时滞系统动态建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112596391B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126493A (zh) * | 2021-04-14 | 2021-07-16 | 西北工业大学 | 基于数据筛选估计的严格反馈系统有限时间跟踪自适应控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840362A (zh) * | 2019-01-16 | 2019-06-04 | 昆明理工大学 | 一种基于多目标优化的集成即时学习工业过程软测量建模方法 |
| CN109920489A (zh) * | 2019-01-16 | 2019-06-21 | 浙江大学 | 一种基于Lasso-CCF-CNN的加氢裂化模型及建立方法 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
| CN110991756A (zh) * | 2019-12-09 | 2020-04-10 | 北京工业大学 | 基于ts模糊神经网络的mswi炉膛温度预测方法 |
| CN111091233A (zh) * | 2019-11-26 | 2020-05-01 | 江苏科技大学 | 一种基于小波分析和多模型AdaBoost深度网络的风电场短期风电预测建模方法 |
| CN111275253A (zh) * | 2020-01-15 | 2020-06-12 | 中国地质大学（武汉） | 融合深度学习和误差校正的径流概率性预测方法及系统 |
-
2020
- 2020-12-24 CN CN202011549476.2A patent/CN112596391B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840362A (zh) * | 2019-01-16 | 2019-06-04 | 昆明理工大学 | 一种基于多目标优化的集成即时学习工业过程软测量建模方法 |
| CN109920489A (zh) * | 2019-01-16 | 2019-06-21 | 浙江大学 | 一种基于Lasso-CCF-CNN的加氢裂化模型及建立方法 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
| CN111091233A (zh) * | 2019-11-26 | 2020-05-01 | 江苏科技大学 | 一种基于小波分析和多模型AdaBoost深度网络的风电场短期风电预测建模方法 |
| CN110991756A (zh) * | 2019-12-09 | 2020-04-10 | 北京工业大学 | 基于ts模糊神经网络的mswi炉膛温度预测方法 |
| CN111275253A (zh) * | 2020-01-15 | 2020-06-12 | 中国地质大学（武汉） | 融合深度学习和误差校正的径流概率性预测方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126493A (zh) * | 2021-04-14 | 2021-07-16 | 西北工业大学 | 基于数据筛选估计的严格反馈系统有限时间跟踪自适应控制方法 |
| CN113126493B (zh) * | 2021-04-14 | 2023-03-07 | 西北工业大学 | 基于数据筛选估计的严格反馈系统有限时间跟踪自适应控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112596391B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069310A (zh) | 基于主动学习策略的文本分类方法及系统 | |
| CN111638707B (zh) | 基于som聚类和mpca的间歇过程故障监测方法 | |
| CN114678080B (zh) | 转炉终点磷含量预测模型及构建方法、磷含量预测方法 | |
| CN111258984B (zh) | 工业大数据环境下的产品质量端-边-云协同预报方法 | |
| CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
| CN117034175B (zh) | 一种基于通道融合自注意力机制的时序数据异常检测方法 | |
| CN112596391B (zh) | 一种基于数据驱动的深度神经网络大时滞系统动态建模方法 | |
| CN116700172A (zh) | 结合工业互联网的工业数据集成处理方法及系统 | |
| CN115828754A (zh) | 基于多尺度时空融合网络模型的刀具磨损状态监测方法 | |
| CN114841076A (zh) | 基于时空图模型的动力电池生产工艺波动异常检测方法 | |
| CN116226739A (zh) | 一种基于时空融合的图卷积网络工业过程故障诊断方法 | |
| CN117952439A (zh) | 道路施工环境影响智能预测方法及系统 | |
| CN112785080B (zh) | 一种基于水泥工业的实时动态水泥粉磨系统能耗优化方法 | |
| CN116894180A (zh) | 一种基于异构图注意力网络的产品制造质量预测方法 | |
| CN111949937A (zh) | 一种基于链式方程的分布式光伏数据多重插补方法 | |
| CN117117850A (zh) | 一种短期用电负荷预测方法及系统 | |
| CN111413931A (zh) | 一种基于滑动窗递推主元分析的自适应工业过程监测方法 | |
| CN115134024B (zh) | 一种基于二维经验模式分解的频谱预测方法 | |
| CN113297185A (zh) | 一种特征衍生方法及装置 | |
| CN113985831B (zh) | 一种工业控制系统状态机构建方法 | |
| CN113705624B (zh) | 一种用于工控系统的入侵检测方法和系统 | |
| CN116226758A (zh) | 一种基于改进粒子滤波和卷积网络的雕刻机异常检测方法 | |
| CN114926075A (zh) | 基于工时预测的机械零件生产调度方法 | |
| CN114372181A (zh) | 一种基于多模态数据的设备生产智能规划方法 | |
| CN114169100A (zh) | 一种超大变量叶轮机械高效设计优化方法及系统及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220802 |