CN108445752B - 一种自适应选择深度特征的随机权神经网络集成建模方法 - Google Patents

一种自适应选择深度特征的随机权神经网络集成建模方法 Download PDF

Info

Publication number
CN108445752B
CN108445752B CN201810174267.0A CN201810174267A CN108445752B CN 108445752 B CN108445752 B CN 108445752B CN 201810174267 A CN201810174267 A CN 201810174267A CN 108445752 B CN108445752 B CN 108445752B
Authority
CN
China
Prior art keywords
layer
output
model
integrated
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810174267.0A
Other languages
English (en)
Other versions
CN108445752A (zh
Inventor
汤健
乔俊飞
韩红桂
李晓理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810174267.0A priority Critical patent/CN108445752B/zh
Publication of CN108445752A publication Critical patent/CN108445752A/zh
Application granted granted Critical
Publication of CN108445752B publication Critical patent/CN108445752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种自适应选择深度特征的随机权神经网络集成建模方法，首先，预设定深度特征层数和集成模型尺寸阈值为J和Jthresh；接着，构建以易检测过程变量为输入和输出的神经网络自编码器并提取第1层特征，建立以易检测过程变量为输入和难检测过程参数为输出的第1个候选子模型；然后，构建以第1层特征为输入和输出的神经网络自编码器并提取获得第2层特征，建立以第1层特征为输入和难检测过程参数为输出的第2个候选子模型；重复上述过程，直到获得第J层特征和第J个候选子模型；最后，基于全部J个候选子模型，耦合分支定界优化算法和模型加权算法获取集成尺寸为2～Jthresh的全部选择性集成模型，并将预测误差最小的作为最终的难检测过程参数预测模型。

Description

一种自适应选择深度特征的随机权神经网络集成建模方法
技术领域
本发明属于工业控制技术领域，尤其涉及一种自适应选择深度特征的随机权神经网络集成建模方法。
背景技术
连续实时地检测与生产质量、效率及安全密切相关的关键过程参数对有效工业过程实施运行优化与控制策略至关重要。受限于工业过程的综合复杂特性和众多因素的强耦合性，某些关键过程参数值的难以在线检测和机理建模。目前主要依靠优秀领域专家凭经验估计或人工定时采样、实验室离线化验或检测的方法取得这些参数值，存在依赖性大、准确度低、检测滞后、耗时等缺点，成为制约复杂工业过程节能降耗、绿色化生产的主要因素之一。基于离线的易检测过程变量构建难检测过程参数的预测模型是一种行之有效的解决方法[1]。
针对工业过程中的易检测过程变量间的共线性和非线性问题，特征提取和特征选择技术是基于不同机理的两种处理策略。特征选择是选择最重要的某些相关特征，未被选择的特征可能会降低估计模型的泛化性能[2]。特征提取是采用线性或是非线性的方式确定合适的低维潜在特征替代原始高维特征，如主成分分析(PCA)[3]和潜变量映射(PLS)[4]及其核版本，但这些方法难以提取易检测过程变量所蕴含的深层次特征。理论上，深度学习可充分模拟人类大脑的神经连接结构，通过组合低层特征可实现数据的分层特征表示[5]。近年来，基于生物大脑认知图像机理设计的卷积神经网络在视频图像识别领域成功应用[6,7]。针对难以获取足够有标签数据的工业过程，文献[8]认为深度神经网络可作为潜变量模型描述过程变量间的高相关性，也可对工业过程的大量无标签数据进行无监督特征提取，文献[9]提出基于受限玻尔兹曼机的深度特征构建软测量模型。文献[10]提出多尺度深度特征提取方法，文献[11]提出处理不确定性信息的深度学习算法，文献[12]提出同时考虑高层次和低层次特征的部分跨接神经网络用于人脸性别分类，文献[13]提出基于全层次深度特征的全跨接深度网络，文献[14]提出进行同层单元连接的深度信念网络模型提取图像特征；以上文献对如何使深度特征能够蕴含建模对象的内在机理，如何自适应确定深度层次和深度特征数量未做深入探讨。文献[15]综述了面向时间序列建模的非监督特征学习和深度学习，文献[16]综述了深度学习在控制领域的应用研究现状，指出其在深度特征提取方向上具有突出的潜力和优势。但是，以上这些深度学习策略均需要多次精调隐含层的众多学习参数，导致训练过程繁琐和耗时。随机权神经网络(RWNN)是一类具有快速学习速度和较好泛化能力的单隐层神经网络[17,18,19]，其特点是对随机产生的隐含层输入权重和偏置不进行调整，只是对输出权重采用最小二乘算法进行调节。研究表明，基于自编码的深度网络可提取原始建模数据所蕴含的有价值深度特征[20]。文献[21]提出了基于RWNN自编码器进行逐层非监督学习的多层神经网络，具有快速提取非监督深度特征的特性。综上可知，如何自适应选择深度特征，即如何确定深度特征的层数，一直未有行之有效的方法。另外，理论上讲，不同层的深度特征在表征能力和可解释性方面也具有差异性。
研究表明，神经网络集成通过对具有差异性的候选子模型的预测结果进行合并，可提高预测模型的泛化性、有效性及可信度。选择性的集成部分子模型(这些被选择的候选子模型被称之为集成子模型)可得到比集成全部子模型更好的预测性能[22]。面向多源特征子集构造的候选子模型，在预设定加权方法的情况下，基于选择性集成(SEN)学习的建模过程可描述为一个类似于最优特征选择的优化问题[23]，同时也是一个选择性的多源信息优化融合问题[24]。显然，基于深度神经网络提取的多层深度特征可看作具有不同表征和解释能力的多个来源的特征。在给定预设定层数的情况下，基于选择性集成学习算法对这些深度特征进行选择性的优化融合，可实现深度特征的自适应选择。
不同层的深度特征在表征能力和解释性上具有差异性。如何自适应选择深度特征并快速构建具有较强泛化性能的难检测过程参数预测模型是目前研究的难点。
发明内容
本发明从模拟人类专家面对多源特征认知模型所采用的选择性优化融合机制的视角出发，提出了一种自适应选择深度特征的随机权神经网络集成建模方法。
为实现上述目的，本发明采用如下的技术方案：
本发明自适应选择深度特征的随机权神经网络集成建模方法。首先，进行工业过程易检测过程变量与难检测过程参数采集，预设定深度特征层数和集成模型尺寸阈值为J和Jthresh；接着，构建以易检测过程变量为输入和输出的神经网络自编码器并提取第1层特征，建立以易检测过程变量为输入和难检测过程参数为输出的第1个候选子模型；然后，构建以第1层特征为输入和输出的神经网络自编码器并提取获得第2层特征，建立以第1层特征为输入和难检测过程参数为输出的第2个候选子模型；重复上述过程，直到获得第J层特征和第J个候选子模型；最后，基于全部J个候选子模型，耦合分支定界优化算法和模型加权算法获取集成尺寸为2～Jthresh的全部选择性集成模型，并将预测误差最小的作为最终的难检测过程参数预测模型。该预测建模方法在本质上是对基于不同层深度特征的候选子模型进行选择与合并，是在预设定神经网络层数的情况下进行深度特征的自适应选择，适合于人类专家面对多源特征模型所采取的选择性融合机制。采用Benchmark数据验证了所提方法的有效性。
附图说明
图1为本发明自适应选择深度特征的随机权神经网络集成建模方法流程图。
图2难检测参数集成预测模型的建模过程；
图3不同N值与训练、验证和测试数据预测误差的关系；
图4不同J值与训练、验证和测试数据预测误差的关系；
图5a不同α值与训练、验证和测试数据预测误差的关系；
图5b不同1/λ值与训练、验证和测试数据预测误差的关系；
图6候选子模型运行40次的最大、平均和最小预测误差；
图7选择性集成模型运行40次的最大、平均和最小预测误差；
图8不同建模方法的训练数据预测曲线；
图9不同建模方法的验证数据预测曲线；
图10不同建模方法的测试数据预测曲线。
具体实施方式
本发明从模拟人类专家面对多源特征认知模型所采用的选择性优化融合机制的视角出发，提出了一种自适应选择深度特征的随机权神经网络集成建模方法。
随机权神经网络(RWNN)可表示为：
Figure GDA0003139023390000031
其中，β＝[β1,...,βn,...,βN]∈RN是输出层权重；N是隐含层节点数量；x∈RP是输入特征向量，P是输入特征的维数；w∈RP和b∈R是在范围[-α,α]间的隐含层输入权重和偏置。可见，β与N,α,w和b相关。
对于给定的训练数据集{X∈RK×P,Y∈RK×1},RWNN就是求解如下优化问题：
Figure GDA0003139023390000032
其中矩阵H称为隐含层映射，可用下式表示：
Figure GDA0003139023390000033
通过求解最小二乘问题，可得其解为：
Figure GDA0003139023390000034
其中
Figure GDA0003139023390000035
是矩阵H的广义逆。
采用正则化方式克服最小二乘的病态问题，公式(2)所示的优化问题变为：：
Figure GDA0003139023390000041
即:
Figure GDA0003139023390000042
其中，xk表示第k个样本；λ>0，表示正则化参数。
上式的解为：
Figure GDA0003139023390000043
神经网络选择性集成建模
对于给定的训练数据集{X∈RK×P,Y∈RK×1},J个集成子模型的输出可表示为：
Figure GDA0003139023390000044
其中,αj是第j个集成子模型的权重系数。
集成子模型和集成模型的学习误差采用下式计算：
Figure GDA0003139023390000045
Figure GDA0003139023390000046
定义函数fj(xk)偏离真值的偏差为偏差函数，记mj(xk)≡yk-fj(xk)，平均均方误差(MSE)可写为
Figure GDA0003139023390000047
因此，公式(8)可重新改写为:
Figure GDA0003139023390000048
定义集成子模型误差函数之间的对称相关系数矩阵Cjs≡E[mj(x)ms(x)]，其中s＝1,...,J。通过最小化目标函数
Figure GDA0003139023390000049
可以求得αj，即,
Figure GDA00031390233900000410
通过简化约束∑αj＝1，采用拉格朗日乘子法求解上式；将优化获得的权重向量αopt中的第j*个权重值记为
Figure GDA0003139023390000059
其计算过程需要求解误差函数相关系数矩阵的逆。针对具体的工业过程建模数据，因不同集成子模型之间的存在相关性，求逆的过程通常不稳定。
基于遗产算法的选择性集成(SEN)策略避免了上述问题：首先通过演化候选子模型的随机权重获得优化的子模型权重，然后再通过预先设定的阈值确定优选的集成子模型，最后通过简单平均加权合并所选择的集成子模型。其最终的选择性集成模型的输出为：
Figure GDA0003139023390000051
其中，
Figure GDA0003139023390000052
表示所选择的第j个集成子模型；2≤Jsel≤J，Jsel是选择性集成模型的尺寸，可依据工业实际情况进行选取。
由上可知，上述建模策略未考虑不同集成子模型的贡献；同时，针对具体工业问题，尤其是面对不同来源特征子集所构建的集成子模型时，进行优化的选择性信息融合更符合实际情景。
如图1所示，本发明的自适应选择深度特征的随机权神经网络集成建模方法，包括以下步骤：
步骤1、非监督深度特征提取
构建基于RWNN的自编码器，进行深度特征的非监督提取，简化特征提取过程；具体为：
为表述方便，下文对不同的隐含层映射和深度特征采用相同的隐含层神经网络节点数量进行表述，对自编码器的输出权重采用相同的正则化参数进行表述。对不同隐含层的随机输入权重和偏置也采用相同的字符进行表示。在实际应用中，应依据实际情况而取为不同的值。
在实际复杂工业过程中，工业自动化系统所采集易检测过程变量样本数量K通常都较大。因此，针对公式(1)所描述的RWNN网络，构建以易检测过程变量为输入和输出的第1层自编码器，由公式(7)可知其输出权重为：
Figure GDA0003139023390000053
其中，
Figure GDA0003139023390000054
表示基于随机输入权重和偏置的第1个隐含层映射矩阵，可表示为：
Figure GDA0003139023390000055
其中，
Figure GDA0003139023390000056
表示第1个隐含层映射矩阵的第n个节点。
进一步，提取得到易检测过程变量的第1层非监督特征：
Figure GDA0003139023390000057
采用相同的方法，构建以易检测过程变量的第1层特征为输入和输出的自编码器，所提取的第2层非监督特征为：
Figure GDA0003139023390000058
其中，
Figure GDA0003139023390000061
Figure GDA0003139023390000062
其中，公式(17)、(18)、(19)中各符号的含义同公式(16)、(14)、(15)相同，只是采用上标或下标“2”表示对应于第2层特征的相应矩阵或变量。
类似的，以易检测过程变量的第j-1层特征为输入和输出构建自编码器，所提取的第j层非监督特征为：
Figure GDA0003139023390000063
其中，
Figure GDA0003139023390000064
Figure GDA0003139023390000065
由上可知，所提取的第J层非监督特征为：
Figure GDA0003139023390000066
其中，
Figure GDA0003139023390000067
Figure GDA0003139023390000068
综合上述过程，可实现对易检测过程变量的不同层深度特征的非监督提取。
步骤2、深度特征候选子模型构建
构建基于不同层深度特征的RWNN候选子模型。理论上，这些基于不同表征能力的深度特征候选子模型具有不同的预测性能。因此，将它们看作为基于多源特征的候选子模型，具体为；
理论上，不同层深度特征在表征能力和可解释性上存在差异性。为表述方便，与提取非监督特征的过程类似，下文对不同的隐含层映射采用相同的神经网络节点数量进行表述，对候选子模型输出权重采用相同的正则化参数进行表述。
首先构建以易检测过程变量为输入和难检测过程参数为输出的第1个候选子模型。基于公式(7)和公式(15)，第1个候选子模型的输出可表示为：
Figure GDA0003139023390000069
其中，
Figure GDA00031390233900000610
表示第1个候选子模型的输出权重，采用下式计算：
Figure GDA0003139023390000071
类似，构建以第1层特征为输入和难检测过程参数为输出的第2个候选子模型，其输出可表示为：
Figure GDA0003139023390000072
其中，
Figure GDA0003139023390000073
表示第2个候选子模型的输出权重，采用下式计算：
Figure GDA0003139023390000074
其中，公式(28)、(29)中各符号的含义同公式(26)、(27)相同，只是采用上标或下标“2”表示对应于第2个候选子模型的相应矩阵或变量。
再然后，重复上述过程，第j个候选子模型的输出可表示为：
Figure GDA0003139023390000075
其中，
Figure GDA0003139023390000076
最后，建立以J-1层特征为输入和难检测过程参数为输出的第J个候选子模型，其输出为：
Figure GDA0003139023390000077
其中，
Figure GDA0003139023390000078
综合上述过程，实现了基于不同层非监督深度特征的候选子模型的构建。
步骤3、预测模型构建
对候选子模型进行选择和融合，获得具有最佳预测性能的选择性集成模型，将其作为最终的难检测过程参数预测模型，具体为：
本发明中预测建模的目标是通过有效地合并多个基于不同层深度特征的候选模型提高难检测过程参数预测模型的泛化性能，主要策略是：先采用选择性集成学习策略得到具有不同集成尺寸的多个选择性集成模型，再以其中预测性能最佳的作为最终的预测模型。
将J个基于不同层深度特征的候选子模型的集合SCan表示为：
Figure GDA0003139023390000079
将基于集成尺寸Jsel的选择性集成模型
Figure GDA00031390233900000710
的全部集成子模型
Figure GDA00031390233900000711
表示为：
Figure GDA0003139023390000081
其中，jsel＝1,2,…,Jsel，Jsel表示选择性集成模型的集成尺寸，即所选择的集成子模型数量。
可知，集成子模型和候选子模型间的关系可表示为
Figure GDA0003139023390000082
且Jsel≤Jthresh，Jthresh<J。Jthresh为依据经验和工业实际所设定的集成尺寸阈值。
首先预先选定集成子模型的加权算法，基于该算法可以获得集成子模型的加权系数。为便于表述，此处以自适应加权算法(AWF)为例进行说明，利用下式计算权系数，
Figure GDA0003139023390000083
其中，
Figure GDA0003139023390000084
Figure GDA0003139023390000085
是第jsel个集成子模型所对应的加权系数；
Figure GDA0003139023390000086
为第jsel个集成子模型输出值
Figure GDA0003139023390000087
的标准差。
将上述集成尺寸为Jsel的选择性集成模型的均方根误差(RMSE)表示为：
Figure GDA0003139023390000088
其中，K为样本个数；yk为第k个样本的真值；
Figure GDA0003139023390000089
为集成尺寸为Jsel的选择性集成模型对第k个样本的预测值；
Figure GDA00031390233900000810
为第jsel个集成子模型对第k个样本的预测值。
考虑工业实际，建立集成尺寸为Jsel的选择性集成模型的过程需要确定集成子模型数量、集成子模型及其加权系数
Figure GDA00031390233900000811
公式(37)可进一步表述为如下优化问题：
Figure GDA00031390233900000812
其中，θth是为保证求最大化极值问题所设定的阈值。
由于事先未知集成子模型及其数量(集成尺寸)，并且子模型的加权系数需要在集成子模型确定后才能通过加权算法获得的，此处将公式(38)的复杂优化问题进行分解和简化。
(1)首先，给定集成子模型数量为Jsel，采用BB组合优化算法选择集成子模型并同时计算加权系数，计算得的集成尺寸为Jsel的选择性集成模型的输出
Figure GDA00031390233900000813
可用下式表示：
Figure GDA00031390233900000814
其中，
Figure GDA0003139023390000091
(2)接着，考虑到Jsel的取值范围在2和阈值Jthresh之间，重复上述构建集成尺寸为Jsel的选择性集成模型的过程Jthresh-1次，得到的全部选择性集成模型可表示为
Figure GDA0003139023390000092
(3)最后，选择这些选择性集成模型中预测性能最佳的作为最终的难以检测参数预测模型，可用如下公式表示：
Figure GDA0003139023390000093
其中，
Figure GDA0003139023390000094
分别表示最后优选的集成子模型、集成子模型的预测输出及权重系数。
上述预测模型构建过程如图2所示。
由上述过程可知，所提方法实现了预设定神经网络层次情况下的深度特征自适应选择。
实验验证
采用Benchmark平台的Boston Housing数据集验证本发明所提方法。该数据集由506个样本、13个输入特征组成。将数据分为三份，其中训练和验证数据集的大小为270和135，测试数据集的样本大小为135，测试数据依据训练和验证数据进行极值化处理，范围为0.1～0.9。
考虑到随机性，采用运行20次的平均结果作为选择模型学习参数的依据。首先，将输入权重和偏置的范围α选择为＝1，神经网络的层数为J＝10层，正则化参数选择为1/λ＝1e-8，对隐含层节点数量N进行选择。采用不同的N值时，训练、验证和测试数据的RMSE曲线如图3所示。
依据上述曲线，选择N值；然后依次选择神经网络的层数J，然后再选择输入权重和偏置的范围α，最后选择正则化参数λ。这些不同的学习参数与预测误差的关系如图4、图5a、图5b所示。
基于上述运行结果，基于验证数据集的预测误差最终确定的学习参数为：α＝0.01，J＝28，N＝50，1/λ＝1e-12。采用上述学习参数运行40次，对全部深度特征候选子模型及最终预测模型的结果进行统计分析。图6给出了全部特征候选子模型在训练、验证和测试数据集上运行40次的最大、平均和最小预测误差。
图6表明，针对不同层深度特征所构建的子模型：(1)平均预测误差上的波动范围较小，并且无明显趋势；(2)最小误差上的波动范围较平均误差大，并且在验证数据上随着特征深度的增加呈现总体下降的趋势；(3)最大误差具有最大的波动范围，并且在训练、验证和测试数据集上都呈现出随着深度增加而总体下降的趋势。上述结果表明了深度特征逐层提取的有效性。
此处，将集成尺寸的阈值Jthresh设定为10。基于上述基于非监督提取的深度特征构建集成尺寸为2～10的选择性集成模型。运行40次在不同数据集上的预测误差如图7所示。
图7表明，针对具有不同集成尺寸的选择性集成模型：(1)平均预测误差在训练和测试数据集上随着集成尺寸的增加呈现下降趋势，验证数据集则变化平缓，并且在集成尺寸为4的时候具有最佳值；(2)最小预测误差在不同的数据集上呈现出不同的形式，在训练数据上主要是缓慢下降，在验证数据集上则是先上升再下降，在测试数据集上则是呈现先上升再下降的趋势，这些表明需要更多数据和更大的集成尺寸对本发明所提方法进行验证；(3)最大预测误差的在三个数据集上都是呈现下降趋势，在验证数据上的下降速率稍低，说明在总体上最大测试误差还是随着集成尺寸的增大而降低，这与集成学习的理论相符合。另外，考虑到本发明学习参数的选择基于验证数据集对每个学习参数进行单独选择，并且不同隐含层采用的是相同的节点个数，这些因素限制了所提方法在预测性能上的提升。
为了比较不同建模方法，此处将预测性能最好的单层深度特征模型(Sub)、集成全部深度特征候选子模型的预测模型(Ensub)和采用本发明所提自适应确定深度特征方法建立的预测模型(SEN)的在训练、验证和测试数据集上运行40次，其统计结果如表1所示。
表1不同预测模型在训练、验证和测试数据集上的统计结果
Figure GDA0003139023390000101
由表1可知：(1)针对最小预测误差，本发明所提方法在训练、验证和测试数据集上均具有最佳性能，分别是1.000、3.628和3.158，表明通过选择性集成基于不同深度特征的候选子模型，可以获得性能最佳的预测模型；(2)针对最大预测误差，在训练数据集上是Ensub性能最佳(3.048)，在验证数据集是本发明所提SEN性能最佳(4.320)，在测试数据集上，则是Sub性能最佳(4.578)，具有差异性。由于是采用验证数据集选择的学习参数，其在本发明所提方法上具有最佳性能是合理的；(3)针对平均预测误差，在训练和测试数据集上均是Ensub具有最佳性能(2.559和3.696)，在验证数据集是本发明所提SEN性能最佳(3.994)，依次是Sub和Ensub。上述结果表明，集成尺寸还需要适当增加。
基于训练、测试和验证数据的预测曲线如图8-10所示。
上述结果表明本发明所提方法是有效和可行的。
本发明提出了一种自适应选择深度特征的随机权神经网络集成建模方法，其主要创新点是：对基于不同层深度特征的候选子模型进行的选择性集成学习，是在预设定神经网络层数的情况下进行深度特征的自适应选择，适合于人类专家对多源特征模型的选择性信息融合机制。采用Benchmark数据验证了所提方法的有效性。
参考文献
[1]Kadlec P,Gabrys B,Strand S.Data-driven soft-sensors in the processindustry[J].Computers and Chemical Engineering,2009,33(4):795-814.
[2]Lázaro J.M.B.D.,Moreno A.P.,Santiago O.L.,and NetoA.J.D.S.Optimizing kernel methods to reduce dimensionality in fault diagnosisof industrial systems[J].Computers&Industrial Engineering,2015,87(C):140-149.
[3]Tang J.,Chai T.Y.,Zhao L.J.,Yu W.,and Yue H.Soft sensor forparameters of mill load based on multi-spectral segments PLS sub-models andon-line adaptive weighted fusion algorithm[J].Neurocomputing,2012,78(1):38-47.
[4]Charanpal D.,Gunn S.R.,and John S.T.Efficient sparse kernelfeature extraction based on partial least squares[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2009,31(8):1347-1361.
[5]尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015,1:48-59.
[6]Hinton,G.E.:A fast learning algorithm for deep belief nets[J],Neural Computation,2006,18:1527-1554.
[7]Schmidhuber J.Deep Learning in Neural Networks:An Overview[J].Neural Networks the Official Journal of the International Neural NetworkSociety,2014,61:85-117.
[8]Shang C,Yang F,Huang D,et al.Data-driven soft sensor developmentbased on deep learning technique[J].Journal of Process Control,2014,24(3):223-233.
[9]王宇红,狄克松,张姗,等.基于DBN-ELM的聚丙烯熔融指数的软测量[J].化工学报,2016,67(12):5163-5168.
[10]任荣荣,周明全,耿国华,等.基于深度神经网络的多尺度特征提取方法[J].西北大学学报:自然科学版,2017,47(2):215-221.
[11]Chen C.L.Philip,Zhang Chun-Yang,Chen Long,Gan Min.FuzzyRestricted Boltzmann Machine for the Enhancement of Deep Learning[J].IEEETRANSACTIONS ON FUZZY SYSTEMS.2015,23(6):2163-2173.
[12]张婷,李玉鑑,胡海鹤,等.基于跨连卷积神经网络的性别分类模型[J].自动化学报,2016,42(6):858-865.
[13]Huang G,Liu Z,Weinberger K Q,et al.Densely ConnectedConvolutional Networks[J].2016.arXiv:1608.06993
[14]耿志强,张怡康.一种基于胶质细胞链的改进深度信念网络模型[J].自动化学报,2016,42(6):943-952.
[15]
Figure GDA0003139023390000111
Martin,L.Karlsson,and A.Loutfi.A review of unsupervisedfeature learning and deep learning for time-series modeling[J].PatternRecognition Letters,2014,42(1):11-24.
[16]段艳杰,吕宜生,张杰,赵学亮,王飞跃.深度学习在控制领域的研究现状与展望.自动化学报,2016,42(5):643-654
[17]Pao,Y.H.,Takefuji,Y.Functional-link net computing,theory,systemarchitecture,and functionalities[J].IEEE Comput.,1992,25(5):76-79.
[18]Igelnik,B.,Pao,Y.H.Stochastic choice of basis functions inadaptive function approximation and the functional-link net[J].IEEETrans.Neural Network,1995,6(6):1320-1329.
[19]Comminiello D.,Scarpiniti M.,Azpicueta-Ruiz L.A.,Arenas-GarciaJ.,Uncini A.Functional link adaptive filters for nonlinear acoustic echocancellation[J].IEEE Trans.Audio Speech Lang.Process.2013,21(7):1502-1512.
[20]Vinent,H.,Larochelle,H.,Lajoie,I.,Bengio,Y.,Manzagol,P.A.Stackeddenoising autoendcoders:Learning useful representations in a deep networkwith a local denoising criterion[J].The journal of Machine Learning Research,2010,11:3371-3408.
[21]Kasun,L.L.C.,Zhou,.H.Representational learning with extremelearning machine for big data,IEEE Intelligent system,2013,28(6):31-34.
[22]Zhou Z H,Wu J,Tang W.Ensembling neural networks:many could bebetter than all[J].
Artificial Intelligence,2002,137(1-2):239-263
[23]Jian Tang,Tianyou Chai,Wen Yu,Lijie Zhao,Modeling load parametersof ball mill in grinding process based on selective ensemble multisensorinformation[J],IEEE Transaction on Automation Science and Engineering,2013,10(3):726-740.
[24]汤健,田福庆,贾美英,李东.基于频谱数据驱动的旋转机械设备负荷软测量[M],国防工业出版社，北京，2015年6月。

Claims (2)

1.一种自适应选择深度特征的随机权神经网络集成建模方法，其特征在于，包括：首先，进行工业过程易检测过程变量与难检测过程参数采集，预设定深度特征层数和集成模型尺寸阈值为J和Jthresh；接着，构建以易检测过程变量为输入和输出的神经网络自编码器并提取第1层特征，建立以易检测过程变量为输入和难检测过程参数为输出的第1个候选子模型；然后，构建以第1层特征为输入和输出的神经网络自编码器并提取获得第2层特征，建立以第1层特征为输入和难检测过程参数为输出的第2个候选子模型；重复上述过程，直到获得第J层特征和第J个候选子模型；最后，基于全部J个候选子模型，耦合分支定界优化算法和模型加权算法获取集成尺寸为2～Jthresh的全部选择性集成模型，并将预测误差最小的作为最终的难检测过程参数预测模型。
2.一种自适应选择深度特征的随机权神经网络集成建模方法，其特征在于，包括以下步骤：
步骤1、非监督深度特征提取
针对RWNN网络，构建以易检测过程变量为输入和输出的第1层自编码器，输出权重为：
Figure FDA0003139023380000011
其中，X为训练数据集，
Figure FDA0003139023380000012
表示基于随机输入权重和偏置的第1个隐含层映射矩阵，可表示为：
Figure FDA0003139023380000013
其中，
Figure FDA0003139023380000014
表示第1个隐含层映射矩阵的第n个节点；
进一步，提取得到易检测过程变量的第1层非监督特征：
Figure FDA0003139023380000015
采用相同的方法，构建以易检测过程变量的第1层特征为输入和输出的自编码器，所提取的第2层非监督特征为：
Figure FDA0003139023380000016
其中，
Figure FDA0003139023380000017
Figure FDA0003139023380000018
其中，公式(17)、(18)、(19)中各符号的含义同公式(16)、(14)、(15)相同，只是采用上标或下标“2”表示对应于第2层特征的相应矩阵或变量；
类似的，以易检测过程变量的第j-1层特征为输入和输出构建自编码器，所提取的第j层非监督特征为：
Figure FDA0003139023380000019
其中，
Figure FDA0003139023380000021
Figure FDA0003139023380000022
由上可知，所提取的第J层非监督特征为：
Figure FDA0003139023380000023
其中，
Figure FDA0003139023380000024
Figure FDA0003139023380000025
综合上述过程，可实现对易检测过程变量的不同层深度特征的非监督提取；
步骤2、深度特征候选子模型构建
首先构建以易检测过程变量为输入和难检测过程参数为输出的第1个候选子模型；第1个候选子模型的输出可表示为：
Figure FDA0003139023380000026
其中，
Figure FDA0003139023380000027
表示第1个候选子模型的输出权重，采用下式计算：
Figure FDA0003139023380000028
类似，构建以第1层特征为输入和难检测过程参数为输出的第2个候选子模型，其输出可表示为：
Figure FDA0003139023380000029
其中，
Figure FDA00031390233800000210
表示第2个候选子模型的输出权重，采用下式计算：
Figure FDA00031390233800000211
其中，公式(28)、(29)中各符号的含义同公式(26)、(27)相同，只是采用上标或下标“2”表示对应于第2个候选子模型的相应矩阵或变量，
再然后，重复上述过程，第j个候选子模型的输出可表示为：
Figure FDA00031390233800000212
其中，
Figure FDA00031390233800000213
最后，建立以J-1层特征为输入和难检测过程参数为输出的第J个候选子模型，其输出为：
Figure FDA00031390233800000214
其中，
Figure FDA0003139023380000031
综合上述过程，实现了基于不同层非监督深度特征的候选子模型的构建；
步骤3、预测模型构建
将J个基于不同层深度特征的候选子模型的集合SCan表示为：
Figure FDA0003139023380000032
将基于集成尺寸Jsel的选择性集成模型
Figure FDA0003139023380000033
的全部集成子模型
Figure FDA0003139023380000034
表示为：
Figure FDA0003139023380000035
其中，jsel＝1,2,…,Jsel，Jsel表示选择性集成模型的集成尺寸，即所选择的集成子模型数量，
可知，集成子模型和候选子模型间的关系可表示为
Figure FDA0003139023380000036
且Jsel≤Jthresh，Jthresh<J，Jthresh为集成模型尺寸阈值；
首先预先选定集成子模型的加权算法，基于该算法可以获得集成子模型的加权系数，为便于表述，当选定的集成子模型为自适应加权算法时，利用下式计算权系数，
Figure FDA0003139023380000037
其中，
Figure FDA0003139023380000038
Figure FDA0003139023380000039
是第jsel个集成子模型所对应的加权系数；
Figure FDA00031390233800000310
为第jsel个集成子模型输出值
Figure FDA00031390233800000311
的标准差，
将上述集成尺寸为Jsel的选择性集成模型的均方根误差表示为：
Figure FDA00031390233800000312
其中，K为样本个数；yk为第k个样本的真值；
Figure FDA00031390233800000313
为集成尺寸为Jsel的选择性集成模型对第k个样本的预测值；
Figure FDA00031390233800000314
为第jsel个集成子模型对第k个样本的预测值，
考虑工业实际，建立集成尺寸为Jsel的选择性集成模型的过程需要确定集成子模型数量、集成子模型及其加权系数
Figure FDA00031390233800000315
公式(37)可进一步表述为如下优化问题：
Figure FDA00031390233800000316
其中，θth是为保证求最大化极值问题所设定的阈值；
由于事先未知集成子模型及其数量，并且子模型的加权系数需要在集成子模型确定后才能通过加权算法获得的，此处将公式(38)的复杂优化问题进行分解和简化，
(1)首先，给定集成子模型数量为Jsel，采用BB组合优化算法选择集成子模型并同时计算加权系数，计算得的集成尺寸为Jsel的选择性集成模型的输出
Figure FDA0003139023380000041
可用下式表示：
Figure FDA0003139023380000042
其中，
Figure FDA0003139023380000043
(2)接着，考虑到Jsel的取值范围在2和阈值Jthresh之间，重复上述构建集成尺寸为Jsel的选择性集成模型的过程Jthresh-1次，得到的全部选择性集成模型可表示为
Figure FDA0003139023380000044
(3)最后，选择这些选择性集成模型中预测性能最佳的作为最终的难以检测参数预测模型，可用如下公式表示：
Figure FDA0003139023380000045
其中，
Figure FDA0003139023380000046
分别表示最后优选的集成子模型、集成子模型的预测输出及权重系数。
CN201810174267.0A 2018-03-02 2018-03-02 一种自适应选择深度特征的随机权神经网络集成建模方法 Active CN108445752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810174267.0A CN108445752B (zh) 2018-03-02 2018-03-02 一种自适应选择深度特征的随机权神经网络集成建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810174267.0A CN108445752B (zh) 2018-03-02 2018-03-02 一种自适应选择深度特征的随机权神经网络集成建模方法

Publications (2)

Publication Number Publication Date
CN108445752A CN108445752A (zh) 2018-08-24
CN108445752B true CN108445752B (zh) 2021-08-17

Family

ID=63192997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174267.0A Active CN108445752B (zh) 2018-03-02 2018-03-02 一种自适应选择深度特征的随机权神经网络集成建模方法

Country Status (1)

Country Link
CN (1) CN108445752B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12001949B2 (en) 2018-09-05 2024-06-04 Sartorius Stedim Data Analytics Ab Computer-implemented method, computer program product and system for data analysis

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290412A3 (en) * 2018-09-05 2024-01-03 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
CN109522448B (zh) * 2018-10-18 2021-07-13 天津大学 一种基于crbm和snn进行鲁棒性语音性别分类的方法
CN109695174B (zh) * 2018-12-28 2021-09-07 东北大学 磨浆过程纤维长度分布的pdf形状预测方法及系统
CN110070116B (zh) * 2019-04-08 2022-09-20 云南大学 基于深度树状训练策略的分段式选择集成图像分类方法
CN110188383B (zh) * 2019-04-23 2021-01-05 华中科技大学 一种基于选择性集成模型的电站scr脱硝建模方法
CN110378035A (zh) * 2019-07-19 2019-10-25 南京工业大学 一种基于深度学习的加氢裂化软测量建模方法
CN111523647B (zh) * 2020-04-26 2023-11-14 南开大学 网络模型训练方法及装置、特征选择模型、方法及装置
CN111929054B (zh) * 2020-07-07 2022-06-07 中国矿业大学 一种基于prvfln的气动调节阀并发故障诊断方法
CN113705614B (zh) * 2021-07-28 2024-04-05 东北大学 基于gan的复杂工业过程运行指标校正方法
CN114310483B (zh) * 2021-12-13 2023-04-28 华中科技大学 一种数控加工尺寸误差预测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098633A1 (en) * 2014-10-02 2016-04-07 Nec Laboratories America, Inc. Deep learning model for structured outputs with high-order interaction
CN105137967B (zh) * 2015-07-16 2018-01-19 北京工业大学 一种深度自动编码器与q学习算法相结合的移动机器人路径规划方法
US9805269B2 (en) * 2015-11-20 2017-10-31 Adobe Systems Incorporated Techniques for enhancing content memorability of user generated video content
CN106934458A (zh) * 2015-12-31 2017-07-07 中国科学院深圳先进技术研究院 基于深度学习的多层自动编码方法及系统
CN105787255B (zh) * 2016-02-04 2018-10-30 中国人民解放军61599部队计算所 一种磨机负荷参数软测量方法
US20170328194A1 (en) * 2016-04-25 2017-11-16 University Of Southern California Autoencoder-derived features as inputs to classification algorithms for predicting failures
CN106709567A (zh) * 2016-12-14 2017-05-24 河北省科学院应用数学研究所 基于深度学习模型的道岔故障诊断方法
CN107016241A (zh) * 2017-04-05 2017-08-04 重庆交通大学 基于加噪样本增强深度自编码学习网络的旋转机械寿命阶段识别方法
CN107122809B (zh) * 2017-04-24 2020-04-28 北京工业大学 基于图像自编码的神经网络特征学习方法
CN107122733B (zh) * 2017-04-25 2019-10-11 西安电子科技大学 基于nsct和sae的高光谱图像分类方法
CN107505837A (zh) * 2017-07-07 2017-12-22 浙江大学 一种半监督神经网络模型及基于该模型的软测量建模方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12001949B2 (en) 2018-09-05 2024-06-04 Sartorius Stedim Data Analytics Ab Computer-implemented method, computer program product and system for data analysis
US12001935B2 (en) 2018-09-05 2024-06-04 Sartorius Stedim Data Analytics Ab Computer-implemented method, computer program product and system for analysis of cell images

Also Published As

Publication number Publication date
CN108445752A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108445752B (zh) 一种自适应选择深度特征的随机权神经网络集成建模方法
Almalaq et al. A review of deep learning methods applied on load forecasting
Su et al. An end-to-end framework for remaining useful life prediction of rolling bearing based on feature pre-extraction mechanism and deep adaptive transformer model
Asadi et al. A new hybrid artificial neural networks for rainfall–runoff process modeling
Wang et al. Research on healthy anomaly detection model based on deep learning from multiple time-series physiological signals
CN110648014B (zh) 一种基于时空分位数回归的区域风电预测方法及系统
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN109784692B (zh) 一种基于深度学习的快速安全约束经济调度方法
CN109919364A (zh) 基于自适应降噪和集成lstm的多变量时间序列预测方法
Zhang et al. Comparison of econometric models and artificial neural networks algorithms for the prediction of baltic dry index
Mylonas et al. Conditional variational autoencoders for probabilistic wind turbine blade fatigue estimation using Supervisory, Control, and Data Acquisition data
CN114218872B (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN114282443A (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
Abdulsalam et al. Electrical energy demand forecasting model using artificial neural network: A case study of Lagos State Nigeria
Li et al. First-order sensitivity analysis for hidden neuron selection in layer-wise training of networks
Surakhi et al. On the ensemble of recurrent neural network for air pollution forecasting: Issues and challenges
Bahri et al. Time series forecasting using smoothing ensemble empirical mode decomposition and machine learning techniques
Ghosh et al. Weather data mining using artificial neural network
Dang et al. seq2graph: Discovering dynamic non-linear dependencies from multivariate time series
Shi et al. The integrated methodology of rough set theory and artificial neural-network for construction project cost prediction
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统
Chen et al. Hybrid genetic algorithm and learning vector quantization modeling for cost-sensitive bankruptcy prediction
Yakubu et al. Electricity consumption forecasting using DFT decomposition based hybrid ARIMA-DLSTM model
Haryono et al. Stock price forecasting in Indonesia stock exchange using deep learning: A comparative study
Ge et al. Remaining useful life prediction using deep multi-scale convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant