CN113868956A - 一种二阶段自适应组合代理模型建模方法 - Google Patents

一种二阶段自适应组合代理模型建模方法 Download PDF

Info

Publication number
CN113868956A
CN113868956A CN202111175011.XA CN202111175011A CN113868956A CN 113868956 A CN113868956 A CN 113868956A CN 202111175011 A CN202111175011 A CN 202111175011A CN 113868956 A CN113868956 A CN 113868956A
Authority
CN
China
Prior art keywords
model
proxy
cross validation
component
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111175011.XA
Other languages
English (en)
Inventor
宋学官
吕利叶
李昆鹏
刘印
王硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Zhejiang Sci Tech University ZSTU
Original Assignee
Dalian University of Technology
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Zhejiang Sci Tech University ZSTU filed Critical Dalian University of Technology
Priority to CN202111175011.XA priority Critical patent/CN113868956A/zh
Publication of CN113868956A publication Critical patent/CN113868956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种二阶段自适应组合代理模型建模方法，属于代理模型技术领域。包括两个阶段：建立代理模型库：在准备阶段利用拉丁超立方取样方法获取少量训练点，选取若干经典单一模型构建代理模型，建立初始模型库；接着利用全局误差评价标准——交叉验证误差，设置交叉验证误差相对阈值，并选取误差最小的为基模型，完成代理模型库的建立。求解自适应权重系数：利用高斯过程误差估计组分单一代理模型局部不确定度，认为各组分单一模型在设计空间任一位置预测响应呈正态分布，并以此逐点求解各组分单一模型的权重系数。最后在终止阶段将各组分单一模型权重相加组合起来形成组合模型。该阶段权重系数的求解不涉及到寻优过程，计算简便效率高。

Description

一种二阶段自适应组合代理模型建模方法
技术领域
本发明属于代理模型技术领域，涉及一种二阶段自适应组合代理模型建模方法。
背景技术
传统的工程优化设计与分析研究通常利用物理实验获得少量实验数据，探究工程系统运行规律，存在设计周期长、实验成本高等不可忽视的缺点。随着数值计算方法飞速发展，计算机技术显著提高进步，数值仿真技术被逐渐应用到工程实际中，且因其强大的计算推导能力、可靠性、准确性，将逐步替代物理实验。然而，计算机仿真技术也无法跳出其自身的局限性。尽管，随着中央处理器和内存的不断更新换代，计算机的运算能力突飞猛进，但是为了保证工程优化设计优化与分析结果的可靠性与准确性，所需的仿真模型越来越精细，模型的保真度与复杂度同时稳步提高，导致快速发展的计算机技术仍不能满足优化设计与分析时所需的高昂计算资源与时间。因此，为了减少高保真度仿真模型高昂的计算成本，针对工程优化设计与分析问题的复杂性，基于少量数据的数值分析计算方法——代理模型技术应运而生。代理模型技术是一种数值分析方法，隶属于监督学习。由于代理模型技术完全基于数学方法构建而成，能够快速的构建出复杂仿真模型的近似模型，被广泛应用于工程系统仿真、地质勘探、航空航天等多个领域。一般情况下，在基于数值仿真的优化设计与分析中，研究人员无从得知输入变量与输出响应之间的函数关系。也就是说，数值仿真模型可以被看做一个黑箱子模型，给定输入变量值，然后得到输出响应值。代理模型技术则根据有限次的仿真模型输入输出对(即训练点)，构建输入变量与输出响应之间的显式函数关系，且不同的代理模型方法，函数关系表达式不同。利用构建好的代理模型替代运行成本高昂的高保真度仿真模型，进行后续的工程优化设计与分析，减少运行成本与计算时间，有效缩短产品设计周期，大大提高工程项目设计效率。
按照最终参与构建近似模型的模型数量，可将代理模型分为单一代理模型(简称单一模型)和组合代理模型(简称组合模型)。目前单一模型存在以下问题：1)单一模型的预测精度受样本点分布与数量影响很大；2)不同的单一模型适用于不同复杂度的问题，没有一种单一模型方法总是适用于所有的问题，而工程问题的复杂度往往有很大区别，仅仅凭借经验和推断很难在无先验信息的情况下判断出合适的代理模型。为了避免模型筛选，提高单一模型的精确度和鲁棒性，建立了通过权重系数将各单一模型叠加而成的组合代理模型。但是，现有组合模型存在以下明显缺陷：1)现有平均权重组合代理模型方法根据组分单一模型的全局或局部预测精度给其分配平均权重系数，无法捕获各模型任意一点的精度；2)现有自适应权重组合代理模型普遍使用交叉验证方法配合参数寻优来计算可变权重系数，计算量大、计算逻辑复杂，对于后续的优化与分析也有较大阻碍；3)现有组合代理模型没有对组分单一模型进行筛选，使得表现较差的单一模型也参与构建组合代理模型，对组合模型精度造成负面影响。因此，为了进一步提高模型预测精度、建模效率、模型鲁棒性，有必要提出一种兼具模型初步筛选、建模效率较高的二阶段自适应组合代理模型。
发明内容
针对现有技术存在的问题，本发明提供一种二阶段自适应组合代理模型的建模方法，使用交叉验证误差对初始若干单一模型进行排序，剔除掉精度较差的模型，利用高斯过程不确定度误差自适应地分配各组分单一模型的权重系数。
本发明的技术方案：
一种二阶段自适应组合代理模型建模方法，主要包括两个阶段：
阶段一：建立代理模型库。在准备阶段利用拉丁超立方取样方法获取少量训练点，选取若干经典单一模型构建代理模型，建立初始模型库；接着利用全局误差评价标准——交叉验证误差，设置交叉验证误差相对阈值，若模型误差大于阈值，剔除掉，若小于则保留，并选取误差最小的为基模型，完成代理模型库的建立。此阶段是为了缓和不精确的单一代理模型对组合模型精度的影响。
阶段二：求解自适应权重系数。利用高斯过程误差估计组分单一代理模型局部不确定度，认为各组分单一模型在设计空间任一位置预测响应呈正态分布，并以此逐点求解各组分单一模型的权重系数。最后在终止阶段将各组分单一模型权重相加组合起来形成组合模型。该阶段权重系数的求解不涉及到寻优过程，计算简便效率高。
本发明的有益效果：本发明提供一种二阶段自适应组合代理模型的建模方法，其区别于其他组合模型之处在于：1)利用精度评价准则初步剔除掉精度较差的模型，2)采用高斯过程误差直接计算任意位置处各组分模型的权重系数，不涉及寻优过程，可从预测精度与建模效率上改善组合模型。
附图说明
图1为本发明的一种二阶段自适应组合代理模型建模方法流程示意图。
图2(a)和图2(b)为本发明和其他方法整体性能对比结果，其中，图2(a)为单一模型对比，图2(b)为组合模型对比。
图3(a)和图3(b)为本发明和其他方法在不同训练量下的对比结果，其中，图3(a)为单一模型对比，图3(b)为组合模型对比。
图4为本发明和其他组合模型运行成本对比结果。
具体实施方式
以下结合附图和具体实施步骤，进一步阐述本发明。
本发明设计的一种二阶段自适应组合代理模型建模方法，见图1，主要包括以下阶段：
阶段一：建立代理模型库。该阶段主要包括以下步骤：
(1)建立初始单一模型库：对于维数不同、非线性程度不同的问题，应使用不同的单一模型。根据各个单一模型适用范围与特点，选择多项式拟合曲面(Polynomialregression surface，PRS)、克里金(Kriging，KRG)、径向基函数(Radial basis function，RBF)、支持向量回归(Support vector regression，SVR)这四种单一模型，其中PRS方法选择全二次多项式回归模型，RBF方法中基函数选择了具有最佳预测性能的多二次曲面(Multiquadric，MQ)和薄板样条曲线(Thinplatespline，TPS)这两个基函数；KRG方法的核函数对方法的性能影响巨大，此处选择了最为经典的高斯核函数；SVR方法同样选择高斯核函数。
(2)模型初步筛选：使用留一交叉验证(Leave-one-outcrossvalidation，LOO-CV)方法衡量初始单一模型库中各模型的预测精度，并剔除掉精度较差的模型，具体如下：
LOO-CV法的基本思想是从含有N个训练点的数据集取出一个训练点作为测试集，剩下的N-1个训练点作为训练集构建模型，利用通用均标准差(Generalized mean squareerror，GMSE)(如式(1)所示)得到该训练点处的交叉验证误差(CVerror)，依次进行N次重复试验，直到N个训练点均当过一次测试点，得到N个交叉验证误差，最后取所有CVerror的平均值作为用所有N个训练点构建的模型的测试误差，具体公式如式(2)。
Figure BDA0003295079150000031
Figure BDA0003295079150000032
其中，N为数据集中训练点的个数，yi为点xi处的真实响应，
Figure BDA0003295079150000033
是在xi处的预测值，
Figure BDA0003295079150000034
为去掉点xi后用N-1训练点构建的模型在点xi处的预测值。
由于交叉验证误差并非无量纲评价方法，而是与响应的幅值密切相关，为了提高交叉验证误差评价方法的普遍性与适用性，将交叉验证误差正则化，如式(3)所示。
Figure BDA0003295079150000035
其中，CVerrormin和CVerrormax是分别为H个单一模型中最小和最大CVerror，CVerrorh是第h个单一模型的交叉验证误差，NCVerrorh为第h个单一模型的归一化交叉验证误差，在0到1之间变化。NCVerror值越小表示代理模型预测误差越小，则预测性能越好。设置交叉验证误差阈值为β，变化范围为[0,1]，一般设置β＝0.5。从初始模型库中选择交叉验证误差NCVerror小于β的单一模型，组成新的单一模型库，并认为具有最小NCVerror的单一模型全局性能最佳，故选择其作为自适应权重计算的基模型，记作
Figure BDA0003295079150000041
阶段二：求解自适应权重系数。该阶段主要分为以下三个步骤：
(1)局部不确定度计算：局部不确定度表示各组分单一模型的局部预测标准差，由高斯过程提供预测模型在设计空间上的分布标准差表征，设计空间中任意x*处的均方根误差如式(4)所示。
Figure BDA0003295079150000042
其中，
Figure BDA0003295079150000043
为高斯过程中预测标准差，R为训练点间的协方差矩阵，由Rij＝cor[φ(xi),φ(xj)],i,j＝1,...,n组成，式中φ(xi)为高斯核函数，n为训练点个数；r为训练点与测试点间的协方差矩阵，由rik＝cor[φ(xi),φ(xk)],i＝1,...,N,k＝1,...,ntest组成。
(2)输出响应概率密度函数：高斯过程不确定度表征了模型局部预测标准差，模型筛选过程根据交叉验证误差确定了基模型，认为各组分模型在任何位置模型的响应预测符合正态分布，其中均值为基模型的响应预测，标准差为高斯过程不确定度，则各组分模型在任何位置的输出响应概率密度函数如式(5)所示。
Figure BDA0003295079150000044
其中，Pi(x)为第i个组分代理模型关于设计变量x的核概率密度函数，
Figure BDA0003295079150000045
为第i个组分代理模型在x处的预测响应，
Figure BDA0003295079150000046
为基模型在x处的响应，由式(2)确定。
(3)自适应权重计算：组合代理模型由各组分代理模型组合而成，因此在任意位置处的各组分模型的权重系数需满足如下条件：
Figure BDA0003295079150000047
根据式(5)得到了各组分代理模型关于设计变量的概率密度函数P(x)，通过式(7)可确定各组分模型关于设计变量的权重系数。
Figure BDA0003295079150000048
其中，ωi(x)为第i个组分模型在x处的权重系数，为设计变量x的函数。
最后，根据式(8)将各组分代理模型组合起来，完成自适应组合代理模型的建立。
Figure BDA0003295079150000049
其中，
Figure BDA0003295079150000051
和
Figure BDA0003295079150000052
分别为组合代理模型和第i个组分单一模型在x处的预测响应。
为测试该方法的实际性能，在相同的软硬件平台上，以决定系数R2为预测精度评价标准，利用40个测试函数对本发明从整体性能、训练量、问题维数、计算效率等方面进行了详细且全面的研究，并与其他5种单一模型(分别为PRS、RBF-MQ、RBF-TPS、KRG、SVR)和4种组合模型(分别为BestPRESS、OWS(full)、PWS、AHF)进行对比实验。图2(a)和图2(b)为整体性能对比结果，在40个测试函数、9类训练集下预测性能的对比，图中R2的均值代表模型预测精度，其值越高越好，R2的标准差代表模型鲁棒性程度，其值越低越好。图3(a)和图3(b)为不同训练量下对比结果。图4为本发明与其他4个组合模型运行成本对比结果。从图中可以看出，本发明在预测精度方面由于单一模型和其他组合模型，在建模效率上明显由于其他组合模型，表明本发明所设计的一种二阶段自适应组合代理模型能够提供更为精确、高效、鲁棒的预测结果。

Claims (1)

1.一种二阶段自适应组合代理模型建模方法，其特征在于，具体步骤如下：
阶段一：建立代理模型库；
(1.1)建立初始单一模型库：对于维数不同、非线性程度不同的问题，使用不同的单一模型；根据各个单一模型适用范围与特点，选择多项式拟合曲面PRS、克里金KRG、径向基函数RBF、支持向量回归SVR四种单一模型，其中PRS方法选择全二次多项式回归模型，RBF方法中基函数选择具有最佳预测性能的多二次曲面和薄板样条曲线两个基函数；KRG方法的核函数选择高斯核函数；SVR方法选择高斯核函数；
(1.2)模型初步筛选：使用留一交叉验证LOO-CV方法衡量初始单一模型库中各模型的预测精度，并剔除掉精度较差的模型，具体如下：
LOO-CV法是从含有N个训练点的数据集取出一个训练点作为测试集，剩下的N-1个训练点作为训练集构建模型，利用通用均标准差GMSE得到该训练点处的交叉验证误差CVerror，依次进行N次重复试验，直到N个训练点均当过一次测试点，得到N个交叉验证误差，最后取所有CVerror的平均值作为用所有N个训练点构建的模型的测试误差，具体公式如式(2)；
Figure FDA0003295079140000011
Figure FDA0003295079140000012
其中，N为数据集中训练点的个数，yi为点xi处的真实响应，
Figure FDA0003295079140000013
是在xi处的预测值，
Figure FDA0003295079140000014
为去掉点xi后用N-1训练点构建的模型在点xi处的预测值；
由于交叉验证误差并非无量纲评价方法，而是与响应的幅值密切相关，为了提高交叉验证误差评价方法的普遍性与适用性，将交叉验证误差正则化，如式(3)所示；
Figure FDA0003295079140000015
其中，CVerrormin和CVerrormax是分别为H个单一模型中最小和最大CVerror，CVerrorh是第h个单一模型的交叉验证误差，NCVerrorh为第h个单一模型的归一化交叉验证误差，在0到1之间变化；NCVerror值越小表示代理模型预测误差越小，则预测性能越好；设置交叉验证误差阈值为β，变化范围为[0,1]；从初始模型库中选择交叉验证误差NCVerror小于β的单一模型，组成新的单一模型库，并认为具有最小NCVerror的单一模型全局性能最佳，作为自适应权重计算的基模型，记作
Figure FDA0003295079140000016
阶段二：求解自适应权重系数；
(2.1)局部不确定度计算：局部不确定度表示各组分单一模型的局部预测标准差，由高斯过程提供预测模型在设计空间上的分布标准差表征，设计空间中任意x*处的均方根误差如式(4)所示；
Figure FDA0003295079140000021
其中，
Figure FDA0003295079140000022
为高斯过程中预测标准差，R为训练点间的协方差矩阵，由Rij＝cor[φ(xi),φ(xj)],i,j＝1,...,n组成，式中φ(xi)为高斯核函数，n为训练点个数；r为训练点与测试点间的协方差矩阵，由rik＝cor[φ(xi),φ(xk)],i＝1,...,N,k＝1,...,ntest组成；
(2.2)输出响应概率密度函数：高斯过程不确定度表征了模型局部预测标准差，模型筛选过程根据交叉验证误差确定基模型，认为各组分模型在任何位置模型的响应预测符合正态分布，其中均值为基模型的响应预测，标准差为高斯过程不确定度，则各组分模型在任何位置的输出响应概率密度函数如式(5)所示；
Figure FDA0003295079140000023
其中，Pi(x)为第i个组分代理模型关于设计变量x的核概率密度函数，
Figure FDA0003295079140000024
为第i个组分代理模型在x处的预测响应，
Figure FDA0003295079140000025
为基模型在x处的响应，由式(2)确定；
(2.3)自适应权重计算：组合代理模型由各组分代理模型组合而成，因此在任意位置处的各组分模型的权重系数需满足如下条件：
Figure FDA0003295079140000026
根据式(5)得到了各组分代理模型关于设计变量的概率密度函数P(x)，通过式(7)确定各组分模型关于设计变量的权重系数；
Figure FDA0003295079140000027
其中，ωi(x)为第i个组分模型在x处的权重系数，为设计变量x的函数；
最后，根据式(8)将各组分代理模型组合起来，完成自适应组合代理模型的建立；
Figure FDA0003295079140000028
其中，
Figure FDA0003295079140000029
和
Figure FDA00032950791400000210
分别为组合代理模型和第i个组分单一模型在x处的预测响应。
CN202111175011.XA 2021-10-09 2021-10-09 一种二阶段自适应组合代理模型建模方法 Pending CN113868956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175011.XA CN113868956A (zh) 2021-10-09 2021-10-09 一种二阶段自适应组合代理模型建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175011.XA CN113868956A (zh) 2021-10-09 2021-10-09 一种二阶段自适应组合代理模型建模方法

Publications (1)

Publication Number Publication Date
CN113868956A true CN113868956A (zh) 2021-12-31

Family

ID=79002091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175011.XA Pending CN113868956A (zh) 2021-10-09 2021-10-09 一种二阶段自适应组合代理模型建模方法

Country Status (1)

Country Link
CN (1) CN113868956A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230368590A1 (en) * 2022-05-13 2023-11-16 Regents Of The University Of Minnesota System and method for controlling a compression ignition engine
CN117215728A (zh) * 2023-11-06 2023-12-12 之江实验室 一种基于代理模型的仿真模拟方法、装置及电子设备
CN118070604A (zh) * 2024-03-04 2024-05-24 上海交通大学 基于两阶段代理模型预测基坑开挖引发地层与隧道变形的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230368590A1 (en) * 2022-05-13 2023-11-16 Regents Of The University Of Minnesota System and method for controlling a compression ignition engine
US12056967B2 (en) * 2022-05-13 2024-08-06 Regents Of The University Of Minnesota System and method for controlling a compression ignition engine
CN117215728A (zh) * 2023-11-06 2023-12-12 之江实验室 一种基于代理模型的仿真模拟方法、装置及电子设备
CN117215728B (zh) * 2023-11-06 2024-03-15 之江实验室 一种基于代理模型的仿真模拟方法、装置及电子设备
CN118070604A (zh) * 2024-03-04 2024-05-24 上海交通大学 基于两阶段代理模型预测基坑开挖引发地层与隧道变形的方法

Similar Documents

Publication Publication Date Title
Sangiorgio et al. Robustness of LSTM neural networks for multi-step forecasting of chaotic time series
CN113868956A (zh) 一种二阶段自适应组合代理模型建模方法
Erickson et al. Comparison of Gaussian process modeling software
Tsymbalov et al. Dropout-based active learning for regression
CN112036084B (zh) 一种相似产品寿命迁移筛选方法和系统
Guénot et al. Adaptive sampling strategies for non‐intrusive POD‐based surrogates
Udaichi et al. Large‐scale system identification using self‐adaptive penguin search algorithm
US20230062600A1 (en) Adaptive design and optimization using physics-informed neural networks
JP2017049907A (ja) ニューラルネットワーク、その学習方法、及びコンピュータプログラム
Regazzoni et al. A physics-informed multi-fidelity approach for the estimation of differential equations parameters in low-data or large-noise regimes
Mojarrad et al. A new variable shape parameter strategy for RBF approximation using neural networks
Li et al. Improved LSTM-based prediction method for highly variable workload and resources in clouds
Nasiboglu et al. Estimation of the second hand car prices from data extracted via web scraping techniques
Hao et al. Design optimization by integrating limited simulation data and shape engineering knowledge with Bayesian optimization (BO-DK4DO)
Kapoor et al. Transfer learning for improved generalizability in causal physics-informed neural networks for beam simulations
Wang et al. Adaptive echo state network with a recursive inverse-free weight update algorithm
Huai et al. Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization
Cooper et al. Non-intrusive polynomial chaos for efficient uncertainty analysis in parametric roll simulations
JP2021012605A (ja) 伝達関数の予測方法
Bozağaç et al. Dynamic simulation metamodeling using MARS: A case of radar simulation
Clarich et al. Formulations for Robust Design and Inverse Robust Design
Yang et al. Non-matching meshes data transfer using Kriging model and greedy algorithm
CN113240094A (zh) 一种基于svm的lstm超参数优化方法、系统、介质及设备
Lee et al. Development of a simulation result management and prediction system using machine learning techniques
Xu et al. An Online Prediction Framework for Dynamic Service-Generated QoS Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination