CN112270107A - 复杂系统仿真实验设计方法及系统 - Google Patents

复杂系统仿真实验设计方法及系统 Download PDF

Info

Publication number
CN112270107A
CN112270107A CN202011268888.9A CN202011268888A CN112270107A CN 112270107 A CN112270107 A CN 112270107A CN 202011268888 A CN202011268888 A CN 202011268888A CN 112270107 A CN112270107 A CN 112270107A
Authority
CN
China
Prior art keywords
sample
experiment
sampling
experimental
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011268888.9A
Other languages
English (en)
Inventor
康达周
张志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011268888.9A priority Critical patent/CN112270107A/zh
Publication of CN112270107A publication Critical patent/CN112270107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种复杂系统仿真实验设计方法及系统。该方法包括:获得具体实验需求;获得真实实验样本并对其进行正则化、标准化和向量化处理;构建神经网络训练一个用于降维和生成实验样本的变分自编码器并得到降维后的隐变量空间;使用实验设计抽样方法在降维后的隐变量空间中抽样;利用设计好的变分自编码器的编码器将抽样后的样本还原为原维度的样本;验证生成的样本,删除其中不匹配实验需求的样本;使用经过验证的样本进行模拟实验,依据实验结果,迭代优化实验的采样策略和改善生成样本的质量。本发明可以大幅提高复杂系统仿真实验设计的效率,实现智能化的实验设计辅助分析工具。

Description

复杂系统仿真实验设计方法及系统
技术领域
本发明涉及实验设计领域,尤其涉及一种适用于复杂系统仿真的实验设计方即系统。
背景技术
复杂系统仿真实验常运用在工业制造、医药化学或武器作战领域。复杂系统仿真实验用来模拟在复杂场景中每个具体单位的表现以及它们之间的交互。复杂仿真系统是由若干个子系统和下属分系统甚至子分系统等构成的大型仿真系统,具有结构层次多、不确定性因子多、实体数量大、实验因子多、因子取值区间大、考虑指标多、因子间关系复杂、运行时间长等特点。针对这些特点,普通的抽样仿真实验方法可能需要计算机大量的实验次数及运算时间来获得实验结果,影响了实验效率。与真实世界实验相比,常规的实验设计方法很容易导致复杂体系仿真实验的样本数量产生“维度灾难”而难以实验,实验结果质量不能满足需求,迫切需要能够大幅提高实验效率的仿真实验设计技术。进行复杂系统仿真实验的好处包括:减少实验任务的成本、降低危险实验的风险并使实验可以在复杂场景中多次重复进行,更重要的是分析人员可以通过控制所有的实验变量、依据仿真实验运行的结果,制定出最佳的单位配置方案。实验效率定义为达到一定的准确度的情况下需要进行仿真实验的次数,所需仿真实验次数少的方法更加高效。仅仅追求计算机硬件性能的提升,或者直接针对计算机仿真的过程来进行优化改进是很困难的,必须使用科学高效的实验设计方法来指导实验过程。实验设计的目的是在保证实验样本的代表性和遍历性等关键特征的基础上,有效减少实验样本数量,提高实验效率。仿真实验设计方法的选择和使用将直接影响系统仿真的结果,实验的效率则决定了仿真的效率和实用性。优秀的实验方法能有效地降低复杂仿真系统实验的次数,缓解仿真实验计算量增长的压力。尤其是针对复杂仿真系统,复杂性的增加和不确定性的影响,使得普通实验设计方法无法胜任。
传统的仿真实验设计方法在实验因子预选阶段缺乏对连续因子的支持,导致其不能很好的描述复杂系统。传统的仿真实验设计方法在实验因子筛选阶段,一般依靠人工分析来对复杂系统中冗余的实验因子进行降维,导致实验执行的效率极其低下。
发明内容
针对现有技术中存在的上述问题,本发明提供一种复杂系统仿真实验设计方法及系统。
为实现上述目的,本发明提供如下技术方案:
本发明首先提供一种复杂系统仿真实验设计方法,包括:
S1:获得具体实验需求;
S2:获得真实实验样本并对其进行正则化、标准化和向量化处理;
S3:构建神经网络训练一个用于降维和生成实验样本的变分自编码器并得到降维后的隐变量空间;
S4:使用实验设计抽样方法在降维后的隐变量空间中抽样;
S5:利用设计好的变分自编码器的编码器将抽样后的样本还原为原维度的样本;
S6:验证生成的样本,删除其中不匹配实验需求的样本;
S7:使用经过验证的样本进行模拟实验,依据实验结果,迭代优化实验的采样策略和改善生成样本的质量。
更进一步的,所述S1包括,确定实验的背景、对象、参数以及属性的取值范围和概率分布。
更进一步的,所述S2中,所述正则化是将样本中所有的非数值属性用数值表示,标准化是将数值压缩到一个规定的区间里,当样本数据完成正则化和标准化后,将其输入词嵌入网络中训练,得到嵌入函数和恢复函数,嵌入函数用来将样本数据转化成向量,恢复函数用来将向量还原成样本数据。
更进一步的,所述S3,先搭建变分自编码器的网络结构,确定网络的超参数,然后将数据预处理中得到的向量化的样本数据划分为训练集、交叉验证集和测试集,训练出变分自编码器的编码器和解码器,并同时得到降维后的样本的隐变量空间。
更进一步的,所述S4,依据具体实验设置和实验采样策略选用不同的实验设计抽样方法对隐变量空间进行抽样,在隐变量空间中多次抽样得到隐变量空间上降维后的样本集。
更进一步的,所述抽样方法包括拉丁超立方抽样、蒙特卡洛抽样。
更进一步的,所述S5,在隐变量空间中抽样完成后,使用由S3得到的变分自编码器的解码器,将降维后的样本还原成原来维度的样本集的向量化表示,然后使用S2中得到的词嵌入网络的恢复函数,将原来维度的样本集的向量化表示转化成原来的可直接用于实验的样本集。
更进一步的,所述S7,利用S6中经过验证的样本集进行模拟仿真实验,实验后验证和评估实验结果,如果实验结果符合预期,则输出这些样本,作为所需的最终实验方案,如果实验结果不符合评估,则对生成的变量进行变异,然后重新对该样本进行模拟仿真实验并评估其结果,如果结果不符合预期则需要对样本抽取策略和实验设计采样规则进行优化和调整,调整后回到S4,对隐变量空间进行新一轮的抽样。
本发明还提供一种复杂系统仿真实验设计系统,包括:
数据预处理模块,用于把真实样本转化成变分自编码器所需要的输入的形式;
网络学习模块,用于得到样本的隐变量空间和训练出用来将隐变量空间中的隐变量恢复到原本样本维度的变分自编码器的解码器;
高效实验设计模块,用于生成仿真实验的样本集;
迭代优化模块,用于评估和改善生成样本集的质量和优化采样方法。
与现有技术相比,本发明的有益效果是:
本发明将非线性问题近似转化为线性问题,可通过学习一种深层非线性网络结构,实现复杂函数逼近;本发明将相关因子分解提取出独立特征,假定认为输入数据(显变量)受到一组隐变量的控制,分布完全由这组隐变量操控,这组隐变量之间相互独立,从而找出显变量与隐变量之间的变换函数;本发明将不确定性建模为概率分布和抽样,不同隐变量之间相互独立,可以分别独立处理不确定性;本发明用正规化方法解决规模性问题,在标准正态分布的参数空间中进行抽样,一方面尽可能接近真实的实验数据,另一方面均匀完整的覆盖特征空间。本发明能够在保证实验样本的代表性和遍历性等关键特征的基础上,有效减少实验样本数量,有效地降低复杂仿真系统实验的次数,从而可以大幅提高复杂系统仿真实验设计的效率,实现智能化的实验设计辅助分析工具。
附图说明
图1是发明的方法流程图。
图2是本发明的系统中的数据预处理模块示意图。
图3是本发明的系统中的网络学习模块示意图。
图4是本发明的系统中的高效实验设计模块示意图。
图5是本发明的系统中的迭代优化模块示意图。
图6是本发明的系统总图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示,本实施例提供一种基于变分自编码器的复杂系统仿真实验设计方法,能够在不影响复杂系统仿真实验结果的情况下,提高实验效率,实现智能化的实验设计辅助分析工具。
参照图1,本发明的复杂系统仿真实验设计方法,具体包括以下步骤:
S1、确定实验的具体实验需求。
在本实施例中,依据实验需求。确定实验的背景、对象、参数以及属性的取值范围和概率分布。
S2、获得真实实验样本并对其进行正则化、标准化和向量化处理。
在本实施例中,如果这个实验之前已经进行过了一些实践,可以使用历史实验样本数据作为初始的样本。如果之前这个实验没有进行过,则依据实验需求,对实验所有变量的取值进行随机抽样,得到初始的样本。当获得初始的样本后,对其进行正则化、标准化和向量化处理。正则化是将样本中所有的非数值属性用数值表示,标准化是将数值压缩到一个规定的区间里。当样本数据完成正则化和标准化后,可以将其输入词嵌入网络中训练,得到嵌入函数和恢复函数。嵌入函数用来将样本数据转化成向量,而恢复函数则用来将向量还原成样本数据。
S3、构建神经网络训练一个用于降维和生成实验样本的变分自编码器并得到降维后的隐变量空间。
在本实施例中,搭建变分自编码器的网络结构,确定网络的超参数。然后将数据预处理中得到的向量化的样本数据划分为训练集、交叉验证集和测试集,训练出变分自编码器的编码器和解码器,并同时得到了降维后的样本的隐变量空间。
S4、使用实验设计抽样方法在降维后的隐变量空间中抽样。
在本实施例中,可以依据具体实验设置和实验采样策略选用所不同的实验设计抽样方法对隐变量空间进行抽样。比如说可以使用拉丁超立方抽样。在隐变量空间中多次抽样就可以得到隐变量空间上降维后的样本集。
S5、利用训练好的变分自编码器的解码器将抽样后的样本还原为原维度的样本。
在本实施例中,当在隐变量空间中抽样完成后,使用由S3得到的变分自编码器的解码器,将降维后的样本还原成原来维度的样本集的向量化表示。然后使用S2中得到的词嵌入网络的恢复函数,将原来维度的样本集的向量化表示转化成原来的可直接用于实验的样本集。
通过步骤S4和S5,在变分自编码器对应的隐变量空间中,运行改进的拉丁超立方抽样算法,相当于选取了一个隐变量的集合。因为训练中引入了随机的扰动,所以这个过程可以确保与原始实验样本编码的潜在位置靠近的每个点都能被解码为与原始实验样本类似的实验样本,从而迫使潜在空间能够连续地有意义。潜在空间中任意两个相邻的点都会被解码为高度相似的实验样本。连续性以及潜在空间的低维度,将迫使潜在空间中的每个方向都表示数据中一个有意义的变化轴,这使得潜在空间具有非常良好的结构,因此非常适合通过概率向量来进行操作。
S6、验证生成的样本,删除其中不匹配实验需求的样本。
在本实施例中,检查S5得到的样本集,对其进行验证,删除其中不符合实验实际需求的样本。
S7、使用经过验证的样本进行模拟实验,依据实验结果,迭代优化实验的采样策略和改善生成样本的质量。
在本实施例中,利用S6中经过验证的样本集进行模拟仿真实验,实验后验证和评估实验结果,如果实验结果符合预期,则输出这些样本,作为所需的最终实验方案。如果实验结果不符合评估,则对生成的变量进行变异,变异是略微改变样本变量的取值。然后重新对该样本进行模拟仿真实验并评估其结果。如果结果符合预期则输出方案,如果结果不符合预期则需要对样本抽取策略和实验设计采样规则进行优化和调整。调整后回到S4,对隐变量空间进行新一轮的抽样。
如图2-6所示,本实施例还提供一种复杂系统仿真实验设计系统,该系统包括:
数据预处理模块,用于把真实样本转化成变分自编码器所需要的输入的形式;
网络学习模块,用于得到样本的隐变量空间和训练出用来将隐变量空间中的隐变量恢复到原本样本维度的变分自编码器的解码器;
高效实验设计模块,用于生成仿真实验的样本集;
迭代优化模块,用于评估和改善生成样本集的质量和优化采样方法。
以下列举一个应用实例:
1、初始测试数据:生成包含M个实验样本的测试集T,并计算出T对应的扩展实验因子水平矩阵。
2、建立基线:用析因设计方法生成实验样本集,并计算对应扩展实验因子水平矩阵D0;根据D0矩阵建立回归模型预测测试集T中样本的实验指标输出,计算预测结果和实际结果之间的均方根误差RMSE;令其为误差基线e0
3、用第k种实验设计方法生成包含m个实验样本的实验样本集,并计算出对应的扩展实验因子水平矩阵Dk,m;根据Dk,m矩阵建立回归模型预测测试集T中样本的实验指标输出;计算预测结果和实际结果之间的误差,记为ek,m。对于LHS和本文方法等包含随机过程的实验设计方法,重复10次计算后再取均值。
4、如ek,m>e0,则m取较大一点的值,重复上一步多次,直到ek,m≤e0
5、计算最小样本量:对每一种实验设计方法k,计算出使得ek,m≤e0的最小的m值,记为ns(k),作为评价实验效率的依据。
6、计算提升效率比:以本文方法最终迭代1000次后结果的最小样本量x为效率基准,相对实验设计方法k的提升效率比计算公式为
Figure BDA0002777049570000061
其中,使用支持向量回归模型SVR作为回归模型进行评价。对于大多数复杂系统,可选择支持向量回归模型SVR,在小样本条件下有良好的拟合与预测能力。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (9)

1.复杂系统仿真实验设计方法,其特征在于,包括:
S1:获得具体实验需求;
S2:获得真实实验样本并对其进行正则化、标准化和向量化处理;
S3:构建神经网络训练一个用于降维和生成实验样本的变分自编码器并得到降维后的隐变量空间;
S4:使用实验设计抽样方法在降维后的隐变量空间中抽样;
S5:利用设计好的变分自编码器的编码器将抽样后的样本还原为原维度的样本;
S6:验证生成的样本,删除其中不匹配实验需求的样本;
S7:使用经过验证的样本进行模拟实验,依据实验结果,迭代优化实验的采样策略和改善生成样本的质量。
2.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S1包括,确定实验的背景、对象、参数以及属性的取值范围和概率分布。
3.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S2中,所述正则化是将样本中所有的非数值属性用数值表示,标准化是将数值压缩到一个规定的区间里,当样本数据完成正则化和标准化后,将其输入词嵌入网络中训练,得到嵌入函数和恢复函数,嵌入函数用来将样本数据转化成向量,恢复函数用来将向量还原成样本数据。
4.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S3,先搭建变分自编码器的网络结构,确定网络的超参数,然后将数据预处理中得到的向量化的样本数据划分为训练集、交叉验证集和测试集,训练出变分自编码器的编码器和解码器,并同时得到降维后的样本的隐变量空间。
5.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S4,依据具体实验设置和实验采样策略选用不同的实验设计抽样方法对隐变量空间进行抽样,在隐变量空间中多次抽样得到隐变量空间上降维后的样本集。
6.根据权利要求1或5所述的复杂系统仿真实验设计方法,其特征在于,所述抽样方法包括拉丁超立方抽样、蒙特卡洛抽样。
7.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S5,在隐变量空间中抽样完成后,使用由S3得到的变分自编码器的解码器,将降维后的样本还原成原来维度的样本集的向量化表示,然后使用S2中得到的词嵌入网络的恢复函数,将原来维度的样本集的向量化表示转化成原来的可直接用于实验的样本集。
8.根据权利要求1所述的复杂系统仿真实验设计方法,其特征在于,所述S7,利用S6中经过验证的样本集进行模拟仿真实验,实验后验证和评估实验结果,如果实验结果符合预期,则输出这些样本,作为所需的最终实验方案,如果实验结果不符合评估,则对生成的变量进行变异,然后重新对该样本进行模拟仿真实验并评估其结果,如果结果不符合预期则需要对样本抽取策略和实验设计采样规则进行优化和调整,调整后回到S4,对隐变量空间进行新一轮的抽样。
9.复杂系统仿真实验设计系统,其特征在于,包括:
数据预处理模块,用于把真实样本转化成变分自编码器所需要的输入的形式;
网络学习模块,用于得到样本的隐变量空间和训练出用来将隐变量空间中的隐变量恢复到原本样本维度的变分自编码器的解码器;
高效实验设计模块,用于生成仿真实验的样本集;
迭代优化模块,用于评估和改善生成样本集的质量和优化采样方法。
CN202011268888.9A 2020-11-13 2020-11-13 复杂系统仿真实验设计方法及系统 Pending CN112270107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011268888.9A CN112270107A (zh) 2020-11-13 2020-11-13 复杂系统仿真实验设计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268888.9A CN112270107A (zh) 2020-11-13 2020-11-13 复杂系统仿真实验设计方法及系统

Publications (1)

Publication Number Publication Date
CN112270107A true CN112270107A (zh) 2021-01-26

Family

ID=74340542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268888.9A Pending CN112270107A (zh) 2020-11-13 2020-11-13 复杂系统仿真实验设计方法及系统

Country Status (1)

Country Link
CN (1) CN112270107A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776806A (zh) * 2018-05-08 2018-11-09 河海大学 基于变分自编码器和密度峰值的混合属性数据聚类方法
CN109783645A (zh) * 2019-01-23 2019-05-21 福州大学 一种基于变分自编码的文本分类方法
CN110276148A (zh) * 2019-06-27 2019-09-24 上海交通大学 基于自编码器的微结构降维特征提取及重构实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776806A (zh) * 2018-05-08 2018-11-09 河海大学 基于变分自编码器和密度峰值的混合属性数据聚类方法
CN109783645A (zh) * 2019-01-23 2019-05-21 福州大学 一种基于变分自编码的文本分类方法
CN110276148A (zh) * 2019-06-27 2019-09-24 上海交通大学 基于自编码器的微结构降维特征提取及重构实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王德文等: "基于孪生变分自编码器的小样本图像分类方法", 智能系统学报, vol. 16, no. 2, pages 254 - 262 *

Similar Documents

Publication Publication Date Title
CN110674604A (zh) 基于多维时序帧卷积lstm的变压器dga数据预测方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN116383912B (zh) 一种提高控制精度的微型电机结构优化方法及系统
CN110442911B (zh) 一种基于统计机器学习的高维复杂系统不确定性分析方法
CN109558899A (zh) 数据降维方法及装置
CN113516019A (zh) 高光谱图像解混方法、装置及电子设备
CN111783336A (zh) 一种基于深度学习理论的不确定性结构频响动力学模型修正方法
CN112200252A (zh) 基于概率盒全局灵敏度分析和主动子空间的联合降维方法
CN112270107A (zh) 复杂系统仿真实验设计方法及系统
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
CN114819107B (zh) 基于深度学习的混合数据同化方法
CN116613732A (zh) 一种基于shap值选择策略的多元负荷预测方法及系统
CN116303386A (zh) 一种基于关系图谱的缺失数据智能插补方法和系统
Guo et al. Mobile user credit prediction based on lightgbm
US20240103920A1 (en) Method and system for accelerating the convergence of an iterative computation code of physical parameters of a multi-parameter system
CN113487080B (zh) 一种基于风速分类的风速动态场景生成方法、系统及终端
CN117474140A (zh) 一种基于卷积神经网络的低压重过载分类预测方法
CN109447131B (zh) 相似高维目标信息识别方法及系统
Chakrapani et al. Predicting performance analysis of system configurations to contrast feature selection methods
CN112750505A (zh) 一种简化高碳燃料的大规模详细化学反应模型的方法
Wu et al. A RBF neural network modeling method based on sensitivity analysis and Pareto law
CN113868959B (zh) 一种基于自适应抽样与det结合的核电厂事故失效概率计算方法
CN117975174B (zh) 一种基于改进vqgan的三维数字岩心重构方法
CN116884536B (zh) 一种工业废渣砖生产配方自动优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination