CN112231786A - 一种评估仿真模型有效性的通用评估方法及系统 - Google Patents
一种评估仿真模型有效性的通用评估方法及系统 Download PDFInfo
- Publication number
- CN112231786A CN112231786A CN202011102744.6A CN202011102744A CN112231786A CN 112231786 A CN112231786 A CN 112231786A CN 202011102744 A CN202011102744 A CN 202011102744A CN 112231786 A CN112231786 A CN 112231786A
- Authority
- CN
- China
- Prior art keywords
- data
- simulation
- evaluation
- model
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 318
- 238000011156 evaluation Methods 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 183
- 238000012360 testing method Methods 0.000 claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 66
- 238000013461 design Methods 0.000 claims abstract description 33
- 238000012790 confirmation Methods 0.000 claims abstract description 22
- 238000010998 test method Methods 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000013075 data extraction Methods 0.000 claims description 11
- 238000013501 data transformation Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013209 evaluation strategy Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012854 evaluation process Methods 0.000 abstract description 17
- 238000003672 processing method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Architecture (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种评估仿真模型有效性的通用评估方法及系统，解决现有技术中仿真模型评估没有通用的评估方法的技术问题。该方法包括：获取源于基准模型的基准数据；分析基准模型状态并以此校验仿真模型与基准模型状态的一致性；根据试验设计开展仿真试验并获取仿真数据；根据基准数据和仿真数据的数据类型的不同提取其中的曲线数据和特征数据；根据曲线数据和特征数据自动选取验证仿真模型有效性评估的评估方法；根据评估方法统一的评估指标得到评估结果简报；针对评估结果简报进行迭代确认。本发明能够适应多种仿真模型在特定仿真过程过程或应用领域的有效性评估，简化了仿真评估过程，实现了评估过程的工具化形成了仿真评估通用流程。
Description
技术领域
本发明涉及仿真模型有效性评估技术领域，具体一种评估仿真模型有效性的通用评估方法及系统。
背景技术
随着信息化技术的发展和电子计算机的普及与性能提升，建模与仿真技术与高性能计算(High Performance Computing)一起，已经成为继理论研究和实验研究之后第三种认识、改造客观世界的重要手段。以此同时，数字化和仿真技术在工业领域的应用促进了工业产品研制模式从以二维图和技术文件为载体的模式逐步发展到以三维数字模型在载体的设计制造一体化模式，因此仿真技术在促进量化融合、提升产品核心竞争力等方面也发挥着关键作用。
模型是仿真技术研究与应用的核心。仿真技术能够在信息社会产品研发中支撑作用，其关键是模型能够满足特定方面的应用需求。因此，仿真模型校核、验证与确认(VV&A)技术成为仿真技术的重要分支。目前，国内仿真校核、验证与确认方面的技术研究主要集中在框架结构和技术方法两个方面。框架结构方面，主要研究VV&A的工作内容、过程规范化、标准体系以及通用技术框架。技术方法方面，提出了TIC指数法、假设检验法、谱分析法等模型评估的方法，并针对具体工程问题进行了模型的校核与验证，但是尚未形成较为通用的仿真模型VV&A的工程应用技术方案。
发明内容
鉴于上述问题，本发明实施例一种评估仿真模型有效性的通用评估方法及系统，解决现有针对仿真模型评估过程中评估方法多、量化指标易受人为因素影响，仿真模型的仿真试验过程复杂，仿真模型有效性评估因具体工程问题而异的问题。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种评估仿真模型有效性的通用评估方法，所述方法包括：
S1：获取源于基准模型的基准数据；
S2：分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
S3：根据试验设计开展仿真试验并获取仿真数据；
S4：根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
S5：自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
S6：根据评估方法统一的评估指标生成评估结果简报；
S7：针对评估结果简报进行迭代确认。
一实施例中，所述步骤S2包括：
S21：获取基准模型的工程量或数据文件；
S22：提取基准模型的特征、参数及性能曲线；
S23：根据基准模型的特征、参数及性能曲线确定反应仿真模型状态的工程量或数据文件；
S24：校验基准模型与仿真模型状态的一致性。
一实施例中，在步骤S24中须同时满足以下模型状态一致性判据：
仿真模型及其对物理或工程问题的简化是否能够完整、正确的描述基准模型；
仿真模型技术状态与基准模型技术状态是否一致；
仿真模型的关键特征、主要参数的设计值与基准模型相应的关键特征、主要参数的设计值是否一致；
产生仿真数据的仿真过程，与获取基准数据的实际物理或工程过程是否一致；
仿真数据与基准数据在数据获取位置、数据分类方面是否一致；
仿真数据与基准数据基于特定的物理过程或工程过程是否具有可比性。
一实施例中，所述步骤S3包括：
S31：根据基准模型状态给定仿真试验参数驱动执行单次仿真试验；
S32：根据仿真试验方法确定仿真试验方案，根据仿真试验方案生成多组仿真试验参数，针对多组仿真试验参数驱动执行多次仿真试验；
S33：手动获取或自动获取单次仿真试验和多次仿真试验产生的仿真数据。
一实施例中，所述步骤S4包括：
S41：按照待评估模型的输入数据关系区分为确定性输入模型和非确定性输入模型；
S42：将待评估模型的基准数据和仿真数据作为原始数据；
S43：在确定性输入模型中，提取原始数据中反映确定性输入模型物理过程的时间或空间关联的二维数据，根据二维数据中关联维差异和数据维差异进行数据预处理获得用于评估的曲线数据；提取获取的曲线数据中反映确定性输入模型物理过程特征量的数据作为特征数据；
S44：在非确定性输入模型中，提取原始数据中反映非确定性输入模型物理过程的时间或空间关联的二维数据，根据非确定性输入模型的物理过程对二维数据进行分析获取曲线数据；提取反映曲线数据特征量的数据作为特征数据。
一实施例中，所述步骤S5中的评估方法包括：
TIC系数法、灰色关联法、正态总体数理统计法、非参数假设检验法和功率谱密度的假设检验法；
在TIC系数法中将的基准数据的数据序列设为1，对仿真数据的数据序列进行归一化处理；
在灰色关联法中制定不同的数据变换算子，根据不同的数据类型采用不同的数据变换算子。
一实施例中，所述步骤S5包括：
当基准数据和仿真数据的数据类型为特征数据时，读入原始仿真数据和原始基准数据，并判断原始仿真数据和原始基准数据总的样本容量；当仿真数据的样本容量与基准数据中的样本容量为1时，选用TIC系数法和灰色关联法进行评估；当仿真数据的样本容量与基准数据中的样本容量大于1时，选用非参数假设验证法进行评估，判断基准数据与仿真数据是否同分布，将不是同分布的数据定义为无效数据不进行有效性评估，将属于同分布的数据计算仿真数据和基准数据的平均值和标准差，当仿真数据或基准数据的样本容量为1时，选用功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，当仿真数据或基准数据的样本容量大于1时，对属于正态分布或可转化为正态分布的数据选用正态总体数理统计法或功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，对不属于正态分布或不可转化为正态分布的数据选用TIC系数法和灰色关联法进行评估；
当基准数据和仿真数据的数据类型为曲线数据时，读入原始仿真数据和原始基准数据，判断基准数据和仿真数据是否为功率谱密度数据，若是则选用功率谱密度的假设检验法进行评估，若否则选用TIC系数法和灰色关联法或将基准数据和仿真数据视为两个总体的概率密度函数选用非参数假设验证法进行评估。
一实施例中，所述步骤S7包括：
S71：根据工程经验通过评估结果简报对评估结果进行确认；
S72：若确认通过输则出评估结果简报；
S73：若确认不通过则根据工程经验建立自定义评估策略形成自定义评估结果简报；
S74：确定自定义评估结果简报是否选择自动确认；
S75：若选择自动确认则返回步骤S71对自定义评估结果简报进行确认；
S76：若不选择自动确认则直接输出评估结果简报。
一实施例中，还包括；
将所述每个步骤中产生的数据记录于评估日志中。
第二方面，本发明提供一种评估仿真模型有效性的通用评估系统，所述系统包括：
获取单元：用于获取源于基准模型的基准数据；
校验单元：用于分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
试验设计单元：用于根据试验设计开展仿真试验并获取仿真数据；
数据提取单元：用于根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
验证单元：用于自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
评估指标单元：用于根据评估方法统一的评估指标生成评估结果简报；
确认单元：用于针对评估结果简报进行迭代确认。
从上述描述可知，本发明实施列提供一种评估仿真模型有效性的通用评估方法及系统，与现有技术相比产生了以下有益效果：
1.建立了基于基准数据和仿真数据的仿真模型有效性评估通用方案，能够适应多种类型仿真模型在特定仿真过程或应用领域的有效性评估，简化了仿真评估过程，实现了评估过程的工具化，提高了仿真评估的效率；实现了不同工程应用仿真问题在评估方案上的统一，便于在实际工作中予以应用。
2.建立了由多种评估方法组成的评估方法组合，针对仿真模型的特点形成了评估方法、评估策略和评估指标的组合，对仿真评估中数据处理、数据提取、评估方法组合、评估结果判定等技术关键点予以规范，形成了仿真评估通用流程；提供了基于数据的仿真模型评估通用方案与流程，为仿真评估过程规范化、信息化提供了技术方法与解决方案。
3.对评估方法进行了改进，同时确定了不同评估方法选用的具体流程，并确定了模型评价的具体指标和应用范围，提出了评估过程中获取仿真数据的仿真试验方法和数据处理方法，提升了评估数据获取过程的合理性，减少数据获取对评估结果的影响。
4.评估过程产生的所有数据均记录于评估日志中，将评估过程全盘掌握，当评估结果出现明显错误时，可实现评估过程的追本溯源。
附图说明
图1所示为本发明一实施例提供的一种评估仿真模型有效性的通用评估方法流程示意图；
图2所示为本发明一实施例提供的模型状态一致性校验流程示意图；
图3所示为本发明一实施例提供的仿真数据获取流程示意图；
图4所示为本发明一实施例提供的曲线数据和特征数据提取流程示意图；
图5所示为本发明一实施例提供的TIC系数法流程示意图；
图6所示为本发明一实施例提供的灰色关联法流程示意图；
图7所示为本发明一实施例提供的特征数据评估方法选用流程示意图；
图8所示为本发明一实施例提供的曲线数据评估方法选用流程示意图；
图9所示为本发明一实施例提供的评估结果迭代确认流程示意图；
图10所示为本发明一实施例提供的一种评估仿真模型有效性的通用评估体统的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，实施例中以S开头的标记仅为附图标记，而不是对步骤顺序的限定。
基于现有技术的缺点，本发明实施例提供了一种评估仿真模型有效性的通用评估方法的具体实施方式，如图1所示，该方法具体包括：
S1：获取源于基准模型的基准数据；
具体地，用于对仿真数据进行评估的理论计算、试验数据等其它作为评估基准的数据作为为基准数据，选择能够反映物理事件、工业产品或工程过程性能、指标、关键技术参数的数据作为基准数据，基准数据来源的物理事件、工业产品或工程过程成为基准模型。
S2：分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
具体地，校验的核心是为了确定是否正确地对应基准模型建立了相应的仿真模型。更详细地说，校验最关心的是是否按照仿真模型目标的功能需求正确地设计出仿真模型，并正确地实现了模型，通过分析基准模型的特征和状态，并以此为依据确定特征、参数、性能曲线等反应仿真模型状态的工程量或数据文件，对仿真模型进行一致性校验，可以保障实现上述目的。
S3：根据试验设计开展仿真试验并获取仿真数据；
具体地，试验设计是通过仿真试验过程获得仿真数据，其也适用于其它试验的技术设计。试验设计的方法包括但不限于多因子试验设计(如正交试验设计、拉丁方实验设计、均匀试验设计)、正态总体实验设计、蒙特卡洛试验设计、贝叶斯实验设计等通用的试验设计方法，通过试验设计方法生成试验参数开展仿真设计获得仿真数据。
S4：根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
具体地，从数据的表现形式上，将待评估数据(即基准数据和仿真数据)分为特征数据和曲线数据。特征数据是经数据处理后提取的反映模型或者数据特征的数据，如峰值、均值、标准差等数据特征以及延迟时间、精度等应用特征等；曲线数据是随着时间、空间或者其它因素变化的一组数据。
数据处理由通用数据处理、专用数据处理和数据转换三类方法组成。在有效性评估中，待评估数据采用相同的数据分析方法。通用数据处理方法用于应用分析前对数据进行一般性处理，它包括但不限于以下方法：预处理、检验、数字特征提取、时域分析、频域分析、时频分析方法。专用数据处理方法用于对数据进行与工程背景相关的特殊处理，它包括与试验设计相关的数据处理方法、与工程应用相关的数据处理方法两类。与试验设计相关的数据处理方法针对步骤S3中涉及的试验设计方法，对相关试验结果统计学和非统计学处理；与工程应用相关的数据处理方法针对不同应用场景对数据进行与工程背景相关的技术处理。数据转换方法用于将数据文件转换为能够直接被通用或专用数据处理方法采用的标准数据文件，其核心功能是文件解析与编码转换。经过数据处理后进而提取曲线数据和特征数据。
S5：自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
具体地，评估方法包括TIC系数法、灰色关联法、正态总体数理统计法、非参数假设检验法和功率谱密度的假设检验法。通过针对上述五种评估方法制定关于曲线数据和特征数据选用不同的评估方法。
S6：根据评估方法统一的评估指标生成评估结果简报；
具体地，针对步骤S5中每个评估方法均定义了各自的评估指标，并以图文结合的方式将评估中采用的仿真数据、基准数据，与评估过程中选用的方法、试验参数，评估过程、评估结果以及需要说明的其它事项记录在评估结果简报中。
S7：针对评估结果简报进行迭代确认。
具体地，这一步骤是对仿真模型的可接受性和有效性做出正式确认，如果发现评估结果简报中出现明显错误，则需经过在次确认，保证评估结果如实反映仿真系统的有效性，不出现误判。
在本实施例中，解决了仿真评估仅能针对具体工程问题、评估过程规范性差、评估结果受人为因素影响等问题，利用仿真的过程性特点，建立以数据(即基准数据和仿真数据)为主要对象的仿真模型有效性评估通用方法，为不同类型仿真模型评估提供从过程到方法的通用解决方案，以实现模型校验、验证过程中选用的评估方法、评估指标的规范化。
基于上述实施例，作为优选的实施例，如图2所示，在步骤S2中具体包括以下步骤：
S21：获取基准模型的工程量或数据文件；
S22：提取基准模型的特征、参数及性能曲线；
S23：根据基准模型的特征、参数及性能曲线确定反应仿真模型状态的工程量或数据文件；
S24：校验基准模型与仿真模型状态的一致性。
在步骤S24中须同时满足以下模型状态一致性判据：
仿真模型及其对物理或工程问题的简化是否能够完整、正确的描述基准模型；
仿真模型技术状态与基准模型技术状态是否一致；
仿真模型的关键特征、主要参数的设计值与基准模型相应的关键特征、主要参数的设计值是否一致；
产生仿真数据的仿真过程，与获取基准数据的实际物理或工程过程是否一致；
仿真数据与基准数据在数据获取位置、数据分类方面是否一致；
仿真数据与基准数据基于特定的物理过程或工程过程是否具有可比性。
在本实施例中，进一步规范了仿真模型与基准模型一致性校验的过程，形成了校验的通用标准，在进行有效性评估之前先对基准数据和仿真数据来源的仿真模型或基准模型进行一致性判据，防止出现因基准数据和仿真数据不对应导致误判的低级错误，保障基准数据和仿真数据的可靠性，确保评估过程使用的数据为真实有效的数据。
基于上述实施例，作为优选的实施例，如图3所示，步骤S3具体包括：
S31：根据基准模型状态给定仿真试验参数驱动执行单次仿真试验；
具体地，在进行单次仿真试验时，首先按照步骤S24校验仿真模型的有效性，然后通过给定的仿真试验参数进行单次仿真试验，给定的仿真试验参数可通过工程经验或背景知识确定。
S32：根据仿真试验方法确定仿真试验方案，根据仿真试验方案生成多组仿真试验参数，针对多组仿真试验参数驱动执行多次仿真试验；
具体地，在进行多次仿真试验时，首先按照步骤S24校验仿真模型的有效性，然后按照步骤S3中提出的仿真试验的方案、已有的工程经验、可行的设计方案或者设计状态生成符合条件的多组仿真试验参数，根据仿真试验参数(即仿真试验的条件)按照步骤S31进行多次单次仿真试验进而获得多组仿真数据。
单次仿真试验和多次仿真试验通过仿真驱动来实现，仿真驱动分为界面模式、脚本模式和第三方软件模式三类。界面模式通过仿真应用软件执行仿真试验，该方式一般仅用于单次仿真试验；脚本模式通过脚本语言或批处理命令实现仿真试验的执行，单次仿真试验和批量仿真试验均可采用该驱动方式；第三方软件模式通过第三方应用软件实现仿真试验的单次或批量执行，第三方软件包括但不限于优化软件、自行开发的信息化软件平台等。
S33：手动获取或自动获取单次仿真试验和多次仿真试验产生的仿真数据。
具体地，自动获取通过在仿真过程中嵌入编程脚本的方式实现仿真输出数据内容与格式的规范化；手动获取通过仿真应用软件的后处理功能实现文本、图像形式的仿真数据输出。
在本实施例中，将仿真数据获取过程规范化，形成了仿真试验开展及仿真数据获取的通用标准，使其仿真数据获取过程更加通用，用户可以根据实际情况对仿真模型进行单次仿真试验或者多次仿真试验，对于仿真数据的获取提供手动或者自动获取，适应性更强。
基于上述实施例，作为优选的实施例，如图4所示，步骤S4具体包括：
S41：按照待评估模型的输入数据关系区分为确定性输入模型和非确定性输入模型；
具体地，确定性输入模型的特点是输入与输出有唯一的确定关系，模型输入来源于确定的仿真场景或者工程实际，这里的仿真场景或工程实际可以是静态或动态过程；非确定性输入模型的特点是输入与输出没有唯一确定关系，模型输入来源于平稳随机等非确定过程的某一个样本。
S42：将待评估模型的基准数据和仿真数据作为原始数据；
S43：在确定性输入模型中，提取原始数据中反映确定性输入模型物理过程的时间或空间关联的二维数据，根据二维数据中关联维差异和数据维差异进行数据预处理获得用于评估的曲线数据；提取获取的曲线数据中反映确定性输入模型物理过程特征量的数据作为特征数据；
具体地，确定性输入模型曲线数据提取与处理过程为：从原始数据集中提取描述确定性模型物理过程的时间或空间关联的二维数据作为曲线数据(包含仿真数据与基准数据)。其中反映数据时间或者空间变化的数据维称为关联维，反映模型特性的数据称为数据维。
根据关联维差异进行预处理，当仿真数据和基准数据关联维首尾数据不一致时，按照基准数据关联维首尾数据对仿真数据进行截取，当仿真数据和基准数据采样间隔不一致时，按照较小的采样间隔对数据进行内插。
根据数据维差异进行数据预处理，按照相同单位制、相同的物理或者工程含义对曲线数据进行预处理，分析仿真数据与基准数据是否存在系统误差。记录系统误差并分析其产生原因，消除仿真数据与基准数据的系统误差，并将此数据作为待评估数据。
确定性输入模型特征数据提取与处理过程为：从原始数据集中直接获取反映模型物理过程的特征，从获得的曲线数据中提取模型特征，各类曲线提取的数据不限于下述内容：对周期性数据提取周期、波长与幅值；对非周期数据提取极值以及极值对应的关联维数据点；对曲线描述的物理过程的特征时刻与特征量并对特征量进行编号。
S44：在非确定性输入模型中，提取原始数据中反映非确定性输入模型物理过程的时间或空间关联的二维数据，根据非确定性输入模型的物理过程对二维数据进行分析获取曲线数据；提取反映曲线数据特征量的数据作为特征数据。
具体地，非确定性输入模型曲线数据提取与处理过程为：从原始数据集中提取描述非确定性模型物理过程的时间或空间关联的二维数据。
曲线数据提取与处理，根据非确定性模型描述的物理过程，对获得的二维数据进行分析，得到的数据作为待分析曲线数据，数据分析不限于下述方法：对周期性过程，提取其傅里叶谱；对平稳随机过程，提取其时间或者空间功率谱密度曲线；对瞬态过程，提取其能量谱或冲击响应谱。
非确定性输入模型曲线数据提取与处理过程为：从原始数据集中直接获取反映模型物理过程的特征，利用获取的曲线数据，分别对仿真数据和基准数据确定其经验分布，对获取的曲线数据，提取其特征，提取的特征不限于以下内容：均值、标准差与总均方根；极值以及极值对应的关联维数据点；极值的经验分布并对特征量进行编号。
在本实施例中，针对原始数据中曲线数据或特征数据提取和处理过程进行规范，形成了曲线数据或特征数据提取及处理的通用标准，待评估的数据均按照此规范进行，进一步提升了整体方案的通用性。
基于上述实施例，作为优选的实施例，步骤S5中的评估方法包括：
TIC系数法、灰色关联法、正态总体数理统计法、非参数假设检验法和功率谱密度的假设检验法；
1.TIC系数法
TIC系数法是在相同的输入条件下，以基准数据和仿真数据计算得到的TIC系数为检验指标，依据该指标来衡量基准模型与仿真模型结果的一直性，以此来评估试验模型。如图5所示，本发明在TIC系数法中将的基准数据的数据序列设为1，对仿真数据的数据序列进行归一化处理；输入数据为基准数据和仿真数据，假设基准数据的基准数据序列为：{yi}，对基准数据序列为1，记y′i＝1；假设仿真数据的仿真数据序列为：{xi}，对仿真数据序列进行归一化，记x′i＝xi/yi；通过公式：
在传统TIC方法的基础上，以归一化数据进行TIC指数计算有效解决了传统TIC系数法对数据绝对值和误差敏感的问题。
TIC法评估指标为：通过TIC值判定数据是否有效；当TIC值不大于0.1时表示数据较为有效，当TIC值大于0.1且TIC值不大于0.3时表数据有效，当TIC值大于0.3时表示数据无效。
2.灰色关联法
灰色关联法是一种因素分析方法，通过对系统统计数列的几何关系比较分析多因素数列间的关联程度。本发明在灰色关联法中制定不同的数据变换算子，根据不同的数据类型采用不同的数据变换算子。数据变换算子类型见表1。
表1灰色关联法的数据变换算子
灰色关联法的运算流程如图6所示，基于现有的灰色关联法将输入数据定为基准数据、仿真数据、误差等级数据、数据算子和权重系数，作为改进在构造评价矩阵过程中利用数据变换算子对数据矩阵进行规范化，提高了对评估数据的适应性，扩大了该方法的适用范围，根据灰色关联度计算公式输出灰色关联度数值。
灰色关联法的评估数据分为五个等级，各评估等级的数据通过基准数据与误差数据相乘得到，具体计算见公式1：
评价等级i＝基准数据×误差等级i。
当在无数据支持情况下，灰色关联法的误差等级见表2。有数据支持情况下，根据已有数据确定误差等级。
表2无数据支持情况下灰色关联法误差等级
当有多组基准数据时，根据数据的标准差计算灰色关联法的误差等级，见表3。
表3多组基准数据时的误差等级
3.正态总体数理统计法
正态总体数理统计法包括区间估计和假设检验两种方法。两种方法的输入均为基准数据、仿真数据和置信度，采用区间估计法时其输出结果为仿真数据均值和方差是否分别位于基准数据均值和方差的置信区间内；采用假设检验方法时其输出结果是仿真数据的均值与方差在给定置信度下是否与基准数据的均值和方差一致。
4.非参数假设检验法
非参数假设检验法包括χ2拟合优度检验、秩和检验、K检验和S检验4种方法。上述方法的输入为基准数据、仿真数据和置信度，输出为在给定置信度下仿真数据与基准数据的分布是否相同。
5.功率谱密度的假设检验法
功率谱密度的假设检验法采用平均周期图法计算，功率谱密度的假设检验法采用动态数据相容性检验方法。上述方法的输入为基础数据、仿真数据、置信度和功率谱密度估计参数。
其中，正态总体数理统计法、非参数假设检验法和功率谱密度的假设检验法，在进行评估时显著性水平可选择0.05或者0.1。
在本实施例中，对评估方法进行改进和规范，形成了仿真方法通用标准，针对评估方法制定统一的评估指标，提供了统一的评判指标，因此评估结果不受人为因素的影响，提升了评估结果的可靠性。
基于上述实施例，作为优选的实施例，步骤S5具体包括：
当基准数据和仿真数据的数据类型为特征数据时，如图7所示，首先读入原始仿真数据和原始基准数据，并判断原始仿真数据和原始基准数据总的样本容量；当仿真数据的样本容量与基准数据中的样本容量为1时(即一组基准数据对应着一组仿真数据)，选用TIC系数法和灰色关联法进行评估；当仿真数据的样本容量与基准数据中的样本容量大于1时，选用非参数假设验证法进行评估，判断基准数据与仿真数据是否同分布，将不是同分布的数据定义为无效数据不进行有效性评估，将属于同分布的数据计算仿真数据和基准数据的平均值和标准差，当仿真数据或基准数据的样本容量为1时，选用功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，当仿真数据或基准数据的样本容量大于1时(即基准数据和仿真数据出现多对多的情况)，对属于正态分布或可转化为正态分布的数据选用正态总体数理统计法或功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，对不属于正态分布或不可转化为正态分布的数据选用TIC系数法和灰色关联法进行评估；
当基准数据和仿真数据的数据类型为曲线数据时，如图8所示，首先读入原始仿真数据和原始基准数据，判断基准数据和仿真数据是否为功率谱密度数据，若是则选用功率谱密度的假设检验法进行评估，若否则选用TIC系数法和灰色关联法或将基准数据和仿真数据视为两个总体的概率密度函数选用非参数假设验证法进行评估。
在本实施例中，对特征数据和曲线数据的评估方法的选用进行规范化，形成了评估方法选取的通用标准，解决了仿真模型评估过程中评估方法多、量化指标易受人为因素影响的问题，对评估方法进行改进，同时确定了不同评估方法应用的具体流程，并确定了模型评价的具体指标和应用范围，规范了仿真模型评估过程。
基于上述实施例，作为优选的实施例，步骤S7具体包括：
S71：根据工程经验通过评估结果简报对评估结果进行确认；
S72：若确认通过输则出评估结果简报；
S73：若确认不通过则根据工程经验建立自定义评估策略形成自定义评估结果简报；
S74：确定自定义评估结果简报是否选择自动确认；
S75：若选择自动确认则返回步骤S71对自定义评估结果简报进行确认；
S76：若不选择自动确认则直接输出评估结果简报。
在本实施例中，形成了仿真评估结果迭代确认的通用标准，通过输出的评估结果简报对评估结果进行迭代确认，避免了评估结果的明确错误，在发现评估结果有明显错误时，通过自定义评估策略对仿真模型重新评估，确保针对仿真模型有效性评估的结果的准确性。
基于上述实施例，作为优选的实施例，还包括；
将步骤中产生的数据记录于评估日志中。
具体地，产生的数据通过状态记录方法进行记录。状态记录的手段包括从仿真或试验信息化系统中自动抓取、利用表格化管理工具人工记录两种。状态记录的内容包括对作为数据来源的模型或试验的技术参数以及其它可能影响仿真或试验结果的参数进行记录，必须记录的内容包括但不限于以下内容：仿真模型主要状态参数(外形特征、模型组件间关键接口、模型固有特性)、仿真过程主要参数(求解器类型及参数、仿真解算设置)、仿真输出设置(输出数据类型、输出数据的位置和方向)、基准数据来源信息(试验或模型状态、测点与测试信息)、基准数据的获取过程、仿真试验参数获取过程、仿真试验过程、仿真数据获取过程、曲线数据和特征数据提取过程、评估方法的选用过程以及迭代确认过程。
在本实施例中，将本发明整体方案各个步骤中产生的数据进行记录，在出现问题时可进行整体追溯，为确定是那个环节出现的问题提供了依据。
基于同一发明构思，本申请实施例还提供了一种评估仿真模型有效性的通用评估系统，可以用于实现上述实施例所描述的一种评估仿真模型有效性的通用评估方法，如下面的实施例。由于一种评估仿真模型有效性的通用评估系统解决问题的原理与一种评估仿真模型有效性的通用评估方法相似，因此一种评估仿真模型有效性的通用评估系统的实施可以参见一种评估仿真模型有效性的通用评估方法实施，重复之处不再赘述。以下所使用的，术语“单元”实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明提供了一种评估仿真模型有效性的通用评估系统，如图10所示。在图10中该系统包括：
获取单元11：用于获取源于基准模型的基准数据；
校验单元12：用于分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
试验设计单元13：用于根据试验设计开展仿真试验并获取仿真数据；
数据提取单元14：用于根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
验证单元15：用于自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
评估指标单元16：用于根据评估方法统一的评估指标生成评估结果简报；
确认单元17：用于针对评估结果简报进行迭代确认。
在本实施例中，解决了仿真评估仅能针对具体工程问题、评估过程规范性差、评估结果受人为因素影响等问题，利用仿真的过程性特点，建立以数据(即基准数据和仿真数据)为主要对象的仿真模型有效性评估通用方法，为不同类型仿真模型评估提供从过程到方法的通用解决方案，以实现模型校验、验证过程中选用的评估方法、评估指标的规范化。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种评估仿真模型有效性的通用评估方法，其特征在于，所述方法包括：
S1：获取源于基准模型的基准数据；
S2：分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
S3：根据试验设计开展仿真试验并获取仿真数据；
S4：根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
S5：自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
S6：根据评估方法统一的评估指标生成评估结果简报；
S7：针对评估结果简报进行迭代确认。
2.如权利要求1所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S2包括：
S21：获取基准模型的工程量或数据文件；
S22：提取基准模型的特征、参数及性能曲线；
S23：根据基准模型的特征、参数及性能曲线确定反应仿真模型状态的工程量或数据文件；
S24：校验基准模型与仿真模型状态的一致性。
3.如权利要求2所述的评估仿真模型有效性的通用评估方法，其特征在于，在步骤S24中须同时满足以下模型状态一致性判据：
仿真模型及其对物理或工程问题的简化是否能够完整、正确的描述基准模型；
仿真模型技术状态与基准模型技术状态是否一致；
仿真模型的关键特征、主要参数的设计值与基准模型相应的关键特征、主要参数的设计值是否一致；
产生仿真数据的仿真过程，与获取基准数据的实际物理或工程过程是否一致；
仿真数据与基准数据在数据获取位置、数据分类方面是否一致；
仿真数据与基准数据基于特定的物理过程或工程过程是否具有可比性。
4.如权利要求1所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S3包括：
S31：根据基准模型状态给定仿真试验参数驱动执行单次仿真试验；
S32：根据仿真试验方法确定仿真试验方案，根据仿真试验方案生成多组仿真试验参数，针对多组仿真试验参数驱动执行多次仿真试验；
S33：手动获取或自动获取单次仿真试验和多次仿真试验产生的仿真数据。
5.如权利要求1所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S4包括：
S41：按照待评估模型的输入数据关系区分为确定性输入模型和非确定性输入模型；
S42：将待评估模型的基准数据和仿真数据作为原始数据；
S43：在确定性输入模型中，提取原始数据中反映确定性输入模型物理过程的时间或空间关联的二维数据，根据二维数据中关联维差异和数据维差异进行数据预处理获得用于评估的曲线数据；提取获取的曲线数据中反映确定性输入模型物理过程特征量的数据作为特征数据；
S44：在非确定性输入模型中，提取原始数据中反映非确定性输入模型物理过程的时间或空间关联的二维数据，根据非确定性输入模型的物理过程对二维数据进行分析获取曲线数据；提取反映曲线数据特征量的数据作为特征数据。
6.如权利要求1所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S5中的评估方法包括：
TIC系数法、灰色关联法、正态总体数理统计法、非参数假设检验法和功率谱密度的假设检验法；
在TIC系数法中将的基准数据的数据序列设为1，对仿真数据的数据序列进行归一化处理；
在灰色关联法中制定不同的数据变换算子，根据不同的数据类型采用不同的数据变换算子。
7.如权利要求6所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S5包括：
当基准数据和仿真数据的数据类型为特征数据时，读入原始仿真数据和原始基准数据，并判断原始仿真数据和原始基准数据总的样本容量；当仿真数据的样本容量与基准数据中的样本容量为1时，选用TIC系数法和灰色关联法进行评估；当仿真数据的样本容量与基准数据中的样本容量大于1时，选用非参数假设验证法进行评估，判断基准数据与仿真数据是否同分布，将不是同分布的数据定义为无效数据不进行有效性评估，将属于同分布的数据计算仿真数据和基准数据的平均值和标准差，当仿真数据或基准数据的样本容量为1时，选用功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，当仿真数据或基准数据的样本容量大于1时，对属于正态分布或可转化为正态分布的数据选用正态总体数理统计法或功率谱密度的假设检验法或TIC系数法和灰色关联法进行评估，对不属于正态分布或不可转化为正态分布的数据选用TIC系数法和灰色关联法进行评估；
当基准数据和仿真数据的数据类型为曲线数据时，读入原始仿真数据和原始基准数据，判断基准数据和仿真数据是否为功率谱密度数据，若是则选用功率谱密度的假设检验法进行评估，若否则选用TIC系数法和灰色关联法或将基准数据和仿真数据视为两个总体的概率密度函数选用非参数假设验证法进行评估。
8.如权利要求1所述的评估仿真模型有效性的通用评估方法，其特征在于，所述步骤S7包括：
S71：根据工程经验通过评估结果简报对评估结果进行确认；
S72：若确认通过输则出评估结果简报；
S73：若确认不通过则根据工程经验建立自定义评估策略形成自定义评估结果简报；
S74：确定自定义评估结果简报是否选择自动确认；
S75：若选择自动确认则返回步骤S71对自定义评估结果简报进行确认；
S76：若不选择自动确认则直接输出评估结果简报。
9.如权利要求1-8任一项所述的评估仿真模型有效性的通用评估方法，其特征在于，还包括；
将所述每个步骤中产生的数据记录于评估日志中。
10.一种评估仿真模型有效性的通用评估系统，其特征在于，所述系统包括：
获取单元：用于获取源于基准模型的基准数据；
校验单元：用于分析基准模型状态并以基准模型状态校验仿真模型与基准模型状态的一致性；
试验设计单元：用于根据试验设计开展仿真试验并获取仿真数据；
数据提取单元：用于根据基准数据和仿真数据的不同表现形式提取其曲线数据和特征数据；
验证单元：用于自动选取针对曲线数据和特征数据开展有效性评估的评估方法；
评估指标单元：用于根据评估方法统一的评估指标生成评估结果简报；
确认单元：用于针对评估结果简报进行迭代确认。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102744.6A CN112231786B (zh) | 2020-10-15 | 2020-10-15 | 一种评估仿真模型有效性的通用评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102744.6A CN112231786B (zh) | 2020-10-15 | 2020-10-15 | 一种评估仿真模型有效性的通用评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112231786A true CN112231786A (zh) | 2021-01-15 |
| CN112231786B CN112231786B (zh) | 2024-01-30 |
Family
ID=74113621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011102744.6A Active CN112231786B (zh) | 2020-10-15 | 2020-10-15 | 一种评估仿真模型有效性的通用评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112231786B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204893A (zh) * | 2021-05-26 | 2021-08-03 | 三一专用汽车有限责任公司 | 摄像头仿真精度评估方法及装置 |
| CN113705024A (zh) * | 2021-10-27 | 2021-11-26 | 杭萧钢构股份有限公司 | 一种基于参数有效性的钢结构质量评估系统及方法 |
| CN115660398A (zh) * | 2022-12-13 | 2023-01-31 | 石家庄通合电子科技股份有限公司 | 一种基于环境试验的全流程监督评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102955902A (zh) * | 2012-10-09 | 2013-03-06 | 中国人民解放军63892部队 | 雷达模拟设备可信度的评估方法及评估系统 |
| CN107679300A (zh) * | 2017-09-20 | 2018-02-09 | 北京安怀信科技股份有限公司 | 一种仿真、试验结果一致性分析系统及方法 |
| CN108388751A (zh) * | 2016-04-15 | 2018-08-10 | 哈尔滨工业大学 | 基于虚拟试验系统与实际系统的虚实比对分析方法 |
| CN108647878A (zh) * | 2018-05-08 | 2018-10-12 | 哈尔滨工业大学 | 一种训练仿真器的可信度评估方法 |
| CN110245443A (zh) * | 2019-06-21 | 2019-09-17 | 中国人民解放军63892部队 | 一种基于映射函数的多类型输出仿真模型可信度综合评估方法 |
-
2020
- 2020-10-15 CN CN202011102744.6A patent/CN112231786B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102955902A (zh) * | 2012-10-09 | 2013-03-06 | 中国人民解放军63892部队 | 雷达模拟设备可信度的评估方法及评估系统 |
| CN108388751A (zh) * | 2016-04-15 | 2018-08-10 | 哈尔滨工业大学 | 基于虚拟试验系统与实际系统的虚实比对分析方法 |
| CN107679300A (zh) * | 2017-09-20 | 2018-02-09 | 北京安怀信科技股份有限公司 | 一种仿真、试验结果一致性分析系统及方法 |
| CN108647878A (zh) * | 2018-05-08 | 2018-10-12 | 哈尔滨工业大学 | 一种训练仿真器的可信度评估方法 |
| CN110245443A (zh) * | 2019-06-21 | 2019-09-17 | 中国人民解放军63892部队 | 一种基于映射函数的多类型输出仿真模型可信度综合评估方法 |
Non-Patent Citations (3)
| Title |
|---|
| YUCHEN ZHOU 等: "Simulation Credibility Evaluation Based on Multi-source Data Fusion", 《METHODS AND APPLICATIONS FOR MODELING AND SIMULATION OF COMPLEX SYSTEMS》, pages 18 * |
| 吴艳 等: "仿真模型有效性评估在特种车辆仿真中的应用", 《导弹与航天运载技术》, no. 4, pages 53 - 57 * |
| 马震 等: "复杂仿真系统模型验证工具设计与实现", 《现代防御技术》, vol. 44, no. 4, pages 153 - 159 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204893A (zh) * | 2021-05-26 | 2021-08-03 | 三一专用汽车有限责任公司 | 摄像头仿真精度评估方法及装置 |
| CN113204893B (zh) * | 2021-05-26 | 2023-03-03 | 三一专用汽车有限责任公司 | 摄像头仿真精度评估方法及装置 |
| CN113705024A (zh) * | 2021-10-27 | 2021-11-26 | 杭萧钢构股份有限公司 | 一种基于参数有效性的钢结构质量评估系统及方法 |
| CN113705024B (zh) * | 2021-10-27 | 2022-08-19 | 杭萧钢构股份有限公司 | 一种基于参数有效性的钢结构质量评估系统及方法 |
| CN115660398A (zh) * | 2022-12-13 | 2023-01-31 | 石家庄通合电子科技股份有限公司 | 一种基于环境试验的全流程监督评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112231786B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112231786B (zh) | 一种评估仿真模型有效性的通用评估方法及系统 | |
| CN106897833B (zh) | 一种新能源配电网可靠性的评估方法及装置 | |
| CN112597062B (zh) | 军用软件结构化质量数据抽取方法、装置及软件测试装置 | |
| CN114546868A (zh) | 代码覆盖率测试方法、装置和电子设备 | |
| Pakonen et al. | User-friendly formal specification languages-conclusions drawn from industrial experience on model checking | |
| US20200074040A1 (en) | Hierarchical expression coverage clustering for design verification | |
| Holık et al. | Towards formal relaxed equivalence checking in approximate computing methodology | |
| CN112380123A (zh) | 一种面向c/c++混源软件的自动化质量评估系统设计方法 | |
| CN111444635A (zh) | 一种基于xml语言的系统动力学仿真建模方法及引擎 | |
| CN113821200B (zh) | 大数据任务可拖拽建模方法、系统、存储介质和终端 | |
| Schmid et al. | A survey of simulation tools for requirements engineering | |
| CN107273293B (zh) | 大数据系统性能测试方法、装置及电子设备 | |
| CN116204396A (zh) | 一种针对分析型数据库性能的测试方法和装置 | |
| CN113642209A (zh) | 基于数字孪生的结构植入故障响应数据获取及评判方法 | |
| CN113742213A (zh) | 一种用于数据分析的方法、系统和介质 | |
| Trindade et al. | The dance of classes-A stochastic model for software structure evolution | |
| CN116257218B (zh) | 一种统计分析软件与核能程序的接口设计方法及集成系统 | |
| CN112380798B (zh) | 参数检查方法、装置、设备和存储介质 | |
| CN109284320A (zh) | 大数据平台上的自动回归诊断方法 | |
| CN116795725B (zh) | 一种临床电子数据采集系统的自动验库方法和系统 | |
| Hemmati | Similarity-based test case selection: Toward scalable and practical model-based testing | |
| Bucur | On Quality and Measures in Software Engineering. | |
| US10839128B2 (en) | Error detection technique based on identifying data trend issues | |
| Al-Suod et al. | Marine Electric Generating Plants Control Systems Software Functional Testing | |
| Hlobilová et al. | A Unified Benchmarking Platform for UQ Algorithms in UQLab |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |