CN116822109A - 用于执行系统评估的计算机实现的方法 - Google Patents

Abstract

本公开涉及用于执行系统评估的计算机实现的方法、用于执行系统评估的计算机程序元件、计算机存储介质和包括该计算机存储介质的系统。该计算机实现的方法包括：创建至少一个运行配置分组，该运行配置分组包括至少一个规范层次结构；创建应用协议接口，该应用协议接口包括通用代码部分和应用专用代码部分；经由应用协议接口从引用评估应用工具的运行配置分组接收用于构建评估环境的输入；以及基于该输入构建评估环境。评估环境能够使用标准化格式接收进一步的输入，基于规范层次结构中的信息修改评估的各个方面。该规范层次结构链接到用于设置评估环境的多个规范数据对象。该通用代码部分被配置为向应用专用代码部分提供标准化指令，并且该应用专用代码部分被配置为修改链接到规范层次结构的多个规范数据对象的格式，以供评估应用工具使用。

Description

用于执行系统评估的计算机实现的方法

技术领域

本公开涉及用于执行系统评估的计算机实现的方法、用于执行系统评估的计算机程序元件、计算机存储介质和包括这种计算机存储介质的计算机系统。

背景技术

在工程中，计算分析是为了预测技术系统的性能或特性而进行的，它通常依赖于许多方面，诸如技术系统的每个子系统的精确配置、在模拟期间或之后记录的不同测量、求解器要求的精度、初始和环境条件以及系统的精确负载情况。这可以反映为模拟的设置或配置。

在实际中，计算分析需要建立技术系统的数值模型，用合适的参数填充该数值模型，使其符合预期的初始和边界条件，选择合适的求解器系统，确定硬件，并对结果进行评估。这意味着，模拟的每一步都需要输入或配置数据和决策。传统上，这些信息(即配置数据)已经从其起源的任何地方收集，并插入到模拟的上下文中，然后执行模拟。在请求后续分析的情况下，需要改变相应的实体，并重复模拟。

有一些模拟系统允许子系统的更加模块化的方法，其中可以改变配置的一部分，而不改变整个数据集。这些系统是为特定的仿真域量身定制的，通常将配置分成或多或少匹配不同物理域的部分。

发明内容

因此，可能需要提供一种用于准备和执行系统评估的改进方法，该方法可以优化各种数据的利用。

通过本公开的独立权利要求的主题至少部分地解决或减轻了该问题，其中进一步的示例结合在从属权利要求中。应当注意，下面描述的本公开的方面适用于用于执行系统评估的计算机实现的方法、用于执行系统评估的计算机程序元件、计算机存储介质和包括这种计算机存储介质的计算机系统。

该计算机实现的方法包括：创建至少一个运行配置分组，该运行配置分组包括至少一个规范层次结构；创建应用协议接口，该应用协议接口包括通用代码部分和应用专用代码部分；经由应用协议接口从评估应用工具中的运行配置分组接收用于构建评估环境的输入；以及基于该输入构建评估环境。该规范层次结构链接到用于设置评估环境的多个规范数据对象。该通用代码部分被配置为向应用专用代码部分提供标准化指令，并且该应用专用代码部分被配置为修改链接到规范层次结构的多个规范数据对象的格式，以供评估应用工具使用。

根据本公开的计算机实现的方法可以提供用于系统评估的模板，该模板允许系统评估的标准化配置和/或执行。因此，可以通过经由模板加载执行系统评估所需的规范数据对象来优化系统评估，这可以允许整个系统评估的自动化。因此，可以实现节省时间、存储和/或处理器容量。另外，不具备系统评估的广泛知识的用户可以容易地完成系统评估。

为了理解或预测技术对象或技术系统，可以执行计算分析。例如，系统评估可应用于预测和/或分析车辆的碰撞事件、车辆的驾驶性能等。

运行配置分组可适于为执行系统评估提供有关要使用的评估应用工具、要建立的评估环境、要在系统评估中应用的系统和参数规范、分析和报告的要求等的信息。运行配置分组可以通过掩码包括这样的信息，掩码可以被标准化并作为系统评估的全局模板。因此，用户可以能够独立于要模拟的对象或系统、要使用的评估工具、测试环境和/或测试参数容易地启动系统评估。

运行配置分组可以自动生成，也可以手动生成。运行配置分组可以形成构建和执行系统评估的基础。运行配置分组可以引用或指示形成规范层次结构的特定工作命令。换句话说，运行配置分组可以包括至少一个规范层次结构，该规范层次结构可以提供执行系统评估所必需的整个技术信息。技术信息可以定义规范，诸如包含在多个规范数据对象中的分析的特定方面，包括环境、系统配置、传感器技术、测试序列、用例、后处理、报告、实验设置等。

规范层次结构可以是规范组织结构，其可以允许建立规范数据对象的调制集合。规范层次结构可以引用和/或加载多个规范数据对象。规范层次结构可以包括多个信息层，以促进规范数据对象到评估应用工具的传输。

在多个信息层中，只有规范层次结构的顶部信息层可以与评估应用工具通信，以提供规范数据对象。然而，顶部信息层可以仅指示设置和/或执行评估环境所需的规范数据对象，而不存储任何规范数据集。换句话说，顶部信息层可以用作评估应用工具和规范数据对象的数据集之间的接口。

传统的仿真工具通常利用单一数据集来配置和执行模拟，该数据集通常存储为包含整个信息的单个数据文件。因此，不同的分析可能需要另一数据集，这些数据可能仅在少数修改部分不同。新数据集的未修改部分携带重复信息，在使用的上下文之间不相互引用。除了占用更多的空间之外，重复信息可能不会从单一数据集中单独提取，因此很难保持最新。一段时间后，这会导致单一数据集的大量变化。

应用协议接口可以是进程调度器的一部分。进程调度器可以应用多学科设计优化过程。应用工具可以用Python、Perl、Ruby等开发。

该进程调度器可以包括，例如，用于诸如配置、构建、运行、分析系统评估的执行步骤的模块，包含各个步骤的工具特定子类的模块，扩展每个工具集成的功能，用于处理正在进行的模拟的状态的会话处理程序子分组，用于实现的环境的示例，实用功能，处理格式转换，数学转换，需求分组文件，构建和测试代码，文档等。

通常，为了构建评估环境和/或执行系统评估，可以应用评估应用工具，换句话说，诸如MATLAB、ANSYS、Simpy等的仿真工具。然而，每个评估应用工具可能需要自己的数据格式。这种依赖于应用的格式通常很难在不同的评估应用工具之间共享。因此，数据文件可能经常必须为评估应用工具单独调整，这可能导致生成需要大数据存储容量的重复信息。

因此，应用协议接口可以被配置为在要收集以执行系统评估的规范数据对象和评估应用工具的数据集之间进行接口。应用协议接口可以由通用代码部分和应用专用代码部分划分。换句话说，应用协议接口可以从通用代码部分实例化，通用代码部分可以由应用专用代码部分扩展。

通用代码部分可以是与工具无关的部分并被配置用于通用规范解释。通用代码部分可以由包含通用代码的模块化代码框架定义，该通用代码负责所有关于用户、平台和系统的通用设置。

而应用专用代码部分可以针对每个评估应用工具要求进行调整，以处理工具特定设置。具体地，应用专用代码部分可被配置为相对于要利用的评估应用工具修改规范数据对象的格式。换句话说，应用专用代码部分可以包括用于相对于要利用的评估应用工具修改规范数据对象的格式的代码。

因此，链接到指定运行配置分组的规范层次结构的规范数据对象可以由通用代码部分解释，并且它们的格式可以被转换为与要利用的评估应用工具兼容的格式。因此，应用协议接口可以允许规范数据对象和各种评估应用工具之间的统一接口。因此，规范数据对象可能不需要包括每个单独应用工具的格式，并且可以在任何评估应用工具中普遍应用。

包括应用工具特定数据的规范数据对象可以被传送到评估应用工具，作为用于配置评估环境的输入。因此，评估应用工具能够基于对评估应用工具适配和/或优化的输入来设置或构建评估环境。

在一个示例中，运行配置分组还包括进程调度器信息。运行配置分组的进程调度器信息可以提供例如用于执行预期系统评估的进程调度器的特定版本。

运行配置分组还包括规范层次结构。规范层次结构可以提供例如用于执行系统评估的评估应用工具的名称、其版本等。

因此，包括规范层次结构和进程调度器信息的运行配置分组可以提供执行系统评估所需的整个配置信息。因此，可以避免与进程调度器有关的任何混淆，并且可以促进进程调度器的可追溯性。

在一个示例中，规范层次结构包括若干信息层，用于基于要在物理测试环境中应用的规范来调制多个规范数据对象。例如，规范层次结构可以包括至少三个信息层。第一信息层可被配置为引用要在预期系统评估中应用的一个或多个规范数据对象，其中规范数据对象可基于要在物理测试环境中应用的规范来分类。第一信息层可用作经由应用协议接口将规范数据对象传送到评估应用工具的通道。

可以将第二信息层链接到第一信息层，用于加载在第一信息层中引用的规范数据对象。此外，可以将第三信息层链接到第二信息层，用于加载第二信息层中加载的规范数据对象的至少一个、优选地多个数据集。

传统的仿真工具通常利用单一数据集来配置和执行模拟，该数据集通常存储为包含整个信息的单个数据文件。然而，通过定义要发送到评估应用工具的规范数据对象的信息层次结构，评估应用工具可以不需要访问存储的单一数据集来配置和执行模拟，这可以提高过程效率和可靠性。

在一个示例中，该方法还包括将多个规范数据对象作为数据记录或帖子(post)存储在数据库中。在一个示例中，该方法还包括将所述多个规范数据对象作为单独的数据文件存储在诸如计算设备内部的计算机存储介质中，例如计算机的SSD或可移动设备，例如外部HDD或通用串行总线(USB)闪存驱动器。

在一个示例中，该方法还包括通过工具安装数据、工具配置数据、模型参数、测试方法、激励水平、前后处理脚本和模拟设置对多个规范数据对象进行分类。换句话说，多个规范数据对象可以相对于真实测试环境被调制，并且每个分类的规范数据对象可以被单独地选择用于准备评估环境。规范数据对象可以包括规范文件。因此，可以实现对规范数据对象的快速访问和对每个规范数据对象的更好理解。

在一个示例中，该方法还包括基于运行配置分组安装评估应用工具。特别地，定义评估应用工具的规范数据对象可以在运行配置分组的规范层次结构中被引用。进程调度器可以在执行系统评估的计算机处安装所选择的应用评估工具，其中该计算机可以是本地计算机和/或经由网络连接。

在一个示例中，该方法还可以包括仅从运行配置分组接收用于构建模拟环境的输入。用于执行系统评估的评估应用工具可能仅具有对运行配置分组的访问权。具体而言，评估应用工具可以仅连接到第一层，即规范层次结构的顶部信息层，该顶部信息层经由应用协议接口引用构建评估环境所需的一个或多个规范数据对象，这可根据要利用的评估应用工具修改所引用的规范数据对象的格式。

换句话说，运行配置分组可以是应用工具的唯一输入，并充当“单一事实来源”。因此，应用工具可以不需要访问整个单一数据集来配置和执行模拟，这可以提高处理效率和可靠性。

在一个示例中，该方法还包括基于运行配置分组执行系统评估。一旦构建了评估环境，包括系统评估的执行步骤的进程调度器可以提示评估应用工具运行模拟。由于在进程调度器中定义了这样的执行步骤，所以可以自动执行从安装评估应用工具、构建评估环境到执行系统评估的步骤。

在一个示例中，该方法还包括使用标准化输入模板修改评估环境，该标准化输入模板包括在从规范层次结构构建评估环境期间编译的参数和/实验信息。因此，可以根据预期系统评估的目的修改评估环境，而无需重新编译评估环境。因此，这可以在执行系统评估时进行参数研究和优化。

在一个示例中，该方法还包括在元层中引用两个或更多个运行配置分组。元层可以包括至少两个运行配置分组，每个运行配置分组定义单独的系统评估。例如，两个配置分组在评估应用工具、测试对象、特定规范要求和/或参数设置方面可能彼此不同。

为了在元层级别执行系统评估，可以提供元管理器单元。元管理器单元可以包括，例如，包括帮助和指令的命令行接口、运行器配置、包括分组的默认版本的单运行器配置模板构建器、包括安装、验证进程调度器的分组管理、包括版本控制接口的数据库管理器、运行器、通过进程调度器执行分析等。

在一个示例中，该方法还包括并行执行在元层中引用的运行配置分组的系统评估。元层可被特别配置为同时和/或连续地执行两个或更多个系统评估，每个系统评估在相应的运行配置分组中定义。元管理器单元可以生成和/或提供多个系统评估的自动调度，这可以使得能够在高性能计算集群上进行多批运行。

在一个示例中，该方法还包括读取系统评估的至少一个输出并经由应用协议接口修改该至少一个输出以包括预定义的输出格式。进程调度器还可以包括用于自动收集由系统评估生成的输出的代码，其中该输出可以包括相应评估应用工具的特定数据格式。

因此，可以经由应用协议接口修改输出的格式，并且输出可以包括在相应的运行配置分组中、特别是在规范数据对象中预定义的格式。因此，即使由不同的评估应用工具从不同的工程角度执行几个系统评估，它们的输出可以包括统一的格式，这可以使得来自不同工程领域的计算结果的有效组合。

这同样还可以应用于元层中的系统评估，即具有相应运行配置分组的单个系统评估的输出可以包括相同的格式。因此，可以对系统评估进行直接分析和/或评价。

在一个示例中，预定义的输出格式是与应用工具无关的格式。应用协议接口可以被配置为修改系统评估的输出，使得输出可以包括独立于应用工具的格式。换句话说，应用协议接口可以能够标准化输出格式。例如，输出可以是关键性能指标(KPI)，指的是可用于测量和/或确定关于系统内重要目标或关键成功因素的进展或实现程度的关键数据。

因此，修改、执行和监视运行配置分组的两个或多个系统评估的元管理器可以提供多学科评估，即多学科设计优化。

在一个示例中，该方法还包括基于输出分析和报告系统评估。运行配置分组的规范数据对象还可以包括用于后处理的脚本，即分析和/或报告系统评估的输出。进程调度器可以解释这样的规范数据对象并运行用于分析和/或报告的相应步骤。由于输出可以包括标准格式，所以可以容易地执行对输出的分析和/或评估。在报告中，结果可以用表格、图形和/或文本表示。结果可以将输出与输入进行比较和/或绘制，例如运行配置分组。

在一个示例中，该方法还包括对运行配置分组进行版本控制。在一个示例中，该方法还包括对元层进行版本控制。术语“版本控制”可以理解为可以控制和跟踪存储在数据库中的数据的变化。每个新生成的版本都可以用数字或字母代码保存在档案中。例如，如果在单个数据集中进行了第一次改变，则可以由“Ver.2”来标识所改变的数据集。

因此，运行配置分组的初始或当前数据集的任何改变可以启动以创建所述数据集的新版本，这反过来可以使得规范数据对象的版本控制以及随后运行配置分组和元层的版本控制。通过更新和创建每个规范层次结构、运行配置分组和元层的新版本(多个)，通常由其文件名反映的信息的演变可以容易地被历史本身和规范的层次结构跟踪。因此，可以改进数据集和/或规范数据对象中的变化的可追溯性。因此，可以唯一地跟踪模拟环境的演变。

根据本公开，提出了一种用于执行系统评估的计算机程序元件。当由处理元件执行时，计算机程序元件适于执行如上所述的方法步骤。

根据本公开，提出了一种或多种计算机存储介质。计算机存储介质用指令编码，当由计算机执行时，该指令使计算机执行如上所述的相应方法的操作。

存储介质可以包括在计算设备内部，例如计算机的SSD，或者可移动设备，例如外部HDD或通用串行总线(USB)闪存驱动器。还有其他类型的存储介质，包括磁带、光盘(CD)和非易失性存储器(NVM)卡。

根据本公开，提出了一种计算机系统。该系统包括如上所述的一个或多个计算机存储介质和用于执行指令的计算机。

应当注意的是，上述示例可以相互组合而与所涉及的方面无关。因此，该方法可以与结构特征相结合，同样，该系统可以与上面关于该方法描述的特征相结合。

本公开的这些和其他示例将从下文描述的实施例变得显而易见，并参考下文描述的实施例来阐明。

附图说明

下面将参考以下附图描述根据本公开的示例。

图1示意性地和示例性地示出了根据本公开的用于执行系统评估的计算机实现的方法的流程图的示例。

图2示意性地和示例性地示出了根据本公开的用于执行系统评估的计算机实现的方法的示例。

图3示意性地和示例性地示出了根据本公开的规范层次结构的示例。

具体实施方式

图1和图2示出了根据本公开的用于执行系统评估的计算机实现的方法。该方法可适于基于定义要分析的系统及其环境的信息来理解或预测技术对象或技术系统，例如预测和/或分析车辆的碰撞事件、车辆的驾驶性能等。该方法可以不一定按此顺序执行。

图1中的每个元素结合图2表示：

S0将多个规范数据对象存储为数据库中的数据记录或帖子和/或作为单独的数据文件存储在计算机存储介质中；

S1创建包括若干信息层20、30、40的规范层次结构100，用于基于要在物理测试环境中应用的规范来调制多个规范数据对象；

S2通过工具安装数据、工具配置数据、模型参数、测试方法、激励水平、前后处理脚本和模拟设置对多个规范数据对象进行分类。

S3创建至少一个运行配置分组11，

其中，运行配置分组11、规范层次结构100和进程调度器信息51，并且进程调度器信息51包括将用于系统评估的进程调度器50的信息；

S31版本控制运行配置分组11；

S4在元层200中引用两个或多个运行配置分组11′、11″；

S41版本控制元层200；

S5基于运行配置分组11打开进程调度器50；

S6创建包括通用代码部分53和应用专用代码部分54的应用协议接口52，

通用代码部分53被配置为向应用专用代码部分54提供标准化指令，

应用专用代码部分54被配置为修改链接到规范层次结构100的多个规范数据对象的格式，以供评估应用工具60使用；

S61基于运行配置分组11，特别是基于参数和/或实验规范数据对象，创建标准化输入模板80；

S7基于运行配置分组11安装评估应用工具60，

应用工具需要检索和/或定位的数据81以可访问以运行应用工具；

S8经由应用协议接口52从参考评估应用工具60的运行配置分组11接收用于构建评估环境90的输入；

S9基于输入构建评估环境90；

S91使用标准化输入模板80修改评估环境90；

S10基于运行配置分组11执行系统评估；

S101并行地执行在元层200中引用的运行配置分组11、11′、11″的系统评估；

S11读取系统评估的至少一个输出并经由应用协议接口52修改该至少一个输出以包括预定义的输出格式，

其中预定义输出70格式是独立于应用工具的格式；

S12基于输出70分析和报告系统评估。

因此，可以实现用于执行系统评估的标准化方法。可以通过经由模板加载系统评估所需的规范数据对象来优化系统评估，这可以使得节省时间、存储和/或处理器容量。这种面向方面的方法允许跨域和环境的相关规范的重用和共享。此外，规范提供的信息可能与不同的模拟工具兼容，并作为共同的信息源。另外，对系统评估不具有广泛知识的用户可以容易地完成系统评估。此外，可以实现系统评估的完全自动化。

如图3所示，为执行系统评估而提供的信息可以在包括若干信息层的规范层次结构100中构成。在信息层次结构100的顶部，布置了第一信息层10，即运行配置分组11。因此，信息层次结构100的第一信息层10链接到用于设置评估环境90的多个规范数据对象，并提供用于系统评估的应用工具的信息。在第一信息层10之后，布置第二信息层20。第二信息层20包括至少一个工作命令21，该工作命令21包括一个或多个规范数据对象31的分组。

在第二信息层20之后，布置了第三信息层30。第三信息层30被配置为加载在第二信息层20中引用的每个规范数据对象31。换言之，在第三信息层30中收集在第二信息层20中指示为用于构建评估环境90的必要信息的所有规范数据对象31。

在信息层次结构100的底部，布置了第四信息层40。第四信息层40被配置为加载第三信息层30中加载的至少一个规范数据对象31的一个或多个数据集41。因此，用于执行系统评估的应用工具可以获得构建评估环境90所需的全部信息。另外，信息层次结构100可以包括向第三信息层30提供信息的其他信息层。

此外，规范层次结构100还可以包括元层，元层包括两个或更多个运行配置分组。规范层次结构100的最上层，其可以是元层、运行配置分组10和/或工作命令20，可以是应用工具的唯一输入，并充当“单一事实源”。因此，应用工具可以不需要访问整个单一数据集来配置和执行模拟，这可以提高处理效率和可靠性。

由于所有第一、第二、第三和第四信息层10、20、30、40被配置为单独地进行版本控制，因此可以唯一地跟踪模拟环境的演变。特别地，通过更新和创建第一、第二和第三信息层中的每一个的新版本(多个)，通常由其文件名反映的信息的演变可以容易地通过历史本身和规范的层次结构跟踪。结果，可以改进数据集和/或规范数据对象中的变化的可追溯性。

存在根据本公开的计算机实现的方法的用例的一些示例：

示例1

指定模拟环境：个人AA开发了一个模拟模型，并将其发布在模型存储库中，这是一个版本控制的数据库。个人AA还定义了一个模拟环境，其中通过定义以下规范来使用该模型：a)“操作”设置规范，描述工具版本、其安装、执行参数(例如求解器设置等)，b)“测试对象”设置规范，指向所有模型信息(例如存储库路径等)，c)“测试方法”设置规范，描述“测试操作”如何运行“测试对象”，d)“测试方法”包括的“驱动程序”设置规范，e)“执行器”设置规范，描述“测试对象”如何在特定的“驱动程序”中被激励，f)“传感器”设置规范，定义要收集的所有数据，g)“报告”设置规范，定义要对哪些数据进行后处理、分析和创建可读报告，h)“参数”设置规范，描述“测试”中哪些数据可以变化。个人AA现在可以为指定的计算平台自动配置模拟环境，并使用框架中的批处理自动化功能执行模拟，这意味着不需要图形用户界面，消除了标准工具界面所需的“单击”。批处理自动化可以多次运行，其中可以为不同的运行进行参数更改，从而实现探索或优化设计。由于模拟数据很容易重新创建，因此可以在评估完成后删除，以节省空间。

示例2

重用信息：个人BB希望在与AA定义的相同上下文中分析另一个“测试对象”。这仅通过重复使用示例1中的所有信息来完成，除了需要复制和修改“测试对象”规范以指向另一个模拟模型。然后，通过自动配置和执行稍微修改的测试设置，就可以进行类似于个人AA所做的评估。

示例3

简化移交：个人AA已计划休假，然而，工作尚未完成，需要转交给同事个人BB。由于个人AA已经用描述内容的规范集定义了模拟环境，所以使用框架中的功能重新创建这个环境并从个人AA离开的地方继续工作是非常容易的。

示例4

共享计算机辅助工程(CAE)过程；个人AA被要求加入一个多学科设计优化(MDO)项目，但没有时间参与。相反，AA准备一个适当的模拟环境并为自动化框架生成规范，并将它们分发给项目的协调者，该项目的协调员可以在MDO项目中实施和执行定义的模拟。这被称为向非专家分享专家知识。当MDO工作找到有希望的设计候选时，个人AA将被要求对齐进行更彻底地审查，并从专家的角度验证它们。这种CAE过程的共享也被称为CAE民主化。

示例5

检查模拟工具更新：当商业工具的更新可用时，通过更改“操作”规范中的设置和重新运行参考模拟，可以很容易地检查和验证其功能。因此，可以更系统地跟踪这些变化，并以更好的方式保证模拟环境的质量。如果需要重新评估历史模拟，只需修改相关工作的“操作”规范，并重新运行它们。

示例6

修剪通用设置：它可以a)修剪测试操作设置中的执行器以精确地获得所需的行为，b)改变求解器设置以获得针对某个求解器误差的最快模拟，或c)在后处理中改变信号滤波的灵敏度以修剪信号形状，从而也修剪模拟的输出读数。

示例7

持续集成链：还可以定义由批处理用户运行的自动化进程。这种共享定义明确的过程的能力非常强大并且是驱动自动化过程(如在持续集成(CI)中)的基本要求，其中可追溯性和可重复性至关重要。

示例8

大规模并行化：当有一个既能自动配置又能自动执行的定义明确的模拟过程时，大规模并行化是可能的。在每个兼容的计算节点上，可以临时创建和托管使用单一信息源的模拟环境。然后用不同的输入注入这些过程，然后将输出与实验主设计表中的输入一起收集和管理。当所有模拟完成后，临时模拟环境将被删除。

示例9

解析模板：一个典型的模拟由工具安装、配置文件、平台环境设置、用户设置等组成，换句话说，就是二进制文件和文本文件的组合。为了参数化模拟，可以将文本文件转换为包括关键字而不是值的模板文件。因此，可以通过改变在关键字列表中定义的不同参数来改变信息，该关键字列表由模块规范中定义的信息填充。这个改变参数的概念被实现为应用程序协议接口的入口级。

同样，可以修改任何文本内容。如果一个新的参数被添加到模型中，则模板将必须更新才能工作。在执行这类模拟环境时，通常使用脚本以批处理模式进行。按照与环境配置相同的方式，可以从模板和一些关键字创建执行脚本。然后，尽管设置不同，但可以使用单个统一命令执行模拟，并使用信息框架将其自动化。这种集成类型适用于可以在编译和模拟开始前预先配置的工具。

示例10

离线工具交互：与模拟工具交互的另一种方式，特别是那些封装的二进制文件，可以通过工具开发人员定义的系统命令来完成。在这种情况下，必须启动默认的模拟环境以便能够修改它，例如，在Web服务器上运行的应用引擎。所有内容都以二进制格式存储，需要从系统命令提示符直接对环境进行编程控制。例如，在下面的伪语法“application-paramvehicle_mass＝2400”中，名为“application”的应用被指示更改其参数“vehicle_mass”。同样，通过向应用发送适当的指令来执行模拟，例如“application-run end_time＝10,time_step＝0.1”。指令内的参数由模块规范中定义的信息填充，并且这些指令适用于针对该特定环境寻址的模块代码分组中的特定应用。

示例11

在线工具交互：可以合并用于在线交互的方法，这意味着可以在线编程地控制过程，例如在需要内部状态、改变激励、停止/开始执行、暂停等的模拟期间。这可以使用特定的代码分组进行管理。

因此，根据本公开的计算机实现的方法可以促进将新系统开发与现有系统进行比较。任何来自当前设置的潜在变化都可以非常简单地在模拟中以非常低的成本/努力实现。此外，可以实现轻松访问专注于输出和输入而不是过程本身的多学科设计优化(MDO)研究。通过同时执行所有相关测试对象，还可以实现具有许多并行运行的高级单学科执行。由于在所有可用的计算节点上自动设置和执行，灵敏度研究的简单大规模并行化也可以实现。此外，可以促进用于调试或详细分析的单次执行，包括用于开发针对不同领域的分析的集成开发环境(IDE)或图形用户界面(GUI)交互。

需要注意的是，本公开的示例是参考不同的主题来描述的。特别地，参考方法类型权利要求描述了一些示例，而参考设备类型权利要求描述了其他示例。然而，本领域技术人员将从上面和下面的描述中得知，除非另有说明，除了属于一种主题类型的特征的任何组合之外，还认为本申请公开了与不同主题有关的特征之间的任何组合。然而，所有特征都可以组合起来，提供的协同效应不仅仅是特征的简单总和。

尽管已经在附图和说明书中详细说明和描述了本公开，但是这样的说明和描述应被认为是说明性的或示例性的而不是限制性的。本公开不限于所公开的示例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践要求保护的公开内容时可以理解和实现对公开示例的其他变化。

在权利要求中，“包括”一词不排除其他元素或步骤，不定冠词“一个”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求中列举的若干项的功能。在相互不同的从属权利要求中列举了某些措施这一事实并不表明这些措施的组合不能有利地使用。权利要求中的任何参考符号都不应被解释为限制范围。

Claims (17)

1.一种用于执行系统评估的计算机实现的方法，包括：

-创建(S3)至少一个运行配置分组(11)，所述运行配置分组包括至少一个规范层次结构(100)，所述规范层次结构(100)链接到多个规范数据对象(31)，以设置评估环境(90)；

-创建(S6)包括通用代码部分(53)和应用专用代码部分(54)的应用协议接口(52)，

所述通用代码部分(53)被配置为向所述应用专用代码部分(54)提供标准化指令，

所述应用专用代码部分(54)被配置为修改链接到所述规范层次结构(100)的所述多个规范数据对象(31)的格式，以供评估应用工具(60)使用；

-经由所述应用协议接口(52)从参考所述评估应用工具(60)的运行配置分组(11)接收(S8)用于构建所述评估环境(90)的输入；以及

-基于所述输入构建(S9)所述评估环境(90)。

2.根据权利要求1所述的计算机实现的方法，所述运行配置分组(11)还包括进程调度器信息(51)。

3.根据权利要求1或2所述的计算机实现的方法，所述规范层次结构(100)包括若干信息层(20、30、40)，用于基于要在物理测试环境中应用的规范来调制所述多个规范数据对象(31)。

4.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括将所述多个规范数据对象作为数据记录或帖子存储(S0)在数据库中和/或作为单独数据文件存储(S0)在计算机存储介质中。

5.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括通过工具安装数据、工具配置数据、模型参数、测试方法、激励水平、前后处理脚本和模拟设置对所述多个规范数据对象(31)进行分类(S2)。

6.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括仅从所述运行配置分组(11)接收(S8)用于构建所述评估环境(90)的所述输入。

7.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括基于所述运行配置分组(11)安装(S7)所述评估应用工具(60)和/或基于所述运行配置分组(11)执行(S10)所述系统评估。

8.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括使用标准化输入模板(80)修改(S91)所述评估环境(90)。

9.根据前述权利要求中任一权利要求的计算机实现的方法，还包括在元层(200)中引用(S4)两个或更多个运行配置分组(11、11′、11″)。

10.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括并行执行(S101)在所述元层(200)中引用的运行配置分组(11、11′、11″)的所述系统评估。

11.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括读取(S11)所述系统评估的至少一个输出(70)，并经由所述应用协议接口(52)修改所述至少一个输出(70)以包括预定义的输出格式。

12.根据前述权利要求所述的计算机实现的方法，所述预定义输出格式是独立于应用工具的格式。

13.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括基于所述输出(70)分析(S12)和报告所述系统评估。

14.根据前述权利要求中任一权利要求所述的计算机实现的方法，还包括版本控制(S31)所述运行配置分组(11)和/或版本控制(S41)所述元层(200)。

15.一种用于执行系统评估的计算机程序元件，当由处理元件执行时，所述计算机程序元件适于执行所述权利要求1至14的所述方法步骤。

16.一种或多种编码有指令的计算机存储介质，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行权利要求1至14中任一权利要求所述的相应方法的操作。

17.一种计算机系统，包括根据权利要求16所述的一种或多种计算机存储介质和用于执行所述指令的一个或多个计算机。