CN115146486B - 面向效能评估系统的评估方法及装置 - Google Patents
面向效能评估系统的评估方法及装置 Download PDFInfo
- Publication number
- CN115146486B CN115146486B CN202211068054.2A CN202211068054A CN115146486B CN 115146486 B CN115146486 B CN 115146486B CN 202211068054 A CN202211068054 A CN 202211068054A CN 115146486 B CN115146486 B CN 115146486B
- Authority
- CN
- China
- Prior art keywords
- model
- simulation
- target
- evaluation
- architecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 248
- 238000004088 simulation Methods 0.000 claims abstract description 341
- 238000012360 testing method Methods 0.000 claims abstract description 125
- 238000004458 analytical method Methods 0.000 claims abstract description 52
- 238000013461 design Methods 0.000 claims abstract description 52
- 238000011158 quantitative evaluation Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 93
- 238000006243 chemical reaction Methods 0.000 claims description 71
- 238000013507 mapping Methods 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 33
- 230000006978 adaptation Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012938 design process Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000000556 factor analysis Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 18
- 230000006872 improvement Effects 0.000 abstract description 12
- 238000004445 quantitative analysis Methods 0.000 abstract description 9
- 238000004451 qualitative analysis Methods 0.000 abstract description 8
- 230000000875 corresponding effect Effects 0.000 description 63
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000005094 computer simulation Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013499 data model Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000007123 defense Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001093575 Alma Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007727 cost benefit analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种面向效能评估系统的评估方法、装置、终端设备和存储介质，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
Description
技术领域
本申请属于计算机技术领域，尤其涉及一种面向效能评估系统的评估方法、装置、终端设备和存储介质。
背景技术
国内外现有的体系结构评估验证方法可以分为四类：1）基于专家经验的评估方法。如基于场景的体系结构分析方法（SAAM）、体系结构权衡分析方法（ATAM）、成本效益分析方法（CBAM）等。该类方法能够充分利用专家经验和领域知识，在无法提供有效和足够的实装运行或仿真数据的情况下，可基于专家经验对体系结构进行评估验证。然而该方法过多依赖专家的经验，评估结果具有一定的主观性，且在体系结构规模较大的情况下，无法应用该方法；2）基于静态检查的方法。该类方法通过将体系结构进行形式化表示和推演对体系结构的完整性、一致性、状态可达性等属性进行检查验证。该类方法的评估结果较为客观，但是只能对体系结构的静态结构进行验证；
3）基于度量预测的方法，如基于贝叶斯的预测方法、基于预测的软件体系结构可修改性分析方法（ALMA）等。该类方法基于对体系结构的度量（如对复杂性、耦合性的度量），通过预测模型给出体系结构的评估结果。该类方法虽然能够给出定量的评估结果，但难点在于预测模型的建立，需要大量的样本数据作训练；
4）基于仿真分析的方法，如基于可执行体系结构的评估验证方法。该类方法能够针对系统的具体技术特征、行为、目标想定和相应参数设置等，构造可执行的仿真系统。所提供的数据不仅充分和量化，在一定程度上能够反映系统未来实际运行的情况，通过采集仿真执行过程中的数据，能够客观真实的对系统的多个方面进行评估。该类方法的缺点是仿真系统的构造比较复杂，周期比较长，一旦被评估系统的设计本身发生变化，如何快速保持仿真系统与被评估系统设计的一致性是一个难以解决的技术问题。
此外，针对基于体系结构的复杂信息系统效能评估，由于系统体系结构规模庞大且复杂，不适合使用基于专家经验的方法，基于静态检查的方法不能对系统效能进行有效的评估，而对于基于度量预测的方法，通常需要大量样本数据，因此，采用基于仿真分析的评估方法设计实现。
发明内容
本发明意在提供一种面向效能评估系统的评估方法、装置、终端设备和存储介质，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
第一个方面，本发明实施例提供一种面向效能评估系统的评估方法，所述方法包括：
根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型；
将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型，其中，所述目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，所述目标仿真模型至少包括映射模型信息，所述映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，所述仿真实体模型库中包括所述目标仿真模型；
将目标想定信息输入到所述目标仿真模型中，得到仿真结果；
根据所述仿真结果，对所述待评估的面向效能评估系统进行评估，得到评估分析结果。
可选地，所述根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型，包括：
建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，所述基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型。
可选地，在所述根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型之前，所述方法还包括：
对所述DoDAF中的视图或模型间的关联关系进行解析。
可选地，所述方法还包括：
对所述目标体系结构模型进行判断；
若所述目标体系结构模型是基于DM2的体系结构模型，则直接抽取；
若所述目标体系结构模型不是基于DM2的体系结构模型，则对所述目标体系结构模型进行预处理，对处理后的结果进行抽取。
可选地，所述将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型，包括：
建立体系结构元模型和仿真元模型，其中，所述体系结构元模型用于表征对仿真实体的能力、接口等外部属性的描述能力；所述仿真元模型用于表征对仿真系统自身的构成、结构和行为等的设计能力；
根据所述体系结构元模型和所述仿真元模型建立模型转换规则，所述模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型。
可选地，所述根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型，包括：
基于MOF的目标体系结构模型，对MOF的目标体系结构模型进行声明式的查询、视图和变换的操作，其中，所述查询用于对一个操作模型的表达式的计算，并得到查询源模型或查询语言中定义的类型的一个或多个实例，所述视图用于从作基模型中导出一个模型，所述变换用于将从源模型生成目标模型。
可选地，所述目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型。
第二个方面，本发明实施例提供一种面向效能评估系统的评估装置，所述装置包括：
抽取模块，用于根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型；
转换模块，用于将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型，其中，所述目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，所述目标仿真模型至少包括映射模型信息，所述映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，所述仿真实体模型库中包括所述目标仿真模型；
仿真模块，用于将目标想定信息输入到所述目标仿真模型中，得到仿真结果；
评估模块，用于根据所述仿真结果，对所述待评估的面向效能评估系统进行评估，得到评估分析结果。
可选地，所述抽取模块用于：
建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，所述基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型。
可选地，所述抽取模块还用于：
对所述DoDAF中的视图或模型间的关联关系进行解析。
可选地，所述抽取模块，还用于：
对所述目标体系结构模型进行判断；
若所述目标体系结构模型是基于DM2的体系结构模型，则直接抽取；
若所述目标体系结构模型不是基于DM2的体系结构模型，则对所述目标体系结构模型进行预处理，对处理后的结果进行抽取。
可选地，所述转换模块用于：
建立体系结构元模型和仿真元模型，其中，所述体系结构元模型用于表征对仿真实体的能力、接口等外部属性的描述能力；所述仿真元模型用于表征对仿真系统自身的构成、结构和行为等的设计能力；
根据所述体系结构元模型和所述仿真元模型建立模型转换规则，所述模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标结构模型对应的目标仿真模型。
可选地，所述转换模块，具体用于：
基于MOF的目标体系结构模型，对MOF的目标体系结构模型进行声明式的查询、视图和变换的操作，其中，所述查询用于对一个操作模型的表达式的计算，并得到查询源模型或查询语言中定义的类型的一个或多个实例，所述视图用于从作基模型中导出一个模型，所述变换用于将从源模型生成目标模型。
可选地，所述目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的面向效能评估系统的评估方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的面向效能评估系统的评估方法。
本发明实施例包括以下优点：
本发明实施例提供的面向效能评估系统的评估方法、装置、终端设备和存储介质，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中一种面向效能评估系统的评估方法的流程图；
图2为本申请一实施例中面向效能评估系统的结构示意图；
图3为本申请一实施例中体系结构仿真评估试验流程示意图；
图4为本申请一实施例中体系结构仿真评估试验环境框架结构示意图；
图5为本申请一实施例中体系结构模型要素和效能评估指标的映射关系概念模型示意图；
图6为本申请一实施例中体系结构模型抽取过程的流程示意图；
图7为本申请一实施例中模型转换和适配框架示意图；
图8为本申请一实施例中体系结构仿真系统组织结构示意图；
图9是本发明的一种面向效能评估系统的评估装置实施例的结构框图；
图10是本发明的一种终端设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明一实施例提供一种面向效能评估系统的评估方法，用于对评估的面向效能评估系统进行性能评估。本实施例的执行主体为面向效能评估系统的评估装置，设置在终端设备上，例如，终端设备至少包括计算机终端等。
参照图1，示出了本发明的一种面向效能评估系统的评估方法实施例的步骤流程图，该方法具体可以包括如下步骤：
S101、根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；
具体地，依据评估试验需求，确定效能评估指标体系，依据评估指标自动生成体系结构模型抽取需求，并构建评估分析计算流程，得到指标数据采集计划和评估分析计算流程。
S102、将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；
具体地，抽取相应的体系结构模型进行仿真模型转换，得到适用于具体平台的仿真模型，通过与仿真实体进行配置和集成，形成可执行的仿真系统，即目标仿真模型，从而可以进行仿真执行和采集效能评估所需的数据；
S103、将目标想定信息输入到目标仿真模型中，得到仿真结果；
S104、根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果。
基于仿真结果，对系统效能进行量化的评估与分析，并输出评估分析结果。
本发明实施例提供的面向效能评估系统的评估方法，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
本发明又一实施例对上述实施例提供的面向效能评估系统的评估方法做进一步补充说明。
可选地，根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型，包括：
建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据评估试验需求，基于自动化的方法抽取与评估试验需求对应的目标体系结构模型。
可选地，在根据评估试验需求，基于自动化的方法抽取与评估试验需求对应的目标体系结构模型之前，方法还包括：
对DoDAF中的视图或模型间的关联关系进行解析。
可选地，该方法还包括：
对目标体系结构模型进行判断；
若目标体系结构模型是基于DM2的体系结构模型，则直接抽取；
若目标体系结构模型不是基于DM2的体系结构模型，则对目标体系结构模型进行预处理，对处理后的结果进行抽取。
可选地，将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，包括：
建立体系结构元模型和仿真元模型，其中，体系结构元模型用于表征对仿真实体的能力、接口等外部属性的描述能力；仿真元模型用于表征对仿真系统自身的构成、结构和行为等的设计能力；
根据体系结构元模型和仿真元模型建立模型转换规则，模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据模型转换规则，将目标体系结构模型转换成与目标结构模型对应的目标仿真模型。
具体地，通过分析选定仿真平台的特点，研究仿真系统元模型和仿真实体描述元模型，前者提供对仿真系统自身的构成、结构和行为等的设计能力，后者提供对仿真实体的能力、接口等外部属性的描述能力。通过仿真元模型研究，为应用规范化的模型转换方法（如QVT）将体系结构模型转换为仿真模型奠定基础。
体系结构模型到仿真模型的映射规则决定了体系结构中的模型元素如何转换为相应的仿真模型元素，合理的映射规则是实现体系结构模型到仿真模型转换的核心和关键。本发明实施例将在定义的体系结构元模型和仿真元模型的基础上，研究体系结构模型与仿真模型在元模型层次的映射规则，将体系结构模型元素映射到仿真模型中的对应元素。
为了更高效的集成已有仿真平台中的仿真实体，以提高转换生成的系统仿真模型的可执行性，本项目将研究模型适配技术，以支持自动或半自动的将体系结构模型中的信息实体（如体系结构中网络节点、信息处理单元等要素）映射到仿真实体库中的仿真实体，从而可在仿真执行中，将由信息实体转换生成的仿真模块绑定到具有执行能力的仿真实体。
可选地，根据模型转换规则，将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，包括：
基于MOF的目标体系结构模型，对MOF的目标体系结构模型进行声明式的查询、视图和变换的操作，其中，查询用于对一个操作模型的表达式的计算，并得到查询源模型或查询语言中定义的类型的一个或多个实例，视图用于从作基模型中导出一个模型，变换用于将从源模型生成目标模型。
可选地，目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型。
图2为本申请一实施例中面向效能评估系统的结构示意图，体系结构仿真试验环境主要用于开展基于体系结构模型的系统效能评估分析试验，其支持的试验流程主要包含四个方面：
1）体系结构模型抽取，基于评估试验需求抽取需要的体系结构要素；
2）仿真模型转换适配，将抽取的体系结构模型转换为可执行的仿真模型；
3）仿真执行，基于仿真模型及输入的目标想定进行仿真执行；
4）效能评估分析，基于仿真结果，对系统效能进行量化的评估与分析，并输出评估分析结果，如图2中的内环所示。
依据上述四个方面，在按需构建体系结构仿真评估试验环境时，本发明实施例也提供了四个方面的技术支撑手段：
1）体系结构抽取需求生成，依据效能评估指标体系，自动生成体系结构模型的抽取需求；
2）模型转换规则配置，基于体系结构元模型和仿真元模型，建立模型转换的规则，以实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
3）仿真模型组装与集成，通过集成多个仿真平台，并加载由转换得到的仿真系统模型和仿真实体模型，支持仿真系统的仿真执行；
4）评估模型的构建，首先提供评估试验需求的可视化捕获手段，然后依据获取的评估试验需求，可视化地构建效能评估分析的计算流程，以支持自动化的效能评估分析。为了支持体系结构仿真评估试验环境的构建，我们提供了框架进行指导，包括语义关联的元模型体系、模型管理策略设计等，如图2所示。
图3为本申请一实施例中体系结构仿真评估试验流程示意图；依据评估试验需求和体系结构模型，构建体系结构仿真试验环境并开展效能评估分析的完整流程如图3所示。评估试验需求包括评估内容（即要评估系统的哪些能力，体现为效能评估指标体系）和试验类型（即效能量化评估、关键因素分析、多方案对比等）。
体系结构模型包括系统在多个方面的视图，如组织、信息等方面。依据本项目研究，构建试验环境并开展试验的流程分成三个阶段：试验分析设计阶段、试验实施阶段和试验计算分析阶段。
在试验分析设计阶段，依据评估试验需求，确定效能评估指标体系，依据评估指标自动生成体系结构模型抽取需求，并构建评估分析计算流程，得到指标数据采集计划和评估分析计算流程；
在试验实施阶段，首先抽取相应的体系结构模型进行仿真模型转换，得到适用于具体平台的仿真模型，通过与仿真实体进行配置和集成，形成可执行的仿真系统，从而可以进行仿真执行和采集效能评估所需的数据；
在试验计算分析阶段，将根据仿真运行所采集到的数据，基于所设计的效能评估分析计算流程进行评估计算，得到效能评估结果，进而对各个指标进行分析，得到最终的试验分析总结报告。
需要说明的是首次开展试验的完整流程，在体系结构仿真评估试验环境构建后，如需开展多次试验（如比较多个体系结构设计方案，或同一体系结构在不同想定下的效能分析），则可以重用环境中的大部分流程。例如在进行多个体系结构设计方案比较时，多次试验只需变化输入的体系结构模型，其余部分无需改变。
以下各个小节将分别说明体系结构仿真评估试验环境构建过程中对应的研究内容的技术实现途径。
体系结构仿真评估试验环境依据上面所阐述的试验流程，针对体系结构建模、仿真、效能评估和体系结构设计优化改进提供相应的试验手段，为体系结构设计、仿真和评估提供相应的反馈机制，便于及时发现存在的问题并进行改进。试验环境能够把试验过程中产生的各种模型、数据等进行系统化的管理和分析。
图4为本申请一实施例中体系结构仿真评估试验环境框架结构示意图，本发明实施例采用服务化思想来开展试验环境框架的设计的研究，框架包括扩展的体系结构、语义关联元模型体系和模型管理策略。其中体系结构定义了整个试验环境的设计方案，一方面能够集成本项目所研究的相关工具，并按照元模型体系和模型管理策略对试验过程中涉及的各种模型进行管理（如存储、状态维护、查看等），另一方面能够按照试验流程提供相应的服务，支持用户定义和设计试验、执行试验和对试验结果进行分析。
图5为本申请一实施例中体系结构模型要素和效能评估指标的映射关系概念模型示意图；
本发明实施例具备扩展能力的试验环境体系结构设计，参考服务化体系结构设计思想，首先根据试验流程抽取相应的试验服务，如指标体系定义服务、指标计算方式设计服务、综电体系结构模型抽取服务、仿真模型转换生成服务、仿真实体适配服务、仿真运行服务、数据采集服务和效能指标计算服务等，并根据这些服务之间的数据依赖关系定义这些服务的数据需求接口和服务接口，从而使得这些服务之间的控制耦合被解开，允许用户在使用过程中可以灵活调用相关服务，并能针对特定服务进行扩展或优化。
基于所抽取的服务和服务接口定义，本项目开展试验环境体系结构设计，借鉴BPMN（业务过程建模）设计相应的试验服务流程，得到具体的环境框架的体系结构设计。
如图5所示，试验环境涉及到四个层次共18种模型，通过前面的试验流程设计可以发现，这些模型之间存在着复杂的数据依赖关系，且模型元素之间存在着多种语义关联。如果不能有效管理这些模型，用户将无法发现试验过程中出现的问题，也无法针对试验给出的效能评估结果进行综合分析。本项目拟针对模型的层次、模型元素的语义关联和试验环境提供相应的模型管理策略，并依据这些策略指导模型的构建、使用、存储、转换、维护等，从而保证各类模型的完整性、关联性、可追踪性、可重用性，具体包括：
模型要素完整性管理策略：该策略重点检查和报告模型中各个要素对应数据和信息的完整性，从而确保用户不会遗漏重要的信息，以及相关的转换引擎正确生成了相关模型所需的数据；
模型元素语义关联有效性管理策略：模型语义关联定义模型关联的内涵，由于实际系统的各种特殊情况，以及用户在分析设计试验时的人为因素，往往会导致实际试验中的模型数据之间出现无效的语义关联，因此该策略将按照语义关联的定义对模型数据进行扫描分析，以发现无效的关联关系。
模型版本追踪管理策略：由于系统的体系结构设计和想定等会经常发生变化，因此需要开展多次试验，导致模型出现多个版本共存。该策略将发现模型库中的多个模型版本，并跟踪分析这些模型版本之间的差异，为模型重用提供参考信息。
模型重用管理策略：重用已经存在的模型可以快速定义和实施试验，有效缩短试验周期。在模型重用过程中，多个试验将引用到相应的模型，一旦需要更新相应模型的元素，将会产生新的模型版本。该策略将从重用过程中的设计和变更对模型进行管理。
本发明实施例说明体系结构模型抽取和转换的技术实现手段，包括基于DoDAF2.0的体系结构模型抽取技术和基于QVT的模型转换适配技术。
基于DoDAF 2.0的体系结构模型抽取技术
DoDAF (Department of Defense Architecture Framework)为美国国防部体系结构的描述、开发和集成定义了一种通用的方法，以确保体系结构描述能在不同机构，包括联合与多国之间进行比较和关联，其目的是为描述体系结构提供指导。该框架为开发和表示体系结构提供了规则、指导和产品描述，保证了在理解、比较和集成体系结构时有一个公共的标准。DoDAF 2.0版主要有以下几点变化：一是体系结构开发过程从以产品为中心转向以数据为中心，主要是提供决策数据；二是三大视图（项目、技术和系统）转变为更为具体的视图。现在的视图有八种，分别是全视图、数据与信息视图、标准视图、能力视图、项目视图、服务视图、系统视图、项目视图；三是描述了数据共享和在联邦环境中获取信息的需求；四是定义和描述了国防部企业体系结构；五是明确和描述了与联邦企业体系结构的关系；六是创建了DoDAF元模型（DoDAF MetaModel， DM2）；七是描述和讨论了面向服务体系结构（SOA）开发的方法。DoDAF 2.0是以数据为中心，元模型由概念数据模型（Conceptual DataModel）、逻辑数据模型（Logical Data Model）和物理交换规范（Physical ExchangeSpecification）组成，是构成国防部体系结构框架整体的重要组成部分。元模型取代了国防部体系结构框架以前版本中的核心体系结构数据模型（Core Architecture DataModel）。
要实现基于DoDAF 2.0的体系结构模型抽取技术，首先要建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系，描述体系结构模型的抽取需求，然后基于自动化的方法抽取需要的体系结构模型。和体系结构效能评估指标建立映射关系的体系结构模型要素可以是DoDAF的一个视图（如OV）、视图中的一个模型（如OV-2）或元模型中的一个或多个元素。由于体系结构效能评估模型是层次化的模型，因此，与体系结构模型要素建立映射的指标可以是叶子指标，也可以是上层指标。体系结构模型要素和效能评估指标的映射关系概念模型如图5所示。
图6为本申请一实施例中体系结构模型抽取过程的流程示意图，抽取的输入是体系结构模型和模型抽取需求。模型抽取需求依据具体构建的效能评估指标体系，基于评估指标与体系结构要素映射库自动生成。模型抽取前先要对体系结构模型进行识别，对于基于DM2的体系结构模型可直接抽取，对于不是基于DM2的模型，要对模型进行预处理，然后再进行抽取。基于模型抽取需求，可自动抽取体系结构模型中需用于效能评估的体系结构要素，由于DoDAF不同视图及视图的不同模型间有着一定的关联关系，为了保证抽取出的体系结构模型自身的完整性和一致性，需要先分析DoDAF视图或模型间的关联关系（如OV-2中描述的节点的活动在OV-5中进行描述），然后基于关联关系进行自动化的抽取。同时，在不能满足抽取需求时，会给出相应的反馈，以指导对体系结构设计的补充和完善。
图7为本申请一实施例中模型转换和适配框架示意图；为了提高体系结构模型到仿真模型的转换效率，并且保证转换过程中模型之间的一致性，项目拟以成熟的模型转换技术QVT（Query/View/Transformation，查询/视图/变换）为基础，实现体系结构模型到仿真模型的转换。QVT是对象管理组织OMG提出的用于支持模型驱动架构的关系型转换方法，其操作对象是基于MOF的模型，可以对MOF模型进行声明式的查询、视图和变换定义。查询是指对一个操作模型的表达式的计算，查询的结果是源模型或查询语言中定义的类型的一个或多个实例。视图是一个模型，该模型完全从另一个模型（称作基模型）导出。视图模型不能独立于基模型改变，基模型的改变将导致视图模型的相应改变。变换将从一个模型（源模型）生成另一个模型（目标模型）。QVT中查询Q是一类特殊的视图V，视图V则是一类特殊的转换T，因此变换是QVT的核心。基于QVT，可以实现源模型和目标模型在元模型层次的转换。
图7显示了在QVT基础上扩展的模型转换和适配方法框架。作为源模型的体系结构模型和目标模型的仿真模型分别由它们的元模型(基于MOF)约束，然后在支持QVT的转换程序及QVT语言定义的转换规则的支持下实现前者到后者的自动转换。转换程序的直接输入和输出都应该是符合它们元模型约束的模型，而且这些模型都应该是平台无关的模型（Platform Independent Model， PIM）。由于不同工具所建立的模型是平台相关模型（Platform Specific Model， PSM），在模型语法、模型组织和存储格式等方面不可避免存在差异，且并不是遵从标准的MOF定义，所以通过加入适配器可快速实现将不同工具建立的体系结构模型转换为不同工具支持的仿真模型，从而达到多源到多目标的自动化转换。
图8为本申请一实施例中体系结构仿真系统组织结构示意图；由于体系结构模型中的元素粒度较粗，有时转换生成的仿真模型的某些模块不具有具体的行为，从而无法执行。对于本发明实施例，依赖于目标仿真模型执行来提供所需的仿真数据，因此可执行是个关键要求。为了解决这个问题，本发明实施例在模型框架中加入了映射模型部分，映射模型将体系结构模型中的原子元素与仿真实体模型库中的实体映射关联起来，这样在转换的过程中可直接将这些元素转换为已有的仿真实体，使得生成的仿真模型就具有了更强的可执行性。
转换规则是模型转换过程中需要解决的核心问题，QVT提供了相应的语言用以描述体系结构模型元素到仿真模型元素的映射规则。因此，定义体系结构模型到仿真模型的映射规则并应用QVT语言描述这些规则是项目研究的主要内容之一。
映射模型的构建是实现已有仿真实体重用的关键，而手工建立映射模型费事耗力，尤其是在系统规模和仿真实体库庞大的时候。因此，项目将研究相应的适配技术用于辅助快速建立映射模型。为了进行自动化的适配，需要研究相应的适配算法用于搜索仿真实体库中与指定体系结构元素匹配的实体，这就需要仿真实体库中的仿真实体提供足够的信息用于分析。因此，需要研究规范化的方法来组织和描述仿真实体库中的仿真实体，因此需要研究相应的仿真实体描述规范，描述规范的描述内容主要包括仿真实体的输入/输出端口、端口类型、仿真实体功能描述、适用对象等。此外，待匹配的体系结构元素除了其自身信息外，还需要与其相关的信息，例如元素的输入输出信息流、信息流数据类型。适配算法以体系结构元素自身的定义与相关描述信息和仿真实体库中的仿真实体的描述信息为输入，计算该体系结构元素与仿真实体库中的仿真实体之间的匹配度，从而找到最佳的匹配实体或实体集，以帮助评估分析人员尽快建立完整的映射模型。
本发明实施例提供的仿真系统构成和仿真集成的技术实现手段，首先说明仿真总体思路及特点分析，然后给出仿真系统的组成结构，最后阐述构建仿真系统的两种方法：基于实体组装的业务应用模型构建和基于网络拓扑结构的通信网络模型构建。
本发明实施例采用计算机仿真技术实现体系结构模型的模拟运行，并采集运行过程中的关键指标数据，从而对该体系结构设计所能够达到的系统效能进行预估，对各种体系结构设计要素对系统效能的影响进行分析。与现有的一些体系结构仿真研究相比，本发明实施例更加关注在体系结构仿真中融入目标想定元素，如仿真过程，仿真操作单元的特性与行为，仿真环境等。采用这种方式主要的优点体现在两个方面：
一是通过在体系结构仿真中引入由目标想定描述的操作过程和目标任务，使面向效能的评估分析成为了可能。效能评估的核心是要评价系统完成任务的能力。因此，如果在仿真中缺少了能体现目标任务的元素，那么由此获得的仿真数据就不能作为开展效能评估的依据。而现有的很多研究仅关注体系结构模型自身的可执行问题，缺少了对目标任务的模拟。
二是通过在体系结构仿真中增加对操作单元和操作环境特征的体现，提高了仿真模拟的逼真度，也拓展了可评估的指标范围。综合电子信息系统的很多指标除了和体系结构设计有关，也和构成系统的各种信息单元（及与之交联的操作单元）的特性有关。例如，信息处理时效性指标不仅和体系结构规划的信息处理流程有关，也和该流程中的各种信息采集器和处理器的效率相关。因此，只有在仿真中加入了对信息单元和操作单元的仿真，才能更逼真的模拟信息处理流程，也才能更全面的获得时效性指标数据。
依据上述仿真方式，本发明实施例采用的仿真系统组织结构如图8所示。其中，核心仿真模型主要用于模拟体系结构模型描述的综合电子信息系统。根据仿真的系统类型，选择指挥决策、信息处理、通信传输、情报侦察四个方面中的一种或多种仿真模型，组合成指挥所、情报预警中心、信息服务中心等指挥控制或信息处理实体，以及用于承载这些实体信息基础设施（如栅格化信息网等）。实体及信息基础设施在组成、结构、行为、互联关系等方面应正确体现体系结构模型中的相应模型视图设计。根据本项目所提出的仿真试验环境构建方法，核心仿真模型中的关键内容是依靠模型抽取及转换适配工具由体系结构模型自动生成的，或者是使用体系结构模型中数据自动配置的，因而保证了二者之间的一致性。
除核心仿真模型以外，该仿真系统还应能模拟诸如各种传感器、情报信源、武器平台、战术分队等与被试信息系统具有交联关系的其他操作单元，以及系统所处的战场环境、所使用的基础数据等。操作单元和战场环境可采用数字仿真模型的方式模拟，基础数据可采用数据库的方式提供。它们通过与核心仿真模型进行联合仿真，模拟出一个以被试信息系统为中心的完整的操作体系，并可在想定的驱动下模拟实施一种或多种典型的操作行动。
以上各类仿真模型通常需要在不同类型的仿真工具上开发，并运行在一个网络化的试验环境中，因此，需要依靠某种仿真集成支撑系统完成仿真模型的集成，并支持联合仿真的开展。仿真集成支撑系统提供分布式联合仿真所需要的仿真联邦建立、联邦成员管理、联邦成员通信、仿真时钟同步等功能。本项目拟采用HLA（High Level Architecture）技术体制，使用RTI（Run Time Infrastructure）软件提供上述功能。此外，仿真集成支撑系统还能够与试验数据管理系统集成，通过仿真试验数据库支持对试验过程中的各类数据进行记录和存储，供事后分析或重放使用。
仿真系统的运行还需要仿真运行管控软件、试验态势显示软件和试验数据采集软件提供支持。其中，仿真运行管控软件主要负责读取想定，根据其中定义的目标任务、战场环境、兵力编配等信息，驱动有关仿真模型运行，并对模型运行状态进行监视和控制；试验态势显示软件通过收集各类参试模型的信息，基于统一的地理空间和时间基准，以可视化的方式展现模拟对抗情况和试验进展情况，形成试验态势图；试验数据采集软件读取数据采集计划，依据计划要求各参试模型收集指标数据，并保存在仿真试验数据库中，并为事后评估与分析提供数据查询支持。
上述仿真系统虽然组成部分较多，构造较为复杂，具有一定的研制难度，但其核心机理已经在探索项目研究中得到了验证，主要组成部分已经进行了初步开发或者找到了适用的成熟货架产品。因此，本次转化应用研究的重点是：面向体系结构效能评估需求，确定核心仿真模型的构成要素和构建方法，分别针对指挥控制、信息处理、通信传输等不同类型模型的特点，选择与之相适应的仿真技术及工具软件，提出相应的元模型设计，从而一方面支持从体系结构模型到仿真模型的抽取转换，另一方面确保模型的仿真能力和仿真的输出结果满足效能评估的要求。
目前，本发明实施例已分别针对以指控系统为代表的上层业务应用和以通信网为代表的下层基础设施提出了初步的仿真建模方法和模型构成要素，具体说明如下：
本发明实施例分析了以指挥控制为代表的信息系统业务应用的特点，并综合考虑了体系结构效能评估对于仿真模型粒度及所提供信息详细程度的要求，认为对于此类系统的仿真宜采用基于实体组装的建模方式。
基于实体组装的仿真建模是基于这样一种基本认识：在现实世界中，任何一个实体都是各种装备的一种组合，其功能由构成单元的功能组合而来的，其非功能特性也是由构成单元的非功能特性决定的。例如，指挥所是由承担不同角色的指挥席位构成，而在席位上部署的又是具备不同功能的指控业务软件。指挥所的整体业务能力正是依靠这些席位和业务软件组合而得到的。根据上述思想，基于实体组装的仿真建模主要包括基本装备、仿真实体、实体组合、实体交互四个方面，具体内涵请参见表1。
表1 基于实体组装的仿真建模内容
其中，基本装备模型是预先定义的，在开展体系结构仿真试验之前，已经存在于装备模型库中。之后的模型构建活动主要分为两步：首先建立实体组合模型，将基本装备组合成不同的操作实体；然后建立实体交互模型，进一步定义操作实体之间的交互关系。由于本项目采用了模型驱动方法，以上两个步骤不需要手工实施，可依靠从体系结构模型到仿真模型的抽取转化技术来辅助仿真建模人员完成。通过这两个步骤对模型不断完善，最终可得到一个完整且能够正确反映体系结构设计的可执行的仿真系统模型。
通信网仿真是综合电子信息系统体系结构仿真中的一项重要内容。本项目经过分析以栅格化信息网为代表的通信网络的组成结构和技术特点，并调研目前通信网仿真的成熟技术和工具情况，认为通信网仿真建模方法与上述业务应用建模方法在思路上具有相似之处，但在模型组成要素和构建方法上也有明显不同，宜采用基于拓扑结构的建模方法。
基于拓扑结构的建模方法是一种较为成熟的网络通信仿真建模方法，已被很多知名建模工具（如OPNET）所采用。该方法提供了三层建模机制：最底层为进程（Process）模型，以状态机的形式来描述通信协议；第二层为节点（Node）模型，由通信协议组装成通信设备，反映设备的核心功能和关键特性；最上层为网络模型，由通信设备连接成一个完整的通信网络，反映网络的拓扑结构和互联关系。这三层模型的具体内涵如表2所示，它们和实际的协议、设备、网络完全对应，全面反映了通信网络的组网和传输特征。
表 2基于拓扑结构的仿真建模内容
在上述三类模型的构建过程中，代表协议的进程模型需要预先定义好，并保存于相应的模型库中，在试验中不做修改，直接参与通信设备组装。代表设备的节点模型通常也会根据真实世界中通信实装的情况进行预先组装，作为预定义的装备模型使用，但允许在试验中，根据需要对其进行配置或调整。体系结构仿真建模的重点在于网络层，需要在模型抽取转换技术的辅助下，依据体系结构和目标想定中给出的网络拓扑，以自下而上的方式对各级子网中的节点模型进行层层组合，最终得到一个完整的通信网络仿真模型。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的面向效能评估系统的评估方法，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
本发明另一实施例提供一种面向效能评估系统的评估装置，用于执行上述实施例提供的面向效能评估系统的评估方法。
参照图9，示出了本发明的一种面向效能评估系统的评估装置实施例的结构框图，该装置具体可以包括如下模块：抽取模块901、转换模块902、仿真模块903和评估模块904，其中：
抽取模块901用于根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；
转换模块902用于将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；
仿真模块903用于将目标想定信息输入到目标仿真模型中，得到仿真结果；
评估模块904用于根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果。
本发明实施例提供的面向效能评估系统的评估装置，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
本发明又一实施例对上述实施例提供的面向效能评估系统的评估装置做进一步补充说明。
可选地，抽取模块用于：
建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据评估试验需求，基于自动化的方法抽取与评估试验需求对应的目标体系结构模型。
可选地，抽取模块还用于：
对DoDAF中的视图或模型间的关联关系进行解析。
可选地，抽取模块，还用于：
对目标体系结构模型进行判断；
若目标体系结构模型是基于DM2的体系结构模型，则直接抽取；
若目标体系结构模型不是基于DM2的体系结构模型，则对目标体系结构模型进行预处理，对处理后的结果进行抽取。
可选地，转换模块用于：
建立体系结构元模型和仿真元模型，其中，体系结构元模型用于表征对仿真实体的能力、接口等外部属性的描述能力；仿真元模型用于表征对仿真系统自身的构成、结构和行为等的设计能力；
根据体系结构元模型和仿真元模型建立模型转换规则，模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据模型转换规则，将目标体系结构模型转换成与目标结构模型对应的目标仿真模型。
可选地，转换模块，具体用于：
基于MOF的目标体系结构模型，对MOF的目标体系结构模型进行声明式的查询、视图和变换的操作，其中，查询用于对一个操作模型的表达式的计算，并得到查询源模型或查询语言中定义的类型的一个或多个实例，视图用于从作基模型中导出一个模型，变换用于将从源模型生成目标模型。
可选地，目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的面向效能评估系统的评估装置，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的面向效能评估系统的评估方法。
图10是本发明的一种终端设备的结构示意图，如图10所示，该终端设备包括：至少一个处理器1001和存储器1002；
存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的面向效能评估系统的评估方法。
本实施例提供的终端设备，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的面向效能评估系统的评估方法。
根据本实施例的计算机可读存储介质，通过根据待评估的面向效能评估系统的评估试验需求，确定与评估试验需求对应的目标体系结构模型；将目标体系结构模型转换成与目标结构模型对应的目标仿真模型，其中，目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，目标仿真模型至少包括映射模型信息，映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，仿真实体模型库中包括目标仿真模型；将目标想定信息输入到目标仿真模型中，得到仿真结果；根据仿真结果，对待评估的面向效能评估系统进行评估，得到评估分析结果，通过在体系结构层次对系统效能的评估分析，支持基于量化评估结果的体系结构设计方案比较和选优，支持体系结构要素对系统关键能力影响关系的定性定量分析，支持为体系结构优化改进提出建议，从而最终促进信息系统整体效能的提升。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种面向效能评估系统的评估方法，其特征在于，所述方法包括：
根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型；其中，所述评估试验需求包括评估内容和试验类型，所述评估内容至少包括效能评估指标体系具有的能力，所述试验类型至少包括效能量化评估、关键因素分析和多方案对比；
将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型，其中，所述目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，所述目标仿真模型至少包括映射模型信息，所述映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，所述仿真实体模型库中包括所述目标仿真模型；所述目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型；
将目标想定信息输入到所述目标仿真模型中，得到仿真结果；
根据所述仿真结果，对所述待评估的面向效能评估系统进行评估，得到评估分析结果；
所述根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型，包括：
建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，所述基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型；
所述将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型，包括：
建立体系结构元模型和仿真元模型，其中，所述体系结构元模型用于表征对仿真实体的能力、接口外部属性的描述能力；所述仿真元模型用于表征对仿真系统自身的构成、结构和行为的设计能力；
根据所述体系结构元模型和所述仿真元模型建立模型转换规则，所述模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型之前，所述方法还包括：
对所述DoDAF中的视图或模型间的关联关系进行解析。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标体系结构模型进行判断；
若所述目标体系结构模型是基于DM2的体系结构模型，则直接抽取；
若所述目标体系结构模型不是基于DM2的体系结构模型，则对所述目标体系结构模型进行预处理，对处理后的结果进行抽取。
4.根据权利要求1所述的方法，其特征在于，所述根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型，包括：
基于MOF的目标体系结构模型，对MOF的目标体系结构模型进行声明式的查询、视图和变换的操作，其中，所述查询用于对一个操作模型的表达式的计算，并得到查询源模型或查询语言中定义的类型的一个或多个实例，所述视图用于从作基模型中导出一个模型，所述变换用于从源模型生成目标模型。
5.一种面向效能评估系统的评估装置，其特征在于，所述装置包括：
抽取模块，用于根据待评估的面向效能评估系统的评估试验需求，确定与所述评估试验需求对应的目标体系结构模型；其中，所述评估试验需求包括评估内容和试验类型，所述评估内容至少包括效能评估指标体系具有的能力，所述试验类型至少包括效能量化评估、关键因素分析和多方案对比；
转换模块，用于将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型，其中，所述目标体系结构模型至少包括目标想定过程、目标任务、操作单元和操作环境特征，所述目标仿真模型至少包括映射模型信息，所述映射模型信息用于将体系结构模型中的原子元素与仿真实体模型库中的实体映射进行关联；其中，所述仿真实体模型库中包括所述目标仿真模型；所述目标仿真模型至少包括指挥决策、信息处理、通信传输、情报侦察中的一种或多种仿真模型；
仿真模块，用于将目标想定信息输入到所述目标仿真模型中，得到仿真结果；
评估模块，用于根据所述仿真结果，对所述待评估的面向效能评估系统进行评估，得到评估分析结果；
所述抽取模块具体用于：建立基于DoDAF的体系模型要素和体系结构效能评估指标之间的映射关系；其中，所述基于DoDAF的体系模型要素至少包括DoDAF的一个视图、视图中的一个模型或元模型中的一个或多个元素；
根据所述评估试验需求，基于自动化的方法抽取与所述评估试验需求对应的目标体系结构模型；
所述转换模块具体用于：
建立体系结构元模型和仿真元模型，其中，所述体系结构元模型用于表征对仿真实体的能力、接口外部属性的描述能力；所述仿真元模型用于表征对仿真系统自身的构成、结构和行为的设计能力；
根据所述体系结构元模型和所述仿真元模型建立模型转换规则，所述模型转换规则用于实现体系结构模型至仿真模型的自动转换，并提供仿真实体适配算法，以支持适配规则的自动/半自动配置；
根据所述模型转换规则，将所述目标体系结构模型转换成与所述目标体系结构模型对应的目标仿真模型。
6.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-4中任一项所述的面向效能评估系统的评估方法。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-4中任一项所述的面向效能评估系统的评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211068054.2A CN115146486B (zh) | 2022-09-02 | 2022-09-02 | 面向效能评估系统的评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211068054.2A CN115146486B (zh) | 2022-09-02 | 2022-09-02 | 面向效能评估系统的评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115146486A CN115146486A (zh) | 2022-10-04 |
| CN115146486B true CN115146486B (zh) | 2023-04-28 |
Family
ID=83416246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211068054.2A Expired - Fee Related CN115146486B (zh) | 2022-09-02 | 2022-09-02 | 面向效能评估系统的评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115146486B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574683A (zh) * | 2024-01-12 | 2024-02-20 | 中国电子科技集团公司信息科学研究院 | 一种面向效能的体系结构优化与仿真方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070260436A1 (en) * | 2006-04-27 | 2007-11-08 | Lockheed Martin Integrated Systems And Solutions | System and method for evaluating system architectures |
| CN103593516B (zh) * | 2013-10-30 | 2016-09-21 | 中国运载火箭技术研究院 | 一种作战体系建模与仿真系统 |
| CN112036019B (zh) * | 2020-08-25 | 2022-07-26 | 北京航空航天大学 | 一种作战体系概念模型到作战体系仿真模型的映射方法 |
| CN114154322A (zh) * | 2021-11-29 | 2022-03-08 | 上海烜翊科技有限公司 | 一种由体系架构模型输出的系统总体设计方法 |
-
2022
- 2022-09-02 CN CN202211068054.2A patent/CN115146486B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN115146486A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Benjamin et al. | Using ontologies for simulation modeling | |
| Gacek et al. | On the definition of software system architecture | |
| Babar et al. | A framework for supporting architecture knowledge and rationale management | |
| Weinreich et al. | Towards supporting the software architecture life cycle | |
| Tour et al. | Agent system mining: vision, benefits, and challenges | |
| CN115146486B (zh) | 面向效能评估系统的评估方法及装置 | |
| Legendre et al. | Toward model synchronization between safety analysis and system architecture design in industrial contexts | |
| Ciancarini et al. | Agile knowledge engineering for mission critical software requirements | |
| Postina et al. | An ea-approach to develop soa viewpoints | |
| Mei et al. | Model provenance management in MLOps Pipeline | |
| CN108897752B (zh) | 面向智能化的电子信息系统体系结构描述方法 | |
| Pinzger et al. | Architecture recovery for product families | |
| Tolk | Verification and validation | |
| Sitton et al. | ESE framework verification by MBSE | |
| Evbuomwan et al. | A state of the art report on concurrent engineering | |
| Grambow et al. | Contextual generation of declarative workflows and their application to software engineering processes | |
| Tsironis et al. | A framework for BPML assessment and improvement: A case study using IDEF0 and eEPC | |
| KR20160149563A (ko) | 역할 기반 아키텍처를 사용하는 온톨로지 기반의 자가 적응형 시스템을 위한 가변성 모델링 방법 | |
| Florez et al. | Modeling and Analyzing Imperfection in Enterprise Models. | |
| Soffer et al. | Model-Based Requirements Engineering Framework for Systems Life-Cycle Support | |
| Eisenberg et al. | Multi-objective model transformation chain exploration with MOMoT | |
| Zech et al. | A Proposal for a Models-Meet-Data Repository For Digital Twins in Construction Engineering | |
| Pereira et al. | An ArchiMate-Based Approach to ISO 9001: 2015 Quality Management: Shifting to IT-Enabled Documented Information | |
| CN115801599B (zh) | 基于使用剖面的评估模型构建方法 | |
| Dotsenko et al. | Architecture Development of Information System of an Enterprise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230428 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |