CN111241689A

CN111241689A - 模型成熟度的评估方法及装置

Info

Publication number: CN111241689A
Application number: CN202010044262.3A
Authority: CN
Inventors: 张霖; 刘营; 赖李媛君
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2020-06-05

Abstract

本发明提供了一种模型成熟度的评估方法及装置，通过以下方式实现：构建模型成熟度的指标体系，获取指标数据，其中，指标体系中模型成熟度指标包括构建阶段指标、执行阶段指标、和管理阶段指标；确定各阶段下指标的权重；基于指标和指标权重，计算模型成熟度的值，评估模型成熟度等级。本发明提供的模型成熟度评估方法与装置，对模型的开发及使用阶段进行评估，能深入了解模型及其所属系统的演化状态，能够提供快速的指标数据导入和评估算法配置，为模型评估人员及领域专家快速、准确地评估模型提供了条件。

Description

模型成熟度的评估方法及装置

技术领域

本发明属于建模仿真领域，涉及一种新的模型评估维度与方法，同时通过该方法构建可配置的模型成熟度评估装置，能够提供快速的数据导入和模型成熟度结果快速计算。

背景技术

对模型的评价/评估可以从不同维度或角度进行，如置信度/可信度、逼真度等。然而，这些评估维度往往是针对模型的建模阶段进行评估的，而且主要关注模型在特定时期或者条件下静态的、固定的状态或者表现，没有反映出模型随着时间及使用次数的变化而发生变化的情况，也没有反映出系统演化状态的变化，对于模型在使用阶段的评估目前并没有研究给出相关指标或者方法。但是对于体系SoS(system of systems)这样的复杂系统仿真而言，这些维度并不能完全正确地反映系统涌现性及模型演化后的状态、可信性等特性。

因此，需要从模型使用阶段对模型进行有效评价，即从模型成熟度的角度，动态地评估模型是否随着时间或者使用次数的变化而依然可信、可用，在复杂系统涌现条件下，评估模型演化后是否越来越成熟。

发明内容

为了克服现有技术的不足，本发明人进行了锐意研究，提供了一种模型成熟度的评估方法及装置，该方法和装置对模型成熟度的评估包含了模型全生命周期的三个过程，即构建、执行和管理；在评估方法建立时，模型成熟度指标体系从建模、执行、管理该三个方面进行了全面构建，并提供了模型成熟度指标的详细说明及其量化标准，实现了对评估基础的构建；在此基础上，根据指标对评估结果的影响，计算指标权重；基于评价指标及其指标权重，综合计算得到模型成熟度。本发明提供的模型成熟度评估方法与装置，对模型的使用阶段进行评估，能深入了解模型及其所属系统的演化状态，能够提供快速的指标数据导入和评估算法配置，为模型评估人员及领域专家快速、准确地评估模型提供了条件。

本发明的目的在于提供以下技术方案：

第一方面，模型成熟度的评估方法，包括：

S101，构建模型成熟度的指标体系，获取指标数据，其中，指标体系中模型成熟度指标包括构建阶段指标、执行阶段指标、和管理阶段指标；

S102，确定各阶段下指标的权重；

S103，基于指标和指标权重，计算模型成熟度的值，评估模型成熟度等级。

第二方面，模型成熟度的评估装置，用于实施第一方面所述的方法，该装置包括：

数据获取模块，其将表征指标体系中二级指标的数据接入数据存储模块；指标体系包括中包括构建阶段指标、执行阶段指标、和管理阶段指标，各阶段指标细化为一级指标和二级指标，其中，二级指标数据为成熟度评估的基础数据；

数据存储模块，其构建数据存储的相关模板，存储数据获取模块导入的数据以及评估过程中产生的数据；

算法配置模块，其用于配置获取权重和成熟度值的算法并配置算法参数；

权重配置模块，其用于确定各阶段下指标的权重；

成熟度输出模块，基于指标和指标权重，计算模型成熟度的值，评估模型成熟度等级。

本发明提供的模型成熟度的评估方法及装置，带来了有益的技术效果：

(1)对模型成熟度的评估能够评价模型在使用阶段过程的变化情况，模型成熟度的评估角度涉及模型的全生命周期过程，评估更加全面；

(2)模型成熟度的等级划分可以为模型优化和管理提供指导和改进框架，为模型逐步走向成熟提供建议；

(3)本发明提供的模型成熟度装置能够提供可配置的评估方案与算法，为模型评估人员及领域专家快速评估领域模型提供便利。

附图说明

图1示出模型实践过程中的循环反馈关系；

图2示出本发明一种优选实施方式中模型成熟度的评估方法流程图；

图3示出本发明一种优选实施方式中模型成熟度的评估装置模块图。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

借鉴技术成熟度、产品成熟度、以及成熟度模型的思想，本发明提出模型成熟度的概念。模型成熟度(Model Maturity)：是指随着模型的使用时间和使用次数的增加，衡量模型满足预期效果及应用目标程度的量度，即模型相对于实际对象的发展状态。图1示出模型实践过程中的循环反馈关系，这是一个随着实践不断向前推进的循环过程。这个过程包含了模型从建模到仿真应用，以及对模型的全过程管理；其中每个过程都应有反馈以保证模型进行迭代优化，这即是模型逐步走向成熟的过程。模型成熟的过程是模型逐渐满足需求并逐渐趋于稳定的过程。模型在使用与演化过程中被不断完善、修正，模型的成熟度将逐步提升。模型的成熟度越高表明该模型是被使用越多，越被信赖的高可信高质量模型。尤其在模型重用过程中，成熟度高的模型被选择的优先级要远远高于新开发的或者“未成熟”的模型，模型的成熟度是模型重用时考虑的重要指标。模型越成熟，可靠性越高，应用于仿真系统时的风险越小。

由于模型的多样性、异构性、不同的应用需求背景，以及模型使用者对模型本身的了解、使用效果等因素的原因，很难对模型的成熟度建立一个准确的、标准的数学定义及描述来反应模型逐步成熟的运行或者演化机理，因此需要通过指标体系的评估方式来评估模型的成熟度。

为此，如图2所示，本发明提供了一种模型成熟度的评估方法，通过运用定性与定量相结合的方法按照多指标综合评价法去评估模型的成熟度，进而获取模型成熟度等级，从而对模型进行优化与改进以满足应用需求；该方法包括：

S101，构建模型成熟度的指标体系，获取指标数据，其中，指标体系中模型成熟度指标包括建模(构建)阶段指标、执行阶段指标、和管理阶段指标；

S102，确定各阶段下指标的权重；

在本发明S101中，指标是指影响仿真系统中的模型成熟与否的关键要素。指标体系，描述了影响模型成熟与否的关键要素/因素、以及这些因素之间的层次与关联关系，记录了模型成熟度的成熟过程路径。

如上文中所提到的，模型的全生命周期过程分为三个主要阶段，即模型开发、模型执行和模型管理阶段，获取和分析这个过程中的一些相关指标，综合考虑模型的各个阶段，进而评估这个模型的成熟等级，是对模型应用效果进行正确评价的一种有效方法。

本发明人按照模型的全生命周期过程中三个主要阶段对模型成熟度进行评估，并在此基础上建立一级指标和二级指标细化这三个阶段。具体地，分别在建模(构建)阶段、执行阶段、以及管理阶段设立一级指标和二级指标，主要分类和说明如表1中所示。

表1模型成熟度评价指标主要分类及说明

表1中指标为模型成熟度的基本指标，本领域技术人员还可以在此基础上，按照领域应用场景编辑模型成熟度指标体系，添加其他相关因素到指标体系中。一级指标通过二级指标得到衡量，二级基本指标的详细说明及量化方式如下：

(i)模型开发能力成熟度：对仿真领域模型的开发过程的成熟度评级，一般由第三方认证评测机构来评估模型开发组织的开发过程能力完备程度，是一个定性指标；如可以将该指标划分为五个等级，1不完全级、2管理级、3已定义级、4定量管理级、5优化级，评估取值为[1,5]，每个等级对应一个整数级取值。

(ii)V&A(verification and validation校核、验证)完成度：包含了功能验证完成度、性能验证完成度、过程不确定性验证完成度、以及结果不确定性验证完成度，为定性指标，其值为上述四个方面中的最小值；如评估取值范围为[0,1]。

(iii)可信度：主要包含模型的可信度评估结果，鉴于模型的可信度评估方法有很多，且定性及定量的标准与算法不一，因此，本发明人约定可信度取值为0或者1，即要么可信，要么不可信。

(iv)执行反馈：模型执行过程的反馈主要来自执行人员的反馈，不同素质的执行人员反馈的问题不同，反馈内容包括模型使用/执行次数，执行过程中反馈问题数，模型与使用说明文档一致度，模型预期程度。主要采取二级指标为：

a)执行人员素质评价：人员素质方面通常只需要考虑该模型是否需要人在回路操控及其控制人员的专业素质是否达标，该指标为定性指标，如取值为(0,1]；

b)反馈使用比：其为反馈问题数与使用次数的比值，比值越大说明问题越多，模型越不成熟；其中，使用次数为模型交付用户被每月执行过的次数总和，反馈问题数为月反馈问题次数总和；

c)一致性评价：主要从两方面进行评价，即模型与该模型的使用说明文档的一致程度、以及模型与预期(需求)的一致程度，其值都为定性值，如取值范围[0,1]，一致性评价为二者的最小值。

(v)模型管理工具成熟性：是模型管理的一个重要方面，是定性指标，评判组织为第三方机构，如评估取值范围为[1,5]分为5个等级。

(vi)参数配置灵活度：模型的参数配置灵活度是考察模型执行效率、模型可扩展性和可移植性的一个重要方面，模型管理平台或者仿真架构所提供的参数配置越方便灵活，模型越能被重用、扩展与快速执行，模型越成熟。参数配置灵活度也是一个定性指标，如评估取值范围[1,5]，由专业评价机构或者人员评定其等级。

(vii)管理反馈：模型管理阶段的反馈主要来自于维护人员的反馈，反馈内容为历史评价文档记录，反馈问题数等。评估该部分的指标为：

a)维护人员素质评价，该指标为定性指标，评判维护人员的专业素质是否达标，如评估取值范围[1,5]；

b)管理反馈是否规范，评价方来自于模型使用者及模型开发组织，定性指标，取值为0或者1；

c)管理反馈问题数，定量指标，记录模型管理以来遇到的问题总数。

在本发明S101中，根据动态构建模型成熟度指标体系的方法构建指标体系后，还需要获取指标体系中指标的数据。该数据包含两部分，定性数据和定量数据。定性数据用于体现定性指标，定量数据用于体现定量指标。

评价模型成熟度的各个阶段下的各个指标，其重要程度一般是不同的，进行综合评价前需要确定各个阶段下各指标的权重系数。确定权重的方法有多种，主要可分为三类，主观赋权法、客观赋权法以及组合赋权法。主观赋权法往往依靠专家打分和定性分析，这种方法精确性不够，主观性太强，主要有：专家经验(打分)法、AHP、Delphi法等；客观赋权法一般采用数理统计方法和技术，但是这种方法过于依赖数据，缺乏业务指导，有时不能正确反映指标对目标的影响方向，主要有：熵值法、TOPSIS法、主成分分析方法、变异系数法、复相关系数法、多目标优化法等；组合赋权法即结合主观、客观相结合的方法，研究者们提出将各种方法得出的权数进行组合，而权数的组合方法归纳起来有两种形式，即乘法合成与线性加权组合，这种方法比较客观有效。

在本发明S102中，该指标体系中二级指标为11个(可扩展)，样本量适中，对权重客观性要求较高，同时也要有相关领域专家把控指标对成熟度的影响方向，因而确定采用组合赋权法结合主观评价和客观评价方法进行综合集成评价。经研究发现，专家经验(打分)法和熵值法结合的效果较好，因此我们对评价成熟度的三个一级指标(构建阶段成熟度、执行阶段成熟度、以及管理阶段成熟度)采用专家经验法，通过专家打分的定性评价方法来确定一级指标的权重(如建模、执行与管理阶段成熟度三个一级指标的权重分别为w₁＝0.35，w₂＝0.4，w₃＝0.25)；对二级指标则采用熵值法。

在熵值法中，某个指标的熵值越小，离散程度越大，说明该指标对综合评价的影响(权重)也就越大。采用熵值法确定二级指标权重包括以下步骤：

(i)清洗二级指标极值，剔除各二级指标中极大或者极小的值，用设定的上下限值替换该极大值和极小值。原则是剔除占样本总数不到1％～2％但是指标值贡献率超过20％～30％以上的极值样本。其中，指标值贡献率是指，指标值占该项指标总样本值之和的比率。该步骤的目的是减少极值数据对该指标熵的影响。

(ii)二级指标归一化，即指标的无量纲化，将二级指标实际值转化为不受量纲影响的评价值。常用的方法有临界值法和Z-score法，最终将指标转化为正区间里；

(iii)计算二级指标的熵值，利用该熵值计算二级指标的权值；

熵值H的计算公式为：

其中，

n为模型总样本数(在不同时间点获得的数据)，i＝1，2，…n，X_i为初始二级指标值，f_i为归一化后二级指标值；

则权值w_j的计算公式为：

其中，H_j为某个阶段第j个二级指标的熵，j＝1，2，…m，如执行阶段第1个二级指标“V&A完成度”的熵，各阶段中二级指标的权重独立计算，该阶段中二级指标的权重之和为1。

本发明人发现，对应于前面模型成熟度指标数据量化值，如果有一列指标出现特殊情况，如模型样本中，有一个样本的模型成熟度指标为1，其他为0，此时f_i＝1时，熵值为0，显然与熵所反应的无序化相悖。因此，对归一化f_i进行改造，如公式3所示：

其中α为常系数，取值为α≥0.5，优选为0.7～0.9。常系数的使用适当的减少了指标的熵值大幅度变化，如果指标数值离散程度过高，而不至于使得结果过于夸张。

在本发明S103中，在对模型成熟度进行综合计算时，如果获取的指标数据量太少，则可进行定性评价。首先通过适当的验证方法(如按照指标体系制定专家打分表)，各位专家针对验证内容的考察结果，对指标逐一进行打分评价，然后综合计算所验证的模型成熟度的得分。然后，计算各专家打分的平均值，或者去掉最高分和最低分之后的平均值，或者根据专家的权威性来进行加权平均。假设指标I_i，其得分为S_i，i＝1，2，…，n，并且0≤S_i≤1，则

其中

一共有m个专家进行评定，以y作为评估的最终打分。根据事先确定的阈值(根据经验设定，如分值大于80分，则认为通过验证)，评估模型是否成熟。

如果有足够的指标量化数据，则可以根据定义综合评估函数F(*)来计算模型最终的成熟度评估值。

假设一级指标值为E_i(M_ij)(i表示阶段，i＝1，2，…，n)，其通过二级指标的加权值得到；具体实施要点(二级指标)值为M_ij(第i阶段的第j个二级指标，j＝1，2，…m)，则最终成熟度综合评价公式为：

E(M_ij)＝F(E₁(M_ij),E₂(M_ij),...,E_n(M_ij)) 公式4

其中，F(*)函数可以为以下三种形式：

E(M_ij)＝Max(E₁(M_ij),E₂(M_ij),...,E_n(M_ij)) 公式5

E(M_ij)＝Min(E₁(M_ij),E₂(M_ij),...,E_n(M_ij)) 公式6

当然，根据模型成熟度的实施要点和数据偏向性等特征，F(*)函数会有不同的性质，有很多其他的形式，优选采用公式7。

对模型成熟度进行评估时，根据模型的使用目的、专家判定及经验，对模型进行分级或者阈值设定，如将模型成熟度等级设为5级，Level 0～Level 4，设定每个等级的阈值(根据多次综合评估结果，这个阈值可以小幅动态调整)，则根据获得的成熟度计算结果即可对该模型的成熟度等级进行评估。

根据本发明的二方面，如图3所示，提供了一种模型成熟度的评估装置，该装置包括：

数据获取模块，其将表征指标体系中二级指标的数据接入数据存储模块；指标体系包括中包括建模(构建)阶段指标、执行阶段指标、和管理阶段指标，各阶段指标细化为一级指标和二级指标，其中，二级指标数据为成熟度评估的基础数据；

权重配置模块，其用于确定各阶段下指标的权重；

在本发明中，所述数据获取模块包括：

定性数据获取子模块，用于识别数据来源，并接收定性二级指标数据包；

定量数据获取子模块，用于识别数据来源，并接收定量二级指标数据包；

定性数据转换子模块，用于将定性二级指标数据包转换为数据列表格式(如xls格式)，并把转换后数据存入数据存储模块；

定量数据转换子模块，用于将定量二级指标数据包转换为数据列表格式(如xls格式)，并把转换后数据存入数据存储模块。

本发明人按照模型的全生命周期过程中三个主要阶段对模型成熟度进行评估，并在此基础上建立一级指标和二级指标细化这三个阶段。具体地，一级指标包括：构建阶段成熟度、执行阶段成熟度和管理阶段成熟度；二级指标包括：模型开发能力成熟度、V&A完成度、可信度、执行人员素质评价、反馈使用比、一致性评价、模型管理工具成熟性、参数配置灵活度、维护人员素质评价、管理反馈是否规范、以及管理反馈问题数，其数据通过表1中所述方式收集。

在本发明中，数据存储模块包括模型-指标信息表构建子模块、指标模板信息表构建子模块、和存储子模块，其中，

模型-指标信息表构建子模块，其用于构建模型-指标信息表，如下表2所示；该模块能够增加、删除、修改、查找模型-指标信息表中各项；

表2模型-指标信息表

编号	数据段名	类型	长度	说明
					1	Model_ID	varchar	20	待评估/已评估模型的名称
2	Qli_Index	varchar	20	模型定性指标唯一标识符
					3	Qti_Index	varchar	20	模型定量指标唯一标识符

指标模板信息表构建子模块，用于构建指标模板信息表，如下表3所示；该模块能够增加、删除、修改、查找指标模板信息表中各项；

表3指标模板信息表

模型-指标信息表构建子模块和指标模板信息表构建子模块，完成数据录入模板的构建，利于对原始数据的录入转存，且通过指标模板信息表构建子模块对指标模板信息表的增、删、修改即可实施二级指标的调整，本领域技术人员可以在基本指标的基础上按照领域应用场景编辑模型成熟度指标体系，如增加可扩展二级指标。

存储子模块，用于存储数据获取模块导入的数据以及评估过程中产生的数据。

本发明中，算法配置模块用于配置获取一级指标权重、二级指标权重和成熟度值的算法并配置算法参数；如配置一级指标权重、二级指标权重及评估算法的选择，配置指标名称、指标数据来源、可变系数、数据归一化、极值处理比例等参数。

本发明中，权重配置模块用于对一级指标和二级指标进行权重配置。

评价模型成熟度的各个阶段下的各个指标，其重要程度一般是不同的，进行综合评价前需要确定各个阶段下各指标的权重系数。确定权重的方法有多种，主要可分为三类，主观赋权法、客观赋权法以及组合赋权法。主观赋权法主要有：专家经验(打分)法、AHP、Delphi法等；客观赋权法一般采用数理统计方法和技术，主要有：熵值法、TOPSIS法、主成分分析方法、变异系数法、复相关系数法、多目标优化法等。组合赋权法即组合赋权法即结合主观、客观相结合的方法。

本发明采用组合赋权法结合主观评价和客观评价方法进行综合集成评价，对评价成熟度的三个一级指标(构建阶段成熟度、执行阶段成熟度、以及管理阶段成熟度)采用主观赋权法，各主观赋权法设定的权值存储在数据存储模块中用于后续调用；对二级指标则采用客观赋权法，通过二级指标数据获得相应权重。

权重配置模块包括以下子模块：

二级指标权值获取子模块，其通过算法配置模块调用客观赋权法中的算法和原始二级指标数据，得到二级指标权值，传输至成熟度输出模块；

一级指标权值调用子模块，其调用根据主观赋权法设定的预先存储的权值数据，传输至成熟度输出模块；

算法中包括数据清洗步骤时，还包括数据清洗子模块，其用于清洗二级指标极值，剔除各二级指标中极大或者极小的值，用设定的上下限值替换该极大值和极小值。原则是剔除占样本总数不到1％～2％但是指标值贡献率超过20％～30％以上的极值样本；

算法中包括数据归一化步骤时，还包括归一化子模块，其用于二级指标的归一化，即指标的无量纲化，将指标实际值转化为不受量纲影响的评价值；。

在本发明中，成熟度输出模块包括以下子模块：

一级指标数据获取子模块，其用于根据二级指标数据和二级指标权重获得一级指标数据；

模型成熟度获取子模块，其通过算法配置模块调用成熟度算法，根据一级指标数据和一级指标权重获得模型成熟度值；

模型成熟度分级子模块，其用于根据模型成熟度值和成熟度等级划分阈值，输出模型成熟度等级。

进一步地，本发明中该装置还包括可视化模块，其可视化显示模型成熟度评估结果。优选地，其根据二级指标权重获取算法、一级指标权重获取算法、以及成熟度获取算法对比显示出不同算法结合下的模型成熟度值，便于模型使用人员和评估人员充分认识模型的成熟度。

不同算法下成熟度的显示归功于算法配置模块、二级指标权值获取子模块、一级指标权值调用子模块对算法的可选择性。

本发明中的上述装置，对应的可用于执行上述评估方法的技术方案，其实现原理和技术效果类似，在此不再赘述。

本领域的技术人员可以理解：实现上述方法的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述方法的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims

1.模型成熟度的评估方法，其特征在于，包括：

S102，确定各阶段下指标的权重；

2.根据权利要求1所述的方法，其特征在于，S101中，构建阶段指标划分为一级指标和二级指标，其中，一级指标为构建阶段成熟度，二级指标包括模型开发能力成熟度；

执行阶段指标划分为一级指标和二级指标，其中，一级指标为执行阶段成熟度，二级指标包括V&A完成度、可信度、执行人员素质评价、反馈使用比、和一致性评价；

管理阶段指标划分为一级指标和二级指标，其中，一级指标为管理阶段成熟度，二级指标包括模型管理工具成熟性、参数配置灵活度、维护人员素质评价、管理反馈是否规范、和管理反馈问题数。

3.根据权利要求2所述的方法，其特征在于，S102中，确定各阶段下一级指标的权重和二级指标的权重，其中，一级指标的权重采用主观赋权法，二级指标的权重采用客观赋权法。

4.根据权利要求3所述的方法，其特征在于，一级指标的权重采用专家经验法，二级指标的权重采用熵值法。

5.根据权利要求4所述的方法，其特征在于，采用熵值法确定二级指标权重包括以下步骤：

清洗二级指标极值，剔除各二级指标中极大或者极小的值，用设定的上下限值替换该极大值和极小值；

二级指标归一化，将二级指标实际值转化为不受量纲影响的数值；

计算二级指标的熵值，利用该熵值计算二级指标的权值。

6.模型成熟度的评估装置，其特征在于，该装置包括：

权重配置模块，其用于确定各阶段下指标的权重；

7.根据权利要求6所述的装置，其特征在于，所述数据获取模块包括以下子模块：

定性数据转换子模块，用于将定性二级指标数据包转换为数据列表格式，并把转换后数据存入数据存储模块；

定量数据转换子模块，用于将定量二级指标数据包转换为数据列表格式，并把转换后数据存入数据存储模块。

8.根据权利要求6所述的装置，其特征在于，数据存储模块包括以下子模块，其中，

模型-指标信息表构建子模块，其用于构建模型-指标信息表，该模块能够增加、删除、修改、查找模型-指标信息表中各项；

指标模板信息表构建子模块，用于构建指标模板信息表，该模块能够增加、删除、修改、查找指标模板信息表中各项；

9.根据权利要求6所述的装置，其特征在于，权重配置模块包括以下子模块：

还可以包括：

数据清洗子模块，其用于清洗二级指标极值，剔除各二级指标中极大或者极小的值，用设定的上下限值替换该极大值和极小值；

归一化子模块，其用于二级指标的归一化，将指标实际值转化为不受量纲影响的评价值。

10.根据权利要求6所述的装置，其特征在于，成熟度输出模块包括以下子模块：