CN110765600A - 一种航空发动机计算分析软件能力测评方法及系统 - Google Patents

Abstract

本申请属于软件评测技术领域，涉及一种航空发动机计算分析软件能力测评方法及系统，所述方法包括获取用户提交的航空发动机计算分析软件及评审需求文件；对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。本申请能够量化软件评估细则，将软件的计算结果与型号试验数据对比，得到软件计算能力，以此作为软件能力评估的一方面，极大的减少人为因素对判定结果的影响。

Description

一种航空发动机计算分析软件能力测评方法及系统

技术领域

本申请属于软件评测技术领域，特别涉及一种航空发动机计算分析软件能力测评方法及系统。

背景技术

经过几十年的发展，国内航空发动机研制行业通过自研开发、合作开发、采购等多种形式积累了一批用于航空发动机研发的计算分析软件(下简称“软件”)，为研发活动提供所需的仿真/分析/计算功能，提升研发效率。但就目前现状而言，相关航标、企标管控的均是软件的开发过程，而对软件开展具体研发活动的工程适用性并没有有效的测评方法，对软件的计算结果的可信度仅能依靠本专业人员通过经验去评判，对航空发动机这种多专业耦合、多学科专业人员协同研发的产品而言影响较大。

1、现有的技术方案

行业内缺少相对客观、量化的软件工程适用性测评方法，对软件适用的限制条件、软件结果的准确性是通过专业研发人员依靠经验去评判。

2、现有技术方案的缺点

(1)人为因素影响大

现有技术方案客观性不足，对软件的工程适用性的判定受个人能力、经验、专业领域影响较大，项目管理人员及其他专业研发人员对软件计算结果的可信度缺乏直观的评判，直接影响专业间协同的效率以及重要评审点的决策。

此外，当多个软件支撑同一项研发活动时，由于缺少对软件工程适用性的量化测评方法，软件的选用也受人为因素影响较大。

(2)管理成本高

在科研单位开展研发软件管理上，由于软件工程适用性测评方法的缺失，管理人员受专业所限，对本单位数以百计的软件的适用性、存在的问题以及后续建设方向等软件属性认识不充分，通常需逐一与相关专业的研发人员进行沟通确认，且由人为因素影响同一专业的研发人员对的软件的属性判定也存在差异，甚至出现前后矛盾的情况，软件的管理效率低。

此外，由于在软件管理的薄弱，部分软件的完善工作进展缓慢，部分功能相似的软件重复建设，造成一定的资金浪费。

发明内容

为了解决上述技术问题至少之一，本申请提供了一种航空发动机计算分析软件能力测评方法及系统，解决对软件工程适用性判定的受人为因素影响大的问题，以及解决软件管理效率低，统筹管理能力薄弱的问题。

本申请第一方面提供了一种航空发动机计算分析软件能力测评方法，主要包括：

步骤S1、获取用户提交的航空发动机计算分析软件及评审需求文件；

步骤S2、对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

步骤S3、根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

步骤S4、综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

优选的是，步骤S2中，软件计算能力等级至少关联有型号试验的数量及型号试验的数据比对精度。

优选的是，步骤S3中，软件评价细则分为5级，各级设定了相应的软件一致性阈值、结果精度阈值、软件适用范围阈值。

优选的是，步骤S4中，确定航空发动机计算分析软件能力包括：

对每条细则条款，确定对航空发动机计算分析软件的能力等级，按所有细则条款的最低值作为航空发动机计算分析软件的能力等级。

优选的是，对每条细则条款，确定对航空发动机计算分析软件的能力等级包括：

在该等级内，获取多个评审通过意见，若通过率占比超过90％，则所述航空发动机计算分析软件的能力达到该细则条规规定的等级。

本申请第二方面提供了一种航空发动机计算分析软件能力测评系统，包括：

软件获取模块，用于获取用户提交的航空发动机计算分析软件及评审需求文件；

计算能力评定模块，用于对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

级别评估模块，用于根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

软件能力评估模块，用于综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

本申请能够量化软件评估细则，将软件的计算结果与型号试验数据对比，得到软件计算能力，以此作为软件能力评估的一方面，提升判定的客观性，极大的减少人为因素对判定结果的影响。

附图说明

图1是本申请的航空发动机计算分析软件能力测评方法的一优选实施方式的流程图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。

本申请第一方面提供了一种航空发动机计算分析软件能力测评方法，主要包括：

步骤S1、获取用户提交的航空发动机计算分析软件及评审需求文件；

步骤S2、对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

步骤S3、根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

步骤S4、综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

结合图1，对本发明的具体步骤进行详细介绍。

1本发明的应用范围

本发明应用于航空发动机及燃气轮机研制中采用的计算分析软件能力的测评，是对成品软件在开展具体研发活动时的工程适用性的评价。

对软件从开发过程不在本发明的测评价范围内。

2软件能力的含义

将软件开展航空发动机研发流程中具体的研发活动时，表述软件计算精度、软件结果一致性、软件结果的验证程度、软件可操作性、配套文件的完备性等方面的综合属性定义为软件能力。

将软件能力的量化等级作为专业研发人员及管理人员衡量软件针对具体研发活动的工程适用性的依据。

3软件能力测评标准

结合存在的具体问题，采用等级描述法构建软件能力的测评标准，作为开展软件能力等级测评的依据。

3.1软件能力等级划分方式

将航空动力及燃气轮机动力研制中应用的计算分析软件能力划分为1级、2级、3级、4级、5级五个级别。1级最低，5级最高，各级含义如下：

1级：针对某一研发活动，软件功能得到确认，软件结果一致性满足专业使用要求。级别评定由评估准则来表明。

2级：针对某一研发活动，软件功能得到确认，软件结果一致性满足专业使用要求，软件结果经过与专业认可的数据(标准数据或文献上公开发表的数据或专业认可的软件计算结果)对比分析，精度满足专业使用要求，可在型号研制中试用。级别评定由评估准则来表明。

3级：针对某一研发活动，软件功能得到确认，软件结果一致性满足专业使用要求，软件结果经过至少一个型号产品数据的对比分析，精度满足专业使用要求。可在型号研制中应用。级别评定由评估准则来表明。

4级：针对某一研发活动，软件功能得到确认，软件结果的一致性满足专业使用要求，软件至少在两个型号产品研制中应用，软件结果经过型号试验验证,精度满足使用要求，推荐在型号研制中使用。级别评定由评估准则来表明。

5级：针对某一研发活动，软件功能得到确认，软件结果的一致性上无差别，软件至少在三个型号产品研制中应用，结果已经过充分的试验验证，可不需附加验证，优先在型号研制中使用。级别评定由评估准则来表明。

3.2软件能力通用评价准则

在各级定义基础上，制定各级通用评价准则，表1、2、3、4、5是软件能力的五级通用评价准则。分别从软件开发的规范性、软件的可操作性、软件结果一致性、软件结果精度、软件验证情况等方面规定了不同等级的评价准则。

表1 1级通用评估准则

表2 2级通用评估准则

表3 3级通用评估准则

表4 4级通用评估准则

表5 5级通用评估准则

4方法的实施过程及要点

对软件能力的测评过程，实质上是由第三方专家依照软件能力测评准则评价软件当前状态，给出量化的能力等级的过程，其典型过程如图1所示。

测评过程的关键环节是“软件能力测评申请”、“制定软件专用评价细则”、“软件能力等级测评评审”三个步骤，其他步骤可结合企业实际情况开展，本发明不做赘述。

(1)软件能力测评申请

申请方依据能力测评标准预判软件申请的测评等级，并针对申请等级对应的评价细则准备证明材料，要求预判等级对应的评估准则中各项条款均需有对应的证明材料，且证明材料应是正式文件。并填写《计算分析软件能力测评申请单》。

(2)制定软件专用评价细则

由软件管理方成立软件能力评审组，并召开评审会，制定软件专用评价细则。

专用评价细则的制定需对照通用评估准则，按预判等级对应的标准逐条细化，原则上通用评估准则中的条款不能任意裁剪；如标准中确有某项条款确实不适合被测评软件，可由申请方提出，专家一致同意后可以删去(并需在最终的软件测评报告中注明原因)。此外，专用评价细则制定中需注意：由于不同专业对软件能力的“一致性”要求和“精度”要求是不同的，因此在通用评估准则相应条款中对软件能力的“一致性”和“精度”未给出统一要求，这需要评审组在制定专用评价细则中，明确专业对软件的一致性和精度的指标要求，并纳入专用评价细则中，并在此基础上制定软件测评专家评审单。

(3)软件能力等级评审

组织专家评审会，由软件能力测评申请方介绍软件的基本信息、相关证明材料与测评标准的对应情况。评审专家依据申请方的介绍情况及提供的证明材料，对照《软件测评专家评审单》中软件能力专用评价细则，逐条判断测评标准中各条款的满足情况，每位专家完成一份《软件能力测评专家评审单》。

需注意的是，专用评价细则中的软件的一致性和精度的指标要求是软件能力的最低要求，软件实测的一致性和精度指标要等于或高于专用评价细则的一致性和精度指标，才可判定为通过。

由专人收集全部评审组成员的《软件能力测评专家评审单》，进行汇总分析，测算软件专用评价细则中各项条款的通过率，填入《软件能力测评审批单》。并给出软件能力等级测评结果意见，报与决策层审定。

建议《软件能力测评审批单》中“软件能力评价细则”的每项条款通过率90％以上，判定该项条款通过；所有条款均通过，判定软件达到相应的能力等级。

与现有技术相比，本申请具有的优点为：

1、极大的提升对软件工程适用性评价的客观性

本发明给出了软件能力等级的测评方法，制定相对客观的软件能力等级定义及评价细则，通过对照举证材料逐条评价判定细则中各项条款的满足程度，给出软件工程适用性等级，提升判定的客观性，极大的减少人为因素对判定结果的影响，统一专业内的认识。同时，软件能力的测评结果能够为管理人员、其他专业压研发人员对软件计算分析结果的可信度的判定提供初步的依据，为专业间协同及产品重要评审点的决策提供支撑。

此外，针对多个软件支撑同一项研发活动的情况，研发人员可将各软件的工程适用性的量化等级作为软件选取的依据，摒弃功能重复且适用性不高的软件。

2、显著提升软件的管理效率，提升统筹管理能力

通过应用本发明提供的方法，在企业软件管理过程中，将软件能力等级作为软件的重要属性，能够使管理人员直观的明确软件的工程适用性。依据软件能力等级的判定标准，结合软件当前所处的能力等级，能够使管理人员清晰的掌握软件能力，极大的减少管理人员与研发人员沟通协调软件的功能、适用性等属性，极大的降低人力成本。

同时，管理人员通过对照研发流程，查找各流程活动的支撑软件的能力等级，能够清晰掌握哪些软件存在功能上的重复，哪些科研活动缺少支撑软件、哪些软件功能不完善，为企业软件的统筹建设，减少软件的重复建设，促进软件适用性的提升提供重要保障。

本申请第二方面提供了一种与上述方法对应的航空发动机计算分析软件能力测评系统，主要包括：

软件获取模块，用于获取用户提交的航空发动机计算分析软件及评审需求文件；

计算能力评定模块，用于对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

级别评估模块，用于根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

软件能力评估模块，用于综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种航空发动机计算分析软件能力测评方法，其特征在于，包括：

步骤S1、获取用户提交的航空发动机计算分析软件及评审需求文件；

步骤S2、对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

步骤S3、根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

步骤S4、综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

2.如权利要求1所述的航空发动机计算分析软件能力测评方法，其特征在于，步骤S2中，软件计算能力等级至少关联有型号试验的数量及型号试验的数据比对精度。

3.如权利要求1所述的航空发动机计算分析软件能力测评方法，其特征在于，步骤S3中，软件评价细则分为5级，各级设定了相应的软件一致性阈值、结果精度阈值、软件适用范围阈值。

4.如权利要求1所述的航空发动机计算分析软件能力测评方法，其特征在于，步骤S4中，确定航空发动机计算分析软件能力包括：

对每条细则条款，确定对航空发动机计算分析软件的能力等级，按所有细则条款的最低值作为航空发动机计算分析软件的能力等级。

5.如权利要求4所述的航空发动机计算分析软件能力测评方法，其特征在于，对每条细则条款，确定对航空发动机计算分析软件的能力等级包括：

在该等级内，获取多个评审通过意见，若通过率占比超过90％，则所述航空发动机计算分析软件的能力达到该细则条规规定的等级。

6.一种航空发动机计算分析软件能力测评系统，其特征在于，包括：

软件获取模块，用于获取用户提交的航空发动机计算分析软件及评审需求文件；

计算能力评定模块，用于对所述航空发动机计算分析软件进行数据测试，获得测试结果，根据测试结果与型号试验验证数据的比对情况，确定软件计算能力等级；

级别评估模块，用于根据软件评价细则，对所述航空发动机计算分析软件及评审需求文件进行逐条比对，根据比对结果确定各细则条款的评估级别；

软件能力评估模块，用于综合所有细则条款及软件计算能力等级，确定航空发动机计算分析软件能力。

Images