CN107797910A - 一种调度自动化系统软件质量的评价方法 - Google Patents

Abstract

本发明涉及一种调度自动化系统软件质量的评价方法，所述方法包括：I、建立软件质量模型；II、建立指标体系；III、多指标综合评测；IV、计算质量指标；本发明所述的评价方法，构建了完整的软件质量模型，建立了全面的质量指标体系，提出了有效的指标测试方法和综合评价方法，给出了明确的质量指标，并应用了黑盒测试和人工评判等测试方法，通过完整的测试用例和评价集对软件进行了全面有效的测试，采用层次分析法和模糊综合评判法对软件质量进行了综合评价，解决了调度自动化系统软件质量的评价问题，同时提高了软件质量评价的效率和准确性，为调度自动化系统的稳定运行提供了保障，有力支撑了电网的安全运行。

Description

一种调度自动化系统软件质量的评价方法

技术领域

本发明涉及一种评价方法，具体讲涉及一种调度自动化系统软件质量的评价方法。

背景技术

调度自动化系统是一个集数据采集、控制、通信和分析决策功能于一身的计算机系统，其中调度主站端系统是系统的核心部分，负责收集和处理各远动分站采集的遥测、遥信信息，并对远动分站发送各种命令信息，从而实现对电网的采集与监视控制功能。在传统调度自动化系统基础上，智能电网调度技术支持系统在一体化基础平台基础上构建了四大类应用，有效提升调度系统在线化、精细化、实用化、一体化水平，为坚强智能电网安全、经济、优质运行提供技术支撑。同时也极大地增加了软件开发的规模和复杂度，也使得系统的运行风险有所增加。调度自动化系统异常已被定义为电网事故，因此要求更高的调度自动化系统产品质量。

1991年，软件产品质量评价国际标准ISO 9126中定义的“软件质量”是软件满足规定的或潜在用户需求特性的综合。到1999年，国际标准ISO 14598经典的“软件质量”定义是软件特性的总和，软件满足规定或潜在用户需求的能力。2001年，软件产品质量国际标准化组织修订了ISO/IEC 9126-1991，提出了一套新的9126系统标准。对于不同的测试对象，各种质量指标的重要程度是各不相同的。一旦软件产品的需求建立起来后，可以确定各属性对该软件的重要程度。关于质量指标的选择，以及如何对软件质量进行综合评价，ISO/IEC9126没有给出具体的方法，需要针对具体的被测系统进行研究。ISO/IEC9126说明了软件的质量可以从功用性、可靠性、可用性、效率、可维护性和可移植性六个方面去衡量。

而无论国内还是国外，对调度自动化系统的软件质量，目前尚没有明确的方法去建立质量模型并进行测试评价，更多的只是对软件功能的测试验证。测试长期以来都是依靠人工的方式进行的，依据相关的功能测试条目，由测试人员人工设置测试案例，逐一对系统的功能进行验证。对调度自动化系统的功能验证依次经历工厂验收、现场验收等阶段。国内外对于调度自动化系统的试验验证仍处于手动型和经验型阶段，对系统的验证功能覆盖面有限、对验证结果正确性的检验能力较差、对检测验证操作人员专业水平要求较高。通用的软件测试方法由于缺乏调度自动化相关专业性内容，难以直接应用于调度自动化系统的测试验证中。

为此，迫切需要一种专业的软件测试理论方法、软件质量的评价方法与调度自动化系统实际情况相结合，建立适用于调度自动化系统的软件质量模型和指标体系，最终给出软件质量的评价结果。

发明内容

为了解决现有技术中所存在的上述不足，本发明提供一种调度自动化系统软件质量的评价方法，所述方法包括：

I、建立软件质量模型；

II、建立指标体系；

III、多指标综合评测；

IV、计算质量指标。

优选的，所述步骤I软件质量模型包括：目标层、属性层、特性层和子特性层。

优选的，所述目标层包括：软件质量；

所述属性层包括：内部属性和外部属性；

所述特性层包括：功用性、可靠性、高效性、易用性、可维护性和可移植性；

所述子特性层包括：准确性、完备性、安全性、成熟性、容错性、可恢复性、时间特性、资源利用、易理解性、可学习性、易操作性、可分析性、可测试性、稳定性、共存性、适应性和规范性。

优选的，所述步骤II指标体系包括：目标指标、属性指标、特性指标和子特性指标。

优选的，所述目标指标包括：质量指标；

所述属性指标包括：符合性和适用性指标；

所述特性指标包括：功用性、可靠性、高效性、易用性、维护性和移植性指标；

所述子特性指标包括：准确性、完备性、安全性、成熟性、容错性、恢复性、时间性、资源性、理解性、学习性、操作性、分析性、测试性、稳定性、共存性、适应性和规范性指标。

优选的，所述步骤III多指标综合评测包括：层次分析法分析内部属性，和模糊综合评判法评判外部属性。

优选的，所述层次分析法包括：由低到高依次分为测试项、子特性和内部质量，引入1-9标度法生成判断矩阵，计算判断矩阵的最大特征根和对应的特征向量，依次计算出低层因素对最高层的相对重要性权值或相对优劣性的排序值，最后给出内部质量评价指标；

所述模糊综合评判法包括：先对子特性的各测试项建立评判模型并进行综合评价，归一化后得到子特性的评判集，再对外部属性的各子特性建立评判模型并进行综合评价。

优选的，所述步骤IV计算质量指标包括：对内部、外部属性的指标结果进行鲁棒性分析，通过后进行归一化处理合并成一个最终的质量指标。

优选的，所述鲁棒性分析包括：对质量指标的权值和质量度量值的稳定性分析，确定其中的敏感因素；

所述质量指标包括：内部属性的质量指标和外部属性的质量指标；

所述内部属性的质量指标包括：以1.0为最高值，完全符合标准、规范要求的得到1.0分，达不到要求的按测试项的数量比例扣除部分分数；

所述外部属性的质量指标等级包括：优异、很好、较好、一般、较差和很差，依次对应1.2、1.0、0.8、0.6、0.4、0.2。

与现有技术相比，本发明具有以下有益效果：

本发明提供的一种调度自动化系统软件质量的评价方法，构建了完整的软件质量模型，建立了全面的质量指标体系，提出了有效的指标测试方法和综合评价方法，给出了明确的质量指标。

本发明应用了黑盒测试和人工评判等测试方法，通过完整的测试用例和评价集对软件进行了全面有效的测试，采用层次分析法和模糊综合评判法对软件质量进行了综合评价，解决了调度自动化系统软件质量的评价问题。

本发明提高了软件质量评价的效率和准确性，为调度自动化系统的稳定运行提供了保障，有力支撑了电网的安全运行，实现了对调度自动化系统软件质量的全面评价。

附图说明

图1为本发明所述的调度自动化系统软件质量评价的整体流程图；

图2为本发明所述的调度自动化系统的软件质量模型示意图；

图3为本发明所述的调度自动化系统软件质量的指标体系示意图。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

本发明提供一种调度自动化系统软件质量的评价方法，如图1所示，所述方法包括如下步骤：

步骤I、建立软件质量模型；

如图2所示，软件质量模型依次分为目标、属性、特性和子特性四层，其中目标层是软件质量，属性层包括内部属性和外部属性，特性层包括功用性、可靠性、高效性、易用性、可维护性和可移植性，子特性层包括准确性、完备性、安全性、成熟性、容错性、可恢复性、时间特性、资源利用、易理解性、可学习性、易操作性、可分析性、可测试性、稳定性、共存性、适应性和规范性。

质量模型中的属性、特性的描述和解释如表一所示。

表1

步骤II、建立指标体系；

如图3所示，指标体系具体指标根据软件质量模型对应建立，依次包括子特性指标、特性指标、属性指标和目标，子特性指标包括准确性、完备性、安全性、成熟性、容错性、恢复性、时间性、资源性、理解性、学习性、操作性、分析性、测试性、稳定性、共存性、适应性和规范性指标，特性指标包括功用性、可靠性、高效性、易用性、维护性和移植性指标，属性指标包括符合性和适用性指标，目标指标为质量指标。对每个子特性指标建立具体测试项，对内部属性的子特性根据黑盒测试的综合应用策略和软件功能规范来建立有效的测试用例，对外部属性的子特性根据调度业务实际需求和软件功能规范来建立完整的评价集。

步骤III、多指标综合评测；

多指标综合评测是根据软件质量的指标体系分别综合评价内部和外部质量。内部质量评价采用层次分析法(AHP)，按隶属关系由低到高分为测试项、子特性和内部质量三层，引入1-9标度法生成判断矩阵，计算判断矩阵的最大特征根及对应的特征向量，依次由下向上计算出低层因素对最高层的相对重要性权值或相对优劣性的排序值，最后给出内部质量评价指标。外部质量评价采用模糊综合评判法，模糊综合两层评判因素集为外部属性对应的各子特性集合以及各子特性对应的各测试项集合，评价集为{优异，很好，较好，一般，较差，很差}。先对每个子特性的各测试项建立评判模型并进行综合评价，归一化后得到子特性的评判集，再对外部属性的各子特性建立评判模型并进行综合评价，其中评判模型中的权重集的建立需要考虑各因素的重要性以及对评价结果的影响程度，最后给出评判指标。

步骤IV、计算质量指标；

质量指标的计算是通过对内部、外部属性的指标结果进行鲁棒性分析，通过后进行归一化处理合并而成。对质量指标赋予权值和对调度自动化系统的质量进行度量时都可能引入误差，从而影响调度自动化系统的正确评测，需要对质量指标的权值和质量度量值进行鲁棒性分析,确定其中的敏感因素。当最后的评测结果与预期结果有较大偏差时,需要返回修正相关参数值后重新评价以获得修正后的结果。软件质量不仅要满足标准、规范的要求，也要满足用户的需求。软件质量的更高层次要求是让用户使用愉快，即想在用户前面，超出用户的期望。在对软件质量模型进行度量时，对适用性出色的软件质量给与一定的加分。内部属性的质量指标以1.0为最高值，完全符合标准、规范要求的可以得到1.0分；外部属性的质量指标按{优异，很好，较好，一般，较差，很差}依次对应{1.2，1.0，0.8，0.6，0.4，0.2}，在确定好内部、外部质量的权值后可以得到最终的软件质量指标。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (9)

1.一种调度自动化系统软件质量的评价方法，其特征在于，所述方法包括：

I、建立软件质量模型；

II、建立指标体系；

III、多指标综合评测；

IV、计算质量指标。

2.如权利要求1所述的质量的评价方法，其特征在于，所述步骤I软件质量模型包括：目标层、属性层、特性层和子特性层。

3.如权利要求2所述的质量的评价方法，其特征在于，所述目标层包括：软件质量；

所述属性层包括：内部属性和外部属性；

所述特性层包括：功用性、可靠性、高效性、易用性、可维护性和可移植性；

所述子特性层包括：准确性、完备性、安全性、成熟性、容错性、可恢复性、时间特性、资源利用、易理解性、可学习性、易操作性、可分析性、可测试性、稳定性、共存性、适应性和规范性。

4.如权利要求1所述的质量的评价方法，其特征在于，所述步骤II指标体系包括：目标指标、属性指标、特性指标和子特性指标。

5.如权利要求4所述的质量的评价方法，其特征在于，所述目标指标包括：质量指标；

所述属性指标包括：符合性和适用性指标；

所述特性指标包括：功用性、可靠性、高效性、易用性、维护性和移植性指标；

所述子特性指标包括：准确性、完备性、安全性、成熟性、容错性、恢复性、时间性、资源性、理解性、学习性、操作性、分析性、测试性、稳定性、共存性、适应性和规范性指标。

6.如权利要求1所述的质量的评价方法，其特征在于，所述步骤III多指标综合评测包括：层次分析法分析内部属性和模糊综合评判法评判外部属性。

7.如权利要求6所述的质量的评价方法，其特征在于，所述层次分析法包括：由低到高依次分为测试项、子特性和内部质量，引入1-9标度法生成判断矩阵，计算判断矩阵的最大特征根和对应的特征向量，依次计算出低层因素对最高层的相对重要性权值或相对优劣性的排序值，最后给出内部质量评价指标；

所述模糊综合评判法包括：先对子特性的各测试项建立评判模型并进行综合评价，归一化后得到子特性的评判集，再对外部属性的各子特性建立评判模型并进行综合评价。

8.如权利要求1所述的质量的评价方法，其特征在于，所述步骤IV计算质量指标包括：对内部、外部属性的指标结果进行鲁棒性分析，通过后进行归一化处理合并成一个最终的质量指标。

9.如权利要求8所述的质量的评价方法，其特征在于，所述鲁棒性分析包括：对质量指标的权值和质量度量值的稳定性分析，确定其中的敏感因素；

所述质量指标包括：内部属性的质量指标和外部属性的质量指标；

所述内部属性的质量指标包括：以1.0为最高值，完全符合标准、规范要求的得到1.0分，达不到要求的按测试项的数量比例扣除部分分数；

所述外部属性的质量指标等级包括：优异、很好、较好、一般、较差和很差，依次对应1.2、1.0、0.8、0.6、0.4、0.2。