CN110221976B

CN110221976B - 一种基于度量技术的计量终端软件质量量化评价方法

Info

Publication number: CN110221976B
Application number: CN201910452962.3A
Authority: CN
Inventors: 唐利涛; 杨舟; 李刚; 蒋雯倩; 何涌; 张智勇; 韦杏秋; 李捷
Original assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date: 2019-05-28
Filing date: 2019-05-28
Publication date: 2023-08-22
Anticipated expiration: 2039-05-28
Also published as: CN110221976A

Abstract

本发明公开了一种基于度量技术的计量终端软件质量量化评价方法，涉及电力计量工程技术领域。所述软件质量量化评价方法，先根据ISO/IEC9126国际标准构建了计量终端软件质量特性体系，确定了每种质量特性度量指标的度量元，再建立计量终端软件质量多层次评价模型，生成判断矩阵、确定权重，最后使用简单可度量的度量元数据分析计算计量终端软件的质量，对软件质量进行等级划分；通过本发明可以有效测试出软件缺陷，实现软件等级划分，规范了计量终端软件质量量化过程和准则，实现了对计量终端软件质量的客观科学的分析和评价。

Description

一种基于度量技术的计量终端软件质量量化评价方法

技术领域

本发明属于电力计量工程技术领域，尤其涉及一种基于度量技术的计量终端软件质量量化评价方法。

背景技术

计量终端主要实现数据采集、数据管理、数据双向传输以及转发或执行控制命令等计量与非计量功能，是保证电能计量稳定性及可靠性的关键设备。计量终端在硬件可靠性方面的技术和质量控制都已相对成熟，但软件方法研究、软件检测及质量度量评价方面都还没有成熟的规范和应用，随着产品的智能化发展，软件的规模和复杂度不断提高，产品质量可靠性问题逐渐在现场操作过程中暴露出来，软件质量的好坏已成为影响计量终端产品可靠性的关键因素，并呈逐渐上升的趋势，特别是软件诱发的故障类型，对电网的稳定可靠运行构成了极大的风险。

软件质量评价主要采用基于测试覆盖率的软件质量评价和基于度量的软件质量评价两种手段。基于测试覆盖范围的软件质量评估方法通过测试覆盖范围度量测试的充分性和完整性开展软件质量评价。覆盖率越高，测试中没有覆盖的需求或代码就越少。然而，高覆盖率并不能完全代表产品的高质量和高可靠性的评价。

发明内容

针对现有技术的不足，本发明提供一种基于度量技术的计量终端软件质量量化评价方法，以克服现有技术中无法全面实现产品软件质量的横向和纵向比较，以及无法实现产品软件质量的定量评价的缺陷；基于提供的量化评价方法，可按精确计算出不同厂家或同一厂家不同批次的计量终端软件的质量评分和质量等级水平，进而可对不同厂家同时期同批次的计量终端软件质量横向比较，也可以进行同一厂家不同时期不同批次的计量终端软件质量纵向比较，可有效分析产品的软件质量水平，优化改进。

本发明是通过如下的技术方案来解决上述技术问题的：一种基于度量技术的计量终端软件质量量化评价方法，包括以下几个步骤：

步骤1：度量模型和质量特性、度量指标的确定；

分析影响计量终端软件质量的因素，建立计量终端软件质量度量模型；确定影响计量终端软件质量的质量特性和度量指标，构建计量终端软件质量评价指标体系；

以使用质量为重点，计量终端软件质量以功能性指标、可靠性指标为核心评价要素；每个质量特性根据影响因素确定详细的度量指标，也即度量元；

步骤2：计量终端软件质量多层次评价模型的建立；

采用层次分析法(Analytics Hierarchy Process，AHP)，对系统进行分层，确立每层中不同的评价因素，对各评价指标进行比较判断，计算各自权重以及相对于总目标的权重，将每个因素对结果的影响程度量化，最后应用综合思维方式决策分析，建立计量终端软件质量多层次评价模型；

步骤3：判断矩阵的建立；

基于计量终端软件质量多层次评价模型，同层次的度量元采用采用九级标度法进行两两比较，生成准则层判断矩阵、指标层相较于准则层判断矩阵以及准则层相较于目标层的判断矩阵；

步骤4：一致性检验和权重确定；

对准则层判断矩阵、指标层相较于准则层判断矩阵以及准则层相较于目标层的判断矩阵的一致性进行检验，并确定各层次度量元的权重；

步骤5：计量终端软件质量特性测量值的量化计算；

根据每个测试项的测试结果，计算度量元的测量值，测量值越接近1.0说明该测试指标测试越充分；再根据所述步骤4确定的度量元的权重，对计量终端软件质量的度量元进行加权求和，计算出计量终端软件质量子特性的测量值；然后对质量子特性进行加权求和，计算出质量特性的测量值；最后，对质量特性进行加权求和，计算出软件质量最终的测量值，即量化评分；

步骤6：计量终端软件评价等级的划分；

根据所述步骤5计算的计量终端软件质量特性的最终测量值，将计量终端软件评价等级划分为优秀、良好、合格和不合格。

进一步的，所述步骤1中，采用国际标准ISO/IEC9126计量终端软件的质量特性和度量指标。

进一步的，所述步骤1中，功能性指标包括计量终端软件通信规约测试和常规功能性测试。

进一步的，所述通信规约测试包括预连接测试、应用连接测试、读取测试、设置测试、操作测试、上报测试、代理数据测试、异常数据测试、单地址测试、通配地址测试、应用连接协商数据测试以及默认安全模式参数测试；

所述常规功能性测试包括基本误差试验、状态量采集试验、模拟量采集试验、电能量采集试验、负荷曲线测试、终端实时数据召集测试、电表日历与状态召集测试、采集终端数据采集与处理测试、采集终端运行状况监测测试、电能质量数据统计测试、日冻结数据测试、月冻结数据测试、设置和查询试验、事件记录功能测试、终端初始化测试、终端软件远程下载测试。

进一步的，所述步骤1中，可靠性指标包括边界极限容错性测试指标和通信可靠性测试指标。

进一步的，所述边界极限容错性测试指标包括极限负荷及全费率切换计量测试、时钟进位及边界校时、容错测试、上下电及时间突变冻结测试、时间突变负荷记录测试、采集端口极限负荷测试、通讯超时极限及波特率通信测试、存储数据极限测试、任务上报极限测试、软件冗余度测试、远程通信模块边界极限测试、存储数据极限测试。

进一步的，所述通信可靠性测试指标包括通信协议可靠性测试、多通道通信可靠性测试、RS485通信故障注入测试以及载波重载测试。

进一步的，所述步骤2中，系统分为目标层A(计量终端软件质量)、准则层B1(功能性质量子特性)、准则层B2(可靠性质量子特性)和指标层C。

进一步的，所述步骤5的具体操作包括以下几个子步骤：

步骤5.1度量元测量值的计算，具体公式为：

V_ijk＝1-A/B；

其中：V_ijk＝度量元的测量值，0.0≤V_ijk≤1.0，越接近1.0说明该测试指标测试越充分；A＝检测出不符合需求的功能项数或可靠性项数；B＝需求中要求的功能项数或可靠性项数；

步骤5.2质量子特性测量值的计算：

对度量元进行加权求和，计算出质量子特性的测量值，具体公式为：

V_ij＝∑V_ijkW_ijk

其中，V_ijk表示度量元的测量值；W_ijk表示该度量元对应的权重；i表示质量特性的标识，i＝1,2,3......；j表示质量子特性的标识，j＝1,2,3......；k表示度量元的标识，k＝1,2,3......；

步骤5.3质量特性测量值的计算：

对质量子特性进行加权求和，计算出质量特性的测量值，具体公式为：

V_i＝∑V_ijW_ij

其中，V_ij表示质量子特性的测量值；W_ij表示该质量子特性对应的权值；i表示质量特性的标识，i＝1,2,3......；j表示质量子特性的标识，j＝1,2,3......；

步骤5.4软件质量最终测量值的计算：

对质量特性进行加权求和，计算出计量终端软件质量度量指标的最终测量值，具体公式为：

V＝∑V_iW_i

其中，V_i表示质量特性的测量值；W_i表示质量特性对应的权值；i表示质量特性的标识，i＝1,2,3......；V表示计量终端软件质量的最终测量值。

进一步的，所述步骤6中，具体的划分原则设置为：

测量值区间0.90≤V≦1，等级为优秀；

测量值区间0.80≤V≦0.90，等级为良好；

测量值区间0.60≤V≦80，等级为合格；

测量值区间0.0≤V≦0.60，等级为不合格。

与现有技术相比，本发明所提供的基于度量技术的计量终端软件质量量化评价方法，先根据ISO/IEC9126国际标准及计量终端相关技术规范构建了计量终端软件质量模型，确定了质量子特性及对应的度量元；采用层次分析法建立计量终端软件质量多层次评价模型，生成判断矩阵、计算度量指标权值；最后根据测试数据，使用可度量的度量元数据分析计算计量终端软件质量特性的测量值，根据测量值区间对软件质量进行等级评价划分。通过本发明可以有效测试出软件缺陷，实现软件等级划分，规范了计量终端软件质量量化过程和准则，实现了对计量终端软件质量的客观科学的分析和评价。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明设计的计量终端软件质量评价模型架构图；

图2是本发明实施例计量终端软件质量多层次评价模型的架构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的一种基于度量技术的计量终端软件质量量化评价方法，包括以下几个步骤：

步骤1：度量模型和质量特性、度量指标的确定；

分析影响计量终端软件质量的因素，建立计量终端软件质量度量模型，模型为更好理解、预测和评价软件质量，提供声明质量需求和评价质量基础的特性以及特性之间关系的集合，是用来描述质量需求以及对质量进行评价的理论基础；采用国际标准ISO/IEC9126确定影响计量终端软件质量的质量特性和度量指标，构建计量终端软件质量评价指标体系。

根据国际国内惯例，软件质量有若干个特性组成，其中部分特性又可以分为若干个子特性，子特性又可进一步划分为若干度量指标也即度量元。以使用质量为重点，计量终端软件质量以功能性指标、可靠性指标为核心评价要素；每个质量特性根据影响因素确定详细的度量指标，也即度量元。

功能性指标(B1)包括计量终端软件的通信规约测试和常规功能性测试，而通信规约测试包括预连接、应用连接测试，读取、设置、操作、上报、代理数据测试、异常数据测试、单地址、通配地址测试、应用连接协商数据测试以及默认安全模式参数测试，并将这些功能定义为B11类度量元。

常规功能性测试包括基本误差试验、状态量采集试验、模拟量采集试验、电能量采集试验、负荷曲线测试、终端实时数据召集、电表日历与状态召集、采集终端数据采集与处理、采集终端运行状况监测、电能质量数据统计、日冻结数据测试、月冻结数据测试、设置和查询试验、事件记录功能、终端初始化、终端软件远程下载，这些测试定义为B12类度量元。

可靠性指标(B2)包括边界极限容错性类测试指标B21和通信可靠性类测试指标B22。

根据现场故障统计，软件边界、极限、容错处缺陷是影响计量终端可靠性的重要原因，将这些功能定义为B21类度量元。该B21类度量元是针对计量终端技术标准中关于功能需求的深层次测试，主要包括极限负荷及全费率切换计量测试、时钟进位及边界校时、容错测试、上下电及时间突变冻结测试、时间突变负荷记录测试、采集端口极限负荷测试、通讯超时极限及波特率通信测试、存储数据极限测试、任务上报极限测试、软件冗余度测试、远程通信模块边界极限测试、存储数据极限测试；根据现场统计，终端核心通信功能现场发生故障概率较高，倾向于通信可靠性方面，从协议层及故障注入角度制定通信可靠性测试指标，定义为B22类度量元，具体包括通信协议可靠性测试、多通道通信可靠性测试、RS485通信故障注入测试以及载波重载测试。

步骤2：计量终端软件质量多层次评价模型的建立；

采用层次分析法，对系统进行分层，确立每层中不同的评价因素，对各评价指标进行比较判断，计算各自权重以及相对于总目标的权重，将每个因素对结果的影响程度量化，最后应用综合思维方式决策分析，建立计量终端软件质量多层次评价模型，系统分为目标层A(计量终端软件质量)、准则层B1(功能性质量子特性)、准则层B2(可靠性质量子特性)和指标层C11、C12和C21、C22。

基于图1所示的计量终端软件质量度量指标体系，根据评估具体要求，裁剪建立厂家1，2或3的计量终端软件质量多层次评价模型，如图2所示；其中，软件质量代表评价模型的决策目标层A，质量子特性B1、B2为评价模型中间层的准则层，定义功能子特性C11包括通信规约测试、基本误差试验、事件记录功能、终端软件远程下载等度量元4项，可靠性质量子特性B2包括极限负荷及全费率切换计量测试、采集端口极限负荷测试、时钟进位边界校时容错测试、任务上报极限测试、远程通信模块边界极限测试、上下电及时间突变冻结测试、通信超时极限及波特率边界测试共7项，为评价模型的指标层。

步骤3：判断矩阵的建立；

基于计量终端软件质量多层次评价模型，同层次的度量元采用采用九级标度法进行两两比较，生成准则层判断矩阵、指标层相较于准则层判断矩阵以及准则层相较于目标层的判断矩阵，如表1-3所示。

表1准则层判断矩阵

表2指标层相较于准则层B1的判断矩阵

表3指标层相较于准则层B2的判断矩阵

步骤4：一致性检验和权重确定；

对准则层判断矩阵、指标层相较于准则层判断矩阵以及准则层相较于目标层的判断矩阵的一致性进行检验，并确定各层次度量元的权重。

Yaahp软件是一款层次分析法辅助软件，为使用层次分析法的决策过程提供模型构造、计算和分析等方面的帮助，利用Yaahp绘制并确定层次评价模型后，软件会据此进行解析并生成判断矩阵；判断矩阵数据输入方式有矩阵形式输入和文本描述形式输入2种，在输入数据时，除了可以通过拖动滑条来完成输入，也可以直接键入自定数据，软件能根据数据变化实时显示判断矩阵的一致性比例。利用Yaahp软件检验上述判断矩阵一致性指标分别为0、0.0163、0.0725，均一致。

利用Yaahp软件计算各层次度量元权重结果如下表4、表5。

表4准则层对目标层权重

表5指标层对应准则层B1、B2权重

步骤5：计量终端软件质量特性测量值的计算；

根据每个测试项的测试结果，计算度量元的测量值；测试指标测量值越接近1.0，说明该测试指标测试越充分。

步骤5.1度量元测量值的具体计算公式如下：

V_ijk＝1-A/B； (1)

其中：V_ijk＝度量元的测量值，0.0≤V_ijk≤1.0，越接近1.0说明该测试指标测试越充分；

A＝检测出不符合需求的功能项数或可靠性项数；B＝需求中要求的功能项数或可靠性项数。

根据步骤4确定的度量元的权重，对计量终端软件质量的度量元进行加权求和，计算出计量终端软件质量子特性的测量值；再对子特性进行加权求和，计算出特性的测量值；最后，对特性进行加权求和，计算出软件质量最终的测量值，即量化评分。

步骤5.2质量子特性测量值的计算；

对度量元进行加权求和，计算出质量子特性的测量值，具体的计算公式为：

V_ij＝∑V_ijkW_ijk (2)

其中，V_ijk表示度量元的测量值；W_ijk表示该度量元对应的权重；i表示质量特性的标识，i＝1,2,3......；j表示质量子特性的标识，j＝1,2,3......；k表示度量元的标识，k＝1,2,3......。

步骤5.3质量特性测量值的计算；

对质量子特性进行加权求和，计算出质量特性的测量值，具体的计算公式为：

V_i＝∑V_ijW_ij (3)

其中，V_ij表示质量子特性的测量值；W_ij表示该质量子特性对应的权值；i表示质量特性的标识，i＝1,2,3......；j表示质量子特性的标识，j＝1,2,3......。

步骤5.4计量终端软件质量最终测量值的计算；

对质量特性进行加权求和，计算出计量终端软件质量度量指标的最终测量值，具体的计算公式为：

V＝∑V_iW_i (4)

其中，V_i表示质量特性的测量值；W_i表示质量特性对应的权值；i表示质量特性的标识，i＝1,2,3......；V表示计量终端软件质量度量指标的最终测量值。

步骤6：计量终端软件评价等级的划分；

根据步骤5计算的计量终端软件质量度量指标的最终测量值，将计量终端软件评价等级划分为优秀、良好、合格和不合格，具体划分原则详见表6所示，质量评价等级划分原则也可根据用户需求进行调整。

表6计量终端质量评价等级划分原则

实施例仿真案例：

各厂家计量终端软件质量量化计算

(1)测量值计算

根据标准《GB/T29831.3系统与软件功能性第2部分：度量方法》和《GB/T29831.3系统与软件可靠性第2部分：度量方法》计算测量值，即

V_ijk＝1-A/B (5)

其中：V_ijk表示测试指标，0.0≤V_ijk≤1.0，越接近1.0说明该测试指标测试越充分；A表示检测出不符合需求的功能项数或可靠性数；B表示需求中要求的功能项数或可靠性数。

测量值X＝1要求通过测试数/不符合测试数，根据度量指标项进行测试，各厂家计量终端指标层项目测试数及不符合测试数，测量值计算结果如下表7。总测试项为100个，厂家1测试未通过项目10个，厂家2测试未通过项目8个，厂家3测试未通过项目8个。

(2)质量量化评价计算

表7各厂家测试及子特性测量值计算情况

由以上度量指标权重及各测量值结果，根据公式(2)的计算方法得到各厂家的子特性测量值如表7所示。同理根据公式(3)可得各厂家的特性测量值如下表8所示。

表8各厂家特性测量值计算情况

根据公式(4)代入表4和表8数据，计算出软件质量度量指标的最终测量值及量化评价结果如下：

厂家1＝(0.75*0.9536)+(0.25*0.8471)＝0.7152+0.2118＝0.9270；

厂家2＝(0.75*0.8254)+(0.25*0.9267)＝0.6191+0.2317＝0.8507；

厂家3＝(0.75*0.9080)+(0.25*0.9472)＝0.6810+0.2368＝0.9178；

(3)各厂家软件质量结果比较及分析

根据以上质量量化评估结果分析，研究评价度量指标100项进行测试，3个厂家都检测不同程度的软件缺陷，包括终端软件远程下载失败、时钟错误、通信不上等，厂家1测试未通过项目10个，厂家2测试未通过项目8个，厂家3测试未通过项目8个。经实际分析，缺陷均可能现场运行时被触发，导致产品故障，需要各厂家进行缺陷修正。

同时基于量化综合评估结果分析，虽然厂家2和3未通过项目都是8个，测试覆盖率相同，但厂家2评估0.8507，等级是良好，厂家3评估0.9178，等级是优秀，厂家3质量优于厂家2，主要由于厂家2未通过项涉及到终端软件远程下载、通信等权重较高的重要功能模块较厂家3多；厂家1评估0.9270，等级也为优秀，虽然测试未通过数10高于厂家3的8个，但质量综合评估结果优于厂家3，未通过测试项即存在缺陷项主要为事件记录、时段费率优先级及参数容错、通信极限及波特率边界等非权重较高的功能模块。从软件品质综合评价看，厂家1优于厂家3，厂家2质量相对较低。

经以上测试及评估结果可见，该计量终端软件质量多层次评价模型，可有效测试出各厂家计量终端软件缺陷，同时量化结果可明显达到各厂家质量品质综合情况的比较，实现等级划分。

以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围内。

Claims

1.一种基于度量技术的计量终端软件质量量化评价方法，其特征在于，包括以下几个步骤：

步骤1：度量模型、质量特性和度量指标的确定；

分析影响计量终端软件质量的因素，建立计量终端软件质量度量模型；采用国际标准ISO/IEC9126确定影响计量终端软件质量的质量特性和度量指标，构建计量终端软件质量评价指标体系；

步骤2：计量终端软件质量多层次评价模型的建立；

采用层次分析法，对系统进行分层，确立每层中不同的评价因素，对各评价指标进行比较判断，计算各自权重以及相对于总目标的权重，将每个因素对结果的影响程度量化，最后应用综合思维方式决策分析，建立计量终端软件质量多层次评价模型；

步骤3：判断矩阵的建立；

基于计量终端软件质量多层次评价模型，同层次的度量元采用九级标度法进行两两比较，生成准则层判断矩阵、指标层相较于准则层判断矩阵以及准则层相较于目标层的判断矩阵；

步骤4：一致性检验和权重确定；

步骤5：计量终端软件质量特性测量值的量化计算；

根据每个测试项的测试结果，计算度量元的测量值，再根据所述步骤4确定的度量元的权重，对计量终端软件质量的度量元进行加权求和，计算出计量终端软件质量子特性的测量值；然后对质量子特性进行加权求和，计算出质量特性的测量值；最后，对质量特性进行加权求和，计算出软件质量最终的测量值，即量化评分；

步骤6：计量终端软件评价等级的划分；

根据所述步骤5计算的计量终端软件质量特性的最终测量值，将计量终端软件评价等级划分为优秀、良好、合格和不合格；所述步骤1中，功能性指标包括计量终端软件通信规约测试和常规功能性测试；

所述通信规约测试包括预连接测试、应用连接测试、读取测试、设置测试、操作测试、上报测试、代理数据测试、异常数据测试、单地址测试、通配地址测试、应用连接协商数据测试以及默认安全模式参数测试；

所述常规功能性测试包括基本误差试验、状态量采集试验、模拟量采集试验、电能量采集试验、负荷曲线测试、终端实时数据召集测试、电表日历与状态召集测试、采集终端数据采集与处理测试、采集终端运行状况监测测试、电能质量数据统计测试、日冻结数据测试、月冻结数据测试、设置和查询试验、事件记录功能测试、终端初始化测试、终端软件远程下载测试；

所述步骤1中，可靠性指标包括边界极限容错性测试指标和通信可靠性测试指标；

所述边界极限容错性测试指标包括极限负荷及全费率切换计量测试、时钟进位及边界校时、容错测试、上下电及时间突变冻结测试、时间突变负荷记录测试、采集端口极限负荷测试、通讯超时极限及波特率通信测试、存储数据极限测试、任务上报极限测试、软件冗余度测试、远程通信模块边界极限测试、存储数据极限测试；

所述通信可靠性测试指标包括通信协议可靠性测试、多通道通信可靠性测试、RS485通信故障注入测试以及载波重载测试；

所述步骤5的具体操作包括以下几个子步骤：

步骤5.1度量元测量值的计算，具体公式为：

V_ijk＝1-A/B；

步骤5.2质量子特性测量值的计算：

V_ij＝∑V_ijkW_ijk

步骤5.3质量特性测量值的计算：

V_i＝∑V_ijW_ij

步骤5.4软件质量最终测量值的计算：

V＝∑V_iW_i

2.如权利要求1所述的计量终端软件质量量化评价方法，其特征在于，所述步骤2中，系统分为目标层A、准则层B1、准则层B2和指标层C。

3.如权利要求1所述的计量终端软件质量量化评价方法，其特征在于，所述步骤6中，具体的划分原则设置为：

测量值区间0.90≤V≦1，等级为优秀；

测量值区间0.80≤V≦0.90，等级为良好；

测量值区间0.60≤V≦80，等级为合格；

测量值区间0.0≤V≦0.60，等级为不合格。