CN105046143A - 一种综合计算软件验证与确认功效的方法 - Google Patents

Abstract

本发明提供本发明公开一种综合计算软件验证与确认功效的方法，具体包括以下步骤：步骤1，数据收集；步骤2，数据分析；步骤3，功效计算；步骤4，结果分析。本方法是在深入分析以往项目软件V&V缺陷数据，研究软件V&V缺陷分布与软件可靠性变化的关系，以及现有的软件V&V效率和有效性计算方法的基础上，采用更为先进的曲线拟合及数学建模技术，而实现的软件V&V功效计算方法。不仅可以替代现有计算方法对软件V&V功效进行量化评估，而且具备时效性好，基础数据需求量小，评估结果指导性强等特点。

Description

一种综合计算软件验证与确认功效的方法

技术领域

本发明属于核电技术领域，涉及用于核电站确保高可靠性的软件验证与确认的方法。

背景技术

核电站仪控系统是核电站的中枢神经，肩负着控制核电站正常运行和事故处理的重大使命，确保在任何工况下核电站的安全可靠运行。随着计算机系统在核电站的应用日益广泛，它们对于核电站安全的重要性也不断增加。在数字化仪控系统用于核电站过程中，为保证核电站安全性，人们在操作过程中寻找和纠正在设计和执行阶段所发生的软件错误并加以改进的努力要进行多次。考虑到为确保安全有关的计算机应用所要求的高质量软件，必须要进行软件的验证Verification与确认Validation(V&V)。

V&V技术作为暴露软件缺陷，提高软件质量的最有效手段之一，其作用是验证系统生命周期内每一个阶段的产品能够满足前一阶段提出的需求，确认集成后的计算机系统(硬件和软件)符合用户提出的功能、性能和接口需求。

计算软件V&V功效用于量化评价V&V任务结果，度量V&V任务质量，为V&V项目资源的调配和改进提供指导和依据。

IEEEstd.1012-2004附录E中推荐了计算软件V&V功效的方法：从软件开发生命周期各阶段V&V活动的有效性和效率两个方面对软件V&V功效进行评价，计算公式如下：

V&V功效可通过计算软件V&V的效率V_eff和有效性K_eff进行评价。现有软件V&V功效的方法，除了可以在软件V&V各阶段活动全部完成后对软件V&V功效进行评价外，还具有如下缺点：

a).该方法仅计算软件V&V的功效，未量化软件V&V功效高低对于提高软件可靠性的影响；

b).该方法只能在软件V&V各阶段活动全部完成后，才能计算软件V&V功效，无法实时评估，对于软件V&V活动改进的指导意义有限；

c).该方法需收集除软件V&V外其他活动(例如软件设计审查、软件测试、软件调试等)的缺陷数据才能评估软件V&V的有效性，而这些数据由于涉及其他专业或公司通常很难获得；

d).该方法只能对软件V&V活动整体进行评估，无法评估具体每个执行人的功效；

e).该方法的评估结果只能说明软件V&V活动最终整体的功效高低，无法实时分析软件V&V当前功效，也无法提供软件V&V活动的改进方向。

发明内容

本发明提供一种综合计算软件验证与确认功效的方法，在完成基本评估功能的基础上，使评估更具有实时性，评估所用数据量更少，评估结果能够更为有效的指导软件V&V活动改进。

为了实现上述发明目的，本发明公开一种综合计算软件验证与确认功效的方法，其特征在于，方法具体包括以下步骤：

步骤1，数据收集，在软件验证与确认V&V执行过程中，收集和汇总V&V相关的数据，生成V&V缺陷数据汇总表，所述V&V缺陷数据汇总表包括阶段、天数、执行人、工作时间，缺陷数以及影响级别；

步骤2，数据分析，对所述缺陷数据汇总表中的数据进行分类统计，生成V&V功效计算数据统计表，所述V&V功效计算数据统计表包括天数D，工作时间H，累计时间T，标准化缺陷数E，累计缺陷数N，失效率Λ；

步骤3，功效计算，利用泊松模型(LP)建立已发现缺陷与软件失效率的数学模型，根据所述功效计算数据统计表中数据进行数据拟合获取LP曲线，获取失效率衰减参数和初始失效率，计算所得V&V团队、个人的整体及各阶段V&V功效量化数据，生成V&V功效计算结果统计表；

步骤4，结果分析，将量化数据与标准模型对比分析，对当前V&V活动给出定性评价，并对后续V&V工作提供具有针对性的改进指导。

采用本发明的一种综合计算软件验证与确认功效的方法，在V&V活动开展过程中，即可通过数据统计和曲线拟合，建立软件可靠性(失效率)与已发现缺陷的数学模型，利用模型预测软件可靠性变化趋势，之后使用缺陷的预测数据对比实际数据，得出软件V&V功效，即软件V&V的效率V_eff和有效性K_eff。通过将量化数据与标准模型对比分析，可对当前V&V活动给出评价，并为后续V&V工作的开展提供具有针对性的改进指导，而且还主要解决了如下问题：

a).建立了软件V&V功效与软件可靠性的数学模型，量化软件V&V功效高低对于提高软件可靠性的影响；

b).本方法可在软件V&V执行过程中，实时地量化评估软件V&V功效，以便及时对软件V&V活动进行调整，提高软件V&V活动质量，无需等待软件V&V活动全部完成后才能进行功效评估；

c).只需统计软件V&V所发现的缺陷数据即可评估软件V&V的有效性，无需收集软件V&V以外其他活动的缺陷数据；

d).可对参与软件V&V的每一个人的功效进行评估；

e).结合本方法可建立软件V&V功效标准模型，将具体项目的软件V&V功效评估结果与标准模型对比，实时分析功效数据，提供软件V&V活动改进方向。

说明书附图

图1软件验证与确认功效计算过程

图2软件失效率与已发现缺陷的关系

图3需求及设计V&V软件失效率与已发现缺陷的关系

具体实施例

为了使本发明的发明目的、技术方案及其技术效果更加清晰，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并非为了限定本发明。

如图1所示，软件验证与确认功效计算过程包括4个步骤：

步骤1，数据收集；

在V&V执行过程中，收集和汇总V&V发现的缺陷数据，并填写下表1。其中，

“阶段”根据软件V&V的过程模型分为“需求V&V”、“设计V&V”、“代码(实现)V&V”、“测试V&V”；

“天数”记录该项目执行的第几工作日；

“执行人”为V&V工作执行人员姓名；

“工作时间”记录在该工作日工作人员实际执行多少小时的V&V任务；

“缺陷数”记录当天发现的缺陷数量；

“影响级别x”根据缺陷的影响程度进行分级，本例中分为4个级别。

以表1的数据为例，需求V&V第2天共有两名人员分别执行了6小时和8小时，发现缺陷3个和2个。

表1V&V缺陷数据汇总表

步骤2，数据分析；

对缺陷数据(表1)进行分类统计，生成功效计算数据统计表(表2)。其中，

“天数”：记录该项目/阶段执行的第几工作日，计算单阶段V&V功效时从1开始计算单阶段的执行天数，计算全周期V&V功效时从1开始连续计算执行天数，不分阶段；

“工作时间”：计算单日对该软件V&V的执行时间H；计算公式见式1，p表示当日执行V&V的人数，h_i表示第i个人的当日执行时间。

$H=\underset{i=1}{\overset{p}{\Σ}}{h}_i$ (式1)

“累计时间”：计算截至到第d天软件V&V累计的执行总时长T；计算公式见式2。

$T=\underset{i=1}{\overset{d}{\Σ}}{H}_i$ (式2)

“标准化缺陷数”：计算单日发现的标准化缺陷数量E；计算公式见式3，p表示当日执行V&V的人数，q表示缺陷影响分级数，s_j表示级别j的缺陷影响标准化系数，e_i,j表示第i个人当日发现的影响级别为j的问题。

$E=\underset{i=1,j=1}{\overset{p,q}{\Σ}}{s}_j{e}_{i,j}$ (式3)

“累计缺陷数”：计算截至到第d天软件V&V累计发现的标准化缺陷数N；计算公式见式4。

$N=\underset{i=1}{\overset{d}{\Σ}}{E}_i$ (式4)

“失效率”：计算当日的软件失效率Λ；计算公式见式5。

$\mathrm{\Λ}=\frac{E}{H}$ (式5)

表2V&V功效计算数据统计表

步骤3，功效计算；

本方法选择当前技术比较成熟的泊松(LP)模型建立已发现缺陷与软件可靠性(失效率)的数学模型。

LP模型的软件失效率λ与已发现缺陷n_c的关系如公式7所示，已发现缺陷n_c与执行时间τ的关系如公式8所示。其中，θ为失效率衰减参数，λ₀为初始失效率。

$\mathrm{\λ}\left(n_c\right)={\mathrm{\λ}}_0{e}^{-{\mathrm{\θn}}_c}$ (式7)

$n_c\left(\mathrm{\τ}\right)=\frac{1}{\mathrm{\θ}}\ln ({\mathrm{\λ}}_0\mathrm{\θ}\mathrm{\τ}+1)$ (式8)

以表2中的累计缺陷数N为横轴，失效率Λ为纵轴，绘制折线图如图2所示”，并根据式7采用数据拟合将实际数据拟合成为图2中的“LP曲线”，揭示了LP模型中软件失效率随已发现缺陷增加而减少的趋势，根据拟合后的曲线可求得θ值和λ₀值。

假设，某项目已执行S个阶段(轮次)软件V&V活动，共耗时Τ，发现缺陷N；其中，第s阶段耗时τ_s发现缺陷n_s，该阶段共有p个人参与，第i个人执行时长为τ_s,i发现缺陷n_s,i，该项目缺陷数据经曲线拟合后，软件失效率与已发现缺陷的关系为公式7。

因此，该项目第s阶段软件V&V的效率V_s如公式9，其中n_s’为预测第s阶段耗时τ_s应发现的缺陷数量：

$V_s=\frac{n_s}{n_s^{\′}}=\frac{n_s}{\frac{1}{\mathrm{\θ}}\ln ({\mathrm{\λ}}_0{\mathrm{\θ\τ}}_s+1)}$ (式9)

若该项目第s阶段除软件V&V外，还投入其他缺陷检查资源耗时τ_s’，则该项目第s阶段软件V&V的有效性K_s如公式10，其中n_s”为预测第s阶段所有缺陷检查资源发现的缺陷数量：

$K_s=\frac{n_s}{n_s^{\′\′}}=\frac{n_s}{\frac{1}{\mathrm{\θ}}\ln \[\left({\mathrm{\λ}}_0\mathrm{\θ}\right({\mathrm{\τ}}_s+{\mathrm{\τ}}_s^{\′})+1)\]}$ (式10)

该项目第s阶段第i个人的效率V_s,i如公式11，有效性K_s,i如公式12：

$V_{s,i}=V_s\×\frac{n_{s,i}}{n_s\frac{{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}}$ (式11)

$K_{s,i}=K_s\×\frac{n_{s,i}}{n_s\frac{{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}}$ (式12)

该项目总体效率V_total如公式13，有效性K_total如公式14：

$V_{total}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}{n}_s^{\′}}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}\frac{1}{\mathrm{\θ}}\ln ({\mathrm{\λ}}_0{\mathrm{\θ\τ}}_s+1)}$ (式13)

$K_{total}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}{n}_s^{\′\′}}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}\frac{1}{\mathrm{\θ}}\ln \[\left({\mathrm{\λ}}_0\mathrm{\θ}\right({\mathrm{\τ}}_s+{\mathrm{\τ}}_s^{\′})+1)\]}$ (式14)

该项目第i个人的效率V_total,i如公式15，有效性K_total,i如公式16：

$V_{total,i}=V_{total}\×\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_{s,i}}{\underset{s=1}{\overset{S}{\Σ}}{n}_s\×\frac{\underset{s=1}{\overset{S}{\Σ}}{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}}$ (式15)

$K_{total,i}=K_{total}\×\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_{s,i}}{\underset{s=1}{\overset{S}{\Σ}}{n}_s\×\frac{\underset{s=1}{\overset{S}{\Σ}}{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}}$ (式16)

步骤4，结果分析；

表3V&V功效计算结果统计表

利用上述计算方法在软件V&V活动开展过程中或结束后，计算所得V&V团队、个人的整体及各阶段V&V功效量化数据可汇总为表3。通过将量化数据与标准模型对比分析，可对当前V&V活动给出定性评价，并为后续V&V工作的开展提供具有针对性的改进指导。其中标准模型可选择既往项目中具有代表性的工程项目为标准，或设定为既往项目的平均水平，一般两者都要比较。

具体评价方法如下：

1).如果软件V&V整体有效性K_total低于标准值，项目需要延长V&V执行时间或增加人手；

2).如果软件V&V整体效率V_total低于标准值，则后续工作中需更换部分人员，或加强培训以提高效率；

3).如果某阶段V&V的效率V_s和有效性K_s都低于项目整体或标准值，说明团队需要加强该阶段V&V活动的专项技能培训，同时应增加资源投入；

4).如果人员的效率V_total,i或有效性K_total,i低，需增强自身技术能力，提高工作效率，或在该阶段V&V活动中投入的时间不够，需增加有效工作时间。

本发明的另一个具体实施例，以某项目的软件V&V活动为例。该项目只完成需求V&V和设计V&V两个阶段，后续阶段尚未开展，缺陷数据汇总表见表4。该项目将缺陷影响级别分为4级，影响系数s_j分别为：4、2、1、0.5，除软件V&V外，该项目另外投入69人日对软件需求进行审查，投入68人日对软件设计进行审查。基于表4的数据，使用公式1-5可得需求V&V和设计V&V两个阶段的功效计算数据统计分表，见表5、表6。

表4某软件V&V缺陷数据汇总表

表5需求V&V功效统计表

表6设计V&V功效统计表

根据表5、表6的数据和上文描述，

需求阶段

V&V共用人工时τ_需求为131人时(τ_{需求，申军}＝69，τ_{需求，张伟}＝62)，发现缺陷标准化后数据n_需求为510；

审查共用人工时τ’_需求为69人时。

设计阶段

V&V共用人工时τ_设计为182人时(τ_{设计，申军}＝94，τ_{设计，张伟}＝88)，发现缺陷标准化后数据n_设计为373.5；

审查共用人工时τ’_设计为68人时。

以表5和表6中的累计缺陷数N为横轴，失效率Λ为纵轴，以软件失效率λ为已发现缺陷n_c的函数，进行曲线拟合可得模型曲线如图3所示，根据拟合后的曲线可求得θ值和λ₀值。需求V&V对应的数学模型见公式17，其中θ为0.0050，λ₀为21.17；设计V&V对应的数学模型见公式18，其中θ为0.0156，λ₀为123.94。

$\mathrm{\λ}\left(n_c\right)=21.17e^{-0.0050n_c}$ (式17)

$\mathrm{\λ}\left(n_c\right)=123.94e^{-0.0156n_c}$ (式18)

根据公式9-16可计算项目软件V&V功效数据如下：

1)团队

2)个人

上述计算结果汇总见表7，假设V&V的标准功效为效率1.0、有效性0.85。

表7某项目软件V&V功效计算结果统计表

分析该组数据可知：

1)截至目前，项目V&V团队整体效率偏低但有效性较好，而在需求V&V阶段的效率和有效性都偏低，需调整人员或延长工作时间，并加强人员对于需求V&V的技能培训以提高效率；

2)申军的整体效率和有效性都比较好，但对于设计V&V技能还需加强；

3)张伟的设计V&V效率和有效性都比较好，说明比较擅长执行设计V&V，但他的需求V&V数值都偏低，需加强这方面的培训并增加有效工作时间，或者在需求V&V阶段由其他人替换。

本发明的综合计算软件验证与确认功效的方法是在深入分析以往项目软件V&V缺陷数据，研究软件V&V缺陷分布与软件可靠性变化的关系，以及现有的软件V&V效率和有效性计算方法的基础上，采用更为先进的曲线拟合及数学建模技术，而实现的软件V&V功效计算方法。不仅可以替代现有计算方法对软件V&V功效进行量化评估，而且具备时效性好，基础数据需求量小，评估结果指导性强等特点。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种综合计算软件验证与确认功效的方法，其特征在于，方法具体包括以下步骤：

步骤1，数据收集，在软件验证与确认V&V执行过程中，收集和汇总V&V相关的数据，生成V&V缺陷数据汇总表，所述V&V缺陷数据汇总表包括阶段、天数、执行人、工作时间，缺陷数以及影响级别；

步骤2，数据分析，对所述缺陷数据汇总表中的数据进行分类统计，生成V&V功效计算数据统计表，所述V&V功效计算数据统计表包括天数D，工作时间H，累计时间T，标准化缺陷数E，累计缺陷数N，失效率Λ；

步骤3，功效计算，利用泊松模型(LP)建立已发现缺陷与软件失效率的数学模型，根据所述功效计算数据统计表中数据进行数据拟合获取LP曲线，获取失效率衰减参数和初始失效率，计算所得V&V团队、个人的整体及各阶段V&V功效量化数据，生成V&V功效计算结果统计表；

步骤4，结果分析，将量化数据与标准模型对比分析，对当前V&V活动给出定性评价，并对后续V&V工作提供具有针对性的改进指导。

2.如权利要求1所述的方法，其特征在于，所述V&V缺陷数据汇总表包括阶段、天数、执行人、工作时间，缺陷数以及影响级别；其中，

所述阶段，根据软件V&V的过程模型分为需求V&V、设计V&V、代码(实现)V&V、测试V&V；

所述天数，记录该项目执行的第几工作日；

所述执行人，记录V&V工作执行人员姓名；

所述工作时间，记录在该工作日执行人员实际执行V&V任务的小时数；

所述缺陷数，记录当天发现的缺陷数量；

所述影响级别，根据缺陷的影响程度对缺陷进行分级记录。

3.如权利要求1所述的方法，其特征在于，所述V&V功效计算数据统计表包括天数D，工作时间H，累计时间T，标准化缺陷数E，累计缺陷数N，失效率Λ；其中，

所述天数D，记录该项目/阶段执行的第几工作日；

所述工作时间H，计算单日对该软件V&V的执行时间H，其中p表示当日执行V&V的人数，h_i表示第i个人的当日执行时间；

所述累计时间T，计算截至到第d天软件V&V累计的执行总时长T，

所述标准化缺陷数E，计算单日发现的标准化缺陷数量，p表示当日执行V&V的人数，q表示缺陷影响分级数，s_j表示级别j的缺陷影响标准化系数，e_i,j表示第i个人当日发现的影响级别为j的问题；

所述累计缺陷数，计算截至到第d天软件V&V累计发现的标准化缺陷数N，

所述失效率，计算当日的软件失效率Λ，

4.如权利要求3所述的方法，其特征在于，所述天数D，记录该项目/阶段执行的第几工作日，计算单阶段V&V功效时从1开始计算单阶段的执行天数，计算全周期V&V功效时从1开始连续计算执行天数，不分阶段。

5.如权利要求1所述的方法，其特征在于，获取失效率衰减参数和初始失效率具体为：

泊松模型中软件失效率λ与已发现缺陷n_c的关系为已发现缺陷n_c与执行时间τ的关系为 $n_c\left(\mathrm{\τ}\right)=\frac{1}{\mathrm{\θ}}\ln ({\mathrm{\λ}}_0\mathrm{\θ}\mathrm{\τ}+1);$

以累计缺陷数N和失效率Λ作为数据点进行数据拟合获得LP曲线，根据LP曲线获得失效率衰减参数θ和初始失效率λ₀。

6.如权利要求5所述的方法，其特征在于，计算所得V&V团队、个人的整体及各阶段V&V功效量化数据，生成V&V功效计算结果统计表，具体为：

第s阶段软件V&V的效率V_s为，其中，n_s为第s阶段耗时τ_s发现缺陷数量，n_s’为预测第s阶段耗时τ_s应发现的缺陷数量；

若该项目第s阶段除软件V&V外，还投入其他缺陷检查资源耗时τ_s’，则第s阶段软件V&V的有效性K_s为，其中n_s”为预测第s阶段所有缺陷检查资源发现的缺陷数量；

第s阶段第i个人的效率V_s,i为，第s阶段第i个人的有效性K_s,i为，其中n_s,i为第i个人执行时长为τ_s,i发现缺陷数量；

总体效率V_total为， $V_{total}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}{n}_s^{\′}}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}\frac{1}{\mathrm{\θ}}\ln \left({\mathrm{\λ}}_0{\mathrm{\θ\τ}}_s+1\right)};$

总体有效性K_total为， $K_{total}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}{n}_s^{\′\′}}=\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_s}{\underset{s=1}{\overset{S}{\Σ}}\frac{1}{\mathrm{\θ}}\ln \[\left({\mathrm{\λ}}_0\mathrm{\θ}\left({\mathrm{\τ}}_s+{\mathrm{\τ}}_s^{\′}\right)+1\right)\]};$

第i个人的效率V_total,i为， $V_{total,i}=V_{total}\×\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_{s,i}}{\underset{s=1}{\overset{S}{\Σ}}{n}_s\×\frac{\underset{s=1}{\overset{S}{\Σ}}{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}};$

第i个人的有效性K_total,i为， $K_{total,i}=K_{total}\×\frac{\underset{s=1}{\overset{S}{\Σ}}{n}_{s,i}}{\underset{s=1}{\overset{S}{\Σ}}{n}_s\×\frac{\underset{s=1}{\overset{S}{\Σ}}{\mathrm{\τ}}_{s,i}}{{\mathrm{\τ}}_s}}.$

7.如权利要求1所述的方法，其特征在于，所述将量化数据与标准模型对比分析，对当前V&V活动给出定性评价包括：

如果软件V&V整体有效性K_total低于标准值，项目需要延长V&V执行时间或增加执行人；

如果软件V&V整体效率V_total低于标准值，则后续工作中需更换部分人员，或加强培训以提高效率；

如果某阶段V&V的效率V_s和有效性K_s都低于项目整体或标准值，说明团队需要加强该阶段V&V活动的专项技能培训，同时应增加资源投入

如果人员的效率V_total,i或有效性K_total,i低，需增强自身技术能力，提高工作效率，或在该阶段V&V活动中投入的时间不够，需增加有效工作时间。