CN105205002B - 一种基于测试工作量的软件安全缺陷发现模型的建模方法 - Google Patents

Abstract

本发明公开了一种基于测试工作量的软件安全缺陷发现模型的建模方法。本发明基于weibull模型及AMEM模型的优点，即：首先根据AMEM模型，获得测试工作量表达式；之后，根据weibull模型，以测试工作量作为随机变量，代替现有技术中以时间t，以获得兼具weibull模型的良好性能和AMEM模型可克服外部环境变化影响的优点的预测模型。

Description

一种基于测试工作量的软件安全缺陷发现模型的建模方法

技术领域

本发明涉及软件安全技术领域，尤其涉及一种基于测试工作量的软件安全缺陷发现模型的建模方法。

背景技术

软件安全缺陷往往会造成比较严重的安全问题，如果能够提前发现软件安全缺陷，或预测软件安全缺陷的累计数量，就可以有效地改善软件的安全性。因此，软件安全缺陷数量是软件安全性评估的一个重要指标。有效准确的预测软件安全缺陷的累计数量是提高软件安全的一个有效途径。然而软件安全缺陷发现模型的成功研究可以有效的对软件缺陷进行发现、评估和量化，为开发及测试人员掌握缺陷发现规律、尽快修复缺陷，提供了良好的基础。

针对预测软件安全缺陷累计数量的问题，目前国内外的研究学者已经研究出来几种软件安全缺陷发现模型对缺陷发布进行了建模并取得了显著的成果，其主要针对操作系统软件有两大类模型：

第一类：基于时间的软件安全缺陷发现模型：Alhazmi和Malaiya在2005年提出了AMLM模型(Alhazmi-Malaiya logistic model)；2008年Joh等人提出了一种基于weibull分布的软件安全缺陷发掘模型WBM(weibull-based model)。

第二类：基于测试工作量的软件安全缺陷发现模型：在2005Alhazmi和Malaiya提出了一种基于测试工作量的安全缺陷发现模型AMEB(Alhazmi-Malaiya effort-basedmodel)。

下面针对这两类模型进行分析。

1、基于时间的软件安全缺陷发现模型

AMLM模型(Alhazmi-Malaiya logistic model)

AMLM软件安全缺陷发现模型的核心是实现缺陷发现率算法，其次对缺陷发现率算法进行关于时间的积分就可以建立AMLM模型。假设AMLM模型累计发现的安全缺陷数目的发现率取决于两个因素：第一，随着软件中剩余的未被检测出的缺陷数目的减少而变小；第二，随着使用该软件的用户数量持续增长的时间期间增加而变大。

描述AMLM模型的微分方程为：

其中：A和B是根据具体应用中收集到的经验数据确定；B表示累计发现的最大安全数目；dC/dt表示AMLM模型缺陷发现率。D是在解缺陷发现率方程式所引入的参数；C(t)表示累计发现的安全缺陷数量。从式(2.1)中可以看出，当t趋近于正无穷时，C(t)＝B。

通过前人对AMLM模型关于操作系统软件的实验分析可知，

(1)AMLM模型表分析出某个操作系统软件中被发现安全缺陷数量取决于该操作系统使用环境。

(2)针对Windows、Red Hat Linux和Fedora Linux中较成熟的操作系统软件，AMLM模型均表现出了很好的数据拟合性，但对于未进入饱和阶段的操作系统软件，模型的拟合效果有所欠缺。

(3)缺陷发现率在顶峰的两侧呈对称状态，不能满足有些软件进行缺陷发现。

总而言之，基于时间的AMLM软件安全缺陷发现模型针对大多数操作系统软件均表现出了良好的数据拟合性，对于模型性能改进之处为后续的研究奠定了良好的基础。

WBM模型(weibull-based model)

WBM软件安全缺陷发现模型即Weibull软件安全缺陷发现模型，是在AMLM模型的基础上进行的改进模型。针对AMLM模型缺陷发现率顶峰两侧呈现对称状态，不能满足有些的软件进行缺陷发现性能而进行的改进。WBM模型的核心和重点也是实现缺陷发现率算法，进而对安全缺陷发现率进行积分即可建立WBM模型。

假设WBM模型的安全缺陷发现率服从Weibull概率密度函数，其中，α表示形状参数，用于确定安全缺陷发现率曲线形状，当α＝3时，d(t)是对称的；当α＞3时，d(t)的斜率为负数；而当α＜3时，d(t)的斜率为正数。参数β表示比例参数，用于调整软件安全缺陷建模的时间期间。参数γ表示软件中最大的安全缺陷数量。d(t)表示WBM模型的安全缺陷发现率。C(t)表示WBM模型的累计发现的安全缺陷数量。描述WBM模型的微分方程式如式2.2所示。

通过Joh等人对Weibull软件安全缺陷发现模型的大量实验与分析可知，

(1)无论针对Windows还是Linux操作系统软件都表现出了很强的数据拟合性，预测累计发现的安全缺陷数量相对准确。

(2)较AMLM模型的数据拟合性更强，性能更好。

(3)模型预测的安全缺陷发现过程曲线很好的抓住了软件生命周期不同阶段的发现趋势走势特征。

总之，在经典的基于时间的软件安全缺陷发现模型中，Weibull模型是所有模型中性能最好、拟合效果最好、预测累计发现的安全缺陷数量最准确的模型。

2、基于测试工作量的软件安全缺陷发现模型

在2005年Alhazmi还提出了一种基于测试工作量的安全发现模型AMEM，并参考前人给出的测试工作量(equivalent effort)，给出了测试工作量E的参考公式：Equivalenteffort(E)如式2.3所示。

其中：U_i是时间期间i内软件的用户总数；P_i是时间期间i内所用用户中参与了E值测量的软件所占的百分比。假设在以测试工作量作为主要参照因素的情况下，软件安全缺陷的发现率与软件中剩余的缺陷数量呈正比，则可以得到如下基于测试工作量的软件安全缺陷发掘模型，其中：γ'同可靠性增长模型中的失效强度相似；B表示软件中能够发现的最大安全缺陷数，C(t)表示累计发现的安全缺陷数量。获取累计发现的软件安全缺陷发现数量的方程式，如式2.4所示。

C(t)＝B(1-e^-γ'E) (2.4)

通过对测试工作量模型的实验分析总结出，利用测试工作量作为参考因素有以下三种优点：

首先，测试工作量可以真正反映出用于发现安全缺陷的测试工作量；

其次，使用测试工作量作为参考因素普遍比单纯使用时间作为参考因素更为合理和准确；

最后，能够克服外界环境变化对模型安全缺陷发现能力的影响。

通过以上两种类型模型的分析可知，作为软件缺陷动态预测技术中一个较新的分支，近年来利用软件安全缺陷发现模型预测软件安全缺陷累计数量的研究已成为软件工程和信息安全领域的一个研究热点。国内外的学者在安全缺陷发掘模型方面做了许多工作：目前而言基于时间的weibull模型是性能最好的缺陷发现模型，但是对于外部环境变化的影响没有考虑周全；基于测试工作量的软件安全缺陷发现模型AMEM模型，性能不如weibull模型，预测累计发现的安全缺陷数量不够准确，但是它却能解决一个基于时间的软件安全缺陷发现模型所不能解决的问题：外部环境变化的影响。

本发明的目的是通过对weibull模型及AMEM模型的重点分析，建立新型基于测试工作量的软件安全缺陷发现模型，不仅提高预测软件安全缺陷累计数量的准确性并且弥补威布尔模型中没有考虑到的外部环境变化的影响。

发明内容

有鉴于此，本发明提供了一种基于测试工作量的软件安全缺陷发现模型的建模方法，不仅提高预测软件安全缺陷累计数量的准确性并且弥补威布尔模型中没有考虑到的外部环境变化的影响。

为了解决上述技术问题，本发明是这样实现的：

一种基于测试工作量的软件安全缺陷发现模型的建模方法，具体包括如下步骤：

(1)获得测试工作量表达式与缺陷发现率表达式：

测试工作量表达式：采用标准工作量获取方法，根据所有软件的用户总数与软件占比的乘积，表征测试工作量表达式；其中，所述软件占比为：使用当前软件的用户占用户总数的百分比；

缺陷发现率表达式：在威布尔概率密度函数中，用威布尔概率密度函数中的形状参数替代用于确定安全缺陷发现率曲线形状的参数；用威布尔概率密度函数中的比例参数替代用于调整软件安全缺陷建模的工作量期间的比例参数；用威布尔概率密度函数中的时间变量替代用于表示时间期间内累计的测试工作量；将替换后的威布尔概率密度函数表达式与当前所用软件中最终能够发现的安全缺陷数量最大值的乘积，得到表征软件安全缺陷发现率表达式；

(2)获得累计发现的安全缺陷数量表达式：

对(1)中获得的缺陷发现率表达式进行积分，得到累计发现的安全缺陷数量表达式；

(3)建立模型：

基于(1)和(2)中获得测试工作量表达式、缺陷发现率表达式和累计发现的安全缺陷数量表达式，建立E-WBM软件安全缺陷发现模型；

(4)获得当前所用软件的安全缺陷数据集；其中，安全缺陷数据集包括测试工作量的数据集和软件安全缺陷数据集；其中，测试工作量的数据集根据(1)中获得的表达式计算获得；软件安全缺陷数据集包括直接从当前所用软件中获取的累计发现的安全缺陷数量和安全缺陷数量最大值；

(5)获得E-WBM软件安全缺陷发现模型的参数最优解：

将(3)中建立的E-WBM软件安全缺陷发现模型进行线性化处理，并将(4)中获取的当前所用软件的安全缺陷数据集代入后，再经一元线性回归和最小二乘法解析后，得到最优参数解；

(6)使用具体模型进行软件安全缺陷累计数量的预测：

针对所述当前所用软件，将(4)中获得的安全缺陷数量最大值、测试工作量值和(5)中获得的最优参数解代入(3)中建立的模型中，获取具体的E-WBM模型，并解得软件累计发现的安全缺陷数量。

进一步的，所述(4)和(5)的具体方法为:

步骤一、任意选取一个操作系统软件作为当前所用软件，获取当前使用操作系统软件的安全缺陷数据集：

其中，测试工作量参数获取，包括：

根据参考用户数统计网站，获取所有操作系统软件用户总数的具体值；

根据当前操作系统软件占比统计网站，获取使用当前操作系统用户占所有操作系统用户总数百分比的具体值；

根据用户总数与当前操作系统软件占比的乘积，实现测试工作量参数获取；

步骤二、针对步骤一中选取的操作系统软件，获得最优参数解：

对(2)中累计发现的安全缺陷数量表达式进行线性化；

将步骤一中获取的当前操作系统软件的安全缺陷数据集代入所述线性化后的表达式；

利用STATA数据分析工具将线性化后的表达式做一元线性回归，使用最小二乘法计算出最优参数解。

有益效果：

本发明基于weibull模型及AMEM模型的优点，即：首先根据AMEM模型，获得测试工作量表达式；之后，根据weibull模型，以测试工作量作为随机变量，代替现有技术中以时间t，以获得兼具weibull模型的良好性能和AMEM模型可克服外部环境变化影响的优点的预测模型。

附图说明

图1为本发明流程示意图。

具体实施方式

本发明所提出的一种基于测试工作量的软件安全缺陷发现模型的建模方法即建立新的软件安全缺陷发现模型，通过对前人研究方案与软件安全缺陷发现模型优缺点的分析，在改进经典AMEM模型发现能力的基础上，提出了一种新的基于测试工作量的软件安全缺陷发现模型：E-WBM。

参考AMEM模型的需改进点和Weibull概率分布函数的三种优势，对E-WBM模型的建立提出以下假设条件：

(1)测试工作量表达式：采用Alhazmi和Malaiya提出的测试工作量表达式；

(2)缺陷发现率表达式：设定缺陷发现率表达式服从威布尔概率分布函数；

(3)缺陷发现数量表达式：对(2)中缺陷发现率进行基于测试工作量的积分计算；

(4)模型建立：基于(2)，(3)，(4)提出的表达式建立微分表达式。

定义1(测试工作量).一款软件整个生命周期相应阶段的测试工作量，主要以用例数最为参照因素，用E₀表示。

定义2(最大发现的安全缺陷数量).一款软件所能发现的安全缺陷数量的上限，用γ₀表示。

定义3(安全缺陷发现率).一款软件基于测试工作量的缺陷发现率，用d(E₀)表示。

定义4(累计发现的安全缺陷数量).一款软件客观存在的随工作量增加的累计发现的安全缺陷数量，用C(E₀)表示。

由于缺陷发现率表达式代表的是软件安全缺陷的发现速率；故建立E-WBM软件安全缺陷发现模型的核心是实现测试工作量表达式、缺陷发现率表达式和累计发现的安全缺陷数量表达式。

预测软件安全缺陷发现数量的方法主要有以下六步骤完成：其中，本实施例中以任意一个操作系统为例：

一、建模：

首先，针对所有软件，建立具有普适性的E-WBM软件安全缺陷发现模型；

(1)获得测试工作量表达式与缺陷发现率表达式：

测试工作量表达式：采用标准工作量获取方法，根据所有软件的用户总数与软件占比的乘积，表征测试工作量表达式Equivalent effort(E₀)。其中，所述软件占比为：使用当前软件的用户占用户总数的百分比；测试工作量E₀如方程式4.1所示，是基于时间的用户累计量表达式：

方程式中U_i表示时间期间i内所有软件的用户总数；P_i表示时间期间i内针对所用用户中参与了当前所用软件的用户所占用户总数的百分比；n表示n个时间期间i；E₀表示整个时间期间内当前所用软件累计的用户数即所需的测试工作量。

缺陷发现率表达式：在基于威布尔概率密度函数的基础上，获取软件安全缺陷发现率表达式，其中，威布尔概率密度函数是连续性的概率分布，其概率密度函数的基本方程式如4.2所示。

其中x是随机变量，λ是比例参数(scale parameter)，k是形状参数(shapeparameter)。

安全缺陷发现率方程式如4.3所示，其中，参数α₀表示用于确定安全缺陷发现率曲线形状的参数，替代威布尔概率密度函数中的形状参数k；参数β₀表示用于调整软件安全缺陷建模的工作量期间的比例参数，威布尔概率密度函数中的比例参数λ；参数γ₀表示软件中最终能够发现的安全缺陷数量最大值，由于函数表示发现安全缺陷数量的过程趋势，故只有在替换后的威布尔概率密度函数表达式基础上与当前所用软件中最终能够发现的安全缺陷数量最大值的乘积，才能够获得最终的安全缺陷发现率；E₀表示时间期间内累计的测试工作量，为随机变量；将现有技术中以时间t作为随机变量，改为以基于时间的用户累计量即以测试工作量作为随机变量，这样一来，其获得的模型兼具weibull模型的良好性能和AMEM模型可克服外部环境变化影响的优点；d(E₀)表示缺陷发现率。安全缺陷发现率方程式如式4.3所示。

(2)获得累计发现的安全缺陷数量表达式：

根据方程式4.3对缺陷发现率表达式进行积分得到累计发现的安全缺陷数量表达式，即建立E-WBM模型所需的最终公式，其中三个参数的含义同缺陷发现率公式中参数含义相同，参数是γ₀已知变量，C(E₀)表示软件累计发现的安全缺陷数量。解得累计发现的安全缺陷数量如微积分方程式4.4所示。

(3)建立模型：

基于以上三种表达式即可建立E-WBM软件安全缺陷发现模型。描述E-WBM模型的方程表达式，如式4.5所示。其中，u表示某个预定的工作量，其他各个参数含义与方程式4.1、4.3、4.4中相同。

二、选取某一软件作为分析对象进行预测，本实施例中，选取操作系统软件作为分析对象进行分析。即：

(4)任意选取一个操作系统软件作为所述当前所用软件，获取操作系统软件的安全缺陷数据集：由于操作系统软件具有全面且详细的缺陷数据库，所以本发明研究的E-WBM模型采用操作系统软件作为本模型研究的分析对象，获取以下六种操作系统软件中的任意一种缺陷数据集作为研究对象：Windows 95、Windows 98、Windows XP、Windows Vista、Linux、Mac OS X。其中，安全缺陷数据集主要有两大类：测试工作量的数据集和软件安全缺陷数据集。值得注意的是，获取的安全缺陷数据集中的数据均为历史数据。

其中，测试工作量参数获取：

4.1.1 U_i是当前操作系统软件的用户总数，是指在时间期间i内所有操作系统软件的用户使用总数，是根据参考用户数统计网站中获取的具体值；

4.1.2 P_i是用户所占百分比，是指时间期间i内针对所用用户中参与了当前操作系统软件值测量的用户所占的百分比，具体值的获取源自当前操作系统软件占比统计网站。

4.1.3 E₀是测试工作量累计量(Equivalent effort)，是指整个时间期间内当前操作系统软件累计的的用户数量即所需的测试工作量即整个时间期间里，从0到的N个时间期间i内当前操作系统软件用户数与用户所占百分比的乘积总和。随着时间期间的增加，测试工作量的累计量也是在不断变化的。针对不同的操作系统软件，E₀的值也是不同的。具体计算公式如式4.1所示。

软件安全缺陷数据集：

包括直接从当前所用软件中获取的累计发现的安全缺陷数量C(E₀)和安全缺陷数量最大值γ₀；

(5)针对(4)中选取的操作系统软件，获得E-WBM软件安全缺陷发现模型的具体参数：

由于不同的操作系统的E-WBM模型中含有不确定变量，如参数α₀，β₀，为了确定具体的模型，采用最小二乘法对比参数来确定参数的最优解，利用STATA数据分析工具对E-WBM模型进行拟合，得到最终模型的数据值。其具体步骤为：

获取最优参数：步骤如下：

5.1.1首先对方程式4.4进行线性化，方便起见，令 表示累计发现的安全缺陷数量，令方程式转化为以下形式，如式4.6所示。

ln(ln(1/(1-C1)))＝α₀ln(E₀)-α₀ln(β₀) (4.6)

为了将式4.6化为一元线性关系，进行后面步骤的计算，令ln(E₀)＝X，ln(ln(1/(1-C1)))＝Y，如式4.7所示。

Y＝α₀X-α₀ln(β₀) (4.7)

5.1.2根据(4)中获取的当前操作系统软件的安全缺陷数据集，并将(4)中获取的当前所用软件的安全缺陷数据集代入方程式4.7中。

5.1.3利用STATA数据分析工具对Y与X做一元线性回归，使用最小二乘法计算出α₀和β₀最优参数解。

由于针对不同的操作系统软件，其历史数据即获得的安全缺陷数据集不同，计算出参数α₀和β₀的具体值也不同。针对不同的软件，根据具体的参数值，即得到具体的E-WBM软件安全缺陷发现模型。

(6)使用具体模型进行软件安全缺陷累计数量的预测：

针对当前操作系统软件，将(4)中获得的最大的安全缺陷数量值γ₀、测试工作量值E₀和(5)中获得的具体最优参数解代入公式4.5中，获取具体的E-WBM模型，并解得软件累计发现的安全缺陷数量C(E₀)。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于测试工作量的软件安全缺陷发现模型的建模方法，其特征在于，具体包括如下步骤：

(1)获得测试工作量表达式与缺陷发现率表达式：

测试工作量表达式：采用标准工作量获取方法，根据所有软件的用户总数与软件占比的乘积，表征测试工作量表达式；其中，所述软件占比为：使用当前软件的用户占用户总数的百分比；测试工作量表达式如下：

<mrow> <msub> <mi>E</mi> <mn>0</mn> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>U</mi> <mi>i</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow>

式中，U_i表示时间期间i内所有软件的用户总数；P_i表示时间期间i内针对所用用户中参与了当前所用软件的用户所占用户总数的百分比；n表示n个时间期间i；E₀表示整个时间期间内当前所用软件累计的用户数即所需的测试工作量；

缺陷发现率表达式：在威布尔概率密度函数中，用威布尔概率密度函数中的形状参数替代用于确定安全缺陷发现率曲线形状的参数；用威布尔概率密度函数中的比例参数替代用于调整软件安全缺陷建模的工作量期间的比例参数；用威布尔概率密度函数中的时间变量替代用于表示时间期间内累计的测试工作量；将替换后的威布尔概率密度函数表达式与当前所用软件中最终能够发现的安全缺陷数量最大值的乘积，得到表征软件安全缺陷发现率表达式；

(2)获得累计发现的安全缺陷数量表达式：

对(1)中获得的缺陷发现率表达式进行积分，得到累计发现的安全缺陷数量表达式；

(3)建立模型：

基于(1)和(2)中获得测试工作量表达式、缺陷发现率表达式和累计发现的安全缺陷数量表达式，建立E-WBM软件安全缺陷发现模型；

(4)获得当前所用软件的安全缺陷数据集；其中，安全缺陷数据集包括测试工作量的数据集和软件安全缺陷数据集；其中，测试工作量的数据集根据(1)中获得的表达式计算获得；软件安全缺陷数据集包括直接从当前所用软件中获取的累计发现的安全缺陷数量和安全缺陷数量最大值；

(5)获得E-WBM软件安全缺陷发现模型的参数最优解：

将(3)中建立的E-WBM软件安全缺陷发现模型进行线性化处理，并将(4)中获取的当前所用软件的安全缺陷数据集代入后，再经一元线性回归和最小二乘法解析后，得到最优参数解；

(6)使用具体模型进行软件安全缺陷累计数量的预测：

针对所述当前所用软件，将(4)中获得的安全缺陷数量最大值、测试工作量值和(5)中获得的最优参数解代入(3)中建立的模型中，获取具体的E-WBM模型，并解得软件累计发现的安全缺陷数量。

2.如权利要求1所述的方法，其特征在于，进一步的，所述(4)和(5)的具体方法为:

步骤一、任意选取一个操作系统软件作为当前所用软件，获取当前使用操作系统软件的安全缺陷数据集：

其中，测试工作量参数获取，包括：

根据参考用户数统计网站，获取所有操作系统软件用户总数的具体值；

根据当前操作系统软件占比统计网站，获取使用当前操作系统用户占所有操作系统用户总数百分比的具体值；

根据用户总数与当前操作系统软件占比的乘积，实现测试工作量参数获取；

步骤二、针对步骤一中选取的操作系统软件，获得最优参数解：

对(2)中累计发现的安全缺陷数量表达式进行线性化；

将步骤一中获取的当前操作系统软件的安全缺陷数据集代入所述线性化后的表达式；

利用STATA数据分析工具将线性化后的表达式做一元线性回归，使用最小二乘法计算出最优参数解。