CN106971109A - 一种基于指标权重的漏洞挖掘方法的评估策略 - Google Patents

Abstract

本发明公开了一种基于指标权重的漏洞挖掘方法的评估策略，该策略首先定义了漏洞挖掘方法的评估体系，然后将AHP层次分析法应用于由漏洞挖掘方法评估体系映射而来的层次结构中，根据不同评估指标对漏洞挖掘方法效果的影响构造判断矩阵，进行层次单排序，通过一致性判断方法检验所得到的各级指标权重与实际权重是否相符合，进而计算漏洞挖掘方法的整体评分，根据定量计算的评分结果得到漏洞挖掘方法的定性结果。本发明综合各种评估指标对漏洞挖掘方法进行评估，为漏洞挖掘人员选择适合的方法提供了较为全面的参考，具有系统性和完备性，可以用于漏洞挖掘方法评估的技术领域。

Description

一种基于指标权重的漏洞挖掘方法的评估策略

技术领域

本发明属于计算机系统漏洞挖掘方法评估的技术领域，具体涉及一种基于指标权重的漏洞挖掘方法的评估策略。

背景技术

随着计算机技术的发展，人类社会的信息化、智能化程度越来越高，作为其核心的计算机软件被广泛地应用在国民经济、国防领域以及日常生活中。随之而来的是软件规模的不断增长，软件质量问题逐渐成为制约计算机发展和应用的瓶颈之一。漏洞指的是系统中存在的一些功能性或安全性的逻辑缺陷，包括一切导致威胁、损坏计算机系统安全性的因素。据CNCERT/CC2015统计，漏洞数量呈现明显上升趋势。由于漏洞的数量日益增加且漏洞的出现不可避免，所以一旦一些影响较为严重的漏洞被不法分子利用，就可能会造成巨大的损失，如何提高软件的质量，尽可能地减少软件中的错误或漏洞已经成为软件开发生产中的一个必不可少的环节，软件的可靠性成为整个系统的重要属性，因此对系统漏洞的挖掘与分析显得尤为必要。

作为保障软件质量的漏洞挖掘技术得到国内外学者的广泛关注，目前针对于漏洞挖掘的方法主要有静态分析、动态检测和混合漏洞挖掘技术三大类。静态分析通过程序静态特性的分析，找出漏洞可疑之处。相关研究非常多，例如针对内存泄漏、内存使用错误、空指针解引用、内存写溢出等。动态检测技术通过运行程序，利用输入使被测代码在相对真实环境下运行，检查、分析程序的执行状态和程序的外部表现，检查运行结果的异常，以判断被测软件系统是否存在漏洞。混合检测技术有效结合了静态分析和动态检测的优点，有效地提高了检测效率和准确率。对于众多的漏洞挖掘技术由于针对的实际情况不同，这些技术的表现效果也不一样，实际应用中，人们希望能够对这些漏洞挖掘技术与工具进行评价、比较，以在其中选择适合的工具，最大程度的发现软件漏洞，确保软件质量。现有技术中，如基于代码属性图的软件安全漏洞挖掘技术研究，基于遗传算法的漏洞挖掘技术研究以及面向二进制程序的漏洞挖掘技术研究等均是对漏洞挖掘方法的研究，实际上，由于各种漏洞挖掘技术错综复杂，对这些技术的评估的研究也较为合适，然而这类关于对漏洞挖掘方法评估的研究却较少。因此，选择合适的方法对各种漏洞挖掘技术进行评估，获得每种方法的评估效果，为人们选择适合的工具提供依据。

层次分析法(Analytic Hierarchy Process，AHP)是一种将与决策有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。该方法是20世纪70年代初匹茨堡大学教授萨蒂提出的一种基于层次权重的决策分析方法。AHP作为一种决策工具，具有应用简单，易于理解、实用性高等特点。应用这种方法，决策者通过将复杂问题分解为若干层次和若干因素，在各因素之间进行简单的比较和计算，就可以得出不同方案的权重，为最佳方案的选择提供依据。AHP不仅能进行定量分析，也可进行定性分析。通过采用相对标度对有形与无形、可定量与不可定量的因素进行统一测度，能把决策过程中定性与定量因素有机结合，从而实现决策。层次分析法的特点使其适用于漏洞挖掘方法的评估。根据漏洞挖掘方法评估的指标，对评估指标进行分层，然后合理计算各个层级指标的权重值，继而获得漏洞挖掘方法的整体评估值。

发明内容

本发明的目的是解决现有技术中存在的针对漏洞挖掘技术的评估问题，由于现有研究中多是对软件安全漏洞挖掘技术的研究，包括静态分析、动态检测以及混合漏洞挖掘技术。然而对于这些漏洞挖掘技术的发现软件安全漏洞的效果并没有一个系统、可靠的评估策略，以评估不同漏洞挖掘方法的表现，因此提出一种将AHP层次分析法应用于计算漏洞挖掘评估指标权重从而获得漏洞挖掘方法评估值的策略。该方法首先确定漏洞挖掘方法的评估指标，然后根据评估指标特点分层，计算评估指标的权重值，最后获得漏洞挖掘方法的整体评分。

本发明提供的基于指标权重的漏洞挖掘方法的评估策略包括以下步骤：

步骤1、定义漏洞挖掘方法评估体系；

步骤2、将AHP方法应用于对漏洞挖掘方法的评估场景中，利用AHP对漏洞挖掘方法评估体系中的评估指标进行定量计算，定量计算包括建立漏洞挖掘方法评估指标层次结构模型，构造判断矩阵、层次单排序和一致性判断；

步骤3、采用综合评分和指标评分的方式对漏洞挖掘方法进行综合评价。

本发明的具体实现方法如下：

1、定义漏洞挖掘方法评估体系

本发明定义了漏洞挖掘方法评估体系，其中包括了漏洞挖掘方法的三级评估指标。一级评估指标为：功能性、效率、可靠性、易用性和可扩展性。

漏洞挖掘方法的功能性评估二级指标包括漏洞数、漏报率、误报率、正确率和覆盖率。效率评估二级指标包括响应时间开销、CPU开销和内存开销。可靠性评估二级指标包括挖掘漏洞类型和漏洞危险级别。易用性评估二级指标包括部署难易程度、易操作性、漏洞报告的易理解性和自动化程度。可扩展性评估二级指标包括可移植性、易维护性和检测语言种类。

覆盖率评估三级指标为语句覆盖率和分支覆盖率。漏洞危险级别评估三级指标包括攻击复杂性、漏洞利用权限、漏洞访问途径、保密性影响、完整性影响和可利用性影响。漏洞挖掘方法评估体系三级指标图如附图1所示。

2、建立漏洞挖掘方法评估指标层次结构模型

将对漏洞挖掘方法的评估按照总目标、次级目标的关系分为不同的评估指标层级，高级指标层级受多个低级指标层级影响，如此迭代下去，形成一级指标、二级指标和三级指标，建立出漏洞挖掘方法评估指标层次结构图。即将所要评估的漏洞挖掘方法作为漏洞挖掘方法评估体系的顶层节点，评估体系的其余部分不变从而映射得到完整的层次结构模型。附图2为漏洞挖掘方法评估层级结构的一个示例，该示例由总目标、一级指标和二级指标构成。总目标是对漏洞挖掘方法的评估，一级指标由5项构成，即功能性、效率、可靠性、易用性和可扩展性，示例中仅针对一级指标“效率”展示其二级指标，其中w表示一级评估指标相对于总目标以及二级评估指标相对于一级评估指标所占有的权重值，示例中w₁，w₂，w₃，w₄，w₅分别表示功能性、效率、易用性、可靠性和可扩展性相对于总目标漏洞挖掘方法的权重值，w₂ ¹，w₂ ²，w₂ ³分别表示二级评估指标内存、CPU、响应时间相对于一级评估指标效率的权重值。

3、构造判断矩阵

所述构造判断矩阵表示的是根据步骤1所述的漏洞挖掘方法评估体系包括三级评估指标中某一级评估指标针对上一级某一个评估指标相对重要性的比较；各评估指标层次各因素之间权重的确定通过“一致矩阵法”进行赋值。“一致矩阵法”针对上层的某个评估指标的重要性，进行本层的两两相互比较，对比时采用相对尺度，尽可能减少性质不同的评估指标相互比较的困难，提高准确度。将AHP层次分析法应用于漏洞挖掘方法的评估，关键在于使判断矩阵中的数值定量化，使得任意两个评估指标对于某一准则的相对优越程度得到定量描述。AHP层次分析法采用数值为1-9的标度方法，对不同情况的比较给出数量上的标度。实际情况中，判断矩阵的构造通常也根据用户的需求使得用户可以针对自己关注的评估指标自定义权重。附图3为1-9标度方法的定义与说明。

4、层次单排序

层次单排序是指，对于上一层级的某个评估指标而言，本层次各个评估指标的重要性的排序，该重要性反映了各层级评估指标的定量计算结果。采用和积法计算其最大特征根和特征向量，从而得到各级指标的权重比值。

首先将判断矩阵的每一列元素作归一化处理，则判断矩阵中元素的一般项为：

其中表示对判断矩阵的每一列的各个元素求和。然后将每一列经归一化处理后的判断矩阵按行相加，公式为：

再对向量V＝(V₁，V₂，...，V_n)^T进行归一化处理:

其中表示对V₁，V₂，…，V_n求和。最终得到的V即为所求的特征向量的近似解。特征向量近似解为同一级的评估指标对于它上一级的评估指标相对重要性的排序权值。

5、一致性判断

为了判断所得到的特征向量是否与实际权重相符合，需要进行一致性判断。一致性判断采用计算判断矩阵最大特征根λ_max的方法：

其中表示对(BV)_i/nV_i求和，B是原判断矩阵，V为最大特征向量，即权重值的向量。

继而判断矩阵一致性指标C.I.(Consistency Index)：

C.I.＝λ_max-n/n-1 (5)

一致性指标C.I.的值越大，表明判断矩阵偏离完全一致性的程度越大，C.I.的值越小，表明判断矩阵越接近于完全一致性。其中n为判断矩阵的阶数，根据评估指标层次结构模型中上级评估指标所包含的下级评估指标的个数确定，所以n没有一个固定值。一般判断矩阵的阶数n越大，人为造成的偏离完全一致性指标C.I.的值便越大；n越小，人为造成的偏离完全一致性指标C.I.的值便越小。

对于多阶判断矩阵，引入平均随机一致性指标R.I.(RandomIndex)，附图4给出了1-15阶正互反矩阵计算1000次得到的平均随机一致性指标。然后计算一致性比率C.R.，C.R.的计算公式为：

C.R.＝C.I./R.I. (6)

当一致性比率C.R.的值小于0.10时，认为偏差在合理范围内，矩阵一致性通过检验。而当其大于0.10时，认为所求特征向量不合理，则需要重新调整判断矩阵的内容。

6、漏洞挖掘方法综合评价

对漏洞挖掘方法的综合评价采用综合评分和指标评分的评价方式。综合评分和指标评分均是在评估指标的定量分析基础上进行的，在已计算的评估指标权重基础上，采用权重和的计算方法判断一个漏洞挖掘方法的整体评分和其对于各层评估指标的评分。首先定义“指标路径”的概念，一个“指标路径”是指从某一个层级评估指标到第三级评估指标所经历的所有指标的有序集合。例如“效率”——“响应时间”就是“效率”指标的一条指标路径。

对于某个评估指标而言，其评分S计算如下列公式，其中V^P _i是第i条指标路径的权重比值，S_i是该指标路径底层评估指标的评分，m是该评估指标的指标路径的数量。

当S指向根指标(总目标)时，该评分为综合评分。计算总目标的得分则需要得出其他一级和二级指标的权重和相应得分。

本发明的优点和积极效果：

本发明提出一种基于指标权重的漏洞挖掘方法的评估策略，该策略以AHP层次分析法为基础，根据漏洞挖掘方法的评估体系建立评估指标层次结构模型，然后根据各评估指标的实际影响构造判断矩阵，进行层次单排序获得判断矩阵的特征向量的近似解，通过一致性判断方法检验特征向量是否与实际权重相符合，然后计算漏洞挖掘方法的整体评分。该评估策略提供了一种系统、全面的评估漏洞挖掘方法表现效果的方法，可以用于漏洞挖掘方法的评估技术领域，进行各种不同种类的漏洞挖掘方法的比较，为漏洞检测人员选择适合的漏洞挖掘方法提供参考。

【附图说明】

图1为漏洞挖掘方法评估体系三级指标图。

图2为漏洞挖掘方法评估层级结构示例。

图3为1-9标度方法的定义与说明。

图4为1-15阶判断矩阵平均随机一致性指标。

【具体实施方式】

现结合本发明方法进一步提供以下实施例：

根据本发明方法，实现漏洞挖掘方法的评估需要根据漏洞挖掘方法的评估层级结构，利用AHP层次分析法对漏洞挖掘方法评估指标进行定量计算，包括建立漏洞挖掘方法评估指标层次结构模型、构造判断矩阵、层次单排序、一致性判断。

漏洞挖掘方法的评估层级结构示例如附图2所示，假设所评估的漏洞挖掘方法为AppScan，表1展示了图2示例中一级指标相对于总目标的判断矩阵，其中P1-P5表示不同的一级指标。表2展示了图2示例中二级指标相对于一级指标“效率”的判断矩阵。

表1 图2示例中一级指标判断矩阵

一级指标	P1	P2	P3	P4	P5
						P1	1	1	1	4	1
P2	1	1	2	4	1
						P3	1	1/2	1	5	3
P4	1/4	1/4	1/5	1	1/3
						P5	1	1	1/3	3	1

表2 图2示例中二级指标判断矩阵

二级指标	CPU	内存	响应时间
				CPU	1	1/4	1/5
内存	4	1	1/2
				响应时间	5	2	1

然后根据表1计算一级指标相对于总目标的权重向量，首先根据公式(1)计算得出一级指标判断矩阵的各项归一化值如表3所示。

表3 图2示例中一级指标判断矩阵归一化结果

一级指标	P1	P2	P3	P4	P5
						P1	0.24	0.27	0.22	0.24	0.16
P2	0.24	0.27	0.44	0.24	0.16
						P3	0.24	0.13	0.22	0.29	0.47
P4	0.04	0.06	0.05	0.06	0.05
						P5	0.24	0.27	0.07	0.17	0.16

然后根据公式(2)对表3中的每一行求和，得到其和向量(1.13,1.35,1.35,0.26,0.91)^T，继而再根据公式(3)对和向量(1.13,1.35,1.35,0.26,0.91)^T进行归一化，得到一级指标相对于总目标的权重向量V＝(0.23,0.27,0.27,0.05,0.18)^T。

利用同样的求解方法，根据公式(1)可得二级指标判断矩阵归一化结果如表4所示。

表4 图2示例中二级指标判断矩阵归一化结果

二级指标	CPU	内存	响应时间
				CPU	0.1	0.08	0.12
内存	0.4	0.31	0.29
				响应时间	0.5	0.61	0.59

然后根据公式(2)对表4中的每一行求和，得到其和向量(0.30，1.0，1.7)^T，继而再根据公式(3)对和向量(0.30，1.0，1.70)^T进行归一化，得到二级指标相对于一级指标“效率”的权重向量V₂＝(0.10，0.33，0.57)^T。由权重向量可见各层次指标的权重之和为1。

然后根据图2示例中的一级指标权重特征向量，对其进行一致性判断。

首先计算BV，即

继而根据公式(4)计算λ_max，其中n为一级指标判断矩阵的阶数：

然后根据公式(5)计算判断矩阵一致性指标C.I.，结果为：

C.I.＝(5.29-5)/(5-1)＝0.07

由公式(6)计算一致性比率C.R.，其中R.I.为平均随机一致性指标，根据附图4，当n＝5时，R.I.＝1.12，计算结果如下：

C.R.＝C.I./R.I.＝0.07/1.12＝0.0625＜0.10

所以该结果通过一致性判断。

对二级指标权重特征向量进行一致性判断，计算过程如下：

然后根据公式(4)计算λ_max，其中n为“效率”的二级指标判断矩阵的阶数：

由公式(5)计算二级指标判断矩阵一致性指标C.I.，结果为：

C.I.＝(3.02-3)/(3-1)＝0.01

由公式(6)计算一致性比率C.R.，其中R.I.为平均随机一致性指标，根据附图4，当n＝3时，R.I.＝0.58，计算结果如下：

C.R.＝C.I./R.I.＝0.01/0.58＝0.02＜0.10

所以该结果通过一致性判断。

本发明方法中对漏洞挖掘方法的综合评价采用综合评分和指标评分，对于图2示例中的二级指标而言，假设“CPU”，“内存”及“响应时间”的得分各为60,70,80。根据二级指标相对于一级指标“效率”的权重向量为V₂＝(0.10,0.33,0.57)^T，则由公式(7)可得一级指标“效率”的得分即为:

对所评估的漏洞挖掘方法AppScan的其它一级评估指标得分的计算方法同上，假设最后得分为功能性70分，效率74.7分，易用性73.4分，可靠性65分，可扩展性68分，则依据一级评估指标的权重向量V＝(0.23,0.27,0.27,0.05,0.18)^T，可以根据公式(7)得到AppScan的总体得分为：

得到漏洞挖掘方法AppScan的评估分数之后，由漏洞检测人员根据实际情况评估该方法的表现效果，确定是否选择使用此方法。若在多个漏洞挖掘方法中确定某一个方法更为可靠，可以根据本发明评估策略计算每一种漏洞挖掘方法的总体得分，然后进行比较，最后选择分数较高的漏洞挖掘方法。

Claims (4)

1.一种基于指标权重的漏洞挖掘方法的评估策略，其特征在于含有以下步骤：

步骤1、定义漏洞挖掘方法评估体系；

步骤2、将AHP方法应用于对漏洞挖掘方法的评估场景中，利用AHP对漏洞挖掘方法评估体系中的评估指标进行定量计算，定量计算的步骤包括：建立漏洞挖掘方法评估指标层次结构模型，构造判断矩阵、层次单排序和一致性判断；

步骤3、采用综合评分和指标评分的方式对漏洞挖掘方法进行综合评价。

2.根据权利要求1所述的基于指标权重的漏洞挖掘方法的评估策略，其特征在于步骤1所述的漏洞挖掘方法评估体系中包括了漏洞挖掘方法的三级评估指标；

一级评估指标包括功能性、效率、可靠性、易用性和可扩展性；

功能性的二级指标包括漏洞数、漏报率、误报率、正确率和覆盖率；

效率的二级指标包括响应时间开销、CPU开销和内存开销；

可靠性二级指标包括挖掘漏洞类型和漏洞危险级别；

易用性二级指标包括部署难易程度、易操作性、漏洞报告的易理解性和自动化程度；

可扩展性二级指标包括可移植性、易维护性和检测语言种类；

覆盖率三级指标包括语句覆盖率和分支覆盖率；

漏洞危险级别三级指标包括攻击复杂性、漏洞利用权限、漏洞访问途径、保密性影响、完整性影响和可利用性影响。

3.根据权利要求1所述的基于指标权重的漏洞挖掘方法的评估策略，其特征在于步骤2所述的建立漏洞挖掘方法评估指标层次结构模型由步骤1映射得来，即根据步骤1定义的漏洞挖掘方法评估体系，将对漏洞挖掘方法的评估按照总目标、次级目标的关系分为不同的评估指标层级，高级指标层级受多个低级指标层级影响，如此迭代下去，形成一级指标、二级指标和三级指标，建立出漏洞挖掘方法评估指标层次结构模型；层次结构模型中，使用w表示子指标所占权重比值，其中子指标是下级指标相对于上级指标而言；

所述构造判断矩阵表示的是根据步骤1所述的漏洞挖掘方法评估体系包括三级评估指标中某一级评估指标针对上一级某一个评估指标相对重要性的比较；在确定漏洞挖掘方法评估体系中的各级的每个评估指标之间的权重时采用“一致矩阵法”，是指不将对漏洞挖掘方法的所有评估指标放在一起比较，而是两两相互比较，对比时采用相对尺度，尽可能减少性质不同的各评估指标相互比较时的困难，提高准确度；

层次单排序通过对判断矩阵的每一列元素进行归一化处理，然后将处理后的矩阵按行相加，再对相加之后的矩阵进行归一化处理获得判断矩阵的特征向量的近似解，特征向量近似解为同一级的评估指标对于它上一级的评估指标相对重要性的排序权值；

一致性判断用于检验层次单排序结果是否合理，即所得到的特征向量是否与实际权重相符合，通过计算判断矩阵的最大特征根，进而计算一致性指标、一致性比率以判断所求的特征向量是否合理。

4.根据权利要求1所述的基于指标权重的漏洞挖掘方法的评估策略，其特征在于步骤3所述的对漏洞挖掘方法进行综合评价，采用综合评分和指标评分的方式，定义“指标路径”为步骤1所述的漏洞挖掘方法评估体系中的某一个层级评估指标到第三级评估指标所经历的所有指标的有序集合；综合评分和指标评分均是在评估指标的定量分析基础上进行，在已计算的评估指标权重基础上，采用权重和的计算方法判断一个漏洞挖掘方法的整体评分以及对于各层评估指标的评分。