CN114490344A

CN114490344A - 一种基于机器学习和静态分析的软件集成测评方法

Info

Publication number: CN114490344A
Application number: CN202111667193.2A
Authority: CN
Inventors: 杨顺昆; 杨明浩; 王杰凯
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-12-31
Filing date: 2021-12-31
Publication date: 2022-05-13

Abstract

本发明公开了一种基于机器学习和静态分析的软件集成测评方法，包括：收集历史版本软件源码的缺陷信息，进行统一格式化处理；对历史版本软件源码扫描分析，提取原始缺陷分析结果中的关键信息；提取历史版本软件源码的代码特征信息；将已知缺陷信息、缺陷分析结果、代码特征信息进行数据组合，构建机器学习算法模型的输入数据；设定训练模型及参数，完成机器学习算法模型的训练和调优；对待分析的目标代码重复执行，获得目标代码的特征数据；将待分析的目标代码特征数据输入机器学习算法模型，获得软件缺陷分析结果。本发明通过机器学习算法对原始分析结果进行进一步集成和优化，过滤部分错误报告，同时补充单一静态工具遗漏的缺陷。

Description

一种基于机器学习和静态分析的软件集成测评方法

技术领域

本发明涉及软件测试技术领域，尤其涉及一种基于机器学习和静态分析的软件集成测评方法。

背景技术

静态分析是一种直接扫描目标代码提取有关程序的相关信息，通过分析或检查源程序的语法、结构、过程、接口等来实现检查程序的正确性的软件质量保证技术。在静态分析理论研究的基础上，大量静态分析工具被开发出来，有效帮助开发者改进软件质量。静态分析主要具有以下几个特点：

(1)可以不运行被测程序：通过静态分析识别目标软件代码，不需要配置软件运行环境，直接扫描分析源码即可。

(2)自主性：目前常见的静态分析工具在指定目标代码后，均可以自主完成缺陷分析，并给出相应的缺陷分析报告。

(3)可扩展性：静态分析可以处理不同大小规模软件。

机器学习(Machine Learning)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。目前机器学习广泛应用于各种领域，用于解决大量实际问题，例如有学者以支持向量机模型为基础，集成小波分解和微分进化等技术用于短期风速预测，并取得较为不错的预测结果。

静态分析已经在软件开发阶段展示了它们在自动检测代码缺陷中的重要性。但是，越来越多的研究报告表明，静态分析工具在实际应用中并未有效的发挥其作用，静态工具报告的大量告警和手动检查告警所涉及的人力成本是主要原因。缺陷警报是向静态分析工具用户发送的警告消息，传达了程序代码中潜在的缺陷错误，例如通过静态分析检测到的除零，溢出等错误。然而，在实践中，却发现很大一部分缺陷警报是错误的。即使是表现良好的某商用软件，依然存在着20％-30％的误报率。事实上，一般在开发时，静态分析工具开发人员为了保证静态工具的运行分析性能，会在缺陷分析精度上做出让步。而除了误报问题，由于静态分析技术本身的侧重不同、算法架构不同，使得以不同静态分析技术为基础的静态分析工具的缺陷检测能力并不相同，可以覆盖到的缺陷类型也不相同。

发明内容

本发明目的是提供了一种基于机器学习和静态分析的软件集成测评方法，以解决上述问题。

本发明解决技术问题采用如下技术方案：

一种基于机器学习和静态分析的软件集成测评方法，包括如下步骤：

步骤S1，收集历史版本软件源码的缺陷信息，并进行统一的格式化处理；

步骤S2，使用多个静态分析工具对上述历史版本软件源码进行扫描分析，提取原始缺陷分析结果中的关键信息；

步骤S3，通过代码度量工具提取上述的历史版本软件源码的代码特征信息；

步骤S4，将已知的缺陷信息、缺陷分析结果、代码特征信息进行数据组合，构建机器学习算法模型的输入数据；

步骤S5，根据模型测试指标、软件代码量级与代码类型自动化地设定训练模型及参数，完成机器学习算法模型的训练和调优；

步骤S6，对待分析的目标代码重复执行步骤S2-步骤S4，获得目标代码的特征数据；

步骤S7，将待分析的目标代码特征数据输入机器学习算法模型，获得软件缺陷分析结果。

进一步的，步骤S1中所述的收集历史版本软件源码的缺陷信息，并进行统一的格式化处理，方法如下：收集目标测评软件的历史版本信息，其中主要关注缺陷的识别和更改记录信息，将其中关键信息进行提取，包括：代码文件名、是否包含缺陷、缺陷所在位置以及缺陷类型；提取后的数据使用json文件格式进行格式化存储。

进一步的，步骤S2中所述的使用多个静态分析工具对上述历史版本软件源码进行扫描分析，提取原始缺陷分析结果中的关键信息，方法如下：通过python脚本调用多个静态分析工具对历史版本软件进行静态分析扫描，将命令行中的原始分析结果重定向至指定文本文件中；根据不同静态分析工具的缺陷告警格式，使用字符串切分方法提取其中的关键信息，包括：代码文件名、代码文件路径、缺陷所在位置、缺陷级别以及缺陷描述。

进一步的，步骤S3中所述的提取已知缺陷信息的历史版本软件源码的代码特征信息，方法如下：扫描所有的已知缺陷信息的历史版本软件源码文件，扫描过程中记录源码文件名并完成包括根据换行符统计源码文件代码行数、根据编程语言注释符号统计注释行数进而计算有效代码行数以及根据编程语言函数定义格式统计源码文件函数个数特征信息的计算提取。

进一步的，步骤S4中所述的将已知的缺陷信息、静态分析结果、代码特征信息进行数据组合，构建机器学习算法模型的输入数据，方法如下：在前三步之后，收集到了软件历史版本的已知的缺陷信息、静态分析结果、代码特征信息，并使用了统一格式进行存储。以其中源码文件名作为关键字纽带，将三种信息进行组合，进行归一化处理并对其中部分不合法的数据进行过滤或格式转换，最终构建机器学习算法模型可接受的数据集。

进一步的，步骤S5中所述的根据模型测试指标、软件代码量级与代码类型自动化地设定训练模型及参数，完成机器学习算法模型的训练和调优，方法如下：以历史版本软件是否包含缺陷和缺陷所在位置作为数据标签，将步骤S4中构建的数据集切分为训练集和测试集，将训练集输入机器学习分类算法模型；在以第一次训练模型时，设置默认模型参数，完成模型训练，然后使用测试集对模型进行测试，统计相关评估指标，根据模型测试指标、软件代码量级与代码类型自动化修改模型参数，再次优化训练模型，重复多次获得具有较高评价指标的分类模型。

进一步的，步骤S6所述的对待分析的目标代码重复执行步骤S2-步骤S4，获得目标代码的特征数据，方法如下：针对目标代码文件，依次执行步骤S2、步骤S3和步骤S4，获得新的缺陷分析数据。

进一步的，步骤S7所述的将待分析的目标代码特征数据输入机器学习算法模型，获得软件缺陷分析结果，方法如下：将步骤S6中的目标软件的缺陷分析特征数据输入至步骤S5中完成调优的机器学习分析算法模型，获得分类优化结果，该结果即为优化后的软件缺陷分析结果。

有益效果：

本发明可以解决单个静态分析工具缺陷检测能力缺陷检测能力有限，漏报率与误报率相对较高的难题。本发明能够在使用多个静态分析工具对软件源码分析的基础上，通过机器学习算法对原始分析结果进行进一步优化，过滤错误报告，同时补充发现遗漏的缺陷，给出更优的软件缺陷测评结果，实现缺陷测评的整体优化，更加有效地帮助软件开发者识别软件源码中的缺陷，有助于提升软件的质量与可靠性。

附图说明

图1为本发明的方法流程图；

图2是本发明实施例提供的原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考附图1-2，本发明公开了一种基于机器学习和静态分析的软件集成测评方法，包括如下步骤：

步骤101，收集历史版本软件源码的缺陷信息，包括是否存在缺陷，缺陷所在代码位置以及缺陷的具体描述信息，并进行统一的格式化处理。

本发明主要应用的对象是经过版本迭代，具有历史版本的软件源码。收集目标测评软件的历史版本信息，主要关注其中的历史缺陷的识别和更改记录等信息，将其中关键信息进行提取，包括：代码文件名、是否包含缺陷、缺陷所在位置、缺陷类型。使用json文件格式化存储这些数据。这是结合机器学习算法模型的基础。

步骤102，使用多个静态分析工具对上述历史版本的软件源码进行扫描分析，提取原始缺陷分析结果中的关键信息。

软件源码文件较多，难以手动指定，通过python脚本调用多个静态分析工具对历史版本软件目录下相关代码文件自动进行静态分析扫描，并将命令行中的原始分析结果重定向至指定文本文件中。不同静态分析工具的缺陷告警格式各不相同，根据具体情况使用字符串切分方法提取其中的包括：代码文件名、代码文件路径、缺陷所在位置、缺陷级别(严重度)、缺陷描述几类关键信息。提取后的数据使用json文件格式进行格式化存储。这些静态分析工具的缺陷分析结果是后续步骤中能够进行软件集成缺陷分析的关键。

步骤103，通过代码度量工具提取上述的历史版本软件源码的代码特征信息，包括代码行数、圈复杂度、平均函数个数等。

代码特征信息中同样隐含得包含了较多与缺陷相关的潜在信息，可以有助于对缺陷识别提供更多的信息。该部分需要扫描已知缺陷信息的历史版本软件源码文件，以源码文件名为关键字，根据换行符统计源码文件代码行数，去除注释符号计算有效代码行数，根据编程函数定义格式统计函数个数等，提取特征信息后使用json文件格式进行格式化存储。

步骤104，将已知的缺陷信息、静态分析结果、代码度量特征信息进行数据组合，构建机器学习算法模型的输入数据。

软件历史版本的已知的缺陷信息、静态分析工具的原始缺陷分析结果以及历史版本的代码特征信息均以代码文件名作为关键字进行存储，将针对同一个代码文件的相关数据进行组合，进行归一化处理并对其中部分不合法的数据进行过滤或格式转换，最终构建机器学习算法模型可接受的数据集。

步骤105，根据模型测试指标、软件代码量级与代码类型自动化地设定训练模型及参数，完成机器学习算法模型的训练和调优。

该部分主要目的是获得一个较好的优化分类模型。将上一步获得的数据中的“历史版本软件是否包含缺陷”和“缺陷所在位置”作为数据标签，其他数据作为特征数据，并将整个数据集分为训练集和测试集。在以第一次训练模型时，将模型参数设置为默认的经验值，完成初步模型训练。然后使用测试集对模型进行测试，统计相关评估指标，并根据模型测试指标、软件代码量级与代码类型自动化修改模型参数，再次优化训练模型，重复多次获得具有较高评价指标的分类模型。

步骤106，对待分析的目标代码重复执行步骤102-步骤104，获得目标代码的特征数据。

针对目标代码文件，依次执行步骤102、步骤103和步骤104，分别获得静态分析工具的静态分析结果、代码特征数据，并进行数据组合，构建新的缺陷特征数据。

步骤107，将待分析的目标代码特征数据输入机器学习算法模型，获得软件缺陷分析结果。对系统可靠性进行分析与评估。

将目标软件的缺陷分析特征数据输入至完成调优的机器学习分析算法模型，获得分类优化结果，该结果即为优化后的软件缺陷分析结果。

本发明可以解决单个静态分析工具缺陷检测能力缺陷检测能力有限，漏报率与误报率相对较高的难题。本发明能够在使用多个静态分析工具对软件源码分析的基础上，通过机器学习算法对原始分析结果进行进一步优化，过滤错误报告，同时补充单一静态工具遗漏的缺陷，给出更优的软件缺陷测评结果，实现缺陷测评的整体优化，这种集成优化方法能够更加方便准确地发现和识别软件中的潜在缺陷，有助于提升软件的质量与可靠性，便于软件开发人员对软件进行改进和修复。

本发明提供了一种基于机器学习和静态分析方法的软件集成测评方法，基于具有不同设计和不同检测算法的多种静态工具的历史软件缺陷分析数据以及其他代码度量特征进行机器学习算法模型构建和训练，在对新软件进行软件测评时，该模型可以对软件静态分析的缺陷测试评估结果进行有效的集成和优化，减少其中缺陷检测漏报和误报情况，有效提高软件缺陷检测效果。

本发明能有效地将多个不同静态分析工具的软件缺陷分析结果进行综合判别并剔除错误报告，给出更优的软件缺陷测评结果，实现缺陷测评的整体优化，更加有效地帮助软件开发者识别软件源码中的缺陷，有助于提升软件的质量与可靠性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于机器学习和静态分析的软件集成测评方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S1中所述的收集历史版本软件源码的缺陷信息，并进行统一的格式化处理，方法如下：收集目标测评软件的历史版本信息，其中主要关注缺陷的识别和更改记录信息，将其中关键信息进行提取，包括：代码文件名、是否包含缺陷、缺陷所在位置以及缺陷类型；提取后的数据使用json文件格式进行格式化存储。

3.根据权利要求1所述的一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S2中所述的使用多个静态分析工具对上述历史版本软件源码进行扫描分析，提取原始缺陷分析结果中的关键信息，方法如下：通过python脚本调用多个静态分析工具对历史版本软件进行静态分析扫描，将命令行中的原始分析结果重定向至指定文本文件中；根据不同静态分析工具的缺陷告警格式，使用字符串切分方法提取其中的关键信息，包括：代码文件名、代码文件路径、缺陷所在位置、缺陷级别以及缺陷描述。

4.根据权利要求1所述的一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S3中所述的提取已知缺陷信息的历史版本软件源码的代码特征信息，方法如下：扫描所有的已知缺陷信息的历史版本软件源码文件，扫描过程中记录源码文件名并完成包括根据换行符统计源码文件代码行数、根据编程语言注释符号统计注释行数进而计算有效代码行数以及根据编程语言函数定义格式统计源码文件函数个数特征信息的计算提取。

5.根据权利要求1所述的一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S4中所述的将已知的缺陷信息、静态分析结果、代码特征信息进行数据组合，构建机器学习算法模型的输入数据，方法如下：在前三步之后，收集到了软件历史版本的已知的缺陷信息、静态分析结果、代码特征信息，并使用了统一格式进行存储。以其中源码文件名作为关键字纽带，将三种信息进行组合，进行归一化处理并对其中部分不合法的数据进行过滤或格式转换，最终构建机器学习算法模型可接受的数据集。

6.根据权利要求5所述的一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S5中所述的根据模型测试指标、软件代码量级与代码类型自动化地设定训练模型及参数，完成机器学习算法模型的训练和调优，方法如下：以历史版本软件是否包含缺陷和缺陷所在位置作为数据标签，将步骤S4中构建的数据集切分为训练集和测试集，将训练集输入机器学习分类算法模型；在以第一次训练模型时，设置默认模型参数，完成模型训练，然后使用测试集对模型进行测试，统计相关评估指标，根据模型测试指标、软件代码量级与代码类型自动化修改模型参数，再次优化训练模型，重复多次获得具有较高评价指标的分类模型。

7.根据权利要求1所述一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S6所述的对待分析的目标代码重复执行步骤S2-步骤S4，获得目标代码的特征数据，方法如下：针对目标代码文件，依次执行步骤S2、步骤S3和步骤S4，获得新的缺陷分析数据。

8.根据权利要求1所述一种基于机器学习和静态分析的软件集成测评方法，其特征在于，步骤S7所述的将待分析的目标代码特征数据输入机器学习算法模型，获得软件缺陷分析结果，方法如下：将步骤S6中的目标软件的缺陷分析特征数据输入至步骤S5中完成调优的机器学习分析算法模型，获得分类优化结果，该结果即为优化后的软件缺陷分析结果。