CN108255716B - 一种基于云计算技术的软件测评方法 - Google Patents

Abstract

一种基于云计算技术的软件测评方法。其包括创建测试云平台与评估云平台；在测试云平台上部署轻量级的云探针；利用云探针收集状态数据,通过网络传输到评估云平台中；在评估云平台中进行分析，按照测评标准综合评估被测软件，生成测评报告等步骤。本发明效果：通过云计算技术，可以有效地提高设备的利用率，按照业务需要，动态调整所需资源，实现对被测软件的连续测试，有利于对整个测试体系的运行维护。通过虚拟机自省技术，将被测软件与检测模块隔离开来。被测软件部署在虚拟机中，检测模块部署在权级更高、更为安全的虚拟机监视器层，且综合多种虚拟机自省技术的优势，以实现对被测软件的连续、准确、全面的检测。

Description

一种基于云计算技术的软件测评方法

技术领域

本发明属于计算机应用技术领域，特别是涉及一种基于云计算技术的软件测评方法。

背景技术

目前，软件测评方法主要是基于实体物理机环境下，且被测软件与检测程序运行在同一系统中，因此主要存在以下问题：

(1)无法提供连续的测评环境

目前的测评环境主要是基于实体物理机，当软件中含有错误、测评环境配置不当或者感染恶意程序时，在进行连续测试过程中，会出现各种软硬件故障，甚至造成宕机。当发生宕机时，难以准确记录、还原宕机时系统和被测软件的运行状况、性能变化等参数。因此，目前的测评方法无法提供连续的测试环境，记录还原分析系统崩溃的具体原因。

(2)无法保障获得准确的测评数据

若对反病毒软件进行恶意程序实时防护能力测试，检测程序因受实时运行的恶意程序的干扰或攻击，无法准确反馈相关测评数据。

(3)无法一次性对软件进行全面测评

目前基于物理实体机的软件测评方法，每次测试只能获取软件的一部分功能特性，无法一次性实现对软件全面、多维度的测评。如果实现全面测试，需进行多次测试，或者多机并行测试，但是存在效率低、难于同步协调等问题。

(4)缺乏针对云环境的测评方法

随着云计算技术的广泛应用，很多业务已迁移到云服务平台，但是针对云环境下的应用软件主要还采用基于物理实体机的测试方法，缺少针对云环境的软件测评方法。

总的来说，传统的软件测评方法中，若发生软硬件故障，需要耗费大量人力、时间来恢复测试环境。并且，软件与检测程序处在同一物理机中，难于实现对软件进行连续、准确、全面的测评。因此，存在效率低、安全性差、资源开销高、不适用云环境等问题。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于云计算技术的软件测评方法。

为了达到上述目的，本发明提供的基于云计算技术的软件测评方法包括按顺序进行的下列步骤：

步骤1)分别创建测试云平台与评估云平台，并在测试云平台上部署物理主机集群，创建多台虚拟机；

步骤2)在测试云平台上部署包括Volatility、LibVMI、LibguestFS、Libpcap、rVMI、Xentop和虚拟机内部代理程序在内的云探针，重构虚拟机各类状态信息，利用上述云探针收集包括软件动态行为、操作系统状态、系统内存、磁盘文件信息、网络通讯和系统资源情况在内的状态数据,然后通过网络传输到评估云平台中；

步骤3)将被测软件投放到测试云平台的多个虚拟机中同步测试；

步骤4)对测试云平台上每个虚拟机状态信息进行纵向分析，通过分析被测软件动态行为、系统内存信息、磁盘文件信息、网络通讯信息、系统资源信息，得出每个测试环境中的测试结果；然后对每个测试结果再进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成测评报告。

在步骤2)中，所述的利用云探针收集包括操作系统状态、系统内存、磁盘文件信息、网络通讯和系统资源情况在内的状态数据,然后通过网络传输到评估云平台中的方法包括以下步骤：

步骤1.1)通过Volatility的impscan插件带外重构软件进程执行的API调用序列，通过Volatility的privs插件带外重构软件申请拥有的权限种类信息，然后将软件进程执行的API调用序列和申请拥有的权限种类信息传输到评估云平台中；

步骤1.2)通过Volatility的psscan、threads、dlllist功能插件与LibVMI的process-list、module-list插件对虚拟机内存数据进行语义重构，得到进程、线程、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.3)通过部署在测试云平台上的虚拟机内部代理程序，获取虚拟机内部状态信息，包括进程、线程、加载模块、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.4)通过LibguestFS virt-df命令、virt-list命令、virt-cat命令、virt-win-reg命令对客户虚拟机的磁盘文件进行重构，分别获取磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，然后传输到评估云平台中；

步骤1.5)通过Libpcap监测虚拟机相应虚拟网卡的流量，抓包分析被测软件的网络流量信息，然后传输到评估云平台中；

步骤1.6)通过rVMI的vm_state_cpu()函数带外获取虚拟机CPU寄存器执行指令、处理数据在内的信息，然后传输到评估云平台中；

步骤1.7)通过Xentop获取客户虚拟机中CPU、系统内存的实时使用率情况，进而得出被测软件的资源占有率信息，然后传输到评估云平台中；

步骤1.8)通过LibVMI的dump-memory插件获取客户虚拟机的内存转储文件，并通过文件传输通道将内存转储文件传输到评估云平台中。

在步骤4)中，所述的对测试云平台上每个虚拟机状态信息进行纵向分析，通过分析被测软件动态行为、系统内存信息、磁盘文件信息、网络通讯信息、系统资源信息，得出每个测试环境中的测试结果；然后对每个测试结果再进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成测评报告的方法包括以下步骤：

步骤2.1)通过分析步骤1.1)重构的软件进程执行的API调用序列，确定该软件是否执行异常；通过分析步骤1.1)重构的软件申请拥有的权限种类信息，判定该软件是否存在恶意提权或申请多余权限的行为；

步骤2.2)通过对比分析步骤1.2)语义重构的内部状态信息和步骤1.3)在虚拟机内部获取的进程、线程、加载模块、动态链接库的相关信息，确定被测软件是否存在隐藏进程、线程注入、隐藏加载模块、篡改动态链接库在内的异常行为；

步骤2.3)对步骤1.4)传来的客户虚拟机的磁盘文件信息进行细粒度分析，根据磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，判定被测软件是否恶意修改磁盘文件、注册表；

步骤2.4)通过分析步骤1.5)获取的被测软件网络流量信息，判定被测软件在网络通讯中是否存在异常；

步骤2.5)通过分析步骤1.6)获取的CPU寄存器执行指令、处理数据在内的信息，判定操作系统状态是否正常；

步骤2.6)综合步骤1.4)获取的磁盘存储空间信息、步骤1.5)获取的被测软件网络流量信息、步骤1.7)获取的被测软件的资源占有率信息，确定系统资源情况与被测软件的性能损耗信息；

步骤2.7)当测试环境出现软硬件故障而发生宕机时，通过步骤1.8)生成的内存转储文件恢复测试环境；

步骤2.8)对以上每个测试环境的测试结果进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成被测软件测评报告。

本发明提供的基于云计算技术的软件测评方法的有益效果：

1)通过云计算技术，可以有效地提高设备的利用率，按照业务需要，动态调整所需资源，实现对被测软件的连续测试，有利于对整个测试体系的运行维护。

2)通过虚拟机自省技术，将被测软件与检测模块隔离开来。被测软件部署在虚拟机中，检测模块部署在权级更高、更为安全的虚拟机监视器层，且综合多种虚拟机自省技术的优势，以实现对被测软件的连续、准确、全面的检测。

3)通过分别部署测试云平台与评估云平台，有效地降低了传统单一测评环境的负载。在评估云平台中，通过结合语义重构信息与测试云平台中云探针传来的信息，按照测评标准，综合分析评估被测软件，生成测评报告。

附图说明

图1为本发明提供的基于云计算技术的软件测评方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于云计算技术的软件测评方法进行详细说明。

如图1所示，本发明提供的基于云计算技术的软件测评方法包括按顺序进行的下列步骤：

步骤1)分别创建测试云平台与评估云平台，并在测试云平台上部署物理主机集群，创建多台虚拟机；

步骤2)在测试云平台上部署包括Volatility、LibVMI、LibguestFS、Libpcap、rVMI、Xentop和虚拟机内部代理程序在内的云探针，重构虚拟机各类状态信息，利用上述云探针收集包括软件动态行为、操作系统状态、系统内存、磁盘文件信息、网络通讯和系统资源情况在内的状态数据,然后通过网络传输到评估云平台中；

具体方法包括以下步骤：

步骤1.1)通过Volatility的impscan插件带外重构软件进程执行的API调用序列，通过Volatility的privs插件带外重构软件申请拥有的权限种类信息，然后将软件进程执行的API调用序列和申请拥有的权限种类信息传输到评估云平台中；

步骤1.2)通过Volatility的psscan、threads、dlllist功能插件与LibVMI的process-list、module-list插件对虚拟机内存数据进行语义重构，得到进程、线程、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.3)通过部署在测试云平台上的虚拟机内部代理程序，获取虚拟机内部状态信息，包括进程、线程、加载模块、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.4)通过LibguestFS virt-df命令、virt-list命令、virt-cat命令、virt-win-reg命令对客户虚拟机的磁盘文件进行重构，分别获取磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，然后传输到评估云平台中；

步骤1.5)通过Libpcap监测虚拟机相应虚拟网卡的流量，抓包分析被测软件的网络流量信息，然后传输到评估云平台中；

步骤1.6)通过rVMI的vm_state_cpu()函数带外获取虚拟机CPU寄存器执行指令、处理数据在内的信息，然后传输到评估云平台中；

步骤1.7)通过Xentop获取客户虚拟机中CPU、系统内存的实时使用率情况，进而得出被测软件的资源占有率信息，然后传输到评估云平台中；

步骤1.8)通过LibVMI的dump-memory插件获取客户虚拟机的内存转储文件，并通过文件传输通道将内存转储文件传输到评估云平台中。

步骤3)将被测软件投放到测试云平台的多个虚拟机中同步测试；

步骤4)对测试云平台上每个虚拟机状态信息进行纵向分析，通过分析被测软件动态行为、系统内存信息、磁盘文件信息、网络通讯信息、系统资源信息，得出每个测试环境中的测试结果；然后对每个测试结果再进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成测评报告。

具体方法包括以下步骤：

步骤2.1)通过分析步骤1.1)重构的软件进程执行的API调用序列，确定该软件是否执行异常；通过分析步骤1.1)重构的软件申请拥有的权限种类信息，判定该软件是否存在恶意提权或申请多余权限的行为；

步骤2.2)通过对比分析步骤1.2)语义重构的内部状态信息和步骤1.3)在虚拟机内部获取的进程、线程、加载模块、动态链接库的相关信息，确定被测软件是否存在隐藏进程、线程注入、隐藏加载模块、篡改动态链接库在内的异常行为；

步骤2.3)对步骤1.4)传来的客户虚拟机的磁盘文件信息进行细粒度分析，根据磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，判定被测软件是否恶意修改磁盘文件、注册表；

步骤2.4)通过分析步骤1.5)获取的被测软件网络流量信息，判定被测软件在网络通讯中是否存在异常；

步骤2.5)通过分析步骤1.6)获取的CPU寄存器执行指令、处理数据在内的信息，判定操作系统状态是否正常；

步骤2.6)综合步骤1.4)获取的磁盘存储空间信息、步骤1.5)获取的被测软件网络流量信息、步骤1.7)获取的被测软件的资源占有率信息，确定系统资源情况与被测软件的性能损耗信息；

步骤2.7)当测试环境出现软硬件故障而发生宕机时，通过步骤1.8)生成的内存转储文件恢复测试环境；

步骤2.8)对以上每个测试环境的测试结果进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成被测软件测评报告。

虚拟化技术是云计算技术的基础。虚拟化技术可以提供连续的测试环境；在测试过程中，如果出现软硬件故障或宕机，我们可以根据带外获取的虚拟机状态信息分析故障原因，并可快速恢复测试环境。同时，虚拟化技术可以为测试提供弹性的需求空间，根据测试用例的不同需求，动态分配测试所需资源，实现资源的有效利用。

在虚拟机外部检测虚拟机内部运行状态的方法被称为虚拟机自省技术。由于虚拟机监视器的权级更高，我们在测试云中采用带外检测方式，可以更安全、准确地获取软件的相关状态数据。

由于不同虚拟机自省技术获取数据的角度各有侧重，在测试云平台部署轻量级的云探针，将被测软件同时投放到不同的测试环境中，每个测试环境运用不同的虚拟机自省技术，整合LibVMI、rVMI、DRAKVUF等多种虚拟机自省技术，对软件动态行为、内存信息数据、磁盘文件信息数据、网络通讯信息数据、CPU信息数据和资源占有率信息数据进行多维度获取，通过横向对比、纵向分析，综合确定被测软件是否存在异常行为与被测软件的性能损耗情况，最后，按照测评标准综合评估被测软件，生成测评报告。

Claims (2)

1.一种基于云计算技术的软件测评方法，所述的基于云计算技术的软件测评方法包括按顺序进行的下列步骤：

步骤1)分别创建测试云平台与评估云平台，并在测试云平台上部署物理主机集群，创建多台虚拟机；

步骤2)在测试云平台上部署包括Volatility、LibVMI、LibguestFS、Libpcap、rVMI、Xentop和虚拟机内部代理程序在内的云探针，重构虚拟机各类状态信息，利用上述云探针收集包括软件动态行为、操作系统状态、系统内存、磁盘文件信息、网络通讯和系统资源情况在内的状态数据,然后通过网络传输到评估云平台中；

步骤3)将被测软件投放到测试云平台的多个虚拟机中同步测试；

步骤4)对测试云平台上每个虚拟机状态信息进行纵向分析，通过分析被测软件动态行为、系统内存信息、磁盘文件信息、网络通讯信息、系统资源信息，得出每个测试环境中的测试结果；然后对每个测试结果再进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成测评报告；

其特征在于：在步骤2)中，所述的利用云探针收集包括操作系统状态、系统内存、磁盘文件信息、网络通讯和系统资源情况在内的状态数据,然后通过网络传输到评估云平台中的方法包括以下步骤：

步骤1.1)通过Volatility的impscan插件带外重构软件进程执行的API调用序列，通过Volatility的privs插件带外重构软件申请拥有的权限种类信息，然后将软件进程执行的API调用序列和申请拥有的权限种类信息传输到评估云平台中；

步骤1.2)通过Volatility的psscan、threads、dlllist功能插件与LibVMI的process-list、module-list插件对虚拟机内存数据进行语义重构，得到进程、线程、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.3)通过部署在测试云平台上的虚拟机内部代理程序，获取虚拟机内部状态信息，包括进程、线程、加载模块、动态链接库的相关信息，然后传输到评估云平台中；

步骤1.4)通过LibguestFS virt-df命令、virt-list命令、virt-cat命令、virt-win-reg命令对客户虚拟机的磁盘文件进行重构，分别获取磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，然后传输到评估云平台中；

步骤1.5)通过Libpcap监测虚拟机相应虚拟网卡的流量，抓包分析被测软件的网络流量信息，然后传输到评估云平台中；

步骤1.6)通过rVMI的vm_state_cpu()函数带外获取虚拟机CPU寄存器执行指令、处理数据在内的信息，然后传输到评估云平台中；

步骤1.7)通过Xentop获取客户虚拟机中CPU、系统内存的实时使用率情况，进而得出被测软件的资源占有率信息，然后传输到评估云平台中；

步骤1.8)通过LibVMI的dump-memory插件获取客户虚拟机的内存转储文件，并通过文件传输通道将内存转储文件传输到评估云平台中。

2.根据权利要求1所述的基于云计算技术的软件测评方法，其特征在于：在步骤4)中，所述的对测试云平台上每个虚拟机状态信息进行纵向分析，通过分析被测软件动态行为、系统内存信息、磁盘文件信息、网络通讯信息、系统资源信息，得出每个测试环境中的测试结果；然后对每个测试结果再进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成测评报告的方法包括以下步骤：

步骤2.1)通过分析步骤1.1)重构的软件进程执行的API调用序列，确定该软件是否执行异常；通过分析步骤1.1)重构的软件申请拥有的权限种类信息，判定该软件是否存在恶意提权或申请多余权限的行为；

步骤2.2)通过对比分析步骤1.2)语义重构的内部状态信息和步骤1.3)在虚拟机内部获取的进程、线程、加载模块、动态链接库的相关信息，确定被测软件是否存在隐藏进程、线程注入、隐藏加载模块、篡改动态链接库在内的异常行为；

步骤2.3)对步骤1.4)传来的客户虚拟机的磁盘文件信息进行细粒度分析，根据磁盘存储空间、文件目录、文件内容、注册表在内的相关信息，判定被测软件是否恶意修改磁盘文件、注册表；

步骤2.4)通过分析步骤1.5)获取的被测软件网络流量信息，判定被测软件在网络通讯中是否存在异常；

步骤2.5)通过分析步骤1.6)获取的CPU寄存器执行指令、处理数据在内的信息，判定操作系统状态是否正常；

步骤2.6)综合步骤1.4)获取的磁盘存储空间信息、步骤1.5)获取的被测软件网络流量信息、步骤1.7)获取的被测软件的资源占有率信息，确定系统资源情况与被测软件的性能损耗信息；

步骤2.7)当测试环境出现软硬件故障而发生宕机时，通过步骤1.8)生成的内存转储文件恢复测试环境；

步骤2.8)对以上每个测试环境的测试结果进行横向对比分析，综合判定被测软件是否存在异常行为以及被测软件的性能损耗情况；最后，按照测评标准综合评估被测软件，生成被测软件测评报告。

Images