CN113326513B - 应用测试方法和装置、系统、电子设备、计算机可读介质 - Google Patents

Abstract

本公开提供了一种应用测试方法和装置，涉及信息安全、应用测试等技术领域。具体实现方案为：接收待测应用的安装包和安装包的信息；响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；接收终端对待测应用的测试结果。本公开提高了应用测试的准确性。

Description

应用测试方法和装置、系统、电子设备、计算机可读介质

技术领域

本公开涉及计算机技术领域，具体涉及信息安全、应用测试等技术领域，尤其涉及一种应用测试方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。

背景技术

终端上不同运行环境下的应用面临各种各样的安全问题，如自身代码缺陷、数据存储安全、网络通信安全、缺乏恶意攻击防范能力等，依赖人工难以高效的发现各种安全问题。

发明内容

提供了一种应用测试方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。

根据第一方面，提供了一种应用测试方法，该方法包括：接收待测应用的安装包和安装包的信息；响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；接收终端对待测应用的测试结果。

根据第二方面，提供了一种应用测试方法，该方法包括：在硬件虚拟运行环境下安装待测应用的安装包；基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用；接收测试任务代码；基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。

根据第三方面，提供了一种应用测试装置，该装置包括：接收单元，被配置成接收待测应用的安装包和安装包的信息；安装单元，被配置成响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；启动单元，被配置成在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；测试单元，被配置成基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；得到单元，被配置成接收终端对待测应用的测试结果。

根据第四方面，又提供了一种应用测试装置，该装置包括：安装单元，被配置成在硬件虚拟运行环境下安装待测应用的安装包；启动单元，被配置成基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用；代码接收单元，被配置成接收测试任务代码；测试单元，被配置成基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。

根据第五方面，提供了一种应用测试系统，该系统包括：服务器和至少一个分别与服务器通信连接的终端；服务器接收待测应用的安装包和安装包的信息；响应于检测到终端中有空闲的终端，控制该终端在硬件虚拟运行环境下安装待测应用的安装包；在安装包安装完成后，控制该终端在硬件虚拟运行环境下启动待测应用；基于预设的测试任务和安装包的信息，生成测试任务代码并下发至该终端；该终端采用测试任务代码对待测应用进行测试，并向服务器发送待测应用的测试结果。

根据第六方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。

根据第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。

根据第八方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。

本公开的实施例提供的应用测试方法和装置，首先，接收待测应用的安装包和安装包的信息；其次，响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；再次，在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；从次，基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；最后，接收终端对待测应用的测试结果。由此，在终端采用硬件虚拟化技术，使待测应用动态运行在终端的硬件虚拟运行环境下，降低了维护成本，增加了可扩展性，兼容性好；针对每个待测应用，通过对硬件虚拟运行环境下的该待测应用的任务测试，可以获取该待测应用真实的运行数据，提高了测试结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开应用测试方法的一个实施例的流程图；

图2是根据本公开应用测试方法的另一个实施例的流程图；

图3是根据本公开应用测试装置的一个实施例的结构示意图；

图4是根据本公开应用测试装置的另一个实施例的结构示意图；

图5是根据本公开应用测试系统的实施例的结构示意图；

图6是用来实现本公开实施例的应用测试方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本公开应用测试方法的一个实施例的流程100，上述应用测试方法包括以下步骤：

步骤101，接收待测应用的安装包和安装包的信息。

本实施例中，待测应用的安装包和安装包的信息可以是应用测试方法运行于其上的执行主体通过多种方式接收得到的信息，例如，与客户终端通信，接收的客户终端实时发送的待测应用的安装包和安装包的信息。再如，在预设的数据库存储有至少一个待测应用的信息，该待测应用的信息可以包括：待测应用的安装和安装包的信息。当应用测试方法运行于其上的执行主体需要对某个待测应用进行测试时，从数据库中获取该待测应用的安装包和安装包的信息。

本实施例中，待测应用的安装包具有待测应用安装的所有文件，运行待测应用的安装包，可以将此应用的所有文件释放到硬盘上，完成修改注册表、修改系统设置、创建快捷方式等工作。

本实施例中，安装包的信息可以包括组件名、组件的驻留位置及其类型等信息。需要说明的是，通过安装包的信息可以确定待测应用的基本信息(例如，待测应用的类型、版本等)，通过待测应用的基本信息可以生成对待测应用的测试任务代码。

步骤102，响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包。

本实施例中，应用测试方法运行于其上的执行主体可以与多个终端进行通信，在多个终端中有空闲终端时，控制该空闲的终端在硬件虚拟运行环境下安装待测应用的安装包。

本实施例中，应用测试方法运行于其上的执行主体主要负责对上述多个终端进行认证、管理；解析用户上传的待测应用的安装包，获取安装包名称、组件名称等安装包的信息；基于安装包和安装包的信息，生成测试任务代码(攻击载荷或shell命令)；调度检测客户端，向当前可用的、空闲的终端下发具体的测试指令(应用运行指令、应用重启指令等)和测试任务代码，终端收到测试指令和测试任务代码后执行，执行测试指令和测试任务代码，并在执行完成后，将测试结果发送到该执行主体。

本实施例中，测试指令是向终端或终端中的检测应用发送的、使终端或终端中的检测应用控制待测应用启动、运行、监控等指令(控制待测应用自身的指令)。而测试任务代码是向终端或终端中的检测应用发送的、使终端或终端中的检测应用执行与测试任务相关的任务代码。

本实施例中，终端上设置有检测应用，检测应用可以为终端上的常规应用，其负责与应用测试方法运行于其上的执行主体通信，获取该执行主体下发的安装应用指令，基于该安装应用指令，在硬件虚拟运行环境下通过安装待测应用的安装包安装待测应用。

本实施例中，硬件虚拟运行环境是基于硬件虚拟化技术生成的虚拟运行环境。硬件虚拟化技术是一种对计算机或操作系统进行虚拟的技术。硬件虚拟化技术对用户隐藏了真实的计算机硬件，表现出另一个抽象计算平台。

本实施例中，终端可以预先安装有待测应用的硬件虚拟运行环境。

可选地，终端还可以基于应用测试方法运行于其上的执行主体发送的虚拟环境安装信息安装并运行硬件虚拟运行环境。不同的待测应用可以运行于不同操作系统的硬件虚拟运行环境中，例如，安卓操作系统的硬件虚拟运行环境，基于硬件虚拟化技术的安卓操作系统的硬件虚拟运行环境负责运行待测应用，采集待测应用运行实时数据，具备如下功能：

1)兼容32位/64位待测应用，同时支持x86/arm架构；

2)支持弹性扩容，可以实时创建、销毁、还原运行环境实例；

3)具备web管理端，可以通过web网页操作运行环境；

4)内置钩子框架，能监控任意待测应用的任意方法；

上述基于硬件虚拟化技术的安卓操作系统的硬件虚拟运行环境，支持弹性扩容，安全稳定。相较于真机测试方案，具有扩展性好且维护成本低的优势；相较于模拟器检测方案，兼容性更好，并且能有效解决部分应用的模拟器对抗措施。

本实施例中，终端在硬件虚拟运行环境安装完成待测应用的安装包之后，向执行主体发送安装完成信息，保留或删除待测应用的安装包。需要说明的是，当终端在安装完成待测应用的安装包之后，保留该安装包可以在待测应用运行出现问题之后，重新打开安装包进行安装。

步骤103，在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用。

本实施例中，终端上的检测应用与应用测试方法运行于其上的执行主体通信，获取该执行主体下发的应用运行指令，基于该应用运行指令，在硬件虚拟运行环境下启动待测应用。

可选地，检测应用还可以接收执行主体下发的应用重启指令、应用关闭指令，以在硬件虚拟运行环境下重启、关闭待测应用。

步骤104，基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试。

本实施例中，应用测试方法运行于其上的执行主体还可以根据测试任务，向终端下发测试任务代码，上述检测应用在接收该测试任务代码之后，在硬件虚拟运行环境中向待测应用执行测试任务代码，以测试待测应用的性能。

具体地，执行主体的测试任务不同，测试任务代码的内容不同；通过安装包的信息可以确定待测应用的基本信息(例如，待测应用的类型、版本、待测应用适用的代码类型等)，通过待测应用的基本信息可以生成对应待测应用的测试任务代码。

作为一个示例，测试任务为点击待测应用，测试任务代码为点击待测应用代码，则检测应用可以根据执行主体下发的该点击待测应用代码，模拟点击被测应用，并采集待测应用的运行状态。再如另一个示例，测试任务为监控待测应用，测试任务代码为控制终端监控待测应用的代码，则检测应用可以根据执行主体下发的该监控待测应用的代码，向待测应用中注入监控进程，并采集待测应用的运行状态。

可选地，测试任务还可以是进行文件传输，测试任务代码为向待测应用传输的传输文件代码，则检测应用可以根据执行主体下发的该传输文件代码，向待测应用发送传输文件，并接收待测应用传输成功或不成功的信息。

作为一个示例，测试任务代码一种表现形式可以是Shell命令，Shell命令遵循一定的语法将执行主体输入的命令加以解释并传给终端。它为执行主体提供了一个向Linux发送请求以便运行程序的接口系统级程序。

步骤105，接收终端对待测应用的测试结果。

本实施例中，测试结果与测试任务或测试任务代码相对应，不同的测试任务生成不同的测试结果，例如，测试任务代码为向待测应用传输的传输文件代码，则对应的待测应用的测试结果包括：文件传输成功、文件传输失败、文件传输停止等等结果。

本公开的实施例提供的应用测试方法，首先，接收待测应用的安装包和安装包的信息；其次，响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；再次，在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；从次，基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；最后，接收终端对待测应用的测试结果。由此，在终端采用硬件虚拟化技术，使待测应用动态运行在终端的硬件虚拟运行环境下，降低了维护成本，增加了可扩展性，兼容性好；针对每个待测应用，通过对硬件虚拟运行环境下的该待测应用的任务测试，可以获取该待测应用真实的运行数据，提高了测试结果的准确性。

在本实施例的一些可选实现方式中，上述基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端包括：响应于确定测试任务中具有应用防范测试任务，基于安装包信息，生成与待测应用对应的反防御代码；将反防御代码下发给终端。

本实施例中，与待测应用对应的反防御代码是一种攻击载荷(payload)，攻击载荷是系统被攻陷后执行的操作，通常攻击载荷附加于漏洞攻击模块之上，随漏洞攻击一起分发。本实施例中，待测应用对应的反防御代码可以包括：注入不必要代码、转储内存信息、破解签名校验等，其中，不必要代码是指没有作用却会带来危险的代码；转储内存信息是在应用死机后且在重新启动系统之前要把内存中的一片0、1“卸出”保存起来，以便分析引起死机的原因。

本实施例中，应用测试方法运行于其上的执行主体根据待测应用的安装包的信息，确定待测应用的基本信息，并基于待测应用的基本信息，生成针对各种待测应用功能的攻击载荷，然后下发终端对待测应用进行实际执行，整个过程还原了真实的攻击场景，能有效的检测待测应用对恶意攻击的防范能力。

在本实施例的一些可选实现方式中，在控制终端在硬件虚拟运行环境下安装待测应用的安装包之前，上述应用测试方法还包括：基于安装包的信息，控制终端运行与待测应用相适配的硬件虚拟运行环境；向终端发送安装包。

本可选实现方式中，上述基于安装包的信息，控制终端运行与待测应用相适配的硬件虚拟运行环境包括：在控制终端在硬件虚拟运行环境下安装待测应用的安装包之前，基于安装包的信息，确定待测应用的基本信息；基于待测应用的基本信息，确定与待测应用相适配的硬件虚拟运行环境，运行与待测应用相适配的硬件虚拟运行环境。

本可选实现方式中，在终端空闲时，基于安装包的信息，确定与待测应用相适配的硬件虚拟运行环境，及时在终端中运行该硬件虚拟运行环境，为待测应用的测试提供了可靠的基础。

在本实施例的一些可选实现方式中，上述应用测试方法还包括：向终端下发监控指令，以使终端监控待测应用的运行状态。

本可选实现方式中，通过向终端下发监控指令，可以通过终端上的检测应用实时监控待测应用的运行状态，从而为全程监测待测应用的运行提供了可靠依据。

在本实施例的一些可选实现方式中，测试结果包括：待测应用进行防御时的运行指标，上述应用测试方法还包括：基于待测应用进行防御时的运行指标，检测待测应用是否防御成功；响应于待测应用防御成功，确定待测应用的安全性能达到要求。

本可选实现方式中，执行主体根据安装包的信息和攻击任务，生成反防御代码，下发到终端，终端上的检测应用执行该反防御代码，并监控待测应用的进行防御时的运行状态，执行主体根据待测应用进行防御时的各种运行指标，判断攻击任务是否成功；在待测应用防御成功时，确定待测应用的安全性能达到要求，从而确定待测应用具备对恶意攻击的防范能力。在待测应用未防御成功时，确定待测应用的安全性能未达到要求，从而确定待测应用不具备对攻击的防范能力。

本可选实现方式中，通过分析待测应用进行防御时的运行指标，检测待测应用是否防御成功，以检测待测应用的安全性能是否达到要求，为衡量待测应用的安全性能提供了可靠依据。

可选地，测试结果还可以包括：待测应用启动后的运行指标、待测应用重启后的运行指标、待测应用运行时的运行指标；上述应用测试方法还包括：响应于确定测试结果包括：待测应用启动后的运行指标，检测待测应用是否正常启动；响应于待测应用正常启动，基于待测应用运行时的运行指标，检测待测应用是否运行正常；当待测应用运行不正常时，向终端发送应用重启指令；并在测试结果包括：待测应用重启后的运行指标时，基于待测应用重启后的运行指标，确定待测应用是否重启正常。

图2示出了根据应用测试方法的另一个实施例的流程图200，上述应用测试方法包括以下步骤：

步骤201，在硬件虚拟运行环境下安装待测应用的安装包。

本实施例中，待测应用的安装包可以是应用测试方法运行与其上的执行主体通过多种方式接收得到的安装包，例如，与服务器通信，接收服务器实时发送的待测应用的安装包。再如，在预设的数据库存储有待测应用的安装。当服务器需要对某个待测应用进行测试时，执行主体从数据库中获取该待测应用的安装包。

可选地，上述应用测试方法还包括：接收服务器下发的安装应用指令，基于该安装应用指令，在硬件虚拟运行环境下安装得到的待测应用的安装包。

本实施例中，硬件虚拟运行环境是基于硬件虚拟化技术生成的虚拟运行环境。硬件虚拟化技术是一种对计算机或操作系统进行虚拟的技术。硬件虚拟化技术对用户隐藏了真实的计算机硬件，表现出另一个抽象计算平台。

本实施例中，执行主体可以预先安装有待测应用的硬件虚拟运行环境，或者终端基于应用测试方法运行于其上的执行主体发送的虚拟环境安装信息安装并运行硬件虚拟运行环境。

在本实施例的一些可选实现方式中，在在硬件虚拟运行环境下安装待测应用的安装包之前，上述应用测试方法还包括：接收虚拟环境安装信息；基于虚拟环境安装信息，安装并运行硬件虚拟运行环境。

本可选实现方式中，虚拟环境安装信息可以是由服务器向执行主体发送的与硬件虚拟运行环境相关的信息，通过服务器向空闲的终端发送虚拟环境安装信息，可以使该终端快速、便捷地确定待测应用运行的硬件虚拟运行环境。

步骤202，基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用。

本实施例中，应用运行指令是控制待测应用在硬件虚拟运行环境中开启的指令，通过应用运行指令，确定可以开启待测应用。

本实施例中，应用测试方法运行于其上的执行主体上设置有检测应用，检测应用可以为常规应用，其负责与服务器通行，接收服务器下发的应用运行指令，基于该应用运行指令，在硬件虚拟运行环境下启动待测应用。

步骤203，接收测试任务代码。

本实施例中，应用测试方法运行于其上的执行主体可以与服务器实时通信，获取服务器下发的测试任务代码，该检测应用可以根据测试任务代码重启、关闭、监控待测应用。

本实施例中，检测应用还可以根据服务器下发的测试任务代码(shell命令，攻击载荷等)模拟点击被测应用，向被测应用注入进程被测应用，与检测服务器进行文件传输，执行检测服务器下发的shell命令，执行检测服务器下发的攻击载荷等。

步骤204，基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。

本实施例中，测试任务代码由服务器的测试任务确定，当测试任务不同时，测试任务代码不同，对待测应用进行的测试不同，得到的测试结果也不同。例如，测试任务代码为向待测应用传输的传输文件代码，则对应的待测应用的测试结果包括：文件传输成功、文件传输失败、文件传输停止等等结果。

在本实施例的一些可选实现方式中，上述基于测试任务代码，对待测应用进行测试，得到并发送测试结果，包括：响应于确定测试任务代码中具有反防御代码，对待测应用执行反防御代码；实时监控并发送待测应用进行防御时的运行指标。

本可选实现方式中，待测应用进行防御时的运行指标属于一种终端对待测应用进行测试的测试结果，通过待测应用功能进行防御时的运行指标可以检测待测应用是否具备对攻击的防范能力。

本可选实现方式中，通过得到的待测应用进行防御时的运行指标，检测待测应用是否防御成功，以检测待测应用的安全性能是否达到要求，为衡量待测应用的安全性能提供了可靠依据。

本实施例中，安装包可以是由服务器下发给执行主体，执行主体还可以在安装包中安装监控代码，以实现对待测应用的监控。

在本实施例的一些可选实现方式中，上述应用测试方法还包括：接收监控指令；基于监控指令，实时监控待测应用的运行状态；将运行状态添加到测试结果中。

本可选实现方式中，通过向终端下发监控指令，可以通过终端上的检测应用实时监控待测应用的运行状态，从而为全程监测待测应用的运行提供了可靠依据。

可选地，在硬件虚拟运行环境下安装待测应用的安装包之前，上述应用测试还包括：接收监控指令和待测应用的安装包；基于监控指令，在安装包中插入监控代码；在硬件虚拟运行环境下安装待测应用的安装包之后，基于监控代码，实时接收安装包的运行状态；将运行状态添加到测试结果中。

本实施例的可选实现方式中，同时接收监控指令和待测应用的安装包，在安装包中插入监控代码，实现对安装包监控，为全面监控待测应用提供了可靠基础。

本公开的实施例提供的应用测试方法，首先，在硬件虚拟运行环境下安装待测应用的安装包；其次，基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用；再次，接收测试任务代码；最后，基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。由此，采用硬件虚拟化技术，使待测应用运行在终端的硬件虚拟运行环境下，降低了维护成本，增加了可扩展性，兼容性好；针对每个待测应用，通过对硬件虚拟运行环境下的该待测应用的任务测试，可以获取该待测应用真实的运行数据，提高了测试结果的准确性。

进一步参考图3，作为对上述各图所示方法的实现，本公开提供了应用测试装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图3所示，本实施例提供的应用测试装置300包括：接收单元301，安装单元302，启动单元303，测试单元304，得到单元305。其中，上述接收单元301，可以被配置成被配置成接收待测应用的安装包和安装包的信息。上述安装单元302，可以被配置成响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包。上述启动单元303，可以被配置成在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用。上述测试单元304，可以被配置成基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试。上述得到单元305，可以被配置成接收终端对待测应用的测试结果。

在本实施例中，应用测试装置300中：接收单元301，安装单元302，启动单元303，测试单元304，得到单元305的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述测试单元304包括：生成模块(图中未示出)，下发模块(图中未示出)。其中，上述生成模块，可以被配置成响应于确定测试任务中具有应用防范测试任务，基于安装包信息，生成与待测应用对应的反防御代码。上述下发模块，被配置成将反防御代码下发给终端。

在本实施例的一些可选的实现方式中，上述装置300还包括：运行单元(图中未示出)，发送单元(图中未示出)。其中，上述运行单元，被配置成基于安装包的信息，控制终端运行与待测应用相适配的硬件虚拟运行环境。上述发送单元，被配置成向终端发送安装包。

在本实施例的一些可选的实现方式中，上述装置300还包括：监控单元(图中未示出)。上述监控单元，可以被配置成向终端下发监控指令，以使终端监控待测应用的运行状态。

在本实施例的一些可选的实现方式中，上述测试结果包括：待测应用进行防御时的运行指标，上述装置300还包括：检测单元(图中未示出)，确定单元(图中未示出)。其中，上述检测单元，可以被配置成基于待测应用进行防御时的运行指标，检测待测应用是否防御成功。上述确定单元，可以被配置成响应于待测应用防御成功，确定待测应用的安全性能达到要求。

本公开的实施例提供的应用测试装置，首先，接收单元301接收待测应用的安装包和安装包的信息；其次，安装单元302响应于检测到有空闲的终端，控制终端在硬件虚拟运行环境下安装待测应用的安装包；再次，启动单元303在安装包安装完成后，控制终端在硬件虚拟运行环境下启动待测应用；从次，测试单元304基于预设的测试任务和安装包的信息，生成测试任务代码并下发至终端，以使终端采用测试任务代码对待测应用进行测试；最后，得到单元305接收终端对待测应用的测试结果。由此，在终端采用硬件虚拟化技术，使待测应用运行在终端的硬件虚拟运行环境下，降低了维护成本，增加了可扩展性，兼容性好；针对每个待测应用，通过对硬件虚拟运行环境下的该待测应用的任务测试，可以获取该待测应用真实的运行数据，提高了测试结果的准确性。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了应用测试装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图4所示，本实施例提供的应用测试装置400包括：安装单元401，启动单元402，代码接收单元403，测试单元404。其中，上述安装单元401，可以被配置成在硬件虚拟运行环境下安装待测应用的安装包。上述启动单元402，可以被配置成基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用。上述代码接收单元403，可以被配置成接收测试任务代码。上述测试单元404，可以被配置成基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。

在本实施例中，应用测试装置400中：安装单元401，启动单元402，代码接收单元403，测试单元404的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述测试单元404包括：执行模块(图中未示出)，监控模块(图中未示出)。其中，上述执行模块，被配置成在有效语句中确定与候选实体对应的候选语句。上述构造模块，被配置成响应于确定测试任务代码中具有反防御代码，对待测应用执行反防御代码。上述监控模块，被配置成实时监控并发送待测应用进行防御时的运行指标。

在本实施例的一些可选的实现方式中，上述装置400还包括：信息接收单元(图中未示出)，运行单元(图中未示出)。其中，上述信息接收单元，被配置成接收虚拟环境安装信息。上述运行单元，被配置成基于虚拟环境安装信息，安装并运行硬件虚拟运行环境。

在本实施例的一些可选的实现方式中，上述装置400还包括：指令接收单元(图中未示出)，监控单元(图中未示出)，添加单元(图中未示出)。其中，上述指令接收单元，被配置成接收监控指令。上述监控单元，被配置成基于监控指令，实时监控待测应用的运行状态。上述添加单元，被配置成将运行状态添加到测试结果中。

本公开的实施例提供的应用测试装置，首先，安装单元401在硬件虚拟运行环境下安装待测应用的安装包；其次，启动单元402基于接收的应用运行指令，在硬件虚拟运行环境下启动待测应用；再次，代码接收单元403接收测试任务代码；最后，测试单元404基于测试任务代码，在硬件虚拟运行环境下对待测应用进行测试，得到并发送测试结果。由此，采用硬件虚拟化技术，使待测应用运行在终端的硬件虚拟运行环境下，降低了维护成本，增加了可扩展性，兼容性好；针对每个待测应用，通过对硬件虚拟运行环境下的该待测应用的任务测试，可以获取该待测应用真实的运行数据，提高了测试结果的准确性。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了应用测试系统的一个实施例，该装置实施例与图1所示的方法实施例相对应。

如图5所示，本实施例提供的应用测试系统500包括：服务器501和至少一个分别与服务器通信连接的终端501。其中，上述服务器501，用于接收待测应用的安装包和安装包的信息；响应于检测到终端502中有空闲的终端，控制该终端502在硬件虚拟运行环境下安装待测应用的安装包；在安装包安装完成后，控制该终端502在硬件虚拟运行环境下启动待测应用；基于预设的测试任务和安装包的信息，生成测试任务代码并下发至该终端502。

该终端502采用测试任务代码对待测应用进行测试，并向服务器501发送待测应用的测试结果。

本实施例中，用户在客户管理端上传待测应用安装包，选择并执行测试任务；服务器501调度当前空闲的可用的终端501，下发待测应用的安装包到该终端501。

服务器501向终端502下发测试指令(例如，应用安装指令、应用运行指令、监控指令等)，终端502收到测试指令后执行该测试指令；(检测前的环境准备)服务器501根据测试任务，下发测试任务代码到终端502，终端502收到测试任务代码后执行(执行具体的测试任务)；服务器501根据终端502返回的测试结果，汇总测试结果，输出检测报告。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如应用测试方法。例如，在一些实施例中，应用测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的应用测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行应用测试方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程应用测试装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种应用测试方法，包括：

接收待测应用的安装包和所述安装包的信息；

响应于检测到有空闲的终端，基于所述安装包的信息，确定所述待测应用的基本信息；基于所述待测应用的基本信息，确定与所述待测应用相适配的硬件虚拟运行环境，控制所述终端运行所述硬件虚拟运行环境，向所述终端发送安装包，并控制所述终端在硬件虚拟运行环境下安装所述安装包；

在所述安装包安装完成后，控制所述终端在所述硬件虚拟运行环境下启动所述待测应用；

基于预设的测试任务和所述安装包的信息，通过所述待测应用的基本信息生成测试任务代码并下发至所述终端，以使所述终端采用所述测试任务代码对所述待测应用进行测试；

接收所述终端对所述待测应用的测试结果。

2.根据权利要求1所述的方法，其中，所述基于预设的测试任务和所述安装包的信息，生成测试任务代码并下发至所述终端包括：

响应于确定所述测试任务中具有应用防范测试任务，基于所述安装包信息，生成与所述待测应用对应的反防御代码；

将所述反防御代码下发给所述终端。

3.根据权利要求1所述的方法，还包括：

向所述终端下发监控指令，以使所述终端监控所述待测应用的运行状态。

4.根据权利要求1-3之一所述的方法，其中，所述测试结果包括：所述待测应用进行防御时的运行指标，所述方法还包括：

基于所述待测应用进行防御时的运行指标，检测所述待测应用是否防御成功；

响应于所述待测应用防御成功，确定所述待测应用的安全性能达到要求。

5.一种应用测试方法，包括：

接收虚拟环境安装信息；

基于所述虚拟环境安装信息，安装并运行硬件虚拟运行环境；

接收待测应用的安装包，并在所述硬件虚拟运行环境下安装所述安装包；

基于接收的应用运行指令，在所述硬件虚拟运行环境下启动所述待测应用；

接收测试任务代码，所述测试任务代码是基于所述待测应用的基本信息生成的，所述待测应用的基本信息由预设的测试任务和所述安装包的信息确定；

基于所述测试任务代码，在所述硬件虚拟运行环境下对所述待测应用进行测试，得到并发送测试结果。

6.根据权利要求5所述的方法，其中，所述基于所述测试任务代码，对所述待测应用进行测试，得到并发送测试结果，包括：

响应于确定所述测试任务代码中具有反防御代码，对所述待测应用执行所述反防御代码；

实时监控并发送所述待测应用进行防御时的运行指标。

7.根据权利要求5所述的方法，还包括：

接收监控指令；

基于所述监控指令，实时监控所述待测应用的运行状态；

将所述运行状态添加到所述测试结果中。

8.一种应用测试装置，包括：

接收单元，被配置成接收待测应用的安装包和所述安装包的信息；

运行单元，被配置成响应于检测到有空闲的终端，基于所述安装包的信息，确定所述待测应用的基本信息；基于所述待测应用的基本信息，确定与所述待测应用相适配的硬件虚拟运行环境，控制所述终端运行所述硬件虚拟运行环境；

发送单元，被配置成向所述终端发送所述安装包；

安装单元，被配置成控制所述终端在硬件虚拟运行环境下安装所述安装包；

启动单元，被配置成在所述安装包安装完成后，控制所述终端在所述硬件虚拟运行环境下启动所述待测应用；

测试单元，被配置成基于预设的测试任务和所述安装包的信息，通过所述待测应用的基本信息生成测试任务代码并下发至所述终端，以使所述终端采用所述测试任务代码对所述待测应用进行测试；

得到单元，被配置成接收所述终端对所述待测应用的测试结果。

9.根据权利要求8所述的装置，所述测试单元包括：

生成模块，被配置成响应于确定所述测试任务中具有应用防范测试任务，基于所述安装包信息，生成与所述待测应用对应的反防御代码；

下发模块，被配置成将所述反防御代码下发给所述终端。

10.根据权利要求8所述的装置，还包括：

监控单元，被配置成向所述终端下发监控指令，以使所述终端监控所述待测应用的运行状态。

11.根据权利要求8-10之一所述的装置，其中，所述测试结果包括：所述待测应用进行防御时的运行指标，所述装置还包括：

检测单元，被配置成基于所述待测应用进行防御时的运行指标，检测所述待测应用是否防御成功；

确定单元，被配置成响应于所述待测应用防御成功，确定所述待测应用的安全性能达到要求。

12.一种应用测试装置，包括：

信息接收单元，被配置成接收虚拟环境安装信息；

运行单元，被配置成基于所述虚拟环境安装信息，安装并运行硬件虚拟运行环境；

安装单元，被配置成接收待测应用的安装包，并在所述硬件虚拟运行环境下安装所述安装包；

启动单元，被配置成基于接收的应用运行指令，在所述硬件虚拟运行环境下启动所述待测应用；

代码接收单元，被配置成接收测试任务代码，所述测试任务代码是基于所述待测应用的基本信息生成的，所述待测应用的基本信息由预设的测试任务和所述安装包的信息确定；

测试单元，被配置成基于所述测试任务代码，在所述硬件虚拟运行环境下对所述待测应用进行测试，得到并发送测试结果。

13.根据权利要求12所述的装置，其中，所述测试单元包括：

执行模块，被配置成响应于确定所述测试任务代码中具有反防御代码，对所述待测应用执行所述反防御代码；

监控模块，被配置成实时监控并发送所述待测应用进行防御时的运行指标。

14.根据权利要求12所述的装置，还包括：

指令接收单元，被配置成接收监控指令；

监控单元，被配置成基于所述监控指令，实时监控所述待测应用的运行状态；

添加单元，被配置成将所述运行状态添加到所述测试结果中。

15.一种应用测试系统，包括：服务器和至少一个分别与所述服务器通信连接的终端；

所述服务器用于接收待测应用的安装包和所述安装包的信息；响应于检测到所述终端中有空闲的终端，基于所述安装包的信息，确定所述待测应用的基本信息；基于所述待测应用的基本信息，确定与所述待测应用相适配的硬件虚拟运行环境，控制所述终端运行所述硬件虚拟运行环境，向所述终端发送安装包，并控制该终端在硬件虚拟运行环境下安装所述安装包；在所述安装包安装完成后，控制该终端在所述硬件虚拟运行环境下启动所述待测应用；基于预设的测试任务和所述安装包的信息，通过所述待测应用的基本信息生成测试任务代码并下发至该终端；

该终端采用所述测试任务代码对所述待测应用进行测试，并向所述服务器发送所述待测应用的测试结果。

16.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

18.一种计算机程序系统，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的方法。

Images