CN106897216A - 测试软件的方法和装置 - Google Patents

Abstract

本发明公开了一种测试软件的方法和装置。其中，该方法包括：在预先配置的环境中执行测试用例得到基准测试结果，其中，预先配置的环境为执行测试用例能够得到正确测试结果的环境；对待测试的软件执行测试用例得到的测试结果；将测试结果与基准测试结果进行比对，得到比对结果；根据比对结果生成测试报告。本发明解决了现有技术中软件测试的效率低、人力资源消耗大的技术问题。

Description

测试软件的方法和装置

技术领域

本发明涉及软件测试领域，具体而言，涉及一种测试软件的方法和装置。

背景技术

随着软件产业的发展，软件产品的质量控制与质量管理正逐渐成为软件企业生存与发展的核心，而对软件产品进行测试是提高软件产品的质量的一个重要环节。回归测试是软件测试的一种，可以用于在对旧代码进行修改后，重新对软件进行测试从而可以确认该修改没有引入新的错误或导致其他代码产生错误。回归测试作为软件生命周期的一个组成部分，在整个软件测试的周期中起着重要的作用。

目前，当对客户端在对用户界面展示的正确性、控件交互的正确性以及向服务端发送请求的正确性等进行测试时，均需要测试人员手工进行测试。尤其当对旧代码进行回归测试时，需要占用大量的人力资源，并且测试效率比较低。

针对上述现有技术中软件测试的效率低、人力资源消耗大的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种测试软件的方法和装置，以至少解决现有技术中软件测试的效率低、人力资源消耗大的技术问题。

根据本发明实施例的一个方面，提供了一种测试软件的方法，包括：在预先配置的环境中执行测试用例得到基准测试结果，其中，预先配置的环境为执行测试用例能够得到正确测试结果的环境；对待测试的软件执行测试用例得到的测试结果；将测试结果与基准测试结果进行比对，得到比对结果；根据比对结果生成测试报告。

根据本发明实施例的另一方面，还提供了一种测试软件的装置，包括：第一执行模块，用于在预先配置的环境中执行测试用例得到基准测试结果，其中，预先配置的环境为执行测试用例能够得到正确测试结果的环境；第二执行模块，用于对待测试的软件执行测试用例得到的测试结果；比对模块，用于将测试结果与基准测试结果进行比对，得到比对结果；生成模块，用于根据比对结果生成测试报告。

在本发明实施例中，采用对测试结果进行比对的方式，通过在预先设置的环境中执行测试用例得到基准测试结果，再对待测试的软件执行测试用例得到测试结果，然后将测试结果与基准测试结果进行比对，得到比对结果，最后根据比对结果生成测试报告，达到了对软件进行自动测试的目的，从而实现了提高软件测试效率以及节省人力资源的技术效果，进而解决了现有技术中软件测试的效率低、人力资源消耗大的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种测试软件的方法流程图；

图2是根据本发明实施例的一种可选的测试软件的方法流程图；

图3是根据本发明实施例的一种可选的登录界面的示意图；

图4是根据本发明实施例的一种可选的测试软件的方法流程图；

图5(a)根据本发明实施例的一种可选的基准测试结果的图像的示意图；

图5(b)是根据本发明实施例的一种可选的测试结果的图像的示意图；

图6是根据本发明实施例的一种可选的测试软件的方法流程图；以及

图7是根据本发明实施例的一种测试软件的装置结构示意图。

其中，上述附图包括以下附图标记：

701、第一执行模块；703、第二执行模块；705、比对模块；707、生成模块。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种测试软件的方法实施例。

图1是根据本发明实施例的测试软件的方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，在预先配置的环境中执行测试用例得到基准测试结果，其中，预先配置的环境为执行测试用例能够得到正确测试结果的环境。

在上述步骤S102所限定的方案中，上述预先配置的环境可以在移动设备上进行配置，例如，手机或笔记本电脑，可以通过在移动设备上安装服务，对移动设备上的测试软件进行调整，并启动服务来配置移动设备的环境。在一种可选的方案中，可以将上述测试用例和基准测试结果存储在文件服务器中，在对同一测试用例进行回归测试的情况下，不需要每次都对该测试用例进行测试得到基准测试结果，可以直接调用该文件服务器中的相关数据，节省了测试人员的测试时间。

需要说明的是，上述基准测试结果为执行测试用例时得到的正确的测试结果，上述基准测试结果可以以图片的形式展示，也可以以文本的形式展示，其中，当以文本的形式展示时，文本中包含执行待测试程序时所产生的数据或数据结果。

通过上述步骤S102可以得到基准测试结果，并以该基准测试结果为基准，对同一测试用例下的测试软件进行测试，可以快速准确的得到测试结果。

步骤S104，对待测试的软件执行测试用例得到的测试结果。

在上述步骤S104所限定的方案中，上述测试用例与在预先配置的环境中执行的测试用例相同，并且该测试用例执行的环境应与预先配置的环境相同。同样，待测试的软件可以安装在移动设备上，并且该待测试的软件安装的移动设备应与步骤S102中安装在移动设备上测试软件的环境相同。

需要说明的是，上述待测试的软件与步骤S102中的测试软件为同一软件，在待测试软件与测试软件的功能完全相同，只是实现该功能的部分后台代码不相同的情况下，可以为该待测试软件进行回归测试。

步骤S106，将测试结果与基准测试结果进行比对，得到比对结果。

在上述步骤S106所限定的方案中，上述测试结果与基准测试结果均可以以图片的形式展示，也可以以文本的形式展示。在测试结果和基准测试结果均以图片的形式展示的情况下，比对结果也以图片的形式展示，并可以通过图片比较服务来比较两张图片是否存在差异；如果两张图片不存在差异，说明测试成功，否则测试失败。在测试结果和基准测试结果均以文本的形式展示的情况下，通过比较两个文本是否相同来确定待测试软件是否测试成功；如果两个文本的内容相同，说明测试成功，否则测试失败。

通过上述步骤S106可以完成软件的自动测试，节省了人力资源，并提高了软件测试的效率。

步骤S108，根据比对结果生成测试报告。

在上述步骤S108所限定的方案中，在比对结果以图片的形式展示并且两张图片存在差异的情况下，通过图片对比服务生成一张标注有差异点的图片，该图片作为比对结果在测试报告中向测试人员展示。

通过上述步骤S108可以直观地将软件测试的结果展示给测试人员，方便测试人员对该测试结果进行分析，并查找测试失败的原因。

基于上述实施例步骤S102至步骤S108所公开的方案中，可以获知通过在预先设置的环境中执行测试用例得到基准测试结果，再对待测试的软件执行测试用例得到测试结果，然后将测试结果与基准测试结果进行比对，得到比对结果，最后根据比对结果生成测试报告，容易注意到的是，由于采用通过测试结果与基准测试结果进行比对的方式来得到测试结果，使得在软件进行测试的过程中有了可参照的标准，因此，通过对比测试结果发现新、旧软件之间的差异，可以更快地发现待测试软件测试失败的原因，因此，通过上述测试软件的方法可以达到对软件进行自动测试的目的，从而可以实现提高软件测试效率以及节省人力资源的技术效果，进而解决现有技术中软件测试的效率低、人力资源消耗大的技术问题。

图2示出了一种可选的测试软件的方法流程图，如图2所示，在基准测试结果和测试结果均包括测试数据的情况下，将测试结果与基准测试结果进行比对，得到比对结果，该方法具体包括如下步骤：

步骤S202，比对测试结果和基准测试结果中的测试数据，得到第一差异值；

步骤S204，判断第一差异值是否大于第一预设阈值；

步骤S206，在第一差异值大于第一预设阈值的情况下，确定测试结果和基准测试结果存在差异。

在上述步骤S202至步骤S206所限定的方案中，上述第一差异值并不是测试结果和基准结果中的测试数据的差值，而是为当测试数据不相同时得到的差异的相对值。在如图3所示的登录界面的示意图中，在测试人员在该登录界面上输入正确的用户名和密码，例如，“用户名”为“张三”，“密码”为“******”，并点击“登录”按钮之后，该待测试的软件会向服务器发送数据，并接收服务器所返回的数据，并向测试人员展示是否登录成功，其中，测试软件向服务器发送的数据和服务器返回的数据均为测试数据。在一种可选的实施例中，测试人员在界面上输入正确的用户名和密码，测试软件向服务器发送的数据为基准测试结果，待测试的软件向服务器发送的数据为测试结果，如果两个测试结果不相同，则预设的第一差异值为5；如果两个测试结果相同，则预设的第一差异值为0。在第一预设阈值为3的情况下，假设两个测试结果不相同，则第一差异值为5，大于第一预设阈值，则测试结果与基准测试结果存在差异，待测试软件测试失败。

图4示出了一种可选的测试软件的方法流程图，如图4所示，在基准测试结果和测试结果均包括测试图像的情况下，将测试结果与基准测试结果进行比对，得到比对结果，该方法具体包括如下步骤：

步骤S302，在预先配置的环境中执行测试用例的运行结果进行录制，并对录制过程中的图像进行保存作为基准测试结果；

步骤S304，对待测试的软件执行测试用例的结果进行录制，并将录制过程中的图像进行保存作为测试结果；

步骤S306，比对测试结果中的图像与基准测试结果中的图像，得到第二差异值；

步骤S308，判断第二差异值是否大于第二预设阈值；

步骤S310，在第二差异值大于第二预设阈值的情况下，确定测试结果与基准测试结果存在差异。

在上述步骤S302至步骤S310所限定的方案中，如果比对测试结果的图像与基准测试结果中的图像不同，第二差异值为大于某一数值的数值，例如，此时的第二差异值为5；如果比对测试结果的图像与基准测试结果中的图像相同，则第二差异值为不大于某一数值的数值。在一种可选的实施例中，上述录制过程中的图像可以保存在文件服务器上，在对测试结果中的图像与基准测试结果中的图像进行比对时，从文件服务器上获取相应的测试用例下的基准测试结果中的图像，然后通过测试系统中的图片比较服务对图像进行对比，得到第二差异值。例如，如图5(a)和图5(b)所示的基准测试结果的图像和测试结果的图像，其中，图5(a)为基准测试结果中的图像，图5(b)为测试结果中的图像，图中的黑点表示订单确认，白点表示取消订单。由图5(a)和图5(b)可知，两个测试结果存在差异，此时第二差异值设为5，第二预设阈值为3，第二差异值大于第二预设阈值，测试结果与基准测试结果间存在差异，说明待测试软件测试失败。

图6示出了一种可选的测试软件的方法流程图，如图6所示，该方法包括如下步骤：

步骤S402，通过预先配置的接口接收用户输入的测试用例；

步骤S404，保存测试用例。

在上述步骤S402至步骤S404限定的方案中，上述预先配置的接口可以为USB接口，测试人员可使用该接口来编写测试用例。在测试人员编写完测试用例之后，保存该测试用例，当对待测试的软件进行测试时可以直接调用该测试用例，从而减少了测试人员的工作量。通过上述步骤可以是测试人员更方便的编写或修改测试用例，提高了测试人员的工作效率。

此外，在执行测试用例在待测试的软件需要与服务器进行交互的情况下，还可以更改待测试的软件中的用于连接服务器的地址，使待测试的软件连接到模拟服务器，其中，模拟服务器用于模拟服务器与待测试的软件进行数据交互，模拟服务器中的数据来自于在预先配置的环境中执行测试用例时保存的数据。

需要说明的是，上述模拟服务器是根据待测试的软件搭建的服务器，并且模拟服务器可以将预先配置的环境中执行测试用例时保存的数据全部返回给待测试的软件，其中，在预先配置的环境中执行测试用例时保存的数据全部保存在文件服务器中。

实施例2

根据本发明实施例，提供了一种测试软件的装置实施例，其中，上述实施例1中的方法可以在本实施例中所提供的装置中运行。

图7是根据本发明实施例的一种测试软件的装置结构示意图，如图7所示，该装置包括：第一执行模块701、第二执行模块703、比对模块705和生成模块707。

第一执行模块701，用于在预先配置的环境中执行测试用例得到基准测试结果，其中，预先配置的环境为执行测试用例能够得到正确测试结果的环境。

在上述第一执行模块中，上述预先配置的环境可以在移动设备上进行配置，例如，手机或笔记本电脑，可以通过在移动设备上安装服务，对移动设备上的测试软件进行调整，并启动服务来配置移动设备的环境。在一种可选的方案中，可以将上述测试用例和基准测试结果存入文件服务器中，在对同一测试用例进行回归测试的情况下，不需要每次都对该测试用例进行测试得到基准测试结果，可以直接调用该文件服务器中的相关数据，节省了测试人员的测试时间。

需要说明的是，上述基准测试结果为执行测试用例时得到的正确的测试结果，上述基准测试结果可以以图片的形式展示，也可以以文本的形式展示，其中，当以文本的形式展示时，文本中包含执行待测试程序时所产生的数据或数据结果。

通过上述第一执行模块可以得到基准测试结果，并以该基准测试结果为基准，对同一测试用例下的测试软件进行测试，可以快速准确的得到测试结果。

第二执行模块703，用于对待测试的软件执行测试用例得到的测试结果。

在上述第二执行模块中，上述测试用例与在预先配置的环境中执行的测试用例相同，并且该测试用例执行的环境应与预先配置的环境相同。同样，待测试的软件可以安装在移动设备上，并且该待测试的软件安装的移动设备应与第一执行模块中安装在移动设备上测试软件的环境相同。

需要说明的是，上述待测试的软件与第一执行模块中的测试软件为同一软件，在待测试软件与测试软件的功能完全相同，只是实现该功能的部分后台代码不相同的情况下，可以为该待测试软件进行回归测试。

比对模块705，用于将测试结果与基准测试结果进行比对，得到比对结果。

在上述比对模块中，上述测试结果与基准测试结果均可以以图片的形式展示，也可以以文本的形式展示。在测试结果和基准测试结果均以图片的形式展示的情况下，比对结果也以图片的形式展示，并可以通过图片比较服务来比较两张图片是否存在差异；如果两张图片不存在差异，说明测试成功，否则测试失败。在测试结果和基准测试结果均以文本的形式展示的情况下，通过比较两个文本是否相同来确定待测试软件是否测试成功；如果两个文本的内容相同，说明测试成功，否则测试失败。

通过上述比对模块可以完成软件的自动测试，节省了人力资源，并提高了软件测试的效率。

生成模块707，用于根据比对结果生成测试报告。

在上述生成模块中，在比对结果以图片的形式展示并且两张图片存在差异的情况下，通过图片对比服务生成一张标注有差异点的图片，该图片作为比对结果在测试报告中向测试人员展示。

通过上述生成模块可以直观地将软件测试的结果展示给测试人员，方便测试人员对该测试结果进行分析，并查找测试失败的原因。

由上可知，通过在预先设置的环境中执行测试用例得到基准测试结果，再对待测试的软件执行测试用例得到测试结果，然后将测试结果与基准测试结果进行比对，得到比对结果，最后根据比对结果生成测试报告，容易注意到的是，由于采用通过测试结果与基准测试结果进行比对的方式来得到测试结果，使得在软件进行测试的过程中有了可参照的标准，因此，通过对比测试结果发现新、旧软件之间的差异，可以更快地发现待测试软件测试失败的原因，因此，通过在上述测试软件的装置中执行实施例1中的测试软件的方法可以达到对软件进行自动测试的目的，从而可以实现提高软件测试效率以及节省人力资源的技术效果，进而解决现有技术中软件测试的效率低、人力资源消耗大的技术问题。

需要说明的是，上述第一执行模块701、第二执行模块703、比对模块705和生成模块707对应于实施例1中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，在基准测试结果和测试结果均包括测试图像的情况下，上述比对模块包括：第一比对模块、第一判断模块和第二判断模块。其中，第一比对模块，用于比对测试结果和基准测试结果中的测试数据，得到第一差异值；判断模块，用于判断第一差异值是否大于第一预设阈值；确定模块，用于在第一差异值大于第一预设阈值的情况下，确定测试结果和基准测试结果存在差异。

在上述比对模块中，上述第一差异值并不是测试结果和基准结果中的测试数据的差值，而是为当测试数据不相同时得到的差异的相对值。在如图3所示的登录界面的示意图中，在测试人员在该登录界面上输入正确的用户名和密码，例如，“用户名”为“张三”，“密码”为“******”，并点击“登录”按钮之后，该待测试的软件会向服务器发送数据，并接收服务器所返回的数据，并向测试人员展示是否登录成功，其中，测试软件向服务器发送的数据和服务器返回的数据均为测试数据。在一种可选的实施例中，测试人员在界面上输入正确的用户名和密码，测试软件向服务器发送的数据为基准测试结果，待测试的软件向服务器发送的数据为测试结果，如果两个测试结果不相同，则预设的第一差异值为5；如果两个测试结果相同，则预设的第一差异值为0。在第一预设阈值为3的情况下，假设两个测试结果不相同，则第一差异值为5，大于第一预设阈值，则测试结果与基准测试结果存在差异，待测试软件测试失败。

需要说明的是，上述第一比对模块、判断模块和确定模块对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，在基准测试结果和测试结果均包括测试图像的情况下，该测试软件的装置还包括：第一录制模块、第二录制模块、第二比对模块、第一判断模块和第二判断模块。其中，第一录制模块，用于在预先配置的环境中执行测试用例的运行结果进行录制，并对录制过程中的图像进行保存作为基准测试结果；第二录制模块，用于对待测试的软件执行测试用例的结果进行录制，并将录制过程中的图像进行保存作为测试结果；第二比对模块，用于比对测试结果中的图像与基准测试结果中的图像，得到第二差异值；第一判断模块，用于判断第二差异值是否大于第二预设阈值；第二判断模块，用于在第二差异值大于第二预设阈值的情况下，确定测试结果与基准测试结果存在差异。

由上可知，如果比对测试结果的图像与基准测试结果中的图像不同，第二差异值为大于某一数值的数值，例如，此时的第二差异值为5；如果比对测试结果的图像与基准测试结果中的图像相同，则第二差异值为不大于某一数值的数值。在一种可选的实施例中，上述录制过程中的图像可以保存在文件服务器上，在对测试结果中的图像与基准测试结果中的图像进行比对时，从文件服务器上获取相应的测试用例下的基准测试结果中的图像，然后通过测试系统中的图片比较服务对图像进行对比，得到第二差异值。例如，如图5(a)和图5(b)所示的基准测试结果的图像和测试结果的图像，其中，图5(a)为基准测试结果中的图像，图5(b)为测试结果中的图像，图中的黑点表示订单确认，白点表示取消订单。由图5(a)和图5(b)可知，两个测试结果存在差异，此时第二差异值设为5，第二预设阈值为3，第二差异值大于第二预设阈值，测试结果与基准测试结果间存在差异，说明待测试软件测试失败。

需要说明的是，上述第一录制模块、第二录制模块、第二比对模块、第三判断模块和第四判断模块对应于实施例1中的步骤S302至步骤S310，五个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，该测试软件的装置还包括：接收模块和保存模块。其中，接收模块，用于通过预先配置的接口接收用户输入的测试用例；保存模块，用于保存测试用例。

在一种可选的实施例中，上述预先配置的接口可以为USB接口，测试人员可使用该接口来编写测试用例。在测试人员编写完测试用例之后，保存该测试用例，当对待测试的软件进行测试时可以直接调用该测试用例，从而减少了测试人员的工作量。通过上述步骤可以是测试人员更方便的编写或修改测试用例，提高了测试人员的工作效率。

需要说明的是，上述接收模块和保存模块对应于实施例1中的步骤S402至步骤S404，两个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，在执行测试用例在待测试的软件需要与服务器进行交互的情况下，该测试软件的装置还包括：更换模块。更换模块，用于更改待测试的软件中的用于连接服务器的地址，使待测试的软件连接到模拟服务器，其中，模拟服务器用于模拟服务器与待测试的软件进行数据交互，模拟服务器中的数据来自于在预先配置的环境中执行测试用例时保存的数据。

需要说明的是，上述模拟服务器是根据待测试的软件搭建的服务器，并且模拟服务器可以将预先配置的环境中执行测试用例时保存的数据全部返回给待测试的软件，其中，在预先配置的环境中执行测试用例时保存的数据全部保存在文件服务器中。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种测试软件的方法，其特征在于，包括：

在预先配置的环境中执行测试用例得到基准测试结果，其中，所述预先配置的环境为执行所述测试用例能够得到正确测试结果的环境；

对待测试的软件执行所述测试用例得到的测试结果；

将所述测试结果与所述基准测试结果进行比对，得到比对结果；

根据所述比对结果生成测试报告。

2.根据权利要求1所述的方法，其特征在于，在所述基准测试结果和所述测试结果均包括测试数据的情况下，将所述测试结果与所述基准测试结果进行比对，得到比对结果包括：

比对所述测试结果和所述基准测试结果中的测试数据，得到第一差异值；

判断所述第一差异值是否大于第一预设阈值；

在所述第一差异值大于所述第一预设阈值的情况下，确定所述测试结果和所述基准测试结果存在差异。

3.根据权利要求1所述的方法，其特征在于，

在所述预先配置的环境中执行所述测试用例的运行结果进行录制，并对录制过程中的图像进行保存作为所述基准测试结果；

对所述待测试的软件执行所述测试用例的结果进行录制，并将录制过程中的图像进行保存作为所述测试结果；

比对所述测试结果中的图像与所述基准测试结果中的图像，得到第二差异值；

判断所述第二差异值是否大于第二预设阈值；

在所述第二差异值大于所述第二预设阈值的情况下，确定所述测试结果与所述基准测试结果存在差异。

4.根据权利要求1所述的方法，其特征在于，在所述预先配置的环境中执行所述测试用例得到所述基准测试结果之前，所述方法还包括：

通过预先配置的接口接收用户输入的所述测试用例；

保存所述测试用例。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在执行所述测试用例在所述待测试的软件需要与服务器进行交互的情况下，所述方法包括：

更改所述待测试的软件中的用于连接所述服务器的地址，使所述待测试的软件连接到模拟服务器，其中，所述模拟服务器用于模拟所述服务器与所述待测试的软件进行数据交互，所述模拟服务器中的数据来自于在所述预先配置的环境中执行所述测试用例时保存的数据。

6.一种测试软件的装置，其特征在于，包括：

第一执行模块，用于在预先配置的环境中执行测试用例得到基准测试结果，其中，所述预先配置的环境为执行所述测试用例能够得到正确测试结果的环境；

第二执行模块，用于对待测试的软件执行所述测试用例得到的测试结果；

比对模块，用于将所述测试结果与所述基准测试结果进行比对，得到比对结果；

生成模块，用于根据所述比对结果生成测试报告。

7.根据权利要求6所述的装置，其特征在于，在所述基准测试结果和所述测试结果均包括测试数据的情况下，所述比对模块包括：

第一比对模块，用于比对所述测试结果和所述基准测试结果中的测试数据，得到第一差异值；

判断模块，用于判断所述第一差异值是否大于第一预设阈值；

确定模块，用于在所述第一差异值大于所述第一预设阈值的情况下，确定所述测试结果和所述基准测试结果存在差异。

8.根据权利要求6所述的装置，其特征在于，

第一录制模块，用于在所述预先配置的环境中执行所述测试用例的运行结果进行录制，并对录制过程中的图像进行保存作为所述基准测试结果；

第二录制模块，用于对所述待测试的软件执行所述测试用例的结果进行录制，并将录制过程中的图像进行保存作为所述测试结果；

第二比对模块，用于比对所述测试结果中的图像与所述基准测试结果中的图像，得到第二差异值；

第一判断模块，用于判断所述第二差异值是否大于第二预设阈值；

第二判断模块，用于在所述第二差异值大于所述第二预设阈值的情况下，确定所述测试结果与所述基准测试结果存在差异。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

接收模块，用于通过预先配置的接口接收用户输入的所述测试用例；

保存模块，用于保存所述测试用例。

10.根据权利要求6至9中任一项所述的装置，其特征在于，在执行所述测试用例在所述待测试的软件需要与服务器进行交互的情况下，所述装置包括：

更换模块，用于更改所述待测试的软件中的用于连接服务器的地址，使所述待测试的软件连接到模拟服务器，其中，所述模拟服务器用于模拟所述服务器与所述待测试的软件进行数据交互，所述模拟服务器中的数据来自于在所述预先配置的环境中执行所述测试用例时保存的数据。