CN114116496A - 自动化测试方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及应用软件测试技术领域，具体公开了一种自动化测试方法、装置、设备及介质，所述自动化测试方法通过对真实输入数据进行分类得到分类结果；获取分类结果对应的用例生成规则参数，以根据用例生成规则参数得到初始测试用例集合；根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；根据待补充测试路得到待执行测试用例集合；执行待执行测试用例集合中的测试用例，得到测试结果。通过对用例测试路径以及预设测试路径进行对比，以检测是否存在遗漏的路径节点，进而可以对初始测试用例集合进行补充完善，得到测试场景覆盖更加全面的待执行测试用例集合。

Description

自动化测试方法、装置、设备及介质

技术领域

本申请涉及应用软件测试技术领域，具体而言，涉及一种自动化测试方法、装置、设备及介质。

背景技术

大数据时代的到来，对社会和人类的发展产生了不容忽视的影响，越来越多的行业向数据驱动转变，数据成为了新的生产力。从衣食住行到娱教医养，数据已经渗透到我们生活和工作的方方面面。依托于大数据发展的机器学习、人工智能等技术的热度更是居高不下。例如符合不同用户习惯的个性化的搜索引擎、为用户提供个性化推荐系统的电商，或者为用户提供个性化推荐系统的听歌应用等。

那么如何对这类软件产品进行测试，以保证软件产品输出数据的准确性，是本领域技术人员需要关注的重点。

发明内容

为解决上述技术问题，本申请的实施例提供了一种自动化测试方法、装置、设备及介质，以对待测试应用程序进行准确且全面的测试。

第一方面，本申请提供一种自动化测试方法，包括：获取真实输入数据并对真实输入数据进行分类，得到分类结果；获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合；根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；执行待执行测试用例集合中的测试用例，得到测试结果。

根据本发明优选实施例，获取分类结果对应的用例生成规则参数，包括：获取分类结果对应的测试目标；根据测试目标获取测试步骤以及与测试步骤关联的执行规则；根据测试步骤以及执行规则得到用例生成规则参数。

根据本发明优选实施例，根据初始测试用例集合获取用例测试路径，包括：获取初始测试用例集合中每个测试用例对应的测试步骤；将每个测试步骤作为路径节点，以根据每个测试步骤之间的执行先后关系连接路径节点，得到每个测试用例对应的用例测试子路径；对用例测试子路径进行聚合，得到用例测试路径。

根据本发明优选实施例，对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径，包括：对用例测试路径包含的路径节点以及预设测试路径包含的路径节点进行对比，得到待遍历路径节点；根据预设测试路径获取与待遍历路径节点关联的预设测试子路径；将预设测试子路径作为待补充测试路径。

根据本发明优选实施例，执行待执行测试用例集合中的测试用例，得到测试结果，包括：根据测试用例对初始测试环境进行配置，得到用例测试环境；在用例测试环境下执行测试用例，得到执行结果；根据执行结果获取数据存储记录；对数据存储记录中的指定字段进行验证，以得到测试结果。

根据本发明优选实施例，执行待执行测试用例集合中的测试用例，得到测试结果，包括：根据测试用例对初始测试环境进行配置，得到用例测试环境；在用例测试环境下执行测试用例，得到执行结果；根据执行结果获取用例执行流程以及接口运行情况；对用例执行流程以及接口运行情况进行验证，以得到测试结果。

根据本发明优选实施例，得到测试结果之后，方法还包括：获取执行测试用例过程中的数据操作行为；根据数据操作行为对用例测试环境进行数据恢复，以将用例测试环境还原为初始测试环境。

第二方面，本申请提供一种自动化测试装置，包括：分类模块，用于获取真实输入数据并对真实输入数据进行分类，得到分类结果；用例生成模块，用于获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合；路径对比模块，用于根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；用例补充模块，用于根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；结果获取模块，用于执行待执行测试用例集合中的测试用例，得到测试结果。

第三方面，本申请提供一种计算机设备，计算机设备包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于执行的计算机程序并在执行的计算机程序时实现上述自动化测试方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时使处理器实现上述自动化测试方法的步骤。

本申请实施例公开的自动化测试方法、装置、设备及介质，通过获取真实输入数据，并对真实输入数据进行分类得到分类结果；获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合；根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；执行待执行测试用例集合中的测试用例，得到测试结果。通过对用例测试路径以及预设测试路径进行对比，以检测是否存在遗漏的路径节点，进而可以对初始测试用例集合进行补充完善，得到测试场景覆盖更加全面的待执行测试用例集合；且通过自动执行测试用例，可以保证测试结果的准确性，提高测试效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例提供的自动化测试方法的应用环境示意图；

图2是本申请实施例提供的自动化测试方法的流程图；

图3是本申请另一实施例提供的自动化测试方法的流程图；

图4是本申请实施例提供的自动化测试装置的示意性框图；

图5是本申请实施例提供的计算机设备的示意性框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图1示出了本申请示例性实施例的运行环境的一种系统架构示意图，参考图1所示，该系统可以包括测试终端110、网络以及服务器120。测试终端110以及服务器120之间通过网络通信连接，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

测试终端110可以是硬件，也可以是软件。当测试终端110为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、智能手环和台式计算机等等。当测试终端110为软件时，可以安装在上述所列举的电子设备中。

服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，本申请实施例提供的自动化测试方法可以使用于自动化测试装置中，该自动化测试装置可以集成在计算机设备中，该计算机设备可以是服务器120也可以是测试终端110。

应该理解，图1中的终端设备和服务器的数目仅仅是示意性的，仅用于理解本申请实施例，具体终端设备和服务器的数量均应当结合实际情况灵活确定。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图2，图2为本申请实施例提供的自动化测试方法的一个流程示意图。如图2所示，该方法包括步骤S210至步骤S250。

步骤S210、获取真实输入数据并对真实输入数据进行分类，得到分类结果。

真实输入数据指的是待测试应用程序在执行业务功能时，该业务功能获取的输入数据，待测试应用程序指的是不同领域中满足用户需求的应用程序，业务功能指的是待测试应用程序需要实现的功效，例如：待测试应用程序中的登录功能、支付功能等，本申请并不对待测试应用程序以及待测试应用程序可以执行的业务功能进行限定。

需要说明的是，本申请提到待测试应用程序指的是可以对大量数据进行分析以及挖掘的应用程序，例如，符合不同用户习惯的个性化的搜索引擎、为用户提供个性化推荐功能的电子商务软件，或者为用户提供个性化推荐系统的听歌软件等。因此，通过伪造数据进行测试的方式并不适用于该类应用程序的测试，而将真实用户的数据作为输入数据对待测试应用程序进行测试，可以保证测试的准确性。

示例性的，待测试应用程序可以为商品推荐应用程序，当需要对商品推荐应用程序的推荐功能进行测试时，推荐功能对应的真实输入数据可以是用户的画像数据，画像数据包括但不限于用户名称、年龄、性别、职业、兴趣标签等数据。其中，在本申请的具体实施方式中，当真实输入数据涉及到用户名称、年龄、性别、职业、兴趣标签等相关的数据时，本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

进一步地，对真实输入数据进行分类，以得到分类结果。可以理解的是，真实输入数据可以对应多个分类结果。

示例性的，可以根据真实输入数据的数据类型的不同，对真实输入数据进行分类，例如，将数据类型为“年龄”的归为一类，数据类型为“性别”的归为一类。也可以根据真实输入数据的具体数据值的不同，对真实输入数据进行分类，例如，数据类型为“兴趣标签”时，将包含有关键词“体育”的真实输入数据归为一类，将包含有关键词“游戏”的真实输入数据归为一类。还可以根据待测试应用程序的待检测功能需要的真实输入数据的不同，对真实输入数据进行分类，例如，当待检测功能为“登录功能”时，将该功能需要的“用户名称”、“用户密码”等真实输入数据归为一类。

可以理解的是，真实输入数据的具体分类方法可以根据实际应用场景进行灵活选择，本申请对此不作限定。

步骤S220、获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合。

用例生成规则参数指的是用于规定如何生成测试用例的数据，可以是规定测试用例执行过程中的测试步骤的数据，也可以是规定每个测试步骤对应的执行方法的数据。

得到真实输入数据的分类结果后，根据分类结果为真实输入数据匹配对应的用例生成规则参数，以根据用例生成规则参数以及该真实输入数据自动生成测试用例，得到测试用例集合。

测试用例是为某个特殊目标而编制的体现对业务功能的测试方案、方法、技术和策略，例如，测试用例中包括但不限于测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等。测试用例用于核实待测试应用程序是否满足某个特定软件需求，可以使用等价类划分法、边界值分析法、因果图、决策表、正交试验、场景法、状态迁移、错误推测法等方法生成测试用例。

在一些实施方式中，获取分类结果对应的用例生成规则参数，包括：获取分类结果对应的测试目标；根据测试目标获取测试步骤以及与测试步骤关联的执行规则；根据测试步骤以及执行规则得到用例生成规则参数。

测试目标指的是需要测试的内容，用于测试某个业务功能是否在待测试应用程序中有所体现。其中，每个分类结果可以对应一个或多个测试目标。例如，对于分类结果为“用户名称”、“用户密码”的真实输入数据，对应的测试目标可以包括“输入已经注册的用户名称和正确的用户密码，验证是否成功登录”以及“输入已经注册的用户名称和错误的用户密码，验证是否生成对应的错误提示”等。对于分类结果为“兴趣标签”的真实输入数据，对应的测试目标可以包括“输入兴趣标签，验证输出的推荐商品是否正确”。

示例性地，分类结果与测试目标之间的匹配关系可以通过查询历史测试用例数据获得。例如，将历史测试用例数据中属于同一分类结果的历史输入数据对应的测试目标，作为该分类结果中其它真实输入数据对应的测试目标。分类结果与测试目标之间的匹配关系还可以根据查询关系表获得，如查询技术人员预先设置的分类结果与测试目标的关系表，得到该分类结果对应的测试目标。可以理解的是，分类结果对应的测试目标的获取方法可以根据实际应用场景灵活选择，本申请对此不作限制。

每个测试目标可以对应不同的用例生成规则参数，用例生成规则参数包括步骤路径以及步骤路径中每个步骤关联的执行规则。步骤路径指的是实现测试目标所需要的步骤以及步骤之间的关系，步骤关联的执行规则指的是执行该步骤时对应的执行逻辑信息。

根据分类结果匹配的测试目标，获取分类结果对应的用例生成规则参数。可以是通过对待测试应用程序的需求文档进行分析，以得到测试目标对应的用例生成规则参数。需求文档包含有对待测试应用程序的业务功能的步骤流程以及各个步骤执行规则等信息的描述，通过对需求文档进行信息提取，得到测试目标对应的用例生成规则参数。

例如，当测试目标为“输入已经注册的用户名称和用户密码，验证是否成功登录”时，通过对测试目标进行关键词提取，可以得到“用户名称”、“用户密码”、“成功”、“登录”等关键词。通过得到的关键词对需求文档进行分析，提取得到的用例生成规则参数中的步骤路径信息可以包括“步骤1：在登录界面的第一输入框中输入用户名称；步骤2，在登录界面的第二输入框中输入用户密码；步骤3：根据输入的用户名称和用户密码对数据库用户注册表进行查询；步骤4：查询成功则跳转到登录成功页面。”。得到的每个步骤关联的执行规则可以包括步骤路径信息中执行步骤3时，查询数据库时用到的具体的查询语句，执行步骤4时，查询成功的具体判断方法等。最后通过步骤路径信息以及每个步骤关联的执行规则等信息，得到用例生成规则参数。

测试目标与用例生成规则参数之间的匹配关系还可以根据查询关系表获得，如查询技术人员预先设置的测试目标与用例生成规则参数的关系表，得到该测试目标对应的用例生成规则参数。可以理解的是，测试目标对应的用例生成规则参数的获取方法可以根据实际应用场景灵活选择，本申请对此不作限制。

得到用例生成规则参数后，根据用例生成规则参数对真实输入数据进行计算，根据计算结果得到测试用例的各项测试内容，以生成该真实输入数据对应的测试用例，进而得到所有真实输入数据对应的初始测试用例集合。

示例性地，可以先根据测试目标以及真实输入数据所属的分类结果等信息，为该真实输入数据匹配对应的测试用例模板。根据测试用例模板获取需要的测试内容，测试内容包括但不限于测试步骤、各接口的真实输入数据、各步骤的预期结果、数据库环境等。然后，根据用例生成规则参数获取各项测试内容对应的具体数据，例如，可以根据用例生成规则参数中的步骤路径获得测试步骤，还可以根据真实输入数据以及各步骤关联的执行规则计算得到各步骤的预期结果，还可以根据测试目标配置对应的数据库环境等信息。

在相关技术中，技术人员一般通过人工对应用程序产品的功能进行理解和梳理，并人工推导出对应用程序产品进行测试的测试用例。该方法效率十分低下，而且存在人为失误导致测试用例遗漏的情况，进而可能导致对软件产品的测试结果可靠性差。因此，通过对真实输入数据进行分析，以基于真实输入数据以及用例生成规则参数自动生成测试用例，可以提高测试用例的生成效率，也可以使测试用例所覆盖的测试场景更加精准且全面。

步骤S230、根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径。

由于初始测试用例集合是基于真实输入数据生成的，若真实输入数据的数据类型不全面，则会导致生成的测试用例所覆盖的测试场景不全面。因此，需要对初始测试用例集合进行检测，以判断该初始测试用例集合是否存在遗漏的测试场景。

用例测试路径用于表征初始测试用例集合中所有测试用例包含的测试步骤的信息。待测试应用程序的预设测试路径用于表征待测试应用程序可以实现的所有业务功能中，每个业务功能包含的所有可执行步骤的信息。

通过对用例测试路径和预设测试路径进行对比，可以得到用例测试路径和预设测试路径之间的差异，即得到待补充测试路径。其中，待补充测试路径指的是用例测试路径中不存在的路径。

在一些实施方式中，根据初始测试用例集合获取用例测试路径，包括：获取初始测试用例集合中每个测试用例对应的测试步骤；将每个测试步骤作为路径节点，以根据每个测试步骤之间的执行先后关系连接路径节点，得到每个测试用例对应的用例测试子路径；对用例测试子路径进行聚合，得到用例测试路径。

每个测试用例均设置有执行该测试用例时对应的测试步骤，将测试用例对应的每个测试步骤作为路径节点。然后根据每个测试步骤之间的执行先后关系将每个路径节点进行连接，以得到该测试用例对应的用例测试子路径。

对所有测试用例的用例测试子路径中的路径节点进行聚合，得到用例测试路径。

示例性地，初始测试用例集合包括第一测试用例以及第二测试用例，根据第一测试用例得到的用例测试子路径包括：路径节点a指向路径节点b指向路径节点c，路径节点a指向路径节点b表征路径节点a对应的测试步骤优先于路径节点b对应的测试步骤。根据第二测试用例得到的用例测试子路径包括：路径节点a指向路径节点b指向路径节点d。然后，将第一测试用例和第二测试用例的用例测试子路径中的路径节点进行聚合，得到用例测试路径包括：路径节点a指向路径节点b，其中，路径节点b同时指向路径节点c以及路径节点d。

在一些实施方式中，对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径，包括：对用例测试路径包含的路径节点以及预设测试路径包含的路径节点进行对比，得到待遍历路径节点；根据预设测试路径获取与待遍历路径节点关联的预设测试子路径；将预设测试子路径作为所述待补充测试路径。

待遍历路径节点指的是未被初始测试用例集合中的测试用例所执行的测试步骤，则表面初始测试用例集合所包含的测试用例并未对待遍历路径节点对应的功能进行测试。

预设测试路径可以根据待测试应用程序的需求报告获得，如对需求报告所包含的所有执行路径进行分析，得到预设测试路径。预设测试路径还可以是技术人员预先设置的信息，以表明待测试应用程序包含的所有执行路径。其中，预设测试路径由预设测试子路径组成，每个预设测试子路径代表一个完整的执行步骤流程，每个预设测试子路径由预设路径节点组成，每个设路径节点设置有对应的步骤信息。

获得待遍历路径节点后，获取该待遍历路径节点所关联的所有预设测试子路径。例如，可以是获取该待遍历路径节点对应的步骤信息，然后根据该步骤信息对需求报告进行匹配，以获取包含有该步骤信息的所有执行路径，进而得到所有预设测试子路径；也可以是根据预设测试路径对该待遍历路径节点进行路径探索，以获取所有预设测试子路径。将预设测试子路径作为待补充测试路径，以根据待补充测试路径生成测试用例。

步骤S240、根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合。

根据待补充测试路径生成测试用例，以将测试用例添加至初始测试用例集合中，进而得到待执行测试用例集合。

示例性地，获取待补充测试路径需要的输入数据，例如，根据需求报告生成该待补充测试路径需要的输入数据。为该待补充测试路径匹配测试目标，一个待补充测试路径可以对应多个测试目标。基于测试目标以及输入数据计算每个测试步骤对应的预期结果，并获取该测试目标对应的测试环境、测试脚本等数据。基于测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等数据，生成测试用例。

将测试用例添加至初始测试用例集合中，以进行测试用例的补充，得到补充后的待执行测试用例集合。

步骤S250、执行待执行测试用例集合中的测试用例，得到测试结果。

得到待执行测试用例集合后，从待执行测试用例集合中选择当前待执行的测试用例，当前待执行的测试用例可以是从待执行测试用例集合中任意选取的一个测试用例；也可以根据实际的需要，选取出优先级较高的测试用例作为当前待执行的测试用例。

示例性地，服务器可以连接多个测试终端，测试终端上运行有待测试应用程序，服务器控制多个测试终端自动执行测试用例，通过同时执行多个测试用例，缩短测试所需要的周期。

待执行测试用例集合中包括的测试用例可以是独立的，也可以是非独立的。独立的测试用例可以不依托于其他测试用例进行测试，非独立的测试用例可以依托于其他测试用例进行测试。非独立的测试用例需要在预置条件达到时、或者处于预置环境中可以执行，预置条件或者预置环境是在其他测试用例执行完毕之后得到的。

服务器可以从待执行测试用例集合中获取多个测试用例和各测试用例分别对应的设备需求条件，然后获取与服务器连接的空闲的测试终端，空闲的测试终端指的是没有执行测试用例的设备。对于每个测试用例，基于获取的空闲的测试终端的属性信息，在空闲的测试终端中，确定属性信息能够满足测试用例对应的设备需求条件的目标测试终端。然后将每个测试用例分别发送给对应的目标测试终端。

通过将不同的测试用例会分配到不同的目标测试终端，不同目标测试终端之间可以并行执行测试用例，以提高测试效率。

示例性地，目标测试终端可以基于unittest框架执行测试用例。例如，将待执行测试用例集合加入unittest框架的用例容器中，以作为测试的入口，然后向用例容器中获取一个测试用例，分析该测试用例以搭建该测试用例对应的用例测试环境。用例测试环境搭建完成后，执行测试用例对应的测试代码，最终得到测试结果。

unittest框架是python的单元测试框架，可以用来创建全面的测试套件，可以用于单元自动化测试、接口自动化测试、功能自动化测试等等，该测试框架可以根据测试用例内容构造测试数据并搭建用例测试环境，然后组织执行测试用例，同时可以提供丰富的断言方法，判断测试用例是否通过，最终生成测试结果。需要说明的是，可以根据具体应用场景灵活选择测试框架，本申请对执行测试用例所选用的测试框架的类型不作限制。

在用例测试环境下执行测试用例后，得到对应的测试结果，测试结果用于表征执行该测试用例过程中是否存在异常。

例如，获取测试用例执行过程中或执行完毕后的执行结果，执行结果包括但不限于数据快照、用例执行日志、相关截图等信息。根据预期结果对执行结果进行验证，以得到测试结果，预期结果可以通过测试用例获得。例如，当执行结果包括用例执行日志时，执行结果对应的预期结果可以是测试用例中的用例执行步骤，通过对比执行结果与预期结果是否一致，以得到检测结果。

在一些实施方式中，执行待执行测试用例集合中的测试用例，得到测试结果，包括：根据测试用例对初始测试环境进行配置，得到用例测试环境；在用例测试环境下执行测试用例，得到执行结果；根据执行结果获取数据存储记录；对数据存储记录中的指定字段进行验证，以得到所述测试结果。

选取当前待执行的测试用例之后，需要对初始测试环境进行配置，以为该测试用例配置对应的用例测试环境，进而在用例测试环境下执行该测试用例。其中，用例测试环境包括软件环境、硬件环境、网络环境、数据准备以及测试框架中的一项或多项。

例如，通过获取当前待执行的测试用例的测试内容，可以得到该测试用例运行时需要的服务器的数量以及每个服务器的配置信息，配置信息包括但不限于运行该测试用例时该服务器所需占用的CPU资源、内存资源、接口等。通过测试用例还可以得到该测试用例运行时需要用到的数据库信息以及数据库的参数配置。

可以理解的是，每个测试用例可以是对待测试应用程序的不同的功能进行测试，也即每个测试用例的测试场景可以不同，进而执行不同测试用例所需要的用例测试环境也不同。例如，每个测试用例都对应有不同类型的设备操作系统，如果一个测试用例是为安卓(Android)操作系统设计的，则需要用安装有Android操作系统的测试终端执行，如果一个测试用例是为iOS操作系统设计的，则需要用安装有iOS操作系统的测试终端执行。因此，需要对不同的测试用例配置测试用例对应的用例测试环境。

用例测试环境配置完成后，在用例测试环境下执行对应的测试用例，以获得执行结果，执行结果中包括数据存储记录。

数据存储记录指的是测试用例在用例测试环境下被执行时，向存储设备写入的数据，存储设备包括但不限于内容分发网络(Content Delivery Network，简称CDN)、服务器缓存、磁盘、分布式缓存、数据库等。

可以在测试用例生成时，将测试用例执行过程中向存储设备写入的关键字段作为指定字段。例如，测试用例包括步骤A“对真实输入数据进行计算，得到第一计算结果，并将第一计算结果写入数据库的第一表单中”，该测试用例的指定字段包括第一计算结果，在测试用例执行完上述步骤A后，获取数据库的第一表单的第一计算结果，以对比第一计算结果的实际值和预设值，判断第一计算结果是否正确，得到第一计算结果对应的测试结果。若第一计算结果的实际值和预设值一致，则表明步骤A对应的功能点测试通过，若第一计算结果的实际值和预设值不一致，则表明步骤A对应的功能点测试不通过，即表明待测试应用程序对应的功能点错误，如计算公式错误，程序参数错误等。

通过对测试用例执行过程中向存储设备写入的存储数据进行校验，以验证测试目标下的每个功能点是否能够正确执行，实现对测试过程的监控。

在一些实施方式中，执行待执行测试用例集合中的测试用例，得到测试结果，包括：根据测试用例对初始测试环境进行配置，得到用例测试环境；在用例测试环境下执行测试用例，得到执行结果；根据执行结果获取用例执行流程以及接口运行情况；对用例执行流程以及接口运行情况进行验证，以得到测试结果。

用例执行日志用于保存测试用例在执行过程中用例执行流程以及接口运行情况等信息。用例执行流程指的是该测试用例实际执行的步骤，接口运行情况指的时该测试用例实际执行过程中，使用到的接口所对应的执行情况。

示例性地，根据测试用例中的步骤路径对用例执行流程进行验证，当步骤路径与用例执行流程一致时，则表明该测试用例的测试内容测试通过。当步骤路径与用例执行流程不一致时，则表明该测试用例的测试内容不通过，也即待测试应用程序对应的功能点存在错误，如功能执行逻辑错误，函数代码撰写错误等。

进一步地，根据测试用例中的接口预设运行情况对接口运行情况进行验证，以验证待测试应用程序的接口功能是否符合预设功能。当接口预设运行情况与接口运行情况一致时，则表明该测试用例的测试内容对应的接口测试通过。当接口预设运行情况与接口运行情况不一致时，则表明该测试用例的测试内容对应的接口测试不通过，也即待测试应用程序对应的接口的实际功能不符合预设功能。

其中，当验证结果中存在验证不通过时，可以对数据快照、用例执行日志、相关截图等信息进行保存。进一步地，可以对验证不通过的对应的数据进行突出显示。例如，当验证不通过的验证结果中包含有数据存储记录中的指定字段a的实际值与预设值不一致时，将与指定字段a关联的运算公式、函数代码等数据进行保存并突出显示，以便于后续技术人员对待测试应用程序程序的测试结果进行分析。

在一些实施方式中，该方法还包括：将用例测试环境还原为初始测试环境。

自动化测试过程中各个测试用例之间有时候会存在相互影响，例如，在先的测试用例在测试后产生的结果会影响在后的测试用例的测试，使测试结果不准确。因此，需要对在先的测试用例在测试后进行用例测试环境的还原，以方便在后的测试用例的测试，保证测试用例的测试结果的准确性。

在一些实施方式中，将用例测试环境还原为初始测试环境，包括：获取初始测试环境的数据备份信息，数据备份信息包含有初始测试环境的数据信息；根据数据备份信息对用例测试环境进行数据恢复，以将用例测试环境还原为初始测试环境。

可以通过对初始测试环境的原始数据进行备份，然后由备份数据对修改的数据进行替换，以将用例测试环境的数据还原为初始测试环境的原始数据。

例如，可以是对整个初始测试环境的数据库数据进行备份，即读取初始测试环境的数据库中的数据并进行保存，以得到数据备份信息。也可以是确定初始测试环境中待备份的数据库的表单信息，根据表单信息对指定表单的数据进行备份，即读取数据库中的部分数据并进行保存，以得到数据备份信息。

在用例测试环境对测试用例执行完毕后，获取该用例测试环境对应的初始测试环境的数据备份信息，根据数据备份信息对用例测试环境的数据库的数据进行覆盖或者替换的操作，以将用例测试环境还原为初始测试环境，避免自动执行测试用例时，测试用例之间相互干扰，进而提高测试结果的准确性。

在一些实施方式中，将用例测试环境还原为初始测试环境，包括：获取用例测试环境在执行测试用例过程中的数据操作行为；根据数据操作行为对用例测试环境进行数据恢复，以将用例测试环境还原为初始测试环境。

可以通过获取用例测试环境下执行测试用例的记录，获取到测试用例执行过程中对数据的数据操作行为，以根据数据操作行为将用例测试环境还原为初始测试环境。

示例性地，数据操作行为可以是对数据的写入操作、删除操作、修改操作等，通过这些数据操作行为的记录可以获取到数据库中数据发生变化的具体过程，根据这些变化来对数据库进行还原。例如，当数据操作行为包括向数据库的用户表单中写入用户A的信息，则根据数据操作行为将用例测试环境还原为初始测试环境的具体操作可以是：对数据库的用户表单中的用户A的信息执行删除操作。

其中，测试用例执行过程中的数据操作行为的记录可以是实时的记录数据库中表单数据的变化情况，根据变化情况来获取数据操作行为，还可以根据测试用例的操作流程来获取，如获取测试用例所对应的代码的执行流程，以及每个流程中的操作数据的关键字等。

通过将用例测试环境还原为初始测试环境，避免自动化测试过程中各个测试用例之间的相互影响，保证了测试用例的测试结果的准确性。

请参阅图3，图3为本申请另一个实施例提供的自动化测试方法的流程示意图。如图3所示，该方法包括步骤S310至步骤S390。

步骤S310、获取真实输入数据并对真实输入数据进行分类，得到分类结果，然后执行步骤S320。

可以理解的是，真实输入数据可以对应多个分类结果。可以根据真实输入数据的数据类型的不同、真实输入数据的具体数据值的不同、待测试应用程序的待检测功能需要的真实输入数据的不同，对真实输入数据进行分类。真实输入数据的具体分类方法可以根据实际应用场景进行灵活选择，本申请对此不作限定。

步骤S320、获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合，然后执行步骤S330。

得到真实输入数据的分类结果后，根据分类结果为真实输入数据匹配对应的用例生成规则参数，以根据用例生成规则参数以及该真实输入数据自动生成测试用例，得到初始测试用例集合。其中，用例生成规则参数包括步骤路径以及步骤路径中每个步骤关联的执行规则，测试用例中包括但不限于测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等。

步骤S330、根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径。根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合，然后执行步骤S340。

用例测试路径用于表征初始测试用例集合中所有测试用例包含的测试步骤的信息。待测试应用程序的预设测试路径用于表征待测试应用程序可以实现的所有业务功能中，每个业务功能包含的所有可执行步骤的信息。

通过对用例测试路径和预设测试路径进行对比，可以得到用例测试路径和预设测试路径之间的差异，即得到待补充测试路径。其中，待补充测试路径指的是用例测试路径中不存在的路径。

步骤S340、在用例测试环境下执行测试用例，并得到执行结果，然后执行步骤S350。

执行结果用于表征测试用例的执行情况，包括但不限于数据快照、用例执行日志、相关截图等信息。

步骤S350、根据执行结果获取数据存储记录，对数据存储记录中的指定字段进行验证，若验证通过则跳转到步骤S360，若验证不通过则跳转到步骤S370。

数据存储记录指的是测试用例在用例测试环境下被执行时，向存储设备写入的数据，存储设备包括但不限于内容分发网络、服务器缓存、磁盘、分布式缓存、数据库等。

根据预设字段信息检测数据存储记录中的字段信息是否正确，若正确则验证通过，跳转到步骤S360；若错误则验证不通过，跳转到步骤S370。

通过对测试用例执行过程中向存储设备写入的存储数据进行校验，以验证测试目标下的每个功能点是否能够正确执行，实现对测试过程的监控。

步骤S360、根据执行结果获取用例执行日志，根据用例执行日志获取用例执行流程以及接口运行情况，对用例执行流程以及接口运行情况进行验证，若验证通过则跳转到步骤S380，若验证不通过则跳转到步骤S370。

用例执行日志用于保存测试用例在执行过程中用例执行流程以及接口运行情况等信息。用例执行流程指的是该测试用例实际执行的步骤，接口运行情况指的时该测试用例实际执行过程中，使用到的接口所对应的执行情况。

根据预设步骤信息以及预设接口运行信息检测用例执行日志中的用例执行流程以及接口运行情况是否正确，若用例执行流程以及接口运行情况均正确则验证通过，跳转到步骤S380；若用例执行流程以及接口运行情况中任一者错误则验证不通过，跳转到步骤S370。

步骤S370、获取验证不通过关联的数据快照、用例执行日志、相关截图中至少一者，以得到异常测试报告，然后执行步骤S380。

其中，当验证结果中存在验证不通过时，可以对数据快照、用例执行日志、相关截图等信息进行保存。进一步地，异常测试报告中可以对验证不通过的对应的数据进行突出显示。例如，当验证不通过的验证结果中包含有数据存储记录中的指定字段a的实际值与预设值不一致时，将与指定字段a关联的运算公式、函数代码等数据进行保存并突出显示，以便于后续技术人员对待测试应用程序程序的测试结果进行分析。

步骤S380、将用例测试环境还原为初始测试环境。

自动化测试过程中各个测试用例之间有时候会存在相互影响，例如，在先的测试用例在测试后产生的结果会影响在后的测试用例的测试，使测试结果不准确。因此，需要对在先的测试用例在测试后进行用例测试环境的还原，以方便在后的测试用例的测试，保证测试用例的测试结果的准确性。

步骤S390、检测测试用例集合包含的测试用例是否执行完毕，若已经执行完毕则结束，若未执行完毕则跳转到步骤S330。

判断待执行测试用例集合中的测试用例是否均执行完毕，以对待执行测试用例集合中的测试用例进行循环执行，直至所有测试用例执行完毕后，完成对待测试应用程序的测试。

本申请实施例公开的自动化测试方法，通过获取真实输入数据，并对真实输入数据进行分类得到分类结果；获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合；根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；执行待执行测试用例集合中的测试用例，得到测试结果。通过对用例测试路径以及预设测试路径进行对比，以检测是否存在遗漏的路径节点，进而可以对初始测试用例集合进行补充完善，得到测试场景覆盖更加全面的待执行测试用例集合；且通过自动执行测试用例，可以保证测试结果的准确性，提高测试效率。

请参阅图4，图4是本申请一实施例提供的一种自动化测试装置的示意框图，该自动化测试装置可以配置于服务器或计算机设备中，用于执行前述的自动化测试方法。

如图4所示，自动化测试装置400包括：分类模块410、用例生成模块420、路径对比模块430、用例补充模块440以及结果获取模块450。

分类模块410，用于获取真实输入数据并对真实输入数据进行分类，得到分类结果；

用例生成模块420，用于获取分类结果对应的用例生成规则参数，以根据用例生成规则参数对分类结果对应的真实输入数据进行计算，得到初始测试用例集合；

路径对比模块430，用于根据初始测试用例集合获取用例测试路径，以对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；

用例补充模块440，用于根据待补充测试路径向初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；

结果获取模块450，用于执行待执行测试用例集合中的测试用例，得到测试结果。

在一些实施方式中，获取分类结果对应的用例生成规则参数时，用例生成模块420具体用于执行：

获取分类结果对应的测试目标；

根据测试目标获取测试步骤以及与测试步骤关联的执行规则；

根据测试步骤以及执行规则得到用例生成规则参数。

在一些实施方式中，根据初始测试用例集合获取用例测试路径时，路径对比模块430具体用于执行：

获取初始测试用例集合中每个测试用例对应的测试步骤；

将每个测试步骤作为路径节点，以根据每个测试步骤之间的执行先后关系连接路径节点，得到每个测试用例对应的用例测试子路径；

对用例测试子路径进行聚合，得到用例测试路径。

在一些实施方式中，对用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径时，路径对比模块430具体用于执行：

对用例测试路径包含的路径节点以及预设测试路径包含的路径节点进行对比，得到待遍历路径节点；

根据预设测试路径获取与待遍历路径节点关联的预设测试子路径；

将预设测试子路径作为待补充测试路径。

在一些实施方式中，执行待执行测试用例集合中的测试用例，得到测试结果时，结果获取模块450具体用于执行：

根据测试用例对初始测试环境进行配置，得到用例测试环境；

在用例测试环境下执行测试用例，得到执行结果；

根据执行结果获取数据存储记录；

对数据存储记录中的指定字段进行验证，以得到测试结果。

在一些实施方式中，执行待执行测试用例集合中的测试用例，得到测试结果时，结果获取模块450具体用于执行：

根据测试用例对初始测试环境进行配置，得到用例测试环境；

在用例测试环境下执行测试用例，得到执行结果；

根据执行结果获取用例执行流程以及接口运行情况；

对用例执行流程以及接口运行情况进行验证，以得到测试结果。

在一些实施方式中，自动化测试装置400还包括恢复模块460，恢复模块460具体用于执行：

获取执行测试用例过程中的数据操作行为；

根据数据操作行为对用例测试环境进行数据恢复，以将用例测试环境还原为初始测试环境。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的方法、装置可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

示例性地，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本申请实施例提供的一种计算机设备的示意图。该计算机设备可以是服务器或终端。

如图5所示，该计算机设备500包括通过系统总线520连接的处理器510、存储器530和网络接口540，其中，存储器530可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统550和计算机程序560。该计算机程序560包括程序指令，该程序指令被执行时，可使得处理器510执行任意一种自动化测试方法。

处理器510用于提供计算和控制能力，支撑整个计算机设备500的运行。

内存储器530为非易失性存储介质中的计算机程序560的运行提供环境，该计算机程序560被处理器510执行时，可使得处理器510执行任意一种自动化测试方法。

该网络接口540用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备500的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体地计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器510可以是中央处理单元(Central Processing Unit，简称CPU)，该处理器510还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器510可以是微处理器或者该处理器510也可以是任何常规的处理器等。

其中，处理器510用于运行存储在存储器中的计算机程序560，以实现本申请实施例提供的任一种自动化测试方法。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序中包括程序指令，程序指令被执行时实现本申请实施例提供的任一种自动化测试方法。

其中，计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称SMC)，安全数字(Secure Digital，简称SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自动化测试方法，其特征在于，所述方法包括：

获取真实输入数据，并对所述真实输入数据进行分类得到分类结果；

获取所述分类结果对应的用例生成规则参数，以根据所述用例生成规则参数对所述分类结果对应的真实输入数据进行计算，得到初始测试用例集合；

根据所述初始测试用例集合获取用例测试路径，以对所述用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；

根据所述待补充测试路径向所述初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；

执行所述待执行测试用例集合中的测试用例，得到测试结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述分类结果对应的用例生成规则参数，包括：

获取所述分类结果对应的测试目标；

根据所述测试目标获取测试步骤以及与所述测试步骤关联的执行规则；

根据所述测试步骤以及所述执行规则得到所述用例生成规则参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述初始测试用例集合获取用例测试路径，包括：

获取所述初始测试用例集合中每个测试用例对应的测试步骤；

将每个所述测试步骤作为路径节点，并根据每个所述测试步骤之间的执行先后关系连接所述路径节点，得到每个所述测试用例对应的用例测试子路径；

对所述用例测试子路径进行聚合，得到用例测试路径。

4.根据权利要求3所述的方法，其特征在于，所述对所述用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径，包括：

对所述用例测试路径包含的路径节点以及所述预设测试路径包含的路径节点进行对比，得到待遍历路径节点；

根据所述预设测试路径获取与所述待遍历路径节点关联的预设测试子路径；

将所述预设测试子路径作为所述待补充测试路径。

5.根据权利要求1所述的方法，其特征在于，所述执行所述待执行测试用例集合中的测试用例，得到测试结果，包括：

根据测试用例对初始测试环境进行配置，得到用例测试环境；

在所述用例测试环境下执行所述测试用例，得到执行结果；

根据所述执行结果获取数据存储记录；

对所述数据存储记录中的指定字段进行验证，以得到所述测试结果。

6.根据权利要求1所述的方法，其特征在于，所述执行所述待执行测试用例集合中的测试用例，得到测试结果，包括：

根据测试用例对初始测试环境进行配置，得到用例测试环境；

在所述用例测试环境下执行所述测试用例，得到执行结果；

根据所述执行结果获取用例执行流程以及接口运行情况；

对所述用例执行流程以及所述接口运行情况进行验证，以得到所述测试结果。

7.根据权利要求1至6任一项所述的方法，其特征在于，得到所述测试结果之后，所述方法还包括：

获取执行所述测试用例过程中的数据操作行为；

根据所述数据操作行为对用例测试环境进行数据恢复，以将所述用例测试环境还原为初始测试环境。

8.一种自动化测试装置，其特征在于，所述装置包括：

分类模块，用于获取真实输入数据并对所述真实输入数据进行分类，得到分类结果；

用例生成模块，用于获取所述分类结果对应的用例生成规则参数，以根据所述用例生成规则参数对所述分类结果对应的真实输入数据进行计算，得到初始测试用例集合；

路径对比模块，用于根据所述初始测试用例集合获取用例测试路径，以对所述用例测试路径和待测试应用程序的预设测试路径进行对比，得到待补充测试路径；

用例补充模块，用于根据所述待补充测试路径向所述初始测试用例集合进行测试用例补充操作，得到待执行测试用例集合；

结果获取模块，用于执行所述待执行测试用例集合中的测试用例，得到测试结果。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述的计算机程序并在执行所述的计算机程序时实现如权利要求1至7中任一项所述的自动化测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的自动化测试方法。

Images