CN111176982B - 一种测试界面生成方法和装置 - Google Patents

Abstract

本发明公开了一种测试界面生成方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：监视用户操作过程中各步操作，各步操作与流程机器人执行的自动化操作对应；记录各步操作的界面，以及操作元素和操作动作，界面包括操作开始时的第一界面和操作结束后的第二界面；生成各步操作记录，每步操作记录包括该步操作的第一界面、第二界面、操作元素和操作动作；根据记录的各界面和各步操作记录，生成流程机器人测试界面。该实施方式能快速生成流程机器人开发测试界面，避免阻塞开发、测试进度，无需增加开发投入而解决在生产环境直接开发机器人的管理问题和操作管理风险问题，利于流程机器人快速研发投产，对正常生产活动不会造成影响。

Description

一种测试界面生成方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种测试界面生成方法和装置。

背景技术

在现代企业中，出于运营管理等需求，存在例如报税通知确认、发票处理等大量流程类的工作。RPA(Robotic Process Automation，机器人流程自动化)常被用于替代人力执行重复性高的办公流程，通过模拟自然人在用户界面上的操作来完成办公流程的自动化。

由于流程自动化机器人运行时完全模拟人工操作，因此需要基于实际操作的用户界面进行开发，但由于RPA操作的对象往往是已经在生产活动中使用已久的软件系统，没有相应的开发、测试环境，只能通过使用专门规划的测试账号、测试交易等方法，直接在生产环境中开发RPA机器人，完全依靠线下管理流程来支持RPA的开发测试。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

由于线下流程完全依靠人工管理，流程流转过程中往往响应速度较慢，从而阻塞开发、测试进度，且在人工处理处理过程中存在操作管理风险，有可能影响正常的生产活动。

发明内容

有鉴于此，本发明实施例提供一种测试界面生成方法和装置，能够快速生成流程机器人开发测试界面，避免阻塞开发、测试进度，在无需增加开发投入的情况下解决了在生产环境直接开发机器人的管理问题和操作管理风险问题，有利于流程机器人的快速研发投产，且对正常的生产活动不会造成影响。

为实现上述目的，根据本发明实施例的一个方面，提供了一种测试界面生成方法。

一种测试界面生成方法，包括：监视用户操作过程中的各步操作，所述各步操作与流程机器人执行的自动化操作相对应；记录所述各步操作的界面，以及操作元素和操作动作，所述操作的界面包括操作开始时的第一界面和操作结束后的第二界面；生成各步操作记录，其中，每步操作记录包括该步操作的所述第一界面、所述第二界面、所述操作元素和所述操作动作；根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面。

可选地，还包括：在记录每步操作的界面之后，生成该记录的界面的模拟界面；所述根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面，包括：根据所述各步操作记录，按照预设规则为根据所述记录的各界面得到的模拟界面添加动作响应，从而得到所述测试界面，其中，所述预设规则包括：当根据记录的一个界面得到的第一模拟界面为所述用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为所述第一模拟界面中的相应目标元素添加对所述目标操作动作的动作响应，以使所述第一模拟界面中的所述目标元素发生所述目标操作动作时，所述第一模拟界面消失，并展示根据记录的所述目标第二界面得到的第二模拟界面。

可选地，还包括：将所述用户操作过程中第一步操作的所述第一界面标记为初始界面；所述根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面，包括：根据记录的所述初始界面，得到所述初始界面的模拟界面；将所述初始界面加入待处理界面列表，作为当前所述待处理界面列表中的第一个界面；取出所述待处理界面列表中的第一个界面，并扫描由所述各步操作记录构成的操作记录列表；当取出的界面为当前所述操作记录列表中某步操作的所述第一界面时，则将该步操作记录从所述操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当所述取出的界面的模拟界面中的该操作元素发生该操作动作时，所述取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当所述取出的操作记录中的第二界面不在所述待处理界面列表和已处理界面列表中，则将所述取出的操作记录中的第二界面加入所述待处理界面列表，返回到所述扫描由所述各步操作记录构成的操作记录列表的步骤；当所述取出的界面不为当前所述操作记录列表中任一步操作的所述第一界面时，将所述取出的界面加入所述已处理界面列表，并返回到所述取出所述待处理界面列表中的第一个界面的步骤，直到所述待处理界面列表为空时，得到所述测试界面。

可选地，所述界面为网页；通过记录所述网页当前显示的所有元素及其页面布局，来记录所述界面；并且，根据记录的所述网页的所有元素及其页面布局，得到所述界面的模拟界面。

可选地，所述界面为应用程序页面；通过记录所述应用程序当前激活窗口中的所有窗口元素及其布局，来记录所述界面；并且，根据记录的所述应用程序的所有窗口元素及其布局，得到所述界面的模拟界面。

根据本发明实施例的另一方面，提供了一种测试界面生成装置。

一种测试界面生成装置，包括：用户操作监视模块，用于监视用户操作过程中的各步操作，所述各步操作与流程机器人执行的自动化操作相对应；用户界面记录模块，用于记录所述各步操作的界面，以及操作元素和操作动作，所述操作的界面包括操作开始时的第一界面和操作结束后的第二界面；流程动作记录模块，用于生成各步操作记录，其中，每步操作记录包括该步操作的所述第一界面、所述第二界面、所述操作元素和所述操作动作；测试界面生成模块，用于根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面。

可选地，所述用户界面记录模块还用于：在记录每步操作的界面之后，生成该记录的界面的模拟界面；所述测试界面生成模块还用于：根据所述各步操作记录，按照预设规则为根据所述记录的各界面得到的模拟界面添加动作响应，从而得到所述测试界面，其中，所述预设规则包括：当根据记录的一个界面得到的第一模拟界面为所述用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为所述第一模拟界面中的相应目标元素添加对所述目标操作动作的动作响应，以使所述第一模拟界面中的所述目标元素发生所述目标操作动作时，所述第一模拟界面消失，并展示根据记录的所述目标第二界面得到的第二模拟界面。

可选地，所述用户界面记录模块还用于：将所述用户操作过程中第一步操作的所述第一界面标记为初始界面；所述测试界面生成模块还用于：根据记录的所述初始界面，得到所述初始界面的模拟界面；将所述初始界面加入待处理界面列表，作为当前所述待处理界面列表中的第一个界面；取出所述待处理界面列表中的第一个界面，并扫描由所述各步操作记录构成的操作记录列表；当取出的界面为当前所述操作记录列表中某步操作的所述第一界面时，则将该步操作记录从所述操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当所述取出的界面的模拟界面中的该操作元素发生该操作动作时，所述取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当所述取出的操作记录中的第二界面不在所述待处理界面列表和已处理界面列表中，则将所述取出的操作记录中的第二界面加入所述待处理界面列表，返回到所述扫描由所述各步操作记录构成的操作记录列表的步骤；当所述取出的界面不为当前所述操作记录列表中任一步操作的所述第一界面时，将所述取出的界面加入所述已处理界面列表，并返回到所述取出所述待处理界面列表中的第一个界面的步骤，直到所述待处理界面列表为空时，得到所述测试界面。

可选地，所述界面为网页；所述用户界面记录模块还用于：通过记录所述网页当前显示的所有元素及其页面布局，来记录所述界面；并且，根据记录的所述网页的所有元素及其页面布局，得到所述界面的模拟界面。

可选地，所述界面为应用程序页面；所述用户界面记录模块还用于：通过记录所述应用程序当前激活窗口中的所有窗口元素及其布局，来记录所述界面；并且，根据记录的所述应用程序的所有窗口元素及其布局，得到所述界面的模拟界面。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明实施例所提供的测试界面生成方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的测试界面生成方法。

上述发明中的一个实施例具有如下优点或有益效果：监视用户操作过程中的各步操作，各步操作与流程机器人执行的自动化操作相对应；记录各步操作的界面，以及操作元素和操作动作，操作的界面包括操作开始时的第一界面和操作结束后的第二界面；生成各步操作记录，每步操作记录包括该步操作的第一界面、第二界面、操作元素和操作动作；根据记录的各界面和各步操作记录，生成流程机器人的测试界面。能够快速生成流程机器人开发测试界面，避免阻塞开发、测试进度，在无需增加开发投入的情况下解决了在生产环境直接开发机器人的管理问题和操作管理风险问题，有利于流程机器人的快速研发投产，且对正常的生产活动不会造成影响。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明一个实施例的测试界面生成方法的主要步骤示意图；

图2是根据本发明一个实施例的生成流程机器人的测试界面的流程示意图；

图3是根据本发明一个实施例的测试界面的状态响应示意图；

图4是根据本发明一个实施例的测试界面生成装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的测试界面生成方法的主要步骤示意图。

如图1所示，本发明一个实施例的测试界面生成方法主要包括如下的步骤S101至步骤S104。

步骤S101：监视用户操作过程中的各步操作，各步操作与流程机器人执行的自动化操作相对应。

步骤S102：记录各步操作的界面，以及操作元素和操作动作，操作的界面包括操作开始时的第一界面和操作结束后的第二界面。

步骤S103：生成各步操作记录，其中，每步操作记录包括该步操作的第一界面、第二界面、操作元素和操作动作。

步骤S104：根据记录的各界面和各步操作记录，生成流程机器人的测试界面。

本发明实施例当用户将需要流程机器人执行的操作人工执行过一遍后，即可生成一个可响应该流程中所有用户操作的测试界面，用户操作过程中的每步操作均与流程机器人执行的自动化操作对应相同。

操作的界面可以为网页或应用程序页面。操作元素即界面上所操作的网页或应用程序页面中的元素。

在界面为网页的情况下，可以通过记录网页当前显示的所有元素及其页面布局，来记录界面。

在界面为应用程序页面的情况下，可以通过记录应用程序当前激活窗口中的所有窗口元素及其布局，来记录界面。

在一个实施例中，还包括：将用户操作过程中第一步操作的第一界面标记为初始界面。

在一个实施例中，在记录每步操作的界面之后，生成该记录的界面的模拟界面。

根据记录的各界面和各步操作记录，生成流程机器人的测试界面，具体可以包括：根据各步操作记录，按照预设规则为根据记录的各界面得到的模拟界面添加动作响应，从而得到测试界面。

其中，预设规则包括：当根据记录的一个界面得到的第一模拟界面为用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为第一模拟界面中的相应目标元素添加对目标操作动作的动作响应，以使该第一模拟界面中的目标元素发生目标操作动作时，第一模拟界面消失，并展示根据记录的目标第二界面得到的第二模拟界面。

具体地，可以定义待处理界面列表、已处理界面列表，将初始界面将初始界面加入待处理界面列表，作为当前待处理界面列表中的第一个界面；取出待处理界面列表中的第一个界面，并扫描由各步操作记录构成的操作记录列表；当取出的界面为当前操作记录列表中某步操作的第一界面时，则将该步操作记录从操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当取出的界面的模拟界面中的该操作元素发生该操作动作时，该取出的界面的模拟界面消失，并展示该取出的操作记录中的第二界面的模拟界面，当取出的操作记录中的第二界面不在待处理界面列表和已处理界面列表中，则将取出的操作记录中的第二界面加入待处理界面列表，返回到扫描由各步操作记录构成的操作记录列表的步骤；当取出的界面不为当前操作记录列表中任一步操作的第一界面时，将取出的界面加入已处理界面列表，并返回到取出待处理界面列表中的第一个界面的步骤，直到待处理界面列表为空时，得到测试界面。

在另一个实施例中，可以记录的界面的模拟界面可以在为该界面添加动作响应之前生成。

根据记录的各界面和各步操作记录，生成流程机器人的测试界面，具体可以包括：根据记录的初始界面，得到初始界面的模拟界面；将初始界面加入待处理界面列表，作为当前待处理界面列表中的第一个界面；取出待处理界面列表中的第一个界面，并扫描由各步操作记录构成的操作记录列表；当取出的界面为当前操作记录列表中某步操作的第一界面时，则将该步操作记录从操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当取出的界面的模拟界面中的该操作元素发生该操作动作时，该取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当取出的操作记录中的第二界面不在待处理界面列表和已处理界面列表中，则将取出的操作记录中的第二界面加入待处理界面列表，返回到扫描由各步操作记录构成的操作记录列表的步骤；当取出的界面不为当前操作记录列表中任一步操作的第一界面时，将取出的界面加入已处理界面列表，并返回到取出待处理界面列表中的第一个界面的步骤，直到待处理界面列表为空时，得到测试界面。

其中，在进行模拟界面时，在界面为网页的情况下，根据记录的网页的所有元素及其页面布局，得到界面的模拟界面。在界面为应用程序页面的情况下，根据记录的应用程序的所有窗口元素及其布局，得到界面的模拟界面。

本发明实施例的流程机器人特指某一个可自动化执行一系列基于规则的操作的软件工具，例如RPA(机器人流程自动化)，是一类自动化软件工具，它可以通过用户界面使用和理解企业已有的应用，将基于规则的常规操作自动化，替代人在电脑前执行具有规律与重复性高的办公流程。流程机器人执行的自动化操作，即流程机器人替代人而自动化执行的办公流程等操作。

RPA通过屏幕元素抓取，结合人工智能OCR(光学字符识别)等技术，允许用户以可视化的方式、使用拖放功能建立流程机器人，将重复劳动自动化。这种方式降低了用户的使用门槛，无需专业编码知识即可迅速获取数据与搭建流程，企业可通过引入RPA完成重复性的流程性工作，释放人力资源，提高企业的运行效率。但RPA操作的系统往往是已经在生产工作中长时间使用的稳定系统，无法提供开发测试环境，直接在生产环境开发流程机器人存在较大的操作风险，现有技术依靠线下管理流程来支持RPA的开发测试，线下流程完全依靠人工管理，流程流转过程中往往响应速度较慢，容易阻塞开发、测试进度。本发明实施例通过记录工作人员操作用户界面的方式，对用户操作对象和操作动作进行记录，自动、快速生成流程机器人的开发测试界面，供流程机器人开发测试时使用，解决了现有技术中存在的上述问题。

本发明的一个实施例提出一种用户界面记录器，用于记录和模拟用户操作的界面。

在记录界面时，执行本发明实施例的测试界面生成方法的终端设备或服务器调用用户界面记录器，以记录当前激活的用户界面，当前激活的用户界面即当前用户操作的界面。其中，如果激活的界面为网页，则分析网页源代码并记录网页当前显示的所有元素及其页面布局，记布局为Page[x]，Page[x]中的元素记为PE[x,i]；若激活的界面为应用程序，例如Windows(一种操作系统)应用程序，那么通过Win32 API(为Windows操作系统提供的一系列程序访问接口，可用于获取、操作Windows操作系统中的元素)获取当前激活窗口的窗口元素及其布局，记布局为Win[x]，Win[x]中的元素记为WE[x,i]。由于Page[x]和Win[x]均属于用户界面的布局，为表述方便，本发明实施例将Page[x]和Win[x]的合集称为UI[x]，其元素合集为E[x]。

在模拟界面时，执行本发明实施例的测试界面生成方法的终端设备或服务器调用用户界面记录器，以根据对用户操作过程中的各步操作记录的UI[x]和E[x]，生成用户界面的模拟界面，生成的模拟界面的外观和包含的元素均与用户操作的实际界面相同，但是模拟界面中的所有元素在添加动作响应之前，并不具备响应用户操作的能力。

本发明实施例不限于Windows应用程序，还可以为其他操作系统的应用程序，在为其他操作系统的应用程序的情况下，则通过为相应操作系统提供的程序访问接口，来获取、操作Windows操作系统中的元素和布局。

本发明的一个实施例还提出一种流程动作记录器，用于记录用户与用户界面之间的互动操作。记录过程包括：

在用户的鼠标点击、键盘输入等事件发生开始时，调用用户界面记录器，记录当前界面UI[i]、用户当前操作的对象元素E[i,j]，如果当前操作是所记录的第一次用户操作，则将当前界面标记为初始界面，当前界面UI[i]即用户当前操作开始时的界面。记录用户的操作动作，具体地，即记录用户的鼠标点击、键盘输入等事件的具体类型、内容，记为Act[x]。当用户的操作事件发生完毕后，记录用户当前操作结束后的用户界面UI[m]。

对于用户操作过程中的各步操作，均按照上述步骤记录操作开始时的界面、操作元素、操作动作、操作结束后的界面，直到用户停止录制流程动作，最后得到用户操作记录列表(简称操作记录列表)ActList，操作记录列表中每一记录包括用户操作过程中的一步操作开始时界面、操作元素、操作动作、操作结束后界面，每一记录的表示式如下：

其中，对用户操作过程中如果当前步记录的界面，在之前的某步已经被记录过，则该两个界面记录为同一个界面。

基于本发明实施例在用户操作过程中的记录的界面和操作记录，生成流程机器人的测试界面。本发明一个实施例的生成流程机器人的测试界面的流程如图2所示。

步骤S201：调用用户界面记录器，生成初始界面UI[1]，定义待处理界面列表UIList，已处理界面列表CompList，将UI[1]置入UIList中，作为UIList的第一个元素UI[i]，此时i＝1。

步骤S202：判断当前UIList是否为空，如果不为空，则执行步骤S203，为空则结束流程，得到测试界面。

步骤S203：取出UIList中的第一个元素UI[i]。

步骤S204：扫描操作记录列表ActList，如果查找到UI[i]，且UI[i]是ActList的一个操作记录中的操作开始时界面，则执行步骤S205，如果没有查找到UI[i]，或者查找到的UI[i]不是ActList的任一操作记录中的操作开始时界面，则执行步骤S208。

需要说明的是，扫描的操作记录列表ActList是当前最新的操作记录列表ActList。

当UI[i]出现在ActList中一个操作记录表示式的左边，即UI[i]为ActList的一个操作记录中的操作开始时界面。

如果没有查找到UI[i]或者查找到的UI[i]不是ActList的任一操作记录中的操作开始时界面，即，当前ActList中不存在UI[i]，或者，当前ActList中UI[i]不是出现在任一操作记录表示式的左边，而是在某一操作记录表示式的右边，是查找到的UI[i]为某一操作记录中的操作结束后界面。

步骤S205：从ActList中取出该操作记录。

例如，在第一个元素UI[i]为初始界面UI[1]时，如果ActList中某条操作记录为：

则将该条操作记录取出。

取出该操作记录后，操作记录列表ActList中将不包括该条操作记录。

步骤S206：为取出的操作记录中的对应元素E[i,j]定义操作，使得当元素E[i,j]发生用户操作动作Act[x]时，界面UI[i]的模拟界面消失，并调用用户界面记录器生成UI[m]的模拟界面并展示。

例如，在UI[i]为初始界面UI[1]的情况下，那么，根据上述取出的UI[1]对应的操作记录，为E[1,1]定义操作动作Act[1]。

步骤S207：若UI[m]不在UIList和CompList中，则将UI[m]加入UIList。

然后跳转到步骤S204。

如果UI[m]在UIList或CompList中，则不需要将UI[m]加入UIList，而直接跳转到步骤S204(这种情况在图2中未示出)。

步骤S208：将UI[i]置入已处理界面列表CompList。

跳转到步骤S202。

经过以上流程，当用户将需要流程机器人执行的操作人工执行过一次后，即可生成一个可响应该流程中所有用户操作的测试界面。

本发明实施例生成的测试界面的状态响应，将以登录查询功能为例，测试界面的状态响应示意图如图3所示。

图3中各页面构成本发明实施例的测试界面，即各页面均是根据用户操作过程中的各界面生成的模拟界面。通过图3的测试界面，可以模拟如下用户操作：通过登录页面接收输入的用户信息，收到点击登录的指令后，判断输入的用户信息是否正确，在用户信息正确的情况下可查询业务信息，在登录失败的情况下会提示并返回到登录页面。

模拟的用户操作具体如下：

UI[1]为登录页面，亦为初始页面，用户在此页面的输入框E[1,1]中输入错误的用户信息，此操作动作标记为Act[1]，输入后页面信息发生变化(具体为输入框的值变化)，变化后的页面标记为UI[2]；

用户点击UI[2]的登录按钮E[2,2]，操作动作记为Act[2]，由于登录失败，跳转到错误提示页面UI[6]；

用户在错误提示页面UI[6]点击返回按钮E[6,1]后，返回登录页面UI[1]；

用户在登录页面UI[1]的输入框E[1,1]中输入正确的用户信息，此动作标记为Act[2]，包含正确用户信息的页面记为UI[3]；

用户点击UI[3]的登录按钮E[3,2]，操作动作记为Act[3]，登录成功跳转到查询页面UI[4]；

用户在查询页面UI[4]可点击返回按钮E[4,5]，以返回登录页面UI[1]，操作动作记为Act[5]；

用户在查询页面UI[4]也可点击查询按钮E[4,1]查询信息，点击动作记为Act[4]，查询结果页面为UI[5]；

在查询结果页面UI[5]中点击返回按钮E[5,5]，同样可返回登录页面UI[1]。

图4是根据本发明一个实施例的测试界面生成装置的主要模块示意图。

本发明一个实施例的测试界面生成装置400主要包括：用户操作监视模块401、用户界面记录模块402、流程动作记录模块403、测试界面生成模块404。

用户操作监视模块401，用于监视用户操作过程中的各步操作，各步操作与流程机器人执行的自动化操作相对应。

用户界面记录模块402，用于记录各步操作的界面，以及操作元素和操作动作，操作的界面包括操作开始时的第一界面和操作结束后的第二界面。

流程动作记录模块403，用于生成各步操作记录，其中，每步操作记录包括该步操作的第一界面、第二界面、操作元素和操作动作。

测试界面生成模块404，用于根据记录的各界面和各步操作记录，生成流程机器人的测试界面。

用户界面记录模块402可以实现上文实施例的用户界面记录器的功能。

流程动作记录模块403可以实现上文实施例的流程动作记录器的功能。

在一个实施例中，用户界面记录模块402还用于：在记录每步操作的界面之后，生成该记录的界面的模拟界面。

测试界面生成模块404具体可以用于：根据各步操作记录，按照预设规则为根据记录的各界面得到的模拟界面添加动作响应，从而得到测试界面，其中，预设规则包括：当根据记录的一个界面得到的第一模拟界面为用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为第一模拟界面中的相应目标元素添加对目标操作动作的动作响应，以使第一模拟界面中的目标元素发生目标操作动作时，第一模拟界面消失，并展示根据记录的目标第二界面得到的第二模拟界面。

用户界面记录模块402还可以用于：将用户操作过程中第一步操作的第一界面标记为初始界面。

在另一个实施例中，测试界面生成模块404具体可以用于：根据记录的初始界面，得到初始界面的模拟界面；将初始界面加入待处理界面列表，作为当前待处理界面列表中的第一个界面；取出待处理界面列表中的第一个界面，并扫描由各步操作记录构成的操作记录列表；当取出的界面为当前操作记录列表中某步操作的第一界面时，则将该步操作记录从操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当取出的界面的模拟界面中的该操作元素发生该操作动作时，取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当取出的操作记录中的第二界面不在待处理界面列表和已处理界面列表中，则将取出的操作记录中的第二界面加入待处理界面列表，返回到扫描由各步操作记录构成的操作记录列表的步骤；当取出的界面不为当前操作记录列表中任一步操作的第一界面时，将取出的界面加入已处理界面列表，并返回到取出待处理界面列表中的第一个界面的步骤，直到待处理界面列表为空时，得到测试界面。

本发明实施例的界面可以为网页或应用程序页面。

用户界面记录模块402还用于：通过记录网页当前显示的所有元素及其页面布局，来记录界面；以及根据记录的网页的所有元素及其页面布局，得到界面的模拟界面。

用户界面记录模块402还用于：通过记录应用程序当前激活窗口中的所有窗口元素及其布局，来记录界面；以及根据记录的应用程序的所有窗口元素及其布局，得到界面的模拟界面。

另外，在本发明实施例中测试界面生成装置的具体实施内容，在上面测试界面生成方法中已经详细说明了，故在此重复内容不再说明。

图5示出了可以应用本发明实施例的测试界面生成方法或测试界面生成装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的测试界面生成方法可以由终端设备501、502、503或服务器505执行，相应地，测试界面生成装置可以设置于终端设备501、502、503或服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括用户操作监视模块、用户界面记录模块、流程动作记录模块、测试界面生成模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，用户操作监视模块还可以被描述为“用于监视用户操作过程中的各步操作的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：监视用户操作过程中的各步操作，所述各步操作与流程机器人执行的自动化操作相对应；记录所述各步操作的界面，以及操作元素和操作动作，所述操作的界面包括操作开始时的第一界面和操作结束后的第二界面；生成各步操作记录，其中，每步操作记录包括该步操作的所述第一界面、所述第二界面、所述操作元素和所述操作动作；根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面。

根据本发明实施例的技术方案，监视用户操作过程中的各步操作，各步操作与流程机器人执行的自动化操作相对应；记录各步操作的界面，以及操作元素和操作动作；根据记录的各界面和各步操作记录，生成流程机器人的测试界面。能够快速生成流程机器人开发测试界面，避免阻塞开发、测试进度，在无需增加开发投入的情况下解决了在生产环境直接开发机器人的管理问题和操作管理风险，有利于流程机器人的快速研发投产，且对正常的生产活动不会造成影响。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种测试界面生成方法，其特征在于，包括：

监视用户操作过程中的各步操作，所述各步操作与流程机器人执行的自动化操作相对应；

记录所述各步操作的界面，以及操作元素和操作动作，所述操作的界面包括操作开始时的第一界面和操作结束后的第二界面；

生成各步操作记录，其中，每步操作记录包括该步操作的所述第一界面、所述第二界面、所述操作元素和所述操作动作；

根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面；

所述方法还包括：将所述用户操作过程中第一步操作的所述第一界面标记为初始界面；所述根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面，包括：

根据记录的所述初始界面，得到所述初始界面的模拟界面；

将所述初始界面加入待处理界面列表，作为当前所述待处理界面列表中的第一个界面；

取出所述待处理界面列表中的第一个界面，并扫描由所述各步操作记录构成的操作记录列表；

当取出的界面为当前所述操作记录列表中某步操作的所述第一界面时，则将该步操作记录从所述操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当所述取出的界面的模拟界面中的该操作元素发生该操作动作时，所述取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当所述取出的操作记录中的第二界面不在所述待处理界面列表和已处理界面列表中，则将所述取出的操作记录中的第二界面加入所述待处理界面列表，返回到所述扫描由所述各步操作记录构成的操作记录列表的步骤；

当所述取出的界面不为当前所述操作记录列表中任一步操作的所述第一界面时，将所述取出的界面加入所述已处理界面列表，并返回到所述取出所述待处理界面列表中的第一个界面的步骤，直到所述待处理界面列表为空时，得到所述测试界面。

2.根据权利要求1所述的方法，其特征在于，还包括：在记录每步操作的界面之后，生成该记录的界面的模拟界面；

所述根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面，包括：

根据所述各步操作记录，按照预设规则为根据所述记录的各界面得到的模拟界面添加动作响应，从而得到所述测试界面，其中，所述预设规则包括：当根据记录的一个界面得到的第一模拟界面为所述用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为所述第一模拟界面中的相应目标元素添加对所述目标操作动作的动作响应，以使所述第一模拟界面中的所述目标元素发生所述目标操作动作时，所述第一模拟界面消失，并展示根据记录的所述目标第二界面得到的第二模拟界面。

3.根据权利要求1或2所述的方法，其特征在于，所述界面为网页；

通过记录所述网页当前显示的所有元素及其页面布局，来记录所述界面；并且，

根据记录的所述网页的所有元素及其页面布局，得到所述界面的模拟界面。

4.根据权利要求1或2所述的方法，其特征在于，所述界面为应用程序页面；

通过记录所述应用程序当前激活窗口中的所有窗口元素及其布局，来记录所述界面；并且，

根据记录的所述应用程序的所有窗口元素及其布局，得到所述界面的模拟界面。

5.一种测试界面生成装置，其特征在于，包括：

用户操作监视模块，用于监视用户操作过程中的各步操作，所述各步操作与流程机器人执行的自动化操作相对应；

用户界面记录模块，用于记录所述各步操作的界面，以及操作元素和操作动作，所述操作的界面包括操作开始时的第一界面和操作结束后的第二界面；

流程动作记录模块，用于生成各步操作记录，其中，每步操作记录包括该步操作的所述第一界面、所述第二界面、所述操作元素和所述操作动作；

测试界面生成模块，用于根据记录的各界面和所述各步操作记录，生成所述流程机器人的测试界面；

所述用户界面记录模块还用于：将所述用户操作过程中第一步操作的所述第一界面标记为初始界面；

所述测试界面生成模块还用于：

根据记录的所述初始界面，得到所述初始界面的模拟界面；

将所述初始界面加入待处理界面列表，作为当前所述待处理界面列表中的第一个界面；

取出所述待处理界面列表中的第一个界面，并扫描由所述各步操作记录构成的操作记录列表；

当取出的界面为当前所述操作记录列表中某步操作的所述第一界面时，则将该步操作记录从所述操作记录列表中取出，并为该取出的操作记录中的操作元素定义操作动作，使得当所述取出的界面的模拟界面中的该操作元素发生该操作动作时，所述取出的界面的模拟界面消失，并根据该取出的操作记录中的第二界面的记录，模拟该第二界面并展示，当所述取出的操作记录中的第二界面不在所述待处理界面列表和已处理界面列表中，则将所述取出的操作记录中的第二界面加入所述待处理界面列表，返回到所述扫描由所述各步操作记录构成的操作记录列表的步骤；

当所述取出的界面不为当前所述操作记录列表中任一步操作的所述第一界面时，将所述取出的界面加入所述已处理界面列表，并返回到所述取出所述待处理界面列表中的第一个界面的步骤，直到所述待处理界面列表为空时，得到所述测试界面。

6.根据权利要求5所述的装置，其特征在于，所述用户界面记录模块还用于：在记录每步操作的界面之后，生成该记录的界面的模拟界面；

所述测试界面生成模块还用于：

根据所述各步操作记录，按照预设规则为根据所述记录的各界面得到的模拟界面添加动作响应，从而得到所述测试界面，其中，所述预设规则包括：当根据记录的一个界面得到的第一模拟界面为所述用户操作过程某步操作的目标第一界面时，根据该步操作记录中的目标操作元素、目标操作动作、目标第二界面，为所述第一模拟界面中的相应目标元素添加对所述目标操作动作的动作响应，以使所述第一模拟界面中的所述目标元素发生所述目标操作动作时，所述第一模拟界面消失，并展示根据记录的所述目标第二界面得到的第二模拟界面。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。