CN114995816A - 业务流程配置方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种业务流程配置方法、装置、电子设备及可读存储介质，涉及计算机技术领域。该方法包括：获取操作系统界面中至少一个应用程序的界面元素的属性信息，然后基于各个界面元素的属性信息构建窗体树。当获取到用户针对至少一个应用程序的用户操作指令时，基于用户操作指令确定操作信息对应的目标界面元素和元素事件，在窗体树中查询目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成操作信息对应的业务流程。本申请通过构建和查询窗体树，实现了在RPA系统配置业务流程时，便捷、准确地获取到用户进行操作的界面元素的属性信息和相应的元素事件，提高了业务流程配置效率。

Description

业务流程配置方法、装置、电子设备及可读存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种业务流程配置方法、装置、电子设备及可读存储介质。

背景技术

随着技术发展，现代企业的业务流程日渐复杂。虽然通过技术变革，业务流程的处理媒介从纸质变为多媒体，但面对多样、复杂的业务处理需求，员工需要寻找到越来越多合适的系统和应用程序来执行日常工作。而日常工作中的许多业务流程具有耗时多、重复性高的特性，使员工不得不花费较多的时间在重复的业务上，降低了员工的生产效率，还可能直接影响到公司的效益。

在目前的业务处理系统中，在对业务流程进行配置时，没有现成的、用于捕获用户的交互操作以及交互操作对应的界面元素的工具，难以对用户在配置业务流程时进行交互操作以及交互操作对应的界面元素进行识别，使得业务流程配置效率不够高，难以满足实际运用需求。

发明内容

本申请实施例的目的旨在能解决业务流程配置效率不高的问题。

第一方面，本申请提供了一种业务流程配置方法，该方法包括：

基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息；基于发生变化的界面元素的属性信息动态更新窗体树；应用程序依赖的动态链接库用于在应用程序启动时被应用程序调用；

接收针对至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；

其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；

基于每个用户操作指令生成的业务处理步骤确定至少一条用户操作指令对应的业务处理流程。

在第一方面的申请实施例中，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息的方式，包括以下至少一项：

基于用户操作指令确定用户操作指令对应的目标界面元素的句柄，基于句柄遍历当前时刻的窗体树，获取句柄对应的目标界面元素的属性信息；

基于用户操作指令确定用户操作指令对应的目标界面元素的界面坐标，基于界面坐标遍历当前时刻的窗体树，获取界面坐标对应的目标界面元素的属性信息。

在第一方面的申请实施例中，动态链接库中包含与界面元素相关联各个接口的接口地址；基于拦截例程获取应用程序的用户界面中界面元素的属性信息之前，方法还包括：

将应用程序依赖的动态链接库中与界面元素相关联各个接口的接口地址替换为拦截例程的入口地址。

在第一方面的申请实施例中，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中界面元素的属性信息，包括：

当应用程序启动时，通过拦截例程接收应用程序发送的窗体指针，窗体指针指向存放界面元素的属性信息对应的内存地址；

基于窗体指针获取界面元素的属性信息；

其中，应用程序通过以下方式发送窗体指针：

从动态链接库中查询到拦截例程的入口地址，基于入口地址将应用程序的界面元素对应的窗体指针发送至拦截例程。

在第一方面的申请实施例中，接口地址替换为拦截例程的入口地址之前，方法还包括：

存储与界面元素相关联各个接口的接口地址；

基于窗体指针获取界面元素的属性信息之后，方法还包括：

从存储的各个接口的接口地址中确定出窗体指针对应的目标接口地址；

将窗体指针发送至目标接口地址。

在第一方面的申请实施例中，与用户界面中界面元素相关联的接口包括构造函数和析构函数；构造函数用于构造界面元素，析构函数用于销毁界面元素。

在第一方面的申请实施例中，方法还包括：响应于用户针对所述业务处理流程的触发操作，执行所述业务处理流程。

第二方面，提供了一种业务流程配置装置，该装置包括：

窗体树构建模块，用于基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

窗体树更新模块，用于当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息；基于发生变化的界面元素的属性信息动态更新窗体树；应用程序依赖的动态链接库用于在应用程序启动时被应用程序调用；

流程配置模块，用于接收针对至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；基于每个用户操作指令生成的业务处理步骤确定至少一条用户操作指令对应的业务处理流程。

第三方面，提供了一种电子设备，该电子设备包括：

存储器、处理器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任一实施例的业务流程配置方法。

第四方面，提供了一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述任一实施例的业务流程配置方法。

上述的业务流程配置方法，获取并基于各个界面元素的属性信息构建窗体树。当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息，基于发生变化的界面元素的属性信息动态更新窗体树，使得窗体树可以与操作系统界面中的界面元素相对一致。

还可以在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤，基于业务处理步骤确定至少一条用户操作指令对应的业务处理流程，实现快捷地配置业务处理流程。

本申请通过构建和查询窗体树，实现了在RPA系统配置业务流程时，便捷、准确地获取到用户进行操作的界面元素的属性信息和相应的元素事件，提高了业务流程配置效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种业务流程配置方法的流程示意图；

图2为本申请实施例提供的一种业务流程配置方法中窗体树的示意图；

图3为本申请实施例提供的一种业务流程配置方法的流程示意图；

图4为本申请实施例提供的实现业务流程配置方法的系统架构示意图；

图5为本申请实施例提供的一种业务流程配置装置的结构示意图；

图6为本申请实施例提供的一种用于业务流程配置的电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释：

如今，谈到机器人，人们很快会联想到制造工厂生产线上部署的各种形式的机器人，包括汽车生产线、家电生产线、手机生产线等等，把原有手工操作的工人岗位逐步替代，无人工厂已经成为普遍现实，相关的机器人技术已经成为制造业转型的核心技术力量。

相比较服务型企业，比如银行、证券、保险、电信、电力等，其服务输出主要依赖工作信息系统完成业务输出，其“生产线”就是信息系统，如同制造行业一样，该“生产线”上也如制造业一样出现机器人。RPA(Robotic Process Automation，机器人流程自动化)无疑是近年的创新黑科技，它也是一个生产线上的机器人，一个无形的“软件机器人”，它已经得到越来越多的企业的关注，将日常企业运营中耗时、枯燥的任务交给“软件机器人”来完成，“软件机器人”可以比人类更快、更准确地执行这些任务，让企业员工更加集中精力于创造性的高价值工作上。

RPA系统常使用的三件套可以包括开发工具、运行工具和控制中心。

其中，开发工具主要用于建立软件机器人的配置或设计机器人。通过开发工具，开发者可以为机器人执行一系列的指令和决策逻辑进行编程。

开发工具里还包括：流程开发工具(或称为设计器)，用于配置软件机器人。就像Excel中的宏功能，流程开发工具可以记录用户界面里发生的每一次鼠标动作和键盘输入。

当开发工作完成后，用户可使用运行工具(机器人)，来运行已有软件机器人，也可以查阅运行结果。

控制中心(控制台)主要用于软件机器人和自动化流程的部署与管理。包括开始/停止机器人的运行，为机器人制作日程表，维护和发布自动化流程，机器人日志运行管理，重新部署机器人的不同任务，管理许可证和凭证等。当需要在多台计算机上大规模并发运行软件机器人的时候，运用控制器进行集中控制，比如统一分发流程，统一设定启动条件等。

在目前RPA系统中，在对业务流程进行配置时，没有现成的、用于捕获用户的交互操作以及交互操作对应的界面元素的工具，难以对用户在配置业务流程时进行交互操作以及交互操作对应的界面元素进行识别，使得业务流程配置效率不够高，难以满足实际运用需求。

其中，当前市场上RPA厂商的运行环境都是基于Windows操作系统，存在现有的工具可以在操作系统级别进行元素的识别，而在Linux操作系统下，目前没有现成的通用用户接口元素的识别工具，通常所说的支持Linux操作系统通常指可以在Linux操作系统下操作浏览器对象，适用性不足，以及基于通用视觉的识别能力和稳定性也不足，难以满足实际应用需求。

本申请提供的业务流程配置方法、装置、电子设备及可读存储介质，旨在解决现有技术的如上技术问题。

下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

本申请实施例中提供了一种业务流程配置方法，如图1所示，该方法包括：

步骤S101，可以基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，窗体树可以用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系。

其中，操作系统界面可以是指操作系统的用户界面，或者系统桌面。

界面元素(interface element)是指可满足交互需求的软件或系统界面所包含的满足用户交互要求的一系列元素。界面元素的类别包括但不限于：窗口、对话框、菜单、滚动条和图形等。

每个界面元素可以有各自对应的属性信息，例如基础的属性信息包括但不限于：名称、标题、可用性、可见性、文本字体、高、宽和位置等。

不同类型的界面元素可以有不同类别的属性信息，例如，窗口的属性信息可以包括窗口的显示状态(最大化状态或者最小化状态)；按钮的属性信息可以包括逻辑值(value)，False(默认值)表示按钮未被按下，True表示按钮已被按下；列表框的属性信息可以包括列表项序号(ListBox)，该属性的值表示执行时选中的列表项序号。

在本申请实施例中，获取操作系统界面中至少一个应用程序的界面元素的属性信息可以包括两种情形：

(1)当操作系统启动时，获取操作系统界面中至少一个应用程序的界面元素的属性信息。具体的，可以是在操作系统启动时，操作系统界面初始化完成后，获取显示在操作系统界面上的至少一个应用程序的界面元素的属性信息，此时至少一个应用程序的界面元素可以包括但不限于应用程序的图标。

(2)在操作系统运行的过程中，启动任意的应用程序时，获取绘制在操作系统界面中应用程序的用户界面的界面元素的属性信息，包括但不限于应用程序的用户界面的窗口、按钮、文本框和滚动条等。

在一些实施例中，窗体树可以由根节点、子节点、兄弟节点和父节点组成。其中，父节点：若一个节点含有子节点，则这个节点称为其子节点的父节点；兄弟节点：具有相同父节点的节点互称为兄弟节点。

每个节点可以代表一个界面元素，节点之间的父子关系可以根据各个界面元素之间的依赖关系(逻辑关系)决定。

在一个示例中，窗体树的示意图可以如图2所示，根节点可以为桌面，桌面可以为窗口1和窗口2的父节点；窗口1中可以包括元素1和元素2，则窗口1可以为元素1和元素2的父节点；窗口2中可以包括元素3和元素4，则窗口2可以为元素3和元素4的父节点。

每个节点可以存储有相应的界面元素的属性信息，包括但不限于：名称、标题、可用性、可见性、文本字体、高、宽和位置等。

在本申请实施例中，窗体树可以是动态变化的。当操作系统界面中至少一个应用程序的界面元素发生变化时，可以更新窗体树，使窗体树始终与在操作系统界面中显示的应用程序中的元素(控件)状态一致。

步骤S102，当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息；基于发生变化的界面元素的属性信息动态更新窗体树；应用程序依赖的动态链接库用于在应用程序启动时被应用程序调用。

在本申请实施例中，当任意应用程序启动时或者当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息；其中，应用程序依赖的动态链接库用于在应用程序启动时被应用程序调用。

拦截例程可以用于“拦截”应用程序发送给元素绘制接口(比如构造函数)的界面元素的属性信息，并根据各个界面元素之间的逻辑关系将获取到的发生变化的界面元素的属性信息存储到树状结构中。拦截例程实现“拦截”功能的原理，将在后文进行说明。

具体的，当任意应用程序启动时，应用程序的每一个可执行程序会调用其依赖的动态链接库的初始化例程。可以将预设的拦截例程注入到动态链接库的初始化例程中，使得在应用程序启动时和运行过程中，拦截例程也可以被可执行程序调用，而拦截例程用于获取应用程序的用户界面中发生变化的界面元素的属性信息(例如，窗体构造函数QWidget的各种属性信息)，然后可以将获取到的界面元素的属性信息根据各个界面元素之间的逻辑关系存储到树状结构中，不断完善窗体树。窗体树的表现形式将在后文进行说明。

可以理解的是，本申请中发生变化的界面元素可以包括应用程序启动时，在操作系统界面显示出的新的窗口、控件或者元素等，也可以是在应用程序运行过程中，应用程序的用户界面中发生变化的界面元素，本申请不做限制。

步骤S103，接收针对至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；

其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；

基于每个用户操作指令生成的业务处理步骤确定至少一条用户操作指令对应的业务处理流程。

在本申请实施例中，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息的方式，包括以下至少一项：

基于用户操作指令确定用户操作指令对应的目标界面元素的句柄，基于句柄遍历当前时刻的窗体树，获取句柄对应的目标界面元素的属性信息；

基于用户操作指令确定用户操作指令对应的目标界面元素的界面坐标，基于界面坐标遍历当前时刻的窗体树，获取界面坐标对应的目标界面元素的属性信息。

在本申请实施例中，，业务处理流程可以包括至少一个业务处理步骤，每个业务处理步骤可以由至少一个目标界面元素对应的属性信息和元素事件组成。

在本申请实施例中，本申请所提供的方法可以应用于PRA机器人流程自动化系统，PRA系统的开发工具中可以包括记录仪(或称为设计器)。在一些实施例中，记录仪可以开启录屏模式(或称为捕获模式)，在该模式下，RPA系统可以捕捉用户针对至少一个应用程序的用户操作指令(或称为用户操作信息)，并且可以确定并记录下用户操作指令对应的目标界面元素的属性信息和元素事件，生成用户操作指令对应的业务流程。

其中，用户针对至少一个应用程序的操作信息包括但不限于：鼠标点击、快捷键触发、滑动滚动条、拖拽界面元素入等人机交互操作。用户操作指令可以是上述操作信息对应的、计算机可识别的指令。

元素事件可以用于描述用户的行为或者界面元素的状态，元素事件对应的事件处理函数可以指在对元素事件进行监听时，当监听到元素事件发生时自动执行的操作。例如，鼠标事件可以包括但不限于：单击“onclick”、双击“ondblclick”、鼠标移入“onmouseover”和鼠标移出“onmousemove”等。

在流程开发工具的高亮模式模式下，当用户针对某一应用程序进行操作时，例如双击应用程序A的图标，打开应用程序，RPA系统可以通过内置组件的方式，通过捕获鼠标双击时的位置信息在窗体树中进行查询，查询到应用程序A的图标这一界面元素的属性信息，并记录查询到的属性信息和元素事件双击“ondblclick”，成为业务流程中的一个步骤。在本申请实施例中，通过窗体树可以快速查询到各个界面元素的属性信息，提高界面元素识别的效率，进而提升业务流程配置效率。

在本申请中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤。此处当前时刻对应的窗体树是指在接收到某条用户操作指令时，根据接收指令的时刻，在该时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息。这是因为，窗体树可以根据用户操作或者操作系统界面中的界面元素的变化而变化，因此，在接收到用户操作指令时，需在当前时刻对应的窗体树中查询用户指令对应的目标界面元素的属性信息，以使查询的窗体树是与当前操作系统界面相对应的。

在本申请实施例中，响应于用户针对所述业务处理流程的触发操作，执行所述业务处理流程。

在本申请实施例中，本申请所提供的方法可以应用于RPA机器人流程自动化系统，RPA系统设计器在高亮模式下，记录用户针对至少一个应用程序的操作指令，生成业务流程。在RPA系统中可以保存多个配置好的业务流程，每个业务流程可以包括多个业务处理步骤，每个业务处理步骤可以由多个目标界面元素对应的属性信息(如路径、类型、位置、大小等)和元素事件组成，每个业务处理步骤中的元素事件用于描述该步骤中用户针对目标界面元素进行的操作。

在RPA系统中，采用可视化的方式在RPA系统的设计器界面中展示已配置好的多个业务流程，每个业务流程可以有对应的触发按钮。用户针对至少一个业务流程的触发操作可以为用户针对至少一个业务流程(业务处理流程)对应的触发按钮的触发操作。

在一个示例中，用户可以在RPA系统的高亮模式(或称为捕捉模式)下，先双击应用程序A在操作系统界面中的图标a，则RPA系统设计器通过组件方式从窗体树中查询图标a的属性信息，并记录下图标a的属性信息和用户针对图标a的元素事件(即双击)作为正在配置的业务流程中的第一个业务处理步骤。

当双击应用程序A的图标a之后，应用程序A启动，显示出应用程序A的用户界面，此时可以根据显示出的应用程序A的用户界面更新窗体树。

用户可以单击应用程序A的用户界面中的B按钮，则RPA系统会从窗体树中查询按钮B的属性信息，并记录下按钮B的属性信息和用户针对按钮B的元素事件(即单击)作为正在配置的业务流程中的第二个业务处理步骤。

在完成对元素属性信息获取后，用户可以结束RPA系统的高亮模式。已配置好的业务流程可以在RPA系统设计器的用户界面中进行显示，同时，已配置好的业务流程可以有对应的触发按钮。

当用户点击已配置好的业务流程的触发按钮时，RPA系统机器人根据业务流程的第一个业务处理步骤中记录的图标a的位置信息(如在桌面中的坐标)，定位到图标a，然后查询到图标a对应的元素事件为双击，RPA系统控制鼠标双击图标a，启动应用程序A，然后显示应用程序A的用户界面。

根据业务流程的第二个业务处理步骤中记录的按钮B的属性信息，定位到应用程序的用户界面中的按钮B，然后查询到按钮B对应的元素事件为单击，RPA系统控制鼠标单击按钮B，完成整个业务流程。

述的业务流程配置方法，获取并基于各个界面元素的属性信息构建窗体树。当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息，基于发生变化的界面元素的属性信息动态更新窗体树，使得窗体树可以与操作系统界面中的界面元素相对一致。

还可以在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤，基于业务处理步骤确定至少一条用户操作指令对应的业务处理流程，实现快捷地配置业务处理流程。

本申请通过构建和查询窗体树，实现了在RPA系统配置业务流程时，便捷、准确地获取到用户进行操作的界面元素的属性信息和相应的元素事件，提高了业务流程配置效率。

本申请实施例中提供了一种可能的实现方式，动态链接库中包含与界面元素相关联各个接口的接口地址。在基于拦截例程获取应用程序的用户界面中界面元素的属性信息之前，方法还可以包括如下步骤：

将应用程序依赖的动态链接库中与界面元素相关联各个接口的接口地址替换为拦截例程的入口地址。

具体的，应用程序依赖的动态链接库中存储有与界面元素相关联各个接口的接口标识与各个接口的接口地址的对应关系。可以先确定出需要进行拦截的接口的接口标识，然后将动态链接库中需要拦截的接口的接口标识对应的接口地址替换为拦截例程的入口地址。

其中，需要进行拦截的接口可以根据实际需求确定，本申请不作限制。在本申请实施例中，需要进行拦截的接口可以为界面元素相关联各个接口。

在一个示例中，假设需要拦截的接口为窗口的构造函数，而窗口的构造函数在动态链接库中可以表示为“QWidget::QWidget(QWidget*，QFlags<Qt::WindowType>)”，其中，假设构造函数的接口标识为“_ZN7QWidgetC1EPS_6QFlagsIN2Qt10WindowTypeEE”，则可以将该接口标识的接口地址(即跳转地址)替换为拦截例程的入口地址。

在本申请实施例中，在地址替换之前，当任意应用程序调用动态链接库时，在动态链接库中查询与界面元素相关联各个接口对应的跳转地址，以便于能将各个界面元素的属性信息发送给相应的接口。而将界面元素相关联各个接口的跳转地址改写拦截例程的入口地址之后，因此，应用程序会将原本要发送给相应的接口的属性信息改为发送给拦截例程，实现“拦截”的作用。

拦截例程会根据获取到的属性信息生成或者完善窗体树。

在本申请实施例中，拦截例程需要注入到应用程序的目标进程的进程空间中去执行才能完成最终的注入过程，完成这一步可以借助于动态链接库的初始化例程。每一个可执行程序在执行时都会调用它所依赖的动态链接库的初始化例程，可以将拦截例程编写为一个动态链接库，同时在该动态链接库的初始化例程中进行接口的拦截注入，然后将包含拦截例程的动态链接库添加到可执行程序的依赖链接库中去，上述过程可以包括以下两步：

(1)编写动态链接库，在动态链接库的初始化例程中完成接口的拦截注入；

(2)将包含拦截例程的动态链接库添加到可执行程序的依赖链接库中。

由于可执行程序的依赖关系是可以传递的，比如A依赖于B，B依赖于C，那么事实上A也依赖于C，因此，可以将动态链接库直接添加的libstdc++.so的依赖中去，由于所有的QT(应用程序开发框架)程序都是依赖于libstdc++.so，当把动态链接库添加到libstdc++.so的依赖中时，无需为每一个QT程序去添加依赖，他们都将自动的依赖于我们的动态链接库，进而完成针对所有QT程序的代码注入。

在本申请实施例中，实现通过窗体树查询目标界面元素的属性信息并实现跟上层RPA程序通信的目的，需要在应用程序的进程空间中启动一个服务，该服务可以伴随着应用程序的启动而启动，其代码也可以位于包含拦截例程的动态链接库中，由其初始化例程启动一个线程来暴露其服务，这个服务可以是一个TCP(Transmission Control Protocol，传输控制协议)的服务，也可以是一个采用其他进程间通信方式构建的服务，可以通过报文接口的形式向上层RPA程序提供服务，提供的服务可以包括：窗体树信息的查询；窗体事件的触发。

在本申请实施例中，与用户界面中界面元素相关联的接口包括但不限于构造函数和析构函数；构造函数用于构造界面元素，析构函数用于销毁界面元素。

当拦截到应用程序发送给构造函数的界面元素的属性信息时，拦截例程可以根据接收到的属性信息在窗体树上绘制属性信息对应的新的界面元素；当拦截到应用程序发送给析构函数的界面元素的属性信息时，拦截例程可以根据接收到的属性信息在窗体树上销毁属性信息对应的界面元素。

本申请还可以根据实际需求，拦截其他的接口，具体不作限制。

在本申请实施例中，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中界面元素的属性信息，可以包括如下步骤：

(1)当应用程序启动时，通过拦截例程接收应用程序发送的窗体指针，其中，窗体指针指向存放界面元素的属性信息对应的内存地址。具体的，此处的界面元素可以指当应用程序启动时，应用程序的用户界面中的所有待显示的界面元素，每个界面元素可以有对应的属性信息，具体的属性信息可以存储于内存，而内存地址可以存放在相应的窗体指针中。

当应用程序启动时，由于将动态链接库中与界面元素相关的接口的接口地址替换为了拦截例程的入口地址，所以原本发送给接口的窗体指针，将会发送给拦截例程，因此，可以通过拦截例程接收应用程序发送的窗体指针。

(2)基于窗体指针获取界面元素的属性信息。具体的，可以基于窗体指针中的内存地址读取界面元素的属性信息。

在本申请实施例中，应用程序可以通过以下方式发送窗体指针：

从动态链接库中查询到所述拦截例程的的入口地址，基于入口地址将应用程序的界面元素对应的窗体指针发送至拦截例程。

具体的，应用程序启动后，会确定应用程序显示用户界面时所要调用的接口，其中包括了与显示界面元素相关的接口。应用程序根据与显示界面元素相关的接口的接口标识在动态链接库中查询接口标识对应的地址，由于进行了地址替换，因此查询得到拦截例程的入口地址，然后可以基于入口地址将应用程序的界面元素对应的窗体指针发送至拦截例程。

在本申请实施例中，动态链接库中可以将与界面元素相关联各个接口的接口地址都替换为拦截例程的入口地址，而在任一应用程序启动时，应用程序可以只调用与界面元素相关联的各个接口中的几个接口，而不是全部接口。

在本申请实施例中，接口地址替换为拦截例程的入口地址之前，本申请所提供的业务流程配置方法还包括：存储与界面元素相关联各个接口的接口地址。具体的，在动态链接库中将与界面元素相关联各个接口的接口地址都替换为拦截例程的入口地址之前，可以对各个接口的接口地址进行存储，以使拦截例程在使用窗体指针后将窗体指针发送给相应的接口。

当RPA系统基于窗体指针获取界面元素的属性信息之后，还可以包括如下步骤：

(1)从存储的各个接口的接口地址中确定出窗体指针对应的目标接口地址。在本申请实施例中，应用程序启动时，可以只调用与界面元素相关联的各个接口中的几个接口，而不是全部接口，因此窗体指针只发送给应用程序将要调用的接口即可。窗体指针对应的目标接口地址可以是应用程序将要调用的接口的接口地址。

(2)将窗体指针发送至目标接口地址。使接口能够基于接收到的窗体指针继续完成界面元素的显示或更改。

在本申请实施例中，本申请所提供的业务流程配置方法，可以如图3所示，包括如下步骤：

步骤S301，将拦截例程编写为一个动态链接库，同时在该动态链接库的初始化例程中进行接口的拦截，并进行代码注入；

步骤S302，将拦截例程添加到应用程序依赖的动态链接库中，使应用程序依赖的动态链接库中包含拦截例程；

步骤S303，存储与界面元素相关联各个接口的接口地址，然后将应用程序依赖的动态链接库中与界面元素相关联各个接口的接口地址替换为拦截例程的入口地址；与用户界面中界面元素相关联的接口包括构造函数和析构函数；构造函数用于构造界面元素，析构函数用于销毁界面元素；

步骤S304，当应用程序启动时，通过拦截例程接收应用程序发送的窗体指针，窗体指针用于存放界面元素的属性信息对应的内存地址；其中，应用程序通过以下方式向拦截例程发送窗体指针：从动态链接库中查询到拦截例程的入口地址，基于入口地址将应用程序的界面元素对应的窗体指针发送至拦截例程；

步骤S305，基于窗体指针获取界面元素的属性信息，并将窗体指针发送至存储的接口地址；

步骤S306，基于各个界面元素的属性信息构建窗体树，窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

步骤S307，响应于对至少一个应用程序的操作信息(用户操作指令)，基于操作信息确定操作信息对应的目标界面元素和元素事件；

步骤S308，在窗体树中查询目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成操作信息对应的业务流程；其中，业务流程包括操作信息对应的至少一个业务处理步骤，每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；

步骤S309，响应于用户针对至少一个业务流程的触发操作，执行至少一个业务流程。

在一个示例中，在Linux操作系统下，本申请所提供的业务流程配置方法实现后的RPA系统的UIA架构图如图4所示，系统可以分为三层，UIA核心层、RPA构建层和RPA应用层。具体说明如下：

1、对于Linux核心层来讲：Linux操作系统内核分可以为QT和GTK两种常用的应用框架，在获取Linux系统C语言应用的元素信息时，可以分别采用两种不同的方式向Linux系统共享库进行代码注入，然后收集和同步各个窗体控件的信息。

2、对于RPA构建层来讲：可以通过UI信息收集器分类汇总在UI信息服务器中，构建UI元素窗体树。

3、对于RPA应用层来讲：RPA设计器通过组件集成的方式，获取到窗体树来识别各个控件的内容，进而操作元素窗体树完成自动化的任务。

在实际应用场景中的一个实施例里，上述RPA系统的使用过程可以分为捕获过程和操控过程。

其中，捕获过程可以包括如下步骤：

1、开启设计器的捕获模式；在该模式下，RPA系统可以捕获用户的操作信息和相关的界面元素的属性信息；

2、将需要捕获的应用程序前置；

3、可以绘制透明的窗口遮盖屏幕，获取用户的操作信息对应的鼠标坐标发送给桌面RPA模块；

4、使用UI信息服务器提供的接口获得鼠标所在位置的UI元素信息(路径、类型、位置、大小)并返回；

5、在透明窗口的正确位置上绘制高亮矩形框，并显示UI元素信息；生成业务流程。

操控流程可以包括如下步骤：

1、设计器/机器人运行业务流程；

2、将需要操控的业务流程的流程节点信息(即一个或多个业务处理步骤，里面包含元素属性信息和元素路径信息等)与操控动作发送给操控模块；其中，操控动作可以用相应的元素事件进行表征；

3、操控模块可以根据元素路径信息找到UI元素并执行指定操作。

本申请实施例提供了一种业务流程配置装置，如图5所示，该业务流程配置装置50可以包括：窗体树构建模块501、窗体树更新模块502以及流程配置模块503，其中，

窗体树构建模块501，用于基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

窗体树更新模块502，用于当操作系统界面中至少一个应用程序的界面元素发生变化时，基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中发生变化的界面元素的属性信息；基于发生变化的界面元素的属性信息动态更新窗体树；应用程序依赖的动态链接库用于在应用程序启动时被应用程序调用；

流程配置模块503，用于接收针对至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息，并基于目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；基于每个用户操作指令生成的业务处理步骤确定至少一条用户操作指令对应的业务处理流程。

在本申请实施例中，流程配置模块在在当前时刻对应的窗体树中查询用户操作指令对应的目标界面元素的属性信息的方式时，具体用于：

基于用户操作指令确定用户操作指令对应的目标界面元素的句柄，基于句柄遍历当前时刻的窗体树，获取句柄对应的目标界面元素的属性信息；

基于用户操作指令确定用户操作指令对应的目标界面元素的界面坐标，基于界面坐标遍历当前时刻的窗体树，获取界面坐标对应的目标界面元素的属性信息。

在本申请实施例中，动态链接库中包含与界面元素相关联各个接口的接口地址；装置还包括地址替换模块，具体用于：

将应用程序依赖的动态链接库中与界面元素相关联各个接口的接口地址替换为拦截例程的入口地址。

在本申请实施例中，窗体树更新模块在基于应用程序依赖的动态链接库中预设的拦截例程获取应用程序的用户界面中界面元素的属性信息时，具体用于：

当应用程序启动时，通过拦截例程接收应用程序发送的窗体指针，窗体指针用于存放界面元素的属性信息对应的内存地址；

基于窗体指针获取界面元素的属性信息；

其中，应用程序通过以下方式发送窗体指针：

从动态链接库中查询到改写后的接口的入口地址，基于入口地址将应用程序的界面元素对应的窗体指针发送至拦截例程。

在本申请实施例中，包括地址存储模块，具体用于：

存储与界面元素相关联各个接口的接口地址；

还包括数据发送模块，具体用于：

从存储的各个接口的接口地址中确定出窗体指针对应的目标接口地址；

将窗体指针发送至目标接口地址。

在本申请实施例中，与用户界面中界面元素相关联的接口包括构造函数和析构函数；构造函数用于构造界面元素，析构函数用于销毁界面元素。

在本申请实施例中，还包括业务流程执行模块，具体用于：响应于用户针对所述业务处理流程的触发操作，执行所述业务处理流程。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现业务流程配置方法的步骤，与相关技术相比可实现：在RPA系统配置业务流程时，便捷、准确地获取到用户进行操作的界面元素的属性信息和相应的元素事件，提高了业务流程配置效率。

在一个可选实施例中提供了一种电子设备，如图6所示，图6所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。

其中，电子设备包括但不限于：移动电话、笔记本电脑、PAD等等移动终端以及诸如数字TV、台式计算机等等固定终端。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种业务流程配置方法，其特征在于，应用于RPA机器人流程自动化系统，包括：

基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，所述窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

当所述操作系统界面中所述至少一个应用程序的界面元素发生变化时，基于所述应用程序依赖的动态链接库中预设的拦截例程获取所述应用程序的用户界面中发生变化的界面元素的属性信息；基于所述发生变化的界面元素的属性信息动态更新所述窗体树；所述应用程序依赖的动态链接库用于在所述应用程序启动时被所述应用程序调用；

接收针对所述至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；

其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询所述用户操作指令对应的目标界面元素的属性信息，并基于所述目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；

基于每个用户操作指令生成的业务处理步骤确定所述至少一条用户操作指令对应的业务处理流程。

2.根据权利要求1所述的业务流程配置方法，其特征在于，所述在当前时刻对应的窗体树中查询所述用户操作指令对应的目标界面元素的属性信息的方式，包括以下至少一项：

基于所述用户操作指令确定所述用户操作指令对应的目标界面元素的句柄，基于所述句柄遍历当前时刻的窗体树，获取所述句柄对应的目标界面元素的属性信息；

基于所述用户操作指令确定所述用户操作指令对应的目标界面元素的界面坐标，基于所述界面坐标遍历当前时刻的窗体树，获取所述界面坐标对应的目标界面元素的属性信息。

3.根据权利要求2所述的业务流程配置方法，其特征在于，所述动态链接库中包含与所述界面元素相关联各个接口的接口地址；基于所述拦截例程获取所述应用程序的用户界面中发生变化的界面元素的属性信息之前，所述方法还包括：

将所述应用程序依赖的动态链接库中与所述界面元素相关联各个接口的接口地址替换为所述拦截例程的入口地址。

4.根据权利要求3所述的业务流程配置方法，其特征在于，所述基于所述应用程序依赖的动态链接库中预设的拦截例程获取所述应用程序的用户界面中发生变化的界面元素的属性信息，包括：

当所述应用程序启动时，通过所述拦截例程接收所述应用程序发送的窗体指针，所述窗体指针用于指向存放所述发生变化的界面元素的属性信息对应的内存地址；

基于所述窗体指针获取所述界面元素的属性信息；

其中，所述应用程序通过以下方式发送所述窗体指针：

从所述动态链接库中查询到所述拦截例程的入口地址，基于所述入口地址将所述应用程序的界面元素对应的窗体指针发送至所述拦截例程。

5.根据权利要求4所述的业务流程配置方法，其特征在于，所述接口地址替换为所述拦截例程的入口地址之前，所述方法还包括：

存储与所述界面元素相关联各个接口的接口地址；

所述基于所述窗体指针获取所述界面元素的属性信息之后，所述方法还包括：

从存储的各个接口的接口地址中确定出窗体指针对应的目标接口地址；

将所述窗体指针发送至所述目标接口地址。

6.根据权利要求5所述的业务流程配置方法，其特征在于，与所述用户界面中界面元素相关联的接口包括构造函数和析构函数；所述构造函数用于构造所述界面元素，所述析构函数用于销毁所述界面元素。

7.根据权利要求1所述的业务流程配置方法，其特征在于，所述方法还包括：响应于用户针对所述业务处理流程的触发操作，执行所述业务处理流程。

8.一种业务流程配置装置，其特征在于，包括：

窗体树构建模块，用于基于操作系统界面中至少一个应用程序的界面元素的属性信息构建窗体树，所述窗体树用于以树状数据结构存储各个界面元素的属性信息和各个界面元素之间的逻辑关系；

窗体树更新模块，用于当所述操作系统界面中所述至少一个应用程序的界面元素发生变化时，基于所述应用程序依赖的动态链接库中预设的拦截例程获取所述应用程序的用户界面中发生变化的界面元素的属性信息；基于所述发生变化的界面元素的属性信息动态更新所述窗体树；所述应用程序依赖的动态链接库用于在所述应用程序启动时被所述应用程序调用；

流程配置模块，用于接收针对所述至少一个应用程序的至少一条用户操作指令；确定用户操作指令分别对应的目标界面元素和元素事件；其中，在接收到用户操作指令时，在当前时刻对应的窗体树中查询所述用户操作指令对应的目标界面元素的属性信息，并基于所述目标界面元素对应的属性信息和元素事件生成相应的业务处理步骤；每个业务处理步骤由至少一个目标界面元素对应的属性信息和元素事件组成；基于每个用户操作指令生成的业务处理步骤确定所述至少一条用户操作指令对应的业务处理流程。

9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的业务流程配置方法的步骤。

Images