CN115858049A - Rpa流程组件化编排方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及计算机技术领域，尤其涉及一种RPA流程组件化编排方法、装置、设备和介质，方法包括：当接收到目标流程的创建指令时，获取目标流程的基本信息；根据预设的动作ID与参数的对应关系和每一目标动作ID，得到每一目标动作ID对应的参数；当组件类型为非公开组件时，获取每一目标动作对应的演示信息，根据每一演示信息，生成每一目标组件；当组件类型为公开组件时，根据预设的公开组件与动作ID的对应关系和每一目标动作ID，得到每一目标动作ID对应的目标公开组件；根据目标流程对应的全部组件和动作执行顺序，生成目标流程。本申请具有提升RPA流程构建成功率的效果。

Description

RPA流程组件化编排方法、装置、设备和介质

技术领域

本申请涉及计算机技术领域，尤其是涉及一种RPA流程组件化编排方法、装置、设备和介质。

背景技术

目前，在各大企业的运维过程中，往往基于RPA技术将多种软件的应用流程化，即构建RPA流程。RPA（Robotic Process Automation，机器人流程自动化）是自动化的一个子集，可以模仿人类在计算机上的行为，代替人类完成传统的重复性工作。RPA可通过将各种运维脚本、命令、操作等用逻辑调度串联起来，将“运维手册”变成“可执行的程序”，实现跨云平台、跨团队、跨领域的运维过程自动化。

一般RPA流程中会包括多个动作，每一动作的具体实现方式主要由组件的内容决定。在RPA流程的构建过程中，创建每一动作时，会为每一动作在数据库中选择对应的组件，但是当数据库中不存在对应的组件时，可能会导致RPA流程构建失败。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了实现高成功率构建RPA流程，本申请提供一种RPA流程组件化编排方法、装置、设备和介质。

第一方面，本申请提供一种RPA流程组件化编排方法，采用如下的技术方案：

一种RPA流程组件化编排方法，包括：

当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序；

针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，所述目标动作ID对应的参数至少包括组件类型；

针对每一目标动作ID，当组件类型为非公开组件时，获取目标动作对应的演示信息，其中，所述目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成目标组件；

针对每一目标动作ID，当组件类型为公开组件时，根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件；

根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

通过采用上述技术方案，在接收到创建指令时，获取目标流程的若干目标动作ID和动作执行顺序；根据预设的动作ID与参数的对应关系确定每一目标动作的组件类型；当组件类型是公开组件时能够直接获取到相应的组件，若组件类型是非公开组件时，无法自数据库中获取与之相应的组件，因而本方案通过获取与非公开组件相应的演示信息，进而利用演示信息自动生成目标组件，避免了相关技术中不存在非公开组件时无法得到组件，进而导致流程创建失败的情况发生。

本申请在一较佳示例中可以进一步配置为：

对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域；

针对同一窗口区域，获取第一灰度值，其中，所述第一灰度值包括同一窗口区域的多帧窗口影像各自对应的灰度值，窗口影像为同一窗口区域位于的影像；并根据第一灰度值从多帧窗口影像中确定关键帧组；

基于全部关键帧组，生成目标组件。

通过采用上述技术方案，对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域，缩小目标区域的识别范围，节省系统资源；针对同一窗口区域，获取第一灰度值,并根据第一灰度值从多帧窗口影像中确定关键帧组，其中，每一关键帧组表示每一窗口依次经历的每一动作构成的集合，每一关键帧对应每一动作；不再根据动作轨迹获取目标组件，而是识别每一关键帧，根据动作获取目标组件，避免复刻目标轨迹中的不必要动作，减少目标组件构建过程耗费的时间。

本申请在一较佳示例中可以进一步配置为：

在所述对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域之后，还包括：

针对同一窗口区域，确定窗口区域中多个窗口字符位置，其中，每一窗口字符位置存在于窗口区域对应的多帧窗口影像中；

相应的，所述根据第一灰度值从多帧窗口影像中确定关键帧组，包括：

针对同一窗口区域，根据第一灰度值，确定全部窗口字符位置各自对应的灰度值；并根据所述全部窗口字符位置各自对应的灰度值，确定若干目标字符位置；

将每一存在任一目标字符位置的窗口影像确定为关键帧，并基于全部关键帧得到关键帧组。

通过采用上述技术方案，确定同一窗口区域下的若干目标字符位置，可以在同一窗口区域中缩小识别灰度值突变的范围；将每一存在任一目标字符位置的影像确定为窗口区域的关键帧，并基于全部关键帧得到关键帧组。由此可知，可以集中关键帧的识别资源，且，可以通过缩小识别范围提升识别关键帧的准确度。

本申请在一较佳示例中可以进一步配置为：

在所述根据目标动作对应的演示信息，得到目标组件之后，还包括：

将目标组件作为公开组件，并根据目标组件和目标组件信息更新公开组件库，其中，目标组件信息至少包括与所述目标组件对应的目标动作ID和应用软件名称及版本。

通过采用上述技术方案，将根据演示信息得到的目标组件存入公开组件库中，当新创建的目标流程的基本信息中出现当前目标动作ID时，可以直接通过预设的公开组件内容与动作ID的对应关系得到目标组件，可以通过节省利用演示信息得到目标组件的时间，提升目标组件的获取速度。

本申请在一较佳示例中可以进一步配置为：

所述获取目标动作对应的演示信息，包括：

发送提示指令至显示界面，其中，提示指令用于约束用户，以规定方式演示目标动作；

当检测到演示完成后，获取目标动作的演示信息。

通过采用上述技术方案，相较于技术人员基于个人习惯录制得到的演示视频的随机性，基于提示指令获取演示信息，可以提升演示信息的规范性，缩短分析演示信息的时间，提升目标组件的生成速度。

本申请在一较佳示例中可以进一步配置为：

所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数之前，还包括：

判断创建指令的指令类型是否为在生成目标流程后立即执行，其中，创建指令至少包括指令内容和指令类型；

若是，则确定创建指令所属目标流程的所有目标动作ID对应的组件类型均为公开组件；

若否，则执行所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数的步骤。

通过采用上述技术方案，将需要在创建后立即执行的目标流程的所有目标动作ID对应的组件类型确定为公开组件，由于获取目标组件的时间要大于获取目标公开组件的时间，故，直接根据目标动作ID得到目标动作ID对应的目标公开组件，获取目标流程，可以提升目标流程的获取速度。若并非需要立即执行的目标流程，则直接执行根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数的步骤，可以基于用户对目标流程的是否立即执行的需求，灵活决定目标动作ID对应组件的获取方式，提升RPA流程组件化编排方法的灵活性。

本申请在一较佳示例中可以进一步配置为：

在所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数之前，还包括：

获取当前操作的企业信息；

根据所述当前操作的企业信息从数据信息中的匹配与所述当前操作的企业信息对应的对应关系。

通过采用上述技术方案，利用获取到的企业信息，在数据信息中的匹配与当前操作的企业信息对应的对应关系，可以为不同企业限定不同动作ID与参数的对应关系，进而能够限定动作ID对应的组件类型，从而可以为不同企业限定不同获取组件的权限，减少为全部企业提供同一对应关系时造成服务类型的单一性，使得服务类型在面对权限不同的企业时更具有灵活性，其中，服务类型可理解为面对权限不同的企业时RPA流程组件化编排装置对目标流程获取过程的限定。

第二方面，本申请提供一种RPA流程组件化编排装置，采用如下的技术方案：

一种RPA流程组件化编排装置，包括：

基本信息获取模块，用于当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序；

参数获取模块，用于针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，所述目标动作ID对应的参数至少包括组件类型；针对每一目标动作ID，当组件类型为非公开组件时触发目标组件生成模块，当组件类型为公开组件时触发目标公开组件获取模块；

目标组件生成模块，用于获取目标动作对应的演示信息，其中，所述目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成到目标组件；

目标公开组件获取模块，用于根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件；

目标流程生成模块，用于根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

至少一个处理器；

存储器；

至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行如第一方面所述任一项的RPA流程组件化编排方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行如第一方面所述任一项的RPA流程组件化编排方法。

综上所述，本申请包括以下至少一种有益技术效果：

在接收到创建指令时，获取目标流程的若干目标动作ID和动作执行顺序；根据预设的动作ID与参数的对应关系确定每一目标动作的组件类型；当组件类型是公开组件时能够直接获取到相应的组件，若组件类型是非公开组件时，无法自数据库中获取与之相应的组件，因而本方案通过获取与非公开组件相应的演示信息，进而利用演示信息自动生成目标组件，避免了相关技术中不存在非公开组件时无法得到组件，进而导致流程创建失败的情况发生。

对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域，缩小目标区域的识别范围，节省系统资源；针对同一窗口区域，获取第一灰度值,并根据第一灰度值从多帧窗口影像中确定关键帧组，其中，每一关键帧组表示每一窗口依次经历的每一动作构成的集合，每一关键帧对应每一动作；不再根据动作轨迹获取目标组件，而是识别每一关键帧，根据动作获取目标组件，避免复刻目标轨迹中的不必要动作，减少目标组件构建过程耗费的时间。

附图说明

图1为本申请实施例提供的一种RPA流程组件化编排设备运行流程示意图。

图2为本申请实施例提供的一种RPA流程组件化编排方法的流程示意图。

图3为本申请实施例提供的另一种RPA流程组件化编排方法的流程示意图。

图4为本申请实施例提供的一种RPA流程组件化编排装置的结构示意图。

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合附图1至附图5对本申请作进一步详细说明。

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

机器人流程自动化（Robotic Process Automation，简称RPA）是以软件机器人及人工智能（AI）为基础的业务过程自动化科技。

企业在运维过程中使用的软件可能为多个，在传统工作流程转变为自动化流程的过程中，一般通过技术人员编写流程程序，将各软件之间的操作过程连接，在连接过程中所需要的是各软件提供的接口，使得接口文件能够有效传输，以支持工作流程自动化，但可能存在软件不具备被连接的接口，使得传统工作流程自动化受到阻碍。

RPA流程是一种应用程序，它通过模仿最终用户在终端的手动操作方式，来使最终用户手动操作流程自动化，有效降低了接口带来的影响。且，RPA流程中会包括多个动作，每一动作的具体实现方式主要由组件的内容决定。在RPA流程的构建过程中，创建每一动作时，会为每一动作在数据库中选择对应的组件，但，当数据库中不存在对应的组件时，可能会导致RPA流程构建失败。

针对上述RPA流程构建失败的技术问题，本申请提供一种RPA流程组件化编排的适用场景，电子设备中部署有RPA流程组件化编排方法，如图1，电子设备接收到创建指令后，利用中部署有编排方法，能够进行自动生成目标流程。

本申请实施例提供了一种RPA流程组件化编排方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图2所示，该方法包括步骤S101至步骤S105，其中：

步骤S101：当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序。

在本申请实施例中，在一种可实现的方式中，当检测显示界面的针对目标流程的创建按钮被触发时，电子设备接收到目标流程的创建指令；在另一种可实现的方式中，语音识别设备获取声音采集设备采集的语音信息，对语音信息进行识别得到识别结果，将语音识别结果与预存的目标流程创建的关键词进行匹配，若匹配成功，则自动生成目标流程的创建指令，并发送至电子设备。

其中，目标流程的基本信息可以包括：目标流程的名称、应用软件名称及版本、若干目标动作ID和动作执行顺序。一般的，目标流程的名称用于协助手动或自动管理目标流程，例如，技术人员可以通过检索目标流程的名称对目标流程进行增删查改；应用软件名称及版本用于目标组件的获取，目标动作ID和应用软件名称及版本一一对应；目标动作ID的数量与目标流程的复杂程度存在正相关的关系，故，目标动作ID的数量可以为一个或多个。

步骤S102：针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，目标动作ID对应的参数至少包括组件类型。

其中，参数包括组件类型，组件类型包括公开组件和非公开组件，数据库中存在的组件为公开组件，反之为非公开组件，若目标动作的组件类型为公开组件，则表明目标动作所需组件可以通过数据库获取；若目标动作的类型为非公开组件，则表明数据库中不存在目标动作所需组件。当然参数还可以包括：动作名称、执行主机、命令行语言类型、超时时间和执行选项。具体的，执行主机用于限定由哪些主机执行目标动作。命令行语言类型可以包括Shell命令或CMD命令，当主机为Windows主机时命令行语言类型为CMD命令，当主机为Linux主机时命令行语言类型为Shell命令。执行选项包括停止当前流程或继续实行下一动作。超时时间用于判断动作是否执行失败，若任一动作的执行时间超过超时时间，则判定当前动作执行失败，并根据执行选项选择执行下一动作或停止当前流程。其中，动作ID与参数的对应关系在电子设备中预先设置，由技术人员将大量的参数添加各自唯一对应的第一标签以将参数与标签关联，并录入数据库，其中，第一标签为动作ID；进一步的，技术人员可以定期对参数和参数对应的第一标签维护以进行对应关系的增删。

在一种可能的情况中，不同企业针对每一动作ID的组件的权限可能存在差别，具体的，不同企业的对应关系不同，如，针对动作ID1，企业a具有权限，相应的，在企业a的动作ID与参数的对应关系中，针对动作ID1的参数中的组件类型为公开组件；企业b不具有权限，相应的，在企业b的动作ID与参数的对应关系中，针对动作ID1的参数中的组件类型为非公开组件。

在另一种可能的情况中，所有企业针对每一动作ID的组件的权限相同，则动作ID与参数的对应关系针对所有企业均相同。

在本申请实施例中，从电子设备的数据库中读取预设的动作ID与参数的对应关系；针对每一目标动作ID，通过将目标动作ID和数据库中的动作ID与参数的对应关系匹配，得到目标动作ID对应的参数。

步骤S103：针对每一目标动作ID，当组件类型为非公开组件时，获取目标动作对应的演示信息，其中，目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成目标组件。

具体的，生成提示指令，并在显示界面显示提示指令，其中，提示指令用于约束用户以规定方式演示目标动作；当检测到用户演示完成后，获取目标动作的演示信息；对演示信息进行分析，以自动生成与目标动作ID对应的目标组件。

步骤S104：针对每一目标动作ID，当组件类型为公开组件时，根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件。

其中，公开组件与动作ID的对应关系预先设置在电子设备中的公开组件库内，预先设置过程可以包括：由技术人员将参数添加第二标签并录入公开组件库，其中，第二标签为动作ID，且第二标签唯一。进一步的，还可以定期对公开组件库进行更新。

可以理解的是，公开组件可以为技术人员编写或采集的常见动作的实现方式，可以通过录入方式预先存储于电子设备的公开组件库中。公开组件库中，公开组件与动作ID一一对应。

步骤S105：根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

其中，组件可以包括目标组件和/或目标公开组件。当所有目标动作ID的组件类型均为非公开组件时，组件均为基于相应演示信息生成的目标组件；当所有目标动作ID的组件类型均为公开组件时，组件均为从数据库中匹配的目标公开组件；当目标动作ID的组件类型包括公开组件和非公开组件时，所有的组件由部分目标组件和部分目标公开组件构成。

进一步的，在目标流程运行时，全部目标动作基于动作执行顺序依次执行，其中，每一目标动作基于目标组件实现。

在本申请实施例中，当接收到创建指令时，获取目标流程的若干目标动作ID和动作执行顺序；根据预设的动作ID与参数的对应关系确定每一目标动作的组件类型；当组件类型是公开组件时能够直接获取到相应的组件，若组件类型是非公开组件时，无法自数据库中获取与之相应的组件，因而本方案获取与非公开组件相应的演示信息，进而利用演示信息自动生成目标组件，避免了相关技术中不存在非公开组件时无法得到组件，进而导致流程创建失败的情况发生。

本申请实施例的一种可能的实现方式，步骤S103中的根据目标动作对应的演示信息生成目标组件，具体可以包括步骤S1031（图中未示出）、步骤S1032（图中未示出）以及步骤S1033（图中未示出），其中：

步骤S1031：对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域。

其中，目标动作对应的演示信息包括多帧影像，且，多帧影像之间存在时间顺序。

每一帧影像中窗口区域的数量与目标动作的具体动作相关，窗口区域的数量可以为一个或多个，例如，当目标动作为复制或粘贴时窗口区域的数量为2，当目标动作为在任一页面内进行操作时窗口区域的数量为1。

在一种可实现的方式中，确定每一帧影像对应的若干窗口区域的方式可以包括：根据预存的标识符组对每一帧影像进行标题栏识别，确定每一帧影像对应的若干标题栏，其中，标识符组可以包括按键类符号,按键类符号至少可以包括最小化按键、最大化按键/还原按键和关闭按键；对每一帧影像的每一标题栏进行边框识别，得到每一标题栏对应的窗口边框，其中，边框识别可以通过opencv技术实现，并根据每一窗口边框，确定每一帧影像对应的每一窗口区域。

步骤S1032：针对同一窗口区域，获取第一灰度值，其中，第一灰度值包括同一窗口区域的多帧窗口影像各自对应的灰度值，窗口影像为同一窗口区域位于的影像；并根据第一灰度值从多帧窗口影像中确定关键帧组。

具体的，同一窗口区域的每帧窗口影像的灰度值为该帧影像的每一像素点的灰度值。

在一种可实现的方式中，根据第一灰度值从多帧窗口影像中确定关键帧组的方式可以包括：根据第一灰度值，判断是否存在灰度值突变的目标区域，其中，目标区域是多个相邻的像素点灰度值均突变为灰度值变化超出预设灰度值变化范围的区域，灰度值变化范围可以根据实际情景由技术人员预先设置；若存在，则将存在目标区域的窗口影像作为一个关键帧，其中，同一窗口区域的所有关键帧表示在进行的同一动作；针对同一窗口区域，将每一关键帧以时间顺序排列，得到窗口区域对应的关键帧组，其中，每一关键帧组表示每一窗口依次经历的每一动作构成的集合。

步骤S1033：基于全部关键帧组，生成目标组件。

其中，每一目标动作可以包括若干子动作，子动作的数量与目标动作的复杂程度呈正相关，故，子动作的数量可以为一个或多个。每一子动作对应每一子目标组件，故，每一目标组件可以包括若干子目标组件。

具体的，针对每一关键帧组，获取每一关键帧的目标区域的变化内容，其中，变化内容包括背景灰度值突变和/或字符突变，背景灰度值突变表示目标区域字符的背景灰度值发生突变。

针对每一关键帧，根据变化内容，确定关键帧的操作类型，其中，当变化内容仅有背景灰度值突变时操作类型为点击或选中，当变化内容仅有字符突变时操作类型为键入，当变化内容包括背景灰度值突变和字符突变时操作类型为改写。

根据预设的操作类型与试行操作方式的对应关系和每一关键帧的操作类型，得到每一关键帧对应的若干试行操作方式，其中，试行操作方式为能够实现对应操作类型的代码类内容，当操作类型的实现方式唯一时试行操作方式的数量为一个，当操作类型的实现方式不唯一时试行操作方式的数量为多个。

针对每一关键帧组，根据所有关键帧各自对应的若干试行操作方式，通过排列组合，得到若干试行操作方式组，其中，每一试行操作方式组包括每一关键帧对应的试行操作方式。例如，关键帧组A包括关键帧1、关键帧2，关键帧1对应操作类型1，关键帧2对应操作类型2，操作类型1对应试行操作方式1-a和1-b，操作类型2对应试行操作方式2-a和2-b，则关键帧组A对应的所有试行操作方式组包括1-a、2-a构成的第一组,1-b、2-a构成的第二组,1-a、2-b构成的第三组，1-b、2-b构成的第四组。

针对每一关键帧组，通过自动调试过程，从全部试行操作方式组中确定可运行的试行操作方式组，并根据可运行的试行操作方式组，得到子目标组件。其中，根据试行操作方式组从预先构建的代码库中匹配相应的代码，生成对应的组件代码，以得到子目标组件。

基于演示信息与每一关键帧组，得到每一关键帧组的时间节点，其中，每一关键帧组的时间节点包括每一关键帧组开始出现的时刻与结束时刻。

根据每一时间节点和时间顺序，在时间顺序中确认全部关键帧组位于的时间段，其中，时间段为以时间顺序为整体时间段，在整体时间段中每一关键帧组位于的时间段。

根据全部关键帧组位于的时间段和每一关键帧组的子目标组件，经过封装，得到演示信息对应的目标组件。

在本申请实施例中，对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域，缩小目标区域的识别范围，节省系统资源；针对同一窗口区域，获取第一灰度值,并根据第一灰度值从多帧窗口影像中确定关键帧组，其中，每一关键帧组表示每一窗口依次经历的每一动作构成的集合，每一关键帧对应每一动作；不再根据动作轨迹获取目标组件，而是识别每一关键帧，根据动作获取目标组件，避免复刻目标轨迹中的不必要动作，减少目标组件构建过程耗费的时间。

进一步的，本申请实施例的一种可能的实现方式，在执行步骤S1031之后，具体还可以包括：

针对同一窗口区域，确定窗口区域中多个窗口字符位置，其中，每一窗口字符位置存在于窗口区域对应的多帧窗口影像中。

其中，OCR（Optical Character Recognition，光学字符识别）是指针对印刷体字符，采用光学的方式将文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

在本申请实施例中，采用光学方式识别每一窗口影像中的窗口区域的每一字符。

具体的，获取每一字符的坐标信息，其中，字符的坐标信息包括左临界坐标和右临界坐标，当然还可以包括字符覆盖的全部像素点的中点的坐标，左临界坐标为字符覆盖的全部像素点的最左侧点的坐标，右临界坐标为字符覆盖的全部像素点的最右侧点的坐标。针对每一字符，根据全部字符的左临界坐标和右临界坐标，判断是否存在左临界坐标或右临界坐标的横坐标之间的差值在预设差值范围之内的多个目标字符。若存在，则将当前字符对应的多个目标字符的所在区域确定为每一字符位置，其中，目标字符所在区域为能够包含当前字符对应的全部目标字符，且包括像素点最少的矩形区域。

相应的，步骤S1032根据第一灰度值从多帧窗口影像中确定关键帧组，具体可以包括步骤S1032-1以及步骤S1032-2（图中未示出）：

步骤S1032-1：针对同一窗口区域，根据第一灰度值，确定全部窗口字符位置各自对应的灰度值；并根据全部窗口字符位置各自对应的灰度值，确定若干目标字符位置。

具体的，根据第一灰度值中每一窗口影像对应的灰度值，提取每一窗口影像中窗口字符位置的灰度值，以便得到全部窗口字符位置各自对应的灰度值；针对每一窗口字符位置，根据所有窗口影像的窗口字符位置对应的灰度值，判断窗口字符位置的灰度值是否发生突变；若是，则表示窗口字符位置出现背景灰度值突变和/或字符突变，将当前窗口字符位置确定为目标字符位置，其中，目标字符位置的数量可以为一个或多个，针对同一时刻目标字符位置为1，针对多个时刻目标字符位置可以为多个，背景灰度值突变和/或字符突变的相关限定可参考步骤S1033。

步骤S1032-2：将每一存在任一目标字符位置的窗口影像确定为关键帧，并基于全部关键帧得到关键帧组。

其中，当任一窗口影像存在任一目标字符位置时，该窗口影像为关键帧。

在本申请实施例中，通过确定同一窗口区域下的若干目标字符位置，可以在同一窗口区域中缩小识别灰度值突变的范围；将每一存在任一目标字符位置的影像确定为窗口区域的关键帧，并基于全部关键帧得到关键帧组。由此可知，可以集中关键帧的识别资源，且，可以通过缩小识别范围提升识别关键帧的准确度。

本申请实施例的一种可能的实现方式，在步骤S103根据目标动作对应的演示信息，得到目标组件之后，具体还可以包括：

将目标组件作为公开组件，并根据目标组件和目标组件信息更新公开组件库，其中，目标组件信息至少包括与目标组件对应的目标动作ID和应用软件名称及版本。

具体的，将通过演示信息得到的目标组件作为公开组件，并将相应的目标动作ID作为标签，以实现根据目标组件和目标组件信息更新公开组件库的目的。

在本申请实施例中，将根据演示信息得到的目标组件存入公开组件库中，当新创建的目标流程的基本信息中出现当前目标动作ID时，可以直接通过预设的公开组件内容与动作ID的对应关系得到目标组件，可以通过节省利用演示信息得到目标组件的时间，提升目标组件的获取速度。

本申请实施例的一种可能的实现方式，步骤S103，获取目标动作对应的演示信息，具体可以包括步骤SC1（图中未示出）以及步骤SC2（图中未示出），其中：

步骤SC1：发送提示指令至显示界面，其中，提示指令用于约束用户以规定方式演示目标动作。

其中，提示指令包括影像提示、语音提示和文字提示。

步骤SC2：当检测到演示完成后，获取目标动作的演示信息。

具体的，基于语音提示和文字提示，得到用户点击开始录制的信号；基于开始录制的信号，以影像形式显示每一预设窗口位置，其中，窗口位置的数量可以基于实际情景预先设定；根据全部预设窗口位置、语音提示和文字提示，获取演示信息，直至获取用户点击录制结束的信号，其中，语音提示和文字提示的内容相同。

例如，在用户点击录制开始按键后，通过终端以虚线框形式显示每一预设窗口位置；在用户将窗口拖拽至任一预设窗口位置后，通过语音和文字形式同时提示用户开始执行动作，待用户执行完目标动作后，用户点击录制结束按键，同时后端将演示信息保存并开始根据演示信息生成目标组件。

在本申请实施例中，相较于技术人员基于个人习惯录制得到的演示视频的随机性，基于提示指令获取演示信息，可以提升演示信息的规范性，缩短分析演示信息的时间，提升目标组件的生成速度。

本申请实施例的一种可能的实现方式，请参考图3，图3为本申请实施例提供的另一种RPA流程组件化编排方法的流程示意图，包括：

S101、当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序。

S106、判断创建指令的指令类型是否为在生成目标流程后立即执行，其中，创建指令至少包括指令内容和指令类型。

其中，创建指令可以由系统自行触发或由技术人员机械触发。指令内容可以包括创建普通流程或创建应急流程，创建应急流程可以包括紧急启动流程、停止正在运行流程或暂停正在运行流程。指令类型可以包括在生成目标流程后立即执行或在生成目标流程后等待触发。

当指令类型为在生成目标流程后立即执行时，对应指令内容为创建应急流程。当指令类型为在生成目标流程后等待触发时，对应指令内容为创建普通流程。

若是，则表示创建指令的指令类型为创建应急流程，执行步骤S107。

S107、确定创建指令所属目标流程的所有目标动作ID对应的组件类型均为公开组件；执行步骤S104。

若否，则表示创建指令的指令类型为创建普通流程，执行步骤S102。

S102、针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，目标动作ID对应的参数至少包括组件类型。

S103、针对每一目标动作ID，当组件类型为非公开组件时，获取目标动作对应的演示信息，其中，目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成目标组件。

S104、针对每一目标动作ID，当组件类型为公开组件时，根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件。

S105、根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

在本申请实施例中，通过将需要在创建后立即执行的目标流程的所有目标动作ID对应的组件类型确定为公开组件，由于获取目标组件的时间要大于获取目标公开组件的时间，故，直接根据目标动作ID得到目标动作ID对应的目标公开组件，获取目标流程，可以提升目标流程的获取速度。若并非需要立即执行的目标流程，则直接执行根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数的步骤，可以基于用户对目标流程的是否立即执行的需求，灵活决定目标动作ID对应组件的获取方式，提升RPA流程组件化编排方法的灵活性。

本申请实施例的一种可能的实现方式，在步骤S102之前，具体还可以包括步骤SD1以及步骤SD2（图中未示出），其中：

步骤SD1：获取当前操作的企业信息。

具体的，可以通过企业登录所使用的终端对应的显示设备和鼠标键盘获取企业信息，其中，显示设备用于提示使用人员输入当前操作企业的账号密码，鼠标键盘用于获取当前操作企业的账号密码，企业信息包括企业的账号密码。

步骤SD2：根据当前操作的企业信息从数据信息中的匹配与当前操作的企业信息对应的对应关系。

其中，数据信息包括每一企业账号对应的预设的动作ID与参数的对应关系。具体的，可以根据当前操作企业的账号，在数据信息中匹配与当前操作企业的账号对应的对应关系。

在本申请实施例中，通过获取到的企业信息，在数据信息中的匹配与当前操作的企业信息对应的对应关系，可以为不同企业限定不同动作ID与参数的对应关系，进而能够限定动作ID对应的组件类型，从而可以为不同企业限定不同获取组件的权限，减少为全部企业提供同一对应关系时造成服务类型的单一性，使得服务类型在面对权限不同的企业时更具有灵活性，其中，服务类型可理解为面对权限不同的企业时RPA流程组件化编排装置对目标流程获取过程的限定。

上述实施例从方法流程的角度介绍一种RPA流程组件化编排方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种RPA流程组件化编排装置，具体详见下述实施例。

本申请实施例提供一种RPA流程组件化编排装置，如图4所示，该RPA流程组件化编排装置具体可以包括：

基本信息获取模块201，用于当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序；

参数获取模块202，用于针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，目标动作ID对应的参数至少包括组件类型；针对每一目标动作ID，当组件类型为非公开组件时触发目标组件生成模块，当组件类型为公开组件时触发目标公开组件获取模块；

目标组件生成模块203，用于获取目标动作对应的演示信息，其中，目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成到目标组件；

目标公开组件获取模块204，用于根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件；

目标流程生成模块205，用于根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

本申请实施例的一种可能的实现方式，目标组件生成模块203在执行根据目标动作对应的演示信息，生成目标组件时，具体用于：

对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域；

针对同一窗口区域，获取第一灰度值，其中，第一灰度值包括同一窗口区域的多帧窗口影像各自对应的灰度值，窗口影像为同一窗口区域位于的影像；并根据第一灰度值从多帧窗口影像中确定关键帧组；

基于全部关键帧组，生成目标组件。

本申请实施例的一种可能的实现方式，RPA流程组件化编排装置，还包括：

目标字符位置模块，用于：

针对同一窗口区域，确定窗口区域中多个窗口字符位置，其中，每一窗口字符位置存在于窗口区域对应的多帧窗口影像中。

相应的，目标组件生成模块203，在执行根据第一灰度值从多帧窗口影像中确定关键帧组时，用于：

针对同一窗口区域，根据第一灰度值，确定全部窗口字符位置各自对应的灰度值；并根据全部窗口字符位置各自对应的灰度值，确定若干目标字符位置；

将每一存在任一目标字符位置的窗口影像确定为关键帧，并基于全部关键帧得到关键帧组。

本申请实施例的一种可能的实现方式，RPA流程组件化编排装置，还包括：

公开组件库更新模块，用于：

将目标组件作为公开组件，并根据目标组件和目标组件信息更新公开组件库，其中，目标组件信息至少包括与目标组件对应的目标动作ID和应用软件名称及版本。

本申请实施例的一种可能的实现方式，目标组件生成模块203，在执行获取目标动作对应的演示信息时，用于：

发送提示指令至显示界面，其中，提示指令用于约束用户，以规定方式演示目标动作；

当检测到演示完成后，获取目标动作的演示信息。

本申请实施例的一种可能的实现方式，RPA流程组件化编排装置，还包括：

立即执行判断模块，用于：

判断创建指令的指令类型是否为在生成目标流程后立即执行，其中，创建指令至少包括指令内容和指令类型；

若是，则将确定创建指令所属目标流程的所有目标动作ID对应的组件类型均为公开组件；

若否，则执行参数获取模块202。

本申请实施例的一种可能的实现方式，RPA流程组件化编排装置，还包括：

企业权限确定模块，用于：

获取当前操作的企业信息；

根据当前操作的企业信息从数据信息中的匹配与当前操作的企业信息对应的对应关系。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种RPA流程组件化编排装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例中提供了一种电子设备，如图5所示，图5所示的电子设备包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备的结构并不构成对本申请实施例的限定。

处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。

存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例通过在接收到创建指令时，获取目标流程的若干目标动作ID和动作执行顺序；根据预设的动作ID与参数的对应关系确定每一目标动作的组件类型；当组件类型是公开组件时能够直接获取到相应的组件，若组件类型是非公开组件时，数据库中并不具有与之相应的组件，因而本方案获取与非公开组件相应的演示信息，进而利用演示信息自动生成目标组件，避免了相关技术中不存在非公开组件时无法得到组件，进而导致流程创建失败的情况发生。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种RPA流程组件化编排方法，其特征在于，包括：

当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序；

针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，所述目标动作ID对应的参数至少包括组件类型；

针对每一目标动作ID，当组件类型为非公开组件时，获取目标动作对应的演示信息，其中，所述目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成目标组件；

针对每一目标动作ID，当组件类型为公开组件时，根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件；

根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

2.根据权利要求1所述的RPA流程组件化编排方法，其特征在于，所述目标动作对应的演示信息包括多帧影像，且，多帧影像之间存在时间顺序；

所述根据目标动作对应的演示信息，生成目标组件，包括：

对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域；

针对同一窗口区域，获取第一灰度值，其中，所述第一灰度值包括同一窗口区域的多帧窗口影像各自对应的灰度值，窗口影像为同一窗口区域位于的影像；并根据第一灰度值从多帧窗口影像中确定关键帧组；

基于全部关键帧组，生成目标组件。

3.根据权利要求2所述的RPA流程组件化编排方法，其特征在于，在所述对每一帧影像进行窗口区域识别，得到每一帧影像对应的若干窗口区域之后，还包括：

针对同一窗口区域，确定窗口区域中多个窗口字符位置，其中，每一窗口字符位置存在于窗口区域对应的多帧窗口影像中；

相应的，所述根据第一灰度值从多帧窗口影像中确定关键帧组，包括：

针对同一窗口区域，根据第一灰度值，确定全部窗口字符位置各自对应的灰度值；并根据所述全部窗口字符位置各自对应的灰度值，确定若干目标字符位置；

将每一存在任一目标字符位置的窗口影像确定为关键帧，并基于全部关键帧得到关键帧组。

4.根据权利要求1所述的RPA流程组件化编排方法，其特征在于，在所述根据目标动作对应的演示信息，得到目标组件之后，还包括：

将目标组件作为公开组件，并根据目标组件和目标组件信息更新公开组件库，其中，目标组件信息至少包括与目标组件对应的目标动作ID和应用软件名称及版本。

5.根据权利要求1所述的RPA流程组件化编排方法，其特征在于，所述获取目标动作对应的演示信息，包括：

发送提示指令至显示界面，其中，提示指令用于约束用户以规定方式演示目标动作；

当检测到演示完成后，获取目标动作的演示信息。

6.根据权利要求1至5任一项所述的RPA流程组件化编排方法，其特征在于，所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数之前，还包括：

判断创建指令的指令类型是否为在生成目标流程后立即执行，其中，创建指令至少包括指令内容和指令类型；

若是，则确定创建指令所属目标流程的所有目标动作ID对应的组件类型均为公开组件；

若否，则执行所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数的步骤。

7.根据权利要求1至5任一项所述的RPA流程组件化编排方法，其特征在于，在所述针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数之前，还包括：

获取当前操作的企业信息；

根据所述当前操作的企业信息，从数据信息中的匹配与所述当前操作的企业信息对应的对应关系。

8.一种RPA流程组件化编排装置，其特征在于，包括：

基本信息获取模块，用于当接收到目标流程的创建指令时，获取目标流程的基本信息，其中，基本信息至少包括若干目标动作ID和动作执行顺序；

参数获取模块，用于针对每一目标动作ID，根据预设的动作ID与参数的对应关系和目标动作ID，得到目标动作ID对应的参数，其中，所述目标动作ID对应的参数至少包括组件类型；针对每一目标动作ID，当组件类型为非公开组件时触发目标组件生成模块，当组件类型为公开组件时触发目标公开组件获取模块；

目标组件生成模块，用于获取目标动作对应的演示信息，其中，所述目标动作对应的演示信息为人工演示目标动作的相关影像；并根据目标动作对应的演示信息，生成目标组件；

目标公开组件获取模块，用于根据预设的公开组件与动作ID的对应关系和目标动作ID，得到目标动作ID对应的目标公开组件；

目标流程生成模块，用于根据目标流程对应的全部组件和动作执行顺序，生成目标流程。

9.一种电子设备，其特征在于，包括：

至少一个处理器；

存储器；

至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1～7任一项所述的RPA流程组件化编排方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的RPA流程组件化编排方法。

Images