CN113950665A

CN113950665A - 使用序列提取的机器人过程自动化(rpa)的过程理解

Info

Publication number: CN113950665A
Application number: CN202080041607.8A
Authority: CN
Inventors: C·伯格; G·巴雷罗; C·帕克
Original assignee: Yupas Co
Current assignee: Yupas Co
Priority date: 2019-09-19
Filing date: 2020-09-18
Publication date: 2022-01-18
Also published as: WO2021055674A1; KR20220062228A; EP3948722A1; EP3948722A4; JP2022548437A; US20210086354A1; US11433536B2

Abstract

排序模型可以被用于应用的工作流的捕获步骤。排序模型可以确定用于捕获步骤的过程和状态转换。变化、判断动作或基于规则的动作可以基于排序模型以及与捕获步骤有关的动作的日志文件的改变而被标识。层级结构可以基于所标识的变化、判断动作或基于规则的动作而被生成，以自动生成用于机器人的机器人的过程自动化(RPA)的自动化工作流。

Description

使用序列提取的机器人过程自动化(RPA)的过程理解

相关申请的交叉引用

本申请要求于2019年9月19日提交的美国申请号16/575,600的权益，该申请的内容通过引入并入本文。

背景技术

机器人过程自动化(RPA)可以使得企业平台、虚拟机(VM)配置、远程桌面、云计算、桌面应用、移动应用等中的重复操作、功能或工作流自动化。包括活动、状态、任务等的某些过程对于RPA的自动化可能是关键的、优先的或高价值的。特别是当部分或全部手动执行时，针对RPA的发现、捕获、挖掘、标识、设计等过程可能是时间、资源或计算密集型的。附加地，在RPA自动化中，人工发现或设计可能不期望地暴露用于企业或移动应用的个人信息或数据。

为了理解RPA中的过程，序列或模式可以从应用、用户等日志、记录或文件中确定或提取。现有的序列提取配置可能错过、误解或重叠使得RPA的应用的过程自动化的关键任务。期望利用RPA的关键或优先任务的序列提取来发现过程和状态转换。

发明内容

给出了使用序列或模式提取来发现、挖掘、捕获等不同的过程和状态转换，并且通过(多个)机器人过程自动化(RPA)机器人对过程或任务进行优先级排序以用于自动化的方法和装置。工作流可以被设计或重新设计为由RPA自动化，同时减少手动输入。过程文档可以基于过程理解而被生成并且导出。

附图说明

从以下结合附图以示例方式给出的描述中可以得到更详细的理解，其中附图中相同的附图标记指示相同的元素，并且其中：

图1A是机器人过程自动化(RPA)开发、设计、操作或执行的图示；

图1B是RPA开发、设计、操作或执行的另一图示；

图1C是计算系统或环境的图示；

图2是发现、挖掘或标识过程序列或模式的图示；

图3是分析用于序列或模式提取的日志文件或记录文件的随机性的图示；

图4是通过对用于在日志文件或记录文件中提取的序列标识进行聚类动作的序列或模式提取的图示；

图5是用于过程理解的序列或模式提取的图示；以及

图6是用于对过程理解进行自动化排序或模式提取并且使机器人的过程自动化的工作流进行自动化的图示。

具体实施方式

对于在本文中描述的方法和过程，所记载的步骤可以以任何顺序无序地执行，并且未明确描述或示出的子步骤可以被执行。附加地，“耦合”或“可操作地耦合”可以指对象被链接，但在所链接的对象之间可以具有零个或多个中间对象。而且，所公开的特征/元素的任何组合可以在一个或多个实施例中被使用。当涉及使用“A或B”时，它可以包括A、B或A和B，这可以类似地扩展到更长的列表。当使用符号X/Y时，它可以包括X或Y。备选地，当使用符号X/Y时，它可以包括X和Y。X/Y符号可以类似地扩展到具有相同解释逻辑的较长列表。

图1A是机器人过程自动化(RPA)开发、设计、操作或执行100的图示。有时被称为工作室、开发平台、开发环境等的设计器102可以被配置为生成用于机器人执行或自动化一个或多个工作流的代码、指令、命令等。根据计算系统可以提供给机器人的(多个)选择，机器人可以确定由用户或操作员所选择的视觉显示的(多个)区域的代表数据。作为RPA的一部分，诸如正方形、矩形、圆形、多边形、自由形式等的多维形状可以被用于与计算机视觉(CV)操作或机器学习(ML)模型相关的UI机器人开发和运行时间。

可以由工作流完成的操作的非限制性示例可以是执行登录、填写表格、信息技术(IT)管理等中的一项或多项。不论应用访问或应用开发如何，为了运行用于UI自动化的工作流，机器人可能需要唯一地标识特定的屏幕元素，诸如按钮、复选框、文本字段、标签等。应用访问的示例可以是本地、虚拟、远程、云、

远程桌面、虚拟桌面基础结构(VDI)等。应用开发的示例可以是WIN32、Java、Flash、超文本标记语言(HTML)、HTML5、可扩展标记语言(XML)、Javascript、C#、C++、Silverlight等。

工作流可以包括但不限于任务序列、流程图、有限状态机(FSM)、全局异常处理程序等。任务序列可以是用于处理一个或多个应用或窗口之间的线性任务的线性过程。流程图可以被配置为处理复杂的业务逻辑，通过多个分支逻辑运算符、以更多样的方式来实现集成决策和连接活动。FSM被配置用于大工作流。FSM可以在其执行中使用有限数目的状态，其执行可以由条件、转换、活动等触发。全局异常处理程序可以被配置为在遇到执行错误时，确定工作流行为，以用于调试过程等。

机器人可以是应用、小应用程序、脚本等，其可以使得对底层操作系统(OS)或硬件透明的UI自动化。在部署时，一个或多个机器人可以由有时被称为编排器的指引器104管理、控制等。指引器104可以指示或命令(多个)机器人或自动化执行器106执行或监测主机、web、虚拟机、远程机器、虚拟桌面、企业平台、(多个)桌面应用、浏览器等客户端、应用或程序中的工作流。指引器104可以用作中心或半中心点，以指示或命令多个机器人使得计算平台自动化。

在某些配置中，指引器104可以被配置用于供应、部署、配置、排队、监测、日志记录和/或提供互连性。供应可以包括创建和维护(多个)机器人或自动化执行器106和指引器104之间的连接或通信。部署可以包括确保向所分配的机器人交付程序包版本以用于执行。配置可以包括机器人环境和过程配置的维护和交付。排队可以包括提供对队列和队列项的管理。监测可以包括跟踪机器人标识数据并且维护用户权限。日志记录可以包括将日志存储和索引到数据库(例如，SQL数据库)和/或另一存储机制(例如，

其提供存储和快速查询大数据集的能力)。指引器104可以通过充当第三方解决方案和/或应用的集中式通信点来提供互连性。

(多个)机器人或自动化执行器106可以被配置为无人值守108或有人值守110。对于无人值守的108操作，自动化可以在没有第三方输入或控制的情况下被执行。对于有人值守的操作110，自动化可以通过从第三方组件接收输入、命令、指令、指导等而被执行。

(多个)机器人或自动化执行器106可以是运行设计器102中构建的工作流的执行代理。用于UI或软件自动化的(多个)机器人的商业示例是uipathRobots^TM。在一些实施例中，(多个)机器人或自动化执行器106可以默认地安装

服务控制管理器(SCM)管理的服务。结果，这样的机器人可以在本地系统帐户下打开交互式

会话，并且具有

服务的权限。

在一些实施例中，(多个)机器人或自动化执行器106可以以用户模式被安装。这些机器人可以具有与安装给定机器人的用户相同的权限。该特征还可用于高密度(HD)机器人，该机器人确保在诸如HD环境中的最大性能下完全利用每个机器。

在某些配置中，(多个)机器人或自动化执行器106可以被分割、分布或类似地划分为若干组件，每个组件专用于特定的自动化任务或活动。机器人组件可以包括SCM管理的机器人服务、用户模式机器人服务、执行器、代理、命令行等。SCM管理的机器人服务可以管理或

会话并且充当指引器104和执行主机(即，在其上执行(多个)机器人或自动化执行器106的

)之间的代理。这些服务可以信任(多个)机器人或自动化执行器106并且管理(多个)机器人或自动化执行器106的凭证。

用户模式机器人服务可以管理和

会话，并且充当指引器104和执行主机之间的代理。用户模式机器人服务可以信任并且管理针对机器人的凭证。如果SCM管理的机器人服务未被安装，则

应用可以被自动启动。

执行器可以在

会话下运行给定作业(即，它们可以执行工作流)。执行器可以知道每监测点每英寸(DPI)设置。代理可以是在系统托盘窗口中显示可用作业的窗口呈现基础(WPF)应用。代理可以是服务的客户端。代理可以请求开始或停止作业并且改变设置。命令行可以是服务的客户端。命令行是可以请求启动作业并且等待其输出的控制台应用。

在(多个)机器人或自动化执行器106的组件如上所述被拆分的配置中，帮助开发者、支持用户和计算系统更容易地运行、标识和跟踪每个组件的执行。可以以这种方式为每个组件配置特定行为，诸如为执行器和服务建立不同的防火墙规则。在一些实施例中，执行器可以知道每个监测器的DPI设置。结果，不论在其上创建工作流的计算系统的配置如何，工作流可以在任何DPI处被执行。来自设计器102的项目也可以独立于浏览器缩放级别。对于不知道DPI或有意标记为不知道的应用，DPI在一些实施例中可以被禁用。

图1B是RPA开发、设计、操作或执行120的另一图示。工作室组件或模块122可以被配置为生成用于机器人执行一个或多个活动124的代码、指令、命令等。用户接口(UI)自动化126可以由客户端上的机器人使用一个或多个驱动(driver)组件128来执行。机器人可以使用计算机视觉(CV)活动模块或引擎130来执行活动。其它驱动132可以由机器人利用用于UI自动化以获得UI元素。它们可以包括OS驱动、浏览器驱动、虚拟机驱动、企业驱动等。在某些配置中，CV活动模块或引擎130可以是用于UI自动化的驱动。

图1C是计算系统或环境140的图示，计算系统或环境140可以包括总线142或用于通信信息或数据的其它通信机制，以及与总线142耦合用于处理的一个或多个处理器144。一个或多个处理器144可以是任何类型的通用或专用处理器，包括中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、多核处理单元、三维处理器、量子计算设备或其任何组合。一个或多个处理器144还可以具有多个处理核，并且至少一些核可以被配置为执行特定功能。多并行处理也可以被配置。附加地，至少一个或多个处理器144可以是包括模拟生物神经元的处理元件的神经形态电路。

存储器146可以被配置为存储要由(多个)处理器144执行或处理的信息、指令、命令或数据。存储器146可以由随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、固态存储器、高速缓存、诸如磁盘或光盘的静态存储装置或任何其它类型的非暂态计算机可读介质或其组合的任何组合组成。非暂态计算机可读介质可以是可由(多个)处理器144访问的任何介质并且可以包括易失性介质、非易失性介质等。介质也可以是可移动的、不可移动的等。

通信设备148可以被配置为频分多址(FDMA)、单载波FDMA(SC－FDMA)、时分多址(TDMA)、码分多址(CDMA)、正交频分复用(OFDM)、正交频分多址(OFDMA)、全球移动通信系统(GSM)、通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、cdma2000、宽带CDMA(W－CDMA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、高速分组接入(HSPA)、长期演进(LTE)、高级LTE(LTE－A)、802.11x、Wi-Fi、Zigbee、超宽带(UWB)、802.16x、802.15、家庭节点B(Hnb)、蓝牙、射频识别(RFID)、红外数据关联(RFID)、近场通信(NFC)、第五代(5G)、新无线电(NR)或用于经由一个或多个天线进行通信的任何其他无线或有线设备/收发器。天线可以是单天线、阵列天线、相控天线、切换式天线、波束形成天线、波束控制天线等。

一个或多个处理器144还可以经由总线142而被耦合到显示器设备150，诸如等离子体、液晶显示器(LCD)、发光二极管(LED)、场发射显示器(FED)、有机发光二极管(OLED)、柔性OLED、柔性衬底显示器、投影显示器、4K显示器、高清晰度(HD)显示器、

显示器、基于面内切换(IPS)的显示器等。如本领域普通技术人员对于输入/输出(I/O)所理解的，显示器设备150可以被配置为触摸、三维(3D)触摸、多输入触摸、或者使用电阻、电容、表面声波(SAW)电容、红外、光学成像、色散信号技术、声脉冲识别、受抑全内反射等的多触摸显示器。

键盘152和诸如计算机鼠标、触摸板等的控制设备154可以被进一步耦合到总线142以用于输入到计算系统或环境140。附加地，输入可以经由与其通信的另一计算系统而被远程地提供给计算系统或环境140，或者计算系统或环境140可以自主地操作。

存储器146可以存储在由一个或多个处理器144执行或处理时提供功能的软件组件、模块、引擎等。这可以包括用于计算系统或环境140的OS 156。模块还可以包括自定义模块158来执行应用特定过程或其衍生过程。计算系统或环境140可以包括一个或多个附加功能模块160，一个或多个附加功能模块160包括附加功能。

计算系统或环境140可以被适配或配置为作为服务器、嵌入式计算系统、个人计算机、控制台、个人数字助理(PDA)、蜂窝电话、平板计算设备、量子计算设备、云计算设备、移动设备、固定移动设备、智能显示器、可穿戴计算机等来执行。

在本文给出的示例中，模块可以被实现为硬件电路，硬件电路包括自定义的超大规模集成(VLSI)电路或门阵列、现成的半导体(诸如逻辑芯片)、晶体管或其它分立组件。模块还可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备、图形处理单元等的可编程硬件设备中被实现。

模块可以以由各种类型的处理器执行的软件来至少部分地实现。可执行代码的标识单元可以包括计算机指令的一个或多个物理或逻辑块，计算机指令例如可以被组织为对象、过程、例程、子例程或函数。所标识的模块的可执行程序共同位于或存储在不同的位置中，使得当逻辑地结合在一起时包括模块。

可执行代码模块可以是在若干不同代码段上、不同程序之间、跨若干存储器设备等分布的单个指令、一个或多个数据结构、一个或多个数据集、多个指令等。操作或功能数据在本文中可以在模块内标识和图示，并且可以以合适的形式被体现并且被组织在任何适当类型的数据结构内。

在本文给出的示例中，计算机程序可以被配置在硬件、软件或混合实现方式中。计算机程序可以由彼此有效通信并且传递信息或指令的模块组成。

图2是发现、挖掘或标识过程序列或模式200的图示。记录器或收集器应用、小应用程序、数据结构、软件组件等可以被直接或间接地从服务提供商或中央管理下载(1)。记录器或收集器可以透明地且非阻碍地监测企业应用、企业平台、虚拟机(VM)、远程桌面、桌面应用、移动应用等上的工作。记录或收集可以由编排器或类似组件操作的一个或多个机器人执行，用于随后的RPA自动化。

记录器或收集器可以被配置或布置为使得现有实现方式需要最少的重新设计。记录器或收集器可以部分地在中央、分布式、分散式或基于云的位置等中操作。(多个)遥测输入或数据也可以由记录器或收集器用于如本文所述的排序。类似于来自记录器或收集器的其它数据流，遥测可以被用作附加数据点来对动作、状态、序列或过程进行聚类或定义。遥测还可以向产品或应用使用提供有用的反馈，这将实现进行基本上实时的推荐、建议等。在本文给出的某些配置中，连续模型改进可以被配置为基于自动生成的一个或多个工作流来构建标准化功能库。

一个或多个用户202中的用户或手动输入源可以被配置或利用来选择多个组中的至少一个组以捕获组的工作或数据(2)。在某些配置中，组可以基于类似任务的执行来形成。此外，所捕获的工作或数据可以被加密、压缩、保护等。所捕获的工作或组的数据可以被存储在日志文件或记录文件中。所捕获的数据的源可以包括视频、屏幕截图、具有时间戳的屏幕截图、元数据文件、数据库等。

日志文件可以包括一个或多个屏幕截图、每个客户的屏幕截图、树数据、域对象模型(DOM)树数据、UI元素、一个或多个选择器、动作类型、剪贴板内容、用户计算活动等。日志文件或记录文件可以被更新，以用于集中式、云等分析。分析可以显示过程的进展。此外，日志文件或记录文件的类似或公共动作可以被标识以生成日志文件或记录文件的新版本，新版本包括以簇、组等表示的动作序列。

日志文件或记录文件可以包括屏幕截图、树数据或有噪声、动态或可变的选择器，使得将两个或更多动作标识或区分为相似或相同可以是非平凡的。相似UI元素的标识可以通过矢量化、选择和使用光学字符识别(OCR)而被执行。对于OCR，时间共享的多对多搜索算法可以被利用以基于一个或多个屏幕截图、UI元素等的OCR来标记过程迭代。在某些配置中，分类隐马尔可夫模型可以被利用用于具有自回归分量的子过程标识，用于解决错误选择器变化的树状图等。

在某些配置中，具有自动化层信息的日志文件和具有所有适用元数据的屏幕截图可以使用各种动态技术而被聚类，从而以用于智能动作、状态或序列表示的合适格式来表示未知数据。例如，贝叶斯和概率建模以及启发式过程可以被配置为标识针对正确序列表示的最优或期望簇。

针对RPA的序列或模式提取可以被修改为识别频繁出现的短并且无意义的序列。过程发现或挖掘可以被配置为基于日志文件或记录文件来标识过程、可预测动作、可重复动作、可标识动作系列等。过程挖掘还可以允许标识相对于自动化或RPA的成本具有高影响的过程。在某些配置中，这可以在没有或有限访问已知模式和专有信息技术(IT)系统或网络配置的情况下实现。

可视化可以被配置为构建用于过程理解或RPA自动化的工作流。例如，自定义可视化可以被配置为通过变化距离阈值来产生可预测的过滤结果。利用Timelinepi生成的可视化也可以被用于本文中给出的用于自动化工作流生成和过程理解的示例。在某些配置中，记录查询系统(SOR)可以被用于构建RPA自动化的工作流，其中基于规则、基于判断、时间或处理判定等之间的区分可以是较低的优先级。

在某些配置中，工作流可以通过导出隐式判定指标来自动配置。该过程可以显著降低RPA实现方式成本并且生成更好的结果。在实现方式之后，自动化工作流操作可以降低机器人重新设计成本。附加地，在本文中给出的示例中，标准、功能方法、逻辑组件等可以被用来使用针对RPA的序列或模式提取来发现、挖掘、捕获不同过程和状态转换。这可以在减少手动输入的同时实现。

在某些配置中，日志文件或记录文件可以包括屏幕截图、客户特定屏幕截图、树数据、数据选择器、活动选择器、动作类型、剪贴板内容等。序列或模式生成可以被配置为标识动作、生成用于动作的人类可读标签、动作动机、过程变化、过程开始状态、过程结束状态、过程执行时间等。状态可以包括准备注册新客户、记录更新、确认改变、错误状态、提交、打开、批准、计算机UI元素(诸如Win32UI自动化)等。

在某些配置中，标识用于自动化的过程序列或模式可以利用使用记录器或收集器的配置来捕获企业应用、企业平台、VM、远程桌面、桌面应用、移动应用等的详细过程。序列模型可以被配置为发现不同的过程和状态转换。序列模型可以区分有意义的和无关的变化、判断动作、基于规则的动作等。在某些配置中，排序可以作为挖掘操作的一部分而被执行。

层级结构可以基于所发现的或挖掘的不同过程和状态转换来生成。层级结构可以在抽象、功能方法或用于可实施性的页面对象的不同水平处被表示。页面对象可以是诸如提交按钮、登录、关闭窗口、最小化窗口等的代码对象。所发现的动作可以基于这些代码对象来描述并且一起搜索。该配置可以允许为所发现的或原样的任务和过程生成测试自动化脚本。在某些配置中，层级结构可以是在功能簇、扁平簇(fclusters)等之间具有重叠的指数衰减层级结构。层级结构还可以包括基于最佳簇长度的人工标记的过程迭代。

所发现的不同过程和状态转换还可以被生成，以用于视觉验证(3)。视觉验证可以利用手动输入或附加的机器人动作。所发现的不同过程和状态转换可以基于RPA自动化的临界状态、优先级、值等而被排名(4)。排名可以包括确定最高X序列、按p值排名、按熵排名等。

p值可以被用于确定假设检验或声明结果的显著性。该声明可以表示原假设。如果原假设被发现为假或不真，则备择假设可以是结果。p值可以在0和1之间，其中小的p值可以指示反对原假设的强证据或拒绝原假设。大的p值可以指示反对原假设的较弱证据或未能拒绝原假设。

在序列排名统计中，其中所提取的序列通过它们的p值被排名，排名可以利用多个其它统计量或参数来扩充。序列前缀和后缀的熵可以是对序列的后续或先前动作的不确定性进行量化的理想统计参数。例如，如果下一或先前动作具有低不确定性或熵，则将序列扩展为包括下一或先前最频繁的动作可以更合适。在另一配置中，基本上为零的后续步骤的熵可以表示它总是相同的动作，并且序列可以被扩展为包括该动作。序列排名中的熵可以通过基于p值和熵的乘积，对序列排序来配置。在某些配置中，熵可以是前缀和后缀熵之和。

通过进一步验证或重新建造所生成的工作流，过程智能可以被配置(5)。在本文给出的示例中，过程设计或重新设计可以被配置为将灵活的过程设计文档(PDD)用于工作流导出204和RPA(6)。导出可以包括机器人配置细节、操作变量、操作参数、故障排除等，以辅助或实现RPA。

图3是分析日志文件或记录文件的随机性以用于序列或模式提取300的图示。序列或模式提取可以被配置为对日志文件或记录文件的新版本中出现的动作序列进行比较。在某些配置中，比较可以涉及确定序列或模式随机性(302)，并且最小随机性可以被选定或选择作为可动作或有价值任务的候选。候选动作可以根据期望，基于随机性或另一指标来排名(304)。候选项的子集、子组、子部分等可以被标记。候选动作(306)的子集、子组、子部分等可以表示个体的候选项或类。候选可以是这样的序列或子序列，即，对于序列或子序列，单独地或与其它序列结合地测试显著性以作为所发现的过程。穷举过程可以被配置为使得在频率上超过X个剪切频率的所有候选、排列、组合等可以被测试。日志文件的版本可以利用提取的个体序列或模式而被标记(308)。在某些配置中，序列可以根据质量、重要性、相关性等来排名。

排序或模式提取可以导致利用相关联的人类可读或可标识标签来标识动作。本文中给出的配置的其它结果可以包括采取动作的原因，包括过程的变化、确定相似或相同过程的不同动作、每个过程的开始和结束状态、过程时间跨度等。

图4是通过对用于在日志文件或记录文件400上进行提取的动作进行聚类以用于序列标识的序列或模式提取的图示。在某些配置中，序列或模式提取可以通过对用于序列标识的动作的行或列进行聚类，随后在action_clusters的日志文件或记录文件中执行提取来形成(402)。在日志中出现超过X个剪切时间的子序列、子模式等可以被标识(404)。子序列或子模式可以基于序列或模式出现的似然值大于由日志文件确定或基于随机化日志文件(406)确定的预期而排序(406)。在其它配置中，如果日志是随机的，则子序列、子模式等也可以基于序列或模式出现的似然值超过预定次数而被排序。从一个或多个簇生成工作流用于机器人自动化(408)。

在某些配置中，cluster_indices的统计模型可以被利用，其中每个行或列可以是随机的，每个动作的概率等于日志文件或记录文件内的频率。序列实例可以使用用于快速搜索的Patricia trie数据结构等来提取和表示。Patricia trie可以是基数2或二进制trie的变型，其中节点可以存储区别两个子树的第一比特的位置，而不是显式地存储每个关键字的每个位。在遍历期间，搜索关键字的索引比特可以被检查，并且左或右子树可以被选择。

在用于过程理解的统计序列或模式模型中，来自一个或多个日志文件或记录文件的频繁序列可以基于一个或多个应用参数而被提取。在用于频繁序列提取的诸如Prefixspan的数据挖掘中，一些结果可能是不期望的，特别是可能是低优先级的短频繁序列。在某些配置中，序列的统计模型可以被利用以找到超出最频繁的统计上最相关的序列。例如，随机序列模型配置可以假设日志中的每个行是与先前或后续动作不相关的独立随机动作。

在随机序列模型配置中，每个动作的概率可以使用它们在日志文件或记录文件中的频率来建模。例如，对于日志L＝r0，r1，r2，...，rN，动作a_i可以被分配概率P[a_i]＝|{i：r_i＝＝a_i}|/N。即，由该动作表示的日志部分。日志的多个或所有子序列可以通过出现概率、使用p值、随机化等进行排名或排序。在某些配置中，使用p值的模型可以基于原假设和随机化日志。在某些配置中，当与随机试验比较时经常发生或大于预定量的序列可以被选择或表示统计重要性。

对于某些模型，在给定某些概率的情况下计算长度为1的序列S在长度为N的日志文件或记录文件中出现n次的概率可能是密集的。作为响应，通过精确序列匹配的近似可以被执行，其中序列提取和分级基于序列中的精确匹配。在某些配置中，精确序列可以是在没有显著滞后、间隙等的情况下，在日志或记录中准确出现的序列S。近似在该配置中可以通过建模为N/1个伯努利试验的序列而被执行，其中每个试验的概率由长度为l的任何给定序列等于S的先验概率给出。

近似也可以对具有滞后、间隙等的滞后序列或模式匹配执行。如果序列是S_X＝s_ 0，s_1，s_2并且日志或记录包含序列[s_0，s_1，R，s_2]，其中R是任何动作，则这可以被标识或计数为S_X的出现。在某些配置中，由于滞后、间隙等，S_X可以被指定为具有减小的权重。

在序列或模式提取之后，去噪可以通过找到顶部序列与优化目标函数(诸如最小化p值)的日志或记录的对准而被执行。在该配置中，原始日志或记录中的行将被忽略。优化目标函数可以降低在序列中保持行或列的同时，忽略日志或记录中的行或列的随机机会的概率。

经去噪的日志文件或记录文件可以包括原始日志的原始元素或部分。为了有效地优化，递归或层级结构提取可以被执行。递归可以通过对现有去噪日志或记录进行迭代提取和去噪而被执行。该操作可以清除或改进日志或记录，其代价是去除部分信号以及数据中的噪声。在该配置中，量化或近似数据的丢失信号部分可能是困难的。

层级结构序列或模式提取可以通过构造平铺日志文件或记录文件而被执行。在某些配置中，平铺日志或记录文件可以包括被用于平铺和形成去噪日志或记录的序列标识的序列。可以是关键的所提取的序列的日志可以被平铺，以在日志本身中找到序列实例。该操作还可以被执行，以通过保留日志中可以被重要序列覆盖的部分来对日志去噪。层级结构提取可以涉及对平铺日志的重复提取、去噪和递归。层级结构序列或模式提取可以挤压平铺日志，使得动作的重复序列或模式可以被简化为单个动作或序列实例。例如，挤压可以将(1，1，1，2，2，2，2，3，2，1，1，1)减少到(1，2，3，2，1)。某些挤压算法可以涉及在平铺算法中保存序列，以生成用于最终递归级的去噪日志。该序列或模式提取对于具有低噪声的数据是理想的。

序列或模式提取可以被重复以确定任务、动作等的层级结构流。使用层级结构流表示所描述的动作可以导致基于关键词和屏幕截图的混淆版本的多级抽象。所发现的流可以针对RPA进行优先级排序。

在某些配置中，序列或模式提取可以基于动作类型和频率来检查日志文件或记录文件中的出现。在时段中发生的动作可以被标记、表征、区分等。后续动作集可以被预定义、设置、用户定义等。统计模型可以选择在具有最小随机发生分布的动作之后发生的动作，并且将动作关联为一个或多个序列。该操作可以是迭代的，以构建或构造更长的序列或模式。该序列或模式提取对于具有更多噪声和更多随机性的数据可以是理想的。

对于中小企业(SME)、卓越中心(COE)、单个用户、商业分析(BA)、RPA开发等，使用序列或模式提取来发现、挖掘或标识不同的过程和状态转换可以是合乎需要的。对于SME，用于记录或解释当前过程和策略的时间的减少可以被实现。改进的隐私和共享控制还可以通过排除手动输入而被实现。当过程理解在本地操作或配置时，改进的隐私和共享控制也可以被实现。

BA或COE实现方式可以受益于快速对RPA过程或任务进行优先级排序，通过记录人类商业操作来降低成本，通过对通常分配给无经验用户的复杂任务进行自动化来降低风险，或者更好地遵从具有改进的记录过程的组织策略。附加地，RPA开发可以通过自动化PDD和草案工作流生成来加速。由于标准化的层级结构，较少的代码维护时间可以是另一期望的结果。

在某些配置中，自动生成的工作流可以在部署之外被跟踪，以增强或改进可扩展应用标记语言(XAML)导出。在排序期间，对于任务或甚至完整工作流的多个良好输出候选项，初始执行功能可以被配置为测试现场性能、请求手动输入、建议选项的简化列表、建议下一步骤、执行推断验证等。

再次参考日志或记录平铺，精确匹配操作可以如下配置。序列或模式可以按长度分类，诸如从最长到最短。在每个日志或记录的开始处，与从当前日志位置开始的日志相匹配的最长序列可以被搜索。一旦最长的匹配序列被找到，该操作可以移动到刚刚找到的序列的末尾处的日志中的点，并且重复直到基本上完成整个日志。

在基于密度的操作中，日志或文件可以使用具有最高p值密度的序列实例而被平铺。密度日志或文件平铺可以容忍滞后，诸如可以在序列实例内发生的一个或多个额外动作。具有或不具有滞后的每个序列的每个实例可以被找到，并且然后按p值密度排序。对于某些配置，p值密度可以是序列p值与序列实例的总长度之比。从最大p值密集开始的每个实例可以被选择并且被包括在平铺中。如果序列实例包含日志中未包含在已使用序列实例中的至少一行并且序列不与任何其他已使用序列实例共享其起始行，则可以执行该操作。在某些配置中，密度日志或文件平铺可以允许序列实例重叠而不允许两个序列完全重叠，或者允许两个序列在同一位置处开始，但包含不同数量的滞后、间隙等。序列重叠可以被期望发现重叠的过程片段，并且真正的过程可以是两个或更多个序列的级联。

在某些配置中可能需要基于滞后的平铺。基于滞后的平铺可以允许滞后并且不允许序列重叠。一个行的日志可以被一次处理，并且具有最高p值密度的滞后序列开始于所找到或发现的预定位置。一旦序列被选择，则该过程可以在序列实例终止之后移动到日志中的下一行。

在本文中给出的示例中，对于动作标识，具有屏幕截图、UI元素、选择器等的一个或多个日志或记录可能是有噪声的和动态的，以指出两个动作可能看起来相似或相同。使用选择器或使用OCR引擎的矢量化可以被利用以确定与同一选择器、UI元素等的交互。如果两个选择器在DOM树的图中接近，则矢量化可以指定它们是相似的。感兴趣的标签集可以被定义，诸如“名称”、“角色”等，并且日志中的每个行可以使用第一和最后选择器元素中的标签、使用标记而被分配。具有基本上相同的标记的其它行的行可以被聚类。在某些配置中，具有少于min_samples成员、在运行时指定的参数或在没有手动输入的情况下自动确定的参数的聚类可以被视为噪声。

使用选择器的动作标识可以基于一个或多个选择器中的字之间的相关性来进行聚类。所有字或字符的字母数字串的集合可以在第一和最后的选择器元件中被形成，并且被任意或随机地排序为字w_i。日志或记录行可以被表示为矢量，其中如果该行选择器包含w_i，则矢量的第i个元素为1，否则为0。主分量分析(PCA)可以对这些矢量执行。在某些配置中，PCA可以被配置为使得总变化的90％被保留。聚类可以使用k均值来对这些矢量执行，其中一定范围的聚类数量被尝试。诸如基于轮廓得分使得聚类质量的无监督指标最大化的聚类可以被选择。基于密度的应用空间聚类(DBSCAN)聚类也可以使用由最终k均值聚类确定的参数而被配置。

此外，利用OCR的动作标识可以类似于基于选择器的标识而被执行，但是在OCR输出中而不是在选择器元件上使用字或字母数字串来生成矢量。在某些配置中，在OCR输出中使用字或字母数字串来生成矢量可以被称为action_clusters。在该配置中，具有100k行的日志可以基于min_samples设置而生成100和1000个唯一动作。

图5是用于过程理解500的序列或模式提取的图示。对于该配置，序列或模式提取可以包括如下给出的1)提取，2)去噪，3)递归和4)层级结构提取。在对行进行聚类以标识动作之后，可以对action_clusters的日志或记录执行序列或模式提取(502)。在日志中出现多于X个剪切时间的一个或所有子序列可以被标识。剪切可以少至1倍。子序列可以基于预定时间在随机日志中出现的不可能性而被排序。可以使用cluster_indices的统计模型，其中每个行是随机的，每个动作的概率等于其在日志中的频率。序列实例可以使用patriciatrie数据结构来提取和表示。

去噪可以通过找到顶部序列与日志的对准来对所提取的序列执行，这将p值最小化，从而允许在忽略原始日志中的一个或多个行而忽略序列中的一个或多个行。将日志中的p值最小化可以包括使得其不太可能随机发生。日志平铺或近似可以被执行，以用于对优化进行去噪。通过对先前去噪的日志重新执行提取和去噪，递归可以在某些配置中被使用。

层级结构序列提取(506)可以通过构造平铺日志而被执行，以用于序列提取。在某些配置中，递归可以被用于层级结构序列提取。平铺日志可以是在步骤3)中用于平铺和形成去噪日志的序列标识的序列。层级结构序列提取可以被配置为在平铺日志上迭代步骤1)－3)。还可以通过将动作的重复序列减化为单个动作、减少动作数量、序列实例等来对平铺日志或记录执行挤压。层级结构序列提取可以被配置为保存在平铺配置中使用的序列，以生成用于最终递归的去噪日志。

图6是用于过程理解和将机器人600的过程自动化工作流自动化的自动化排序或模式提取的图示。应用的手动工作流的步骤可以被捕获、记录、收集等(602)。所捕获的步骤可以被存储在日志文件或记录文件中。所捕获的手动工作流的排序模型可以被确定或选择(604)。排序模型可以包括用于所捕获的手动工作流的多个不同的过程和状态转换。多个不同过程和状态转换的变化、判断动作或基于规则的动作可以基于排序模型而被标识(606)。变化可以基于与所捕获的步骤有关的动作的日志文件的改变。层级结构可以基于所标识的变化、判断动作或基于规则的动作而被生成(608)。基于所生成的层级结构来自动设计或重新设计和导出自动化工作流，以由(多个)机器人进行过程自动化(610)。

尽管以上以特定组合描述了特征和元素，但是本领域普通技术人员将理解，每个特征或元素可以被单独使用或与其他特征和元素任意组合使用。附加地，本文中所描述的方法可以在计算机可读介质中并入的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读介质的示例包括电子信号(通过有线或无线连接发送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质以及诸如CD-ROM盘和数字多功能盘(DVD)的光介质。

Claims

1.一种计算设备，包括：

处理器；以及

存储器；并且

所述处理器被配置为从所述存储器取回应用的工作流的捕获步骤，以利用用于所述捕获步骤的排序模型，其中所述排序模型确定用于所述捕获步骤的多个过程和状态转换；

所述处理器被配置为基于所述排序模型以及与所述捕获步骤有关的动作的日志文件的改变来标识所述多个过程和状态转换的变化、判断动作或基于规则的动作中的至少一项；

所述处理器被配置为基于所标识的所述变化、所述判断动作或所述基于规则的动作而生成层级结构；并且

所述处理器被配置为基于所生成的所述层级结构而自动生成自动化工作流，以用于机器人的过程自动化。

2.根据权利要求1所述的计算设备，其中所述排序模型标识在行中出现多于预定次数的子序列或子模式。

3.根据权利要求1所述的计算设备，其中所述捕获步骤被随机化，并且所述排序模型标识发生超过预定次数的过程。

4.根据权利要求1所述的计算设备，其中遥测数据由所述排序模型利用。

5.根据权利要求1所述的计算设备，其中所述变化、判断动作或基于规则的动作被可视化以用于验证。

6.根据权利要求1所述的计算设备，其中所述多个过程中的每个被标识的过程被标记。

7.根据权利要求1所述的计算设备，其中所述动作包括以下中的一项：屏幕截图、树数据、域对象模型(DOM)数据、用户接口元素、选择器、动作类型、剪贴板内容或计算活动。

8.根据权利要求7所述的计算设备，其中所述动作按行被布置，所述行基于重复或排名而被聚类。

9.一种由计算设备执行的方法，所述方法包括：

取回应用的工作流的捕获步骤，以利用用于所述捕获步骤的排序模型，其中所述排序模型确定用于所述捕获步骤的多个过程和状态转换；

基于所述排序模型以及与所述捕获步骤有关的动作日志文件的改变来标识所述多个过程和状态转换的变化、判断动作或基于规则的动作中的至少一项；

基于所标识的所述变化、所述判断动作或所述基于规则的动作而生成层级结构；以及

基于所生成的所述层级结构而自动生成自动化工作流，以用于机器人的过程自动化。

10.根据权利要求9所述的方法，其中所述排序模型标识在行中出现超过预定次数的子序列或子模式。

11.根据权利要求9所述的方法，其中所述捕获步骤被随机化并且所述排序模型标识发生超过预定次数的过程。

12.根据权利要求9所述的方法，其中遥测数据由所述排序模型利用。

13.根据权利要求9所述的方法，其中所述变化、判断动作或基于规则的动作被可视化以用于验证。

14.根据权利要求9所述的方法，其中所述多个过程中的每个被标识的过程被标记。

15.根据权利要求9所述的方法，其中所述动作包括以下中的一项：屏幕截图、树数据、域对象模型(DOM)数据、用户接口元素、选择器、动作类型、剪贴板内容或计算活动。

16.根据权利要求15所述的方法，其中所述动作按行被布置，所述行基于重复或排名而被聚类。

17.一种计算设备，包括：

处理器；以及

存储器；并且

所述处理器被配置为从所述存储器中取回应用的工作流的捕获步骤，以利用用于所述捕获步骤的排序模型，其中所述排序模型确定用于所述捕获步骤的状态转换；

所述处理器被配置为基于所述排序模型以及与所述捕获步骤有关的动作日志文件的改变来标识所述状态转换的变化；

所述处理器被配置为基于所标识的所述变化而生成层级结构；并且

所述处理器被配置为基于所生成的层级结构而自动生成自动化工作流。

18.根据权利要求17所述的计算设备，其中所述排序模型标识在行中出现的次数大于预定次数的子序列或子模式。

19.根据权利要求17所述的计算设备，其中所述捕获步骤被随机化并且所述排序模型标识发生超过预定次数的过程。

20.根据权利要求17所述的计算设备，其中遥测数据由所述排序模型利用。