CN113748436A - 用于机器人流程自动化的机器学习模型再训练流水线 - Google Patents

用于机器人流程自动化的机器学习模型再训练流水线 Download PDF

Info

Publication number
CN113748436A
CN113748436A CN202080002353.9A CN202080002353A CN113748436A CN 113748436 A CN113748436 A CN 113748436A CN 202080002353 A CN202080002353 A CN 202080002353A CN 113748436 A CN113748436 A CN 113748436A
Authority
CN
China
Prior art keywords
model
training
data
computer
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080002353.9A
Other languages
English (en)
Inventor
P·辛格
M·A·伊达尔戈
A·麦戈尼尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupas Co
Original Assignee
Yupas Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupas Co filed Critical Yupas Co
Publication of CN113748436A publication Critical patent/CN113748436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)

Abstract

公开了一种用于机器人流程自动化(RPA)的机器学习(ML)模型再训练流水线。当将ML模型部署于生产或开发环境中时，RPA机器人在执行其工作流时向ML模型发送请求。当ML模型的置信度水平降至低于某个置信度时，潜在地从大量计算系统中收集训练数据。然后至少部分地使用收集到的训练数据来训练ML模型，并且部署ML模型的新版本。

Description

用于机器人流程自动化的机器学习模型再训练流水线
相关申请的交叉引用
本申请要求于2020年4月30日提交的美国非临时专利申请第16/864,000号的权益。该早前提交的申请的主题以其整体内容通过引用并入于此。
技术领域
本发明大体上涉及机器人流程自动化(RPA)，并且更具体地涉及用于RPA的机器学习(ML)模型再训练流水线。
背景技术
目前，不存在用于使反馈回路自动化以再训练ML模型的标准机制或过程。因此，改进的解决方案可以是有益的。
发明内容
本发明的某些实施例可以提供对本领域中尚未经当前RPA技术完全标识、了解或解决的问题和需求的解决方案。例如，本发明的一些实施例涉及用于RPA的ML模型再训练流水线。
在实施例中，一种用于实现用于RPA的ML模型再训练流水线的计算机实现的方法包括：由RPA机器人调用ML模型；以及由RPA机器人接收来自ML模型的执行的结果。该计算机实现的方法还包括：由RPA机器人确定一个或多个触发条件是否被满足以供标记针对ML模型的数据。当一个或多个触发条件被满足时，该计算机实现的方法还包括：由RPA机器人提示用户提供经标记的数据以供训练或再训练ML模型，并且向服务器发送经标记的数据以供训练或再训练ML模型；或者由RPA机器人将与来自ML模型的结果相关的信息添加至队列以供后续标记。
在另一实施例中，一种用于实现用于RPA的ML模型再训练流水线的计算机实现的方法包括：由RPA机器人确定一个或多个触发条件是否被满足以供标记针对ML模型的数据。当一个或多个触发条件被满足时，该计算机实现的方法还包括：由RPA机器人提示用户提供经标记的数据以供训练或再训练ML模型，并且向服务器发送经标记的数据以供训练或再训练ML模型；或者由RPA机器人将与来自ML模型的结果相关的信息添加至队列以供后续标记。
在又一实施例中，一种用于实现用于RPA的ML模型再训练流水线的计算机实现的方法包括：由RPA机器人调用ML模型；以及由RPA机器人接收来自ML模型的执行的结果。该计算机实现的方法还包括：由RPA机器人确定一个或多个触发条件是否被满足以供标记针对ML模型的数据。当一个或多个触发条件被满足时，该计算机实现的方法还包括：由RPA机器人提示用户提供经标记的数据以供训练或再训练ML模型，并且向服务器发送经标记的数据以供训练或再训练ML模型；或者由RPA机器人将与来自ML模型的结果相关的信息添加至队列以供后续标记。当一个或多个训练标准被满足时，该计算机实现的方法另外包括：由服务器使用经标记的数据来训练ML模型，以产生ML模型的新版本；以及由服务器部署ML模型的新版本。
附图说明
为了容易地理解本发明的某些实施例的优点，将通过参考在附图中图示的特定实施例来呈现上文简要描述的本发明的更具体的描述。虽然应理解，这些图仅描绘了本发明的典型实施例，并且因此不应该被认为是对本发明的范围的限制，但是本发明将通过附图的使用以附加的特异性和细节来描述和阐释，在附图中：
图1是图示了根据本发明的实施例的RPA系统的架构图。
图2是图示了根据本发明的实施例的部署的RPA系统的架构图。
图3是图示了根据本发明的实施例的设计器、活动与驱动(driver)之间的关系的架构图。
图4是图示了根据本发明的实施例的RPA系统的架构图。
图5是图示了根据本发明的实施例的被配置为实现用于RPA的ML模型再训练流水线的一部分的计算系统的架构图。
图6是图示了根据本发明的实施例的被配置为实现用于RPA的ML模型再训练流水线的系统的架构图。
图7是图示了根据本发明的实施例的用于针对RPA的ML模型再训练流水线的过程的流程图。
具体实施方式
一些实施例涉及针对RPA的ML模型再训练流水线。当将ML模型部署于生产(即，运行时)或开发环境中时，RPA机器人可以在执行其工作流时向ML模型发送请求。然而，ML模型性能可以随着时间流逝而降低和/或可以随着各种条件的变化而偏离期望的性能特征。例如，考虑了RPA机器人调用经过训练以标识狗的ML模型的情况。ML模型最初具有99％的置信度阈值，但随着ML模型在更多的狗图像和新品种中得到更广泛的使用，置信度阈值降至95％。
一些实施例采用一个或多个触发以发起经标记的数据的收集用于再训练。在不脱离本发明的范围的情况下，该触发可以包括但不限于：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果(例如相对于一堆用户不再落入正态分布内的ML模型预测)、落在先前观察到的范围之外的ML模型结果、注意到不期望的性能特征并且发起经标记的数据的收集用于再训练的人类用户(例如RPA开发者)和/或任何其他合适的触发。不同于确定性逻辑，在始终存在可以针对概率性ML模型提供“异常”的具体逻辑路径的情况下，应该采用其他类型的机制。
因此，在一些实施例中，何时触发经标记的数据收集(即，“人在回路”)是基于触发的。返回至标识狗的ML模型的以上示例，当置信度阈值降至低于95％时，可以要求人类用户输入。例如，可以向RPA机器人正在其上执行的计算系统的人类用户呈现进行校正的接口或选项。例如，人类用户可以审阅由ML模型进行的标识(例如“非狗”)，并且可以在标识错误的情况下进行校正。可以将不正确的图像和用户的校正作为训练数据发送到服务器(例如基于云的系统、数据中心、公司服务器、RPA提供者的(多个)服务器等)，并且RPA机器人可以继续进行其余的工作流的执行。
一些实施例可以针对有人值守的机器人或无人值守的机器人而被采用。在有人值守的自动化的上下文中，人类可以标记数据并与RPA机器人一起工作。考虑了在后台中运行并且对针对律师的合同条款进行分类的有人值守的RPA机器人。当再训练被触发时，可以提示律师选择条款的类型，并且该分类可以变成经标记的数据的一部分用于再训练。因而，在一些实施例中，对于由有人值守的RPA机器人调用的ML模型进行标记可以是同步的。
在无人值守的自动化的上下文中，RPA机器人可以向ML模型发送请求，该ML模型会返回预测和该预测的置信度。无人值守的RPA机器人然后可以评估置信度阈值和/或一些其他准则/标准是否被满足。如果不被满足，无人值守的RPA机器人可以将标记任务添加至任务队列以供用户稍后执行。因此，在一些实施例中，对于由无人值守的RPA机器人调用的ML模型进行标记可以是异步的。
服务器可以接收并且存储来自各种用户的训练数据。随着时间流逝，因此收集了一批经标记的训练数据。当预定时间段过去时、当接收到预定量的训练数据时、当接收到预定数量的训练数据样本时、当数据落在数据的某种分布(例如正态分布、二项式分布或任何其他统计分布)之外时、定制准则或标准、其任何组合等，可以使用收集到的训练数据来训练或再训练ML模型。训练可以仅使用收集到的训练数据而发生，或使用收集到的训练数据以及用于训练ML模型的当前版本的先前训练数据而发生。潜在地在没有人类动作的情况下，ML模型的新版本一旦经过训练或经过再训练就能被部署。
在一些实施例中，ML模型的新版本可以简单地替换先前版本，并且代替地，从RPA机器人工作流对ML模型的调用可以调用ML模型的新版本。在某些实施例中，可以向RPA机器人的用户的计算系统推出ML模型的新版本。在一些实施例中，可以修改RPA机器人的工作流以调用ML模型的新版本。在某些实施例中，RPA机器人可以首先尝试ML模型的新版本，并且如果未实现某个置信度则尝试ML模型的先前版本，以查看先前版本是否达到较高的置信度。在一些实施例中，RPA机器人可以调用ML模型的两个版本并且选择来自具有最高置信度的模型的输出。
一些实施例提供了用于ML模型监督的框架，该框架具有用于使人类校正ML模型预测以提高准确性的标准机制。在某些实施例中，用户可能不知道经标记的数据正在被捕获以供训练/再训练。在一些实施例中，在不需要编程知识的情况下，该标准框架可以用于收集训练数据并且提高针对各种业务过程的ML模型准确性。
在一些实施例中，样本收集的情况和时序是依赖于ML模型的。如果可接受的置信度阈值被用于ML模型，那么可以做出关于这些置信度阈值的商业或技术决策。如果假阴性非常不利(诸如在医学诊断、车辆控制模型等中)，那么阈值可以高(例如99.9％、99.9999％等)。如果事务速度很重要，那么较高错误率可以是可接受的(例如75％、85％、90％、95％等)。如果假阳性与假阴性相比更可接受(反之亦然)，那么这也会影响哪些条件将会使ML模型的训练或再训练更为合乎需要。
图1是图示了根据本发明的实施例的RPA系统100的架构图。RPA系统100包括允许开发者设计和实现工作流的设计器110。设计器110可以提供用于应用集成以及自动化第三方应用、管理信息技术(IT)任务和业务IT过程的解决方案。设计器110可以支持自动化项目的开发，该自动化项目是业务过程的图形表示。简而言之，设计器110支持工作流和机器人的开发和部署。
自动化项目通过向开发者提供对在工作流中开发的一组定制步骤(在本文中被定义为“活动”)之间的执行顺序和关系的控制来实现基于规则的过程的自动化。设计器110的实施例的一个商业示例是UiPath StudioTM。每个活动可以包括动作，诸如点击按钮、读取文件、写入日志面板等。在一些实施例中，工作流可以被嵌套或嵌入。
一些类型的工作流可以包括但不限于序列、流程图、有限状态机(FSM)和/或全局异常处理程序。序列可能特别适合于线性过程，从而能够在不使工作流混乱的情况下从一个活动流向另一活动。流程图可能特别适合于更复杂的业务逻辑，从而实现通过多个分支逻辑运算符以更为不同的方式进行的决策的集成以及活动的连接。FSM可能特别适合于较大工作流。FSM可以在其执行中使用有限数量的状态，这些状态由条件(即，过渡)或活动触发。全局异常处理程序可能特别适合于在遇到执行错误时确定工作流行为且特别适合于调试过程。
一旦工作流在设计器110中被开发，业务过程的执行就由指挥器(conductor)120编排，该指挥器编排执行设计器110中所开发的工作流的一个或多个机器人130。指挥器120的实施例的一个商业示例是UiPath OrchestratorTM。指挥器120支持对环境中的资源的创建、监测以及部署的管理。利用第三方解决方案和应用，指挥器120可以充当集成点。
指挥器120可以管理一队机器人130，从而从集中点连接并执行机器人130。可以管理的机器人130的类型包括但不限于：有人值守的(attended)机器人132、无人值守的机器人134、开发机器人(类似于无人值守的机器人134，但用于开发和测试目的)以及非生产型机器人(类似于有人值守的机器人132，但用于开发和测试目的)。有人值守的机器人132由用户事件触发并且与人类一起在相同计算系统上操作。有人值守的机器人132可以与指挥器120一起用于集中过程部署和记录介质。有人值守的机器人132可以帮助人类用户完成各种任务，并且可以由用户事件触发。在一些实施例中，无法从这种类型的机器人上的指挥器120开启过程和/或这些过程无法在锁定屏幕下运行。在某些实施例中，有人值守的机器人132只可以从机器人托盘或根据命令提示而被开启。在一些实施例中，有人值守的机器人132应该在人类监督下运行。
无人值守的机器人134在虚拟环境中以无人值守的方式运行并且可以使许多过程自动化。无人值守的机器人134可以负责远程执行、监测、调度并且为工作队列提供支持。在一些实施例中，可以在设计器110中运行针对所有机器人类型的调试。有人值守的机器人和无人值守的机器人两者都可以使各种系统和应用自动化，该系统和应用包括但不限于大型主机、web应用、VM、企业应用(例如由
Figure BDA0002731885970000071
Sales
Figure BDA0002731885970000072
等生产的那些企业应用)以及计算系统应用(例如台式机和笔记本应用、移动设备应用、可穿戴计算机应用等)。
指挥器120可以具有各种能力，包括但不限于供应(provisioning)、部署(deployment)、配置(configuration)、排队(queueing)、监测(monitoring)、日志记录(logging)和/或提供互连性(interconnectivity)。供应可以包括在机器人130与指挥器120(例如web应用)之间创建和维护连接。开发可以包括确保将包(package)版本正确递送至所指派的机器人130以供执行。配置可以包括维护和递送机器人环境和过程配置。排队可以包括提供对队列和队列项的管理。监测可以包括追踪机器人标识数据和维护用户权限。日志记录可以包括将日志存储和编入索引至数据库(例如SQL数据库)和/或另一存储机制(例如Elastic
Figure BDA0002731885970000073
其提供用于存储和快速查询较大数据集的能力)。指挥器120可以通过充当第三方解决方案和/或应用的通信的集中点来提供互连性。
机器人130是运行内置于设计器110中的工作流的执行代理。(多个)机器人130的一些实施例的一个商业示例是UiPath RobotsTM。在一些实施例中，机器人130默认安装Microsoft
Figure BDA0002731885970000074
服务控制管理器(SCM)管理的服务。结果，此类机器人130可以在本地系统账户下打开交互式
Figure BDA0002731885970000076
会话，并且具有
Figure BDA0002731885970000077
服务的权限。
在一些实施例中，机器人130可以在用户模式下被安装。针对此类机器人130，这意味着其具有与已经安装了给定机器人130的用户相同的权限。此特征也可以供高密度(HD)机器人使用，该高密度机器人确保了每台机器以其最大潜力的充分利用。在一些实施例中，任何类型的机器人130可以在HD环境中被配置。
在一些实施例中，机器人130被分成分别专用于特定自动化任务的若干组件。在一些实施例中，机器人组件包括但不限于SCM管理的机器人服务、用户模式机器人服务、执行器、代理以及命令行。SCM管理的机器人服务管理和监测
Figure BDA0002731885970000081
会话，并且充当指挥器120与执行主机(即，机器人130在其上被执行的计算系统)之间的委托。这些服务受机器人130信任并且管理机器人130的凭证。控制台应用在本地系统下由SCM启动。
在一些实施例中，用户模式机器人服务管理和监测
Figure BDA0002731885970000082
会话，并且充当指挥器120与执行主机之间的委托。用户模式机器人服务可以受机器人130信任并且管理机器人130的凭证。在未安装SCM管理的机器人服务的情况下，
Figure BDA0002731885970000083
应用可以被自动启动。
执行器可以在
Figure BDA0002731885970000084
会话下运行给定作业(即，执行器可以执行工作流。执行器可以知道每个监测器的每英寸点数(DPI)设置。代理可以是
Figure BDA0002731885970000085
Presentation Foundation(WPF)应用，其在系统托盘窗口中显示可用的作业。代理可以是服务的客户端。代理可以请求开启或停止作业以及改变设置。命令行是服务的客户端。命令行是可以请求开启作业并等待其输出的控制台应用。
如上文所阐释一般使机器人130的组件分开帮助开发者、支持用户以及计算系统更容易地运行、标识和追踪每个组件正在执行的内容。特殊行为可以以这种方式按组件来配置，诸如针对执行器和服务设置不同的防火墙规则。在一些实施例中，执行器可以始终知道每个监测器的DPI设置。结果，不论创建工作流的计算系统的配置如何，工作流都可以在任何DPI处被执行。在一些实施例中，来自设计器110的项目也可以独立于浏览器缩放级别。在一些实施例中，针对DPI不知道的或有意地标记为不知道的应用，DPI可以被禁用。
图2是图示了根据本发明的实施例的部署的RPA系统200的架构图。在一些实施例中，RPA系统200可以是图1的RPA系统100或可以是该RPA系统的一部分。应注意，在不脱离本发明的范围的情况下，客户端侧、服务器侧或两者都可以包括任何期望数量的计算系统。在客户端侧，机器人应用210包括执行器212、代理214和设计器216。然而，在一些实施例中，设计器216可以不在计算系统210上运行。执行器212正在运行过程。如图2中所示，若干业务项目可以同时运行。在该实施例中，代理214(例如
Figure BDA0002731885970000091
服务)是所有执行器212的单个联系点。该实施例中的所有消息被日志记录到指挥器230中，该指挥器经由数据库服务器240、索引器服务器250或两者进一步处理这些消息。如上文相对于图1所讨论的，执行器212可以是机器人组件。
在一些实施例中，机器人表示机器名称与用户名之间的关联。机器人可以同时管理多个执行器。在支持同时运行的多个交互式会话的计算系统(例如
Figure BDA0002731885970000092
服务器2012)上，多个机器人可以同时运行，每个机器人在使用唯一用户名的单独
Figure BDA0002731885970000093
会话中。上文将此称为HD机器人。
代理214还负责发送机器人的状态(例如周期性地发送指示机器人仍在运作的“心跳”消息)并且下载要被执行的包的所需版本。在一些实施例中，代理214与指挥器230之间的通信始终由代理214发起。在通知场景中，代理214可以打开WebSocket信道，稍后由指挥器230使用该WebSocket信道来向机器人发送命令(例如开启、停止等)。
在服务器侧，包括了呈现层(web应用232、开放数据协议(OData)代表性状态转移(REST)应用编程接口(API)端点234以及通知和监测236)、服务层(API实现/业务逻辑238)以及持久层(数据库服务器240和索引器服务器250)。指挥器230包括web应用232、ODataREST API端点234、通知和监测236以及API实现/业务逻辑238。在一些实施例中，用户在指挥器220的接口中(例如经由浏览器220)执行的大多数动作是通过调用各种API来执行的。在不脱离本发明的范围的情况下，此类动作可以包括但不限于在机器人上开启作业、在队列中添加/移除数据、调度作业以便以无人值守的方式运行等。Web应用232是服务器平台的视觉层。在该实施例中，web应用232使用超文本标记语言(HTML)和JavaScript(JS)。然而，可以在不脱离本发明的范围的情况下使用任何期望标记语言、脚本语言或任何其他格式。在该实施例中，用户经由浏览器220与来自web应用232的网页交互，以便执行各种动作来控制指挥器230。例如，用户可以创建机器人群组、向机器人指派包、分析每个机器人和/或每个过程的日志、开启和停止机器人等。
除了web应用232之外，指挥器230还包括暴露OData REST API端点234的服务层。然而，在不脱离本发明的范围的情况下可以包括其他端点。REST API由web应用232和代理214两者消耗。在该实施例中，代理214是客户端计算机上的一个或多个机器人的监督器。
在该实施例中，REST API覆盖配置、日志记录、监测以及排队功能性。在一些实施例中，配置端点可以用于定义和配置应用用户、权限、机器人、资产、发布以及环境。日志记录REST端点可以用于日志记录不同信息，诸如(例如)错误、由机器人发送的显式消息以及其他环境特定信息。如果在指挥器230中使用了开启作业命令，那么可以由机器人使用部署REST端点来查询应该被执行的包版本。排队REST端点可以负责队列和队列项管理，诸如将数据添加至队列、从队列中获得事务、设置事务的状态等。
监测REST端点可以监测web应用232和代理214。通知和监测API 236可以是用于注册代理214、向代理214递送配置设置并且用于从服务器和代理214发送/接收通知的REST端点。在一些实施例中，通知和监测API 236还可以使用WebSocket通信。
在该实施例中，持久层包括一对服务器——数据库服务器240(例如SQL服务器)和索引器服务器250。在该实施例中，数据库服务器240存储机器人、机器人群组、相关联的过程、用户、角色、调度等的配置。在一些实施例中，该信息通过web应用232来管理。数据库服务器240可以管理队列和队列项。在一些实施例中，数据库服务器240可以存储由机器人(除了索引器服务器250之外或代替索引器服务器250)日志记录的消息。
在一些实施例中可选的索引器服务器250存储由机器人日志记录的信息并且将该信息编入索引。在某些实施例中，索引器服务器250可以通过配置设置来禁用。在一些实施例中，索引器服务器250使用Elastic
Figure BDA0002731885970000111
其为开源项目全文搜索引擎。由机器人日志记录的消息(例如使用比如日志消息或写入行的活动)可以通过(多个)日志记录的REST端点被发送到索引器服务器250，在索引器服务器250中这些消息被编入索引以供将来使用。
图3是图示了根据本发明的实施例的设计器310、活动320、330与驱动340之间的关系300的架构图。根据上文，开发者使用设计器310来开发由机器人执行的工作流。工作流可以包括用户定义的活动320和UI自动化活动330。一些实施例能够标识图像中的非文本视觉分量，在本文中称作计算机视觉(CV)。与此类分量相关的一些CV活动可以包括但不限于点击、键入(type)、取得文本、悬停、元素存在、刷新范围、高亮等。在一些实施例中，点击使用例如CV、光学字符识别(OCR)、模糊文本匹配以及多锚(multi-anchor)来标识元素，并且点击该元素。键入可以使用上述内容来标识元素和该元素中的类型。取得文本可以标识特定文本的位置并且使用OCR来扫描该位置。悬停可以标识元素并且悬停于元素上方。元素存在可以使用上文所描述的技术来检查在屏幕上是否存在元素。在一些实施例中，可以存在可以在设计器310中被实现的数百个甚至数千个活动。然而，在不脱离本发明的范围的情况下，任何数量和/或类型的活动都可以是可用的。
UI自动化活动330是利用较低级代码编写的特殊的较低级活动(例如CV活动)的子集并且有助于与屏幕的交互。UI自动化活动330经由允许机器人与期望软件交互的驱动340来支持这些交互。例如，驱动340可以包括OS驱动342、浏览器驱动344、VM驱动346、企业应用驱动348等。
驱动340可以与OS进行低级交互，进而寻找挂钩、监测键等。驱动器可以有助于与
Figure BDA0002731885970000121
等的集成。例如，“点击”活动经由驱动340在这些不同应用中扮演相同角色。
图4是图示了根据本发明的实施例的RPA系统400的架构图。在一些实施例中，RPA系统400可以是或包括图1和/或图2的RPA系统100和/或200。RPA系统400包括运行机器人的多个客户端计算系统410。计算系统410能够经由在其上运行的web应用与指挥器计算系统420进行通信。指挥器计算系统420又能够与数据库服务器430和可选的索引器服务器440进行通信。
相对于图1和图3，应注意，虽然在这些实施例中使用了web应用，但可以在不脱离本发明的范围的情况下使用任何合适的客户端/服务器软件。例如，指挥器可以运行服务器侧应用，该服务器侧应用与客户端计算系统上的非基于网络的客户端软件应用进行通信。
图5是图示了根据本发明的实施例的被配置为实现用于RPA的ML模型再训练流水线的一部分的计算系统的架构图。在一些实施例中，计算系统500可以是本文中所描绘和/或描述的计算系统中的一者或多者。计算系统500包括总线505或用于传送信息的其他通信机制、以及被耦合至总线505以处理信息的(多个)处理器510。(多个)处理器510可以是任何类型的通用或专用处理器，包括中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、其多个实例和/或其任何组合。(多个)处理器510还可以具有多个处理核心，并且至少一些核心可以被配置为执行特定功能。在一些实施例中，可以使用多并行处理。在某些实施例中，(多个)处理器510中的至少一者可以是包括模仿生物神经的处理元件的神经形态电路。在一些实施例中，神经形态电路可以不需要冯·诺依曼计算架构的典型组件。
计算系统500还包括用于存储将由(多个)处理器510执行的信息和指令的存储器515。存储器515可以由随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、缓存、静态存储装置(诸如磁盘或光盘)或任何其他类型的非瞬态计算机可读介质或其组合的任何组合组成。非瞬态计算机可读介质可以是可以由(多个)处理器510访问的任何可用介质，并且可以包括易失性介质、非易失性介质或两者。介质也可以是可移除的、不可移除的或两者。
附加地，计算系统500包括通信设备520(诸如收发器)以经由无线和/或有线连接提供对通信网络的访问。在一些实施例中，在不脱离本发明的范围的情况下，通信设备520可以被配置为使用频分多址(FDMA)、单载波FDMA(SC-FDMA)、时分多址(TDMA)、码分多址(CDMA)、正交频分复用(OFDM)、正交频分多址(OFDMA)、全球移动系统(GSM)通信、通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、cdma2000、宽带CDMA(W-CDMA)、高速下行分组接入(HSDPA)、高速上行分组接入(HSUPA)、高速分组接入(HSPA)、长期演进(LTE)、LTE高级(LTE-A)、802.11x、Wi-Fi、Zigbee、超宽带(UWB)、802.16x、802.15、家用节点B(HnB)、蓝牙、射频标识(RFID)、红外数据协会(IrDA)、近场通信(NFC)、第五代(5G)、新无线电(NR)、其任何组合和/或任何其他现有或将来实现的通信标准和/或协议。在一些实施例中，在不脱离本发明的范围的情况下，通信设备520可以包括一个或多个天线，这些天线是单数的、阵列的、相控的、切换的、波束成形的、波束导向的、其组合和/或任何其他天线配置。
(多个)处理器510进一步经由总线505被耦合到显示器525，诸如等离子体显示器、液晶显示器(LCD)、发光二极管(LED)显示器、场发射显示器(FED)、有机发光二极管(OLED)显示器、柔性OLED显示器、柔性基板显示器、投影显示器、4K显示器、高清显示器、
Figure BDA0002731885970000131
显示器、面内切换(IPS)显示器或用于向用户显示信息的任何其他合适的显示器。显示器525可以被配置为使用电阻性、电容性、表面声波(SAW)电容性、红外、光学成像、色散信号技术、声学脉冲识别、受抑全内反射等的触摸(触觉)显示器、三维(3D)触摸显示器、多输入触摸显示器、多触摸显示器等。可以在不脱离本发明的范围的情况下使用任何合适的显示设备和触觉I/O。
键盘530和光标控制设备535(诸如计算机鼠标、触摸板等)进一步被耦合到总线505以使得用户能够与计算系统500接口连接。然而，在某些实施例中，可以不存在物理键盘和鼠标，并且用户可以仅通过显示器525和/或触摸板(未示出)与设备交互。输入设备的任何类型和组合可以被用作设计选择的问题。在某些实施例中，不存在物理输入设备和/或显示器。例如，用户可以经由与之通信的另一计算系统与计算系统500远程地交互，或计算系统500可以自主地操作。
存储器515存储在被(多个)处理器510执行时提供功能性的软件模块。模块包括计算系统500的操作系统540。模块还包括被配置为执行本文中所描述的过程或其衍生物的全部或部分的ML模型再训练流水线模块545。计算系统500可以包括一个或多个附加功能模块550，该功能模块包括附加功能性。
本领域的技术人员应了解，在不脱离本发明的范围的情况下，“系统”可以被实施为服务器、嵌入式计算系统、个人计算机、控制台、个人数字助理(PDA)、手机、平板计算设备、量子计算系统或任何其他合适的计算设备或设备的组合。将上文所描述的功能呈现为由“系统”执行并不旨在以任何方式限制本发明的范围，而是旨在提供本发明的许多实施例的一个示例。实际上，本文中所公开的方法、系统和装置可以按照与包括云计算系统的计算技术一致的本地化和分布式形式来实现。
应注意，本说明书中所描述的一些系统特征已经作为模块而被呈现，以便更具体地强调其实现独立性。例如，模块可以被实现为包括定制的超大规模集成(VLSI)电路或门阵列、现成半导体(诸如逻辑芯片、晶体管或其他分立组件)的硬件电路。模块也可以被实现在可编程硬件设备中，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备、图形处理单元等。
模块也可以至少部分地被实现在软件中以便由各种类型的处理器执行。例如，可执行代码的所标识的单元可以包括计算机指令的一个或多个物理块或逻辑块，这些计算机指令可以例如被组织成对象、过程或功能。虽然如此，但所标识的模块的可执行文件不需要在物理上位于一处，而是可以包括存储在不同位置中的全异的指令，这些指令在以逻辑方式被结合在一起时包括该模块并且实现了该模块的既定目的。此外，模块可以被存储在计算机可读介质上，在不脱离本发明的范围的情况下，该计算机可读介质可以是例如硬盘驱动器、闪存设备、RAM、磁带和/或用于存储数据的任何其他此类非瞬态计算机可读介质。
实际上，可执行代码的模块可以是单个指令或许多指令，并且甚至可以分布在若干不同的代码段上、分布在不同程序之间以及跨多个存储器设备分布。类似地，操作数据在本文中可以被标识和图示为在模块内，并且该操作数据可以被实施为任何合适的形式并且被组织在任何合适类型的数据结构内。操作数据可以被收集为单个数据集，或可以分布于包括在不同存储设备上的不同位置上，并且可以至少部分地仅作为系统或网络上的电子信号存在。
图6是图示了根据本发明的实施例的被配置为实现用于RPA的ML模型再训练流水线的系统600的架构图。系统600包括用户计算系统，诸如台式计算机602、603、平板604以及智能电话606。然而，在不脱离本发明的范围的情况下，可以使用任何期望的计算系统，包括但不限于：智能手表、膝上型计算机、物联网(IoT)设备、车辆计算系统等。此外，在图6中示出了哪四个用户计算系统，在不脱离本发明的范围的情况下，可以使用任何合适的数量的计算系统。例如，在一些实施例中，可以使用数十个、数百个、数千个或数百万个计算系统。
每个计算系统602、603、604、606在其上运行有数字过程610，该数字过程调用和/或执行ML模型。在不脱离本发明的范围的情况下，数字过程610可以是经由RPA设计器应用生成的机器人，可以是操作系统的一部分，可以是针对个人计算机(PC)或智能电话的可下载应用，或可以是任何其他软件和/或硬件。实际上，在一些实施例中，数字处理器610中的一个或多个数字处理器的逻辑经由物理硬件部分或完全地被实现。数字处理器610可以响应于触发而收集和发送用于训练/再训练ML模型的训练数据。在不脱离本发明的范围的情况下，触发可以包括但不限于：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果(例如相对于一堆用户不再落入正态分布内的ML模型预测)、落在先前观察到的范围之外的ML模型结果、注意到不期望的性能特征并且发起经标记的数据的收集用于再训练的人类用户(例如RPA开发者)和/或任何其他合适的触发。
数字过程610经由网络620(例如局域网(LAN)、移动通信网络、卫星通信网络、互联网、其任意组合等)向服务器630发送从其相应计算系统的用户收集到的训练数据。服务器630将训练数据存储在数据库640中。训练数据可以包括但不限于：图像和用户校正(例如组件位于屏幕上的区域、来自用户的关于错误的文本描述、针对区的标记等)。
在由人类用户(例如RPA工程师或数据科学家)指示时，当已经收集到预定量的训练数据时、当自上次训练以来已经经过了预定时间量时、当接收到训练请求时等，服务器630通过多个AI层632运行训练数据。AI层632处理数据并且生成ML模型的新版本。AI层632可以执行统计建模(例如隐式马尔科夫模型(HMM))，并且利用深度学习技术(例如长短期记忆(LSTM)深度学习、对先前的隐藏状态的编码等)。
在一些实施例中，每个AI层632是在训练数据上运行的算法(或模型)，并且ML模型本身可以是在训练数据中受到训练的经训练的人工“神经元”的深度学习神经网络(DLNN)。层可以串行运行、并行运行、或者其组合。AI层632可以包括但不限于：序列提取层、聚类检测层、视觉分量检测层、文本识别层(例如OCR)、音频到文本转化层、一种或多种类型的层的多个实例、或者其任何组合。在不脱离本发明的背景的情况下，可以使用任何期望的数量和(多种)类型的层。使用多个层可以允许系统对在屏幕或过程中正在发生什么进行全局描绘。例如，一个AI层可以执行OCR，另一个AI层可以检测按钮等。图案可以由AI层单独确定或可以由多个AI层共同确定。
在某些实施例中，数据科学家可以发起和/或监测ML模型的训练。例如，数据科学家可以用附加数据补充训练数据集，可以在新训练的ML模型未能达到期望的置信度的情况下使用不同的或补充的训练数据再次训练ML模型等。在一些实施例中，当ML模型准备就绪并且被批准时，数据科学家可以生成更新通知。在某些实施例中，服务器630可以生成通知。
在适当地训练了ML模型的新版本之后，服务器630可以将ML模型的新版本保存于数据库640中，从而潜在地替换ML模型的先前版本。当从用户计算系统602、603、604、606调用ML模型时，执行ML模型的新版本。在某些实施例中，可以向计算系统602、603、604、606推出ML模型的新版本。在一些实施例中，可以修改调用ML模型的RPA机器人的工作流以调用ML模型的新版本。在某些实施例中，对于给定场景，RPA机器人可以首先尝试ML模型的新版本，并且如果某个置信度阈值不被满足，则尝试ML模型的先前版本，以查看先前版本是否达到较高的置信度。在一些实施例中，RPA机器人可以调用ML模型的两个版本并且选择来自具有最高置信度的模型的输出。
图7是图示了根据本发明的实施例的用于针对RPA的ML模型再训练流水线的过程700的流程图。在710处，该过程开始于从在用户计算系统上执行的RPA机器人工作流调用ML模型。在720处，RPA机器人从ML模型接收输出(例如预测和置信度阈值、变量和统计分布等)，并且在730处确定是否满足一个或多个触发条件。在不脱离本发明的范围的情况下，触发条件可以包括但不限于：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果(例如相对于一堆用户不再落入正态分布内的ML模型预测)、落在先前观察到的范围之外的ML模型结果、注意到不期望的性能特征并且发起经标记的数据的收集用于再训练的人类用户(例如RPA开发者)和/或任何其他合适的触发。
如果在730处(多个)触发条件被满足，那么在740处获得经标记的训练数据并且将其提交给服务器。。例如，对于有人值守的RPA机器人，可以向RPA机器人正在其上执行的计算系统的人类用户呈现接口或选项，以进行校正，或者可以向另一计算系统的人类用户提供关于低于置信度阈值的标识发生在何处的信息，并且向该人类用户呈现接口或选项，以进行校正。对于无人值守的RPA机器人，可以自动截取屏幕截图，并且可以提供坐标，该坐标是应用了ML模型的屏幕上的给定组件的坐标。然后可以将该信息添加至队列，以供后续审阅和标记。
当在750处满足一个或多个训练标准时，使用收集到的训练数据或使用收集到的训练数据以及用于训练ML模型的当前版本的先前训练数据在760处训练ML模型。一个或多个训练标准可以包括但不限于：当预定时间段过去时、当接收到预定量的训练数据时、当接收到预定数量的训练数据样本时、当数据落在数据的某种分布(例如正态分布、二项式分布或任何其他统计分布)之外时、定制准则或标准、其任何组合等。在一些实施例中，在未链接到图7中所示的其他步骤的单独过程中检查训练标准。
在训练之后，在770处部署ML模型的新版本。在一些实施例中，ML模型的新版本可以简单地替换先前版本，并且从RPA机器人工作流对ML模型的调用可以调用ML模型的新版本，而无需进行进一步修改。然而，在一些实施例中，在780处，进行了进一步修改，使得RPA机器人可以与ML模型的新版本交互。例如，在某些实施例中，可以向RPA机器人的用户的计算系统推出ML模型的新版本。在一些实施例中，可以修改RPA机器人的工作流以调用ML模型的新版本。
在一些实施例中，在790处，可以由RPA机器人调用ML模型的多个版本。例如，在某些实施例中，RPA机器人可以首先尝试ML模型的新版本，并且如果未实现某个置信度则尝试ML模型的一个或多个先前版本，以查看(多个)先前版本是否达到较高的置信度或达到更好的结果(例如更加符合统计分布、落在范围内的值、更快的执行等)。在一些实施例中，RPA机器人可以调用ML模型的多个版本(例如ML模型的新版本和ML模型的一个或多个先前版本)并且选择来自具有最高置信度或者更好结果的模型的输出。
根据本发明的实施例，图7中执行的过程步骤可以由计算机程序执行，该计算机程序编码有指令，该指令用于使(多个)处理器执行图7中所描述的(多个)过程的至少一部分。计算机程序可以被实施在非瞬态计算机可读介质上。计算机可读介质可以是但不限于硬盘驱动器、闪存设备、RAM、磁带和/或用于存储数据的任何其他此类介质或介质的组合。计算机程序可以包括用于控制计算系统的(多个)处理器(例如图5的计算系统500的(多个)处理器510)以实现图7中所描述的过程步骤中的全部或一部分的编码指令，这些编码指令还可以被存储在计算机可读介质上。
计算机程序可以被实现在硬件、软件或混合实现中。计算机程序可以由彼此可操作地通信并且被设计成传递信息或指令以进行显示的模块组成。计算机程序可以被配置为在通用计算机、ASIC或任何其他合适的设备上操作。
将容易地理解，如本文中的诸图中大体上描述和图示的，本发明的各种实施例的组件可以以多种不同配置来布置和设计。因此，如附图中所表示，对本发明的实施例的详细描述并不旨在限制所要求保护的本发明的范围，而是仅仅表示本发明的所选择的实施例。
贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。例如，贯穿本说明书，对“某些实施例”、“一些实施例”或类似语言的参考是指结合实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书，短语“在某些实施例中”、“在一些实施例中”、“在其他实施例中”或类似语言的出现并不一定全都是指同一组实施例，并且所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
应注意，贯穿本说明书，对特征、优点或类似语言的参考并不意味着可以用本发明实现的所有特征和优点都应该在或都在本发明的任何单个实施例中。相反，涉及特征和优点的语言被理解为是指结合实施例所描述的特定特征、优点或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书，对特征和优点以及类似语言的讨论可以但并不一定是指相同实施例。
此外，本发明的所描述的特征、结构和特性可以在一个或多个实施例中以任何合适的方式组合。相关领域的技术人员应认识到，可以在不具有特定实施例的特定特征或优点中的一者或多者的情况下实践本发明。在其他情况下，可以不存在于本发明的所有实施例中的附加特征和优点在某些实施例中可能被识别。
本领域的普通技术人员应容易地理解，可以利用不同顺序的步骤和/或利用与所公开的配置不同的配置的硬件元件来实践如上文所描述的本发明。因此，尽管已经基于这些优选实施例描述了本发明，但对于本领域的技术人员而言将明显的是，某些修改、变型和备选构造将是明显的，同时仍在本发明的精神和范围内。因此，为了确定本发明的界限和边界，应当参考所附权利要求书。

Claims (20)

1.一种用于实现用于机器人流程自动化(RPA)的机器学习(ML)模型再训练流水线的计算机实现的方法，包括：
由RPA机器人调用机器学习(ML)模型；
由所述RPA机器人接收来自所述ML模型的执行的结果；
由所述RPA机器人确定一个或多个触发条件是否被满足以供标记针对所述ML模型的数据；以及
当所述一个或多个触发条件被满足时：
由所述RPA机器人提示用户提供经标记的数据以供训练或再训练所述ML模型，并且向服务器发送所述经标记的数据以供训练或再训练所述ML模型，或者
由所述RPA机器人将与来自所述ML模型的所述结果相关的信息添加至队列以供后续标记。
2.根据权利要求1所述的计算机实现的方法，其中所述一个或多个触发条件包括：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果、落在先前观察到的范围之外的ML模型结果、或者上述的任何组合。
3.根据权利要求1所述的计算机实现的方法，其中所述一个或多个触发条件包括用于收集所述经标记的数据的发起命令的接收。
4.根据权利要求1所述的计算机实现的方法，还包括：
由所述服务器接收所述经标记的数据；以及
由所述服务器将所述经标记的数据存储在数据库中。
5.根据权利要求1所述的计算机实现的方法，还包括：
当一个或多个训练标准被满足时，由所述服务器使用所述经标记的数据来训练所述ML模型，以产生所述ML模型的新版本；以及
由所述服务器部署所述ML模型的所述新版本。
6.根据权利要求5所述的计算机实现的方法，其中
所述ML模型的所述训练附加地包括：使用先前训练数据，所述先前训练数据用于对在所述ML模型的所述新版本之前训练的所述ML模型的版本进行训练。
7.根据权利要求5所述的计算机实现的方法，其中所述一个或多个训练标准包括：经过的预定时间段、接收到的预定量的训练数据、接收到的预定数量的训练数据样本、落在数据分布之外的所述数据、或者上述的任何组合。
8.根据权利要求5所述的计算机实现的方法，其中所述ML模型的所述新版本替换所述ML模型的先前版本。
9.根据权利要求5所述的计算机实现的方法，还包括：
修改所述RPA机器人的工作流，以调用所述ML模型的所述新版本。
10.根据权利要求5所述的计算机实现的方法，还包括：
修改所述RPA机器人的工作流，以调用所述ML模型的多个版本，所述多个版本包括所述ML模型的所述新版本。
11.根据权利要求10所述的计算机实现的方法，还包括：
由所述RPA机器人调用所述ML模型的所述新版本；以及
当所述一个或多个触发条件未被满足时，由所述RPA机器人调用所述ML模型的先前版本，并且从所述ML模型的所述当前版本和所述ML模型的所述先前版本中选择最佳结果。
12.根据权利要求10所述的计算机实现的方法，还包括：
由所述RPA机器人调用所述ML模型的所述新版本和所述ML模型的至少一个先前版本；以及
由所述RPA机器人从所述ML模型的所述当前版本和所述ML模型的所述至少一个先前版本中选择最佳结果。
13.根据权利要求1所述的计算机实现的方法，其中对于由多个RPA机器人调用的多个ML模型，所述经标记的数据的收集和所述ML模型的所述新版本的训练是统一的。
14.一种用于实现用于机器人流程自动化(RPA)的机器学习(ML)模型再训练流水线的计算机实现的方法，包括，包括：
由所述RPA机器人确定一个或多个触发条件是否被满足以供标记针对ML模型的数据；以及
当所述一个或多个触发条件被满足时：
由所述RPA机器人提示用户提供经标记的数据以供训练或再训练所述ML模型，并且向服务器发送所述经标记的数据以供训练或再训练所述ML模型，或者
由所述RPA机器人将与来自所述ML模型的所述结果相关的信息添加至队列以供后续标记。
15.根据权利要求14所述的计算机实现的方法，其中所述一个或多个触发条件包括：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果、落在先前观察到的范围之外的ML模型结果、或者上述的任何组合。
16.根据权利要求14所述的计算机实现的方法，还包括：
当一个或多个训练标准被满足时，由所述服务器使用所述经标记的数据来训练所述ML模型，以产生所述ML模型的新版本；以及
由所述服务器部署所述ML模型的所述新版本。
17.根据权利要求16所述的计算机实现的方法，其中所述一个或多个训练标准包括：经过的预定时间段、接收到的预定量的训练数据、接收到的预定数量的训练数据样本、落在数据分布之外的所述数据、或者上述的任何组合。
18.根据权利要求16所述的计算机实现的方法，还包括：
修改所述RPA机器人的所述工作流，以调用所述ML模型的多个版本，所述多个版本包括所述ML模型的所述新版本。
19.一种用于实现用于机器人流程自动化(RPA)的机器学习(ML)模型再训练流水线的计算机实现的方法，包括，包括：
由RPA机器人调用机器学习(ML)模型；
由所述RPA机器人接收来自所述ML模型的执行的结果；
由所述RPA机器人确定一个或多个触发条件是否被满足以供标记针对所述ML模型的数据；
当所述一个或多个触发条件被满足时：
由所述RPA机器人提示用户提供经标记的数据以供训练或再训练所述ML模型，并且向服务器发送所述经标记的数据以供训练或再训练所述ML模型，或者
由所述RPA机器人将与来自所述ML模型的所述结果相关的信息添加至队列以供后续标记；
当一个或多个训练标准被满足时，由所述服务器使用所述经标记的数据来训练所述ML模型，以产生所述ML模型的新版本；以及
由所述服务器部署所述ML模型的所述新版本。
20.根据权利要求19所述的计算机实现的方法，其中
所述一个或多个触发条件包括：降至低于置信度阈值的ML模型性能、偏离统计分布的ML模型结果、落在先前观察到的范围之外的ML模型结果、或者上述的任何组合，并且
所述一个或多个训练标准包括：经过的预定时间段、接收到的预定量的训练数据、接收到的预定数量的训练数据样本、落在数据分布之外的所述数据、或者上述的任何组合。
CN202080002353.9A 2020-04-30 2020-08-19 用于机器人流程自动化的机器学习模型再训练流水线 Pending CN113748436A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/864,000 2020-04-30
US16/864,000 US20210342736A1 (en) 2020-04-30 2020-04-30 Machine learning model retraining pipeline for robotic process automation
PCT/US2020/046962 WO2021221706A1 (en) 2020-04-30 2020-08-19 Machine learning model retraining pipeline for robotic process automation

Publications (1)

Publication Number Publication Date
CN113748436A true CN113748436A (zh) 2021-12-03

Family

ID=78293067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080002353.9A Pending CN113748436A (zh) 2020-04-30 2020-08-19 用于机器人流程自动化的机器学习模型再训练流水线

Country Status (4)

Country Link
US (1) US20210342736A1 (zh)
KR (1) KR102502324B1 (zh)
CN (1) CN113748436A (zh)
WO (1) WO2021221706A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915114B2 (en) * 2020-07-31 2024-02-27 Yahoo Assets Llc System and method for ensemble expert diversification
US11823021B2 (en) 2020-07-31 2023-11-21 Yahoo Assets Llc System and method for ensemble expert diversification via bidding
US20220164700A1 (en) * 2020-11-25 2022-05-26 UiPath, Inc. Robotic process automation architectures and processes for hosting, monitoring, and retraining machine learning models

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189398A (ja) * 1992-01-14 1993-07-30 Fujitsu Ltd ニューラルネットワークによる学習方法
EP1636738A2 (en) * 2003-05-23 2006-03-22 Computer Associates Think, Inc. Adaptive learning enhancement to auotmated model maintenance
US9449344B2 (en) * 2013-12-23 2016-09-20 Sap Se Dynamically retraining a prediction model based on real time transaction data
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US11079745B2 (en) * 2015-11-25 2021-08-03 Lawrence Livermore National Security, Llc Rapid closed-loop control based on machine learning
US20170185904A1 (en) * 2015-12-29 2017-06-29 24/7 Customer, Inc. Method and apparatus for facilitating on-demand building of predictive models
EP3206170A1 (en) * 2016-02-09 2017-08-16 Wipro Limited System and methods for creating on-demand robotic process automation
JP6469069B2 (ja) * 2016-12-13 2019-02-13 ファナック株式会社 学習を容易化する機能を備えたロボット制御装置、及びロボット制御方法
US11748653B2 (en) * 2017-10-05 2023-09-05 DataRobot, Inc. Machine learning abstraction
EP3483729A1 (en) * 2017-11-10 2019-05-15 Nokia Technologies Oy Method and devices for processing sensor data
KR102455056B1 (ko) * 2018-02-01 2022-10-17 삼성전자주식회사 컨텍스트에 따라 이벤트의 출력 정보를 제공하는 전자 장치 및 이의 제어 방법
JP6810087B2 (ja) * 2018-03-29 2021-01-06 ファナック株式会社 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
US11042458B2 (en) * 2018-04-30 2021-06-22 Accenture Global Solutions Limited Robotic optimization for robotic process automation platforms
US20190377984A1 (en) * 2018-06-06 2019-12-12 DataRobot, Inc. Detecting suitability of machine learning models for datasets
US20210264307A1 (en) * 2018-06-26 2021-08-26 Nec Corporation Learning device, information processing system, learning method, and learning program
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式（北京）技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
US11531914B2 (en) * 2018-08-20 2022-12-20 Accenture Global Solutions Limited Artificial intelligence (AI) based automatic rule generation
US11366857B2 (en) * 2018-08-21 2022-06-21 Directly, Inc. Artificial intelligence communications agent
WO2020061700A1 (en) * 2018-09-28 2020-04-02 Element Ai Inc. Robust user interface related robotic process automation
US11281936B2 (en) * 2018-12-31 2022-03-22 Kofax, Inc. Systems and methods for identifying processes for robotic automation and building models therefor
US10877632B2 (en) * 2019-02-25 2020-12-29 Capital One Services, Llc Performing an action based on user interaction data
US11410097B2 (en) * 2019-07-16 2022-08-09 Titan Data Group Inc. System and method for intelligent recruitment management
US11481420B2 (en) * 2019-08-08 2022-10-25 Nice Ltd. Systems and methods for analyzing computer input to provide next action
US11150882B2 (en) * 2019-10-14 2021-10-19 UiPath Inc. Naming robotic process automation activities according to automatically detected target labels
US11347613B2 (en) * 2019-10-15 2022-05-31 UiPath, Inc. Inserting probabilistic models in deterministic workflows for robotic process automation and supervisor system
US11775860B2 (en) * 2019-10-15 2023-10-03 UiPath, Inc. Reinforcement learning in robotic process automation
US11738453B2 (en) * 2019-10-15 2023-08-29 UiPath, Inc. Integration of heterogeneous models into robotic process automation workflows
US20210110207A1 (en) * 2019-10-15 2021-04-15 UiPath, Inc. Automatic activation and configuration of robotic process automation workflows using machine learning
US11642783B2 (en) * 2019-12-02 2023-05-09 International Business Machines Corporation Automated generation of robotic computer program code
US11822913B2 (en) * 2019-12-20 2023-11-21 UiPath, Inc. Dynamic artificial intelligence / machine learning model update, or retrain and update, in digital processes at runtime
US11847168B2 (en) * 2019-12-20 2023-12-19 Microsoft Technology Licensing, Llc Training model with model-provided candidate action
US11403118B2 (en) * 2019-12-30 2022-08-02 UiPath Inc. Enhanced target selection for robotic process automation
US11636387B2 (en) * 2020-01-27 2023-04-25 Microsoft Technology Licensing, Llc System and method for improving machine learning models based on confusion error evaluation
US11636389B2 (en) * 2020-02-19 2023-04-25 Microsoft Technology Licensing, Llc System and method for improving machine learning models by detecting and removing inaccurate training data
US11501239B2 (en) * 2020-03-18 2022-11-15 International Business Machines Corporation Metric specific machine learning model improvement through metric specific outlier removal
US20210312365A1 (en) * 2020-04-06 2021-10-07 UiPath, Inc. Analysis of resources utilized during execution of a process
US20210312324A1 (en) * 2020-04-07 2021-10-07 Cisco Technology, Inc. Systems and methods for integration of human feedback into machine learning based network management tool

Also Published As

Publication number Publication date
KR20210134484A (ko) 2021-11-10
KR102502324B1 (ko) 2023-02-21
US20210342736A1 (en) 2021-11-04
WO2021221706A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
US20240095017A1 (en) Dynamic artificial intelligence / machine learning model update, or retrain and update, in digital processes at runtime
US20240103496A1 (en) Human-in-the-loop robot training for robotic process automation
US11372380B2 (en) Media-to-workflow generation using artificial intelligence (AI)
CN114556305A (zh) 针对机器人过程自动化的基于人工智能的过程标识、提取和自动化
US11836626B2 (en) Artificial intelligence layer-based process extraction for robotic process automation
CN114793454A (zh) 用于托管、监控和重训练机器学习模型的机器人流程自动化架构和流程
US11592804B2 (en) Task automation by support robots for robotic process automation (RPA)
US11775860B2 (en) Reinforcement learning in robotic process automation
KR102502324B1 (ko) 로봇 프로세스 자동화를 위한 머신 학습 모델 재훈련 파이프라인
US20220188697A1 (en) Supplementing artificial intelligence (ai) / machine learning (ml) models via action center, ai/ml model retraining hardware control, and ai/ml model settings management
EP3809347A1 (en) Media-to-workflow generation using artificial intelligence (ai)
EP3905144A1 (en) Machine learning model retraining pipeline for robotic process automation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination