CN113661035A - 用于机器人代理管理的系统和方法 - Google Patents

用于机器人代理管理的系统和方法 Download PDF

Info

Publication number
CN113661035A
CN113661035A CN201980078721.5A CN201980078721A CN113661035A CN 113661035 A CN113661035 A CN 113661035A CN 201980078721 A CN201980078721 A CN 201980078721A CN 113661035 A CN113661035 A CN 113661035A
Authority
CN
China
Prior art keywords
robotic
tasks
agent
work output
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980078721.5A
Other languages
English (en)
Inventor
让-弗朗索瓦·阿坎德
玛丽-克劳德·科特
阿列克谢·诺德尔-马可维茨
安德烈·托多斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seweslaw Canada Ltd
Original Assignee
Ai Liwen Ai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Liwen Ai Co ltd filed Critical Ai Liwen Ai Co ltd
Publication of CN113661035A publication Critical patent/CN113661035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Abstract

用于管理和增强多个机器人代理的性能的系统和方法。协调器模块接收来自多个机器人代理的工作输出，并确定是否可以通过重新调度由各种机器人代理执行的任务和/或步骤来获得效率。同样，协调器学习由代理使用的各种动作和值，并且可以检查异常动作和/或值。由人类操作的工作站也可以将其工作输出发送给协调器，并且可以分析这个输出以及由人类执行的步骤，以确定所执行的任务是否可以由机器人代理来完成。

Description

用于机器人代理管理的系统和方法
技术领域
本发明涉及基于编程指令集来执行重复性任务的机器人过程自动化(roboticprocess automation，RPA)系统。更具体地，本发明涉及应用于这种自动化系统以增强这种系统的能力的机器学习的使用。
背景技术
自20世纪后期以来的自动化的兴起已有详尽记载。这种自动化系统在制造业中的应用是众所周知的。执行预编程、重复性任务的这些自动化系统现在不仅用于制造业，还用于工业和人类活动的其他领域。这些已经在科学实验室中用于实行在由人类执行时可能容易出错的重复性任务。它们现在也开始在其中它们可以提供普通的、重复性任务的无错执行的工业中使用。过去几年的一个主要发展是RPA(Robotic Process Automation，机器人过程自动化)的兴起。机器人代理用于在图形用户界面上执行重复性虚拟任务，而不是让物理机器人执行重复性物理任务。例如，将数据从一个表单复制到另一表单并且然后保存结果是RPA代理非常适合执行的任务。代理不仅很快，而且代理准确。
虽然机器人是有用的并且虽然它们在单独地执行这种重复任务时表现出色，但它们作为群组是不协调的。因此，通过将机器人代理操作视为群组而具有的效率通常是失去的机会。除此之外，机器人代理由于其本身的性质就不具有容错性，也无法检测它们利用其工作的数据的问题。如果被编程为处理数据，则这些机器人代理会盲目地处理数据，即使存在数据的问题。因此，这些机器人代理具有不能矫正的决定性。数据中遇到的任何错误被愉快地忽略，除非机器人代理被专门编程来发现这些错误。
因此，需要能够协调多个机器人代理以获得效率增益的系统和方法。同样，优选的是，这种系统和方法允许异常或错误检查，而不必对可能遇到的错误或异常的每一个和每个可能的组合进行编程。
发明内容
本发明提供了用于管理和增强多个机器人代理的性能的系统和方法。协调器模块接收来自多个机器人代理的工作输出，并确定是否可以通过重新调度由各种机器人代理执行的任务和/或步骤来获得效率。同样，协调器学习由代理使用的各种动作和值，并且可以检查异常动作和/或值。由人类操作的工作站也可以将其工作输出发送给协调器，并且可以分析这个输出以及由人类执行的步骤，以确定所执行的任务是否可以由机器人代理来完成，或者确定执行这个任务的更优化的方式。
在第一方面，本发明提供了一种用于增强多个机器人代理的性能的方法，该方法包括：
a)接收将由所述机器人代理执行的任务的调度；
b)接收由所述机器人代理中的每一个为所述任务中的每一个执行的步骤；
c)使用机器学习来确定由不同机器人代理执行的所述步骤之间的依赖性；
d)使用机器学习来确定对所述步骤的调整，从而优化所述任务中的至少一个。
在第二方面，本发明提供了一种用于检测由至少一个机器人代理在其中执行任务的系统中的至少一个异常的方法，该方法包括：
a)连续地接收来自所述至少一个机器人代理的工作输出；
b)在训练集中使用所述工作输出来连续地训练机器学习系统，使得所述机器学习系统从所述至少一个机器人代理学习动作和值的范围；
c)针对用于所述至少一个机器人代理的动作和值的所述范围，连续地评估所述工作输出；
d)在所述工作输出的至少一个方面在用于所述机器人代理的动作和值的所述范围之外的情况下，为用户生成警报并为所述用户生成报告；
其中所述报告包括关于所述警报的解释。
在第三方面，本发明提供了一种用于确定用于自动化的候选任务的方法，该方法包括：
a)连续地接收来自用户工作站的工作输出，所述工作输出包括由人类在执行任务时在所述用户工作站上所执行的步骤；
b)使用机器学习来确定由所述用户执行的所述步骤是否可由机器人代理执行；
c)在所述步骤可由机器人代理执行的情况下，为用户生成详述可由所述机器人代理执行的所述步骤的报告。
在第四方面，本发明提供了一种用于执行多个任务的系统，该系统包括：
-多个机器人代理，所述多个机器人代理中的每一个执行来自所述多个任务的至少一个任务；
-协调器模块，该协调器模块用于管理所述多个机器人代理，所述协调器模块从所述多个机器人代理中的至少一个接收工作输出；
其中
-所述多个机器人代理中的至少一个向所述协调器模块报告在执行所述至少一个任务时实行的步骤。
附图说明
现在将参照以下附图描述本发明的实施例，在附图中不同附图中相同的附图标记指示相同的元件，并且在附图中：
图1是根据本发明的一个方面的系统的框图；
图2是根据本发明另一方面的详述一种方法的流程图；
图3是根据本发明又一方面的详述另一方法的另一流程图；
图4是根据本发明另一方面的详述另一方法的另外的流程图。
具体实施方式
本发明涉及将机器学习和人工智能方法和系统应用于机器人过程自动化代理(以下称为“机器人代理”)。如上所述，这些机器人代理在执行需要很少或不需要人类判断的重复性任务时是有用的。特别地，本发明的各个方面涉及将这种机器学习方法和技术应用于多个机器人代理。这些机器人代理可以对来自不同来源的不同条数据执行不同的任务，或者它们全部可以对不同条的数据执行单个任务。不管正在执行的任务如何，一队机器人代理可以从协调的系统-宽范围的任务调度中受益。不仅如此，由不同机器人代理采取的各种步骤之间可能存在依赖性。这些依赖性可能影响任务的调度，并且通过不仅重新安排步骤的顺序而且重新安排任务的执行的顺序，可以获得效率。附加地，为单个机器人代理重新安排任务可以为这个机器人代理提供相对于其任务高得多的效率。而且此外，可以标识和移除冗余任务和/或步骤。
众所周知并且如上所解释那样，机器人代理对于执行几乎不需要人类判断的普通的、重复性任务是有用的。因此，可能无法由这些机器人代理检测或解决数据中的错误。这种错误可能导致另外的错误，并可能负面地影响整个系统的工作成果，除非这些错误在过程中较早地被捕获。
因为这些机器人代理对执行这些普通、重复性任务是有用的，所以它们非常适合代替那些由于他们的任务的普通性和重复性而容易出错的人类。然而，确定哪些任务可能适合于机器人代理可能不简单。可能涉及具有许多步骤的长过程，并且确定哪些步骤可以由机器人代理执行可能是困难的，因为一些步骤可能依赖于其他步骤的结果。类似地，步骤中的任何一个的重复性性质(或冗余性或准确性)可能并不明显，因为重复性步骤可能被中间的非重复性步骤所掩盖。
以上问题的一个解决方案是使用协调器模块或协调器子系统的系统，其中协调器从系统中的各种机器人代理接收数据和/或工作输出。此外，协调器还将从由操作员操作的至少一个工作站接收工作输出和数据。通过使用机器学习技术和方法，协调器模块可以分析和建议对由机器人代理执行的任务的调度的改变。此外，协调器模块可以建议对对于由机器人代理执行的每个任务如何对步骤进行调整或返工以实现效率的改变。此外，可以确定由不同机器人代理所需和/或产生的数据之间的任何依赖性。可以通过重新安排和/或重新调度任务和步骤两者使得优选地不同的机器人代理可以彼此独立地执行任务来减少这些依赖性。重新排序的调度、任务和步骤可以迭代生成并被实施为确定哪个顺序或哪个调度可以整体上为系统提供最佳效率。通过允许机器人代理之间的独立性，不同的代理可以并行执行，从而在系统内实现更高的效率。
这种系统还可以操作来检查数据中的错误和由机器人代理进行的任务的执行中的错误。利用机器学习技术，协调器模块可以学习机器人代理的输入和输出，以及每个机器人代理在执行其任务时执行的步骤的序列。然后，通过连续监控每个机器人代理的输入和输出以及每个机器人代理的动作，可以报告与预期步骤和/或输入/输出数据和/或这种数据的格式/类型的任何显著偏离。此外，可以监控到每个机器人代理和来自每个机器人代理的预期数据的传输或接收中的任何故障。这种协调器模块将每个机器人代理的输入和输出与用于这个特定机器人代理的经学习的输入、输出和数据转换进行比较。如果到特定机器人代理和来自特定机器人代理的数据不在预期范围(如从机器人代理的历史输入和输出中学习的)内，则协调器模块可以利用对问题的充分解释向用户报告问题。附加地，协调器模块可以建议纠正性措施，以在将来避免此类问题。或者，根据实施方式，协调器模块可以简单地纠正错误(例如数据格式错误)，以确保所接收的数据呈预期的格式。
为了确定由人类代理或操作员在工作站上执行哪些任务，系统的协调器模块可以被耦接以接收由人类执行的步骤。然后，再次使用机器学习技术，协调器模块可以分析这些步骤，并确定哪些任务和子任务可以被自动化。可以确定重复性任务和数据依赖性，并且如果需要的话，可以对由人类代理执行的步骤和/或任务进行重新排序，以允许由机器人代理进行的自动化。然后可以生成关于用于由人类操作员实行的任务或步骤的潜在自动化候选的报告。当然，这样的报告可以是所提议的自动化脚本。主动学习方法也可以应用于本发明的这个方面。
参考图1，示出了根据本发明的一个方面的系统的框图。系统10包括耦接到多个机器人代理30A、30B、30C的协调器(orchestrator)模块20。机器人代理中的每一个正在执行可能彼此相似的任务或它们可以不同。同样，这些任务可能相互相关，或者它们也可能相互独立。在一个实施例中，协调器模块还耦接到由人类代理或操作员操作的至少一个工作站40。应当注意的是，协调器模块可以耦接到机器人代理以及人类操作的工作站，或者协调器模块可以仅耦接到机器人代理。同样，在一个实施方式中，协调器模块可以仅耦接到人类操作的工作站，并且不耦接到机器人代理。
应该清楚的是，尽管协调器模块在图1中被示为单个设备/模块，但是该模块可以采取多个模块或子模块的形式。例如，一个或多个子模块可以耦接到机器人代理，而另一子模块可以耦接到人类操作的工作站。同样，基于子模块耦接到什么，每个子模块可以被分配有分离的功能的任务。因此，一个子模块可以被分配有对机器人代理的调度效率的任务，而另一子模块可被分配有对机器人代理进行数据/任务/步骤错误检查的任务。又一子模块可以被分配有对人类操作的工作站寻找效率和自动化建议的任务。这种收集器子模块可以接收和组织从不同代理/工作站接收的信息。其他特定的智能模块可以查阅信息并生成关于调度、任务优化等的最佳建议。
如上所述，系统10可以操作来确定是否可以通过仅仅为不同的机器人代理重新调度不同的任务或者通过在执行任务时对由机器人代理执行的步骤的顺序进行返工来获得效率。同样，还可以通过检验任务和/或步骤之间的数据依赖性并对任务/步骤重新排序以消除这种数据依赖性来获得效率。
参考图2，示出了详述根据本发明的一个方面的方法中的步骤的流程图。在这个方法中，使用机器学习技术来寻求与多个机器人代理相关的效率。该方法开始于步骤50，其中系统接收由一个或多个机器人代理执行一个或多个任务的调度。在步骤60，系统接收由机器人代理中的每一个在执行其任务时执行的步骤。然后，在步骤70中分析调度和步骤，以搜索任务和/或步骤之间的数据依赖性，该依赖性可以通过重新调度任务或重新安排步骤来消除。如上所述，步骤70可以使用机器学习方法和技术(诸如神经网络)来执行。这种神经网络可以在优化技术以及搜索和标识不同数据流之间的数据依赖性时进行训练。此外，神经网络可以与子模块配对，这些子模块可以生成合适的假设场景，以确定重新安排调度和/或任务和/或步骤是否将生成效率。当然，效率可以包括更快的执行时间、更好的资源利用率和更高的总吞吐量。
一旦来自机器人代理的数据已经被分析并且效率提高措施已经被确定，这些措施就可以被传递到报告模块(步骤80)。然后可以为用户准备合适的报告，其中将这些措施作为建议。应该清楚的是，从机器人代理到系统的数据流可以是连续的，并且对这种数据的分析也可以是连续的，就像报告一样。这样，新的调度、新的任务和新的步骤被系统连续地考虑和连续地分析。因此，调度、步骤、依赖性等的优化是连续的，并且系统很少是静态的。
参考图3，示出了详述根据本发明的另一方面的另一方法中的步骤的流程图。这个方法涉及连续监控各个机器人代理的输入、输出和吞吐量，以确保它们的任务成功完成，并且所产生的数据在预期参数内。在流程图中，该方法开始于系统从各个机器人代理接收工作输出(步骤100)。工作输出可以包括由机器人代理接收的数据、由机器人代理产生的数据、由机器人代理采取以处理数据的步骤以及可能需要检查以确保过程正确性的任何其他数据。然后，由系统如上所述使用机器学习技术和方法(诸如神经网络)来学习这个工作输出。因此，神经网络可以在持续的基础上(例如使用强化学习技术)每个机器人代理的工作输出进行训练。通过学习来自单个机器人代理的工作输出的多个实例的预期输入、输出和步骤，系统可以学习来自该机器人代理的预期的动作和值的范围。当然，可以使用其他机器学习技术，包括监督学习、半监督学习、深度学习以及上述的任意组合。本文件的任何内容不应被视为将本发明的范围限制于本文公开的细节中的任何一个。
一旦已经接收工作输出，然后将其与来自相同或相似机器人代理的先前工作输出的经学习的行为/动作和值的经学习的范围进行比较(步骤110)。决策120然后确定最近接收的工作输出是否在用于这个机器人代理的动作和值的预期范围内。如果工作输出在预期范围内，则该方法的逻辑循环返回以从机器人代理接收更多的工作输出。然而，如果工作输出在用于这个机器人代理的预期动作和值之外，则在步骤130，系统标记异常数据(例如，异常值、由机器人代理采取的异常动作或步骤、或两者的任意组合)。然后准备报告并发送给用户，以通知用户从机器人代理接收的异常数据(步骤140)。当然，可以将其他步骤插入到该方法中，包括使用一个或多个训练集中的工作输出来训练一个或多个机器学习模型的步骤。
应该清楚的是，虽然图3中的方法是在每个机器人代理的基础上执行的，但是系统也可以在系统范围的级别上执行该方法。这意味着，不是系统学习用于各个机器人代理中的每一个的预期动作和值，而是系统学习所有(或大多数)机器人代理的动作和值。如果遇到数据和/或动作方面的系统范围错误，则向用户发送报告。
图3中的方法也可以扩展到为各种机器人代理监控无声故障和噪声性故障两者。噪声性故障是生成错误信息或类似的事物的故障，而无声故障是其中故障发生时后果未知的故障。作为噪声性故障的示例，当期望字母值时具有数值可能将导致错误消息，并且这可能导致机器人代理故障。相反，无声故障的示例可以是当预期在10至15之间的值但输入了1000的值时。值方面的差异可能不会导致机器人代理故障，但可能由于处理明显错误的值而导致其他故障和错误。因此，该方法可以用于监控这些类型的故障。对于噪声性故障，可以由系统标记未能完成其任务的机器人代理，以便向用户报告。报告将详述故障，标识机器人代理，并提供关于正在执行的进程、正在使用的值和所遇到的故障的类型的数据。类似地，如果遇到潜在的无声故障(例如，使用了与预期值非常不同的值)，系统将认识到所遇到的值超出了用于这个机器人代理的预期动作和值。因此，将生成这样报告，该报告详述机器人代理的身份、正在执行的进程、正在处理的值、所遇到的潜在错误的类型、所遇到的错误的来源以及所提议的纠正性动作。此外，用于这个潜在错误值的预期值范围也可以被提供在报告中。这样，可以很容易地为用户提供排除故障和/或解决潜在问题所需的相关信息。
如上所述，图3中详述的方法可以检测任务的执行中使用的异常值。除此之外，系统还可以检测由机器人代理执行的异常动作。例如，出故障的机器人代理可以不在字段x中输入数据，而是将数据输入到字段x和y中。如果不期望到字段y中的输入，那么这种情况可以为用户生成合适的警报和合适的报告。作为另一示例，系统可以检测机器人代理是否错误地复制和/或粘贴来自错误数据源以及错误数据目的地的数据。因为系统已经学习了要由机器人代理采取的步骤，所以不同于所预期的内容的任何动作可以被捕获。因此，可以检测异常动作和异常值。因此，系统中的出故障的机器人代理、错误数据和其他小问题可以被记录并标记以便用户解决。
参考图4，示出了用于根据本发明的另一方面的又一方法的流程图。图中描述的方法涉及监控和分析在工作站上由人类执行的步骤。如上所述，图1中示出的系统可以用于执行这个方法。在这个方法中，分析由人类操作员或代理采取的步骤，并且如果需要的话，对其重新排序以确定正在执行的任务是否适合由机器人代理执行。为此，可以确定任务中的不同步骤之间的数据依赖性，并且如果可能的话，通过对步骤进行重新排序来减少或消除该数据依赖性。此外，可以评估任务或步骤可能需要的判断(或缺乏判断)，以确定机器人代理是否可以执行该判断，或者人类判断是否是必要的。
在图4中，该方法开始于系统从由人类代理操作的工作站接收工作输出(步骤200)。然后，在步骤210中，分析这个工作输出以便获得数据依赖性、判断要求以及可能的步骤重新安排，以减少任何数据依赖性。基于该分析，然后做出关于由人类操作员执行的一个或多个步骤或任务是否可以由机器人代理执行的决定220。如果响应是否定的，则逻辑流程返回到从工作站接收另外的工作成果的步骤200。另一方面，如果响应是肯定的，即一个或多个步骤可以由合适的机器人代理执行，则系统为用户准备报告(步骤230)。如上所述，该报告将解释可以被自动化的步骤，并且优选地将详述为了使任务/步骤适合自动化而可能需要进行的任何其他改变。
应当注意的是，本发明的各个方面以及本文档中的所有细节可以被实施来解决在全部业务方式相关的交易中遇到的问题以及全部业务方式问题。因此，本文件中的细节可以用于推进任何企业中的任何部门的任何目标、愿望或价值，包括对会计、营销、制造、管理和/或人力资源管理领域有利的任何最终结果，以及可以被视为与业务相关的人类活动的任何表达、字段或解释。
应该清楚的是，本发明的各个方面可以作为整个软件系统中的软件模块来实施。由此，本发明可以采取计算机可执行指令的形式，这些指令在被执行时实施具有预定义功能的各种软件模块。
附加地，应该清楚的是，除非另有说明，本文中对“图像”或“多个图像”的任何引用是指包括像素或图片单元的数字图像或多个数字图像。同样地，对“音频文件”或对“多个音频文件”的任何引用是指数字音频文件，除非另有说明。“视频”、“视频文件”、“数据对象”、“数据文件”和所有其他此类术语应理解为是指数字文件和/或数据对象，除非另有说明。
本发明的实施例可以由以方法步骤的方式编程的任何类型的类似设备或数据处理器来执行，或者可以由设有用于执行这些步骤的装置的电子系统来执行。类似地，诸如计算机磁盘、CD-ROM、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read OnlyMemory，ROM)或本领域已知的类似计算机软件存储介质的电子存储器装置可以被编程来执行这些方法步骤。同样，代表这些方法步骤的电子信号也可以经由通信网络传输。
本发明的实施例可以以任何常规计算机编程语言来实施。例如，优选实施例可以以过程编程语言(例如，“C”或“Go”)或面向对象语言(例如，“C++”、“java”、“PHP”、“PYTHON”或“C#”)来实施。本发明的替代性实施例可以被实施为预编程的硬件元件、其他相关组件或者硬件和软件组件的组合。
实施例可以被实施为用于与计算机系统一起使用的计算机程序产品。这种实施方式可以包括一系列计算机指令，这些指令或者固定在有形介质(诸如计算机可读介质(例如，磁盘、CD-ROM、ROM或固定盘))上，或者可经由调制解调器或其他接口设备(诸如通过介质连接到网络的通信适配器)传输到计算机系统。介质可以是有形介质(例如，光学或电通信线路)或者利用无线技术(例如，微波、红外或其他传输技术)实施的介质。该系列计算机指令实现了本文先前描述的全部或部分功能。本领域技术人员应该理解，这种计算机指令可以以用于与许多计算机体系结构或操作系统一起使用的多种编程语言编写。另外，这样的指令可以存储在任何存储器设备(诸如半导体、磁、光学或其他存储器设备)中，并且可以使用任何通信技术(诸如光学、红外、微波或其他传输技术)来传输。预期的是，这种计算机程序产品可以作为带有附带的印刷或电子文档(例如，收缩包装软件)的可移动介质来分发、预加载有计算机系统(例如，在系统ROM或固定盘上)、或者通过网络(例如，因特网或万维网)从服务器分发。当然，本发明的一些实施例可以被实施为软件(例如，计算机程序产品)和硬件两者的组合。本发明的其他实施例可以被实施为完全硬件或者完全软件(例如，计算机程序产品)。
理解本发明的人现在可以设想以上内容的替代性结构和实施例或变型，所有这些旨在落在权利要求所限定的本发明的范围内。

Claims (29)

1.一种用于增强多个机器人代理的性能的方法，所述方法包括：
a)接收将由所述机器人代理执行的任务的调度；
b)接收由所述机器人代理中的每一个机器人代理针对所述任务中的每一个任务执行的步骤；
c)使用机器学习来确定由不同机器人代理执行的所述步骤之间的依赖性；
d)使用机器学习来确定对所述步骤的调整，从而优化所述任务中的至少一个任务。
2.根据权利要求1所述的方法，还包括使用机器学习来确定对任务的所述调度的调整从而优化所述任务中的至少一个任务的步骤。
3.根据权利要求1所述的方法，还包括制定关于对所述步骤的所述调整的报告，所述报告用于发送给用户以确认对所述步骤的所述调整。
4.根据权利要求1所述的方法，其中对所述步骤的调整包括改变所述步骤中至少一些步骤被执行的顺序。
5.根据权利要求2所述的方法，其中对所述调度的所述调整包括改变所述任务中的至少一些任务被执行的顺序。
6.根据权利要求1所述的方法，其中所述方法还包括优化所述多个机器人代理之间的任务分布从而实现所述多个机器人代理之间的效率的步骤。
7.一种用于检测由至少一个机器人代理在其中执行任务的系统中的至少一个异常的方法，所述方法包括：
a)连续地接收来自所述至少一个机器人代理的工作输出；
b)在训练集中使用所述工作输出来连续地训练机器学习系统，使得所述机器学习系统从所述至少一个机器人代理学习动作和值的范围；
c)针对用于所述至少一个机器人代理的动作和值的所述范围，连续地评估所述工作输出；
d)在所述工作输出的至少一个方面是在用于所述机器人代理的动作和值的所述范围之外的情况下，为用户生成警报并为所述用户生成报告；
其中所述报告包括关于所述警报的解释。
8.根据权利要求7所述的方法，其中当所述至少一个机器人代理在任务中遇到故障时，生成至少一个警报。
9.根据权利要求8所述的方法，其中针对所遇到的任务中的所述故障的所述至少一个警报还生成带有对所述警报的解释的报告。
10.根据权利要求7所述的方法，其中所述工作输出包括由所述至少一个机器人代理在执行任务时执行的步骤。
11.根据权利要求10所述的方法，其中所述工作输出包括由所述至少一个机器人代理在执行所述任务时使用的数据源。
12.根据权利要求10所述的方法，其中所述工作输出包括由所述至少一个机器人代理在执行所述任务时使用的数据目的地。
13.根据权利要求10所述的方法，其中如果所执行的所述步骤包括至少一个未预期的步骤，则所述工作输出在动作和值的所述范围之外。
14.根据权利要求11所述的方法，其中如果所述数据源是未预期的数据源，则所述工作输出在动作和值的所述范围之外。
15.根据权利要求11所述的方法，其中如果所述数据目的地是未预期的数据目的地，则所述工作输出在动作和值的所述范围之外。
16.根据权利要求7所述的方法，其中所述报告包括用于减轻导致所述警报的情况的建议。
17.一种用于确定用于自动化的候选任务的方法，所述方法包括：
a)连续地接收来自用户工作站的工作输出，所述工作输出包括由人类在执行任务时在所述用户工作站上所执行的步骤；
b)使用机器学习来确定由所述用户执行的所述步骤是否能够由机器人代理执行；
c)在所述步骤能够由机器人代理执行的情况下，为用户生成详述能够由所述机器人代理执行的所述步骤的报告。
18.根据权利要求17所述的方法，其中步骤b)包括确定在所述步骤中使用的数据源。
19.根据权利要求17所述的方法，其中步骤b)包括确定在所述步骤中使用的数据目的地。
20.根据权利要求17所述的方法，其中步骤b)包括重新排序所述步骤，以确定经重新排序的步骤是否能够由机器人代理执行。
21.一种用于执行多个任务的系统，所述系统包括：
-多个机器人代理，所述多个机器人代理中的每一个机器人代理执行来自所述多个任务中的至少一个任务；
-协调器模块，所述协调器模块用于管理所述多个机器人代理，所述协调器模块从所述多个机器人代理中的至少一个机器人代理接收工作输出；
其中
-所述多个机器人代理中的至少一个机器人代理向所述协调器模块详述在执行所述至少一个任务时实行的步骤。
22.根据权利要求21所述的系统，其中所述协调器模块还接收来自由至少一个人类代理操作的工作站的工作输出。
23.根据权利要求22所述的系统，其中来自所述工作站的所述工作输出将由所述至少一个人类代理在所述用户工作站上执行的详述的步骤的指示发送到所述协调器模块。
24.根据权利要求21所述的系统，其中所述协调器模块用于产生用于发送给用户的报告，所述报告详述对由至少一个机器人代理执行的步骤的调整从而优化和执行所述多个任务中的至少一个任务。
25.根据权利要求21所述的系统，其中所述协调器模块用于产生用于发送给用户的报告，所述报告详述对用于由所述机器人代理执行所述多个任务的调度的调整从而优化和执行所述多个任务中的至少一个任务。
26.根据权利要求21的系统，其中所述协调器模块包括至少一个机器学习模块。
27.根据权利要求26所述的系统，其中所述至少一个机器学习模块基于从来自所述至少一个机器人代理的所述工作输出导出的数据而被连续地训练。
28.根据权利要求26所述的系统，其中所述协调器模块连续地分析所述工作输出，以确定来自所述至少一个机器人代理的所述工作输出是否在动作和值的被学习的范围内，动作和值的所述范围由所述至少一个神经网络基于先前接收的工作输出来学习。
29.根据权利要求21所述的系统，其中所述协调器模块用于产生用于发送给用户的报告，所述报告详述对调度的调整，从而在所述多个机器人代理之间重新分发任务，从而优化和执行所述多个任务中的至少一个任务。
CN201980078721.5A 2018-09-28 2019-09-26 用于机器人代理管理的系统和方法 Pending CN113661035A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862738463P 2018-09-28 2018-09-28
US62/738,463 2018-09-28
PCT/CA2019/051375 WO2020061699A1 (en) 2018-09-28 2019-09-26 System and method for robotic agent management

Publications (1)

Publication Number Publication Date
CN113661035A true CN113661035A (zh) 2021-11-16

Family

ID=69949229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078721.5A Pending CN113661035A (zh) 2018-09-28 2019-09-26 用于机器人代理管理的系统和方法

Country Status (8)

Country Link
US (1) US20210339389A1 (zh)
EP (1) EP3856469A4 (zh)
JP (1) JP2022513323A (zh)
KR (1) KR20210096077A (zh)
CN (1) CN113661035A (zh)
AU (1) AU2019348202B2 (zh)
CA (1) CA3114246C (zh)
WO (1) WO2020061699A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586463B2 (en) * 2018-04-17 2023-02-21 Oracle International Corporation Automated process flow learning
EP3871088A1 (en) * 2019-02-26 2021-09-01 Google LLC Reinforcement learning techniques for selecting a software policy network and autonomously controlling a corresponding software client based on selected policy network
US11738453B2 (en) * 2019-10-15 2023-08-29 UiPath, Inc. Integration of heterogeneous models into robotic process automation workflows
US11748479B2 (en) 2019-10-15 2023-09-05 UiPath, Inc. Centralized platform for validation of machine learning models for robotic process automation before deployment
US20220012624A1 (en) * 2020-07-07 2022-01-13 Northrop Grumman Systems Corporation Systems and methods for evaluating a behavior of a machine-learning algorithm
KR20230014585A (ko) 2021-07-21 2023-01-30 현대모비스 주식회사 차량용 av 시스템의 버튼 구조체 및 이의 작동방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452451B1 (en) * 2011-05-06 2013-05-28 Google Inc. Methods and systems for robotic command language
CN105835063A (zh) * 2016-06-03 2016-08-10 国网宁夏电力公司检修公司 一种变电站室内巡检机器人系统及其巡检方法
CN105856235A (zh) * 2016-06-08 2016-08-17 江苏若博机器人科技有限公司 一种无线传输两核六轴履带式天然气管道机器人控制系统
CN105881504A (zh) * 2016-05-11 2016-08-24 武汉菲仕运动控制系统有限公司 一种具有牵引视教功能的Delta机器人控制系统
CN106003034A (zh) * 2016-06-16 2016-10-12 深圳先进技术研究院 一种主从式机器人控制系统及控制方法
US20170140259A1 (en) * 2015-11-16 2017-05-18 Kindred Systems Inc. Systems, devices, and methods for distributed artificial neural network computation
CN107803834A (zh) * 2017-01-16 2018-03-16 小蚁科技（香港）有限公司 机器人系统和方法
US20180152366A1 (en) * 2016-11-29 2018-05-31 Intel Corporation Technologies for managing network statistic counters

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4377744B2 (ja) * 2004-05-13 2009-12-02 本田技研工業株式会社 ロボット制御装置
US8538793B2 (en) * 2011-02-17 2013-09-17 Infosys Limited System and method for managing real-time batch workflows
EP3185124A1 (en) * 2015-12-22 2017-06-28 Tata Consultancy Services Limited System and method for monitoring, deploying, and tracking autonomous software robots
US10365799B2 (en) * 2016-02-09 2019-07-30 Wipro Limited System and methods for creating on-demand robotic process automation
JP6114421B1 (ja) * 2016-02-19 2017-04-12 ファナック株式会社 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法
US20170293844A1 (en) * 2016-04-06 2017-10-12 Massachusetts Institute Of Technology Human-machine collaborative optimization via apprenticeship scheduling
US11107090B2 (en) * 2016-06-06 2021-08-31 Epiance Software Pvt. Ltd. System and method for automated content generation
US10112298B2 (en) * 2016-08-09 2018-10-30 International Business Machines Corporation Assigning tasks to a robot device for execution
US10504055B2 (en) * 2016-09-02 2019-12-10 X Development Llc Optimization of warehouse layout based on customizable goals
CN106355345A (zh) * 2016-09-08 2017-01-25 京东方科技集团股份有限公司 自动售货机器人智能调度系统及方法
US10782670B2 (en) * 2016-12-14 2020-09-22 The Boeing Company Robotic task system
US9817967B1 (en) * 2017-01-13 2017-11-14 Accenture Global Solutions Limited Integrated robotics and access management for target systems
CN107291078B (zh) * 2017-06-06 2019-11-08 歌尔股份有限公司 一种服务机器人的调度方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452451B1 (en) * 2011-05-06 2013-05-28 Google Inc. Methods and systems for robotic command language
US20170140259A1 (en) * 2015-11-16 2017-05-18 Kindred Systems Inc. Systems, devices, and methods for distributed artificial neural network computation
CN105881504A (zh) * 2016-05-11 2016-08-24 武汉菲仕运动控制系统有限公司 一种具有牵引视教功能的Delta机器人控制系统
CN105835063A (zh) * 2016-06-03 2016-08-10 国网宁夏电力公司检修公司 一种变电站室内巡检机器人系统及其巡检方法
CN105856235A (zh) * 2016-06-08 2016-08-17 江苏若博机器人科技有限公司 一种无线传输两核六轴履带式天然气管道机器人控制系统
CN106003034A (zh) * 2016-06-16 2016-10-12 深圳先进技术研究院 一种主从式机器人控制系统及控制方法
US20180152366A1 (en) * 2016-11-29 2018-05-31 Intel Corporation Technologies for managing network statistic counters
CN107803834A (zh) * 2017-01-16 2018-03-16 小蚁科技（香港）有限公司 机器人系统和方法

Also Published As

Publication number Publication date
US20210339389A1 (en) 2021-11-04
WO2020061699A1 (en) 2020-04-02
JP2022513323A (ja) 2022-02-07
CA3114246A1 (en) 2020-04-02
AU2019348202A1 (en) 2021-05-27
EP3856469A1 (en) 2021-08-04
KR20210096077A (ko) 2021-08-04
CA3114246C (en) 2023-10-17
EP3856469A4 (en) 2022-03-23
AU2019348202B2 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
AU2019348202B2 (en) System and method for robotic agent management
EP3798846B1 (en) Operation and maintenance system and method
US11295228B2 (en) Methods for creating automated dynamic workflows of interoperable bots and devices thereof
CN111712813B (zh) 多维时间序列数据的智能预处理
US20190129833A1 (en) Method, device and computer program product for executing test cases
US20190268214A1 (en) Predicting issues before occurrence, detection, or reporting of the issues
CN109791516B (zh) 用于在具有自x特性的自主系统中使用的监测和控制单元
WO2020046261A1 (en) Systematic prognostic analysis with dynamic causal model
US11165643B1 (en) Cloud compliance drift automation and root cause analysis tool
US11762723B2 (en) Systems and methods for application operational monitoring
CN112380255A (zh) 一种业务处理方法、装置、设备和存储介质
CN114647525A (zh) 诊断方法、装置、终端及存储介质
Dhanalaxmi et al. A review on software fault detection and prevention mechanism in software development activities
US20230099153A1 (en) Risk-based aggregate device remediation recommendations based on digitized knowledge
CN114461439A (zh) 一种故障诊断方法、装置、设备及存储介质
Larrinaga et al. Implementation of a reference architecture for cyber physical systems to support condition based maintenance
JP7339321B2 (ja) 機械学習モデル更新方法、コンピュータプログラムおよび管理装置
US11526162B2 (en) Method for detecting abnormal event and apparatus implementing the same method
US20220129337A1 (en) Training a Model for Use with a Software Installation Process
CN113434323A (zh) 数据中台的任务流控制方法及相关装置
CN107577546B (zh) 一种信息处理方法、装置及电子设备
Teggi et al. AIOPs based Predictive Alerting for System Stability in IT Environment
WO2023032218A1 (ja) 因果探索装置、因果探索方法、及びコンピュータ読み取り可能な記録媒体
CN115130111B (zh) 基于ai分析的系统运行漏洞修复方法及大数据服务系统
Karanth et al. Workaround prediction of cloud alarms using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064335

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20220805

Address after: Montreal, Quebec, Canada

Applicant after: Seweslaw Canada Ltd.

Address before: Quebec, Canada

Applicant before: AI Liwen AI Co.,Ltd.

TA01 Transfer of patent application right