CN115904883B - 一种rpa流程执行可视化异常监控方法、装置及介质 - Google Patents

Abstract

本申请涉及一种RPA流程执行可视化异常监控方法、装置及介质，涉及流程自动化的领域，该方法包括获取当前执行任务的流程节点，当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频，从执行视频中确定出当前轮次中每个流程节点的子执行视频，对子执行视频进行异常分析，得到每个流程节点的分析结果，若存在异常流程节点，则确定当前轮次任务的异常等级，基于异常等级判断是否需要输出提示信息，若需要，则确定当前执行任务对应的目标终端设备，并向目标终端设备发送提示信息。本申请具有使用户及时得知任务在执行时出现异常情况的效果。

Description

一种RPA流程执行可视化异常监控方法、装置及介质

技术领域

本申请涉及流程自动化的领域，尤其是涉及一种RPA流程执行可视化异常监控方法、装置及介质。

背景技术

 机器人流程自动化（Robotic process automation，RPA）是以软件机器人及人工智能（AI）为基础的业务过程自动化科技。RPA系统是一种应用程序，它通过模仿最终用户在电脑的手动操作方式代替人工实现操作流程自动化。

目前RPA在执行流程自动化的任务时，若用户需要处理其他事务，则用户不一定能够实时监控RPA的执行过程以及运行状态。RPA在长时间的执行过程中可能会出现执行异常的情况，若此时用户未进行监控，则用户无法及时得知执行过程中出现异常，从而无法及时处理执行过程中的异常情况，进而影响RPA的工作效率。

发明内容

为了使用户及时得知任务在执行时出现异常情况，本申请提供一种RPA流程执行可视化异常监控方法、装置及介质。

第一方面，本申请提供一种RPA流程执行可视化异常监控方法，采用如下的技术方案：

一种RPA流程执行可视化异常监控方法，包括：

获取当前执行任务的流程节点；

当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频；

从所述执行视频中确定出当前轮次中每个流程节点的子执行视频；

对所述子执行视频进行异常分析，得到每个流程节点的分析结果；

若存在异常流程节点，则确定所述当前轮次任务的异常等级；

基于所述异常等级判断是否需要输出提示信息；

若需要，则确定所述当前执行任务对应的目标终端设备，并向所述目标终端设备发送提示信息。

通过采用上述技术方案，执行任务通常包括多个步骤，每个步骤均为一个流程节点，因此获取当前执行任务的流程节点，从而便于后续得知该执行任务的执行情况，当检测到任务开始执行时，说明开始自动执行任务的流程节点，因此从此时开始对屏幕画面进行录制，得到当前轮次任务的执行视频，执行视频中记录了每个流程节点的执行情况，因此能够从执行视频中确定出当前轮次中每个流程节点的子执行视频，通过子执行视频能够更好地对每个流程节点的执行情况进行分析，确定出每个流程节点的子执行视频后，对子执行视频进行异常分析并得到每个流程节点的分析结果，从而能够得知是否存在执行异常的流程节点，存在异常流程节点时不一定必须通知用户，还需根据异常流程节点的具体情况判断是否需要通知用户，因此若存在异常流程节点，则根据异常的流程节点确定当前轮次任务的异常等级，确定出异常等级后，从而能够根据异常等级判断是否需要输出提示信息，以通知用户，若需要通知用户，则确定当前执行任务对应的目标终端设备，即用户的终端设备，并向用户的终端设备发送提示信息，从而及时提醒用户任务执行过程中出现异常，进而便于用户及时进行相应的处理。

在另一种可能实现的方式中，所述从所述执行视频中确定出当前轮次中每个流程节点的子执行视频，包括：

确定执行每个流程节点时在所述屏幕上对应的位置信息，以及每个流程节点的顺序信息；

基于所述位置信息以及顺序信息对所述执行视频进行截取，得到每个流程节点的子执行视频。

通过采用上述技术方案，由于每个流程节点对应的操作顺序和在屏幕上的位置不同，因此在确定出每个流程节点在执行时在屏幕上对应的位置信息以及每个流程节点的先后顺序的顺序信息后，即可根据位置信息和顺序信息对执行视频进行截取，得到记载每个流程节点执行情况的子执行视频，确定出子执行视频后，根据子执行视频分析每个流程节点的执行情况更准确方便。

在另一种可能实现的方式中，所述分析结果包括正常流程节点和异常流程节点，所述对所述子执行视频进行异常分析，得到每个流程节点的分析结果，包括：

获取所述每个流程节点对应的执行正常的基准视频；

计算所述每个流程节点的子执行视频与对应的基准视频的相似度；

判断每个子执行视频的相似度是否达到预设相似度阈值；

若达到，则确定子执行视频对应的流程节点为正常流程节点；

若未达到，则确定执行子视频对应的流程节点为异常流程节点。

通过采用上述技术方案，每个流程节点均对应有在执行正常时的基准视频，获取到每个流程节点的基准视频后，计算每个流程节点的子执行视频与对应的基准视频的相似度，相似度表征执行时与执行正常时基准视频的相似接近程度，若相似度达到预设相似度阈值，则说明流程节点在执行时与正常执行时的执行过程足够接近，可以确定属于执行正常的流程节点，若相似度未达到预设相似度阈值，则说明流程节点在执行时与正常执行时的执行过程差距较大，不足以判定属于执行正常的流程节点，因此确定属于异常流程节点，通过计算相似度并且与预设相似度阈值进行比较判断流程节点是否执行异常更加准确。

在另一种可能实现的方式中，所述确定所述当前执行任务的异常等级，基于所述异常等级判断是否需要输出提示信息，包括：

若最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，则确定所述当前轮次任务的等级为第一等级；

若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值，则确定所述当前轮次任务的等级为第二等级；

若所述当前轮次任务的等级为第一等级，则确定需要输出提示信息；

若所述当前轮次任务的等级为第二等级，则确定不需要输出提示信息。

通过采用上述技术方案，最后一个流程节点通常表征当前轮次任务的执行结果，最后一个流程节点运行异常则说明当前轮次任务最终的执行结果异常，则需要通知用户，因此若最后一个流程节点的相似度未达到预设相似度阈值则确定当前轮次任务为第一等级；后一个流程节点运行正常则说明当前轮次任务最终的执行结果正常，则无需通知用户，因此若最后一个流程节点的相似度达到预设相似度阈值则确定当前轮次任务为第二等级，当属于第一等级时，确定需要输出提示信息，当属于第二等级时，确定不需要输出提示信息，将当前轮次任务分为第一等级和第二等级，从而便于确定是否需要通知用户。

在另一种可能实现的方式中，所述方法还包括：

确定所述当前轮次任务中正常流程节点的与全部流程节点的占比；

基于所述占比、最后一个流程节点的分析结果以及各自对应的权重计算所述当前轮次任务的得分；

当检测到停止自动执行所述执行任务时，确定全部轮次任务的得分平均值以及得分方差；

基于所述得分平均值、得分方差以及各自对应的系数计算所述全部轮次任务的质量评分；

确定所述质量评分所在的预设评分区间，并确定所述全部轮次任务的质量等级，所述预设评分区间与质量等级存在对应关系。

通过采用上述技术方案，确定正常流程节点的数量与全部流程节点的占比，该占比以及最后一个流程节点的分析结果对当前轮次任务的执行质量的影响程度不同，因此通过该占比、最后一个流程节点的分析结果以及各自对应的权重计算得分，该得分即可表征当前轮次任务的完成质量，从而使得当前轮次任务的完成质量更直观，任务在执行时可能需要执行多轮，因此在检测到停止自动执行该执行任务时，确定全部轮次任务的得分平均值以及得分方差，得分平均值和得分方差均表征全部轮次任务执行完毕后的整体质量，得分平均值和得分方差对整体质量的影响程度不同，因此再结合得分平均值、得分方差以及各自对应的系数计算质量评分，确定出整体的质量评分后，确定质量评分所在的预设评分区间，由于每个预设评分区间均对应有质量等级，因此能够根据质量评分确定出全部轮次任务的质量等级，进而便于用户更直观地得知全部轮次任务的完成质量。

在另一种可能实现的方式中，所述方法还包括：

若所述当前轮次任务中不存在异常流程节点，则删除所述当前轮次任务对应的执行视频。

通过采用上述技术方案，当前轮次任务中不存在异常流程节点，则说明当前轮次任务整体执行正常，因此当前轮次任务对应的执行视频无需保存，删除当前轮次任务对应的执行视频从而更加节省存储空间。

在另一种可能实现的方式中，所述方法还包括：

若所述当前轮次任务中存在异常流程节点，则确定所述当前轮次任务对应的维修人员；

将所述异常流程节点对应子执行视频发送至所述维修人员对应的终端设备。

通过采用上述技术方案，若当前轮次任务中存在异常流程节点，则说明当前轮次任务存在故障，需要进行维修，因此确定当前轮次任务对应的维修人员，确定出维修人员后将异常流程节点对应的子执行视频发送至维修人员对应的终端设备，从而使得维修人员及时了解异常流程节点的执行过程，进而便于维修人员及时作出相应处理。

第二方面，本申请提供一种RPA流程执行可视化异常监控装置，采用如下的技术方案：

一种RPA流程执行可视化异常监控装置，包括：

节点获取模块，用于获取当前执行任务的流程节点；

屏幕录制模块，用于当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频；

子视频确定模块，用于从所述执行视频中确定出当前轮次中每个流程节点的子执行视频；

异常分析模块，用于对所述子执行视频进行异常分析，得到每个流程节点的分析结果；

异常等级确定模块，用于当存在异常流程节点时，确定所述当前轮次任务的异常等级；

判断模块，用于基于所述异常等级判断是否需要输出提示信息；

发送模块，用于当需要时，确定所述当前执行任务对应的目标终端设备，并向所述目标终端设备发送提示信息。

通过采用上述技术方案，执行任务通常包括多个步骤，每个步骤均为一个流程节点，因此节点获取模块获取当前执行任务的流程节点，从而便于后续得知该执行任务的执行情况，当检测到任务开始执行时，说明开始自动执行任务的流程节点，因此屏幕录制模块从此时开始对屏幕画面进行录制，得到当前轮次任务的执行视频，执行视频中记录了每个流程节点的执行情况，因此子视频确定模块能够从执行视频中确定出当前轮次中每个流程节点的子执行视频，通过子执行视频能够更好地对每个流程节点的执行情况进行分析，确定出每个流程节点的子执行视频后，异常分析模块对子执行视频进行异常分析并得到每个流程节点的分析结果，从而能够得知是否存在执行异常的流程节点，存在异常流程节点时不一定必须通知用户，还需根据异常流程节点的具体情况判断是否需要通知用户，因此若存在异常流程节点，异常等级确定模块则根据异常的流程节点确定当前轮次任务的异常等级，确定出异常等级后，判断模块从而能够根据异常等级判断是否需要输出提示信息，以通知用户，若需要通知用户，发送模块则确定当前执行任务对应的目标终端设备，即用户的终端设备，并向用户的终端设备发送提示信息，从而及时提醒用户任务执行过程中出现异常，进而便于用户及时进行相应的处理。

在另一种可能的实现方式中，所述子视频确定模块在从所述执行视频中确定出当前轮次中每个流程节点的子执行视频时，具体用于：

确定执行每个流程节点时在所述屏幕上对应的位置信息，以及每个流程节点的顺序信息；

基于所述位置信息以及顺序信息对所述执行视频进行截取，得到每个流程节点的子执行视频。

在另一种可能的实现方式中，所述分析结果包括正常流程节点和异常流程节点，所述异常分析模块在对所述子执行视频进行异常分析，得到每个流程节点的分析结果时，具体用于：

获取所述每个流程节点对应的执行正常的基准视频；

计算所述每个流程节点的子执行视频与对应的基准视频的相似度；

判断每个子执行视频的相似度是否达到预设相似度阈值；

若达到，则确定子执行视频对应的流程节点为正常流程节点；

若未达到，则确定执行子视频对应的流程节点为异常流程节点。

在另一种可能的实现方式中，所述异常等级确定模块在确定所述当前执行任务的异常等级时，以及判断模块在基于所述异常等级判断是否需要输出提示信息时，具体用于：

若最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，则确定所述当前轮次任务的等级为第一等级；

若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值，则确定所述当前轮次任务的等级为第二等级；

若所述当前轮次任务的等级为第一等级，则确定需要输出提示信息；

若所述当前轮次任务的等级为第二等级，则确定不需要输出提示信息。

在另一种可能的实现方式中，所述装置还包括：

占比确定模块，用于确定所述当前轮次任务中正常流程节点的与全部流程节点的占比；

得分计算模块，用于基于所述占比、最后一个流程节点的分析结果以及各自对应的权重计算所述当前轮次任务的得分；

平均值以及方差确定模块，用于当检测到停止自动执行所述执行任务时，确定全部轮次任务的得分平均值以及得分方差；

质量评分确定模块，用于基于所述得分平均值、得分方差以及各自对应的系数计算所述全部轮次任务的质量评分；

质量等级确定模块，用于确定所述质量评分所在的预设评分区间，并确定所述全部轮次任务的质量等级，所述预设评分区间与质量等级存在对应关系。

在另一种可能的实现方式中，所述装置还包括：

删除模块，用于当所述当前轮次任务中不存在异常流程节点时，删除所述当前轮次任务对应的执行视频。

在另一种可能的实现方式中，所述装置还包括：

人员确定模块，用于当所述当前轮次任务中存在异常流程节点时，确定所述当前轮次任务对应的维修人员；

视频发送模块，用于将所述异常流程节点对应子执行视频发送至所述维修人员对应的终端设备。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，该电子设备包括：

至少一个处理器；

存储器；

至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，至少一个配置用于：执行根据第一方面任一种可能的实现方式所示的一种RPA流程执行可视化异常监控方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，当所述计算机程序在计算机中执行时，令所述计算机执行第一方面任一项所述的一种RPA流程执行可视化异常监控方法。

综上所述，本申请包括以下至少一种有益技术效果：

1. 执行任务通常包括多个步骤，每个步骤均为一个流程节点，因此获取当前执行任务的流程节点，从而便于后续得知该执行任务的执行情况，当检测到任务开始执行时，说明开始自动执行任务的流程节点，因此从此时开始对屏幕画面进行录制，得到当前轮次任务的执行视频，执行视频中记录了每个流程节点的执行情况，因此能够从执行视频中确定出当前轮次中每个流程节点的子执行视频，通过子执行视频能够更好地对每个流程节点的执行情况进行分析，确定出每个流程节点的子执行视频后，对子执行视频进行异常分析并得到每个流程节点的分析结果，从而能够得知是否存在执行异常的流程节点，存在异常流程节点时不一定必须通知用户，还需根据异常流程节点的具体情况判断是否需要通知用户，因此若存在异常流程节点，则根据异常的流程节点确定当前轮次任务的异常等级，确定出异常等级后，从而能够根据异常等级判断是否需要输出提示信息，以通知用户，若需要通知用户，则确定当前执行任务对应的目标终端设备，即用户的终端设备，并向用户的终端设备发送提示信息，从而及时提醒用户任务执行过程中出现异常，进而便于用户及时进行相应的处理；

2. 确定正常流程节点的数量与全部流程节点的占比，该占比以及最后一个流程节点的分析结果对当前轮次任务的执行质量的影响程度不同，因此通过该占比、最后一个流程节点的分析结果以及各自对应的权重计算得分，该得分即可表征当前轮次任务的完成质量，从而使得当前轮次任务的完成质量更直观，任务在执行时可能需要执行多轮，因此在检测到停止自动执行该执行任务时，确定全部轮次任务的得分平均值以及得分方差，得分平均值和得分方差均表征全部轮次任务执行完毕后的整体质量，得分平均值和得分方差对整体质量的影响程度不同，因此再结合得分平均值、得分方差以及各自对应的系数计算质量评分，确定出整体的质量评分后，确定质量评分所在的预设评分区间，由于每个预设评分区间均对应有质量等级，因此能够根据质量评分确定出全部轮次任务的质量等级，进而便于用户更直观地得知全部轮次任务的完成质量。

附图说明

图1是本申请实施例的一种RPA流程执行可视化异常监控方法的流程示意图。

图2是本申请实施例的一种RPA流程执行可视化异常监控装置的结构示意图。

图3是本申请实施例中一种电子设备的结构示意图。

实施方式

以下结合附图对本申请作进一步详细说明。

本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供了一种RPA流程执行可视化异常监控方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括步骤S101、步骤S102步骤S103、步骤S104、步骤S105、步骤S106以及步骤S107，其中，

S101，获取当前执行任务的流程节点。

对于本申请实施例，用户可通过可视化操作界面选择需要执行的任务，用户选择出需要执行的任务后，电子设备即可得知当前执行任务中的每个流程节点。

 S102，当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频。

对于本申请实施例，用户可在可视化操作界面上通过鼠标、键盘以及触控屏等输入设备触发开始执行的指令，电子设备检测到开始执行的指令后，即可得知需要开始执行任务，此时电子设备开始对屏幕中的画面进行录制，得到当前轮次任务的执行视频。由于电子设备通常需要重复执行多次任务，也即会执行多轮任务，因此电子设备会得到每轮次任务的执行视频。

 S103，从执行视频中确定出当前轮次中每个流程节点的子执行视频。

对于本申请实施例，由于执行视频为当前轮次任务执行时的整个过程的视频，其中包括了每个流程节点的执行过程，也即由每个流程节点的部分视频组成，因此电子设备需从执行视频中确定出每个流程节点的子视频信息，从而便于后续分析每个流程节点的执行状态。

 S104，对子执行视频进行异常分析，得到每个流程节点的分析结果。

对于本申请实施例，确定出每个流程节点对应的子执行视频后，由于子执行视频记载了流程节点的执行情况，对子执行视频进行异常分析，从而能够得到每个流程节点的分析结果，即，每个流程节点是否执行正常。

 S105，若存在异常流程节点，则确定当前轮次任务的异常等级。

对于本申请实施例，电子设备判断出存在异常流程节点后，由于异常流程节点并不一定会对最终的执行结果造成影响，因此需根据异常流程节点的具体情况判断是否需要通知用户，确定电子设备根据异常流程节点确定当前轮次任务的异常等级，不同的异常等级对应是否需要通知用户。

 S106，基于异常等级判断是否需要输出提示信息。

对于本申请实施例，确定出当前轮次任务的异常等级后，由于不同的异常等级对应是否需要通知用户，根据异常等级判断是否需要输出提示信息，提示信息用户提示用户存在执行异常的节点。

 S107，若需要，则确定当前执行任务对应的目标终端设备，并向目标终端设备发送提示信息。

对于本申请实施例，电子设备判断出需要输出提示信息后，说明需要通知用户，因此电子设备确定出当前执行任务对应的目标终端设备，也即用户对应的终端设备，终端设备可以是手机、个人电脑以及平板电脑等设备，电子设备与用户的终端设备之间通信连接，电子设备可向用户对应的终端设备发送“当前轮次任务执行异常，请及时查看”的短信文字信息。

在本申请实施例中，电子设备在确定出每个流程节点的执行结果后，还可将每个流程节点的执行结果发送至用户对应的终端设备或流程监控平台中，进一步的，电子设备还可根据常用的逻辑并行、分支以及嵌套等辑控制进行执行结果的判断，并将操作结果和当前运行状态发送至用户对应的终端设备或流程监控平台，最后在终端设备或流程监控平台的显示界面进行显示。

本申请实施例的一种可能的实现方式，步骤S103中从执行视频中确定出当前轮次中每个流程节点的子执行视频，具体包括步骤S1031（图中未示出）以及步骤S1032（图中未示出），其中，

S1031，确定执行每个流程节点时在屏幕上对应的位置信息，以及每个流程节点的顺序信息。

对于本申请实施例，当前执行任务包括多个流程节点，并且每个流程节点在屏幕上对应的操作位置不同，每个流程节点的执行顺序也不同。用户在可视化操作界面上选择好执行任务后，电子设备即可确定出每个流程节点的顺序信息以及执行时的位置信息。进一步的，每个流程节点与位置信息存在对应关系，流程节点与执行时的顺序信息也存在对应关系，上述两个对应关系可存储在电子设备内部的存储介质中，也可存储在云服务器中，当电子设备获取到用户选择的执行任务后，电子设备可从本地存储介质中或云服务器中获取每个流程节点的位置信息和顺序信息。

 S1032，基于位置信息以及顺序信息对执行视频进行截取，得到每个流程节点的子执行视频。

对于本申请实施例，在确定出每个流程节点的位置信息和顺序信息后，电子设备即可对每个流程节点对应子执行视频进行截取。具体的，电子设备可从执行视频中确定出第一个流程节点开始执行时的时间，当第一个流程节点执行完毕开始执行第二个流程节点时，将此时作为第一个流程节点的结束时间以及第二个流程节点的开始时间，以此类推，从而得到每个流程节点的子执行视频。

本申请实施例的一种可能的实现方式，分析结果包括正常流程节点和异常流程节点，步骤S104中对子执行视频进行异常分析，得到每个流程节点的分析结果，具体包括步骤S1041（图中未示出）、步骤S1042（图中未示出）、步骤S1043（图中未示出）、步骤S1044（图中未示出）以及步骤S1045（图中未示出），其中，

S1041，获取每个流程节点对应的执行正常的基准视频。

对于本申请实施例，每个流程节点均对应有在执行正常时的基准视频，其中，每个流程节点对应的基准视频可存储在电子设备内的存储介质中，也可存储在云服务器中，在确定出执行任务后，电子设备可从内部的存储介质或云服务器中获取每个流程节点的基准视频，从而便于后续判断每个流程节点是否运行异常。

 S1042，计算每个流程节点的子执行视频与对应的基准视频的相似度。

对于本申请实施例，电子设备可对子执行视频进行解析得到子执行视频的每帧画面，电子设备能够对基准视频进行解析得到基准视频的每帧画面，确定出每帧画面后，计算子执行视频的每帧画面与基准视频的每帧画面的相似度。进一步的，计算相似度可通过结构相似性度量（SSIM）计算，也可通过余弦相似度计算，即把每帧画面表示成一个向量，通过计算向量之间的余弦距离来表征两个画面的相似度，还可通过直方图计算相似度，还可通过其他方式计算相似度，在此不做限定。电子设备计算出每个画面的相似度后，可计算整体的相似度平均值表征两个视频之间的相似度，假设某一流程节点的子执行视频对应的相似度为95％。

 S1043，判断每个子执行视频的相似度是否达到预设相似度阈值。

 S1044，若达到，则确定子执行视频对应的流程节点为正常流程节点。

 S1045，若未达到，则确定执行子视频对应的流程节点为异常流程节点。

对于本申请实施例，假设预设相似度阈值为97％，以步骤S1042为例，电子设备确定出该流程节点的子执行视频的相似度后，与预设相似度阈值进行对比，以判断是否达到预设相似度阈值，电子设备将95％与97％进行对比，因此该子执行视频的相似度未达到预设相似度阈值，说明该流程节点的操作过程与基准视频的执行过程相差较大，可判定该流程节点执行异常，因此电子设备确定出该流程节点为异常流程节点。若相似度达到预设相似度阈值，则说明流程节点与运行正常时的执行过程相差较小，较为接近执行正常时的执行过程，电子设备可判定流程节点执行正常，因此电子设备确定出流程节点为正常流程节点。

本申请实施例的一种可能的实现方式，步骤S105中确定当前执行任务的异常等级，以及步骤S106中基于异常等级判断是否需要输出提示信息，具体包括步骤Sa（图中未示出）、步骤Sb（图中未示出）、步骤Sc（图中未示出）以及步骤Sd（图中未示出），其中，

Sa，若最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，则确定当前轮次任务的等级为第一等级。

对于本申请实施例，最后一个流程节点通常表征当前轮次任务的执行结果，因此最后一个流程节点是否属于正常流程节点与是否需要通知用户具有相关关系。若最后一个流程节点属于异常执行节点，则说明当前轮次任务的执行结果异常，无论最后一个流程节点之前的流程节点是否执行异常，均需要通知用户。因此，最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，说明最后一个流程节点为异常流程节点，电子设备将当前轮次任务的等级确定为第一等级。

 Sb，若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值，则确定当前轮次任务的等级为第二等级。

对于本申请实施例，若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值则说明当前轮次任务的执行结果正常，即使之前的流程节点存在执行异常，都无需通知用户，因此电子设备将当前轮次任务的等级确定为第二等级。

 Sc，若当前轮次任务的等级为第一等级，则确定需要输出提示信息。

对于本申请实施例，电子设备确定出当前轮次任务的等级为第一等级后，说明当前轮次任务最终执行结果为异常，因此需要通知用户，即确定需要输出提示信息。

 Sd，若当前轮次任务的等级为第二等级，则确定不需要输出提示信息。

对于本申请实施例，电子设备确定出当前轮次任务的等级为第二等级后，说明当前轮次任务最终执行结果为正常，因此即使中间的流程节点存在执行异常的情况，但未影响最终的执行结果，因此可不通知用户，即电子设备确定不需要输出提示信息。

本申请实施例的一种可能的实现方式，方法还包括步骤S108（图中未示出）、步骤S109（图中未示出）、步骤S110（图中未示出）、步骤S111（图中未示出）以及步骤S112（图中未示出），其中，步骤S108可在步骤S107之后执行，其中，

S108，确定当前轮次任务中正常流程节点的与全部流程节点的占比。

对于本申请实施例，假设当前轮次任务中总共存在10个流程节点，正常流程节点的数量为7个，电子设备确定出异常流程节点的数量与全部流程节点的占比为0.7。

 S109，基于占比、最后一个流程节点的分析结果以及各自对应的权重计算当前轮次任务的得分。

对于本申请实施例，正常流程节点与全部流程节点的占比、最后一个流程节点的分析结果均能够表征当前轮次任务的执行质量，并且上述两者对执行质量的影响程度不同，因此可设定上述两者各自对应的权重，假设占比对应的权重为0.4，最后一个流程节点的分析结果对应的权重为0.6。进一步的，为了便于计算得分，可使用数值表征最后一个流程节点的分析结果，例如，最后一个流程节点的分析结果为执行正常对应的数值为2，最后一个流程节点的分析结果为执行异常对应的数值为1。以步骤S108为例，并且当前轮次任务最后一个流程节点执行正常，电子设备计算出当前轮次任务的得分为0.7×0.4+2×0.6＝1.48。上述两者对应的权重可根据实际情况进行适应性修改调整。

 S110，当检测到停止自动执行任务时，确定全部轮次任务的得分平均值以及得分方差。

对于本申请实施例，用户可在可视化操作界面上选择任务需要持续执行的时长或轮数，用户选择好执行的时长或轮数后，电子设备开始按照用户选择的时长或轮数执行任务，因此在达到选择的时长或轮数后，电子设备即可检测到停止自动执行该任务，此时电子设备根据每轮次对应的得分能够计算出全部轮次任务的得分平均值以及得分方差，具体的，电子设备根据平均值计算公式以及方差计算公式即可计算出得分平均值和得分方差，假设得分平均值为1.5，得分方差为0.065。

 S111，基于得分平均值、得分方差以及各自对应的系数计算全部轮次任务的质量评分。

对于本申请实施例，得分平均值以及得分方差对整体质量的影响程度不同，因此为了确定出全部轮次任务的质量评分，用户可设定得分平均值以及得分方差各自对应的系数，假设得分平均值对应的系数为1，得分方差对应的系数为10。以步骤S110为例，电子设备计算出全部轮次任务的质量评分为1.5×1＋0.065×10＝2.15。进一步的，得分平均值以及得分方差各自对应的系数可根据实际情况进行适应性修改调整。

 S112，确定质量评分所在的预设评分区间，并确定全部轮次任务的质量等级。

其中，预设评分区间与质量等级存在对应关系。

对于本申请实施例，假设预设评分区间存在三个，分别为[0,1]、（1,2]以及（2,3]，[0,1]对应的质量等级为一级，（1,2]对应的质量等级为二级，（2,3]对应的质量等级为三级，需要了解的是等级越高，全部轮次任务的执行质量越高。以步骤S111为例，电子设备确定出2.15所在的预设评分区间为（2,3]，因此电子设备确定出全部轮次任务的质量等级为三级，在全部轮次任务执行完成后，用户能够更直观地得知全部轮次任务整体的执行质量。

本申请实施例的一种可能的实现方式，方法还包括步骤S113（图中未示出），其中，步骤S113可在步骤S104之后执行，其中，

S113，若当前轮次任务中不存在异常流程节点，则删除当前轮次任务对应的执行视频。

对于本申请实施例，若当前轮次任务中不存在异常流程节点，则说明每个流程节点都执行正常，对应的执行视频无需继续存储，因此，电子设备对当前轮次任务的执行视频删除即可，从而节省存储占用空间。

本申请实施例的一种可能的实现方式，方法还包括步骤S114（图中未示出）以及步骤S115（图中未示出），其中，步骤S114可在步骤S104之后执行，其中，

S114，若当前轮次任务中存在异常流程节点，则确定当前轮次任务对应的维修人员。

对于本申请实施例，若当前轮次任务中存在异常流程节点，则说明当前轮次任务存在故障，需要进行维修，因此电子设备确定出对应的维修人员，不同的任务由不同的人员负责，即对应不同的维修人员，维修人员与任务之间具有对应关系，并且该对应关系可存储在电子设备内部的存储介质或云服务器中，当需要对当前任务进行维修时，电子设备即可根据任务从内部存储介质或云服务器中查找对应的维修人员，具体的可以是维修人员的姓名、对应的终端设备以及联系方式等。

 S115，将异常流程节点对应子执行视频发送至维修人员对应的终端设备。

对于本申请实施例，确定出维修人员后，电子设备将当前轮次中异常流程节点对应的子执行视频发送至维修人员对应的终端设备中，维修人员对应的终端设备接收到子执行视频后便于对异常流程节点进行分析并作出相应的处理。

在本申请实施例中，电子设备还可在确定出异常流程节点后判断本地存储介质或云服务器中存储有异常流程节点对应的维修措施，例如异常流程节点对应的补丁包以及维修包等，电子设备确定出异常流程节点后，查找是否存在对应的补丁包或维修包，若存在，则下载对应的补丁包或维修包，并根据补丁包或维修包对异常流程节点对应的模块或程序进行维修，以使得异常流程节点能够执行正常。

进一步的，当检测到存在异常流程节点，电子设备可根据每个流程节点的执行顺序从首个异常流程节点处重新执行任务，并判断是否执行正常，再进一步的，电子设备可在首个异常流程节点处执行多次，直至运行正常或达到预设次数阈值，从而能够提高当前轮次任务执行正常的几率。

上述实施例从方法流程的角度介绍一种RPA流程执行可视化异常监控方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种RPA流程执行可视化异常监控装置，具体详见下述实施例。

本申请实施例提供一种RPA流程执行可视化异常监控装置20，如图2所示，该RPA流程执行可视化异常监控装置20具体可以包括：

节点获取模块201，用于获取当前执行任务的流程节点；

屏幕录制模块202，用于当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频；

子视频确定模块203，用于从执行视频中确定出当前轮次中每个流程节点的子执行视频；

异常分析模块204，用于对子执行视频进行异常分析，得到每个流程节点的分析结果；

异常等级确定模块205，用于当存在异常流程节点时，确定当前轮次任务的异常等级；

判断模块206，用于基于异常等级判断是否需要输出提示信息；

发送模块207，用于当需要时，确定当前执行任务对应的目标终端设备，并向目标终端设备发送提示信息。

本申请实施例提供了一种RPA流程执行可视化异常监控装置20，其中，执行任务通常包括多个步骤，每个步骤均为一个流程节点，因此节点获取模块201获取当前执行任务的流程节点，从而便于后续得知该执行任务的执行情况，当检测到任务开始执行时，说明开始自动执行任务的流程节点，因此屏幕录制模块202从此时开始对屏幕画面进行录制，得到当前轮次任务的执行视频，执行视频中记录了每个流程节点的执行情况，因此子视频确定模块203能够从执行视频中确定出当前轮次中每个流程节点的子执行视频，通过子执行视频能够更好地对每个流程节点的执行情况进行分析，确定出每个流程节点的子执行视频后，异常分析模块204对子执行视频进行异常分析并得到每个流程节点的分析结果，从而能够得知是否存在执行异常的流程节点，存在异常流程节点时不一定必须通知用户，还需根据异常流程节点的具体情况判断是否需要通知用户，因此若存在异常流程节点，异常等级确定模块205则根据异常的流程节点确定当前轮次任务的异常等级，确定出异常等级后，判断模块206从而能够根据异常等级判断是否需要输出提示信息，以通知用户，若需要通知用户，发送模块207则确定当前执行任务对应的目标终端设备，即用户的终端设备，并向用户的终端设备发送提示信息，从而及时提醒用户任务执行过程中出现异常，进而便于用户及时进行相应的处理。

本申请实施例的一种可能的实现方式，子视频确定模块203在从执行视频中确定出当前轮次中每个流程节点的子执行视频时，具体用于：

确定执行每个流程节点时在屏幕上对应的位置信息，以及每个流程节点的顺序信息；

基于位置信息以及顺序信息对执行视频进行截取，得到每个流程节点的子执行视频。

本申请实施例的一种可能的实现方式，分析结果包括正常流程节点和异常流程节点，异常分析模块204在对子执行视频进行异常分析，得到每个流程节点的分析结果时，具体用于：

获取每个流程节点对应的执行正常的基准视频；

计算每个流程节点的子执行视频与对应的基准视频的相似度；

判断每个子执行视频的相似度是否达到预设相似度阈值；

若达到，则确定子执行视频对应的流程节点为正常流程节点；

若未达到，则确定执行子视频对应的流程节点为异常流程节点。

本申请实施例的一种可能的实现方式，异常等级确定模块205在确定当前执行任务的异常等级时，以及判断模块206在基于异常等级判断是否需要输出提示信息时，具体用于：

若最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，则确定当前轮次任务的等级为第一等级；

若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值，则确定当前轮次任务的等级为第二等级；

若当前轮次任务的等级为第一等级，则确定需要输出提示信息；

若当前轮次任务的等级为第二等级，则确定不需要输出提示信息。

本申请实施例的一种可能的实现方式，装置20还包括：

占比确定模块，用于确定当前轮次任务中正常流程节点的与全部流程节点的占比；

得分计算模块，用于基于占比、最后一个流程节点的分析结果以及各自对应的权重计算当前轮次任务的得分；

平均值以及方差确定模块，用于当检测到停止自动执行任务时，确定全部轮次任务的得分平均值以及得分方差；

质量评分确定模块，用于基于得分平均值、得分方差以及各自对应的系数计算全部轮次任务的质量评分；

质量等级确定模块，用于确定质量评分所在的预设评分区间，并确定全部轮次任务的质量等级，预设评分区间与质量等级存在对应关系。

本申请实施例的一种可能的实现方式，装置20还包括：

删除模块，用于当当前轮次任务中不存在异常流程节点时，删除当前轮次任务对应的执行视频。

本申请实施例的一种可能的实现方式，装置20还包括：

人员确定模块，用于当当前轮次任务中存在异常流程节点时，确定当前轮次任务对应的维修人员；

视频发送模块，用于将异常流程节点对应子执行视频发送至维修人员对应的终端设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种RPA流程执行可视化异常监控装置20的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备30包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备30还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备30的结构并不构成对本申请实施例的限定。

 处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

 总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。

 存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例中执行任务通常包括多个步骤，每个步骤均为一个流程节点，因此获取当前执行任务的流程节点，从而便于后续得知该执行任务的执行情况，当检测到任务开始执行时，说明开始自动执行任务的流程节点，因此从此时开始对屏幕画面进行录制，得到当前轮次任务的执行视频，执行视频中记录了每个流程节点的执行情况，因此能够从执行视频中确定出当前轮次中每个流程节点的子执行视频，通过子执行视频能够更好地对每个流程节点的执行情况进行分析，确定出每个流程节点的子执行视频后，对子执行视频进行异常分析并得到每个流程节点的分析结果，从而能够得知是否存在执行异常的流程节点，存在异常流程节点时不一定必须通知用户，还需根据异常流程节点的具体情况判断是否需要通知用户，因此若存在异常流程节点，则根据异常的流程节点确定当前轮次任务的异常等级，确定出异常等级后，从而能够根据异常等级判断是否需要输出提示信息，以通知用户，若需要通知用户，则确定当前执行任务对应的目标终端设备，即用户的终端设备，并向用户的终端设备发送提示信息，从而及时提醒用户任务执行过程中出现异常，进而便于用户及时进行相应的处理。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种RPA流程执行可视化异常监控方法，其特征在于，包括：

获取当前执行任务的流程节点；

当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频；

从所述执行视频中确定出当前轮次中每个流程节点的子执行视频；

对所述子执行视频进行异常分析，得到每个流程节点的分析结果；

若存在异常流程节点，则确定所述当前轮次任务的异常等级；

基于所述异常等级判断是否需要输出提示信息；

若需要，则确定所述当前执行任务对应的目标终端设备，并向所述目标终端设备发送提示信息；

其中，所述从所述执行视频中确定出当前轮次中每个流程节点的子执行视频，包括：

确定执行每个流程节点时在所述屏幕上对应的位置信息，以及每个流程节点的顺序信息；

基于所述位置信息以及顺序信息对所述执行视频进行截取，得到每个流程节点的子执行视频；

其中，所述分析结果包括正常流程节点和异常流程节点，所述对所述子执行视频进行异常分析，得到每个流程节点的分析结果，包括：

获取所述每个流程节点对应的执行正常的基准视频；

计算所述每个流程节点的子执行视频与对应的基准视频的相似度；

判断每个子执行视频的相似度是否达到预设相似度阈值；

若达到，则确定子执行视频对应的流程节点为正常流程节点；

若未达到，则确定执行子视频对应的流程节点为异常流程节点。

2.根据权利要求1所述的一种RPA流程执行可视化异常监控方法，其特征在于，所述确定所述当前执行任务的异常等级，基于所述异常等级判断是否需要输出提示信息，包括：

若最后一个流程节点的子执行视频对应的相似度未达到预设相似度阈值，则确定所述当前轮次任务的等级为第一等级；

若最后一个流程节点的子执行视频对应的相似度达到预设相似度阈值，则确定所述当前轮次任务的等级为第二等级；

若所述当前轮次任务的等级为第一等级，则确定需要输出提示信息；

若所述当前轮次任务的等级为第二等级，则确定不需要输出提示信息。

3.根据权利要求1所述的一种RPA流程执行可视化异常监控方法，其特征在于，所述方法还包括：

确定所述当前轮次任务中正常流程节点的与全部流程节点的占比；

基于所述占比、最后一个流程节点的分析结果以及各自对应的权重计算所述当前轮次任务的得分；

当检测到停止自动执行所述执行任务时，确定全部轮次任务的得分平均值以及得分方差；

基于所述得分平均值、得分方差以及各自对应的系数计算所述全部轮次任务的质量评分；

确定所述质量评分所在的预设评分区间，并确定所述全部轮次任务的质量等级，所述预设平均区间与质量等级存在对应关系。

4.根据权利要求1所述的一种RPA流程执行可视化异常监控方法，其特征在于，所述方法还包括：

若所述当前轮次任务中不存在异常流程节点，则删除所述当前轮次任务对应的执行视频。

5.根据权利要求1所述的一种RPA流程执行可视化异常监控方法，其特征在于，所述方法还包括：

若所述当前轮次任务中存在异常流程节点，则确定所述当前轮次任务对应的维修人员；

将所述异常流程节点对应子执行视频发送至所述维修人员对应的终端设备。

6.一种RPA流程执行可视化异常监控装置，其特征在于，包括：

节点获取模块，用于获取当前执行任务的流程节点；

屏幕录制模块，用于当检测到任务开始执行时，对屏幕画面进行录制，得到当前轮次任务的执行视频；

子视频确定模块，用于从所述执行视频中确定出当前轮次中每个流程节点的子执行视频；

异常分析模块，用于对所述子执行视频进行异常分析，得到每个流程节点的分析结果；

异常等级确定模块，用于当存在异常流程节点时，确定所述当前轮次任务的异常等级；

判断模块，用于基于所述异常等级判断是否需要输出提示信息；

发送模块，用于当需要时，确定所述当前执行任务对应的目标终端设备，并向所述目标终端设备发送提示信息；

其中，所述子视频确定模块在从所述执行视频中确定出当前轮次中每个流程节点的子执行视频时，具体用于：

确定执行每个流程节点时在所述屏幕上对应的位置信息，以及每个流程节点的顺序信息；

基于所述位置信息以及顺序信息对所述执行视频进行截取，得到每个流程节点的子执行视频；

其中，所述分析结果包括正常流程节点和异常流程节点，所述异常分析模块在对所述子执行视频进行异常分析，得到每个流程节点的分析结果时，具体用于：

获取所述每个流程节点对应的执行正常的基准视频；

计算所述每个流程节点的子执行视频与对应的基准视频的相似度；

判断每个子执行视频的相似度是否达到预设相似度阈值；

若达到，则确定子执行视频对应的流程节点为正常流程节点；

若未达到，则确定执行子视频对应的流程节点为异常流程节点。

7.一种电子设备，其特征在于，其包括：

至少一个处理器；

存储器；

至少一个应用程序，其中所述至少一个应用程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个应用程序：用于执行根据权利要求1～5任一项所述的一种RPA流程执行可视化异常监控方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～5任一项所述的一种RPA流程执行可视化异常监控方法。

Images