CN115599375A - 一种基于rpa系统的数据处理方法及设备 - Google Patents

Abstract

本申请提供了一种基于RPA系统的数据处理方法及设备，该方法获取录制监听操作行为的第一数据流；其中，录制监听操作行为按照预设操作时序流排列。确定第一数据流相应的关键操作行为。并将各关键操作行为进行分类。根据第一数据流、分类后的各关键操作行为，生成第二数据流。解析第二数据流，以对录制监听操作行为进行回放。通过上述方案，解决测试人员使用RPA产品的学习成本高，难以进行稳定使用RPA产品的问题。

Description

一种基于RPA系统的数据处理方法及设备

技术领域

本申请涉及机器人流程自动化技术领域，尤其涉及一种基于RPA系统的数据处理方法及设备。

背景技术

机器人流程自动化(Robotic Process Automation，RPA)工具常用在自动化测试领域，测试人员使用RPA平台设计可重复执行的测试流程。随着办公自动化的发展，RPA工具逐渐覆盖财务管理、供应链管理、人力资源管理等方面。RPA致力于把人力从一些重复性、规律性的工作中脱离出去，通过自动化程序实现这些工作及流程的执行、处理、判断，达到降本增效的目的。

然而，发明人发现在测试人员使用RPA平台时，往往会面对不同产品规则的RPA产品，为此测试人员需要学习多套产品规则，学习成本高。且在测试人员学习繁杂产品规则基础上，易出现大概率的规则混淆，且进行RPA录制及回放时，难以进行稳定的RPA产品使用。

发明内容

本申请实施例提供了一种基于RPA系统的数据处理方法及设备，用于解决测试人员使用RPA产品的学习成本高，难以进行稳定使用RPA产品。

一方面，本申请实施例提供了一种基于RPA系统的数据处理方法，该方法包括：

获取录制监听操作行为的第一数据流。其中，录制监听操作行为按照预设操作时序流排列。确定第一数据流相应的关键操作行为。并将各关键操作行为进行分类。根据第一数据流、分类后的各关键操作行为，生成第二数据流。解析第二数据流，以对录制监听操作行为进行回放。

在本申请的一种实现方式中，确定第一数据库中的若干关键行为。关键行为至少包括：鼠标停留、鼠标拖拽、键盘组合键。根据各关键行为，匹配第一数据流中相应的录制监听操作行为。以及根据预设标记特征，标记相应的录制监听操作行为，并确定关键操作行为。其中，标记特征至少包括以下一项或多项：图像位置特征、影像特征。

在本申请的一种实现方式中，确定各关键操作行为的行为持续时长。在行为持续时长小于第一预设阈值的情况下，将相应的关键操作行为作为第一关键行为。在行为持续时长大于或等于第一预设阈值且小于第二预设阈值的情况下，将相应的关键操作行为作为第二关键行为。在行为持续时长大于或等于第二预设阈值的情况下，将相应的关键操作行为作为第三关键行为。

在本申请的一种实现方式中，根据各关键操作行为及各录制监听操作行为，确定第二数据流相应的若干数据记录数组。按照操作时序流，将各数据记录数组排列，以生成第一数据流对应的第二数据流。第二数据流的数据存储格式为JSON数据格式。

在本申请的一种实现方式中，数据记录数组对应的各录制监听操作行为至少包括：输入类型标识、布尔标识、操作时序流标识。数据记录数组对应的各关键操作行为还包括：图像位置特征标识、影响特征标识。

在本申请的一种实现方式中，剔除第二数据流中满足预设规则的录制监听操作行为。预设规则至少包括持续性鼠标移动输入类型、预定拖拽输入类型、预定组合键输入类型。根据剔除处理后的第二数据流的数据记录数组，还原相应的录制监听操作行为，以按照操作时序流，对还原后的录制监听操作行为进行回放。还原至少包括确定录制监听操作行为的输入类型、相应的图像位置，以根据输入类型及图像位置，重新执行录制监听操作行为。

在本申请的一种实现方式中，确定还原后的录制监听操作行为中非关键操作行为，并匹配各非关键操作行为的第一时间间隔。第一时间间隔为回放时执行非关键操作行为的时长。确定各关键操作行为的分类结果。在关键操作行为为第一关键行为的情况下，匹配第一关键行为的第二时间间隔。其中，第二时间间隔小于第一预设阈值。在关键操作行为为第二关键行为的情况下，匹配第二关键行为的第三时间间隔。其中，第三时间间隔为第二关键行为的行为持续时长。在关键操作行为为第三关键行为的情况下，匹配第三关键行为的第四时间间隔。其中，第四时间间隔为第二预设阈值。根据录制监听操作行为相应的回放时长，对还原后的录制监听操作行为进行回放。回放时长至少包括：第一时间间隔、第二时间间隔、第三时间间隔、第三时间间隔。

在本申请的一种实现方式中，在对录制监听操作行为进行回放的情况下，确定各关键操作行为的图像位置特征与当前回放的图像位置特征是否匹配。其中，匹配包括图像相似度匹配、操作位置匹配。若匹配，通过预设算法，确定关键操作行为的影像特征与当前回放的影像特征的SSIM值是否大于预设值。若是，对录制监听操作行为进行回放。若否，停止对录制监听操作行为进行回放，并生成回放提示信息。回放提示信息至少包括以下一项或多项：文字、声音。

在本申请的一种实现方式中，在获取录制监听操作行为的情况下，生成相应的操作提示窗口，并将操作提示窗口发送至触发录制监听操作行为的用户终端。其中，操作提示窗口至少包括：当前操作行为提示信息、快捷键输入提示信息。对录制监听操作行为进行回放之前，方法还包括：确定回放录制监听操作行为的设备界面参数。在设备界面参数与录制监听操作行为的用户终端的终端界面参数不匹配的情况下，确定设备界面参数与终端界面参数的映射函数。映射函数为终端界面参数与设备界面参数映射关系函数。映射函数预先存储于第二数据库。将第二数据流对应的终端界面参数输入映射函数，以对第二数据流进行处理，以便对处理后的录制监听操作行为进行回放。

另一方面，本申请实施例还提供了一种基于RPA系统的数据处理设备，该设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

获取录制监听操作行为的第一数据流。其中，录制监听操作行为按照预设操作时序流排列。确定第一数据流相应的关键操作行为。并将各关键操作行为进行分类。根据第一数据流、分类后的各关键操作行为，生成第二数据流。解析第二数据流，以对录制监听操作行为进行回放。

本申请通过上述方案，对录制相应的录制监听操作行为进行标记关键操作行为，并生成第二数据流，然后对录制的该操作行为进行回放，可以避免测试人员使用RPA产品时，由于有不同的产品规则，造成学习成本高。而且通过准确地关键操作行为标记，保证在录制时不遗漏关键行为，使得本申请能够进行稳定的RPA自动化录制与回放，提高用户对RPA产品的使用体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种基于RPA系统的数据处理方法的一种流程示意图；

图2为本申请实施例中一种基于RPA系统的数据处理方法的另一种流程示意图；

图3为本申请实施例中一种基于RPA系统的数据处理设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现阶段实现一个可靠的RPA流程通常有以下过程：选择RPA设计平台；学习RPA组件及流程设计规则；使用RPA组件组合完整任务流程；执行任务流程完成特定任务。

在测试人员使用RPA平台设计自动化流程需要学习一套产品规则，基于不同任务流程，要求测试人员即流程设计者需要掌握RPA平台的相关基础技术，对于跨行业人员的友好性较低。

在进行RPA平台的录制及回放时，存在录制与回放时的操作不对应，难以进行稳定的RPA平台使用，使测试人员不得不实时对产品流程重新设计，降低了测试人员的产品使用体验。

基于此，本申请实施例提供了一种基于RPA系统的数据处理方法及设备，用来解决测试人员使用RPA产品的学习成本高，难以进行稳定使用RPA产品，提高测试人员对产品的使用体验。

以下结合附图，详细说明本申请的各个实施例。

本申请实施例提供了一种基于RPA系统的数据处理方法，如图1所示，该方法可以包括步骤S101-S104：

S101，服务器获取录制监听操作行为的第一数据流。

其中，录制监听操作行为按照预设操作时序流排列。

需要说明的是，服务器作为基于RPA系统的数据处理方法的执行主体，仅为示例性存在，执行主体不仅限于服务器，本申请对此不作具体限定。

在本申请实施例中，RPA系统进行业务流程录制与回放，包括录制和回放两个过程，两个过程通过操作时序流排序组成的第二数据流(RPA数据流)进行交互。该方法保证回放过程完整还原录制所进行的各种操作，以达到自动化执行的目的。

其中，录制和回放是两个独立处理过程，录制作为输入项记录录制过程中所有操作，同时也作为生成项形成RPA数据流。回放是执行过程，是对RPA数据流的解析执行，通过RPA数据流，回放是可重复且稳定执行的。从具体实现上，又包括录制功能设计、操作时序流、关键过程标记、RPA数据流、回放功能设计、交互性优化、通用性优化等过程，其中交互性优化和通用性优化作为优化方案考虑。

本申请的录制监听操作行为为捕获的录制过程中产生的所有输入类型，输入一般由鼠标键盘等外部设备产生，例如鼠标点击为一录制监听操作行为，服务器将该行为作为鼠标点击的第一数据流。此外，录制过程中，服务器对不同输入进行分类处理，这些基本输入类型包括：鼠标移动，鼠标停留，鼠标左、右键单击，鼠标左、右键双击，鼠标滚轮滚动，键盘按下与释放。基于基本输入类型，还存在鼠标移动轨迹，鼠标拖动及键盘组合键输入等类型。

本申请采用对所有输入类型做监听处理的方式，得到各第一数据流，即服务器完整保留录制流程中所有操作行为，进而为后续回放流程解析提供了前置的稳定性保证。

此外，操作时序流指的是对于录制过程的用户操作行为，首先记录到的用户操作行为过程是有时间顺序的，具有特定时间序列，每个独立的用户操作行为与之前及之后的动作均存在时间间隔，例如鼠标点击之前的操作行为为鼠标滑动，之后的操作行为为鼠标停留，这些具体的操作行为形成了操作时序流。

操作时序流的设定在保证记录完整用户操作行为的前提下，保证一些操作行为等待动作的还原，确保了特定录制场景下的录制监听操作行为的鲁棒性。

S102，服务器确定第一数据流相应的关键操作行为，并将各关键操作行为进行分类。

在本申请实施例中，服务器确定第一数据流相应的关键操作行为，具体包括：

服务器确定第一数据库中的若干关键行为。其中，关键行为至少包括：鼠标停留、鼠标拖拽、键盘组合键。然后，根据各关键行为，匹配第一数据流中相应的录制监听操作行为。以及根据预设标记特征，标记相应的录制监听操作行为，并确定关键操作行为。其中，标记特征至少包括以下一项或多项：图像位置特征、影像特征。

关键行为可以是从如：鼠标移动，鼠标停留，鼠标左、右键单击，鼠标左、右键双击，鼠标滚轮滚动，键盘按下与释放、鼠标移动轨迹、鼠标拖动、键盘组合键中，任意选取的操作行为。

在服务器获取到录制监听操作行为匹配到关键行为时，可以对该行为进行标记，标记可以有图像位置特征，该行为对应的影像特征，图像位置特征包括关键行为产生的位置信息，如鼠标点击的UI图像，点击位置相对于当前显示界面的坐标；影像特征为关键行为产生位置的影像记录。

将图像及位置合成图像位置特征，可以避免在界面多处存在相同图像时，鼠标点击某一图像，无法区分点击的图像的不同，结合位置坐标，可以对相同图像进行区分，保证关键过程标记的准确性。

此外，服务器将各关键操作行为进行分类，具体包括：

服务器确定各关键操作行为的行为持续时长。在行为持续时长小于第一预设阈值的情况下，将相应的关键操作行为作为第一关键行为。在行为持续时长大于或等于第一预设阈值且小于第二预设阈值的情况下，将相应的关键操作行为作为第二关键行为。在行为持续时长大于或等于第二预设阈值的情况下，将相应的关键操作行为作为第三关键行为。

也就是说，服务器预先设置有两个时间阈值如第一预设阈值t_a，第二预设阈值t_b，服务器将行为持续时长与t_a，t_b进行比较，进而区分不同的关键操作行为。如第一关键行为的行为持续时长为slip，第二关键行为的行为持续时长为hover，第三关键行为的行为持续时长为sleep，那么其关系如下：

slip<t_a≤hover<_b≤sleep。

S103，服务器根据第一数据流、分类后的各关键操作行为，生成第二数据流。

在本申请实施例中，服务器根据第一数据流、分类后的各关键操作行为，生成第二数据流，具体包括：

首先，服务器根据各关键操作行为及各录制监听操作行为，确定第二数据流相应的若干数据记录数组。

接着，服务器按照操作时序流，将各数据记录数组排列，以生成第一数据流对应的第二数据流。第二数据流的数据存储格式为JSON数据格式。

上述第二数据流为RPA数据流，为录制监听操作行为对应的录制流程记录、操作时序流以及关键操作行为标记后产生的结果文件。作为后续回放流程的输入。数据记录数组由多个JSONObject格式的操作行为记录组成，数据记录数组中的操作行为记录即录制监听操作行为至少包括：输入类型标识、布尔标识、操作时序流标识。数据记录数组对应的各关键操作行为还包括：图像位置特征标识、影响特征标识。

也就是说，关键操作行为在数据记录数组中包括：输入类型标识、布尔标识、操作时序流标识、图像位置特征标识、影响特征标识。

S104，服务器解析第二数据流，以对录制监听操作行为进行回放。

服务器可以对第二数据流进行回放操作，包括：操作记录压缩还原、时序性恢复、抗干扰、关键过程验证。其中操作记录压缩还原的具体流程如下：

服务器剔除第二数据流中满足预设规则的录制监听操作行为。预设规则至少包括持续性鼠标移动输入类型、预定拖拽输入类型、预定组合键输入类型。

预设规则为用户自行设定的，本申请对此不作具体限定。

服务器根据剔除处理后的第二数据流的数据记录数组，还原相应的录制监听操作行为，以按照操作时序流，对还原后的录制监听操作行为进行回放。还原至少包括确定录制监听操作行为的输入类型、相应的图像位置，以根据输入类型及图像位置，重新执行录制监听操作行为。

其中，还原是针对第二数据流中剔除处理后，保留的录制监听操作行为进行动作还原，例如录制监听操作行为为鼠标点击某个UI图标，那么还原可以在回放时执行该录制监听操作行为。动作还原是对操作行为记录中不同的输入类型、输入位置等要素进行还原。

时序性恢复具体包括：确定还原后的录制监听操作行为中非关键操作行为，并匹配各非关键操作行为的第一时间间隔。第一时间间隔为回放时执行非关键操作行为的时长。然后，确定各关键操作行为的分类结果。

其中，在关键操作行为为第一关键行为的情况下，匹配第一关键行为的第二时间间隔。其中，第二时间间隔小于第一预设阈值。

在关键操作行为为第二关键行为的情况下，匹配第二关键行为的第三时间间隔。其中，第三时间间隔为第二关键行为的行为持续时长。

在关键操作行为为第三关键行为的情况下，匹配第三关键行为的第四时间间隔。其中，第四时间间隔为第二预设阈值。

根据录制监听操作行为相应的回放时长，对还原后的录制监听操作行为进行回放。回放时长至少包括：第一时间间隔、第二时间间隔、第三时间间隔、第三时间间隔。

换言之，时序性恢复是维持各个录制监听操作行为正确回放执行，恢复内容为处理过的时间间隔，在非关键操作行为的时序恢复上，恢复相应的第二数据流为指定的时间间隔即第一时间间隔，第一时间间隔根据实际需求进行设定，本申请对此不作具体限定；在关键操作行为进行时序恢复时，根据标记的slip、hover、sleep，分别进行不同的时序性恢复。

对于slip类型，默认此持续时间不会产生附加动作，选择恢复该持续时间到一个固定较小时间第二时间间隔t_s(_s<a)。hover类型的处理通常产生了附加动作，比如弹出式菜单显示，可拖拽组件吸附，持续性动作中断等。这些附加动作往往与下个输入操作存在关联性，在时序恢复的选择上，对hover类型的持续时间做相同时间恢复，即第三时间间隔，相同时间恢复即在录制监听操作行为时录制时间为a，那么时序恢复为a。sleep类型的持续时间是较长且存在冗余等待的，将该类型的时间恢复指定为固定时间t_b。

在本申请的另一实施例中，服务器可以在回放时进行抗干扰操作，抗干扰主要针对回放进行时的额外输入干扰，将额外输入的产生视为中断。当中断触发时，回放操作暂停对RPA数据流的读取执行，并在暂停位置做标记。抗干扰实现会将额外输入生成一组干扰操作记录，并根据当前状态，暂停标记和干扰操作记录对暂停标记时状态进行恢复。

也就是说，在回放操作时，若页面出现了在录制监听操作行为未出现，但在回放时出现的干扰，例如录制监听操作行为的鼠标点击某一UI图标x，回放时该UI图标x被其他UI图像y替代，那么该行为为额外输入干扰，暂停回放，并标记该干扰。之后会输入一组干扰操作行为记录，并根据回放时的当前状态、暂停标记以及干扰操作行为记录，对暂停标记时的状态进行恢复。

此外，在回放过程中进行关键过程验证，方法还包括：

在对录制监听操作行为进行回放的情况下，确定各关键操作行为的图像位置特征与当前回放的图像位置特征是否匹配。其中，匹配包括图像相似度匹配、操作位置匹配。

在各关键操作行为的图像位置特征与当前回放的图像位置特征匹配的情况下，通过预设算法，确定关键操作行为的影像特征与当前回放的影像特征的SSIM值是否大于预设值。预设值如0.85，本申请对于预设值的具体取值，不作具体限定。

SSIM结合亮度对比l(x,y)，对比度对比c(x,y)和结构对比s(x,y)进行衡量影像特征即两个影像的质量失真情况、图像结构变化，预设算法具体公式如下：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中，α,β,γ>0，用来调整三个模块的重要性，x,y为影像像素点的坐标。

在各关键操作行为的图像位置特征与当前回放的图像位置特征不匹配的情况下，生成回放错误信息，并将该回放错误信息发送至用户终端。其中，用户终端可以为手机、电脑、平板电脑等设备，本申请对此不作具体限定。

在确定关键操作行为的影像特征与当前回放的影像特征的SSIM值大于预设值的情况下，对录制监听操作行为进行回放。

在确定关键操作行为的影像特征与当前回放的影像特征的SSIM值不大于预设值的情况下，停止对录制监听操作行为进行回放，并生成回放提示信息。回放提示信息至少包括以下一项或多项：文字、声音。

回放提示信息可以为提示回放图像质量过低，不满足回放要求。

在本申请的一个实施例中，方法还包括：

在获取录制监听操作行为的情况下，生成相应的操作提示窗口，并将操作提示窗口发送至触发录制监听操作行为的用户终端。其中，操作提示窗口至少包括：当前操作行为提示信息、快捷键输入提示信息。

也就是说，在录制过程中，对于操作行为进行提示，并显示相应的操作提示窗口与操作录制行为的用户终端界面，从而在录制过程中持续显示当前状态、快捷键等。从而将操作行为如关键操作行为的标记可视化展示给用户，增强用户录制时的体验，提高录制流程准确性。能够避免使用RPA产品前要去学习不同的产品规则，使得用户能够稳定使用RPA产品。

此外，对录制监听操作行为进行回放之前，方法还包括：

服务器可以确定回放录制监听操作行为的设备界面参数。

在设备界面参数与录制监听操作行为的用户终端的终端界面参数不匹配的情况下，确定设备界面参数与终端界面参数的映射函数。映射函数为终端界面参数与设备界面参数映射关系函数。映射函数预先存储于第二数据库。从而将第二数据流对应的终端界面参数输入映射函数，以对第二数据流进行处理，以便对处理后的录制监听操作行为进行回放。

也就是说，通过匹配第二数据库中的映射函数，该映射函数用于将录制时的屏幕映射至回放时的屏幕。具体指的是，如录制是用的第一显示分辨率的屏幕，回放用的另一第二显示分辨率的设备进行回放，通过第一显示分辨率与第二显示分辨率匹配第二数据库中的映射函数，该映射函数可以将录制的第一显示分辨率的第二数据流映射至第二显示分辨率下，从而保证第二数据流的正常回放。

进而实现跨设备回放的通用性和用户间共享的通用性。跨设备回放主要解决不同设备间界面缩放差异，显示分辨率差异，界面缩放参数会导致输入位置信息的膨胀或压缩，显示分辨率差异会导致输入位置信息的偏移。通过关联界面缩放和显示分辨率处理RPA数据流中的部分输入，获得设备间的正确输入映射，确保跨设备回放稳定性。用户间共享的通用性提升通常也依赖设备间的输入映射处理，这里认为多数情况下，用户间共享是在不同用户设备上进行RPA数据流共享。此时的通用性处理作为检测过程，检测迁移到的回放设备是否具备回放条件。

通过上述方案，可以解决测试人员使用RPA产品的学习成本高，难以进行稳定使用RPA产品。

本申请进行基于RPA系统的数据处理方法的另一示意图，如图2所示，在回放过程中，需要进行操作记录压缩还原、时序性恢复、抗干扰、关键过程验证以及确定是否存在需要还原的操作记录，进而进行回放。

图3为本申请实施例提供的一种基于RPA系统的数据处理设备的结构示意图，该设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

获取录制监听操作行为的第一数据流。其中，录制监听操作行为按照预设操作时序流排列。确定第一数据流相应的关键操作行为。并将各关键操作行为进行分类。根据第一数据流、分类后的各关键操作行为，生成第二数据流。解析第二数据流，以对录制监听操作行为进行回放。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备与方法是一一对应的，因此，设备也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于RPA系统的数据处理方法，其特征在于，所述方法包括：

获取录制监听操作行为的第一数据流；其中，所述录制监听操作行为按照预设操作时序流排列；

确定所述第一数据流相应的关键操作行为；并将各所述关键操作行为进行分类；

根据所述第一数据流、分类后的各所述关键操作行为，生成第二数据流；

解析所述第二数据流，以对所述录制监听操作行为进行回放。

2.根据权利要求1所述方法，其特征在于，确定所述第一数据流相应的关键操作行为，具体包括：

确定第一数据库中的若干关键行为；所述关键行为至少包括：鼠标停留、鼠标拖拽、键盘组合键；

根据各所述关键行为，匹配所述第一数据流中相应的所述录制监听操作行为；以及

根据预设标记特征，标记相应的所述录制监听操作行为，并确定所述关键操作行为；其中，所述标记特征至少包括以下一项或多项：图像位置特征、影像特征。

3.根据权利要求2所述方法，其特征在于，将各所述关键操作行为进行分类，具体包括：

确定各所述关键操作行为的行为持续时长；

在所述行为持续时长小于第一预设阈值的情况下，将相应的所述关键操作行为作为第一关键行为；

在所述行为持续时长大于或等于所述第一预设阈值且小于第二预设阈值的情况下，将相应的所述关键操作行为作为第二关键行为；

在所述行为持续时长大于或等于所述第二预设阈值的情况下，将相应的所述关键操作行为作为第三关键行为。

4.根据权利要求1所述方法，其特征在于，根据所述第一数据流、分类后的各所述关键操作行为，生成第二数据流，具体包括：

根据各所述关键操作行为及各所述录制监听操作行为，确定所述第二数据流相应的若干数据记录数组；

按照所述操作时序流，将各所述数据记录数组排列，以生成所述第一数据流对应的所述第二数据流；所述第二数据流的数据存储格式为JSON数据格式。

5.根据权利要求4所述方法，其特征在于，所述数据记录数组对应的各所述录制监听操作行为至少包括：输入类型标识、布尔标识、操作时序流标识；

所述数据记录数组对应的各所述关键操作行为还包括：图像位置特征标识、影响特征标识。

6.根据权利要求1所述方法，其特征在于，解析所述第二数据流，以对所述录制监听操作行为进行回放，具体包括：

剔除所述第二数据流中满足预设规则的所述录制监听操作行为；所述预设规则至少包括持续性鼠标移动输入类型、预定拖拽输入类型、预定组合键输入类型；

根据剔除处理后的所述第二数据流的数据记录数组，还原相应的所述录制监听操作行为，以按照所述操作时序流，对还原后的所述录制监听操作行为进行回放；所述还原至少包括确定所述录制监听操作行为的输入类型、相应的图像位置，以根据所述输入类型及所述图像位置，重新执行所述录制监听操作行为。

7.根据权利要求6所述方法，其特征在于，对还原后的所述录制监听操作行为进行回放，具体包括：

确定还原后的所述录制监听操作行为中非关键操作行为，并匹配各所述非关键操作行为的第一时间间隔；所述第一时间间隔为回放时执行所述非关键操作行为的时长；

确定各所述关键操作行为的分类结果；

在所述关键操作行为为第一关键行为的情况下，匹配所述第一关键行为的第二时间间隔；其中，所述第二时间间隔小于第一预设阈值；

在所述关键操作行为为第二关键行为的情况下，匹配所述第二关键行为的第三时间间隔；其中，所述第三时间间隔为所述第二关键行为的行为持续时长；

在所述关键操作行为为第三关键行为的情况下，匹配所述第三关键行为的第四时间间隔；其中，所述第四时间间隔为第二预设阈值；

根据所述录制监听操作行为相应的回放时长，对还原后的所述录制监听操作行为进行回放；所述回放时长至少包括：所述第一时间间隔、所述第二时间间隔、所述第三时间间隔、所述第三时间间隔。

8.根据权利要求2所述方法，其特征在于，所述方法还包括：

在对所述录制监听操作行为进行回放的情况下，确定各所述关键操作行为的图像位置特征与当前回放的图像位置特征是否匹配；其中，所述匹配包括图像相似度匹配、操作位置匹配；

若匹配，通过预设算法，确定所述关键操作行为的所述影像特征与当前回放的影像特征的SSIM值是否大于预设值；

若是，对所述录制监听操作行为进行回放；

若否，停止对所述录制监听操作行为进行回放，并生成回放提示信息；所述回放提示信息至少包括以下一项或多项：文字、声音。

9.根据权利要求1所述方法，其特征在于，所述方法还包括：

在获取录制监听操作行为的情况下，生成相应的操作提示窗口，并将所述操作提示窗口发送至触发所述录制监听操作行为的用户终端；其中，所述操作提示窗口至少包括：当前操作行为提示信息、快捷键输入提示信息；

对所述录制监听操作行为进行回放之前，所述方法还包括：

确定回放所述录制监听操作行为的设备界面参数；

在所述设备界面参数与所述录制监听操作行为的用户终端的终端界面参数不匹配的情况下，确定所述设备界面参数与所述终端界面参数的映射函数；所述映射函数为所述终端界面参数与所述设备界面参数映射关系函数；所述映射函数预先存储于第二数据库；

将所述第二数据流对应的终端界面参数输入所述映射函数，以对所述第二数据流进行处理，以便对处理后的所述录制监听操作行为进行回放。

10.一种基于RPA系统的数据处理设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取录制监听操作行为的第一数据流；其中，所述录制监听操作行为按照预设操作时序流排列；

确定所述第一数据流相应的关键操作行为；并将各所述关键操作行为进行分类；

根据所述第一数据流、分类后的各所述关键操作行为，生成第二数据流；

解析所述第二数据流，以对所述录制监听操作行为进行回放。

Images