CN115983221A - 可视化的rpa表格操作录制与自动执行方法及系统 - Google Patents

Abstract

本发明涉及RPA技术领域，具体涉及可视化的RPA表格操作录制与自动执行方法及系统。方法包括：S1，通过RPA监听用户在表格处理软件上的所有操作记录；S2，将步骤S1中监听到的数据，保存为文件并存放；S3，基于用户的所有操作记录进行意图分析，并识别出用户意图；S4，根据用户意图生成用户所需的RPA组件；S5，根据生成的RPA组件执行表格处理软件的操作。本发明具有能够使RPA流程开发门槛大幅度降低，扩大RPA操作Excel等表格数据的边界，进而提升RPA流程开发效率的特点。

Description

可视化的RPA表格操作录制与自动执行方法及系统

技术领域

本发明涉及RPA技术领域，具体涉及可视化的RPA表格操作录制与自动执行方法及系统。

背景技术

机器人流程自动化技术（Robotic Process Automation，简称RPA）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。RPA技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。

企业使用RPA最重要的目的就是实现数据流转（例如多个系统之间数据流转），而要实现数据流转，就得对数据进行加工处理。常见的数据加工处理方式含有：数据清洗、数据类型转化、数据去重、数据排序、数据筛选、数据计算等。对于这些数据处理方式，目前在RPA常用的实现方式是通过将每一步的数据处理拆分为一个组件（RPA为实现某一个业务抽象出来的一个控件），通过一个组件配置面板进行配置，参数很多，并且非常抽象。与人们已经习惯于通过Excel等表格工具所见即所得的操作方式进行数据加工处理的现状相比，这中间存在着较大的理解鸿沟。

基于用户的Excel、WPS等表格工具的使用习惯，业界中基本上所有厂商现行的方式，都是将Excel、WPS表格的大部分操作封装成一个个组件，然后让用户在组件配置面板中配置各个属性参数，这其中涉及到的问题包含每个属性是什么意思，该输入什么样的内容，以及输入完这些参数后，能看到什么样的效果，这对于用户来说都是一个个难点，普通刚接触RPA的用户需要很长时间的学习和适应。

现有的RPA对于表格数据的录制与执行方式有以下几种技术方案：①Excel COM接口技术；②第三方Python库技术；③Excel宏技术（VBA）；④Excel配置信息拾取技术；⑤现有的RPA流程录制技术。下面将逐一分析现有RPA表格数据处理技术缺点。

1.Excel COM接口技术的局限性

使用Excel、WPS官方提供的COM接口技术，需要将COM接口参数翻译为组件属性，以供用户在执行组件前填入。

缺点1：这种方式需要用户对于Excel、WPS非常熟练，并需要有一定的代码能力，理解每个属性应该填什么内容，并符合系统设计者对于数据格式的要求。但大部分初次接触的普通用户可能都没有这方面的能力，这就需要这部分用户较长时间的学习适应。

缺点2：复杂功能实现较为麻烦，用户理解也会存在很大障碍，不能像在Excel、WPS中直接操作一样，所见即所得，用户直接在RPA面板中输入各个属性会非常抽象，数据的调试也变得极为麻烦。

其他缺点：①性能较差，数据量较大时效率会比较低。②Excel和WPS之间兼容性较差，Excel、WPS各版本之间兼容性也比较差。

2.第三方Python库技术的弊端

目前有很多处理Excel文件的第三方Python库，但普遍有以下缺点。

缺点1：无法精细化的操控Excel文件，例如设置某个具体的单元格样式、自动填充等功能。

缺点2：支持的Excel格式不完整，对于xls、xlsm，或一些老的格式无法做到很好的兼容，读取或写入的数据容易乱码，同样对于RPA的普通用户来说使用成本非常高。

缺点3：和Excel COM接口一样，在RPA中进行属性设置对于普通用户不够友好，比较抽象，需要理解每个属性的含义，该填写什么内容及数据格式。

3.Excel宏技术（VBA）对于普通用户门槛较高

对于很多Excel、WPS的高阶功能，RPA厂商现行的做法是通过执行宏的方式来实现。这种方式有以下缺点。

缺点1：大部分普通用户可能不知道宏是什么，更不知道该如何使用宏，需要用户先了解宏是什么，如何使用宏。

缺点2：宏的兼容性、稳定性较差，在A电脑上录制的A文件，到B电脑上运行时可能会执行出错。

缺点3：宏的可修改性较差，普通用户无法根据录制好的宏去调整宏代码，让其能应用到其他文件。

缺点4：如果要在宏中使用变量，需要用户对VBA代码有一定的了解。

4.Excel配置信息拾取技术的限制

Excel配置信息拾取技术需要用户提前在Excel或WPS中设置好该功能，然后通过RPA去监听用户点击的区域，进而拾取到这块区域所包含的功能及功能的参数。根据技术原理将存在以下缺点。

缺点1：在用户操作中，交互较为割裂，如果没有将功能提前设置好，需要用户打开Excel文件在指定区域事先设置好该功能，再回到RPA进行拾取。操作无法连续，流程的配置过程非常麻烦且低效。

缺点2：仅支持少量场景（透视表、数据图表等），例如替换、查找等在Excel表中操作后没有显性特征的功能，无法使用该技术。

缺点3：对于复杂功能拾取到的配置信息对于普通用户不够友好，无法进行二次调整。

5.现有的RPA流程录制技术的缺点

缺点1：无法对表格类软件实现精准化的录制，仅能识别到一些非常基础的操作，例如：点击、输入内容、复制粘贴等，复杂的筛选、排序、查找替换等功能都无法实现。

缺点2：操作对象类型选择及方法在录制初始化之前就要选定（即初始化滞后）。

缺点3：录制过程中不能出错，一旦录制出错，需要重新录制，极为麻烦。

缺点4：传统RPA的录制功能，对录制操作有较高要求，需要录制操作步骤不能过多、过于复杂，这样才能体现录制控制模块的便捷性、易用性。但是在大部分场景下，用户面对的操作需求都是冗长且复杂的，甚至会遇到一些无法录制的窗口或元素，如某些基于Java（一种面向对象编程语言）开发的应用程序。

因此，设计一种能够使RPA流程开发门槛大幅度降低，扩大RPA操作Excel等表格数据的边界，进而提升RPA流程开发效率的可视化的RPA表格操作录制与自动执行方法及系统，就显得十分重要。

发明内容

本发明是为了克服现有技术中，现有的RPA对于表格数据的录制与执行方式，存在开发门槛高、数据处理操作功能覆盖不全以及执行效率低下的问题，提供了一种能够使RPA流程开发门槛大幅度降低，扩大RPA操作Excel等表格数据的边界，进而提升RPA流程开发效率的可视化的RPA表格操作录制与自动执行方法及系统。

为了达到上述发明目的，本发明采用以下技术方案：

可视化的RPA表格操作录制与自动执行方法，包括如下步骤；

S1，通过RPA监听用户在表格处理软件上的所有操作记录；

S2，将步骤S1中监听到的数据，保存为文件并存放；

S3，基于用户的所有操作记录进行意图分析，并识别出用户意图；

S4，根据用户意图生成用户所需的RPA组件；

S5，根据生成的RPA组件执行表格处理软件的操作。

作为优选，步骤S1包括如下步骤：

S11，启动RPA表格录制：

所述启动RPA表格录制具体过程为，从RPA设计器出发，选择需要操作的表格文件，系统自动寻址并打开所述表格文件，开始监听用户操作、数据变化和宏代码。

作为优选，步骤S1包括如下步骤：

S12，启动RPA表格录制：

所述启动RPA表格录制具体过程为，从已打开的表格文件出发，进入录制插件，点击“开始录制”，系统开始监听用户操作、数据变化、宏代码。

作为优选，步骤S3中，所述意图分析分为上下文分析、操作数据分析和操作区域边界分析。

作为优选，步骤S3中所述意图分析包括如下步骤：

S31，比对用户是否连续操作同一单元格或区域，若是，则保留最后一次操作并去除冗余操作；

S32，比对连续组件是否可合并，若是，则将连续组件自动合并，简化流程；

S33，比对操作数据是否为在多个地方使用到，若在多个地方使用，则自动生成一个变量，并将数据赋值给所述变量，用于表示当前复制的数据；

S34，识别当前操作区域的位置，若当前操作区域的位置为区域边界，则自动识别为最后一列、最后一行；若当前操作区域的位置不为区域边界，则识别为固定位置固定数据。

作为优选，步骤S4包括如下步骤：

S41，在表格处理软件的右侧界面设计可视化的插件记录面板，用于记录实时操作以及操作的单元格区域、操作的数据；当操作出错时，点击删除，删除指定记录；

S42，当操作的数据完成处理，点击插件中的“生成组件”并回到RPA设计器流程编辑界面。

作为优选，步骤S42中，若RPA设计器未开启，则用户将操作记录导出文档或立即启动RPA设计器。

作为优选，步骤S5中所述执行表格处理软件的操作包括如下步骤：

S51，判断当前待执行组件为Excel COM接口技术组件还是宏代码技术组件；若为Excel COM接口技术组件，则按照Excel COM接口能力运行；若为宏代码技术组件，则通过Excel执行宏的方式运行。

本发明还提供了可视化的RPA表格操作录制与自动执行系统，包括；

监听模块，用于通过RPA监听用户在表格处理软件上的所有操作记录；

数据暂存模块，用于将监听到的数据，保存为文件并存放；

意图分析模块，用于基于用户的所有操作记录进行意图分析，并识别出用户意图；

界面展示及生成组件模块，用于根据用户意图生成用户所需的RPA组件；

执行模块，用于根据生成的RPA组件执行表格处理软件的操作。

本发明与现有技术相比，有益效果是：（1）本发明方法使RPA表格数据处理开发过程，无需关注使用何类组件，无需配置组件参数，极大降低普通用户的使用门槛；（2）本发明扩大了RPA操作Excel等表格数据的边界，解决了传统RPA厂商仅能实现表格的一些基础功能，无法完全覆盖的问题；（3）本发明方法使RPA流程开发效率得到显著提升，同时生成的流程简洁高效；（4）本发明使用户在体验上得到了很大的提升；（5）本发明无需进行数据调试，生成即可使用。

附图说明

图1为本发明中可视化的RPA表格操作录制与自动执行系统的一种功能构架图；

图2为本发明中意图分析过程的一种流程逻辑图；

图3为本发明实施例所提供的可视化的RPA表格操作录制与自动执行方法的一种流程图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

如图1所示，本发明提供了可视化的RPA表格操作录制与自动执行方法，包括如下步骤；

S1，通过RPA监听用户在表格处理软件上的所有操作记录；

S2，将步骤S1中监听到的数据，保存为文件并存放；

S3，基于用户的所有操作记录进行意图分析，并识别出用户意图；

S4，根据用户意图生成用户所需的RPA组件；

S5，根据生成的RPA组件执行表格处理软件的操作。

其中，对于步骤S1，有如下两种监听方式：

方式1：从RPA设计器出发，选择需要操作的Excel文件，系统将自动寻址并打开该文件，开始监听用户操作、数据变化、宏代码。

方式2：从已打开的Excel文件出发，进入录制插件，点击“开始录制”，系统将开始监听用户操作、数据变化、宏代码。系统将自动监听工作簿事件（Excel的打开、关闭等）、工作表事件（选中单元格、激活Sheet等）、窗体和控件事件（出现弹窗、点击控件等）、图表事件（选中图表、图表数据改变等），以及不与对象关联的事件（时间触发、快捷键等）。另外系统也将自动开启宏录制，并对其宏代码进行监听。

对于步骤S2，系统将监听到的数据，保存为文件，并存放在于本地相应的record文件夹下作为后续意图分析步骤的调用；

进一步的，步骤S3中的意图分析分为上下文分析、操作数据分析、操作区域边界分析。用户在操作过程中会有很多杂乱、无序、冗余、甚至是错误然后需要删除的操作，为了保证后续运行的兼容性，不能完全按照用户操作的每一步逐一生成组件，这就需要系统对用户意图进行分析，意图分析过程的运行逻辑如图2所示。

本发明中采用规则引擎系统进行意图分析，意图分析的几个典型示例如下，本发明也支持采用人工智能例如统计机器学习或深度学习的方式实现用户数据处理操作意图的分析：

S31，比对用户是否连续操作同一单元格或区域，若是，则保留最后一次操作并去除冗余操作；例如：如果连续多次修改同一单元格数据，将仅保留最后一次修改操作，中间冗余操作将被去除。

S32，比对连续组件是否可合并，若是，则将连续组件自动合并，简化流程；例如连续写入多个单元格，并且单元格为同一列或同一行，将自动合并为写入一列或一行；

S33，比对操作数据是否为在多个地方使用到，若在多个地方使用，则自动生成一个变量，并将数据赋值给所述变量，用于表示当前复制的数据；

S34，识别当前操作区域的位置，若当前操作区域的位置为区域边界，则自动识别为最后一列、最后一行；若当前操作区域的位置不为区域边界，则识别为固定位置固定数据；例如如果在H列后插入一列，而H列为最后一列，将自动识别为在表格最后一列插入1列。

进一步的，步骤S4包括如下步骤：

S41，在表格处理软件的右侧界面设计可视化的插件记录面板，用于记录实时操作以及操作的单元格区域、操作的数据；当操作出错时，点击删除，删除指定记录；

S42，当操作的数据完成处理，点击插件中的“生成组件”并回到RPA设计器流程编辑界面。若RPA设计器未开启，则用户将操作记录导出文档或立即启动RPA设计器。

在Excel或WPS等表格处理软件的右侧界面中，可以看到已经记录组件，以及操作的单元格区域、操作的数据等关键信息。在展示面板中，如果存在记录错误的组件，可以进行删除调整。组件确认无误后，可以点击“生成组件”回到RPA设计器流程编辑界面中。

进一步的，步骤S5中所述执行表格处理软件的操作包括如下步骤：

S51，判断当前待执行组件为Excel COM接口技术组件还是宏代码技术组件；若为Excel COM接口技术组件，则按照Excel COM接口能力运行；若为宏代码技术组件，则通过Excel执行宏的方式运行。

对于步骤S51，下面介绍一个Excel COM接口技术组件执行示例，写入数据到某个单元格。

1.获取组件属性“Excel对象”：Workbooks.Application；

2.获取组件属性“单元格具体位置”：Range("A1").Select；

3.获取组件属性“写入数据”：ActiveCell.FormulaR1C1 = "123"。

另外，下面介绍一个宏代码技术组件执行示例，创建数据透视表。

1.获取组件属性“Excel对象”：Workbooks.Application；

2.获取组件属性“宏代码”。

如图1所示，本发明还提供了可视化的RPA表格操作录制与自动执行系统，包括；

监听模块，用于通过RPA监听用户在表格处理软件上的所有操作记录；

数据暂存模块，用于将监听到的数据，保存为文件并存放；

意图分析模块，用于基于用户的所有操作记录进行意图分析，并识别出用户意图；

界面展示及生成组件模块，用于根据用户意图生成用户所需的RPA组件；

执行模块，用于根据生成的RPA组件执行表格处理软件的操作。

如图3所示，展示RPA软件中引入本发明的用户操作流程，同时展示本发明的实施方案，及如何将本发明方法和系统集成到RPA设计器中的细节，本实施例中提到的技术仅为示例，不影响其对于其他类似技术的保护诉求：

1.启动RPA表格录制有两种方式：

（1）从RPA设计器触发，点击“数据处理”图标，选择指定的Excel或其他的表格类文件确定后，将自动打开Excel文件并启用该功能。

（2）从Excel文件触发，在Excel文件中，进入“智能”插件，点击“开始录制”启用该功能。

2.在Excel或WPS中正常操作数据的过程中，将通过COM接口提供的事件监听自动解析用户动作。系统后台开始分析用户动作。

（1）启用功能开始录制后，系统将同步启动Excel的宏录制功能。

（2）用户在表格中的每一步操作，后台都会实时监听用户动作和宏代码，并将数据暂存。

（3）系统后台根据暂存的数据实时分析，通过基于预设的规则引擎或基于训练好的人工智能算法模型的方式，根据用户的每一个操作片段，判断用户动作是否可合并，数据是否可存为变量以供后续复用，以及操作区域的边界分析，判断用户是在指定位置操作数据，还是在最后位置操作数据等。

3.本发明系统在Excel或WPS右侧设计了一个可视化的插件记录面板，可以看到实时操作的记录，当操作出错时，可以点击删除，删除指定记录。如果数据处理完成，可以点击“生成组件”。如果设计器未开启，也支持用户将操作记录导出文档，或立即启动RPA设计器。

4.生成组件后，将会自动回到RPA流程编辑界面。用户可以点击“运行”当前流程。也可以根据业务需求手动调整当前已生成的组件参数。

5.运行流程，RPA将根据录制生成的组件和参数执行Excel或WPS的相关操作。

以上从功能启用到在Excel或WPS中操作数据，再到流程执行完成，完成了一个完整的可视化RPA表格操作录制和自动执行系统的使用流程。

本发明根据用户对现有技术遇到的痛点，提出了一种可视化表格操作录制与自动执行的方法及系统。它结合现有技术包括Excel COM接口技术、Excel宏技术（VBA），并汲取了第三方Python包、Excel配置信息拾取技术、现有RPA流程录制技术的一些优点。另外利用人工智能的分析技术，高效精准识别用意图，大大的提高了用户在表格数据处理方面的易用性和RPA流程开发效率。

本发明的创新点如下：

1.创造性的提出了一种可视化的RPA表格操作录制与自动执行的新方法和新系统，区别传统的RPA软件中，用户需要在配置面板中一个个配置属性的方式，降低了用户的操作门槛与理解成本，其中包括了在系统中创新性地设计了一个用于RPA和表格处理软件交互的可视化插件，使得二者之间可以互相唤起，方便操作；

2.创造性地将表格操作可视化录制与RPA组件进行结合、映射；一方面是在RPA领域中提出了基于可视化表格操作的流程录制功能，与以往简单的鼠标键盘动作的录制或基于视频的录制有本质上的区别；另一方面则是将表格的操作与RPA组件实现一一映射，能够通过直观的操作直接生成RPA中的可执行流程，建立了表格操作与RPA组件的映射模型；

3.针对用户的冗余杂乱的操作，本发明提出了根据用户操作进行意图智能识别的新方法，能够精准识别用户意图，实现多步操作的合并，从而使得所生成的RPA流程更加简洁高效；并实现可以兼容其他文件。

4.利用宏技术和COM接口技术，并通过在方法中设置自动切换开关，创造了宏代码监听与生成RPA可执行组件的方法，能够实现自动判别生成组件还是生成宏代码，在生成组件时是生成Excel组件还是Pandas组件，极大的扩宽了RPA能操控数据处理的范围，并进一步提高了所生成RPA流程的执行效率。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (9)

1.可视化的RPA表格操作录制与自动执行方法，其特征在于，包括如下步骤；

S1，通过RPA监听用户在表格处理软件上的所有操作记录；

S2，将步骤S1中监听到的数据，保存为文件并存放；

S3，基于用户的所有操作记录进行意图分析，并识别出用户意图；

S4，根据用户意图生成用户所需的RPA组件；

S5，根据生成的RPA组件执行表格处理软件的操作。

2.根据权利要求1所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S1包括如下步骤：

S11，启动RPA表格录制：

所述启动RPA表格录制具体过程为，从RPA设计器出发，选择需要操作的表格文件，系统自动寻址并打开所述表格文件，开始监听用户操作、数据变化和宏代码。

3.根据权利要求1所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S1包括如下步骤：

S12，启动RPA表格录制：

所述启动RPA表格录制具体过程为，从已打开的表格文件出发，进入录制插件，点击“开始录制”，系统开始监听用户操作、数据变化、宏代码。

4.根据权利要求1所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S3中，所述意图分析分为上下文分析、操作数据分析和操作区域边界分析。

5.根据权利要求4所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S3中所述意图分析包括如下步骤：

S31，比对用户是否连续操作同一单元格或区域，若是，则保留最后一次操作并去除冗余操作；

S32，比对连续组件是否可合并，若是，则将连续组件自动合并，简化流程；

S33，比对操作数据是否为在多个地方使用到，若在多个地方使用，则自动生成一个变量，并将数据赋值给所述变量，用于表示当前复制的数据；

S34，识别当前操作区域的位置，若当前操作区域的位置为区域边界，则自动识别为最后一列、最后一行；若当前操作区域的位置不为区域边界，则识别为固定位置固定数据。

6.根据权利要求5所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S4包括如下步骤：

S41，在表格处理软件的右侧界面设计可视化的插件记录面板，用于记录实时操作以及操作的单元格区域、操作的数据；当操作出错时，点击删除，删除指定记录；

S42，当操作的数据完成处理，点击插件中的“生成组件”并回到RPA设计器流程编辑界面。

7.根据权利要求6所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S42中，若RPA设计器未开启，则用户将操作记录导出文档或立即启动RPA设计器。

8.根据权利要求6所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，步骤S5中所述执行表格处理软件的操作包括如下步骤：

S51，判断当前待执行组件为Excel COM接口技术组件还是宏代码技术组件；若为ExcelCOM接口技术组件，则按照Excel COM接口能力运行；若为宏代码技术组件，则通过Excel执行宏的方式运行。

9.可视化的RPA表格操作录制与自动执行系统，用于实现权利要求1-8任一项所述的可视化的RPA表格操作录制与自动执行方法，其特征在于，所述可视化的RPA表格操作录制与自动执行系统包括；

监听模块，用于通过RPA监听用户在表格处理软件上的所有操作记录；

数据暂存模块，用于将监听到的数据，保存为文件并存放；

意图分析模块，用于基于用户的所有操作记录进行意图分析，并识别出用户意图；

界面展示及生成组件模块，用于根据用户意图生成用户所需的RPA组件；

执行模块，用于根据生成的RPA组件执行表格处理软件的操作。

Images