CN118069000A - 基于rpa的数据可视化采集和处理方法及系统 - Google Patents

Abstract

本发明属于RPA技术领域，具体涉及基于RPA的数据可视化采集和处理方法及系统。方法包括：S1，在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；S2，选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；S3，在被采集的网页或界面中，鼠标指针位置显示数据采集框；S4，选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；S5，在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；S6，对采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。本发明具有采集准确性高，并在处理异常补充数据方面更为灵活的特点。

Description

基于RPA的数据可视化采集和处理方法及系统

技术领域

本发明属于RPA技术领域，具体涉及基于RPA的数据可视化采集和处理方法及系统。

背景技术

数据采集是指根据选择的单个数据，进行智能分析来判断数据源中存在相同节点的数据，进行批量获取、数据处理、数据筛选、数据整编并通过RPA软件来自动化执行采集任务和存储采集结果。

RPA是指机器人流程自动化(Robotic process automation)，是通过配置的软件机器人模拟用户在计算机系统中的操作，RPA可以与多个应用程序和系统进行集成，执行跨系统任务。RPA技术应用范围涵盖多个行业，在提高效率、降低风险、减少错误等方面具有显著的优势。

传统的RPA数据采集只具备简单的同类标签的数据拾取，只能获取某个网站个别信息，如新闻网站中的新闻标题、新闻图片等，而且现有的数据采集配置规则极其复杂，用户难以理解上手难度较大，通常采集的内容因为不具备AI的能力，采集的准确性较低。

传统的RPA数据采集通常只能采集浏览器中的数据，不具备win32程序中数据的采集能力，同时也无法做到对表格数据的一键采集。

现在业务场景中对采集数据的要求复杂，往往要求对数据进行再加工，而传统的RPA数据采集不具备对数据的条件筛选和数据处理能力，这就要求业务人员在自动化流程中通过组件来配置大量的数据处理规则，或在采集完成后，在Excel中对采集后的数据进行再加工处理，这样对加大了人工处理的工作，也容易造成失误。

因此，设计一种采集准确性高，并在处理异常补充数据方面更为灵活的基于RPA的数据可视化采集和处理方法及系统，就显得十分重要。

发明内容

本发明是为了克服现有技术中，现有采集技术存在采集数据准确性低、配置规则复杂、使用难度大，无法对采集的数据进行条件筛选和数据预处理能力，同时不具备对win32程序的数据采集和表格数据一键采集的问题，提供了一种采集准确性高，并在处理异常补充数据方面更为灵活的基于RPA的数据可视化采集和处理方法及系统。

为了达到上述发明目的，本发明采用以下技术方案：

基于RPA的数据可视化采集和处理方法，包括如下步骤；

S1，在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

S2，选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

S3，在被采集的网页或界面中，鼠标指针位置显示数据采集框；

S4，选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

S5，在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；

S6，对步骤S5中采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。

作为优选，步骤S4中，若待采集数据智能识别为Table表格数据，则处理逻辑包括如下步骤：

S41，在网页或Win32程序界面中采集数据，若待采集数据被识别为Table表格数据，则出现提示窗口，并提示：成功识别到Table表格数据，采集整个表格或采集单个数据；

S42，若选择采集整个表格，AI智能识别表格中的表头、行、列以及单元格信息，同时在采集界面高亮框选当前表格，采集预览窗口显示整个表格数据；

S43，若在步骤S41中，选择采集单个数据，则根据选择的单个数据，AI智能匹配相同节点数据为同类数据。

作为优选，在步骤S43中，若选择采集的单个数据所在的列，出现数据不全的情况，则在当前的列中补充相似数据，具体包括如下步骤：

S431，在采集预览窗口点击补充相似数据；

S432，重新调用元素采集的接口，鼠标状态变化为补充相似数据；

S433，选择待采集页面中要补充的数据；

S434，判断选中的待采集数据，是否与当前数据预览窗口选中列的数据为相同节点的数据；

S435，若选中数据是相同节点的数据，则在采集界面高亮框选所有同类数据，同时新增补充数据被添加到当前选中列中，自动结束补充相似数据；

S436，若选中数据是非相同结构节点的数据，则提示：拾取数据与已有数据非同类数据，无法拾取；同时执行步骤S437；

S437，继续执行补充相似数据，返回步骤S432；

所述相似数据指在数据采集自动化过程中，具有相同的数据结构、格式和属性的数据；所述相似数据在数据结构下表现为一致的信息内容或属性。

作为优选，步骤S6中，所述数据筛选和预处理包括切换列数据类型、列数据处理以及筛选条件；

所述切换列数据类型具体指，对数据采集预览窗口中的列数据，切换显示为数据的文本、数据的链接地址、数据的图片地址或单个元素的属性；

所述列数据处理具体指，对数据采集预览窗口中的列数据，提取数字、去除首尾空格、替换文字、添加前缀、添加后缀以及格式化时间；

所述筛选条件具体指，对数据采集预览窗口中的列数据，使用多个条件添加的方式或正则表达式的方式来过滤数据。

作为优选，在步骤S2中，还包括如下过程：

对被采集的数据内容的范围进行设置，具体包括按页数和条数采集；当按页数采集时，设置页数为采集的当前页、多页或所有页，同时需要设置页面中等待数据加载的时间；当按条数采集时，则设置具体的采集条数。

作为优选，在步骤S6中，还包括如下过程：

对被采集的数据进行输出设置；所述输出设置具体指，在采集预览窗口点击保存后，采集的数据内容和配置的采集范围将作为参数存储在RPA数据采集组件的配置中；当运行数据采集组件时，RPA设计器将按照采集的配置参数自动执行采集，采集结果作为变量用于RPA流程中组件的调用，或将采集结果直接保存到Excel，同步到松塔数据平台。

作为优选，所述松塔数据平台包含多种集成方式，具体包括RPA采集、API采集以及数据同步。

本发明还提供了基于RPA的数据可视化采集和处理系统包括：

数据采集模块，用于在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

界面选择模块，用于选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

显示模块，用于在被采集的网页或界面中，鼠标指针位置显示数据采集框；

智能匹配模块，用于选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

数据渲染与框选模块，用于在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；

数据筛选和预处理模块，用于对采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。

本发明与现有技术相比，有益效果是：（1）本发明支持网页数据采集和win32程序的数据采集，利用AI智能识别自动判断分析采集对象的类型，在采集阶段更准确效率，在处理异常补充数据方面更为灵活；（2）本发明支持对采集的数据进行数据筛选和预处理，在执行过程中依照配置的规则自动完成数据的处理和编排，减少了用户在后期对数据的再次加工，相比传统的数据采集更为灵活和高效。

附图说明

图1为本发明中浏览器界面/win32程序界面数据采集阶段的一种流程图；

图2为本发明中判断数据为Table表格数据的一种采集流程图；

图3为本发明中补充相似数据阶段的一种生成流程图；

图4为本发明中采集数据添加规则条件进行数据预处理的一种流程图；

图5为本发明中采集内容范围设置和输出设置的一种流程图；

图6为本发明中数据采集预览窗口的一种示意图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本发明提供了基于RPA的数据可视化采集和处理方法，如图1所示，在浏览器界面/win32程序界面数据采集阶段的流程，具体包括如下步骤；

1.在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

2.选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

3.在被采集的网页或界面中，鼠标指针位置显示数据采集框；

4. Ctrl+单击选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

5.在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；当前高亮框选的所有同类，在如图6所示的数据采集预览窗口的列中显示。

6.继续采集下一列数据，并重复执行步骤2。

在步骤4中，若待采集数据智能识别为Table表格数据，则处理逻辑如图2所示，具体包括如下步骤：

4-1.在网页或Win32程序界面中采集数据，若待采集数据被识别为Table表格数据，则出现提示窗口，并提示：成功识别到Table表格数据，采集整个表格或采集单个数据；

4-2.若选择采集整个表格，AI智能识别表格中的表头、行、列以及单元格信息，同时在采集界面高亮框选当前表格，采集预览窗口显示整个表格数据；

4-3.若在步骤4-1中，选择采集单个数据，则根据选择的单个数据，AI智能匹配相同节点数据为同类数据。同类数据是指根据AI智能识别匹配为相同节点的数据。

在步骤4-3中，若选择采集的单个数据所在的列，出现数据不全的情况，则在当前的列中补充相似数据，流程如图3所示，具体包括如下步骤：

4-3-1.在采集预览窗口点击补充相似数据；

4-3-2.重新调用元素采集的接口，鼠标状态变化为补充相似数据；

4-3-3.选择待采集页面中要补充的数据；

4-3-4.判断选中的待采集数据，是否与当前数据预览窗口选中列的数据为相同节点的数据；

4-3-5.若选中数据是相同节点的数据，则在采集界面高亮框选所有同类数据，同时新增补充数据被添加到当前选中列中，自动结束补充相似数据；

4-3-6.若选中数据是非相同结构节点的数据，则提示：拾取数据与已有数据非同类数据，无法拾取；同时执行下一步骤；

4-3-7.继续执行补充相似数据，返回至步骤4-3-2。

步骤过程中的补充相似数据是指，在数据采集过程中，浏览器网页或wei32程序界面中，代码层面会出现多种命名类型的结构，使用补充相似数据会再次智能匹配/循环界面中所有相同节点的同类数据，使用补充相似数据会提高采集数据的准确性。

前述步骤4-3-7过程中，选择快捷键ESC则退出补充相似数据。

本发明基于RPA的数据可视化采集和处理方法，还包括对步骤5中采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。具体为对采集预览窗口中的列数据进行数据预处理方法，流程如图4所示，包括以下步骤：

在数据采集预览窗口的列表中，选中要处理的列数据，对数据采集后，得到的原始数据进行处理；

在点击选中列数据时，被采集数据的浏览器界面/win32程序界面中，高亮框选所有的同类数据；

点击更多icon，选择浮窗中的切换数据类型、列数据处理、筛选条件等，添加数据处理规则；其中，所述切换列数据类型具体指，对数据采集预览窗口中的列数据，切换显示为数据的文本、数据的链接地址、数据的图片地址或单个元素的属性；所述列数据处理具体指，对数据采集预览窗口中的列数据，提取数字、去除首尾空格、替换文字、添加前缀、添加后缀以及格式化时间；所述筛选条件具体指，对数据采集预览窗口中的列数据，使用多个条件添加的方式或正则表达式的方式来过滤数据；

执行添加的规则条件，渲染刷新列表，得到最新的数据。

在被采集数据的浏览器界面/win32程序界面中，高亮框选处理执行规则条件后，最新的所有同类数据。

本发明中，基于RPA对数据可视化采集和数据处理方法，还包括对被采集数据内容的范围设置和采集输出设置，流程如图5所示，具体步骤如下：

在数据采集预览窗口，点击配置切换为采集内容范围设置界面，在采集范围中可以选择页数或条数。

点击页数或条数。可以选择设置采集当前页、多页、所有页；选择多页可以设置具体采集的页数，选择条数可设置具体的采集条数。

设置翻页按钮和等待数据加载时间。本发明通过AI自动识别采集页面中的翻页按钮，用户也可以自己手动选择翻页按钮元素。

点击数据采集窗口中保存按钮，数据采集窗口关闭，采集的数据内容和配置的采集范围，将作为参数存储并显示在RPA数据采集组件的输入项中，运行数据采集组件，RPA设计器将按照数据采集的配置参数自动执行采集；点击取消按钮，则取消本次数据采集。

本发明中，所述输出设置是指，在采集预览窗口点击保存后，采集的数据内容和配置的采集范围将作为参数存储在RPA数据采集组件的配置中，执行数据采集组件运行后，将按照采集的配置参数自动执行采集，采集结果可以作为变量用于RPA流程中组件的调用，或将采集结果直接保存到Excel，同步到松塔数据平台。

松塔数据平台包含多种集成方式，具体包括RPA采集、API采集以及数据同步，能够全面涵盖各种业务场景，并且灵活的数据开发能够实现多源数据处理过程，处理后的数据通过数据应用实现BI分析和报表可视化展示，真正实现数据的“采存管用”。

本发明中，所述的数据预览窗口是指在浏览器界面或win32界面中选择采集数据后，展示所有同类数据或Table表格数据的预览窗口界面，数据采集预览窗口的示意图如图6所示。

另外，本发明还提供了基于RPA的数据可视化采集和处理系统包括：

数据采集模块，用于在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

界面选择模块，用于选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

显示模块，用于在被采集的网页或界面中，鼠标指针位置显示数据采集框；

智能匹配模块，用于选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

数据渲染与框选模块，用于在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；

数据筛选和预处理模块，用于对采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。

基于本发明的技术方案，以如下案例场景来说明本发明在实际应用的实施过程，具体应用实施方案如下：

本实施例以获取京东商城中的显卡商品，并对显卡商品进行筛选，过滤出显卡商品中评价大于2000以上的显卡商品，其过程包含以下步骤：

1.在实在RPA设计器中点击数据采集功能，设计器自动添加数据采集组件，并打开数据采集窗口，并隐藏RPA设计器；

2.点击打开京东商城，浏览器界面会自动调用数据（元素）采集接口，并在鼠标指针位置显示数据采集框；

3.在京东商城浏览器界面中，搜素显卡；

4.Ctrl+单击选择显卡商品的名称，AI智能识别根据选中数据，匹配相同节点数据为同类数据，并在数据采集预览窗口（如图6）的预览表的A列中显示所有识别出的显卡商品名称；

5.在京东商城浏览器界面中，渲染所有显卡商品的名称，并使用高亮框进行框选；

7.在京东商城浏览器界面中，Ctrl+单击继续选择显卡商品的评论数量信息；

8.AI智能识别根据选中评论数据，匹配相同节点的数据信息，并匹配每条显卡商品名称对应的评论数据，回传数据到数据采集预览窗口（如图6）的预览表的列中显示；

9.在步骤4-3中，若选择采集的单个数据所在的列，出现数据不全的情况，则在当前的列中补充相似数据，流程如图3所示，具体包括如下步骤：

4-3-1.在采集预览窗口点击补充相似数据；

4-3-2.重新调用元素采集的接口，鼠标状态变化为补充相似数据；

4-3-3.选择待采集页面中要补充的数据；

4-3-4.判断选中的待采集数据，是否与当前数据预览窗口选中列的数据为相同节点的数据；

4-3-5.若选中数据是相同节点的数据，则在采集界面高亮框选所有同类数据，同时新增补充数据被添加到当前选中列中，自动结束补充相似数据；

4-3-6.若选中数据是非相同结构节点的数据，则提示：拾取数据与已有数据非同类数据，无法拾取；同时执行下一步骤；

4-3-7.继续执行补充相似数据，返回至步骤4-3-2。

其中，相似数据是指在数据采集自动化过程中，具有相同的数据结构、格式和属性的数据，相似数据在数据结构下表现为一致的信息内容或属性。在自动化流程中，相似数据可能体现在以下场景：

网页信息：表现为相同的数据结构和格式属性，如标题、内容和发布日期。

表格数据：表现为具有相同的列名和数据类型，例如姓名、地址、联系方式等。

10.鼠标移动至数据采集窗口（图6）预览列表中B列标题右侧的更多icon，出现操作列提示tips气泡，点击更多icon，弹出操作浮窗；

11.选择操作浮窗中的筛选条件，添加筛选条件≥2000，点击保存，当前数据采集预览表中的数据根据添加的筛选条件，自动筛选出≥2000评论的商品数据；

12.点击数据采集窗口中配置，切回到配置页面中；

13.在配置页面中选择按条数采集，设置采集1000条，勾选设置翻页按钮；点击数据采集窗口中配置，切回到配置页面中；

14.点击数据采集窗口底部的保存；返回至实在RPA设计器界面，在右侧的基础属性中，勾选将结果保存至Excel中，修改Excel名称为：京东显卡信息采集，并设置Excel文件的保存路径；

15.点击实在RPA设计器界面顶部导航中的运行icon，实在RPA设计器将根据数据采集中，配置的采集规则和筛选条件执行自动化操作，采集1000条显卡商品数据，并过滤出显卡商品中评价大于2000以上的显卡商品，保存至步骤14所述的Excel文件中。

本发明的创新点如下：

1.本发明支持网页数据采集和win32程序的数据采集，利用AI智能识别自动判断分析采集对象的类型，在采集阶段更准确效率，在处理异常补充数据方面更为灵活；

2.本发明支持对采集的数据进行数据筛选和预处理，在执行过程中依照配置的规则自动完成数据的处理和编排，减少了用户在后期对数据的再次加工，相比传统的数据采集更为灵活和高效。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (8)

1.基于RPA的数据可视化采集和处理方法，其特征在于，包括如下步骤；

S1，在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

S2，选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

S3，在被采集的网页或界面中，鼠标指针位置显示数据采集框；

S4，选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

S5，在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；

S6，对步骤S5中采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。

2.根据权利要求1所述的基于RPA的数据可视化采集和处理方法，其特征在于，步骤S4中，若待采集数据智能识别为Table表格数据，则处理逻辑包括如下步骤：

S41，在网页或Win32程序界面中采集数据，若待采集数据被识别为Table表格数据，则出现提示窗口，并提示：成功识别到Table表格数据，采集整个表格或采集单个数据；

S42，若选择采集整个表格，AI智能识别表格中的表头、行、列以及单元格信息，同时在采集界面高亮框选当前表格，采集预览窗口显示整个表格数据；

S43，若在步骤S41中，选择采集单个数据，则根据选择的单个数据，AI智能匹配相同节点数据为同类数据。

3.根据权利要求2所述的基于RPA的数据可视化采集和处理方法，其特征在于，在步骤S43中，若选择采集的单个数据所在的列，出现数据不全的情况，则在当前的列中补充相似数据，具体包括如下步骤：

S431，在采集预览窗口点击补充相似数据；

S432，重新调用元素采集的接口，鼠标状态变化为补充相似数据；

S433，选择待采集页面中要补充的数据；

S434，判断选中的待采集数据，是否与当前数据预览窗口选中列的数据为相同节点的数据；

S435，若选中数据是相同节点的数据，则在采集界面高亮框选所有同类数据，同时新增补充数据被添加到当前选中列中，自动结束补充相似数据；

S436，若选中数据是非相同结构节点的数据，则提示：拾取数据与已有数据非同类数据，无法拾取；同时执行步骤S437；

S437，继续执行补充相似数据，返回步骤S432；

所述相似数据指在数据采集自动化过程中，具有相同的数据结构、格式和属性的数据；所述相似数据在数据结构下表现为一致的信息内容或属性。

4.根据权利要求1所述的基于RPA的数据可视化采集和处理方法，其特征在于，步骤S6中，所述数据筛选和预处理包括切换列数据类型、列数据处理以及筛选条件；

所述切换列数据类型具体指，对数据采集预览窗口中的列数据，切换显示为数据的文本、数据的链接地址、数据的图片地址或单个元素的属性；

所述列数据处理具体指，对数据采集预览窗口中的列数据，提取数字、去除首尾空格、替换文字、添加前缀、添加后缀以及格式化时间；

所述筛选条件具体指，对数据采集预览窗口中的列数据，使用多个条件添加的方式或正则表达式的方式来过滤数据。

5.根据权利要求1所述的基于RPA的数据可视化采集和处理方法，其特征在于，在步骤S2中，还包括如下过程：

对被采集的数据内容的范围进行设置，具体包括按页数和条数采集；当按页数采集时，设置页数为采集的当前页、多页或所有页，同时需要设置页面中等待数据加载的时间；当按条数采集时，则设置具体的采集条数。

6.根据权利要求5所述的基于RPA的数据可视化采集和处理方法，其特征在于，在步骤S6中，还包括如下过程：

对被采集的数据进行输出设置；所述输出设置具体指，在采集预览窗口点击保存后，采集的数据内容和配置的采集范围将作为参数存储在RPA数据采集组件的配置中；当运行数据采集组件时，RPA设计器将按照采集的配置参数自动执行采集，采集结果作为变量用于RPA流程中组件的调用，或将采集结果直接保存到Excel，同步到松塔数据平台。

7.根据权利要求6所述的基于RPA的数据可视化采集和处理方法，其特征在于，所述松塔数据平台包含多种集成方式，具体包括RPA采集、API采集以及数据同步。

8.基于RPA的数据可视化采集和处理系统，用于实现权利要求1-7任一项所述的基于RPA的数据可视化采集和处理方法，其特征在于，所述基于RPA的数据可视化采集和处理系统包括：

数据采集模块，用于在RPA设计器中点击数据采集功能，打开数据采集窗口，并隐藏RPA设计器窗口；

界面选择模块，用于选择被采集数据的网页或Win32程序界面，并调用元素采集的接口；

显示模块，用于在被采集的网页或界面中，鼠标指针位置显示数据采集框；

智能匹配模块，用于选择待采集数据，同时根据选中数据，AI智能识别匹配相同节点数据为同类数据；

数据渲染与框选模块，用于在被采集的网页或界面中，渲染所有同类数据，并高亮框选出所有同类数据；

数据筛选和预处理模块，用于对采集的数据进行数据筛选和预处理，并在执行过程中依照配置的规则自动完成数据的处理和编排。