CN114035726A - 一种机器人流程自动化页面要素识别过程的方法及系统 - Google Patents
一种机器人流程自动化页面要素识别过程的方法及系统 Download PDFInfo
- Publication number
- CN114035726A CN114035726A CN202111237193.9A CN202111237193A CN114035726A CN 114035726 A CN114035726 A CN 114035726A CN 202111237193 A CN202111237193 A CN 202111237193A CN 114035726 A CN114035726 A CN 114035726A
- Authority
- CN
- China
- Prior art keywords
- page
- elements
- editing
- module
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004801 process automation Methods 0.000 title claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000013479 data entry Methods 0.000 claims abstract description 4
- 238000012015 optical character recognition Methods 0.000 claims description 27
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Abstract
本发明公开了一种机器人流程自动化页面要素识别过程的方法及系统，属于电子信息技术领域，方法包括步骤1：对数据录入流程进行预编辑，设定页面的处理流程；步骤2：读取处理流程节点对应的页面元素，将其实时转换为图片；步骤3：根据页面中的显示文本识别出页面要素，并填写各页面要素对应的文本框；步骤4：页面要素使用后不进行保存，即时从数据库进行删除；步骤5：按照步骤1中预编辑设置的流程，重复步骤2、步骤3、步骤4直至完成当前页面中所有文本框的填写。其目的在于，使图片转换能力简单高效，避免了对页面要素的截图及管理，以及避免了页面操作时对大量保存的页面要素截图查找，大大提高了流程自动化工作的效率。
Description
技术领域
本发明属于电子信息技术领域，具体涉及一种机器人流程自动化页面要素识别过程的方法及系统。
背景技术
机器人流程自动化(RPA)是一类流程自动化软件工具，通过用户界面使用将基于规则的常规操作自动化，替代人工操作。现在主流的方案是预先编辑操作流程，对页面要素进行识别，对照识别出来的要素，依据预编辑的操作流程进行操作，比如鼠标点击、文本输入、复制粘贴等等，以达到模拟人工识别和操作的效果。
在机器人流程自动化(RPA)中对页面要素进行识别的过程，目前主要采用的是事先对页面需要操作到的要素进行截图，保存。预编辑操作流程执行到某个要素时，调取该要素截图，通过光学字符识别(OCR)进行页面要素匹配，识别完成后执行对应操作。
上述操作流程中的页面要素识别过程，在我们实际应用中发现：我们需要对预编辑流程中每一步操作涉及到的页面要素进行统一截图管理，当页面要素较多时，需要预先管理较多页面要素截图；同时，在要素识别阶段需要从大量截图中进行搜索，不仅存在管理开销，搜索过程对执行效率会产生影响。
发明内容
为了解决上述现有技术存在的缺陷，本发明的目的在于提供一种机器人流程自动化页面要素识别过程的方法及系统，针对上述操作中的页面要素识别过程，即在页面要素实际操作前，根据预编辑流程中的step1，获取step1中对应需操作的页面要素，采用动态图片转换的方式，将目标页面要素转换为图片，通过OCR进行页面要素查找匹配及后续操作；同理，当执行到step2时，获取step2中对应的页面要素，再进行动态转换和识别。其目的在于，使图片转换能力简单高效，避免了对页面要素的截图及管理，以及避免了页面操作时对大量保存的页面要素截图查找，大大提高了流程自动化工作的效率。
本发明采用的技术方案如下：
一种机器人流程自动化页面要素识别过程的方法，其中包括以下步骤:
步骤1：对数据录入流程进行预编辑，设定页面的处理流程；
步骤2：读取处理流程节点对应的页面元素，将其实时转换为图片；
步骤3：根据页面中的显示文本识别出页面要素，并填写各页面要素对应的文本框；
步骤4：页面要素使用后不进行保存，即时从数据库进行删除；
步骤5：按照步骤1中预编辑设置的流程，重复步骤2、步骤3、步骤4直至完成当前页面中所有文本框的填写。
采用上述技术方案，通过取消了现有技术中流程编辑过程对操作要素图片的预存和调取，采用动态图片转换的方式，将目标页面要素转换为图片，通过OCR进行页面要素查找匹配及后续操作，使用的图片转换能力简单高效，避免发生现有技术中了对页面要素的截图及管理，操作时对大量保存的页面要素截图查找，而导致的搜索过程对执行效率低下的问题，实现了即用即转大大提高了流程自动化工作的效率。
具体的，所述预编辑过程包括：
步骤1.1：根据页面实际操作目标按最小化原则确认节点及对应的操作项；
步骤1.2：根据页面实际操作目标操作顺序编排节点顺序。
具体的，本发明在流程编辑过程取消了现有技术中对操作要素图片的预存和调取，将开发语言中常规的文字图片转换功能封装到RPA流程编辑过程中，通过步骤2、步骤3、步骤4实现对操作要素图片的即用即转，降低保存成本，提升文件查找的效率。
具体的，所述步骤3中是通过OCR工具将转换后的图片在页面进行查找匹配元素。
OCR文字识别即光学字符识别，通过对图片上的文字内容进行识别，从而输出可编辑的文本，具有识别准确性高、稳定性强、适用性高、应用广泛的优点，本发明直接使用该较为成熟的技术，也可降低整个系统的开发成本。
本发明还提供了一种用于上述方法的机器人流程自动化页面要素识别过程的系统，其中包括：
节点识别模块，用于读取预编辑流程中的操作节点，及对应的操作内容和操作元素；
图片动态转换模块，用于将读取到的节点对应操作元素，实时转换为图片；
要素识别模块，用于将转换后的图片通过OCR在页面进行查找匹配元素；
信息录入模块，对查找到的元素，根据预编辑流程中的操作内容执行对应操作。
基于机器人流程自动化页面要素识别过程的系统的节点识别模块、图片动态转换模块、要素识别模块、信息录入模块构成统一闭环，实现对页面要素的实时动态转化，对页面文本框进行自动化填写操作。
具体的，所述信息录入模块包括鼠标点击获取模块、文本处理模块或复制粘贴模块。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.转换的图片仅用于当下识别过程，识别完成即可丢弃，没有文件保存成本，避免了文件查找导致的效率问题。
2.通过取消了流程编辑过程对操作要素图片的预存和调取，采用动态图片转换的方式，将目标页面要素转换为图片，通过OCR进行页面要素查找匹配及后续操作，使用的图片转换能力简单高效，避免发生现有技术中了对页面要素的截图及管理，操作时对大量保存的页面要素截图查找，而导致的搜索过程对执行效率低下的问题，实现了即用即转大大提高了流程自动化工作的效率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明中一种机器人流程自动化页面要素识别过程的方法流程图；
图2是本发明中预编辑操作的流程图；有彩色
图3是本发明中操作的界面示意图；
名词解释：
OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合图1～图3对本发明作详细说明。
一种机器人流程自动化页面要素识别过程的方法，如图1所示，其中包括以下步骤:
步骤1：对数据录入流程进行预编辑，设定页面的处理流程；
步骤2：读取处理流程节点对应的页面元素，将其实时转换为图片；
步骤3：根据页面中的显示文本识别出页面要素，并填写各页面要素对应的文本框；
步骤4：页面要素使用后不进行保存，即时从数据库进行删除；
步骤5：按照步骤1中预编辑设置的流程，重复步骤2、步骤3、步骤4直至完成当前页面中所有文本框的填写。
本实施例中，所述预编辑过程是通过提供配置页面或者编写代码将处理流程进行约定的过程，在程序执行时会读取预编辑的配置，并按约定流程执行。预编辑是按照实际操作目标进行确认，预编辑步骤可定义为：步骤1.1：根据页面实际操作目标按最小化原则确认节点及对应的操作项；步骤1.2：根据页面实际操作目标操作顺序编排节点顺序。
所述预编辑工具取决于所使用的RPA，现在市面上有多种RPA工具，商用、开源都有，这类工具基本都会提供流程配置功能，大部分支持常用开发语言，JAVA、PYTHON等，也支持图像识别OCR工具，在本实施例中，可以是一个编辑文档或者是XMIND脑图之类。
一种用于上述方法的机器人流程自动化页面要素识别过程的系统，其中包括：
节点识别模块，用于读取预编辑流程中的操作节点，及对应的操作内容和操作元素；
图片动态转换模块，用于将读取到的节点对应操作元素，实时转换为图片；
要素识别模块，用于将转换后的图片通过OCR在页面进行查找匹配元素；
信息录入模块，对查找到的元素，根据预编辑流程中的操作内容执行对应操作。
具体的，所述信息录入模块执行对应操作具体包括鼠标点击、文本输入或复制粘贴。
如图2、图3所示：
具体操作过程为：1、找到当前桌面浏览器点击打开；2、浏览器内输入网址，打开主页；3、选择主页中的项目栏，打开页面；4、我们打开页面后，需要先识别并点击“项目”，然后依次识别“标的名称”、“项目编码”、“标的类型”、“标的特色”、“项目隶属”、“资产属性”，并依次填写对应文本框的内容。
预编辑时会将我们需要识别的内容，以图像形式进行保存，即对“项目”“标的名称”的图片保存后通过预编辑的流程编排，比如：节点一，调取“项目”图片并通过OCR在页面进行识别定位，操作鼠标点击页面“项目”；节点二，调取“标的名称”图片并通过OCR在页面进行识别定位，判定“标的名称”后面的文本框，进行填写操作；节点三，类似节点一、节点二步骤。
当需要识别某一个页面要素时，我们将目标页面要素转换为图片(动态转换)，通过OCR进行页面要素查找匹配及后续操作；
例如：当需要识别上图“标的名称”时，我们根据预编辑流程取到文字“标的名称”，将该文字转换为图片“标的名称”后，通过OCR找到对应的“标的名称”项，进行填写操作；完成“标的名称”填写后，根据预编辑流程找到下一步“项目编码”，进行转换、识别，直至直至完成当前页面中所有页面要素的转换、是被以及文本框的填写；避免了页面要素的截图管理，实现了即用即转，转换的图片仅用于当下识别过程，识别完成即可丢弃。没有文件保存成本，也避免了文件查找导致的效率问题。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
Claims (5)
1.一种机器人流程自动化页面要素识别过程的方法，其特征在于，包括以下步骤:
步骤1：对数据录入流程进行预编辑，设定页面的处理流程；
步骤2：读取处理流程节点对应的页面元素，将其实时转换为图片；
步骤3：根据页面中的显示文本识别出页面要素，并填写各页面要素对应的文本框；
步骤4：页面要素使用后不进行保存，即时从数据库进行删除；
步骤5：按照步骤1中预编辑设置的流程，重复步骤2、步骤3、步骤4直至完成当前页面中所有文本框的填写。
2.根据权利要求1所述的一种机器人流程自动化页面要素识别过程的方法，其特征在于，所述预编辑过程包括：
步骤1.1：根据页面实际操作目标按最小化原则确认节点及对应的操作项；
步骤1.2：根据页面实际操作目标操作顺序编排节点顺序。
3.根据权利要求1所述的一种机器人流程自动化页面要素识别过程的方法，其特征在于，所述步骤3中是通过OCR工具将转换后的图片在页面进行查找匹配元素。
4.一种用于权利要求1至3之一所述方法的机器人流程自动化页面要素识别过程的系统，其特征在于，包括：
节点识别模块，用于读取预编辑流程中的操作节点，及对应的操作内容和操作元素；
图片动态转换模块，接收所述节点识别模块的数据，用于将读取到的节点对应操作元素，实时转换为图片；
要素识别模块，用于将图片动态转换模块转换后的图片通过OCR在页面进行查找匹配元素；
信息录入模块，对查找到的元素，根据预编辑流程中的操作内容执行对应操作。
5.根据权利要求4所述的一种机器人流程自动化页面要素识别过程的系统，其特征在于，所述信息录入模块包括鼠标点击获取模块、文本处理模块或复制粘贴模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237193.9A CN114035726B (zh) | 2021-10-19 | 2021-10-19 | 一种机器人流程自动化页面要素识别过程的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237193.9A CN114035726B (zh) | 2021-10-19 | 2021-10-19 | 一种机器人流程自动化页面要素识别过程的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114035726A true CN114035726A (zh) | 2022-02-11 |
| CN114035726B CN114035726B (zh) | 2023-12-22 |
Family
ID=80141756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111237193.9A Active CN114035726B (zh) | 2021-10-19 | 2021-10-19 | 一种机器人流程自动化页面要素识别过程的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114035726B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929714A (zh) * | 2019-11-22 | 2020-03-27 | 北京航空航天大学 | 一种基于深度学习的密集文本图片的信息提取方法 |
| CN111062791A (zh) * | 2019-11-28 | 2020-04-24 | 中国银行股份有限公司 | 一种报销填单方法、装置和设备 |
| CN112036843A (zh) * | 2020-06-30 | 2020-12-04 | 北京来也网络科技有限公司 | 基于rpa及ai的流程元素定位方法、装置、设备和介质 |
| CN112101357A (zh) * | 2020-11-03 | 2020-12-18 | 杭州实在智能科技有限公司 | 一种rpa机器人智能元素定位拾取方法及系统 |
| CN112149399A (zh) * | 2020-09-25 | 2020-12-29 | 北京来也网络科技有限公司 | 基于rpa及ai的表格信息抽取方法、装置、设备及介质 |
| CN112231033A (zh) * | 2019-12-23 | 2021-01-15 | 北京来也网络科技有限公司 | 结合rpa与ai的软件界面元素的匹配方法及装置 |
| CN112241302A (zh) * | 2019-07-19 | 2021-01-19 | 尤帕斯公司 | 基于多锚点的用户界面的提取、识别与机器学习 |
| US20210110233A1 (en) * | 2019-10-14 | 2021-04-15 | UiPath Inc. | Systems and Methods of Activity Target Selection for Robotic Process Automation |
| CN113015956A (zh) * | 2019-10-14 | 2021-06-22 | 尤帕斯公司 | 用于机器人流程自动化的活动目标选择的系统和方法 |
| CN113157729A (zh) * | 2021-04-23 | 2021-07-23 | 中国工商银行股份有限公司 | 批量邮件自动处理方法和装置 |
| CN113255614A (zh) * | 2021-07-06 | 2021-08-13 | 杭州实在智能科技有限公司 | 一种基于视频分析的rpa流程自动生成方法与系统 |
| CN113449169A (zh) * | 2021-09-01 | 2021-09-28 | 广州越创智数信息科技有限公司 | 一种基于rpa的舆情数据获取方法及系统 |
| CN113469294A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 一种rpa机器人中图标检测方法及其系统 |
-
2021
- 2021-10-19 CN CN202111237193.9A patent/CN114035726B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241302A (zh) * | 2019-07-19 | 2021-01-19 | 尤帕斯公司 | 基于多锚点的用户界面的提取、识别与机器学习 |
| CN113015956A (zh) * | 2019-10-14 | 2021-06-22 | 尤帕斯公司 | 用于机器人流程自动化的活动目标选择的系统和方法 |
| US20210110233A1 (en) * | 2019-10-14 | 2021-04-15 | UiPath Inc. | Systems and Methods of Activity Target Selection for Robotic Process Automation |
| CN110929714A (zh) * | 2019-11-22 | 2020-03-27 | 北京航空航天大学 | 一种基于深度学习的密集文本图片的信息提取方法 |
| CN111062791A (zh) * | 2019-11-28 | 2020-04-24 | 中国银行股份有限公司 | 一种报销填单方法、装置和设备 |
| CN112231033A (zh) * | 2019-12-23 | 2021-01-15 | 北京来也网络科技有限公司 | 结合rpa与ai的软件界面元素的匹配方法及装置 |
| CN112036843A (zh) * | 2020-06-30 | 2020-12-04 | 北京来也网络科技有限公司 | 基于rpa及ai的流程元素定位方法、装置、设备和介质 |
| CN112149399A (zh) * | 2020-09-25 | 2020-12-29 | 北京来也网络科技有限公司 | 基于rpa及ai的表格信息抽取方法、装置、设备及介质 |
| CN112101357A (zh) * | 2020-11-03 | 2020-12-18 | 杭州实在智能科技有限公司 | 一种rpa机器人智能元素定位拾取方法及系统 |
| CN113157729A (zh) * | 2021-04-23 | 2021-07-23 | 中国工商银行股份有限公司 | 批量邮件自动处理方法和装置 |
| CN113255614A (zh) * | 2021-07-06 | 2021-08-13 | 杭州实在智能科技有限公司 | 一种基于视频分析的rpa流程自动生成方法与系统 |
| CN113449169A (zh) * | 2021-09-01 | 2021-09-28 | 广州越创智数信息科技有限公司 | 一种基于rpa的舆情数据获取方法及系统 |
| CN113469294A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 一种rpa机器人中图标检测方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114035726B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101357B (zh) | 一种rpa机器人智能元素定位拾取方法及系统 | |
| CN111488174B (zh) | 应用程序接口文档的生成方法、装置、计算机设备及介质 | |
| CN113391871B (zh) | 一种rpa元素智能融合拾取的方法与系统 | |
| CN112149399B (zh) | 基于rpa及ai的表格信息抽取方法、装置、设备及介质 | |
| CN113255614A (zh) | 一种基于视频分析的rpa流程自动生成方法与系统 | |
| US11501549B2 (en) | Document processing using hybrid rule-based artificial intelligence (AI) mechanisms | |
| CN111144210B (zh) | 图像的结构化处理方法及装置、存储介质及电子设备 | |
| CN112232352B (zh) | 一种智能识别pcb图纸自动计价系统和方法 | |
| CN112418812A (zh) | 分布式全链路自动化智能通关系统、方法及存储介质 | |
| CN116245177B (zh) | 地理环境知识图谱自动化构建方法及系统、可读存储介质 | |
| CN113312033A (zh) | 一种模板化的协议生成、管理方法 | |
| US20210201014A1 (en) | Extracting values from images of documents | |
| CN112036843A (zh) | 基于rpa及ai的流程元素定位方法、装置、设备和介质 | |
| CN114035726B (zh) | 一种机器人流程自动化页面要素识别过程的方法及系统 | |
| US20100023517A1 (en) | Method and system for extracting data-points from a data file | |
| CN115097974A (zh) | 一种bim模型智能辅助会审系统及方法 | |
| CN114580347A (zh) | 结合rpa及ai的招投标信息确定方法、装置及存储介质 | |
| CN113918165A (zh) | 文字描述式流程说明编译为应用自动操作脚本方法及系统 | |
| CN113050987A (zh) | 一种接口文档的生成方法、装置、存储介质及电子设备 | |
| CN112612841A (zh) | 一种知识抽取构建方法、装置、设备及存储介质 | |
| CN114066402B (zh) | 一种基于文字识别的自动化流程实现方法及系统 | |
| CN111399900A (zh) | 一种基于python与正则表达式的API文档自动生成方法及系统 | |
| CN114064157B (zh) | 基于页面元素识别的自动化流程实现方法、系统、设备及介质 | |
| CN117350249B (zh) | 一种电子文档数据自动录入的控件配置方法及系统 | |
| CN117608545B (zh) | 一种基于知识图谱的标准作业程序生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |