CN112036843A - 基于rpa及ai的流程元素定位方法、装置、设备和介质 - Google Patents

基于rpa及ai的流程元素定位方法、装置、设备和介质 Download PDF

Info

Publication number
CN112036843A
CN112036843A CN202011149214.7A CN202011149214A CN112036843A CN 112036843 A CN112036843 A CN 112036843A CN 202011149214 A CN202011149214 A CN 202011149214A CN 112036843 A CN112036843 A CN 112036843A
Authority
CN
China
Prior art keywords
flow
flow element
elements
list
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011149214.7A
Other languages
English (en)
Inventor
汪冠春
胡一川
褚瑞
李玮
王瑞丰
贺典
罗亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Benying Network Technology Co Ltd
Beijing Laiye Network Technology Co Ltd
Original Assignee
Beijing Benying Network Technology Co Ltd
Beijing Laiye Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Benying Network Technology Co Ltd, Beijing Laiye Network Technology Co Ltd filed Critical Beijing Benying Network Technology Co Ltd
Publication of CN112036843A publication Critical patent/CN112036843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书实施例公开一种基于RPA及AI的流程元素定位方法、装置、设备和介质。该方法包括：S1：循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；S2：根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；S3：根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。该方法通过流程元素列表向用户展示对应类型的流程元素的名称，流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，通过流程元素列表中该流程元素的名称，定位到该流程元素的具体位置。

Description

基于RPA及AI的流程元素定位方法、装置、设备和介质
技术领域
本说明书涉及RPA领域，具体而言，涉及一种基于RPA及AI的流程元素定位方法、装置、设备和介质。
背景技术
机器人流程自动化(Robotic process automation)简称RPA，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。
AI(Artificial Intelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。其中，NLP(Natural LanguageProcessing，自然语言处理)是AI的一个子领域，是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的，通常可用于文本内容的理解和分类等。OCR(OpticalCharacter Recognition，光学字符识别)技术是利用光学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机能够接受、用户又可以理解的格式。
RPA具有独特的优势：低代码、非侵入。低代码是说，RPA不需要很高的IT水平就能操作，不懂编程的业务人员也能开发流程；非侵入是说，RPA可以模拟人的操作，不用软件系统开放接口。但是传统的RPA具有一定的局限性：只能基于固定的规则，并且应用场景受限。随着AI技术的不断发展，RPA与AI深度融合克服了传统RPA的局限，RPA+AI＝Hand work+Head work，正在极大的改变劳动力的价值。
在应用RPA软件进行RPA流程自动化机器人开发时，使用到许多流程元素，流程元素包括流程块，判断块等。当流程图中某种流程元素使用过多时，无法查找和定位到用户想要定位到的流程元素。因此，亟需一种可以查找和定位中流程元素的方法。
发明内容
本说明书实施例提供一种基于RPA及AI的流程元素定位方法、装置、设备和介质，用以克服现有技术中存在的至少一个技术问题。
根据本说明书实施例的第一方面，提供一种基于RPA及AI的流程元素定位方法，包括：
S1：循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
S2：根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
S3：根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
可选地，所述元素信息包括同一类型的流程元素的数量，流程元素的名称以及流程元素的位置信息；所述S1的具体步骤包括：
S11：循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；
S12：根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。
可选地，所述S2的具体步骤包括：
S21：根据所述同一类型的流程元素的数量，对应生成数字角标；其中，所述数字角标中的数字表示所述流程图中该类流程元素的使用数量；
S22：根据该类流程元素的名称，对应生成流程元素列表；其中，该流程元素列表中展示该类型的所有流程元素的名称；
S23：将所述数字角标与对应的流程元素列表相关联；其中，当用户单击所述数字角标时，展开或隐藏对应的流程元素列表；
S24：根据该类型的流程元素的位置信息，将该位置信息与对应的流程元素列表中的流程元素的名称相关联；其中，当用户单击所述流程元素列表中的流程元素的名称时，定位到该流程元素在所述流程图中的具体位置。
可选地，所述S3的具体步骤包括：
S31：接收用户针对所述流程元素列表输入的定位请求，根据所述定位请求，获取所述流程元素列表中流程元素的名称；
S32：根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
可选地，在所述S3之后，还包括：
S4：接收用户在搜索框内输入的查找请求，根据所述查找请求，获取用户输入的流程元素的名称；根据所述用户输入的流程元素的名称，匹配到所述流程列表中对应的流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
可选的，在所述S3之后，所述方法还包括：
如果接收到流程元素的触发指令，则执行该流程元素对应的流程内容。
其中，如果流程图为审核图片中的文本内容，则该流程图中的流程元素包括对图片进行光学字符识别OCR处理、提取OCR的识别结果，以及采用自然语言处理NLP方法对识别结果进行审核。
根据本说明书实施例的第二方面，提供一种基于RPA及AI的流程元素定位装置，包括：
获取模块，被配置为循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
生成模块，被配置为根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
定位模块，被配置为根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
可选地，所述元素信息包括同一类型的流程元素的数量，流程元素的名称以及流程元素的位置信息；所述获取模块包括：
统计单元，被配置为循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；
获取单元，被配置为根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。
可选地，所述生成模块包括：
第一生成单元，被配置为根据所述同一类型的流程元素的数量，对应生成数字角标；其中，所述数字角标中的数字表示所述流程图中该类流程元素的使用数量；
第二生成单元，被配置为根据该类流程元素的名称，对应生成流程元素列表；其中，该流程元素列表中展示该类型的所有流程元素的名称；
第一关联单元，被配置为将所述数字角标与对应的流程元素列表相关联；其中，当用户单击所述数字角标时，展开或隐藏对应的流程元素列表；
第二关联单元，被配置为根据该类型的流程元素的位置信息，将该位置信息与对应的流程元素列表中的流程元素的名称相关联；其中，当用户单击所述流程元素列表中的流程元素的名称时，定位到该流程元素在所述流程图中的具体位置。
可选地，所述定位模块包括：
接收单元，被配置为接收用户针对所述流程元素列表输入的定位请求，根据所述定位请求，获取所述流程元素列表中流程元素的名称；
定位单元，被配置为根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
可选地，所述装置还包括查找模块：
所述查找模块，被配置为接收用户在搜索框内输入的查找请求，根据所述查找请求，获取用户输入的流程元素的名称；根据所述用户输入的流程元素的名称，匹配到所述流程列表中对应的流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
可选的，所述装置还包括：
流程执行模块，被配置为：在定位到所述流程元素在所述流程图中的具体位置之后，如果接收到流程元素的触发指令，则执行该流程元素对应的流程内容。
其中，如果流程图为审核图片中的文本内容，则该流程图中的流程元素包括对图片进行光学字符识别OCR处理、提取OCR的识别结果，以及采用自然语言处理NLP方法对识别结果进行审核。
根据本说明书实施例的第三方面，提供一种计算设备，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算设备执行时实现所述流程元素定位方法的步骤。
根据本说明书实施例的第四方面，提供一种存储介质，其存储有上述计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现所述流程元素定位方法的步骤。
本说明书实施例的有益效果如下：
在循环遍历流程图中所有流程元素对应的数据，获取到流程元素的元素信息后，通过元素信息中同一类型的流程元素的数量，生成数字角标，用于表示流程图中该类型的流程元素已使用的数量，按照同一类型的流程元素的分类方式，根据元素信息中流程元素的名称和流程元素的位置信息，对应生成该类型的流程元素列表。用户可通过单击数字角标，打开或隐藏对应的流程元素列表，用户还可通过单击流程元素列表中流程元素的名称，定位到该流程元素在所述流程图中的具体位置。除此之外，用户也可以通过在搜索框中输入流程元素的名称，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，从而定位到该流程元素在流程图中的具体位置。本方法通过数字角标来划分不同类型的流程元素，通过数字角标中的数字向用户展示对应类型的流程元素的使用数量。通过流程元素列表向用户展示对应类型的流程元素的名称，便于用户查看该类型的流程元素的相关信息，且通过列表的方式，更便于用户查找想要定位的流程元素。流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，当用户在流程元素列表中找到想要定位的流程元素时，单击流程元素列表中该流程元素的名称，即可定位到该流程元素的具体位置，解决了现有技术中无法查找和定位到用户想要定位到的流程元素的问题，提高了使用RPA软件的用户体验，还提高了用户使用RPA软件进行RPA流程自动化机器人开发时的开发效率。本发明还设置了搜索框，通过搜索框来获取用户想要定位的流程元素，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，即可定位到该流程元素在流程图中的具体位置。搜索定位的操作方式更加快速便捷，有利于用户快速查找到想要定位的流程元素在流程图中的具体位置，提高了用户体验。
本说明书实施例的创新点包括：
1、本方法通过数字角标来划分不同类型的流程元素，通过数字角标中的数字向用户展示对应类型的流程元素的使用数量。通过流程元素列表向用户展示对应类型的流程元素的名称，便于用户查看该类型的流程元素的相关信息，且通过列表的方式，更便于用户查找想要定位的流程元素。流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，当用户在流程元素列表中找到想要定位的流程元素时，单击流程元素列表中该流程元素的名称，即可定位到该流程元素的具体位置，解决了现有技术中无法查找和定位到用户想要定位到的流程元素的问题，提高了使用RPA软件的用户体验，还提高了用户使用RPA软件进行RPA流程自动化机器人开发时的开发效率，是本说明书实施例的创新点之一。
2、本发明还设置了搜索框，通过搜索框来获取用户想要定位的流程元素，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，即可定位到该流程元素在流程图中的具体位置。搜索定位的操作方式更加快速便捷，有利于用户快速查找到想要定位的流程元素在流程图中的具体位置，提高了用户体验，是本说明书实施例的创新点之一。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出了根据本说明书实施例提供的UiBot Creactor搭建流程图的界面图；
图2是示出了根据本说明书实施例提供的一种基于RPA及AI的流程元素定位方法的流程示意图；
图3是示出了根据本说明书实施例提供的一种用于基于RPA及AI的流程元素定位装置的模块示意图；
图4为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明的描述中，“流程块”用于表示流程图中流程运行的过程块；
本发明的描述中，“主流程开始块”用于表示流程图中的主要流程的起始块；
本发明的描述中，“辅助流程开始块”用于表示流程图中的辅助流程的起始块；
本发明的描述中，“判断块”用于表示当流程中需要进行判断时的过程块；本发明的描述中，“结束块”用于表示一条流程线的结束。
本说明书实施例公开了一种基于RPA的流程元素定位方法及装置、计算设备、存储介质。以下分别进行详细说明。
机器人流程自动化(Robotic process automation)简称RPA，通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。
AI(Artificial Intelligence)是人工智能的英文缩写，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
UiBot是一款应用于RPA的机器人流程自动化工具，是一款针对公司和个人提供工作流程自动化解决方案，可以代替人工进行电脑上枯燥、繁琐、重复、批量化操作的软件及平台。UiBot Creator，是机器人的开发工具，负责开发RPA流程自动化机器人。
图1是示出了根据本说明书实施例提供的UiBot Creactor搭建流程图的界面图。如图1所示，该界面图展示了两条流程线和一个流程元素概览表，一条为主流程线，另一条为辅助流程线，该流程元素概览表中展示了五种类型的流程元素，这五种类型的流程元素为主流程开始块，辅助流程开始块，流程块，判断块以及结束块。主流程开始块用于表示流程图中的主要流程的起始块，辅助流程开始块用于表示流程图中的辅助流程的起始块，流程块用于表示流程图中流程运行的过程块，判断块用于表示当流程中需要进行判断时的过程块，结束块用于表示一条流程线的结束。在该界面图中采用了六个流程块，相应的在流程元素概览表中的流程块的右上角显示数字“6”，即数字角标，表示流程块在整个流程图中的使用数量。当用户单击该数字“6”时，展开隐藏的流程块对应的流程元素列表，该流程元素列表中展示流程块的名称，包括“流程块0”、“流程块1”、“流程块2”、“流程块3”、“流程块4”、“流程块5”。流程元素列表的功能只对辅助流程开始块，流程块以及判断块有效。当用户点击流程元素列表中的流程元素时，选中的流程元素会置于界面图的中央。
在一个具体实施例中，电商网站抓取手机信息可通过RPA实现，需通过UiBotCreactor搭建基于RPA抓取电商网站手机信息的流程图。流程图中包括主流程开始块，结束块以及四个流程块，这四个流程块的名称分别为访问流程块、获取流程块、导入流程块、存储流程块。其中，访问流程块用于打开浏览器，进入电商网站官网；获取浏览器用于输入手机名称，获取手机的信息；导入流程块用于将手机信息导入Excel表格；存储流程块用于将写有手机信息的Excel表格进行存储。依次运行主流程开始块、访问流程块、获取流程块、导入流程块、存储流程块、结束块，可抓取到电商网站手机信息。在UiBot Creactor搭建基于RPA抓取电商网站手机信息的流程图的界面图中，该界面图包括一条流程线以及一个流程元素概览表，流程线从主流程开始块开始依次连接访问流程块，获取流程块，导入流程块，存储流程块，到结束块结束。在流程元素概览表中流程块的右上角会显示数字“4”，表示流程块在整个流程图中的使用数量。当用户单击该数字“4”时，展开隐藏的流程块对应的流程元素列表，该流程元素列表中展示流程块的名称，包括“访问流程块”、“获取流程块”、“导入流程块”、“存储流程块”。当用户点击流程元素列表中的流程元素时，选中的流程元素会置于界面图的中央，比如当用户点击“获取流程块”时，获取流程块就会置于界面图的中央。
图2是示出了根据本说明书实施例提供的一种基于RPA及AI的流程元素定位方法的流程示意图。如图2所示，该方法具体包括以下步骤：
S210：循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
在一个具体实施例中，循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。在流程图中的每个流程元素对应的数据都会包含该流程元素的类型，流程元素的描述，流程元素的名称以及流程元素的位置信息，为了获取到这些有用的信息，需遍历流程图中的所有流程元素对应的数据。且在统计同一类型的流程元素的数量时，循环一次流程图统计一种类型的流程元素的数量的操作更加容易实现。
S220：根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
在一个具体实施例中，根据所述同一类型的流程元素的数量，对应生成数字角标；其中，所述数字角标中的数字表示所述流程图中该类流程元素的使用数量；根据该类流程元素的名称，对应生成流程元素列表；其中，该流程元素列表中展示该类型的所有流程元素的名称；将所述数字角标与对应的流程元素列表相关联；其中，当用户单击所述数字角标时，展开或隐藏对应的流程元素列表；根据该类型的流程元素的位置信息，将该位置信息与对应的流程元素列表中的流程元素的名称相关联；其中，当用户单击所述流程元素列表中的流程元素的名称时，定位到该流程元素在所述流程图中的具体位置。在流程元素列表显示的情况下，用户点击对应的数字角标可隐藏该流程元素列表，或点击该流程元素列表之外的区域也可以隐藏该流程元素列表。如果流程元素列表中的流程元素过多时，流程元素列表可以上下移动。流程元素列表中还可以在流程元素的名称后面展示对应的流程元素的描述，流程元素的描述可以是一开始遍历流程元素数据获取到的，也可以是用户后期修改添加的。流程元素的描述的设置便于用户了解流程元素的具体内容和作用。本实施例通过数字角标来划分不同类型的流程元素，通过数字角标中的数字向用户展示对应类型的流程元素的使用数量。通过流程元素列表向用户展示对应类型的流程元素的名称，便于用户查看该类型的流程元素的相关信息，且通过列表的方式，更便于用户查找想要定位的流程元素。流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，当用户在流程元素列表中找到想要定位的流程元素时，单击流程元素列表中该流程元素的名称，即可定位到该流程元素的具体位置，解决了现有技术中无法查找和定位到用户想要定位到的流程元素的问题，提高了使用RPA开软件的用户体验，还提高了用户使用RPA软件进行RPA流程自动化机器人开发时的开发效率。
S230：根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
在一个具体实施例中，接收用户针对所述流程元素列表输入的定位请求，根据所述定位请求，获取所述流程元素列表中流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。在该实施例中，用户可通过单击流程元素列表中流程元素的名称，定位到该流程元素在所述流程图中的具体位置。
在一个具体实施例中，接收用户在搜索框内输入的查找请求，根据所述查找请求，获取用户输入的流程元素的名称；根据所述用户输入的流程元素的名称，匹配到所述流程列表中对应的流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。在本实施例中，用户可以通过在搜索框中输入流程元素的名称，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，从而定位到该流程元素在流程图中的具体位置。本实施例设置了搜索框，通过搜索框来获取用户想要定位的流程元素，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，即可定位到该流程元素在流程图中的具体位置。搜索定位的操作方式更加快速便捷，有利于用户快速查找到想要定位的流程元素在流程图中的具体位置，提高了用户体验。
进一步的，在定位到该流程元素在流程图中的具体位置之后，本实施例提供的方法还包括：
如果接收到流程元素的触发指令，则执行该流程元素对应的流程内容。
其中，如果流程图为审核图片中的文本内容，则该流程图中的流程元素包括对图片进行OCR(Optical Character Recognition，光学字符识别)处理、提取OCR的识别结果，以及采用NLP(Natural Language Processing，自然语言处理)技术对识别结果进行语法、语义等审核。
在总的实施例中，在循环遍历流程图中所有流程元素对应的数据，获取到流程元素的元素信息后，通过元素信息中同一类型的流程元素的数量，生成数字角标，用于表示流程图中该类型的流程元素已使用的数量，按照同一类型的流程元素的分类方式，根据元素信息中流程元素的名称和流程元素的位置信息，对应生成该类型的流程元素列表。用户可通过单击数字角标，打开或隐藏对应的流程元素列表，用户还可通过单击流程元素列表中流程元素的名称，定位到该流程元素在所述流程图中的具体位置。除此之外，用户也可以通过在搜索框中输入流程元素的名称，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，从而定位到该流程元素在流程图中的具体位置。本方法通过数字角标来划分不同类型的流程元素，通过数字角标中的数字向用户展示对应类型的流程元素的使用数量。通过流程元素列表向用户展示对应类型的流程元素的名称，便于用户查看该类型的流程元素的相关信息，且通过列表的方式，更便于用户查找想要定位的流程元素。流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，当用户在流程元素列表中找到想要定位的流程元素时，单击流程元素列表中该流程元素的名称，即可定位到该流程元素的具体位置，解决了现有技术中无法查找和定位到用户想要定位到的流程元素的问题，提高了使用RPA软件的用户体验，还提高了用户使用RPA软件进行RPA流程自动化机器人开发时的开发效率。本发明还设置了搜索框，通过搜索框来获取用户想要定位的流程元素，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，即可定位到该流程元素在流程图中的具体位置。搜索定位的操作方式更加快速便捷，有利于用户快速查找到想要定位的流程元素在流程图中的具体位置，提高了用户体验。
图3是示出了根据本说明书实施例提供的一种基于RPA及AI的流程元素定位装置的模块示意图。如图3所示，说明书实施例提供的一种基于RPA的流程元素定位装置，可以包括：
获取模块310，被配置为循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
在一个具体实施例中，所述元素信息包括同一类型的流程元素的数量，流程元素的名称以及流程元素的位置信息；所述获取模块包括：统计单元，被配置为循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；获取单元，被配置为根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。
生成模块320，被配置为根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
在一个具体实施例中，所述生成模块包括：第一生成单元，被配置为根据所述同一类型的流程元素的数量，对应生成数字角标；其中，所述数字角标中的数字表示所述流程图中该类流程元素的使用数量；第二生成单元，被配置为根据该类流程元素的名称，对应生成流程元素列表；其中，该流程元素列表中展示该类型的所有流程元素的名称；第一关联单元，被配置为将所述数字角标与对应的流程元素列表相关联；其中，当用户单击所述数字角标时，展开或隐藏对应的流程元素列表；第二关联单元，被配置为根据该类型的流程元素的位置信息，将该位置信息与对应的流程元素列表中的流程元素的名称相关联；其中，当用户单击所述流程元素列表中的流程元素的名称时，定位到该流程元素在所述流程图中的具体位置。
定位模块330，被配置为根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
在一个具体实施例中，所述定位模块包括：接收单元，被配置为接收用户针对所述流程元素列表输入的定位请求，根据所述定位请求，获取所述流程元素列表中流程元素的名称；定位单元，被配置为根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
在一个具体实施例中，所述装置还包括查找模块，所述查找模块，被配置为接收用户在搜索框内输入的查找请求，根据所述查找请求，获取用户输入的流程元素的名称；根据所述用户输入的流程元素的名称，匹配到所述流程列表中对应的流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
可选的，所述装置还包括：
流程执行模块，被配置为：在定位到所述流程元素在所述流程图中的具体位置之后，如果接收到流程元素的触发指令，则执行该流程元素对应的流程内容。
其中，如果流程图为审核图片中的文本内容，则该流程图中的流程元素包括对图片进行光学字符识别OCR处理、提取OCR的识别结果，以及采用自然语言处理NLP方法对识别结果进行审核。
由上述内容可知，在循环遍历流程图中所有流程元素对应的数据，获取到流程元素的元素信息后，通过元素信息中同一类型的流程元素的数量，生成数字角标，用于表示流程图中该类型的流程元素已使用的数量，按照同一类型的流程元素的分类方式，根据元素信息中流程元素的名称和流程元素的位置信息，对应生成该类型的流程元素列表。用户可通过单击数字角标，打开或隐藏对应的流程元素列表，用户还可通过单击流程元素列表中流程元素的名称，定位到该流程元素在所述流程图中的具体位置。除此之外，用户也可以通过在搜索框中输入流程元素的名称，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，从而定位到该流程元素在流程图中的具体位置。本方法通过数字角标来划分不同类型的流程元素，通过数字角标中的数字向用户展示对应类型的流程元素的使用数量。通过流程元素列表向用户展示对应类型的流程元素的名称，便于用户查看该类型的流程元素的相关信息，且通过列表的方式，更便于用户查找想要定位的流程元素。流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，当用户在流程元素列表中找到想要定位的流程元素时，单击流程元素列表中该流程元素的名称，即可定位到该流程元素的具体位置，解决了现有技术中无法查找和定位到用户想要定位到的流程元素的问题，提高了使用UiBot Creato的用户体验，还提高了用户使用UiBot Creator进行RPA流程自动化机器人开发时的开发效率。本发明还设置了搜索框，通过搜索框来获取用户想要定位的流程元素，将该流程元素的名称与流程列表中的流程元素的名称进行匹配，获取流程元素列表中相对应的流程元素的名称，即可定位到该流程元素在流程图中的具体位置。搜索定位的操作方式更加快速便捷，有利于用户快速查找到想要定位的流程元素在流程图中的具体位置，提高了用户体验。
图4为本发明实施例提供的一种计算设备的结构示意图。如图4所示，该计算设备可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
其中，处理器402调用存储器401中存储的可执行程序代码，执行本发明任意实施例所提供的基于RPA及AI的流程元素定位方法。
本说明书实施例，提供一种存储介质，其存储有计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现所述流程元素定位方法的步骤。
综上所述，本说明书实施例提供一种基于RPA及AI的流程元素定位方法、装置、设备和介质，通过流程元素列表向用户展示对应类型的流程元素的名称，流程元素列表中的流程元素的名称与对应的流程元素的位置信息相关联，可通过流程元素列表中该流程元素的名称，定位到该流程元素的具体位置。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本说明书所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本说明书的技术方案，而非对其限制；尽管参照前述实施例对本说明书进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本说明书实施例技术方案的精神和范围。

Claims (10)

1.一种基于RPA及AI的流程元素定位方法，其特征在于，包括：
S1：循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
S2：根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
S3：根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
2.根据权利要求1所述的方法，其特征在于，所述元素信息包括同一类型的流程元素的数量，流程元素的名称以及流程元素的位置信息；所述S1的具体步骤包括：
S11：循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；
S12：根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述S2的具体步骤包括：
S21：根据所述同一类型的流程元素的数量，对应生成数字角标；其中，所述数字角标中的数字表示所述流程图中该类流程元素的使用数量；
S22：根据该类流程元素的名称，对应生成流程元素列表；其中，该流程元素列表中展示该类型的所有流程元素的名称；
S23：将所述数字角标与对应的流程元素列表相关联；其中，当用户单击所述数字角标时，展开或隐藏对应的流程元素列表；
S24：根据该类型的流程元素的位置信息，将该位置信息与对应的流程元素列表中的流程元素的名称相关联；其中，当用户单击所述流程元素列表中的流程元素的名称时，定位到该流程元素在所述流程图中的具体位置。
4.根据权利要求3所述的方法，其特征在于，所述S3的具体步骤包括：
S31：接收用户针对所述流程元素列表输入的定位请求，根据所述定位请求，获取所述流程元素列表中流程元素的名称；
S32：根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
5.根据权利要求1所述的方法，其特征在于，在所述S3之后，还包括：
S4：接收用户在搜索框内输入的查找请求，根据所述查找请求，获取用户输入的流程元素的名称；根据所述用户输入的流程元素的名称，匹配到所述流程列表中对应的流程元素的名称；根据所述流程元素列表中流程元素的名称，获取该流程元素的位置信息，从而定位到该流程元素在所述流程图中的具体位置。
6.根据权利要求1所述的方法，其特征在于，在所述S3之后，所述方法还包括：
如果接收到流程元素的触发指令，则执行该流程元素对应的流程内容。
其中，如果流程图为审核图片中的文本内容，则该流程图中的流程元素包括对图片进行光学字符识别OCR处理、提取OCR的识别结果，以及采用自然语言处理NLP方法对识别结果进行审核。
7.一种基于RPA及AI的流程元素定位装置，其特征在于，包括：
获取模块，被配置为循环遍历流程图中所有流程元素对应的数据，获取所述流程元素的元素信息；
生成模块，被配置为根据每个所述流程元素的元素信息，生成流程元素列表；其中，所述流程元素列表用于展示所述流程元素的元素信息；
定位模块，被配置为根据所述流程元素列表，定位到所述流程元素在所述流程图中的具体位置。
8.根据权利要求7所述的装置，其特征在于，所述元素信息包括同一类型的流程元素的数量，流程元素的名称以及流程元素的位置信息；所述获取模块包括：
统计单元，被配置为循环遍历流程图中所有流程元素对应的数据，统计同一类型的流程元素的数量；其中，循环流程图一次统计一种类型的流程元素；
获取单元，被配置为根据所述流程元素对应的数据，获取所述流程元素的名称以及所述流程元素的位置信息。
9.一种计算设备，其特征在于，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算设备执行根据权利要求1-6中任一项所述的方法的步骤。
10.一种存储介质，其特征在于，其存储有权利要求9所述的计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法的步骤。
CN202011149214.7A 2020-06-30 2020-10-23 基于rpa及ai的流程元素定位方法、装置、设备和介质 Pending CN112036843A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020106146479 2020-06-30
CN202010614647.9A CN111724143A (zh) 2020-06-30 2020-06-30 基于rpa的流程元素定位方法及装置、计算设备、存储介质

Publications (1)

Publication Number Publication Date
CN112036843A true CN112036843A (zh) 2020-12-04

Family

ID=72570439

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010614647.9A Pending CN111724143A (zh) 2020-06-30 2020-06-30 基于rpa的流程元素定位方法及装置、计算设备、存储介质
CN202011149214.7A Pending CN112036843A (zh) 2020-06-30 2020-10-23 基于rpa及ai的流程元素定位方法、装置、设备和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010614647.9A Pending CN111724143A (zh) 2020-06-30 2020-06-30 基于rpa的流程元素定位方法及装置、计算设备、存储介质

Country Status (1)

Country Link
CN (2) CN111724143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114035726A (zh) * 2021-10-19 2022-02-11 四川新网银行股份有限公司 一种机器人流程自动化页面要素识别过程的方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113495775B (zh) * 2021-09-07 2021-12-03 长沙博为软件技术股份有限公司 Rpa定位控件元素的组合定位系统、方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516633A (zh) * 2014-11-19 2015-04-15 微梦创科网络科技（中国）有限公司 一种用户界面元素管理方法和装置
US20180067739A1 (en) * 2016-09-06 2018-03-08 Jacob Harris Apkon Techniques for generating a graphical user interface to display documentation for computer programs
CN109992266A (zh) * 2017-12-29 2019-07-09 阿里巴巴集团控股有限公司 一种界面元素的处理方法和装置
CN110851299A (zh) * 2019-11-15 2020-02-28 深圳前海微众银行股份有限公司 自动化流程的异常排除方法、装置、设备及存储介质
CN111209183A (zh) * 2018-11-22 2020-05-29 中国电信股份有限公司 Ui功能遍历测试方法和装置
CN111310086A (zh) * 2020-02-03 2020-06-19 北京无限光场科技有限公司 一种页面跳转方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516633A (zh) * 2014-11-19 2015-04-15 微梦创科网络科技（中国）有限公司 一种用户界面元素管理方法和装置
US20180067739A1 (en) * 2016-09-06 2018-03-08 Jacob Harris Apkon Techniques for generating a graphical user interface to display documentation for computer programs
CN109992266A (zh) * 2017-12-29 2019-07-09 阿里巴巴集团控股有限公司 一种界面元素的处理方法和装置
CN111209183A (zh) * 2018-11-22 2020-05-29 中国电信股份有限公司 Ui功能遍历测试方法和装置
CN110851299A (zh) * 2019-11-15 2020-02-28 深圳前海微众银行股份有限公司 自动化流程的异常排除方法、装置、设备及存储介质
CN111310086A (zh) * 2020-02-03 2020-06-19 北京无限光场科技有限公司 一种页面跳转方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114035726A (zh) * 2021-10-19 2022-02-11 四川新网银行股份有限公司 一种机器人流程自动化页面要素识别过程的方法及系统
CN114035726B (zh) * 2021-10-19 2023-12-22 四川新网银行股份有限公司 一种机器人流程自动化页面要素识别过程的方法及系统

Also Published As

Publication number Publication date
CN111724143A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
US10048946B2 (en) Converting visual diagrams into code
CN112149399B (zh) 基于rpa及ai的表格信息抽取方法、装置、设备及介质
CN104572072B (zh) 一种对基于mvc模式的程序的语言转换方法与设备
CN116860949B (zh) 问答处理方法、装置、系统、计算设备及计算机存储介质
CN112036843A (zh) 基于rpa及ai的流程元素定位方法、装置、设备和介质
KR20180129623A (ko) 연관된 다중 파일 정적 분석 장치
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
CN110008445A (zh) 事件抽取方法及装置、电子设备
CN113220854A (zh) 机器阅读理解的智能对话方法及装置
CN111078724A (zh) 学习系统中的测试题检索方法、装置、设备及存储介质
CN117033309A (zh) 一种数据转换方法、装置、电子设备及可读存储介质
CN105912573A (zh) 数据更新方法及装置
CN110110280B (zh) 对坐标的曲线积分计算方法、装置、设备及存储介质
CN113836377A (zh) 信息关联方法、装置、电子设备及存储介质
CN113468306A (zh) 语音对话方法、装置、电子设备及存储介质
CN105975610A (zh) 场景识别方法及装置
CN112767933A (zh) 公路养护管理系统的语音交互方法、装置、设备及介质
CN109284097A (zh) 实现复杂数据分析的方法、设备、系统及存储介质
JP2016157408A (ja) 語彙意味パターン分析方法に基づいてビックデータから店舗創業用データ又は運営支援用データを生成する方法
CN117093706B (zh) 一种试卷生成方法、系统、介质及电子设备
CN113778893B (zh) 对话机器人测试用例生成方法、装置、设备及存储介质
CN107766416A (zh) 数据分析方法、装置及系统
CN115292194B (zh) 流程调试的方法、电子设备及计算机可读存储介质
CN115981711B (zh) 一种代码处理方法及电子设备
CN113010812B (zh) 信息采集方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination