CN112232198A - 基于rpa及ai的表格内容提取方法、装置、设备及介质 - Google Patents

Abstract

本发明公开一种基于RPA及AI的表格内容提取方法、装置、设备及介质，其中，该方法包括：S1、获取设定区域中的图片，所述图片中包含表格；S2、对所述图片进行识别，得到表格对应的第一识别结果；S3、如果接收到表格信息提取指令，则从第一识别结果中提取与表格信息提取指令对应的表格内容。通过采用上述技术方案，实现了将非结构化表格转化为结构化表格，极大地提高了用户的工作效率和表格内容提取的准确率。

Description

基于RPA及AI的表格内容提取方法、装置、设备及介质

技术领域

本发明涉及表格处理技术领域，具体而言，涉及一种基于RPA及AI的表格内容提取方法、装置、设备及介质。

背景技术

RPA(Robotic Process Automation，机器人流程自动化)，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。

AI(Artificial Intelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

RPA具有独特的优势：低代码、非侵入。低代码是说，RPA不需要很高的IT水平就能操作，不懂编程的业务人员也能开发流程；非侵入是说，RPA可以模拟人的操作，不用软件系统开放接口。但是传统的RPA具有一定的局限性：只能基于固定的规则，并且应用场景受限。随着AI技术的不断发展，RPA与AI深度融合克服了传统RPA的局限，RPA+AI＝Hand work+Head work，正在极大的改变劳动力的价值。

随着RPA的发展，RPA的结构化数据处理逐步转向结构化与非结构化结合的数据处理，而结构化处理往往伴随着大量的代码，这样对于产品使用者要求很高。例如，RPA在处理任务的过程中，会遇到大量非结构化和结构化的表格数据，目前的RPA产品在对表格数据进行处理时，首先需要填写多个认证Key(秘钥)，然后需要调用相关接口，再根据调用接口的结果编写逻辑性很强的代码，把需要识别的表格转成JSON(JavaScript Object Notation，基于JavaScript编程语言的一种轻量级的数据交换格式)结构再进行其他处理。对于用户而言，由于在RPA产品使用过程中，特别是在表格内容提取中需要编写大量代码，导致使用门槛相对较高。在使用过程中，用户操作不仅不连贯且非常容易出错。此外，用户还需要反复修改代码，费时费力，导致工作效率低下。

发明内容

本发明提供一种基于RPA及AI的表格内容提取方法、装置、设备及介质，用以克服现有技术中存在的至少一个技术问题。

第一方面，本发明实施例提供了一种基于RPA及AI的表格内容提取方法，该方法包括：

S1、获取设定区域中的图片，所述图片中包含表格；

S2、对所述图片进行识别，得到表格对应的第一识别结果；

S3、如果接收到表格信息提取指令，则从所述第一识别结果中提取与所述表格信息提取指令对应的表格内容。

可选的，步骤S2具体包括：

S21、对所述图片进行光学字符识别OCR识别，得到表格数组，所述表格数组中存储有各表格的行列信息；

S22、对所述表格数组进行解析，得到各表格对应的第一识别结果，该第一识别结果包括各个表格在所述图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

可选的，所述图片的识别结果中还包括对非表格内容对应的第二识别结果；

相应的，所述表格信息提取指令包括全部表格信息提取指令；所述全部信息提取指令包括全部图片内容提取子指令和所有表格提取子指令；

相应的，步骤S3，具体包括：

S31、如果接收到所有表格提取子指令，则从所述第一识别结果中提取所有表格内容；和/或，

S31、如果接收到全部图片内容提取子指令，则从所述第一识别结果中提取所有表格内容，并提取所述第二识别结果的内容。

可选的，所述表格信息提取指令包括部分表格信息提取指令；所述部分表格信息提取指令包括提取类型和待提取内容对应的位置信息；

相应的，步骤S3，具体包括：

S31、如果接收到所述部分表格信息提取指令，则按照所述提取类型，从所述第一识别结果中提取所述位置信息对应的表格内容；

其中，所述提取类型包括区域提取、整行提取、整列提取和单元格提取。

可选的，所述方法还包括：

S32、如果接收到非表格文字提取指令，则从图片非表格内容对应的第二识别结果中提取所述非表格文字提取指令对应的非表格文字。

可选的，在步骤S31之后，所述方法还包括：

S4、如果接收到所有表格存储指令，则获取第一存储文件的文件路径，所述第一存储文件用于存储图片的识别结果；

S5、对于图片中的各个表格，根据表格对应的索引序号的顺序，确定各表格在所述存储文件中对应的工作表sheet；

S6、对于任意一个表格，根据该表格中各个单元格的位置信息，将各单元格内容写入到与该表格对应的sheet中。

可选的，在步骤S31之后，所述方法还包括：

S4、如果接收到全部图片内容存储指令，则获取第二存储文件的文件路径，所述第二存储文件用于存储图片的识别结果；

S5、对于图片中的各个表格，根据表格对应的索引序号的顺序写入所述第二存储文件的设定sheet中；并且，对于图片中的非表格内容，获取该非表格内容与图片中表格的相对位置关系，并按照所述相对位置关系，将非表格内容存储该所述设定sheet中。

第二方面，本发明实施例提供了一种基于RPA及AI的RPA及AI的表格内容提取装置，该装置包括：

图片获取模块，被配置为：获取设定区域中的图片，所述图片中包含表格；

图片识别模块，被配置为：对所述图片进行识别，得到表格对应的第一识别结果；

表格内容提取模块，被配置为：如果接收到表格信息提取指令，则从所述第一识别结果中提取与所述信息提取指令对应的表格内容。

可选的，所述图片识别模块，具体被配置为：

对所述图片进行光学字符识别OCR识别，得到表格数组，所述表格数组中存储有各表格的行列信息；

对所述表格数组进行解析，得到各表格对应的第一识别结果，该第一识别结果包括各个表格在所述图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

可选的，所述图片的识别结果中还包括对非表格内容对应的第二识别结果；

所述表格信息提取指令包括全部表格信息提取指令；所述全部信息提取指令包括全部图片内容提取子指令和所有表格提取子指令；

相应的，所述表格内容提取模块，包括：

所有表格提取单元，被配置为：如果接收到所有表格提取子指令，则从所述第一识别结果中提取所有表格内容；和/或，

所有图片内容提取单元，被配置为：如果接收到全部图片内容提取子指令，则从所述第一识别结果中提取所有表格内容，并提取所述第二识别结果的内容。

可选的，所述表格信息提取指令包括部分表格信息提取指令；所述部分表格信息提取指令包括提取类型和待提取内容对应的位置信息；

相应的，所述表格内容提取模块，包括：

部分表格内容提取单元，被配置为：如果接收到所述部分表格信息提取指令，则按照所述提取类型，从所述第一识别结果中提取所述位置信息对应的表格内容；

其中，所述提取类型包括区域提取、整行提取、整列提取和单元格提取。

可选的，所述装置还包括：

非表格文字提取单元，被配置为：如果接收到非表格文字提取指令，则从图片非表格内容对应的第二识别结果中提取所述非表格文字提取指令对应的非表格文字。

可选的，在提取所有表格内容之后，所述装置还包括：

第一文件路径获取模块，被配置为：如果接收到所有表格存储指令，则获取第一存储文件的文件路径，所述第一存储文件用于存储图片的识别结果；

工作表确定模块，被配置为对于图片中的各个表格，根据表格对应的索引序号的顺序，确定各表格在所述第一存储文件中对应的工作表sheet；

表格内容存储模块，被配置为：对于任意一个表格，根据该表格中各个单元格的位置信息，将各单元格内容写入到与该表格对应的sheet中。

可选的，在提取全部图片内容之后，所述装置还包括：

第二文件路径获取模块，被配置为：如果接收到全部图片内容存储指令，则获取第二存储文件的文件路径，所述第二存储文件用于存储图片的识别结果；

图片内容存储模块，被配置为：对于图片中的各个表格，根据表格对应的索引序号的顺序写入所述第二存储文件的设定sheet中；并且，对于图片中的非表格内容，获取该非表格内容与图片中表格的相对位置关系，并按照所述相对位置关系，将非表格内容存储该所述设定sheet中。

第三方面，本发明实施例还提供了一种计算设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的基于RPA及AI的表格内容提取方法的部分或全部步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的基于RPA及AI的表格内容提取方法的部分或全部步骤的指令。

本发明实施例提供的技术方案是基于RPA及AI实现的，通过对设定区域中的图片进行识别，可得到表格对应的第一识别结果。如果接收到表格信息提取指令，则从第一识别结果中提取与表格信息提取指令对应的表格内容，实现了将非结构化表格转化为结构化表格。相对于传统表格识别中编写代码的方式，本实施例这样设置极大地提高了用户的工作效率和表格内容提取的准确率。

本发明实施例的创新点包括：

1、搭载到RPA和AI上，通过接收表格信息提取指令，可从图片的第一识别结果中提取与表格信息提取指令对应的表格内容，实现了根据指令自动将非结构化表格转化为结构化表格，避免了用户编写代码的操作，更无需因为表格内容提取有误而不断修改代码，极大地提高了工作效率和表格内容提取的准确率，是本发明实施例的创新点之一。

2、在接收到所有图片内容存储指令时，根据表格对应的索引序号的顺序，将提取的表格内容写入设定sheet中，并按照非表格内容与表格的相对位置关系，将非表格内容写入设定sheet中，实现了根据所有图片内容存储指令对图片内容的自动存储，简化了在图片内容存储过程中，用户先对已提取的图片内容进行全部复制，并在设定sheet中对复制的图片内容进行粘贴的操作，提高了工作效率，是本发明实施例的创新点之一。

3、在接收到所有表格存储指令时，按照单元格在表格中的位置信息，将各表格存入到该表格对应的sheet中，实现了根据所有表格存储指令对所有表格内容的自动存储，避免了用户依次对各个表格进行复制，并在复制后还需选择该表格对应的sheet进行粘贴的操作。在表格数目较多的情况下，本实施例这样设置代替了用户多次复制、多次选择sheet并不断粘贴内容等费时费力的操作，为用户提供了极大的便利，提高了工作效率，是本发明实施例的创新点之一。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例一提供的一种识别器配置的界面截图；

图1b为本发明实施例一提供的一种选择图像来源的界面截图；

图1c为本发明实施例一提供的一种完整信息提取的界面截图；

图1d为本发明实施例一提供的图片的截图；

图1e为本发明实施例提供的将图片内容写入Excel后的截图；

图1f为本发明实施例一提供的对表格对象数组进行赋值的截图；

图1g为本发明实施例一提供的提取类型为区域提取的界面截图；

图1h为本发明实施例一提供的提取类型为整行提取的界面截图；

图1i为本发明实施例一提供的提取类型为整列提取的界面截图；

图1j为本发明实施例一提供的提取类型为单元格提取的界面截图；

图1k为发明实施例一提供的提取类型为非表格文字提取的界面截图；

图2为本发明实施例二提供的一种基于RPA及AI的表格内容提取方法的流程示意图；

图3为本发明实施例三提供的一种优选的基于RPA及AI的表格内容提取方法的流程图；

图4为本发明实施例四提供的又一种优选的基于RPA及AI的表格内容提取方法的流程图；

图5为本发明实施例五提供的一种基于RPA及AI的表格内容提取装置的结构示意图；

图6为本发明实施例六提供的一种计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的描述中，术语“结构化数据”指的是数据在一个记录文件里面以固定格式存在的数据，其可以使用关系型数据库表示和存储，表现为二维形式的数据，例如Excel(Microsoft Office Excel，一款电子表格软件)中的表格数据。

本发明的描述中，术语“非结构化数据”是指信息没有一个预先定义好的数据模型或者没有以一个预先定义的方式来组织，例如文本、图片以及视频等。

本发明实施例公开了一种基于RPA及AI的表格内容提取方法、装置、设备及介质。以下分别进行详细说明。

实施例一

机器人流程自动化(Robotic Process Automation)简称RPA，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。RPA机器人可通过用户使用界面，智能理解企业已有应用，将基于规则的常规操作自动化，如自动重复读取邮件、读取Office组件、操作数据库及网页和客户端软件等，采集数据，进行繁琐的计算，大批量生成文件和报告，完成枯燥的文件检查等工作。能够大幅降低人力成本的投入，有效提高现有办公效率，准确、稳定和快捷地完成工作。

AI(Artificial Intelligence)是人工智能的英文缩写，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。本发明实施例中，具体采用的是AI中的OCR(Optical Character Recognition，光学字符识别)技术来对图片进行识别。

当前的RPA产品都是通过编写代码的方式，首先需要填写多个认证Key，然后需要调用相关接口，再最后根据调用接口的结果编写逻辑性很强的代码，把需要识别的表格转成JSON结构再转成Excel或做其他处理。这就导致当前的RPA产品使用门槛极高，用户操作不连贯，而且非常容易出错。并且当前的RPA产品也无法直接把图片中的表格直接提取到Excel中，这样不仅效率低下而且用户需要反复修改代码，浪费了大量时间和人力。

因此，基于上述考虑，本发明实施例通过将RPA与AI相结合，再加上低代码的引导式开发，既可以自定义非结构化数据的来源，也可以自定表格中需要提取的内容，例如提取整个表格或非表格文字，甚至可以直接将内容提取到Excel文件中，这样可以使得用户在项目中需要使用将非结构化表格转换成结构化表格的操作更高效、更易用且更准确。本实施例中，将对基于RPA与AI相结合来提取表格信息的方法进行介绍。

本实施例提供的方法可应用在自动化服务平台，例如UiBot Mage上，该平台是可以为RPA机器人提供AI能力的平台。在利用该平台进行表格信息提取的过程中，包括配置识别器、选择图像来源和提取表格信息三个部分。

图1a为本发明实施例一提供的一种识别器配置的界面截图。如图1a所示，本实施例提供的方法在执行之前，需先在平台上配置识别器，即从AI模块中任意选择一项AI功能，由于本实施例提供的技术方案主要是针对表格内容的提取，因此可选择AI模块中的“通用识别表格识别”这一模块。

在完成识别器的配置后，用户可将待识别图片拖入识别区域中。图1b为本发明实施例一提供的一种选择图像来源的界面截图。如图1b所示，待识别图片的来源可以是由用户截图得到的图片，也可以是预先存储的已有图像，或者也可以是PDF文档。其中，已有图像还可通过填写图片地址来获取。不论选择上述哪种方式来选择图片，RPA机器人只要获取到设定区域中的图片，则将对该区域中的图片进行识别。

其中，对图片的识别可采用OCR识别技术，得到图片中表格对应的第一识别结果和非表格内容对应的第二识别结果。其中，第一识别结果中包括各个表格在图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。第二识别结果中包括各段非表格文字对应的文字索引。其中，非表格文字的段落序号，即文字索引，是按照与表格的相对位置关系来进行区分的，即将相邻两个表格之间的所有非表格文字作为同一段落的非表格文字，并为其添加相同的文字索引。

在完成对图片的识别之后，用户可通过界面上的按键触发信息提取指令。该指令包括表格信息提取指令和非表格信息提取指令。RPA机器人在接收到表格信息提取指令后，可从第一识别结果中提取与表格信息提取指令对应的表格内容。如果接收到非表格信息提取指令，则从第二识别结果中提取与非表格信息提取指令对应的非表格内容。

具体的，用户可根据实际需求选择完整信息提取，即触发全部表格信息提取指令，或者，用户也可选择自定义信息提取，即触发部分表格信息提取指令。其中，完整信息提取包括以下三种提取方式，具体请参阅图1c所示的完整信息提取的界面截图：

(1)提取完整信息至Excel，即如果接收到用户触发的全部图片内容提取并存储的指令，则从第一识别结果中提取所有表格内容，并提取第二识别结果的内容，并将所有信息写入Excel的第一个工作表sheet中。

具体的，在将上述所有图片内容写入Excel中时，对于图片中的各个表格，可根据表格对应的索引序号的顺序，依次将各表格写入在Excel的第一个sheet中。对于任意一个表格，可根据该表格中各个单元格的位置信息，将各单元格内容写入到sheet中。对于图片中的非表格内容，通过获取该非表格内容与图片中表格的相对位置关系，即文字索引，可将非表格内容写入sheet中。

图1d为本发明实施例一提供的图片的截图，如图1d所示，在图片中包含一个表格及表格上方的一段文字“1.重要且紧急：马上做”。图1e为本发明实施例提供的将图片内容写入Excel后的截图，如图1e所示，在将图1d所示的图片添加到图1b所示的设定区域后，如果用户触发了图1c所示的“提取完整信息至Excel”的指令，则将图1d所示图片中的表格内容和非表格文字写入Excel的sheet中。打开Excel后，可得到如图1e所示的提取内容。

(2)提取全部表格(不包含非表格文字)，即如果接收到用户触发的所有表格提取子指令，则从第一识别结果中提取所有表格内容，并返回表格对象数据。其中，返回表格对象数据是将提取到的表格内容赋值给预先定义好的数组变量。图1f为本发明实施例一提供的对表格对象数组进行赋值的截图。如图1f所示，可将所提取的所有表格赋值给预先定义的变量arrayRet。在完成赋值操作后，用户可对提取的表格对象数据进行修改、删除等编辑操作。

(3)提取全部表格(不包含非表格文字)至Excel，即如果接收到用户触发的所有表格提取并存储的指令，则从第一识别结果中提取所有表格内容，并分别按照索引顺序写入Excel的每个sheet中。

下面，将对用户进行自定义提取表格内容进行介绍。

本实施例中，自定义提取包括部分表格信息提取和非表格文字提取。其中，部分表格信息提取指令包括提取类型和待提取内容对应的位置信息。如果接收到部分表格信息提取指令，则按照提取类型，从第一识别结果中提取位置信息对应的表格内容；其中，提取类型包括区域、整行提取、整列提取和单元格提取。

具体的，图1g为本发明实施例一提供的提取类型为区域提取的界面截图，如图1g所示，区域提取包括提取表格的完整区域和指定区域，指定区域需指定开始单元格和结束单元格的行号和列号。图1h为本发明实施例一提供的提取类型为整行提取的界面截图，如图1h所示，在进行整行提取时，需指定待提取行的行号。图1i为本发明实施例一提供的提取类型为整列提取的界面截图，如图1i所示，在进行列提取时，需指定待提取列的列号。图1j为本发明实施例一提供的提取类型为单元格提取的界面截图，如图1j所示，在进行单元格提取时，需指定待提取单元格所在的行号和列号。图1k为发明实施例一提供的提取类型为非表格文字提取的界面截图，如图1k所示，在进行非表格文字提取时，需指定是提取全部文字或者指定文字索引，如果非表格文字提取指令中包含有指定文字索引，则按照该指定文字索引从第二识别结果中提取对应的非表格文字。

通过采用上述方式，在交互界面引导用户一步一步生成对应命令，可完成对图片中表格内容的全部提取或部分提取。本实施例这样设置可以提高工作效率，相对于传统编写代码来提取表格内容的方式，本实施例降低了RPA产品的使用门槛，提高了表格内容提取的准确率和稳定性。

实施例二

图2为本发明实施例二提供的一种基于RPA及AI的表格内容提取方法的流程示意图。该方法可应用于表格数据的筛选、录入系统等应用场景下，可由基于RPA及AI的表格内容提取装置来执行，该装置可通过软件和/或硬件的方式实现。如图2所示，本实施例提供的方法具体包括：

110、获取设定区域中的图片。

其中，设定区域是指用户操作界面中待识别图片所在的待识别区域，具体可参阅图1b。该区域中的图片可以是用户想要识别的截图，或者也可以是预先存储的已有图像，或者也可以PDF文档等。由于本发明实施例提供的方法主要是根据用户的需求来提取表格内容，因此，用户所选择的图片中一般都包含有表格。

本实施例中，将图片添加至待识别区域的方式有多种，例如，用户可通过点击该区域来触发截图指令，以对想要识别的图片进行截图，或者可直接将图片拖拽到此区域，或者也可通过输入图像地址将图像添加至此区域。无论采用上述哪种方式添加图片，RPA机器人只要检测到该区域中存在图片，则将对该图片进行识别。

120、对图片进行识别，得到表格对应的第一识别结果。

示例性的，可采用传统图片识别方式对设定区域中的图片进行识别，识别的结果是图片内容及其在图片中的坐标信息。其中，坐标信息以图片像素在图片中所在位置的形式存储于数组中。

优选的，还可采用OCR识别技术对图片进行识别，得到图片中表格对应的第一识别结果和非表格内容对应的第二识别结果。其中，第一识别结果中包括各个表格在图片中的索引序号，以及每个表格中各个单元格的行列索引和单元格内容。第二识别结果中包括各段非表格文字对应的文字索引。其中，非表格文字的段落序号，即文字索引，是按照与表格的相对位置来进行区分的，即不同段落所对应的非表格文字是通过表格位置进行区分的，也即，将相邻两个表格之间的所有非表格文字作为同一段落的非表格文字，并为其添加相同的文字索引。

130、如果接收到表格信息提取指令，则从第一识别结果中提取与表格信息提取指令对应的表格内容。

其中，表格信息提取指令是由用户触发的。用户可按照交互界面的引导，并根据自身实际需求触发表格信息提取指令。

本实施例中，表格信息提取指令包括全部表格信息提取指令和部分表格信息提取指令。其中，全部表格信息提取指令包括全部图片内容提取子指令和所有表格提取子指令。

示例性的，如果接收到全部图片内容提取子指令，则提取图片的所有识别结果，包括第一识别结果和第二识别结果。如果接收到所有表格提取子指令，则从表格的对应的第一识别结果中提取所有表格信息。

本实施例中，对于部分表格信息提取指令，该指令包括提取类型和待提取内容对应的位置信息。其中，提取类型包括区域提取、整行提取、整列提取和单元格提取。用户在触发部分表格信息提取指令时，需指定提取类型以及待提取内容的位置，例如，对于区域提取，需指定开始单元格的位置和结束单元格的位置；对于整行提取，需指定待提取行的行号；对于整列提取，需指定待提取列的列号，对于单元格提取，需指定待提取单元格的行号和列号，即部分表格信息提取指令中包括提取类型和待提取内容的位置信息，RPA机器人如果接收到部分表格信息提取指令，则按照提取类型，从表格对应的第一识别结果中提取该位置信息对应的部分表格内容。

本实施例中，用户还可根据实际需求触发非表格文字提取指令，如果接收到非表格文字提取指令，则从第二识别结果中提取非表格文字提取指令对应的非表格文字。

示例性的，非表格文字提取指令也包括全部非表格文字提取子指令和部分非表格文字提取子指令。如果接收到全部非表格文字提取子指令，则从第二识别结果中提取全部非表格文字。如果接收到部分非表格文字提取子指令，则按照文字索引从第二识别结果中提取非表格文字。

进一步的，对于提取出的表格内容和非表格内容，可以表格对象数组的形式返回给用户，用户可对其进行编辑操作。或者也可将其写入如Excel等存储文件中。

本实施例提供的技术方案是基于RPA及AI实现的，通过对设定区域中的图片进行识别，可得到表格对应的第一识别结果。如果接收到表格信息提取指令，则从第一识别结果中提取与表格信息提取指令对应的表格内容，实现了将非结构化表格转化为结构化表格。相对于传统表格识别中编写代码的方式，本实施例这样设置极大地提高了工作效率和表格内容提取的准确率。

实施例三

图3为本发明实施例三提供的一种优选的基于RPA及AI的表格内容提取方法的流程图，本实施例在上述实施例的基础上，对图片的识别以及所有表格内容提取及存储过程进行了详细介绍。如图3所示，该方法包括：

210、获取设定区域中的图片。

220、对图片进行OCR识别，得到表格数组。

其中，表格数组中存储有各表格的行列信息。此外，OCR的识别结果中还包括非表格内容对应的第二识别结果。

230、对表格数组进行解析，得到各表格对应的第一识别结果，该第一识别结果包括各个表格在图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

240、如果接收到所有表格提取子指令，则从第一识别结果中提取所有表格内容。

250、如果接收到所有表格存储指令，则获取第一存储文件的文件路径。

需要说明的是，可在用户操作界面上设置表格存储的触发按键。用户在触发所有表格提取指令后，可根据实际需求选择是否对提取的所有表格进行存储。示例性的，可将用户操作界面上所有表格提取按键及存储按键可设计成同一个按键，即所有表格存储指令可与所有表格提取指令一起被触发，即如图1c所示，当用户选择了提取全部表格(不包含非表格文字)至Excel中时，即同时触发了所有表格提取指令和所有表格存储指令。本实施例对全部表格提取指令和存储指令触发的先后顺序不作限定，二者可以先后执行，也可以同步进行。

本实施例中，第一存储文件用于存储图片的识别结果。该第一存储文件可以是Excel或Word等办公软件。其中，第一存储文件的文件路径可由用户输入到指定位置。

260、对于图片中的各个表格，根据表格对应的索引序号的顺序，确定各表格在第一存储文件中对应的工作表sheet。

具体的，可根据索引序号由小到大的顺序，确定存储文件中的工作表sheet，每个表格对应一个工作表。

270、对于任意一个表格，根据该表格中各个单元格的位置信息，将各单元格内容写入到与该表格对应的sheet中。

本实施例在上述实施例的基础上，如果接收到所有表格提取子指令，则从第一识别结果中提取所有表格内容。在接收到所有表格存储指令时，对于任意一个表格，可按照单元格在表格中的位置信息，将各表格存入到该表格对应的sheet中，实现了将非结构表格转化为结构表格。在转换过程中，通过采用在操作界面一步一步引导用户触发指令的方式，避免了用户编写大量代码所造成的工作效率低下的问题，同时也提高了表格内容提取和存储的准确率。

实施例四

图4为本发明实施例四提供的又一种优选的基于RPA及AI的表格内容提取方法的流程图，本实施例在上述实施例的基础上，对图片的识别以及全部图片内容的提取及存储过程进行了详细介绍。如图4所示，该方法包括：

310、获取设定区域中的图片。

320、对图片进行OCR识别，得到表格数组。

其中，表格数组中存储有各表格的行列信息。此外，OCR的识别结果中还包括非表格内容对应的第二识别结果。其中，第二识别结果中包括非表格内容与表格的相对位置关系，该相对位置关系可通过文字索引的序号和表格对应的索引序号来体现。

330、对表格数组进行解析，得到各表格对应的第一识别结果，该第一识别结果包括各个表格在图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

340、如果接收到全部图片内容提取子指令，则从第一识别结果中提取所有表格内容，并提取第二识别结果的内容。

350、如果接收到全部图片内容存储指令，则获取第二存储文件的文件路径。

360、对于图片中的各个表格，根据表格对应的索引序号的顺序写入第二存储文件的设定sheet中；对于图片中的非表格内容，获取该非表格内容与图片中表格的相对位置关系，并按照相对位置关系，将非表格内容存储该设定sheet中。

示例性的，由于本实施例提取的是全部图片，该图片中包括表格内容和非表格内容，为了保证原图片内容的完整性，可将原图片内容全部存入设定sheet，例如Excel的第一个sheet中，以将原图片内容完整地展示给用户。

一般情况下，表格上方的正文中都存在表格的标题，该标题用于对表格进行简单概况，即在表格上方一般都会存在一段非表格文字。因此，对于相同编号的文字索引和表格索引序号，表示该编号对应的非表格文字部分位于该编号所对应表格的上方。例如，对于文字索引为1的非表格文字在索引序号为1的表格的上方，文字索引为2的非表格文字在索引序号为1的表格的下方，且在索引序号为2的表格的上方。本实施例通过按照上述非表格内容与图片中表格的相对位置关系，可将非表格文字存入设定sheet中。即将图片中的表格内容和非表格内容存入设定sheet后，其相对位置关系保持不变。

本实施例在上述实施例的基础上，如果接收到全部图片内容提取子指令，则从第一识别结果中提取所有表格内容，并提取第二识别结果的内容。在接收到全部图片内容存储指令时，可根据表格对应的索引序号的顺序，将图片中的各表格写入存储文件的设定sheet中，并根据非表格内容与图片中表格的相对位置关系，将非表格内容写入存储文件的设定sheet中，从而实现了将非结构数据转化为结构数据。在转换过程中，通过采用在操作界面一步一步引导用户触发指令的方式，避免了用户编写大量代码所造成的工作效率低下的问题，同时也提高了表格内容提取和存储的准确率。

需要说明的是，上述实施例中全部图片内容的存储以及所有表格的存储操作可同步进行，二者不存在执行顺序的先后之分。

实施例五

图5为本发明实施例五提供的一种基于RPA及AI的表格信息抽取装置的结构示意图，如图5所示，该装置包括：图片获取模块410、图片识别模块420和表格内容提取模块430；其中，

图片获取模块410，被配置为：获取设定区域中的图片，所述图片中包含表格；

图片识别模块420，被配置为：对所述图片进行识别，得到表格对应的第一识别结果；

表格内容提取模块430，被配置为：如果接收到表格信息提取指令，则从所述第一识别结果中提取与所述信息提取指令对应的表格内容。

可选的，所述图片识别模块410，具体被配置为：

对所述图片进行光学字符识别OCR识别，得到表格数组，所述表格数组中存储有各表格的行列信息；

对所述表格数组进行解析，得到各表格对应的第一识别结果，该第一识别结果包括各个表格在所述图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

可选的，所述图片的识别结果中还包括对非表格内容对应的第二识别结果；

所述表格信息提取指令包括全部表格信息提取指令；所述全部信息提取指令包括全部图片内容提取子指令和所有表格提取子指令；

相应的，所述表格内容提取模块430，包括：

所有表格提取单元，被配置为：如果接收到所有表格提取子指令，则从所述第一识别结果中提取所有表格内容；和/或，

所有图片内容提取单元，被配置为：如果接收到全部图片内容提取子指令，则从所述第一识别结果中提取所有表格内容，并提取所述第二识别结果的内容。

可选的，所述表格信息提取指令包括部分表格信息提取指令；所述部分表格信息提取指令包括提取类型和待提取内容对应的位置信息；

相应的，所述表格内容提取模块430，包括：

部分表格内容提取单元，被配置为：如果接收到所述部分表格信息提取指令，则按照所述提取类型，从所述第一识别结果中提取所述位置信息对应的表格内容；

其中，所述提取类型包括区域提取、整行提取、整列提取和单元格提取。

可选的，所述装置还包括：

非表格文字提取单元，被配置为：如果接收到非表格文字提取指令，则从图片非表格内容对应的第二识别结果中提取所述非表格文字提取指令对应的非表格文字。

可选的，在提取所有表格内容之后，所述装置还包括：

第一文件路径获取模块，被配置为：如果接收到所有表格存储指令，则获取第一存储文件的文件路径，所述第一存储文件用于存储图片的识别结果；

工作表确定模块，被配置为对于图片中的各个表格，根据表格对应的索引序号的顺序，确定各表格在所述第一存储文件中对应的工作表sheet；

表格内容存储模块，被配置为：对于任意一个表格，根据该表格中各个单元格的位置信息，将各单元格内容写入到与该表格对应的sheet中。

可选的，在提取全部图片内容之后，所述装置还包括：

第二文件路径获取模块，被配置为：如果接收到全部图片内容存储指令，则获取第二存储文件的文件路径，所述第二存储文件用于存储图片的识别结果；

图片内容存储模块，被配置为：对于图片中的各个表格，根据表格对应的索引序号的顺序写入所述第二存储文件的设定sheet中；并且，对于图片中的非表格内容，获取该非表格内容与图片中表格的相对位置关系，并按照所述相对位置关系，将非表格内容存储该所述设定sheet中。

本发明实施例所提供的基于RPA及AI的表格内容提取装置可执行本发明任意实施例所提供的基于RPA及AI的表格内容提取方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于RPA及AI的表格内容提取方法。

实施例六

请参阅图6，图6为本发明实施例六提供的一种计算设备的结构示意图。如图6所示，该计算设备可以包括：

存储有可执行程序代码的存储器501；

与存储器501耦合的处理器502；

其中，处理器502调用存储器501中存储的可执行程序代码，执行本发明任意实施例所提供的基于RPA及AI的表格内容提取方法。

本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的基于RPA及AI的表格信息抽取方法。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于RPA及AI的表格内容提取方法，其特征在于，包括：

S1、获取设定区域中的图片，所述图片中包含表格；

S2、对所述图片进行识别，得到所述表格对应的第一识别结果；

S3、如果接收到表格信息提取指令，则从所述第一识别结果中提取与所述表格信息提取指令对应的表格内容。

2.根据权利要求1所述的方法，其特征在于，步骤S2，具体包括：

S21、对所述图片进行光学字符识别OCR识别，得到表格数组，所述表格数组中存储有各表格的行列信息；

S22、对所述表格数组进行解析，得到所述各表格对应的第一识别结果，该第一识别结果包括各个表格在所述图片中的索引序号，以及各表格中各个单元格的行列索引和单元格内容。

3.根据权利要求2所述的方法，其特征在于：

所述图片的识别结果中还包括对非表格内容对应的第二识别结果；

所述表格信息提取指令包括全部表格信息提取指令；所述全部信息提取指令包括全部图片内容提取子指令和所有表格提取子指令；

相应的，步骤S3，具体包括：

S31、如果接收到所有表格提取子指令，则从所述第一识别结果中提取所有表格内容；和/或，

S32、如果接收到全部图片内容提取子指令，则从所述第一识别结果中提取所有表格内容，并提取所述第二识别结果的内容。

4.根据权利要求2所述的方法，其特征在于，所述表格信息提取指令包括部分表格信息提取指令；所述部分表格信息提取指令包括提取类型和待提取内容对应的位置信息；

相应的，步骤S3，具体包括：

S31、如果接收到所述部分表格信息提取指令，则按照所述提取类型，从所述第一识别结果中提取所述位置信息对应的表格内容；

其中，所述提取类型包括区域提取、整行提取、整列提取和单元格提取。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

S32、如果接收到非表格文字提取指令，则从图片非表格内容对应的第二识别结果中提取所述非表格文字提取指令对应的非表格文字。

6.根据权利要求3所述的方法，其特征在于，在步骤S31之后，所述方法还包括：

S4、如果接收到所有表格存储指令，则获取第一存储文件的文件路径，所述第一存储文件用于存储图片的识别结果；

S5、对于图片中的各个表格，根据表格对应的索引序号的顺序，确定各表格在所述第一存储文件中对应的工作表sheet；

S6、对于任意一个表格，根据该表格中各个单元格的位置信息，将各单元格内容写入到与该表格对应的sheet中。

7.根据权利要求3所述的方法，其特征在于，在步骤S32之后，所述方法还包括：

S4、如果接收到全部图片内容存储指令，则获取第二存储文件的文件路径，所述第二存储文件用于存储图片的识别结果；

S5、对于图片中的各个表格，根据表格对应的索引序号的顺序写入所述第二存储文件的设定sheet中；并且，对于图片中的非表格内容，获取该非表格内容与图片中表格的相对位置关系，并按照所述相对位置关系，将非表格内容存储该所述设定sheet中。

8.一种基于RPA及AI的表格内容提取装置，其特征在于，包括：

图片获取模块，被配置为：获取设定区域中的图片，所述图片中包含表格；

图片识别模块，被配置为：对所述图片进行识别，得到所述表格对应的第一识别结果；

表格内容提取模块，被配置为：如果接收到表格信息提取指令，则从所述第一识别结果中提取与所述信息提取指令对应的表格内容。

9.一种计算设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一所述的基于RPA及AI的表格内容提取方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的基于RPA及AI的表格内容提取方法。

Images