CN112766073A - 表格提取方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明提供一种表格提取方法、装置、电子设备及可读存储介质，其中所述方法包括：基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。本发明基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。

Description

表格提取方法、装置、电子设备及可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种表格提取方法、装置、电子设备及可读存储介质。

背景技术

表格作为一种有效的数据组织与展现方式，成为各类文档中常见的页面对象，如科学期刊、报告、财务报表等。而实际应用场景中，很多表格是以在图片中的形式存在的。这种形式的表格中的数据因无法结构化而不能被有效利用。

现有处理方式中，从图片中获取表格信息首先是在图片中定位表格的位置，称为表格检测。目前，常用的表格检测算法多是基于目标的检测算法，这类算法通常能够成功的确定表格的位置。

但是，上述检测算法不能非常精确的预测表格的边界，因此导致很多情况下表格的边缘部分在处理时被切割掉，从而造成表格数据信息丢失等的问题。

发明内容

本发明提供一种表格提取方法、装置、电子设备及可读存储介质，用以解决现有技术会造成表格数据信息丢失的缺陷，实现有效提取完整表格从而避免表格数据信息丢失的目标。

本发明提供一种表格提取方法，包括：

基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；

基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；

利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

根据本发明一个实施例的表格提取方法，在所述利用基于面积的非极大值抑制算法，对所述候选表格区域进行过滤之前，还包括：

将经典非极大值抑制算法中的候选框置信度确定为候选表格区域面积，并将候选框置信度排序修改为所述候选表格区域面积的排序；

基于所述候选表格区域面积，修改所述经典非极大值抑制算法中的交叠比计算算法，并基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略；

基于所述候选表格区域面积的排序和所述过滤策略，建立所述基于面积的非极大值抑制算法模型。

根据本发明一个实施例的表格提取方法，将所述经典非极大值抑制算法中的交叠比计算算法修改如下：

式中，iou_i,j表示候选表格区域i与候选表格区域j的交叠比，s_i,j表示候选表格区域i与候选表格区域j交叠部分的面积，s_i表示候选表格区域i的面积，s_j表示候选表格区域j的面积；

相应地，所述基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略，包括：

确定预设阈值，且若交叠比iou_i,j大于所述预设阈值，则过滤掉候选表格区域i与候选表格区域j中的面积较小者，若交叠比iou_i,j不大于所述预设阈值，则保留候选表格区域i与候选表格区域j。

根据本发明一个实施例的表格提取方法，所述深度神经网络模型包括特征提取子模型和特征融合子模型；

相应地，所述基于深度神经网络模型，提取目标图像中的表格像素，包括：

利用所述特征提取子模型，提取所述目标图像中不同尺寸层级的层级特征，并利用所述特征融合子模型，采用多尺度融合算法，融合所述层级特征；

基于所述融合的结果，利用所述深度神经网络模型的输出层，输出所述表格像素。

根据本发明一个实施例的表格提取方法，所述表格像素包括单通道的第一特征图和双通道的第二特征图，所述第一特征图用于表示当前像素是否为表格区域内部像素，所述第二特征图包括第一子特征图和第二子特征图，所述第一子特征图用于表示当前像素是否为表格的边界像素，所述第二子特征图用于表示边界像素是头边界或尾边界。

根据本发明一个实施例的表格提取方法，所述提取所述目标图像中的候选表格区域，包括：

基于所述第一子特征图和所述第二子特征图，增强所述表格像素，获取增强后的表格像素；

利用所述连通域分析技术，提取所述增强后的表格像素所关联的区域内存在的连通区域，并基于所述连通区域，提取所述候选表格区域。

根据本发明一个实施例的表格提取方法，所述基于所述第一子特征图和所述第二子特征图，增强所述表格像素，包括：

利用如下公式，融合所述第一子特征图和所述第二子特征图，获取所述增强后的表格像素：

fuse_map＝norm(a*score_map+b*border_map)；

式中，fuse_map表示所述增强后的表格像素，norm表示归一化处理，score_map表示所述第一子特征图，border_map表示所述第二子特征图，a、b表示权重系数。

本发明还提供一种表格提取装置，包括：

第一提取模块，用于基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；

第二提取模块，用于基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；

第三提取模块，用于利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

根据本发明一个实施例的表格提取装置，所述第三提取模块，还用于，在所述利用基于面积的非极大值抑制算法，对所述候选表格区域进行过滤之前，执行以下处理步骤：

将经典非极大值抑制算法中的候选框置信度确定为候选表格区域面积，并将候选框置信度排序修改为所述候选表格区域面积的排序；

基于所述候选表格区域面积，修改所述经典非极大值抑制算法中的交叠比计算算法，并基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略；

基于所述候选表格区域面积的排序和所述过滤策略，建立所述基于面积的非极大值抑制算法模型。

根据本发明一个实施例的表格提取装置，所述第三提取模块，用于：

将所述经典非极大值抑制算法中的交叠比计算算法修改如下：

式中，iou_i,j表示候选表格区域i与候选表格区域j的交叠比，s_i,j表示候选表格区域i与候选表格区域j交叠部分的面积，s_i表示候选表格区域i的面积，s_j表示候选表格区域j的面积；

相应地，所述第三提取模块，在用于所述基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略时，用于：

确定预设阈值，且若交叠比iou_i,j大于所述预设阈值，则过滤掉候选表格区域i与候选表格区域j中的面积较小者，若交叠比iou_i,j不大于所述预设阈值，则保留候选表格区域i与候选表格区域j。

根据本发明一个实施例的表格提取装置，所述深度神经网络模型包括特征提取子模型和特征融合子模型；

相应地，所述第一提取模块，在用于所述基于深度神经网络模型，提取目标图像中的表格像素时，用于：

利用所述特征提取子模型，提取所述目标图像中不同尺寸层级的层级特征，并利用所述特征融合子模型，采用多尺度融合算法，融合所述层级特征；

基于所述融合的结果，利用所述深度神经网络模型的输出层，输出所述表格像素。

根据本发明一个实施例的表格提取装置，所述表格像素包括单通道的第一特征图和双通道的第二特征图，所述第一特征图用于表示当前像素是否为表格区域内部像素，所述第二特征图包括第一子特征图和第二子特征图，所述第一子特征图用于表示当前像素是否为表格的边界像素，所述第二子特征图用于表示边界像素是头边界或尾边界。

根据本发明一个实施例的表格提取装置，所述第二提取模块，在用于所述提取所述目标图像中的候选表格区域时，用于：

基于所述第一子特征图和所述第二子特征图，增强所述表格像素，获取增强后的表格像素；

利用所述连通域分析技术，提取所述增强后的表格像素所关联的区域内存在的连通区域，并基于所述连通区域，提取所述候选表格区域。

根据本发明一个实施例的表格提取装置，所述第二提取模块，在用于所述基于所述第一子特征图和所述第二子特征图，增强所述表格像素时，用于：

利用如下公式，融合所述第一子特征图和所述第二子特征图，获取所述增强后的表格像素：

fuse_map＝norm(a*score_map+b*border_map)；

式中，fuse_map表示所述增强后的表格像素，norm表示归一化处理，score_map表示所述第一子特征图，border_map表示所述第二子特征图，a、b表示权重系数。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述处理器执行所述程序或指令时，实现如上述任一种所述的表格提取方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有程序或指令，所述程序或指令被计算机执行时，实现如上述任一种所述的表格提取方法的步骤。

本发明提供的表格提取方法、装置、电子设备及可读存储介质，基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的表格提取方法的流程示意图；

图2为根据本发明提供的表格提取方法中目标图像的示意图；

图3为根据本发明提供的表格提取方法中提取表格像素后的图像的示意图；

图4为根据本发明提供的表格提取方法中提取的候选表格区域的图像的示意图；

图5为根据本发明提供的表格提取方法中提取的目标表格的图像的示意图；

图6为本发明提供的表格提取装置的结构示意图；

图7为本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对现有技术由于对表格边界预测不准确导致表格数据信息丢失的问题，基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。以下将结合附图，具体通过多个实施例对本发明进行展开说明和介绍。

图1为本发明提供的表格提取方法的流程示意图，如图1所示，该方法包括：

S101，基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格。

可以理解为，本步骤中通过深度学习技术，对目标图像中的表格进行语义分割，从而提取目标图像中的表格像素。具体而言，本发明事先会根据需要，利用深度学习技术构建并训练得到一用于表格像素提取的神经网络模型，可称为是深度神经网络模型。之后，将包含目标表格的图像，也即目标图像，输入到深度神经网络模型中，利用该深度神经网络模型进行特征提取，并根据提取的图像特征，输出在目标图像中检测到的表格像素。其中目标表格表示待提取的表格。

举例说明，如图2所示，为根据本发明提供的表格提取方法中目标图像的示意图，图中包括四个独立的表格，即目标表格，包括：第一表格201、第二表格202、第三表格203和第四表格204。经深度神经网络模型提取表格像素后的图像如图3所示，为根据本发明提供的表格提取方法中提取表格像素后的图像的示意图，其中阴影覆盖部分为提取的表格像素。

S102，基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域。

可以理解为，在根据上述步骤提取出目标图像中的表格像素之后，为了更准确地确定表格边界，本步骤将提取的表格像素先进行像素增强处理。经增强像素处理后的表格区域的边界像素也得到增强，可为后续准确的识别表格边界提供基础条件。

之后，利用连通域分析技术，提取经过增强像素处理后的表格像素图中的连通域，并据此进一步确定目标图像中的候选表格区域。

S103，利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

可以理解为，本步骤在根据上述步骤提取出目标图像中的候选表格区域之后，将候选表格区域输入到事先建立好的基于面积的非极大值抑制算法模型中，过滤掉非目标表格区域的候选表格区，输出最终的表格区域中的表格作为目标表格。

应理解的是，其中的基于面积的非极大值抑制算法模型是为了去掉表格区域预测后多余的候选表格区域，其是经典非极大值抑制算法模型的改进模型，该改进模型中将候选框置信度排序修改为基于候选表格面积的排序，且改进了候选框交叠比的计算方式。

本发明提供的表格提取方法，基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。

其中，根据上述各实施例提供的表格提取方法可选的，在所述利用基于面积的非极大值抑制算法，对所述候选表格区域进行过滤之前，还包括：将经典非极大值抑制算法中的候选框置信度确定为候选表格区域面积，并将候选框置信度排序修改为所述候选表格区域面积的排序；基于所述候选表格区域面积，修改所述经典非极大值抑制算法中的交叠比计算算法，并基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略；基于所述候选表格区域面积的排序和所述过滤策略，建立所述基于面积的非极大值抑制算法模型。

可以理解为，本发明在利用基于面积的非极大值抑制算法模型提取目标表格之前，需要先建立该基于面积的非极大值抑制算法模型，具体通过改进经典非极大值抑制算法模型实现，也即对经典的候选框过滤算法——非极大值抑制算法，进行改进，改进点包括如下两方面：其一，将经典非极大值抑制算法中的排序条件改为基于每个区域的面积大小；其二，基于候选表格面积，重新定义经典非极大值抑制算法中交叠比的计算方式。

其中，将经典非极大值抑制算法模型中的候选框置信度排序修改为基于候选表格面积的排序的依据是，现有业务中，图像中的表格多不存在交叠的问题，且同样的两个候选区域，真实的表格往往是图中面积较大者。

在确定候选框置信度为候选表格区域面积，且根据候选表格区域面积重新定义交叠比计算方式的基础上，基于新的交叠比计算算法和候选表格区域面积，确定对非目标表格区域的过滤策略，也即确定在候选表格区域的面积和交叠比满足何种条件的情况下，过滤掉或保留该候选表格区域。

最后，在确定了候选表格区域的过滤策略以及候选框置信度排序为候选表格区域面积的排序的情况下，即可据此确定基于面积的非极大值抑制算法模型的网络结构和网络参数，形成最终的基于面积的非极大值抑制算法模型。

本发明通过采用候选表格区域面积，改进经典非极大值抑制算法中的候选框置信度和交叠比计算算法，使得运算过程更简洁快速，且效率更高。

其中，根据上述各实施例提供的表格提取方法可选的，将所述经典非极大值抑制算法中的交叠比计算算法修改如下：

式中，iou_i,j表示候选表格区域i与候选表格区域j的交叠比，s_i,j表示候选表格区域i与候选表格区域j交叠部分的面积，s_i表示候选表格区域i的面积，s_j表示候选表格区域j的面积；

相应地，所述基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略，包括：确定预设阈值，且若交叠比iou_i,j大于所述预设阈值，则过滤掉候选表格区域i与候选表格区域j中的面积较小者，若交叠比iou_i,j不大于所述预设阈值，则保留候选表格区域i与候选表格区域j。

具体而言，根据上述各实施例，可以利用连通域分析技术提取多个候选表格区域，可以数学化表示为候选表格区域Tables＝{t₁,…,t_n}。其中候选表格t_i(0<i<＝n)的置信度为s_i，面积为area_i。

之后，根据各候选表格区域的面积，利用上述交叠比计算公式，计算两两候选表格区域之间的交叠比，并根据实际需要确定预设阈值，如设预设阈值为0.3。

最后，根据两两候选表格区域间的交叠比以及两两候选表格区域的面积大小，确定过滤策略，过滤策略包括：将交叠比大于预设阈值的候选表格区域中，面积较小的一个过滤掉。另外，若两两候选表格区域之间的交叠比不大于预设阈值，说明是两个独立的表格，可暂时将两个候选表格区域保留，继续进行两两候选表格区域之间的交叠比的计算，直到任意两个候选表格区域之间的交叠比均不大于预设阈值。

本发明利用候选表格区域的面积计算交叠比，计算简便，能够进一步提高运算效率。

其中，根据上述各实施例提供的表格提取方法可选的，所述深度神经网络模型包括特征提取子模型和特征融合子模型；相应地，所述基于深度神经网络模型，提取目标图像中的表格像素，包括：利用所述特征提取子模型，提取所述目标图像中不同尺寸层级的层级特征，并利用所述特征融合子模型，采用多尺度融合算法，融合所述层级特征；基于所述融合的结果，利用所述深度神经网络模型的输出层，输出所述表格像素。

具体而言，本发明在基于语义分割提取表格像素时，深度神经网络模型的架构包括特征提取、特征融合、输出三个部分，其中特征提取部分即为特征提取子模型，例如可采用VGG16作为主干网络，特征融合部分即为特征融合子模型，例如可借鉴经典FPN网络，同时自定义VGG特征选取融合。

在特征提取部分，将目标图像输入特征提取子模型，在特征提取子模型的4个阶段分别输出目标图像中不同尺寸层级的层级特征，例如，其大小分别可以为目标图像尺寸的1/4、1/8、1/16和1/32。

由于大目标感受野过大会导致丢失信息过多，检测不准确，在小目标检测上面不佳等问题，在特征融合部分，以VGG16的4个阶段的输出作为特征融合阶段的输入，采用多尺度融合的方法来解决表格检测中的难题，将不同感受野的特征图进行融合，可以实现较好的检测鲁棒性。

其中，根据上述各实施例提供的表格提取方法可选的，所述表格像素包括单通道的第一特征图和双通道的第二特征图，所述第一特征图用于表示当前像素是否为表格区域内部像素，所述第二特征图包括第一子特征图和第二子特征图，所述第一子特征图用于表示当前像素是否为表格的边界像素，所述第二子特征图用于表示边界像素是头边界或尾边界。

具体而言，在深度神经网络模型的输出部分，包含两个子部分：第一个子部分是单通道的特征图，可将其称为是第一特征图，代表所在像素是否为表格区域内部像素；第二个子部分是双通道的特征图，可将其称为是第二特征图。在第二子部分的两个通道，对应输出两个子特征图，分别可称为第一子特征图和第二子特征图，且第一子特征图代表所在像素是否为边界像素score map，第二子特征图是头边界还是尾边界border map。

其中，根据上述各实施例提供的表格提取方法可选的，所述提取所述目标图像中的候选表格区域，包括：基于所述第一子特征图和所述第二子特征图，增强所述表格像素，获取增强后的表格像素；利用所述连通域分析技术，提取所述增强后的表格像素所关联的区域内存在的连通区域，并基于所述连通区域，提取所述候选表格区域。

具体而言，本发明提取候选表格区域的步骤可进一步包括表格区域像素增强处理和候选表格区域生成两个步骤。也就是说，首先通过将第一子特征图和第二子特征图进行融合，实现表格像素的增强，且在增强表格像素的基础上表格区域的边界像素也得到增强。表格像素经增强处理后，得到的新的像素称为是增强后的表格像素。

在增强像素处理的基础上，利用连通区域分析技术，提取融合后的特征图中的连通区域，基于这些连通区域可以进一步确定目标表格的候选区域，也即候选表格区域。

举例说明，经过连通区域提取后获得5个候选表格区域，如图4所示，为根据本发明提供的表格提取方法中提取的候选表格区域的图像的示意图，其中包括五个候选连通区域，分别为图中的虚线框401、虚线框402、虚线框403、虚线框404和虚线框405内框定的区域。这五个候选连通区域按照面积大小排序顺序为[候选区域5,候选区域4,候选区域2,候选区域1,候选区域3]。

基于图4中的候选表格区域，经基于面积的非极大值抑制算法模型过滤后的结果如图5所示，为根据本发明提供的表格提取方法中提取的目标表格的图像的示意图，其中用粗线框501、粗线框502、粗线框503和粗线框504分别标出了从图2中提取出的目标表格201、目标表格202、目标表格203和目标表格204。可见，由于图4中候选区域3与候选区域2的交叠比iou＝0.9，大于阈值0.3，且候选区域3的面积比候选区域2小，因此候选区域3被过滤掉，其余的候选框得以保留，形成了如图5所示的目标表格区域。

其中，根据上述各实施例提供的表格提取方法可选的，所述基于所述第一子特征图和所述第二子特征图，增强所述表格像素，包括：

利用如下公式，融合所述第一子特征图和所述第二子特征图，获取所述增强后的表格像素：

fuse_map＝norm(a*score_map+b*border_map)；

式中，fuse_map表示所述增强后的表格像素，norm表示归一化处理，score_map表示所述第一子特征图，border_map表示所述第二子特征图，a、b表示权重系数。

可以理解为，本发明在表格像素增强处理中，目的是增强表格区域的边界像素的预测，通过将特征融合部分输出的两个特征图进行融合来实现，融合两个特征图的公式如上述特征融合公式所示，其中score就是最终使用的置信度图，其大小与图片输入大小一致，融合后的像素区域如图3所示，其中填充为斜线的区域301为score map，填充为斜方格的区域302和填充为实心点的区域303为border map，区域302和区域303分别对应表格的头边界和尾边界。

基于相同的发明构思，本发明根据上述各实施例还提供一种表格提取装置，该装置用于在上述各实施例中实现表格提取。因此，在上述各实施例的表格提取方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。

根据本发明的一个实施例，表格提取装置的结构如图6所示，为本发明提供的表格提取装置的结构示意图，该装置可以用于实现上述各方法实施例中的表格提取，该装置包括：第一提取模块601、第二提取模块602和第三提取模块603。其中：

第一提取模块601用于基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；第二提取模块602用于基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；第三提取模块603用于利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

具体而言，第一提取模块601通过深度学习技术，对目标图像中的表格进行语义分割，从而提取目标图像中的表格像素。具体而言，第一提取模块601事先会根据需要，利用深度学习技术构建并训练得到一用于表格像素提取的神经网络模型，可称为是深度神经网络模型。之后，将包含目标表格的图像，也即目标图像，输入到深度神经网络模型中，利用该深度神经网络模型进行特征提取，并根据提取的图像特征，输出在目标图像中检测到的表格像素。其中目标表格表示待提取的表格。

之后，为了更准确地确定表格边界，第二提取模块602将提取的表格像素先进行像素增强处理。经增强像素处理后的表格区域的边界像素也得到增强。然后，第二提取模块602利用连通域分析技术，提取经过增强像素处理后的表格像素图中的连通域，并据此进一步确定目标图像中的候选表格区域。

最后，第三提取模块603在获取目标图像中的候选表格区域之后，将候选表格区域输入到事先建立好的基于面积的非极大值抑制算法模型中，过滤掉非目标表格区域的候选表格区，输出最终的表格区域中的表格作为目标表格。

本发明提供的表格提取装置，基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。

可选地，所述第三提取模块，还用于，在所述利用基于面积的非极大值抑制算法，对所述候选表格区域进行过滤之前，执行以下处理步骤：

将经典非极大值抑制算法中的候选框置信度确定为候选表格区域面积，并将候选框置信度排序修改为所述候选表格区域面积的排序；

基于所述候选表格区域面积，修改所述经典非极大值抑制算法中的交叠比计算算法，并基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略；

基于所述候选表格区域面积的排序和所述过滤策略，建立所述基于面积的非极大值抑制算法模型。

可选地，所述第三提取模块，用于：

将所述经典非极大值抑制算法中的交叠比计算算法修改如下：

式中，iou_i,j表示候选表格区域i与候选表格区域j的交叠比，s_i,j表示候选表格区域i与候选表格区域j交叠部分的面积，s_i表示候选表格区域i的面积，s_j表示候选表格区域j的面积；

相应地，所述第三提取模块，在用于所述基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略时，用于：

确定预设阈值，且若交叠比iou_i,j大于所述预设阈值，则过滤掉候选表格区域i与候选表格区域j中的面积较小者，若交叠比iou_i,j不大于所述预设阈值，则保留候选表格区域i与候选表格区域j。

可选地，所述深度神经网络模型包括特征提取子模型和特征融合子模型；

相应地，所述第一提取模块，在用于所述基于深度神经网络模型，提取目标图像中的表格像素时，用于：

利用所述特征提取子模型，提取所述目标图像中不同尺寸层级的层级特征，并利用所述特征融合子模型，采用多尺度融合算法，融合所述层级特征；

基于所述融合的结果，利用所述深度神经网络模型的输出层，输出所述表格像素。

可选地，所述表格像素包括单通道的第一特征图和双通道的第二特征图，所述第一特征图用于表示当前像素是否为表格区域内部像素，所述第二特征图包括第一子特征图和第二子特征图，所述第一子特征图用于表示当前像素是否为表格的边界像素，所述第二子特征图用于表示边界像素是头边界或尾边界。

可选地，所述第二提取模块，在用于所述提取所述目标图像中的候选表格区域时，用于：

基于所述第一子特征图和所述第二子特征图，增强所述表格像素，获取增强后的表格像素；

利用所述连通域分析技术，提取所述增强后的表格像素所关联的区域内存在的连通区域，并基于所述连通区域，提取所述候选表格区域。

可选地，所述第二提取模块，在用于所述基于所述第一子特征图和所述第二子特征图，增强所述表格像素时，用于：

利用如下公式，融合所述第一子特征图和所述第二子特征图，获取所述增强后的表格像素：

fuse_map＝norm(a*score_map+b*border_map)；

式中，fuse_map表示所述增强后的表格像素，norm表示归一化处理，score_map表示所述第一子特征图，border_map表示所述第二子特征图，a、b表示权重系数。

可以理解的是，本发明中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明的表格提取装置利用上述各程序模块，能够实现上述各方法实施例的表格提取流程，在用于实现上述各方法实施例中的表格提取时，本发明的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。

作为本发明的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的程序或指令，该处理器执行该程序或指令时，实现如上述各实施例所述的表格提取方法的步骤。

进一步的，本发明的电子设备还可以包括通信接口和总线。参考图7，为本发明提供的电子设备的实体结构示意图，包括：至少一个存储器701、至少一个处理器702、通信接口703和总线704。

其中，存储器701、处理器702和通信接口703通过总线704完成相互间的通信，通信接口703用于该电子设备与目标图像设备之间的信息传输；存储器701中存储有可在处理器702上运行的程序或指令，处理器702执行该程序或指令时，实现如上述各实施例所述的表格提取方法的步骤。

可以理解为，该电子设备中至少包含存储器701、处理器702、通信接口703和总线704，且存储器701、处理器702和通信接口703通过总线704形成相互间的通信连接，并可完成相互间的通信，如处理器702从存储器701中读取表格提取方法的程序指令等。另外，通信接口703还可以实现该电子设备与目标图像设备之间的通信连接，并可完成相互间信息传输，如通过通信接口703实现目标图像的读取等。

电子设备运行时，处理器702调用存储器701中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格等。

上述的存储器701中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有程序或指令，该程序或指令被计算机执行时，实现如上述各实施例所述的表格提取方法的步骤，例如包括：基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格等。

作为本发明的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的表格提取方法，该方法包括：基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

本发明提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的表格提取方法的步骤，基于语义分割进行表格检测，通过对提取的表格像素进行增强像素处理提取有效的候选表格区域，并采用基于面积的非极大值抑制算法对候选表格区域进行过滤，能够在准确预测表格位置的同时，完整精确的处理表格边缘，从而能最大程度的记录表格的完整信息，因此准确性和可靠性更高。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种表格提取方法，其特征在于，包括：

基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；

基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；

利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

2.根据权利要求1所述的表格提取方法，其特征在于，在所述利用基于面积的非极大值抑制算法，对所述候选表格区域进行过滤之前，还包括：

将经典非极大值抑制算法中的候选框置信度确定为候选表格区域面积，并将候选框置信度排序修改为所述候选表格区域面积的排序；

基于所述候选表格区域面积，修改所述经典非极大值抑制算法中的交叠比计算算法，并基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略；

基于所述候选表格区域面积的排序和所述过滤策略，建立所述基于面积的非极大值抑制算法模型。

3.根据权利要求2所述的表格提取方法，其特征在于，将所述经典非极大值抑制算法中的交叠比计算算法修改如下：

式中，iou_i,j表示候选表格区域i与候选表格区域j的交叠比，s_i,j表示候选表格区域i与候选表格区域j交叠部分的面积，s_i表示候选表格区域i的面积，s_j表示候选表格区域j的面积；

相应地，所述基于所述交叠比计算算法和所述候选表格区域面积，确定过滤策略，包括：

确定预设阈值，且若交叠比iou_i,j大于所述预设阈值，则过滤掉候选表格区域i与候选表格区域j中的面积较小者，若交叠比iou_i,j不大于所述预设阈值，则保留候选表格区域i与候选表格区域j。

4.根据权利要求1-3中任一所述的表格提取方法，其特征在于，所述深度神经网络模型包括特征提取子模型和特征融合子模型；

相应地，所述基于深度神经网络模型，提取目标图像中的表格像素，包括：

利用所述特征提取子模型，提取所述目标图像中不同尺寸层级的层级特征，并利用所述特征融合子模型，采用多尺度融合算法，融合所述层级特征；

基于所述融合的结果，利用所述深度神经网络模型的输出层，输出所述表格像素。

5.根据权利要求4所述的表格提取方法，其特征在于，所述表格像素包括单通道的第一特征图和双通道的第二特征图，所述第一特征图用于表示当前像素是否为表格区域内部像素，所述第二特征图包括第一子特征图和第二子特征图，所述第一子特征图用于表示当前像素是否为表格的边界像素，所述第二子特征图用于表示边界像素是头边界或尾边界。

6.根据权利要求5所述的表格提取方法，其特征在于，所述提取所述目标图像中的候选表格区域，包括：

基于所述第一子特征图和所述第二子特征图，增强所述表格像素，获取增强后的表格像素；

利用所述连通域分析技术，提取所述增强后的表格像素所关联的区域内存在的连通区域，并基于所述连通区域，提取所述候选表格区域。

7.根据权利要求6所述的表格提取方法，其特征在于，所述基于所述第一子特征图和所述第二子特征图，增强所述表格像素，包括：

利用如下公式，融合所述第一子特征图和所述第二子特征图，获取所述增强后的表格像素：

fuse_map＝norm(a*score_map+b*border_map)；

式中，fuse_map表示所述增强后的表格像素，norm表示归一化处理，score_map表示所述第一子特征图，border_map表示所述第二子特征图，a、b表示权重系数。

8.一种表格提取装置，其特征在于，包括：

第一提取模块，用于基于深度神经网络模型，提取目标图像中的表格像素，所述目标图像中包括目标表格；

第二提取模块，用于基于所述表格像素，通过增强像素处理并利用连通域分析技术，提取所述目标图像中的候选表格区域；

第三提取模块，用于利用基于面积的非极大值抑制算法模型，对所述候选表格区域进行过滤，提取所述目标表格。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1至7中任一项所述的表格提取方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被计算机执行时，实现如权利要求1至7中任一项所述的表格提取方法的步骤。

Images