CN114529925B - 一种全线表表格结构识别方法 - Google Patents

一种全线表表格结构识别方法 Download PDF

Info

Publication number
CN114529925B
CN114529925B CN202210425844.5A CN202210425844A CN114529925B CN 114529925 B CN114529925 B CN 114529925B CN 202210425844 A CN202210425844 A CN 202210425844A CN 114529925 B CN114529925 B CN 114529925B
Authority
CN
China
Prior art keywords
cell
row
vertex
column
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210425844.5A
Other languages
English (en)
Other versions
CN114529925A (zh
Inventor
黄双萍
彭政华
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China University of Technology SCUT filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202210425844.5A priority Critical patent/CN114529925B/zh
Publication of CN114529925A publication Critical patent/CN114529925A/zh
Application granted granted Critical
Publication of CN114529925B publication Critical patent/CN114529925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全线表表格结构识别方法，包括：采用实例分割算法对文档图像进行单元格分割，得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像；将每一个单元格的二值化掩码图像进行或运算和形态学闭操作，得到表格整体区域图像及表格整体区域图像的二值化掩码图像；采用矫正算法，在获得表格整体区域图像中表格区域的四个顶点后，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像；进行单元格目标检测获得每一个单元格的边界框；利用基于规则化排序算法进行排序以识别表格结构，将表格结构表达成对应的标记语言描述。

Description

一种全线表表格结构识别方法
技术领域
本发明属于图像处理与人工智能技术领域，特别是涉及一种全线表表格结构识别方法。
背景技术
表格，不仅仅是一种可视化的交流模式，也是一种组织整理数据的方式。在过去几十年里，随着信息技术、电子计算机科技的快速发展，智能手机、扫描仪等电子设备得到了广泛的应用，越来越多的客户通过这些设备对文档进行拍照、扫描和上传，使得数字文档的生产和存储呈指数级增长。因此，对于提取这类非结构化文档图像(如零售收据、保险索赔表格和金融发票等)中的信息的需求正变得越来越迫切。从这些文档中提取信息的一个关键任务是提取表格的结构信息，但是，依赖人工从如此大规模且多样化的文档图像库中准确地提取表格结构信息是不现实的。具体地，表格文档图像手工处理，劳动力成本高，数据处理时间长等。随着计算机技术的发展，研究如何利用自动化技术加速表格文档图像的信息抽取，以便更好地提取文档图像中的表格信息，具有十分重大的现实意义。通常，这些文档包含存储在表格中的数据，不仅仅表格在布局和视觉外观上有多种变化，而且除了表格之外，文档图像中还有许多其他页面对象(如文本和图形)，这些页面对象在外观上也有很大差异。表格结构的变化，用于可视化分离表格组件的图形元素的变化，以及在文档图像中存在的大量残缺、破损、遮挡等噪声，特别是由纸质文档等拍摄、扫描而得的表格图像在生成过程中由于纸张自然弯曲、拍摄角度等造成的表格不规则形变，进一步加大了图像中提取表格结构信息难度，使得从这些表格文档图像中抽取信息成为一个非常具有挑战性的问题。
得益于深度学习技术的发展，现有的基于深度学习的表格结构识别方法大体上可以分为三类。
第一类，受分割和检测任务的启发，一些研究采用深度学习技术进行表格中单元格的检测或分割，并结合相应的后处理算法实现表格结构识别。虽然这类方法能在一定程度上解决单元格空间位置上的定位问题，但他们只解决了单元格的定位问题，而忽略了单元格在表格中的逻辑位置。
第二类，从图像-序列模型角度来看，其他研究试图将表格图像直接转换为标记序列(如LaTeX或HTML)。此类模型虽然能够恢复出单元格的逻辑位置，但是模型没有显示地利用单元格之间、单元格与表格整体的空间位置关系信息，从而限制了此类模型的性能。
第三类，考虑到不同单元格逻辑位置之间的关系，一些研究开始使用图神经网络来建模不同单元格之间的关系，把结构识别问题转换为图神经网络中边的分类或节点的分类问题。这类算法在构建图网络之前往往需要采用文本检测或者关键点检测等单元格检测网络得到表格中单元格的空间位置等信息，而非实现端到端，并且易受到检测网络性能的影响。
除此之外，现有技术中对表格结构的识别方法较为复杂，且极度依赖于表格形状的规整程度，因为拍摄对象本身的不平整、拍摄角度以及光照等因素造成的弯曲、倾斜等不规则形状的表格文档图像的结构识别效果不佳。
发明内容
有鉴于此，有必要针对上述技术问题，提供一种简单有效的基于规则的表格结构识别方法，所述方法直接通过单元格空间位置上的排序确定单元格的逻辑位置进而计算单元格的跨行跨列属性，在一定程度上适应表格图像的不规则形变，另外所述方法还设计了针对不规则表格进行处理的表格矫正算法，能在一定程度上减小表格图像弯曲、倾斜等不规则形变，进而提高不规则形状表格的结构识别性能。
本发明公开了一种全线表表格结构识别方法，包括以下步骤：
步骤1，采用实例分割算法对文档图像I进行单元格分割，得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像；
步骤2，将每一个单元格的二值化掩码图像进行或运算和形态学闭操作，裁剪出表格整体区域，得到表格整体区域图像I’及表格整体区域图像的二值化掩码图像；
步骤3，采用矫正算法，在获得表格整体区域图像I’中表格区域的四个顶点后，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像T；
步骤4，对正表格图像T进行单元格目标检测，获得每一个单元格的边界框；
步骤5，利用基于规则化排序算法进行排序以识别表格结构，将表格结构表达成对应的标记语言描述。
具体地，所述的实例分割算法采用CBNetV2实例分割算法或CascadeMaskRCNN实例分割算法。
具体地，步骤2具体包括以下步骤：
步骤201，将每个单元格对应于文档图像所在区域的二值化掩码图像集合之间进行或运算；
步骤202，进行形态学闭操作去掉或运算结果中的空隙部分；
步骤203，使用最小外接水平矩形裁剪出表格区域图像，即得到精准的表格整体区域图像I’及表格整体区域图像的二值化掩码图像。
具体地，步骤3包括以下步骤：
步骤301，采用OpenCV中的轮廓求取算法，求得表格整体区域图像I’的二值化掩码图像中的表格掩码轮廓，然后获取表格掩码轮廓的最小外接矩形，从而获取表格的倾斜角度，在得到的倾斜角度的基础上，分别构造倾斜角度加上45°的两条直线与加上135°的两条直线共四条直线，分别位于表格掩码轮廓四个对角方向之外，将表格掩码轮廓中距离四条直线最近的点作为表格轮廓的四个顶点；
步骤302，分别在左上、右上顶点连线间以及左下、右下顶点连线间等距离取点，作为TPS变换目标点，两两连接目标点，得到等距垂直直线系，直线系与表格轮廓的交点作为初始点且与目标点两两匹配，然后进行TPS变换，使初始点尽可能拉近目标点，得到以轮廓的四个顶点为顶点的去弯曲后的近似四边形表格图像；
步骤303，将去弯曲后的近似四边形表格图像中表格的四个顶点在图像中的坐标与图像边界的四个顶点坐标相结合计算透视变换矩阵参数，对去弯曲后的近似四边形表格图像进行透视变换，得到平铺满图片的正表格图像T。
透视变换操作如下：
Figure 464586DEST_PATH_IMAGE001
式中的
Figure 408271DEST_PATH_IMAGE002
和
Figure 905112DEST_PATH_IMAGE003
分别为变换前后的像素坐标，变换参数矩阵中的元素
Figure 945749DEST_PATH_IMAGE004
由透视变换前后表格四个顶点的坐标联立方程解得，
Figure 869842DEST_PATH_IMAGE005
为假设处于
Figure 363141DEST_PATH_IMAGE006
平面内的原图上的点
Figure 725989DEST_PATH_IMAGE007
乘以变换参数矩阵进行三维映射至三维空间后的坐标；
具体地，步骤4具体包括以下步骤：利用CBNetV2算法或Faster RCNN算法对步骤3中的正表格图像T进行单元格目标检测，分别获得每一个单元格的边界框，边界框的形式为：
Figure 230920DEST_PATH_IMAGE008
即单元格边界框的左上角与右下角在正表格图像T中的空间位置坐标
Figure 716128DEST_PATH_IMAGE009
和
Figure 306509DEST_PATH_IMAGE010
，将检测结果中的每一个单元格边界框的左上角组成左上角点集，将每一个单元格边界框的右下角组成右下角点集。
具体地，步骤5中，所述的基于规则化排序算法分别利用单元格边界框的左上角顶点和右下角顶点来代表单元格进行依行列排序和依列行排序，以获得每个单元格中的逻辑位置，求取每个单元格跨行跨列属性，以此识别表格结构；
所述的依行列排序是指：每次以一行的单元格为排序对象，先完成第一行的单元格从左到右的空间位置列排序，再完成第二行的单元格从左到右的空间位置列排序，直到最后一行，即从上至下依行进行每一行中单元格的列排序获取单元格在所在行中的列号，又因为是逐行进行的排序，第一次排序的一整行内的单元格的行号即为1，第二次排序的一整行内的单元格的行号即为2，以此类推，获得单元格在表格中代表逻辑位置的行列号；
所述的依列行排序是指：每次以一列的单元格为排序对象，先完成第一列的单元格从上到下的空间位置行排序，再完成第二列的单元格从上到下的空间位置行排序，直到最后一列，即从左至右依列进行每一列中单元格的行排序获取单元格在所在列中的行号，又因为是逐列进行的排序，第一次排序的一整列内的单元格的列号即为1，第二次排序的一整列内的单元格的列号即为2，以此类推，获得单元格在表格中代表逻辑位置的行列号。
更进一步地，所述的分别利用单元格边界框的左上角顶点和右下角顶点来代表单元格进行依行列排序和依列行排序，包括以下步骤：
步骤501，利用单元格边界框的左上角顶点来代表单元格进行依行列排序，获得以边界框左上角顶点代表单元格的行号
Figure 473048DEST_PATH_IMAGE011
，c i 为单元格；
步骤502，利用单元格边界框的右下角顶点来代表单元格进行依行列排序，获得以右下角顶点代表单元格的行号
Figure 488277DEST_PATH_IMAGE012
，则单元格的跨行属性值为：
Figure 754174DEST_PATH_IMAGE013
；
步骤503，利用单元格边界框的左上角顶点来代表单元格进行依列行排序，获得以边界框左上角顶点代表单元格的列号
Figure 159747DEST_PATH_IMAGE014
；
步骤504，利用单元格边界框的右下角顶点来代表单元格进行依列行排序，获得以边界框右下角顶点代表单元格的列号
Figure 661136DEST_PATH_IMAGE015
，则单元格的跨列属性值为：
Figure 406238DEST_PATH_IMAGE016
；
步骤505，利用每个单元格在表格中的逻辑位置、跨行跨列属性，依据HTML语法结合即得到描述文档图像中表格结构的HTML格式字符串。
更进一步地，利用单元格边界框的左上角顶点来代表单元格进行依行列排序的过程，包括以下步骤：
步骤50101，在每一行的排序开始前需要进行初始化，首先需要获取进行排序的一整行顶点中位置最高的顶点，在数字图像坐标系中，原点位于图像左上角且纵轴y轴正方向向下，横轴x轴正方向向左，因此获取一行顶点中位置最高的点，相当于获取y轴分量即
Figure 967669DEST_PATH_IMAGE017
最小的点，将该点作为点
Figure 860539DEST_PATH_IMAGE018
与点
Figure 40984DEST_PATH_IMAGE019
，其中
Figure 36665DEST_PATH_IMAGE020
为这一行顶点中位置最高顶点，
Figure 644364DEST_PATH_IMAGE021
为算法最近寻找到的顶点，若某一行中存在具有相同最小y轴分量的顶点不唯一的情况，则在具有相同最小y轴分量的顶点中随机取点作为点
Figure 555688DEST_PATH_IMAGE022
与点
Figure 867721DEST_PATH_IMAGE023
；
步骤50102，然后向右寻找与
Figure 321836DEST_PATH_IMAGE024
同处一行的相邻后继顶点：首先在左上角点集中获取所有满足下式条件的顶点：
Figure 490649DEST_PATH_IMAGE025
其中点
Figure 764636DEST_PATH_IMAGE026
为算法最近寻找到的顶点的y轴分量，
Figure 411518DEST_PATH_IMAGE027
为左上角点集中剩余顶点的y轴分量，
Figure 48036DEST_PATH_IMAGE028
为单元格边界框的高，
Figure 997537DEST_PATH_IMAGE029
为向量
Figure 414612DEST_PATH_IMAGE030
与横坐标轴正方向的夹角；
步骤50103，在获取到的满足条件的所有顶点中选取距离点
Figure 474972DEST_PATH_IMAGE031
最近的顶点，将这一顶点更新为点
Figure 231575DEST_PATH_IMAGE031
；
步骤50104，重复步骤50102和步骤50103，直到这一行
Figure 476612DEST_PATH_IMAGE032
右侧的后继顶点全部找齐；
步骤50105，将
Figure 990770DEST_PATH_IMAGE032
重新更新为
Figure 979454DEST_PATH_IMAGE033
，开始依据同理的方法寻找
Figure 590564DEST_PATH_IMAGE034
左侧的前继顶点，此时顶点的筛选条件为：
Figure 881868DEST_PATH_IMAGE035
直至
Figure 7956DEST_PATH_IMAGE036
所在行的顶点全部找齐，获得每一个单元格在该行中代表先后关系的列号，该行排序结束，与此同时，得到该行内的单元格对应的行号；
步骤50106，在左上角点集中去除已经排序过的顶点，对左上角点集中剩余的顶点都进行上述步骤50101至步骤50105的排序过程，直到左上角点集为空，则完成每个单元格的行排序与列排序，获得每一个单元格在表格中的逻辑位置；
利用单元格边界框的右下角顶点来代表单元格进行依行列排序的过程与利用单元格边界框的左上角顶点来代表单元格进行依行列排序的过程相似；
利用单元格边界框的左上角顶点来代表单元格进行依列行排序的过程，包括以下步骤：
步骤50301，在每一列的排序开始前需要进行初始化，首先需要获取进行排序的一整列顶点中位置最靠左的顶点，在数字图像坐标系中，原点位于图像左上角且纵轴y轴正方向向下，横轴x轴正方向向左，因此获取一列顶点中位置最靠左的顶点，相当于获取x轴分量即
Figure 3594DEST_PATH_IMAGE037
最小的顶点，将该顶点作为点
Figure 406893DEST_PATH_IMAGE038
与点
Figure 993733DEST_PATH_IMAGE039
，其中
Figure 544800DEST_PATH_IMAGE040
为这一列顶点中位置最靠左的顶点，
Figure 16232DEST_PATH_IMAGE041
为算法最近寻找到的顶点，若某一列中存在具有相同最小x轴分量的顶点不唯一的情况，则在具有相同最小x轴分量的顶点中随机取点作为点
Figure 398672DEST_PATH_IMAGE042
与点
Figure 31779DEST_PATH_IMAGE043
；
步骤50302，然后向下寻找与
Figure 64282DEST_PATH_IMAGE043
同处一列的相邻下侧顶点：首先在左上角点集中获取所有满足下式条件的顶点：
Figure 198461DEST_PATH_IMAGE044
其中点
Figure 45194DEST_PATH_IMAGE045
为算法最近寻找到的顶点的x轴分量，
Figure 504994DEST_PATH_IMAGE046
为左上角点集中剩余顶点的x轴分量，
Figure 437178DEST_PATH_IMAGE047
为单元格边界框的宽，
Figure 578309DEST_PATH_IMAGE048
为向量
Figure 404183DEST_PATH_IMAGE049
与横坐标轴正方向的夹角；
步骤50303，在获取到的满足条件的所有顶点中选取距离点
Figure 910251DEST_PATH_IMAGE050
最近的顶点，将这一顶点更新为点
Figure 454364DEST_PATH_IMAGE050
；
步骤50304，重复步骤50302和步骤50303，直到这一列点中处于
Figure 133607DEST_PATH_IMAGE051
下侧的顶点全部找齐；
步骤50305，将
Figure 954933DEST_PATH_IMAGE052
重新更新为
Figure 756536DEST_PATH_IMAGE053
，开始依据同理的方法寻找
Figure 991208DEST_PATH_IMAGE054
上侧的顶点，此时顶点的筛选条件为：
Figure 146246DEST_PATH_IMAGE055
直至
Figure 212291DEST_PATH_IMAGE056
所在列的顶点全部找齐，获得每一个单元格在该列中代表上下位置关系的行号，该列点的上下位置行排序结束，与此同时，得到该列内的单元格对应的列号；
步骤50306，在左上角点集中去除已经排序过的顶点，对左上角点集中剩余的顶点都进行上述步骤50301至步骤50305的排序过程，直到左上角点集为空，则完成每个单元格的依列行排序，获得每一个单元格在表格中的逻辑位置；
利用单元格边界框的右下角顶点来代表单元格进行依列行排序的过程与利用单元格边界框的左上角顶点来代表单元格进行依列行排序的过程相似。
与现有技术相比，本发明的有益效果在于：本发明方法设计了表格矫正的算法，能够对存在弯曲、倾斜等不规则形变的表格文档图像进行矫正处理，且本发明提出的基于规则的单元格排序算法不依赖于水平和垂直的表格框线，在方法步骤中提及的点的寻找方法不要求同行单元格必须水平，方法本身具备更好的容忍度和适应性，能够适应一定范围弯曲程度的表格，进一步提高算法对不规则形状表格图像的表格结构识别能力。
附图说明
图1示出了本发明实施方法的流程示意图；
图2示出了本实施例表格结构识别对象的表格示例；
图3示出了本实施例单元格实例分割结果示意图；
图4示出了本实施例对单元格二值化掩码图像集合之间进行或运算结果示意图；
图5示出了本实施例对单元格二值化掩码图像或运算结果进行形态学闭操作结果示意图；
图6示出了本实施例进行表格裁剪得到的表格图像结果；
图7示出了本实施例表格图像结果对应的二值化掩码图像结果；
图8示出了本实施例进行表格矫正算法前的结构示意图。
图9示出了本实施例进行表格矫正算法后的示意图。
图10示出了本实施例明进行表格矫正算法后的表格图像的结果；
图11示出了本实施例对矫正后的表格图像进行透视变换的结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结解释如下：
单元格的逻辑位置：某单元格在表格中的（第i行，第j列）。
单元格的空间位置：某单元格在表格文档图像上的像素点的坐标范围。
TPS（Thin Plate Spline）：薄板样条变换。
HTML (Hyper Text Markup Language)：超文本标记语言。
图1示出了本发明实施例的流程示意图。一种全线表表格结构识别方法，包括以下步骤：
步骤1，采用实例分割算法对文档图像I进行单元格分割，得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像；
步骤2，将每一个单元格的二值化掩码图像进行或运算和形态学闭操作，裁剪出表格整体区域，得到表格整体区域图像I’及对应的表格整体区域图像的二值化掩码图像；
步骤3，采用矫正算法，在获得表格整体区域图像I’中表格区域的四个顶点后，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像T；
步骤4，对正表格图像T进行单元格目标检测，获得每一个单元格的边界框；
步骤5，利用基于规则化排序算法进行排序以识别表格结构，将表格结构表达成对应的标记语言描述。
具体地，为了获得表格文档图像中的表格结构，本发明提出采用实例分割算法对文档图像进行单元格分割提取出表格区域；构建矫正算法对表格区域整体进行矫正；采用目标检测算法对矫正后的表格进行单元格检测，并利用基于规则化排序算法进行排序以识别表格结构，并将表格结构表达成对应的标记语言描述。在一个实施例中采用超文本标记语言(HTML)对表格进行描述。本实施例采用如下步骤进行发明方法的实施。
一种全线表表格结构识别方法，包括以下步骤：
步骤（1），将拍摄、扫描等方法获得的表格文档图像I作为输入，利用深度学习实例分割算法对I进行单元格分割，得到每一个单元格对应于原图中单元格所在区域的二值化掩码图像；
步骤（2），将得到的每个单元格的二值化掩码图像进行或运算、形态学闭操作并裁剪出表格整体区域，即得到精准的表格区域图像I’及其二值化掩码图像；
步骤（3），构建表格矫正算法，首先获取图像I’中表格区域的四个顶点，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将四边形表格区域转换成水平矩形的正表格图像T；
步骤（4），对正表格图像T进行单元格目标检测，获得每一个单元格的边界框，在获得单元格边界框的基础上利用规则化的排序算法进行表格结构识别，并将其表达成对应的HTML格式字符串。
所述步骤（1）是利用实例分割算法对表格文档图像I进行单元格分割，得到每一个单元格对应于原图中单元格所在区域的二值化掩码图像，具体为：
（1-1）为了得到更加精准的表格区域，利用CBNetV2实例分割算法对表格文档图像I进行单元格分割，表格示例如图2，得到各个单元格对应于原图中单元格所在区域的二值化掩码图像集合，如图3；
正常情况下每一个单元格都对应一张大小与原图大小一致的单元格掩码图像。
所述步骤（2）是将得到的每个单元格的二值化掩码图像之间进行或运算、形态学闭操作并裁剪出表格整体区域，即得到精准的表格区域图像I’及其二值化掩码图像，具体为：
（2-1）将得到的每个单元格对应于原图所在区域的二值化掩码图像集合之间进行或运算；
（2-2）接着进行形态学闭操作去掉或运算结果中的“空隙”部分，如图4白色区域内部存在的黑色区域，结果如图5所示；
（2-3）使用最小外接水平矩形裁剪出表格区域图像即得到精准的表格区域图像I’及其二值化掩码图像，如图6和图7所示；
所述步骤（3）是构建表格矫正算法，首先获取图像I’表格掩码图像中表格区域的轮廓及其四个顶点，利用TPS变换以四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将四边形表格区域转换成水平矩形的正表格图像T，具体为：
（3-1）、采用OpenCV中的轮廓求取算法，求得表格图像I’的二值化掩码图像中的表格轮廓，如图8中的黑色表格轮廓，然后获取表格掩码轮廓的最小外接矩形（非水平的最小外接矩形），从而获取表格的倾斜角度。在倾斜角度的基础上，分别构造倾斜角度加上45°的两条直线与加上135°的两条直线共四条直线，如图7中灰色直线，分别位于表格掩码四个对角方向之外，将表格掩码轮廓中距离四条直线最近的点作为表格轮廓的四个顶点，如图8中黑色实心圆点；
（3-2）、接着分别在左上、右上顶点连线间以及左下、右下顶点连线间等距离取点，作为TPS变换目标点，如图8中黑色圆环，两两连接目标点，得到等距垂直直线系，如图8中灰色虚线，直线系与表格轮廓的交点作为初始点（图8中灰色虚线与黑色轮廓相交的灰色点）且与目标点两两匹配，然后进行TPS变换，使初始点尽可能拉近目标点，得到以轮廓的四个顶点为顶点的近似四边形表格区域图像，如图9所示为矫正后的表格轮廓图像；
（3-3）、将去弯曲过后的表格四个顶点坐标与表格平铺满图片的正表格图片的四个顶点坐标结合计算透视变换参数，对去弯曲表格图片进行透视变换，得到平铺满图片的正表格图像T。透视变换操作如下：
Figure 794582DEST_PATH_IMAGE057
式中的
Figure 516550DEST_PATH_IMAGE058
和
Figure 334333DEST_PATH_IMAGE059
分别为变换前后的像素坐标，变换参数矩阵中的元素
Figure 395830DEST_PATH_IMAGE060
由透视变换前后表格四个顶点的坐标联立方程解得，
Figure 8077DEST_PATH_IMAGE061
为假设处于
Figure 889446DEST_PATH_IMAGE062
平面内的原图上的点
Figure 714182DEST_PATH_IMAGE063
乘以变换参数矩阵进行三维映射至三维空间后的坐标。本实施例中透视变换前后结果如图10和图11所示。
所述步骤（4）对正表格图像T进行单元格目标检测，获得每一个单元格的边界框，接着采用规则化的排序算法进行表格结构恢复，并将结果表达成相应的HTML格式字符串，具体为：
（4-1）利用CBNetV2算法对步骤（3）中得到的正表格图像T进行单元格目标检测，分别获得每一个单元格的边界框，边界框的形式为：
Figure 489240DEST_PATH_IMAGE064
即单元格边界框的左上角与右下角在正表格图像T中的空间位置坐标；
（4-2）将单元格边界框的空间位置坐标信息用于恢复表格的结构——单元格在表格中的逻辑位置（某单元格在表格中的第几行、第几列）以及单元格的跨行跨列属性；
在表格的HTML语法中，矩形单元格的上边界处于同一水平直线内的单元格会被划分在同一行中，而与单元格的跨行跨列属性无关。
受HTML等标记语言的表格描述语法启发，利用单元格边界框的左上角顶点
Figure 678913DEST_PATH_IMAGE065
与右下角顶点
Figure 906632DEST_PATH_IMAGE066
的空间位置坐标信息来代表单元格的空间位置信息进行单元格在空间上的排序以获得单元格在表格中的逻辑位置，这就将单元格排序简化为点集在二维空间上的空间位置排序。
因此选择利用单元格边界框的左上角来代表单元格进行“依行列排序”，所谓“依行列排序”指每次以一行的单元格为排序对象，先完成第一行的单元格从左到右的空间位置列排序，再完成第二行的单元格从左到右的空间位置列排序，直到最后一行，即从上至下依行进行每一行中单元格的列排序获取单元格在所在行中的列号，又因为是逐行进行的排序，第一次排序的一整行内的单元格的行号即为1，第二次排序的一整行内的单元格的行号即为2，以此类推，获得单元格在表格中代表逻辑位置的行列号。“依行列排序”具体为：首先获取点集中位置最高的点，即
Figure 941584DEST_PATH_IMAGE067
最小的顶点作为点
Figure 45850DEST_PATH_IMAGE068
与点
Figure 265478DEST_PATH_IMAGE069
（在数字图像中y轴向下，x轴向左；若一行中的所有点的y值相等，则随机取点；
Figure 121439DEST_PATH_IMAGE070
为每一行的最高点，
Figure 84716DEST_PATH_IMAGE071
为算法最近寻找到的点）；
然后向右寻找与
Figure 37628DEST_PATH_IMAGE072
同一行的相邻后继顶点。具体方法是首先在点集中获取所有满足下式的顶点：
Figure 303524DEST_PATH_IMAGE073
其中点
Figure 505836DEST_PATH_IMAGE074
为算法最近寻找到的点（此时为
Figure 148170DEST_PATH_IMAGE075
），
Figure 752326DEST_PATH_IMAGE076
为点集中剩余顶点（算法未寻找到的顶点），
Figure 517020DEST_PATH_IMAGE077
为单元格边界框的高，
Figure 81993DEST_PATH_IMAGE078
为向量
Figure 387073DEST_PATH_IMAGE079
与横坐标轴的夹角；
在获取到的满足上式的所有顶点中选取距离点
Figure 986681DEST_PATH_IMAGE080
最近的顶点，将这一顶点更新为点
Figure 719014DEST_PATH_IMAGE081
；
此时顶点的筛选条件为：
Figure 99180DEST_PATH_IMAGE082
直至
Figure 83316DEST_PATH_IMAGE083
所在行的顶点全部找齐，获得每一个单元格在该行中代表先后关系的列号，该行排序结束。与此同时，也可以得到该行内的单元格对应的行号；
接下来在点集中去除已经排序过的顶点，对点集中剩余的顶点都进行上述的依行列排序；
因为依行列排序是从上至下依行进行的，每排序完一行就可以得到该行内的单元格对应的列号和行号，所以当最后一行单元格的依行列排序完成时就相当于单元格的行排序与列排序也随即完成，从而获得每一个单元格在表格中的逻辑位置。
（4-3）逻辑位置推断完成后进行单元格跨行跨列属性求取。通过步骤（4-2）所述“依行列排序”算法，每一个单元格都可得到以边界框左上角顶点代表单元格进行依行列排序所得的行号
Figure 396486DEST_PATH_IMAGE084
(ci为某一单元格)。
然后以单元格边界框的右下角顶点来代表各单元格，再次按照步骤（4-2）排序算法进行依行列排序，得到以右下角顶点代表单元格进行排序的行号
Figure 440665DEST_PATH_IMAGE085
，那么单元格的跨行属性值为：
Figure 308127DEST_PATH_IMAGE086
根据对称性，同理也可根据单元格左上角顶点与右下角顶点来进行“依列行排序”来求出单元格的跨列属性，所谓“依列行排序“”指从左至右依列进行每一列中单元格上下位置的行排序获得单元格在所在列的行号；
以单元格边界框左上角代表单元格进行依列行排序得到列号
Figure 955009DEST_PATH_IMAGE014
,然后以边界框右下角顶点代表单元格进行依列行排序得到列号
Figure 263631DEST_PATH_IMAGE087
,则单元格的跨列属性值为：
（4-4）将单元格在表格中的逻辑位置、跨行跨列属性依据HTML语法结合即得到描述文档图像中表格结构的HTML格式字符串。
关于本实施例的替代方案：步骤1+步骤2的设计是为了获得更精确的表格整体的掩码，另一种方法就是直接就行表格整体的分割，但在实验中发现直接进行表格整体的实例分割的边沿部分精确度不如先进行单元格实例分割再进行步骤2的高，而矫正算法依赖于边沿分割的精度，后续中若实现表格整体实例分割的高精度边沿也可以直接进行表格整体实例分割后接剩余算法部分。在步骤1中可以采用CBNetv2实例分割算法，也可以采用其他的实例分割算法例如Cascade Mask RCNN。在步骤3中寻找表格掩码四个顶点的方法也可以采用角点检测的方法来获取。在步骤4也可以采用其他目标检测算法，例如Faster RCNN。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种全线表表格结构识别方法，其特征在于，包括以下步骤：
步骤1，采用实例分割算法对文档图像I进行单元格分割，得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像；
步骤2，将每一个单元格的二值化掩码图像进行或运算和形态学闭操作，裁剪出表格整体区域，得到表格整体区域图像I’及表格整体区域图像的二值化掩码图像；
步骤3，采用矫正算法，在获得表格整体区域图像I’中表格区域的四个顶点后，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像T；
步骤4，对正表格图像T进行单元格目标检测，获得每一个单元格的边界框；
步骤5，利用基于规则化排序算法进行排序以识别表格结构，将表格结构表达成对应的标记语言描述；
步骤5中，所述的基于规则化排序算法分别利用单元格边界框的左上角顶点和右下角顶点来代表单元格进行依行列排序和依列行排序，以获得每个单元格中的逻辑位置，求取每个单元格跨行跨列属性，以此识别表格结构；
所述的依行列排序是指：每次以一行的单元格为排序对象，先完成第一行的单元格从左到右的空间位置列排序，再完成第二行的单元格从左到右的空间位置列排序，直到最后一行，即从上至下依行进行每一行中单元格的列排序获取单元格在所在行中的列号，又因为是逐行进行的排序，第一次排序的一整行内的单元格的行号即为1，第二次排序的一整行内的单元格的行号即为2，以此类推，获得单元格在表格中代表逻辑位置的行列号；
所述的依列行排序是指：每次以一列的单元格为排序对象，先完成第一列的单元格从上到下的空间位置行排序，再完成第二列的单元格从上到下的空间位置行排序，直到最后一列，即从左至右依列进行每一列中单元格的行排序获取单元格在所在列中的行号，又因为是逐列进行的排序，第一次排序的一整列内的单元格的列号即为1，第二次排序的一整列内的单元格的列号即为2，以此类推，获得单元格在表格中代表逻辑位置的行列号。
2.根据权利要求1所述的一种全线表表格结构识别方法，其特征在于，步骤2包括以下步骤：
步骤201，将每个单元格对应于文档图像所在区域的二值化掩码图像集合之间进行或运算；
步骤202，进行形态学闭操作去掉或运算结果中的空隙部分；
步骤203，使用最小外接水平矩形裁剪出表格区域图像，即得到精准的表格整体区域图像I’及表格整体区域图像的二值化掩码图像。
3.根据权利要求1所述的一种全线表表格结构识别方法，其特征在于，步骤3包括以下步骤：
步骤301，采用OpenCV中的轮廓求取算法，求得表格整体区域图像I’的二值化掩码图像中的表格掩码轮廓，然后获取表格掩码轮廓的最小外接矩形，从而获取表格的倾斜角度，在得到的倾斜角度的基础上，分别构造倾斜角度加上45°的两条直线与加上135°的两条直线共四条直线，分别位于表格掩码轮廓四个对角方向之外，将表格掩码轮廓中距离四条直线最近的点作为表格轮廓的四个顶点；
步骤302，分别在左上、右上顶点连线间以及左下、右下顶点连线间等距离取点，作为TPS变换目标点，两两连接目标点，得到等距垂直直线系，直线系与表格轮廓的交点作为初始点且与目标点两两匹配，然后进行TPS变换，使初始点尽可能拉近目标点，得到以轮廓的四个顶点为顶点的去弯曲后的近似四边形表格图像；
步骤303，将去弯曲后的近似四边形表格图像中表格的四个顶点在图像中的坐标与图像边界的四个顶点坐标相结合计算透视变换矩阵参数，对去弯曲后的近似四边形表格图像进行透视变换，得到平铺满图片的正表格图像T；
透视变换操作如下：
Figure 815160DEST_PATH_IMAGE001
式中的
Figure 698803DEST_PATH_IMAGE002
和
Figure 375772DEST_PATH_IMAGE003
分别为变换前后的像素坐标，变换参数矩阵中的元素
Figure 344865DEST_PATH_IMAGE004
由透视变换前后表格四个顶点的坐标联立方程解得，
Figure 296640DEST_PATH_IMAGE005
为假设处于
Figure 552566DEST_PATH_IMAGE006
平面内的原图上的点
Figure 197173DEST_PATH_IMAGE007
乘以变换参数矩阵进行三维映射至三维空间后的坐标。
4.根据权利要求1所述的一种全线表表格结构识别方法，其特征在于，步骤4具体包括以下步骤：利用CBNetV2算法或Faster RCNN算法对步骤3中的正表格图像T进行单元格目标检测，分别获得每一个单元格的边界框，边界框的形式为：
Figure 653563DEST_PATH_IMAGE008
即单元格边界框的左上角与右下角在正表格图像T中的空间位置坐标
Figure 409029DEST_PATH_IMAGE009
和
Figure 752417DEST_PATH_IMAGE010
，将检测结果中的每一个单元格边界框的左上角组成左上角点集，将每一个单元格边界框的右下角组成右下角点集。
5.根据权利要求1所述的一种全线表表格结构识别方法，其特征在于，步骤5中，所述的分别利用单元格边界框的左上角顶点和右下角顶点来代表单元格进行依行列排序和依列行排序，包括以下步骤：
步骤501，利用单元格边界框的左上角顶点来代表单元格进行依行列排序，获得以边界框左上角顶点代表单元格的行号
Figure 567926DEST_PATH_IMAGE011
，c i 为单元格；
步骤502，利用单元格边界框的右下角顶点来代表单元格进行依行列排序，获得以右下角顶点代表单元格的行号
Figure 511611DEST_PATH_IMAGE012
，则单元格的跨行属性值为：
Figure 70769DEST_PATH_IMAGE013
；
步骤503，利用单元格边界框的左上角顶点来代表单元格进行依列行排序，获得以边界框左上角顶点代表单元格的列号
Figure 32777DEST_PATH_IMAGE014
；
步骤504，利用单元格边界框的右下角顶点来代表单元格进行依列行排序，获得以边界框右下角顶点代表单元格的列号
Figure 753609DEST_PATH_IMAGE015
，则单元格的跨列属性值为：
Figure 184590DEST_PATH_IMAGE016
；
步骤505，利用每个单元格在表格中的逻辑位置、跨行跨列属性，依据HTML语法结合即得到描述文档图像中表格结构的HTML格式字符串。
6.根据权利要求5所述的一种全线表表格结构识别方法，其特征在于，步骤5中，利用单元格边界框的左上角顶点来代表单元格进行依行列排序的过程，包括以下步骤：
步骤50101，在每一行的排序开始前需要进行初始化，首先需要获取进行排序的一整行顶点中位置最高的顶点，在数字图像坐标系中，原点位于图像左上角且纵轴y轴正方向向下，横轴x轴正方向向左，因此获取一行顶点中位置最高的点，相当于获取y轴分量即
Figure 281859DEST_PATH_IMAGE017
最小的点，将该点作为点
Figure 662156DEST_PATH_IMAGE018
与点
Figure 553888DEST_PATH_IMAGE019
，其中
Figure 675428DEST_PATH_IMAGE018
为这一行顶点中位置最高顶点，
Figure 576388DEST_PATH_IMAGE019
为算法最近寻找到的顶点，若某一行中存在具有相同最小y轴分量的顶点不唯一的情况，则在具有相同最小y轴分量的顶点中随机取点作为点
Figure 244480DEST_PATH_IMAGE018
与点
Figure 572693DEST_PATH_IMAGE019
；
步骤50102，然后向右寻找与
Figure 712688DEST_PATH_IMAGE019
同处一行的相邻后继顶点：首先在左上角点集中获取所有满足下式条件的顶点：
Figure 682918DEST_PATH_IMAGE020
其中点
Figure 975490DEST_PATH_IMAGE021
为算法最近寻找到的顶点的y轴分量，
Figure 474604DEST_PATH_IMAGE022
为左上角点集中剩余顶点的y轴分量，
Figure 101895DEST_PATH_IMAGE023
为单元格边界框的高，
Figure 547920DEST_PATH_IMAGE024
为向量
Figure 944266DEST_PATH_IMAGE025
与横坐标轴正方向的夹角；
步骤50103，在获取到的满足条件的所有顶点中选取距离点
Figure 863549DEST_PATH_IMAGE019
最近的顶点，将这一顶点更新为点
Figure 978136DEST_PATH_IMAGE019
；
步骤50104，重复步骤50102和步骤50103，直到这一行
Figure 24589DEST_PATH_IMAGE018
右侧的后继顶点全部找齐；
步骤50105，将
Figure 541021DEST_PATH_IMAGE018
重新更新为
Figure 132671DEST_PATH_IMAGE019
，开始依据同理的方法寻找
Figure 734553DEST_PATH_IMAGE018
左侧的前继顶点，此时顶点的筛选条件为：
Figure 319118DEST_PATH_IMAGE026
直至
Figure 893319DEST_PATH_IMAGE018
所在行的顶点全部找齐，获得每一个单元格在该行中代表先后关系的列号，该行排序结束，与此同时，得到该行内的单元格对应的行号；
步骤50106，在左上角点集中去除已经排序过的顶点，对左上角点集中剩余的顶点都进行上述步骤50101至步骤50105的排序过程，直到左上角点集为空，则完成每个单元格的行排序与列排序，获得每一个单元格在表格中的逻辑位置；
利用单元格边界框的右下角顶点来代表单元格进行依行列排序的过程与利用单元格边界框的左上角顶点来代表单元格进行依行列排序的过程相似；
利用单元格边界框的左上角顶点来代表单元格进行依列行排序的过程，包括以下步骤：
步骤50301，在每一列的排序开始前需要进行初始化，首先需要获取进行排序的一整列顶点中位置最靠左的顶点，在数字图像坐标系中，原点位于图像左上角且纵轴y轴正方向向下，横轴x轴正方向向左，因此获取一列顶点中位置最靠左的顶点，相当于获取x轴分量即
Figure 905137DEST_PATH_IMAGE027
最小的顶点，将该顶点作为点
Figure 980934DEST_PATH_IMAGE028
与点
Figure 369190DEST_PATH_IMAGE019
，其中
Figure 594635DEST_PATH_IMAGE029
为这一列顶点中位置最靠左的顶点，
Figure 42934DEST_PATH_IMAGE019
为算法最近寻找到的顶点，若某一列中存在具有相同最小x轴分量的顶点不唯一的情况，则在具有相同最小x轴分量的顶点中随机取点作为点
Figure 370141DEST_PATH_IMAGE029
与点
Figure 296509DEST_PATH_IMAGE019
；
步骤50302，然后向下寻找与
Figure 376460DEST_PATH_IMAGE019
同处一列的相邻下侧顶点：首先在左上角点集中获取所有满足下式条件的顶点：
Figure 995661DEST_PATH_IMAGE030
其中点
Figure 43120DEST_PATH_IMAGE031
为算法最近寻找到的顶点的x轴分量，
Figure 773179DEST_PATH_IMAGE032
为左上角点集中剩余顶点的x轴分量，
Figure 707637DEST_PATH_IMAGE033
为单元格边界框的宽，
Figure 497738DEST_PATH_IMAGE034
为向量
Figure 986488DEST_PATH_IMAGE035
与横坐标轴正方向的夹角；
步骤50303，在获取到的满足条件的所有顶点中选取距离点
Figure 5391DEST_PATH_IMAGE036
最近的顶点，将这一顶点更新为点
Figure 59935DEST_PATH_IMAGE036
；
步骤50304，重复步骤50302和步骤50303，直到这一列点中处于
Figure 20937DEST_PATH_IMAGE029
下侧的顶点全部找齐；
步骤50305，将
Figure 528142DEST_PATH_IMAGE029
重新更新为
Figure 869779DEST_PATH_IMAGE036
，开始依据同理的方法寻找
Figure 309987DEST_PATH_IMAGE029
上侧的顶点，此时顶点的筛选条件为：
Figure 176312DEST_PATH_IMAGE037
直至
Figure 436392DEST_PATH_IMAGE029
所在列的顶点全部找齐，获得每一个单元格在该列中代表上下位置关系的行号，该列点的上下位置行排序结束，与此同时，得到该列内的单元格对应的列号；
步骤50306，在左上角点集中去除已经排序过的顶点，对左上角点集中剩余的顶点都进行上述步骤50301至步骤50305的排序过程，直到左上角点集为空，则完成每个单元格的依列行排序，获得每一个单元格在表格中的逻辑位置；
利用单元格边界框的右下角顶点来代表单元格进行依列行排序的过程与利用单元格边界框的左上角顶点来代表单元格进行依列行排序的过程相似。
7.根据权利要求1所述的一种全线表表格结构识别方法，其特征在于，步骤5中，所述的实例分割算法采用CBNetV2实例分割算法或CascadeMaskRCNN实例分割算法。
CN202210425844.5A 2022-04-22 2022-04-22 一种全线表表格结构识别方法 Active CN114529925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210425844.5A CN114529925B (zh) 2022-04-22 2022-04-22 一种全线表表格结构识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210425844.5A CN114529925B (zh) 2022-04-22 2022-04-22 一种全线表表格结构识别方法

Publications (2)

Publication Number Publication Date
CN114529925A CN114529925A (zh) 2022-05-24
CN114529925B true CN114529925B (zh) 2022-07-15

Family

ID=81628140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210425844.5A Active CN114529925B (zh) 2022-04-22 2022-04-22 一种全线表表格结构识别方法

Country Status (1)

Country Link
CN (1) CN114529925B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168404B (zh) * 2023-01-31 2023-12-22 苏州爱语认知智能科技有限公司 基于空间变换的智能文档处理方法和系统
CN116259064B (zh) * 2023-03-09 2024-05-17 北京百度网讯科技有限公司 表格结构识别方法、表格结构识别模型的训练方法及装置
CN116311310A (zh) * 2023-05-19 2023-06-23 之江实验室 一种结合语义分割和序列预测的通用表格识别方法和装置
CN116798056B (zh) * 2023-08-28 2023-11-17 星汉智能科技股份有限公司 表格图像定位方法、装置、设备、计算机可读存储介质
CN117523591B (zh) * 2023-11-20 2024-07-23 深圳市六六六国际旅行社有限公司 基于边框聚类的表格结构识别方法、设备及存储介质
CN117973337B (zh) * 2024-01-24 2024-10-11 中国科学院自动化研究所 表格重建方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS64561A (en) * 1987-01-23 1989-01-05 Dainippon Screen Mfg Co Ltd Image contour line data generation device
CN1641632A (zh) * 2004-01-02 2005-07-20 诺基亚公司 转换表格信息以便在面积有限的显示器上表现
JP2012059213A (ja) * 2010-09-13 2012-03-22 Toyota Auto Body Co Ltd 二値化処理方法及び画像処理装置
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN111460927A (zh) * 2020-03-17 2020-07-28 北京交通大学 对房产证图像进行结构化信息提取的方法
CN111611783A (zh) * 2020-06-18 2020-09-01 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置
CN111652204A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 目标文本区域选择的方法、装置、电子设备和存储介质
CN112183038A (zh) * 2020-09-23 2021-01-05 国信智能系统(广东)有限公司 一种表格识别套打方法、计算机设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230174B1 (en) * 1998-09-11 2001-05-08 Adobe Systems Incorporated Method of generating a markup language document containing image slices
US7149967B2 (en) * 2003-03-27 2006-12-12 Microsoft Corporation Method and system for creating a table version of a document
JP2007257153A (ja) * 2006-03-22 2007-10-04 Ntt Data Corp 文書データ読み上げ装置およびそのコンピュータプログラム
JP6607496B2 (ja) * 2015-12-22 2019-11-20 シャープ株式会社 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS64561A (en) * 1987-01-23 1989-01-05 Dainippon Screen Mfg Co Ltd Image contour line data generation device
CN1641632A (zh) * 2004-01-02 2005-07-20 诺基亚公司 转换表格信息以便在面积有限的显示器上表现
JP2012059213A (ja) * 2010-09-13 2012-03-22 Toyota Auto Body Co Ltd 二値化処理方法及び画像処理装置
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN111460927A (zh) * 2020-03-17 2020-07-28 北京交通大学 对房产证图像进行结构化信息提取的方法
CN111652204A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 目标文本区域选择的方法、装置、电子设备和存储介质
CN111611783A (zh) * 2020-06-18 2020-09-01 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置
CN112183038A (zh) * 2020-09-23 2021-01-05 国信智能系统(广东)有限公司 一种表格识别套打方法、计算机设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《复杂表格文档预处理与文本提取算法研究》;潘军;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170615(第6期);I138-1313 *

Also Published As

Publication number Publication date
CN114529925A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114529925B (zh) 一种全线表表格结构识别方法
CN111814722B (zh) 一种图像中的表格识别方法、装置、电子设备及存储介质
JP4924165B2 (ja) 形状比較装置および形状比較方法
CN102790841B (zh) 书籍的书脊区域中数字图像的检测和校正方法
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN113435240B (zh) 一种端到端的表格检测和结构识别方法及系统
Liu et al. Restoring camera-captured distorted document images
US8995770B2 (en) Word warping for offline handwriting recognition
CN112949455B (zh) 一种增值税发票识别系统及方法
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
CN113705673A (zh) 一种文字检测方法、装置、设备及存储介质
CN113971809A (zh) 一种基于深度学习的文本识别方法、设备及存储介质
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN115620322A (zh) 一种基于关键点检测的全线表表格结构识别方法
CN113343987B (zh) 文本检测处理方法、装置、电子设备及存储介质
CN113033559A (zh) 一种基于目标检测的文本检测方法及装置、存储介质
Gyamfi et al. Pixel-based unsupervised classification approach for information detection on optical markup recognition sheet
JP2002150280A (ja) 歪み補正方式
CN106056575B (zh) 一种基于似物性推荐算法的图像匹配方法
US10970847B2 (en) Document boundary detection using deep learning model and image processing algorithms
CN111507946A (zh) 基于相似性样本的元素数据驱动的花型图案快速生成方法
JP4208520B2 (ja) 画像処理装置および画像処理方法、プログラムおよび記憶媒体
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN114692661A (zh) 二维码识别方法、存储介质和计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant