CN112200822A - 表格重建方法、装置、计算机设备及存储介质 - Google Patents

表格重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112200822A
CN112200822A CN202011184112.9A CN202011184112A CN112200822A CN 112200822 A CN112200822 A CN 112200822A CN 202011184112 A CN202011184112 A CN 202011184112A CN 112200822 A CN112200822 A CN 112200822A
Authority
CN
China
Prior art keywords
image
contour
area
form image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011184112.9A
Other languages
English (en)
Inventor
盛森
姜福泉
杨智林
魏汝兰
梁哲恒
吉绪发
章小明
宋军
成晓攀
蔡胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Digital Technology Co ltd
Original Assignee
South Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Digital Technology Co ltd filed Critical South Digital Technology Co ltd
Priority to CN202011184112.9A priority Critical patent/CN112200822A/zh
Publication of CN112200822A publication Critical patent/CN112200822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本申请提供一种表格重建方法、装置、计算机设备及存储介质，涉及图像处理技术领域。该方法包括：对表格图像进行轮廓检测；根据表格图像的轮廓检测结果，确定表格图像中表格区域的区域轮廓；根据区域轮廓对表格图像进行正射矫正，得到正射矫正后的表格图像；对正射矫正后的表格图像进行轮廓检测，得到表格图像中表格区域的多个目标轮廓；根据多个目标轮廓进行表格重建。本申请实施例可提高重建的表格与原表格的格式的匹配度，提高了表格重建的效果。

Description

表格重建方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种表格重建方法、装置、计算机设备及存储介质。
背景技术
对表格图像中的表格进行识别并提取是互联网时代非常重要的一项技术。在一些专业的OCR(Optical Character Recognition，光学字符识别)软件，例如ABByy finereader中，提供付费的表格识别提取技术，但这些技术并未被公开使用。
现有的对表格图像中的表格进行重建，普遍采用机器视觉算法，对表格图像中的线段进行提取，基于提取到的线段进行表格重建。
但是，采用机器视觉算法进行表格图像中的表格重建，重建的表格与表格图像中的原表格的一致性较差，不利于对较为复杂的表格图像进行表格重建。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种表格重建方法、装置、计算机设备及存储介质，以便使重建的表格与表格图像中的原表格的格式保持一致。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种表格重建方法，包括：
对表格图像进行轮廓检测；
根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓；
根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像；
对所述正射矫正后的表格图像进行轮廓检测，得到所述表格区域中的多个目标轮廓；
根据所述多个目标轮廓进行表格重建。
可选的，所述轮廓检测结果包括：所述表格图像中的多个初始轮廓，以及每个初始轮廓的层级结构，所述每个初始轮廓的层级结构用于表征所述每个初始轮廓在所述表格图像中的层级位置；
所述根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓，包括：
根据所述多个每个初始轮廓的层级结构，从所述多个初始轮廓中确定最外层的轮廓为所述表格图像中表格区域的区域轮廓。
可选的，所述根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像，包括：
对所述区域轮廓进行多边形近似，得到初始多边形的顶点坐标；
根据所述初始多边形的顶点坐标，求取所述初始多边形的外接矩形，得到所述外接矩形的顶点坐标；
根据所述初始多边形的顶点坐标和所述外接矩形的顶点坐标，计算单应矩阵；
根据所述单应矩阵，对所述表格图像进行正射矫正，得到正射矫正后的表格图像。
可选的，所述对表格图像进行轮廓检测，得到所述表格图像中的多个初始轮廓，以及每个初始轮廓的层级结构，包括：
对所述表格图像进行灰度处理，得到灰度表格图像；
对所述灰度表格图像进行二值化处理，得到二值化表格图像；
对所述二值化表格图像进行轮廓检测，得到所述表格图像中的多个初始轮廓，以及所述层级结构。
可选的，所述根据所述多个目标轮廓进行表格重建，包括：
根据每个目标轮廓的坐标点，求取所述每个目标轮廓的外接矩形，得到单元格集合，所述单元格集合中每个单元格为：一个目标轮廓的外接矩形；
根据所述单元格集合中多个单元格的边界，构建表格网格；
根据所述多个单元格的边界和所述表格网格进行表格重建。
可选的，所述根据每个目标轮廓的坐标点，求取所述每个目标轮廓的外接矩形，得到单元格集合，包括：
采用单元格过滤算法，过滤所述多个目标轮廓的外接矩形中非单元格的外接矩阵，得到所述单元格集合。
可选的，所述根据所述多个单元格的边界和所述表格网格进行表格重建，包括：
根据所述每个单元格的边界，对所述表格网格中所述每个单元格的边界之间的网格进行合并，得到重建后的表格。
第二方面，本申请实施例还提供了一种表格重建装置，所述装置包括：
检测模块，用于对表格图像进行轮廓检测；
区域轮廓确定模块，用于根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓；
矫正模块，用于根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像；
目标轮廓确定模块，用于对所述正射矫正后的表格图像进行轮廓检测，得到所述表格图像中表格区域的多个目标轮廓；
重建模块，用于根据所述目标轮廓进行表格重建。
可选的，所述区域轮廓确定模块具体用于根据所述多个初始轮廓的层级结构，从所述多个轮廓中确定最外层的轮廓为所述表格图像中表格区域的区域轮廓。
可选的，所述矫正模块包括：
多边形近似单元，用于对所述区域轮廓进行多边形近似，得到初始多边形的顶点坐标；
外接矩形求取单元，用于根据所述初始多边形的顶点坐标，求取所述初始多边形的外接矩形，得到所述外接矩形的顶点坐标；
单应矩阵计算单元，用于根据所述初始多边形的顶点坐标和所述外接矩形的顶点坐标，计算单应矩阵；
正射矫正单元，用于根据所述单应矩阵，对所述表格图像进行正射矫正，得到正射矫正后的表格图像。
可选的，所述区域轮廓确定模块包括：
灰度处理单元，用于对所述表格图像进行灰度处理，得到灰度表格图像；
二值化处理单元，用于对所述灰度表格图像进行二值化处理，得到二值化表格图像；
初始轮廓确定单元，用于对所述二值化表格图像进行轮廓检测，得到所述表格图像中的多个初始轮廓，以及所述层级结构。
可选的，所述重建模块包括：
单元格集合单元，用于根据每个目标轮廓的坐标点，求取所述每个目标轮廓的外接矩形，得到单元格集合，所述单元格集合中的每个单元格为一个目标轮廓的外接矩形；
网格构建单元，用于根据所述单元格集合中多个单元格的边界，构建表格网格；
表格重建单元，用于根据所述多个单元格的边界和所述表格网络进行表格重建。
可选的，所述单元格集合单元具体用于采用单元格过滤算法，过滤所述多个目标轮廓的外接矩形中非单元格的外接矩阵，得到所述单元格集合。
可选的，所述表格重建单元具体用于根据所述每个单元格的边界，对所述表格网络中所述每个单元格的边界之间的网格进行合并，得到重建后的表格。
第三方面，本申请实施例还提供一种计算机设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的表格重建方法。
第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述任一项所述的表格重建方法。
本申请的有益效果是：
本申请实施例提供的表格重建方法、装置、计算机设备及存储介质，可通过对表格图像进行轮廓检测，确定表格图像中表格区域的区域轮廓，并根据区域轮廓对表格图像进行正射矫正之后再次进行轮廓检测，确定正射矫正后的表格图像中表格区域内的目标轮廓，根据目标轮廓进行表格重建。本申请实施例的方案，可基于表格图像中表格区域的区域轮廓对表格图像进行正射矫正，可避免正射矫正之后的表格图像中的表格变形，从而避免该正射矫正后的表格图像中的表格区域内的目标轮廓的变形，从而提高基于该目标轮廓进行表格重建所得到的表格与原表格的格式的匹配度，提高了表格重建的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种表格重建方法的流程示意图；
图2为本申请实施例提供的第二种表格重建方法的流程示意图；
图3为本申请实施例提供的第三种表格重建方法的流程示意图；
图4为本申请实施例提供的第四种表格重建方法的流程示意图；
图5为本申请实施例提供的一种表格图像的示意图；
图6为本申请实施例提供的一种单元格集合的示意图；
图7为本申请实施例提供的一种表格网格的示意图；
图8为本申请实施例提供的重建后的表格的示意图；
图9为本申请实施例提供的一种表格重建装置的结构示意图；
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为实现对表格图像中的表格重建，本申请实施例提供了下述多种可能的实现方式。如下结合附图对示例进行解释说明。
需要指出的是，本申请所提供的表格重建方法，可由安装并运行有表格重建应用的计算机设备实现，该计算机设备可以为服务器，也可以为客户端设备，本申请对此不做限制。
图1为本申请实施例提供的第一种表格重建方法的流程示意图，如图1所示，该方法包括：
S10：对表格图像进行轮廓检测。
具体地，表格图像为对包含有表格的文件进行扫描或者拍摄得到的图像，表格图像中包含表格轮廓和其他字符轮廓，表格轮廓是由多个水平直线段和多个垂直直线段构成的，对表格图像进行轮廓检测包括对表格图像中的多个水平直线段和多个垂直直线段进行检测。
S20：根据表格图像的轮廓检测结果，确定表格图像中表格区域的区域轮廓。
具体地，轮廓检测结果包括：表格图像中的多个水平直线段和多个垂直直线段，以及多个水平直线段和多个垂直直线段之间的相对位置，多个水平直线段和多个垂直直线段构成了表格轮廓，表格轮廓包括区域轮廓和单元格轮廓，区域轮廓用于限定表格区域在表格图像中的位置，单元格轮廓用于限定表格区域中多个表格单元在该表格图像中的位置，计算各个表格轮廓之间所构成区域的面积，构成面积最大区域的水平直线段和垂直直线段为表格区域的区域轮廓(ContourMax)。
S30：根据区域轮廓对表格图像进行正射矫正，得到正射矫正后的表格图像。
具体地，扫描或拍摄的表格图像汇中区域轮廓(ContourMax)的水平直线段相对于预设水平方法存在倾斜和变形，垂直直线段相对于预设垂直方向存在倾斜和变形。预设水平方向是x-y坐标系中的x轴方向，预设垂直方向是x-y坐标系中的y轴方向。
对区域轮廓的水平直线段进行正射矫正，得到正射矫正后的水平直线段，对区域轮廓的垂直直线段进行正射矫正，得到正射矫正后的垂直直线段，正射矫正后的水平直线段和正射矫正后的垂直直线段构成正射矫正后的区域轮廓，计算区域轮廓与正射矫正后的区域轮廓的映射关系，根据该映射关系对表格图像进行正射矫正，得到正射矫正后的表格图像(Orthographic)，以使得正射矫正后的表格图像的水平直线段相对于预设水平方向平行，正射矫正后的表格图像的垂直直线段相对于预设水平方向平行。映射关系是根据区域轮廓上的多个坐标点与正射矫正后的区域轮廓上的多个坐标点的坐标对应关系得到的，区域轮廓上的多个坐标点与正射矫正后的区域轮廓上的多个坐标点一一对应。
S40：对正射矫正后的表格图像进行轮廓检测，得到表格区域的多个目标轮廓。
具体地，经过上述S30正射矫正后的表格图像(Orthographic)，再次进行轮廓检测，其轮廓检测方式同上述S10，轮廓检测结果包括：表格图像中的多个目标水平直线段和多个目标垂直直线段，以及多个目标水平直线段和多个目标垂直直线段之间的相对位置，多个目标水平直线段和多个目标垂直直线段构成多个目标轮廓(OrthoContours)，目标轮廓(OrthoContours)包括目标区域轮廓和目标单元格轮廓，目标区域轮廓用于限定表格区域在该表格图像中的位置，目标单元格轮廓用于限定表格区域内中多个表格单元在该表格图像中的位置。
S50：根据多个目标轮廓进行表格重建。
具体地，根据目标区域轮廓重建表格图像中表格所处的精确目标区域，根据目标单元格轮廓重建表格图像中多个单元格所处的目标位置区域，完成对表格进行重建。可选的，在通过执行该S50进行表格重建，得到重建后的表格后，可将重建后的表格以电子表格文件进行输出或者存储至预设存储位置。
综上所述，本申请实施例所提供的表格重建方法，可通过对表格图像进行轮廓检测，确定表格图像中表格区域的区域轮廓，并根据区域轮廓对表格图像进行正射矫正之后再次进行轮廓检测，确定正射矫正后的表格图像中表格区域内的目标轮廓，根据目标轮廓进行表格重建。本申请实施例的方案，可基于表格图像中表格区域的区域轮廓对表格图像进行正射矫正，可避免正射矫正之后的表格图像中的表格变形，从而避免该正射矫正后的表格图像中的表格区域内的目标轮廓的变形，从而提高基于该目标轮廓进行表格重建所得到的表格与原表格的格式的匹配度，提高了表格重建的效果。
在上述表格重建算法的基础上，本申请实施例还提供一种表格重建方法，在该实施例所提供的表格重建方法中，其轮廓检测结果可包括：表格图像中的多个初始轮廓，以及每个初始轮廓的层级结构，每个初始轮廓的层级结构用于表征每个初始轮廓在表格图像中的层级位置。相应的，上述S10可包括：
根据多个初始轮廓的层级结构，从多个初始轮廓中确定最外层的轮廓为表格图像中表格区域的区域轮廓。
具体地，多个初始轮廓是由多个水平直线段和垂直直线段构成的轮廓，对多个初始轮廓在表格区域中的相对位置进行层级划分，确定每个初始轮廓的层级位置，并将每个初始轮廓的层级位置表示为层级结构。层级结构中处于最外层的初始轮廓用于限定表格区域在表格图像中的位置，最外层的初始轮廓构成的区域面积最大，最外层的初始轮廓即为表格图像中表格区域的区域轮廓。
本申请实施例的方法，可根据多个初始轮廓的层级结构，从多个初始轮廓中确定最外层的轮廓为表格图像中表格区域的区域轮廓。本申请实施例的方案，通过对多个初始轮廓进行层级划分，将每个初始轮廓在表格图像中的层级位置以层级结构的方式表示，位于所有层级结构中最外层的初始轮廓为表格图像中表格区域的区域轮廓。在表格图像中存在嵌套表格和/或多表格的情况下，可根据每个表格区域的初始轮廓的层级结构确定每个表格区域的区域轮廓，对表格图像进行正射矫正，并根据正射矫正后的表格图像中的每个表格区域的目标轮廓对表格图像中嵌套表格和/多表格的重建。本申请实施例的方案，可实现对存在嵌套表格和/多表格的表格图像进行表格重建。
在上述任一所示的表格重建方法的基础上，本申请实施例还提供一种表格重建方法的可能实现方式。图2为本申请实施例提供的第二种表格重建方法的流程示意图，如图2所示，上述S30可包括：
S31：对区域轮廓进行多边形近似，得到初始多边形的顶点坐标。
具体地，对表格图像进行轮廓检测，得到的区域轮廓是由两条横向区域轮廓和两条纵向区域轮廓构成的，两条横向区域轮廓和两条纵向区域轮廓可能存在倾斜、变形。
在一种示例中，对区域轮廓进行多边形近似包括：每条横向区域轮廓和每条纵向区域轮廓均由多个坐标点构成，根据多边形回归算法，对每条横向区域轮廓上的多个坐标点进行线性拟合，形成初始多边形的上轮廓线和下轮廓线，对每条纵向区域轮廓上的多个坐标点进行线性拟合，形成初始多边形的左轮廓线和右轮廓线，上轮廓线、下轮廓线、左轮廓线和右轮廓线共同构成初始多边形，上轮廓线、下轮廓线与左轮廓线和右轮廓线的交点为初始多边形的四个顶点，顶点坐标为(RawPoint1，RawPoint2，RawPoint3，RawPoint4)。
S32：根据初始多边形的顶点坐标，求取初始多边形的外接矩形，得到外接矩形的顶点坐标。
具体地，采用最小外接矩形方法求取初始多边形的外接矩形，最小外接矩形方法是根据初始多边形的各个顶点坐标中的极限坐标值限定外接矩形的边界，极限坐标值包括：最小横坐标值、最大横坐标值、最小纵坐标值、最大纵坐标值，连接四个极限坐标点(最小横坐标，最小纵坐标)、(最大横坐标，最小纵坐标)、(最小横坐标，最大纵坐标)、(最大横坐标，最大纵坐标)，得到初始多边形的外接矩形，这四个极限坐标点的坐标即为该外接矩形的顶点坐标(RectPoint1，RectPoint2，RectPoint3，RectPoint4)。
S33：根据初始多边形的顶点坐标和外接矩形的顶点坐标，计算单应矩阵。
具体地，单应矩阵可用来描述初始多边形和外接矩形的坐标映射关系，根据初始多边形的顶点坐标(RawPoint1，RawPoint2，RawPoint3，RawPoint4)和外接矩形的顶点坐标(RectPoint1，RectPoint2，RectPoint3，RectPoint4)，计算单应矩阵H。
单应矩阵M的计算过程如下：
以初始多边形的顶点坐标RawPoint1和外接矩形的顶点坐标RecPoint1为例，设初始多边形的顶点坐标RawPoint1的坐标值为(x1,y1)，外接矩形的顶点坐标RecPoint1的坐标值为(x′1,y′1),单应矩阵以如下映射：
Figure BDA0002747956470000131
单应矩阵H可将外接矩形的坐标(x1，y1)映射成初始多边形的坐标(x，y)，或者将初始多边形的坐标(x，y)映射成外接矩形的坐标(x1，y1)，则由公式(1)可以得到：
Figure BDA0002747956470000132
由上述公式(2)可以得到
Figure BDA0002747956470000133
由公式(3)可以推导出
Figure BDA0002747956470000134
令h＝[h11 h12 h13 h21 h22 h23 h31 h32 h33]T，设Ah＝0，则由公式(4)可得：
Figure BDA0002747956470000141
对于初始多边形的四个顶点和外接矩形的四个顶点，基于公式(5)可得：
Figure BDA0002747956470000142
对于公式6，采用最小二乘算法，基于Ah＝0，求解h，从而得到单应矩阵H。
S34：根据单应矩阵，对表格图像进行正射矫正，得到正射矫正后的表格图像。
具体地，单应矩阵表征初始多边形和外接矩形之间的坐标映射关系，通过单应矩阵对表格图像进行正射矫正，实现对表格图像的旋转、缩放、透视角度的调整等，使得经过正射矫正的表格图像可与原表格的格式保持一致。
本申请实施例所提供的方法，可通过对表格区域的区域轮廓进行多边形近似，并根据初始多边形的顶点坐标求取初始多边形的外接矩形，基于初始多边形的顶点坐标和外接矩形的顶点坐标，计算单应矩阵，根据单应矩阵对表格图像进行正射矫正，得到正射矫正后的表格图像。本申请实施例的方案，根据初始多边形的顶点坐标和初始多边形的外接矩形的顶点坐标，计算单应矩阵，基于该单应矩阵对表格图像进行正射矫正，可避免正射矫正之后的表格图像中的表格变形，从而避免该正射矫正后的表格图像中的表格区域内的目标轮廓的变形，从而提高基于该目标轮廓进行表格重建所得到的表格与原表格的格式的匹配度，提高了表格重建的效果。
在上述任一所示的表格重建算法的基础上，本申请实施例还提供一种表格重建方法，图3为本申请实施例提供的第三种表格重建方法的流程示意图，如图3所示，上述S10包括：
S11：对表格图像进行灰度处理，得到灰度表格图像。
具体地，提取表格图像每一个像素点的红、绿、蓝三色值，灰度处理是使红、绿、蓝三种颜色分量R、G、B的值相同，由于颜色值的取值范围为[0，255]，所以灰度的级别有256种，即灰度图像仅能表现256种灰度颜色，在可能的实现方式，例如可采用最大值灰度处理方法、平均值灰度处理方法又或者加权平均值灰度处理方法对表格图像进行灰度处理，得到灰度表格图像(GrayImage)。
可选的，本申请实施例可采用加权平均值灰度处理方法对表格图像进行灰度处理，得到灰度表格图像，通过加权平均值灰度处理方法得到的灰度表格图像的各个像素点的像素值更准确。在其他实施例中，采用灰度处理的方法以实际需要为准，本申请对此不做限制。
S12：对灰度表格图像进行二值化处理，得到二值化表格图像。
具体地，二值化处理是将灰度表格图像的每个像素点的灰度值转换为0像素值或255像素值，0为黑色，255为白色，即将灰度表格图像转换为黑白的二值化表格图像(Binary)。在本申请实施例中，采用OTSU(最大类间方差)算法，将灰度值小于或等于预设灰度阈值的像素点的灰度值转换为0，即将该像素点的灰色转换为黑色；将灰度值大于预设灰度阈值的像素点的灰度值转换为255，即将该像素点的灰色转换为白色，得到二值化表格图像。示例的，预设灰度阈值为127，则二值化处理是将灰度值小于或等于127的像素点转换为0，将灰度值大于127的像素点转换为255。
S13：对二值化表格图像进行轮廓检测，得到表格图像中的多个初始轮廓，以及层级结构。
具体地，二值化表格图像(Binary)中轮廓为黑色，轮廓的各个像素点的像素值为0，对像素值为0的像素点进行检测，并将像素值为0的像素点构成的直线段作为多个初始轮廓，并确定各个初始轮廓之间的相对位置，即多个初始轮廓的层级结构。
本申请实施例所提供的方法，可在对表格图像进行灰度处理之后再进行二值化处理，得到二值化表格图像，基于二值化表格图像进行轮廓检测，得到表格图像中的多个初始轮廓，以及层级结构。本申请实施例的方案，对表格图像进行灰度处理，基于灰度处理图像进一步进行二值化处理，二值化处理后的表格图像中表格区域的初始轮廓比原表格图像的初始轮廓更便于检测，提高轮廓检测准确度，从而提高了表格重建的效果。
在上述任一所示的表格重建方法的基础上，本申请实施例还提供一种表格重建方法，图4为本申请实施例提供的第四种表格重建方法的流程示意图，如图4所示，上述S50包括：
S51：根据每个目标轮廓的坐标点，求取每个目标轮廓的外接矩形，得到单元格集合，单元格集合中每个单元格为：一个目标轮廓的外接矩形。
具体地，在上述S40之后，得到了经过正射矫正后的表格图像中表格区域的多个目标轮廓，每个目标轮廓均由多个坐标点构成，根据每个目标轮廓的多个坐标点绘制每个目标轮廓的边界，根据水平方向的目标轮廓绘制外接矩形的上边界和下边界，根据垂直方向的目标轮廓绘制外接矩形的左边界和右边界，互相连接的上边界、下边界、左边界和右边界共同构成一个外接矩形，一个外接矩形对应表格图像中的一个单元格，每个目标轮廓可与其他目标轮廓构成至少一个外接矩形，基于所有目标轮廓构成的外接矩形得到表格图像的单元格集合(cells)。图5为本申请实施例提供的一种表格图像的示意图，图6为本申请实施例提供的一种单元格集合的示意图。确定图5所示的表格图像中表格区域的多个目标轮廓后，经过上述S51得到如图6所示的单元格集合。
S52：根据单元格集合中多个单元格的边界，构建表格网格。
具体地，每个单元格包含上边界、下边界、左边界和右边界，连接各个单元格处于同一水平线的上边界和下边界，形成表格网格的水平网格线，连接各个单元格处于同一垂直线的左边界和右边界，形成表格网格的垂直网格线，水平网格线和垂直网格线构成表格网格(TableGrid)，图7为本申请实施例提供的一种表格网格的示意图。
S53：根据多个单元格的边界和表格网格进行表格重建。
具体地，从第一个单元格开始，按照该单元格的上下左右边界在表格区域中的位置，在表格网格中重建第一个单元格；对单元格集合中的每个单元格依次进行遍历，在表格网格中依次重建每个单元格，当重建完最后一个单元格后，完成对表格图像中表格的重建。
本申请实施例所提供的方法，可根据每个目标轮廓的外接矩形，得到表格图像中表格的单元格集合，并根据单元格集合中多个单元格的边界构建表格网格，根据多个单元格的边界在表格网格中进行表格重建。本申请实施例通过每个目标轮廓的外接矩形得到单元格集合，并基于单元格的边界构建表格网格，利用多个单元格的边界信息，在表格网格上对多个单元格进行重建，基于表格网格进行表格重建得到的表格与原表格的格式匹配，提高表格重建效果。
在一种可能的实现方式中，上述S51可包括：
采用单元格过滤算法，过滤多个目标轮廓的外接矩形中非单元格的外接矩形，得到单元格集合。
具体地，采用单元格过滤算法，对非目标轮廓的直线段形成的外接矩形进行过滤，得到最终的单元格集合(FIlteredCells)。非目标轮廓的直线段例如为“口”“回”、破折号“——”等字符。
本申请实施例提供的方法，可通过采用单元格过滤算法，对单元格集合中的非单元格进行过滤，避免将非目标轮廓的外接矩形作为单元格，提高经过表格重建得到的表格与原表格的格式的匹配度，提高表格重建的效果。
在一种可能的实现方式中，上述S53可包括：
根据每个单元格的边界，对表格网格中每个单元格的边界之间的网格进行合并，得到重建后的表格。
具体地，根据每个单元格的上下左右边界的位置信息，例如一个单元格的左边界位于第一垂直网格线上，右边界位于第四垂直网格线上，则将第二垂直网格线和第三垂直网格线进行合并，在表格网格上重建该单元格；若一个单元格的左边界位于第五垂直网格线上，右边界位于第七垂直网格线上，上边界位于第三水平网格线上，下边界位于第五水平网格线上，则将第六垂直网格线纵向合并，将第四水平网格线横向合并，在表格网格上重建该单元格。遍历每个单元格的边界位置信息，对每个单元格的边界之间的网格进行合并，得到重建后的表格，图8为本申请实施例提供的重建后的表格的示意图。
本申请实施例提供的方法，可根据各个单元格的边界，在表格网格上对单元格边界之间的网格进行合并，提高经过表格重建所得到的表格与原表格的格式的匹配度，使重建的表格中每个单元格的长度、宽度与原表格中每个单元格的长度、宽度保持一致，提高了表格重建的效果。
下述对用以执行本发明所提供的表格重建方法的装置、计算机设备及存储介质等进行说明，其具体的实现过程及技术效果参见上述，下述不再赘述。
图9为本申请实施例提供的一种表格重建装置的结构示意图，如图9所示，该表格重建装置可包括：
检测模块100，用于对表格图像进行轮廓检测；
区域轮廓确定模块200，用于根据表格图像的轮廓检测结果，确定表格图像中表格区域的区域轮廓；
矫正模块300，用于根据区域轮廓对表格图像进行正射矫正，得到矫正后的表格图像；
目标轮廓确定模块400，用于对正射矫正后的表格图像进行轮廓检测，得到表格区域的多个目标轮廓；
重建模块500，用于根据目标轮廓进行表格重建。
在一种可选实施方式中，区域轮廓确定模块200具体用于根据多个初始轮廓的层级结构，从多个轮廓中确定最外层的轮廓为表格图像中表格区域的区域轮廓。
在一种可选实施方式中，矫正模块300包括：
多边形近似单元，用于对区域轮廓进行多边形近似，得到初始多边形的顶点坐标。
外接矩形求取单元，用于根据初始多边形的顶点坐标，求取初始多边形的外接矩形，得到外接矩形的顶点坐标。
单应矩阵计算单元，用于根据初始多边形的顶点坐标和外接矩形的顶点坐标，计算单应矩阵。
正射矫正单元，用于根据单应矩阵，对表格图像进行正射矫正，得到正射矫正后的表格图像。
在一种可选实施方式中，区域轮廓确定模块200包括：
灰度处理单元，用于对表格图像进行灰度处理，得到灰度表格图像。
二值化处理单元，用于对灰度表格图像进行二值化处理，得到二值化表格图像。
初始轮廓确定单元，用于对二值化表格图像进行轮廓检测，得到表格图像中的多个初始轮廓，以及所述层级结构。
在一种可选实施方式中，重建模块500包括：
单元格集合单元，用于根据每个目标轮廓的坐标点，求取每个目标轮廓的外接矩形，得到单元格集合，单元格集合中的每个单元格为一个目标轮廓的外接矩形。
网格构建单元，用于根据单元格集合中多个单元格的边界，构建表格网格。
表格重建单元，用于根据多个单元格的边界和表格网络进行表格重建。
在一种可选实施方式中，单元格集合单元具体用于采用单元格过滤算法，过滤多个目标轮廓的外接矩形中非单元格的外接矩阵，得到单元格集合。
在一种可选实施方式中，表格重建单元具体用于根据每个单元格的边界，对表格网络中每个单元格的边界之间的网格进行合并，得到重建后的表格。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图10为本申请实施例提供的计算机设备的示意图，该计算机设备可以为安装并运行有表格重建应用的服务器或者客户端设备。如图10所示，该计算机设备可包括：处理器601、存储器602。
存储器602存储有处理器601可执行的计算机程序，处理器601执行计算机程序时实现上述任一实施例的表格重建方法。具体实现方式和技术效果与表格重建方法类似，这里不再赘述。
可选地，本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被读取并执行时，实现上述任一实施例的表格重建方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种表格重建方法，其特征在于，包括：
对表格图像进行轮廓检测；
根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓；
根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像；
对所述正射矫正后的表格图像进行轮廓检测，得到所述表格区域中的多个目标轮廓；
根据所述多个目标轮廓进行表格重建。
2.如权利要求1所述的方法，其特征在于，所述轮廓检测结果包括：所述表格图像中的多个初始轮廓，以及每个初始轮廓的层级结构，所述每个初始轮廓的层级结构用于表征所述每个初始轮廓在所述表格图像中的层级位置；
所述根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓，包括：
根据所述多个初始轮廓的层级结构，从所述多个初始轮廓中确定最外层的轮廓为所述表格图像中表格区域的区域轮廓。
3.如权利要求1所述的方法，其特征在于，所述根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像，包括：
对所述区域轮廓进行多边形近似，得到初始多边形的顶点坐标；
根据所述初始多边形的顶点坐标，求取所述初始多边形的外接矩形，得到所述外接矩形的顶点坐标；
根据所述初始多边形的顶点坐标和所述外接矩形的顶点坐标，计算单应矩阵；
根据所述单应矩阵，对所述表格图像进行正射矫正，得到正射矫正后的表格图像。
4.如权利要求1所述的方法，其特征在于，所述对表格图像进行轮廓检测，得到所述表格图像中的多个初始轮廓，以及每个初始轮廓的层级结构，包括：
对所述表格图像进行灰度处理，得到灰度表格图像；
对所述灰度表格图像进行二值化处理，得到二值化表格图像；
对所述二值化表格图像进行轮廓检测，得到所述表格图像中的多个初始轮廓，以及所述层级结构。
5.如权利要求1所述的方法，其特征在于，所述根据所述多个目标轮廓进行表格重建，包括：
根据每个目标轮廓的坐标点，求取所述每个目标轮廓的外接矩形，得到单元格集合，所述单元格集合中每个单元格为：一个目标轮廓的外接矩形；
根据所述单元格集合中多个单元格的边界，构建表格网格；
根据所述多个单元格的边界和所述表格网格进行表格重建。
6.如权利要求5所述的方法，其特征在于，所述根据每个目标轮廓的坐标点，求取所述每个目标轮廓的外接矩形，得到单元格集合，包括：
采用单元格过滤算法，过滤所述多个目标轮廓的外接矩形中非单元格的外接矩阵，得到所述单元格集合。
7.如权利要求5所述的方法，其特征在于，所述根据所述多个单元格的边界和所述表格网格进行表格重建，包括：
根据所述每个单元格的边界，对所述表格网格中所述每个单元格的边界之间的网格进行合并，得到重建后的表格。
8.一种表格重建装置，其特征在于，所述装置包括：
检测模块，用于对表格图像进行轮廓检测；
区域轮廓确定模块，用于根据所述表格图像的轮廓检测结果，确定所述表格图像中表格区域的区域轮廓；
矫正模块，用于根据所述区域轮廓对所述表格图像进行正射矫正，得到正射矫正后的表格图像；
目标轮廓确定区域，用于对所述正射矫正后的表格图像进行轮廓检测，得到所述表格图像中表格区域的多个目标轮廓；
重建模块，用于根据所述目标轮廓进行表格重建。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有所示处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的表格重建方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7任一项所述的表格重建方法。
CN202011184112.9A 2020-10-28 2020-10-28 表格重建方法、装置、计算机设备及存储介质 Pending CN112200822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184112.9A CN112200822A (zh) 2020-10-28 2020-10-28 表格重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184112.9A CN112200822A (zh) 2020-10-28 2020-10-28 表格重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112200822A true CN112200822A (zh) 2021-01-08

Family

ID=74012048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184112.9A Pending CN112200822A (zh) 2020-10-28 2020-10-28 表格重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112200822A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991221A (zh) * 2021-03-30 2021-06-18 珠海必要工业科技股份有限公司 用于对异形定制区域的uv展开图进行矫正的方法及装置
CN113850249A (zh) * 2021-12-01 2021-12-28 深圳市迪博企业风险管理技术有限公司 一种图表信息格式化提取方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN106778739A (zh) * 2016-12-02 2017-05-31 中国人民解放军国防科学技术大学 一种曲面化变形文本页面图像矫正方法
CN108323208A (zh) * 2018-02-12 2018-07-24 深圳市汇顶科技股份有限公司 图像获取方法和装置
US20190087988A1 (en) * 2017-09-15 2019-03-21 Konica Minolta Laboratory U.S.A., Inc. Table cell validation
CN109948507A (zh) * 2019-03-14 2019-06-28 北京百度网讯科技有限公司 用于检测表格的方法和装置
CN110134924A (zh) * 2018-02-08 2019-08-16 佳能株式会社 重叠文本组件提取方法和装置、文本识别系统及存储介质
CN110263682A (zh) * 2019-06-04 2019-09-20 北京华宇信息技术有限公司 基于轮廓提取的表格识别方法和装置、设备及存储介质
CN110728124A (zh) * 2019-10-15 2020-01-24 深圳逻辑汇科技有限公司 用于可视化电子表格的方法、装置、设备及存储介质
CN111435969A (zh) * 2019-01-11 2020-07-21 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
JP2020113247A (ja) * 2019-01-11 2020-07-27 キヤノン株式会社 画像処理装置およびその制御方法、情報処理システム
CN111563453A (zh) * 2020-05-07 2020-08-21 北京百度网讯科技有限公司 用于确定表格顶点的方法、装置、设备和介质
CN111626027A (zh) * 2020-05-20 2020-09-04 北京百度网讯科技有限公司 表格结构还原方法、装置、设备、系统和可读存储介质
CN111626146A (zh) * 2020-05-08 2020-09-04 西安工业大学 一种基于模板匹配的合并单元格表格分割识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN106778739A (zh) * 2016-12-02 2017-05-31 中国人民解放军国防科学技术大学 一种曲面化变形文本页面图像矫正方法
US20190087988A1 (en) * 2017-09-15 2019-03-21 Konica Minolta Laboratory U.S.A., Inc. Table cell validation
CN110134924A (zh) * 2018-02-08 2019-08-16 佳能株式会社 重叠文本组件提取方法和装置、文本识别系统及存储介质
CN108323208A (zh) * 2018-02-12 2018-07-24 深圳市汇顶科技股份有限公司 图像获取方法和装置
CN111435969A (zh) * 2019-01-11 2020-07-21 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
JP2020113247A (ja) * 2019-01-11 2020-07-27 キヤノン株式会社 画像処理装置およびその制御方法、情報処理システム
CN109948507A (zh) * 2019-03-14 2019-06-28 北京百度网讯科技有限公司 用于检测表格的方法和装置
CN110263682A (zh) * 2019-06-04 2019-09-20 北京华宇信息技术有限公司 基于轮廓提取的表格识别方法和装置、设备及存储介质
CN110728124A (zh) * 2019-10-15 2020-01-24 深圳逻辑汇科技有限公司 用于可视化电子表格的方法、装置、设备及存储介质
CN111563453A (zh) * 2020-05-07 2020-08-21 北京百度网讯科技有限公司 用于确定表格顶点的方法、装置、设备和介质
CN111626146A (zh) * 2020-05-08 2020-09-04 西安工业大学 一种基于模板匹配的合并单元格表格分割识别方法
CN111626027A (zh) * 2020-05-20 2020-09-04 北京百度网讯科技有限公司 表格结构还原方法、装置、设备、系统和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991221A (zh) * 2021-03-30 2021-06-18 珠海必要工业科技股份有限公司 用于对异形定制区域的uv展开图进行矫正的方法及装置
CN113850249A (zh) * 2021-12-01 2021-12-28 深圳市迪博企业风险管理技术有限公司 一种图表信息格式化提取方法

Similar Documents

Publication Publication Date Title
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
US8548279B1 (en) Image matching using orientational consistency
JP6007602B2 (ja) 画像処理方法、画像処理装置、スキャナ及びコンピュータプログラム
JP7094702B2 (ja) 画像処理装置及びその方法、プログラム
JP4414401B2 (ja) 顔特徴点検出方法および装置並びにプログラム
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP2012515399A (ja) 画像パッチを表現するための方法及びシステム
JP3078166B2 (ja) 物体認識方法
CN111220235B (zh) 水位监测方法及装置
CN111161339B (zh) 一种间距测量方法、装置、设备以及计算机可读介质
JP4395188B2 (ja) 文書画像認識装置および文書画像認識プログラムの記憶媒体
CN112200822A (zh) 表格重建方法、装置、计算机设备及存储介质
CN116229007B (zh) 利用bim建模的四维数字图像构建方法、装置、设备及介质
CN115147499A (zh) 标定参数确定方法、混合标定板、装置、设备和介质
CN115222935A (zh) 图像校正方法、装置、电子设备、扫描笔及存储介质
CN114511865A (zh) 一种结构化信息的生成方法、装置和计算机可读存储介质
CN110458951A (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN112183596B (zh) 结合局部网格约束和几何约束的直线段匹配方法与系统
CN113159027B (zh) 基于最小外接矩形变体的七段式数显仪表识别方法
CN115375576A (zh) 生物特征光电扫描装置图像纠偏方法
CN110390339B (zh) 一种图像校正方法、装置及存储介质
CN107358138A (zh) 非线性畸变ean条码的校正方法、移动终端及存储装置
CN103870846B (zh) 一种图像表示方法及其在图像匹配、识别中的应用
CN117115275B (zh) 畸变参数的确定方法、装置和计算机设备
JP2004094427A (ja) 帳票画像処理装置及び該装置を実現するためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination