CN112733573B - 表格检测方法、装置、移动终端及存储介质 - Google Patents
表格检测方法、装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN112733573B CN112733573B CN201910972978.7A CN201910972978A CN112733573B CN 112733573 B CN112733573 B CN 112733573B CN 201910972978 A CN201910972978 A CN 201910972978A CN 112733573 B CN112733573 B CN 112733573B
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic information
- preset template
- matrix transformation
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 59
- 238000003708 edge detection Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 17
- 238000000605 extraction Methods 0.000 description 9
- 238000012015 optical character recognition Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种表格检测方法、装置、移动终端及存储介质,本申请实施例可以获取待检测的表格图像;对所述表格图像进行表格检测,得到表格的特征信息;获取预设模板表格的目标特征信息;根据所述特征信息和所述目标特征信息,计算所述表格图像中的表格与所述预设模板表格之间的矩阵变换关系;根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域。该方案可以基于表格图像中表格的特征信息,确定与预设模板表格之间的矩阵变换关系,从而可以根据矩阵变换关系有效及快速确定表格的各个区域,提高了表格检测的准确性和效率。
Description
技术领域
本申请涉及计算机视觉技术领域,具体涉及一种表格检测方法、装置、移动终端及存储介质。
背景技术
随着信息技术的发展,数据信息开始指数级增长,在工程、统计、或科研等多种场景中,可能会存在很多纸质版或电子版的数据。其中,表格作为数据记录汇总中最精简的表达方式,包含了很多的有效信息,因此需要对表格进行检测,以便提取表格中的信息。
现有表格检测方法,一般是针对便携式文档格式(PDF,Portable DocumentForma)等电子表格进行检测,且检测方式比较简单,例如,只能对清晰表格直线进行检测,而对于图片格式的表格,由于受到图纸形变、拍摄角度、或拍摄光线等拍摄因素的影响,因此该图片格式的表格的图像质量较差,导致现有表格检测方法无法准确检测出表格。
发明内容
本申请实施例提供一种表格检测方法、装置、移动终端及存储介质,可以提高表格检测的准确性和效率。
第一方面,本申请实施例提供了一种表格检测方法,包括:
获取待检测的表格图像;
对所述表格图像进行表格检测,得到表格的特征信息;
获取预设模板表格的目标特征信息;
根据所述特征信息和所述目标特征信息,计算所述表格图像中的表格与所述预设模板表格之间的矩阵变换关系;
根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域。
在一些实施方式中,所述根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域之后,所述方法还包括:
检测所述区域内是否存在字符;
当所述区域内存在字符时,对所述区域内的字符进行识别。
在一些实施方式中,所述对所述表格图像进行表格检测,得到表格的特征信息包括:
通过预设的边缘检测模型对所述表格图像进行表格线检测,得到二值化的线条图像;
对所述线条图像进行特征提取,得到表格的特征信息。
在一些实施方式中,所述对所述线条图像进行特征提取,得到表格的特征信息包括:
获取所述线条图像中关键线条之间的交点;
将所述交点设置为所述表格的特征信息。
在一些实施方式中,所述通过预设的边缘检测模型对所述表格图像进行表格线检测,得到线条图像之前,所述方法还包括:
获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;
通过边缘检测模型基于每张样本图像生成二值化图像;
根据所述目标二值化图像和二值化图像对所述边缘检测模型的参数进行调整,得到预设的边缘检测模型。
在一些实施方式中,所述获取预设模板表格的目标特征信息包括:
通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;
基于所述特征图进行线条检测,得到二值化的模板线条图像;
对所述模板线条图像进行特征提取,得到所述预设模板表格的目标特征信息。
在一些实施方式中,所述根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域包括:
获取所述预设模板表格的各个区域的目标关键点,根据所述矩阵变换关系和所述目标关键点确定所述表格图像中的表格的关键点;
根据所述关键点确定所述表格图像中构成所述表格的各个区域。
第二方面,本申请实施例还提供了一种表格检测装置,包括:
图像获取模块,用于获取待检测的表格图像;
检测模块,用于对所述表格图像进行表格检测,得到表格的特征信息;
信息获取模块,用于获取预设模板表格的目标特征信息;
计算模块,用于根据所述特征信息和所述目标特征信息,计算所述表格图像中的表格与所述预设模板表格之间的矩阵变换关系;
确定模块,用于根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域。
在一些实施方式中,所述表格检测装置还包括:
判断模块,用于判断所述区域内是否存在字符;
识别模块,用于当所述区域内存在字符时,对所述区域内的字符进行识别。
在一些实施方式中,所述检测模块包括:
检测子模块,用于通过预设的边缘检测模型对所述表格图像进行表格线检测,得到二值化的线条图像;
提取子模块,用于对所述线条图像进行特征提取,得到表格的特征信息。
在一些实施方式中,所述提取子模块具体用于:
获取所述线条图像中关键线条之间的交点;
将所述交点设置为所述表格的特征信息。
在一些实施方式中,所述表格检测装置还包括:
样本获取模块,用于获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;
生成模块,用于通过边缘检测模型基于每张样本图像生成二值化图像;
调整模块,用于根据所述目标二值化图像和二值化图像对所述边缘检测模型的参数进行调整,得到预设的边缘检测模型。
在一些实施方式中,所述信息获取模块具体用于:
通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;
基于所述特征图进行线条检测,得到二值化的模板线条图像;
对所述模板线条图像进行特征提取,得到所述预设模板表格的目标特征信息。
在一些实施方式中,所述确定模块具体用于:
获取所述预设模板表格的各个区域的目标关键点,根据所述矩阵变换关系和所述目标关键点确定所述表格图像中的表格的关键点;
根据所述关键点确定所述表格图像中构成所述表格的各个区域。
第三方面,本申请实施例还提供了一种移动终端,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种表格检测方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序被处理器加载,以执行本申请实施例提供的任一种表格检测方法。
本申请实施例可以获取待检测的表格图像,以及对表格图像进行表格检测,得到表格的特征信息;然后获取预设模板表格的目标特征信息,根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系,此时可以根据矩阵变换关系确定表格图像中构成表格的各个区域。该方案可以基于表格图像中表格的特征信息,确定与预设模板表格之间的矩阵变换关系,从而可以根据矩阵变换关系有效及快速确定表格的各个区域,提高了表格检测的准确性和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的表格检测方法的流程示意图;
图2是本申请实施例提供的边缘检测模型的示意图;
图3是本申请实施例提供的表格图像的示意图;
图4是本申请实施例提供的二值化的线条图像的示意图;
图5是本申请实施例提供的预设表格模板的示意图;
图6是本申请实施例提供的表格检测装置的结构示意图;
图7是本申请实施例提供的移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请一实施例提供的表格检测方法的流程示意图。该表格检测方法的执行主体可以是本申请实施例提供的表格检测装置,或者集成了该表格检测装置的移动终端,其中,该表格检测装置可以采用硬件或者软件的方式实现,该移动终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。该表格检测方法可以包括:
S101、获取待检测的表格图像。
其中,表格图像中可以包括任一类型的表格,在一些实施方式中,可以对以表格形式存储运单信息的纸质版的快递运单进行拍摄,得到表格图像;或者是,可以对表格形式的纸质版的发票进行拍摄,得到表格图像;或者是,可以对表格形式的纸质版的简历进行拍摄,得到表格图像;或者是,可以对电子版的报表进行拍摄,得到表格图像;或者是,可以对纸质版的报表进行扫描,得到表格图像;或者是,可以从服务器上下载表格图像,或者从移动终端本地获取表格图像,或者接收其他终端发送的表格图像;等等。
S102、对表格图像进行表格检测,得到表格的特征信息。
在得到表格图像后,可以对表格图像中包含的表格进行检测,在一些实施方式中,对表格图像进行表格检测,得到表格的特征信息可以包括:通过预设的边缘检测模型对表格图像进行表格线检测,得到二值化的线条图像;对线条图像进行特征提取,得到表格的特征信息。
为了提高表格检测的准确性和效率,可以通过预设的边缘检测模型(RCF,RicherConvolutional Features)对表格进行检测,该预设的边缘检测模型可以结构可以根据实际需要进行灵活设置,该预设的边缘检测模型可以是优化后的边缘检测模型,例如,预设的边缘检测模型的结构可以如图2所示,其中,conv表示卷积层,deconv表示反卷积,pool表示池化层,loss/sigmoid表示损失函数。
需要说明的是,对于边缘检测模型应用到表格检测,考虑到表格的分辨率较高,为了提高检测速度,可以对边缘检测模型进行优化,优化后的边缘检测模型可以是将边缘检测模中的骨干网络backbone的VGG16修改为VGG13,且去掉全连接层,并根据表格的尺度,对应修改下采样的倍数等。
为了提高边缘检测模型对表格检测的可靠性,可以预先对边缘检测模型进行训练,在一些实施方式中,通过预设的边缘检测模型对表格图像进行表格线检测,得到线条图像之前,表格检测方法还可以包括:获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;通过边缘检测模型基于每张样本图像生成二值化图像;根据目标二值化图像和二值化图像对边缘检测模型的参数进行调整,得到预设的边缘检测模型。
具体地,首先获取不同拍摄参数或者包含不同表格的多张样本图像,该拍摄参数可以包括拍摄角度和拍摄光线等,不同表格的类型可以根据实际需要进行灵活设置。例如,可以对不同表格分别进行不同拍摄角度或不同拍摄光线的拍摄,得到多张样本图像。然后,可以获取每张样本图像对应的目标二值化图像,该目标二值化图像可以是标注的真实的二值化图像,该二值化图像中可以包括黑色背景和白色的表格线条等。以及,可以将样本图像输入边缘检测模型,通过边缘检测模型基于样本图像生成二值化图像,该二值化图像可以是边缘检测模型计算得到的预测的二值化图像。此时,构建损失函数,通过损失函数对目标二值化图像和二值化图像进行收敛,以减小目标二值化图像和二值化图像之间的偏差,使得损失函数接近或等于零,从而可以对边缘检测模型的参数调整至合适数值,得到预设的边缘检测模型,该预设的边缘检测模型即为训练后的边缘检测模型。由于用于训练的样本图像是基于不同拍摄参数或者对不同表格进行拍摄得到,因此基于该训练样本可以训练出针对不同光线、不同拍摄角度、或不同表格等均能准确检测出的边缘检测模型,能有效提取出表格的特征信息。
此时,例如,如图3所示,图3为表格图像,需要说明的是,为了保护隐私已经将图3中的部分区域进行模糊或遮盖处理,可以将表格图像输入预设的边缘检测模型,通过预设的边缘检测模型对表格图像进行卷积操作,得到特征图,基于特征图生成二值化的线条图像,例如,如图4所示,该二值化的线条图像中可以包括黑色背景和白色的表格线条等,即其他区域为黑色,表格线条所在区域为白色,或者,该二值化的线条图像中可以包括白色背景和黑色的表格线条等。在通过预设的边缘检测模型检测线条图像后,由于表格线的信息是以掩膜mask的形式得到的,而mask本身的准确率可能不能达到100%,因此为了提高检测的精准性,可以根据表格中的特定区域,先进行特征信息的检测,再基于特征信息生成表格。例如,可以对线条图像进行特征提取,得到表格的特征信息,该特征信息可以是表格的顶点、中心点或多条线的交点等。
在一些实施方式中,对线条图像进行特征提取,得到表格的特征信息可以包括:获取线条图像中关键线条之间的交点;将交点设置为表格的特征信息。例如,关键线条可以根据实际需要进行灵活设置,该关键线条可以是线条图像中构成表格的部分线条,当表格的特征信息为线条图像中各线条之间的交点时,可提取线条图像中构成表格的关键线条之间的交点,作为表格的特征信息。
S103、获取预设模板表格的目标特征信息。
其中,如图5所示,预设模板表格可以是标准的模板表格,该标准的模板表格可以是表格线条清晰且为直线的表格等,不同类型的表格可以分别设置不同的模板表格,或者不同类型的表格可以设置同一模板表格。目标特征信息可以是包括预设模板表格的顶点、中心点或多条线的交点等。
在一些实施方式中,获取预设模板表格的目标特征信息可以包括:通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;基于特征图进行线条检测,得到二值化的模板线条图像;对模板线条图像进行特征提取,得到预设模板表格的目标特征信息。
例如,可以将预设模板表格输入预设的边缘检测模型,通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图,该特征图可以是关于表格线条的特征图,基于特征图可以生成二值化的模板线条图像,然后对模板线条图像进行特征提取,得到预设模板表格的目标特征信息。
需要说的是,预设模板表格的目标特征信息除了通过预设的边缘检测模型获取之外,还可以通过其他方式获取,具体内容在此处不作限定。
S104、根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系。
在得到表格图像中表格的特征信息,以及预设模板表格的目标特征信息后,可以将特征信息与目标特征信息进行匹配,计算出表格图像中的表格与预设模板表格之间的矩阵变换关系,例如,可以通过开源计算机视觉库(OpenCV,Open Source Computer VisionLibrary)中的薄板函数模型(TPS,Thin Plate Spline Shape Transformer)算法计算表格图像中的表格与预设模板表格之间的矩阵变换关系,该矩阵变换关系可以表格图像中的表格与预设模板表格之间映射关系。
S105、根据矩阵变换关系确定表格图像中构成表格的各个区域。
在得到表格图像中的表格与预设模板表格之间的矩阵变换关系后,可以该矩阵变换关系得到预设模板表格中构成表格的每个区域的位置,从而可以基于预设模板表格中表格的位置表格图像中构成表格的各个区域。
在一些实施方式中,根据矩阵变换关系确定表格图像中构成表格的各个区域可以包括:获取预设模板表格的各个区域的目标关键点,根据矩阵变换关系和目标关键点确定表格图像中的表格的关键点;根据关键点确定表格图像中构成表格的各个区域。
具体地,为了提升检测效率和准确性,可以获取预设模板表格的各个区域的目标关键点,该目标关键点可以根据实际需要进行灵活设置,例如,该目标关键点可以包括关键线条之间的交点或顶点等。然后,根据表格图像中的表格与预设模板表格之间的矩阵变换关系,以及目标关键点确定表格图像中的表格对应的关键点,该关键点可以包括关键线条之间的交点或顶点等,此时可以根据关键点确定表格图像中构成表格的各个区域。
需要说明的是,也可以根据表格图像中的表格与预设模板表格之间的矩阵变换关系,对表格图像中的表格进行校正,得到校正后的表格,避免了由于拍摄角度不正或表格放置位置不平等因素的影响,而导致拍摄得到的表格图像中表格线不直,例如,可以将拍摄得到的表格图像中的表格中表格线歪曲的线条校正为直线的线条等。此时,可以根据校正后的表格准确的确定表格图像中构成表格的各个区域,提高了对构成表格区域进行确定的精准性。
在一些实施方式中,根据矩阵变换关系确定表格图像中构成表格的各个区域之后,表格检测方法还可以包括:判断区域内是否存在字符;当区域内存在字符时,对区域内的字符进行识别。
在确定表格图像中构成表格的各个区域后,可以判断每个区域内是否存在字符,该字符可以包括或文字、符号、数字或字母等。当区域内不存在字符时,可以不需要对区域内的字符进行识别,当区域内存在字符时,可以通过光学字符识别(OCR,OpticalCharacter Recognition)对区域内的字符进行识别,可以对识别得到的字符进行存储,该OCR采用了经典的卷积网络Densenet。例如,可以对区域内的电话号码进行识别,或者可以对区域内的地址进行识别,可以对区域内的公司名称进行识别,等等。本实施例可以通过优化后的RCF对待检测的表格图像中的表格线进行检测,得到线条图像,并对线条图像进行特征信息检测,得到表格的特征信息,根据表格的特征信息确定与预设模板表格之间的矩阵变换关系,根据矩阵变换关系确定表格内各个区域。使得仅需对表格进行拍照或者扫描,得到表格图像后,可以依据预设模板表格,能够准确及快速从复杂的有线表格中解析出字符信息,实现表格图像的准确及快速检测,提高了检测的效率、准确率与召回率。
其中,OCR可以是预先训练好的字符识别模型,例如,为了提高OCR对字符识别的准确性,可以通过不同打印体的文字、字母或数字等,训练是采用的损失函数loss为针对文字符识别设置的经典loss:ctc loss,结合卷积网络Densenet和损失函数ctc loss,对OCR进行训练,得到训练后的OCR,以便利用训练后的OCR对表格区域内的字符进行准确及快速识别。
本申请实施例可以获取待检测的表格图像,以及对表格图像进行表格检测,得到表格的特征信息;然后获取预设模板表格的目标特征信息,根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系,此时可以根据矩阵变换关系确定表格图像中构成表格的各个区域。该方案可以基于表格图像中表格的特征信息,确定与预设模板表格之间的矩阵变换关系,从而可以根据矩阵变换关系有效及快速确定表格的各个区域,提高了表格检测的准确性和效率。
为便于更好的实施本申请实施例提供的表格检测方法,本申请实施例还提供一种基于上述表格检测方法的装置。其中名词的含义与上述表格检测方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图6,图6为本申请实施例提供的表格检测装置的结构示意图,其中该表格检测装置300可以包括图像获取模块301、检测模块302、信息获取模块303、计算模块304及确定模块305等。
其中,图像获取模块301,用于获取待检测的表格图像。
检测模块302,用于对表格图像进行表格检测,得到表格的特征信息。
信息获取模块303,用于获取预设模板表格的目标特征信息。
计算模块304,用于根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系。
确定模块305,用于根据矩阵变换关系确定表格图像中构成表格的各个区域。
在一些实施方式中,表格检测装置300还可以包括判断模块和识别模块等,具体可以如下:
判断模块,用于判断区域内是否存在字符;
识别模块,用于当区域内存在字符时,对区域内的字符进行识别。
在一些实施方式中,检测模块302可以包括检测子模块和提取子模块等,具体可以如下:
检测子模块,用于通过预设的边缘检测模型对表格图像进行表格线检测,得到二值化的线条图像;
提取子模块,用于对线条图像进行特征提取,得到表格的特征信息。
在一些实施方式中,提取子模块具体用于:获取线条图像中关键线条之间的交点;将交点设置为表格的特征信息。
在一些实施方式中,表格检测装置300还可以包括样本获取模块、生成模块和调整模块等,具体可以如下:
样本获取模块,用于获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;
生成模块,用于通过边缘检测模型基于每张样本图像生成二值化图像;
调整模块,用于根据目标二值化图像和二值化图像对边缘检测模型的参数进行调整,得到预设的边缘检测模型。
在一些实施方式中,信息获取模块303具体用于:通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;基于特征图进行线条检测,得到二值化的模板线条图像;对模板线条图像进行特征提取,得到预设模板表格的目标特征信息。
在一些实施方式中,确定模块305具体用于:获取预设模板表格的各个区域的目标关键点,根据矩阵变换关系和目标关键点确定表格图像中的表格的关键点;根据关键点确定表格图像中构成表格的各个区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本申请实施例可以由图像获取模块301获取待检测的表格图像,以及由检测模块302对表格图像进行表格检测,得到表格的特征信息;然后由信息获取模块303获取预设模板表格的目标特征信息,由计算模块304根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系,此时可以由确定模块305根据矩阵变换关系确定表格图像中构成表格的各个区域。该方案可以基于表格图像中表格的特征信息,确定与预设模板表格之间的矩阵变换关系,从而可以根据矩阵变换关系有效及快速确定表格的各个区域,提高了表格检测的准确性和效率。
相应的,本发明实施例还提供一种移动终端,如图7所示,该移动终端可以包括射频(RF,Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi,WirelessFidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图7中示出的移动终端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
移动终端还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在移动终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与移动终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一移动终端,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与移动终端的通信。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块607,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
移动终端还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,移动终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,移动终端中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能:
获取待检测的表格图像;对表格图像进行表格检测,得到表格的特征信息;获取预设模板表格的目标特征信息;根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系;根据矩阵变换关系确定表格图像中构成表格的各个区域。
在一些实施方式中,在根据矩阵变换关系确定表格图像中构成表格的各个区域之后,处理器608还执行:检测区域内是否存在字符;当区域内存在字符时,对区域内的字符进行识别。
在一些实施方式中,在对表格图像进行表格检测,得到表格的特征信息时,处理器608还执行:通过预设的边缘检测模型对表格图像进行表格线检测,得到二值化的线条图像;对线条图像进行特征提取,得到表格的特征信息。
在一些实施方式中,在对线条图像进行特征提取,得到表格的特征信息时,处理器608还执行:获取线条图像中关键线条之间的交点;将交点设置为表格的特征信息。
在一些实施方式中,在通过预设的边缘检测模型对表格图像进行表格线检测,得到线条图像之前,处理器608还执行:获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;通过边缘检测模型基于每张样本图像生成二值化图像;根据目标二值化图像和二值化图像对边缘检测模型的参数进行调整,得到预设的边缘检测模型。
在一些实施方式中,在获取预设模板表格的目标特征信息时,处理器608还执行:通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;基于特征图进行线条检测,得到二值化的模板线条图像;对模板线条图像进行特征提取,得到预设模板表格的目标特征信息。
在一些实施方式中,在根据矩阵变换关系确定表格图像中构成表格的各个区域时,处理器608还执行:获取预设模板表格的各个区域的目标关键点,根据矩阵变换关系和目标关键点确定表格图像中的表格的关键点;根据关键点确定表格图像中构成表格的各个区域。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对表格检测方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种表格检测方法。例如,该计算机程序被处理器加载,可以执行如下步骤:
获取待检测的表格图像;对表格图像进行表格检测,得到表格的特征信息;获取预设模板表格的目标特征信息;根据特征信息和目标特征信息,计算表格图像中的表格与预设模板表格之间的矩阵变换关系;根据矩阵变换关系确定表格图像中构成表格的各个区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种表格检测方法,因此,可以实现本申请实施例所提供的任一种表格检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种表格检测方法、装置、移动终端及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种表格检测方法,其特征在于,包括:
获取待检测的表格图像;
对所述表格图像进行表格检测,得到表格的特征信息;
获取预设模板表格的目标特征信息;
根据所述特征信息和所述目标特征信息,计算所述表格图像中的表格与所述预设模板表格之间的矩阵变换关系,所述矩阵变换关系指代所述表格图像中的表格与所述预设模板表格之间映射关系;
根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域;
其中,所述根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域包括:
根据所述矩阵变换关系得到预设模板表格中构成表格的每个区域的位置;
基于所述预设模板表格中构成表格的每个区域的位置确定所述表格图像中构成表格的各个区域。
2.根据权利要求1所述的表格检测方法,其特征在于,所述根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域之后,所述方法还包括:
判断所述区域内是否存在字符;
当所述区域内存在字符时,对所述区域内的字符进行识别。
3.根据权利要求1所述的表格检测方法,其特征在于,所述对所述表格图像进行表格检测,得到表格的特征信息包括:
通过预设的边缘检测模型对所述表格图像进行表格线检测,得到二值化的线条图像;
对所述线条图像进行特征提取,得到表格的特征信息。
4.根据权利要求3所述的表格检测方法,其特征在于,所述对所述线条图像进行特征提取,得到表格的特征信息包括:
获取所述线条图像中关键线条之间的交点;
将所述交点设置为所述表格的特征信息。
5.根据权利要求3所述的表格检测方法,其特征在于,所述通过预设的边缘检测模型对所述表格图像进行表格线检测,得到线条图像之前,所述方法还包括:
获取不同拍摄参数或者包含不同表格的多张样本图像,以及获取每张样本图像对应的目标二值化图像;
通过边缘检测模型基于每张样本图像生成二值化图像;
根据所述目标二值化图像和二值化图像对所述边缘检测模型的参数进行调整,得到预设的边缘检测模型。
6.根据权利要求5所述的表格检测方法,其特征在于,所述获取预设模板表格的目标特征信息包括:
通过预设的边缘检测模型对预设模板表格进行卷积操作,得到特征图;
基于所述特征图进行线条检测,得到二值化的模板线条图像;
对所述模板线条图像进行特征提取,得到所述预设模板表格的目标特征信息。
7.根据权利要求1至6任一项所述的表格检测方法,其特征在于,所述根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域包括:
获取所述预设模板表格的各个区域的目标关键点,根据所述矩阵变换关系和所述目标关键点确定所述表格图像中的表格的关键点;
根据所述关键点确定所述表格图像中构成所述表格的各个区域。
8.一种表格检测装置,其特征在于,包括:
图像获取模块,用于获取待检测的表格图像;
检测模块,用于对所述表格图像进行表格检测,得到表格的特征信息;
信息获取模块,用于获取预设模板表格的目标特征信息;
计算模块,用于根据所述特征信息和所述目标特征信息,计算所述表格图像中的表格与所述预设模板表格之间的矩阵变换关系,所述矩阵变换关系指代所述表格图像中的表格与所述预设模板表格之间映射关系;
确定模块,用于根据所述矩阵变换关系确定所述表格图像中构成所述表格的各个区域;
所述确定模块,还用于根据所述矩阵变换关系得到预设模板表格中构成表格的每个区域的位置;
基于所述预设模板表格中构成表格的每个区域的位置确定所述表格图像中构成表格的各个区域。
9.一种移动终端,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的表格检测方法。
10.一种存储介质,其特征在于,所述存储介质用于存储计算机程序,所述计算机程序被处理器加载以执行权利要求1至7任一项所述的表格检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910972978.7A CN112733573B (zh) | 2019-10-14 | 2019-10-14 | 表格检测方法、装置、移动终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910972978.7A CN112733573B (zh) | 2019-10-14 | 2019-10-14 | 表格检测方法、装置、移动终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112733573A CN112733573A (zh) | 2021-04-30 |
CN112733573B true CN112733573B (zh) | 2024-04-19 |
Family
ID=75588435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910972978.7A Active CN112733573B (zh) | 2019-10-14 | 2019-10-14 | 表格检测方法、装置、移动终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733573B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008134940A (ja) * | 2006-11-29 | 2008-06-12 | Nippon Telegr & Teleph Corp <Ntt> | 対象物検出装置、対象物検出方法および対象物検出プログラム並びにそのプログラムを記録した記録媒体 |
CN110032989A (zh) * | 2019-04-23 | 2019-07-19 | 福州大学 | 一种基于框线特征和像素分布的表格文档图像分类方法 |
CN110163198A (zh) * | 2018-09-27 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种表格识别重建方法、装置和存储介质 |
CN110210297A (zh) * | 2019-04-25 | 2019-09-06 | 上海海事大学 | 报关单图像中文字定位与提取的方法 |
CN110287854A (zh) * | 2019-06-20 | 2019-09-27 | 北京百度网讯科技有限公司 | 表格的提取方法、装置、计算机设备和存储介质 |
-
2019
- 2019-10-14 CN CN201910972978.7A patent/CN112733573B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008134940A (ja) * | 2006-11-29 | 2008-06-12 | Nippon Telegr & Teleph Corp <Ntt> | 対象物検出装置、対象物検出方法および対象物検出プログラム並びにそのプログラムを記録した記録媒体 |
CN110163198A (zh) * | 2018-09-27 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种表格识别重建方法、装置和存储介质 |
CN110032989A (zh) * | 2019-04-23 | 2019-07-19 | 福州大学 | 一种基于框线特征和像素分布的表格文档图像分类方法 |
CN110210297A (zh) * | 2019-04-25 | 2019-09-06 | 上海海事大学 | 报关单图像中文字定位与提取的方法 |
CN110287854A (zh) * | 2019-06-20 | 2019-09-27 | 北京百度网讯科技有限公司 | 表格的提取方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
表格图像特征目标识别技术的研究;李彬;赵连军;刘帅;;科技视界(第23期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112733573A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038681B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
CN108875451B (zh) | 一种定位图像的方法、装置、存储介质和程序产品 | |
CN107124555B (zh) | 控制对焦的方法、装置、计算机设备及计算机可读存储介质 | |
CN104852885B (zh) | 一种进行验证码验证的方法、装置和系统 | |
CN108205398B (zh) | 网页动画适配屏幕的方法和装置 | |
CN106203459B (zh) | 图片处理方法及装置 | |
CN109086761B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN107749046B (zh) | 一种图像处理方法及移动终端 | |
CN105989572B (zh) | 图片处理方法及装置 | |
CN111401463B (zh) | 检测结果输出的方法、电子设备及介质 | |
WO2018161540A1 (zh) | 指纹注册方法及相关产品 | |
CN109753202B (zh) | 一种截屏方法和移动终端 | |
US11290591B2 (en) | Dialing method and mobile terminal | |
CN107330867B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN110083742B (zh) | 一种视频查询方法和装置 | |
CN112541489A (zh) | 图像检测方法、装置、移动终端及存储介质 | |
CN105513098B (zh) | 一种图像处理的方法和装置 | |
CN110717486B (zh) | 文本检测方法、装置、电子设备和存储介质 | |
CN107632985B (zh) | 网页预加载方法及装置 | |
CN108376255B (zh) | 一种图像处理方法、装置及存储介质 | |
CN108595104B (zh) | 一种文件处理方法及终端 | |
CN107734049B (zh) | 网络资源的下载方法、装置和移动终端 | |
CN112733573B (zh) | 表格检测方法、装置、移动终端及存储介质 | |
CN114140655A (zh) | 图像分类方法、装置、存储介质及电子设备 | |
CN111027406B (zh) | 图片识别方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |