CN115205881A - 一种表格识别方法、设备及介质 - Google Patents
一种表格识别方法、设备及介质 Download PDFInfo
- Publication number
- CN115205881A CN115205881A CN202210921637.9A CN202210921637A CN115205881A CN 115205881 A CN115205881 A CN 115205881A CN 202210921637 A CN202210921637 A CN 202210921637A CN 115205881 A CN115205881 A CN 115205881A
- Authority
- CN
- China
- Prior art keywords
- identified
- coordinates
- cells
- standard
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
Abstract
本申请公开了一种表格识别方法、设备及介质,方法包括:获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;根据所述单元格的坐标,确定所述待识别表格的图像特征;在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;根据所述标准表格模板,对所述待识别表格进行识别。提高了表格识别准确率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种表格识别方法、设备及介质。
背景技术
表格作为数据的一种重要载体,具有信息精炼集中、方便体现数据关系等特点,表格在以图片文件的形式存在时,会丢失易于计算机理解的原有结构信息。若是采用人工手段对表格进行重新处理录入,会面临效率低下、数据量大导致出错等问题。
目前,对于表格的识别大多是针对较为简单或模板化的表格。从表格的布局结构出发,抽取表格线条或抽取文本块,然后使用规则方法进行分析,但这些方法往往泛化能力较差,且难以处理复杂表格,导致在多个不同版式的表格图片结构化识别时,表格识别准确率低。
发明内容
本申请实施例提供一种表格识别方法、设备及介质,用于解决在多个不同版式的表格图片结构化识别时,表格识别准确率低的问题。
本申请实施例采用下述技术方案:
一方面,本申请实施例提供了一种表格识别方法,该方法包括:获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;根据所述单元格的坐标,确定所述待识别表格的图像特征;在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;根据所述标准表格模板,对所述待识别表格进行识别。
一个示例中,所述在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板,具体包括:通过K最近邻分类算法,将所述图像特征中的特征点与所述预设表格模板库中每个标准表格模板的特征点进行匹配,得到所述待识别表格与所述每个标准表格匹配的特征点对;将数量最多的特征点对所对应的标准表格模板作为所述待识别表格的标准表格模板。
一个示例中,所述通过K最近邻分类算法,将所述图像特征中的特征点与所述预设表格模板库中每个标准表格模板的特征点进行匹配,得到所述待识别表格与所述每个标准表格模板匹配的特征点对,具体包括:确定所述图像特征中的第一特征点;在每个标准表格模板中,确定与所述第一特征点的欧式距离最近的第二特征点与次近的第三特征点;计算所述第一特征点与所述第二特征点的欧式距离,与所述第一特征点与所述第三特征点的欧式距离之间的比值;若所述比值小于预设阈值,则确定所述第一特征点与所述第二特征点为所述特征点对,且所述第一特征点与所述第三特征点为所述特征点对。
一个示例中,所述根据所述标准表格模板,对所述待识别表格进行识别,具体包括:根据所述标准表格模板与所述待识别表格的特征点对,确定单应性变换矩阵;根据所述单应性变换矩阵,对所述待识别表格进行透视变换,以将所述待识别图片的尺寸转换为与所述标准表格模板尺寸一致;根据所述标准表格模板中所述标准字段所处单元格的坐标,匹配所述待识别表格中对应的待识别单元格;通过OCR文字识别模型,提取所述待识别单元格的字段信息,得到字段识别结果。
一个示例中,所述提取所述表格图片中待识别表格的单元格,具体包括:根据预先构建的表格检测神经网络模型,提取所述表格图片中待识别表格的横竖线段位置坐标;通过预设相交直线坐标表达式与所述横竖线段位置坐标,确定所述待识别表格中单元格四个顶点的坐标;根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的单元格。
一个示例中,所述根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的单元格,具体包括:根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的初始单元格;根据所述横竖线段位置坐标与所述初始单元格的坐标,通过连通域分割与平行线检测,确定所述待识别表格的遗漏单元格的坐标;根据所述遗漏单元格与所述初始单元格,得到所述待识别表格的单元格。
一个示例中,所述根据所述横竖线段位置坐标与所述初始单元格的坐标,通过连通域分割与平行线检测,确定所述待识别表格的遗漏单元格的坐标,具体包括:基于所述连通域分割,根据所述横竖线段的位置坐标,确定所述待识别表格的最大矩形面积;根据所述初始单元格的坐标,确定所述待识别表格的多个单元矩形面积;对所述多个单元矩形面积求和,得到所述初始单元格的总面积;基于所述平行线检测,通过对比所述总面积与所述最大矩形面积,确定所述待识别表格的遗漏单元格的坐标。
一个示例中,所述基于所述平行线检测,通过对比所述总面积与所述最大矩形面积,确定存在所述待识别表格的遗漏单元格的坐标,具体包括:通过对比所述总面积与所述最大矩形面积,判断所述总面积与所述最大矩形面积是否一致;若否,则确定存在所述待识别表格的遗漏单元格;基于所述平行线检测,根据所述横竖线段位置坐标,确定所述待识别表格的遗漏单元格的坐标。
另一方面,本申请实施例提供了一种表格识别设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;根据所述单元格的坐标,确定所述待识别表格的图像特征;在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;根据所述标准表格模板,对所述待识别表格进行识别。
另一方面,本申请实施例提供了一种表格识别非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;根据所述单元格的坐标,确定所述待识别表格的图像特征;在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;根据所述标准表格模板,对所述待识别表格进行识别。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过预先设置标准表格模板,包括多个不同版式的表格图片,然后通过提供基于KNN的表格分类方法,将待识别表格匹配到对应版式的标准表格模板成功率高,简单高效,在同时识别个不同版式的表格图片时,提高了表格识别准确率与效率。
附图说明
为了更清楚地说明本申请的技术方案,下面将结合附图来对本申请的部分实施例进行详细说明,附图中:
图1为本申请实施例提供的一种表格识别方法的流程示意图;
图2为本申请实施例提供的一种待识别表格的横竖框线检测结果示意图;
图3为本申请实施例提供的一种透视变换过程的示意图;
图4为本申请实施例提供的一种表格识别设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
光学字符识别,英文全称是Optical Charater Recognition(简称OCR),它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来,并转换成一种计算机能够接受、人又可以理解的格式。把图纸上的文字以文本形式提取出来,并转换成人可以理解的格式的技术。通过基于模板匹配等方法的结构化技术,计算机可将增值税发票、火车票等常见的票据图片转换为结构化的字符串,存入数据库中。在各类业务系统中,通过参考OCR的识别结果,减少了人眼核对、表单录入的工作,也提高了流程运转的效率。OCR在印刷体文字识别过程中效果越来越好,但是在表格方面一直捉襟见肘。
不同于固定版式的身份证、增值税发票等证件或财税票据,表格的行数、列数、间距等版面特征相对比较繁杂。基于模板匹配的OCR结构化识别系统在处理企业内部单据等表格类图片时,往往只能通过规定表格标题信息等方式对表格进行分类,当表格种类比较多、以及图片中参杂很多额外文字时具有一定的局限性。如何实现一个OCR系统,同时处理多个不同版式的表格图片并完成结构化识别是本发明所主要解决的问题。
下面参照附图来对本申请的一些实施例进行详细说明。
图1为本申情实施例提供的一种表格识别方法的流程示意图。该方法可以应用于不同的业务领域,比如,互联网金融业务领域、电商业务领域、即时通讯业务领域、游戏业务领域、公务业务领域等。该流程中的某些输入参数或者中间结果允许人工干预调节,以帮助提高准确性。
本申请实施例涉及的分析方法的实现可以为终端设备,也可以为服务器,本申请对此不作特殊限制。为了方便理解和描述,以下实施例均以服务器为例进行详细描述。
需要说明的是,该服务器可以是单独的一台设备,可以是有多台设备组成的系统,即,分布式服务器,本申请对此不做具体限定。
图1中的流程可以包括以下步骤:
S102:获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格。
在本申情的一些实施例中,在提取表格图片中待识别表格的单元格时,根据预先构建的表格检测神经网络模型,提取表格图片中待识别表格的横竖线段位置坐标。其中,横竖线段位置坐标是指线段两个顶点的坐标。
更直观地,待识别表格的横竖框线检测结果如图2所示。在图2中,白实线为横竖框线。
然后,通过预设相交直线坐标表达式与横竖线段位置坐标,确定待识别表格中单元格四个顶点的坐标,根据待识别表格中单元格四个顶点的坐标,得到待识别表格的单元格。
其中,考虑到可能存在遗漏的单元格。因此,为了提高提取结果准确性,并通过连通域分割和平行线的方法补全部分检测时可能遗漏的单元格坐标。
具体地,根据待识别表格中单元格四个顶点的坐标,得到待识别表格的初始单元格,根据横竖线段位置坐标与初始单元格的坐标,通过连通域分割与平行线检测,确定待识别表格的遗漏单元格的坐标,最后,根据遗漏单元格与初始单元格,得到待识别表格的单元格。
进一步地,在确定待识别表格的遗漏单元格的坐标时,基于连通域分割,根据横竖线段的位置坐标,确定待识别表格的最大矩形面积,根据初始单元格的坐标,确定待识别表格的多个单元矩形面积,对多个单元矩形面积求和,得到初始单元格的总面积。然后,基于平行线检测,通过对比总面积与最大矩形面积,确定待识别表格的遗漏单元格的坐标。
进一步地,在对比总面积与最大矩形面积时,通过对比总面积与最大矩形面积,判断总面积与最大矩形面积是否一致。
若否,则确定存在待识别表格的遗漏单元格,基于平行线检测,根据横竖线段位置坐标,确定待识别表格的遗漏单元格的坐标。
若是,则说明不存在待识别表格的遗漏单元格。
从而解决了表格视觉特征的快速提取问题,相比于传统数字图像处理中的DOG、SIFT、ORB等特征检测算法提取到的特征点更准确;相比于深度学习中的SSD、Faster RCNN、YOLO等目标检测算法,避免了每次新增表格模板时的网络模型重新训练,效率更高。
S104:根据所述单元格的坐标,确定所述待识别表格的图像特征。
也就是说,将待识别表格的所有单元格坐标作为待识别表格的图像特征。
S106:在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标。
其中,构建标准表格模板库,模板库存储以下信息:标准表格模板的特征点坐标组,标准表格模板的类别名称,标准表格模板需识别字段的名称及字段所在单元格坐标。例如,模板库[T0,T1,…,TN],以T0模板为例,存放以下信息:1.表格特征点坐标组[(x0,y0),(x1,y1),…],2.表格类别名:“xx表”,3.字段名称及位置信息,用识别区域外接矩形的左上角(tl)和右下角(br)坐标表示。如:编号:(tl0,br0),金额:(tl1,br1),名称:(tl2,br2)。
在本申请的一些实施例中,通过K最近邻分类算法,将图像特征中的特征点与预设表格模板库中每个标准表格模板的特征点进行匹配,得到待识别表格与每个标准表格匹配的特征点对。
然后,将数量最多的特征点对所对应的标准表格模板作为待识别表格的标准表格模板。
进一步地,得到待识别表格与每个标准表格模板匹配的特征点对时,确定图像特征中的第一特征点,在每个标准表格模板中,确定与第一特征点的欧式距离最近的第二特征点与次近的第三特征点。
也就是说,先取待识别表格中的一个特征点,并找出该特征点与标准表格模板中欧式距离最近的前两个特征点。
然后,计算第一特征点与第二特征点的欧式距离,与第一特征点与第三特征点的欧式距离之间的比值;若比值小于预设阈值,则确定第一特征点与第二特征点为特征点对,且第一特征点与第三特征点为特征点对。也就是说,若比值小于预设阈值,则接受这一对匹配点。
使用机器学习中的KNN(K-近邻)方法对表格的视觉图像特征进行快速匹配检索,使机器能够自动完成表格分类,减少了人工分类的不必要工作量,提高了表格图片分类的效率。
S108:根据所述标准表格模板,对所述待识别表格进行识别。
在本申请的一些实施例中,根据标准表格模板与待识别表格的特征点对,确定单应性变换矩阵,根据单应性变换矩阵,对待识别表格进行透视变换,以将待识别图片的尺寸转换为与标准表格模板尺寸一致,根据标准表格模板中标准字段所处单元格的坐标,匹配待识别表格中对应的待识别单元格;通过OCR文字识别模型,提取待识别单元格的字段信息,得到字段识别结果。
更直观地,图3为本申请实施例提供的一种透视变换过程的示意图。在土中,左侧为待识别表格,右侧为透视变换后的待识别表格。可见,针对部分待识别图片倾斜的问题,通过平行线检测和透视变换的方法实现表格的倾斜矫正,提高了表格分类的成功率,从而提高了表格结构化识别的准确率。
进一步地,针对表格检测模型和OCR文字识别模型推理依赖的GPU计算资源问题,使用API的方式提供模型调用服务,降低部署难度,易于整体管控计算资源。可以和OCR服务进一步集成,提升开发效率和表格结构化识别速度。
需要说明的是,虽然本申请实施例是参照图1来对步骤S102至步骤S108依次进行介绍说明的,但这并不代表步骤S102至步骤S108必须按照严格的先后顺序执行。本申请实施例之所以按照图1中所示的顺序对步骤S102至步骤S108依次进行介绍说明,是为了方便本领域技术人员理解本申请实施例的技术方案。换句话说,在本申请实施例中,步骤S102至步骤S108之间的先后顺序可以根据实际需要进行适当调整。
通过图1的方法,能够提供基于表格检测神经网络模型的表格图片特征提取方法,兼顾速度和准确性,提供基于KNN的表格分类方法,成功率高,提供基于模板匹配和透视变换的表格结构化识别方法,解决了OCR系统同时处理多个不同版式表格图片的问题。
基于同样的思路,本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
图4为本申请实施例提供的一种表格识别设备的结构示意图,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;
根据所述单元格的坐标,确定所述待识别表格的图像特征;
在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;
根据所述标准表格模板,对所述待识别表格进行识别。
本申请的一些实施例提供的一种表格识别非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;
根据所述单元格的坐标,确定所述待识别表格的图像特征;
在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;
根据所述标准表格模板,对所述待识别表格进行识别。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请技术原理之内所作的任何修改、等同替换、改进等,均应落入本申请的保护范围之内。
Claims (10)
1.一种表格识别方法,其特征在于,所述方法包括:
获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;
根据所述单元格的坐标,确定所述待识别表格的图像特征;
在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;
根据所述标准表格模板,对所述待识别表格进行识别。
2.根据权利要求1所述的方法,其特征在于,所述在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板,具体包括:
通过K最近邻分类算法,将所述图像特征中的特征点与所述预设表格模板库中每个标准表格模板的特征点进行匹配,得到所述待识别表格与所述每个标准表格匹配的特征点对;
将数量最多的特征点对所对应的标准表格模板作为所述待识别表格的标准表格模板。
3.根据权利要求2所述的方法,其特征在于,所述通过K最近邻分类算法,将所述图像特征中的特征点与所述预设表格模板库中每个标准表格模板的特征点进行匹配,得到所述待识别表格与所述每个标准表格模板匹配的特征点对,具体包括:
确定所述图像特征中的第一特征点;
在每个标准表格模板中,确定与所述第一特征点的欧式距离最近的第二特征点与次近的第三特征点;
计算所述第一特征点与所述第二特征点的欧式距离,与所述第一特征点与所述第三特征点的欧式距离之间的比值;
若所述比值小于预设阈值,则确定所述第一特征点与所述第二特征点为所述特征点对,且所述第一特征点与所述第三特征点为所述特征点对。
4.根据权利要求2所述的方法,其特征在于,所述根据所述标准表格模板,对所述待识别表格进行识别,具体包括:
根据所述标准表格模板与所述待识别表格的特征点对,确定单应性变换矩阵;
根据所述单应性变换矩阵,对所述待识别表格进行透视变换,以将所述待识别图片的尺寸转换为与所述标准表格模板尺寸一致;
根据所述标准表格模板中所述标准字段所处单元格的坐标,匹配所述待识别表格中对应的待识别单元格;
通过OCR文字识别模型,提取所述待识别单元格的字段信息,得到字段识别结果。
5.根据权利要求1所述的方法,其特征在于,所述提取所述表格图片中待识别表格的单元格,具体包括:
根据预先构建的表格检测神经网络模型,提取所述表格图片中待识别表格的横竖线段位置坐标;
通过预设相交直线坐标表达式与所述横竖线段位置坐标,确定所述待识别表格中单元格四个顶点的坐标;
根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的单元格。
6.根据权利要求5所述的方法,其特征在于,所述根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的单元格,具体包括:
根据所述待识别表格中单元格四个顶点的坐标,得到所述待识别表格的初始单元格;
根据所述横竖线段位置坐标与所述初始单元格的坐标,通过连通域分割与平行线检测,确定所述待识别表格的遗漏单元格的坐标;
根据所述遗漏单元格与所述初始单元格,得到所述待识别表格的单元格。
7.根据权利要求6所述的方法,其特征在于,所述根据所述横竖线段位置坐标与所述初始单元格的坐标,通过连通域分割与平行线检测,确定所述待识别表格的遗漏单元格的坐标,具体包括:
基于所述连通域分割,根据所述横竖线段的位置坐标,确定所述待识别表格的最大矩形面积;
根据所述初始单元格的坐标,确定所述待识别表格的多个单元矩形面积;
对所述多个单元矩形面积求和,得到所述初始单元格的总面积;
基于所述平行线检测,通过对比所述总面积与所述最大矩形面积,确定所述待识别表格的遗漏单元格的坐标。
8.根据权利要求7所述的方法,其特征在于,所述基于所述平行线检测,通过对比所述总面积与所述最大矩形面积,确定存在所述待识别表格的遗漏单元格的坐标,具体包括:
通过对比所述总面积与所述最大矩形面积,判断所述总面积与所述最大矩形面积是否一致;
若否,则确定存在所述待识别表格的遗漏单元格;
基于所述平行线检测,根据所述横竖线段位置坐标,确定所述待识别表格的遗漏单元格的坐标。
9.一种表格识别设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;
根据所述单元格的坐标,确定所述待识别表格的图像特征;
在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;
根据所述标准表格模板,对所述待识别表格进行识别。
10.一种表格识别非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
获取上传至OCR系统的表格图片,提取所述表格图片中待识别表格的单元格;
根据所述单元格的坐标,确定所述待识别表格的图像特征;
在预设表格模板库中,通过K最近邻分类算法对所述图像特征进行匹配,确定所述待识别表格的标准表格模板;其中,所述标准表格模板包括标准字段的字段名称与所述标准字段所处单元格的坐标;
根据所述标准表格模板,对所述待识别表格进行识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921637.9A CN115205881A (zh) | 2022-08-02 | 2022-08-02 | 一种表格识别方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921637.9A CN115205881A (zh) | 2022-08-02 | 2022-08-02 | 一种表格识别方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115205881A true CN115205881A (zh) | 2022-10-18 |
Family
ID=83586390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210921637.9A Pending CN115205881A (zh) | 2022-08-02 | 2022-08-02 | 一种表格识别方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205881A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168404A (zh) * | 2023-01-31 | 2023-05-26 | 苏州爱语认知智能科技有限公司 | 基于空间变换的智能文档处理方法和系统 |
-
2022
- 2022-08-02 CN CN202210921637.9A patent/CN115205881A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168404A (zh) * | 2023-01-31 | 2023-05-26 | 苏州爱语认知智能科技有限公司 | 基于空间变换的智能文档处理方法和系统 |
CN116168404B (zh) * | 2023-01-31 | 2023-12-22 | 苏州爱语认知智能科技有限公司 | 基于空间变换的智能文档处理方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111814722B (zh) | 一种图像中的表格识别方法、装置、电子设备及存储介质 | |
CN110766014B (zh) | 票据信息定位方法、系统及计算机可读存储介质 | |
CN109543690B (zh) | 用于提取信息的方法和装置 | |
US20210256253A1 (en) | Method and apparatus of image-to-document conversion based on ocr, device, and readable storage medium | |
CN105930159A (zh) | 一种基于图像的界面代码生成的方法及系统 | |
CN113378710B (zh) | 图像文件的版面分析方法、装置、计算机设备和存储介质 | |
CN110647885B (zh) | 基于图片识别的试卷拆分方法、装置、设备以及介质 | |
CN110633660B (zh) | 一种文档识别的方法、设备和存储介质 | |
CN111178290A (zh) | 一种签名验证方法和装置 | |
CN113326797A (zh) | 一种pdf文档提取的表格信息转换为结构化知识的方法 | |
WO2019041442A1 (zh) | 图表数据结构化提取方法、系统、电子设备及计算机可读存储介质 | |
CN112541922A (zh) | 基于数字图像的试卷布局分割方法、电子设备及存储介质 | |
Prusty et al. | Indiscapes: Instance segmentation networks for layout parsing of historical indic manuscripts | |
CN115082941A (zh) | 表格文档影像的表格信息获取方法及装置 | |
CN115205881A (zh) | 一种表格识别方法、设备及介质 | |
CN116824608A (zh) | 基于目标检测技术的答题卡版面分析方法 | |
CN112232336A (zh) | 一种证件识别方法、装置、设备及存储介质 | |
CN114998905A (zh) | 一种复杂结构化文档内容的校验方法、装置与设备 | |
CN111291752A (zh) | 一种发票识别方法及设备、介质 | |
CN109635729B (zh) | 一种表格识别方法及终端 | |
CN109360205B (zh) | 双录视频质检方法、装置、介质和电子设备 | |
CN113591746A (zh) | 一种文档表格结构检测方法及装置 | |
CN114708186A (zh) | 一种电子签章定位方法及装置 | |
CN114359533A (zh) | 一种基于页面文本的页码识别方法和计算机设备 | |
CN112508000B (zh) | 一种用于ocr图像识别模型训练数据生成的方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |