CN111640130A - 表格还原方法及装置 - Google Patents
表格还原方法及装置 Download PDFInfo
- Publication number
- CN111640130A CN111640130A CN202010472930.2A CN202010472930A CN111640130A CN 111640130 A CN111640130 A CN 111640130A CN 202010472930 A CN202010472930 A CN 202010472930A CN 111640130 A CN111640130 A CN 111640130A
- Authority
- CN
- China
- Prior art keywords
- restored
- image
- points
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000009467 reduction Effects 0.000 title description 11
- 230000000877 morphologic effect Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 241001085205 Prenanthella exigua Species 0.000 claims description 16
- 230000007797 corrosion Effects 0.000 claims description 13
- 238000005260 corrosion Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005530 etching Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
- G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Educational Technology (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能中的图像处理领域,实施例公开了一种表格还原方法及装置,应用于电子设备,所述方法包括:获取待还原图像,对待还原图像进行预处理,得到目标图像,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架;然后,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域;并基于多个相交区域,确定待还原表格对应的单元格排版信息,最后识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格;如此,有利于提高表格识别的稳定性。另外,本申请还涉及区块链技术,可应用于智慧教育领域中,从而推动智慧城市的建设。
Description
技术领域
本申请涉及人工智能中的图像处理技术领域,具体涉及一种表格还原方法及装置。
背景技术
在进行表格OCR(Optical Characcter Recognition,光学字符识别)任务时,需要把识别到的内容按照表格的形式还原,才能知道识别的内容之间的关系,业内的表格还原可利用模型来判别文字之间的位置关系,从而还原表格,模型总会有误差,泛化性低,输入的表格样式的不同,识别结果会有不小的区别,稳定性不高。
发明内容
本申请实施例提供一种表格还原方法及装置,有利于提高表格识别的稳定性。
本申请实施例第一方面提供了一种表格还原方法,应用于电子设备,包括:
获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
本申请实施例第二方面提供了一种表格还原装置,应用于电子设备,所述装置包括:获取单元、形态学操作单元、轮廓识别单元、确定单元和生成单元,其中,
所述获取单元,用于获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
所述形态学操作单元,用于将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
所述轮廓识别单元,用于对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
所述确定单元,用于基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
所述生成单元,用于识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
本申请实施例的第三方面提供一种电子设备,所述电子设备包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行本申请实施例第一方面所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,至少具有如下有益效果:
通过本申请实施例,应用于电子设备,上述方法包括:可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架,结构框架中包括多条横线和多条竖线;然后,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;并基于多个相交区域,确定待还原表格对应的单元格排版信息,最后识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,采用形态学方式对目标图像中的表格进行处理,耗时短,有利于提高整个表格还原的效率;另外,仅通过对待还原图像的预处理,不需要事先去做其他操作(例如,模型训练等等),有利于提高表格识别的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供了一种表格还原方法的流程示意图;
图1B为本申请实施例提供了一种形态学处理的场景示意图;
图2为本申请实施例提供了一种表格还原方法的流程示意图;
图3为本申请实施例提供了一种表格还原方法的流程示意图;
图4为本申请实施例提供了一种电子设备的结构示意图;
图5为本申请实施例提供了一种表格还原装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
为了能够更好地理解本申请实施例,下面将对应用本申请实施例的方法进行介绍。
本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID,MobileInternet Devices)或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述智能传感器设备还可以为服务器。
请参见图1A,图1A是本申请实施例提供的一种表格还原方法的流程示意图,应用于电子设备,上述方法包括以下步骤:
101、获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格。
其中,本申请实施例可应用于智慧教育领域中,上述待还原图像中的待还原表格可包括以下至少一种:调研表、财务表、教学工具采购表、学生信息统计表、教学产品信息表等等,在此不作限定;例如,教师、学生、家长等用户可通过表格填写的方式将关于教育领域的建议或者需求信息提供给教育机构,但是,后台人员或者教育机构人员在处理上述带有建议或者需求数据的图像时,一般是直接扫描到处理系统中,可能存在表格曲折或者弯曲的情况,若直接上传上述图像,可能会出现文字串行的情况,不利于数据采集以及教育机构用户调研的目的,因而,可对上述带有表格的图像进行表格还原,以得到表格还原以后的平整图像;从而,能够得到完整的用户数据,以达到用户调研的目的,有利于推动智慧城市的建设。
其中,上述待还原图像可包括以下任意一种形式:扫描件、图像、PDF、照片等等,在此不做限定;上述待还原图像中可包括待还原表格,上述预处理可为用户自行设置或者系统默认,例如,为了使得待还原图像中的待还原表格所对应的表格信息更完善、更清晰,可针对该待还原图像进行二值化处理,以得到目标图像,从而,可减少图像中的冗余,为后续的图像中的表格还原做准备。
具体实现中,电子设备中可预先设置不同的阈值,该阈值可根据图像区域的特征自动调整,从而可以自适应的调整阈值,可基于预先设置的阈值,针对该待还原图像中的图像特征逐步进行二值化处理,以得到目标图像。
102、将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线。
其中,在本申请实施例中,上述形态学操作可包括以下至少一种:膨胀、腐蚀等等,在此不做限定。膨胀可指通过将像素添加到该目标图像中的对象的感知边界,扩张放大目标图像中的明亮白色区域;而腐蚀恰恰相反,具体地,可沿着对象边界移除像素并缩小目标图像中对象的大小,通常可通过这两个操作,以增强图像中重要的对象特征;从而,可通过膨胀或者腐蚀等操作,得到上述待还原表格对应的结构框架,该结构框架中包括多条横线和多条竖线,可理解为,上述待还原表格即由多条横线和多条竖线构成。
在一种可能的示例中,上述步骤102,将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,可包括如下步骤:
21、确定所述目标图像中的明亮白色区域,根据所述明亮白色区域将所述目标图像进行第一膨胀操作,得到第一处理图像;
22、确定所述第一处理图像中的边界部分,并沿着所述边界部分对所述第一处理图进行腐蚀操作,得到第二处理图像;
23、对所述第二处理图像进行第二膨胀操作,得到所述待还原表格对应的结构框架。
其中,为了确定上述待还原表格对应的清晰的结构框架,电子设备可针对上述目标图像包括的多个像素点中每一像素点进行连续的膨胀、腐蚀、膨胀,按照该操作顺序,可同时得到上述待还原表格对应的结构框架,也就是表格中实线和虚线的结构框架,该结构框架可包括组成表格的多条横线和多条竖线。
具体实现中,由于目标图像中包含文字信息和待还原表格,为了区分目标图像中不同的部分对应的横线或者竖线、虚线或者实线,可确定目标图像中的明亮白色区域,该明亮白色区域中不包括待还原表格信以及文字信息;并根据该明亮白色区域进行第一膨胀操作,得到第一处理图像;如此,能扩大图像中的白色区域,并让目标图像中的虚线之间的连接空白变得更小,这样就不会被后续的腐蚀步骤消除掉,同时也能识别出中的虚线框以及实线框。
进一步地,可确定第一处理图像中的边界部分,该边界部分可理解为待还原图像中沿着表格的边界部分;并针对该边界部分进行腐蚀操作,得到第二处理图像,如此,可消除第一处理图像中不想要的小细节,比如上述第一处理图像中的噪点或者小细节等等,又由于上述第一处理图像中存在文字信息,若不做腐蚀操作,在后续的轮廓识别步骤中,会将文字中的竖着和横着的笔画当作线,因此,进行腐蚀操作,也避免上述情况的发生。
最后,为了得到第二处理图像中横线与竖线之间的结构框架,可针对第二处理图像继续进行第二膨胀操作,该第二膨胀操作的具体实施方式可与第一膨胀操作一致;另外,在进行第一膨胀处理或者第二膨胀处理时,由于一个表格中几乎不会出现一个竖列或横列中对应的所有文字的竖着或横着的笔画离的很近且连接起来有相当长度的情况,因此,文字笔画不会被当作虚线,如此,采用上述一系列的形态学操作,可保留目标图像中的文字信息和待还原表格对应的结构框架,同时可区分目标图像中不同的部分对应的横线或者竖线、虚线或者实线,有利于提高信息提取的稳定性以及效率。
具体的,如图1B所示,为一种形态学处理的场景示意图,分别为目标图像、第一处理图像和第二处理图像。电子设备通过对目标图像进行第一膨胀操作,可得到第一处理图像,如图所示,目标图像中的表格特征在经过膨胀以后,可增强待还原表格的表格特征,该目标图像中的待还原表格中的不理想的部分或者不想要的细节部分对应的特征更为明显,如图中所示的超出待还原表格的不理想部分;进而,再继续通过腐蚀操作,得到第二处理图像,该腐蚀操作可精确的去除第一处理图像中的不想要的细节或者不理想部分;最后,可对第二处理图像再次进行第二膨胀处理,以加强待还原表格中的表格的结构特征,得到待还原表格的结构框架;如此,可针对目标图像循环或者反复的采用膨胀、腐蚀、膨胀等操作,以逐步加强目标图像中的表格特征,最后得到想要的待还原表格对应的结构清晰的结构框架,。
103、对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点。
其中,上述轮廓识别的方式可为用户自行设置或者系统默认,在此不做限定。由于结构框架中包括多条横线和竖线,为了确定其目标图像中的具体位置,可采用按位操作以查找到待还原表格对应的轮廓,并进行轮廓识别,以得到目标图像对应的多个横线和多个竖线之间的多个相交区域,每一相交区域中可包括多个目标点,该目标点即为每一区域中的像素点。
另外,由于本方案不需要得到每一线段的位置,则可采用按位操作的方式,若不是用该方法,则需要得到每一线段的位置,再进行线段融合,如此,采用上述按位操作的方式,可提高表格还原的效率。
在一种可能的示例中,上述步骤103,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,可包括如下步骤:
31、确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标;
32、按照所述多个第一像素点坐标,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
其中,在进行了形态学操作以后,由于待还原表格中的横线和竖线不一定完全存在于一条直线上,可能会存在偏移,因此,可针对上述结构框架对应的多个第一像素点进行轮廓识别,以轮廓识别的提高准确率。
具体实现中,可确定每一第一像素点对应的坐标,得到多个第一像素点坐标,并基于多个第一像素点坐标实现按位操作以查找到待还原表格对应的轮廓,并对该轮廓进行轮廓识别,以得到待还原表格所对应的多条横线和多条竖线之间的多个相交区域,每一相交区域中可包括多个目标点,该目标点即为每一区域中的像素点;如此,用按位操作与轮廓识别操作得到多个目标点,不需要把每条连线的位置信息都得到再进行表格结构的构建,换言之,不需要做连线的检测与提取就能直接完成,有利于提高表格还原效率。
104、基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息。
其中,上述多个相交区域是由待还原表格中对应的多条横线与多条竖线构成,因此,可基于上述多个相交区域,确定该待还原表格中的单元格排版信息,该单元格排版信息可理解为,表格中多条横线与多条竖线对应的单元格的位置信息。
在一种可能的示例中,上述步骤104,基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息,可包括如下步骤:
41、获取所述多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置;
42、对所述多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点;
43、基于所述多个中心点,确定多个中心点中任意两个中心点之间的连接信息,得到多个连接信息;
44、基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息。
其中,可基于上述目标图像建立坐标系,上述多个位置具体可指相交区域中每一目标点(像素点)对应的横坐标以及纵坐标;由于上述每一相交区域对应的多个目标点可能分布较为分散,因此,可针对每一相交区域对应的多个目标点对应的多个位置进行聚类,以得到每一相交区域对应的聚类中心,也就是中心点,该中心点的位置可为多个目标点对应的平均位置。
进一步地,可基于上述多个中心点,确定任意两个中心点之间的连接信息,得到多个连接信息;该连接信息可指两个中心点之间是否存在横线或者竖线、存在的横线或者竖线的数量、每两个中心点之间是否连接等等;最后,可基于多个连接信息以及多个中心点,确定待还原表格对应的单元格排版信息,如此,可基于聚类的方式,以确定表格中多条横线与多条竖线对应的单元格的位置信息,可提高表格还原的效率。
可选地,在上述步骤43之前,在所述基于所述多个中心点,确定多个中心点中任意两个中心点之间的连接信息,得到多个连接信息之前,还可包括如下步骤:
A1、基于所述多个中心点,对每一中心点按照其对应的位置进行聚类,得到所述目标图像中多个横线的第一数量和多个竖线的第二数量;
A2、基于所述第一数量、所述第二数量以及多个中心点,对所述多个中心点中每一中心点进行定位,得到多个位置值。
其中,由于在上述步骤的首次聚类操作以后,可能得到虚假信息,可理解为,上述步骤得到的多个中心点中可能存在一些中心点散落在一个小的范围中,以形成干扰信息;因此,对上述多个中心点中的每一中心点进行聚类,可去掉待还原表格中的不必要的中心点,也就是上述虚假信息,并将上述多个中心点连接起来,以得到真实的实线信息,即多个横线以及多个竖线。
进一步地,可得到多个横线的第一数量和多个竖线的第二数量,由于表格中存在的横线和竖线之间存在排列规律;因此,可基于第一数量和第二数量,对上述多个中心点中每一中心点进行定位;例如,可根据第一数量和第二数量,得到某中心点对应的位置值为第三竖列,第四横行。
在一种可能的示例中,上述步骤43,基于所述多个中心点,确定多个中心点中任意两个中心点之间的连接信息,得到多个连接信息,可包括如下步骤:
431、基于所述多个位置值,确定每一中心点周围的多个临近点对应的多个临近位置值;
432、基于所述多个临近位置值,确定所述多个中心点之间对应的多个连线;
433、基于所述多个连线,确定任意两个中心点之间的连接信息,得到多个连接信息。
其中,上述临近点可指每一中心点周围的像素点,电子设备可先判断中心点的位置,然后通过周围像素点的值判断邻近的两个交点直接是否有连线,也就是说,可确定任意两个中心点之间的临近点是否相互连接,并存在于同一条连线上,该连线可为后续需要得到的单元格的边,如此,可确定多个中心点之间的多个连线,从而确定待还原表格中的多个横线和多个竖线。
具体实现中,可通过中心点周围的多个临近点对应的多个临近位置,判断上述多个中心点之间是否存在连线,具体可通过判断像素点对应的数量是否满足预设阈值来判断,该预设可由用户自行设置或者系统默认;若满足预设阈值,则认为存在连线,若不满足预设阈值,则认为不存在连线。举例来说,若第一中心点和第二中心点分别对应的横坐标相差30个像素点,但是纵坐标只相差3个像素点,则第一中心点和第二中心点被认为在一条横线上;又如果两个点横坐标相差30,纵坐标相差20,则认为这两个点既不在一条横线上也不在一条竖线上。
可选地,可直接通过临近点的数量来判断中心点之间是否存在连线,例如,在同一行上邻近的两个中心点之间,可通过判断第一中心点的右边十个临近点对应的像素值是否都是黑色,再看第二中心点的左边十个临近点对应的像素值是否都是黑色,如果两边都是黑色,则认为这两个中心点之前存在表格的一条线。
在一种可能的示例中,上述步骤44,基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息,可包括如下步骤:
441、基于所述多个连接信息,确定每一连接信息对应的连接矩阵,得到多个连接矩阵;
442、基于所述多个连接矩阵与所述多个中心点的位置,确定所述待还原表格对应的单元格排版信息。
其中,上述多个连接矩阵可表示单元格在竖直方向或者横方向的连接关系,上述多个横线和多个竖线之间可组成多个连接矩阵,因此,可根据多个连接信息确定每一连接信息中对应的多个中心点对应的连接矩阵;如此,可基于连接矩阵确定每一中心点之间的连接关系,并基于中心点的位置,对上述多个中心点进行定位,最终,可确定上述待还原表格中的单元格排版信息。
此外,在本申请实施例中,采用上述聚类的方式,得到待还原表格中每一相交区域中的中心点,并确定任意两个中心点之间的连接信息,该连接信息可指任意至少两个中心点之间的连接关系;进而可确定中心点之间是否连接,如此,通过任意连个点之间的连接关系,无需通过检测或提取待还原表格中的连线,无论待还原表格是全框线或者半框线,均能识别出来,有利于提高表格还原的实用性。
例如,假如一共有五个中心点,则可生成两个5*5的连接矩阵,一个表示竖直方向的连接关系,另一个表示横方向的连接关系,当存在连接关系时,可在矩阵中对应记录为1,不存在连接关系时,可在矩阵中对应记录为0,比如上述五个点中的第二个点和第四个点在竖直方向有连接,其他点在竖直方向都没连接,则记录竖直方向的矩阵,在第二行第四列及第四行第二列值是1,其他位置值是0。
105、识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
其中,可基于文字检测模型(例如,渐进式扩展网络模型)检测文字信息,并基于文字识别模型(例如,端到端文字识别网络(Convolutional Recurrent Neural Network,CRNN)模型)识别文字信息,从而得到目标图像中对应的目标文字信息,例如,可通过识别到的文字位置与表格单元格位置计算重合面积,文字位置归为最高重合面积的单元格,从而还原所有具有四周框线的单元格中的文字,最后,可基于上述目标文字信息和单元格排版信息,得到目标表格,由于本方案是基于二值化以后的图像进行后续的一系列操作,且采用形态学方式对表格进行处理,耗时短,有利于提高整个表格还原的效率,稳定性更高。
可选地,为了保证上述目标图像中包含的目标文字信息的私密性和安全性,可将该目标文字信息存储于区块链的节点中,需要说明的是,本申请实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
可以看出,本申请实施例中所描述的表格还原方法,应用于电子设备,可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架,结构框架中包括多条横线和多条竖线;然后,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;并基于多个相交区域,确定待还原表格对应的单元格排版信息,最后识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,采用形态学方式对目标图像中的表格进行处理,耗时短,有利于提高整个表格还原的效率;另外,仅通过对待还原图像的预处理,不需要事先去做其他操作(例如,模型训练等等),有利于提高表格识别的稳定性。
与上述一致地,请参阅图2,图2是本申请实施例公开的一种表格还原方法的流程示例图,应用于电子设备,该表格还原方法可包括如下步骤:
201、获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格。
202、确定所述目标图像中的明亮白色区域,根据所述明亮白色区域将所述目标图像进行第一膨胀操作,得到第一处理图像。
203、确定所述第一处理图像中的边界部分,并沿着所述边界部分对所述第一处理图进行腐蚀操作,得到第二处理图像。
204、对所述第二处理图像进行第二膨胀操作,得到所述待还原表格对应的结构框架。
205、对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点。
206、基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息。
207、识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
其中,上述步骤201-步骤207所描述的表格还原方法可参考图1A所描述的表格还原方法的对应步骤。
可以看出,本申请实施例所描述的表格还原方法,电子设备可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,确定目标图像中的明亮白色区域,根据明亮白色区域将目标图像进行第一膨胀操作,得到第一处理图像,确定第一处理图像中的边界部分,并沿着边界部分对第一处理图进行腐蚀操作,得到第二处理图像,对第二处理图像进行第二膨胀操作,得到待还原表格对应的结构框架;然后,可对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点,基于多个相交区域,确定待还原表格对应的单元格排版信息;最后,识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,电子设备仅通过一系列的形态学操作,即膨胀、腐蚀、再膨胀的方法,不仅实现对待还原表格中的实线框和虚线框的识别;同时,耗时短,有利于提高整个表格还原的效率。
与上述一致地,请参阅图3,图3是本申请实施例公开的一种表格还原方法的流程示例图,应用于电子设备,该表格还原方法可包括如下步骤:
301、获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格。
302、将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线。
303、确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标。
304、按照所述多个第一像素点坐标,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
305、获取所述多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置。
306、对所述多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点。
307、基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息。
308、基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息。
309、识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
其中,上述步骤301-步骤309所描述的表格还原方法可参考图1A所描述的表格还原方法的对应步骤。
可以看出,本申请实施例所描述的表格还原方法,电子设备可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架,结构框架中包括多条横线和多条竖线;然后,可确定结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标,按照多个第一像素点坐标,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域;进一步的,可获取多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置,对多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点,基于多个中心点,确定多个中心点中任意两个中心点之间的连接信息,得到多个连接信息,基于多个连接信息以及多个中心点,确定待还原表格对应的单元格排版信息;最后,可识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,可通过按位操作与轮廓识别操作得到多个目标点,不需要把每条连线的位置信息都得到再进行表格结构的构建,有利于提高表格还原效率;同时,采用聚类的方式,得到待还原表格中每一相交区域中的中心点,并确定任意两个中心点之间的连接信息,该连接信息可指任意至少两个中心点之间的连接关系,可确定中心点之间是否连接,如此,无论待还原表格是全框线或者半框线,均能识别出来,有利于提高表格还原的实用性。
与上述一致地,请参阅图4,图4为本申请实施例提供的一种电子设备的结构示意图,如图4所示,包括处理器、通信接口、存储器以及一个或多个程序,所述处理器、通信接口和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,上述一个或多个程序程序包括用于执行以下步骤的指令:
获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
可以看出,本申请实施例中所描述的电子设备,电子设备可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架,结构框架中包括多条横线和多条竖线;然后,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;并基于多个相交区域,确定待还原表格对应的单元格排版信息,最后识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,采用形态学方式对目标图像中的表格进行处理,耗时短,有利于提高整个表格还原的效率;另外,仅通过对待还原图像的预处理,不需要事先去做其他操作(例如,模型训练等等),有利于提高表格识别的稳定性。
在一个可能的示例中,在所述将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架方面,所述程序用于执行以下步骤的指令:
确定所述目标图像中的明亮白色区域,根据所述明亮白色区域将所述目标图像进行第一膨胀操作,得到第一处理图像;
确定所述第一处理图像中的边界部分,并沿着所述边界部分对所述第一处理图进行腐蚀操作,得到第二处理图像;
对所述第二处理图像进行第二膨胀操作,得到所述待还原表格对应的结构框架。
在一个可能的示例中,在所述将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架方面,所述程序用于执行以下步骤的指令:
在一个可能的示例中,在所述所述对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域方面,所述程序用于执行以下步骤的指令:
确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标;
按照所述多个第一像素点坐标,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
在一个可能的示例中,在所述基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息方面,所述程序用于执行以下步骤的指令:
获取所述多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置;
对所述多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点;
基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息;
基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息。
在一个可能的示例中,在所述基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息之前,所述程序还用于执行以下步骤的指令:
基于所述多个中心点,对每一中心点按照其对应的位置进行聚类,得到所述目标图像中多个横线的第一数量和多个竖线的第二数量;
基于所述第一数量、所述第二数量以及多个中心点,对所述多个中心点中每一中心点进行定位,得到多个位置值。
在一个可能的示例中,在所述将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架方面,所述程序用于执行以下步骤的指令:
在一个可能的示例中,在所述基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息方面,所述程序用于执行以下步骤的指令:
基于所述多个位置值,确定每一中心点周围的多个临近点对应的多个临近位置值;
基于所述多个临近位置值,确定所述多个中心点之间对应的多个连线;
基于所述多个连线,确定任意两个中心点之间的连接信息,得到多个连接信息。
在一个可能的示例中,在所述基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息方面,所述程序用于执行以下步骤的指令:
基于所述多个连接信息,确定每一连接信息对应的连接矩阵,得到多个连接矩阵;
基于所述多个连接矩阵与所述多个中心点的位置,确定所述待还原表格对应的单元格排版信息。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致地,请参阅图5,图5是本申请实施例公开的一种表格还原装置的结构示意图,应用于电子设备,该装置包括:获取单元501、形态学操作单元502、轮廓识别单元503、确定单元504和生成单元505,其中,
所述获取单元501,用于获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
所述形态学操作单元502,用于将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
所述轮廓识别单元503,用于对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
所述确定单元504,用于基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
所述生成单元505,用于识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
可以看出,本申请实施例中所描述的表格还原装置,应用于电子设备,该装置可获取待还原图像,对待还原图像进行预处理,得到目标图像,其中,待还原图像中包括待还原表格,将目标图像中包含的多个像素点进行形态学操作,得到待还原表格对应的结构框架,结构框架中包括多条横线和多条竖线;然后,对结构框架进行轮廓识别,得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;并基于多个相交区域,确定待还原表格对应的单元格排版信息,最后识别目标图像中包含的目标文字信息,基于单元格排版信息和目标文字信息,生成目标表格。如此,采用形态学方式对目标图像中的表格进行处理,耗时短,有利于提高整个表格还原的效率;另外,仅通过对待还原图像的预处理,不需要事先去做其他操作(例如,模型训练等等),有利于提高表格识别的稳定性。
在一个可能的示例中,在所述将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架方面,所述形态学操作单元502具体用于:
确定所述目标图像中的明亮白色区域,根据所述明亮白色区域将所述目标图像进行第一膨胀操作,得到第一处理图像;
确定所述第一处理图像中的边界部分,并沿着所述边界部分对所述第一处理图进行腐蚀操作,得到第二处理图像;
对所述第二处理图像进行第二膨胀操作,得到所述待还原表格对应的结构框架。
在一个可能的示例中,在所述所述对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域方面,所述轮廓识别单元503具体用于:
确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标;
按照所述多个第一像素点坐标,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
在一个可能的示例中,在所述基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息方面,所述确定单元504具体用于:
获取所述多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置;
对所述多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点;
基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息;
基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息。
在一个可能的示例中,在所述基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息方面,所述确定单元504具体还用于:
基于所述多个位置值,确定每一中心点周围的多个临近点对应的多个临近位置值;
基于所述多个临近位置值,确定所述多个中心点之间对应的多个连线;
基于所述多个连线,确定任意两个中心点之间的连接信息,得到多个连接信息。
在一个可能的示例中,在所述基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息方面,确定单元504具体还用于:
基于所述多个连接信息,确定每一连接信息对应的连接矩阵,得到多个连接矩阵;
基于所述多个连接矩阵与所述多个中心点的位置,确定所述待还原表格对应的单元格排版信息。
本申请实施例还提供一种计算机可读存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种表格还原方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种表格还原方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种表格还原方法,其特征在于,应用于电子设备,包括:
获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,包括:
确定所述目标图像中的明亮白色区域,根据所述明亮白色区域将所述目标图像进行第一膨胀操作,得到第一处理图像;
确定所述第一处理图像中的边界部分,并沿着所述边界部分对所述第一处理图进行腐蚀操作,得到第二处理图像;
对所述第二处理图像进行第二膨胀操作,得到所述待还原表格对应的结构框架。
3.根据权利要求1所述的方法,其特征在于,所述对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,包括:
确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标,得到多个第一像素点坐标;
按照所述多个第一像素点坐标,对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息,包括:
获取所述多个目标点中每一目标点在对应的相交区域内的位置,得到多个位置;
对所述多个位置进行聚类,得到多个中心点,其中,每一相交区域对应一个中心点;
基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息;
基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息。
5.根据权利要求4所述的方法,其特征在于,在所述基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息之前,所述方法还包括:
基于所述多个中心点,对每一中心点按照其对应的位置进行聚类,得到所述目标图像中多个横线的第一数量和多个竖线的第二数量;
基于所述第一数量、所述第二数量以及多个中心点,对所述多个中心点中每一中心点进行定位,得到多个位置值。
6.根据权利要求5所述的方法,其特征在于,所述基于所述多个中心点,确定所述多个中心点中任意两个中心点之间的连接信息,得到多个连接信息,包括:
基于所述多个位置值,确定每一中心点周围的多个临近点对应的多个临近位置值;
基于所述多个临近位置值,确定所述多个中心点之间对应的多个连线;
基于所述多个连线,确定任意两个中心点之间的连接信息,得到多个连接信息。
7.根据权利要求4所述的方法,其特征在于,所述基于所述多个连接信息以及所述多个中心点,确定所述待还原表格对应的单元格排版信息,包括:
基于所述多个连接信息,确定每一连接信息对应的连接矩阵,得到多个连接矩阵;
基于所述多个连接矩阵与所述多个中心点的位置,确定所述待还原表格对应的单元格排版信息。
8.一种表格还原装置,其特征在于,应用于电子设备,所述装置包括:获取单元、形态学操作单元、轮廓识别单元、确定单元和生成单元,其中,
所述获取单元,用于获取待还原图像,对所述待还原图像进行预处理,得到目标图像,其中,所述待还原图像中包括待还原表格;
所述形态学操作单元,用于将所述目标图像中包含的多个像素点进行形态学操作,得到所述待还原表格对应的结构框架,所述结构框架中包括多条横线和多条竖线;
所述轮廓识别单元,用于对所述结构框架进行轮廓识别,得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域,每一相交区域中包括多个目标点;
所述确定单元,用于基于所述多个相交区域,确定所述待还原表格对应的单元格排版信息;
所述生成单元,用于识别所述目标图像中包含的目标文字信息,基于所述单元格排版信息和目标文字信息,生成目标表格。
9.一种电子设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010472930.2A CN111640130A (zh) | 2020-05-29 | 2020-05-29 | 表格还原方法及装置 |
PCT/CN2020/103940 WO2021237909A1 (zh) | 2020-05-29 | 2020-07-24 | 一种表格还原方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010472930.2A CN111640130A (zh) | 2020-05-29 | 2020-05-29 | 表格还原方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111640130A true CN111640130A (zh) | 2020-09-08 |
Family
ID=72331683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010472930.2A Pending CN111640130A (zh) | 2020-05-29 | 2020-05-29 | 表格还原方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111640130A (zh) |
WO (1) | WO2021237909A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036365A (zh) * | 2020-09-15 | 2020-12-04 | 中国工商银行股份有限公司 | 信息导入方法和装置,以及图像处理方法和装置 |
CN112733855A (zh) * | 2020-12-30 | 2021-04-30 | 科大讯飞股份有限公司 | 表格结构化方法、表格恢复设备及具有存储功能的装置 |
CN113139457A (zh) * | 2021-04-21 | 2021-07-20 | 浙江康旭科技有限公司 | 一种基于crnn的图片表格提取方法 |
CN113221778A (zh) * | 2021-05-19 | 2021-08-06 | 北京航空航天大学杭州创新研究院 | 手写表格的检测与识别方法及装置 |
CN113343845A (zh) * | 2021-06-04 | 2021-09-03 | 北京捷通华声科技股份有限公司 | 表格检测方法、装置、电子设备和存储介质 |
CN113343866A (zh) * | 2021-06-15 | 2021-09-03 | 杭州数梦工场科技有限公司 | 表格信息的识别方法及装置、电子设备 |
CN113836878A (zh) * | 2021-09-02 | 2021-12-24 | 北京来也网络科技有限公司 | 结合rpa和ai的表格生成方法、装置、电子设备及存储介质 |
CN114218233A (zh) * | 2022-02-22 | 2022-03-22 | 子长科技(北京)有限公司 | 一种年报的处理方法、装置、电子设备及存储介质 |
WO2022105297A1 (zh) * | 2020-11-17 | 2022-05-27 | 深圳壹账通智能科技有限公司 | 表格结构的还原方法、系统、计算机设备及存储介质 |
CN114550192A (zh) * | 2022-01-27 | 2022-05-27 | 中国电建集团福建省电力勘测设计院有限公司 | 一种工程图纸自动处理方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926852A (zh) * | 2022-03-17 | 2022-08-19 | 支付宝(杭州)信息技术有限公司 | 表格识别重构方法、装置、设备、介质及程序产品 |
CN115618836B (zh) * | 2022-12-15 | 2023-03-31 | 杭州恒生聚源信息技术有限公司 | 无线表格的结构还原方法、装置、计算机设备及存储介质 |
CN116612487B (zh) * | 2023-07-21 | 2023-10-13 | 亚信科技(南京)有限公司 | 表格识别方法、装置、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180341907A1 (en) * | 2017-05-26 | 2018-11-29 | Walmart Apollo, Llc | Crowdsourcing techniques for processing product content |
CN110163030B (zh) * | 2018-02-11 | 2021-04-23 | 鼎复数据科技(北京)有限公司 | 一种基于图像信息的pdf有边框表格抽取方法 |
CN111079756B (zh) * | 2018-10-19 | 2023-09-19 | 杭州萤石软件有限公司 | 一种单据图像中的表格提取与重建方法和设备 |
CN109726643B (zh) * | 2018-12-13 | 2021-08-20 | 北京金山数字娱乐科技有限公司 | 图像中表格信息的识别方法、装置、电子设备及存储介质 |
CN110008809B (zh) * | 2019-01-04 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 表格数据的获取方法、装置和服务器 |
-
2020
- 2020-05-29 CN CN202010472930.2A patent/CN111640130A/zh active Pending
- 2020-07-24 WO PCT/CN2020/103940 patent/WO2021237909A1/zh active Application Filing
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036365A (zh) * | 2020-09-15 | 2020-12-04 | 中国工商银行股份有限公司 | 信息导入方法和装置,以及图像处理方法和装置 |
CN112036365B (zh) * | 2020-09-15 | 2024-05-07 | 中国工商银行股份有限公司 | 信息导入方法和装置,以及图像处理方法和装置 |
WO2022105297A1 (zh) * | 2020-11-17 | 2022-05-27 | 深圳壹账通智能科技有限公司 | 表格结构的还原方法、系统、计算机设备及存储介质 |
CN112733855A (zh) * | 2020-12-30 | 2021-04-30 | 科大讯飞股份有限公司 | 表格结构化方法、表格恢复设备及具有存储功能的装置 |
CN112733855B (zh) * | 2020-12-30 | 2024-04-09 | 科大讯飞股份有限公司 | 表格结构化方法、表格恢复设备及具有存储功能的装置 |
CN113139457A (zh) * | 2021-04-21 | 2021-07-20 | 浙江康旭科技有限公司 | 一种基于crnn的图片表格提取方法 |
CN113221778A (zh) * | 2021-05-19 | 2021-08-06 | 北京航空航天大学杭州创新研究院 | 手写表格的检测与识别方法及装置 |
CN113221778B (zh) * | 2021-05-19 | 2022-05-10 | 北京航空航天大学杭州创新研究院 | 手写表格的检测与识别方法及装置 |
CN113343845A (zh) * | 2021-06-04 | 2021-09-03 | 北京捷通华声科技股份有限公司 | 表格检测方法、装置、电子设备和存储介质 |
CN113343866A (zh) * | 2021-06-15 | 2021-09-03 | 杭州数梦工场科技有限公司 | 表格信息的识别方法及装置、电子设备 |
CN113836878A (zh) * | 2021-09-02 | 2021-12-24 | 北京来也网络科技有限公司 | 结合rpa和ai的表格生成方法、装置、电子设备及存储介质 |
CN114550192A (zh) * | 2022-01-27 | 2022-05-27 | 中国电建集团福建省电力勘测设计院有限公司 | 一种工程图纸自动处理方法 |
CN114218233A (zh) * | 2022-02-22 | 2022-03-22 | 子长科技(北京)有限公司 | 一种年报的处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021237909A1 (zh) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111640130A (zh) | 表格还原方法及装置 | |
CN111401371B (zh) | 一种文本检测识别方法、系统及计算机设备 | |
CN112926564B (zh) | 图片分析方法、系统、计算机设备和计算机可读存储介质 | |
CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
CN112668566A (zh) | 表格处理方法、装置、电子设备及存储介质 | |
CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
CN113850238B (zh) | 文档检测方法、装置、电子设备及存储介质 | |
CN112686243A (zh) | 智能识别图片文字的方法、装置、计算机设备及存储介质 | |
CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
CN114550051A (zh) | 一种车损检测方法、装置、计算机设备及存储介质 | |
CN115392937A (zh) | 一种用户欺诈风险识别方法、装置、电子设备及存储介质 | |
CN114049568A (zh) | 基于图像比对的标的物形变检测方法、装置、设备及介质 | |
CN112232336A (zh) | 一种证件识别方法、装置、设备及存储介质 | |
CN114022748B (zh) | 目标识别方法、装置、设备及存储介质 | |
CN110533020B (zh) | 一种文字信息的识别方法、装置及存储介质 | |
CN114049646A (zh) | 一种银行卡识别方法、装置、计算机设备及存储介质 | |
CN113052181A (zh) | 基于语义分割的表格重建方法、装置、设备及存储介质 | |
CN111369489A (zh) | 一种图像识别方法、装置及终端设备 | |
CN117496521A (zh) | 一种表格关键信息抽取方法、系统、装置及可读存储介质 | |
CN112583900A (zh) | 云计算的数据处理方法及相关产品 | |
CN108664906A (zh) | 一种基于卷积网络的火灾场景中内容的检测方法 | |
CN113011132B (zh) | 竖排文字识别方法、装置、计算机设备和存储介质 | |
CN116503885A (zh) | 表格识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |