CN111667556A - 表格矫正方法及装置 - Google Patents
表格矫正方法及装置 Download PDFInfo
- Publication number
- CN111667556A CN111667556A CN202010575417.6A CN202010575417A CN111667556A CN 111667556 A CN111667556 A CN 111667556A CN 202010575417 A CN202010575417 A CN 202010575417A CN 111667556 A CN111667556 A CN 111667556A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- information
- corrected
- template image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012937 correction Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 45
- 238000005070 sampling Methods 0.000 claims description 32
- 238000011176 pooling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Character Input (AREA)
Abstract
本申请涉及图像处理，提供了一种表格矫正方法及装置，应用于电子设备，所述方法包括：可获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；然后，可确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标；基于预设模型和表格信息，对初始坐标集进行矫正，得到目标表格信息；最后，可获取文字信息的坐标位置信息，基于目标表格信息和坐标位置信息，将文字信息和目标表格信息合成为目标图像。如此，有利于提高表格矫正的效率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种表格矫正方法及装置。
背景技术
在生活中，对于公司、银行、证卷交易所产生越来越多的财务表格单据及信息，传统的财务报表统计、校对、审计都全靠人工进行，速度慢、效率底，很难满足越来越多的表格单据信息的识别、入库及校对，绝大多数文本表格都会因为纸张弯曲、倾斜等问题发生形变，而变成了非矩形的不规则形状，从而造成在读取表格信息时，导致信息的缺失，因此，对于弯曲的表格的矫正问题，亟需解决。
发明内容
本申请实施例提供一种表格矫正方法及装置，有利于提高表格矫正效率。
本申请实施例第一方面提供了一种表格矫正方法，应用于电子设备，包括：
获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
本申请实施例第二方面提供了一种表格矫正装置，应用于电子设备，所述装置包括：获取单元、预处理单元、确定单元、矫正单元和合成单元，其中，
所述获取单元，用于获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
所述预处理单元，用于基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
所述确定单元，用于确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
所述矫正单元，用于基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
所述合成单元，用于获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
本申请实施例的第三方面提供一种电子设备，所述电子设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本申请实施例第一方面所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，至少具有如下有益效果：
通过本申请实施例，应用于电子设备，上述方法包括：可获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；然后，可确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，初始坐标集中包括多个初始坐标；基于预设模型和表格信息，对初始坐标集进行矫正，得到目标表格信息；最后，可获取文字信息的坐标位置信息，基于目标表格信息和坐标位置信息，将文字信息和目标表格信息合成为目标图像。如此，可将待矫正表格图像中的表格信息提取出来，以对待矫正表格图像中的表格进行矫正，有利于提高表格矫正的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供了一种表格矫正方法的流程示意图；
图1B为本申请实施例提供了一种参数调整的结构示意图；
图2为本申请实施例提供了一种表格矫正方法的流程示意图；
图3为本申请实施例提供了一种电子设备的结构示意图；
图4A为本申请实施例提供了一种表格矫正装置的结构示意图；
图4B为本申请实施例提供了另一种表格矫正装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
为了能够更好地理解本申请实施例，下面将对应用本申请实施例的方法进行介绍。
本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，MobileInternet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述电子设备还可以为服务器。
请参见图1A，图1A是本申请实施例提供的一种表格矫正方法的流程示意图，应用于电子设备，上述方法包括以下步骤：
101、获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像。
其中，电子设备可获取用户通过扫描上传或者拍照上传等方式得到的待矫正表格图像，上述待矫正表格图像可以为财务报表、薪资报表、采购报表等等，在此不做限定。上述待矫正表格图像可为任意一种文件形式，例如，可为扫描件、图像、PDF文件等等，在此不做限定；该待矫正表格图像包括文字图像和表格图像，该表格图像中可包括弯曲表格，该弯曲表格为待矫正表格。
可选地，为了保证待矫正表格图像中数据的安全性，上述待矫正表格图像可存储于区块链中，该区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
102、基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
其中，上述表格信息中可包括弯曲表格所对应的特征信息；电子设备中可包括预设模型，该预设模型可事先训练好，并通过该预设模型提取待矫正表格图像中的特征信息；该特征信息可包括上述表格信息和文字信息，另外，上述文字信息也可采用光学字符识别(Optical Character Recognition，OCR)等技术进行提取，上述预处理可为特征提取处理，该特征提取的方法可包括以下至少一种方法：加速稳健特征(Speeded Up RobustFeature,SURF)、尺度不变特征转换(Scalelnvariant Feature Transform,SIFT)、加速分割测试获得特征(Features from Accelerated Segment Test,FAST)、Harris角点法、ORB(Oriented Bried)法等等，在此不作限定。
在一种可能的示例中，上述步骤102，对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息，可包括如下步骤：
将所述待矫正表格图像输入所述预设模型中，通过所述预设模型中卷积层的卷积处理和池化层对所述待矫正表格图像池化处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
其中，上述预设模型可为用户自行设置或者系统默认，在此不作限定；该预设模型可为深度学习网络模型，例如卷积网络模型等等，该预设模型中可包括多个模块，多个模块之间可包括卷积层和池化层。
具体实现中，将待矫正表格图像输入预设模型以后，可通过卷积层的卷积运算，使得待矫正表格图像中的图像特征增强，并且降低图像噪音；又由于在经过卷积层的卷积处理以后，待矫正表格图像可能会越来越小，且图像边界信息可能会丢失，例如，图像的角落和边界的信息发挥作用较少。因此，需要通过池化层对上述经过卷积层以后的待矫正表格图像进行池化处理，以填充待矫正表格图像中的特征信息；如此，在经过卷积层的卷积处理以及池化层的池化处理以后，可得到特征增强以后的表格信息和文字信息。
可选地，在上述步骤102之前，在对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息之前，可包括如下步骤：
A1、获取第一模板图像，对所述第一模板图像进行第一预处理，得到第二模板图像；
A2、对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像；
A3、基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图；对所述第一卷积特征图进行采样，得到第一采样特征图；将所述第一卷积特征图和所述第一采样特征图进行拼接，得到拼接以后的第一目标特征图，所述第一目标特征图中包括第一特征信息；
A4、基于所述预设模型，对所述第二目标模板图像进行卷积处理，得到第二卷积特征图；对所述第二卷积特征图进行采样，得到第二采样特征图，将所述第二卷积特征图和所述第二采样特征图进行拼接，得到拼接以后的第二目标特征图，所述第二目标特征图中包括第二特征信息；
A5、基于所述第一特征信息和所述第二特征信息，对所述预设模型中的模型损失值进行调整，得到调整后的模型损失值，并基于所述调整后的模型损失值，对所述预设模型中的模型参数进行调整，得到所述目标模型参数。
其中，如图1B所示，为一种参数调整的结构示意图，在使用预设模型之前，电子设备可事先依据该预设模型对获得的表格数据集进行训练，以调整预设模型中的模型参数，以提高该预设模型的输出结果的准确性。上述该第一模板图像和第二模板图像均可作为训练上述预设模型的数据集，上述第一模板图像可为平整表格图像，可对该第一模板图像进行第一预处理，以得到第二模板图像，上述第一模板图像和第二模板图像分别对应的数据可构成上述表格数据集。
具体实现中，可对第一模板图像随机对折，卷曲处理等等，得到不平整表格图像，对该不平整表格图像进行拍摄，以得到第二模板图像，该第二模板图像中包括不平整的表格，如此，对第一模板图像进行第一预处理，可得到扭曲不平整的表格对应的数据集，且在上述一系列操作以后，更改的仅为表格的扭曲程度、拉扯程度，并未更改表格中的内容。
此外，还可针对该第一模板图像进行仿射变换、透视变换等操作，以得到第二模板图像，可构建一个与第一模板图像一样大小的网格，例如，若第一模板图像的大小是宽400，高600，则可建立一个40*60的网格。选定一个网格的交点，移动此交点的位置，计算出移动的方向及距离；计算其他网格交点和此交点移动之前的位置的距离，按照位置的远近及相对位置进行上述交点的移动；具体地，相距较远的可移动的较少的位置，越近的移动较大的位置，又例如，若存在一个交点在移动的交点的左方，则向右移动；若在右方，则向左移动；如此，可得到第二模板图像，以构造出扭曲与折叠的效果。
进一步地，可继续对上述第一模板图像和第二模板图像进行第二预处理，其目的在于使得后续的模型训练效率更高，如此，可得到第一目标模板图像和第二目标模板图像，其中，该第一目标模板图像和第二目标模板图像中包括训练上述预设模型所需的表格数据集，该表格数据集中可包括第一目标模板图像和第二目标模板图像中的分别针对其对应的表格所标注的坐标。
再进一步地，可将上述第一目标模板图像和第二目标模板图像输入预设模型中进行训练，以预设调整模型中的模型参数，具体实现中，可基于预设模型，将第一目标模板图像和第二目标模板图像分别通过卷积层的卷积处理，得到第一卷积特征图和第二卷积特征图；为了增强图像中的特征，预设模型中可包括多层网络结构，经过了卷积处理以后，第一卷积特征图或者第二卷积特征图较第一目标模板图像或者第二目标模板图像而言，加强了图像特征，但图像会变小，因此，可继续对第一卷积特征图以及第二卷积特征图进行采样处理，以得到特征加强以后的第一目标模板图像和第二目标模板图像中对应的表格特征，得到第一采样特征图和第二采样特征图，如此，在减少图像噪音影响的同时，可加强表格特征。
进而，为了避免图像中其他特征的遗漏，可将第一卷积特征图和第一采样特征图进行拼接，在完成拼接以后，可得到表格特征更为明显的第一目标特征图，第一目标特征图中可包括表格特征信息和文字特征信息；同样的，也可将第二卷积特征图和第二采样特征图进行拼接，在完成拼接以后，可得到表格特征更为明显的第二目标特征图，第二目标特征图中可包括表格特征信息和文字特征信息，如此，在加强图像特征以后，更有利于后续的模型参数调整，可提高参数调整的精确性，有利于提高整个表格矫正算法的准确度。
最后，可通过预设模型，电子设备可对获得的第一特征信息和第二特征信息中包含的两个数据集进行训练，上述两个数据集可分别为事先标注得到的两个图像中的表格框线对应的像素坐标；然后，电子设备可对模型损失值进行调整，并基于调整以后的模型损失值，对模型参数进行调整，以得到适用于表格矫正的目标模型参数，可利于该目标模型参数对待矫正表格图像中的待矫正表格进行矫正。
例如，若上述预设模型是多重堆叠网络模型，在训练的过程中，可利用多重堆叠网络对两个数据集进行训练学习，并采用L2损失函数，对表格边框进行回归，该L2损失函数为：
以使得通过预设模型训练的结果能够不断逼近真实结果，从而，有利于提高预设模型的算法与系统的矫正准确度。
在一种可能的示例中，上述步骤A2，对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像，可包括如下步骤：
将所述第一模板图像和所述第二模板图像分别对应的红色通道进行最大距离变换，绿色通道进行线性距离变换，蓝色通道进行欧氏距离变换，得到处理以后的所述第一目标模板图像和所述第二目标模板图像。
其中，第一模板图像和第二模板图像中可分别对应三种通道，分别为R(红色)、G(绿色)、B(蓝色)，电子设备可分别对上述三个颜色通道进行处理，可使得图像中的特征更为明显，有利于提高表格矫正的效率。
具体实现中，电子设备可基于预设函数，得到第一模板图像或者第二模板图像中的三个通道所对应的像素点，得到多个像素点集，每一像素点集对应一个通道，分别对上述三个通道对应的像素点集进行最大距离变换、线性距离变换和欧式距离变换，以得到第一目标模板图像或者第二模板图像。
在一种可能的示例中，上述步骤A3，基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图，可包括如下步骤：
A31、确定所述预设模型对应的多个模块，每一模块内部对应的卷积层相互连接；
A32、通过所述多个模块，对所述第一目标模板图像进行卷积处理，得到多个卷积特征图，每一所述卷积特征图对应一个模块；
A33、对所述多个卷积特征图进行最大值池化，得到所述第一卷积特征图。
其中，上述预设模型可包括多个模块，例如，上述预设模型可由9个卷积模块堆叠而成，每个模块内部为卷积层的连接。其中，前四个模块，在经过每个模块的卷积处理以后，可得到每一模块对应的卷积特征图(可为一个宽*高*深度的三维矩阵，例如，一个宽200高300的图片就是一个200*300*3的三维矩阵)，然后，可多上述多个卷积特征图，进行最大值池化(例如，一个16*16矩阵，进行窗口为8*8的池化，得到2*2的矩形，这四个值分别为远8*8窗口内的最大值)，以得到第一卷积特征图，如此，得到的第一卷积特征图的宽高都变为原来的1/2，但深度不变。
进一步地，上述将该第一特征图进行采样，得到第一采样特征图，具体地，可从第五到第八个模块，得到的特征图进行上采样，如此，可得到第一采样特征图。
再进一步地，上述将第一卷积特征图和第二采样特征图进行拼接，得到拼接以后的目标特征图，具体地，上述第一和第九个模块的特征图的宽和高都相等，可进行深度方向的拼接，同理，可对第二和八，三和七，四和六模块都进行拼接，以得到第一目标特征图，该第一目标特征图中可包括第一特征信息。
103、确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标。
其中，上述表格信息可包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，该坐标可为像素级坐标。
104、基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息。
其中，当用户在上传财务报表等类型的表格时，由于移动终端拍摄的场景等问题，可能会由于光照不足或过强、或者由于拍照角度等问题、或者由于本身表格对应的纸张的弯曲，导致上传的表格的扭曲或者不清晰，直接影响着表格识别的准确度和灵活度；因此，可基于预设模型对上述表格图像中的待矫正表格框架对应的多个初始坐标进行矫正，得到目标表格信息。
在一种可能的示例中，上述步骤104，所述目标表格信息包括多个目标坐标，基于所述预设模型和所述表格信息，对所述初始位置集进行矫正，得到目标表格信息，可包括如下步骤：
B1、获取所述预设模型对应的目标模型参数；
B2、基于所述目标模型参数和所述表格信息，得到所述待矫正表格框架在所述表格图像中每一像素点对应的目标坐标，得到多个目标坐标；
B3、将所述多个初始位置矫正为所述多个目标位置，得到目标表格信息。
其中，可基于待矫正图像建立像素级坐标系，上述表格信息可包括待矫正表格中的表格框线对应的每一像素对应的初始坐标，可基于事先训练好的预设模型，并调整得到的目标模型参数对上述表格信息进行处理，可输出将待矫正表格中的每一像素对应的坐标矫正后的目标坐标，以得到多个目标坐标，该目标坐标即为平整表格状态下的表格框线中的图像像素对应的坐标，进而，可将上述多个初始坐标矫正为多个目标坐标，即得到目标表格信息。
105、基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
其中，在对待矫正表格矫正以后，可直接将上述文字信息填入上述目标表格信息中，以得到目标图像。
此外，可基于预设评价指标，对上述目标图像进行评价，以判断目标图像中表格矫正的效率，该预设评价指标可为用户自行设置或者系统默认，可采用以下两组评价标准：1)、尺度结构相似度(MS-SSIM)，2)、利用尺度不变特征变换(SIFT)对局部扭曲(LD)进行评价，此外还可以将每张图片矫正的耗时作为一种评价标准，以便于评估是否后续再次对预设模型进行参数调整，以提高后续表格矫正的准确率。
在一种可能的示例中，上述步骤105，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像，可包括如下步骤：
51、基于所述目标表格信息，对所述坐标位置信息进行调整，得到目标坐标位置信息；
52、基于所述目标坐标位置信息和所述多个目标坐标，将所述文字信息填入所述目标表格信息对应的目标表格中，得到所述目标图像。
其中，由于上述待矫正表格图像中表格的弯曲可能会造成文字信息的偏移、错位等情况，而上述目标表格信息中可包括平整表格状态下的表格框线中的图像像素对应的多个目标坐标，因此，可对文字信息对应的位置进行调整，具体实现中，可获取文字信息对应的坐标位置信息，并基于多个目标坐标对文字信息对应的坐标位置信息进行调整，以得到平整状态下的目标坐标位置信息，并基于多个目标坐标和其对应的文字信息所对应的目标坐标位置信息，将文字信息填入目标表格信息对应的表格中，以得到平整的目标图像。
可以看出，本申请实施例中所描述的表格矫正方法，应用于电子设备，可获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；然后，可确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，初始坐标集中包括多个初始坐标；基于预设模型和表格信息，对初始坐标集进行矫正，得到目标表格信息；最后，可获取文字信息的坐标位置信息，基于目标表格信息和坐标位置信息，将文字信息和目标表格信息合成为目标图像。如此，可将待矫正表格图像中的表格信息提取出来，以对待矫正表格图像中的表格进行矫正，有利于提高表格矫正的效率。
与上述一致地，请参阅图2，图2是本申请实施例公开的一种表格矫正方法的流程示例图，应用于电子设备，该表格矫正方法可包括如下步骤：
201、获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像。
202、基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
203、确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标。
204、获取所述预设模型对应的目标模型参数。
205、基于所述目标模型参数和所述表格信息，得到所述待矫正表格框架在所述表格图像中每一像素点对应的目标坐标，得到多个目标坐标。
206、将所述多个初始位置矫正为所述多个目标位置，得到目标表格信息。
207、获取所述文字信息的坐标位置信息，基于所述目标表格信息，对所述坐标位置信息进行调整，得到目标坐标位置信息；
208、基于所述目标坐标位置信息和所述多个目标坐标，将所述文字信息填入所述目标表格信息对应的目标表格中，得到所述目标图像。
其中，上述步骤201-步骤208所描述的表格矫正方法可参考图1A所描述的表格矫正方法的对应步骤。
可以看出，本申请实施例所描述的表格矫正方法，应用于电子设备，可获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，初始坐标集中包括多个初始坐标；进而，可基于目标模型参数和表格信息，得到待矫正表格框架在表格图像中每一像素点对应的目标坐标，得到多个目标坐标；将多个初始位置矫正为多个目标位置，得到目标表格信息；进一步地，可获取文字信息的坐标位置信息，基于目标表格信息，对坐标位置信息进行调整，得到目标坐标位置信息；最后，可基于目标坐标位置信息和多个目标坐标，将文字信息填入目标表格信息对应的目标表格中，得到目标图像。如此，可通过训练好的预设模型，得到待矫正模型矫正以后的多个目标坐标，有利于提高表格中待矫正表格的识别效率；最后可通过多个目标坐标以及文字信息对应的目标坐标位置信息，将文字信息填入矫正以后的目标表格中，以得到表格矫正以后的目标图像，有利于提高表格矫正的效率。
与上述一致地，请参阅图3，图3为本申请实施例提供的一种电子设备的结构示意图，如图3所示，包括处理器、通信接口、存储器以及一个或多个程序，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述一个或多个程序程序包括用于执行以下步骤的指令：
获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
可以看出，本申请实施例中所描述的电子设备，获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；然后，可确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，初始坐标集中包括多个初始坐标；基于预设模型和表格信息，对初始坐标集进行矫正，得到目标表格信息；最后，可获取文字信息的坐标位置信息，基于目标表格信息和坐标位置信息，将文字信息和目标表格信息合成为目标图像。如此，可将待矫正表格图像中的表格信息提取出来，以对待矫正表格图像中的表格进行矫正，有利于提高表格矫正的效率。
在一个可能的示例中，在所述对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息方面，所述程序用于执行以下步骤的指令：
将所述待矫正表格图像输入所述预设模型中，通过所述预设模型中卷积层的卷积处理和池化层对所述待矫正表格图像池化处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
在一个可能的示例中，所述目标表格信息包括多个目标坐标，在基于所述预设模型和所述表格信息，对所述初始位置集进行矫正，得到目标表格信息方面，所述程序用于执行以下步骤的指令：
获取所述预设模型对应的目标模型参数；
基于所述目标模型参数和所述表格信息，得到所述待矫正表格框架在所述表格图像中每一像素点对应的目标坐标，得到多个目标坐标；
将所述多个初始位置矫正为所述多个目标位置，得到目标表格信息。
在一个可能的示例中，在基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像方面，所述程序用于执行以下步骤的指令：
基于所述目标表格信息，对所述坐标位置信息进行调整，得到目标坐标位置信息；
基于所述目标坐标位置信息和所述多个目标坐标，将所述文字信息填入所述目标表格信息对应的目标表格中，得到所述目标图像。
在一个可能的示例中，所述程序还用于执行以下步骤的指令：
获取第一模板图像，对所述第一模板图像进行第一预处理，得到第二模板图像；
对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像；
基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图；对所述第一卷积特征图进行采样，得到第一采样特征图；将所述第一卷积特征图和所述第一采样特征图进行拼接，得到拼接以后的第一目标特征图，所述第一目标特征图中包括第一特征信息；
基于所述预设模型，对所述第二目标模板图像进行卷积处理，得到第二卷积特征图；对所述第二卷积特征图进行采样，得到第二采样特征图，将所述第二卷积特征图和所述第二采样特征图进行拼接，得到拼接以后的第二目标特征图，所述第二目标特征图中包括第二特征信息；
基于所述第一特征信息和所述第二特征信息，对所述预设模型中的模型损失值进行调整，得到调整后的模型损失值，并基于所述调整后的模型损失值，对所述预设模型中的模型参数进行调整，得到所述目标模型参数。
在一个可能的示例中，在所述对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像方面，所述程序用于执行以下步骤的指令：
将所述第一模板图像和所述第二模板图像分别对应的红色通道进行最大距离变换，绿色通道进行线性距离变换，蓝色通道进行欧氏距离变换，得到处理以后的所述第一目标模板图像和所述第二目标模板图像。
在一个可能的示例中，在所述所述基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图方面，所述程序用于执行以下步骤的指令：
确定所述预设模型对应的多个模块，每一模块内部对应的卷积层相互连接；
通过所述多个模块，对所述第一目标模板图像进行卷积处理，得到多个卷积特征图，每一所述卷积特征图对应一个模块；
对所述多个卷积特征图进行最大值池化，得到所述第一卷积特征图。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致地，请参阅图4A，图4A是本申请实施例公开的一种表格矫正装置的结构示意图，应用于电子设备，该装置包括：获取单元401、预处理单元402、确定单元403、矫正单元404和合成单元405，其中，
所述获取单元401，用于获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
所述预处理单元402，用于基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
所述确定单元403，用于确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
所述矫正单元404，用于基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
所述合成单元405，用于获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
可以看出，本申请实施例中所描述的表格矫正装置，应用于电子设备，该装置获取待矫正表格图像，待矫正表格图像包括文字图像和表格图像；基于预设模型对待矫正表格图像进行预处理，得到文字图像对应的文字信息，以及表格图像对应的表格信息；然后，可确定表格信息中待矫正表格框架对应的初始坐标集，初始位置集中包括待矫正表格框架在表格图像中每一像素点对应的初始坐标，初始坐标集中包括多个初始坐标；基于预设模型和表格信息，对初始坐标集进行矫正，得到目标表格信息；最后，可获取文字信息的坐标位置信息，基于目标表格信息和坐标位置信息，将文字信息和目标表格信息合成为目标图像。如此，可将待矫正表格图像中的表格信息提取出来，以对待矫正表格图像中的表格进行矫正，有利于提高表格矫正的效率。
在一个可能的示例中，在对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息方面，上述预处理单元402具体可用于：
将所述待矫正表格图像输入所述预设模型中，通过所述预设模型中卷积层的卷积处理和池化层对所述待矫正表格图像池化处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
在一个可能的示例中，所述目标表格信息包括多个目标坐标，在所述基于所述预设模型和所述表格信息，对所述初始位置集进行矫正方面，上述矫正单元404具体可用于：
获取所述预设模型对应的目标模型参数；
基于所述目标模型参数和所述表格信息，得到所述待矫正表格框架在所述表格图像中每一像素点对应的目标坐标，得到多个目标坐标；
将所述多个初始位置矫正为所述多个目标位置，得到目标表格信息。
在一个可能的示例中，在所述基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像方面，上述合成单元405具体可用于：
基于所述目标表格信息，对所述坐标位置信息进行调整，得到目标坐标位置信息；
基于所述目标坐标位置信息和所述多个目标坐标，将所述文字信息填入所述目标表格信息对应的目标表格中，得到所述目标图像。
可选地，如图4B所示，图4B是另一种表格矫正装置的结构示意图，为图4A所示的表格矫正装置的变换结构，其与图4A相比较，还可以包括：第一预处理单元406、第二预处理单元407、卷积单元408和调整单元409，具体如下：
所述第一预处理单元406，用于获取第一模板图像，对所述第一模板图像进行第一预处理，得到第二模板图像；
所述第二预处理单元407，用于对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像；
所述卷积单元408，用于基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图；对所述第一卷积特征图进行采样，得到第一采样特征图；将所述第一卷积特征图和所述第一采样特征图进行拼接，得到拼接以后的第一目标特征图，所述第一目标特征图中包括第一特征信息；
所述卷积单元408，还用于基于所述预设模型，对所述第二目标模板图像进行卷积处理，得到第二卷积特征图；对所述第二卷积特征图进行采样，得到第二采样特征图，将所述第二卷积特征图和所述第二采样特征图进行拼接，得到拼接以后的第二目标特征图，所述第二目标特征图中包括第二特征信息；
所述调整单元409，用于基于所述第一特征信息和所述第二特征信息，对所述预设模型中的模型损失值进行调整，得到调整后的模型损失值，并基于所述调整后的模型损失值，对所述预设模型中的模型参数进行调整，得到所述目标模型参数。
在一个可能的示例中，在所述对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像方面，上述第二预处理单元407具体可用于：
将所述第一模板图像和所述第二模板图像分别对应的红色通道进行最大距离变换，绿色通道进行线性距离变换，蓝色通道进行欧氏距离变换，得到处理以后的所述第一目标模板图像和所述第二目标模板图像。
在一个可能的示例中，在所述所述基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图方面，上述卷积单元408具体可用于：
确定所述预设模型对应的多个模块，每一模块内部对应的卷积层相互连接；
通过所述多个模块，对所述第一目标模板图像进行卷积处理，得到多个卷积特征图，每一所述卷积特征图对应一个模块；
对所述多个卷积特征图进行最大值池化，得到所述第一卷积特征图。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种表格矫正方法的部分或全部步骤。进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种表格矫正方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、电子设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种表格矫正方法，其特征在于，应用于电子设备，包括：
获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息，包括：
将所述待矫正表格图像输入所述预设模型中，通过所述预设模型中卷积层的卷积处理和池化层对所述待矫正表格图像池化处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息。
3.根据权利要求2所述的方法，其特征在于，所述目标表格信息包括多个目标坐标，所述基于所述预设模型和所述表格信息，对所述初始位置集进行矫正，得到目标表格信息，包括：
获取所述预设模型对应的目标模型参数；
基于所述目标模型参数和所述表格信息，得到所述待矫正表格框架在所述表格图像中每一像素点对应的目标坐标，得到多个目标坐标；
将所述多个初始位置矫正为所述多个目标位置，得到目标表格信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像，包括：
基于所述目标表格信息，对所述坐标位置信息进行调整，得到目标坐标位置信息；
基于所述目标坐标位置信息和所述多个目标坐标，将所述文字信息填入所述目标表格信息对应的目标表格中，得到所述目标图像。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取第一模板图像，对所述第一模板图像进行第一预处理，得到第二模板图像；
对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像；
基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图；对所述第一卷积特征图进行采样，得到第一采样特征图；将所述第一卷积特征图和所述第一采样特征图进行拼接，得到拼接以后的第一目标特征图，所述第一目标特征图中包括第一特征信息；
基于所述预设模型，对所述第二目标模板图像进行卷积处理，得到第二卷积特征图；对所述第二卷积特征图进行采样，得到第二采样特征图，将所述第二卷积特征图和所述第二采样特征图进行拼接，得到拼接以后的第二目标特征图，所述第二目标特征图中包括第二特征信息；
基于所述第一特征信息和所述第二特征信息，对所述预设模型中的模型损失值进行调整，得到调整后的模型损失值，并基于所述调整后的模型损失值，对所述预设模型中的模型参数进行调整，得到所述目标模型参数。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一模板图像和所述第二模板图像分别进行第二预处理，得到第一目标模板图像和第二目标模板图像，包括：
将所述第一模板图像和所述第二模板图像分别对应的红色通道进行最大距离变换，绿色通道进行线性距离变换，蓝色通道进行欧氏距离变换，得到处理以后的所述第一目标模板图像和所述第二目标模板图像。
7.根据权利要求5所述的方法，其特征在于，所述基于所述预设模型，对所述第一目标模板图像进行卷积处理，得到第一卷积特征图，包括：
确定所述预设模型对应的多个模块，每一模块内部对应的卷积层相互连接；
通过所述多个模块，对所述第一目标模板图像进行卷积处理，得到多个卷积特征图，每一所述卷积特征图对应一个模块；
对所述多个卷积特征图进行最大值池化，得到所述第一卷积特征图。
8.一种表格矫正装置，其特征在于，应用于电子设备，所述装置包括：获取单元、预处理单元、确定单元、矫正单元和合成单元，其中，
所述获取单元，用于获取待矫正表格图像，所述待矫正表格图像包括文字图像和表格图像；
所述预处理单元，用于基于预设模型对所述待矫正表格图像进行预处理，得到所述文字图像对应的文字信息，以及所述表格图像对应的表格信息；
所述确定单元，用于确定所述表格信息中待矫正表格框架对应的初始坐标集，所述初始位置集中包括所述待矫正表格框架在所述表格图像中每一像素点对应的初始坐标，所述初始坐标集中包括多个初始坐标；
所述矫正单元，用于基于所述预设模型和所述表格信息，对所述初始坐标集进行矫正，得到目标表格信息；
所述合成单元，用于获取所述文字信息的坐标位置信息，基于所述目标表格信息和所述坐标位置信息，将所述文字信息和目标表格信息合成为目标图像。
9.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010575417.6A CN111667556A (zh) | 2020-06-22 | 2020-06-22 | 表格矫正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010575417.6A CN111667556A (zh) | 2020-06-22 | 2020-06-22 | 表格矫正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111667556A true CN111667556A (zh) | 2020-09-15 |
Family
ID=72389322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010575417.6A Pending CN111667556A (zh) | 2020-06-22 | 2020-06-22 | 表格矫正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667556A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800824A (zh) * | 2020-12-08 | 2021-05-14 | 北京方正印捷数码技术有限公司 | 扫描文件的处理方法、装置、设备及存储介质 |
| CN113283398A (zh) * | 2021-07-13 | 2021-08-20 | 国网电子商务有限公司 | 一种基于聚类的表格识别方法及系统 |
| CN113688684A (zh) * | 2021-07-26 | 2021-11-23 | 国网电商科技有限公司 | 一种基于聚类的表格重构方法及系统 |
| CN116643505A (zh) * | 2023-07-21 | 2023-08-25 | 深圳视腾达科技有限公司 | 一种智能家居用交互控制方法及系统 |
-
2020
- 2020-06-22 CN CN202010575417.6A patent/CN111667556A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800824A (zh) * | 2020-12-08 | 2021-05-14 | 北京方正印捷数码技术有限公司 | 扫描文件的处理方法、装置、设备及存储介质 |
| CN112800824B (zh) * | 2020-12-08 | 2024-02-02 | 北京方正印捷数码技术有限公司 | 扫描文件的处理方法、装置、设备及存储介质 |
| CN113283398A (zh) * | 2021-07-13 | 2021-08-20 | 国网电子商务有限公司 | 一种基于聚类的表格识别方法及系统 |
| CN113688684A (zh) * | 2021-07-26 | 2021-11-23 | 国网电商科技有限公司 | 一种基于聚类的表格重构方法及系统 |
| CN116643505A (zh) * | 2023-07-21 | 2023-08-25 | 深圳视腾达科技有限公司 | 一种智能家居用交互控制方法及系统 |
| CN116643505B (zh) * | 2023-07-21 | 2023-11-03 | 深圳视腾达科技有限公司 | 一种智能家居用交互控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667556A (zh) | 表格矫正方法及装置 | |
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN112052839B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| US20190050641A1 (en) | Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers | |
| US9495735B2 (en) | Document unbending systems and methods | |
| US20100239165A1 (en) | Model-Based Dewarping Method And Apparatus | |
| CN108846385B (zh) | 基于卷积-反卷积神经网络的图像识别、校正方法和装置 | |
| CN114155546B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| WO2022134771A1 (zh) | 表格处理方法、装置、电子设备及存储介质 | |
| CN110427972B (zh) | 证件视频特征提取方法、装置、计算机设备和存储介质 | |
| CN110619334B (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
| CN109977762B (zh) | 一种文本定位方法及装置、文本识别方法及装置 | |
| CN111507181B (zh) | 票据图像的矫正方法、装置及计算机设备 | |
| CN111985465A (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN109598270B (zh) | 扭曲文字的识别方法及装置、存储介质及处理器 | |
| US8195626B1 (en) | Compressing token-based files for transfer and reconstruction | |
| CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN114742722A (zh) | 文档矫正方法、装置、电子设备及存储介质 | |
| CN113221897B (zh) | 图像矫正方法、图像文本识别方法、身份验证方法及装置 | |
| CN113012075A (zh) | 一种图像矫正方法、装置、计算机设备及存储介质 | |
| CN112668567A (zh) | 一种基于深度学习的图像裁剪算法 | |
| CN112581344A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |