CN114550186A - 文档图像的校正方法、装置、电子设备及存储介质 - Google Patents
文档图像的校正方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114550186A CN114550186A CN202210417889.8A CN202210417889A CN114550186A CN 114550186 A CN114550186 A CN 114550186A CN 202210417889 A CN202210417889 A CN 202210417889A CN 114550186 A CN114550186 A CN 114550186A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- document
- module
- document image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013507 mapping Methods 0.000 claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000002356 single layer Substances 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本公开提供一种文档图像的校正方法、装置、电子设备及存储介质，其中，所述方法包括：获取待处理的文档图像；将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。本方案可以有效地去除文档点云形态中背景噪声的干扰，准确地重构文档的形状，实现图像中文档的校正，为文档图像的识别和处理提供便利。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及文档图像的校正方法、装置、电子设备及存储介质。
背景技术
随着深度学习技术和智慧教育的快速发展，文本识别相关的应用给广大师生带来了很大的便利，比如拍照搜题、智能批改、题目录入等。文本识别的应用需要利用相机来拍摄文档图像，但基于相机采集的文档图像可能由于视角变化、纸张形变（褶皱、扭曲等）、环境噪声干扰等因素，导致文档图像的处理和识别更加困难。
因此，为了便于处理和识别文档图像，对文档图像中的文档进行校正是十分必要的。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种文档图像的校正方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种文档图像的校正方法，包括：
获取待处理的文档图像；
将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；
根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；
将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；
根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
根据本公开的另一方面，提供了一种文档图像的校正装置，包括：
图像获取模块，用于获取待处理的文档图像；
处理模块，用于将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；
第一确定模块，用于根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；
纹理映射模块，用于将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；
第二确定模块，用于根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
根据本公开的另一方面，提供了一种电子设备，包括：
处理器；以及
存储程序的存储器，
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据前述一方面所述的文档图像的校正方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据前述一方面所述的文档图像的校正方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述一方面所述的文档图像的校正方法。
本申请实施例中提供的一个或多个技术方案，可以有效地去除文档点云形态中背景噪声的干扰，准确地重构文档的形状，实现图像中文档的校正，达到更好的校正效果，进而有利于文档图像的识别和处理，为文档图像的识别和处理提供便利。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1示出了根据本公开一示例性实施例的文档图像的校正方法的流程图；
图2示出了根据本公开示例性实施例的点云重构模型的结构示意图；
图3（a）示出了根据本公开示例性实施例的单层编码器的结果示意图；
图3（b）示出了根据本公开示例性实施例的特征融合模块的结构示意图；
图4示出了根据本公开示例性实施例的文档图像的校正方法的过程示意图；
图5（a）示出了待处理的文档图像的示意图；
图5（b）示出了根据本公开示例性实施例的点云重构模型的分割模块输出的前景背景分割图的示意图；
图5（c）示出了根据本公开示例性实施例的点云重构模型的重构模块输出的文档图像的3D点云形态的示意图；
图5（d）示出了3D点云形态的侧面展示效果的示意图；
图5（e）示出了根据本公开示例性实施例的文档图像的校正方法确定的去除了背景点云噪声的文档点云图像的示意图；
图5（f）示出了文档点云图像的侧面展示效果的示意图；
图5（g）示出了根据本公开示例性实施例的文档图像的校正方法获得的校正后的图像的示意图；
图6示出了根据本公开示例性实施例的文档图像的校正装置的示意性框图；
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
以下参照附图描述本公开提供的文档图像的校正方法、装置、电子设备及存储介质。
随着深度学习技术和智慧教育的快速发展，文本识别相关的应用给广大师生带来了很大的便利，比如拍照搜题、智能批改、题目录入等。文本识别的应用需要利用相机来拍摄文档图像，但基于相机采集的文档图像可能由于视角变化、纸张形变（褶皱、扭曲等）、环境噪声干扰等因素，导致文档图像的处理和识别更加困难。
因此，为了便于处理和识别文档图像，对文档图像中的文档进行校正是十分必要的。
现有的文档图像的校正方法主要有两种，一是通过预测图像中的像素位置来校正图像中的文档，具体地，使用神经网络模型来预测图像中像素的位置，并利用得到的位置去移动原始图像，得到最终的校正结果；二是通过文档几何重构结合预测图像中的像素位置的方式来校正图像中的文档，具体地，首先预测文档的3D点云来表示文档的形状，再利用3D点云去预测像素位置，最终得到校正后的图像。
然而，由于拍摄文档时无法保证文档处于干净的环境中，导致现有的校正方法会受到环境噪声的干扰，进而影响文档的校正效果。
针对上述问题，本公开提供了一种文档图像的校准方法，通过将待处理的文档图像输入预先训练的点云重构模型，并根据点云重构模型的输出结果确定与文档图像对应的前景图像和全局点云图像，再根据前景图像和全局点云图像，确定与文档图像对应的文档点云图像，由此，能够有效地去除文档点云形态中背景噪声的干扰，获得去除背景噪声的文档点云图像，准确地重构了文档的形状，有利于后续的几何展示、分析和修改等操作；接着，将文档点云图像输入至预先训练的纹理映射模型，获取纹理映射模型输出的后向映射矩阵，进而根据后向映射矩阵和文档图像，确定校正后的输出图像，由此，实现了图像中文档的校正，能够达到更好的校正效果，进而有利于后续文档图像的识别和处理，为文档图像的识别和处理提供便利。
图1示出了根据本公开一示例性实施例的文档图像的校正方法的流程图，该方法可以由文档图像的校正装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该文档图像的校正方法包括：
步骤101，获取待处理的文档图像。
其中，待处理的文档图像是指需要进行文档校正的图像，可以是任意包含文档的图像，包含的文档可以是试卷、论文、课本等任意文档。
本公开实施例中，待处理的文档图像可以是利用相机实时拍摄的文档图像，也可以是从电子设备的存储内存中获取的文档图像，电子设备的存储内存中存储的文档图像可以是利用电子设备的相机对文档进行拍摄后保存的图像，也可以是接收到其他电子设备发送的图像后进行保存的文档图像，本公开对此不作限制。
步骤102，将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像。
其中，点云重构模型是预先训练得到的。
本公开实施例中，在训练获得点云重构模型时，可以收集大量的训练样本用于对初始模型进行训练。在点云重构模型的训练阶段，使用交叉熵损失函数和L1损失函数线性组合来训练模型，其中，交叉熵损失函数如公式（1）所示，L1损失函数如公式（2）所示。根据损失函数的值不断地进行迭代训练，更新模型的参数，直至损失函数的值收敛，训练过程结束，得到训练好的点云重构模型。训练后的点云重构模型能够输出原始图像对应的点云形态和前景背景的分离结果。
其中，y i 表示像素点i的真实值，p i 表示像素点i的预测值，N表示像素点的个数，N f 表示前景图像中包含的像素点的个数。
本公开实施例中，将待处理的文档图像输入至预先训练的点云重构模型中，由点云重构模型对输入的文档图像进行处理，输出处理后的输出结果。电子设备根据点云重构模型的输出结果确定与文档图像对应的前景图像和全局点云图像。
能够理解的是，点云重构模型能够输出原始图像对应的点云形态和前景背景的分离结果，从而，电子设备根据点云重构模型输出的前景背景分离结果，能够获得文档图像对应的前景图像，根据点云重构模型输出的点云形态，能够确定文档图像对应的全局点云图像。比如，可以将点云重构模型输出的点云形态作为文档图像的全局点云图像，该全局点云图像是包含文档图像的背景点云和文档点云的整体点云形态。
步骤103，根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像。
本公开实施例中，确定了文档图像对应的前景图像和全局点云图像之后，可以进一步确定与文档图像对应的文档点云图像。
能够理解的是，前景图像是文档图像中的前景对应的图像，在文档图像中，其前景为文档，从而前景图像对应的是文档图像中的文档，从而，利用前景图像，可以从全局点云图像中提取出文档对应的点云，得到文档点云图像。由此，得到的文档点云图像中去除了背景点云的干扰，有利于达到更好的文档校正效果。
步骤104，将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵。
其中，纹理映射模型是预先训练得到的。
本公开实施例中，在训练获得纹理映射模型时，可以收集大量的训练样本用于对初始模型进行训练。在纹理映射模型的训练阶段，使用L2损失函数和均方误差损失函数线性组合来训练模型，其中，L1损失函数如上述公式（2）所示，均方误差损失函数如公式（3）所示。其中，在训练之前，预先对训练样本进行标注，标注出不同的点云样本的后向映射，在训练时，标注的后向映射与预测得到的后向映射分别应用到与原始图像相同形变的棋盘图中，得到校正后的棋盘图之后，利用平整的棋盘图与校正后的棋盘图计算损失函数的损失值。根据损失函数的值不断地进行迭代训练，更新模型的参数，直至损失函数的值收敛，训练过程结束，得到训练好的纹理映射模型。训练后的纹理映射模型能够输出与输入图像匹配的后向映射矩阵。
其中，X i 表示像素点i在平整棋盘图中的目标值，x i 表示像素点i在校正后的棋盘图中的值，N f 表示前景图像中包含的像素点的个数。
本公开实施例中，将确定的文档点云图像输入至预先训练的纹理映射模型中，由纹理映射模型对文档点云图像进行处理，输出文档点云图像的后向映射矩阵，电子设备从纹理映射模型获取其输出的后向映射矩阵。
步骤105，根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
本公开实施例中，确定了文档图像的后向映射矩阵之后，可以根据后向映射矩阵以及文档图像，确定校正后的输出图像。
在本公开的一种可选实施方式中，后向映射矩阵中包括多个像素点的坐标，从而在确定校正后的输出图像时，可以根据后向映射矩阵中每个像素点的目标坐标，从文档图像中提取与目标坐标对应的目标像素点的像素值，进而根据目标坐标和目标像素点的像素值，生成校正后的输出图像。
以后续映射矩阵中的像素点Ni,j为例，根据后向映射矩阵中像素点Ni,j对应的坐标，从文档图像中找到相同坐标对应的目标像素点，并获取该目标像素点在文档图像中的像素值，进而根据该像素点Ni,j对应的坐标和获取的目标像素点的像素值，生成新图像中的一个像素点，直至遍历完后向映射矩阵中的每个像素点，得到的新图像即为校正后的输出图像。其中，像素点Ni,j表示后向映射矩阵中第i行第j列的像素点。也就是说，利用后向映射矩阵中存储的各像素点的位置，从原始的文档图像中提取对应位置的像素点的像素值来构建校正后的图像，从而实现文档的准确校正。
能够理解的是，后向映射矩阵是一个NxNx2的矩阵，存储的是NxN个坐标，每个坐标表示像素点在输入图像（即原始的文档图像）中的位置，根据后向映射矩阵中Ni,j存储的坐标，提取原始的文档图像相同坐标的像素点的像素值，再将获取的像素值存储在Ni,j中，得到NxNx3的图像矩阵，该NxNx3的图像矩阵即表示校正后的输出图像。
本公开实施例的文档图像的校正方法，通过将待处理的文档图像输入预先训练的点云重构模型，并根据点云重构模型的输出结果确定与文档图像对应的前景图像和全局点云图像，再根据前景图像和全局点云图像，确定与文档图像对应的文档点云图像，由此，能够有效地去除文档点云形态中背景噪声的干扰，获得去除背景噪声的文档点云图像，准确地重构了文档的形状，有利于后续的几何展示、分析和修改等操作；接着，将文档点云图像输入至预先训练的纹理映射模型，获取纹理映射模型输出的后向映射矩阵，进而根据后向映射矩阵和文档图像，确定校正后的输出图像，由此，实现了图像中文档的校正，能够达到更好的校正效果，进而有利于后续文档图像的识别和处理，为文档图像的识别和处理提供便利。
在本公开的一种可选实施方式中，预先训练的点云重构模型包括编码模块、特征融合模块、分割模块和重构模块，其中，编码模块用于提取文档图像中的语义特征，特征融合模块利用卷积学习多尺度特征并融合，分割模块和重构模块组成解码器，用于将特征融合模块融合得到的全局特征进行解码，其中，分割模块用于完成语义分割任务，将图像中的前景与背景分离，重构模块用于学习图像中文档的形态，受背景的影响，重构模块预测得到的3D点云中存在背景噪声。
图2示出了根据本公开示例性实施例的点云重构模型的结构示意图，如图2所示，该点云重构模型的编码模块包括多个编码器，每个编码器由多个单层编码器组成，图2中，x3表示该编码器由3个重复的单层编码器组成，x4表示编码器由4个重复的单层编码器组成，x6表示编码器由3个重复的单层编码器组成，其中，单层编码器的结构如图3（a）所示，单层编码器使用两层卷积网络组成。特征融合模块由多个卷积组成，后接一个1想的卷积网络对特征图进行降维。在本公开的一种可选实施方式中，特征融合模块包括多个空洞卷积和一个1x1的卷积网络，空洞卷积有更大的感受野，可以提取更大范围的特征，有利于模型兼顾更多的文档形态，相较于普通的卷积网络，利用空洞卷积能够获得更好的效果。特征融合模块的结构图如图3（b）所示，图3（b）中，r表示空洞卷积的膨胀率。图2中，分割模块和重构模块组成的解码器使用的是残差网络结构，如图2所示，分割模块和重构模块的结构相似，均由卷积网络组成，其中，分割模块除最后一层卷积网络外，均使用Rule激活函数，最后一层卷积网络则使用sigmoid（乙状函数）激活函数，重构模块的最后一层卷积网络添加hardtanh（硬双曲正切函数）激活函数。点云重构模型的输入是一张分辨率为256x256的图像，分割模块和重构模块分别输出分辨率为128x128的像素类别和3D点云。
本公开实施例中，将获取的文档图像输入至如图2所示的点云重构模型，其中，点云重构模型的编码模块对文档图像进行特征提取，并输出语义特征图至点云重构模型的特征融合模块，通过特征融合模块学习特征并进行特征融合，得到全局特征图并输出至分割模块和重构模块，通过分割模块对全局特征图进行解码，输出前景背景分割图，以及通过重构模块对全局特征图进行解码，输出文档图像的3D点云形态。进而，电子设备根据分割模块输出的前景背景分割图，可以确定出文档图像的前景图像，并可以获取重构模块输出的3D点云形态，作为文档图像的全局点云图像。由此，利用分割模块来分离出图像的前景和背景，为后续去除点云形态中的背景点云提供了条件。
在本公开的一种可选实施方式中，分割模块输出的前景背景分割图可以包括各个像素点对应的像素类别，像素类别为前景或者背景，也就是说，前景背景分割图中，前景和背景通过各像素点对应的像素类别来表示，如果一个像素点的像素类别为前景，则该像素点属于前景中的像素点，而如果一个像素点的像素类别为背景，则该像素点属于背景中的像素点。从而，本公开实施例中，在根据分割模块输出的前景背景分割图，确定文档图像的前景图像时，可以先或前景背景分割图中每个像素点的像素类别，进而根据前景背景分割图中像素类别为前景的目标像素点，确定文档图像的前景图像。
示例性地，可以将前景背景分割图中像素类别为背景的像素点从前景背景分割图中剔除，仅保留像素类别为前景的所有像素点，得到的新图像即为前景图像。
在本公开实施例中，通过根据前景背景分割图中像素类别为前景的目标像素点，确定文档图像的前景图像，实现了前景和背景的分离，为后续获得去除背景点云噪声的文档点云图像提供了数据支持。
由于点云重构模型的分割模块和重构模块输出图像的分辨率相同，则前景背景分割图与3D点云形态中包含的像素点的个数和位置相同，前景背景分割图与3D点云形态中相同位置的像素点对应，从而，在本公开的一种可选实施方式中，在根据前景图像和全局点云图像，确定与文档图像对应的文档点云图像时，可以根据前景图像中每个像素点的位置信息，从全局点云图像中确定出目标点云，进而利用目标点云，生成与文档图像对应的文档点云图像。
具体地，可以根据前景图像中每个像素点的位置信息，从全局点云图像中获取具有相同位置信息的目标点云来构建文档点云图像。其中，像素点的位置信息可以通过像素点在图像中的行数和列数组合表示。
在本公开实施例中，通过根据前景图像中每个像素点的位置信息，从全局点云图像中确定出目标点云，并利用目标点云生成与文档图像对应的文档点云图像，由此，实现了根据前景图像来去除全局点云图像中的背景点云，达到了去除背景点云噪声的目的，能够获得准确的文档形态，有利于实现准确的文档校正。
需要说明的是，本公开实施例中，也可以不确定前景图像，直接根据分割模块输出的前景背景分割图和重构模块输出的3D点云形态，也可以直接确定出文档图像对应的文档点云图像，本公开实施例公开的获取前景图像后再根据前景图像和全局点云图像确定文档点云图像仅作为示例来解释说明本公开，而不能作为对本公开的限制，直接根据分割模块输出的前景背景分割图和重构模块输出的3D点云形态确定文档点云图像的方案也应当属于本公开的内容。
图4示出了根据本公开示例性实施例的文档图像的校正方法的过程示意图，如图4所示，将图5（a）所示的文档图像输入至点云重构模型中，经过点云重构模型的编码模块、特征融合模块、分割模块和重构模块进行处理后，分割模块输出如图5（b）所示的前景背景分割图，重构模块输出如图5（c）所示的3D点云形态，3D点云形态的侧面展示效果如图5（d）所示。根据分割模块和重构模块的输出结果，可以确定出如图5（e）所示的去除了背景点云噪声的文档点云图像，文档点云图像的侧面展示效果如图5（f）所示。之后，将确定的文档点云图像输入至预先训练好的纹理映射模型，得到后向映射矩阵，进而结合后向映射矩阵和输入图像，可以得到如图5（g）所示的校正后的图像。
本公开示例性实施例还提供了一种文档图像的校正装置。图6示出了根据本公开示例性实施例的文档图像的校正装置的示意性框图，如图6所示，该文档图像的校正装置60包括：图像获取模块601、处理模块602、第一确定模块603、纹理映射模块604和第二确定模块605。
其中，图像获取模块601，用于获取待处理的文档图像；
处理模块602，用于将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；
第一确定模块603，用于根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；
纹理映射模块604，用于将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；
第二确定模块605，用于根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
可选地，所述点云重构模型包括编码模块、特征融合模块、分割模块和重构模块，所述处理模块602包括：
输入单元，用于将所述文档图像输入所述点云重构模型，其中，所述点云重构模型通过编码模块对所述文档图像进行特征提取，输出语义特征图至所述特征融合模块，通过所述特征融合模块进行特征融合，输出全局特征图至所述分割模块和所述重构模块，并通过所述分割模块对所述全局特征图进行解码，输出前景背景分割图，以及通过所述重构模块对所述全局特征图进行解码，输出3D点云形态；
处理单元，用于根据所述分割模块输出的所述前景背景分割图，确定所述文档图像的前景图像；
获取单元，用于获取所述重构模块输出的所述3D点云形态，作为所述文档图像的全局点云图像。
可选地，所述特征融合模块包括多个空洞卷积和一个1*1的卷积网络。
可选地，所述处理单元具体用于：
获取所述前景背景分割图中每个像素点的像素类别，其中，所述像素类别为前景或者背景；
根据所述前景背景分割图中像素类别为前景的目标像素点，确定所述文档图像的前景图像。
可选地，所述第一确定模块603具体用于：
根据所述前景图像中每个像素点的位置信息，从所述全局点云图像中确定出目标点云；
利用所述目标点云，生成与所述文档图像对应的文档点云图像。
可选地，所述后向映射矩阵中包括多个像素点的坐标，所述第二确定模块605具体用于：
根据所述后向映射矩阵中每个像素点的目标坐标，从所述文档图像中提取与所述目标坐标对应的目标像素点的像素值；
根据所述目标坐标和所述目标像素点的像素值，生成校正后的输出图像。
本公开实施例所提供的文档图像的校正装置，可执行本公开实施例所提供的任意可应用于终端等电子设备的文档图像的校正方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序包括指令，所述指令在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例所述的文档图像的校正方法。
本公开示例性实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例所述的文档图像的校正方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例所述的文档图像的校正方法。
参考图7，现将描述可以作为本公开的服务器或客户端的电子设备1100的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器（ROM）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（RAM）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106、输出单元1107、存储单元1108以及通信单元1109。输入单元1106可以是能向电子设备1100输入信息的任何类型的设备，输入单元1106可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1107可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1108可以包括但不限于磁盘、光盘。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理。例如，在一些实施例中，文档图像的校正方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。在一些实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行文档图像的校正方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种文档图像的校正方法，其中，所述方法包括：
获取待处理的文档图像；
将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；
根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；
将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；
根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
2.如权利要求1所述的文档图像的校正方法，其中，所述点云重构模型包括编码模块、特征融合模块、分割模块和重构模块，所述将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像，包括：
将所述文档图像输入所述点云重构模型，其中，所述点云重构模型通过编码模块对所述文档图像进行特征提取，输出语义特征图至所述特征融合模块，通过所述特征融合模块进行特征融合，输出全局特征图至所述分割模块和所述重构模块，并通过所述分割模块对所述全局特征图进行解码，输出前景背景分割图，以及通过所述重构模块对所述全局特征图进行解码，输出3D点云形态；
根据所述分割模块输出的所述前景背景分割图，确定所述文档图像的前景图像；
获取所述重构模块输出的所述3D点云形态，作为所述文档图像的全局点云图像。
3.如权利要求2所述的文档图像的校正方法，其中，所述根据所述分割模块输出的所述前景背景分割图，确定所述文档图像的前景图像，包括：
获取所述前景背景分割图中每个像素点的像素类别，其中，所述像素类别为前景或者背景；
根据所述前景背景分割图中像素类别为前景的目标像素点，确定所述文档图像的前景图像。
4.如权利要求2所述的文档图像的校正方法，其中，所述特征融合模块包括多个空洞卷积和一个1*1的卷积网络。
5.如权利要求2-4任一项所述的文档图像的校正方法，其中，所述根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像，包括：
根据所述前景图像中每个像素点的位置信息，从所述全局点云图像中确定出目标点云；
利用所述目标点云，生成与所述文档图像对应的文档点云图像。
6.如权利要求1-4任一项所述的文档图像的校正方法，其中，所述后向映射矩阵中包括多个像素点的坐标，所述根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像，包括：
根据所述后向映射矩阵中每个像素点的目标坐标，从所述文档图像中提取与所述目标坐标对应的目标像素点的像素值；
根据所述目标坐标和所述目标像素点的像素值，生成校正后的输出图像。
7.一种文档图像的校正装置，其中，所述装置包括：
图像获取模块，用于获取待处理的文档图像；
处理模块，用于将所述文档图像输入预先训练的点云重构模型，并根据所述点云重构模型的输出结果确定与所述文档图像对应的前景图像和全局点云图像；
第一确定模块，用于根据所述前景图像和所述全局点云图像，确定与所述文档图像对应的文档点云图像；
纹理映射模块，用于将所述文档点云图像输入至预先训练的纹理映射模型，获取所述纹理映射模型输出的后向映射矩阵；
第二确定模块，用于根据所述后向映射矩阵和所述文档图像，确定校正后的输出图像。
8.如权利要求7所述的文档图像的校正装置，其中，所述点云重构模型包括编码模块、特征融合模块、分割模块和重构模块，所述处理模块包括：
输入单元，用于将所述文档图像输入所述点云重构模型，其中，所述点云重构模型通过编码模块对所述文档图像进行特征提取，输出语义特征图至所述特征融合模块，通过所述特征融合模块进行特征融合，输出全局特征图至所述分割模块和所述重构模块，并通过所述分割模块对所述全局特征图进行解码，输出前景背景分割图，以及通过所述重构模块对所述全局特征图进行解码，输出3D点云形态；
处理单元，用于根据所述分割模块输出的所述前景背景分割图，确定所述文档图像的前景图像；
获取单元，用于获取所述重构模块输出的所述3D点云形态，作为所述文档图像的全局点云图像。
9.一种电子设备，包括：
处理器；以及
存储程序的存储器，
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-6中任一项所述的文档图像的校正方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的文档图像的校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417889.8A CN114550186A (zh) | 2022-04-21 | 2022-04-21 | 文档图像的校正方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417889.8A CN114550186A (zh) | 2022-04-21 | 2022-04-21 | 文档图像的校正方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114550186A true CN114550186A (zh) | 2022-05-27 |
Family
ID=81667132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210417889.8A Pending CN114550186A (zh) | 2022-04-21 | 2022-04-21 | 文档图像的校正方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114550186A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296745A (zh) * | 2015-05-26 | 2017-01-04 | 富士通株式会社 | 对文档图像进行校正的方法和装置 |
| US20170177932A1 (en) * | 2014-03-31 | 2017-06-22 | Open Text Sa Ulc | Method and device for capturing a document |
| US20190170508A1 (en) * | 2016-05-13 | 2019-06-06 | Kallion, Inc. | Portable 3d document scanning device and method |
| CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
| CN112767270A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学技术大学 | 褶皱文档图像矫正系统 |
| CN113963000A (zh) * | 2021-10-21 | 2022-01-21 | 北京字节跳动网络技术有限公司 | 图像分割方法、装置、电子设备及程序产品 |
| CN114255337A (zh) * | 2021-11-03 | 2022-03-29 | 北京百度网讯科技有限公司 | 文档图像的矫正方法、装置、电子设备及存储介质 |
-
2022
- 2022-04-21 CN CN202210417889.8A patent/CN114550186A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177932A1 (en) * | 2014-03-31 | 2017-06-22 | Open Text Sa Ulc | Method and device for capturing a document |
| CN106296745A (zh) * | 2015-05-26 | 2017-01-04 | 富士通株式会社 | 对文档图像进行校正的方法和装置 |
| US20190170508A1 (en) * | 2016-05-13 | 2019-06-06 | Kallion, Inc. | Portable 3d document scanning device and method |
| CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
| CN112767270A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学技术大学 | 褶皱文档图像矫正系统 |
| CN113963000A (zh) * | 2021-10-21 | 2022-01-21 | 北京字节跳动网络技术有限公司 | 图像分割方法、装置、电子设备及程序产品 |
| CN114255337A (zh) * | 2021-11-03 | 2022-03-29 | 北京百度网讯科技有限公司 | 文档图像的矫正方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GUO-WANG XIE等: "Dewarping Document Image by Displacement Flow Estimation with Fully Convolutional Network", 《DAS 2020:DOCUMENT ANALYSIS SYSTEMS》 * |
| 郑俊朝: "基于点云数据的扭曲文档倾斜校正算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145766B (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN109359539B (zh) | 注意力评估方法、装置、终端设备及计算机可读存储介质 | |
| CN112819686B (zh) | 基于人工智能的图像风格处理方法、装置及电子设备 | |
| CN113196289A (zh) | 人体动作识别方法、人体动作识别系统及设备 | |
| CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
| CN106991364B (zh) | 人脸识别处理方法、装置以及移动终端 | |
| CN114550177A (zh) | 图像处理的方法、文本识别方法及装置 | |
| CN113591566A (zh) | 图像识别模型的训练方法、装置、电子设备和存储介质 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN112668608A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN115100659A (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113688955A (zh) | 文本识别方法、装置、设备及介质 | |
| CN111815748B (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN115565186B (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN116363641A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN114550186A (zh) | 文档图像的校正方法、装置、电子设备及存储介质 | |
| CN115239590A (zh) | 样本图像的生成方法、装置、设备、介质及程序产品 | |
| CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN116309274B (zh) | 图像中小目标检测方法、装置、计算机设备及存储介质 | |
| CN111612714A (zh) | 图像修复方法、装置和电子设备 | |
| CN113610064B (zh) | 笔迹识别方法和装置 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220527 |