CN113792730A - 文档图像的矫正方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了文档图像的矫正方法、装置、电子设备和存储介质，人工智能技术领域，涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景，将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。通过从单个待矫正文档图像中消除形变的深度学习，能够降低待矫正文档图像的局部失真率以及OCR字符错误率。

Description

文档图像的矫正方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景，具体涉及一种文档图像的矫正方法、装置、电子设备和存储介质。

背景技术

随着移动摄像终端数量剧增，随手拍照已经成为一种对文档进行数字化记录的普遍方式，而光学字符识别(Optical Character Recognition，OCR)技术，能够将文档能以图像的形式被分析和识别，一定程度上实现了文本识别的自动化。

然而，文档图像识别效果的优劣与其质量有着密切的联系，由于纸张的物理变形，对文本图像识别造成极大干扰。

发明内容

本公开提供了一种文档图像的矫正方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种文档图像的矫正方法，其中，包括：

将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；

将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；

根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；

通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

根据本公开的另一方面，提供了一种文档图像的矫正装置，包括：

第一输入模块，用于将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；

第二输入模块，用于将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；

第一计算模块，用于根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；

处理模块，用于通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述一方面所述的方法。

本公开提供的文档图像的矫正方法、装置、电子设备和存储介质，将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标，将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标，根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图，通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。通过从单个待矫正文档图像中消除形变的深度学习，能够降低待矫正文档图像的局部失真率以及OCR字符错误率。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种文档图像的矫正方法的流程示意图；

图2为本公开实施例所提供的一种矫正坐标预测网络模型的训练方法流程示意图；

图3为本公开实施例提供的一种生成坐标值偏移量真值的示意图；

图4为本公开实施例所提供的另一种矫正坐标预测网络模型的训练方法流程示意图；

图5为本公开实施例提供的一种形状网络模型的训练方法流程示意图；

图6为本公开实施例提供的一种文档图像的矫正装置的结构示意图；

图7为本公开实施例提供的另一种文档图像的矫正装置的结构示意图；

图8为本公开实施例提供的示例电子设备800的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的文档图像的矫正方法、装置、电子设备和存储介质。

相关技术中，根据3D形状重建的方法实现文档图像的矫正变形，如使用投影仪系统获得3D模型或者使用专用的激光测距仪来捕获变形文档的3D模型，并根据纸张的物理特性以进行形状恢复，这种方式下多依赖于物理设备，对物理设备的精准度要求较高，对于3D模型的构建，物理设备的稳定性及精准度是很难把控的，从而导致构建的3D模型也不稳定，进而直接导致文档图像的矫正质量差以及失真率高。

本公开中，为了避免基于物理设备的不稳定性带来的文档图像的矫正质量差以及失真率高的问题，先采用两个深度学习模型，即形状网络模型以及矫正坐标预测网络模型，将二维的待矫正图像转化为三维图像，并对三维图像的坐标进行矫正，其次，将三维的矫正坐标以及待矫正文档图像的角点映射为二维的前向图，最后通过插值得到后向图，根据后向图利用双线性差值方法从待矫正文档图像(扭曲图)生成文档图像的矫正图。

图1为本公开实施例所提供的一种文档图像的矫正方法的流程示意图。

如图1所示，该方法包含以下步骤：

步骤101，将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标。

所述形状网络模型用于逐像素预测扭曲图待矫正文档图像的3D坐标，所述的待矫正文档图像为二维图像，在输入形状网络模型后，将二维的待矫正文档图像转换映射为对应的扭曲3D坐标。

步骤102，将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标。

步骤101的输出，作为步骤102的输入，即将形状网络模型输出的扭曲3D坐标输入到矫正坐标预测网络模型，基于该矫正坐标预测网络模型转换为扭曲图像的矫正3D坐标，矫正坐标预测网络模型预测了扭曲3D坐标到矫正3D坐标的坐标值偏移量，该偏移量描述了从待矫正文档图像的扭曲3D坐标到其矫正3D坐标的转换。

在实际应用中，所述矫正坐标预测网络模型可以是依赖基于DenseNet的模型作为映射函数将扭曲3D坐标图转换为3D矫正坐标图。并使用可微的组合目标函数共同优化形状网络模型和矫正坐标预测网络模型，如此以来便能提高待矫正文档图像的转换精度。

步骤103，根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图。

通常情况下，待矫正文档图像的角点包含4个角点，本步骤所述的角点为二维状态下的待矫正文档图像的角点所对应的矫正3D坐标，将该矫正3D坐标转换为二维状态下对应的2D坐标，该处的2D坐标也是逐像素进行转换，当逐像素对矫正三维坐标图进行转换后，得到二维前向图，角点与矫正三维坐标的结合得到的二维前向图，能够很好的还原待矫正文档图像。

计算二维前向图过程如下所示：

根据所述待矫正文档图像的左上角点、右上角点以及所述矫正文档图像的宽度，计算二维前向图的横向坐标，根据所述待矫正文档图像的左下角点、右下角点以及所述矫正文档图像的高度，计算二维前向图的纵向坐标，根据所述横向坐标及所述纵向坐标生成前向图。

假定矫正图的四角点为左上角点:C1、左下角点:C2、右下角点:C3、右上角点:C4，且根据其真值的生成方式，设定此四个角点对应的矫正3D坐标，在矫正坐标预测网络模型的3D矫正坐标中，假设任意一点P点的矫正3D坐标为(x,y,z)，要计算的前向图中的2D坐标为(x1,y1)那么P点对应的2D坐标为：

其中，width和height为设定的图像宽度和高度值。

步骤104，通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

基于步骤103获取的2D前向图，采用插值方式将2D前向图转换为2D后向图，最后使用双线性插值恢复出矫正图像。

本公开提供的文档图像的矫正方法将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标，将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标，根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图，通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。通过从单个待矫正文档图像中消除形变的深度学习，通过逐像素矫正方式能够降低待矫正文档图像的局部失真率以及OCR字符错误率。

所述形状网络模型与矫正坐标预测网络模型分别进行训练，训练完成后在将两个最优模型进行联合训练。在训练过程中，对于形状网络模型，先用少量数据进行预训练，此过程仅使用扭曲图3D坐标的预测目标信息与逐像素差异为约束，后加入其余数据与其他约束，进行再次训练，直到得到3D坐标预测的最佳模型。对于矫正坐标预测网络模型，同样的，先用一部分数据进行预训练，此过程仅用扭曲图3D矫正坐标真值作为约束，然后加入其他训练数据以及梯度约束以及法向量约束。

如图2所示，图2示出了本申请提供的一种矫正坐标预测网络模型的训练方法流程图，所述方法包括：

步骤201，获取第一训练扭曲文档信息，所述第一训练扭曲文档信息中包含训练扭曲文档图像、以及所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量真值。

本申请实施例使用的第一训练扭曲文档信息是开源的Doc3D合成数据集，此第一训练扭曲文档信息中包含可用于训练的2D训练扭曲文档图像以及每张图的3D坐标标注信息、深度图标注信息、法向量标注信息、后向图标注信息等等。因此，对于矫正坐标预测网络模型中用到的扭曲图的3D矫正坐标，也是由Doc3D数据集提供的后向图信息生成出来的。

坐标值偏移量真值作为矫正坐标预测网络模型的约束信息，其生成方法如下所述，示意图3所述：将Doc3D数据集中的后向图插值为前向图，同时根据后向图添加z轴信息得到矫正图3D坐标，由前向图和矫正图3D坐标生成扭曲3D坐标对应的3D矫正坐标，该3D矫正坐标作为矫正3D坐标的坐标值偏移量真值。

在本申请的一种实现方式中，在添加Z轴时，是二维训练扭曲文档图像转换为3D的基础，其添加Z轴可以采用训练扭曲文档图像的中心点，以该中心点形成的法向量，依据该法向量实现对Z轴的添加，在本申请的另一种实现过程中，还可以基于相关技术中的任一种实现方式完成Z轴的添加，本申请对具体实现方式不进行限定。

为了更好的理解偏移量，以下以示例的形式进行说明，待矫正文档图像在二维状态下的坐标为绝对值，例如，某点坐标为(0.8,0.8,1.9)，但是在训练矫正坐标预测网络模型下，其对应的3D坐标表示为(1-0.2,1-0.2,2-0.1)，其中，0.2，0.2以及0.1为该坐标的偏移量。上述仅为为了便于理解给出的示例性说明，并非是对某坐标的具体限定。

步骤202，将所述第二训练扭曲文档图像输入所述矫正坐标预测网络模型，以获取所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量预测值。

步骤203，根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练，以得到训练好的矫正坐标预测网络模型。

将所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异转换为梯度误差，基于所述梯度误差对所述矫正坐标预测网络模型进行训练。梯度误差用于描述平滑度，例如，某一坐标为(0.2,0.2,03)，其相邻坐标可能为(0.22,0.20,0.31)，而不是存在该点的坐标为(1,0.20,,0.31)的情况。通过梯度误差的设置，可以提高训练矫正坐标预测网络模型训练的精准度，进而能够增加矫正文档图像的精准度。

具体实施过程中，矫正坐标预测网络模型的训练过程一般为多次迭代训练的过程，在不断调整各层网络层级参数的前提下，使得训练结果更加收敛，以完成矫正坐标预测网络模型的训练。

对于局部块的褶皱和扭曲，用法向量约束其平滑性更为适合。因此本申请在矫正坐标预测网络模型中使用梯度和法向量的征作为增强，更为精确的预测扭曲图像的3D矫正坐标。

如图4所示，图4示出了本申请提供的另一种矫正坐标预测网络模型的训练方法，该方法与图2叠加进行训练，可以使得矫正坐标预测网络模型输出的矫正3D坐标更精准。所述方法包括：

步骤401，获取所述训练扭曲文档图像中的第一像素点。

该第一像素点为训练扭曲文档图像中的任意像素点，假设该第一像素点为像素点A。

步骤402，获取与所述第一像素点相邻的平行方向的第二像素点，以及获取与所述第一像素点相邻的垂直方向的第三像素点，由所述第一像素点、第二像素点以及第三像素点构成一邻域。

第二像素点为第一像素点的右侧紧邻的像素点，第三像素点是第一像素点下方紧邻的像素点，由所述第一像素点、第二像素点以及第三像素点构成一邻域。

步骤403，获取所述邻域内计算中心像素法向量。

步骤404，根据所述第一像素点、第二像素点以及第三像素点中任两像素点组成的三维坐标的向量，计算矫正三维坐标法向量。

计算矫正三维坐标向量时采用下述公式：

其中,P_A表示A点3D坐标，

表示由A点3D坐标指向B点3D坐标的向量，

表示由A点3D坐标指向C点3D坐标的向量。

步骤405，计算所述中心像素法向量与矫正三维坐标法向量的叉乘。

法向量加入训练约束时在一个邻域内求邻域像素法向量与中心像素点位置的法向量的叉乘结果，目标是邻域内法向量平行，即叉乘结果为0，具体的叉乘公式，如下所示：

其中J表示所有像素的遍历K_j表示像素j的一个邻域。

步骤406，根据叉乘结果与目标叉乘结果之间的差异对所述矫正坐标预测网络模型进行训练。

理想状态下的目标叉乘结果为0，该叉乘结果意味文档图像是完成平展状态，该训练难度也随之增加。实际应用中，也可设置目标叉乘结果为0.01，或者0.02等，该目标叉乘结果的设定需根据其应用的具体场景，具体本实施例不进行限定。

基于法向量进行的矫正坐标预测网络模型训练，其训练过程一般为多次迭代训练的过程，在不断调整各层网络层级参数的前提下，使得训练结果更加收敛，以完成矫正坐标预测网络模型的训练。

如图5所示，图5示出了本申请实施例提供的一种形状网络模型的训练方法的流程图，所述方法包括：

步骤501，获取第二训练扭曲文档信息，所述第二训练扭曲文档信息包括所述训练扭曲文档图像以及训练扭曲文档图像的样本目标信息，所述训练扭曲文档图像中包含已标注的二维坐标系的图像以及已标注的角度真值。

本申请实施例使用的第一训练扭曲文档信息是开源的Doc3D合成数据集，此第二训练扭曲文档信息中包含可用于训练的2D训练扭曲文档图像，该训练扭曲文档图像中包含已标注的二维坐标系的图像以及已标注的角度真值。

角度真值的计算需要使用到后向图，即扭曲图到矫正图的映射关系，使用角度真值作为约束的目的是保持扭曲图(扭曲3D坐标形成的图)与预测图(矫正3D坐标形成的图)的角度和扭曲图到真值的角度的一致性。

步骤502，基于所述二维坐标系的X轴生成分别在X轴方向和Y轴方向的第一角度偏移值对。

步骤503，基于所述二维坐标系的Y轴生成分别在X轴方向和Y轴方向的第二角度偏移值对。

形状网络模型会预测4个辅助通道，即X轴生成分别在X轴方向和Y轴方向的第一角度偏移值对，Y轴生成分别在X轴方向和Y轴方向的第二角度偏移值对，表示为(φ_xx，φ_xy，φ_yx，φ_yy)，其中，φ_xy的预测提供针对X轴在Y方向上预测的偏移值，依此类推。

步骤504，根据所述第一角度偏移值对计算所述训练扭曲文档图像角度的第一幅值。

步骤505，根据所述第二角度偏移值对计算所述训练扭曲文档图像角度的第二幅值。

步骤506，根据所述训练扭曲文档图像角度的第一幅值及所述第二幅值生成所述训练扭曲文档图像的预测角度。

对于每个轴，计算角度θ_i(i∈{x,y})的幅值ρ_i：

θ_i＝arctan2(φ_ix,φ_iy)

ρ_i＝|φ_ix,φ_iy||₂

其中“arctan2”是反正切运算符的四象限变体(也称为“atan2”)。

将步骤506计算出的值用于角度损失中。

步骤507，将所述预测角度输入形状网络模型，以获取训练扭曲文档图像中的已标注的扭曲三维坐标以及预测目标信息。

步骤508，根据所述样本目标信息与所述预测目标信息之间的差异，以及，所述训练扭曲文档图像的预测角度与角度真值之间的差异，对所述形状网络模型进行训练，以得到训练好的形状网络模型。

形状网络模型其训练过程一般为多次迭代训练的过程，在不断调整各层网络层级参数的前提下，使得训练结果更加收敛，以完成形状网络模型的训练。

图6为本公开实施例提供的一种文档图像的矫正装置的结构示意图，如图6所示，包括：第一输入模块61、第二输入模块62、第一计算模块63和处理模块64。

第一输入模块61，用于将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；

第二输入模块62，用于将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；

第一计算模块63，用于根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；

处理模块64，用于通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

进一步地，在本实施例一种可能的实现方式中，如图7所示，所述装置还包括：第一输入模块71、第二输入模块72、第一计算模块73和处理模块74，其中，有关第一输入模块71、第二输入模块72、第一计算模块73和处理模块74的说明，请参阅图6所示第一输入模块61、第二输入模块62、第一计算模块63和处理模块64的对应说明，本申请在此不再进行一一赘述。

第一获取模块75，用于获取第一训练扭曲文档信息，所述第一训练扭曲文档信息中包含训练扭曲文档图像、以及所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量真值；

第三输入模块76，用于将所述第二训练扭曲文档图像输入所述矫正坐标预测网络模型，以获取所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量预测值；

第一训练模块77，用于根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练，以得到训练好的矫正坐标预测网络模型。

进一步地，在本实施例一种可能的实现方式中，如图7所示，所述第一训练模块77还包括：

第一获取单元771，用于获取所述训练扭曲文档图像中的第一像素点；

第二获取单元772，用于获取与所述第一像素点相邻的平行方向的第二像素点，以及获取与所述第一像素点相邻的垂直方向的第三像素点，

构成单元773，用于由所述第一像素点、第二像素点以及第三像素点构成一邻域；

第三获取单元774，用于获取所述邻域内计算中心像素法向量；

第一计算单元775，用于根据所述第一像素点、第二像素点以及第三像素点中任两像素点组成的三维坐标的向量，计算矫正三维坐标法向量；

第二计算单元776，用于计算所述中心像素法向量与矫正三维坐标法向量的叉乘；

第一训练单元777，用于根据叉乘结果与目标叉乘结果之间的差异对所述矫正坐标预测网络模型进行训练。

进一步地，在本实施例一种可能的实现方式中，如图7所示，所述第一训练模块还77包括：

转换单元778，用于将所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异转换为梯度误差；

第二训练单元779，用于基于所述梯度误差对所述矫正坐标预测网络模型进行训练。

进一步地，在本实施例一种可能的实现方式中，如图7所示，所述装置还包括：

第二获取模块78，用于获取第二训练扭曲文档信息，所述第二训练扭曲文档信息包括所述训练扭曲文档图像以及训练扭曲文档图像的样本目标信息，所述训练扭曲文档图像中包含已标注的二维坐标系的图像以及已标注的角度真值；

第一生成模块79，用于基于所述二维坐标系的X轴生成分别在X轴方向和Y轴方向的第一角度偏移值对；

第二生成模块710，用于基于所述二维坐标系的Y轴生成分别在X轴方向和Y轴方向的第二角度偏移值对；

第二计算模块711，用于根据所述第一角度偏移值对计算所述训练扭曲文档图像角度的第一幅值；

第三计算模块712，用于根据所述第二角度偏移值对计算所述训练扭曲文档图像角度的第二幅值；

生成模块713，用于根据所述训练扭曲文档图像角度的第一幅值及所述第二幅值生成所述训练扭曲文档图像的预测角度；

第四输入模块714，用于将所述预测角度输入形状网络模型，以获取训练扭曲文档图像中的已标注的扭曲三维坐标以及预测目标信息；

第二训练模块715，用于根据所述样本目标信息与所述预测目标信息之间的差异，以及，所述训练扭曲文档图像的预测角度与角度真值之间的差异，对所述形状网络模型进行训练，以得到训练好的形状网络模型。

进一步地，在本实施例一种可能的实现方式中，如图7所示，所述待矫正文档图像包含四个角点，所述第一计算模块73包括：

第一计算单元731，用于根据所述待矫正文档图像的左上角点、右上角点以及所述矫正文档图像的宽度，计算二维前向图的横向坐标；

第二计算单元732，用于根据所述待矫正文档图像的左下角点、右下角点以及所述矫正文档图像的高度，计算二维前向图的纵向坐标；

生成单元733，用于根据所述横向坐标及所述纵向坐标生成前向图。

需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再限定。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)802中的计算机程序或者从存储单元808加载到RAM(Random AccessMemory，随机访问/存取存储器)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。I/O(Input/Output，输入/输出)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如文档图像的矫正方法。例如，在一些实施例中，文档图像的矫正方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述文档图像的矫正方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种文档图像的矫正方法，其中，包括：

将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；

将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；

根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；

通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

2.根据权利要求1所述的文档图像的矫正方法，其中，所述方法还包括：

获取第一训练扭曲文档信息，所述第一训练扭曲文档信息中包含训练扭曲文档图像、以及所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量真值；

将所述第二训练扭曲文档图像输入所述矫正坐标预测网络模型，以获取所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量预测值；

根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练，以得到训练好的矫正坐标预测网络模型。

3.根据权利要求2所述的文档图像的矫正方法，其中，所述根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练还包括：

获取所述训练扭曲文档图像中的第一像素点；

获取与所述第一像素点相邻的平行方向的第二像素点，以及获取与所述第一像素点相邻的垂直方向的第三像素点，

由所述第一像素点、第二像素点以及第三像素点构成一邻域；

获取所述邻域内计算中心像素法向量；

根据所述第一像素点、第二像素点以及第三像素点中任两像素点组成的三维坐标的向量，计算矫正三维坐标法向量；

计算所述中心像素法向量与矫正三维坐标法向量的叉乘；

根据叉乘结果与目标叉乘结果之间的差异对所述矫正坐标预测网络模型进行训练。

4.根据权利要求2所述的文档图像的矫正方法，其中，根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练包括：

将所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异转换为梯度误差；

基于所述梯度误差对所述矫正坐标预测网络模型进行训练。

5.根据权利要求1所述的文档图像的矫正方法，其中，所述方法还包括：

获取第二训练扭曲文档信息，所述第二训练扭曲文档信息包括所述训练扭曲文档图像以及训练扭曲文档图像的样本目标信息，所述训练扭曲文档图像中包含已标注的二维坐标系的图像以及已标注的角度真值；

基于所述二维坐标系的X轴生成分别在X轴方向和Y轴方向的第一角度偏移值对；

基于所述二维坐标系的Y轴生成分别在X轴方向和Y轴方向的第二角度偏移值对；

根据所述第一角度偏移值对计算所述训练扭曲文档图像角度的第一幅值；

根据所述第二角度偏移值对计算所述训练扭曲文档图像角度的第二幅值；

根据所述训练扭曲文档图像角度的第一幅值及所述第二幅值生成所述训练扭曲文档图像的预测角度；

将所述预测角度输入形状网络模型，以获取训练扭曲文档图像中的已标注的扭曲三维坐标以及预测目标信息；

根据所述样本目标信息与所述预测目标信息之间的差异，以及，所述训练扭曲文档图像的预测角度与角度真值之间的差异，对所述形状网络模型进行训练，以得到训练好的形状网络模型。

6.根据权利要求1所述的文档图像的矫正方法，其中，所述待矫正文档图像包含四个角点，所述根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图包括：

根据所述待矫正文档图像的左上角点、右上角点以及所述矫正文档图像的宽度，计算二维前向图的横向坐标；

根据所述待矫正文档图像的左下角点、右下角点以及所述矫正文档图像的高度，计算二维前向图的纵向坐标；

根据所述横向坐标及所述纵向坐标生成前向图。

7.一种文档图像的矫正装置，其中，包括：

第一输入模块，用于将待矫正文档图像输入形状网络模型，以得到所述待矫正文档图像对应的扭曲三维坐标；

第二输入模块，用于将所述扭曲三维坐标输入矫正坐标预测网络模型，以得到扭曲三维坐标对应的矫正三维坐标；

第一计算模块，用于根据所述矫正三维坐标及所述待矫正文档图像的角点计算对应的二维前向图；

处理模块，用于通过对所述二维前向图进行插值计算得到二维向后图，根据所述二维向后图生成矫正后的文档图像。

8.根据权利要求7所述的文档图像的矫正装置，其中，所述装置还包括：

第一获取模块，用于获取第一训练扭曲文档信息，所述第一训练扭曲文档信息中包含训练扭曲文档图像、以及所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量真值；

第三输入模块，用于将所述第二训练扭曲文档图像输入所述矫正坐标预测网络模型，以获取所述训练扭曲文档图像的扭曲三维坐标到矫正三维坐标的坐标值偏移量预测值；

第一训练模块，用于根据所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异，对所述矫正坐标预测网络模型进行训练，以得到训练好的矫正坐标预测网络模型。

9.根据权利要求8所述的文档图像的矫正装置，其中，所述第一训练模块还包括：

第一获取单元，用于获取所述训练扭曲文档图像中的第一像素点；

第二获取单元，用于获取与所述第一像素点相邻的平行方向的第二像素点，以及获取与所述第一像素点相邻的垂直方向的第三像素点，

构成单元，用于由所述第一像素点、第二像素点以及第三像素点构成一邻域；

第三获取单元，用于获取所述邻域内计算中心像素法向量；

第一计算单元，用于根据所述第一像素点、第二像素点以及第三像素点中任两像素点组成的三维坐标的向量，计算矫正三维坐标法向量；

第二计算单元，用于计算所述中心像素法向量与矫正三维坐标法向量的叉乘；

第一训练单元，用于根据叉乘结果与目标叉乘结果之间的差异对所述矫正坐标预测网络模型进行训练。

10.根据权利要求8所述的文档图像的矫正装置，其中，所述第一训练模块还包括：

转换单元，用于将所述坐标值偏移量真值与所述坐标值偏移量预测值之间的差异转换为梯度误差；

第二训练单元，用于基于所述梯度误差对所述矫正坐标预测网络模型进行训练。

11.根据权利要求7所述的文档图像的矫正装置，其中，所述装置还包括：

第二获取模块，用于获取第二训练扭曲文档信息，所述第二训练扭曲文档信息包括所述训练扭曲文档图像以及训练扭曲文档图像的样本目标信息，所述训练扭曲文档图像中包含已标注的二维坐标系的图像以及已标注的角度真值；

第一生成模块，用于基于所述二维坐标系的X轴生成分别在X轴方向和Y轴方向的第一角度偏移值对；

第二生成模块，用于基于所述二维坐标系的Y轴生成分别在X轴方向和Y轴方向的第二角度偏移值对；

第二计算模块，用于根据所述第一角度偏移值对计算所述训练扭曲文档图像角度的第一幅值；

第三计算模块，用于根据所述第二角度偏移值对计算所述训练扭曲文档图像角度的第二幅值；

生成模块，用于根据所述训练扭曲文档图像角度的第一幅值及所述第二幅值生成所述训练扭曲文档图像的预测角度；

第四输入模块，用于将所述预测角度输入形状网络模型，以获取训练扭曲文档图像中的已标注的扭曲三维坐标以及预测目标信息；

第二训练模块，用于根据所述样本目标信息与所述预测目标信息之间的差异，以及，所述训练扭曲文档图像的预测角度与角度真值之间的差异，对所述形状网络模型进行训练，以得到训练好的形状网络模型。

12.根据权利要求7所述的文档图像的矫正装置，其中，所述待矫正文档图像包含四个角点，所述第一计算模块包括：

第一计算单元，用于根据所述待矫正文档图像的左上角点、右上角点以及所述矫正文档图像的宽度，计算二维前向图的横向坐标；

第二计算单元，用于根据所述待矫正文档图像的左下角点、右下角点以及所述矫正文档图像的高度，计算二维前向图的纵向坐标；

生成单元，用于根据所述横向坐标及所述纵向坐标生成前向图。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1－6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1－6中任一项所述方法的步骤。

Images