CN104504387B - 文本图像的校正方法和装置 - Google Patents

Abstract

本发明实施例提供一种文本图像的校正方法和装置，通过本发明实施例提供的文本图像的校正方法和装置在进行文本图像的校正过程中，考虑到文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像。

Description

文本图像的校正方法和装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种文本图像的校正方法和装置。

背景技术

常见的，人们在需要记录文档中的信息时，通常使用手机的摄像头、数码相机等对文档进行拍摄，可快速便捷的记录了文档中的信息，但通常由于文档的倾斜、积厚、摄像头的摄像面的倾斜等原因，导致获取的文本图像中各个字符发生了形变，不便于人们查看；为了解决文档中的文本在文本图像中形变，通常采用以下四个步骤进行校正：1、文本行基线跟踪，2、竖直方向估计，3、建立三维网格，实现三维重建，4、根据三维重建的结果完成校正。在文本行基线跟踪步骤中，首先随机选取种子点,然后从以种子点为中心的区块开始，在间隔点的上下左右不同位置和方向上寻找特征相似的区域，实现向种子点的左边和右边探测文本行基线的目的；在竖直方向估计步骤中，假设图像中竖直方向的笔画数最多，设计最优化算法找到包含竖直笔画的区域集合，通过该集合来估计垂直方向，在建立三维网格的步骤中，假设二维坐标在三维空间下满足平行四边形约束，计算像素点的三维坐标，实现三维重建。最后在根据三维重建的结果完成校正的步骤中，是利用三维网格坐标和文档图像坐标的对应关系实现几何校正。

但采用上述方法校正文本图像的过程中发现，文本行跟踪步骤中，是基于像素点所在区块的特征相似度形成文本行，而基于像素点的操作的复杂度非常高，影响了校正的实用性；另一方面，该方案是基于拉丁语系中竖直笔画占多数的情况所设计的，但对中日韩文字来说，存在水平笔画占多数的情况，当遇到水平笔画占多数的情况时，竖直笔画方向估计步骤便会产生了较大的误差，大大降低了校正准确率。

发明内容

本发明实施例提供一种文本图像的校正方法和装置，用于优化文本图像的校正过程，提升校正准确率。

第一方面，本发明实施例提供一种文本图像的校正方法，包括：

确定文本图像中各个文本行的文本行基线，并获取文本图像中各个区块对应的梯度直方图；所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图是根据所述区块内各个像素点的梯度向量确定的；所述区块是通过对所述文本图像进行分区获得的，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；

根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格；所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点；

根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格；所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系；

根据所述对应关系，建立校正文本图像。

结合第一方面，在第一实施方式中，确定文本图像中各个文本行基线，包括：

采用形态学操作，获取二值化后的文本图像中的各个候选文本区域；

根据各个候选文本区域的长度、高度以及长高比，确定各个文本行；

获取各个文本行中心线及各个文本行的高度平均值；

根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线；所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

结合第一方面第一实施方式，在第二实施方式中，根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向，包括：

根据每一个区块对应的梯度直方图，确定每一个区块的第一角度；所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向；

根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向；

其中，所述各个区块中的第一区块的预测竖直笔画方向的确定方法包括：

当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：

当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；

所述各个文本行基线上的各个像素点中的第一像素点的竖直笔画方向的确定方法包括：

确定所述第一像素点所属的区块；

根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的竖直笔画方向。

结合第一方面第二实施方式，在第三实施方式中，根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定用于建立二维网格的各个像素点，并根据所述用于建立二维网格的各个像素点建立二维网格，包括：

建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_q的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N文本图像中文本行基线的总数；

根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的划分像素点；

根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定划分像素点对应的各个修正后的形变坐标；所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

根据各个用于建立二维网格的各个像素点建立二维网格。

结合第一方面第三实施方式，在第四实施方式中，根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系，包括：

根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；所述各个用于建立校正网格的校正像素点分别为所述校正网格中各个校正矩形的各个顶点；

根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形；

根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

结合第一方面第四实施方式，在第五实施方式中，根据所述对应关系，建立校正文本图像，包括：

根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标；

根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点；

根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度；

根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。

第二方面，本发明实施例提供一种文本图像的校正装置，包括：

基线确定模块，用于确定文本图像中各个文本行的文本行基线，并获取文本图像中各个区块对应的梯度直方图；所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图是根据所述区块内各个像素点的梯度向量确定的；所述区块是通过对所述文本图像进行分区获得的，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；

笔画确定模块，用于根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

二维网格确定模块，用于根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格；所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点；

三维网格确定模块，用于根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格；所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

对应关系确定模块，用于根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系；

建立模块，用于根据所述对应关系，建立校正文本图像。

结合第二方面，在第一实施方式中，所述基线确定模块包括：

候选文本区域确定单元，用于采用形态学操作，获取二值化后的文本图像中的各个候选文本区域；

文本行确定单元，用于根据各个候选文本区域的长度、高度以及长高比，确定各个文本行；

中心线确定单元，用于获取各个文本行中心线及各个文本行的高度平均值；

基线确定单元，用于根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线；所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

结合第二方面第一实施方式，在第二实施方式中，笔画确定模块包括：

角度确定单元，用于根据每一个区块对应的梯度直方图，确定每一个区块的第一角度；所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

预测单元，用于根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向；

笔画确定单元，用于根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向；

其中，所述预测单元具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：

所述预测单元具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；

所述笔画确定单元具体用于确定所述第一像素点所属的区块；

所述笔画确定单元具体用于根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的竖直笔画方向。

结合第二方面第二实施方式，在第三实施方式中，二维网格确定模块包括：

形变坐标系建立单元，用于建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_q的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N文本图像中文本行基线的总数；

划分像素点确定单元，用于根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的划分像素点；

修正确定单元，用于根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定各个划分像素点对应的修正后的形变坐标；所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

二维网格像素点确定单元，用于根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

二维网格建立单元，用于根据各个用于建立二维网格的各个像素点建立二维网格。

结合第二方面第三实施方式，在第四实施方式中，对应关系确定模块，包括：

校正网格建立单元，用于根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；所述各个用于建立校正网格的校正像素点分别为所述校正网格中各个校正矩形的各个顶点；

二维网格四边形确定单元，用于根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形；

对应关系确定单元，用于根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

结合第二方面第四实施方式，在第五实施方式中，建立模块包括：

坐标确定单元，用于根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标；

像素点确定单元，用于根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点；

灰度确定单元，用于根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度；

校正文本图像建立单元，用于根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。

本发明实施例提供的文本图像的校正方法和装置，由于文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明文本图像的校正方法实施例一的流程示意图；

图2为本发明实施例一中文本图像的示意图；

图3为本发明文本图像的校正方法实施例二的流程示意图；

图4为本发明实施例二中二值化后的文本图像的示意图；

图5为本发明实施例二中候选文本区域的示意图；

图6为本发明实施例二中二维网格的示意图；

图7为本发明实施例二中三维网格的示意图；

图8为本发明文本图像的校正装置实施例一的结构示意图；

图9为本发明文本图像的校正装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明文本图像的校正方法实施例一的流程示意图。如图1所示，本实施例的执行主体为文本图像的校正装置，该校正装置由软件和/或硬件的方式实现，优选的，该校正装置可以集成在具备捕获图像的设备中，如带有摄像头的手机、iPad、具体校正方法包括：

S101、确定文本图像中各个文本行基线，并获取文本图像中各个区块对应的梯度直方图。

所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图(Gradient Histogram)是根据所述区块内各个像素点的梯度向量确定的；

上述文本图像显示了在三维空间中客观存在的一个文档；该文档中的字符在该文本图像中发生了形变；上述文本图像是集成了校正装置的设备通过摄像头拍摄文档获取的，或者是用户通过拍摄工具拍摄到文本图像后，将该文本图像传输给集成了校正装置的设备；或者集成了校正装置的设备通过网络获取服务器中存储的一张文本图像；

上述第一坐标用于表示像素点在文本图像中的位置；举例来说，一个文本图像的分辨率为480×240，则该文本图像中有480×240个像素点，该480×240个像素点排列成480行、240列，则对应的，每个像素点在该文本图像中都有其对应的位置，即为该像素点在文本图像中的第一坐标表示各个像素点在文本图像中的位置；例如位于文本图像四个顶点的像素点的坐标分别为(1,1)、(1,240)、(480,1)、(480,240)；

在实施本实施例时，上述区块是通过对所述文本图像进行分区获得的，校正装置对所述文本图像进行分区，可将文本图像划分为至少两个区块；相应的，每个区块均包含了多个像素点，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；根据每个区块内各个像素点的梯度向量可以确定各个区块的梯度直方图；每个区块的梯度直方图可以反映各个区块内的字符的笔画方向(具体如横、竖笔画)的分布情况。

S102、根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；

所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

图2为本发明实施例一中文本图像的示意图。如图2所示，一个文本图像中，一条文本行基线10是由左至右连续的，但由于在本实施例实施前或实施S101的同时，将文本图像划分为多个区块，则文本行基线落在了不同的区块中，以一个区块的角度来看，各个文本行基线落于该区块内的部分即为第一基线，则一个区块中存在至少一个第一基线。

本实施例中，根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；需要说明的是，通常一个文档正常向用户呈现时，文档所在的平面与人眼的视线相互垂直，则人眼看到的文档中的各个字符也是横平竖直的，即文档中的横向笔画必然与水平面平行，竖直笔画必然与水平面垂直；但由于摄像头拍摄文档时，文档发生了倾斜、积厚、或者摄像头的摄像面与文档所在平面之间不是平行的，则拍摄的文本图像中，各个字符在文档图像中均发生了形变；

S103、根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定用于建立二维网格的各个像素点，并根据所述用于建立二维网格的各个像素点建立二维网格。

所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点，则二维网格中各个四边形的各个顶点均具有第一坐标；所述二维网格用于表征文档中各个字符在上述文本图像中所发生的形变。

S104、根据二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格。

所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

所述三维网格用于反映所述文本图像中各个文本行中各个字符在客观存在的三维空间的位置；

上述文档以印刷了多个字符的纸张为例，纸张上的字符是横平竖直的，该纸张发生卷曲、倾斜后，各个字符相对于纸张所占据的面来说，并未发生形变，即无论纸张是否卷曲，字符中的一个笔画的在该纸张上的起始位置、在纸张上的延伸方向、终止位置等均未发生改变，但在摄像头直接捕获的文本图像中发生了形变；

因此本实施例通过S103确定可反映文本图像中各个字符的形变情况的二维网格，且本实施例中的二维网格中各个四边形在三维空间下是适用于平行四边形约束条件的，因此根据S103，便可确定三维网格，以反映文本图像中发生了形变的各个字符在客观的三维空间中的形态(如字符在弯折的纸张上的形态)。

S105、根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

本实施例的目的是根据上述文本图像，重新生成一个新的文本图像，在新的文本图像中各个字符不发生形变，可横平竖直的显示在该新的文本图像中；则可将新的文本图像称为校正文本图像；但在建立校正文本图像之前，需要确定待建立的校正文本图像中各个校正像素点显示的内容(也可以说需要确定待建立的校正文本图像中各个校正像素点的值)，才可完成校正文本图像的建立，因此需要确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系，以获知待建立的校正文本图像的各个校正像素点需显示的内容。

S106、根据所述对应关系，建立校正文本图像。

本实施例中，由于文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像。

图3为本发明文本图像的校正方法实施例二的流程示意图。如图3所示，本实施例是在图1所示的实施例的基础上，做出进一步的描述，具体包括：

S201、获取文本图像。

具体可以在网络服务器中下载文本图像，或者通过摄像头拍摄文档，获取文本图像；或者接收第三方设备发送的文本图像。

S202、对文本图像进行二值化，获取二值化后的文本图像；

所述二值化指的是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。图4为本发明实施例二中二值化后的文本图像的示意图。如图4所示，文本图像二值化后，呈现一行行字符和图标。

S203、采用形态学操作，获取二值化后的文本图像中的各个候选文本区域。

在图像处理过程中，形态学操作一般是对二值化后的图像，进行边界提取，骨架提取，孔洞填充，角点提取等方式进行图像重建。其中基本的算法有：膨胀腐蚀，开操作，闭操作，击中击不中变换等。

图5为本发明实施例二中候选文本区域的示意图。如图5所示，候选文本区域为一行行字符和字符旁边的图标所占用的范围。

S204、根据各个候选文本区域的长度、高度以及长高比，确定各个文本行。

本实施例是针对文本图像进行的，因此在S203中获取的各个候选文本区域所占用的范围的轮廓是具有长度、高度的，具体如图5所示，一行行字符所占用的范围的轮廓和图标所占用的范围的轮廓是具有长度、高度的，而一行行字符所占用的范围的轮廓和图标所占用的范围的轮廓区别较大，其长度、高度及长高比相差较大，则通过S204，可以确定文字区域，即确定一行行字符形成的各个文本行，并过滤掉非文字区域，即上述图标所占用的区域。

S205、获取各个文本行的中心线及各个文本行的高度平均值。

以一个文本行为例，形成该文本行的一行字符所占用的范围的轮廓中，上边沿上的各个像素点称为上像素点，下边沿上的各个像素点称为下像素点，在每个上像素点上沿垂直方向画垂线，每一个垂线便会穿过一个上像素点和一个下像素点，在任意一个垂线上确定一个与该垂线穿过的上像素点和下像素点距离均相等的像素作为中心像素点，各个垂线上的中心像素点连成的线即为该文本行的文本行中心线；位于同一个垂线的上像素点、下像素点和中心像素点是彼此对应的；而中心像素点对应的上像素点与下像素点之间的距离即为该中心像素点对应的文本行高度，基于此，可以获知文本行中心线上各个像素点对应的文本行高度；

可以理解的，文本图像是由各个像素点形成，本实施例中在文本图像中确定的线、面、距离等均是以像素点为计量单位进行说明的，例如上述一个中心像素点的第一坐标为(3,3)，其对应的上像素点的第一坐标为(3,1)，下像素点的第一坐标为(3,5)，则中心像素点与其对应的上像素点的距离为2个像素点，与其对应的下像素点的距离为2个像素点，该中心像素点对应的文本行高度即为4个像素点。

S206、根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线。

所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

具体的，在文本图像中，一行字符所占用的范围的轮廓中，其上边沿可当做该行字符形成的文本行的上基线，下边沿可当做该行字符形成的文本行的下基线，但由于文本行中各个字符之间存在差异，因此根据一行字符所占用的范围的轮廓确定的上下基线不够平滑，不利于建立校正文本图像，因此较优的，本实施例中是根据各个所述文本行中心线和高度平均值，确定构成各个文本行的上基线和下基线的各个像素点；例如以上述中心像素点的第一坐标(3,3)为例，而确定的高度平均值为2个像素点，上述中心像素点确定的位于上基线的像素点为第一坐标为(3,2)的像素点，确定的位于下基线的像素点为第一坐标是(3,4)的像素点；以此类推，确定出构成各个文本行的上基线和下基线的各个像素点；需要补充的是，若通过计算获得的高度平均值不为整数，可采用向上取整、向下取整等方法进行数据处理；

更具体的，还可以按照文本行的上边沿或下边沿的延伸方向，将文本行划分为多个细分文本行，每一个细分文本行的上基线上的各个像素点和下基线上的各个像素点，是根据该细分文本行中的文本行中心线和该细分文本行中的文本行中心线上各个中心像素点对应的文本行高度的平均值确定的，随后将用于构成各个细分文本行的上基线的各个像素点连起来，便形成了一条平滑的文本行的上基线；将用于构成各个细分文本行的下基线的各个像素点连起来，便形成了一条平滑的文本行的下基线；各个上基线和各个下基线均为文本行基线。

S207、将所述文本图像划分为至少两个区块，根据每一个区块对应的梯度直方图，确定每一个区块的第一角度。

所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

以一个区块为例，获取该区块中每个像素点的梯度向量gx和gy，并根据确定各个像素点对应的θ(本实施例中θ的取值范围为0～π)，并根据确定各个像素点对应的模；

将θ的取值范围[0,π]量化为多个量化区间，同时选取各个量化区间的最小值或最大值为对应的各个量化区间的量化角；例如将区间[a₀，a₆₄]量化为64个量化区间，分别为[a₀,a₁]、[a₁,a₂]……[a₆₃,b₆₄]，量化区间[a₀,a₁]的最小值为a₀，最大值为a₁，量化区间[a₁,a₂]的最小值为a₁，最大值为a₂，以此类推，量化区间[a₆₃,a₆₄]的最小值为a₆₃，最大值为a₆₄；若同时选取各个量化区间的最小值为对应的各个量化区间的量化角，则为量化角依次为a₀,a₁，……a₆₃；若同时选取各个量化区间的最大值为对应的各个量化区间的量化角，则为量化角依次为a₁,a₂，……a₆₄；上述“64”仅用于举例说明，在实际应用时，基于精度与鲁棒性之间的权衡，在对θ的取值范围[0,π]进行量化时，可灵活设置量化区间的个数；

根据区块内各个像素点对应的θ，确定各个量化区间对应的各个像素点，在任意一个量化区间对应的各个像素点中，任意一个像素对应的θ位于该量化区间中；则将一个量化区间对应的全部像素的模求和，获得该量化区间对应的统计值；从而获得该区块对应的梯度直方图；进一步在各个量化区间对应的统计值中，确定最大统计值，该最大统计值对应的量化区间的量化角即为该最大统计值对应的量化角，并将该最大统计值对应的量化角确定为该区块的第一角度。

S208、根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向。

当第一区块的第一角度和第一区块内各个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：重合预设值可根据需要设定，例如可以为10度至-10度，则当第一区块的第一角度为30度，而第一区块内各个第一基线的延伸方向与水平方向的夹角的平均值为25度，即第一区块的第一角度与第一区块内各个第一基线的延伸方向与水平方向的夹角的平均值之差不超过上述10度至-10度所限定的范围，即确认所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度；获知第一角度后，便可确定预测竖直笔画方向；

当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；垂直预设值可根据需要设定，例如可以为80度至100度，则当第一区块的第一角度为125度，而第一区块内各个第一基线的延伸方向与水平方向的夹角的平均值为25度，即第一区块的第一角度与第一区块内各个第一基线的延伸方向与水平方向的夹角的平均值之差没有超过上述80度至100度所限定的范围，即确认所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度；获知第一角度后，便可确定预测竖直笔画方向；

上述第一区块为相对概念，指待确定预测竖直笔画的区块，如图2所示，在确定第5个区块的预测竖直笔画时，该第5个区块的即为上述第一区块；在确定第8个区块的预测竖直笔画时，该第8个区块的即为上述第一区块。

S209、根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向。

具体的，先确定所述第一像素点所属的区块；根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的垂直笔画方向。

上述第一像素点为相对概念，表示任意一个待确定竖直笔画方向的、且在文本行基线上的像素点；以图2进行说明，一个像素点位于第5个区块中，第5个区块的上下左右相邻的区块为第2区块、第8区块、第4区块和第6区块，则采用双线性插值法处理第5个区块、第2区块、第8区块、第4区块和第6区块的预测垂直笔画方向，从而确定该第一像素点的垂直笔画方向；需要说明的是，由于第5区块内有多条第一基线，从而也有多个待确定竖直笔画方向的像素点，不同的像素点与第2区块、第8区块、第4区块和第6区块的距离不同，因此在采用双线性插值法处理第2区块、第8区块、第4区块和第6区块的预测垂直笔画方向时，根据待确定竖直笔画方向的像素点的位置，引入不同的权重值。

S210、根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格。

具体依照下述各个步骤完成步骤S210：

C1、建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；像素点i₁表示第一个文本行基线上第i个像素点；

当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_q的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N为文本图像中文本行基线的总数；

C2、根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的等分像素点；

例如划分步长为3个像素点，而文本行基线1包括10个像素点，则文本行基线1上第1个像素点、第4个像素点、第7个像素点和第10个像素点即为该文本行基线1的各个划分像素点；文本行基线2包括5个像素点，则文本行基线2上第1个像素点、第4个像素点即为该文本行基线的各个划分像素点

通常来说，文档上一行行字符是平行排列的，若该一行行字符在文本图像中不发生形变，则每个文本行基线上的第1个像素点的连线是与水平线垂直的，进而每个文本行基线上的第i个像素点的连线、第i+1个像素点的连线……与各个文本行基线纵横交错，形成各个矩形；但上述文本图像中各个字符已发生形变，每个文本行基线上的第i个像素点的连线、第i+1个像素点的连线……与各个文本行基线纵横交错后不能形成矩形，但为了获知文档中字符所发生的形变，本实施例将上述各个划分像素点预测为在文本图像中形变后的矩形的各个顶点，以进行下述步骤；

C3、根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定各个划分像素点对应的修正后的形变坐标；

所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

举例来说，文本行基线1上的像素点A(文本行基线1上第1个像素点)、像素点B(文本行基线1上第4个像素点)、文本行基线2上的像素点C(文本行基线2上第1个像素点)和像素点D(文本行基线2上第4个像素点)，分别表示一个矩形在文本图像中发生形变后的四个顶点，通过步骤C1已知文本图像中全部文本行基线上的全部像素点的形变坐标，根据像素点A的相邻像素点(与像素点A均位于文本行基线1上，且相邻，即文本行基线1上第2个像素点)的形变坐标，采用双线性插值法便确定了像素点A对应的修正后的形变坐标，根据像素点B的相邻像素点(与像素点B均位于文本行基线1上，且相邻，即文本行基线1上第3个像素点和第5个像素点)的形变坐标，采用双线性插值法便确定像素点B对应的修正后的形变坐标，根据像素点C的相邻像素点(与像素点C均位于文本行基线2上，且相邻，即文本行基线2上第2个像素点)的形变坐标，采用双线性插值法便确定像素点C对应的修正后的形变坐标；根据像素点D的相邻像素点(与像素点D均位于文本行基线2上，且相邻，即文本行基线2上第3个像素点和第5个像素点)的形变坐标，采用双线性插值法便确定像素点D对应的修正后的形变坐标确定；

C4、根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

通过步骤C1已知文本图像中全部文本行基线上的全部像素点的形变坐标，而上述修正后的形变坐标与文本图像中的某个像素点的形变坐标是相同的，因此根据各个修正后的形变坐标，确定了用于建立二维网格的各个像素点。

例如，上述像素点A对应的修正后的形变坐标与步骤C1中像素点E的形变坐标相同，从而确定出像素点E为一个用于建立二维网格的像素点；上述像素点B对应的修正后的形变坐标与步骤C1中像素点F的形变坐标相同，从而确定出像素点F也为一个用于建立二维网格的像素点；上述像素点C对应的修正后的形变坐标与步骤C1中像素点G的形变坐标相同，从而确定出像素点G也为一个用于建立二维网格的像素点，上述像素点D对应的修正后的形变坐标与步骤C1中像素点H的形变坐标相同，从而确定出像素点H也为一个用于建立二维网格的像素点，因此上述像素点E、像素点F、像素点G和像素点H可建立二维网格中的一个四边形；依次类推，通过C2确定各个划分像素点后，依次执行C3、C4，便可确定用于建立二维网格的各个像素点。

C5、根据各个用于建立二维网格的各个像素点，建立二维网格。

图6为本发明实施例二中二维网格的示意图。如图6所示，根据各个修正后的形变坐标，在文本行基线上找到对应的各个像素点，各个像素点围成二维图像中各个四边形，用于围成二维网格中的四边形的各个像素点也即为该四边形的各个顶点，故二维网格中各个四边形的顶点具有第一坐标。

S211、根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格。

所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应。

依据该平行四边形约束条件，可以确定二维网格中每一个四边形的顶点对应的三维坐标，从而在三维空间中确定各个三维坐标指向的点，进而确定三维网格，其中各个三维坐标指向的点分别为三维网格中各个四边形的顶点；由于三维坐标是根据二维网格中各个四边形的顶点的二维坐标确定的，所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应。

图7为本发明实施例二中三维网格的示意图。如图7所示，若前述文本图像是在二维图像中呈现一个纸张及其印刷的各个字符，则图7便反映出该纸张及纸张上各个字符在客观存在的三围空间中的形态。

S212、根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格。

所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形(本实施例中的校正矩形的形状为矩形)；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；

本实施例的最终目的是为了生成一个文档中的各个字符不发生形变的文本图像，即校正文本图像，但文档中的一个字符，具体使用校正文本图像中的哪几个像素点显示才可不发生形变的显示出来，在执行S212之前并不清楚，但已知各个字符在文本图像中是由哪几个像素点显示，即文本图像中各个像素点的灰度均已知，因此若可以确定用于建立校正文本图像的各个校正像素点与文本图像中各个像素点的对应关系，便可建立校正文本图像；考虑到校正文本图像中的字符应当是横平竖直的，则在三维空间中的四边形在该校正文本图像中也应当为一个矩形；假设待建立的校正文本图像的分辨率为480×240，则使用480×240个校正像素点建立校正文本图像，但480×240个校正像素点所显示的内容在执行S212之前并不清楚，但可知480×240个校正像素点的位置，也可以说，在校正文本图像建立完成后，该480×240个校正像素点的位置可用校正文本图像中的第二坐标表示；考虑到三维空间中的四边形在该校正文本图像中也应当为一个矩形，在上述480×240个校正像素点中选取一个校正像素点与上述三维网格中的一个四边形的一个顶点对应，通常在实际应用中，可选取三维网格中第一个四边形的第一个顶点与480×240个校正像素点中的第一个校正像素点对应，随后根据三维网格中各个四边形的边长，且基于使三维网格中每一个四边形的相邻边互相垂直的规则，在上述480×240个校正像素点中确定各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等。

S213、根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形。

由于三维网格中的各个四边形与二维网格中的各个四边形一一对应，而校正网格中各个校正矩形与三维网格中的各个四边形一一对应，从而可以确定校正网格中每一个校正矩形对应的二维网格中的四边形；

S214、根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

上述对应关系可以为一个也可以为多个，但较优的，本实施例中对应关系为多个，且分别独立，具体的，本实施例采用四点法，根据校正网格中每一个校正矩形的各个顶点的第二坐标，和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，分别确定各个校正矩形的各个顶点与文本图像中像素点的对应关系，也就是说是将各个校正矩形独立看待，在S213中确定了不同的校正矩形对应的二维网格中的四边形；则在S214中针对不同的校正矩形确定了不同的对应关系，例如校正矩形1和二维网格中的四边形1对应，则根据校正矩形1的各个顶点的第二坐标和二维网格中的四边形1的各个顶点，确定针对校正矩形1的对应关系1；校正矩形2和二维网格中的四边形2对应，则根据校正矩形2的各个顶点的第二坐标和二维网格中的四边形2的各个顶点，确定针对校正矩形2的对应关系2；

S215、根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标。

在对应关系有多个时，在确定待建立的校正图像的各个校正像素点对应的第一坐标时，是先确定校正像素点所属的校正矩形，随后根据针对该校正矩形的对应关系，确定该校正像素点对应的第一坐标；例如校正像素点1位于上述校正矩形1中，则对该校正像素点应用针对校正矩形1的对应关系，确定校正像素点1对应的第一坐标。

S216、根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点。

S217、根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度。

S218、根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。

举例来说，一个校正像素点A对应的第一坐标为(5,5)，则说明待建立的校正文本图像中校正像素点A处需要显示的内容为位于文本图像中(5,5)处的像素点所显示的内容，或者说校正像素点A的灰度应与文本图像中(5,5)处的像素点的灰度一致；即通过S213～S218，确定了待建立的校正文本图像中各个校正像素点对应的灰度，则从而可建立校正文本图像。

需要补充的是，若在S215中确定的校正像素点的第一坐标中，横坐标和纵坐标不为整数时，则根据该校正像素点对应的第一坐标在文本图像中选取至少两个领域像素点，根据所述至少两个领域像素点的灰度进行双线性插值，确定该校正像素点的灰度；上述领域像素点在文本图像中的第一坐标与该校正像素点对应的第一坐标形成相邻域。

另外，本实施例在建立二维网格时，是同时确定了作为二维网格中各个四边形顶点的各个像素点，也就是说，本实施例中将二维网格中各个四边形独立看待，分别确定了二维网格中各个四边形的顶点，随后各个顶点依次连接，构成二维网格中各个四边形的顶点，进而使得在建立的三维网格中各个四边形时避免误差积累，且建立的三维网格也是相互独立的，随后确定的校正网格中各个校正矩形时也避免了误差积累，各个校正矩形也是相互独立的，最后根据各个校正矩形确定的对应关系之间也避免了误差积累，不会干扰校正文本图像的生成。

本实施例中，由于文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像，进一步的，在获取校正文本图像的过程中，采用形态学操作获取了各个文本行基线，使得文本行基线的确定过程较为简单，便于快速、准确的获取校正文本图像。

图8为本发明文本图像的校正装置实施例一的结构示意图。如图8所示，文本图像的校正装置包括：

基线确定模块11，用于确定文本图像中各个文本行的文本行基线，并获取文本图像中各个区块对应的梯度直方图；所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图是根据所述区块内各个像素点的梯度向量确定的；所述区块是通过对所述文本图像进行分区获得的，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；

笔画确定模块12，用于根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

二维网格确定模块13，用于根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格；所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点；

三维网格确定模块14，用于根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格；所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

对应关系确定模块15，用于根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系；

建立模块16，用于根据所述对应关系，建立校正文本图像。

本实施例中，由于文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像，进一步的，在获取校正文本图像的过程中，采用形态学操作获取了各个文本行基线，使得文本行基线的确定过程较为简单，便于快速、准确的获取校正文本图像。

图9为本发明文本图像的校正装置实施例二的结构示意图。如图9所示，本实施例是在图8所示的实施例的基础上，做出进一步的描述，具体的，所述基线确定模块11包括：

候选文本区域确定单元111，用于采用形态学操作，获取二值化后的文本图像中的各个候选文本区域；

文本行确定单元112，用于根据各个候选文本区域的长度、高度以及长高比，确定各个文本行；

中心线确定单元113，用于获取各个文本行中心线及各个文本行的高度平均值；

基线确定单元114，用于根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线；所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

进一步的，笔画确定模块12包括：

角度确定单元121，用于根据每一个区块对应的梯度直方图，确定每一个区块的第一角度；所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

预测单元122，用于根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向；

笔画确定单元123，用于根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向；

其中，所述预测单元122具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：

所述预测单元122具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；

所述笔画确定单元123具体用于确定所述第一像素点所属的区块；

所述笔画确定单元123具体用于根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的竖直笔画方向。

进一步的，二维网格确定模块13包括：

形变坐标系建立单元131，用于建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_N的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为大不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N文本图像中文本行基线的总数；

划分像素点确定单元132，用于根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的划分像素点；

修正确定单元133，用于根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定各个划分像素点对应的修正后的形变坐标；所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

二维网格像素点确定单元134，用于根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

二维网格建立单元135，用于根据各个用于建立二维网格的各个像素点建立二维网格。

进一步的，对应关系确定模块15，包括：

校正网格建立单元151，用于根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；所述各个用于建立校正网格的校正像素点分别为所述校正网格中各个校正矩形的各个顶点；

二维网格四边形确定单元152，用于根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形；

对应关系确定单元153，用于根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

进一步的，建立模块16包括：坐标确定单元161，用于根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标；

像素点确定单元162，用于根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点；

灰度确定单元163，用于根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度；

校正文本图像建立单元164，用于根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。

本实施例中，由于文本图像中各个区块对应的梯度直方图可以准确的反映各个区块中横竖笔画的分布情况，因此根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向较为准确，从而可以获取准确率较高的校正图像，进一步的，在获取校正文本图像的过程中，采用形态学操作获取了各个文本行基线，使得文本行基线的确定过程较为简单，便于快速、准确的获取校正文本图像。

需要补充说明的是，上述各个装置实施例中的各个模块及单元对应执行上述各个方法实施例中的各个步骤，具体实施过程及技术效果可参见方法实施例，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种文本图像的校正方法，其特征在于，包括：

确定文本图像中各个文本行的文本行基线，并获取文本图像中各个区块对应的梯度直方图；所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图是根据所述区块内各个像素点的梯度向量确定的；所述区块是通过对所述文本图像进行分区获得的，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；

根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格；所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点；

根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格；所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系；

根据所述对应关系，建立校正文本图像；

其中，所述根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向，包括：

根据每一个区块对应的梯度直方图，确定每一个区块的第一角度；所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向；

根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向；

其中，所述各个区块中的第一区块的预测竖直笔画方向的确定方法包括：

当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：

当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；

所述各个文本行基线上的各个像素点中的第一像素点的竖直笔画方向的确定方法包括：

确定所述第一像素点所属的区块；

根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的竖直笔画方向。

2.根据权利要求1所述的校正方法，其特征在于，确定文本图像中各个文本行基线，包括：

采用形态学操作，获取二值化后的文本图像中的各个候选文本区域；

根据各个候选文本区域的长度、高度以及长高比，确定各个文本行；

获取各个文本行中心线及各个文本行的高度平均值；

根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线；所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

3.根据权利要求1所述的校正方法，其特征在于，根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定用于建立二维网格的各个像素点，并根据所述用于建立二维网格的各个像素点建立二维网格，包括：

建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_q的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N文本图像中文本行基线的总数；

根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的划分像素点；

根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定各个划分像素点对应的修正后的形变坐标；所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

根据各个用于建立二维网格的各个像素点建立二维网格。

4.根据权利要求3所述的校正方法，其特征在于，根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系，包括：

根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；所述各个用于建立校正网格的校正像素点分别为所述校正网格中各个校正矩形的各个顶点；

根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形；

根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

5.根据权利要求4所述的校正方法，其特征在于，根据所述对应关系，建立校正文本图像，包括：

根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标；

根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点；

根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度；

根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。

6.一种文本图像的校正装置，其特征在于，包括：

基线确定模块，用于确定文本图像中各个文本行的文本行基线，并获取文本图像中各个区块对应的梯度直方图；所述文本行基线是根据所述文本图像中各个像素点在所述文本图像中的第一坐标和灰度确定的；所述梯度直方图是根据所述区块内各个像素点的梯度向量确定的；所述区块是通过对所述文本图像进行分区获得的，所述文本图像中各个区块包括的像素点的总和为所述文本图像的全部像素点；所述文本图像中任意两个区块之间无相同的像素点；

笔画确定模块，用于根据每一个区块内的第一基线的延伸方向和每一个区块对应的梯度直方图，确定各个文本行基线上每一个像素点的竖直笔画方向；所述第一基线为所述文本行基线位于所述第一基线所属的区块内的部分；

二维网格确定模块，用于根据每一个文本行基线和每一个文本行基线上每一个像素点的竖直笔画方向，在所述文本图像中确定各个用于建立二维网格的各个像素点，并根据各个所述用于建立二维网格的各个像素点建立二维网格；所述各个用于建立二维网格的各个像素点分别为所述二维网格中各个四边形的各个顶点；

三维网格确定模块，用于根据所述二维网格中每一个四边形的各个顶点的第一坐标和三维空间下平行四边形约束条件，确定三维网格；所述三维网格中每一个四边形与所述二维网格中每一个四边形一一对应；所述三维网格中的四边形的各个顶点与该三维网格中的四边形对应的二维网格中的四边形的各个顶点一一对应；

对应关系确定模块，用于根据所述三维网格中每一个四边形的每一个顶点的三维坐标，和所述二维网格中每一个四边形的每一个顶点的第一坐标，确定待建立的校正文本图像的各个校正像素点与所述文本图像中各个像素点的对应关系；

建立模块，用于根据所述对应关系，建立校正文本图像；

其中，所述笔画确定模块包括：

角度确定单元，用于根据每一个区块对应的梯度直方图，确定每一个区块的第一角度；所述区块的第一角度为该区块对应的梯度直方图中的最大统计值对应的量化角；

预测单元，用于根据每一个区块的第一角度和每一个区块内各个第一基线的延伸方向与水平方向的夹角的平均值，确定各个区块的预测竖直笔画方向；

笔画确定单元，用于根据各个区块的预测竖直笔画方向，确定各个文本行基线上每一个像素点的竖直笔画方向；

其中，所述预测单元具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足重合预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度：

所述预测单元具体用于当第一区块的第一角度和第一区块内至少一个第一基线的延伸方向与水平方向的夹角的平均值之差满足垂直预设值时，确定所述第一区块的预测竖直笔画方向与水平方向的夹角为所述第一区块的第一角度与90度的和；

所述笔画确定单元具体用于确定第一像素点所属的区块；

所述笔画确定单元具体用于根据所述第一像素点所属的区块的预测竖直笔画方向与水平方向的夹角，和与所述第一像素点所属的区块相邻的各个区块的预测竖直笔画方向与水平方向的夹角，确定所述第一像素点的竖直笔画方向。

7.根据权利要求6所述的校正装置，其特征在于，所述基线确定模块包括：

候选文本区域确定单元，用于采用形态学操作，获取二值化后的文本图像中的各个候选文本区域；

文本行确定单元，用于根据各个候选文本区域的长度、高度以及长高比，确定各个文本行；

中心线确定单元，用于获取各个文本行中心线及各个文本行的高度平均值；

基线确定单元，用于根据各个所述文本行中心线和高度平均值，确定各个文本行的上基线和下基线；所述高度平均值是根据所述文本行中心线上各个像素点对应的文本行高度确定的。

8.根据权利要求6所述的校正装置，其特征在于，二维网格确定模块包括：

形变坐标系建立单元，用于建立形变坐标系，并确定各个文本行基线上各个像素点在所述形变坐标系中的形变坐标；在所述形变坐标系中，当像素点i_q中当q为1时，像素点i₁的形变坐标中的纵坐标与像素点i₁的第一坐标中的纵坐标相等；像素点i₁的形变坐标中的横坐标为像素点i₁到像素点(i-1)₁的距离与像素点(i-1)₁到形变坐标系中的坐标原点的距离的和；当像素点i_q中当q不为1时，像素点i_q的形变坐标中的横坐标与像素点i_q对应的交点的横坐标相同；像素点i_q对应的交点为像素点i_q的虚拟竖线穿过的位于第q-1个文本行基线上的像素点；像素点i_q的虚拟竖线是沿像素点i_q的竖直笔画方向延伸的；像素点i_q的形变坐标中的纵坐标是采用双线性插值法处理像素点(i-1)_q和像素点(i+1)_q的第一坐标中的纵坐标确定的；其中，像素点i_q表示第q个文本行基线上第i个像素点，i为不大于M的整数，q为不大于N的整数，M为像素点i_q所在的第q个文本行基线上像素点的总数，N文本图像中文本行基线的总数；

划分像素点确定单元，用于根据预设的划分步长，在各个文本行基线上确定用于划分各个文本行基线的划分像素点；

修正确定单元，用于根据各个划分像素点的形变坐标和各个划分像素点的相邻像素点的形变坐标，采用双线性插值法，确定各个划分像素点对应的修正后的形变坐标；所述划分像素点的相邻像素点与该划分像素点相邻且位于同一个文本行基线上；

二维网格像素点确定单元，用于根据各个划分像素点对应的修正后的形变坐标，确定各个用于建立二维网格的各个像素点；

二维网格建立单元，用于根据各个用于建立二维网格的各个像素点建立二维网格。

9.根据权利要求8所述的校正装置，其特征在于，对应关系确定模块，包括：

校正网格建立单元，用于根据所述三维网格中每一个四边形的各个顶点的三维坐标，确定待建立的校正图像中各个用于建立校正网格的校正像素点，并根据各个用于建立校正网格的各个校正像素点建立校正网格；所述校正网格包括与所述三维网格中每一个四边形一一对应的各个校正矩形；所述校正矩形中各个边的长度与该校正矩形对应的三维网格中的四边形的各个边的长度一一相等；所述各个用于建立校正网格的校正像素点分别为所述校正网格中各个校正矩形的各个顶点；

二维网格四边形确定单元，用于根据校正网格中每一个校正矩形对应的所述三维网格中的四边形，确定校正网格中每一个校正矩形对应的二维网格中的四边形；

对应关系确定单元，用于根据校正网格中每一个校正矩形的各个顶点在待建立的校正图像中的第二坐标和校正网格中每一个校正矩形对应的二维网格中的四边形的各个顶点的第一坐标，确定待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系。

10.根据权利要求9所述的校正装置，其特征在于，建立模块包括：

坐标确定单元，用于根据待建立的校正图像的各个校正像素点与所述文本图像中各个像素点的对应关系，确定待建立的校正图像的各个校正像素点对应的第一坐标；

像素点确定单元，用于根据待建立的校正图像的各个校正像素点对应的第一坐标，确定待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点；

灰度确定单元，用于根据待建立的校正图像的各个校正像素点对应的文本图像中的各个像素点的灰度，确定待建立的校正图像的各个校正像素点的灰度；

校正文本图像建立单元，用于根据待建立的校正图像的各个校正像素点的灰度建立校正文本图像。