CN112801088A - 一种扭曲文本行图像矫正的方法和相关装置 - Google Patents

Abstract

本申请公开了一种扭曲文本行图像矫正的方法和相关装置，该方法包括：对扭曲文本行图像进行骨架提取和骨架拟合，获得扭曲文本行图像的骨架曲线公式；利用骨架曲线公式对扭曲文本行图像进行轮廓分割，获得扭曲文本行图像的轮廓曲线段；针对轮廓曲线段和轮廓曲线段上采样点，确定映射直线段和映射直线段上映射点；利用采样点至映射点的映射关系和预设映射变换算法，矫正扭曲文本行图像。可见，先通过扭曲文本行图像的骨架，将扭曲文本行图像的轮廓分为轮廓曲线段；再将轮廓曲线段映射为映射直线段，实现对扭曲文本行图像的矫正。该方式适用于大多数的、普通的扭曲文本行图像的矫正。

Description

一种扭曲文本行图像矫正的方法和相关装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种扭曲文本行图像矫正的方法和相关装置。

背景技术

现阶段，对文本图像进行光学字符识别，首先是对表示文本行区域的文本行图像进行检测，然后对文本行图像中文本内容进行识别。在一些自然场景下，由于文本图像中文本内容的排版经常不是规则的，导致表示文本行区域的文本行图像是扭曲的；因此，需要对该扭曲文本行图像进行矫正，以便正确识别该扭曲文本行图像中文本内容。

现有技术中，存在一些扭曲文本行图像的矫正方法，但是，该矫正方法只适用于一些满足预设特定条件的扭曲文本行图像；例如，利用文本行中线的矫正方法，只适用于文本内容中各个字符朝向均为沿竖直方向的扭曲文本行图像等等。

即，发明人经过研究发现，上述矫正方法无法适用于大多数的、普通的扭曲文本行图像，则无法实现大多数的、普通的扭曲文本行图像的矫正，从而导致扭曲文本行图像中文本内容的识别准确率下降。

发明内容

有鉴于此，本申请实施例提供一种扭曲文本行图像矫正的方法和相关装置，适用于大多数的、普通的扭曲文本行图像，能够实现大多数的、普通的扭曲文本行图像的矫正，从而能够提高扭曲文本行图像中文本内容的识别准确率。

第一方面，本申请实施例提供了一种扭曲文本行图像矫正的方法，所述方法包括：

对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式；

基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段；

基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点；

基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

可选的，所述对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式，包括：

对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线；

对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

可选的，所述对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线，包括：

对所述扭曲文本行图像进行边界填充，获得填充扭曲文本行图像；

利用预设骨架提取算法对所述填充扭曲文本行图像进行骨架提取，获得所述填充扭曲文本行图像的毛刺骨架曲线，所述毛刺骨架曲线包括骨架和毛刺；

对所述填充扭曲文本行图像进行边界填充去除，对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线。

可选的，所述对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线，包括：

基于所述毛刺骨架曲线上各个像素点和第一预设卷积核，确定所述骨架与所述毛刺的交叉点；

针对每个所述交叉点，在所述毛刺骨架曲线上去除所述交叉点获得各个连通域；去除各个所述连通域中长度最小连通域恢复所述交叉点；

获得所述扭曲文本行图像的骨架曲线。

可选的，所述对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式，包括：

基于所述骨架曲线上各个像素点和第二预设卷积核，确定所述骨架曲线的骨架曲线端点；

以任意一个所述骨架曲线端点作为当前点，基于所述当前点的四连通域和八连通域，确定所述骨架曲线上各个像素点的排序；

利用预设曲线拟合算法和所述骨架曲线上各个像素点的排序对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

可选的，所述基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段，包括：

对所述扭曲文本行图像进行轮廓提取，获得所述扭曲文本行图像的轮廓；

基于所述骨架曲线公式，确定所述骨架曲线端点处的端点切线；

基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点；

利用所述轮廓端点分割所述轮廓，获得所述扭曲文本行图像的轮廓曲线段。

可选的，所述基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点，包括：

计算每个所述相交点与每个所述骨架曲线端点的距离；

针对每个所述骨架曲线端点，将最小距离对应的相交点确定为所述轮廓端点。

可选的，每条所述轮廓曲线段上采样点的数量相同，每条所述轮廓曲线段上采样点的距离比例相同；对应地，所述映射直线段上映射点的数量与所述轮廓曲线段上采样点的数量相同，所述映射直线段上映射点的距离比例与所述轮廓曲线段上采样点的距离比例相同。

可选的，所述基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点，包括：

基于所述轮廓曲线段的长度和所述轮廓曲线段上对应采样点的距离，确定所述映射直线段的长度和距离；

基于所述映射直线段的长度和距离，构建所述映射直线段；

在所述映射直线段上确定所述采样点对应的映射点。

第二方面，本申请实施例提供了一种扭曲文本行图像矫正的装置，所述装置包括：

第一获得单元，用于对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式；

第二获得单元，用于基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段；

确定单元，用于基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点；

矫正单元，用于基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

第三方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的扭曲文本行图像矫正的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的扭曲文本行图像矫正的方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，对扭曲文本行图像进行骨架提取和骨架拟合，获得扭曲文本行图像的骨架曲线公式；利用骨架曲线公式对扭曲文本行图像进行轮廓分割，获得扭曲文本行图像的轮廓曲线段；针对轮廓曲线段和轮廓曲线段上采样点，确定映射直线段和映射直线段上映射点；利用采样点至映射点的映射关系和预设映射变换算法，矫正扭曲文本行图像。可见，先通过扭曲文本行图像的骨架，将扭曲文本行图像的轮廓分为轮廓曲线段；再将轮廓曲线段映射为映射直线段，实现对扭曲文本行图像的矫正。该方式适用于大多数的、普通的扭曲文本行图像，能够实现大多数的、普通的扭曲文本行图像的矫正，从而能够提高扭曲文本行图像中文本内容的识别准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种扭曲文本行图像矫正的方法的流程示意图；

图3为本申请实施例提供的一种扭曲文本行图像至填充扭曲文本行图像的毛刺骨架曲线示意图；

图4为本申请实施例提供的一种去除毛刺骨架曲线上一个毛刺的示意图；

图5为本申请实施例提供的一种扭曲文本行图像的轮廓的两个轮廓端点的示意图；

图6为本申请实施例提供的一种两条轮廓曲线段上采样点的示意图；

图7为本申请实施例提供的一种两条映射直线段上映射点的示意图；

图8为本申请实施例提供的一种扭曲文本行图像矫正的示意图；

图9为本申请实施例提供的一种扭曲文本行图像矫正的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经过研究发现，虽然现有技术中一些扭曲文本行图像的矫正方法，但是，该矫正方法只适用于一些满足预设特定条件的扭曲文本行图像，无法适用于大多数的、普通的扭曲文本行图像，则无法实现大多数的、普通的扭曲文本行图像的矫正，从而导致扭曲文本行图像中文本内容的识别准确率下降。

为了解决这一问题，在本申请实施例中，对扭曲文本行图像进行骨架提取和骨架拟合，获得扭曲文本行图像的骨架曲线公式；利用骨架曲线公式对扭曲文本行图像进行轮廓分割，获得扭曲文本行图像的轮廓曲线段；针对轮廓曲线段和轮廓曲线段上采样点，确定映射直线段和映射直线段上映射点；利用采样点至映射点的映射关系和预设映射变换算法，矫正扭曲文本行图像。可见，先通过扭曲文本行图像的骨架，将扭曲文本行图像的轮廓分为轮廓曲线段；再将轮廓曲线段映射为映射直线段，实现对扭曲文本行图像的矫正。该方式适用于大多数的、普通的扭曲文本行图像，能够实现大多数的、普通的扭曲文本行图像的矫正，从而能够提高扭曲文本行图像中文本内容的识别准确率。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括中终端设备101和处理器102。用户通过终端设备101得到扭曲文本行图像，并将该扭曲文本行图像发送至处理器102；处理器102采用本申请实施例提供的扭曲文本行图像矫正方法的实施方式，实现对该扭曲文本行图像的矫正，以便后续识别矫正后的扭曲文本行图像中文本内容。

首先，在上述应用场景中，虽然将本申请实施例提供的实施方式的动作描述由处理器102执行；但是，本申请实施例在执行主体方面不受限制，只要执行了本申请实施例提供的实施方式所公开的动作即可。

其次，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中扭曲文本行图像矫正的方法和相关装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种扭曲文本行图像矫正的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

由于对于大多数的、普通的扭曲文本行图像而言，现有技术中的利用文本行中线的矫正方法等均不适用；因此，在本申请实施例中，考虑通过大多数的、普通的扭曲文本行图像均具有骨架、轮廓，利用骨架将轮廓分割成轮廓曲线段，将分割后的轮廓曲线段映射为直线段，以便通过映射关系实现对大多数的、普通的扭曲文本行图像的矫正。

基于上述说明，在本申请实施例中，扭曲文本行图像是指经过二值化处理的二值化扭曲文本行图像，首先需要获得该扭曲文本行图像的骨架。在执行步骤201时，先通过骨架提取方式获得该扭曲文本行图像的骨架曲线，才能对该骨架曲线进行骨架拟合获得该扭曲文本行图像的骨架曲线公式；骨架曲线公式用于表示骨架曲线，例如可以是二元方程，即，骨架曲线方程，骨架曲线上点的坐标均是该骨架曲线方程的解，以骨架曲线方程的解为坐标的点均是骨架曲线上的点。因此，在本申请实施例一种可选的实施方式中，所述步骤201例如可以包括以下步骤：

步骤A：对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线。

在执行步骤A时，考虑到扭曲文本行图像的边界和扭曲文本行区域边缘较为接近，在进行骨架提取时容易引起“边缘效应”，导致获得的骨架曲线不够准确；因此，首先，需要对扭曲文本行图像的边界进行填充，即，对扭曲文本行图像的上下左右四条边均进行填充，将填充后的扭曲文本行图像作为填充扭曲文本行图像。然后，通过预先骨架提取算法实现对该填充扭曲文本行图像的骨架提取，该方式虽然能够避免上述“边缘效应”，但是获得的骨架曲线不够光滑，不仅包括骨架本身还包括骨架上的毛刺，作为填充扭曲文本行图像的毛刺骨架曲线。最后，既需要去除上述填充扭曲文本行图像中填充的边界，还需要去除上述毛刺骨架曲线中毛刺，以便获得扭曲文本行图像的骨架曲线。因此，在本申请实施例一种可选的实施方式中，所述步骤A例如可以包括以下步骤：

步骤A1：对所述扭曲文本行图像进行边界填充，获得填充扭曲文本行图像。

作为一种示例，扭曲文本行图像的图像尺寸大小为m×n，对扭曲文本行图像的上下左右四条边各填充k个像素，填充值为扭曲文本行图像的背景像素值，则填充扭曲文本行图像尺寸大小为(m+k)×(n+k)。

步骤A2：利用预设骨架提取算法对所述填充扭曲文本行图像进行骨架提取，获得所述填充扭曲文本行图像的毛刺骨架曲线，所述毛刺骨架曲线包括骨架和毛刺。

其中，一般是利用细化算法或腐蚀算法进行骨架提取，例如，rosenfeld细化算法。因此，在本申请实施例一种可选的实施方式中，所述预设骨架提取算法包括细化算法或腐蚀算法。

作为一种步骤A1-步骤A2的示例，如图3所示的一种扭曲文本行图像至填充扭曲文本行图像的毛刺骨架曲线示意图。其中，左图表示扭曲文本行图像，右图表示填充扭曲文本行图像的毛刺骨架曲线，该图中毛刺骨架曲线包括一条骨架曲线和两个毛刺。

步骤A3：对所述填充扭曲文本行图像进行边界填充去除，对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线。

在执行步骤A3时，首先，需要定义一个卷积核为第一预设卷积核，例如，3×3的卷积核，卷积核的值均为1，利用该第一预设卷积核分别对毛刺骨架曲线上各个像素点进行卷积；通过第一预设卷积核感受野内像素值为毛刺骨架曲线上像素点的像素值的数量，确定骨架曲线上该像素点是否为骨架与毛刺的交叉点；例如，数量大于预设数量3，则确定骨架曲线上该像素点为骨架与毛刺的交叉点。然后，对于确定的每个交叉点，需要将该交叉点在毛刺骨架曲线上去除以得到各个连通域，比较各个连通域的长度，长度最小连通域即为毛刺，需要长度最小连通域去除，并恢复之前的去除的交叉点。最后，在将每个交叉点对应的毛刺去除后，即可获得扭曲文本行图像的骨架曲线。因此，在本申请实施例一种可选的实施方式中，所述步骤A3例如可以包括以下步骤：

步骤A31：基于所述毛刺骨架曲线上各个像素点和第一预设卷积核，确定所述骨架与所述毛刺的交叉点。

步骤A32：针对每个所述交叉点，在所述毛刺骨架曲线上去除所述交叉点获得各个连通域；去除各个所述连通域中长度最小连通域恢复所述交叉点。

作为一种步骤A32的示例，如图4所示的一种去除毛刺骨架曲线上一个毛刺的示意图，左图表示在毛刺骨架曲线上去除一个交叉点获得各个连通域，中图表示去除左图所表示的各个连通域中长度最小连通域，右图表示恢复左图所表示的去除的交叉点。

步骤A33：获得所述扭曲文本行图像的骨架曲线。

步骤B：对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

在执行步骤B时，对骨架曲线进行骨架拟合的前提是确定骨架曲线上各个像素点的排序，而确定骨架曲线上各个像素点的排序的前提是：确定骨架曲线的骨架曲线端点。因此，首先，需要定义另一个卷积核为第二预设卷积核，例如，5×5的卷积核，卷积核的值均为1，利用该第二预设卷积核分别对骨架曲线上各个像素点进行卷积；通过第二预设卷积核感受野内像素值为骨架曲线上像素点的像素值的数量，确定骨架曲线的骨架曲线端点；例如，将最小两个数量对应的像素点分别确定为两个骨架曲线端点。然后，可以将任意一个骨架曲线端点作为当前点，记入当前点队列，查找该当前点的四连通域内是否存在除当前点队列所包括像素点之外的骨架曲线上像素点；若是，将该像素点作为当前点，继续查找下一个当前点；若否，查找该当前点的八连通域内是否存在除当前点队列所包括像素点之外的骨架曲线上像素点；若是，将该像素点作为当前点，若否则停止以确定骨架曲线上各个像素点的排序。最后，在确定骨架曲线上各个像素点的排序基础上，通过预设曲线拟合算法即可对骨架曲线进行骨架拟合，以得到扭曲文本行图像的骨架曲线公式。即，在本申请实施例一种可选的实施方式中，所述步骤B例如可以包括以下步骤：

步骤B1：基于所述骨架曲线上各个像素点和第二预设卷积核，确定所述骨架曲线的骨架曲线端点。

其中，以骨架曲线的骨架曲线端点数量是两个为例，步骤B1例如具体可以为：基于所述骨架曲线上各个像素点和第二预设卷积核，确定所述骨架曲线的两个骨架曲线端点。

步骤B2：以任意一个所述骨架曲线端点作为当前点，基于所述当前点的四连通域和八连通域，确定所述骨架曲线上各个像素点的排序。

步骤B3：利用预设曲线拟合算法和所述骨架曲线上各个像素点的排序对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

其中，一般是利用贝塞尔曲线拟合算法或多项式曲线拟合算法进行骨架拟合。因此，在本申请实施例一种可选的实施方式中，所述预设曲线拟合算法包括贝塞尔曲线拟合算法或多项式曲线拟合算法。

作为一种步骤B3的示例，利用贝塞尔曲线拟合算法和骨架曲线上各个像素点的排序，对整个骨架曲线进行骨架拟合得到拟合骨架曲线，预设常量c，计算拟合骨架曲线上拟合像素点与对应的与骨架曲线上像素点的距离，若距离大于预设常量c，则将骨架曲线从该像素点切分进行分段拟合，以便更好地拟合实际的骨架曲线；重复以上步骤，得到扭曲文本行图像的骨架曲线公式。

步骤202：基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段。

在本申请实施例中，步骤201获得扭曲文本行图像的骨架曲线公式之后，利用该骨架曲线公式即可分割扭曲文本行图像的轮廓，以获得分割后的曲线段作为扭曲文本行图像的轮廓曲线段。

在执行步骤202时，对分割扭曲文本行图像进行轮廓的前提是确定扭曲文本行图像的轮廓分割点，考虑到分割后的曲线段，即，扭曲文本行图像的轮廓曲线段是为了后续映射为直线段，实现对扭曲文本行图像的矫正，需要将扭曲文本行图像的轮廓端点，确定为扭曲文本行图像的轮廓分割点。因此，首先，通过轮廓提取方式得到扭曲文本行图像的轮廓，并通过骨架曲线公式求出每个骨架曲线端点处的端点切线，每条端点切线分别与扭曲文本行图像的轮廓有多个相交点，在此基础上，在相交点中确定上述轮廓的轮廓端点；然后，将扭曲文本行图像的轮廓在轮廓端点处断开，即可得到曲线段作为扭曲文本行图像的轮廓曲线段。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：

步骤C：对所述扭曲文本行图像进行轮廓提取，获得所述扭曲文本行图像的轮廓。

步骤D：基于所述骨架曲线公式，确定所述骨架曲线端点处的端点切线。

对应于上述两个骨架曲线端点，步骤D确定的端点切线数量是两条，步骤D例如可以为：基于所述骨架曲线公式，确定两个所述骨架曲线端点中每个所述骨架曲线端点处的端点切线。

其中，本申请实施例并不限定步骤C-步骤D的执行顺序，既可以先执行步骤C再执行步骤D，也可以先执行步骤D再执行步骤C，还可以同时执行步骤C和步骤D。

步骤E：基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点。

在执行步骤E时，需要通过每个相交点与每个骨架曲线端点之间的距离，衡量每个相交点与每个骨架曲线端点的远近，将距离每个骨架曲线端点最近的相交点确定为轮廓端点，即，对每个骨架曲线端点而言，将最小距离对应的相交点确定为轮廓端点。因此，在本申请实施例一种可选的实施方式中，所述步骤E例如可以包括以下步骤：

步骤E1：计算每个所述相交点与每个所述骨架曲线端点的距离；

步骤E2：针对每个所述骨架曲线端点，将最小距离对应的相交点确定为所述轮廓端点。

对应于上述两条端点切线，步骤E确定的轮廓端点数量是两个，步骤D例如可以为：基于两条所述端点切线中每条所述端点切线与所述轮廓的相交点，确定所述轮廓的两个轮廓端点。

作为一种步骤C-步骤E的示例，如图5所示的一种扭曲文本行图像的轮廓的两个轮廓端点的示意图，图中所示的圆圈中骨架曲线端点处的端点切线与扭曲文本行图像的轮廓的相交点为轮廓端点。

步骤F：利用所述轮廓端点分割所述轮廓，获得所述扭曲文本行图像的轮廓曲线段。

对应于上述两个轮廓端点，步骤F获得的轮廓曲线段数量是两条，步骤F例如可以为：利用两个所述轮廓端点分割所述轮廓，获得所述扭曲文本行图像的两条轮廓曲线段。

此外，在本申请实施例中，还可以参考步骤B相关具体实施方式，对扭曲文本行图像的轮廓曲线段分别进行轮廓拟合，获得扭曲文本行图像的轮廓曲线段公式。

步骤203：基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点。

在本申请实施例中，步骤202获得扭曲文本行图像的轮廓曲线段之后，需要以轮廓曲线段为基础，通过轮廓曲线段上采样点，确定每条轮廓曲线段对应的直线段，作为映射直线段；还需要确定轮廓曲线段上采样点对应的映射直线段上映射点。

其中，轮廓曲线段上采样点需要满足以下条件：第一，轮廓曲线段上采样点的数量相同；第二，轮廓曲线段上采样点的距离比例相同，例如，轮廓曲线段上采样点距离比例均为1：1：1…，或者轮廓曲线段上采样点距离比例均为1：2：3…等。因此，在本申请实施例一种可选的实施方式中，所述轮廓曲线段上采样点的数量相同，所述轮廓曲线段上采样点的距离比例相同。

对应地，在本申请实施例一种可选的实施方式中，所述映射直线段上映射点的数量与所述轮廓曲线段上采样点的数量相同，所述映射直线段上映射点的距离比例与所述轮廓曲线段上采样点的距离比例相同。作为一种示例，以轮廓曲线段的数量是两条为例，如图6所示的一种两条轮廓曲线段上采样点的示意图，其中，每条轮廓曲线段上采样点的数量均为9，每条轮廓曲线段上采样点的距离相同，即，两条轮廓曲线段上采样点的距离比例均为1：1：1…。当然在其它实现方式中，也可以不限于两条，可以是两条以上的任意数量。

在执行步骤203时，首先，可以根据轮廓曲线段的长度确定映射直线段的长度，例如，将轮廓曲线段的长度平均值作为映射直线段的长度；以及根据轮廓曲线段上对应采样点的距离确定映射直线段的距离，例如，将轮廓曲线段上对应采样点的距离平均值作为映射直线段的距离。然后，在映射直线段的长度和距离的基础上，可以构建得到映射直线段。最后，在轮廓曲线段上采样点的基础上，在映射直线段上确定对应的映射点。因此，在本申请实施例一种可选的实施方式中，所述步骤203例如可以包括以下步骤：

步骤G：基于所述轮廓曲线段的长度和所述轮廓曲线段上对应采样点的距离，确定所述映射直线段的长度和距离。

步骤H：基于所述映射直线段的长度和距离，构建所述映射直线段。

步骤I：在所述映射直线段上确定所述采样点对应的映射点。

作为一种示例，在上述图6所示的一种两条轮廓曲线段上采样点的示意图的基础上，如图7所示的一种两条映射直线段上映射点的示意图，其中，每条映射直线段上映射点的数量均为9，每条映射直线段上采样点的距离相同，即，两条映射直线段上采样点的距离比例均为1：1：1…。

步骤204：基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

在本申请实施例中，步骤203确定映射直线段和映射直线段上映射点之后，表示轮廓曲线段上采样点至映射直线段上映射点之间的映射关系已确定；此时，通过该映射关系利用预设映射变换算法对扭曲文本行图像进行映射变换，即可实现对扭曲文本行图像的矫正。

其中，一般利用线性插值算法或薄板样条插值算法进行映射变换。因此，在本申请实施例一种可选的实施方式中，所述预设映射变换算法包括线性插值算法或薄板样条插值算法。

作为一种步骤204的示例，如图8所示的一种扭曲文本行图像矫正的示意图，上图表示利用图6所示的一种两条轮廓曲线段上采样点，将扭曲文本行图像划分为多个块，下图表示根据图6所示的一种两条轮廓曲线段上采样点至7所示的一种两条映射直线段上映射点的映射关系，将上图中多个块分别映射变换得到矫正后的扭曲文本行图像。

通过本实施例提供的各种实施方式，对扭曲文本行图像进行骨架提取和骨架拟合，获得扭曲文本行图像的骨架曲线公式；利用骨架曲线公式对扭曲文本行图像进行轮廓分割，获得扭曲文本行图像的轮廓曲线段；针对轮廓曲线段和轮廓曲线段上采样点，确定映射直线段和映射直线段上映射点；利用采样点至映射点的映射关系和预设映射变换算法，矫正扭曲文本行图像。可见，先通过扭曲文本行图像的骨架，将扭曲文本行图像的轮廓分为轮廓曲线段；再将轮廓曲线段映射为映射直线段，实现对扭曲文本行图像的矫正。该方式适用于大多数的、普通的扭曲文本行图像，能够实现大多数的、普通的扭曲文本行图像的矫正，从而能够提高扭曲文本行图像中文本内容的识别准确率。

示例性装置

参见图9，示出了本申请实施例中一种扭曲文本行图像矫正的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一获得单元901，用于对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式；

第二获得单元902，用于基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段；

确定单元903，用于基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点；

矫正单元904，用于基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

在本申请实施例一种可选的实施方式中，所述第一获得单元901包括：

第一获得子单元，用于对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线；

第二获得子单元，用于对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

在本申请实施例一种可选的实施方式中，所述第一获得子单元包括：

第一获得模块，用于对所述扭曲文本行图像进行边界填充，获得填充扭曲文本行图像；

第二获得模块，用于利用预设骨架提取算法对所述填充扭曲文本行图像进行骨架提取，获得所述填充扭曲文本行图像的毛刺骨架曲线，所述毛刺骨架曲线包括骨架和毛刺；

第三获得模块，用于对所述填充扭曲文本行图像进行边界填充去除，对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线。

在本申请实施例一种可选的实施方式中，所述预设骨架提取算法包括细化算法或腐蚀算法。

在本申请实施例一种可选的实施方式中，所述第三获得模块包括：

确定子模块，用于基于所述毛刺骨架曲线上各个像素点和第一预设卷积核，确定所述骨架与所述毛刺的交叉点；

去除恢复子模块，用于针对每个所述交叉点，在所述毛刺骨架曲线上去除所述交叉点获得各个连通域；去除各个所述连通域中长度最小连通域恢复所述交叉点；

获得子模块，用于获得所述扭曲文本行图像的骨架曲线。

在本申请实施例一种可选的实施方式中，所述第二获得子单元包括：

第一确定模块，用于基于所述骨架曲线上各个像素点和第二预设卷积核，确定所述骨架曲线的骨架曲线端点；

第二确定模块，用于以任意一个所述骨架曲线端点作为当前点，基于所述当前点的四连通域和八连通域，确定所述骨架曲线上各个像素点的排序；

第四获得模块，用于利用预设曲线拟合算法和所述骨架曲线上各个像素点的排序对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

在本申请实施例一种可选的实施方式中，所述预设曲线拟合算法包括贝塞尔曲线拟合算法或多项式曲线拟合算法。

在本申请实施例一种可选的实施方式中，所述第二获得单元902包括：

第三获得子单元，用于对所述扭曲文本行图像进行轮廓提取，获得所述扭曲文本行图像的轮廓；

第一确定子单元，用于基于所述骨架曲线公式，确定所述骨架曲线端点处的端点切线；

第二确定子单元，用于基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点；

第四获得子单元，用于利用所述轮廓端点分割所述轮廓，获得所述扭曲文本行图像的轮廓曲线段。

在本申请实施例一种可选的实施方式中，所述第二确定子单元包括：

计算模块，用于计算每个所述相交点与每个所述骨架曲线端点的距离；

第三确定模块，用于针对每个所述骨架曲线端点，将最小距离对应的相交点确定为所述轮廓端点。

在本申请实施例一种可选的实施方式中，每条所述轮廓曲线段上采样点的数量相同，每条所述轮廓曲线段上采样点的距离比例相同；对应地，所述映射直线段上映射点的数量与所述轮廓曲线段上采样点的数量相同，所述映射直线段上映射点的距离比例与所述轮廓曲线段上采样点的距离比例相同。

在本申请实施例一种可选的实施方式中，所述确定单元903包括：

第三确定子单元，用于基于所述轮廓曲线段的长度和所述轮廓曲线段上对应采样点的距离，确定所述映射直线段的长度和距离；

构建子单元，用于基于所述映射直线段的长度和距离，构建所述映射直线段；

第四确定子单元，用于在所述映射直线段上确定所述采样点对应的映射点。

在本申请实施例一种可选的实施方式中，所述预设映射变换算法包括线性插值算法或薄板样条插值算法。

通过本实施例提供的各种实施方式，对扭曲文本行图像进行骨架提取和骨架拟合，获得扭曲文本行图像的骨架曲线公式；利用骨架曲线公式对扭曲文本行图像进行轮廓分割，获得扭曲文本行图像的轮廓曲线段；针对轮廓曲线段和轮廓曲线段上采样点，确定映射直线段和映射直线段上映射点；利用采样点至映射点的映射关系和预设映射变换算法，矫正扭曲文本行图像。可见，先通过扭曲文本行图像的骨架，将扭曲文本行图像的轮廓分为轮廓曲线段；再将轮廓曲线段映射为映射直线段，实现对扭曲文本行图像的矫正。该方式适用于大多数的、普通的扭曲文本行图像，能够实现大多数的、普通的扭曲文本行图像的矫正，从而能够提高扭曲文本行图像中文本内容的识别准确率。

此外，本申请实施例还提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的扭曲文本行图像矫正的方法。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的扭曲文本行图像矫正的方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (12)

1.一种扭曲文本行图像矫正的方法，其特征在于，包括：

对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式；

基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段；

基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点；

基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

2.根据权利要求1所述的方法，其特征在于，所述对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式，包括：

对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线；

对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

3.根据权利要求2所述的方法，其特征在于，所述对所述扭曲文本行图像进行骨架提取，获得所述扭曲文本行图像的骨架曲线，包括：

对所述扭曲文本行图像进行边界填充，获得填充扭曲文本行图像；

利用预设骨架提取算法对所述填充扭曲文本行图像进行骨架提取，获得所述填充扭曲文本行图像的毛刺骨架曲线，所述毛刺骨架曲线包括骨架和毛刺；

对所述填充扭曲文本行图像进行边界填充去除，对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线。

4.根据权利要求3所述的方法，其特征在于，所述对所述毛刺骨架曲线进行毛刺去除，获得所述扭曲文本行图像的骨架曲线，包括：

基于所述毛刺骨架曲线上各个像素点和第一预设卷积核，确定所述骨架与所述毛刺的交叉点；

针对每个所述交叉点，在所述毛刺骨架曲线上去除所述交叉点获得各个连通域；去除各个所述连通域中长度最小连通域恢复所述交叉点；

获得所述扭曲文本行图像的骨架曲线。

5.根据权利要求2所述的方法，其特征在于，所述对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式，包括：

基于所述骨架曲线上各个像素点和第二预设卷积核，确定所述骨架曲线的骨架曲线端点；

以任意一个所述骨架曲线端点作为当前点，基于所述当前点的四连通域和八连通域，确定所述骨架曲线上各个像素点的排序；

利用预设曲线拟合算法和所述骨架曲线上各个像素点的排序对所述骨架曲线进行骨架拟合，获得所述扭曲文本行图像的骨架曲线公式。

6.根据权利要求5所述的方法，其特征在于，所述基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段，包括：

对所述扭曲文本行图像进行轮廓提取，获得所述扭曲文本行图像的轮廓；

基于所述骨架曲线公式，确定所述骨架曲线端点处的端点切线；

基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点；

利用所述轮廓端点分割所述轮廓，获得所述扭曲文本行图像的轮廓曲线段。

7.根据权利要求6所述的方法，其特征在于，所述基于所述端点切线与所述轮廓的相交点，确定所述轮廓的轮廓端点，包括：

计算每个所述相交点与每个所述骨架曲线端点的距离；

针对每个所述骨架曲线端点，将最小距离对应的相交点确定为所述轮廓端点。

8.根据权利要求1所述的方法，其特征在于，每条所述轮廓曲线段上采样点的数量相同，每条所述轮廓曲线段上采样点的距离比例相同；对应地，所述映射直线段上映射点的数量与所述轮廓曲线段上采样点的数量相同，所述映射直线段上映射点的距离比例与所述轮廓曲线段上采样点的距离比例相同。

9.根据权利要求1所述的方法，其特征在于，所述基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点，包括：

基于所述轮廓曲线段的长度和所述轮廓曲线段上对应采样点的距离，确定所述映射直线段的长度和距离；

基于所述映射直线段的长度和距离，构建所述映射直线段；

在所述映射直线段上确定所述采样点对应的映射点。

10.一种扭曲文本行图像矫正的装置，其特征在于，包括：

第一获得单元，用于对扭曲文本行图像进行骨架提取和骨架拟合，获得所述扭曲文本行图像的骨架曲线公式；

第二获得单元，用于基于所述骨架曲线公式对所述扭曲文本行图像进行轮廓分割，获得所述扭曲文本行图像的轮廓曲线段；

确定单元，用于基于所述轮廓曲线段和所述轮廓曲线段上采样点，确定映射直线段和所述映射直线段上映射点；

矫正单元，用于基于所述采样点至所述映射点的映射关系和预设映射变换算法，矫正所述扭曲文本行图像。

11.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-9任一项所述的扭曲文本行图像矫正的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-9任一项所述的扭曲文本行图像矫正的方法。

Images