CN112241737B - 文字图像校正方法和装置 - Google Patents

Abstract

本发明公开了一种文字图像校正方法，同时公开了相应的文字图像校正装置。该方法所使用的行向累积曲线的频率信息对倾斜角补偿角度和真实倾斜角之前的误差敏感，具有很好的鲁棒性。利用本发明，可以较准确地估计出倾斜角的补偿角度，并且校正倾斜的文字图片。本发明可以应用到图像预处理、扫描文字图像角度自动补偿，手机拍照倾斜角自动补偿等场景中。

Description

文字图像校正方法和装置

技术领域

本发明涉及一种文字图像校正方法，同时涉及相应的文字图像校正装置，属于图像校正技术领域。

背景技术

随着数字技术的发展和数字办公系统的普及，在工作或者日常生活中，人们常常使用手机拍摄纸质文件，直接共享给他人；或者上传至业务系统进行进一步自动的校验、识别等后续处理。拍照分享文件让人们的生活更加便利、业务办理更加简化和智能。

但是在拍摄纸质文件的过程中，因为人为或非人为的原因，很容易导致拍摄所得的文件图片中的文字倾斜。这种文字倾斜的文件图片会影响打印出来的阅读效果，或者在上传至业务系统后，给后续处理造成困难，甚至完全不能被校验和识别。

发明内容

本发明所要解决的首要技术问题在于提供一种文字图像校正方法。

本发明所要解决的另一技术问题在于提供一种文字图像校正装置。

为了实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种文字图像校正方法，包括如下步骤：

将待校正图像预处理为二值图像；

以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

针对每张二值图像的行向累积量提取满足预设条件的频率；

在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正。

其中较优地，所述将待校正图像预处理为二值图像，具体包括：

转化待校正图像为灰度图像；

基于最大类间差法，将灰度图像转化为二值图像。

其中较优地，所述计算当前二值图像的行向累积量，具体包括：

针对当前二值图像，计算每一行的行向累积量；

将各行的行向累积量按顺序构建列向量S^t，作为当前二值图像的行向累积量；

所述每一行的行向累积量的计算式为：

上式中，为当前二值图像D^t中第i行的行向累积量，/>为当前二值图像D^t中第i行第j列的元素。

其中较优地，所述针对每张二值图像的行向累积量提取满足预设条件的频率，具体包括：

针对当前二值图像的行向累积量，进行滑动窗平滑滤波，得到对应滤波序列Q^t；

对滤波序列Q^t进行去均值处理，得到对应去均值序列H^t；

针对去均值序列H^t进行频谱分析，得到离散序列P^t；

提取离散序列P^t中满足预设条件的频率f^t。

其中较优地，所述滤波序列Q^t的计算式为：

上式中，为Q^t的第i个元素，L为滑动窗的宽度，/>为当前二值图像D^t中第i+j行的行向累积量。

其中较优地，所述去均值序列H^t的计算式为：

上式中，为去均值序列H^t的第i个元素，M(*)表示计算输入序列的均值。

其中较优地，所述离散序列P^t的计算式为：

上式中，为去均值序列H^t的第j个元素，/>为离散序列P^t的第k个元素，N为大于序列H^t长度的最小的2的幂数。

其中较优地，所述满足预设条件的频率f^t的计算式为：

上式中，Fs为当前二值图像的行向累积量的采样率，为可配系统参数。

其中较优地，所述将二值图像按同一方向依次旋转的计算式为：

上式中，为旋转后的二值图像在第x行y列的元素，θ_t为旋转后二值图像的旋转角度，/>为旋转前的二值图像在第i行j列的元素，<*>表示对结果四舍五入取整。

根据本发明实施例的第二方面，提供一种文字图像校正装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

将待校正图像预处理为二值图像；

以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

针对每张二值图像的行向累积量提取满足预设条件的频率；

在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正。

与现有技术相比较，本发明所提供的文字图像校正方法和装置可以较准确地估计出倾斜角的补偿角度，并且校正倾斜的文字图片。本发明可应用到图像预处理、扫描文字图像角度自动补偿，手机拍照倾斜角自动补偿等场景中。

附图说明

图1为本发明实施例提供的文字图像校正方法的流程图；

图2为本发明实施例中，图像校正过程的流程示意图；

图3为本发明实施例中，提取二值图像行向累积量频率的流程示意图；

图4(a)为本发明实施例中，二值图像旋转0.5度后的示例图；

图4(b)为本发明实施例中，二值图像旋转0.5度后行向累积变量的频率分析曲线；

图4(c)为本发明实施例中，二值图像旋转0.5度后行向累积变量的变化曲线；

图5(a)为本发明实施例中，二值图像旋转8.5度后的示例图；

图5(b)为本发明实施例中，二值图像旋转8.5度后行向累积变量的频率分析曲线；

图5(c)为本发明实施例中，二值图像旋转8.5度后行向累积变量的变化曲线；

图6(a)为本发明实施例中，二值图像旋转69.5度后的示例图；

图6(b)为本发明实施例中，二值图像旋转69.5度后行向累积变量的频率分析曲线；

图6(c)为本发明实施例中，二值图像旋转69.5度后行向累积变量的变化曲线；

图7为本发明实施例中，累积旋转角度和对应二值图像行向累积量的关系曲线；

图8为本发明实施例提供的文字图像校正装置的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明实施例提供的文字图像校正方法，主要包括如下步骤：

101、将待校正图像预处理为二值图像；具体地：

1011、转化待校正图像为灰度图像；

如图2所示，读取待校正图像(原文字图像)D^o，设定数字图像对应数据矩阵D^o的维度为m×n×3，其中m和n分别为待校正图像D^o的高度和宽度对应的像素点的个数。

一般情况下，待校正图像D^o为彩色的，由r/g/b三个颜色通道的数据表示,其维度都为m×n。

按下式，将待校正图像D^o转换为灰度图像D^g：

D^g＝0.2989*R+0.5870*G+0.1140*B (1)

式(1)中，R/G/B分别代表原彩色图像D^o中的红色、绿色以及蓝色分量，其矩阵各个元素取值和原彩色图像关系如下：

式(2)中，r_(i，j)、g_(i，j)和b_(i，j)分别表示R/G/B矩阵中的第i行第j列的元素。

1012、基于最大类间差法，将灰度图像转化为二值图像。

获取到灰度图像D^g后，为了祛除拍摄环境背景光线对于文字区域判定的影响，进一步采用最大类间方差法计算一个合适的阈值T，然后按下式将其转化为二值图像D^b，表达式为：

式(3)中，和/>分别表示D^g和的D^b第i行第j列的元素。

最大类间差方法又名Ostu方法，是一个经典的常用的阈值选择算法。其通过统计整个图像的直方图特性来实现全局阈值T的自动选取，其算法步骤为：

Step1、先计算图像的直方图，即将图像所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；

Step2、归一化直方图，也即将每个bin中像素点数量除以总的像素点；

Step3、i表示分类的阈值，也即一个灰度级，从0开始迭代；

Step4、通过归一化的直方图，统计0～i灰度级的像素(假设像素值在此范围的像素叫做前景像素)所占整幅图像的比例w0，并统计前景像素的平均灰度u0；统计i～255灰度级的像素(假设像素值在此范围的像素叫做背景像素)所占整幅图像的比例w1，并统计背景像素的平均灰度u1；

Step5、计算前景像素和背景像素的方差g＝w0*w1*(u0-u1)(u0-u1)；

Step6、i++；转到4，直到i为256时结束迭代；

Step7、将最大g相应的i值作为图像的全局阈值。

102、以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

为了提取不同旋转角度下的图像文字和留白的分布信息，需要将二值图像D^b遍历性的旋转一定的角度，然后通过计算行向累积量将二维信息降维到一维空间，再对所得行向累积量进行频谱分析，提取出较强的几个频率分量并存储供后续分析。

如图3所示，以角度为θ_Δ步长，将二值图像D^b按同一方向依次旋转，使二值图像D^b的累积旋转角度θ_t由0度增加到θ_max。其中θ_Δ和θ_max是可配置的算法参数，本实施中θ_Δ为0.5度，θ_max为180度。

在本发明的一个实施例中，同一方向为顺时针方向或逆时针方向。由于待校正图像D^o是顺时针倾斜或逆时针倾斜，在按某一方向依次旋转180度的过程中，总会有唯一使图像中文字水平的角度对应。

在本发明的一个实施例中，步长θ_Δ决定了倾斜角度估计的精度，决定了系统误差的大小，也影响着整个算法的计算复杂度和时延。假设二值图像D^b旋转的累积角度为θ_t(从0度开始每次增加0.5度至θ_t)，记经过旋转的当前图像为D^t，旋转过程为：

式(4)中，为旋转后的二值图像在第x行y列的元素，θ_t为旋转后二值图像的旋转角度，/>为旋转前的二值图像在第i行j列的元素，<*>表示对结果四舍五入取整。

得到旋转后的二值图像后，就可计算该图像的行向累积量，记为S^t；

1021、针对当前二值图像，计算每一行的行向累积量；

所述每一行的行向累积量的计算式为：

式(5)中，为当前二值图像D^t中第i行的行向累积量，/>为当前二值图像D^t中第i行第j列的元素。

1022、将各行的行向累积量按顺序构建列向量S^t，作为当前二值图像的行向累积量。

假设在本发明的一个实施例中，待校正图像D^o为顺时针倾斜8.5度。在将对应二值图像D^b逆时针旋转0.5度，即θ_t＝0.5度时，二值图像D^b的行向累积变量的变化曲线如图4(c)所示；当θ_t＝8.5度时，二值图像D^b的行向累积变量的变化曲线如图5(c)所示；当θ_t＝69.5度时，二值图像D^b的行向累积变量的变化曲线如图6(c)所示。若当θ_t＝0.5度、θ_t＝8.5度和θ_t＝69.5度时，对应的S^t都为采样率为F_s下对二值图像D^b的列向采样所得，则从其对应的行向累积变量变化曲线中可以看出，在不同旋转角度下，二值图像行向累积变量变化曲线的变化明显。当累积旋转角度θ_t等于或接近真实倾斜角度8.5度时，二值图像行向累积变量变化曲线分布均匀且对应频率值明显升高。由此，从二值图像行向累积变量变化曲线的规律中可以判定文字是否是水平。

103、针对每张二值图像的行向累积量提取满足预设条件的频率；具体地：

1031、针对当前二值图像的行向累积量，进行滑动窗平滑滤波，得到对应滤波序列Q^t；

如图3所示，为了防止图像噪点的影响，首先对当前二值图像D^b的行向累积变量S^t进行滑动窗平滑滤波，以祛除部分毛刺，得到对应滤波序列Q^t。所述滤波序列Q^t的计算式为：

式(6)中，为Q^t的第i个元素，L为滑动窗的宽度，/>为当前二值图像D^t中第i+j行的行向累积量。

在本发明的一个实施例中，当滑动窗超出S^t的实际长度后，窗内的无效元素默认为0。

1032、对滤波序列Q^t进行去均值处理，得到对应去均值序列H^t；

为了防止直流信号对后续的频率分析的影响，对滤波序列Q^t进行去均值处理；所述去均值序列H^t的计算式为：

式(7)中，为去均值序列H^t的第i个元素，M(*)表示计算输入序列的均值。

1033、针对去均值序列H^t进行频谱分析，得到离散序列P^t；

对去均值序列H^t进行DFT变换频谱分析：所述离散序列P^t的计算式为：

式(8)中，为去均值序列H^t的第j个元素，/>为离散序列P^t的第k个元素，N为大于序列H^t长度的长度的最小的2的幂数。

在本发明的一个实施例中，离散序列P^t描述了不同频率分量对去均值序列H^t的贡献大小，对应到当前二值图像D^t中文字和留白之间规律分布的概率的大小。则通过对S^t进行频率分析，就可以获取到随着累积旋转角度变化，二值图像D^t中文字和留白在行方向上的变化规律信息，如图4(c)至6(c)所示。

1034、提取离散序列P^t中满足预设条件的频率f^t。

提取P^t中主要的频率分量,如式(9)所示，找出所有满足条件的k，然后将其转化为对应的频率。找出所有满足条件的f^t，组成输出向量F^t。

所述满足预设条件的频率f^t的计算式为：

式(9)中，Fs为当前二值图像的行向累积量的采样率，为可配系统参数。在本发明的一个实施例中，采样率Fs为算法参数，取值为50Hz。/>主要用来确定频率贡献大小的标准，值为15。/>太小会导致误判的频率分量增多；反之，如果太大，可能遗漏信息频率分量。其设置的最佳效果应该是每次旋转都能选出1～2个贡献明显较大的频率分量。

提取当前二值图像D^t满足预设条件的频率后，将满足预设条件的频率与对应记录的累积旋转角度θ_t关联；然后按步长θ_Δ更新θ_t：

θ_t：＝θ_t+θ_Δ (10)

进入下一个二值图像D^t所对应的提取计算过程中，直至θ_t＝180度结束。

104、在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正。

理想情况下，如果二值图像中文字没有倾斜，则对应的图像的行向累积曲线应该是按图5(c)规律振荡的趋势，具有很好的频率特性。反之，如果可以在不同的旋转角度下提取出图像行向累积曲线的频率信息，也可以估计出文字的倾斜角度。

将各二值图像的输出向量F^t首尾拼接而组成的频率成分序列°F，从°F的各元素中搜索最高频率，然后从记录的各累积旋转角度中，获取最高频率所对应的累积旋转角度，作为补偿角度：

在获取补偿角度后，将未旋转前的二值图像D^b旋转/>输出校正后二值图像/>

式(12)中，分别表示图像矩阵D^b第i行第j列的元素、/>第x行第y列的元素。

在本发明的一个实施例中，待校正图像D^o为顺时针倾斜8.5度，获取补偿角度为8.5度后，也可以将待校正图像D^o逆时针旋转8.5度。

以下结合应用实例，对上述技术方案进行详细说明：

获取待校正图像D^o，转换为二值图像D^b。二值图像D^b顺时针倾斜8.5度。将二值图像D^b以步长为0.5度，逆时针旋转180度：

当二值图像D^b逆时针旋转0.5度后，当前二值图像D^t的示例图如图4(a)所示，当前二值图像D^t中文字依然倾斜。对θ_t＝0.5度的二值图像D^t计算对应行向累积量S^t，然后针对该行向累积量S^t提取频率分量，如图4(c)所示，然后得到对应输出向量F^t，如图4(b)，可以看到当θ_t＝0.5度时，最高频率为0.073242Hz。

将二值图像D^b继续逆时针旋转，当旋转至8.5度后，当前二值图像D的示例图如图5(a)所示，当前二值图像D^t文字水平。对θ_t＝8.5度的二值图像D^t计算对应行向累积量S^t，然后针对该行向累积量S^t提取频率分量，如图5(c)所示，然后得到对应输出向量F^t，如图5(b)，可以看到当θ_t＝8.5度时，最高频率为1.001Hz，大于0.073242Hz。

将二值图像D^b继续逆时针旋转，当旋转至69.5度后，当前二值图像D^t的示例图如图6(a)所示，当前二值图像D^t中文字严重倾斜。对θ_t＝69.5度的二值图像D^t计算对应行向累积量S^t，然后针对该行向累积量S^t提取频率分量，如图6(c)所示，然后得到对应输出向量F^t，如图6(b)，可以看到当θ_t＝69.5度时，最高频率为0.24414Hz，小于1.001Hz。

如图7所示，最高点表示θ_t＝8.5度，由此，在旋转角度靠近或等于真实的倾斜补偿角度的时候，二值图像的行向累积曲线的主要贡献频率明显变高。

由此可知，在二值图像D^t中文字水平时，对应的最高频率是在旋转过程中产生的所有频率中最高的，从而验证了本文字图像校正方法的合理性。

为实现本发明所提供的文字图像校正方法，本发明还提供一种文字图像校正装置。如图8所示，该文字图像校正装置包括处理器82和存储器81，还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中，存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器82连接。

在上述文字图像校正装置中，所述处理器82读取所述存储器81中的计算机程序，用于执行以下操作：

将待校正图像预处理为二值图像；

以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

针对每张二值图像的行向累积量提取满足预设条件的频率；

在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正。

本发明所提供的文字图像校正方法和装置可以较准确地估计出倾斜角的补偿角度，并且校正倾斜的文字图片。所使用的行向累积曲线的频率信息对倾斜角补偿角度和真实倾斜角之前的误差敏感，具有很好的鲁棒性。本发明可以应用到图像预处理、扫描文字图像角度自动补偿，手机拍照倾斜角自动补偿等场景中。

上面对本发明所提供的文字图像校正方法和装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (5)

1.一种文字图像校正方法，其特征在于包括如下步骤：

将待校正图像预处理为二值图像；

以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

针对每张二值图像的行向累积量提取满足预设条件的频率；

在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正，

所述针对每张二值图像的行向累积量提取满足预设条件的频率，进一步包括：

针对当前二值图像的行向累积量，进行滑动窗平滑滤波，得到对应滤波序列Q^t；

对滤波序列Q^t进行取均值处理，得到对应去均值序列H^t；

针对去均值序列H^t进行频谱分析，得到离散序列P^t；

提取离散序列P^t中满足预设条件的频率f^t，

其中，所述滤波序列Q^t的计算式为：

上式中，为Q^t的第i个元素，L为滑动窗的宽度，/>为当前二值图像D^t中第i+j行的行向累积量，

所述去均值序列H^t的计算式为：

上式中，为去均值序列H^t的第i个元素，M(*)表示计算输入序列的均值；

所述离散序列P^t的计算式为：

上式中，为去均值序列H^t的第j个元素，/>为离散序列P^t的第k个元素，N为大于序列H^t长度的最小的2的幂数，i表示虚数单位；

所述满足预设条件的频率f^t的计算式为：

上式中，F_s为当前二值图像的行向累积量的采样率，为可配系统参数。

2.如权利要求1所述的文字图像校正方法，其特征在于所述将待校正图像预处理为二值图像，进一步包括：

转化待校正图像为灰度图像；

基于最大类间差法，将灰度图像转化为二值图像。

3.如权利要求1所述的文字图像校正方法，其特征在于所述计算当前二值图像的行向累积量，进一步包括：

针对当前二值图像，计算每一行的行向累积量；

将各行的行向累积量按顺序构建列向量S^t，作为当前二值图像的行向累积量；

所述每一行的行向累积量的计算式为：

上式中，为当前二值图像D^t中第i行的行向累积量，/>为当前二值图像D^t中第i行第j列的元素。

4.如权利要求1所述的文字图像校正方法，其特征在于所述将二值图像按同一方向依次旋转的计算式为：

上式中，为旋转后的二值图像在第x行y列的元素，θ_t为旋转后二值图像的旋转角度，/>为旋转前的二值图像在第i行j列的元素，<*>表示对结果四舍五入取整。

5.一种文字图像校正装置，其特征在于包括：处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

将待校正图像预处理为二值图像；

以预定步长，将二值图像按同一方向依次旋转，在每次旋转后，记录累积旋转角度，并计算当前二值图像的行向累积量，直至当前二值图像旋转至阈值角度；

针对每张二值图像的行向累积量提取满足预设条件的频率；

在各二值图像满足预设条件的各频率中，将最高频率所对应的累积旋转角度，作为补偿角度对待校正图像进行校正，

所述针对每张二值图像的行向累积量提取满足预设条件的频率，进一步包括：

针对当前二值图像的行向累积量，进行滑动窗平滑滤波，得到对应滤波序列Q^t；

对滤波序列Q^t进行取均值处理，得到对应去均值序列H^t；

针对去均值序列H^t进行频谱分析，得到离散序列P^t；

提取离散序列P^t中满足预设条件的频率f^t，

其中，所述滤波序列Q^t的计算式为：

上式中，为Q^t的第i个元素，L为滑动窗的宽度，/>为当前二值图像D^t中第i+j行的行向累积量，

所述去均值序列H^t的计算式为：

上式中，为去均值序列H^t的第i个元素，M(*)表示计算输入序列的均值；

所述离散序列P^t的计算式为：

上式中，为去均值序列H^t的第j个元素，/>为离散序列P^t的第k个元素，N为大于序列H^t长度的最小的2的幂数，i表示虚数单位；

所述满足预设条件的频率f^t的计算式为：

上式中，F_s为当前二值图像的行向累积量的采样率，为可配系统参数。