CN101847209A - 一种字符图像校正方法 - Google Patents

Abstract

本发明公开了一种字符图像校正方法，该字符图像校正方法包括：获取字符图像中的多个字符的模块坐标及字符中心的图像坐标；利用模块坐标及字符中心的图像坐标确定字符图像与目标图像之间的映射系数；利用映射系数将字符图像映射到目标图像上。通过上述图像校正方法，可以通过映射方式校正字符图像中的畸变，提高识别准确率。

Description

一种字符图像校正方法

【技术领域】

本发明涉及一种图像校正方法，特别涉及一种字符图像校正方法。

【背景技术】

光学字符识别(Optical Character Recognition，OCR)是自动识别技术研究和应用领域中的一个重要方面。光学字符识别的主要功能是通过光学技术利用模板匹配、统计分类或神经网络等方法对拍摄图像上的字符进行识别。然而，如图1所示，在图像的拍摄过程中，由于拍摄系统、拍摄手法以及周围环境因素的影响，拍摄图像中的字符串可能存在较大的倾斜和弯曲等畸变，严重影响了识别的准确率。

【发明内容】

为了克服上述技术问题，本发明提供了一种字符图像校正方法，以校正字符图像中的倾斜或弯曲等畸变。

本发明解决上述技术问题所采取的技术方案是提供一种字符图像校正方法，该字符图像校正方法包括：a.获取字符图像中的多个字符的模块坐标及字符中心的图像坐标；b.利用模块坐标及字符中心的图像坐标确定字符图像与目标图像之间的映射系数；c.利用映射系数将字符图像映射到目标图像上。

根据本发明一优选实施例，在步骤a中，字符中心的图像坐标的获取方法包括：a1.确定包围字符的四边形；a2.对四边形的四个顶点的图像坐标进行平均来获得字符中心的图像坐标。

根据本发明一优选实施例，在步骤a中，字符中心的图像坐标的获取方法包括：a1.确定包围字符的四边形；a2.对四边形所包围的图像区域进行二值化，将背景像素的像素值设置为0，并将字符像素的像素值设置为非0；a3.利用如下公式计算字符中心的图像坐标：

$X=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

$Y=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(Y_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

其中，N为四边形所包围的像素的个数，X_i和Y_i为各像素的坐标，H_i则为经二值化的各像素的像素值。

根据本发明一优选实施例，四边形是包围字符的最小四边形。

根据本发明一优选实施例，最小四边形为矩形。

根据本发明一优选实施例，映射系数为透视变换系数，并通过透视变换公式获得：

X＝(aU+bV+c)/(gU+hV+1)

Y＝(dU+eV+f)/(gU+hV+1)

其中，X和Y为字符中心的图像坐标，U和V为字符中在目标图像上的对应坐标，并由模块坐标计算获得，a、b、c、d、e、c、f、g及h为透视变换系数。

根据本发明一优选实施例，模块坐标是根据字符中心之间的虚拟连线所构成的矩阵网格获得。

根据本发明一优选实施例，在步骤c中，利用映射系数确定目标图像上的目标像素点在字符图像上的对应位置，并对应位置的像素值作为目标像素点的像素值。

根据本发明一优选实施例，对应位置的像素值是通过对对应位置周边的多个像素点的像素值进行插值获得的。

根据本发明一优选实施例，在步骤a中，分别获取至少两幅字符图像中的多个字符的模块坐标及字符中心的图像坐标；在步骤b中，分别利用模块坐标及字符中心的图像坐标确定各字符图像与目标图像之间的映射系数；在步骤c中，将对应于目标图像上的同一目标像素点的来自各字符图像的像素值进行融合，以作为目标像素点的像素值。

通过上述图像校正方法，可以通过映射方式校正字符图像中的畸变，提高识别准确率。此外，本发明还可以将来自至少两幅字符图像的图像信息融合到同一幅目标图像内，由此提高了目标图像的清晰度。

【附图说明】

图1是现有字符图像的示意图；

图2是根据本发明第一优选实施例的字符图像校正方法的流程图；

图3是根据本发明第一优选实施例的字符图像校正方法的示意图；

图4是根据本发明第一优选实施例的字符图像校正方法的示意图；

图5是根据本发明第一优选实施例的字符图像校正方法的示意图；

图6是根据本发明第二优选实施例的字符图像校正方法的示意图。

【具体实施方式】

本发明提供了一种字符图像校正方法，该字符图像校正方法可用于校正字符图像中的畸变，提高识别准确率。

如图2-5所示，本发明的第一优选实施例提供了一种字符图像校正方法。在本实施例的字符图像校正方法中，首先获得字符图像A，并对字符图像A进行分割，由此可以划分出各字符的大体区域及分隔部分。随后，确定多个字符的模块坐标及字符中心的图像坐标。

在本发明一优选实施例中，如图4所示，在字符图像A的分割区域内对单个字符进一步进行包围四边形检测，由此确定包围单个字符的最小四边形。在优选实施例中，最小四边形为矩形。在确定最小四边形后，对四边形的四个顶点的图像坐标进行平均，即获得该字符的字符中心的图像坐标。

在本发明的另一优选实施例中，在确定包围单个字符的最小四边形后，对该四边形所包围的图像区域进行二值化，将背景像素的像素值设置为0，并将字符像素(即，代表字符内容的像素)的像素值设置为非0。随后，利用如下公式计算字符中心的图像坐标：

$X=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

$Y=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(Y_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

其中，N为四边形所包围的图像区域内的像素的个数，X_i和Y_i为该图像区域内的各像素的坐标，H_i则为经二值化的图像区域内的各像素的像素值。

在确定了多个字符的字符中心后，如图3所示，可对字符中心进行虚拟连线，并根据由此形成的矩阵网格来确定各字符的模块坐标。在本发明中，模块坐标是指以字符为单位的坐标，即某字符在坐标轴方向上相对于坐标原点的字符个数，而图像坐标是以像素为单位的坐标，即某像素点在坐标轴方向上相对于坐标原点的像素的个数。当然，本领域技术人员还可以根据本领域的其他方式来确定字符图像内的多个字符的模块坐标及字符中心的图像坐标。

在获取多个字符的模块坐标及字符中心的图像坐标后，可计算字符图像A与目标图像C之间的映射系数a₁、b₁、c₁......。字符图像A与目标图像C之间的映射公式以及映射系数a₁、b₁、c₁......可通过多种方式获得，例如透视变换、二次多项式、三次多项式、三角网格、小波变换等。

本发明以透视变换为例进行详细描述。在确定字符图像A上的多个字符的模块坐标及字符中心的图像坐标后，利用透视变换公式计算出字符图像A与目标图像C之间的的透视变换系数a₁、b₁、c₁......：

X＝(aU+bV+c)/(gU+hV+1)

Y＝(dU+eV+f)/(gU+hV+1)

其中，X和Y为字符中心的图像坐标，U和V为字符中心在目标图像上的对应坐标，a、b、c、d、e、c、f、g及h为透视变换系数。U和V可由字符在字符图像上的模块坐标计算获得。在本实施例中，字符图像A与目标图像C的分辨率相同，则字符中心在目标图像上的对应坐标即为字符在字符图像上的模块坐标。

如图5所示，在获得字符图像A与目标图像C之间的透视变换系数a₁、b₁、c₁......后，通过上述透视变换公式可将字符图像A映射到目标图像C上。

在本实施例中，根据上述透视变换系数及透视变换公式可确定目标图像C上的目标像素点c在字符图像A的对应位置。即，根据目标像素点c的坐标(U_c、V_c)通过上述透视变换公式可求得其在字符图像A上的对应坐标(X_a、Y_a)，并将对应坐标(X_a、Y_a)的像素值H_a作为目标图像C的目标像素点c的像素值H_c。

由于目标像素点c在字符图像A上的对应位置不会完全对应于字符图像A上的一个真实像素点，也就是说，对应坐标(X_a、Y_a)出现非整数的情况。在本发明中，通过将对应位置周边的多个像素点的像素值进行插值获得对应位置的像素值。例如，在本实施例中，将对应坐标(X_a、Y_a)周边的像素点1a、2a、3a、4a的像素值H_1a、H_2a、H_3a、H_4a进行插值来获得对应坐标(X_a、Y_a)的像素值H_a。同幅图像内多像素点的插值运算为本领域公知技术，在此不再赘述。

此外，除了图2所描述的字符图像A与目标图像C的分辨率相同的情况，本发明的字符图像校正方法也可以应用于字符图像A与目标图像C的分辨率不同的情况。

在目标图像的分辨率小于字符图像的情况下，即亚分辨率校正的情况下，首先可通过将各字符在字符图像上的模块坐标进行缩小获得该各字符中心在目标图像上的对应坐标，并利用上述透视变换公式计算出字符图像与目标图像之间的透视变换系数。随后，根据透视变换系数分别将目标图像中各目标像素点的坐标映射到字符图像，以确定其在字符图像上的对应位置。利用上文描述插值方法获取对应位置的像素值。

在目标图像的分辨率大于字符图像的情况下，即超分辨率校正的情况下，首先可通过将各字符在字符图像上的模块坐标进行扩大获得该各字符中心在目标图像上的对应坐标，并利用上述透视变换公式计算出字符图像与目标图像之间的透视变换系数。随后，根据透视变换系数分别将目标图像中各目标像素点的坐标映射到字符图像，以确定其在字符图像上的对应位置。利用上文描述插值方法获取对应位置的像素值。

通过上述方法，可以通过映射方式校正字符图像中的畸变，提高识别准确率。

如图6所示，本发明的第二优选实施例提供了另一种字符图像校正方法。在本实施例中，利用两幅字符图像A、B融合生成目标图像C，由此提高目标图像C的清晰度。

在本实施例中，通过上述方式分别确定字符图像A、B上的多个字符的模块坐标及字符中心的图像坐标，并分别利用模块坐标及字符中心的图像坐标计算字符图像A、B与目标图像C之间的映射系数a₁、b₁、c₁......以及a₂、b₂、c₂......。随后，根据上述透视变换系数及透视变换公式可确定目标图像C上的目标像素点c分别在字符图像A和字符图像B上的对应位置。即，根据目标像素点c的坐标(U_c、V_c)通过上述透视变换公式可求得其在字符图像A上的对应坐标(X_a、Y_a)以及字符图像B上的对应坐标(X_b、Y_b)。

在本实施例中，将对应于目标图像C的同一目标像素点c的分别来自字符图像A、B的像素值进行融合。具体来说，将目标图像C的目标像素点c在字符图像A和字符图像B上的对应位置的像素值H_a、H_b进行融合，以作为该目标像素点c的像素值H_c，例如H_c＝(H_a+H_b)/2。

通过上述方式，目标图像C可以融合字符图像A、B的图像信息，由此提高了目标图像C的清晰度。本发明所提到的融合方式包括但不限于平均或加权平均运算。

此外，与第一实施例相同，由于目标像素点c在字符图像A和字符图像B上的对应位置不会完全对应于字符图像A和字符图像B上的一个真实像素点，也就是说，对应坐标(X_a、Y_a)和对应坐标(X_b、Y_b)出现非整数的情况。在本发明中，通过将对应位置周边的多个像素点的像素值进行插值获得对应位置的像素值。例如，在本实施例中，将对应坐标(X_a、Y_a)周边的像素点1a、2a、3a、4a的像素值H_1a、H_2a、H_3a、H_4a进行插值来获得对应坐标(X_a、Y_a)的像素值H_a，并将对应坐标(X_b、Y_b)周边的像素点1b、2b、3b、4b的像素值H_1b、H_2b、H_3b、H_4b进行插值来获得对应坐标(X_b、Y_b)的像素值H_b。随后，再在对H_a和H_b进行融合来获得目标像素点c的像素值H_c。

通过上述图像校正方法，可以将来自至少两幅字符图像的图像信息融合到同一幅目标图像内，由此提高了目标图像的清晰度。

在上述实施例中，仅对本发明进行了示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。

Claims (10)

1.一种字符图像校正方法，其特征在于，所述字符图像校正方法包括：

a.获取字符图像中的多个字符的模块坐标及字符中心的图像坐标；

b.利用所述模块坐标及所述字符中心的图像坐标确定所述字符图像与目标图像之间的映射系数；

c.利用所述映射系数将所述字符图像映射到所述目标图像上。

2.根据权利要求1所述的字符图像校正方法，其特征在于，在所述步骤a中，所述字符中心的图像坐标的获取方法包括：

a1.确定包围所述字符的四边形；

a2.对所述四边形的四个顶点的图像坐标进行平均来获得所述字符中心的图像坐标。

3.根据权利要求1所述的字符图像校正方法，其特征在于，在所述步骤a中，所述字符中心的图像坐标的获取方法包括：

a1.确定包围所述字符的四边形；

a2.对所述四边形所包围的图像区域进行二值化，将背景像素的像素值设置为0，并将字符像素的像素值设置为非0；

a3.利用如下公式计算所述字符中心的图像坐标：

$X=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

$Y=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(Y_i\×H_i)/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(H_i\right)$

其中，N为所述四边形所包围的像素的个数，X_i和Y_i为各像素的坐标，H_i则为经二值化的各像素的像素值。

4.根据权利要求2或3所述的字符图像校正方法，其特征在于，所述四边形是包围所述字符的最小四边形。

5.根据权利要求4所述的字符图像校正方法，其特征在于，所述最小四边形为矩形。

6.根据权利要求4所述的字符图像校正方法，其特征在于，所述映射系数为透视变换系数，并通过透视变换公式获得：

X＝(aU+bV+c)/(gU+hV+1)

Y＝(dU+eV+f)/(gU+hV+1)

其中，X和Y为所述字符中心的图像坐标，U和V为所述字符中心在所述目标图像上的对应坐标，并由所述模块坐标计算获得，a、b、c、d、e、c、f、g及h为所述透视变换系数。

7.根据权利要求6所述的字符图像校正方法，其特征在于，所述模块坐标是根据所述字符中心之间的虚拟连线所构成的矩阵网格获得。

8.根据权利要求1所述的字符图像校正方法，其特征在于，在所述步骤c中，利用所述映射系数确定所述目标图像上的目标像素点在所述字符图像上的对应位置，并所述对应位置的像素值作为所述目标像素点的像素值。

9.根据权利要求8所述的字符图像校正方法，其特征在于，所述对应位置的像素值是通过对所述对应位置周边的多个像素点的像素值进行插值获得的。

10.根据权利要求1所述的字符图像校正方法，其特征在于，在所述步骤a中，分别获取至少两幅字符图像中的多个字符的所述模块坐标及所述字符中心的图像坐标；在所述步骤b中，分别利用所述模块坐标及所述字符中心的图像坐标确定各所述字符图像与所述目标图像之间的映射系数；在所述步骤c中，将对应于所述目标图像上的同一目标像素点的来自各所述字符图像的像素值进行融合，以作为所述目标像素点的像素值。

Images