CN102663377A - 一种基于模板匹配的字符识别方法 - Google Patents

Abstract

一种基于模板匹配的字符识别方法，属于模式识别与图像处理技术领域，具体涉及图像匹配及识别，本方法可以对字符图像进行识别。目的是开发一种简单快速有效的字符识别方法，从而能够获取图像中的字符信息。本发明主要包含如下几个处理单元：图像尺度变换、图像二值化、图像归一化、模板匹配及字符判别。在整个处理过程中，对OTSU分割、图像缩放、上下文信息、模板匹配等方法进行了综合的应用。本发明可以(但不限于)应用于实时的车牌识别系统中的字符识别模块。

Description

一种基于模板匹配的字符识别方法

技术领域

本发明属于模式识别与图像处理技术领域，具体涉及模板匹配识别，本方法用于对图像中的字符进行识别，从而将图像信息转化为文字信息。

背景技术

字符识别是许多智能系统的关键组成部分。例如在车牌识别系统中，字符识别是最后一步。字符识别属于模式识别范畴，现有的模式识别在理论、方法与实践方法的成果，为字符识别提供了丰富的解决方法。

从统计模式识别的观点来看，字符的识别实际上一个模式分类的问题。国内外学者提出了许多不同的识别方案，大致可分为基于分类器的识别方法和基于模式/模板匹配的方法。

从公开的论文来看，利用分类器进行识别的方法可以获得较好的识别结果。例如有D.Llorens等人提出的“Car License Plates Extractionand Recognition Based on Connected Components Analysis and HMMDecoding”。但是分类器的方法需要大量的学习样本进行训练。同时，像ANN这样的分类算法存在收敛性和过学习的问题。

模板匹配算法适用于没有旋转角的固定大小的单字符识别。通常采用的是对二值图像进行匹配。P.Comelli等人在文献“Opticalrecognition of motor vehicle license plates.”中提出了模板匹配在字符识别中的应用。

从实时性、算法复杂性等角度考虑，模板匹配算法能够满足字符识别的任务。但是模板匹配也有其缺陷，即对同一类字符在不同图像中的尺度多变性以及光照多变性敏感，容易产生匹配偏差，因此，需要加入特殊处理手段。这也是在本发明中，着重解决的问题。

发明内容

针对现有技术存在的上述问题，本发明提出一种基于模板匹配的字符识别方法，该方法在传统的模板匹配算法基础上，加入多尺度和位移变换，以解决实际场景中存在的字符多样性问题。

为了实现上述目标，本发明采用了如下技术手段：一种基于模板匹配的字符识别方法，其特征在于，该方法包括下述步骤：

(1)获取待识别的单个字符图像；

(2)首先获取待识别的字符图像中字符的原始尺度，并在原始尺度的基础上分别增加和减少F个像素作为两个新的尺度，分别以原始尺度和两个新的尺度在原始图像中截取包含字符的子图像，得到三个子图像；F的取值范围为1～3；

(3)对步骤(2)得到的三个子图像进行二值化；

(4)对步骤(3)中得到的二值化处理后的图像进行归一化，得到字符的三幅二值图像；

(5)将步骤(4)中得到的归一化后的同一字符的三幅二值图像分别与模板库中的每一个标准模板字符图像进行模板匹配，得到相关系数值；

(6)将步骤(5)中得到27个相关系数值按大小进行排序，选择最大的相关系数值对应的标准模板字符图像，以该标准模板字符图像所对应的字符类别作为待识别字符图像的字符类别，完成识别过程。

在实际应用中，本发明具有如下有益效果：

1、本发明采用的模板匹配方法，通过计算待识别字符与标准模板字符图像之间的相关系数值来度量它们的相似程度。相对于利用分类器识别的方法，不需要采集大量的字符样本，同时对不同的字符有较好的适应性；

2、本发明的字符识别方法中，采用多尺度和多位移的模板匹配，相对于传统的模板匹配，克服了字符的尺度和位置的多样性带来的匹配误差，对实际场景的复杂性较为鲁棒；

3、本发明的字符识别方法中，采用了局部OTSU阈值分割，相对于传统的全局OTSU阈值分割，能够较完整地提取字符区域，从而可以得到更为准确的相关系数值；

4、本发明的字符识别方法，由于采用了模板匹配的算法，因而实时性较好，能应用于对实时性要求较高的工程项目中。

附图说明

图1是本发明方法的流程示意图；

图2是字符上下文尺度推断流程图；

图3是局部OTSU分割子区域选取；

图4是全局OTSU分割与局部OTSU分割结果对比；

图5是本发明方法流程图。

具体实施方式

如图1所示，本发明方法首先要构建模板库，其过程为：根据待识别字符的类型，采集一批已知类别的字符图像，将它们二值化，并具有同样大小的尺度，作为标准模板字符图像，标准模板字符的字体与待识别字符的字体相同。如果待识别字符为印刷体，相应地，采集的字符也为标准的印刷体字符图像；如果待识别字符为手写体，则采集已知字符类别的手写体字符图像作为标准模板字符图像。标准模板字符图像构成模板库，模板库中标准模板字符图像个数由待识别字符本身可能包含的字符数决定，如待识别字符为英文字母，模板库为26个字母。模板库可以根据需要不断更新。

本发明提供的基于模板匹配的字符识别方法，其过程为：

(1)获取待识别的字符图像

输入一幅图像，提取出图像中的字符区域，得到若干个独立的单个字符图像。这里约定下文中提到的字符是指字符区域，而字符图像指的是仅包含字符区域的图像。

(2)图像尺度变换

在实际场景中获取到的图像中的字符角度、距离以及所处的天气、光照条件存在差异。虽然可以通过尺度归一化将待识别字符大小变换到标准模板字符图像的大小，但是字符的笔画粗细却是不尽相同，因此用一个固定的尺度去获取不同的字符显然是不可靠的。故而引入多尺度匹配，即对同一幅字符图像，获得其多个尺度下的图像副本。

首先获得待识别的字符图像中字符的原始尺度。如果识别单个字符，则字符的原始尺度等同于输入的字符图像的大小。如果识别一组连续排列的字符串中的每个字符(这种情况更为常见)，则根据先验知识和字符间的上下文关系得到的一组字符尺度数值进行推断，得到一个最佳的“原始尺度”。具体的处理过程如下所述。

1)筛选可能的字符区域。对图像进行二值化，然后对二值图像进行标记，得到若干连通域。定义连通域的高度和宽度为该连通域的外接矩形的高度和宽度。如果连通域的高度与该字符图像的高度之差小于等于dis₁，宽度之差小于dis₂，这里的dis₁的范围在(0，2]之间、dis₂的范围在(0，4]之间，满足以上条件的连通域才有可能是字符，则该连通域作为候选连通域。

2)寻找最优高度和宽度：统计所有候选的连通域的各个高度值出现的次数，然后按高度值的大小顺序，将每个连通域的高度值出现的次数和它前后相邻的高度值出现的次数进行累加，得到一组新的计数值，取计数值最大者所对应的连通域的高度作为最优高度。然后根据该最优高度值对应的连通域，确定最优宽度。举例说明：从(1)中筛选出7个连续字符，高度分别为{15，16，17，19，21，22，22}，则按上述处理统计高度累加值为{2，3，3，3，4，3}，可以看出高度为21的累加次数为最大值4，因此21为最优高度；

3)判断每个字符是否需要调整。对待识别的字符图像进行二值分割及标记，获取字符的连通域，将该连通域的面积最大的外接矩形的高度与上述最优高度进行比较，如果该连通域的面积最大的外接矩形的高度与上述最优高度相等，再将该连通域的面积最大的外接矩形的宽高比与上述最优宽高比进行比较，如果仍然相等，则将该连通域的面积最大的外接矩形的高度和宽度作为待识别的字符图像的高度和宽度，否则将待识别的字符图像的高度及宽度值调整为最优高度及最优宽度；最优宽高比是指最优宽度与最优高度之比。由于字符“1”的外接矩形宽度比其他字符的宽度要短，因此字符“1”不受该条件约束。

上述流程如图2所示。当确定了“原始尺度”之后，在基础上分别增加和减少1到3个像素(经验值为1像素)作为两个新的尺度。以这三个尺度在原始图像中截取包含字符的子图像。

(3)图像二值化

由于我们事先准备好的标准模板字符图像是二值图像，因此需要对待识别字符图像进行二值分割。

采用OTSU分割作为对图像进行二值化的算法，其原理是以最佳门限将图像灰度直方图分割成两部分，使两部分类间方差取最大值，即分离性最大。具体计算过程如下所述：

设图像最大灰度值为M，第i级灰度的像素点数目为n_i，总像素

则第i级灰度出现的概率为P_i＝n_i/N。

类间方差为：σ²(k)＝[μ·ω(k)-μ(k))]²/{ω(k)·(1-ω(k))}

其中，k∈[0，M]为图像的灰度级范围，

为灰度级低于k的部分所占的比例；为灰度级低于k的部分平均灰度级；n_i和

分别为灰度级为i的像素数目以及图像的总的像素点个数。

从而使得σ²(k)最大的k即为OTSU分割求得的最佳门限，以此门限作为二值分割的阈值，大于该阈值的部分为图像的前景区域(即字符区域)，小于等于该阈值的为背景区域。

由于成像的原因，字符图像的灰度直方图或会呈现单峰分布。实验表明对图像进行全局阈值分割很难得到字符区域，因此在本发明中，采用局部的OTSU阈值方法进行分割，具体实现方式如图3所示，我们在待识别的字符图像的行和列上分别取起始坐标(x₀，y₀)和终止坐标(x₁，y₁)，获得包含字符区域的局部图像(图3中阴影部分)，计算该局部图像的OTSU阈值，作为待识别的字符图像的二值分割门限，再利用该二值分割门限对待识别的字符图像进行二值化。通常我们设定x₀值的大小为待识别的字符图像高度的1/4，x₁值得大小为待识别的字符图像高度值的3/4；y₀的取值范围为(0～待识别的字符图像宽度的1/8)，y₁的取值范围为(待识别的字符图像宽度的7/8～待识别的字符图像宽度)。

图4为采用全局的OTSU阈值和局部的OTSU阈值的分割结果对比，从图中可以看出采用局部的OTSU阈值可以有效地将字符区域从灰度图像中分割出来。

(4)图像归一化

经过步骤(3)中对图像二值化后，得到同一字符的三幅二值图像(对应三个尺度)。然后，采用线性插值方法对这三幅二值图像进行尺度缩放，分别将它们的大小归一化至标准模板字符图像的尺度。归一化的具体实现过程如下所述：

首先，图像的尺度变换可以用一个变换矩阵表示：

[x′，y′，w′]＝[u，v，w]*T

其中，x′、y′为目标图像坐标，u、v为源图像坐标，w、w′称为齐次坐标，通常设为1，T为一个3×3的变换矩阵。对于图像缩放，可以改写为：

$\left\{\begin{array}{c}x=u*\mathrm{Su}\\ y=v*\mathrm{Sv}\end{array}\right.$

其中，Su、Sv分别是x轴方向和y轴方向上的缩放率，大于1时放大，大于0且小于1时表示缩小，小于0时代表反转。

令P为(u，v)点的插值颜色，即(x，y)的近似颜色。PA～PD分别是(u，v)点周围最接近的四个(左上、右上、左下、右下)源图像点的颜色。则对P进行二维线性插值运算：

P＝n*b*PA+n*(1-b)*PB+(1-n)*b*PC+(1-n)*(1-b)*PD

其中，n为v下面最接近的行的Y轴坐标与v的差；同样b也类似。将Su、Sv用图像的高度比和宽度比代替运算，可将上式转化为更高效的计算形式：

$P=\left(\begin{array}{c}B*N*(\mathrm{PA}-\mathrm{PB}-\mathrm{PC}+\mathrm{PD})+\mathrm{Dw}*N*\mathrm{PB}\\ +\mathrm{Dh}*B*\mathrm{PC}+(\mathrm{Dw}*\mathrm{Dh}-\mathrm{Dh}*B-\mathrm{Dw}*N)*\mathrm{PD}\end{array}\right)/(\mathrm{Dw}*\mathrm{Dh})$

(5)基于多个尺度及位置的模板匹配

经过步骤(4)之后，我们获得了包含原始尺度在内的三个尺度下的二值字符图像，并且字符图像的尺度与标准模板字符图像的尺度相同。然后将标准模板字符图像分别在这三幅待识别字符图像上在水平方向、垂直方向和对角线方向上以1像素的位移量滑动，一共平移9个位置，对平移过程中标准模板字符图像与待识别字符图像的重叠区域分别进行模板匹配，计算它们的相关系数，一共产生27个相关系数的值。这里的相关系数值作为模板匹配的度量值，其计算公式如下所示：

$R(x,y)=\frac{\mathrm{\Σ}(T^{\′}(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}))}{\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{T}^{\′}{(x^{\′},y^{\′})}^2\·{\mathrm{\Σ}}_{x^{\′},y^{\′}}{I}^{\′}{(x+x^{\′},y+y^{\′})}^2}}$

其中：

$T^{\′}(x^{\′},y^{\′})=T(x^{\′},y^{\′})-1/(w\·h)\·{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}T(x^{\′\′},y^{\′\′})$

$I^{\′}(x+x^{\′},y+y^{\′})=I(x+x^{\′},y+y^{\′})-1/(w\·h)\·{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}I(x+x^{\′\′},y+y^{\′\′})$

式中，I(x，y)为待识别字符图像的像素值，T(x，y)为标准模板字符图像的像素值，(x′，y′)为重叠区域的坐标值。

(6)输出识别结果

首先选取27个相关系数中的最大值作为该字符图像与每一个标准模板字符图像进行模板匹配的最终相关系数，再根据最大相关系数匹配原则(相关系数越大，表明待识别字符图像与标准模板字符图像越相似)，选择所有的相关系数集合中的最大值R_max，该字符的识别结果即为相关系数为R_max所对应的标准模板字符图像表示的字符。实例：

下面通过具体实例来进一步说明本发明的应用。

步骤1：获取字符图像

输入一幅分辨率为1600*1200的可见光车牌图像。利用车牌定位和字符切割处理获取图像中的车牌字符。

步骤2：图像尺度变换

首先根据字符之间的上下文信息推断出一个原始图像尺度。然后在该原始图像尺度的基础上各放大和缩小1个像素(1像素为经验值)，获得包含原始图像尺度在内的3个尺度，分别以这3个尺度在原始图像中截取字符区域，得到3个仅包含字符区域的子图像，即为待识别的字符图像。

步骤3：图像二值化

在图像二值分割阶段，需要确定用于计算OSTU分割的最佳阈值的局部图像的行列起始位置。通过大量实验表明，行坐标方向通常起点设在待识别的字符图像高度的1/4处，而终点在待识别的字符图像高度的3/4处；列坐标的起点和终点分别设为待识别的字符宽度的起点和终点。

步骤4：图像归一化

二值分割处理完之后，对二值图像进行归一化，使其大小与标准模板字符图像一致。

步骤5：基于多个尺度及位置的模板匹配

对三个尺度下的字符图像进行归一化，得到3幅和标准模板字符图像大小相同的字符图像。将标准模板字符图像在字符图像上进行滑动，分别在水平方向、垂直方向和对角线方向上以1像素的位移量滑动9个位置，计算重叠区域的相关系数值，得到27个计算结果，保存计算结果，作为下一步的输入。

步骤6：输入识别结果

利用步骤5所得到的计算结果，根据最大相关系数准则，选取最大相关系数值所对应的模板图像，其所表示的字符则是待识别字符的结果，并输出该结果。

本方法在Microsoft VC++2008集成开发环境中利用OpenCV计算机视觉开源库所提供的接口实现的。算法部分将利用C语言实现，便于移植到DSP上进行硬件实现。同时在开发过程中，优化了算法以及代码，以满足实时处理的需求。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于模板匹配的字符识别方法，其特征在于，该方法包括下述步骤：

(1)获取待识别的单个字符图像；

(2)首先获取待识别的字符图像中字符的原始尺度，并在原始尺度的基础上分别增加和减少F个像素作为两个新的尺度，分别以原始尺度和两个新的尺度在原始图像中截取包含字符的子图像，得到三个子图像；F的取值范围为1～3；

(3)对步骤(2)得到的三个子图像进行二值化；

(4)对步骤(3)中得到的二值化处理后的图像进行归一化，得到字符的三幅二值图像；

(5)将步骤(4)中得到的归一化后的同一字符的三幅二值图像分别与模板库中的每一个标准模板字符图像进行模板匹配，得到相关系数值；

(6)将步骤(5)中得到27个相关系数值按大小进行排序，选择最大的相关系数值对应的标准模板字符图像，以该标准模板字符图像所对应的字符类别作为待识别字符图像的字符类别，完成识别过程。

2.根据权利要求1所述的基于模板匹配的字符识别方法，其特征在于，步骤(5)中的模板库的构建过程为：根据待识别字符的类型，采集已知类别的字符图像，将它们二值化，并具有同样大小的尺度，作为标准模板字符图像，标准模板字符的字体与待识别字符的字体相同，所有的标准模板字符图像构成模板库。

3.根据权利要求1所述的基于模板匹配的字符识别方法，其特征在于，步骤(2)获取待识别的字符图像中字符的原始尺度的过程为：

如果待识别的字符图像中只有单个字符，则字符的原始尺度等同于输入的字符图像的大小；如果识别一组连续排列的字符串中的每个字符，则根据先验知识和字符间的上下文关系得到的一组字符尺度数值进行推断，得到一个最佳的原始尺度。

4.根据权利要求3所述的基于模板匹配的字符识别方法，其特征在于，如果识别一组连续排列的字符串中的每个字符，获取待识别的字符图像中字符的原始尺度的具体过程如下：

(4.1)筛选可能的字符区域：

对待识别的字符图像进行二值化，然后对二值图像进行标记，得到若干连通域，定义连通域的高度和宽度为该连通域的外接矩形的高度和宽度，如果连通域的高度与该字符图像的高度之差小于等于dis₁，且宽度之差小于dis₂，由该连通域才有可能是字符，则该连通域作为候选连通域；其中dis₁的取值范围在(0，2]之间、dis₂的取值范围在(0，4]之间；

(4.2)寻找最优高度和宽度：

统计所有候选的连通域的各个高度值出现的次数，然后按高度值的大小顺序，将每个连通域的高度值出现的次数和它前后相邻的高度值出现的次数进行累加，得到一组新的计数值，取计数值最大者所对应的连通域的高度作为最优高度；然后根据该最优高度值对应的连通域，确定最优宽度；

(4.3)判断每个字符是否需要调整：

对待识别的字符图像进行二值分割及标记，获取字符的连通域，将该连通域的面积最大的外接矩形的高度与上述最优高度进行比较，如果该连通域的面积最大的外接矩形的高度与上述最优高度相等，再将该连通域的面积最大的外接矩形的宽高比与上述最优宽高比进行比较，如果仍然相等，则将该连通域的面积最大的外接矩形的高度和宽度作为待识别的字符图像的高度和宽度，否则将待识别的字符图像的高度及宽度值调整为最优高度及最优宽度，由此得到待识别的字符图像中字符的原始尺度；

所述最优宽高比是指最优宽度与最优高度之比。

5.根据权利要求1所述的基于模板匹配的字符识别方法，其特征在于，步骤(3)对三个子图像进行二值化的具体过程为：

在待识别的字符图像的行和列上分别取起始坐标(x₀，y₀)和终止坐标(x₁，y₁)，获得包含字符区域的局部图像，计算该局部图像的OTSU阈值，作为待识别的字符图像的二值分割门限，再利用该二值分割门限对待识别的字符图像进行二值化；设定x₀值的大小为待识别的字符图像高度的1/4，x₁值得大小为待识别的字符图像高度值的3/4；y₀的取值范围为0～待识别的字符图像宽度的1/8，y₁的取值范围为待识别的字符图像宽度的7/8～待识别的字符图像宽度。

6.根据权利要求1所述的基于模板匹配的字符识别方法，其特征在于，步骤(4)按照下述过程进行归一化：

经过步骤(3)中对图像二值化后，得到同一字符的三幅二值图像，然后，采用线性插值方法对这三幅二值图像进行尺度缩放，分别将它们的大小归一化至标准模板字符图像的尺度。

7.根据权利要求1所述的基于模板匹配的字符识别方法，其特征在于，步骤(5)按照下述过程进行模板匹配：

将标准模板字符图像分别在这三幅待识别字符图像上在水平方向、垂直方向和对角线方向上以1像素的位移量滑动，一共平移9个位置，对平移过程中标准模板字符图像与待识别字符图像的重叠区域分别进行模板匹配，计算它们的相关系数，一共产生27个相关系数的值；

相关系数值R(x，y)作为模板匹配的度量值，其计算公式为：

$R(x,y)=\frac{\mathrm{\Σ}(T^{\′}(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}))}{\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{T}^{\′}{(x^{\′},y^{\′})}^2\·{\mathrm{\Σ}}_{x^{\′},y^{\′}}{I}^{\′}{(x+x^{\′},y+y^{\′})}^2}}$

其中：

$T^{\′}(x^{\′},y^{\′})=T(x^{\′},y^{\′})-1/(w\·h)\·{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}T(x^{\′\′},y^{\′\′})$

$I^{\′}(x+x^{\′},y+y^{\′})=I(x+x^{\′},y+y^{\′})-1/(w\·h)\·{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}I(x+x^{\′\′},y+y^{\′\′})$

式中，I(x，y)为待识别字符图像的像素值，T(x，y)为标准模板字符图像的像素值，(x′，y′)为重叠区域的坐标值。

Images