CN101359373B - 退化字符的识别方法和装置 - Google Patents

Abstract

本发明提供一种退化字符的识别方法，包括如下步骤：步骤S1，根据笔画边缘特征和图像纹理特征，对欲识别的字符分别进行识别，得出基于笔画边缘特征和图像纹理特征两个候选字符代码组；步骤S2，对所述的两个候选字符代码组中的候选字符代码进行合并，确定合并的候选字符代码组；步骤S3，分别基于笔画边缘特征和图像纹理特征对该合并的候选字符代码组分别进行计算，以得出两组识别距离；以及步骤S4，根据上述两组识别距离确定最佳的候选字符代码。本发明能够大幅度提高对于退化字符图像的识别准确性。

Description

退化字符的识别方法和装置

技术领域

本发明涉及退化字符识别的方法和装置，尤其涉及针对大类别(或者称为超多类)印刷体字符，例如中文，日文，韩文的字符识别方法和装置。

背景技术

字符识别的研究近年来取得重要进展，目前字符识别方法可以很好地处理背景清晰的字符图像，但对于背景复杂图像质量低的退化字符并未获得满意的识别方法。

字符识别的难点和应用瓶颈主要存在于两个方面：一是复杂背景下的字符识别，这就需要图像中文字自动检测和文字提取系统将文字从复杂背景中检测提取出来；二是低质量图像的退化字符识别问题，字符图像中存在的字迹模糊、笔画粘连、断裂、分辨率低等退化情况，因此需要有效的解决方法。现有技术存在两种解决方法：

其一，基于笔画边缘特征的识别方法。该识别方法首先将欲识别字符二值化，然后通过非线性算法将该字符归一化，最后提取该字符的笔画特征并通过统计分类来识别字符。

图4示出一种识别方法的统计分类的过程，基于笔画边缘特征的该过程分为粗分类和再分类两步，在粗分类-再分类结构的识别方法中，由于再分类的算法比较复杂，因此运算速度较慢，通过粗分类可以大大缩小再分类算法的识别候选范围，因此达到提高该结构识别方法的识别速度。

该方法的具体算法参见：F.Kimura，T.Wakabayashi，S.Tsuruoka，Y.Miyake，“Improvement of Handwritten Japanese Character RecognitionUsing Weighted Direction Code Histogram”：Pattern Recognition，v.30，n.8，pp.1329-1337，1997。

其二，基于灰度字符图像上提取字符的图像纹理特征的识别方法。该识别方法首先将欲识别的字符的背景移除并进行灰度归一化，然后通过线性算法将该字符归一化，最后提取该字符的特征并统计分类来识别字符。

图4同样可以作为基于图像纹理特征的识别方法的统计分类的过程一例，该过程同样分为粗分类和再分类两步进行。

该方法的具体算法参见：Jun Sun，Yoshinobu Hotta，YutakaKatsuyama，Satoshi Naoi，“Camara Based Degraded Text RecognitionUsing Grayscale Feature”：8^th International Conference on DocumentAnalysis and Recognition(ICDAR2005)，August 2005，Seoul Korea，P.182-186以及Wang X W，et al.A Grayscale Image Based CharacterRecognition Algorithm to Low Quality and Low Resolution Images[A].Document Recognition and Retrieval VIII，Electronic Imaging 2001[C].SanJose：IS&T/SPIE，2001。

上述两种方法各有利弊，如图1所示，基于笔画边缘特征的识别方法对由于字体变化等原因造成的字符笔画的形变具有很好的适应性，而在灰度字符图像上提取字符的图像纹理特征的识别方法对由于各种噪音造成的图像退化具有很好的适应性。

基于笔画边缘特征的识别方法存在一定问题：笔画边缘特征一般是从二值图像中提取，因此如果二值图像效果不佳，则笔画边缘方向估计不准，导致特征识别的效果下降。二值化的效果除了和算法有关外，其与图像的退化程度也有很大关系。图像退化程度可以有很多种表示方式，比如边缘模糊程度，分辨率等等。对于字符图像来说，一个更直接的图像退化指标就是字符图像的尺度。对于二值字符图像来说，图像的尺度定义为二值化后的图像的外接矩形的长度和宽度。如图3所示，由于不同大小的图像二值化后的结果不同，因此随着图像尺度的降低，字符笔画点的丢失情况越来越严重。而所述字符笔画点丢失量达到一定程度，则建立在笔画边缘特征基础上的识别引擎就无法得到正确的识别结果。

灰度字符图像上提取整体纹理特征的识别方法同样存在问题：由于没有二值化的过程，笔画信息得到了最大程度的保留，因此该识别方法对于低尺度的图像具有良好的识别效果，但是，字符的整体纹理特征对于图2所示的由于字体不同所带来的笔画形变比较敏感，如果形变达到某种程度则灰度字符图像上提取整体纹理特征的识别引擎就无法得到正确的识别结果。

由此可见，上述两种方法具有的优势各不相同，也存在不同的问题。

为了结合上述两种方法的优势以得到性能更高的识别方法，已经提出了针对不同特征选择上述两种方法之一来对退化字符进行识别的方法，具体可参见如下专利和论文，如：

1、特开平11-66240“文書認識方法および文書認識装置”，

2、特开200-82113“文字認識装置および辞書作成方法および記録媒体”，

3、Yoshinobu Hotta，Jun Sun，Yutaka Katsuyama，Satoshi Naoi“RobustChinese Character Recognition by Selection of Binary-Based andGrayscale-Based Classifier”：Document Analysis System 2006：553-563，以及

4、4,551,851，W.Kochert，“Circuit Arrangement for MachineCharacter Recognition”。

其中，如图5所示，文件1、2、3利用某种方法对退化的原因和程度进行估计从而选择适合的识别方法，然后将该方法的识别结果作为最终结果输出。该类方法具有两个缺点：首先，实际应用中字符退化的原因和程度是相当复杂的，而且对退化原因和程度的估计算法目前为止都非常不可靠，因此根据该估计结果选择的识别方法也是不可靠的；其次，即使退化原因和程度可被正确估计，也无法保证两种方法中的一个最为适合，而另一个则完全不适，很多情况下，仅是一种方法较之另一方法更为适合。因此，文件1、2、3存在缺陷而无法满足实际需求。

如图5所示，文件4中所述的方法利用一个判别机制对输入字符进行分组，然后根据分组的结果把输入字符输出到若干个子分类器进行识别。每个子分类器只识别其中一组字符。该方法的缺点是对于退化字符来说，第一个判别器无法实现有效的分组，一旦分组错误将直接导致识别错误。

发明内容

针对上述现有技术的缺陷，本发明的目的在于有效结合基于笔画边缘特征的识别方法和在灰度字符图像上提取整体纹理特征的识别方法，解决由于字体不同造成的字形退化和图像质量下降造成的图像退化导致的识别率降低的现象，从而提高大类别字符识别中对退化字符的识别性能。

为了达到上述发明目的，本发明提供一种退化字符的识别方法，一种退化字符的识别方法，其中，包括如下步骤：步骤S1，根据笔画边缘特征和图像纹理特征，对欲识别的字符分别进行识别，得出基于笔画边缘特征和图像纹理特征两个候选字符代码组；步骤S2，对所述的两个候选字符代码组中的候选字符代码进行合并，确定合并的候选字符代码组；步骤S3，分别基于笔画边缘特征和图像纹理特征对该合并的候选字符代码组分别进行计算，以得出两组识别距离；以及步骤S4，根据上述两组识别距离确定最佳的候选字符代码。

本发明通过将两种识别方法有机结合能够有效扩大候选字符代码的范围，因此合并的候选字符代码组作为字符识别的结果输出可以有效的提高候选字符代码的准确性。并且，本发明可以进一步提高退化字符手动识别的便利性以及自动识别的准确性。

如本发明优选实施例所述的退化字符的识别方法，其中，在所述步骤S2中，所述合并的候选字符代码组是将分别从两个候选字符代码组中选取全部或部分的候选字符代码，然后对所述全部或部分的候选字符代码取并集得到的。

如本发明优选实施例所述的退化字符的识别方法，其中，在所述步骤S2中，通过确定候选字符代码的个数来选取所述全部或部分的候选字符代码。

如本发明优选实施例所述的退化字符的识别方法，其中，每个候选字符代码组中选取的候选字符代码的个数与字符图像的退化程度成正比。

如本发明优选实施例所述的退化字符的识别方法，其中，所述确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：以每个候选字符代码组的第一个候选字符代码和第二个候选字符代码的识别距离的差作为基准，当第K个和第K+1个候选字符代码的差小于基准的指定比例时，则该粗分类候选字符代码组选取K个候选字符代码，其中K为自然数。

如本发明优选实施例所述的退化字符的识别方法，其中，所述确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：设该候选字符代码组共输出了N个候选字符代码，字符的图像的高度和宽度像素中的较大者若小于n个像素点，则该候选字符代码组中待选取的候选字符代码的个数为N；字符的图像的高度和宽度像素中的较大者若大于m个像素点，则该候选字符代码组中待选取的候选字符代码的个数为N’；当字符的图像的高度和宽度像素中的较大者介于n个像素点到m个像素点，则该候选字符代码组中待选取的候选字符代码的个数为

$N-\frac{(S-n)\×(N-N^{\′})}{n}$

其中，S为该欲识别的字符的图像的高度和宽度像素中的较大者，m，n，N和N’可以由用户确定，而且m＞n。

如本发明优选实施例所述的退化字符的识别方法，其中，所述确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：设所述该候选字符代码组共输出了N个字符代码，同时合并候选字符代码组中待选取的候选字符代码的最少个数为N’，字符图像的直方图中笔画的典型像素值和背景的典型像素值之间的面积和直方图整个面积的比值是R，则该候选字符代码组中待选取的候选字符代码个数为

N-R×(N-N′)

其中0≤R≤1，N和N’可以由用户确定。

如本发明优选实施例所述的退化字符的识别方法，其中，所述步骤S4中，综合两组识别距离得到合并后的候选字符代码的准确性，并由此确定最佳的候选字符代码。

如本发明优选实施例所述的退化字符的识别方法，其中，所述准确性可由综合置信度(C(I))得出，所述综合置信度(C(I))为根据笔画边缘特征得出的置信度(C_l(I))和根据图像纹理特征得出的置信度(C_g(I))的和，即

C(I)＝C_l(I)+C_g(I)。

为了达到上述发明目的，本发明还提供一种退化字符的识别装置，该装置包括：笔画边缘特征处理单元(1)，用于提取欲识别字符的笔画边缘特征，并基于笔画边缘特征识别得出第一候选字符代码组；图像纹理特征处理单元(2)，用于提取欲识别字符的图像纹理特征，并基于图像纹理特征识别得出第二候选字符代码组；结果合并单元(3)，用于将基于笔画边缘特征的候选字符代码组和基于图像纹理特征的候选字符代码组合并生成合并的候选字符代码组笔画边缘特征再处理单元(4)，用于基于笔画边缘特征计算该合并的候选字符代码组的各个候选字符代码的识别距离；图像纹理特征再处理单元(5)，用于基于图像纹理特征计算该合并的候选字符代码组的各个候选字符代码的识别距离；结果综合单元(6)，用于综合所述两组识别距离，得出每个候选字符代码的综合置信度；以及结果输出单元(7)，用于根据综合置信度输出所述最佳候选字符代码。

本发明提供的退化字符识别方法和装置具有优于现有技术的识别效果，在对4238个中文字符的识别试验中，本发明中提出的方法和仅使用基于笔画边缘方向特征的方法以及仅使用基于图像纹理特征的方法进行了比较，在图像大小是8×8的时候，基于笔画边缘方向特征的方法的识别率是58.80％，基于图像纹理特征的方法的识别率是79.90％，本发明提出的方法的识别率是88.15％，可见本发明能够大幅度提高对于退化字符图像的识别准确性。

附图说明

图1为两种现有方法针对不同退化情况的互补性示意图；

图2为以“啊”字为例的不同常用中文字体，其中从左到右依次为宋体、黑体、圆体和楷体；

图3为不同图像退化程度下的灰度字符图像和对应的二值图像；

图4为现有技术的基于笔画边缘特征的识别方法或基于图像纹理特征的识别方法的流程示意图；

图5为现有技术中选择两种识别方法之一来对退化字符进行识别的方法的流程示意图；

图6为根据本发明实施例退化字符的识别方法的流程图；

图7为根据本发明的第一实施例的退化字符的识别方法的流程图；

图8为根据本发明的第一实施例的退化字符的识别方法中步骤S1的具体步骤流程图；

图9为根据本发明的第一实施例的退化字符的识别方法中步骤S2的具体步骤流程图；

图10为根据本发明的第一实施例的退化字符的识别方法识别退化字符的过程范例；

图11为根据本发明的第二实施例的退化字符的识别方法的流程图；

图12为根据本发明的第二实施例的退化字符的识别方法中步骤STEP5的具体步骤流程图；

图13为根据本发明的第二实施例的退化字符的识别方法识别退化字符的过程范例；以及

图14为本发明的退化字符的识别装置的模块图。

具体实施方式

以下参照实施例及附图详细说明根据本发明的退化字符的识别方法和装置。

为了实现本发明的目的，根据本发明的退化字符的识别方法，如图6所示，本发明提供一种退化字符识别方法，其包括如下步骤：步骤S1，根据笔画边缘特征和图像纹理特征，对欲识别的字符分别进行识别，得出基于笔画边缘特征和图像纹理特征两个候选字符代码组；步骤S2，对所述的两个候选字符代码组中的候选字符代码进行合并，确定合并的候选字符代码组；步骤S3，分别基于笔画边缘特征和图像纹理特征对该合并的候选字符代码组分别进行计算，以得出两组识别距离；以及步骤S4，根据上述两组识别距离确定最佳的候选字符代码。

本发明通过将两种识别方法有机结合能够有效扩大候选字符代码的范围，因此合并的候选字符代码组作为字符识别的结果输出可以有效的提高候选字符代码的准确性。以下详细描述本发明的各个实施例来进一步说明本发明。

第一实施例

参照图7、图8和图9依步骤顺序依次详细说明根据本发明的退化字符的识别方法的第一实施例。其中图7为本发明的第一实施例退化字符的识别方法的流程图，图8为根据本发明的第一实施例的退化字符的识别方法中步骤S1的具体步骤流程图，图9为根据本发明的第一实施例的退化字符的识别方法中步骤S2的具体步骤流程图。

根据本发明的第一实施例，本发明的退化字符的识别方法包括两个步骤S1和S2，以下参照附图以基于粗分类的识别方法为例，具体介绍本发明的第一实施例。

步骤S1，提取欲识别的字符的笔画边缘特征和图像纹理特征，并分别基于所述两种特征进行粗分类，得出基于笔画边缘特征和图像纹理特征两个粗分类候选字符代码组。

步骤S1中有两个子步骤S11和步骤S12：

步骤S11，针对欲识别的单个字符分别提取该字符的笔画边缘特征和图像纹理特征。

如图8所示，所述该步骤S1分为两部分进行，针对欲识别的单个字符图像分别根据基于笔画边缘特征的识别方法和在灰度字符图像上提取字符的图像纹理特征的识别方法提取笔画边缘特征和图像纹理特征。笔画边缘特征和图像纹理特征的提取可分别由本申请背景技术部分所述的方法进行。步骤S12，对所述的笔画边缘特征和图像纹理特征分别进行粗分类，得出分别基于笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2。

如图7和图8所示，该步骤S12同样分为两部分进行，针对步骤S11提取的笔画边缘特征对输入字符图像进行粗分类，以及针对步骤S11提取的图像纹理特征对输入字符图像进行粗分类。对所述特征进行粗分类的目的在于对输入字符图像进行初步识别，从而输出若干最有可能的候选字符代码。

如本申请背景技术部分所列举的算法，粗分类过程可由多种算法完成，皆可应用于本实施例，例如，本实施例采用以下算法完成：计算训练样本(Training Sample)中每个字符类别的特征的平均值，然后计算输入字符得到的特征和该类别特征平均值的距离，称之为识别距离，识别距离可以反映候选字符代码与输入字符之间的差距，因此可以由该数据推测候选字符代码的准确性，按照该识别距离自小到大排序，选取排在前列的指定个数的候选字符代码作为粗分类的结果输出。

因此，在本实施例中，基于笔画边缘特征输出一个粗分类候选字符代码组N1，基于图像纹理特征输出另一粗分类候选字符代码组N2，其中两个粗分类候选字符代码组N1和N2中的候选字符代码分别按照识别距离由小到大排列候选字符代码。

步骤S2，将所述的两粗分类候选字符代码组N1和N2进行合并，生成合并的候选字符代码M。

如图7所示，由于笔画边缘方向特征和图像纹理特征适应于不同退化字符，因此经过步骤S12输出的笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2之间存在较大差异，所以需要将上述两个粗分类候选字符代码组结合起来，输出一个合并的候选字符代码组M，该合并的候选字符代码组即可作为该识别方法的字符识别结果输出。该合并过程可由多种算法完成，如并集、交集等等，本实施例以提取两组候选字符代码的并集为例详细说明本发明。

如图9所示，步骤S2也分为两个子步骤S21和S22进行。

在步骤S21中，本发明分别根据粗分类候选字符代码的识别距离的增加程度或者字符图像的像素值两种数据来确定候选字符代码组的候选字符代码的个数，然后将经过选取的两个粗分类候选字符代码组N1’和N2’取并集，从而得到合并的候选字符代码组M。其中，确定粗分类候选字符代码组的候选字符代码的个数与字符图像的退化程度成正比，即，字符图像的退化程度越高，则粗分类候选字符代码组的候选字符代码选取个数越多。

如步骤S12所述，两个粗分类候选字符代码组N1和N2中分别按照识别距离由小到大排列候选字符代码，因此，确定个数后，分别在两个粗分类候选字符代码组N1和N2中按照识别距离由小到大的顺序选取候选字符代码。

以下通过以三种基于不同数据进行运算的方法为例，介绍步骤S21中确定合并候选字符代码组的候选字符代码个数的过程：

第一，根据两粗分类候选字符代码组N1和N2的识别距离的增加程度来确定粗分类选字符代码组的候选字符代码的个数。

该算法以每个粗分类候选字符代码组的第一个候选字符代码和第二个候选字符代码的识别距离的差作为基准，当第K个和第K+1个候选字符代码的差小于基准的一定比例时，则该粗分类候选字符代码组选取K个候选字符代码，其中K为自然数。

因此，经过该方法确定粗分类候选字符代码组的候选字符代码的个数后，生成新的两粗分类候选字符代码组N1’和N2’。

第二，根据字符图像的像素来确定粗分类候选字符代码组的候选字符代码的个数：该算法统计字符图像的大小或字符图像像素来决定每个粗分类候选字符代码组中候选字符代码的个数。由于粗分类对退化程度高的字符识别能力较差，因此如果字符图像像素很小或者字符很模糊，则输入图像所代表的正确代码将更有可能出现在粗分类候选字符代码组M的后面，因此需要增加每个粗分类候选字符代码组的候选字符代码个数。

假设一个粗分类候选字符代码组共输出了N个字符代码，同时该粗分类候选字符代码组的候选字符代码的个数最少为3，则一个根据字符图像的像素来选择粗分类候选字符代码组字符个数的算法举例是：如果字符图像的高度和宽度像素中的较大者小于15个像素点，则选择最大的候选个数，即N；当字符图像的高度和宽度像素中的较大者大于30个像素点，则选择最小的候选个数，即3；当字符图像的高度和宽度像素中的较大者介于15个像素点到30个像素点，候选字符代码个数的算法是：

$N-\frac{(S-15)\×(N-3)}{15}$

其中，S为二值字符的图像的高度和宽度像素中的较大者，其中每组候选字符代码组的候选字符代码的最少个数可由用户确定，像素范围也可由用户确定。因此，经过该方法确定粗分类候选字符代码组的候选字符代码的个数后，生成新的两个粗分类候选字符代码组N1’和N2’。

另外，根据字符图像的直方图来确定合并候选组的候选字符代码的个数：假设一个粗分类候选字符代码组共输出了N个字符代码，同时该粗分类候选字符代码组的候选字符代码的个数最少为3个，则一个根据字符图像的直方图来选择粗分类候选字符代码组的字符代码个数的算法举例是：首先统计字符图像的直方图(图像中各个像素值出现的频率)，假设字符笔画的像素值比背景像素值要小，则在直方图中从像素值小的一端向像素值大的一端搜索出第一个“峰顶”，该“峰顶”所对应的像素值就是笔画的典型像素值。在直方图中从像素值大的一端向像素值小的一端搜索出第一个“峰顶”，该“峰顶”所对应的像素值就是背景的典型像素值。如果该字符图像清晰的话，则上述两个“峰顶”之间的面积是较小的；如果字符图像模糊的话，则上述两个“峰顶”之间的面积是较大的。假设两个峰顶之间的面积和直方图整个面积的比值是R，则候选字符代码个数的算法是：

N-R×(N-3)

其中R的范围为0≤R≤1，该粗分类候选字符代码组的候选字符代码的最少个数可由用户确定，像素范围也可由用户确定。因此，经过该方法确定粗分类候选字符代码组的候选字符代码的个数后，生成新的两个粗分类候选字符代码组N1’和N2’。

然后，进行步骤S21，对经选取生成的新的两个粗分类候选字符代码组N1’和N2’进行合并，如上所述，该合并过程可由多种算法完成，如并集、交集等等，本实施例将经过步骤S21选取的两个粗分类候选字符代码组N1’和N2’取并集得到合并的候选字符代码组M，即得到第一实施例的识别结果。

以下通过一个退化字符的经本发明的第一实施例识别的过程来具体说明本发明的第一实施例及其效果。

如图10所示，欲识别的退化字符为“爱”字，通过根据本发明的第一实施例进行识别，首先针对该“爱”字分别提取其笔画边缘特征和图像纹理特征，然后对所述的笔画边缘特征和图像纹理特征分别进行粗分类，得出分别基于笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2，其中基于笔画边缘特征的粗分类候选字符代码组N1按识别距离排序包括“爱，爰，奚，受，妥，孚”等等，基于图像纹理特征的粗分类候选字符代码组N2按识别距离排序包括“受，采，友，伞，平”等等，可见，输出的笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2之间存在较大差异，所以需要将上述两个粗分类候选字符代码组结合起来，输出一个合并的候选字符代码组M，该合并的候选字符代码组即可作为该识别方法的字符识别结果输出。本发明分别根据粗分类候选字符代码的识别距离的增加程度来确定候选字符代码组的候选字符代码的个数，经过该步骤，得到经过选取的两个粗分类候选字符代码组N1’和N2’，其中N1’按识别距离排序包括3个候选字符代码“爱，爰，奚”和N2’按识别距离排序包括2个候选字符代码“受，采”，将两者取并集，从而得到合并的候选字符代码组M“受，采，爱，爰，奚”。由该例可以看出，如果单纯采用基于图像纹理特征的识别方法不可能得出正确的识别结果，而本发明通过有机结合两种方法得出的粗分类候选字符代码组，有效扩大了候选字符代码的范围，提高了准确率，从而达到了本发明的目的。

综上所述，合并的候选字符代码组M综合了按照识别距离排序的笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2，有效扩大了候选字符代码的范围，并基于图象退化程度对候选字符代码进行了选取，因此合并的候选字符代码组M作为字符识别的结果输出可以有效的提高候选字符代码的准确性，从而达到了本发明的目的，此外，由于在第一实施例中两个候选字符代码组N1和N2根据识别距离排序，则可以有针对性地选取出识别距离小的候选字符，因而第一实施例在达到本发明目的基础上，可以提高退化字符手动识别的便利性以及自动识别的准确性。

第二实施例

为了进一步提高退化字符手动识别的便利性以及自动识别的准确性，本发明提出第二实施例。以下参照图11和图12依步骤顺序依次详细说明根据本发明的退化字符的识别方法的第二实施例，其中图11为根据本发明的第二实施例的退化字符的识别方法的流程图；图12为根据本发明的第二实施例的退化字符的识别方法中步骤S5的具体步骤流程图。

根据本发明的第二实施例，以下参照图11以基于粗分类-再分类的识别方法为例，具体介绍本发明的第二实施例，本发明的退化字符的识别方法包括六个步骤STEP1、STEP2、STEP3、STEP4、STEP5和STEP6。

步骤STEP1，针对欲识别的单个字符分别提取该字符的笔画边缘特征和图像纹理特征。

所述该步骤STEP1分为两部分进行，分别针对欲识别的单个字符图像分别根据基于笔画边缘特征的识别方法和灰度字符图像上提取字符的图像纹理特征的识别方法提取笔画边缘特征和图像纹理特征。笔画边缘特征和图像纹理特征的提取可分别由本申请背景技术部分所述的方法进行。本步骤STEP1与第一实施例中的步骤S11完全相同，因此不再赘述。

步骤STEP2，对所述的笔画边缘特征和图像纹理特征分别进行粗分类，得出分别基于笔画边缘特征的粗分类候选字符代码组N1和基于图像纹理特征的粗分类候选字符代码组N2。

该步骤STEP2同样分为两部分进行，针对步骤STEP1提取的笔画边缘特征对输入字符图像进行粗分类，以及针对步骤STEP1提取的图像纹理特征对输入字符图像进行粗分类。对所述特征进行粗分类的目的在于对输入字符图像进行初步识别，从而输出若干最有可能的候选字符代码。步骤STEP2与第一实施例中步骤S12完全相同，因此详细过程参见第一实施例中步骤S12。

经过第二实施例的步骤STEP2，得到基于笔画边缘特征的粗分类候选字符代码组N1，以及基于图像纹理特征的另一粗分类候选字符代码组N2，其中两个粗分类候选字符代码组N1和N2中的候选字符代码分别按照识别距离由小到大排列候选字符代码。

步骤STEP3，将所述的两粗分类候选字符代码组N1和N2进行合并，生成合并的候选字符代码组M。

由于笔画边缘方向特征和图像纹理特征适应于不同退化字符，因此经过步骤STEP2输出的笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2之间存在较大差异，所以需要将上述两个粗分类候选字符代码组结合起来，输出一个合并的候选字符代码组M，该合并的候选字符代码组即可作为该识别方法的字符识别结果输出。该合并过程可由多种算法完成，如并集、交集等等，本实施例以提取两组候选字符代码的并集为例详细说明本发明。

步骤STEP3与第一实施例中步骤S2完全相同，因此详细过程参见第一实施例中步骤S2。

其中，在步骤STEP3中，首先，本发明分别根据粗分类候选字符代码的识别距离的增加程度或者字符图像的像素值两种数据来确定候选字符代码组的候选字符代码的个数，然后将经过选取的两个粗分类候选字符代码组N1’和N2’取并集，从而得到合并的候选字符代码组M。其中，确定粗分类候选字符代码组的候选字符代码的个数与字符图像的退化程度成正比，即，字符图像的退化程度越高，则粗分类候选字符代码组的候选字符代码选取个数越多。

在确定选取候选字符代码的个数时，第二实施例应用了第一实施例中提出的3种算法，因此在此不再重复。

然后，由于两个粗分类候选字符代码组N1和N2中的候选字符代码分别按照识别距离由小到大排列候选字符代码，因此，确定个数后，分别在两个粗分类候选字符代码组N1和N2中按照识别距离由小到大的顺序选取候选字符代码。

将经过上述方法经过选取的两个粗分类候选字符代码组N1’和N2’取并集得到合并的候选字符代码组M。合并的候选字符代码组M综合了按照识别距离排序的笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2，有效扩大了候选字符代码的范围，并通过图象退化程度对候选字符代码进行了选取，因此合并的候选字符代码组M作为字符识别的结果输出可以有效的提高候选字符代码的准确性，从而达到了本发明的目的。

为了进一步提高退化字符手动识别的便利性以及自动识别的准确性，并对合并的候选字符代码的准确性进行进一步的确认，作为本发明的一个优选方案，在合并的候选字符代码组M的基础上，采用识别性能更好，但是速度较慢的识别方法来进行再分类过程，下面参照附图解释以下步骤。

步骤STEP4，分别基于笔画边缘特征和图像纹理特征对合并的候选字符代码组M进行再分类，得出两识别距离集合M1和M2。

如图11所示，该步骤分为两部分进行，第一，利用笔画边缘特征计算出合并的候选字符代码组M中每个候选字符代码的识别距离，称该基于笔画边缘特征的识别距离的集合为M1；第二，利用图像纹理特征计算出合并的合并候选字符代码组M中每个候选字符代码的识别距离，称该基于图像纹理特征的识别距离的集合为M2。

因此，在再分类过程结束后，合并的候选字符代码组M中的每个候选字符代码都对应有两个识别距离，而且如上所述识别距离越小，候选字符代码的准确性越高。

步骤STEP5，根据两识别距离集合M1和M2，计算合并的候选字符代码组中每个候选字符代码的综合置信度，从而生成综合置信度集合C。

如图12所示，此步骤中出现置信度的概念，所述置信度是指相信根据样本所作的估计落在一个指定范围内的程度。置信度通常用一个百分数表示，例如95％的置信度是指抽样结果符合整体真实性的可能性为95％，不符合的可能性为5％。

由于合并的候选字符代码组M中的每个候选字符代码都有两个识别距离，因此产生两识别距离的集合M1和M2。该步骤根据所述的两识别距离的集合M1和M2，为每个候选字符代码计算出一个综合置信度，称该候选字符代码的综合置信度的集合为C。

该综合置信度C将基于笔画边缘特征的置信度以及基于图像纹理特征的置信度综合考虑，是一个全局的置信度，该综合置信度C可由多种方式得到，如相加，相乘等等，在本实施例中，综合置信度C为基于笔画边缘特征的置信度以及基于图像纹理特征的置信度的和。

例如第I个候选字符代码的综合置信度可以通过：

C(I)＝C_l(I)+C_g(I)

得到，其中C_l(I)为利用笔画边缘特征计算出的第I个候选字符代码的置信度，C_g(I)为利用图像纹理特征计算出的第I个候选字符代码的置信度。

其中，上述两个置信度C_l(I)和C_g(I)分别由基于笔画边缘特征的识别距离集合M1和基于图像纹理特征的识别距离集合M2计算得到，置信度的计算在统计学中有很多方式可以应用。

在本实施例中，假设M1(I)是该识别方法利用笔画边缘特征对第I个候选字符代码产生的识别距离，其中识别距离越小，代表输入样本为该候选字符代码所代表的类别的可能性越大。则利用笔画边缘特征得出的置信度为：

$C_l\left(I\right)=\frac{\exp (1/M1\left(I\right))}{\underset{I=1}{\overset{N}{\mathrm{\Σ}}}\exp (1/M1\left(I\right))};$

假设M2(I)是该识别方法利用图像纹理特征对第I个候选字符代码产生的识别距离，其中识别距离越小，代表输入样本为该候选字符代码所代表的类别的可能性越大。则利用图像纹理特征得出的置信度为：

$C_g\left(I\right)=\frac{\exp (1/M2\left(I\right))}{\underset{I=1}{\overset{N}{\mathrm{\Σ}}}\exp (1/M2\left(I\right))}.$

由此可见置信度的数值范围为0到1之间，而置信度越大，代表该识别方法对该候选字符识别代码是正确结果的准确性越大。

然后，将第I个候选字符代码的两个置信度C_l(I)和C_g(I)相加，得到该第I个候选字符代码的综合置信度C(I)。

步骤STEP6，根据综合置信度集合C对合并的候选字符代码组M进行从大到小排序并输出最佳候选字符代码组M’。

最后，如图11所示，对所述所有候选字符代码根据综合置信度C(I)从大到小进行重新排列并输出该按顺序排列的候选字符代码组作为最终结果，该按综合置信度从大到小顺序排列的候选字符代码组为M’。

以下通过一个退化字符的经本发明的第二实施例识别的过程来具体说明本发明的第二实施例及其效果。

如图13所示，欲识别的退化字符为“爱”字，通过根据发明的第一实施例进行识别，首先针对该“爱”字分别提取其笔画边缘特征和图像纹理特征，然后对所述的笔画边缘特征和图像纹理特征分别进行粗分类，得出分别基于笔画边缘特征的粗分类候选字符代码组N1和图像纹理特征的粗分类候选字符代码组N2，其中基于笔画边缘特征的粗分类候选字符代码组N1按识别距离排序包括“爰，爱，奚，受，妥，孚”等等，基于图像纹理特征的粗分类候选字符代码组N2按识别距离排序包括“受，采，友，伞，平”等等。本发明分别根据粗分类候选字符代码的识别距离的增加程度来确定候选字符代码组的候选字符代码的个数，经过该步骤，得到经过选取的两个粗分类候选字符代码组N1’和N2’，其中N1’按识别距离排序包括“爰，爱，奚”和N2’按识别距离排序包括“受，采”，将两者取并集，从而得到合并的候选字符代码组M“受，采，爰，爱，奚”。

为了进一步提高候选字符代码的准确性，分别基于笔画边缘特征和图像纹理特征对该合并的候选字符代码组分别进行再分类，得出两组识别距离M1和M2，根据本发明介绍的综合置信度计算方法，首先基于两组识别距离M1和M2计算出合并的候选字符代码组M“受，采，爱，爰，奚”各中各个字符的两个置信度C_l(I)和C_g(I)，然后将各个字符相应的C_l(I)和C_g(I)相加，得到该字符的综合置信度C(I)，对于合并的候选字符代码组M“受，采，爱，爰，奚”根据该综合置信度进行从大到小排序并输出最佳候选字符代码组M’“爱，爰，奚，受，采”。

第二实施例中，在第一实施例得出的候选字符代码组M的基础上，通过再分类计算出候选字符代码组M的两组识别距离M1和M2，并将识别距离转换为置信度，经过对综合置信度的排序，因而，在第二实施例中，通过上述方法正确的识别结果列为最佳候选字符代码组中的第一个候选字符代码，由此可见，通过再分类计算识别距离并转化为综合置信度来对候选字符代码排序，可以在第一实施例的基础上，进一步提高退化字符手动识别的便利性以及自动识别的准确性。

退化字符的识别装置

下面根据附图，详细介绍本发明的一种退化字符的识别装置。

如图14所示，本发明的退化字符的识别装置的实施例，除字符输入单元之外10，主要包括：笔画边缘特征处理单元1，图像纹理特征处理单元2，粗分类结果合并单元3。

进一步，按照本发明的退化字符的识别装置还可包括：第一再分类单元4，第二再分类单元5，再分类结果综合单元6，以及结果输出单元7。

其中笔画边缘特征处理单元1包括笔画边缘特征提取模块11和笔画边缘特征粗分类模块12，图像纹理特征处理单元2包括图像纹理特征提取模块21和图像纹理特征粗分类模块22。

该退化字符的识别装置通过字符输入单元10接收到一个欲识别的字符图像后，笔画边缘特征提取模块11针对该输入的字符图像根据基于笔画边缘特征的识别方法提取笔画边缘特征。

图像纹理特征提取模块21针对该输入的字符图像根据灰度字符图像上提取字符的图像纹理特征的识别方法提取图像纹理特征。

笔画边缘特征和图像纹理特征提取有多种算法，皆可应用于本实施例，其中，笔画边缘特征提取的算法可以参考本申请文件的背景技术部分及关于识别方法的实施例。

笔画边缘特征提取模块11将提取的笔画边缘特征发送给笔画边缘特征粗分类模块12，笔画边缘特征粗分类模块12接收到笔画边缘特征后，根据上述笔画边缘特征对输入字符图像进行粗分类得出基于笔画边缘特征粗分类候选字符代码组N1，并根据识别距离将该粗分类候选字符代码排序。

图像纹理特征提取模块21将提取的图像纹理特征发送给图像纹理特征粗分类模块22，图像纹理特征粗分类模块22接收到图像纹理特征后，根据上述笔画边缘特征对输入字符图像进行粗分类得出基于图像纹理特征的粗分类候选字符代码组N2，并根据识别距离对该粗分类候选字符代码组中的候选字符代码进行排序。

由于笔画边缘方向特征和图像纹理特征在适应不同退化字符上的互补性，因此上述根据笔画边缘特征输出的粗分类候选字符代码组N1和根据图像纹理特征输出的粗分类候选字符代码组N2之间存在较大差异，所以由粗分类结果合并单元3将上述两个粗分类候选字符代码结合起来，输出一个合并的粗分类候选字符代码组M。

在合并的过程之前，本发明分别根据粗分类候选字符代码的识别距离的增加程度或者字符图像的像素值两种数据来确定候选字符代码组的候选字符代码的个数，然后将经过选取的两个粗分类候选字符代码组N1’和N2’取并集，从而得到合并的候选字符代码组M。其中，确定粗分类候选字符代码组的候选字符代码的个数与字符图像的退化程度成正比，即，字符图像的退化程度越高，则粗分类候选字符代码组的候选字符代码选取个数越多。

粗分类结果合并单元3将经过本发明的识别方法实施例中介绍的选取方法得到的两个粗分类候选字符代码组取并集得到合并的候选字符代码组M。

该合并过程可由多种算法完成，如并集、交集等等，本实施例采用提取两个粗分类候选字符代码的并集。

该粗分类结果合并单元3将该合并的候选字符代码组M分别发送给第一再分类单元4和第二再分类单元5。

第一再分类单元4和第二再分类单元5接收到该合并的候选字符代码组M后，第一再分类单元4利用笔画边缘特征计算出合并的候选字符代码组M中每个候选字符代码的识别距离，得出基于笔画边缘特征的识别距离的集合M1，并将该识别距离集合M1发送给再分类结果融合单元6。

第二再分类单元5利用图像纹理特征计算出合并的粗分类候选字符代码组M中每个候选字符代码的识别距离，得出基于图像纹理特征的识别距离的集合为M2，并将该识别距离集合M2发送给再分类结果综合单元6。

经过第一再分类单元4和第二再分类单元5处理后，合并的候选字符代码组中的每个候选字符代码都有两个识别距离。再分类结果综合单元6根据每个候选字符代码的两个识别距离为每个候选字符代码计算出一个综合置信度，该合并的候选字符代码的综合置信度的集合为C。该综合置信度的算法参考本发明的识别方法的实施例的算法。

最后，该再分类结果综合单元6将每个候选字符的综合置信度发送给结果输出单元7，结果输出单元7对所有候选字符代码根据其综合置信度从大到小进行重新排列并输出该按顺序排列的候选字符代码组M’作为最终结果。

上面已经对本发明的实施例进行了详细的描述。但需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。

Claims (10)

1.一种退化字符的识别方法，其特征在于，包括如下步骤：

步骤S1，根据笔画边缘特征和图像纹理特征，对欲识别的字符分别进行识别，得出基于笔画边缘特征和图像纹理特征两个候选字符代码组；以及

步骤S2，对所述的两个候选字符代码组中的候选字符代码进行合并，确定合并的候选字符代码组；

步骤S3，分别基于笔画边缘特征和图像纹理特征对该合并的候选字符代码组分别进行计算，以得出两组识别距离；以及

步骤S4，根据上述两组识别距离确定最佳的候选字符代码。

2.如权利要求1所述的退化字符的识别方法，其特征在于，在所述步骤S2中，所述合并的候选字符代码组是通过分别从两个候选字符代码组中选取全部或部分的候选字符代码，然后对所述全部或部分的候选字符代码取并集得到的。

3.如权利要求2所述的退化字符的识别方法，其特征在于，在所述步骤S2中，通过确定候选字符代码的个数来选取所述全部或部分的候选字符代码。

4.如权利要求3所述的退化字符的识别方法，其特征在于，每个候选字符代码组中选取的候选字符代码的个数与字符图像的退化程度成正比。

5.如权利要求3所述的退化字符的识别方法，其特征在于，确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：以每个候选字符代码组的第一个候选字符代码和第二个候选字符代码的识别距离的差作为基准，当第K个和第K+1个候选字符代码的差小于基准的指定比例时，则该候选字符代码组选取K个候选字符代码，其中K为自然数。

6.如权利要求3所述的退化字符的识别方法，其特征在于，确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：设该候选字符代码组共输出了N个候选字符代码，字符的图像的高度和宽度像素中的较大者若小于n个像素点，则该候选字符代码组中待选取的候选字符代码的个数为N；字符的图像的高度和宽度像素中的较大者若大于m个像素点，则该候选字符代码组中待选取的候选字符代码的个数为N’；当字符的图像的高度和宽度像素中的较大者介于n个像素点到m个像素点，则该候选字符代码组中待选取的候选字符代码的个数为

$N-\frac{(S-n)\×(N-N^{\′})}{n}$

其中，S为该欲识别的字符的图像的高度和宽度像素中的较大者，m，n，N和N’由用户确定，而且m＞n。

7.如权利要求3所述的退化字符的识别方法，其特征在于，确定每个候选字符代码组中选取候选字符代码的个数由以下算法确定：设所述该候选字符代码组共输出了N个字符代码，同时合并候选字符代码组中待选取的候选字符代码的最少个数为N’，字符图像的直方图中笔画的典型像素值和背景的典型像素值之间的面积和直方图整个面积的比值是R，则该候选字符代码组中待选取的候选字符代码个数为

N-R×(N-N′)

其中0≤R≤1，N和N’由用户确定。

8.如权利要求1所述的退化字符的识别方法，其特征在于，所述步骤S4中，综合两组识别距离得到合并后的候选字符代码的准确性，并由此确定最佳的候选字符代码。

9.如权利要求8所述的退化字符的识别方法，其特征在于，所述准确性可由综合置信度C(I)得出，其中C(I)为第I个候选字符代码的综合置信度，所述第I个候选字符代码的综合置信度C(I)为根据笔画边缘特征得出的第I个候选字符代码的置信度C_l(I)和根据图像纹理特征得出的第I个候选字符代码的置信度C_g(I)的和，即

C(I)＝C_l(I)+C_g(I)

其中置信度C_l(I)和C_g(I)分别由基于笔画边缘特征的识别距离集合和基于图像纹理特征的识别距离集合计算得到。

10.一种退化字符的识别装置，其特征在于，该装置包括：

笔画边缘特征处理单元(1)，用于提取欲识别字符的笔画边缘特征，并基于笔画边缘特征识别得出第一候选字符代码组；

图像纹理特征处理单元(2)，用于提取欲识别字符的图像纹理特征，并基于图像纹理特征识别得出第二候选字符代码组；

结果合并单元(3)，用于将基于笔画边缘特征的该第一候选字符代码组和基于图像纹理特征的该第二候选字符代码组合并生成合并的候选字符代码组；

笔画边缘特征再处理单元(4)，用于基于笔画边缘特征计算该合并的候选字符代码组的各个候选字符代码的识别距离；

图像纹理特征再处理单元(5)，用于基于图像纹理特征计算该合并的候选字符代码组的各个候选字符代码的识别距离；

结果综合单元(6)，用于综合所述两组识别距离，得出每个候选字符代码的综合置信度；以及

结果输出单元(7)，用于根据综合置信度输出最佳候选字符代码。

Images