CN102831434B - 基于鉴别归一化的手写汉字识别方法 - Google Patents
基于鉴别归一化的手写汉字识别方法 Download PDFInfo
- Publication number
- CN102831434B CN102831434B CN201210225810.8A CN201210225810A CN102831434B CN 102831434 B CN102831434 B CN 102831434B CN 201210225810 A CN201210225810 A CN 201210225810A CN 102831434 B CN102831434 B CN 102831434B
- Authority
- CN
- China
- Prior art keywords
- character
- similar
- dissimilar
- salient region
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Abstract
本发明公开了一种基于鉴别归一化的手写汉字识别方法，本发明提出的方法将鉴别信息结合到字符图像归一化中，从而有效增强归一化后的字符图像的鉴别能力。使用基于鉴别归一化的手写汉字识别能显著减少相似字识别错误，增强手写汉字的识别精度。相比不使用鉴别归一化的手写汉字识别方法，使用鉴别归一化的手写汉字识别精度可获得较大的提高。
Description
技术领域
本发明属于模式识别学科技术领域，特别是涉及一种手写汉字的识别方法。
背景技术
手写汉字识别在办公自动化、文档数字化、人机交互等领域有着广泛需求。但高精度的手写汉字识别是文字识别领域中的一个困难的命题，制约着其实际应用范围。手写汉字识别困难的根本原因在于手写汉字样本往往具有较显著的变形情况，这导致相同汉字在形状分布上不紧致。结合汉字的大类别情况，高精度地识别手写汉字并不容易。为了弥补字符形变问题，字符图像归一化试图将同一汉字的样本向统一的形状模式逼近，从而有效提高手写汉字的识别效果，也是手写汉字识别中不可或缺的环节。鉴别信息是区分不同字符样本的重要信息，其来源于不同字符间的不相似性，对于识别过程很重要。传统的字符图像归一化方法对所有的字符样本采用同样的规则处理，没有考虑字符间的鉴别信息，不利于进一步提高手写汉字的识别性能，尤其对于相似字之间的识别经常出现错误。
发明内容
本发明就是为了解决上述现有技术中的问题，而提供一种基于鉴别归一化的手写汉字识别方法，目的在于将鉴别信息结合到字符图像归一化中，从而使得在归一化后的相似字在识别中更容易被区分开来，降低识别错误率。
本发明是按以下技术方案实现的：
一种基于鉴别归一化的手写汉字识别方法，包括训练部分和识别部分两大部分；其中，训练部分包括如下步骤：
步骤1.1 创建相似字表：在汉字字符集中寻找相似字，并构建相似字表；
步骤1.2 相似字显著性区域检测，即对相似字的不相似部分进行检测；
步骤1.3 创建归一化模型字典：将相似字表和各相似字对的显著性区域的中心和尺寸参数等信息记录在字典文件中；
步骤1.4 相似字分类器训练：为上述相似字表中每一对相似字创建一个两类分类器，专门用于区分对应的两个相似字；
识别部分包括如下步骤：
步骤2.1 初始识别：用普通的手写汉字识别器对待识别字符样本进行初始识别，获得该字符样本的汉字识别候选结果；
步骤2.2 相似字搜索：搜索相似字表，找到初始识别结果的前二候选构成的字符对在相似字表中的匹配字对；
步骤2.3 字符图像变换：利用相似字间的鉴别信息对上一步骤中的找到的相似字表中的匹配字对执行鉴别归一化，增加显著性区域在字符图像中所占尺寸比例；
步骤2.4 相似字识别：将在变换后的图像上进行相似字识别，只对前二候选构成的字符对中的两个字符进行识别，所用的分类器为步骤1.4中生成的相似字两类分类器。
其中，相似字显著性区域检测包括如下三个步骤：
步骤1.2.1 初始字符图像归一化：采用普通的字符图像归一化方法作为预处理，改善字符图像形状分布上的紧致性；
步骤1.2.2 字符特征抽取：将每一点的字符特征用坐标点的形式进行表示；
步骤1.2.3：显著性区域分析：
显著性区域建立在不相似区域上，利用字符特征差异图发现不相似区域，用Tm(i,j,k), Tn(i,j,k)分别表示字符Cm和Cn的特征模板，则字符特征差异图表示为：
（1）
令其方差为δ 2 ；满足下面条件的分格被视为不相似分格，即
（2）
（3）
合理的t值一般可取[-2.0,2.0]之间。
不相似分格组成不相似区域，显著性区域（Saliency Region--SR）被定义为覆盖在不相似分格上的矩形区域，字符图像中非显著性区域部分即为相似区域。
根据不相似分格检测结果，计算不相似区域的矩m00，m10，m01和中心矩μ20，μ02，则不相似区域的中心和轴长分别为：
（4）
（5）
根据不相似区域中心位置，将显著性区域分成9种类型，其中心为不相似区域中心，长宽分别为：
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
字符图像变换包括如下步骤：
步骤2.3.1 初始字符图像归一化：
采用普通的字符图像归一化方法对字符图像进行预处理；
步骤2.3.2 执行字符图像变换：
在保持图像尺寸不变的同时，扩张显著性区域并压缩非显著性区域；图像变换中的坐标映射函数采用正弦函数满足上述要求；
I(x,y) and I’(x’,y’)分别为变换前后的图像，则对于不同显著性区域类型，坐标映射函数分别如下所示：
(15)
(16)
(17)
(18)
(19)
(20)
(21)
(22)
(23)
其中，SR指显著性区域，p ij 代表图像中的(i,j)坐标点，参数α用来控制图像变换中的变形程度，α1和α2分别针对水平和竖直方向，合理取值范围为大于0同时不小于1，即(0,1]。其取值可以直接设定一个经验值，也可用下式计算得到。
(24)
w,h分别为字符宽度和高度，(w1,h1), (w2,h2)分别为显著性区域宽度和相似区域宽度，参数β控制相似区域的压缩程度，合理取值范围为大于0不小于1，即 (0,1]。
本发明具有的优点和积极效果是：
本发明提出的方法将鉴别信息结合到字符图像归一化中，从而有效增强归一化后的字符图像的鉴别能力。使用基于鉴别归一化的手写汉字识别能显著减少相似字识别错误，增强手写汉字的识别精度。以不使用鉴别归一化的手写汉字识别方法为基准进行对比实验，可发现，使用鉴别归一化后手写汉字相似字识别精度获得较大的提高。
附图说明：
图1是本发明基于鉴别归一化的手写汉字识别方法系统框架；
图2是相似字显著性区域示意图；
图3是显著性区域检测示意图；
图4是显著性区域类型示意图；
图5是显著性区域各类型图像扩张方向图；
图6是字符图像变换示例。
具体实施方式
实施例1
为了实现发明目的，本发明做了以下工作：
1）提出了一种字符显著性区域的检测方法：根据相似字样本分析，发现相似字间的不相似区域，采用适当的策略基于不相似区域构建显著性区域。该区域包含区分相似字的主要信息，是后续增强字符可区分性的基础。
2）提出了一种鉴别增强的字符图像归一化方法：基于相似字间显著性区域的检测，在图像归一化过程中，引入增强显著性区域的图像变换，从而增强归一化后的字符图像在识别中的区分能力，有助于区分相似字对。
3）基于鉴别归一化的手写汉字识别方法：先执行初始识别，根据初始识别结果判断是否存在相似字对，若存在，则使用相应的鉴别增强的图像归一化；然后，对图像归一化后的图像进行相似字识别，并输出最终结果。
本发明中，基于鉴别归一化的手写汉字识别方法可分为训练和识别两部分，系统工作流程图如图1所示：
一、训练部分：
步骤1.1：创建相似字表。
在汉字字符集中寻找相似字，并构建相似字表。两个字是否属于相似字是根据两字符图像相似性度量或错误识别为对方的错误率来判断。相似性度量越高，或错误率越高的字对被判为相似字对。
步骤1.2：相似字显著性区域检测。
如图2所示，相似字的样本图像可分为两个部分，相似部分和不相似部分，其中把不相似部分作为显著性区域，是区分相似字的主要信息来源。在典型的字符特征抽取中，通常将字符图像分成若干个格子，再根据各个分格内的笔划方向信息建立特征。因此，字符特征保持了图像的二维几何信息，我们可以利用字符特征中的二维几何信息来检测字符的显著性区域。以392维WDCH字符特征为例，抽取7×7分格内8方向信息，共7×7×8=392维特征。
显著性区域检测包括三个步骤：
步骤1.2.1：初始字符图像归一化。
采用普通的字符图像归一化方法作为预处理，改善字符图像形状分布上的紧致性。
步骤1.2.2：字符特征抽取。
以392维WDCH特征为例，将字符特征表示为x(i,j,k)，则i，j分别表示水平、竖直方向的分格号，取值范围为1-7，k表示方向码，取值范围1-8。
步骤1.2.3：显著性区域分析。
显著性区域建立在不相似区域上，利用字符特征差异图可以发现不相似区域。
用Tm(i,j,k), Tn(i,j,k)分别表示字符Cm和Cn的特征模板，则字符特征差异图可表示为：
（1）
令其方差为。满足下面条件的分格被视为不相似分格，如图3所示，标记为1的分格为不相似分格。
（2）
（3）
t值一般可取[-2.0,2.0]之间的值，优选地可取t=0.1。
不相似分格组成不相似区域，显著性区域（Saliency Region--SR）被定义为覆盖在不相似分格上的矩形区域，字符图像非显著性区域部分即为相似区域。
根据不相似分格检测结果，可计算不相似区域的矩m00，m10，m01和中心矩μ20，μ02。则不相似区域的中心和轴长分别为：
（4）
（5）
如图4所示，根据不相似区域中心位置，显著性区域被分成9种类型，其中心为不相似区域中心，长宽分别为：
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
步骤1.3：创建归一化模型字典。
将相似字表和各相似字对的显著性区域的中心和尺寸参数等信息记录在字典文件中。在识别部分将使用这些信息用于搜索相似字以及进行图像归一化等操作。
步骤1.4：相似字分类器训练。
在识别部分所需的相似字识别分类器在该步骤中训练生成。相似字分类器针对相似字对专门训练得到。上述相似字表中每一对相似字要创建一个两类分类器，专门用于区分对应的两个相似字。通常，我们可以采用fisher分类器来构建该两类分类器。用于训练相似字分类器的图像样本为使用鉴别归一化后的字符图像，即与识别部分中经过步骤2.3字符图像变换后的字符图像样本一致。
二、识别部分
步骤2.1：初始识别。
用一个普通的手写汉字识别器对待识别字符样本进行初始识别，目的在于获得该字符样本的汉字识别候选结果。假设获得的汉字识别候选列表为：C=(c1,c2,…, cK)，即前k候选的识别置信度按降序排列G=(g1,g2,…, gK)。
步骤2.2：相似字搜索。
搜索相似字表，若初始识别结果的前二候选构成的字符对(c1,c2)在相似字表中发现匹配字对，则搜索成功。
步骤2.3：字符图像变换。
若初始识别结果的前二候选字符对在相似字搜索中发现匹配字对，则可利用相似字间的鉴别信息执行鉴别归一化。对应的字符图像变换包括以下几个步骤：
步骤2.3.1 初始字符图像归一化。
采用和步骤1.2.1中相同的普通字符图像归一化方法作为预处理。
步骤2.3.2 执行字符图像变换。
所需图像变换要求保持图像尺寸不变的同时，扩张显著性区域和压缩非显著性区域。显著性区域图像的扩张方向如图5中箭头所示。图像变换中的坐标映射函数可采用正弦函数满足上述要求。
假设I(x,y) and I’(x’,y’)分别为变换前后的图像，则对于不同显著性区域类型，坐标映射函数分别如下所示：
(15)
(16)
(17)
(18)
(19)
(20)
(21)
(22)
(23)
其中，SR指显著性区域，pij代表图像中的(i,j)坐标点。参数α用来控制图像变换中的变形程度，α1和α2分别针对水平和竖直方向，合理取值范围为大于0同时不小于1，即(0,1]。其取值可以直接设定一个经验值，也可用下式计算得到。
(24)
w,h分别为字符宽度和高度，(w1,h1), (w2,h2)分别为显著性区域宽度和相似区域宽度，参数β控制相似区域的压缩程度，可取大于0不小于1的取值范围为(0,1]，可优选设为0.2。经过图像变换后，显著性区域在字符图像中所占尺寸比例增加，图6给出了几个字符图像在变换前后的对比示例。
步骤2.4：相似字识别。
相似字识别将在变换后的图像上进行。只对前二候选中的(c1,c2)两个字符进行识别，分类器为训练阶段生成的相似字两类分类器。由于针对该相似字对进行了鉴别增强的图像处理，相似字的区分能力获得提高。
本发明的优越性和特点在于：通过将鉴别信息融合到字符图像归一化中，有效提高了字符图像对相似字对区分能力。能显著降低相似字识别错误，从而提高手写汉字的识别精度。
本发明的原理在于：手写汉字识别中主要的错误来源于相似字识别错误。而汉字相似字的主要区分信息来源于相似字符图像间的非相似区域，这些区域往往所占面积较小，在字符识别特征描述中，鉴别能力不足。以致容易受到噪声、变形等因素的影响，导致识别结果不稳定。在字符图像归一化中，通过扩张非相似区域和压缩相似区域，提高字符特征在描述相似字时的区分能力，弱化相似区域的影响力。最终减少相似字识别错误，也即提高手写汉字识别精度。而在字符图像变换中，使用矩形形状的显著性区域替代不规则形状的非相似区域，则能更好控制归一化图像变换中的字符形变程度，获得更稳定的效果。
本发明方法的实验结果：
以不使用鉴别归一化的手写汉字识别方法为基准，观察实验结果，可发现，使用鉴别归一化后手写汉字相似字识别精度获得较大的提高。如下表所示，在实验数据集上，手写汉字识别错误率由2.88%降低到2.60%，相比未使用鉴别归一化的手写汉字识别减少了9.97%的识别错误。
表1. 使用鉴别归一化的手写汉字识别结果
Claims (7)
1.一种基于鉴别归一化的手写汉字识别方法，其特征在于，该方法包括训练部分和识别部分两大部分；其中，训练部分包括如下步骤：
步骤1.1 创建相似字表：在汉字字符集中寻找相似字，并构建相似字表；
步骤1.2 相似字显著性区域检测，即对相似字的不相似部分进行检测；具体包括如下三个步骤：
步骤1.2.1 初始字符图像归一化：采用普通的字符图像归一化方法作为预处理，提高字符图像形状分布上的紧致性；
步骤1.2.2 字符特征抽取：将每一点的字符特征用坐标点的形式进行表示；
步骤1.2.3：显著性区域分析：
显著性区域建立在不相似区域上，利用字符特征差异图发现不相似区域，
用Tm(i,j,k), Tn(i,j,k)分别表示字符Cm和Cn的特征模板，则特征差异图表示为：
令其方差为δ 2 ，均值为满足下面条件的分格被视为不相似分格，即
不相似分格组成不相似区域，显著性区域被定义为覆盖在不相似分格上的矩形区域，字符图像中非显著性区域部分即为相似区域；
根据不相似分格检测结果，计算不相似区域的矩m00，m10，m01和中心矩μ20，μ02，则不相似区域的中心和轴长分别为：
根据不相似区域中心位置，将显著性区域分成9种类型，其中心为不相似区域中心，长宽分别为：
其中，rx和ry分别代表显著性区域的长度和宽度；w,h分别为字符的宽度和高度；
步骤1.3 创建归一化模型字典：将相似字表和各相似字对的显著性区域的参数信息记录在字典文件中；
步骤1.4 相似字分类器训练：每对相似字创建一个两类分类器，专门用于区分对应的两个相似字；
识别部分包括如下步骤：
步骤2.1 初始识别：用普通的手写汉字识别器对待识别字符样本进行初始识别，获得该字符样本的汉字识别候选结果；
步骤2.2 相似字搜索：搜索相似字表，找到初始识别结果的前二候选构成的字符对在相似字表中的匹配字对；
步骤2.3 字符图像变换：利用相似字间的鉴别信息对上一步骤中找到的相似字表中的匹配字对执行鉴别归一化，增加显著性区域在字符图像中所占尺寸比例；
步骤2.4 相似字识别：将在变换后的图像上进行相似字识别，只对前二候选构成的字符对中的两个字符进行识别，所用的分类器为步骤1.4中生成的相似字两类分类器。
2.根据权利要求1所述的基于鉴别归一化的手写汉字识别方法，其特征在于，字符图像变换包括如下步骤：
步骤2.3.1 初始字符图像归一化：
采用普通的字符图像归一化方法对字符图像进行预处理；
步骤2.3.2 执行字符图像变换：
在保持图像尺寸不变的同时，扩张显著性区域并压缩非显著性区域；图像变换中的坐标映射函数采用正弦函数满足上述要求；
I(x,y) 和 I’(x’,y’)分别为变换前后的图像，则对于不同显著性区域类型，坐标映射函数分别如下所示：
其中w,h分别为字符的宽度和高度，SR指显著性区域，p ij 代表图像中的(i,j)坐标点，参数α用来控制图像变换中的变形程度，α1和α2分别针对水平和竖直方向，合理取值范围为大于0同时不大于1，即(0,1]。
3.根据权利要求1所述的基于鉴别归一化的手写汉字识别方法，其特征在于，步骤1.3所述的显著性区域参数指的是显著性区域的中心和尺寸参数。
4.根据权利要求1所述的基于鉴别归一化的手写汉字识别方法，其特征在于，步骤1.4所述的每对相似字创建一个两类分类器，指的是：采用fisher分类器为上述相似字表中每一对相似字创建一个两类分类器，专门用于区分对应的两个相似字。
5.根据权利要求1所述的基于鉴别归一化的手写汉字识别方法，其特征在于，步骤1.2.3中公式（3）所述的优选的取t=0.1。
6.根据权利要求2所述的基于鉴别归一化的手写汉字识别方法，其特征在于，所述的参数α1和α2用来控制图像变换中的变形程度，其取值直接设定，或用下式计算得到：
令w,h分别为字符宽度和高度，(w1,h1), (w2,h2)分别为显著性区域宽度和相似区域宽度，参数β控制相似区域的压缩程度，取大于0不大于1的取值范围为(0,1]。
7.根据权利要求6所述的基于鉴别归一化的手写汉字识别方法，其特征在于，所述的参数β控制相似区域的压缩程度，β优选的取β=0.2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210225810.8A CN102831434B (zh) | 2012-07-03 | 2012-07-03 | 基于鉴别归一化的手写汉字识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210225810.8A CN102831434B (zh) | 2012-07-03 | 2012-07-03 | 基于鉴别归一化的手写汉字识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102831434A CN102831434A (zh) | 2012-12-19 |
| CN102831434B true CN102831434B (zh) | 2015-07-15 |
Family
ID=47334562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210225810.8A Expired - Fee Related CN102831434B (zh) | 2012-07-03 | 2012-07-03 | 基于鉴别归一化的手写汉字识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102831434B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324929B (zh) * | 2013-06-25 | 2016-05-18 | 天津师范大学 | 基于子结构学习的手写中文识别方法 |
| CN107918624B (zh) * | 2016-10-11 | 2022-03-15 | 富士通株式会社 | 图像检索装置及方法、电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249605B1 (en) * | 1998-09-14 | 2001-06-19 | International Business Machines Corporation | Key character extraction and lexicon reduction for cursive text recognition |
| CN102402693A (zh) * | 2010-09-09 | 2012-04-04 | 富士通株式会社 | 处理包含字符的图像的方法和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000251015A (ja) * | 1999-03-01 | 2000-09-14 | Fujitsu Ltd | 相似文字判別方法および相似文字判別装置、並びに相似文字判別プログラムを記録した記憶媒体 |
-
2012
- 2012-07-03 CN CN201210225810.8A patent/CN102831434B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249605B1 (en) * | 1998-09-14 | 2001-06-19 | International Business Machines Corporation | Key character extraction and lexicon reduction for cursive text recognition |
| CN102402693A (zh) * | 2010-09-09 | 2012-04-04 | 富士通株式会社 | 处理包含字符的图像的方法和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 喻莹,杨扬,董才林.《基于动态特征选择的手写体相似汉字的识别》.《计算机工程》.2006,第32卷(第17期),第10-11页,第18页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102831434A (zh) | 2012-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103955660B (zh) | 一种批量二维码图像识别方法 | |
| CN101561866B (zh) | 基于sift特征与灰度差值直方图特征的文字识别方法 | |
| CN103049750B (zh) | 字符识别方法 | |
| CN100541523C (zh) | 一种基于支持向量机的视频对象识别方法及系统 | |
| CN104778470B (zh) | 基于组件树和霍夫森林的文字检测和识别方法 | |
| CN103310195A (zh) | 车辆高分遥感图像的基于llc特征的弱监督识别方法 | |
| Huang et al. | Isolated Handwritten Pashto Character Recognition Using a K‐NN Classification Tool based on Zoning and HOG Feature Extraction Techniques | |
| JP2006053920A (ja) | 文字認識プログラム、文字認識方法および文字認識装置 | |
| CN105279506A (zh) | 满文单词中轴线的定位方法 | |
| Cai et al. | Traffic sign recognition algorithm based on shape signature and dual-tree complex wavelet transform | |
| CN102567711A (zh) | 一种扫描识别模板制作和使用方法及系统 | |
| CN104834891A (zh) | 一种中文图像型垃圾邮件过滤方法及系统 | |
| Vithlani et al. | Structural and statistical feature extraction methods for character and digit recognition | |
| CN102831434B (zh) | 基于鉴别归一化的手写汉字识别方法 | |
| CN111144300A (zh) | 一种基于图像识别的pdf表格结构识别方法 | |
| CN114547968A (zh) | 一种智能变电站图纸的物理回路建模方法 | |
| BJ et al. | Kannada confusing character recognition and classification using random forest and SVM | |
| CN104123527A (zh) | 基于掩膜的图像表格文档识别方法 | |
| CN103605962A (zh) | 基于类内类间距离的人脸验证方法 | |
| CN102855473A (zh) | 一种基于相似性度量的图像多目标检测方法 | |
| Li et al. | Script identification of camera-based images | |
| Rohini et al. | Segmentation of touching, overlapping, skewed and short handwritten text lines | |
| CN104732209A (zh) | 一种室内场景的识别方法及装置 | |
| Jia et al. | Grayscale-projection based optimal character segmentation for camera-captured faint text recognition | |
| Sastry et al. | A 3d approach for palm leaf character recognition using histogram computation and distance profile features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150715 Termination date: 20180703 |