CN109784266B - 一种多模型超图的手写汉字识别算法 - Google Patents

一种多模型超图的手写汉字识别算法 Download PDF

Info

Publication number
CN109784266B
CN109784266B CN201910021582.4A CN201910021582A CN109784266B CN 109784266 B CN109784266 B CN 109784266B CN 201910021582 A CN201910021582 A CN 201910021582A CN 109784266 B CN109784266 B CN 109784266B
Authority
CN
China
Prior art keywords
samples
points
hypergraph
stroke
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910021582.4A
Other languages
English (en)
Other versions
CN109784266A (zh
Inventor
魏炳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COLLEGE OF APPLIED SCIENCE JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Original Assignee
COLLEGE OF APPLIED SCIENCE JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COLLEGE OF APPLIED SCIENCE JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY filed Critical COLLEGE OF APPLIED SCIENCE JIANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY
Priority to CN201910021582.4A priority Critical patent/CN109784266B/zh
Publication of CN109784266A publication Critical patent/CN109784266A/zh
Application granted granted Critical
Publication of CN109784266B publication Critical patent/CN109784266B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种多模型超图的手写汉字识别算法，包括：特征提取、构建普通超图、构建稀疏超图、样本成对约束和融合稀疏表示与成对约束理论的超图学习。基于超图的学习模型是一种非常重要的直推式半监督学习方法，在已有的直推式半监督学习算法中，超图学习方法能获得较好的性能。

Description

一种多模型超图的手写汉字识别算法
技术领域
本发明涉及汉字识别算法技术领域，尤其是涉及一种多模型超图的手写汉字识别算法。
背景技术
目前，地质调查的野外工作是数据的重要来源，这部分人工记录的原始地质资料在地质大数据中占有相当大的比例，其蕴含着大量有价值的信息，但出于技术原因，这部分数据中的信息无法利用，成为了“暗数据”。汉字识别技术主要分为印刷体识别和手写体识别两大类。手写汉字的随意性大，比印刷体难识别。手写汉字识别根据数据采集的方式又可分为联机识别和脱机识别。在联机识别中，计算机能获得输入字符的笔画顺序，因此比脱机识别获得的信息更多，更容易识别。再加上拍照或扫描的过程中，不同的光照、分辨率、纸张等都会带来干扰。因此，脱机手写汉字识别远比联机识别要难。
发明内容
本发明的目的在于提供一种多模型超图的手写汉字识别算法。
为实现上述目的，本发明采用以下内容：
一种多模型超图的手写汉字识别算法，包括：特征提取：利用8重交叉验证方法，即在每一次实验中，把所有标记数据与非标记数据分别分成8等份，选取其中1份作为训练样本集，剩下的7份为测试样本集。然后重复8次，每一个样本都有机会成为训练样本，取均值作为性能评估；构建普通超图：距离其最近的若干样本所组成的集合为一条超边；构建稀疏超图：把稀疏优化思想应用于流形聚类，依据流形聚类假设，数据样本集可能采样于多个子流形，每个子流形的维度不一定相同，利用稀疏表示求解方法可解得每个子流形聚类；样本成对约束：成对约束包含两个约束：必须连接约束和不能连接约束；利用训练样本的标记信息，必须连接约束表示，标记信息相同的样本或者说同类样本通过学习后，其类别信念必须相近；而不能连接约束规定不同类的样本通过学习后，其类别信念相距越远越好；融合稀疏表示与成对约束理论的超图学习。
优选的是，所述特征提取包括结构特征和统计特征；所述结构特征包括质心特征、笔划特征、笔划特征点和几何特征；所述统计特征包括方向特征、网格特征和Gabor特征。
优选的是，所述质心特征是文本笔划分布的体现，将二值图像转化成点阵形式，再依据质心计算公式求出水平质心与垂直质心；所述笔划特征由横、竖、撇、捺四种基本笔划构成，对单字分别提取这四种基本笔划，统计出各自的数量；所述笔划特征点主要有端点、折点、歧点与交点，端点是笔划的起点或终点，折点是笔划方向出现显著变化的点，歧点是三叉点，交点是四叉点，按序对二值图像进行扫描，统计出各笔划特征点的个数；所述几何特征是计算包含文本块的最小矩形的长宽比值。
优选的是，所述方向特征是文本块的方向角度；所述网格特征是把包含文本块的最小矩形平均分成若干行若干列，每个单元格中文字像素点的个数统计；Gabor特征是在网格基础上计算Gabor变换后的对应能量表示。
本发明具有以下优点：
本系统设计一种多模型的超图学习算法来识别手写汉字块，根据训练样本间距离关系构建样本关系阵，再以样本的稀疏表示参数为样本间的关系紧密性权重构建另一个样本关系阵，最后以样本约束法则为基础，以标记样本间的关系权重构建标记样本间的关系阵，融合这几个关系矩阵成为多模型的超图学习框架。通过迭代学习，找出最优的手写汉字块类别归属，在手写汉字块的实验中表现出一定的优势。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1是本发明的一种多模型超图的手写汉字识别算法的流程图。
图2是本发明的模型结构示意图。
图3和图4是本发明的实施例示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例对本发明做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1至4所示，一种多模型超图的手写汉字识别算法包括：
特征提取：收集68个志愿者手写的64遍“网络基础”的文本块图像；利用8重交叉验证方法，即在每一次实验中，把所有标记数据与非标记数据分别分成8等份，选取其中1份作为训练样本集，剩下的7份为测试样本集。然后重复8次，每一个样本都有机会成为训练样本，取均值作为性能评估；实验首先对每个文本块进行特征分析，志愿者在写文字时没有限定写法，对字体、字号、粗细、字间距、高低等不作要求，完全按照其真实的写法；结构特征包含质心特征、笔划特征、笔划特征点、几何特征；质心特征(2D，2维向量)是文本笔划分布的体现，将二值图像转化成点阵形式，再依据质心计算公式求出水平质心与垂直质心；笔划特征(4D)由横、竖、撇、捺四种基本笔划构成，对单字分别提取这四种基本笔划，统计出各自的数量；笔划特征点(4D)主要有端点、折点、歧点与交点，端点是笔划的起点或终点，折点是笔划方向出现显著变化的点，歧点是三叉点，交点是四叉点，按序对二值图像进行扫描，统计出各笔划特征点的个数；几何特征(1D)是计算包含文本块的最小矩形的长宽比值；统计特征包含方向特征、网格特征、Gabor特征等；方向特征(1D)是文本块的方向角度；网格特征(30D)是把包含文本块的最小矩形平均分成若干行若干列，每个单元格中文字像素点的个数统计，本文实验时分成3行10列共30个单元格；Gabor特征(30D)是在网格基础上计算Gabor变换后的对应能量表示；最后组合这些多种特征为文本块的72维的特征向量。
构建普通超图：距离其最近的若干样本所组成的集合为一条超边；设定图G＝(X，E)，所有样本x构成样本集X，和所有的超边e集合构成边集E，每一条超边包含了若干个样本，边的权重是该边中所有样本间的距离平均值；设定矩阵Dv、De和W对角线元素分别表示相应样本所在的边数、超边中样本的个数和超边的权值，设定邻接阵H，矩阵元素表示两样本间的连接关系；根据文献(D.Zhou，J.Huang,and B.Scholkopf，"Learning withhypergraphs:Clustering，classification，and embedding，”in Proc.NeuralInf.Process.Syst.，Vancouver'BC，Canada,2006,pp.1601-1608)其目标函数如下：
Figure GDA0003166741720000051
式中
Figure GDA0003166741720000052
是拉普拉斯矩阵，fi是所有样本在第i类上的类属信念。
构建稀疏超图：把稀疏优化思想应用于流形聚类，依据流形聚类假设，数据样本集可能采样于多个子流形，每个子流形的维度不一定相同，利用稀疏表示求解方法可解得每个子流形聚类；假定数据集是采样于一个包含n个独立子流形的统一空间里，相当于这个数据集包含n类样本，通过求解目标函数可以获得块稀疏解，每一块中的非零元素对应一个子流形；相近样本的稀疏表示也相近，并且可以被同子流形中相近的样本线性表示，稀疏系数对应着样本间的相关性或权值；而稀疏超图学习是基于稀疏字典上的稀疏系数空间，相当于原样本特征空间映射后的空间；有了这种映射，可以避免原样本空间中，不同的特征表示尺度不一的问题。迭代学习超边的权值，最终达到一个稳定状态；
设定向量x∈Rd，可以由d个向量组成的向量组
Figure GDA0003166741720000053
表示，设定
Figure GDA0003166741720000054
x可以被表示成：
Figure GDA0003166741720000055
w＝[w1,w2,…,wd]T.x和w表示同一个数据点,前一个是基于空间域，另一个是基于∑域。我们的目标是求解出基于∑的稀疏系数，即w包含尽量少的非零元素；根据文献(J.Wright，A.Yang,A.Ganesh，S.Sastry,and Y.Ma.Robust face recognition viasparse representation[J].IEEE Transactions on PatternAnalysis andMachineIntelligence,31(2),2009)，这个稀疏解可以通过以下目标函数式求解得到：
Figure GDA0003166741720000061
假定数据集是采样于一个包含k个独立子空间的统一空间里，相当于这个数据集包含k类，根据文献(J.Wright,A.Yang,A.Ganesh,S.Sastry,and Y.Ma.Robust facerecognition via sparse representation[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,31(2),2009)，可以获得块稀疏解，每一块中的非零元素对应一个子空间；相近的样本的稀疏表示也相近，和可以被同子空间中相近的点线性表示，稀疏系数对应着样本间的相关性或权值；
根据求解后的稀疏表示，构建稀疏超图，样本相应的稀疏表示参数如果是非零值，表示两样本间相关，该参数表示相关性的紧密程度，邻接关系阵A为：
Figure GDA0003166741720000062
|(wi)j|表示wi的第j个元素的绝对值。设定
Figure GDA0003166741720000063
为稀疏超图的拉普拉斯矩阵，稀疏超图的正则表达式为
min fLsfT (5)
样本成对约束：成对约束包含两个约束：必须连接约束和不能连接约束；利用训练样本的标记信息，必须连接约束表示，标记信息相同的样本或者说同类样本通过学习后，其类别信念必须相近；而不能连接约束规定不同类的样本通过学习后，其类别信念相距越远越好；这里结合这两个约束进超图学习模型中以增强学习能力；
设定fi为xi的学习之后类别信念，C+表示与xi同类的样本集，C-表示与xi不同类的样本集,必须连接约束可以表示为:
Figure GDA0003166741720000071
和不能连接约束表示为：
Figure GDA0003166741720000072
结合这两个约束为成对约束，表示为：
Figure GDA0003166741720000073
其中N+表示C+中样本的数量；fi＝[fi，f1 C+，…,fN+ C+,f1 C-,…,fN- C-]，表示类别信念块；每一个块信念fi对应一个坐标序列，通过选择序列Si所有的信念块能够组合在一起为f，即fi＝fSi.；Li表示局部几何信息；其中
Figure GDA0003166741720000074
是一个基于成对约束的拉普拉斯矩阵。
融合稀疏表示与成对约束理论的超图学习：在普通超图中融入稀疏表示与成对约束理论成为一种新的结合学习算法，本系统称之为多模型超图学习模型(CSP)，目标函数为：
Figure GDA0003166741720000081
其中L1，L2，L3分别表示拉普拉斯矩阵Lc,Ls，Lp。在求解β时，出现只选择最好的一种邻接关系，而另外两种的系数为0。为避免这种现象，通过设定
Figure GDA0003166741720000082
替换βi，r>1，目标函数表示为：
Figure GDA0003166741720000083
r>1。为解决这个目标函数，我们利用一种迭代求解的方法[15]，先初始化β＝[1/3,1/3,1/3],固定β利用拉葛日乘法更新f
Figure GDA0003166741720000084
然后固定f，最小化表达式(11)，可以计算出β为：
Figure GDA0003166741720000085
这个学习模型通过两到三次迭代后收敛。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (4)

1.一种多模型超图的手写汉字识别方法，其特征在于，包括：
特征提取：收集68个志愿者手写的64遍“网络基础”的文本块图像；利用8重交叉验证方法，即在每一次实验中，把所有标记数据与非标记数据分成8等份，选取其中1份作为训练样本集，剩下的7份为测试样本集，然后重复8次，每一个样本都有机会成为训练样本，取均值作为性能评估；实验首先对每个文本块进行特征分析，志愿者在写文字时没有限定写法，对字体、字号、粗细、字间距、高低不作要求，完全按照其真实的写法；所述特征提取包括结构特征和统计特征，其中，结构特征包含质心特征、笔划特征、笔划特征点、几何特征；
构建普通超图：距离其最近的若干样本所组成的集合为一条超边；设定图G＝(X,E)，所有样本x构成样本集X，和所有的超边e集合构成边集E，每一条超边包含了若干个样本，边的权重是该边中所有样本间的距离平均值；设定矩阵Dv、De和W对角线元素分别表示相应样本所在的边数、超边中样本的个数和超边的权值，设定邻接阵H，矩阵元素表示两样本间的连接关系；
构建稀疏超图：把稀疏优化思想应用于流形聚类，依据流形聚类假设，数据样本集可能采样于多个子流形，每个子流形的维度不一定相同，利用稀疏表示求解方法可解得每个子流形聚类；
样本成对约束：成对约束包含两个约束，必须连接约束和不能连接约束；利用训练样本的标记信息，必须连接约束表示，标记信息相同的样本或者同类样本通过学习后，其类别信念必须相近；而不能连接约束规定不同类的样本通过学习后，其类别信念相距越远越好，融合稀疏表示与成对约束理论的超图学习：在普通超图模型中融入稀疏表示与成对约束理论成为一种新的结合学习算法，本系统称之为多模型超图学习模型，
设定xi、xj与xk为样本，fi、fj、fk分别为xi、xj与xk的学习之后类别信念即对应的类别归属权值向量,C+表示同一类的所有样本集合，C-表示不同类的所有样本集合,必须连接约束表示为：
Figure FDA0003319051300000021
和不能连接约束表示为：
Figure FDA0003319051300000022
结合这两个约束为成对约束，表示为：
Figure FDA0003319051300000023
其中N+表示C+中样本的数量，T表示转置；
Figure FDA0003319051300000024
表示类别信念矩阵；每一个块信念
Figure FDA0003319051300000025
对应一个坐标序列，通过选择坐标序列Si将所有的信念块组合在一起为类别信念矩阵
Figure FDA0003319051300000026
即
Figure FDA0003319051300000027
Li表示局部几何信息；
Figure FDA0003319051300000028
是一个基于成对约束的拉普拉斯矩阵，
因
Figure FDA0003319051300000029
是以类别信念向量为列向量组合而成，
Figure FDA00033190513000000210
与f在数值上是相等的，目标函数为：
Figure FDA0003319051300000031
其中βi为组合系数，L＝β1Lc+β2Ls+β3Lp。
2.根据权利要求1所述的一种多模型超图的手写汉字识别方法，其特征在于，所述统计特征包括方向特征、网格特征和Gabor特征。
3.根据权利要求2所述的一种多模型超图的手写汉字识别方法，其特征在于，所述质心特征是文本笔划分布的体现，将二值图像转化成点阵形式，再依据质心计算公式求出水平质心与垂直质心；所述笔划特征由横、竖、撇、捺四种基本笔划构成，对单字分别提取这四种基本笔划，统计出各自的数量；所述笔划特征点主要有端点、折点、歧点与交点，端点是笔划的起点或终点，折点是笔划方向出现显著变化的点，歧点是三叉点，交点是四叉点，按序对二值图像进行扫描，统计出各笔划特征点的个数；所述几何特征是计算包含文本块的最小矩形的长宽比值。
4.根据权利要求2所述的一种多模型超图的手写汉字识别方法，其特征在于，所述方向特征是文本块的方向角度；所述网格特征是把包含文本块的最小矩形平均分成若干行若干列，每个单元格中文字像素点的个数统计；Gabor特征是在网格基础上计算Gabor变换后的对应能量表示。
CN201910021582.4A 2019-01-09 2019-01-09 一种多模型超图的手写汉字识别算法 Expired - Fee Related CN109784266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910021582.4A CN109784266B (zh) 2019-01-09 2019-01-09 一种多模型超图的手写汉字识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910021582.4A CN109784266B (zh) 2019-01-09 2019-01-09 一种多模型超图的手写汉字识别算法

Publications (2)

Publication Number Publication Date
CN109784266A CN109784266A (zh) 2019-05-21
CN109784266B true CN109784266B (zh) 2021-12-03

Family

ID=66499309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910021582.4A Expired - Fee Related CN109784266B (zh) 2019-01-09 2019-01-09 一种多模型超图的手写汉字识别算法

Country Status (1)

Country Link
CN (1) CN109784266B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210582A (zh) * 2019-06-17 2019-09-06 上海海事大学 一种基于局部协作表示分类的手写汉字识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902988A (zh) * 2014-04-21 2014-07-02 梁爽 一种基于Modular积图与最大团的草图形状匹配方法
CN106203291A (zh) * 2016-07-01 2016-12-07 昆明理工大学 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法
CN107145826A (zh) * 2017-04-01 2017-09-08 浙江大学 基于双约束度量学习和样本重排序的行人再识别方法
CN107480627A (zh) * 2017-08-08 2017-12-15 华中科技大学 行为识别方法、装置、存储介质和处理器
CN107844802A (zh) * 2017-10-19 2018-03-27 中国电建集团成都勘测设计研究院有限公司 基于无人机低空遥感和面向对象分类的水土保持监测方法
CN108960296A (zh) * 2018-06-14 2018-12-07 厦门大学 一种基于连续潜在语义分析的模型拟合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3020000B1 (en) * 2013-07-09 2022-04-27 3M Innovative Properties Company Systems and methods for note content extraction and management using segmented notes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902988A (zh) * 2014-04-21 2014-07-02 梁爽 一种基于Modular积图与最大团的草图形状匹配方法
CN106203291A (zh) * 2016-07-01 2016-12-07 昆明理工大学 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法
CN107145826A (zh) * 2017-04-01 2017-09-08 浙江大学 基于双约束度量学习和样本重排序的行人再识别方法
CN107480627A (zh) * 2017-08-08 2017-12-15 华中科技大学 行为识别方法、装置、存储介质和处理器
CN107844802A (zh) * 2017-10-19 2018-03-27 中国电建集团成都勘测设计研究院有限公司 基于无人机低空遥感和面向对象分类的水土保持监测方法
CN108960296A (zh) * 2018-06-14 2018-12-07 厦门大学 一种基于连续潜在语义分析的模型拟合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning with Hypergraphs: Clustering,Classification, and Embedding;Dengyong Zhou 等;《MIT Press》;20071230;第1601-1608页 *
Online and Offline Handwritten Chinese Character Recognition___A Comprehensive Study and New Benchmark;XuYao Zhang等;《arxiv》;20160618;第1-21页 *
Robust Face Recognition via Sparse Representation;John Wright等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20081226;第210-227页 *
Segmentation of Cursive Handwritten Words using Hypergraph;P. Samrajya Lakshmi 等;《Tencon 2006-2006 IEEE Region Conference》;20061117;第1-4页 *

Also Published As

Publication number Publication date
CN109784266A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
Hanmandlu et al. Fuzzy model based recognition of handwritten numerals
Van der Maaten et al. Visualizing data using t-SNE.
Huang et al. Analysis and synthesis of 3D shape families via deep‐learned generative models of surfaces
Mane et al. Visualizing and understanding customized convolutional neural network for recognition of handwritten Marathi numerals
Cecotti Active graph based semi-supervised learning using image matching: application to handwritten digit recognition
CN102982343B (zh) 手写数字识别的增量式模糊支持向量机方法
Dhande et al. Character recognition for cursive english handwriting to recognize medicine name from doctor's prescription
Obaidullah et al. Numeral script identification from handwritten document images
CN109784266B (zh) 一种多模型超图的手写汉字识别算法
Ramesh et al. Recognition of Kannada handwritten words using SVM classifier with convolutional neural network
Islam et al. Geometry and statistics-preserving manifold embedding for nonlinear dimensionality reduction
Sharma et al. Isolated handwritten digit recognition using adaptive unsupervised incremental learning technique
Montazer et al. Farsi/Arabic handwritten digit recognition using quantum neural networks and bag of visual words method
CN116778339A (zh) 局部视图辅助判别高光谱波段选择方法及系统
Xia et al. Oil tank extraction in high-resolution remote sensing images based on deep learning
Arivazhagan et al. Recognition of handwritten characters using deep convolution neural network.
CN104573727A (zh) 一种手写体数字图像降维方法
Bharambe Recognition of offline handwritten mathematical expressions
Bria et al. Deep Transfer Learning for writer identification in medieval books
Patil et al. Isolated handwritten Devnagri numeral recognition using HMM
Li et al. Feature extraction and identification of handwritten characters
Wang et al. A Recognition Method of the Similarity Character for Uchen Script Tibetan Historical Document Based on DNN
Husnain et al. Urdu Handwritten Characters Data Visualization and Recognition Using Distributed Stochastic Neighborhood Embedding and Deep Network
Jameel et al. Improved handwritten offline urdu characters recognition system using machine learning techniques
Kasim et al. Fuzzy C means for image batik clustering based on spatial features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211203