CN111753930A - 基于双视图标签弹性特征学习的手写体数字识别方法 - Google Patents
基于双视图标签弹性特征学习的手写体数字识别方法 Download PDFInfo
- Publication number
- CN111753930A CN111753930A CN202010486685.0A CN202010486685A CN111753930A CN 111753930 A CN111753930 A CN 111753930A CN 202010486685 A CN202010486685 A CN 202010486685A CN 111753930 A CN111753930 A CN 111753930A
- Authority
- CN
- China
- Prior art keywords
- elastic
- class
- intra
- label
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000006185 dispersion Substances 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 10
- 238000012549 training Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012562 intraclass correlation Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
- G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
- G06V30/245—Font recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双视图标签弹性特征学习的手写体数字识别方法。本发明在最大化视图间整体散布的同时,尽量保留视图内鉴别局部散布和全局散布的弹性结构,从而形成半监督的标签弹性特征学习模型,以借助部分标签来获得更加具有鉴别力的弹性特征。具体实现过程为:(1)通过视图策略获取单视图图像的两种视图数据;(2)构建面向两种视图数据的标签弹性特征学习模型;(3)优化求解标签弹性特征学习模型,以获取双视图数据的弹性特征;(4)利用并行融合策略获取两种视图数据的融合弹性特征,最后利用最近邻分类器对融合弹性特征进行分类,以获得最终的识别结果。与现有技术相比,该方法能保留原始视图数据内的弹性鉴别结构,有效地提高手写体数字的识别性能。
Description
技术领域
本发明属于模式识别和信息融合技术领域,具体为一种基于双视图标签弹性特征学习的手写体数字识别方法。
背景技术
特征学习是模式识别中的热门的研究方向,广泛应用于图像识别、图像分割、姿态估计、基因分析等领域。尤其在图像识别领域,如何从高维的模态数据中学习具有强鉴别力的低维特征已经成为一项挑战性的课题。主成分分析(Principal Components Analysis,PCA)是一种基础的单视图特征学习方法,通过去除原始视图数据中的噪声和冗余数据来获取低维的特征。在实际应用中,多视图数据普遍存在,多视图数据是同一目标的多种数据,这些数据从不同的角度描述同一目标的多种信息,并且具有互补性。典型相关分析(Canonical Correlation Analysis,CCA)是一种主流的双视图特征学习方法,能够同时从两种视图数据中同时学习有效的低维特征。
传统的双视图特征学习方法通过保留原始视图样本中的内在几何结构来获得更具鉴别力的特征。其中,局部保持典型相关分析(Locality Preserving CCA,LPCCA)在保证两种视图之间典型相关的基础上又保留了局部结构信息。但是,LPCCA却没有考虑视图数据中的全局结构信息,并且没有利用到可能存在的样本类标签信息。因此本发明提出了一种基于双视图标签弹性特征学习的手写体数字识别方法,该方法在最大化视图间整体散布的同时,尽量保留视图内鉴别局部散布和全局散布的弹性结构,从而形成半监督的标签弹性特征学习模型。该模型在整体上保持了不同视图之间的相关性,并在在标签信息的辅助下使同类样本的局部几何结构得以保留下来,获得更加紧密的类内局部结构,且能够利用类内全局信息来发现原始样本空间中的欧几里得鉴别结构,从而使学习到的低维特征获得更好的弹性结构。在实际采集的手写体数字识别实验中,本发明的方法获得了良好的实验结果。
发明内容
原始视图样本中数据结构信息的保留和类标签信息的利用是传统特征学习方法没有考虑到的问题。针对此问题,本发明提出了一种基于双视图标签弹性特征学习的手写体数字识别方法。本发明的目的是寻找一对投影向量,不仅能最大化双视图数据的相关性,同时能够在部分标签的辅助下将类内局部几何信息和类内全局欧几里得鉴别信息嵌入到相关理论中获得具有弹性信息的散布结构。本发明的具体实现步骤如下:
1.利用视图策略获取每幅图像的两种视图数据。具体而言,利用Coiflets和Daubechies小波变换获取对应两幅低频子图像,即两种视图数据。
3.构建标签弹性特征学习模型
(3a)构建类内局部相似矩阵Wxlocal:
(3b)为了保留同类样本空间中的全局信息并在总体上把握同类样本之间的关系,构建了类内全局相似矩阵Wxglobal:
(3c)借助类内局部几何结构和全局欧几里得结构来构建类内弹性鉴别权重:
其中η为平衡参数,用来衡量类内局部相似性和类内全局相似性的相对重要性。
(3d)构建样本集X的弹性相关模型:
因此,通过最小化局部近邻结构的同时组大化全局欧几里得结构,样本集X的类内弹性相关关系可以被构建为:
将上式转化为矩阵形式,可进一步推导为:
其中L是拉普拉斯矩阵且Lxlocal=Dxlocal-Wxlocal(or Lxglobal=Dxglobal-Wxglobal),Dxlocal(or Dxglobal)是一个对角矩阵,对角线上的元素为Wxlocal(orWxglobal)矩阵每一行或列累加后的结果。
(3e)构建样本集Y的类内弹性相关关系:
类似于样本集X,样本集Y对应的类内弹性相关关系可以构建为:
(3f)在弹性相关关系的基础上,首先,构建视图数据间的相关准则,在整体上保证双视图样本之间的相关性。然后通过最小化类内样本局部散布并在类内全局结构中保留样本之间的关系,构建类内样本弹性鉴别结构。最后,将这些相关结构信息融合,获得以下标签弹性特征学习模型:
为了便于计算,上式优化函数可以重新推导为:
4.对标签弹性特征学习模型进行优化求解,具体求解过程如下:
构建标签弹性特征学习模型的拉格朗日函数:
其中λ为拉格朗日乘数。
分别对wx和wy求导,并将结果设为零,可以获得
以上两式可进一步变形为:
2XHxXTwx+XYTwy=2λXXTwx
YXTwx+2YHyYTwy=2λYYTwy
上述两个等式能够转化为以下的广义特征值分解问题:
5.弹性特征的抽取与融合
6.手写体数字的识别。
利用视图策略获取测试样本集和通过步骤4获得的相关投影矩阵Wx和Wy进一步获取和的弹性特征和然后利用步骤5中的并行融合策略获取低维组合弹性特征最后利用最近邻分类器对低维组合弹性特征测试集和低维组合弹性特征训练集zi进行分类以获取最终的识别结果。
本发明充分利用了少量的标签信息,不仅能在总体上约束双视图之间的相关性,而且同时保留了视图内鉴别局部散布和全局散布的弹性结构。具体而言,本发明使得样本在投影后具有良好的类内聚集性,并且通过约束类内样本的全局结构来增加了类间样本的可分离性。因此,本发明能够获得良好的手写体数字识别效果。
附图说明
图1是本发明的具体实现流程图。
图2是在Semeion手写体图像数据集中每种方法在所有维度下的平均识别率,其中(a)每类50个训练样本,(b)每类60个训练样本,(c)每类70个训练样本,(d)每类80个训练样本。
具体实施方式
为了详细说明本发明的目的、具体流程以及优点,下面将结合实例和附图对具体实施方式做详细介绍:
1.利用视图策略获取每幅图像的两种视图数据。具体而言,利用Coiflets和Daubechies小波变换获取对应两幅低频子图像,即两种视图数据。
3.优化求解相关投影方向和相关组合特征
标签弹性特征学习模型的优化求解问题能够转化为以下的广义特征值分解问题:
5.手写体数字的识别。
利用视图策略获取测试样本集和通过步骤4获得的相关投影矩阵Wx和Wy进一步获取和的弹性特征和然后利用步骤5中的并行融合策略获取低维组合弹性特征最后利用最近邻分类器对低维组合弹性特征测试集和低维组合弹性特征训练集zi进行分类以获取最终的识别结果。
本发明在实际采集的Semeion手写体数据集进行了针对性实验,具体实验内容和分析如下:
1.实验内容
本发明方法是基于双视图半监督弹性保持(Two-view Semi-supervised ElasticPreserving,TSEP)的手写体数字识别方法,为了评估该方法在识别任务中的有效性,在Semeion手写体数字图像数据集上设计一些实验来评估和对比TSEP与LPCCA,鉴别式多重CCA(Discriminative Multiple CCA,DMCCA),图正则化相关分析(Graph RegularizedMultiset Canonical Correlations,GrMCCs)和视图内和视图间监督相关分析(Intra-View and Inter-View Supervised Correlation Analysis,I2SCA)四种方法在图像识别中的性能。Semeion手写体数据集由1593个从0到9的手写数字图像样本组成,它由80个人通过两种方式写入,第一次以普通的方式(准确)写入,第二次以快速的方式(不准确)写入,尺寸为16×16像素。在实验中,分别从每类对象中随机选取q(q=50,60,70,80)幅图像作为训练样本,其余图像作为测试样本。本次实验中,近邻参数k选为5,训练样本的50%作为已经被标记的样本。随机实验独立进行十次,表1中报告了所有方法的平均识别率并在图1中展示了五种方法在所有维度下的平均识别率。2.实验结果和分析
表1.Semeion手写体图像数据集上的实验结果
A±B:A表示平均识别率(%),B代表标准差
随着训练样本数量的增加,所有方法的识别率都有显著的提升,这表明训练样本的数量是影响识别性能的重要原因。LPCCA在相关分析框架的基础上仅保留了局部结构信息而忽略了全局结构信息,并且对于样本的类标签信息也没有加以利用。这是影响该方法识别性能的主要原因。DMCCA虽然利用了样本的类标签信息,但是却没有考虑可能存在样本空间中的内在几何信息,在表1中并没有表现出优秀的识别性能。与DMCCA相似,I2SCA最小化视图内和视图间的类间相关性的同时最大化视图内和视图间的类内相关性,获得了较强鉴别力的弹性特征。虽然I2SCA的识别率高于DMCCA,但是由于同样没有保留样本空间中的内在几何信息,它的识别率仍低于本发明方法。GrMCC利用了样本的类标签信息并且考虑了样本空间中内在的几何信息。进一步说,GrMCC通过约束近邻参数保留了样本空间中的局部几何结构,因此在实验结果中表现出了优秀的识别效果。然而,GrMCC仅仅考虑了局部几何信息而忽略了类内样本的全局欧几里得鉴别信息,因此在最终的结果中本发明方法总是优于GrMCC。本发明方法不仅能最大化双视图数据的相关性,同时能够在部分标签的辅助下将类内局部几何信息和类内全局欧几里得鉴别信息嵌入到相关理论中获得具有弹性信息的散布结构。因此在最终的识别结果中本发明方法的识别率总高于其他方法。从图1中可以看出,当维数开始增加时,每种方法的识别率都呈现急快的增长趋势,当到达一定维数后本发明方法的识别率将高于其他方法。在达到最高的识别率后,本发明方法的识别率将趋于稳定。通过在Semeion手写体数字图像数据集上的实验结果可以得出一个结论:本发明在手写体数字识别任务方面是一种有效的方法。
Claims (3)
2.根据权利要求1所述的基于双视图标签弹性特征学习的手写体数字识别方法,其特征在于,步骤(3)所述的构建标签弹性特征学习模型按如下步骤进行:
(2a)构建类内局部相似矩阵Wxlocal:
(2b)为了保留同类样本空间中的全局信息并在总体上把握同类样本之间的关系,构建了类内全局相似矩阵Wxglobal:
其中η为平衡参数,用来衡量类内局部相似性和类内全局相似性的相对重要性;
(2d)构建样本集X的弹性相关模型:
因此,通过最小化局部近邻结构的同时组大化全局欧几里得结构,样本集X的类内弹性相关关系可以被构建为:
将上式转化为矩阵形式,可进一步推导,可得:
其中L是拉普拉斯矩阵且Lxlocal=Dxlocal-Wxlocal(or Lxglobal=Dxglobal-Wxglobal),Dxlocal(orDxglobal)是一个对角矩阵,对角线上的元素为Wxlocal(or Wxglobal)矩阵每一行或列累加后的结果;
(2e)构建样本集Y的类内弹性相关关系:
类似于样本集X,样本集Y对应的类内弹性相关关系可以构建为:
(2f)在弹性相关关系的基础上,首先,构建视图数据间的相关准则,在整体上保证双视图样本之间的相关性;然后通过最小化类内样本局部散布并在类内全局结构中保留样本之间的关系,从而构建类内样本弹性鉴别结构;最后,将这些相关结构信息融合,获得以下标签弹性特征学习模型:
为了便于计算,上式优化函数可以重新推导为:
3.根据权利要求1所述的基于双视图标签弹性特征学习的手写体数字识别方法,其特征在于,步骤4所述的标签弹性特征学习模型的优化求解的具体方法如下:
构建标签弹性特征学习模型的拉格朗日函数:
其中λ为拉格朗日乘数;
分别对wx和wy求导,并将结果设为零,可以获得
以上两式可进一步变形为:
2XHxXTwx+XYTwy=2λXXTwx
YXTwx+2YHyYTwy=2λYYTwy
上述两个等式能够转化为以下的广义特征值分解问题:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010486685.0A CN111753930B (zh) | 2020-06-01 | 2020-06-01 | 基于双视图标签弹性特征学习的手写体数字识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010486685.0A CN111753930B (zh) | 2020-06-01 | 2020-06-01 | 基于双视图标签弹性特征学习的手写体数字识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111753930A true CN111753930A (zh) | 2020-10-09 |
CN111753930B CN111753930B (zh) | 2024-02-13 |
Family
ID=72674122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010486685.0A Active CN111753930B (zh) | 2020-06-01 | 2020-06-01 | 基于双视图标签弹性特征学习的手写体数字识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111753930B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329734A (zh) * | 2020-11-30 | 2021-02-05 | 安徽理工大学 | 基于两模态图强化特征学习的人脸识别方法 |
CN113011414A (zh) * | 2021-04-06 | 2021-06-22 | 安徽理工大学 | 一种基于双特征正交弹性维数约简的手写体数字识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110135165A1 (en) * | 2009-06-02 | 2011-06-09 | Harry Wechsler | Robust Human Authentication Using Holistic Anthropometric and Appearance-Based Features and Boosting |
CN104992166A (zh) * | 2015-07-28 | 2015-10-21 | 苏州大学 | 一种基于鲁棒度量的手写体识别方法与系统 |
US20190095716A1 (en) * | 2017-09-26 | 2019-03-28 | Ambient AI, Inc | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
CN109564568A (zh) * | 2017-02-13 | 2019-04-02 | 赛思研究所 | 分布式数据集索引 |
CN110298392A (zh) * | 2019-06-13 | 2019-10-01 | 北京工业大学 | 一种标签约束自权重多超图学习的半监督分类方法 |
-
2020
- 2020-06-01 CN CN202010486685.0A patent/CN111753930B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110135165A1 (en) * | 2009-06-02 | 2011-06-09 | Harry Wechsler | Robust Human Authentication Using Holistic Anthropometric and Appearance-Based Features and Boosting |
CN104992166A (zh) * | 2015-07-28 | 2015-10-21 | 苏州大学 | 一种基于鲁棒度量的手写体识别方法与系统 |
CN109564568A (zh) * | 2017-02-13 | 2019-04-02 | 赛思研究所 | 分布式数据集索引 |
US20190095716A1 (en) * | 2017-09-26 | 2019-03-28 | Ambient AI, Inc | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
CN110298392A (zh) * | 2019-06-13 | 2019-10-01 | 北京工业大学 | 一种标签约束自权重多超图学习的半监督分类方法 |
Non-Patent Citations (4)
Title |
---|
SHENG WANG 等: "Semi-supervised linear discriminant analysis for dimension reduction and classification", 《PATTERNRECOGNITION》, vol. 57, pages 179 - 189 * |
YINGHAO DENG: "ELASTIC CANONICAL CORRELATION ANALYSIS WITH APPLICATIONS TO IMAGE RECOGNITION", 《IJAMML》, pages 17 - 28 * |
刘毛溪 等: "基于最大边界准则的稀疏局部嵌入特征提取方法", 《计算机应用研究》, pages 1 - 6 * |
邓瀛灏: "基于弹性鉴别的多视图典型相关分析及应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 327 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329734A (zh) * | 2020-11-30 | 2021-02-05 | 安徽理工大学 | 基于两模态图强化特征学习的人脸识别方法 |
CN113011414A (zh) * | 2021-04-06 | 2021-06-22 | 安徽理工大学 | 一种基于双特征正交弹性维数约简的手写体数字识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111753930B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sankaranarayanan et al. | Triplet probabilistic embedding for face verification and clustering | |
Ding et al. | Multi-directional multi-level dual-cross patterns for robust face recognition | |
Zhao et al. | Learning mid-level filters for person re-identification | |
Qin et al. | Query adaptive similarity for large scale object retrieval | |
Kang et al. | Attentional feature-pair relation networks for accurate face recognition | |
US20140219563A1 (en) | Label-embedding for text recognition | |
CN108682007B (zh) | 基于深度随机森林的jpeg图像重采样自动检测方法 | |
Karim et al. | Impact of compressed and down-scaled training images on vehicle detection in remote sensing imagery | |
Bui et al. | Scalable sketch-based image retrieval using color gradient features | |
CN102902979B (zh) | 一种合成孔径雷达自动目标识别的方法 | |
CN104239859B (zh) | 基于结构化因子分析的人脸识别方法 | |
CN105893947B (zh) | 基于多局部相关特征学习的两视角人脸识别方法 | |
CN111753930A (zh) | 基于双视图标签弹性特征学习的手写体数字识别方法 | |
CN115661754B (zh) | 一种基于维度融合注意力的行人重识别方法 | |
Xie et al. | An Image Retrieval Algorithm Based on Gist and Sift Features. | |
Kishorjit Singh et al. | Image classification using SLIC superpixel and FAAGKFCM image segmentation | |
Abbad et al. | Application of MEEMD in post‐processing of dimensionality reduction methods for face recognition | |
Naveena et al. | Image retrieval using combination of color, texture and shape descriptor | |
Khalaf et al. | Robust partitioning and indexing for iris biometric database based on local features | |
CN112966629B (zh) | 基于图像变换和BoF模型的遥感图像场景分类方法 | |
CN101877065A (zh) | 小样本条件下的人脸图像非线性鉴别特征抽取和识别方法 | |
Xie et al. | Multi-View Exclusive Unsupervised Dimension Reduction for Video-Based Facial Expression Recognition. | |
Wu | Unsupervised steganographer identification via clustering and outlier detection | |
Xu et al. | Sparse coding with cross-view invariant dictionaries for person re-identification | |
Yan et al. | Coupled kernel-based subspace learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |