CN106845358B

CN106845358B - 一种手写体字符图像特征识别的方法及系统

Info

Publication number: CN106845358B
Application number: CN201611217910.0A
Authority: CN
Inventors: 张召; 汪笑宇; 李凡长; 张莉; 王邦军
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2016-12-26
Filing date: 2016-12-26
Publication date: 2020-11-10
Anticipated expiration: 2036-12-26
Also published as: CN106845358A

Abstract

本发明公开了手写体字符图像特征识别的方法及系统，在特征学习方面，目标在于紧凑局部软标签类内散度并分离局部软标签类间散度，同时在所有训练数据上进行局部保持特征提取；为了在特征提取和展示方面对于噪声鲁棒，对于噪声鲁棒的1‑范数规则被用于构造样本间的相似度，使得在识别中图像展示的能力可得到显著提升；基于比例的模型可通过一个迭代的方法得到描述矩阵，该描述矩阵具有判别性与局部保持的特点且具有正交特性；样本外图像的归纳通过将测试样本向描述矩阵进行投影，进而将提取的特征输入最近邻分类器进行归类，取对应欧式距离最小值的位置，用于测试图像的类别鉴定，得到最准确的识别结果。

Description

一种手写体字符图像特征识别的方法及系统

技术领域

本发明涉及计算机视觉和图像识别技术领域，特别涉及一种手写体字符图像特征识别的方法及系统。

背景技术

高维数据例如图像、音频等在日常生活中愈发普遍，因而可对其提取有用信息的特征学习方法显得尤为重要。离线手写体识别即是对其中某种高维信息进行特征提取并利用的一个实例。它通过电子专用设备将纸质手写文本电子化，得到计算机存储的字符图像，之后通过一系列特征学习的方法提取图像特征、分类等操作得到最终识别的字符。一旦得出高效准确识别字符的方法，可应用到办公自动化、机器翻译等领域，即可带来巨大的社会和经济效益。但是有效地抽取手写体图像特征的过程具有一定难度，到目前为止，离线手写体(简称手写体)字符识别距实用要求还有一定距离。目前的大部分研究工作都集中在处理手写体图像特征提取问题，且也已取得一定的成果。但是从真实世界中采集的图像通常存在包含噪声、数据缺失等问题，因此需要提出一种更鲁棒的算法来进行特征提取。

近年来，为解决图像噪声带来的特征提取偏差的问题，一些基于1-范数的算法被提出，例如基于1-范数的主成分分析算法(PCA-L1)、基于1-范数的线性判别分析法(LDA-L1)等。鉴于传统的基于距离即2-范数的算法对于噪声更加敏感，而通过使用已被证实对于噪声更加鲁棒的1-范数来衡量样本相似度。这些算法使得结果更加鲁棒于其相应的基于2-范数的算法，但由于目前只存在无监督与监督算法，无法充分利用有标签数据和无标签数据信息，因此特征提取的信息量还有很大的提升空间；另外，普通算法中的一些经验参数也非常难以确定。

因此，如何实现自动提取手写体字符图像特征，同时提高手写体字符图像表征能力与识别的准确度，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种手写体字符图像特征识别的方法及系统，以克服现有技术中仅使用有标签或无标签数据而没有充分利用现实中信息、对于噪声敏感的缺点。

为解决上述技术问题，本发明提供一种手写体字符图像特征识别的方法，所述方法包括：

输入手写体字符图像训练样本和手写体字符图像测试样本；

将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵；其中，所述软半监督判别手写体图像特征学习算法模型利用1-范数规则构造样本之间的加权相似图，并利用比例模型在紧凑局部软标签类内散度和分离局部软标签类间散度的同时保持所有手写体字符图像训练样本进行局部保持特征提取，通过迭代过程得到描述矩阵；

利用所述描述矩阵提取所述手写体字符图像测试样本的特征，生成新测试特征集；

将所述新测试特征集利用最近邻分类器进行归类，确定各所述手写体字符图像测试样本对应的欧式距离中最小值的位置，并将所述位置对应的类别作为各所述手写体字符图像测试样本的字符识别结果输出。

可选的，将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵，包括：

根据所述手写体字符图像训练样本计算局部保持矩阵；

根据所述手写体字符图像训练样本及所述局部保持矩阵，计算预定矩阵；其中，所述预定矩阵包括软标签权值矩阵，软标签各类均值矩阵，软标签全样本均值矩阵，权值矩阵；

根据所述预定矩阵，利用所述比例模型通过迭代过程得到描述矩阵。

可选的，根据所述手写体字符图像训练样本计算局部保持矩阵，包括：

利用公式

计算局部保持矩阵M；

其中，||·||为2-范数，x_i为第i个样本。

可选的，根据所述手写体字符图像训练样本及所述局部保持矩阵，计算软标签权值矩阵，包括：

利用公式

计算软标签权值矩阵F^S；

其中，

是F矩阵的第i列；

是样本x_i的K近邻集合；W是一个正规化的对称相似性矩阵，

是矩阵F^T的第i行；D是一个对角矩阵，其中的元素

μ_i和ψ是相关权衡参数。

可选的，根据所述手写体字符图像训练样本及所述局部保持矩阵，计算软标签各类均值矩阵，包括：

利用公式

计算软标签各类均值矩阵μ_i。

可选的，根据所述手写体字符图像训练样本及所述局部保持矩阵，计算软标签全样本均值矩阵，包括：

利用公式

计算软标签全样本均值矩阵μ。

可选的，根据所述手写体字符图像训练样本及所述局部保持矩阵，计算权值矩阵，包括：

利用公式

计算权值矩阵

其中，γ∈[0,1]为软标签类内散度和局部保持投影权衡参数，软相似度矩阵

定义为：

可选的，利用所述描述矩阵提取所述手写体字符图像测试样本的特征，生成新测试特征集，包括：

将所述手写体字符图像测试样本向所述描述矩阵进行映射，生成新测试特征集。

本发明还提供一种手写体字符图像特征识别的系统，包括：

输入模块，用于输入手写体字符图像训练样本和手写体字符图像测试样本；

训练模块，用于将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵；其中，所述软半监督判别手写体图像特征学习算法模型利用1-范数规则构造样本之间的加权相似图，并利用比例模型在紧凑局部软标签类内散度和分离局部软标签类间散度的同时保持所有手写体字符图像训练样本进行局部保持特征提取，通过迭代过程得到描述矩阵；

测试预处理模块，用于利用所述描述矩阵提取所述手写体字符图像测试样本的特征，生成新测试特征集；

测试模块，用于将所述新测试特征集利用最近邻分类器进行归类，确定各所述手写体字符图像测试样本对应的欧式距离中最小值的位置，并将所述位置对应的类别作为各所述手写体字符图像测试样本的字符识别结果输出。

可选的，所述训练模块，包括：

第一计算单元，用于根据所述手写体字符图像训练样本计算局部保持矩阵；

第二计算单元，用于根据所述手写体字符图像训练样本及所述局部保持矩阵，计算预定矩阵；其中，所述预定矩阵包括软标签权值矩阵，软标签各类均值矩阵，软标签全样本均值矩阵，权值矩阵；

第三计算单元，用于根据所述预定矩阵，利用所述比例模型通过迭代过程得到描述矩阵。

经由上述的技术方案可知，与现有技术相比，本发明提供的手写体字符图像特征识别的方法及系统，在特征学习方面，其目标在于紧凑局部软标签类内散度并分离局部软标签类间散度，同时在所有训练数据(即手写体字符图像训练样本)上进行局部保持特征提取。为了使得提出的方法及系统在特征提取和展示方面对于噪声鲁棒，对于噪声鲁棒的1-范数规则被用于构造样本间的相似度，使得在识别中图像展示的能力可得到显著提升。基于比例模型可通过一个迭代的方法得到描述矩阵，该描述矩阵具有判别性与局部保持的特点，且具有正交特性。样本外图像的归纳通过将测试图像样本(即手写体字符图像测试样本)向描述矩阵进行投影，进而将提取的特征输入最近邻分类器进行归类，取对应欧式距离最小值的位置，用于测试图像的类别鉴定，得到最准确的识别结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的手写体字符图像特征识别的方法的流程图；

图2为本发明实施例所提供的手写体字符图像特征识别的系统的结构框图；

图3为本发明实施例所提供的一种手写体识别预测示意图。

具体实施方式

本发明的核心是提供一张手写体字符图像特征识别的方法及系统，以克服现有技术中仅使用有标签或无标签数据而没有充分利用现实中信息、对于噪声敏感的缺点。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中手写体字符图像特征识别的类别c>2，本实施例在三个手写体字符图像数据库进行了测试：USPS、CASIA-HWDB1.1和MNIST。CASIA-HWDB1.1是中科院自动化所手写体数据库，包括3755个中文字符以及171个字母、数字或符号；USPS是美国邮政系统的手写数字数据库，包含9298个手写体数字0-9；MNIST数据库共有60000个训练样本与10000个测试样本。这些数据库从多方面收集，因而测试结果具有普遍说明性。具体请参考图1，手写体字符图像特征识别的方法，其特征在于，所述方法包括：

S100、输入手写体字符图像训练样本和手写体字符图像测试样本；

S110、将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵；其中，所述软半监督判别手写体图像特征学习算法模型利用1-范数规则构造样本之间的加权相似图，并利用比例模型在紧凑局部软标签类内散度和分离局部软标签类间散度的同时保持所有手写体字符图像训练样本进行局部保持特征提取，通过迭代过程得到描述矩阵；

具体的，本实施例对手写体训练图像(即手写体字符图像训练样本)进行判别与几何结构保持学习，提出基于1-范数度量的鲁棒的软半监督判别手写体图像特征学习算法模型，优化输出一个可用于样本外测试图像特征提取的描述矩阵。

对于给定的一个可能存在噪声的手写体向量集合(即手写体字符图像训练样本)

(其中，n是手写体样本的维度，N是样本的数量)，其中包含有类别标签(共c个类别,c>2)的样本集

和无任何标签的样本集

且满足样本数量l+u＝N。设

为l个有标签样本的标签，且样本x_i的标签为y_i(i≤l)。所述根据原始训练集计算得到一个具有判别性特征与局部保持特征的投影矩阵也称为描述矩阵

需解决以下优化问题：

s.t.P^TP＝I_d

其中||·||₁为1-范数，即

其中S_i,j表示S矩阵的第(i,j)号元素，

表示权值矩阵中第i行第j列的元素；

表示软标签权值矩阵中第i行第j列的元素；x表示样本。

即可选的，本实施例中将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵可以包括：

根据所述手写体字符图像训练样本计算局部保持矩阵；

具体的，软标签权值矩阵F^S可通过如下优化方式得到：

其中，

是F矩阵的第i列；

是样本x_i的K近邻集合。W是一个正规化的对称相似性矩阵，W_i,j表示矩阵W中第i行第j列的元素，

是矩阵F^T的第i行；D是一个对角矩阵，其中的元素

μ_i和ψ是相关权衡参数；

软标签各类均值矩阵μ_i、软标签全样本均值矩阵μ定义如下：

其中，c表示类别。

权值矩阵

定义为：

其中，γ∈[0,1]为软标签类内散度和局部保持投影权衡参数，M为局部保持矩阵。软相似度矩阵

定义如下：

局部保持矩阵M可通过求解以下优化问题得到：

其中，||·||为2-范数，即

M_i,j表示矩阵M中第i行第j列的元素。

下面具体说明1-范数优化求解过程。令极性函数q：

代入原优化函数H(p(t))得到：

再令增量δ(t)

之后更新p(t+1)＝p(t)+βδ(t)。其中，β是一个很小的正数。如果H(p(t+1))的值增长不明显，则输出p^*＝p(t+1)，否则一直迭代直到收敛。

上述说明的是降至1维即d＝1的情况，以下进一步说明降至多维即d＞1的情况。

首先设置p₀＝0，(x_i)₀＝x_i(i＝1,2,...,N)，(μ)₀＝μ，(μ_j)₀＝μ_j(j＝1,2,...,c)；之后每次迭代时计算：

以及对于i＝1,2,...,N中的每一个i和j＝1,2,...,c中的每一个j，计算如下公式：

将(x_i)_k,(μ)_k,(μ_j)_k代入前述迭代方法计算p_k。

具体算法如下：

软半监督判别手写体图像特征学习算法：

输入：原始数据矩阵

控制参数γ,β,d。

输出：投影矩阵P^*。

初始化：k＝0,p₀＝0,(x_i)₀＝x_i,k＝0,γ＝0.2,β＝0.01,ε＝10^-6

step1：求解并计算

step2：求解并计算相关软标签均值矩阵、权值矩阵：

step3：当k＜d时，k←k+1，计算

否则输出P^*＝P

step4：令

(m_i代表第i类样本的均值)，并规范化

p_k(0)＝p_k(0)/||p_k(0)||

step5：while还未收敛时do

计算极性函数：

计算增量：

更新p_k(t+1)＝p_k(t)+βδ(t)

检查是否收敛：若H(p_k(t+1))-H(p_k(t))＜ε则停止，设置

P(:,k)＝p(t+1)；

否则t＝t+1

end while

step6：继续执行step3。

迭代过程结束后可以得到手写体字符图像特征描述矩阵P。

本实施例中并不对参数的具体数据进行限定，上述过程中迭代初始值的选择：γ＝0.2；β＝0.01为初始值，迭代过程中不断减小。

S120、利用所述描述矩阵提取所述手写体字符图像测试样本的特征，生成新测试特征集；

具体的，将所述手写体字符图像测试样本向所述描述矩阵进行映射，生成新测试特征集。

例如，基于训练集，可通过步骤110得到局部保持的投影矩阵

再将训练样本和测试样本嵌入得到投影空间，完成手写体字符图像特征提取，生成特征提取后的训练集和测试集。训练样本x_train及测试样本x_test的特征提取结果表达如下:

其中

分别为原始训练样本和测试样本的特征提取结果即新测试特征集。

S130、将所述新测试特征集利用最近邻分类器进行归类，确定各所述手写体字符图像测试样本对应的欧式距离中最小值的位置，并将所述位置对应的类别作为各所述手写体字符图像测试样本的字符识别结果输出。

具体的，通过步骤120提取得到原始训练图像和测试图像的特征即得到新测试特征集后，容易构造手写体样本特征测试集

和训练集

其中

对应每一个原始样本x_i提取出的特征。对于任意给定的两个手写体样本特征

和

计算欧式距离

即：

其中||·||为2-范数，各实施例中·均表示任意字符，既可以理解为通配符的意思。

给定

中的任意一个测试样本

可通过下列分类准则确定测试样本

的类别标签：

若

且

的类别为lab(lab∈{1,2,...,c})，则判定测试样本

的类别也为lab，完成测试样本

的分类过程。

基于上述技术方案，本发明实施例提的手写体字符图像特征识别的方法，在特征学习方面，其目标在于紧凑局部软标签类内散度并分离局部软标签类间散度，同时在所有训练数据(即手写体字符图像训练样本)上进行局部保持特征提取。为了使得提出的方法及系统在特征提取和展示方面对于噪声鲁棒，对于噪声鲁棒的1-范数规则被用于构造样本间的相似度，使得在识别中图像展示的能力可得到显著提升。基于比例模型可通过一个迭代的方法得到描述矩阵，该描述矩阵具有判别性与局部保持的特点，且具有正交特性。样本外图像的归纳通过将测试图像样本(即手写体字符图像测试样本)向描述矩阵进行投影，进而将提取的特征输入最近邻分类器进行归类，取对应欧式距离最小值的位置，用于测试图像的类别鉴定，得到最准确的识别结果。

下面对本发明实施例提供的手写体字符图像特征识别的系统进行介绍，下文描述的手写体字符图像特征识别的系统与上文描述的手写体字符图像特征识别的方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的手写体字符图像特征识别的系统的结构框图；该系统可以包括：

输入模块100，用于输入手写体字符图像训练样本和手写体字符图像测试样本；

训练模块200，用于将所述手写体字符图像训练样本输入软半监督判别手写体图像特征学习算法模型中，输出用于特征提取的描述矩阵；其中，所述软半监督判别手写体图像特征学习算法模型利用1-范数规则构造样本之间的加权相似图，并利用比例模型在紧凑局部软标签类内散度和分离局部软标签类间散度的同时保持所有手写体字符图像训练样本进行局部保持特征提取，通过迭代过程得到描述矩阵；

测试预处理模块300，用于利用所述描述矩阵提取所述手写体字符图像测试样本的特征，生成新测试特征集；

测试模块400，用于将所述新测试特征集利用最近邻分类器进行归类，确定各所述手写体字符图像测试样本对应的欧式距离中最小值的位置，并将所述位置对应的类别作为各所述手写体字符图像测试样本的字符识别结果输出。

具体的，训练模块200采用将1-范数度量应用于半监督手写体字符图像特征学习模型，用于对手写体训练图像进行相似性学习，构造加权相似图，通过比率模型在紧凑局部类内软标签散度和分离局部类间软标签散度的同时保持所有训练样本的局部特性。测试预处理模块300，用于将手写体字符图像数据采用所述方法进行特征提取，样本外图像的归纳主要通过将测试图像向描述矩阵进行映射。测试模块400，用于将降维后的手写体字符图像特征利用最近邻分类器完成测试，取对应欧式距离最小值的位置，进行测试图像的类别鉴定。

基于上述实施例，所述训练模块200可以包括：

请参阅表1，为本实施例提供的方法和半监督的最大间距准则算法(SSMMC)、半监督的线性判别分析算法(SSLDA)、基于1-范数的判别性局部保持投影算法(DLPP-L1)方法，基于1-范数的主成分分析(PCA-L1)识别结果对比表，给出了各方法实验的平均识别率和最高识别率。本例中，参与比较的SSMMC、SSLDA、PCA-L1和DLPP-L1方法使用各自计算得到的投影矩阵用于测试样本的特征提取，且分类均采用最近邻分类器。

表1.本发明和SSMMC、SSLDA、DLPP-L1、PCA-L1方法识别结果对比

通过三个真实数据集,即(a)USPS，(b)CASIA-HWDB1.1和(c)MNIST上的实例实验结果显示，本发明方法可有效用于手写体的自动特征提取。

请参参考3，为本发明实施例公开的一种手写体识别预测示意图。

通过实验结果可以看出本发明的手写体字符图像特征提取及识别效果明显优于相关的SSMMC、SSLDA、PCA-L1以及DLPP-L1方法，且表现出了较强的稳定性，具有一定的优势。

基于上述技术方案，本发明实施例提的手写体字符图像特征识别的系统，特征学习方面，其在目标在于紧凑局部软标签类内散度并分离局部软标签类间散度，同时在所有训练数据上进行局部保持特征提取。为了使得提出的方法在特征提取和展示方面对于噪声鲁棒，对于噪声鲁棒的1-范数规则被用于构造样本间的相似度，使得在识别中图像展示的能力可得到显著提升。基于比例的模型可通过一个迭代的方法得到投影矩阵，该矩阵具有判别性与局部保持的特点，且具有正交特性。样本外图像的归纳通过将测试图像样本向描述矩阵进行投影，进而将提取的特征输入最近邻分类器进行归类，取对应欧式距离最小值的位置，用于测试图像的类别鉴定，得到最准确的识别结果。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的手写体字符图像特征识别的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。