CN104850870B - 基于稀疏变换的手写体数字识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏变换的手写体数字识别方法，首先对读入的训练数据进行预处理，其次将预处理后的训练数据经过目标函数训练得到变换矩阵W，再次待测数据经过稀疏变换得到稀疏表示系数x′，最后基于最近邻准则，将待测数据的稀疏表示系数x′与各类类标签进行比较，找出与待测样本最相似的类标签，并将待测样本归为该类标签所属的类中，完成手写数字的识别。本发明基于稀疏变换的手写体数字识别方法，待测数据经过稀疏变换后具有稀疏性，计算简便，提高了运行效率。

Description

基于稀疏变换的手写体数字识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于稀疏变换的手写体数字识别方法。

背景技术

随着信息网络的推广，有大量的数据要输入计算机网络。而且在现代的信息社会，方方面面都要与数字打交道。手写数字识别作为模式识别的一个重要分支，在邮政、税务、交通、金融等行业的实践活动中有着及其广泛的应用，不仅如此，手写体数字识别在一些大规模数据统计，如行业年检、人口普查等需要耗费大量人力和物力的领域也可以进行应用。

对识别或分类来说，数据表示需要突出显著特征，而实际中，数字采样过程会造成数据信息的冗余，给分析带来很大不便，因此需要简化信号表示。自然信号或图像普遍具有稀疏性，近年来基于稀疏模型的信号表示方法在许多信号和图像的处理与表示中均取得了很好的效果，因此这里利用稀疏变换可以简化信号的特点，将稀疏模型与识别技术相结合，得到基于稀疏变换的识别方法。

发明内容

本发明的目的是提供一种基于稀疏变换的手写体数字识别方法，解决了现有技术中存在的数字采用过程造成的数据信息冗余的问题。

本发明所采用的技术方案是，一种基于稀疏变换的手写体数字识别方法，具体按照以下步骤实施：

步骤1、读入训练数据，然后对读入的数据进行预处理，并且初始化参数λ₁、λ₂、λ₃、C、Y、Q；

步骤2、基于步骤1中的训练数据，经过目标函数训练得到变换矩阵W；

步骤3、将步骤2得到的变换矩阵W与待测数据y′相乘，得到待测数据y′的稀疏表示系数x′；

步骤4、将步骤3中得到的稀疏表示系数x′分别与第i类的类标签q_i,i＝1,...,C进行比较，并分别计算欧式距离；依据最近邻原理，待测数据y′归入到与其欧式距离最小的类标签所属的类中，完成手写数字的识别。

本发明的特点还在于，

步骤1中对读入数据的预处理及参数初始化，具体步骤为：

将读入的大小为S×N的二维数字图像训练数据转化为SN×1的一维向量，并将转化后的训练数据按列排放成矩阵形式，训练数据中属于同一类的数据排放在一起，训练数据构成矩阵Y＝[Y₁,Y₂,...Y_C]，其中Y_i表示第i类的所有数据，i＝1,2,...C；

样本类别数C＝10；

Q＝[Q₁,Q₂,...Q_i,...Q_C]为类标签矩阵，表示训练数据的类别信息；其中Q_i＝[q_i,...,q_i],i＝1,...,C，Q_i的列数和Y_i的列数相等；

λ₁、λ₂、λ₃均初始化为常量。

类标签矩阵Q的形式如下：

类标签矩阵Q中每列的非零元素个数与T₀大小相同，类标签矩阵Q的列数与训练数据总个数相同，类标签矩阵Q的行数要大于或等于训练数据维数；

其中T₀表示稀疏度，即向量x中非零元素的最大个数。

步骤2中目标函数为：

其中，W＝[w₁,w₂,...w_M]^T表示变换矩阵；X＝[X₁,X₂,...X_C]表示所有训练数据的稀疏系数矩阵，其中X_i表示第i类训练数据的稀疏系数矩阵，i＝1,2,...C，向量x表示矩阵X中任意一列；

所述步骤2中训练得到变换矩阵W的具体步骤为：

步骤2.1、将变换矩阵W初始化为M×SN的随机矩阵；

步骤2.2、将变换矩阵W视为已知量，固定变换矩阵W的值，更新稀疏系数X：

去掉式(1)中不含稀疏系数X的项，式(1)简化为如下形式：

然后依次对X_i进行更新，i＝1,2...C，式(2)可写为

其中a＝1+λ₁-(C-1)λ₂，

X_i的解为保留每列中绝对值最大的T₀个元素，其它元素置为0，满足目标函数中稀疏系数X每列的稀疏度为T₀，从而满足X_i的稀疏性，得到稀疏系数X；

步骤2.3、将步骤2.2中得到的稀疏系数X视为已知量，固定稀疏系数X的值，更新变换矩阵W：

去掉式(1)中不含变换矩阵W的项，式(1)简化为如下形式：

分别对变换矩阵W的第m行依次进行更新，m＝1，2...M，可得下式：

其中X^m表示稀疏系数X的第m行，

式(5)对w_m求导，令导数为零可得：

由式(6)可求得w_m的解为：

w_m间迭代更新直至收敛，m＝1，2...M，得到变换矩阵W；

步骤2.4、将步骤2.3得到的变换矩阵W视为已知量，转到步骤2.2，直至稀疏系数X、变换矩阵W均收敛，迭代更新结束，得到收敛的变换矩阵W即为步骤2中经过目标训练得到的变换矩阵W。

本发明的有益效果是：本发明基于稀疏变换的手写体数字识别方法，待测数据经过稀疏变换后具有稀疏性，计算简便，提高了运行效率，同时要求稀疏变换后同类尽可能相似，异类尽可能不同，从而达到良好的识别率。

附图说明

图1是USPS数据库图示；

图2是本发明中识别率随稀疏度T₀的变换示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于稀疏变换的手写体数字识别方法，采用USPS数据库，该数据库是从美国邮件信封上提取的手写体邮政编码，共十类。图像大小为16×16，每个像素的灰度值范围是0-255，如图1所示。该数据库包括5000个训练数据和2007个测试数据，训练数据按类别排放，测试数据随机排放，各类所含样本数的分布如表1所示：

表1训练数据和测试数据各类所含样本数的分布

	0	1	2	3	4	5	6	7	8	9	Total
												Train	500	500	500	500	500	500	500	500	500	500	5000
Test	359	264	198	166	200	160	170	147	166	177	2007

从训练数据中选取2000个数据用于训练(每类200个数据，共10类)，测试数据中随机选取1000个数据用于测试。

具体按照以下步骤实施：

步骤1、数据预处理及参数赋初值，具体按以下步骤实施：

读入实验数据，将大小为16×16的二维数字图像数据转化为256×1的一维向量，并将训练数据按列排放成矩阵形式，训练数据中属于同一类的样本排放在一起，构成矩阵Y＝[Y₁,Y₂,...Y₁₀]，以便计算；根据训练数据个数及稀疏度T₀(即向量x中非零元素的最大个数)决定类标签矩阵Q＝[Q₁,Q₂,...Q_i,...Q_C]的形式：Q_i＝[q_i,...,q_i],i＝1,...,C，Q_i的列数和Y_i的列数相等，类标签矩阵Q中每列的非零元素个数与T₀大小相同，类标签矩阵Q的列数与训练数据总个数相同，类标签矩阵Q的行数要大于或等于训练数据维数，以训练样本Y包含两类，且每类包含两个样本为例，T₀＝2，类标签矩阵Q表示为：

λ₁、λ₂、λ₃均初始化为常量。

步骤2、基于步骤1中的训练数据，经过目标函数训练得到变换矩阵W，具体按以下步骤实施：

将实验训练数据Y及类标签矩阵Q代入目标函数，使用该目标函数对稀疏变换矩阵W进行训练更新。

训练变换矩阵W时使用的目标函数为：

其中，W＝[w₁,w₂,...w_M]^T表示变换矩阵；X＝[X₁,X₂,...X_C]表示所有训练数据的稀疏系数矩阵，其中X_i表示第i类训练数据的稀疏系数矩阵，i＝1,2,...C，向量x表示矩阵X中任意一列；

该目标函数的物理意义是通过训练求得稀疏变换矩阵W，当待测样本经过稀疏变换后得到稀疏系数X，该稀疏系数具备以下的性质：1)同类样本的稀疏系数尽可能相似，异类样本的稀疏系数尽可能不同；2)任一样本稀疏系数与其所属类的标签Q要尽可能的相似。这里要求变换后稀疏系数满足上述两点有助于提高识别的正确率。目标函数中最后一项的作用是减少变换矩阵W各行间的相关性，增加W行的多样性，以增加W的适应性，从而适应不同样本，该函数求解步骤如下：

求解时需对W与X进行交替迭代更新，即固定其中一个值，更新另一个值，不断交替迭代，直至收敛，具体步骤为：

步骤2.1、将变换矩阵W初始化为M×SN的随机矩阵；

步骤2.2、将变换矩阵W视为已知量，固定变换矩阵W的值，更新稀疏系数X：

去掉式(1)中不含稀疏系数X的项，式(1)简化为如下形式：

然后依次对X_i进行更新，i＝1,2...C，式(2)可写为

其中a＝1+λ₁-(C-1)λ₂，

X_i的解为保留每列中绝对值最大的T₀个元素，其它元素置为0，满足目标函数中稀疏系数X每列的稀疏度为T₀，从而满足X_i的稀疏性，得到稀疏系数X；

步骤2.3、将步骤2.2中得到的稀疏系数X视为已知量，固定稀疏系数X的值，更新变换矩阵W：

去掉式(1)中不含变换矩阵W的项，式(1)简化为如下形式：

分别对变换矩阵W的第m行依次进行更新，m＝1，2...M，可得下式：

其中X^m表示稀疏系数X的第m行，

式(5)对w_m求导，令导数为零可得：

由式(6)可求得w_m的解为：

w_m间迭代更新直至收敛，m＝1，2...M，得到变换矩阵W；

步骤2.4、将步骤2.3得到的变换矩阵W视为已知量，转到步骤2.2，直至稀疏系数X、变换矩阵W均收敛，迭代更新结束，得到收敛的变换矩阵W即为步骤2中经过目标训练得到的变换矩阵W。

步骤3、待测数据y′经过稀疏变换，具体按以下步骤实施：

将步骤2得到的变换矩阵W与待测数据y′相乘，即对待测数据y′进行稀疏变换，得到待测数据y′的稀疏表示系数x′；

步骤4、基于最近邻原理，判断待测数据y′所属类别，具体按以下步骤实施：

将步骤3中得到的稀疏表示系数x′分别与第i类的类标签q_i,i＝1,...,C进行比较，并分别计算欧式距离；依据最近邻原理，待测数据y′归入到与其欧式距离最小的类标签所属的类中，完成手写数字的识别。

实验结果

实验得到识别率随稀疏度T₀的变化如表2所示：

表2识别率随稀疏度T₀的变化表

T0	30	32	34	36	38	40	42	44	46	48	50
												识别率(％)	93	93	92.9	93	92.8	93	92.9	93	92.9	93	93

为方便与直观的比较，将表2中数据绘为图，如图2所示。

改变训练样本个数，识别率的变化如表3所示：

表3识别率随训练样本个数的变化表

训练样本个数	500	1000	1500	2000
					识别率(％)	0.89	0.92	0.926	0.93

由表3可知，随着训练样本数的增加，算法准确率增加。

Claims (1)

1.一种基于稀疏变换的手写体数字识别方法，其特征在于，具体按照以下步骤实施：

步骤1、读入训练数据，然后对读入的数据进行预处理，并且初始化参数λ₁、λ₂、λ₃、C、Y、Q；所述步骤1中对读入数据的预处理及参数初始化，具体步骤为：

将读入的大小为S×N的二维数字图像训练数据转化为SN×1的一维向量，并将转化后的训练数据按列排放成矩阵形式，训练数据中属于同一类的数据排放在一起，训练数据构成矩阵Y＝[Y₁,Y₂,...Y_C]，其中Y_i表示第i类的所有数据，i＝1,2,...C；

样本类别数C＝10；

Q＝[Q₁,Q₂,...Q_i,...Q_C]为类标签矩阵，表示训练数据的类别信息；其中Q_i＝[q_i,...,q_i],i＝1,...,C，Q_i的列数和Y_i的列数相等；

λ₁、λ₂、λ₃均初始化为常量；

步骤2、基于步骤1中的训练数据，经过目标函数训练得到变换矩阵W；

所述类标签矩阵Q的形式如下：

类标签矩阵Q中每列的非零元素个数与T₀大小相同，类标签矩阵Q的列数与训练数据总个数相同，类标签矩阵Q的行数要大于或等于训练数据维数；

其中T₀表示稀疏度，即向量x中非零元素的最大个数；

所述步骤2中目标函数为：

其中，W＝[w₁,w₂,...w_M]^T表示变换矩阵；X＝[X₁,X₂,...X_C]表示所有训练数据的稀疏系数矩阵，其中X_i表示第i类训练数据的稀疏系数矩阵，i＝1,2,...C，向量x表示矩阵X中任意一列；

所述步骤2中训练得到变换矩阵W的具体步骤为：

步骤2.1、将变换矩阵W初始化为M×SN的随机矩阵；

步骤2.2、将变换矩阵W视为已知量，固定变换矩阵W的值，更新稀疏系数X：

去掉式(1)中不含稀疏系数X的项，式(1)简化为如下形式：

然后依次对X_i进行更新，i＝1,2...C，式(2)可写为

其中a＝1+λ₁-(C-1)λ₂，

X_i的解为保留每列中绝对值最大的T₀个元素，其它元素置为0，满足目标函数中稀疏系数X每列的稀疏度为T₀，从而满足X_i的稀疏性，得到稀疏系数X；

步骤2.3、将步骤2.2中得到的稀疏系数X视为已知量，固定稀疏系数X的值，更新变换矩阵W：

去掉式(1)中不含变换矩阵W的项，式(1)简化为如下形式：

分别对变换矩阵W的第m行依次进行更新，m＝1，2...M，可得下式：

其中X^m表示稀疏系数X的第m行，

式(5)对w_m求导，令导数为零可得：

由式(6)可求得w_m的解为：

w_m间迭代更新直至收敛，m＝1，2...M，得到变换矩阵W；

步骤2.4、将步骤2.3得到的变换矩阵W视为已知量，转到步骤2.2，直至稀疏系数X、变换矩阵W均收敛，迭代更新结束，得到收敛的变换矩阵W即为步骤2中经过目标训练得到的变换矩阵W；

步骤3、将步骤2得到的变换矩阵W与待测数据y′相乘，得到待测数据y′的稀疏表示系数x′；

步骤4、将步骤3中得到的稀疏表示系数x′分别与第i类的类标签q_i,i＝1,...,C进行比较，并分别计算欧式距离；依据最近邻原理，待测数据y′归入到与其欧式距离最小的类标签所属的类中，完成手写数字的识别。