CN105989375A - 对手写字符图像进行分类的分类器、分类装置和分类方法 - Google Patents

Abstract

本发明实施例提供一种对手写字符图像进行分类的分类器、分类装置和分类方法，该分类器包括：训练部，其根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；分类部，其根据所述训练部所确定的所述特征提取参数和分类参数，对输入的手写字符图像进行分类。根据本发明的实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到进一步优化的特征提取参数和分类参数，提高了分类的准确性。

Description

对手写字符图像进行分类的分类器、分类装置和分类方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种对手写字符图像进行分类的分类器、分类装置和分类方法。

背景技术

近年来，基于深度神经网络(Deep Neural Network，DNN)的分类方法在手写字符分类领域取得了巨大的成功。传统的DNN是一种层级模型，图1为传统的DNN结构示意图，如图1所示，传统的DNN由一个输入层101、若干个隐含层102和一个输出层103组成。其中，输入层101一般为待处理的数据；隐含层102的类型可以包括卷积层、池化层或全连接层等；对于分类问题而言，输出层103可以是分类器，例如softmax分类器或支持向量机(Support Vector Machine，SVM)等。

传统的DNN在进行训练时，以分类误差最小化作为优化目标，优化方法为后向传播算法，其过程如图2所示。首先，训练样本输入到输入层101，并且信息随着DNN网络做前向传播，经由各隐含层传播到输出层，输出层所输出的值与训练样本的类别的真值进行比较，得到一个误差；然后，该误差逐层回传，从而修正输出层103、隐含层102、以及输入层101中每一层的参数。重复进行上述步骤，直到误差满足一定的收敛条件，则认为达到了DNN的优化目标。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请的发明人认为，现有的基于DNN的手写字符分类算法大都是基于输出层的输出结果与训练样本类别之间的误差对各层的参数进行优化，并没有考虑手写字符所对应的标准字符图像的特性，因此，各层的参数还有进一步优化的空间；并且，最近的研究结果表明，将任务领域的先验信息和传统的DNN结合，可以提高传统的DNN模型的性能。

本申请实施例提供一种对手写字符图像进行分类的分类器、分类装置和分类方法，该方法将标准字符图像作为本领域的先验信息引入传统的DNN中，在训练阶段同时考虑分类输出与训练样本类别的误差，以及特征提取输出或重构输出与训练样本所对应的标准字符图像的误差，从而提高DNN的分类性能。

根据本发明实施例的第一方面，提供一种对手写字符图像进行分类的分类器，包括：

训练部，其根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

分类部，其根据所述训练部所确定的所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

根据本发明实施例的第二方面，提供一种对手写字符图像进行分类的分类装置，所述分类装置具有合成部和至少2个分类部，该至少2个分类部可以通过如上述实施例第一方面所述的分类器中的分类部来实现，并且，所述合成部将所述至少2个分类部对输入的手写字符图像分类的输出进行合成，以作为该分类装置的输出，

其中，每个所述分类部所对应的标准字符图像的字体不同。

根据本发明实施例的第三方面，提供一种对手写字符图像进行分类的方法，包括：

根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

根据所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

本发明的有益效果在于：根据本实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到进一步优化的特征提取参数和分类参数，提高了分类的准确性。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为传统的DNN结构示意图；

图2为基于传统的DNN结构的优化方法示意图；

图3是本实施例的对手写字符图像进行分类的方法的一个流程示意图；

图4是手写字符图像与标准字符图像的示意图；

图5是本实施例的DNN结构模型示意图；

图6是本实施例的确定该特征提取参数的方法的一个流程示意图；

图7是本实施例的确定该特征提取参数的方法的另一个流程示意图；

图8是本实施例的确定该分类参数的方法的一个流程示意图；

图9是本实施例的确定该特征提取参数和分类参数的方法的一个流程示意图；

图10是本实施例的确定该特征提取参数和分类参数的方法的另一个流程示意图；

图11A是本申请实施例的对手写字符图像进行分类的分类器的组成示意图；

图11B是本申请实施例的训练部的一个组成示意图；

图12是本实施例的特征提取参数训练部的一个组成示意图；

图13是本实施例的特征提取参数训练部的另一个组成示意图；

图14是本实施例的分类参数训练部的一个组成示意图；

图15是本实施例的训练部的另一个组成示意图；

图16是本实施例的训练部的另一个组成示意图；

图17是本申请实施例的对手写字符图像进行分类的分类装置的组成示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

图3是本实施例1的对手写字符图像进行分类的方法的一个流程示意图，如图3所示，该方法可以包括：

S301，根据训练样本的分类输出与该训练样本类别的误差，以及该训练样本的特征提取输出或重构输出与该训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

S302，根据该特征提取参数和分类参数，对输入的手写字符图像进行分类。

根据本实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到进一步优化的特征提取参数和分类参数，提高了分类的准确性。

在本实施例中，标准字符图像是用程序生成的字符图像，与对应的手写字符图像具有相同含义。图4是手写字符图像与标准字符图像的示意图，如图4所示，手写字符图像401与标准字符图像402对应，并且，一幅标准字符图像可以对应于属于同一类的多个手写字符图像，例如，如果多个手写字符图像的类别都为“1”，那么这多个手写字符图像可以都对应于图4的标准字符图像402a。此外，在本实施例中，标准字符图像可以有不同的字体，例如，可以是宋体或黑体等。

在本实施例中，可以基于图5所示的DNN结构模型来实现本实施例的该分类方法。如图5所示，该DNN结构模型500可以包括输入层501、特征提取模块502、分类模块503和分类输出层504等。

其中，输入层501可以接收训练样本和输入的手写字符图像，用于为其它DNN结构模型提供待处理的数据；特征提取模块502可以由至少一个隐含层组成，主要作用是提取输入层501所提供的数据的特征，供分类模块503等使用；分类模块503可以由至少一个隐含层组成，主要作用是对特征提取模块的特征提取输出进行进一步的处理，使之更适合分类；分类输出层504可以具有传统的分类单元，例如softmax分类器或支持向量机SVM等，用于对分类模块503的输出进行分类，并且，该分类输出层504还可以具有计算层，用于计算分类输出与待处理的数据之间的误差。

在本实施例中，如图5所示，该DNN结构模型还可以具有重构模块505和重构输出层506等。

其中，该重构模块505可以由至少一个隐含层组成，用于对特征提取模块502提取的特征进行进一步的处理，使之更适合重构出标准字符图像；重构输出层506，可以包括一个全连接层和计算部，其中，全连接层用于对重构模块505的输出进行重构，并且，计算层用于计算重构输出与待处理的数据所对应的标准字符图像之间的误差。

下面，以图5所示的DNN结构模型500为例，结合附图，对图3所示的分类方法进行说明。需要说明的是，本实施例并不限于图5所示的DNN结构模型，还可以基于其它模型来实现本实施例的分类的方法。

在本实施例中，对于图3的步骤S301，可以如图6-图8所示，先通过迭代确定该特征提取参数，再通过迭代确定该分类参数，也可以如图9和图10所示，通过迭代同时确定该特征提取参数和该分类参数。

图6是本实施例的确定该特征提取参数的方法的一个流程示意图。如图6所示，该方法可以包括：

S601，利用第一特征提取参数对训练样本进行特征提取；

S602，计算特征提取输出与训练样本所对应的标准字符图像的第一误差Er1；

S603，在第一误差Er1不满足预设的第一收敛条件时，根据第一误差Er1调整第一特征提取参数，然后回到S601，以重复上述特征提取和计算；

S604，在第一误差Er1满足预设的第一收敛条件时，将第一特征提取参数确定为该特征提取参数。

在S601中，可由特征提取模块502对输入层接收的训练样本进行特征提取，并且，在S601中，该特征提取模块502中各隐含层的参数可以统称为第一特征提取参数，该第一特征提取参数的初始值可以被随机给定，然后根据上述迭代处理过程进行调整。

在S602中，可以将特征提取模块502的特征提取输出与该训练样本所对应的标准字符图像进行比较，以计算二者之间的第一误差Er1。在本实施例中，计算第一误差Er1的方式可以是公知的，本实施例不再赘述。

在S603中，当Er1不满足预设的第一收敛条件时，调整第一特征提取参数，并重复S601和S602，直到Er1满足预设的第一收敛条件，并在S604中，将Er1满足预设的第一收敛条件时的第一特征提取参数确定为该特征提取参数。

在本实施例中，该第一收敛条件例如可以是Er1≤T1，其中，T1可以是预设的阈值，并且，T1可以根据优化目标来确定。当然，该第一收敛条件还可以是其它的条件，可以参考现有技术，本实施例不再赘述。

在本实施例中，调整第一特征提取参数的方法例如可以是后向传播算法，根据该算法，该第一特征提取参数能够被调整为使第一误差Er1逐渐变小。关于后向传播算法的详细说明，可以参考现有技术，本实施例不再赘述。

在本实施例中，如图6所示，还可以包括步骤S605：判断第一误差Er1是否满足预设的第一收敛条件，判断为“是”，则执行S604，判断为“否”，则执行S603。

图7是本实施例的确定该特征提取参数的方法的另一个流程示意图。如图7所示，该方法可以包括：

S701，利用第二特征提取参数对该训练样本进行特征提取；

S702，利用重构参数对特征提取输出进行重构；

S703，计算重构输出与该训练样本所对应的标准字符图像的第二误差Er2；

S704，在该第二误差Er2不满足预设的第二收敛条件时，根据该第二误差Er2调整该第二特征提取参数，以及该重构参数，然后回到S701以重复上述特征提取、重构和计算；

S705，在该第二误差Er2满足该预设的第二收敛条件时，将该第二特征提取参数确定为该特征提取参数。

在S701中，可以由特征提取模块502对输入层接收的训练样本进行特征提取，并且，在S701中，该特征提取模块502中各隐含层的参数可以统称为第二特征提取参数，该第二特征提取参数的初始值可以被随机给定，然后根据上述迭代处理过程进行调整。

在S702和S703中，可以由重构模块505和重构输出层506对S701的特征提取输出进行重构，并计算重构输出与训练样本所对应的标准字符图像的第二误差Er2；并且，重构模块505中的各层和重构输出层506中全连接层的参数可以统称为重构参数，该重构参数的初始值可以被随机给定，然后根据上述迭代处理过程进行调整。在本实施例中，计算第二误差Er2的方式可以是公知的，本实施例不再赘述。

在S704中，当Er不满足预设的第二收敛条件时，可以调整第二特征提取参数和重构参数，并重复S701和S702，直到Er满足预设的第二收敛条件，并在S705中，将Er2满足预设的第二收敛条件时的第二特征提取参数确定为该特征提取参数。

在本实施例中，关于该第二收敛条件的说明可以参考上述对于第一收敛条件的说明，此处不再赘述。

在本实施例中，对于调整该第二特征提取参数和重构参数的方法可以参考上述调整第一特征提取参数的方法，本实施例不再赘述。

在本实施例中，如图7所示，还可以包括步骤S706：判断第二误差Er2是否满足预设的第二收敛条件，判断为“是”，则执行S705，判断为“否”，则执行S704。

在本实施例中，在根据图6或图7的方法确定了特征提取参数后，可以进一步确定分类参数。

图8是本实施例的确定该分类参数的方法的一个流程示意图。如图8所示，该方法可以包括：

S801，利用该特征提取参数对该训练样本进行特征提取；

S802，利用第一分类参数对特征提取输出进行分类；

S803，计算分类输出与该训练样本类别的第三误差Ec3；

S804，在该第三误差Ec3不满足预设的第三收敛条件时，根据该第三误差Ec3调整该第一分类参数，然后回到步骤S801，以重复该特征提取、该分类和该计算；

S805，在该第三误差Ec3满足该预设的第三收敛条件时，将该第一分类参数确定为该分类参数。

在S801中，可由特征提取模块502对输入层接收的训练样本进行特征提取，并且，在S801中，该特征提取模块502中各隐含层的参数可以是由上述步骤S604或步骤S705所确定的该特征提取参数，并且，在随后的迭代过程中，该特征提取参数不改变。

在S802和S803中，可以由分类模块503和分类输出层504对S801的特征提取输出进行分类，并计算分类输出与训练样本类别之间的第三误差Ec3；并且，分类模块503中各隐含层和分类输出层504中分类单元的参数可以统称为第一分类参数，该第一分类参数的初始值可以被随机给定，然后根据上述迭代处理过程进行调整。在本实施例中，计算第三误差Ec3的方式可以是公知的，本实施例不再赘述。

在S804中，当Ec3不满足预设的第三收敛条件时，调整第一分类参数，并重复S801、S802和S803，直到Ec3满足预设的第三收敛条件，并在S805中，将Ec3满足预设的第三收敛条件时的第一分类参数确定为该分类参数。

在本实施例中，该第三收敛条件例如可以是Ec3≤T3，其中，T3可以是预设的第三阈值，并且，T3可以根据优化目标来确定。当然，该第三收敛条件还可以是其它的条件，可以参考现有技术，本实施例不再赘述。

在本实施例中，调整第一分类参数的方法例如可以是后向传播算法，根据该算法，该第一分类参数能够被调整为使该第三误差Ec3逐渐变小。关于后向传播算法的详细说明，可以参考现有技术，本实施例不再赘述。

在本实施例中，如图8所示，还可以包括步骤S806：判断第三误差Ec3是否满足预设的第三收敛条件，判断为“是”，则执行S805，判断为“否”，则执行S804。

在上述的图6-图8中，先确定特征提取参数，再确定分类参数，但是，本实施例并不限于此，也可以如下图9-10所示，通过迭代同时确定该特征提取参数和该分类参数。

图9是本实施例的确定该特征提取参数和分类参数的方法的一个流程示意图。如图9所示，该方法可以包括：

S901，利用第四特征提取参数对训练样本进行特征提取，

S902，利用第二分类参数对特征提取输出进行分类，

S903，计算该特征提取输出与该训练样本所对应的标准字符图像的第四误差Er4，以及分类输出与该训练样本类别的第五误差Ec5，

S904，在第四误差Er和第五误差Ec不满足预设的第四收敛条件时，根据第四误差Er4和第五误差Ec5调整第四特征提取参数，以及第二分类参数，并回到S901，以重复该特征提取、该分类和该计算；

S905，在第四误差Er4和第五误差Ec5满足该预设的第四收敛条件时，将该第四特征提取参数确定为该特征提取参数，并将该第二分类参数确定为该分类参数。

在本实施例中，可以基于图5的DNN结构模型中的输入层501、特征提取模块502、分类模块503和分类输出层504等来实现上述图9所示的方法。

在S901中，可由特征提取模块502对输入层接收的训练样本进行特征提取，并且，在S901中，该特征提取模块502中各隐含层的参数可以统称为第四特征提取参数，该第四特征提取参数的初始值可以被随机给定，然后在迭代过程中进行调整。

在S902和S903中，可以由分类模块503和分类输出层504对S901的特征提取输出进行分类，并计算分类输出与训练样本类别之间的第五误差Ec5；并且，分类模块503中各隐含层和分类输出层504中分类单元的参数可以统称为第二分类参数，该第二分类参数的初始值可以被随机给定，然后在迭代过程中进行调整。

在S903中，还可以将特征提取模块502的特征提取输出与训练样本所对应的标准字符图像进行比较，以计算二者之间的第四误差Er4。

在S904中，当S903中计算出的Ec5与Er4不满足预设的第四收敛条件时，调整第四特征提取参数和第二分类参数，并重复S901、S902和S903，直到Ec5和Er4满足预设的第四收敛条件，并在S905中，将Ec5和Er4满足预设的第四收敛条件时的第二分类参数和第四特征提取参数分别确定为该分类参数和该特征提取参数。

在本实施例中，该第四收敛条件例如可以是下式(1)，

E_c5+λE_r4 (1)

其中，λ是平衡因子。

在本实施例中，平衡因子λ可以满足如下的式(2)，

${\mathrm{\λ}}^t=\left\{\begin{array}{cc}{\mathrm{\λ}}^0& (t\≤t_0)\\ {\mathrm{\λ}}^0{a}^{t-t_0}& (t>t_0)\end{array}\right.---\left(2\right)$

其中，

λ⁰是平衡因子λ的初始值；

t是S901中进行特征提取的次数，即迭代的次数，并且，在第t₀次特征提取之后，本次特征提取对应的第四误差与前次特征提取对应的第四误差的差的绝对值小于阈值；

a是实数，且a∈(0,1)。

在本实施例中，上述第四收敛条件的说明只是举例，该第四收敛条件还可以是其它的条件，可以参考现有技术，本实施例不再赘述。

在本实施例中，在S904中调整第四特征提取参数和第二分类参数的方法例如可以是后向传播算法，根据该算法，该第四特征提取参数和第二分类参数能够被调整为使Er4和Ec5逐渐靠近上式(1)的条件。关于后向传播算法的详细说明，可以参考现有技术，本实施例不再赘述。

在本实施例中，如图9所示，还可以包括步骤S906：判断误差Ec5、Er4是否满足预设的第四收敛条件，判断为“是”，则执行S905，判断为“否”，则执行S904。

图10是本实施例的确定该特征提取参数和分类参数的方法的另一个流程示意图。如图10所示，该方法可以包括：

S1001，利用第五特征提取参数对该训练样本进行特征提取；

S1002，利用第三分类参数对特征提取输出进行分类；

S1003，利用第二重构参数对该特征提取输出进行重构；

S1004，计算重构输出与该训练样本所对应的标准字符图像的第六误差Er6，以及该分类输出与该训练样本类别的第七误差Ec7，

S1005，在Er6与Ec7不满足预设的第五收敛条件时，根据该第六误差Er6和该第七误差Ec7调整该第五特征提取参数、第三分类参数、以及该第二重构参数，并回到步骤S1001，以重复该特征提取、该分类、该重构和该计算；

S1006，在Er6与Ec7满足预设的第五收敛条件时，将第五特征提取参数确定为该特征提取参数，并将该第三分类参数确定为该分类参数。

在本实施例中，可以基于图5的DNN结构模型中的输入层501、特征提取模块502、分类模块503、分类输出层504、重构模块505和重构输出层506等来实现上述图10所示的方法。

在本实施例中，S1001、S1002和S1004中计算第七误差Ec7的步骤可以参考对图9的S901、S902和S903的说明，此处不再赘述。

在S1003和S1004中，可以由重构模块505和重构输出层506对S1001的特征提取输出进行重构，并计算重构输出与训练样本所对应的标准字符图像之间的第六误差Er6；并且，重构模块505中各隐含层和重构输出层504中全连接层的参数可以统称为第二重构参数，该第二重构参数的初始值可以被随机给定，然后在上述迭代处理过程中进行调整。

在本实施例中，该预设的第五收敛条件例如也可以与上式(1)类似，并且其中的平衡因子λ的含义也可以与上述的式(2)类似，在第五收敛条件中，上式(1)中的Ec5和Er4被替换为Ec7和Er6，上述的式(2)中的和被替换为和

在本实施例中，在S1005中调整第五特征提取参数、第三分类参数、以及第二重构参数的方法例如可以是后向传播算法，即，根据Er6调整重构模块505和重构输出层506中的参数，根据Ec7调整分类模块503和分类输出层504中的参数，并且，根据Ec7和Er6调整特征提取模块502中的参数。

根据上述算法，该第五特征提取参数、第三分类参数、以及第二重构参数能够被调整为使Er6和Ec7逐渐接近上式(1)的条件。关于后向传播算法的详细说明，可以参考现有技术，本实施例不再赘述。

在本实施例中，如图10所示，还可以包括步骤S1007：判断误差Ec7、Er6是否满足预设的第五收敛条件，判断为“是”，则执行S1006，判断为“否”，则执行S1005。

在本实施例中，在根据上述图6-图10的方法确定了特征提取参数和分类参数以后，在图1的步骤S302中，可以根据该特征提取参数和分类参数对输入的手写字符图像进行分类。

在本实施例中，可以基于图5的DNN结构模型中的输入层501、特征提取模块502、分类模块503和分类输出层504等来实现上述步骤S302。

例如，该特征提取模块502可以采用该特征提取参数对输入层501接收的输入的手写字符图像进行特征提取，分类模块503中的各隐含层和分类输出层504中的分类单元根据采用该分类参数作为各自的参数，对特征提取模块502的特征提出输出进行分类，并输出分类结果。具体可以参考现有技术，此处不再赘述。

根据本实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到更为优化的特征提取参数和分类参数，从而能够提高对输入的手写字符图像进行分类的准确性。

实施例2

本实施例提供一种对手写字符图像进行分类的分类器，与实施例1的分类方法对应。图11A是本申请实施例的对手写字符图像进行分类的分类器的组成示意图，如图11A所示，该分类器1100包括训练部1101和分类部1102。

其中，训练部1101根据训练样本的分类输出与训练样本类别的误差，以及训练样本的特征提取输出或重构输出与训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；分类部1102根据训练部1101所确定的特征提取参数和分类参数，对输入的手写字符图像进行分类。

根据本实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到进一步优化的特征提取参数和分类参数，提高了分类器的性能。

在本实施例的一个实施方式中，训练部可以分别训练并确定特征提取参数和分类参数。如图11B所示，训练部1101可以包括特征提取参数训练部1101A和分类参数训练部1101B，其中，特征提取参数训练部1101A可以用于确定特征提取参数，分类参数训练部1101B可以用于确定分类参数。

图12是本实施例的特征提取参数训练部的一个组成示意图，如图12所示，该特征提取参数训练部1200可以包括第一特征提取单元1201、第一计算单元1202和第一控制单元1203。

其中，该第一特征提取单元1201利用第一特征提取参数对训练样本进行特征提取；第一误差计算单元1202计算第一特征提取部的特征提取输出与训练样本所对应的标准字符图像的第一误差Er1；第一控制单元503在第一误差Er1不满足预设的第一收敛条件时，根据第一误差Er1调整第一特征提取参数，并使第一特征提取单元1201和第一误差计算单元1202重复特征提取和计算，直到第一误差Er1满足预设的第一收敛条件；并且，在第一误差Er1满足预设的第一收敛条件时，第一控制单元1203将第一特征提取参数确定为分类部1102所使用的该特征提取参数。

图13是本实施例的特征提取参数训练部的另一个组成示意图，如图13所示，该特征提取参数训练部1300可以包括第二特征提取单元1301、第一重构单元1302、第二计算单元1303和第二控制单元1304。

其中，第二特征提取单元1301利用第二特征提取参数对该训练样本进行特征提取；第一重构单元1302利用重构参数对该第二特征提取单元的特征提取输出进行重构；第二计算单元1303用于计算该第一重构单元的重构输出与该训练样本所对应的标准字符图像的第二误差Er2；第二控制单元1304，其在该第二误差Er2不满足预设的第二收敛条件时，根据该第二误差Er2调整该第二特征提取参数以及该重构参数，并使该第二特征提取单元、第一重构单元和该第二计算单元重复该特征提取、该重构和该计算，直到该第二误差Er2满足该预设的第二收敛条件；并且，在该第二误差Er2满足该预设的第二收敛条件时，第二控制单元1304将该第二特征提取参数确定为该特征提取参数。

图14是本实施例的分类参数训练部的一个组成示意图，如图14所示，该分类参数训练部1400可以包括第三特征提取单元1401、第一分类单元1402、第三计算单元1403和第三控制单元1404。

其中，第三特征提取单元1401利用该特征提取参数对该训练样本进行特征提取；第一分类单元1402利用第一分类参数对该第三特征提取单元的特征提取输出进行分类；第三计算单元1403用于计算该第一分类单元的分类输出与该训练样本类别的第三误差Ec3；第三控制单元1404，在该第三误差Ec3不满足预设的第三收敛条件时，根据该第三误差Ec3调整该第一分类参数，并使该第三特征提取单元、该第一分类单元和该第三计算单元重复该特征提取、该分类和该计算，直到该第二误差Ec3满足该预设的第三收敛条件；并且，在该第三误差Ec3满足该预设的第三收敛条件时，该第三控制单元1404将该第一分类参数确定为该分类参数。

在本实施例的另一个实施方式中，训练部可以同时训练并确定特征提取参数和分类参数。如图15所示，该训练部1500可以包括第四特征提取单元1501、第二分类单元1502、第四计算单元1503和第四控制单元。

其中，第四特征提取单元1501利用第四特征提取参数对该训练样本进行特征提取；第二分类单元1502利用第二分类参数对该第四特征提取单元的特征提取输出进行分类；第四计算单元1503计算该特征提取输出与该训练样本所对应的标准字符图像的第四误差Er4，以及该第二分类单元的分类输出与该训练样本类别的第五误差Ec5；第四控制单元1504，其在Er和Ec不满足预设的第四收敛条件时，根据该第四误差Er4和该第五误差Ec5调整该第四特征提取参数以及该第二分类参数，并使该第四特征提取单元、该第二分类单元和该第四计算单元重复该特征提取、该分类和该计算，直到Er4和Ec5满足该预设的第四收敛条件；并且，在Er4和Ec5满足预设的第四收敛条件时，该第四控制单元将该第四特征提取参数确定为该特征提取参数，并将该第二分类参数确定为该分类参数。

在本实施例的另一个实施方式中，如图16所示，该训练部1600可以包括第五特征提取单元1601、第三分类单元1602、第二重构单元1603、第五计算单元1604和第五控制单元1605。

其中，第五特征提取单元1601利用第五特征提取参数对该训练样本进行特征提取；第三分类单元1602利用第三分类参数对该第五特征提取单元的特征提取输出进行分类；第二重构单元1603利用第二重构参数对该特征提取输出进行重构；第五计算单元1604计算该第二重构单元的重构输出与该训练样本所对应的标准字符图像的第六误差Er6，以及该第三分类单元的分类输出与该训练样本类别的第七误差Ec7；第五控制单元1605，其在Ec和Er不满足预设的第五收敛条件时，根据该第六误差Er6和该第七误差Ec7调整该第五特征提取参数、第三分类参数、以及该第二重构参数，并使该第五特征提取单元、该第三分类单元、该第二重构单元和该第五计算单元重复该特征提取、该分类、该重构和该计算，直到Ec7和Er6满足该预设的第五收敛条件；并且，在Ec7和Er6满足该预设的第五收敛条件时，该第五控制单元将该第五特征提取参数确定为该特征提取参数，并将该第三分类参数确定为该分类参数。

由于该分类器解决问题的原理与实施例1的方法相同，关于上述各单元的实施，可参考实施例1中各步骤的实施，其内容被合并于此，本实施例不再赘述。

根据本实施例，在确定特征提取参数和分类参数时，考虑到了训练样本所对应的标准字符图像的特性，因此，能够得到更为优化的特征提取参数和分类参数，从而能够提高对输入的手写字符图像进行分类的准确性。

实施例3

本实施例提供一种对手写字符图像进行分类的分类装置。图17是本申请实施例的对手写字符图像进行分类的分类装置的组成示意图，如图17所示，该分类装置1700包括合成部1701和至少2个分类部1702，该分类部1702可以全部通过实施例2所述的分类器中的分类部1102来实现，也可以一部分通过实施例2所述的分类器中的分类部1102来实现，另一部分通过现有的其它类型的分类部来实现。

在本实施例中，合成部1701将各个分类部1102和1702对输入的手写字符图像进行分类的输出进行合成，以作为该分类装置1700的输出。该合成部1701的合成方式例如可以是对各个分类部1102和1702的输出进行投票，将投票结果进行输出。但是，本实施并不限于此，合成部还可以采用其他的合成方式，可以参照现有技术。

在本实施例中，该至少2个分类部1102中的每一个分类部所对应的标准字符图像的字体可以不同，由此，可以使该分类装置容易识别不同字体的手写字符图像，从而提高分类的准确性。

本发明实施例还提供一种计算机可读程序，其中当在信息处理装置或用户设备中执行所述程序时，所述程序使得计算机在所述信息处理装置或用户设备中执行实施例1所述的分类的方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在信息处理装置或用户设备中执行实施例1所述的分类方法。

本发明实施例还提供一种计算机可读程序，其中当在信息处理装置或基站中执行所述程序时，所述程序使得计算机在所述信息处理装置或基站中执行实施例1所述的分类的方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在信息处理装置或基站中执行实施例1所述的分类的方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种对手写字符图像进行分类的分类器，包括：

训练部，其根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

分类部，其根据所述训练部所确定的所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

附记2、如附记1所述的分类器，其中，所述训练部包括：

第一特征提取单元，其利用第一特征提取参数对所述训练样本进行特征提取；

第一计算单元，其计算所述第一特征提取单元的特征提取输出与所述训练样本所对应的标准字符图像的第一误差Er；

第一控制单元，其在所述第一误差Er不满足预设的第一收敛条件时，根据所述第一误差Er调整所述第一特征提取参数，并使所述第一特征提取单元和所述第一误差计算单元重复所述特征提取和所述计算，直到所述第一误差Er满足所述预设的第一收敛条件；

并且，在所述第一误差Er满足所述预设的第一收敛条件时，所述第一控制单元将所述第一特征提取参数确定为所述特征提取参数。

附记3、如附记1所述的分类器，其中，所述训练部包括：

第二特征提取单元，其利用第二特征提取参数对所述训练样本进行特征提取；

第一重构单元，其利用重构参数对所述第二特征提取单元的特征提取输出进行重构；

第二计算单元，其用于计算所述第一重构单元的重构输出与所述训练样本所对应的标准字符图像的第二误差Er，

第二控制单元，其在所述第二误差Er不满足预设的第二收敛条件时，根据所述第二误差Er调整所述第二特征提取参数以及所述重构参数，并使所述第二特征提取单元、第一重构单元和所述第二计算单元重复所述特征提取、所述重构和所述计算，直到所述第二误差Er满足所述预设的第二收敛条件；

并且，在所述第二误差Er满足所述预设的第二收敛条件时，所述第二控制单元将所述第二特征提取参数确定为所述特征提取参数。

附记4、如附记2或3所述的分类器，其中，所述训练部还包括：

第三特征提取单元，其利用所述特征提取参数对所述训练样本进行特征提取；

第一分类单元，其利用第一分类参数对所述第三特征提取单元的特征提取输出进行分类；

第三计算单元，其用于计算所述第一分类单元的分类输出与所述训练样本类别的第三误差Ec，

第三控制单元，其在所述第三误差Ec不满足预设的第三收敛条件时，根据所述第三误差Ec调整所述第一分类参数，并使所述第三特征提取单元、所述第一分类单元和所述第三计算单元重复所述特征提取、所述分类和所述计算，直到所述第二误差Ec满足所述预设的第三收敛条件；

并且，在所述第三误差Ec满足所述预设的第三收敛条件时，所述第三控制单元将所述第一分类参数确定为所述分类参数。

附记5、如附记1所述的分类器，其中，所述训练部包括：

第四特征提取单元，其利用第四特征提取参数对所述训练样本进行特征提取，

第二分类单元，其利用第二分类参数对所述第四特征提取单元的特征提取输出进行分类，

第四计算单元，其计算所述特征提取输出与所述训练样本所对应的标准字符图像的第四误差Er，以及所述第二分类单元的分类输出与所述训练样本类别的第五误差Ec，

第四控制单元，其在下式(1)不满足预设的第四收敛条件时，根据所述第四误差Er和所述第五误差Ec调整所述第四特征提取参数以及所述第二分类参数，并使所述第四特征提取单元、所述第二分类单元和所述第四计算单元重复所述特征提取、所述分类和所述计算，直到下式(1)满足所述预设的第四收敛条件；

并且，在下式(1)满足所述预设的第四收敛条件时，所述第四控制单元将所述第四特征提取参数确定为所述特征提取参数，并将所述第二分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

附记6、如附记1所述的分类器，其中，所述训练部包括：

第五特征提取单元，其利用第五特征提取参数对所述训练样本进行特征提取；

第三分类单元，其利用第三分类参数对所述第五特征提取单元的特征提取输出进行分类；

第二重构单元，其利用第二重构参数对所述特征提取输出进行重构；

第五计算单元，其计算所述第二重构单元的重构输出与所述训练样本所对应的标准字符图像的第六误差Er，以及所述第三分类单元的分类输出与所述训练样本类别的第七误差Ec，

第五控制单元，其在下式(1)不满足预设的第五收敛条件时，根据所述第六误差Er和所述第七误差Ec调整所述第五特征提取参数、第三分类参数、以及所述第二重构参数，并使所述第五特征提取单元、所述第三分类单元、所述第二重构单元和所述第五计算单元重复所述特征提取、所述分类、所述重构和所述计算，直到下式(1)满足所述预设的第五收敛条件；

并且，在下式(1)满足所述预设的第五收敛条件时，所述第五控制单元将所述第五特征提取参数确定为所述特征提取参数，并将所述第三分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

附记7、如附记5或6所述的分类器，其中，所述平衡系数λ满足如下的式(2)

${\mathrm{\λ}}^t=\left\{\begin{array}{cc}{\mathrm{\λ}}^0& (t\≤t_0)\\ {\mathrm{\λ}}^0{a}^{t-t_0}& (t>t_0)\end{array}\right.---\left(2\right)$

其中，

λ⁰是平衡系数λ的初始值，

t是所述特征提取或重构的次数，并且，在第t₀次特征提取或重构之后，本次特征提取或重构对应的第四误差或第六误差与前次特征提取或重构对应的第四误差或第六误差的差的绝对值小于阈值，

a是实数，且a∈(0,1)。

附记8、一种对手写字符图像进行分类的分类装置，所述分类装置具有合成部和至少2个如附记1-7中的任一项所述的分类器的分类部，并且，所述合成部将所述至少2个分类部对输入的手写字符图像分类的输出进行合成，以作为该分类装置的输出，

其中，每个所述分类部所对应的标准字符图像的字体不同。

附记9、一种对手写字符图像进行分类的方法，包括：

根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

根据所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

附记10、如附记9所述的方法，其中，确定所述特征提取参数包括：

利用第一特征提取参数对所述训练样本进行特征提取；

计算特征提取输出与所述训练样本所对应的标准字符图像的第一误差Er；

在所述第一误差Er不满足预设的第一收敛条件时，根据所述第一误差Er调整所述第一特征提取参数，以重复所述特征提取和所述计算；

在所述第一误差Er满足所述预设的第一收敛条件时，将所述第一特征提取参数确定为所述特征提取参数。

附记11、如附记9所述的方法，其中，确定所述特征提取参数包括：

利用第二特征提取参数对所述训练样本进行特征提取；

利用重构参数对特征提取输出进行重构；

计算重构输出与所述训练样本所对应的标准字符图像的第二误差Er，

在所述第二误差Er不满足预设的第二收敛条件时，根据所述第二误差Er调整所述第二特征提取参数，以及所述重构参数，以重复所述特征提取、所述重构和所述计算；

在所述第二误差Er满足所述预设的第二收敛条件时，将所述第二特征提取参数确定为所述特征提取参数。

附记12、如附记10或11所述的方法，其中，确定所述分类参数包括：

利用所述特征提取参数对所述训练样本进行特征提取；

利用第一分类参数对特征提取输出进行分类；

计算分类输出与所述训练样本类别的第三误差Ec，

在所述第三误差Ec不满足预设的第三收敛条件时，根据所述第三误差Ec调整所述第一分类参数，以重复所述特征提取、所述分类和所述计算；

在所述第三误差Ec满足所述预设的第三收敛条件时，将所述第一分类参数确定为所述分类参数。

附记13、如附记9所述的方法，其中，确定所述特征提取参数和所述分类参数包括：

利用第四特征提取参数对所述训练样本进行特征提取，

利用第二分类参数对特征提取输出进行分类，

计算所述特征提取输出与所述训练样本所对应的标准字符图像的第四误差Er，以及分类输出与所述训练样本类别的第五误差Ec，

在下式(1)不满足预设的第四收敛条件时，根据所述第四误差Er和所述第五误差Ec调整所述第四特征提取参数，以及所述第二分类参数，以重复所述特征提取、所述分类和所述计算；

在下式(1)满足所述预设的第四收敛条件时，将所述第四特征提取参数确定为所述特征提取参数，并将所述第二分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

附记14、如附记9所述的方法，其中，确定所述特征提取参数和所述分类参数包括：

利用第五特征提取参数对所述训练样本进行特征提取；

利用第三分类参数对特征提取输出进行分类；

利用第二重构参数对所述特征提取输出进行重构；

计算重构输出与所述训练样本所对应的标准字符图像的第六误差Er，以及所述分类输出与所述训练样本类别的第七误差Ec，

在下式(1)不满足预设的第五收敛条件时，根据所述第六误差Er和所述第七误差Ec调整所述第五特征提取参数、第三分类参数、以及所述第二重构参数，以重复所述特征提取、所述分类、所述重构和所述计算；

在下式(1)满足所述预设的第五收敛条件时，将所述第五特征提取参数确定为所述特征提取参数，并将所述第三分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

附记15、如附记13或14所述的方法，其中，所述平衡系数λ满足如下的式(2)

${\mathrm{\λ}}^t=\left\{\begin{array}{cc}{\mathrm{\λ}}^0& (t\≤t_0)\\ {\mathrm{\λ}}^0{a}^{t-t_0}& (t>t_0)\end{array}\right.---\left(2\right)$

其中，

λ⁰是平衡系数λ的初始值，

t是所述特征提取或重构的次数，并且，在第t₀次特征提取或重构之后，本次特征提取或重构对应的第四误差或第六误差与前次特征提取或重构对应的第四误差或第六误差的差的绝对值小于阈值，

a是实数，且a∈(0,1)。

Claims (10)

1.一种对手写字符图像进行分类的分类器，包括：

训练部，其根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

分类部，其根据所述训练部所确定的所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

2.如权利要求1所述的分类器，其中，所述训练部包括：

第一特征提取单元，其利用第一特征提取参数对所述训练样本进行特征提取；

第一计算单元，其计算所述第一特征提取单元的特征提取输出与所述训练样本所对应的标准字符图像的第一误差；

第一控制单元，其在所述第一误差不满足预设的第一收敛条件时，根据所述第一误差调整所述第一特征提取参数，并使所述第一特征提取单元和所述第一误差计算单元重复所述特征提取和所述计算，直到所述第一误差满足所述预设的第一收敛条件；

并且，在所述第一误差满足所述预设的第一收敛条件时，所述第一控制单元将所述第一特征提取参数确定为所述特征提取参数。

3.如权利要求1所述的分类器，其中，所述训练部包括：

第二特征提取单元，其利用第二特征提取参数对所述训练样本进行特征提取；

第一重构单元，其利用重构参数对所述第二特征提取单元的特征提取输出进行重构；

第二计算单元，其用于计算所述第一重构单元的重构输出与所述训练样本所对应的标准字符图像的第二误差，

第二控制单元，其在所述第二误差不满足预设的第二收敛条件时，根据所述第二误差调整所述第二特征提取参数以及所述重构参数，并使所述第二特征提取单元、第一重构单元和所述第二计算单元重复所述特征提取、所述重构和所述计算，直到所述第二误差满足所述预设的第二收敛条件；

并且，在所述第二误差满足所述预设的第二收敛条件时，所述第二控制单元将所述第二特征提取参数确定为所述特征提取参数。

4.如权利要求2或3所述的分类器，其中，所述训练部还包括：

第三特征提取单元，其利用所述特征提取参数对所述训练样本进行特征提取；

第一分类单元，其利用第一分类参数对所述第三特征提取单元的特征提取输出进行分类；

第三计算单元，其用于计算所述第一分类单元的分类输出与所述训练样本类别的第三误差，

第三控制单元，其在所述第三误差不满足预设的第三收敛条件时，根据所述第三误差调整所述第一分类参数，并使所述第三特征提取单元、所述第一分类单元和所述第三计算单元重复所述特征提取、所述分类和所述计算，直到所述第二误差满足所述预设的第三收敛条件；

并且，在所述第三误差满足所述预设的第三收敛条件时，所述第三控制单元将所述第一分类参数确定为所述分类参数。

5.如权利要求1所述的分类器，其中，所述训练部包括：

第四特征提取单元，其利用第四特征提取参数对所述训练样本进行特征提取，

第二分类单元，其利用第二分类参数对所述第四特征提取单元的特征提取输出进行分类，

第四计算单元，其计算所述特征提取输出与所述训练样本所对应的标准字符图像的第四误差Er，以及所述第二分类单元的分类输出与所述训练样本类别的第五误差Ec，

第四控制单元，其在下式(1)不满足预设的第四收敛条件时，根据所述第四误差Er和所述第五误差Ec调整所述第四特征提取参数以及所述第二分类参数，并使所述第四特征提取单元、所述第二分类单元和所述第四计算单元重复所述特征提取、所述分类和所述计算，直到下式(1)满足所述预设的第四收敛条件；

并且，在下式(1)满足所述预设的第四收敛条件时，所述第四控制单元将所述第四特征提取参数确定为所述特征提取参数，并将所述第二分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

6.如权利要求1所述的分类器，其中，所述训练部包括：

第五特征提取单元，其利用第五特征提取参数对所述训练样本进行特征提取；

第三分类单元，其利用第三分类参数对所述第五特征提取单元的特征提取输出进行分类；

第二重构单元，其利用第二重构参数对所述特征提取输出进行重构；

第五计算单元，其计算所述第二重构单元的重构输出与所述训练样本所对应的标准字符图像的第六误差Er，以及所述第三分类单元的分类输出与所述训练样本类别的第七误差Ec，

第五控制单元，其在下式(1)不满足预设的第五收敛条件时，根据所述第六误差Er和所述第七误差Ec调整所述第五特征提取参数、第三分类参数、以及所述第二重构参数，并使所述第五特征提取单元、所述第三分类单元、所述第二重构单元和所述第五计算单元重复所述特征提取、所述分类、所述重构和所述计算，直到下式(1)满足所述预设的第五收敛条件；

并且，在下式(1)满足所述预设的第五收敛条件时，所述第五控制单元将所述第五特征提取参数确定为所述特征提取参数，并将所述第三分类参数确定为所述分类参数，

E_c+λE_r (1)，

其中，λ是平衡系数。

7.如权利要求5或6所述的分类器，其中，所述平衡系数λ满足如下的式(2)

${\mathrm{\λ}}^t=\left\{\begin{array}{c}{\mathrm{\λ}}^0(t\≤t_0)\\ {\mathrm{\λ}}^0{a}^{t-t_0}(t>t_0)\end{array}\right.---\left(2\right)$

其中，

λ⁰是平衡系数λ的初始值，

t是所述特征提取或重构的次数，并且，在第t₀次特征提取或重构之后，本次特征提取或重构对应的第四误差或第六误差与前次特征提取或重构对应的第四误差或第六误差的差的绝对值小于阈值，

a是实数，且a∈(0,1)。

8.一种对手写字符图像进行分类的分类装置，所述分类装置具有合成部和至少2个如权利要求1-7中的任一项所述的分类器的分类部，并且，所述合成部将所述至少2个分类部对输入的手写字符图像分类的输出进行合成，以作为该分类装置的输出，

其中，每个所述分类部所对应的标准字符图像的字体不同。

9.一种对手写字符图像进行分类的方法，包括：

根据训练样本的分类输出与所述训练样本类别的误差，以及所述训练样本的特征提取输出或重构输出与所述训练样本所对应的标准字符图像的误差，来确定特征提取参数和分类参数；

根据所述特征提取参数和分类参数，对输入的手写字符图像进行分类。

10.如权利要求9所述的方法，其中，确定所述特征提取参数包括：

利用第一特征提取参数对所述训练样本进行特征提取；

计算特征提取输出与所述训练样本所对应的标准字符图像的第一误差；

在所述第一误差不满足预设的第一收敛条件时，根据所述第一误差调整所述第一特征提取参数，以重复所述特征提取和所述计算；

在所述第一误差满足所述预设的第一收敛条件时，将所述第一特征提取参数确定为所述特征提取参数。