CN103679185A

CN103679185A - 卷积神经网络分类器系统、其训练方法、分类方法和用途

Info

Publication number: CN103679185A
Application number: CN201210320318.9A
Authority: CN
Inventors: 吴春鹏; 范伟; 何源; 孙俊; 直井聪
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2014-03-26
Anticipated expiration: 2032-08-31
Also published as: JP2014049118A; JP6209879B2; CN103679185B

Abstract

本发明涉及卷积神经网络分类器系统、其训练方法、分类方法和用途。该卷积神经网络分类器系统包括：相互异构的M种卷积神经网络分类器，M为大于1的整数；其中，每一种卷积神经网络分类器包括多个相互同构的卷积神经网络分类器。

Description

卷积神经网络分类器系统、其训练方法、分类方法和用途

技术领域

本发明涉及分类器，具体涉及卷积神经网络（Convolutional Neuralnetwork，简称CNN）分类器系统及其用途、卷积神经网络分类器系统的训练方法、以及利用卷积神经网络分类器系统对对象进行分类的方法及其用途。

背景技术

到目前为止，离线手写数字识别仍是个难题。近年来，基于卷积神经网络的识别方法实现了目前的技术发展水平。但是，目前的识别方法的辨识率是有限的。

针对该技术问题，需要一种高辨识率、高效率的识别方法或分类方法。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供一种卷积神经网络分类器系统及其用途、卷积神经网络分类器系统的训练方法、以及利用卷积神经网络分类器系统对对象进行分类的方法及其用途。

根据本发明的一个方面，提供了一种卷积神经网络分类器系统，包括：相互异构的M种卷积神经网络分类器，M为大于1的整数；其中，每一种卷积神经网络分类器包括多个相互同构的卷积神经网络分类器。

根据本发明的另一个方面，提供了一种对前述卷积神经网络分类器系统进行训练的方法，包括：利用训练样本训练级联结构中的所有级中的卷积神经网络分类器，其中，对于每一级卷积神经网络分类器中的多个卷积神经网络分类器，分别对原始训练样本进行随机变形；利用第一级卷积神经网络分类器对原始训练样本进行分类；利用第一级卷积神经网络分类器难以分类的训练样本作为训练第二级卷积神经网络分类器的全体训练样本，训练第二级卷积神经网络分类器；以及对第二级卷积神经网络分类器至第M级卷积神经网络分类器中的任意两个相邻级别依次重复前述步骤。

根据本发明的再一方面，还提供了一种利用前述卷积神经网络分类器系统对对象进行分类的方法，包括：利用第一级卷积神经网络分类器对对象进行分类；利用第二级卷积神经网络分类器对第一级卷积神经网络分类器难以分类的对象进行分类；以及对第二级卷积神经网络分类器至第M级卷积神经网络分类器中的所有两个相邻级别依次重复前述步骤。

此外，还提供了一种前述卷积神经网络分类器系统用于识别数字的用途。

此外，还提供了一种前述的分类方法用于识别数字的用途。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了根据本发明的一个实施例的卷积神经网络分类器系统100的框图；

图2示出了根据本发明的另一个实施例的卷积神经网络分类器系统200的框图；

图3示出了空间线性采样型卷积神经网络分类器的示意图；

图4示出了空间线性采样的操作方法；

图5示出了随机省略一部分层间连接的空间线性采样型卷积神经网络分类器的示意图；

图6示出了空间非线性采样型卷积神经网络分类器的示意图；

图7示出了空间非线性采样的操作过程的示意图；

图8示出了随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器的示意图；

图9示出了没有空间采样层的卷积神经网络分类器的示意图；

图10示出了随机省略一部分层间连接的没有空间采样层的卷积神经网络分类器的示意图；

图11示出了卷积神经网络分类器系统的训练方法1100的流程图；

图12示出了利用卷积神经网络分类器系统对对象进行分类的方法1200的流程图；以及

图13是示出可以用于实施本发明的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1示出了根据本发明的实施例的卷积神经网络分类器系统100的框图。

如图1所示，卷积神经网络分类器系统100包括：相互异构的M种卷积神经网络分类器，即，第一种卷积神经网络分类器T1至第M种卷积神经网络分类器TM。其中，M为大于1的整数。

每一种卷积神经网络分类器包括多个相互同构的卷积神经网络分类器。如图1所示，第一种卷积神经网络分类器T1包括三个卷积神经网络分类器CNN-1，第二种卷积神经网络分类器T2包括三个卷积神经网络分类器CNN-2，第M种卷积神经网络分类器TM包括三个卷积神经网络分类器CNN-M。

此处，尽管示例性地示出了每一种卷积神经网络分类器包括三个相互同构的卷积神经网络分类器，但实际上，每一种卷积神经网络分类器所包括的卷积神经网络分类器的数量不限于三个，而可以是任意数目，并且可以彼此不同。

图2示出了根据本发明的实施例的卷积神经网络分类器系统200的框图。

如图2所示，卷积神经网络分类器系统200包括三种卷积神经网络分类器，分别为第一种卷积神经网络分类器T1、第二种卷积神经网络分类器T2和第三种卷积神经网络分类器T3。这三种卷积神经网络分类器相互异构，并且被布置为3级的级联结构。

如图2所示，第一级卷积神经网络分类器T1可以对待分类的对象进行分类。第二级卷积神经网络分类器T2可以对第一级卷积神经网络分类器T1难以分类的对象进行分类。第三级卷积神经网络分类器T3用于对第二级卷积神经网络分类器T2难以分类的对象进行分类。利用所有级的卷积神经网络分类器对所有级的卷积神经网络分类器都难以分类的对象投票（此处，即第三级卷积神经网络分类器难以分类的对象）以确定对象的类别。例如，本文提到的“难以分类”可以表示对待分类的对象分类错误或识别错误，或者表示对待分类的对象分类正确或识别正确但置信度较低。

每一级卷积神经网络分类器可以包括多个相互同构的卷积神经网络分类器。例如，每一级卷积神经网络分类器内的多个相互同构的卷积神经网络分类器可以通过投票来对对象进行分类。

尽管在图2中仅示出了3级的级联结构，但这只是一个示例。实际上，卷积神经网络分类器系统200可以是具有两个级别以上的任意级联结构。假设，卷积神经网络分类器系统200是具有M个级别的级联结构，则在对对象进行分类时，对第一级卷积神经网络分类器至第M级卷积神经网络分类器中的所有两个相邻级别依次进行前述操作，即，当前级卷积神经网络分类器对待分类的对象进行分类，用下一级卷积神经网络分类器进一步对当前级别难以分类的对象进行分类。

此外，为了充分利用相互异构的第一种卷积神经网络分类器T1、第二种卷积神经网络分类器T2和第三种卷积神经网络分类器T3来高效准确地对对象进行分类，可以根据不同种类的卷积神经网络分类器的属性来布置级联结构。例如，可以按照下述方式布置级联结构中的各级卷积神经网络分类器：将对各种类别样本的效果比较平均的卷积神经网络分类器布置在级联结构中的靠前级别，将对特定类别样本有突出效果的卷积神经网络分类器布置在级联结构中的中间级别。此外，可以将稀疏连接型的广义卷积神经网络分类器布置在级联结构中的靠后级别。

根据本发明的级联结构中的各级卷积神经网络分类器可以选自，但不限于：a)空间线性采样型卷积神经网络分类器；b)随机省略一部分层间连接的空间线性采样型卷积神经网络分类器；c)空间非线性采样型卷积神经网络分类器；d)随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器；e)没有空间采样层的卷积神经网络分类器；以及f）随机省略一部分层间连接的没有空间采样层的卷积神经网络分类器。

以下将参照图3至图10来描述上述六种相互异构的卷积神经网络分类器。

图3示出了空间线性采样型卷积神经网络分类器的示意图。图4示出了空间线性采样的操作方法。

如图3所示，空间线性采样型卷积神经网络分类器的典型结构（“FM”代表特征图）包括：一个输入层，交替出现的卷积层和空间线性采样层，最后是输出层。其中，卷积层和空间线性采样层交替出现的次数不限。

空间线性采样的操作方法如图4所示，就是把一个2x2的块与同样大小的一个线性窗函数进行点对点乘法再加在一起（实际大小不局限于2x2）。图3中处于连线两端的特征图之间的关系是：处于连线右侧的特征图是由连线左侧的特征图经卷积或空间线性采样得到的。

以下描述卷积操作。比如图3中输入图像和特征图FM11之间有连线，而且这个连线表示卷积操作，那么这个连线本身就对应着一个模板，FM11的计算式如下：

FM11=输入图像*连线上的模板

其中，*在此处表示卷积操作。

又比如图3中的FM31和FM21、FM22都有连接，而且这两个连线表示卷积操作，那么这两个连线本身就分别对应着一个模板，FM32的计算式如下：

FM31=FM21*连线上的模板+FM22*连线上的模板

其中，*表示卷积操作。

以下描述空间线性采样操作。空间线性采样的操作方法如图4所示，图4中的FM31、FM41与图3中的FM31、FM41相对应。把特征图FM31上的一个2x2的像素块与同样大小的一个线性窗函数进行点对点乘法再加在一起，将相加的结果赋值给特征图FM41上的对应像素，计算公式如下：

S_i＝P_i·W_i(i＝1,2,3,4)

实际使用时，像素块的大小和线性窗函数的不局限于2x2，线性窗函数可以被任意设置。

图5示出了随机省略一部分层间连接的空间线性采样型卷积神经网络分类器的示意图。

图5所示的卷积神经网络分类器结构与如图3所示的空间线性采样型卷积神经网络分类器的区别在于，某些特征图之间的连接被随机去掉了（比如FM21和FM31之间的连接），即，空间线性采样型卷积神经网络分类器+随机稀疏连接。

图6示出了空间非线性采样型卷积神经网络分类器的示意图。

如图6所示的空间非线性采样型卷积神经网络分类器的结构与如图3所示的空间线性采样型卷积神经网络分类器的区别在于，图6所示的空间非线性采样型卷积神经网络分类器采用了空间非线性采样的操作方法。图7示出了空间非线性采样的操作过程的示意图。

空间非线性采样的操作方法如图7所示，图7中的FM31、FM41与图6中的FM31、FM41相对应。把特征图FM31上的一个2x2的像素块送入一个非线性窗函数，将结果赋值给特征图FM41上的对应像素。实际使用时，像素块的大小和线性窗函数的不局限于2x2，非线性窗函数设置任意，一些比较常见的非线性窗函数包括：取最大、取最小、取中位数等。

图8示出了随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器（即，空间非线性采样型卷积神经网络分类器+随机稀疏连接）的示意图。

如图8所示的随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器与图5的空间非线性采样型卷积神经网络分类器的区别在于，图8所示的随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器中某些特征图之间的连接被随机去掉了，比如FM21和FM31之间的连接。

图9示出了没有空间采样层的卷积神经网络分类器的示意图。

如图9所示的没有空间采样层的卷积神经网络分类器与之前4种卷积神经网络分类器的区别在于，图9所示的没有空间采样层的卷积神经网络分类器没有空间线性采样层和空间非线性采样层。

图10示出了随机省略一部分层间连接的没有空间采样层的卷积神经网络分类器（即，没有空间采样层的卷积神经网络分类器+随机稀疏连接）的示意图。

如图10所示的没有空间采样层的卷积神经网络分类器+随机稀疏连接的典型结构与如图9所示的没有空间采样层的卷积神经网络分类器的区别在于，某些特征图之间的连接被随机去掉了，比如FM31和FM51之间的连接。

在根据本发明的一个实施例中，卷积神经网络分类器系统100或200还可以包括用于在该卷积神经网络分类器对对象分类时计算置信度的置信度计算分类器（在图1和图2中未示出）。

在实际使用卷积神经网络分类器时，给定一个待识别样本，卷积神经网络分类器需要输出两个值：预测出的数字和对应的置信度。针对级联结构中的每一级中的每个卷积神经网络分类器，用该卷积神经网络分类器对其训练样本分类，对每一个训练样本从该卷积神经网络分类器抽取各个层的至少部分节点的响应值，并基于响应值训练置信度计算分类器。这样，充分利用了卷积神经网络分类器每层上的信息，而不是特定的某一层上的信息。

具体而言，对于一个卷积神经网络分类器，训练置信度计算分类器的过程如下：给定一个训练样本，送入卷积神经网络分类器进行前向传播，提取每层的至少部分神经元节点的响应值，利用响应值训练置信度计算分类器。在实际识别的过程中，将当前待识别的对象送入卷积神经网络分类器并前向传播，从而得到该卷积神经网络分类器的分类结果。同时提取所述至少部分神经元节点的响应值，基于该响应值并利用之前训练好的置信度计算分类器来计算置信度。

以下以置信度计算分类器为支持向量机的情况为例来进行描述。

给定一个训练样本，送入卷积神经网络分类器进行前向传播，提取每层的至少部分神经元节点的响应值以构成特征向量（并记录样本类别），即对每个训练样本都构成一个特征向量。把所有特征向量送入支持向量机（Support Vector Machine,SVM）进行训练，得到每个类别的支撑向量。将这些支撑向量用于计算置信度，具体如下：在实际识别过程中，当前待识别样本送入卷积神经网络分类器并前向传播后，得到该卷积神经网络分类器的分类结果。同时提取选定的神经元节点响应值构成特征向量，计算这个特征向量到预测的数字所对类别支撑向量的距离，该距离的倒数即作为置信度。

尽管以上描述了描述该置信度计算分类器为支持向量机的情况，但是应当理解到，此处的置信度计算分类器可以是任意类型的适当分类器，而不限于支持向量机。

图11示出了卷积神经网络分类器系统的训练方法1100的流程图。

如图11所示，在步骤S1102中，利用训练样本训练级联结构中的所有级中的卷积神经网络分类器。其中，对于每一级卷积神经网络分类器中的多个卷积神经网络分类器，分别对原始训练样本进行随机变形。通过随机变形有利于丰富训练样本。这样，通过利用变形后的原始训练样本对所有卷积神经网络分类器进行训练，使得这些卷积神经网络分类器具有一定的分类性能，以便于接下来的分级训练。

在步骤S1104中，可以将循环控制变量N的初始值设置为1。

在步骤S1106中，可以利用第N级卷积神经网络分类器对原始训练样本进行分类。

在步骤S1108中，可以利用第N级卷积神经网络分类器难以分类的训练样本作为训练第N+1级卷积神经网络分类器的全体训练样本，并训练第N+1级卷积神经网络分类器。其中，可以根据置信度和/或每个训练样本本身的已知标记来判断每个卷积神经网络分类器是否难以对训练样本进行分类。

在步骤S1110中，将循环控制变量N递增1。

在步骤S1112中，判断循环控制变量N是否大于等于M，M为级联结构的级别数，M≥2。

如果在步骤S1112中判断出N小于M，则返回到步骤S1116。如果在步骤S1112中判断出N大于等于M，则结束流程。

此外，可以在构建级联结构之前训练若干个卷积神经网络分类器，每个卷积神经网络分类器都是上述6种异构结构之一。训练方法直接采用经典的随机梯度下降法。对每个卷积神经网络分类器训练多轮，每轮用多个样本。训练过程中每个样本送入卷积神经网络分类器的过程如下：给定一个样本，对该样本做随机变形（随机旋转或平移），然后将变形后的样本送入卷积神经网络分类器，进行前向传播，再根据随机梯度下降方法进行后向传播，后向传播过程中会修改卷积神经网络分类器各层上的参数。

接下来，根据一定原则挑选训练好的部分卷积神经网络分类器构成级联分类器。

对每个训练好的卷积神经网络分类器，用所有训练样本计算如下数值：当前卷积神经网络分类器在每类样本上的错误率，当前卷积神经网络分类器在所有样本上的平均错误率。然后根据计算出的数值将所有训练好的卷积神经网络分类器分成三类：（1）稀疏连接型的卷积神经网络分类器；（2）除（1）外平均错误率较低的卷积神经网络分类器；以及（3）在某一类样本上具有较低错误率的卷积神经网络分类器。然后从上述每类卷积神经网络分类器中各挑选出部分卷积神经网络分类器用于级联结构。优选地，按照以下方式来布置级联结构：第（2）类卷积神经网络分类器布置在级联结构中靠前的级别，第（3）类卷积神经网络分类器布置在级联结构中的中间级别，第（1）类布置在级联结构中靠后的级别。

此外，还可以利用置信度计算分类器计算置信度。首先，训练置信度计算分类器。具体而言，针对级联结构中的每一级中的每个卷积神经网络分类器，用该卷积神经网络分类器对其训练样本分类，对每一个训练样本从该卷积神经网络分类器抽取各个层的至少部分节点的响应值；以及利用响应值训练置信度计算分类器。然后，在该卷积神经网络分类器对对象分类时，利用置信度计算分类器计算置信度。优选地，所述各个层的至少部分节点包括倒数第二层的至少部分节点。

图12示出了利用卷积神经网络分类器系统对对象进行分类的方法1200的流程图。

如图12所示，在步骤S1202中，将循环控制变量N的初始值设置为1。

在步骤S1204中，利用第N级卷积神经网络分类器对对象进行分类。

在步骤S1206中，利用第N+1级卷积神经网络分类器对第N级卷积神经网络分类器难以分类的对象进行分类。

在步骤S1208中，将循环控制变量N递增1。

在步骤S1210中，判断N是否大于等于M，其中M为级联结构的级别数，M≥2。

如果在步骤S1210中判断出N小于M，则返回到步骤S1204。如果在步骤S1210中判断出M大于等于M，则结束流程。

此外，可以利用置信度计算分类器来计算置信度。针对每个要分类的对象，抽取级联结构中的每一级的每个卷积神经网络分类器对每一个训练样本分类时的相应节点的响应值；以及基于响应值，利用置信度计算分类器计算置信度。所述预定节点包括倒数第二层的至少部分节点。

根据置信度来判断每级中的每个卷积神经网络分类器是否难以对对象进行分类。

根据本发明的卷积神经网络分类器系统可以用于识别数字。利用卷积神经网络分类器系统的分类方法也可以用于识别数字。

以下将描述具有三级级联结构的卷积神经网络分类器系统进行手写字符识别的过程，这里将用到置信度。

首先，给定一个待识别对象，将其送入第一级卷积神经网络分类器。该级卷积神经网络分类器输出两个值：预测的数字和对应的置信度。若置信度大于事先给定的阈值，则识别结果可信，直接输出识别结果，不再继续后面的步骤。否则，该待识别对象将被送入第二级卷积神经网络分类器，重复在第一级卷积神经网络分类器时的过程。如果置信度小于事先给定的阈值，则该待识别对象将被送入第三级卷积神经网络分类器，重复在第一级卷积神经网络分类器时的过程。如果经过第三级卷积神经网络分类器后置信度还是小于事先给定的阈值，则该待识别对象的识别结果将由所有级的卷积神经网络分类器投票得到。

要注意，此处的每级卷积神经网络分类器可以包括多个相互同构的卷积神经网络分类器。此时每级的输出由该级内的所有卷积神经网络分类器投票决定，置信度基于该级内所有卷积神经网络分类器的置信度，例如，可以取该级内所有卷积神经网络分类器输出置信度的平均值。

本发明的技术对国际标准手写数字库MNIST的识别正确率好于部分国际知名方法，特别是一些纯粹基于单一类型卷积神经网络分类器的方法。以下描述本发明的技术取得较好技术效果的原因。

首先，本发明的技术利用多种异构卷积神经网络分类器之间的非相关性，从而提高了投票对提高识别正确率的作用。多分类器投票可以达到更高的识别率，但能够达到更高的识别率有一个前提：这些分类器应该是非相关的，如具有异构等特点。同一类型的大量分类器投票不一定能在很大程度上提高识别率。本发明的技术采用多种异构卷积神经网络分类器进行投票正好可以满足上述非相关前提。

其次，本发明的技术比部分已有方法更充分地利用了卷积神经网络分类器提供的模式信息。本发明的技术利用从卷积神经网络分类器各层上抽取的部分特征图形成特征向量来度量卷积神经网络分类器识别结果的置信度，这充分利用了卷积神经网络分类器各层提供的信息，而不局限于只利用卷积神经网络分类器最后一层提供的信息。从模式识别理论来看，卷积神经网络分类器网络中每个层次的神经元节点都提供了一定的模式信息，如果只用最后一层则丢失掉中间各层提供的模式信息。

此外，本发明的技术与不基于卷积神经网络分类器的已有手写数字识别方法相比，本发明的技术所采用的卷积神经网络分类器结构能够自动从输入样本中学习到大量有效但事先未知的特征，而已有方法则往往需要人工事先设定需要提取的特征，因此已有方法所提取的特征数量非常有限且特征设计阶段较为消耗人力。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图13所示的通用计算机1300安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图13中，中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此链路。输入/输出接口1305也链路到总线1304。

下述部件链路到输入/输出接口1305：输入部分1306（包括键盘、鼠标等等）、输出部分1307（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分1308（包括硬盘等）、通信部分1309（包括网络接口卡比如LAN卡、调制解调器等）。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可链路到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图13所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘（包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机（例如图13所示的通用计算机1300）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

基于以上的说明，可知公开至少公开了以下技术方案：

附记1.一种卷积神经网络分类器系统，包括：

相互异构的M种卷积神经网络分类器，M为大于1的整数；

其中，每一种卷积神经网络分类器包括多个相互同构的卷积神经网络分类器。

附记2．根据附记1所述的卷积神经网络分类器系统，其中，将所述相互异构的M种卷积神经网络分类器布置为M级的级联结构。

附记3.根据附记2所述的卷积神经网络分类器系统，其中，

第一级卷积神经网络分类器用于对对象进行分类；

第二级卷积神经网络分类器用于对所述第一级卷积神经网络分类器难以分类的对象进行分类；以及

对所述第二级卷积神经网络分类器至第M级卷积神经网络分类器中的所有两个相邻级别依次重复前述操作。

附记4.根据附记2所述的卷积神经网络分类器系统，其中，每一级卷积神经网络分类器内的所述多个相互异构的卷积神经网络分类器通过投票来对所述对象进行分类。

附记5.根据附记2至4中任一项所述的卷积神经网络分类器系统，其中，按照下述方式布置所述级联结构中的各级卷积神经网络分类器：

将对各种类别样本的效果比较平均的卷积神经网络分类器布置在所述级联结构中的靠前级别，

将对特定类别样本有突出效果的卷积神经网络分类器布置在所述级联结构中的中间级别。

附记6．根据附记5所述的卷积神经网络分类器系统，其中，

将稀疏连接型的广义卷积神经网络分类器布置在所述级联结构中的靠后级别。

附记7.根据附记1至6中任一项所述的卷积神经网络分类器系统，其中，所述级联结构中的各级卷积神经网络分类器选自：

a)空间线性采样型卷积神经网络分类器；

b)随机省略一部分层间连接的空间线性采样型卷积神经网络分类器；

c)空间非线性采样型卷积神经网络分类器；

d)随机省略一部分层间连接的空间非线性采样型卷积神经网络分类器；

e)没有空间采样层的卷积神经网络分类器；以及

f）随机省略一部分层间连接的没有空间采样层的卷积神经网络分类器。

附记8．根据附记1至7中任一项所述的卷积神经网络分类器系统，还包括用于在该卷积神经网络分类器对所述对象分类时计算置信度的置信度计算分类器，其中：

针对所述级联结构中的每一级中的每个卷积神经网络分类器，用该卷积神经网络分类器对其训练样本分类，对每一个训练样本从该卷积神经网络分类器抽取各个层的至少部分节点的响应值；以及

基于所述响应值训练所述置信度计算分类器。

附记9.根据附记3至8中任一项所述的卷积神经网络分类器系统，利用所有级的卷积神经网络分类器对所有级的卷积神经网络分类器都难以分类的对象投票以确定所述对象的类别。

附记10.一种对根据附记2至9中任一项所述的卷积神经网络分类器系统进行训练的方法，包括：

利用训练样本训练所述级联结构中的所有级中的卷积神经网络分类器，其中，对于每一级卷积神经网络分类器中的多个卷积神经网络分类器，分别对原始训练样本进行随机变形；

利用所述第一级卷积神经网络分类器对所述原始训练样本进行分类；

利用所述第一级卷积神经网络分类器难以分类的训练样本作为训练第二级卷积神经网络分类器的全体训练样本，训练所述第二级卷积神经网络分类器；以及

对所述第二级卷积神经网络分类器至所述第M级卷积神经网络分类器中的任意两个相邻级别依次重复前述步骤。

附记11.根据附记10所述的方法，还包括：

利用所述响应值训练置信度计算分类器，所述置信度计算分类器用于在该卷积神经网络分类器对所述对象分类时计算置信度。

附记12.根据附记11所述的方法，其中，各个层的至少部分节点包括倒数第二层的至少部分节点。

附记13.根据附记10至12中任一项所述的方法，还包括：

根据置信度和/或每个训练样本本身的已知标记来判断每个卷积神经网络分类器是否难以对所述训练样本进行分类。

附记14.一种利用根据附记1至9中任一项所述的卷积神经网络分类器系统对对象进行分类的方法，包括：

利用所述第一级卷积神经网络分类器对所述对象进行分类；

利用第二级卷积神经网络分类器对所述第一级卷积神经网络分类器难以分类的所述对象进行分类；以及

对所述第二级卷积神经网络分类器至第M级卷积神经网络分类器中的所有两个相邻级别依次重复前述步骤。

附记15.根据附记14所述的方法，利用所有级的卷积神经网络分类器对所有级的卷积神经网络分类器都难以分类的对象投票以确定所述对象的类别。

附记16.根据附记14所述的方法，其中，

针对每个要分类的对象，抽取所述级联结构中的每一级的每个卷积神经网络分类器对每一个训练样本分类时的相应节点的响应值；以及

基于所述响应值，利用所述置信度计算分类器计算置信度。

附记17.根据附记16所述的方法，其中，所述预定节点包括倒数第二层的至少部分节点。

附记18.根据附记10至17中任一项所述的方法，还包括：

根据置信度来判断每级中的每个卷积神经网络分类器是否难以对所述对象进行分类。

附记19．一种根据附记1至9中任一项所述的卷积神经网络分类器系统用于识别数字的用途。

附记20.一种根据附记14至18中任一项所述的方法用于识别数字的用途。

Claims

1.一种卷积神经网络分类器系统，包括：

相互异构的M种卷积神经网络分类器，M为大于1的整数；

2.根据权利要求1所述的卷积神经网络分类器系统，其中，将所述相互异构的M种卷积神经网络分类器布置为M级的级联结构。

3.根据权利要求2所述的卷积神经网络分类器系统，其中，

第一级卷积神经网络分类器用于对对象进行分类；

4.根据权利要求2所述的卷积神经网络分类器系统，其中，按照下述方式布置所述级联结构中的各级卷积神经网络分类器：

5.根据权利要求4所述的卷积神经网络分类器系统，其中，

6.根据权利要求1至5中任一项所述的卷积神经网络分类器系统，还包括用于在该卷积神经网络分类器对所述对象分类时计算置信度的置信度计算分类器，其中：

基于所述响应值训练所述置信度计算分类器。

7.一种对根据权利要求2至6中任一项所述的卷积神经网络分类器系统进行训练的方法，包括：

8.根据权利要求7所述的方法，还包括：

9.一种利用根据权利要求1至6中任一项所述的卷积神经网络分类器系统对对象进行分类的方法，包括：

利用所述第一级卷积神经网络分类器对所述对象进行分类；

10.一种根据权利要求1至6中任一项所述的卷积神经网络分类器系统用于识别数字的用途。