CN107644251B

CN107644251B - 对象分类方法、装置和系统

Info

Publication number: CN107644251B
Application number: CN201610586596.7A
Authority: CN
Inventors: 李帅; 王晓刚
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2016-07-22
Filing date: 2016-07-22
Publication date: 2020-09-18
Anticipated expiration: 2036-07-22
Also published as: CN107644251A

Abstract

本申请公开了神经元激活方法、装置和系统以及对象分类方法和系统。神经元激活方法包括：将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整神经元组中各神经元被激活的概率；以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例提供的技术方案增强了卷积神经网络的分类能力。

Description

对象分类方法、装置和系统

技术领域

本申请涉及深度学习领域，具体地涉及对象分类方法、装置和系统。

背景技术

作为深度学习网络的典型代表，CNN(Convolutional Neural Network，卷积神经网络)具有强大的对象分类能力，因而在诸如图像识别等领域中得以广泛应用。

在CNN中，一般需要通过特定的神经元激活方法来为CNN提供非线性的建模能力以增强特征区分能力以及获得稀疏的分布式表达以增强信噪比。在常规的CNN激活方法中，一般仅在单个神经元的尺度上处理信息，从而基于单个神经元的状态对神经元进行激活。

发明内容

本申请提供了神经元激活的技术方案以及对象分类技术方案。

本申请实施例的一方面提供了一种神经元激活方法，该方法可包括：将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整神经元组中各神经元被激活的概率；以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。

本申请实施例的另一方面提供了一种对象分类方法，该方法可包括：过滤图像以生成第一特征图；通过使用上述神经元激活方法激活卷积神经网络中的多个神经元；通过所激活的多个神经元从第一特征图生成第二特征图；以及根据第二特征图对图像中的对象进行分类。

本申请实施例的另一方面提供了一种神经元激活装置，该装置可包括：分组单元，将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整单元，调整神经元组中各神经元被激活的概率；以及激活单元，根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。

本申请实施例的另一方面提供了一种对象分类系统，该系统可包括：滤波模块，过滤图像以生成第一特征图；上述神经元激活装置，激活卷积神经网络中的多个神经元，以通过所激活的多个神经元从第一特征图生成第二特征图；以及分类模块，根据第二特征图对图像中的对象进行分类。

本申请实施例的另一方面提供了一种神经元激活系统，该系统可包括：存储器，存储可执行指令；以及一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整神经元组中各神经元被激活的概率；以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。

本申请实施例的另一方面提供了一种对象分类系统，该系统可包括：存储器，存储可执行指令；以及一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：过滤图像以生成第一特征图；通过上述神经元激活方法激活卷积神经网络中的多个神经元；通过所激活的多个神经元从第一特征图生成第二特征图；以及根据第二特征图对图像中的对象进行分类。

本申请实施例的另一方面提供一种非暂时性计算机存储介质，该介质可存储计算机可读指令，当这些指令被执行时可使处理器执行以下操作：将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整神经元组中各神经元被激活的概率；以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。

本申请实施例的另一方面提供一种非暂时性计算机存储介质，该介质可存储计算机可读指令，当这些指令被执行时可使处理器执行以下操作：过滤图像以生成第一特征图；通过上述神经元激活方法激活卷积神经网络中的多个神经元；通过所激活的多个神经元从第一特征图生成第二特征图；以及根据第二特征图对图像中的对象进行分类。

本申请的神经元激活技术方案有效利用卷积神经网络的同一层中相邻神经元之间的相互关系，增强了CNN的特征区分能力以及增强相应滤波器输出值的信噪比，进而增强了CNN的分类能力。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和有益效果将会变得更明显：

图1是常规的用于对象分类的卷积神经网络的示意图；

图2是常规的特征提取操作的示意图；

图3是激活操作增强卷积神经网络特征区分能力的示意图；

图4是激活操作增强信噪比的示意图；

图5是根据本申请实施例的卷积神经网络的一部分的示意图；

图6是根据本申请实施例的神经元激活方法的流程图；

图7是根据本申请实施例的对象分类卷积神经网络的示意图；

图8是根据本申请实施例的对象分类方法的流程图；

图9是根据本申请实施例的神经元激活装置；

图10是根据本申请实施例的对象分类系统；以及

图11是适合实施本申请实施例的计算机系统的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，在本文中所描述的具体实施例仅仅用于解释本申请，而非对本申请进行限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分。下面将参照附图并结合实施例来详细说明本申请。

图1示例性地示出了常规的用于对象分类的CNN 1000。如图所示，CNN 1000具有多个特征提取通道1210、1220、1230。在CNN 1000中，通过多个特征提取通道1210、1220、1230从输入的图像1100分别提取成特征图1310、1320、1330等。应理解，虽然图1中仅示出了3个特征提取通道，但是特征提取通道的数量不限于此，而是根据所需要完成的对象分类任务决定。每个特征提取通道包括有多个神经元以对输入的图像1100进行感知，每个神经元均包括相应的滤波器。不同的特征提取通道中的滤波器不同，从而对不同的特征分别进行特征提取操作。特征图1310、1320、1330等分别包括不同的特征，分类器1400可利用这些特征将图像1100中所包括的对象区分开，从而完成对象分类操作。

图2示例性地示出了常规的特征提取操作。为了便于描述，仅对特征提取通道1220进行描述。同样地，为了便于描述，在下文中均以一个特征提取通道的方式描述本申请的发明构思。然而应理解，本申请的发明构思不受特征提取通道的数目限制。特征提取通道1220包括多个神经元1221、1222、1223、122n等。在图2所示出的示例中，这些神经元1221、1222、1223、122n等通过使用相同的卷积参数(即，共享卷积核)对图像1100的各个子区间进行卷积。神经元1221、1222、1223、122n等对图像1100卷积的结果经过激活操作后分别生成与各神经元1221、1222、1223、122n等一一对应的置信度1221-C、1222-C、1223-C、122n-C等。这些置信度1221-C、1222-C、1223-C、122n-C等构成特征图1310。应理解，虽然在图2中以特征提取通道1220对图像1100进行特征提取为例示出了特征提取操作，但特征提取操作也可对特征图进行。即，CNN 1000也可存在一个或多个后续特征提取层来依次对上一层特征提取层(例如，包括有特征提取通道1210、1220、1230等的特征提取层)输出的特征图(例如1310、1320、1330等)进行特征提取。在这种情况下，后一特征提取层的神经元分别与前一特征提取层的神经元连接，其连接方式诸如全连接或局域连接。

以下参照图3和图4示例性地示出了激活操作的作用。

一方面，激活操作增强了CNN的特征区分能力。在各神经元处的卷积操作本质上是对输入的数据(例如图像1100)的线性变换。参照图3，在欧式空间(Euclidean space)3100中示出了两类对象3110和3120的多个样例(sample)。图3中的分类直线3130表示，对这两类对象3110和3120而言，仅通过线性变换即可将这两类对象区分开。因而对于这两类对象3110和3120的分类问题而言，仅通过卷积操作即可达到分类的目的。然而对于多数分类问题而言，仅通过例如卷积操作的线性变换是不足以完成分类的。例如，对于图3的欧式空间3200中的两类对象3210和3220，则不存在例如分类直线3130的分类线。即，无法仅通过线性变换而将对象3210与对象3220区分开。而示作为圆形的分类曲线3230表示，可通过对这两类对象3210和3220作非线性变换而实现分类，例如f(x，y)＝x²+y²。

另一方面，激活操作增强了滤波器输出值的信噪比。在CNN中(例如CNN1000)，特征提取通道中的滤波器的输出值表示该滤波器的输入(例如，图像1100的一部分或者上一层特征提取层输出的特征图的一部分)与滤波器之间的关联程度。关联程度越高，滤波器输出值越高。一般而言，滤波器输出值高的数据对于后续的分类操作更为有用；而滤波器输出值低的数据对于后续的分类操作益处较小，甚至于在一些情况下会干扰分类操作。激活操作可对滤波器输出值引入非线性操作。参照图4的激活关系图4100，作为一个示例，激活操作可设定特定的阈值4101、将滤波器输出值(即，激活操作的输入)与该阈值4101作比较、以及将该阈值4101以下的滤波器输出值置零而仅保留高于该阈值的滤波器输出值。如图4所示，样例4110经过滤波器之后的输出值被置零，即，相应的神经元被冻结；而样例4120经过滤波器之后的输出值被保留，即，相应的神经元被激活。参照图4的激活关系图4200，作为另一个示例，激活操作可将滤波器输出值之间的差值拉大。例如，样例4210经过滤波器之后的输出值位于激活关系图中平缓的区间，即，相应的神经元被抑制；而样例4220经过滤波器之后的输出值位于激活关系图中激增的区间，即，相应的神经元被激活。通过激活关系图4200所示的激活操作，样例4210经过滤波器之后的输出值与样例4220经过滤波器之后的输出值之间的相对差值被拉大。通过图4示出的两种激活关系，示例性地说明了激活操作如何通过对滤波器输出值引入非线性操作而增强了滤波器输出值的信噪比。

在实际的CNN应用场景中，常用的激活模型如Sigmoid、ReLU、Maxout、Tanh等。这些激活模型通过为CNN增添了非线性变换而增强了特征区分能力以及增强了滤波器输出值的信噪比，进而更好地实现对象分类。然而，往回参照图2，在常规的特征提取操作中，一般仅在单个神经元(例如，神经元1221等)的尺度上处理信息，即，基于单个神经元的状态对神经元进行激活从而生成针对单个神经元的置信度(例如，置信度1221-C)。这种神经元激活方法未有效利用相邻神经元之间的相互关系，因此导致相应的CNN分类能力欠佳。

以下参照图5和图6详细描述根据本申请实施例的CNN的神经元激活方法。图5是根据本申请实施例的CNN 5000的与激活相关的部分的示意图。图6是根据本申请实施例的CNN的神经元激活方法的流程图6000。如本领域技术人员所理解的，根据本申请实施例的卷积神经网络(例如，CNN 5000和CNN 7000)均需经过相应的训练过程才能够使用，该训练过程与常规训练过程相同，因而下文中省略了对训练过程的详细描述。

图6示例性地示出了根据本申请实施例的神经元激活方法的流程图6000。在步骤S6010中，可将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；在步骤S6020中，可调整神经元组中各神经元被激活的概率；以及在步骤S6030中，可根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。

本申请实施例的神经元激活技术方案有效利用卷积神经网络的同一层中相邻神经元之间的相互关系，来增强了CNN的特征区分能力以及增强相应滤波器输出值的信噪比，进而增强了CNN的分类能力。

图5仅以示例性的方式示出了与激活相关的部分的示意图，其目的仅在于解释与激活相关的操作而不在于对本申请的范围进行限制。如本领域技术人员所理解的，CNN5000的结构不限于此。例如，本领域技术人员可理解，虽然图5中仅以单层的方式示出了与激活相关的层，但是这些层可以是多个。各个层的数目根据CNN 5000所要实现的功能而确定。参照图5，图像5100可输入至CNN 5000的特征提取通道中。CNN 5000的同一层中的神经元可被划分成多个神经元组。在图5中，示出了将同一层中的三个神经元5221、5222和5223划分成一个神经元组5200。然而，应理解，神经元组所包括的神经元的数量不限于此，而可根据实际情况而确定。每个神经元(例如，神经元5221、5222、5223等)均包括滤波器(未示出)，滤波器可用于对神经元组(例如神经元组5200)所在层的输入进行线性滤波。在图5的示例中，神经元组5200所在层的输入是图像5100的一部分。然而，神经元组5200所在层的输入也可以是上一层特征提取层所输出的特征图。线性滤波可例如通过卷积的方式执行。滤波器的输出表示该滤波器的输入与滤波器之间的关联程度。关联程度越高，滤波器输出值越高。

可调整神经元组5200中各神经元5221、5222和5223被激活的概率。在一个优选的实施例中，调整神经元组中各神经元被激活的概率可包括：增大部分神经元被激活的概率而降低其余神经元被激活的概率以增强该神经元组所处理的数据的信噪比，其中，神经元组中各神经元被激活的概率之和为常数，从而防止在后续的CNN 5000的训练过程中因各神经元被激活的概率发散而导致无法有效地训练CNN 5000。神经元组5200中各神经元5221、5222和5223被激活的概率可共同构成神经元组5200的状态。在另一优选的实施例中，调整神经元组中各神经元被激活的概率可包括：根据卷积神经网络的神经元组所在层的输入与神经元组所在层的滤波器的关联程度，增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，神经元组中各神经元被激活的概率之和为常数。通过这种方式，将与滤波器相关紧密的数据(即，上述″有用″的数据)进行了增强，而对与滤波器相关不大的数据(即，上述″益处较小″的数据)进行了抑制，从而增强了数据的信噪比。例如，在调整被激活的概率之前，各神经元5221、5222和5223的输出为神经元组所在层的输入与神经元所包括的滤波器的关联程度，也称作置信度。假设该置信度分别为6、3、1。该置信度越大，表示神经元越有可能被激活。经过调整后，神经元与神经元彼此竞争被激活的概率，即，置信度大的神经元被激活的概率越大，置信度小的神经元被激活的概率越小。例如，各神经元5221、5222和5223被激活的概率可分别是0.88、0.1、0.02。

可利用玻尔兹曼机(Boltzmann Machine)建模神经元组5200的状态，如公式1所示：

其中，p(h_g|υ)表示神经元组5200的状态，Z_g表示归一化常数，h_g表示与神经元组5200的被激活的神经元有关的二元化矢量，矢量的元素数量由神经元组所包括的神经元的数量确定。例如，在图5所示的情况下，h_g的元素数量为3。b_g表示神经元组5200中各神经元5221、5222和5223所包括的滤波器的线性滤波操作(例如，卷积操作)的偏置值参数，T表示转置。v表示神经元组5200所在层的输入，例如，图像5100的一部分。

表示神经元组5200中各神经元5221、5222和5223所包括的滤波器的线性滤波操作(例如，卷积操作)的权重参数，而

表示各神经元(例如，神经元5221、5222和5223)之间的竞争权重。在优选的实施例中，当神经元i，j位于同一神经元组中时，

而当神经元i，j位于不同神经元组中时，

即，同一神经元组的神经元可彼此竞争被激活的概率，而不同神经元组的神经元被激活的概率可彼此统计独立。通过这种方式，相邻的神经元(即，同一神经元组内的神经元)所处理的数据将竞争被传递给下一层的概率，从而增强了数据的信噪比；而相距较远的神经元(即，不同神经元组的神经元)不会对对方处理的数据产生影响，从而避免了将有用的数据误当做噪声而进行抑制。公式(1)中指数项的前两项表示卷积神经网络的神经元组所在层的输入与神经元组所在层的滤波器的关联程度。即，神经元被激活的概率与卷积神经网络的神经元组所在层的输入与神经元组所在层的滤波器的关联程度有关。公式(1)中指数项的第三项表示引入了诱导同一神经元组中各神经元竞争的机制。

进一步地，神经元组5200中各神经元5221、5222和5223被激活的概率可由公式(2)限定：

其中，p(h_gi＝1|υ)表示神经元组5200中第i个神经元被激活的概率。e_i表示第i个神经元。例如，e_i＝[0，0，1]代表神经元5221；e_i＝[0，1，0]代表神经元5222；e_i＝[1，0，0]代表神经元5223。其它符号的含义与公式(1)相同。

最后，神经元组5200中各神经元5221、5222和5223可根据神经元组中5200中各神经元5221、5222和5223调整后所得到的激活概率激活相应的神经元。在一个优选的实施例中，神经元组5200中各神经元5221、5222和5223调整后所得到的激活概率可作为神经元组5200的输出而输入至CNN 5000中神经元组5200所在层的下一层以进行下一步的操作，如进一步的特征提取操作或分类操作。例如，公式(1)或(2)所表示的激活概率可构成特征图以输入至CNN 5000中的下一层。通过这种方式，既起到了增强信噪比的作用，又在一定程度上保留了各个神经元所处理的数据，避免了数据的过度损失。例如，在CNN 5000的训练过程的起始阶段，激活概率的波动很大，需要保留各个神经元的相应信息以有效地训练CNN 5000。

虽然图5仅示出了一个神经元组，但神经元组的数量可根据实际应用而具有任意值。另外，可将同一层中的部分神经元划分成神经元组，并进行如上所述的神经元激活操作，而对其余神经元以常规的置信度的方式进行激活。相应地，可将神经元组中各神经元调整后所得到的激活概率作为该神经元组的输出，而将未分组的神经元的置信度作为该神经元的输出。例如，在可替代的实施例中，卷积神经网络(例如，CNN 5000)的同一层中的所有神经元划分为多个神经元组；或者，在另一可替代的实施例中，卷积神经网络(例如，CNN5000)的同一层中的至少一个神经元未划分入至少一个神经元组中。参照图5所描述的神经元组(例如，神经元组5200)可位于CNN 5000的中间层。参照图5所描述的神经元组(例如，神经元组5200)所在层可作为CNN 5000的非线性层。

参照图5和图6描述的神经元激活方法可通过计算机系统来实施。该计算机系统包括存储有可执行指令的存储器以及处理器。处理器与存储器通信以执行可执行指令从而实施参照图5和图6描述的方法。可替代地或附加地，参照图5和图6描述的神经元激活方法可通过非暂时性计算机存储介质来实施。该介质存储计算机可读指令，当这些指令被执行时使处理器执行参照图5和图6描述的方法。

以下结合图7和图8详细描述根据本申请实施例的对象分类方法。图7示出了根据本申请实施例的对象分类的卷积神经网络7000。图8示出了根据本申请实施例的对象分类方法的流程图8000。

参照图8，对象分类方法可包括：在步骤S8010中，可过滤图像以生成第一特征图；在步骤S8020中，通过使用参照图5和图6描述的神经元激活方法激活卷积神经网络中的多个神经元；在步骤S8030中，可通过所激活的多个神经元从第一特征图生成第二特征图；以及在步骤S8040中，可根据第二特征图对图像中的对象进行分类。

本申请实施例提供的对象分类技术方案，由于CNN中间层有效利用了同一层中相邻神经元之间的相互关系进行CNN的特征区分能力以及相应滤波器输出值的信噪比的增强处理，因此增强了CNN对图像中的对象进行分类的分类能力。

图7仅以示例性的方式示出了对图像中的对象进行分类的CNN 7000，其目的仅在于解释与对象分类相关的操作而不在于对本申请的范围进行限制。如本领域技术人员所理解的，CNN 7000的结构不限于此。例如，本领域技术人员可理解，虽然图7中仅以单层的方式示出了各个层，但是这些层可以是多个。各个层的数目根据实际应用的情况而确定。参照图7，CNN 7000可用于对图像7100中的对象进行分类。图像7100可首先输入至特征提取层7200。在特征提取层7200中，图像7100可被过滤以生成第一特征图7300。随后，第一特征图7300可被多个神经元7401、7402、7403、740n等接收。在图7示出的示例中，该多个神经元7401、7402、7403、740n等位于同一层中并以局域感知的方式接收第一特征图7300。即，该多个神经元7401、7402、7403、740n等以局域连接的方式与特征提取层7200的相应神经元连接。然而，本申请不限于此，在适当的情况下，该多个神经元7401、7402、7403、740n等可与特征提取层7200的相应神经元建立全连接。在这种情况下，多个神经元7401、7402、7403、740n等以全局感知的方式接收第一特征图7300。随后，可通过以上参照图5和图6描述的方法激活多个神经元7401、7402、7403、740n等，通过所激活的多个神经元从第一特征图7300生成第二特征图7500。例如，可将各神经元组(例如，神经元组7400等)的输出的激活概率组合成第二特征图7500。最后，第二特征图7500可输入至分类器7600，从而可根据第二特征图7600对图像7100中的对象进行分类。

根据第二特征图7500对图像7100中的对象进行分类可包括：根据第二特征图7500评估图像7100中的对象分别属于预定种类的概率值；以及将图像7100中的对象划分到具有最大概率值的预定种类中。例如，在一个示例中，对象得到如下概率评估结果：桌子-概率0.6；椅子-概率0.2；沙发-概率0.1；以及其它种类-概率0.1，则对象3710被划分到桌子的种类中。在这里，对象及种类应以宽泛的概念来理解，而不应被解释为过于概念化或过于形式化的意义。例如，CNN 7000可在不同级别上对对象进行分类，例如仅仅将前景与背景进行分类、对不同的物种进行分类、对不同的人进行分类(例如分类为成年男子、成年女子、男童、女童等)、以及对人的不同器官进行分类。

参照图7和图8描述的对象分类方法可通过计算机系统来实施。该计算机系统包括存储有可执行指令的存储器以及处理器。处理器与存储器通信以执行可执行指令从而实施参照图7和图8描述的方法。可替代地或附加地，参照图7和图8描述的神经元激活方法可通过非暂时性计算机存储介质来实施。该介质存储计算机可读指令，当这些指令被执行时使处理器执行参照图7和图8描述的方法。

图9示例性的示出了根据本申请实施例的神经元激活装置9000。神经元激活装置9000可包括：分组单元9100，将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整单元9200，调整神经元组中各神经元被激活的概率；以及激活单元9300，根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。在一个优选的实施例中，调整单元9200可增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，神经元组中各神经元被激活的概率之和为常数。在另一个优选的实施例中，调整单元9200可根据卷积神经网络的神经元组所在层的输入与神经元所包括的滤波器的关联程度，增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，神经元组中各神经元被激活的概率之和为常数。在一个优选的实施例中，激活单元9300可将神经元组中各神经元调整后所得到的激活概率作为神经元组的输出输入至卷积神经网络中神经元组所在层的下一层。在一个优选的实施例中，不同神经元组的神经元被激活的概率可彼此统计独立。在可替代的实施例中，分组单元9100将卷积神经网络的同一层中的所有神经元划分为多个神经元组；或者，分组单元9100未将卷积神经网络的同一层中的至少一个神经元划分入至少一个神经元组中。在参照图9所描述的神经元激活装置9000中，神经元组可位于卷积神经网络的中间层。在参照图9所描述的神经元激活装置9000中，神经元组所在层可作为卷积神经网络的非线性层。

图10示例性的示出了根据本申请实施例的对象分类系统A100。系统A100可包括：滤波模块A110，过滤图像以生成第一特征图；参照图9所描述的神经元激活装置9000，激活卷积神经网络中的多个神经元，以通过所激活的多个神经元从第一特征图生成第二特征图；以及分类模块A120，根据第二特征图对图像中的对象进行分类。在一个优选的实施例中，分类模块A120可根据第二特征图评估图像中的对象分别属于预定种类的概率值；以及可将图像中的对象划分到具有最大概率值的预定种类中。

如本领域普通技术人员所理解的，上述神经元激活装置9000和对象分类系统A100可使用集成电路(IC)的形式实施，该集成电路包括但不限于数字信号处理器、图形处理集成电路、影像处理集成电路以及音频处理集成电路等。本领域普通技术人员在本申请所提供的教导下可以知晓通过使用何种硬件或软件的形式来实施神经元激活装置9000及系统A100。例如，可采用存储有计算机可执行指令的存储介质的形式来实施本申请，该计算机可执行指令分别实现上述神经元激活装置9000和系统A100，从而通过计算机运行而实现它们各自的上述功能。也可采用计算机系统来实施本申请的神经元激活装置9000及系统A100，其中该计算机系统中包括存储有计算机可执行指令的存储器以及与存储器通信的处理器，处理器运行该可执行指令从而实现以上参照图9和图10所描述的神经元激活装置9000及系统A100所具备的功能。

现参照图11，其示出了适合实施本申请实施例的计算机系统B100的结构示意图。

如图11所示，计算机系统B100包括中央处理单元B101，其可根据存储在只读存储器(ROM)B102中的程序或从存储部分B108加载至随机存取存储器(RAM)B103中的程序而执行各种适当的动作和过程。在RAM B103中，还存储有系统B100操作所需要的各种程序和数据。CPU B101、ROM B102和RAM B103通过总线B104彼此连接。输入/输出(I/O)接口B105也与总线B104连接。

以下为与I/O接口B105连接的部件：包括键盘、鼠标等的输入部分B106；包括阴极射线管CRT、液晶显示设备LCD和扬声器等的输出部分B107；包括硬盘等的存储部分B108；以及包括网络接口卡(如LAN卡和调制解调器等)的通信部分B109。通信部分B109通过诸如因特网等网络执行通信处理。根据需要，驱动器B110也与I/O接口B105连接。如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质B111可安装在驱动器B110上，以便于从其上读出的计算机程序根据需要被安装入存储部分B108。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请的实施方式所涉及的单元或模块可通过软件或硬件实施。所描述的单元或模块也可设置在处理器中。这些单元或模块的名称不应被视为限制这些单元或模块。

以上描述仅为本申请的示例性实施方式以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不背离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种对图像的对象进行分类的方法，其特征在于，包括：

将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；

调整所述神经元组中各神经元被激活的概率；

根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元，其中，不同神经元组的神经元被激活的概率彼此统计独立；以及

通过所激活的多个神经元对所述图像中的对象进行分类。

2.根据权利要求1所述的方法，其特征在于，所述调整所述神经元组中各神经元被激活的概率包括：

增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，所述神经元组中所述各神经元被激活的概率之和为常数。

3.根据权利要求1所述的方法，其特征在于，所述调整所述神经元组中各神经元被激活的概率包括：

根据所述卷积神经网络的所述神经元组所在层的输入与所述神经元所包括的滤波器的关联程度，增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，所述神经元组中所述各神经元被激活的概率之和为常数。

4.根据权利要求1所述的方法，其特征在于，所述根据各神经元调整后所得到的激活概率激活相应的神经元包括：

将所述神经元组中所述各神经元调整后所得到的激活概率作为所述神经元组的输出输入至所述卷积神经网络中所述神经元组所在层的下一层。

5.根据权利要求1所述的方法，其特征在于，

所述卷积神经网络的同一层中的所有神经元划分为多个神经元组；或者，

所述卷积神经网络的同一层中的至少一个神经元未划分入所述至少一个神经元组中。

6.根据权利要求1所述的方法，其特征在于，所述神经元组所在层为所述卷积神经网络的中间层。

7.根据权利要求1所述的方法，其特征在于，所述神经元组所在层为所述卷积神经网络的非线性层。

8.一种对象分类方法，其特征在于，包括：

过滤图像以生成第一特征图；

调整所述神经元组中各神经元被激活的概率；

根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元，其中，不同神经元组的神经元被激活的概率彼此统计独立；

通过所激活的多个神经元从所述第一特征图生成第二特征图；以及

根据所述第二特征图对所述图像中的对象进行分类。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第二特征图对所述图像中的对象进行分类包括：

根据所述第二特征图评估所述图像中的对象分别属于预定种类的概率值；以及

将所述图像中的对象划分到具有最大概率值的预定种类中。

10.一种用于对图像的对象进行分类的装置，其特征在于，包括：

神经元激活装置，包括：

分组单元，将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；

调整单元，调整所述神经元组中各神经元被激活的概率；以及

激活单元，根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元，其中，不同神经元组的神经元被激活的概率彼此统计独立，以及

分类模块，通过所激活的多个神经元对所述图像中的对象进行分类。

11.根据权利要求10所述的装置，其特征在于，所述调整单元增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，所述神经元组中所述各神经元被激活的概率之和为常数。

12.根据权利要求10所述的装置，其特征在于，所述调整单元根据所述卷积神经网络的所述神经元组所在层的输入与所述神经元所包括的滤波器的关联程度，增大部分神经元被激活的概率而降低其余神经元被激活的概率，其中，所述神经元组中所述各神经元被激活的概率之和为常数。

13.根据权利要求10所述的装置，其特征在于，所述激活单元将所述神经元组中所述各神经元调整后所得到的激活概率作为所述神经元组的输出输入至所述卷积神经网络中所述神经元组所在层的下一层。

14.根据权利要求10所述的装置，其特征在于，分组单元将所述卷积神经网络的同一层中的所有神经元划分为多个神经元组；或者，

分组单元未将所述卷积神经网络的同一层中的至少一个神经元划分入所述至少一个神经元组中。

15.根据权利要求10所述的装置，其特征在于，所述神经元组所在层为所述卷积神经网络的中间层。

16.根据权利要求10所述的装置，其特征在于，所述神经元组所在层为所述卷积神经网络的非线性层。

17.一种对象分类系统，其特征在于，包括：

滤波模块，过滤图像以生成第一特征图；

根据权利要求10至16中任一权利要求所述的用于对图像的对象进行分类的装置，其中，所述激活单元激活卷积神经网络中的多个神经元，以通过所激活的多个神经元从所述第一特征图生成第二特征图，以及其中，所述分类模块根据所述第二特征图对所述图像中的对象进行分类。

18.根据权利要求17所述的系统，其特征在于，所述分类模块根据所述第二特征图评估所述图像中的对象分别属于预定种类的概率值；以及将所述图像中的对象划分到具有最大概率值的预定种类中。

19.一种对图像的对象进行分类系统，其特征在于，包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整所述神经元组中各神经元被激活的概率；根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元，其中，不同神经元组的神经元被激活的概率彼此统计独立；以及通过所激活的多个神经元对所述图像中的对象进行分类。

20.一种对象分类系统，其特征在于，包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：过滤图像以生成第一特征图；将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组，所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元；调整所述神经元组中各神经元被激活的概率；根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元，其中，不同神经元组的神经元被激活的概率彼此统计独立；通过所激活的多个神经元从所述第一特征图生成第二特征图；以及根据所述第二特征图对所述图像中的对象进行分类。