CN109697502A - 信息处理方法和设备以及存储介质 - Google Patents

Abstract

本公开提供了在卷积神经网络中进行数据处理的信息处理方法和设备以及存储介质。该信息处理方法包括针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，第一组输入通道的输入数目与第一组输出通道的输出数目之比和第二组输入通道的输入数目与第二组输出通道的输出数目之比相同。

Description

信息处理方法和设备以及存储介质

技术领域

本公开总体上涉及信息处理领域，具体而言，涉及利用卷积神经网络进行数据处理的信息处理方法和设备以及存储介质。

背景技术

目前，深度学习技术已在一些领域得到广泛应用。例如，深度神经网络、卷积神经网络、深度置信网络和递归神经网络等已应用于计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域，并获取了很好的效果。

在这些深度学习网络中，卷积神经网络正吸引到越来越多的关注。图1示意性地示出了卷积神经网络的一般结构。

如图1所示，卷积神经网络一般包括若干卷积层、池化层、全连接层。从图1可以看出，卷积神经网络每层的神经元是按照三维排列的，也就是排成一个长方体，有宽度、高度和深度。

对于图1展示的神经网络，输入图像101仅有一个通道(channel)，因此，输入层的深度为1。接着，第一个卷积层对这幅图像进行了卷积操作，得到了3个特征图102。换言之，该卷积层包含3个深度为1的1*k*k滤波器(k为大于2的自然数，滤波器的深度与输入图像的深度或该层的输入通道数目一致)，每个滤波器都可以把原始输入图像卷积得到一个特征图，3个滤波器就可以得到3个特征图，这3个特征图也可称为该卷积层的3个输出通道(输出通道的个数与该层滤波器的个数一致)，同时作为下一层的输入通道。

在第一个卷积层之后，第一个池化层对输入的3个特征图102进行下采样，得到了3个更小的特征图103作为其输出通道。接着是第二个卷积层，其具有5个深度为3的3*k*k滤波器，每个3*k*k滤波器都把前面下采样之后输出的3个特征图103卷积在一起，得到一个新的特征图，因而一共得到了5个特征图104，作为第二个卷积层105的输出通道。接着是第二个池化层，其继续对第二个卷积层输出的5个特征图104进行下采样，得到了5个更小的特征图105作为其输出通道。该网络的最后两层106是全连接层。第一个全连接层的每个神经元和上一层输出的5个特征图105中的每个神经元相连，第二个全连接层(也就是输出层)的每个神经元和第一个全连接层的每个神经元相连，这样得到了整个网络的输出。

从图1中可以看出，为了对数据进行高层抽象，卷积神经网络可利用多个处理层进行处理，当层数较多时，可能会涉及大量的计算，从而可能在应用时导致巨大的时间消耗。

因此，存在提高卷积神经网络的处理速度的需求。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述缺陷，本发明的目的之一是提供一种能够加速利用卷积神经网络进行数据处理的信息处理方法和信息处理设备，以至少克服现有的问题。

根据本公开的一个方面，提供了一种在卷积神经网络中进行数据处理的信息处理方法，所述方法包括针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

根据本公开的另一方面，提供了一种在卷积神经网络中进行数据处理的信息处理设备，所述设备包括处理器，所述处理器被配置为针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

依据本公开的其它方面，还提供了一种使得计算机用作如上所述的信息处理设备的程序。

依据本公开的又一方面，还提供了相应的存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述在卷积神经网络中进行数据处理的信息处理方法。所述指令代码包括第一指令代码部分，用于针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

上述根据本公开实施例的各个方面，至少能够获得以下益处：利用本公开所提供的信息处理方法和设备以及存储介质，能够减少卷积神经网络的计算量，使其在应用中更加快速。

通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。

附图说明

本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示意性地示出卷积神经网络的一般结构的示意图。

图2是示意性地示出根据本公开实施例的信息处理方法的示例流程的流程图。

图3是用于说明现有技术的卷积神经网络中一个卷积层的示例结构的示意图。

图4是用于说明根据本公开实施例的信息处理方法所利用的优化的卷积神经网络中一个卷积层的示例结构的示意图。

图5是用于说明根据本公开实施例的信息处理方法所利用的一个优化的卷积神经网络的示例结构的示意图。

图6是示出了可用来实现根据本公开实施例的信息处理方法和设备的一种可能的硬件配置的结构简图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

在利用卷积神经网络进行数据处理时，期望在利用多个处理层对数据进行高层抽象的同时，能够加快处理速度。基于此，本公开提出了一种信息处理方法和信息处理设备以及存储介质，其利用卷积层中的权重数量减少的、改进的卷积神经网络结构，从而与现有技术的一般方案相比减少计算次数并提高处理速度。

根据本公开的一个方面，提供了一种信息处理方法。图2是示意性地示出根据本公开实施例的信息处理方法200的示例流程的流程图。

如图2所示，信息处理方法200可以包括针对优化的卷积神经网络中的一个卷积层进行下述操作：第一分组卷积操作S201，用于对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；第二分组卷积操作S203，用于对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道，其中，第一组输入通道的输入数目与第一组输出通道的输出数目之比和第二组输入通道的输入数目与第二组输出通道的输出数目之比相同。

如此前参照图1所讨论的，卷积神经网络一般包括卷积层、池化层、全连接层等。在这些层中，绝大多数的处理时间消耗在卷积层中，用于进行输入通道与各个滤波器之间的卷积。利用根据本公开实施例的上述信息处理方法，可以利用卷积层中的权重数量减少的、改进的卷积神经网络结构，从而与常规方法相比减少计算次数并提高处理速度。

为更好地说明根据本公开实施例的信息处理方法的特征及效果，以下将参照图3和图4进行描述。

首先参照图3，图3示意性地示出了现有技术的卷积神经网络中一个卷积层的示例结构。如图3中的三层结构所示，一个卷积层由输入通道、滤波器(或卷积核)以及输出通道构成。图3中从下到下依次示出了示例卷积层的4个输入通道301、6个4*k*k滤波器302(每个4*k*k滤波器以一个圆圈表示)、以及6个输出通道303(与4*k*k滤波器的个数一致)，其中，k为大于等于2的自然数。4*k*k滤波器的深度4与输入通道的数目一致，并各自包括4个k*k滤波器。

在图3中，输入通道301与滤波器302之间的每条连线表示一个k*k滤波器、相应地也代表输入通道与该滤波器之间的一次计算。在一个卷积层中，使用的k*k滤波器的总数或利用k*k滤波器进行计算的总次数为输入通道301的数目m*输出通道303的数目n，图3的示例中为m*n＝4*6＝24。一个卷积层中所有滤波器的权重个数(或滤波器的参数总个数)为m*k*k*n，本示例中为4*k*k*6＝24*k*k。

可以看出，当输入通道和/或输出通道数量较大时，利用k*k滤波器进行计算的次数以及权重的个数显著增加，对于具有多个卷积层的深度卷积神经网络，这样的计算次数和参数数量是非常庞大的。

接下来将参照图4，图4示意性地示出了根据本公开实施例的信息处理方法所利用的优化的卷积神经网络中一个卷积层的示例结构。

如图4所示，在根据本公开实施例的信息处理方法中，对于同样包括4个输入通道(m＝4)、6个输出通道(n＝6)的卷积层，利用优化的卷积神经网络，将4个输入通道分为两组，即分组数为σ＝2。针对左侧的第一组2个输入通道401a，以对应的第一组3个2*k*k滤波器402a进行卷积，针对右侧的第二组2个输入通道301b，以对应的第二组3个2*k*k滤波器402b进行卷积，从而分别得到第一组3个输出通道403a和第二组3个输出通道403b，即一共通过6个2*k*k滤波器得到6个输出通道。此处，尽管图3中示出了将输入通道以均等方式分为2组，但根据本公开的教示，本领域技术人员可以理解，可以针对不同的卷积层情况进行不同分组而不限于此，稍后将会对此进行进一步说明。

与图3中类似地，图4中每组内的输入通道401a与滤波器402a之间、输入通道401b与滤波器402b之间的每个连线表示一个k*k滤波器、相应地也代表输入通道与该滤波器之间的一次计算。与图3的情况相比，由于仅与对应分组内的输入通道进行卷积而避免与其他分组的输入通道进行卷积，因此，图4中每个圆圈所表示的滤波器的深度减小为m/σ＝4/2＝2，即，每个滤波器为2*k*k滤波器、即仅包括2个k*k滤波器。换言之，在同样得到n＝6个输出通道的情况下，图4中k*k滤波器的个数减少为(m/σ)*n(本示例中为12)、总权重数量减少为(m/σ)*n*k*k(本示例中为12*k*k)，即图4中k*k滤波器的个数和总权值个数均减少为图3中的1/σ，计算次数也降低为图3中的1/σ，从而大大加速了卷积层的处理速度。

以这种方式，卷积神经网络的结构得到了显著优化。

在一个优选实施例中，进行分组操作的卷积层不是优化的卷积神经网络中的第一个卷积层。由于卷积神经网络中的第一个卷积层直接对原始输入数据进行处理，因而在该层不进行分组而是保留全部的权值和连接(或计算)有利于确保优化后的卷积神经网络的处理精度。

另外，在一个优选实施例中，根据本公开实施例的信息处理方法所利用的优化的卷积神经网络与预训练的卷积神经网络具有相应的卷积层、并在相应的卷积层中具有相同的输入数目及相同的输出数目。而且，针对第一组、第二组输入通道进行卷积处理所分别应用的第一组、第二组滤波器可以是根据预训练的卷积神经网络中相应卷积层的滤波器而获得的。

作为示例，预训练的卷积神经网络可以是现有技术中的任意卷积神经网络，其卷积层例如可以具有与图3所示的现有技术卷积神经网络相似的结构。在本优选实施例的方法中，基于该预训练的卷积神经网络，可以利用例如具有图4所示的优化卷积层的、优化的卷积神经网络，该卷积层与图3所示的卷积层相对应，并且两个卷积层中的输入通道数目(输入数目)、输出通道数目(输出数目)彼此相同。图4所示的优化卷积层的滤波器可以是根据图3所示的预训练的卷积神经网络中的对应卷积层的滤波器而获得的。

由于与图3的原本的卷积层相比，图4的优化的卷积层中输入通道和输出通道的总数均未发生改变，所以对于该卷积层以外的部分而言(即，在从外部观察该卷积层结构的情况下)，该卷积层的(对外)结构并未发生改变。因此，利用本优选实施例，可以在保持预训练的卷积神经网络的原有模型结构(层数以及各层之间的排列关系)的同时对网络进行优化。由于卷积层的对外结构没有发生改变，所以本优选实施例所利用的优化的卷积神经网络具有不依赖硬件结构、不依赖于卷积神经网络的具体框架的优势，并且具有良好的鲁棒性；现有技术中对卷积神经网络的其他优化处理或算法也可以与该优化的卷积神经网络一起叠加实现。

在一个优选实施例中，针对第一组、第二组输入通道进行卷积处理所分别应用的第一组、第二组滤波器是从预训练的卷积神经网络中相应卷积层的滤波器中选择的滤波器，或者是基于所述选择的滤波器进行训练得到的。由于可以基于预训练的模型来选择优化后的模型的参数，因而可以快速得到新的模型参数。如果在选择优化后的模型的参数之后，进一步针对该优化的模型进行训练，则可以进一步改进该优化的模型的处理效果。

可选地，上述选择的滤波器可以是预训练的卷积神经网络中相应卷积层的滤波器当中激励响应最大的滤波器，也可以是随机选择的滤波器；前者利于获得更好的处理效果，而后者可以简化构建优化的卷积神经网络的处理。

作为示例，继续参照图3和图4，考虑预训练的卷积神经网络和优化的卷积神经网络分别具有例如图3和图4所示的卷积层结构的情况。此时，通过在图3的24个k*k滤波器当中随机选择12个k*k滤波器而获得图4所需要的滤波器。具体地，一种选择方式是直接从图3的24个k*k滤波器中随机12个k*k滤波器。替选地，也可以基于图3的24个k*k滤波器的参数，随机生成12个k*k滤波器，其中，每个k*k滤波器中的各个参数分别是从24个k*k滤波器的对应位置的参数当中随机选择的一个参数。

可选地，在基于上述选择的滤波器进行训练而得到优化的卷积神经网络中的第一组、第二组滤波器等参数的情况下，可以采用现有技术中的各种训练卷积神经网络的方法。参照图4的示例，由于需要确保各组之间输入通道的输入数目与对应输出通道的输出数目之比相同，则在对输入通道进行分组时即可同时确定输入通道与输出通道之间的具体对应关系或“连接”方式(连接方式的确定方式将在后面进一步详细描述)，换言之即确定了所采用的滤波器的结构和个数、因而确定了优化的卷积神经网络的结构。因此，对优化的卷积神经网络的训练是针对连接已确定且权重个数已确定(即，滤波器的形式已知)、仅需变换滤波器的权重取值的模型来进行的，因而可以使用任意的现有训练方式，只需根据损失函数来迭代权值参数的具体取值即可完成训练。

作为示例，可以采用Softmax损失函数，利用随机梯度下降法(StochasticGradient Descent)来训练优化的卷积神经网络中的诸如第一组、第二组滤波器的各种参数。

注意，在图4的示例中，为简明起见，示出了将给定卷积层的输入通道分为两组的情况。然而，在该示例的教示下，本领域技术人员可以理解，分组数目不限于此，只要各组之间输入通道的输入数目与对应输出通道的输出数目之比相同即可。例如，以给定卷积层的输入通道和输出通道的数目分别为8和16的情况为例，可以将输入通道和输出通道分别均匀分为2组、4组、8组等等。

另外，图4的示例中示出了对给定卷积层的输入通道进行均匀分组的情况。然而，在该示例的教示下，本领域技术人员可以理解，分组情况可以不限于此。实际上，当对给定卷积层的输入通道进行分组时，第一组输入通道的输入数目和第二组输入通道的输入数目可以相同或不同，只要确保各组之间输入通道的输入数目与对应输出通道的输出数目之比相同即可。仍以给定卷积层的输入通道和输出通道的数目分别为8和16的情况为例，可以将输入通道分为分别包括1个输入通道和7个输入通道的两组，而将输出通道对应分为分别包括2个输出通道和14个输出通道的两组。

在一个优选实施例中，上述第一组输入通道的输入数目和第二组输入通道的输入数目可以是通过实验或训练得到的。

例如，仍以给定卷积层的输入通道和输出通道的数目分别为8和16的情况为例，在均匀分组的情况下，可以从最小分组(2组)开始尝试，先为分2组，如果分组后卷积神经网络对数据的处理精度满足预定要求(例如与分组前的卷积神经网络相比处理精度下降在预定阈值以内)，则再增加分组数，例如尝试将给定卷积层分为4组、8组等，直到处理精度不符合要求为止，则可得到实验确定的最优分组数。

另外，如果在上述实验过程中，在改变分组数的同时，还改变每组内的通道数目，则可以通过实验获得非均匀分组的最优分组方式。

在进行分组时，每组内具体包括哪些输入通道相对而言并不重要，可以在确定分组数和每组内的通道数之后，以任意方式进行确定组内的具体输入通道。例如，对于图4所示的均匀分为2组的情况，该图中示出了第一、第二输入通道分为一组，第三、第四输入通道分为另一组，而实际上可以将这四个通道以任意方式分为两组，例如一三通道为一组、二四通道为一组，或一四通道为一组、二三通道为一组等，只要确保各组之间输入通道的输入数目与对应输出通道的输出数目之比相同即可。

类似地，输入分组与输出分组之间的对应关系也相对不重要。例如，对于图4的示例，可以在保持第一、第二输入通道分为第一组，第三、第四输入通道分为第二组的情况下，通过改变输入分组与滤波器之间的对应关系而改变输入分组与输出分组之间的对应关系。例如，如果利用图中右侧3个滤波器对第一组输入通道进行卷积、利用图中左侧3个滤波器对第二组输入通道进行卷积，则可以基于第一组输入通道得到图中右侧第三、第四输出通道(原第二组输出通道)，而基于第二组输入通道得到图中左侧第一、第二输出通道(原第一组输出通道)，同时仍然得到优化的卷积层结构。由于输入分组与输出分组之间的对应关系相对不重要，因此，在进行均匀分组的情况下，例如可以默认以输入分组、输出分组“对齐”的方式(即图4示例中所示方式)来选择输入分组与滤波器之间的对应关系。

以上描述了针对优化的卷积神经网络中的一个卷积层进行分组操作的情况。

在一个优选实施例中，本公开实施例的信息处理方法还可以包括针对优化的卷积神经网络中的另一个卷积层来进行与针对上述一个卷积层类似的操作。

可选地，上述另一个卷积层在上述一个卷积层之后，并且上述另一个卷积层的输入通道的分组数目大于或等于上述一个卷积层的输入通道的分组数目。利用这样的设置，可以在卷积神经网络中考前的层中保留更多的权重和连接、而在靠后的层中进行更多的结构优化，以更好地实现处理精度与加速处理之间的平衡。

以下参照图5描述一系列示例处理，这些示例处理涉及如何获得本公开实施例的信息处理方法所利用的优化的卷积神经网络。

图5是用于说明根据本公开实施例的信息处理方法所利用的一个优化的卷积神经网络的示例结构的示意图。图5示意性地示出了5个卷积层Conv 1至Conv 5以及1个全连接层FC，而省略了池化层、非线性层等，以避免模糊本公开内容的焦点。表示5个卷积层Conv 1至Conv 5的矩形框内的数字表示该层的输入通道数(Conv 1至Conv 5的输入通道数目分别为16、32、32、64、64)，该层的输出通道数目为图中下一层的输入通道数。

在本示例中，不对第一个卷积层Conv 1进行分组以保留对原始输入数据的较多处理，因此，Conv 1的分组参数(即分组数)σ1＝1，可以从Conv 2开始设置其余每层的分组参数σ2、σ3、σ4、σ5。分组数的选择可以考虑所减少的运算的比例(或剪枝比例，例如如果分σ组，则k*k滤波器数目及相应的计算次数和参数数目均变为1/σ)与处理精度之间的权衡。本示例中，由于网络层数较少(5层卷积层)，可选择每层分为4组，即，分组参数序列[σ]＝[1,4,4,4,4]，以免精度降低太多。如果层数为十几层的深层网络，则可以为后面的层分更多组。

以下将以Conv2为例描述针对一个卷积层的分组处理。

首先描述均匀分组的情况。作为示例，输入通道和输出通道的分组可以按照通道编号顺序进行，如输入通道0-7为第一组、8-15为第二组、16-23为第三组、24-31为第四组。如以上参照图4的示例对输入分组与输出分组之间的对应关系进行描述时所说明的那样，第一组输出通道可以由第一组输入通道卷积得到，也可以是由其他组输入通道卷积得到的，在此不再展开说明。

替选地，还可以任意设定对输入通道分组的其他方式，例如，设定编号为0,2,4,6,8,10,12,14的输入通道为第一组，编号为1,3,5,7,9,11,13,15的输入通道为第二组，并以类似方式将编号为16-31输入通道划分为第三组、第四组。

不均匀分组的情况与此相似，只要保证各组之间输入通道数目与对应输出通道数目之比一致即可。例如，假设将Conv2的输入通道不均匀分为两组，则第一组可以包括24个输入通道，第二组可以包括8个输入通道；输出通道可以相应地进行分组，在此不再展开描述。

针对后续的Conv 3至Conv 5按照给定分组参数σ3、σ4、σ5进行类似操作，可以完成所有卷积层的分组和优化，从而获得优化的卷积神经网络的结构。

以上描述了直接设定分组参数序列的情况。作为替选，可以通过实验获得各层的最优分组参数。

首先，以均匀分组为例，则可以从最小分组(2组)开始尝试，先为第一层Conv 1以外的所有层Conv 2至Conv 5分2组，如果此时得到的卷积神经网络的处理精度满足预定要求，则可以再增加分组数，例如将第一层以外的所有层分为4组、8组等等，直到处理精度不符合要求为止。

假设在将Conv 2至Conv 5分为8组的情况下，卷积神经网络的处理精度不再预定满足要求，则可以回到Conv 2至Conv 5分为4组的情况，保留Conv 2分为4组，从Conv 3之后至Conv 5的所有层分为8组，看处理精度是否符合预定要求。如果仍不符合，则Conv 2、Conv3分为4组，Conv 4至Conv 5分为8组，以此方式改变分组数，直到处理精度恰好满足预定要求，即得到每层的最优分组数。

如果在上述过程中，在改变分组数的同时，还改变每组内的通道数目，则可以获得非均匀分组的最优分组方式。

注意，在实验不同分组方式的过程中，可以例如可以通过直接从原始滤波器中参数中随机选择1/σ个滤波器的方式(例如此前参照图4讨论的设置所选择的滤波器参数的示例)，来设置实验过程中的卷积神经网络的参数，以在这些参数情况下确定该网络对数据的处理精度以及该处理精度是否满足预定要求。

无论以哪种方式确定各层的分组参数，只要在确定分组参数之后，即可获得优化的卷积神经网络的结构，该优化结构从外部观察与优化之前并无区别。换言之，优化结构与原结构具有对应的卷积层，并且在每个对应卷积层中，优化结构与原结构具有相同的输入通道数目以及相同的输出通道数目。

对于这样的优化结构，可选地，可以随机设定滤波器的初始参数，并通过训练得到最佳参数。替选地，可以从优化之前的卷积神经网络(即，预训练的卷积神经网络)中相应卷积层的滤波器当中选择滤波器作为对应分组的滤波器，或者是基于所述选择的滤波器进行训练得到的对应分组的滤波器，在此不再重复描述。

以上参照图2至图5描述了根据本公开实施例的信息处理方法，其利用卷积层中的权重数量减少的、改进的卷积神经网络结构，从而与常规方法相比减少计算次数并提高处理速度。该信息处理方法可以用于任何卷积神经网络所适用的领域，例如但不限于语音处理、图像处理等。

根据本公开的另一方面，提供了一种在卷积神经网络中进行数据处理的信息处理设备。该信息处理设备可以实现根据本公开实施例的信息处理方法，其可以包括处理器，该处理器被配置为针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

信息处理设备的处理器例如可以被配置为进行以上参照图2至图5描述的信息处理方法及其各个步骤的操作和/或处理并实现类似的效果，在此不再进行重复说明。

在一个优选实施例中，所述一个卷积层不是优化的卷积神经网络中的第一个卷积层。

在一个优选实施例中，所述优化的卷积神经网络与预训练的卷积神经网络具有相应的卷积层、并在相应的卷积层中具有相同的输入数目及相同的输出数目，并且所述第一组滤波器和所述第二组滤波器是根据预训练的卷积神经网络中相应卷积层的滤波器而获得。

在一个优选实施例中，所述第一组滤波器和所述第二组滤波器是从预训练的卷积神经网络中相应卷积层的滤波器中选择的滤波器，或者是基于所述选择的滤波器进行训练得到的。

可选地，所述选择的滤波器是预训练的卷积神经网络中相应卷积层的滤波器当中激励响应最大的滤波器或随机选择的滤波器。

可选地，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目相同或不同。

在一个优选实施例中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目是通过训练或实验得到的。

在一个优选实施例中，所述处理器还被配置为针对优化的卷积神经网络中的另一个卷积层，进行与针对所述一个卷积层类似的操作。

可选地，所述另一个卷积层在所述一个卷积层之后，并且所述另一个卷积层的输入通道的分组数目大于或等于所述一个卷积层的输入通道的分组数目。

图6是示出了可用来实现根据本公开实施例的信息处理方法和设备的一种可能的硬件配置600的结构简图。

在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，还根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件也连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡例如LAN卡、调制解调器等)。通信部分609经由网络例如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可拆卸介质611例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上，使得从中读出的计算机程序可根据需要被安装到存储部分608中。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开实施例的信息处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。

即，本公开还提出了一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行在卷积神经网络中进行数据处理的信息处理方法。所述指令代码包括第一指令代码部分，用于针对优化的卷积神经网络中的一个卷积层进行下述操作：对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

上述存储介质例如可以包括但不限于磁盘、光盘、磁光盘、半导体存储器等。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。

此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，客户信息处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到信息处理终端中然后执行该程序，也可以实现本公开的各实施例。

综上，根据本公开实施例，本公开提供了如下方案，但不限于此：

(1)一种在卷积神经网络中进行数据处理的信息处理方法，所述方法包括:

针对优化的卷积神经网络中的一个卷积层：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

(2)如上述(1)所述的方法，其中，所述优化的卷积神经网络与预训练的卷积神经网络具有相应的卷积层、并在相应的卷积层中具有相同的输入数目及相同的输出数目，并且所述第一组滤波器和所述第二组滤波器是根据预训练的卷积神经网络中相应卷积层的滤波器而获得。

(3)如上述(2)所述的方法，其中，所述第一组滤波器和所述第二组滤波器是从预训练的卷积神经网络中相应卷积层的滤波器中选择的滤波器，或者是基于所述选择的滤波器进行训练得到的。

(4)如上述(3)所述的方法，其中，所述选择的滤波器是预训练的卷积神经网络中相应卷积层的滤波器当中激励响应最大的滤波器或随机选择的滤波器。

(5)如上述(1)或(2)所述的方法，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目相同或不同。

(6)如上述(1)或(2)所述的方法，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目是通过实验得到的。

(7)如上述(1)或(2)所述的方法，还包括：针对优化的卷积神经网络中的另一个卷积层，进行与针对所述一个卷积层类似的操作。

(8)如上述(7)所述的方法，其中，所述另一个卷积层在所述一个卷积层之后，并且所述另一个卷积层的输入通道的分组数目大于或等于所述一个卷积层的输入通道的分组数目。

(9)如上述(1)或(2)所述的方法，其中，所述一个卷积层不是优化的卷积神经网络中的第一个卷积层。

(10)一种在卷积神经网络中进行数据处理的信息处理设备，所述设备包括:

处理器，所述处理器被配置为：

针对优化的卷积神经网络中的一个卷积层：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

(11)如上述(10)所述的设备，其中，所述优化的卷积神经网络与预训练的卷积神经网络具有相应的卷积层、并在相应的卷积层中具有相同的输入数目及相同的输出数目，并且所述第一组滤波器和所述第二组滤波器是根据预训练的卷积神经网络中相应卷积层的滤波器而获得。

(12)如上述(11)所述的设备，其中，所述第一组滤波器和所述第二组滤波器是从预训练的卷积神经网络中相应卷积层的滤波器中选择的滤波器，或者是基于所述选择的滤波器进行训练得到的。

(13)如上述(12)所述的设备，其中，所述选择的滤波器是预训练的卷积神经网络中相应卷积层的滤波器当中激励响应最大的滤波器或随机选择的滤波器。

(14)如上述(10)或(11)所述的设备，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目相同或不同。

(15)如上述(10)或(11)所述的设备，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目是通过实验得到的。

(16)如上述(10)或(11)所述的设备，所述处理器还被配为：针对优化的卷积神经网络中的另一个卷积层，进行与针对所述一个卷积层类似的操作。

(17)如上述(16)所述的设备，其中，所述另一个卷积层在所述一个卷积层之后，并且所述另一个卷积层的输入通道的分组数目大于或等于所述一个卷积层的输入通道的分组数目。

(18)如上述(10)或(11)所述的设备，其中，所述一个卷积层不是优化的卷积神经网络中的第一个卷积层。

(19)一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行在卷积神经网络中进行数据处理的信息处理方法，所述指令代码包括：

第一指令代码部分，用于针对优化的卷积神经网络中的一个卷积层进行下述操作：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备可能不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。

Claims (10)

1.一种在卷积神经网络中进行数据处理的信息处理方法，所述方法包括:

针对优化的卷积神经网络中的一个卷积层：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

2.如权利要求1所述的方法，其中，所述优化的卷积神经网络与预训练的卷积神经网络具有相应的卷积层、并在相应的卷积层中具有相同的输入数目及相同的输出数目，并且所述第一组滤波器和所述第二组滤波器是根据预训练的卷积神经网络中相应卷积层的滤波器而获得。

3.如权利要求2所述的方法，其中，所述第一组滤波器和所述第二组滤波器是从预训练的卷积神经网络中相应卷积层的滤波器中选择的滤波器，或者是基于所述选择的滤波器进行训练得到的。

4.如权利要求3所述的方法，其中，所述选择的滤波器是预训练的卷积神经网络中相应卷积层的滤波器当中激励响应最大的滤波器或随机选择的滤波器。

5.如权利要求1或2所述的方法，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目相同或不同。

6.如权利要求1或2所述的方法，其中，所述第一组输入通道的输入数目和所述第二组输入通道的输入数目是通过训练得到的。

7.如权利要求1或2所述的方法，还包括：针对优化的卷积神经网络中的另一个卷积层，进行与针对所述一个卷积层类似的操作。

8.如权利要求7所述的方法，其中，所述另一个卷积层在所述一个卷积层之后，并且所述另一个卷积层的输入通道的分组数目大于或等于所述一个卷积层的输入通道的分组数目。

9.一种在卷积神经网络中进行数据处理的信息处理设备，所述设备包括:

处理器，所述处理器被配置为：

针对优化的卷积神经网络中的一个卷积层：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。

10.一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行在卷积神经网络中进行数据处理的信息处理方法，所述指令代码包括：

第一指令代码部分，用于针对优化的卷积神经网络中的一个卷积层进行下述操作：

对该卷积层的第一组输入通道以第一组滤波器进行卷积处理，得到第一组输出通道；

对该卷积层的至少第二组输入通道以第二组滤波器进行卷积处理，得到至少第二组输出通道；

其中，所述第一组输入通道的输入数目与所述第一组输出通道的输出数目之比和所述第二组输入通道的输入数目与所述第二组输出通道的输出数目之比相同。