CN109840584B - 基于卷积神经网络模型的图像数据分类方法及设备 - Google Patents

Abstract

本发明是关于一种基于卷积神经网络模型的图像数据分类方法及设备，涉及深度学习技术领域，该卷积神经网络模型包括：输入层、至少一层第一卷积层、特征融合层以及输出层，所述第一卷积层包括深度卷积子层以及逐点卷积子层，所述深度卷积子层包含m个通道组，每个所述通道组包含至少两个输入通道以及至少两个输出通道。通过第一卷积层，将对多个输入通道输入的数据特征划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性。

Description

基于卷积神经网络模型的图像数据分类方法及设备

技术领域

本发明涉及深度学习技术领域，特别涉及一种卷积神经网络模型、数据处理方法及装置。

背景技术

近年来，卷积神经网络(Convolutional Neural Network，CNN)取得了快速发展，并在图像识别等领域取得了显著成绩。

在相关技术中，为了降低卷积神经网络的复杂度，提高计算效率，可以将卷积神经网络中的卷积层划分为卷积核大小为h×w的深度卷积子层和卷积核大小为1×1的逐点卷积子层，其中，图1示出了该卷积层的结构示意图。

如图1所示，深度卷积子层中包含若干组一一对应的输入通道和输出通道，该深度卷积子层中的输出通道同时作为逐点卷积子层的输入通道，深度卷积子层中的每个输出通道对应一个h×w的卷积核，逐点卷积子层中包含若干组输出通道，且逐点卷积子层中的每个输出通道对应一个1×1的卷积核。在进行卷积计算时，深度卷积子层中的一个h×w的卷积核只需要与一个输入通道中输入的特征数据进行卷积计算并经由对应的输出通道输出，随后通过大小为1×1的卷积核将深度卷积子层中的各个输出通道输出的特征数据进行融合。上述卷积层将尺寸较大的h×w卷积核与单个输入通道中输入的特征数据进行卷积，并通过尺寸较小的1×1卷积核将深度卷积子层的各个输出通道输出的卷积结果进行融合，以降低卷积层的计算量。

然而，在上述的卷积层中，深度卷积子层的一个输出通道只受到一个输入通道中的特征数据的影响，导致卷积过程中的数据特征的提取不够全面，影响卷积神经网络的准确性。

发明内容

本发明实施例提供了一种卷积神经网络模型、数据处理方法及装置，可以解决相关技术中深度卷积子层的一个输出通道只受到一个输入通道中的特征数据的影响，导致卷积过程中的数据特征的提取不够全面，影响卷积神经网络的准确性的问题，技术方案如下：

一方面，提供了一种卷积神经网络模型，所述卷积神经网络模型包括：输入层、至少一层第一卷积层、特征融合层以及输出层，所述第一卷积层包括深度卷积子层以及逐点卷积子层，所述深度卷积子层包含m个通道组，每个所述通道组包含至少两个输入通道以及至少两个输出通道，所述逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数；

所述输入层，用于接收所述卷积神经网络模型的输入数据；

所述至少一层第一卷积层，用于通过所述深度卷积子层以及所述逐点卷积子层对所述输入数据的特征数据逐层进行卷积计算，且每层所述第一卷积层在进行卷积计算时，所述深度卷积子层的每个所述通道组中的至少两个输出通道共享从所述通道组中的至少两个输入通道输入的特征数据，且所述逐点卷积子层中的至少两个输出通道共享从所述m个通道组中的各个输出通道分别输入的特征数据；

所述特征融合层，用于对经过所述至少一层第一卷积层卷积处理后的特征数据进行特征融合；

所述输出层，用于对特征融合后的特征数据进行数据分类或回归，并输出分类或回归结果。

另一方面，提供一种基于卷积神经网络模型的数据处理方法，所述卷积神经网络模型包括输入层、至少一层第一卷积层、特征融合层以及输出层，所述第一卷积层包括深度卷积子层以及逐点卷积子层，所述深度卷积子层包含m个通道组，每个所述通道组包含至少两个输入通道以及至少两个输出通道，所述逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数；所述方法包括：

通过所述输入层接收所述卷积神经网络模型的输入数据；

通过所述至少一层第一卷积层中的所述深度卷积子层以及所述逐点卷积子层对所述输入数据的特征数据逐层进行卷积计算；每层所述第一卷积层在进行卷积计算时，所述深度卷积子层的每个所述通道组中的至少两个输出通道共享从所述通道组中的至少两个输入通道输入的特征数据，且所述逐点卷积子层中的至少两个输出通道共享从所述m个通道组中的各个输出通道分别输入的特征数据；

通过所述特征融合层对经过所述至少一层第一卷积层卷积处理后的特征数据进行特征融合；

通过所述输出层对特征融合后的特征数据进行数据分类或回归，并输出分类或回归结果。

又一方面，提供一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第二方面所述的基于卷积神经网络模型的数据处理方法。

再一方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述第二方面所述的基于卷积神经网络模型的数据处理方法。

本发明提供的技术方案可以包括以下有益效果：

通过第一卷积层将对多个输入通道输入的特征数据划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性；同时，第一卷积层的分组设计还避免了每个输出通道都共享所有输入通道输入的特征数据而导致的卷积层计算量过大的问题，在一定程度上控制卷积层的计算量，提高卷积神经网络模型的计算效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是相关技术中的卷积层的结构示意图；

图2是根据一示例性实施例示出的一种第一卷积层的结构示意图；

图3是根据一示例性实施例示出的一种卷积神经网络模型的构成示意图；

图4是图3所示实施例涉及的另一种卷积神经网络模型的构成示意图；

图5是图3所示实施例涉及的一种第一卷积层的结构示意图；

图6是图3所示实施例涉及的第一卷积层的结构示意图；

图7是图3所示实施例涉及的一种卷积神经网络模型的结构对比示意图；

图8是根据一示例性实施例示出的一种基于卷积神经网络模型的数据处理方法的方法流程图；

图9是根据一示例性实施例示出的一种基于卷积神经网络模型的数据处理装置的结构方框图；

图10是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例所示的方案，对卷积神经网络模型中的全部或者部分卷积层进行改进，改进后的第一卷积层中包含深度卷积子层以及逐点卷积子层，且深度卷积子层中的输入通道和输出通道采用分组设计，每个通道组中包含至少两个输入通道和至少两个输出通道，且每个通道组中的各个输入通道中输入的特征数据，可以由同一通道组中的各个输出通道共享。

图2是根据一示例性实施例示出的一种第一卷积层的结构示意图。如图2所示，第一卷积层20包含深度卷积子层21以及逐点卷积子层22，其中，深度卷积子层21中包含若干个输入通道以及若干个输出通道，其中，该深度卷积子层21中的若干个输入通道以及若干个输出通道分为m个通道组，每个通道组中包含至少两个输入通道以及至少两个输出通道。

在本申请实施例中，上述每个通道组中的至少两个输入通道的通道数量，与该通道组中的至少两个输出通道的通道数量可以相同；比如，假设一通道组中包含3个输入通道，则该通道组中也对应包含3个输出通道。或者，每个通道组中的至少两个输入通道的通道数量，与该通道组中的至少两个输出通道的通道数量也可以不同；比如，假设一通道组中包含3个输入通道，则该通道组中可以包含2个输出通道，也可以包含4个输出通道。

在图2所示的第一卷积层中，深度卷积子层21的每个通道组包含的至少两个输出通道，可以共享所在通道组中的至少两个输入通道中输入的特征数据，也就是说，一个通道组中的每个输出通道输出的特征数据，都会受到该通道组中所有的输入通道中输入的特征数据的影响。

图2中的逐点卷积子层22包含至少两个输出通道，并且，深度卷积子层21中的每个输出通道都作为该逐点卷积子层22的一个输入通道，且该逐点卷积子层中的至少两个输出通道共享从该m个通道组中的各个输出通道分别输入的特征数据，也就是说，逐点卷积子层中的每个输出通道输出的特征数据，都会受到深度卷积子层21中所有的输出通道输出的特征数据的影响。

在本申请实施例中，逐点卷积子层22的输出通道的通道数量，与深度卷积子层21中的输出通道的通道数量可以相同，也可以不同。

此外，深度卷积子层21中不同的通道组中的输入通道的通道数量可以相同，也可以不同，且深度卷积子层21中不同的通道组中的输出通道的通道数量可以相同，也可以不同。比如，深度卷积子层21中不同的通道组1中包含3个输入通道和3个输出通道，另一通道组2中也可以包含3个输入通道和3个输出通道，或者，另一通道组2中也可以包含2个输入通道和4个输出通道。对于深度卷积子层21中每个通道组中的输入通道和输出通道的通道数量，本申请实施例不做限定。

通过上述图2所示的第一卷积层，将对多个输入通道输入的特征数据划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性；同时，上述第一卷积层的分组设计还避免了每个输出通道都共享所有输入通道输入的特征数据而导致的卷积层计算量过大的问题，在一定程度上控制卷积层的计算量，提高卷积神经网络模型的计算效率。

上述第一卷积层可以应用于卷积神经网络模型中，对输入该卷积神经网络模型中的输入数据的特征数据进行卷积处理，以便卷积神经网络模型对输入数据进行分类或回归。

图3是根据一示例性实施例示出的一种卷积神经网络模型的构成示意图，如图1所示，该卷积神经网络模型包括：输入层301、至少一层第一卷积层302、特征融合层303以及输出层304，其中，该第一卷积层302包括深度卷积子层3021以及逐点卷积子层3022，该深度卷积子层3021包含m个通道组，每个该通道组包含至少两个输入通道以及至少两个输出通道，该逐点卷积子层3022包含至少两个输出通道。

在图3所示的卷积神经网络模型中，该输入层301，用于接收卷积神经网络模型的输入数据。

其中，上述输入数据可以是图像数据、语音数据以及文本数据等可以通过卷积神经网络模型进行数据分类或回归的数据。

在本申请实施例中，为了便于卷积神经网络模型的后续处理，输入层301还可以对输入数据进行预处理，该预处理可以包括归一化处理、去均质化处理、降维处理以及白化处理等。

其中，归一化处理是指将输入数据的幅度归一化到一个预定的范围内；去均值化处理是指将输入数据的各个维度都中心化为0；降维处理是指通过PCA(PrincipalComponent Analysis，主成分分析)等方式提取输入数据中的较为部分重要的数据维度，并剔除输入数据中不重要的数据维度；白化处理是指将输入数据的各个特征轴上的幅度进行归一化。

可选的，除了上述归一化处理、去均质化处理、降维处理以及白化处理之外，该输入层301也可以对输入数据进行其它类型的预处理，比如，对输入数据进行反转处理或者偏转处理等。本申请实施例对于上述预处理的具体过程不做限定。

该至少一层第一卷积层302，用于通过深度卷积子层以及逐点卷积子层，对上述输入数据的特征数据逐层进行卷积计算，且每层该第一卷积层在进行卷积计算时，该深度卷积子层的每个该通道组中的至少两个输出通道共享从该通道组中的至少两个输入通道输入的特征数据，且该逐点卷积子层中的至少两个输出通道共享从该m个通道组中的各个输出通道分别输入的特征数据。

该特征融合层303，用于根据经过该至少一层第一卷积层102卷积处理后的特征数据对该输入数据进行分类。

该输出层304，用于对特征融合后的特征数据进行数据分类或回归，并输出分类或回归结果。

通过上述卷积神经网络模型，在进行卷积计算时，一个深度卷积子层中每个通道组中输入的特征数据可以被该通道组包含的多个输出通道共享，即深度卷积子层中每个输出通道输出的特征数据可以受到同一通道组中的多个输入通道中输入的特征数据的影响，从而提高数据特征提取的全面性，进而提高整个卷积神经网络模型的准确性；同时，每个通道组中的输出通道只会共享本通道组中的输入通道中输入的特征数据，不需要共享深度卷积子层中所有的输入通道中输入的特征数据，在一定程度上控制了深度卷积子层的卷积计算量，保证了卷积神经网络模型的计算效率。

请参考图4，其示出了本申请实施例涉及的另一种卷积神经网络模型的构成示意图，如图4所示，该卷积神经网络模型中的第一卷积层402包括深度卷积子层4021以及逐点卷积子层4022，该深度卷积子层4021包含m个通道组，每个该通道组包含至少两个输入通道以及至少两个输出通道，该逐点卷积子层4022包含至少两个输出通道。

在图4中，深度卷积子层4021中的每个输出通道对应的卷积核大小为h×w的卷积核，逐点卷积子层4022的卷积核大小为1×1。其中，h、w为正整数，比如，以第一卷积层的卷积核大小为3×3为例，深度卷积子层4021中的每个输出通道对应的卷积核大小均为3×3。

对于该m个通道组中的每个通道组，该深度卷积子层4021，用于将从该通道组中的至少两个输入通道输入的特征数据，与该通道组中的第i个输出通道对应的卷积核进行卷积处理，获得从该第i个输出通道输出的特征数据，1≤i≤M，M为整数，且M为该通道组中的输出通道的数量。

该逐点卷积子层4022，用于将从该m个通道组中的各个输出通道分别输出的特征数据，与该逐点卷积子层4022的第j个输出通道对应的卷积核进行卷积处理，获得从该第j个输出通道输出的特征数据，1≤j≤N，N为整数，且N为该逐点卷积子层中的输出通道的数量。

以一个深度卷积子层中各个通道组包含的输入通道与输出通道的通道数量相同，且一个深度卷积子层中不同的通道组包含的输入通道的通道数量也相同为例，请参考图5，其示出了本申请实施例涉及的一种第一卷积层的结构示意图。如图5所示，in_ch_1到in_ch_m*M表示深度卷积子层的输入通道，总共m*M个输入通道；mid_ch_1到mid_ch_m*M表示深度卷积子层的输出通道，也就是逐点卷积子层的输入通道，共m*M个输出通道；out_ch_1到out_ch_N表示逐点卷积子层的输出通道，共N个输出通道。

在图5中，虚线框50表示一个通道组，如果每个深度卷积子层的输出通道只与对应的输入通道相关联的话，通过输入通道输入的数据不能进行跨通道共享，不利于特征的共享与融合，因此训练出来的卷积神经网络模型的准确率比较低。而在图5所示的第一卷积层中，虚线框50所示部分将输入通道分成G＝M/g个通道组，其中g表示每个通道组的输入通道个数(g能整除M)。这样，每个通道组中有g个输入通道之间的特征数据能够进行特征共享与融合，使得训练出来的卷积神经网络模型的准确率更高；具体在图5中，每个通道组中的一个输出通道对应一个h×w的卷积核，在卷积计算过程中，深度卷积子层将一个通道组中的所有输入通道输入的特征数据，与一个输出通道对应的h×w卷积核进行卷积计算，获得新的特征数据，并将新的特征数据从对应的输出通道输出，即每一个输出通道输出的新的特征数据，都由对应通道组中所有输入通道输入的特征数据与对应的h×w卷积核进行卷积计算获得。

同时，本申请实施例中的卷积层采用了深度卷积子层和逐点卷积子层的设计，将标准卷积操作的连乘的计算量降低到深度卷积子层和逐点卷积子层相加的计算量，使得卷积神经网络模型的性能也能够得到大幅提升，并使得卷积神经网络模型的体积能得到大幅下降。

本申请实施例中的卷积层的参数量和计算量，与标准卷积的残数量和计算量的对比如表1所示：

设计方法	参数量	计算量
			标准卷积	KxKxMxN	KxKxMxNxFxF
第一卷积层	KxKxM+MxN	KxKxMxgxFxF+MxNxFxF

表1

表1中，K表示卷积核的大小，F表示输出特征图的大小，G表示深度卷积子层的分组数，g表示每个分组G中的输入通道数，即g＝M/G。从表1中可以计算得到，本申请实施例中的第一卷积层与标准卷积相比，模型参数量下降1/N+1/K2，计算量下降g/N+1/K2，因此采用本申请的方案训练得到的卷积神经网络模型，在保持准确率的同时，卷积神经网络模型的体积得到了大幅下降，因此计算性能(即计算速度)得到了大幅提升。

可选的，在本申请实施例中，上述卷积神经网络模型中还可以包含池化层以及激活层，每个深度卷积子层和逐点卷积子层还可以对应各自的BN(Batch Normalization，归一化)层和ReLU(Rectified linear unit，修正线性单元)层。

请参考图6，其示出了本申请实施例涉及的第一卷积层的结构示意图。如图6所示，在本申请实施例中，第一卷积层中的深度卷积子层和逐点卷积子层之间还包含有深度卷积子层对应的BN层61和ReLU层62，深度卷积子层中的各个输出通道输出的特征数据依次经过BN层61和ReLU层62的处理后，输入逐点卷积子层，该逐点卷积子层下还包括BN层63和ReLU层64，逐点卷积子层中的各个输出通道输出的特征数据依次经过BN层63和ReLU层64的处理后，输入该第一卷积层之后的下一个处理层进行处理。

可选的，当卷积神经网络模型中包含相邻两层第一卷积层时，相邻两层第一卷积层中的下一层第一卷积层中的深度卷积子层的输入通道的数量，与相邻两层第一卷积层中的上一层第一卷积层中的逐点卷积子层的输出通道的数量相同。

卷积神经网络模型中可以包含多个第一卷积层，为了实现多个第一卷积层之间的对接，在本申请实施例中，一个第一卷积层中的深度卷积子层的输入通道的数量，可以与该第一卷积层的上一个第一卷积层中的逐点卷积子层的输出通道的数量相同。

可选的，在实际应用中，卷积神经网络模型中除了包含上述第一卷积层之外，还可以包含其它类型的卷积层(比如标准卷积层)，当第一卷积层的上一个卷积层是其它类型的卷积层时，该第一卷积层的深度卷积子层的输入通道的数量，可以与上一个卷积层的输出通道的数量相同。

在卷积神经网络模型中，池化层的作用是将输入池化层的特征数据划分为多个部分，并用每个部分进行平均值或者最大值表示对应的部分，以实现对特征数据的降分辨率处理，降低后续处理过程中的计算复杂度。同时，由于经过池化层处理的特征数据的分辨率更低，后续处理时能够提取更多维度的特征数据，即后续的第一卷积层中可以设置更多的输出通道。

利用上述图5所示的多通道组的第一卷积层，可以根据卷积神经网络的不同层次学习特征的特点进行有针对性的应用，比如，请参考图7，其示出了本申请实施例涉及的一种卷积神经网络模型的结构对比示意图。如图7所示，以类VGG网络为例，虚线框70所示的结构表示一个标准的类VGG网络的结构，该网络共11层卷积层，在无特殊说明的的情况下，卷积层都是3x3大小的卷积核，pad(填充)为1(即在特征数据的外围增加1层的0数据)，卷积步长(stride)为1。虚线框70所示结构中，input表示输入数据；conv32表示标准卷积层有32个输出通道；maxpool表示最大值池化层；fc2048表示全连接层(相当于上述的特征融合层303)有2048个输出通道；softmax表示目标函数层(相当于上述的输出层304)。

虚线框71表示采用上述图5所示的多通道组的第一卷积层之后的网络结构。虚线框71所示网络结构中，与虚线框70所示结构相同的层的含义是一样的，不同的层有dw-conv-32-G8，表示深度卷积子层有32个输入和输出通道，其中32个输入通道分成了8个组，每个组4个输入通道；pw-conv64表示逐点卷积子层有64个输出通道。

虚线框72所示的结构为本申请提出的一种卷积神经网络模型的应用，从这个结构中可以看出，在网络浅层部分(这里的网络浅层是一个相对的概念，指的是卷积神经网络模型中相对上层的处理层)，如dw-conv32-G8层中，每个分组中有4个输入通道，而在dw-conv64-G8层中，每个分组有8个输入通道，而在dw-conv128-G8层中，每个分组有16个输入通道。可见，随着网络层次的加深，每个分组中的输入通道数也在增加。这是因为神经网络浅层部分由于分辨率高，导致计算量非常大，但是浅层部分主要负责提取数据的低层语义特征，且信息冗余度非常高，因此，在网络中这部分将每个分组中的输入通道数减少可以获得性能的大幅提升，同时准确率损失非常少。而在神经网络深层部分(这里的网络浅层是一个相对的概念，指的是卷积神经网络模型中相对下层的处理层)，由于分辨率低，虽然参数量多，但是总的计算量并不高，同时网络的深层部分主要负责提取数据的高层语义特征，且信息冗余度很低，所以在网络中，深层部分将每个分组中的输入通道增加，可以在尽量不影响准确率的同时最大化的提升性能。

通过上述方案，根据卷积神经网络的不同层次学习特征的不同特点，灵活运用多通道分组策略的深度卷积子层和逐点卷积子层可以将保持准确率的同时获得性能的最大化提升。

可选的，该特征融合层包括全连接层。

在本申请实施例中，卷积层、池化层和激活层主要负责将数据映射到特征空间，也就是通过卷积处理来逐层提取输入数据中的特征数据，而特征融合层主要负责将特征映射到样本标记空间，也就是确定预先设置的样本标签中，与第一卷积层提取出的特征数据相对应的样本标签，而输出层则根据确定出的样本标签对输入数据进行分类或者回归，具体的，该输出层可以是激活层(比如Softmax等激活函数)。

在本申请实施例中，特征融合层可以通过全连接层来实现。

可选的，该特征融合层包括第二卷积层，且该第二卷积层的卷积核大小为1×1，或者，该特征融合层包括全局平均池化GAP层。

由于全连接层的参数冗余度非常高(通常高达80％)，为了降低特征融合层的计算量，提高计算效率，本申请实施例可以通过1×1的卷积层和GAP层替换全连接层，以实现卷积神经网络模型的性能提升。

如图7中虚线框73所示，可以用1x1卷积层或者GAP层来代替全连接层来获得性能提升。其中，1x1卷积层的卷积核大小是1x1，可以通过控制输出通道数来将特征映射到样本标记空间；GAP层可以通过在卷积层的每个输出的特征数据上计算一个全局平均值，来将特征映射到样本标记空间。而1x1卷积层和GAP层的计算量都非常小，用1x1卷积层或者GAP层替换掉全连接层可以获得一定的性能提升。

需要说明的是，上述图7仅以类VGG的卷积神经网络为例进行举例说明，在实际应用中，本申请实施例中的第一卷积层以及特征融合层可以应用于其它涉及到的卷积层和特征融合层的卷积神经网络中。

综上所述，本申请实施例所示的方案，通过上述第一卷积层，将对多个输入通道输入的特征数据划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性；同时，上述第一卷积层的分组设计还避免了每个输出通道都共享所有输入通道输入的特征数据而导致的卷积层计算量过大的问题，在一定程度上控制卷积层的计算量，提高卷积神经网络模型的计算效率，实现多个通道之间的特征数据的共享和融合，在平衡模型准确率和性能的同时，最大化性能提升。

此外，本申请实施例所示的方案，基于多通道的分组策略，根据卷积神经网络的不同层次学习特征的特点进行有针对性的应用。

另外，本申请实施例所示的方案，将参数冗余度非常高的全连接层用1x1卷积层或者全局平均池化层来代替，以实现卷积神经网络模型的性能提升。

图8是根据一示例性实施例示出的一种基于卷积神经网络模型的数据处理方法的方法流程图，该方法可以应用于运行有上述图3所示的卷积神经网络模型的计算机设备中，该卷积神经网络模型包括输入层、至少一层第一卷积层、特征融合层以及输出层，该第一卷积层包括深度卷积子层以及逐点卷积子层，该深度卷积子层包含m个通道组，每个该通道组包含至少两个输入通道以及至少两个输出通道，该逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数。如图8所示，该数据处理方法可以包括：

步骤801，通过该输入层接收该卷积神经网络模型的输入数据。

步骤802，通过该至少一层第一卷积层的深度卷积子层以及逐点卷积子层，对该输入数据的特征数据逐层进行卷积计算。

其中，每层该第一卷积层在进行卷积计算时，该深度卷积子层的每个该通道组中的至少两个输出通道共享从该通道组中的至少两个输入通道输入的特征数据，且该逐点卷积子层中的至少两个输出通道共享从该m个通道组中的各个输出通道分别输入的特征数据。

可选的，对于该m个通道组中的每个通道组，通过该深度卷积子层将从该通道组中的至少两个输入通道输入的特征数据，与该通道组中的第i个输出通道对应的卷积核进行卷积处理，获得从该第i个输出通道输出的特征数据，1≤i≤M，M为整数，且M为该通道组中的输出通道的数量。

可选的，通过该逐点卷积子层将从该m个通道组中的各个输出通道分别输出的特征数据，与该逐点卷积子层的第j个输出通道对应的卷积核进行卷积处理，获得从该第j个输出通道输出的特征数据，1≤j≤N，N为整数，且N为该逐点卷积子层中的输出通道的数量。

步骤803，通过该特征融合层对经过该至少一层第一卷积层卷积处理后的特征数据进行特征融合。

步骤804，通过该输出层对特征融合后的特征数据进行数据分类或回归，并输出分类或回归结果。

综上所述，本申请实施例所示的方法，通过上述第一卷积层，将对多个输入通道输入的特征数据划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性；同时，上述第一卷积层的分组设计还避免了每个输出通道都共享所有输入通道输入的特征数据而导致的卷积层计算量过大的问题，在一定程度上控制卷积层的计算量，提高卷积神经网络模型的计算效率，实现多个通道之间的特征数据的共享和融合，在平衡模型准确率和性能的同时，最大化性能提升。

图9是根据一示例性实施例示出的一种基于卷积神经网络模型的数据处理装置的结构方框图。该装置可以用于运行有上述图3所示的卷积神经网络模型的计算机设备中，以执行图8所示实施例中的全部或者部分步骤；该卷积神经网络模型包括输入层、至少一层第一卷积层、特征融合层以及输出层，该第一卷积层包括深度卷积子层以及逐点卷积子层，该深度卷积子层包含m个通道组，每个该通道组包含至少两个输入通道以及至少两个输出通道，该逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数。该装置可以包括：

输入模块901，用于接收该卷积神经网络模型的输入数据；

卷积模块902，用于通过该至少一层第一卷积层的深度卷积子层以及逐点卷积子层，对该输入数据的的特征数据逐层进行卷积计算；每层该第一卷积层在进行卷积计算时，该深度卷积子层的每个该通道组中的至少两个输出通道共享从该通道组中的至少两个输入通道输入的特征数据，且该逐点卷积子层中的至少两个输出通道共享从该m个通道组中的各个输出通道分别输入的特征数据；

特征融合模块903，用于该特征融合层对经过该至少一层第一卷积层卷积处理后的特征数据进行特征融合；

输出模块904，用于该输出层对特征融合后的特征数据进行数据分类或回归，并输出分类或回归结果。

可选的，卷积模块902包括深度卷积子模块和逐点卷积子模块。

对于该m个通道组中的每个通道组，深度卷积子模块，用于通过该深度卷积子层将从该通道组中的至少两个输入通道输入的特征数据，与该通道组中的第i个输出通道对应的卷积核进行卷积处理，获得从该第i个输出通道输出的特征数据，1≤i≤M，M为整数，且M为该通道组中的输出通道的数量。

可选的，逐点卷积子模块，用于通过该逐点卷积子层将从该m个通道组中的各个输出通道分别输出的特征数据，与该逐点卷积子层的第j个输出通道对应的卷积核进行卷积处理，获得从该第j个输出通道输出的特征数据，1≤j≤N，N为整数，且N为该逐点卷积子层中的输出通道的数量。

综上所述，本申请实施例所示的装置，通过上述第一卷积层，将对多个输入通道输入的特征数据划分为多个分组，每个分组中各个输入通道输入的特征数据可以被同组的输出通道共享，使得卷积过程中的数据特征提取更加全面，从而提高卷积神经网络模型的准确性；同时，上述第一卷积层的分组设计还避免了每个输出通道都共享所有输入通道输入的特征数据而导致的卷积层计算量过大的问题，在一定程度上控制卷积层的计算量，提高卷积神经网络模型的计算效率，实现多个通道之间的特征数据的共享和融合，在平衡模型准确率和性能的同时，最大化性能提升。

图10示出了本发明一个示例性实施例提供的计算机设备1000的结构框图。该计算机设备1000可以是便携式移动计算机设备，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1000还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。

通常，计算机设备1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的基于卷积神经网络模型进行数据处理的方法。

在一些实施例中，计算机设备1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009中的至少一种。

外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置计算机设备1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在计算机设备1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在计算机设备1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。

定位组件1008用于定位计算机设备1000的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1009用于为计算机设备1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。

加速度传感器1011可以检测以计算机设备1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1012可以检测计算机设备1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对计算机设备1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1013可以设置在计算机设备1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在计算机设备1000的侧边框时，可以检测用户对计算机设备1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时，由处理器1001根据用户对触摸显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置计算机设备1000的正面、背面或侧面。当计算机设备1000上设置有物理按键或厂商Logo时，指纹传感器1014可以与物理按键或厂商Logo集成在一起。

光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制触摸显示屏1005的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1005的显示亮度；当环境光强度较低时，调低触摸显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。

接近传感器1016，也称距离传感器，通常设置在计算机设备1000的前面板。接近传感器1016用于采集用户与计算机设备1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变小时，由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变大时，由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本发明各个实施例所示的方法的全部或者部分步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种基于卷积神经网络模型的图像数据分类方法，其特征在于，所述方法由运行有所述卷积神经网络模型的计算机设备执行，所述卷积神经网络模型包括输入层、至少一层第一卷积层、特征融合层以及输出层，所述第一卷积层包括深度卷积子层以及逐点卷积子层；所述深度卷积子层包含m个通道组，每个所述通道组包含至少两个输入通道以及至少两个输出通道，所述逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数；每层所述第一卷积层在进行卷积计算时，所述深度卷积子层的每个所述通道组中的至少两个输出通道共享从所述通道组中的至少两个输入通道输入的特征数据，且所述逐点卷积子层中的至少两个输出通道共享从所述m个通道组中的各个输出通道分别输入的特征数据；每个所述通道组中的至少两个输入通道的通道数量，与所述通道组中的至少两个输出通道的通道数量相同或不同；当所述卷积神经网络模型中包含相邻两层第一卷积层时，所述相邻两层第一卷积层中的下一层第一卷积层中的深度卷积子层输入的特征数据的数量，与所述相邻两层第一卷积层中的上一层第一卷积层中的逐点卷积子层输出的特征数据的数量相同；所述方法包括：

通过所述输入层对接收到的图像数据进行预处理，得到处理后的图像数据，所述预处理包括以下至少之一：归一化处理、去均值化处理、降维处理、白化处理；其中，所述归一化处理是指将所述图像数据的幅度归一化到一个预定的范围内；所述去均值化处理是指将所述图像数据的各个维度都中心化为0；所述降维处理是指提取所述图像数据中重要的数据维度，并剔除所述图像数据中不重要的数据维度；所述白化处理是指将所述图像数据的各个特征轴上的幅度进行归一化；

通过所述至少一层第一卷积层中的所述深度卷积子层以及所述逐点卷积子层获取所述处理后的图像数据的特征数据，对所述处理后的图像数据的特征数据逐层进行卷积计算；每层所述第一卷积层在进行卷积计算的过程中，将属于同一组的至少两项输入的特征数据，与所述深度卷积子层的第i个卷积核进行卷积处理，获得所述深度卷积子层的第i项输出的特征数据，1≤i≤M，M为整数，且M为所述深度卷积子层中包含的卷积核的数量，将所述深度卷积子层的M项输出的特征数据，与所述逐点卷积子层的第j个卷积核进行卷积处理，获得所述逐点卷积子层的第j项输出的特征数据，1≤j≤N，N为整数，且N为所述逐点卷积子层中包含的卷积核的数量；其中，所述深度卷积子层输入的特征数据为M项，所述M项输入的特征数据被分成G个组，每个组中包括g项输入的特征数据，g为大于1的整数，G为大于1的整数；且，所述深度卷积子层中属于同一组的至少两个卷积核，均分别与所在组的g项输入的特征数据进行卷积处理，得到相应输出的特征数据；

通过所述特征融合层对经过所述至少一层第一卷积层卷积处理后的特征数据进行特征融合，得到特征融合后的特征数据；

通过所述输出层根据所述特征融合后的特征数据，确定所述图像数据的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述逐点卷积子层的卷积核大小为1×1。

3.根据权利要求1或2所述的方法，其特征在于，所述特征融合层包括全连接层。

4.根据权利要求1或2所述的方法，其特征在于，所述特征融合层包括第二卷积层，且所述第二卷积层的卷积核大小为1×1。

5.根据权利要求1或2所述的方法，其特征在于，所述特征融合层包括全局平均池化GAP层。

6.一种基于卷积神经网络模型的图像数据分类装置，其特征在于，所述卷积神经网络模型包括输入层、至少一层第一卷积层、特征融合层以及输出层，所述第一卷积层包括深度卷积子层以及逐点卷积子层；所述深度卷积子层包含m个通道组，每个所述通道组包含至少两个输入通道以及至少两个输出通道，所述逐点卷积子层包含至少两个输出通道，m为大于或者等于2的整数；每层所述第一卷积层在进行卷积计算时，所述深度卷积子层的每个所述通道组中的至少两个输出通道共享从所述通道组中的至少两个输入通道输入的特征数据，且所述逐点卷积子层中的至少两个输出通道共享从所述m个通道组中的各个输出通道分别输入的特征数据；每个所述通道组中的至少两个输入通道的通道数量，与所述通道组中的至少两个输出通道的通道数量相同或不同；当所述卷积神经网络模型中包含相邻两层第一卷积层时，所述相邻两层第一卷积层中的下一层第一卷积层中的深度卷积子层输入的特征数据的数量，与所述相邻两层第一卷积层中的上一层第一卷积层中的逐点卷积子层输出的特征数据的数量相同；所述装置包括：

输入模块，用于通过所述输入层对接收到的图像数据进行预处理，得到处理后的图像数据，所述预处理包括以下至少之一：归一化处理、去均值化处理、降维处理、白化处理；其中，所述归一化处理是指将所述图像数据的幅度归一化到一个预定的范围内；所述去均值化处理是指将所述图像数据的各个维度都中心化为0；所述降维处理是指提取所述图像数据中重要的数据维度，并剔除所述图像数据中不重要的数据维度；所述白化处理是指将所述图像数据的各个特征轴上的幅度进行归一化；

卷积模块，用于通过所述至少一层第一卷积层中的所述深度卷积子层以及所述逐点卷积子层获取所述处理后的图像数据的特征数据，对所述处理后的图像数据的特征数据逐层进行卷积计算；每层所述第一卷积层在进行卷积计算的过程中，将属于同一组的至少两项输入的特征数据，与所述深度卷积子层的第i个卷积核进行卷积处理，获得所述深度卷积子层的第i项输出的特征数据，1≤i≤M，M为整数，且M为所述深度卷积子层中包含的卷积核的数量，将所述深度卷积子层的M项输出的特征数据，与所述逐点卷积子层的第j个卷积核进行卷积处理，获得所述逐点卷积子层的第j项输出的特征数据，1≤j≤N，N为整数，且N为所述逐点卷积子层中包含的卷积核的数量；其中，所述深度卷积子层输入的特征数据为M项，所述M项输入的特征数据被分成G个组，每个组中包括g项输入的特征数据，g为大于1的整数，G为大于1的整数；且，所述深度卷积子层中属于同一组的至少两个卷积核，均分别与所在组的g项输入的特征数据进行卷积处理，得到相应输出的特征数据；

特征融合模块，用于通过所述特征融合层对经过所述至少一层第一卷积层卷积处理后的特征数据进行特征融合，得到特征融合后的特征数据；

输出模块，用于通过所述输出层根据所述特征融合后的特征数据，确定所述图像数据的分类结果。

7.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至5任一所述的基于卷积神经网络模型的图像数据分类方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至5任一所述的基于卷积神经网络模型的图像数据分类方法。

Images