CN112801266B - 神经网络构建方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种神经网络构建方法、装置、设备及介质，所述方法包括：从原始神经网络中确定待替换的网络层；将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数。采用本实施例的技术方案，可以提高移动端所使用的目标神经网络的性能。

Description

神经网络构建方法、装置、设备及介质

技术领域

本发明涉及机器学习技术领域，特别是涉及一种神经网络构建方法、装置、设备及介质。

背景技术

随着机器学习技术的发展，利用深度神经网络进行人脸识别、物体分类等变的非常普遍。一般而言，深度神经网络由于其较大的计算量对智能设备的要求较高，因此，深度神经网络一般都应用于服务器中。

然而，随着深度神经网络应用越来越广泛，需要在移动端等小型设备上使用深度神经网络，然而现有的应用在移动端的深度神经网络的性能较低。

发明内容

鉴于上述问题，提出了本发明实施例的一种神经网络构建方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，公开了一种神经网络构建方法，所述方法包括：

从原始神经网络中确定待替换的网络层；

将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数。

可选地，所述目标网络层至少包括：第一网络层，所述第一网络层包括顺次连接的第一点卷积模块、第一激活函数模块、第二点卷积模块、特征融合模块以及第二激活函数模块；

其中，所述特征融合模块用于将输入所述第一网络层的特征图与所述第二点卷积模块输出的特征图相融合，得到融合特征图，并输入所述第二激活函数模块；

其中，所述第一激活函数模块与所述第二激活函数模块的激活函数均为不具有下采样功能的包含深度分离卷积的漏斗激活函数。

可选地，所述第一激活函数模块与所述第二激活函数模块的激活函数均为FReLU＝max(x,dw(x))，其中，x表示输入所述第一激活函数模块的特征图或输入所述第二激活函数模块的特征图，dw(·)表示步长为1的深度分离卷积操作。

可选地，所述目标网络层还包括：第二网络层，所述第二网络层包括顺次连接的第三点卷积模块、第三激活函数模块、第四点卷积模块、特征拼接模块以及第四激活函数模块；

其中，所述特征融合模块用于将输入所述第二网络层的特征图与所述第四点卷积模块输出的特征图相拼接，得到拼接特征图，并输入所述第四激活函数模块；

其中，所述第三激活函数模块的激活函数为不具有下采样功能的包含深度分离卷积的漏斗激活函数，所述第四激活函数模块的激活函数为具有下采样功能的包含深度分离卷积的漏斗激活函数。

可选地，所述第三激活函数模块的激活函数为FReLU＝max(x，dw(x))，其中，x表示输入所述第三激活函数模块的特征图，dw(x)表示深度分离卷积操作；

所述第四激活函数模块的激活函数为FReLU2＝max(pool(x),dw2(x))，其中，x表示输入所述第四激活函数模块的特征图，pool(x)表示池化操作，dw(2x)表示步长为2的深度分离卷积操作。

可选地，在所述目标网络层包括所述第一网络层和所述第二网络层的情况下，所述第一网络层的数量为一个或多个，所述第二网络层的数量为一个。

可选地，在得到目标神经网络之后，所述方法还包括：

以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型进行物体识别或分类。

可选地，在得到图像处理模型之后，所述方法还包括：

获得待处理图像；

将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。

本发明实施例的第二方面，提供一种神经网络构建装置，所述装置包括：

确定模块，用于从原始神经网络中确定待替换的网络层；

替换模块，用于将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数。

本发明实施例还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的神经网络构建方法。

本发明实施例还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的神经网络构建方法。

本发明实施例包括以下优点：

采用本发明实施例的技术方案，可以从原始神经网络中确定待替换的网络层，并将待替换的网络层替换为目标网络层，得到目标神经网络，其中，目标网络层中的卷积层为点卷积层，目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数。

由于目标神经网络中的卷积层是点卷积，而目标网络层中的激活函数层的激活函数是漏斗激活函数，如此，点卷积用在网络的卷积模块，而深度分离卷积全部用在激活层，点卷积可以从空间维度提取特征，而漏斗激活函数可以从通道维度提取特征。由此，充分利用了深度分离卷积的超轻量的性质，且深度分离卷积不重复应用于卷积层，使得目标神经网络更加轻量。又由于采用漏斗激活函数有助于提取物体的空间布局，相对于已知的神经网络，本申请的目标神经网络拥有明显的精度和速度优势。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中提出的一种神经网络构建方法的步骤流程图；

图2是本发明实施中提出的一种目标网络层的网络结构图；

图3是本发明实施中提出的又一种目标网络层的网络结构图；

图4是本发明实施中一种神经网络构建装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，应用于移动端的神经网络一般采用点卷积和深度分离卷积，去实现较小的计算量和模型的轻量化。但是对这两种卷积的利用方式非常局限，仍然是串行叠加，深度分离卷积仍然当作是卷积层使用，并未充分深度分离卷积的超轻量的性质，如此，使得应用于移动端的神经网络的性能仍然较低。

发明人为解决相关技术中的问题，提出了如下技术构思：构建一种新型的神经网络，该神经网络中的点卷积和深度分离卷积不再通过简单的串行方式，主干网络全部使用点卷积，深度分离卷积全部用在激活层。

参照图1所示，示出了本申请实施例的一种神经网络构建方法的步骤流程图，该方法可以应用于服务器或其他终端设备中，具体可以包括以下步骤：

步骤S101：从原始神经网络中确定待替换的网络层。

本实施例中，原始神经网络可以是以下任意一种深度卷积神经网络：VGG，ResNet，DenseNet等。其中，待替换的网络层可以是指原始神经网络中的卷积模块、相应的激活函数层所在的网络层。例如，待替换的网络层可以是除全连接层、输入层以外的各网络层。

步骤S102：将所述待替换的网络层替换为目标网络层，得到目标神经网络。

其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数.

本实施例中，点卷积层可以是指对特征图进行卷积处理的网络层，该点卷积层可以理解为是采用相应的卷积核在特征图的空间维度上进行卷积，以提取相应的空间信息。

在一种示例中，目标网络层中的卷积层可以是指用于对特征图进行卷积处理的网络层，该卷积层中所进行的卷积处理即为点卷积层所执行的卷积处理。当然，目标网络层中可以包括多个点卷积层和多个激活函数层。

其中，深度分离卷积可以是指对特征图在通道维度上进行卷积。漏斗激活函数也被称为FReLU，FReLU是专门为视觉任务设计的，FReLU中在激活函数中引入了上下文的信息，将激活函数由1维变为2维，这个视觉条件有助于提取物体的空间布局。FReLU的关键元素，包括漏斗条件和像素级建模能力，这是ReLU及其变体的主要缺失部分。

其中，将目标网络层中的激活函数设置为漏斗激活函数，因该漏斗激活函数实质包括深度分离卷积，这样，在目标神经网络中，卷积层均使用点卷积，而激活函数层使用深度分离卷积，如此，在卷积层中便无需再串行深度分离卷积，避免深度分离卷积被重复应用于卷积层，从而充分利用了深度分离卷积的超轻量的性质，使得目标神经网络更加轻量。又由于采用漏斗激活函数，提高了对物体的空间维度的特征的提取能力，从而使得本申请的目标神经网络拥有明显的精度和速度优势。

在一种示例中，所述目标网络层至少包括：第一网络层。参照图2所示，示出了本申请实施例的一种第一网络层的结构框图，如图2所示，所述第一网络层具体可以包括顺次连接的第一点卷积模块、第一激活函数模块、第二点卷积模块、特征融合模块以及第二激活函数模块。

其中，所述特征融合模块用于将输入所述第一网络层的特征图与所述第二点卷积模块输出的特征图相融合，得到融合特征图，并输入所述第二激活函数模块；

其中，所述第一激活函数模块与所述第二激活函数模块的激活函数均为不具有下采样功能的包含深度分离卷积的漏斗激活函数。

本实施例中，第一点卷积模块和第二点卷积模块即为上述实施例所述的点卷积层，第一激活函数模块和第二激活函数模块即为上述实施例所述的激活函数层。

其中，如图2所示，第一点卷积模块和第二点卷积模块各自的卷积核的尺寸可以是1×1的尺寸，特征融合模块如图中“+”号所示的模块。第一点卷积模块可以用于对输入的特征图x进行卷积处理后得到的特征图x1输入到第一激活函数模块，由第一激活函数模块对特征图x1进行包括深度分离卷积的处理，之后，将输出的特征图x2输入到第二点卷积模块，第二点卷积模块对特征图x2进行卷积处理后，输出特征图x3，由特征融合模块对输入该网络层的特征图x1与特征图x3进行融合，得到融合特征图x4，之后第二激活函数模块对融合特征图x4进行处理。

其中，对所述第一网络层的特征图与所述第二点卷积模块输出的特征图相融合可以是指：将第一网络层的特征图和第二点卷积模块输出的特征图进行相加。

在一种示例中，所述第一激活函数模块与所述第二激活函数模块的激活函数均为FReLU＝max(x，dw(x))，其中，x表示输入所述第一激活函数模块的特征图或输入所述第二激活函数模块的特征图，dw(x)表示步长为1的深度分离卷积操作。

在本示例中，无论是第一激活函数模块还是第二激活函数模块，激活函数均为FReLU＝max(x，dw(x))。

在又一种示例中，目标网络层还包括第二网络层，参照图3所示，示出了本申请实施例的一种第二网络层的结构框图，如图3所示，所述第二网络层具体可以包括顺次连接的第三点卷积模块、第三激活函数模块、第四点卷积模块、特征拼接模块以及第四激活函数模块；

其中，所述特征融合模块用于将输入所述第二网络层的特征图与所述第四点卷积模块输出的特征图相拼接，得到拼接特征图，并输入所述第四激活函数模块；

其中，所述第三激活函数模块的激活函数为不具有下采样功能的包含深度分离卷积的漏斗激活函数，所述第四激活函数模块的激活函数为具有下采样功能的包含深度分离卷积的漏斗激活函数。

本实施例中，第三点卷积模块和第四点卷积模块即为上述实施例所述的点卷积层，第三激活函数模块和第四激活函数模块即为上述实施例所述的激活函数层。

其中，如图3所示，第三点卷积模块和第四点卷积模块各自的卷积核的尺寸可以是1×1的尺寸，特征拼接模块如图中的“Concat”模块所示。第三点卷积模块可以用于对输入的特征图y进行卷积处理后得到的特征图y1输入到第三激活函数模块，由第三激活函数模块对特征图y1进行包括深度分离卷积的处理，之后，将输出的特征图y2输入到第四点卷积模块，第四点卷积模块对特征图y2进行卷积处理后，输出特征图y3，由特征拼接模块对输入该网络层的特征图y1与特征图y3进行通道维度上的拼接，得到拼接特征图y4，之后第四激活函数模块对拼接特征图y4进行处理。

其中，对所述第二网络层的特征图与所述第四点卷积模块输出的特征图相拼接可以是指：在通道维度上，将第二网络层的特征图和第四点卷积模块输出的特征图进行拼接。

相应地，本实施例中，第三激活函数模块和第四激活函数模块所用的漏斗激活函数可以不同。

具体地，所述第三激活函数模块的激活函数为FReLU＝max(x，dw(x))，其中，x表示输入所述第三激活函数模块的特征图，dw(x)表示深度分离卷积操作；所述第四激活函数模块的激活函数为FReLU2＝max(pool(x),dw2(x))，其中，x表示输入所述第四激活函数模块的特征图，pool(x)表示池化操作，dw(2x)表示步长为2的深度分离卷积操作。

如此，该第二网络层除用于对输入到第二网络层的特征图进行点卷积和深度分离卷积外，还可以用于对输入到第二网络层的特征图进行下采样，从而提取到更加全局的特征。

其中，目标网络层可以同时包括第一网络层和第二网络层，如此，两个不同的网络层可以相互叠加从而构成目标网络层。相应地，在所述目标网络层包括所述第一网络层和所述第二网络层的情况下，所述第一网络层的数量为一个或多个，所述第二网络层的数量为一个。

当然，需要说明的是，上述的第一网络层和第二网络层中的卷积模块的卷积核尺寸可以根据实际需求进行设置，图2和图3中的1×1的卷积核尺寸仅为示例性说明，并不代表对本申请的第一点卷积模块至第四点卷积模块所使用的卷积核的限定。

通过上述方法便可以得到目标神经网络，参照下表1所示，以表格方式示出了通过上述方法得到的一种目标神经网络的结构，如表1所示，目标神经网络包括的网络层为：Image、Conv1、Stage2、Stage3、Stage4、Stage5、Conv6、GlobalPool、FC层。其中，Ksize表示卷积核的尺寸，Stride表示选用的何种网络层，其中，Stride＝1表示第一网络层，Stride＝2表示第二网络层，Repeat表示第一网络层和第二网络层的叠加次数。

表1：目标神经网络的结构表

如表1所示，待替换的网络层可以为Conv1、Stage2、Stage3、Stage4、Stage5、Conv6，如此，每一个待替换的网络层均可以至少由一个第二网络层构成。从表1可看出，通过第二网络层实现了对输入的特征图的下采样。

由表1可知，无论对于哪一指标的输出通道数，本申请的目标神经网络是一种超轻的神经网络，可以广泛应用于移动端等小型智能设备。

在得到目标神经网络后，为了使得目标神经网络可以执行图像处理任务，可以对目标神经网络进行训练，具体的，可以以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型可以用于进行物体识别或分类。

其中，样本图像集中可以包括针对同一图像处理任务的多张样本图像，根据实际训练需求，每张样本图像可以携带标签也可以不携带标签。

其中，图像处理任务可以是人脸识别任务、图像分类任务、属性识别任务、指纹识别任务、虹膜识别任务等。则相应地，针对人脸识别任务，样本图像集中便可以包括多个来自不同人脸或同一人脸的人脸图像；针对属性识别任务，样本图像集中便可以包括多个具有不同属性的样本图像；针对指纹识别任务，样本图像集中便可以包括多个具有来自不同手指或同一手指的指纹图像；针对虹膜识别任务，样本图像集中便可以包括多个具有来自不同眼睛或同一眼睛的虹膜图像。

本实施例中，针对不同的图像处理任务，可以按照相应的相关技术对所述目标神经网络进行训练，以得到图像处理模型，其中，所得到的图像处理模型的结构与目标神经网络的结构一致。

在一种具体实现中，在以样本图像集为训练样本，对所述目标神经网络进行训练时，可以将训练结束时的目标神经网络，确定为用于图像处理模型。实际中，可以在图像识别的准确率达到预设准确率时，视为训练结束，或者在目标神经网络收敛时，视为训练结束，进而将训练结束时的目标神经网络确定为图像处理模型。

如此，得到了图像处理模型，之后，可以利用图像处理模型进行相应的图像处理。

具体地，可以获得待处理图像；并将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。

其中，待处理图像可以是人脸图像、指纹图像或针对一个特定对象所拍摄的图像。具体地，待处理图像可以与要进行的图像处理任务相关联，例如，进行的是人脸识别，则待处理图像是人脸图像。

本实施例中，可以将待处理图像输入图像处理模型的输入端，进而得到图像处理模型输出的处理结果，其中，处理结果与图像处理任务关联。

其中，图像处理任务为对图像中的对象进行识别，以判断对象是否是某一指定对象的情况下，则处理结果为待处理图像包含的物体的识别结果。若像识别任务为对图像中的对象进行分类，以判断对象所属的类别的情况下，则处理结果为待处理图像包含的物体的分类结果。

当然，实际中的图像处理任务并不局限于上述识别任务，实际中，也可以是其他图像处理任务，例如，物体分类任务。

由于本实施例中，目标神经网络中的卷积层是点卷积，而目标网络层中的激活函数层的激活函数是漏斗激活函数，如此，点卷积用在网络的卷积模块，而深度分离卷积全部用在激活层，点卷积可以从空间维度提取特征，而漏斗激活函数可以从通道维度提取特征。由此，充分利用了深度分离卷积的超轻量的性质，使得目标神经网络更加轻量，相对于已知的神经网络，本申请的目标神经网络拥有明显的精度和速度优势。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4所示，示出了本发明实施例的一种神经网络构建装置的结构框图，如图4所示，所述装置具体可以包括以下模块：

确定模块401，用于从原始神经网络中确定待替换的网络层；

替换模块402，用于将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数。

可选地，所述目标网络层至少包括：第一网络层，所述第一网络层包括顺次连接的第一点卷积模块、第一激活函数模块、第二点卷积模块、特征融合模块以及第二激活函数模块；

其中，所述特征融合模块用于将输入所述第一网络层的特征图与所述第二点卷积模块输出的特征图相融合，得到融合特征图，并输入所述第二激活函数模块；

其中，所述第一激活函数模块与所述第二激活函数模块的激活函数均为不具有下采样功能的包含深度分离卷积的漏斗激活函数。

可选地，所述第一激活函数模块与所述第二激活函数模块的激活函数均为FReLU＝max(x,dw(x))，其中，x表示输入所述第一激活函数模块的特征图或输入所述第二激活函数模块的特征图，dw(x)表示步长为1的深度分离卷积操作。

可选地，所述目标网络层还包括：第二网络层，所述第二网络层包括顺次连接的第三点卷积模块、第三激活函数模块、第四点卷积模块、特征拼接模块以及第四激活函数模块；

其中，所述特征融合模块用于将输入所述第二网络层的特征图与所述第四点卷积模块输出的特征图相拼接，得到拼接特征图，并输入所述第四激活函数模块；

其中，所述第三激活函数模块的激活函数为不具有下采样功能的包含深度分离卷积的漏斗激活函数，所述第四激活函数模块的激活函数为具有下采样功能的包含深度分离卷积的漏斗激活函数。

可选地，所述第三激活函数模块的激活函数为FReLU＝max(x，dw(x))，其中，x表示输入所述第三激活函数模块的特征图，dw(x)表示深度分离卷积操作；

所述第四激活函数模块的激活函数为FReLU2＝max(pool(x),dw2(x))，其中，x表示输入所述第四激活函数模块的特征图，pool(x)表示池化操作，dw(2x)表示步长为2的深度分离卷积操作。

可选地，在所述目标网络层包括所述第一网络层和所述第二网络层的情况下，所述第一网络层的数量为一个或多个，所述第二网络层的数量为一个。

可选地，所述装置还包括以下模块：

训练模块，用于以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型进行物体识别或分类。

可选地，所述装置还包括以下模块：

图像获得模块，用于获得待处理图像；

图像处理模块，用于将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本发明实施例还提供了一种电子设备，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的分类网络构建方法或物体检测模型构建方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的分类网络构建方法或物体检测模型构建方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种神经网络构建方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种神经网络构建方法，其特征在于，所述方法包括：

从原始神经网络中确定待替换的网络层；

将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数，所述目标神经网络应用于服务器或小型终端设备中，用于执行图像处理任务；

以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型用于进行物体识别或分类。

2.根据权利要求1所述的方法，其特征在于，所述目标网络层至少包括：第一网络层，所述第一网络层包括顺次连接的第一点卷积模块、第一激活函数模块、第二点卷积模块、特征融合模块以及第二激活函数模块；

其中，所述特征融合模块用于将输入所述第一网络层的特征图与所述第二点卷积模块输出的特征图相融合，得到融合特征图，并输入所述第二激活函数模块；

其中，所述第一激活函数模块与所述第二激活函数模块的激活函数均为不具有下采样功能的包含深度分离卷积的漏斗激活函数。

3. 根据权利要求2所述的方法，其特征在于，所述第一激活函数模块与所述第二激活函数模块的激活函数均为FReLU=max(x, dw(x))，其中，x表示输入所述第一激活函数模块的特征图或输入所述第二激活函数模块的特征图，dw(x)表示步长为1的深度分离卷积操作。

4.根据权利要求1或2所述的方法，其特征在于，所述目标网络层还包括：第二网络层，所述第二网络层包括顺次连接的第三点卷积模块、第三激活函数模块、第四点卷积模块、特征拼接模块以及第四激活函数模块；

其中，所述特征拼接模块用于将输入所述第二网络层的特征图与所述第四点卷积模块输出的特征图相拼接，得到拼接特征图，并输入所述第四激活函数模块；

其中，所述第三激活函数模块的激活函数为不具有下采样功能的包含深度分离卷积的漏斗激活函数，所述第四激活函数模块的激活函数为具有下采样功能的包含深度分离卷积的漏斗激活函数。

5.根据权利要求4所述的方法，其特征在于，所述第三激活函数模块的激活函数为FReLU=max(x，dw(x))，其中，x表示输入所述第三激活函数模块的特征图，dw(x)表示深度分离卷积操作；

所述第四激活函数模块的激活函数为FReLU2=max(pool(x), dw2(x))，其中，x表示输入所述第四激活函数模块的特征图，pool(x)表示池化操作，dw2(x)表示步长为2的深度分离卷积操作。

6.根据权利要求4所述的方法，其特征在于，在所述目标网络层包括所述第一网络层和所述第二网络层的情况下，所述第一网络层的数量为一个或多个，所述第二网络层的数量为一个。

7.根据权利要求6所述的方法，其特征在于，在得到图像处理模型之后，所述方法还包括：

获得待处理图像；

将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。

8.一种神经网络构建装置，其特征在于，所述装置包括：

确定模块，用于从原始神经网络中确定待替换的网络层；

替换模块，用于将所述待替换的网络层替换为目标网络层，得到目标神经网络，其中，所述目标网络层中的卷积层为点卷积层，所述目标网络层中的激活函数层的激活函数为包含深度分离卷积的漏斗激活函数，所述目标神经网络应用于服务器或小型终端设备中，用于执行图像处理任务；

训练模块，用于以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型用于进行物体识别或分类。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-7任一所述的神经网络构建方法。

10.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-7任一项所述的神经网络构建方法。