CN112598126A - 神经网络构建方法、装置、设备及介质 - Google Patents
神经网络构建方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112598126A CN112598126A CN202011403254.XA CN202011403254A CN112598126A CN 112598126 A CN112598126 A CN 112598126A CN 202011403254 A CN202011403254 A CN 202011403254A CN 112598126 A CN112598126 A CN 112598126A
- Authority
- CN
- China
- Prior art keywords
- target network
- module
- network module
- target
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 75
- 238000010276 construction Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 68
- 230000006870 function Effects 0.000 claims description 60
- 230000004913 activation Effects 0.000 claims description 56
- 238000010586 diagram Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000013140 knowledge distillation Methods 0.000 claims description 7
- 238000013138 pruning Methods 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种神经网络构建方法、装置、设备及介质，所述方法包括：从原始神经网络中确定每个目标网络模块；在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。采用本实施例的技术方案，在提升模型的预测能力的基础上，还可以减少模型参数、降低模型计算复杂度。
Description
技术领域
本发明涉及计算机处理技术领域，特别是涉及一种神经网络构建方法、装置、设备及介质。
背景技术
近年来，随着人工神经网络复杂度的增加，模型的表达能力也随之提升。然而，神经网络模型的复杂度增加虽然能够提升模型的表达能力和性能，但是，随之而来的，模型也会增加的大量参数和计算复杂度，尤其是对于嵌入式设备、自动驾驶领域等资源受限的应用场景下，更不可能无限制的靠增加模型复杂度来提高模型预测性能。因此，为了加快人工智能的落地，需要在保证模型预测准确率的前提下，尽量减小模型的复杂度。
相关技术中，一般通过张量分解、模型剪枝、知识蒸馏以及模型量化，对模型进行压缩，以尽可能减少模型参数或者计算复杂度。但是，以上方法均需要通过难度较高和周期漫长的模型训练才能实现，得到上述模型的成本高昂。因此，如何提供一种通用的方法以既减小模型的复杂度又可以尽量压缩成本，成为了亟待解决的技术问题。
发明内容
鉴于上述问题，提出了本发明实施例的一种神经网络构建方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面，公开了一种神经网络构建方法，所述方法包括：
从原始神经网络中确定每个目标网络模块；
在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
可选地，所述特征融合模块包括顺次连接的注意力子模块和融合子模块；
其中，针对每个目标网络模块，该目标网络模块的输出端连接所述注意力子模块的输入端，所述融合子模块的输出端连接与该目标网络模块相邻的下一个目标网络模块的输入端；
所述注意力子模块用于针对每个目标网络模块，对该目标网络模块输出的特征图进行处理，以输出该目标网络模块之前的各个目标网络模块各自的权重；
所述融合子模块用于针对每个目标网络模块，根据该目标网络模块之前的各个目标网络模块各自的权重，对该目标网络模块之前的各个目标网络模块各自输出的特征图进行加权处理，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
可选地，所述注意力子模块包括顺次连接的全局池化层、第一全连接层、第一激活函数层、第二全连接层、第二激活函数层；
其中，所述第一激活函数层的激活函数不同于所述第二激活函数层的激活函数；
针对每个目标网络模块，所述第二全连接层的输出维度为该目标网络模块之前的各个目标网络模块的数量。
可选地，所述第一激活函数层的激活函数为ReLU激活函数，所述第二激活函数层的激活函数为Sigmoid激活函数。
可选地，在得到目标神经网络之后，所述方法还包括：
对所述目标神经网络进行模型压缩，或，对所述目标神经网络进行轻量级处理，所述模型压缩的方式包括以下至少一者：张量分解、模型剪枝、知识蒸馏以及模型量化。
可选地，在得到目标神经网络之后，所述方法还包括：
以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型进行物体识别或分类。
可选地，在得到图像处理模型之后，所述方法还包括：
获得待处理图像；
将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。
本发明实施例的第二方面，提供一种神经网络构建装置，所述装置包括：
确定模块，用于从原始神经网络中确定每个目标网络模块；
模块添加模块，用于在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
本发明实施例还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的神经网络构建方法。
本发明实施例还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的神经网络构建方法。
本发明实施例包括以下优点：
在本发明实施例中，可以从原始神经网络中确定每个目标网络模块；从而在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
其中，由于在每个目标网络模块的输出端连接了一个特征融合模块，该特征融合模块可以将该目标网络模块之前的各目标网络模块所输出的特征图进行融合后，再输入到下一目标网络模块，如此，每个目标网络模块可以搜集不同的目标网络模块所输出的特征图，如此，使得每个目标网络模块均充分复用了其他目标网络模块输出的特征图，从而充分利用了特征图中的特征，进而提高预测准确度。又由于一般特征融合模块的参数量小计算难度低，因此在提升模型的预测准确度的基础上，还可以减少模型参数、降低模型计算复杂度。这样，可以避免通过训练过程对模型进行压缩，从而可以采用通用的模型训练方法训练该模型，如此降低了训练成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提出的总的技术构思示意图；
图2是本发明实施例中一种神经网络构建方法的步骤流程图；
图3是本发明实施中一种目标神经网络的网络结构图；
图4是本发明实施中一种注意力子模块的结构示意图；
图5是本发明实施中一种神经网络构建装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决相关技术中模型复杂度高、训练成本高的问题，本申请实施例提出了如下技术构思：在特征图的处理过程中，神经网络中的每个目标网络模块可以搜集之前的不同目标网络模块输出的特征图，则该目标网络模块的输入便由对之前搜集到的所有目标网络模块输出的特征图进行加权求和后得到的。如此，可以充分复用各个目标网络模块输出的特征图，以提高预测准确度，此种过程中，由于对特征图的加权求和的参数需求量小，因此，又可以减小模型的复杂度。
参照图1所示，示出了本申请实施例提出的一种技术构思示意图。
如图1所示，示出了三个依次串接的目标网络模块，分别为目标网络模块1、目标网络模块2和目标网络模块3，其中，对于每个目标网络模块，输入到该目标网络模块的输入为之前所有目标网络模块输出的特征图进行融合后的特征图。
结合图1所示的技术构思图，对本申请实施例的神经网络构建方法进行介绍，参照图2所示，示出了本申请实施例的神经网络构建方法的步骤流程图，具体可以包括以下步骤：
步骤S201：从原始神经网络中确定每个目标网络模块。
本实施例中，原始神经网络可以是以下任意一种深度卷积网络模型：VGG模型，ResNet，DenseNet等。其中，原始神经网络中可以包括多个依次串接的网络模块。其中，确定出的目标网络模块可以是原始神经网络中用于对输入的特征进行卷积处理的网络模块。一般而言，原始神经网络中可能存在多个用于对输入的特征进行卷积处理的网络模块，在一种实施方式中可以将全部的进行卷积处理的网络模块均确定为目标网络模块，或者还可以将网络模块中的部分网络模块作为目标网络，本申请实施例对此不做限定。其中，每个目标网络模块包括输入端和输出端，输入端用于接收发送给该目标网络模块的特征，输出端用于将对输入的特征进行处理后的特征进行输出。
其中，输入到目标网络模块的可以是特征图，目标网络模块输出的也可以是特征图。
步骤S202：在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络。
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
本实施例中，可以在每个目标网络模块的输出端和与该目标网络模块相邻的下一目标网络模块的输入端之间，增加一个特征融合模块，即每相邻两个目标网络模块之间增加该特征融合模块。如此，可以得到目标神经网络。其中，对于每相邻两个目标网络模块之间的特征融合模块而言，该特征融合模块的输入端输入的是位于该特征融合模块之前的所有目标网络模块所输出的特征图，而该特征融合模块输出的是对输入的各个特征图进行融合后的融合特征图。
如图1所示，在每相邻两个目标网络模块之间，可以通过增加特征融合模块收集位于该特征融合模块之前的所有目标网络模块输出的特征图，接着，可以对这些特征图进行融合，将融合后的特征图输入到该特征融合模块的输出端所连接的目标网络模块。
结合图1所示，特征融合模块可以将目标网络模块之前的各目标网络模块所输出的特征图进行融合后，再输入到下一目标网络模块，如此，每个目标网络模块可以搜集不同的目标网络模块所输出的特征图，如此可以充分利用各个目标网络模块处理后的特征图，有利于提升预测准确度。又由于特征融合模块参与的是特征图的融合，其参数量小计算难度低，如此，又可以减少模型参数和模型计算复杂度。从而达到提升预测准确度和减小模型复杂度的平衡，如此，可以避免通过训练过程对模型进行压缩，从而可以采用通用的模型训练方法训练该模型，如此降低了训练成本。
参照图3所示，示出了一实施例中一种目标神经网络的网络结构图，如图3所示，每个特征融合模块可以包括顺次连接的注意力子模块和融合子模块；
其中，针对每个目标网络模块，该目标网络模块的输出端连接所述注意力子模块的输入端，所述融合子模块的输出端连接与该目标网络模块相邻的下一个目标网络模块的输入端；
针对每个目标网络模块，其输出端所连接的注意力子模块用于对该目标网络模块输出的特征图进行处理，以输出该目标网络模块之前的各个目标网络模块各自的权重；
所述融合子模块用于针对每个目标网络模块，根据该目标网络模块之前的各个目标网络模块各自的权重，对该目标网络模块之前的各个目标网络模块各自输出的特征图进行加权处理，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
本实施例中，如图3所示，每个目标网络模块的输出端所连接的特征融合模块均包括注意力子模块和融合子模块，其中，注意力子模块与该目标网络模块的输出端连接，用于根据该目标网络模块输出的特征图，输出该目标网络模块之前的各个目标网络模块各自的权重，其中，各个目标网络模块各自的权重可以理解为是各个目标网络模块所输出的特征图对应的权重。
接着，该注意力子模块可以将各个目标网络模块所输出的特征图对应的权重输入到融合子模块，其中，融合子模块的输入端除与注意力子模块的输出端连接外，还可以与之前的各个目标网络模块的输出端相连接，用于根据注意力子模块输出的注意力子模块，对输入的各个特征图进行加权求和，从而得到融合特征图。
之后，融合子模块可以将该融合特征图输入到与之相连的下一目标网络模块中。
本实施方式中，由于注意力子模块根据与其连接的目标网络模块输出的特征图确定出各个目标网络模块的权重，由此，不同的目标网络模块可以相应输出与各个目标网络模块的不同权重，即目标网络模块1对应的注意力子模块输出的权重与目标网络模块2对应的注意力子模块输出的权重不同，从而实现了动态的特征融合过程。由此，在每个特征融合模块进行特征融合时，便考虑到不同层的输出在当前层的输入中的权重占比，避免了部分冗余信息对模型序列化的信息传递造成的干扰，进一步提高了模型表达能力和预测性能。
参照图4所示，示出了注意力子模块的结构示意图，具体地，所述注意力子模块包括顺次连接的全局池化层、第一全连接层、第一激活函数层、第二全连接层、第二激活函数层；
其中，所述第一激活函数层的激活函数不同于所述第二激活函数层的激活函数；针对每个目标网络模块，所述第二全连接层的输出维度为该目标网络模块之前的各个目标网络模块的数量。
在一种示例中，所述第一激活函数层的激活函数为ReLU激活函数，所述第二激活函数层的激活函数为Sigmoid激活函数。
本实施例中，第二全连接层的输出维度由当前特征融合模块所在位置决定，该输出维度用于表征该注意力子模块最终输出的权重的个数，每个权重对应一个目标网络模块所输出的特征图。例如，当前特征融合模块之前的目标网络模块有5个，则输出维度为5，则对应有5个权重，该5个权重便分别为5个目标网络模块输出的特征图的权重。
本实施例中，第一激活函数层的激活函数为ReLU激活函数时，该ReLU激活函数是分段线性函数，可节省整个网络的计算量，且可以减少了参数的相互依存关系，缓解了过拟合问题的发生。其中，Sigmoid激活函数为常用的非线性的激活函数，可以将全体实数映射到(0，1)区间上，其采用非线性方法将数据进行归一化处理。如此，通过两种激活函数，在得到各个特征图对应的权重时，可以节省计算量。
当然，在一种示例中，为了使得目标神经网络能进一步压缩，也可以在得到目标神经网络之后，对所述目标神经网络进行模型压缩，或，对所述目标神经网络进行轻量级处理。其中，所述模型压缩的方式包括以下至少一者：张量分解、模型剪枝、知识蒸馏以及模型量化。
本实施例中，张量分解、模型剪枝、知识蒸馏以及模型量化，是指将预训练的大网络通过算法变成更加紧凑的小网络，使得小网络在保证模型预测性能和大网络相当的前提下，尽可能的较少模型参数或者模型计算复杂度。其中，张量分解、模型剪枝、知识蒸馏以及模型量化可以参照相关技术实施即可，在此文中不再赘述。
通过上述方法，可以得到目标神经网络或压缩之后的目标神经网络，可以理解的是，该目标神经网络由于是任一种原始神经网络得到的，因此，可以实现任一种的图像处理任务，比如，图像识别任务、图像分类任务等。
因此，为了使得目标神经网络可以执行图像处理任务，可以对目标神经网络进行训练，具体的，可以以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型可以用于进行物体识别或分类。
其中，样本图像集中可以包括针对同一图像处理任务的多张样本图像，根据实际训练需求，每张样本图像可以携带标签也可以不携带标签。
其中，图像处理任务可以是人脸图像识别任务、图像分类任务、属性识别任务、指纹图像识别任务、虹膜图像识别任务等。则相应地，针对人脸图像识别任务，样本图像集中便可以包括多个来自不同人脸或同一人脸的人脸图像；针对属性识别任务，样本图像集中便可以包括多个具有不同属性的样本图像；针对指纹图像识别任务，样本图像集中便可以包括多个具有来自不同手指或同一手指的指纹图像；针对虹膜图像识别任务，样本图像集中便可以包括多个具有来自不同眼睛或同一眼睛的虹膜图像。
本实施例中，针对不同的图像识处理任务，可以按照相应的相关技术对所述目标神经网络进行训练，或者可以对经过模型压缩/进行轻量级处理后得到的目标神经网络进行训练，以得到图像处理模型，其中，所得到的图像处理模型的结构与目标神经网络的结构一致。
在一种具体实现中，在以样本图像集为训练样本，对所述目标神经网络进行训练时，可以将训练结束时的目标神经网络，确定为图像处理模型。实际中，可以在图像识别的准确率达到预设准确率时，视为训练结束，进而将此时的目标神经网络确定为图像处理模型。
如此，得到了图像处理模型之后，可以利用图像处理模型进行相应的图像处理。
具体地，可以获得待处理图像；并将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。
其中，待处理图像可以是人脸图像、指纹图像或针对一个指定对象所拍摄的图像。具体地，待处理图像可以与要进行的图像识别任务相关联，例如，进行的是人脸识别，则待处理图像是人脸图像。
本实施例中，可以将待处理图像输入图像处理模型的输入端，进而得到图像处理模型输出的处理结果，其中，处理结果与图像处理任务关联。
其中，图像处理任务为对图像中的对象进行识别，以判断对象是否是某一指定对象的情况下，则处理结果为待处理图像包含的物体的识别结果。若像处理任务为对图像中的对象进行分类，以判断对象所属的类别的情况下，则处理结果为待处理图像包含的物体的分类结果。
当然，实际中的图像识别任务并不局限于上述识别任务，实际中，也可以是其他图像处理任务。
由于本申请实施例提供的神经网络构建方法是在每个目标网络模块的输出端增加特征融合模块，以充分复用之前的目标网络模块已输出的特征图，且对于每层目标网络模块而言，考虑到不同层目标网络模块的输出在当前层目标网络模块的输入中的权重占比，因此，本申请实施例提供的方法在任何的网络结构的神经网络中以及在任意一种的图像处理任务中，均能减小模型的复杂度且提高模型的预测能力，通用性强，可以广泛应用于各种应用场景，满足不同的业务需求。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图5所示，示出了本发明实施例的一种神经网络构建装置的结构框图，如图5所示，所述装置具体可以包括以下模块：
确定模块501，用于从原始神经网络中确定每个目标网络模块；
模块添加模块502，用于在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
可选地，所述特征融合模块包括顺次连接的注意力子模块和融合子模块；其中，针对每个目标网络模块，该目标网络模块的输出端连接所述注意力子模块的输入端，所述融合子模块的输出端连接与该目标网络模块相邻的下一个目标网络模块的输入端；所述注意力子模块用于针对每个目标网络模块，对该目标网络模块输出的特征图进行处理，以输出该目标网络模块之前的各个目标网络模块各自的权重；
所述融合子模块用于针对每个目标网络模块，根据该目标网络模块之前的各个目标网络模块各自的权重，对该目标网络模块之前的各个目标网络模块各自输出的特征图进行加权处理，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
可选地，所述注意力子模块包括顺次连接的全局池化层、第一全连接层、第一激活函数层、第二全连接层、第二激活函数层；
其中，所述第一激活函数层的激活函数不同于所述第二激活函数层的激活函数；
针对每个目标网络模块，所述第二全连接层的输出维度为该目标网络模块之前的各个目标网络模块的数量。
可选地，所述第一激活函数层的激活函数为ReLU激活函数，所述第二激活函数层的激活函数为Sigmoid激活函数。
可选地，所述装置还可以包括以下模块：
压缩模块，用于对所述目标神经网络进行模型压缩，或，对所述目标神经网络进行轻量级处理，所述模型压缩的方式包括以下至少一者：张量分解、模型剪枝、知识蒸馏以及模型量化。
可选地，所述装置还可以包括以下模块：
训练模块，用于以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型进行物体识别或分类。
可选地，所述装置还可以包括以下模块：
图像获得模块，用于获得待处理图像；
图像处理模块，用于将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本发明实施例还提供了一种电子设备，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的分类网络构建方法或物体检测模型构建方法。
本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的分类网络构建方法或物体检测模型构建方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种神经网络构建方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种神经网络构建方法，其特征在于，所述方法包括：
从原始神经网络中确定目标网络模块；
在每相邻两个目标网络模块的输出端之间增加特征融合模块，得到目标神经网络；
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并将所述融合特征图输入与该目标网络模块相邻的下一个目标网络模块。
2.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括顺次连接的注意力子模块和融合子模块；
其中，针对每个目标网络模块，该目标网络模块的输出端连接所述注意力子模块的输入端，所述融合子模块的输出端连接与该目标网络模块相邻的下一个目标网络模块的输入端；
所述注意力子模块用于针对每个目标网络模块，对该目标网络模块输出的特征图进行处理，以输出该目标网络模块之前的各个目标网络模块各自的权重；
所述融合子模块用于针对每个目标网络模块，根据该目标网络模块之前的各个目标网络模块各自的权重，对该目标网络模块之前的各个目标网络模块各自输出的特征图进行加权处理，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
3.根据权利要求2所述的方法，其特征在于，所述注意力子模块包括顺次连接的全局池化层、第一全连接层、第一激活函数层、第二全连接层、第二激活函数层；
其中，所述第一激活函数层的激活函数不同于所述第二激活函数层的激活函数；
针对每个目标网络模块，所述第二全连接层的输出维度为该目标网络模块之前的各个目标网络模块的数量。
4.根据权利要求3所述的方法，其特征在于，所述第一激活函数层的激活函数为ReLU激活函数，所述第二激活函数层的激活函数为Sigmoid激活函数。
5.根据权利要求1-4任一所述的方法，其特征在于，在得到目标神经网络之后，所述方法还包括：
对所述目标神经网络进行模型压缩，或，对所述目标神经网络进行轻量级处理，所述模型压缩的方式包括以下至少一者：张量分解、模型剪枝、知识蒸馏以及模型量化。
6.根据权利要求1-4任一所述的方法，其特征在于，在得到目标神经网络之后，所述方法还包括：
以样本图像集为训练样本，对所述目标神经网络进行训练，得到图像处理模型，所述图像处理模型进行物体识别或分类。
7.根据权利要求6所述的方法，其特征在于，在得到图像处理模型之后，所述方法还包括：
获得待处理图像；
将所述待处理图像输入所述图像处理模型，得到所述图像处理模型输出的处理结果，所述处理结果为所述待处理图像的分类结果或所述待处理图像包含的物体的识别结果。
8.一种神经网络构建装置，其特征在于，所述装置包括：
确定模块，用于从原始神经网络中确定每个目标网络模块；
模块添加模块，用于在每相邻两个目标网络模块的输出端之间增加一个特征融合模块，得到目标神经网络；
其中，针对每个目标网络模块，该目标网络模块的输出端所连接的特征融合模块用于对该目标网络模块之前的各个目标网络模块各自输出的特征图进行融合，得到融合特征图，并输入与该目标网络模块相邻的下一个目标网络模块。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-7任一所述的神经网络构建方法。
10.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-7任一项所述的神经网络构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403254.XA CN112598126A (zh) | 2020-12-04 | 2020-12-04 | 神经网络构建方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403254.XA CN112598126A (zh) | 2020-12-04 | 2020-12-04 | 神经网络构建方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598126A true CN112598126A (zh) | 2021-04-02 |
Family
ID=75189073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403254.XA Pending CN112598126A (zh) | 2020-12-04 | 2020-12-04 | 神经网络构建方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598126A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI833205B (zh) * | 2021-06-17 | 2024-02-21 | 美商萬國商業機器公司 | 用於遞歸神經網路中使用之串連輸入/輸出張量 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389224A (zh) * | 2018-02-26 | 2018-08-10 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110852383A (zh) * | 2019-11-12 | 2020-02-28 | 复旦大学 | 基于注意力机制深度学习网络的目标检测方法及装置 |
| CN111160458A (zh) * | 2019-12-29 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种图像处理系统及其卷积神经网络 |
| CN111582029A (zh) * | 2020-04-02 | 2020-08-25 | 天津大学 | 一种基于密集连接与注意力机制的交通标志识别方法 |
| CN111783935A (zh) * | 2020-05-15 | 2020-10-16 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
-
2020
- 2020-12-04 CN CN202011403254.XA patent/CN112598126A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389224A (zh) * | 2018-02-26 | 2018-08-10 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110852383A (zh) * | 2019-11-12 | 2020-02-28 | 复旦大学 | 基于注意力机制深度学习网络的目标检测方法及装置 |
| CN111160458A (zh) * | 2019-12-29 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种图像处理系统及其卷积神经网络 |
| CN111582029A (zh) * | 2020-04-02 | 2020-08-25 | 天津大学 | 一种基于密集连接与注意力机制的交通标志识别方法 |
| CN111783935A (zh) * | 2020-05-15 | 2020-10-16 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴荣贵,: "基于深度学习的图像超分辨率重建研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, vol. 2020, no. 8, 15 August 2020 (2020-08-15), pages 138 - 435 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI833205B (zh) * | 2021-06-17 | 2024-02-21 | 美商萬國商業機器公司 | 用於遞歸神經網路中使用之串連輸入/輸出張量 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175671B (zh) | 神经网络的构建方法、图像处理方法及装置 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN113011575A (zh) | 神经网络模型更新方法、图像处理方法及装置 | |
| EP4152154A1 (en) | Adaptive artificial neural network selection techniques | |
| CN113762322A (zh) | 基于多模态表示的视频分类方法、装置和设备及存储介质 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN112598110B (zh) | 神经网络构建方法、装置、设备及介质 | |
| CN111783934A (zh) | 卷积神经网络构建方法、装置、设备及介质 | |
| CN111709493A (zh) | 对象分类方法、训练方法、装置、设备及存储介质 | |
| CN113705811A (zh) | 模型训练方法、装置、计算机程序产品及设备 | |
| CN111783935B (zh) | 卷积神经网络构建方法、装置、设备及介质 | |
| CN112015896A (zh) | 基于人工智能的情感分类方法、以及装置 | |
| CN115393633A (zh) | 数据处理方法、电子设备、存储介质及程序产品 | |
| CN113688814B (zh) | 图像识别方法及装置 | |
| CN112598126A (zh) | 神经网络构建方法、装置、设备及介质 | |
| CN111626098B (zh) | 模型的参数值更新方法、装置、设备及介质 | |
| CN111242176B (zh) | 计算机视觉任务的处理方法、装置及电子系统 | |
| CN112508178A (zh) | 神经网络结构搜索方法、装置、电子设备及存储介质 | |
| CN116524261A (zh) | 一种基于多模态小样本持续学习的图像分类方法及产品 | |
| CN115439878A (zh) | 目标重识别模型抗遗忘训练方法、目标重识别方法及装置 | |
| CN112883947B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113987953A (zh) | 一种故障检测模型轻量化的方法、系统、设备及存储介质 | |
| CN114463810A (zh) | 一种人脸识别模型的训练方法和装置 | |
| CN115099988A (zh) | 模型训练方法、数据处理方法、设备及计算机介质 | |
| CN114363671A (zh) | 多媒体资源推送方法、模型训练方法、装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |