CN110517180B - 基于高精度神经网络的图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了基于高精度神经网络的图像处理方法、装置及电子设备，该方法包括：确定神经网络中的多个子网络，多个子网络中的任意两个子网络对应的层集合不同；对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合；迭代地执行训练操作得到多个训练后的子网络；利用多个训练后的子网络基于待处理图像，得到神经网络的网络输出。由集成在神经网络中的多个训练后的子网络得到网络输出，以提升神经网络的精度。由于任意两个子网络在目标层的输出通道、包括的层具有明显差异，各个训练后的子网络的子网络输出具有较强的差异性，各个子网络输出的集成效果较优，从而，得到的网络输出具有较高的精度。

Description

基于高精度神经网络的图像处理方法、装置及电子设备

技术领域

本申请涉及神经网络领域，具体涉及基于高精度神经网络的图像处理方法、装置及电子设备。

背景技术

对于目标检测、图像分类、物体识别等类型的神经网络，如何提升神经网络的精度一直是最关键的问题。

目前，常用的提升神经网络的精度的方式为在神经网络中堆叠一些高效的网络基本单元，网络基本单元主要由人类专家设计或者是通过神经网络架构搜索(NeuralArchitecture Search)得到。

然而，当采用上述方式提升神经网络的精度时，存在明显的边际收益递减效应，当模块数量和模块宽度增加到一定程度以后，精度不会继续上升，对神经网络的精度的提升有限。

发明内容

为克服相关技术中存在的问题，本申请提供一种基于高精度神经网络的图像处理方法、装置、电子设备。

根据本申请实施例的第一方面，提供一种基于高精度神经网络的图像处理方法，包括：

确定神经网络中的多个子网络，其中，多个子网络中的任意两个子网络对应的层集合不同，子网络对应的层集合为子网络包括的神经网络中的层的集合；

对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合，目标层为被多个子网络中的至少两个子网络共同包括的层，多个子网络中的任意两个子网络在同一目标层的输出通道集合不同；

迭代地执行训练操作，直至得到多个训练后的子网络，所述训练操作包括：将多个子网络中的每一个子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值；

将待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，以及基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出，其中，训练后的子网络的子网络输出通过训练后的子网络提取所述待处理图像的特征而得到。

根据本申请实施例的第二方面，提供一种基于高精度神经网络的图像处理装置，包括：

子网络深度差异化单元，被配置为确定神经网络中的多个子网络，其中，所述多个子网络中的任意两个子网络对应的层集合不同，子网络对应的层集合为子网络包括的神经网络中的层的集合；

子网络宽度差异化单元，被配置为对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合，目标层为被多个子网络中的至少两个子网络共同包括的层，多个子网络中的任意两个子网络在同一目标层的输出通道集合不同；

子网络训练单元，被配置为迭代地执行训练操作，直至得到多个训练后的子网络，训练操作包括：将多个子网络中的每一个子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值；

图像处理单元，被配置为将待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，以及基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出，其中，训练后的子网络的子网络输出基于训练后的子网络从所述待处理图像中提取的特征而得到。

本申请实施例提供的基于高精度神经网络的图像处理方法、装置，实现了在利用神经网络完成诸如的目标检测的操作时，由集成在神经网络中的多个训练后的子网络分别基于作为神经网络的网络输入的待处理图像，得到子网络输出，集成各个训练后的子网络的子网络输出，得到网络输出，以提升神经网络的精度。同时，由于多个子网络中的任意两个子网络包括的层、在目标层的输出通道集合均具有明显差异，各个训练后的子网络的子网络输出具有较强的差异性，使得对各个训练后的子网络的子网络输出的集成效果较优，从而，得到的网络输出具有较高的精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的基于高精度神经网络的图像处理方法的流程图；

图2示出了神经网络中的多个子网络的一个结构示意图；

图3示出了采用随机偏移策略确定多个子网络在一个目标卷积层的输出通道集合的一个原理图；

图4示出了采用随机剪裁策略确定多个子网络在一个目标卷积层的输出通道集合的一个原理图；

图5示出了采用随机通道抽取策略确定多个子网络在一个目标卷积层的输出通道集合的一个原理图；

图6示出了本申请实施例提供的基于高精度神经网络的图像处理装置的结构框图；

图7示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的基于高精度神经网络的图像处理方法的流程图，该方法包括：

步骤101，确定神经网络中的多个子网络。

在本申请中，每一个子网络均可以包括神经网络中的多个层。多个子网络共享神经网络中的部分网络参数。

在本申请中，在对神经网络中的多个子网络进行训练之前，可以首先进行一次全局初始化，设置神经网络中所有的网络参数的初始值。

在本申请中，多个子网络中的任意两个子网络对应的层集合不同。对于每一个子网络，子网络对应的层集合为子网络包括的神经网络中的层的集合。

步骤102，对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合。

在本申请中，目标层为神经网络中的被多个子网络中的至少两个子网络共同包括的层。目标层的数量为多个。

在本申请中，对于每一个包括目标层的子网络，子网络在目标层的输出通道集合均由目标层的所有输出通道中的部分输出通道组成。

相应的，在对多个子网络同时进行训练时，对于每一个包括目标层的子网络，子网络在目标层的输出通道集合中的输出通道输出的特征参与训练，目标层的所有输出通道中除了子网络在目标层的输出通道集合之外的输出通道输出的特征不参与训练。

在本申请中，多个子网络中的任意两个子网络在目标层的输出通道集合不同。

请参考图2，其示了神经网络中的多个子网络的一个结构示意图。

在图2中，神经网络中的多个子网络包括：子网络sub-net1、子网络sub-net2、子网络sub-net3。神经网络包括7层，分别为第1层、第2层、第3层、第4层、第5层、第6层、第7层。

在第1层、第2层、第3层、第4层、第5层、第6层、第7层中的每一层，层中的除了位于两个虚线之间的输出通道之外的所有输出通道组成子网络在层的输出通道集合。第1层、第2层、第3层、第4层、第5层、第6层、第7层中的每一层均被至少两个子网络共同包括，因此，第1层、第2层、第3层、第4层、第5层、第6层、第7层均为目标层。

子网络sub-net1包括：第1层、第2层、第3层、第4层、第5层、第6层、第7层。子网络sub-net2包括：第1层、第2层、第3层、第4层、第6层、第7层。子网络sub-net3包括：第1层、第2层、第4层、第5层、第6层、第7层。

子网络sub-net1对应的层集合包括：第1层、第2层、第3层、第4层、第5层、第6层、第7层。子网络sub-net2对应的层集合包括：第1层、第2层、第3层、第4层、第6层、第7层。子网络sub-net3对应的层集合包括：第1层、第2层、第4层、第5层、第6层、第7层。因此，子网络sub-net1、子网络sub-net2、子网络sub-net3中的任意两个子网络对应的层集合不同。

对于第1层、第2层、第3层、第4层、第5层、第6层、第7层中的每一层，子网络sub-net1、子网络sub-net2、子网络sub-net3中的任意两个子网络在层的输出通道集合不同。

以第1层为例，假设第1层的所有输出通道为输出通道1-输出通道6。子网络1在第1层的输出通道集合由输出通道1、输出通道2、输出通道3组成。子网络2在第1层的输出通道集合由输出通道2、输出通道3、输出通道4组成。子网络3在第1层输出通道集合由输出通道4、输出通道5、输出通道6组成。子网络sub-net1、子网络sub-net2、子网络sub-net3中的任意两个子网络中的任意两个子网络在第1层的输出通道集合不同。

在本申请中，当对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合时，可以首先确定每一个被多个子网络中的至少两个子网络共同包括的目标卷积层。然后，对于每一个目标卷积层，确定包括目标卷积层每一个子网络在目标卷积层的输出通道集合。对于每一个子网络，对于子网络中的与子网络包括的目标卷积层的输入或输出相关的其他类型的层，仅需根据卷积神经网络中各个层之间的通道之间的关联关系，确定其他类型的层的所有输出通道中哪些输出通道与子网络在目标卷积层的输出通道集合中的输出通道相关，将确定的所有相关的输出通道作为其他类型的层的输出通道集合。

例如，对于一个目标卷积层，该目标卷积层连接一个归一化层，包括该目标卷积层的每一个子网络均包括该归一化层，当确定包括该目标卷积层的每一个子网络在该归一化层的输出通道集合时，对于每一个子网络，可以将归一化层的所有输出通道中的与子网络在目标卷积层的输出通道集合中的输出通道相关的所有输出通道作为子网络在归一化层的输出通道集合。

在本申请中，可以为每一个子网络分配一个输出通道比例，输出通道比例的取值在0-1之间。对于每一个子网络，分配输出通道比例与其他的子网络的输出通道比例不同。

当对于一个目标卷积层，确定包括该目标卷积层每一个子网络在目标卷积层的输出通道集合时，可以首先将该目标卷积层的所有通道数量分别与每一个子网络的输出通道比例相乘，得到每一个子网络在该目标卷积层的输出通道的数量。然后，对于每一个子网络，从子网络的所有输出通道中选取出得到的子网络在该目标卷积层的输出通道的数量个输出通道。

在本申请中，多个子网络中的任意两个子网络对应的层集合不同并且在目标层的输出通道集合不同，使得子网络输出的趋同现象明显地减弱，子网络之间的差异化得到增强。

在一些实施例中，对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：对于每一个目标卷积层，分别执行以下操作：为每一个包括目标卷积层的子网络分配一个通道偏移量以及基于每一个包括目标卷积层的子网络的通道偏移量，分别确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合。

对于每一个目标卷积层，在每一次执行上述操作时，分配给包括目标卷积层的任意两个子网络的通道偏移量不同。

当确定一个子网络在一个目标卷积层的输出通道集合时，可以将从该目标卷积层的第通道偏移量个通道开始的预设数量个输出通道组成该子网络在该目标卷积层的输出通道集合。

上述基于通道偏移量，确定子网络在目标卷积层的输出通道集合的方式可以称之为随机训练策略中的随机偏移策略。

对于神经网络中的每一个目标卷积层，均可以采用随机偏移策略确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合。

例如，神经网络包括子网络sub-net1、子网络sub-net2、子网络sub-net3。子网络sub-net1、子网络sub-net2均包括目标卷积层1。子网络sub-net2、子网络sub-net3均包括目标卷积层2。

对目标卷积层1执行以下操作：为每一个包括目标卷积层1的子网络分配一个通道偏移量以及基于每一个包括目标卷积层1的子网络的通道偏移量，分别确定每一个包括目标卷积层1的子网络在目标卷积层的输出通道集合。

在目标卷积层1执行上述操作时，为子网络sub-net1分配一个通道偏移量P1，为子网络sub-net2分配一个通道偏移量P2。子网络sub-net1的通道偏移量与子网络sub-net2的通道偏移量不同。基于子网络sub-net1的通道偏移量，确定子网络sub-net1在目标卷积层1的输出通道集合。例如，将从目标卷积层1的第P1+1个输出通道开始的预设数量个输出通道组成子网络sub-net1在该目标卷积层1的输出通道集合。基于子网络sub-net2的通道偏移量，确定子网络sub-net2在目标卷积层1的输出通道集合。例如，将从目标卷积层1的第P2+1个输出通道开始的预设数量个输出通道组成子网络sub-net2在该目标卷积层1的输出通道集合。

对目标卷积层2执行以下操作：为每一个包括目标卷积层2的子网络分配一个通道偏移量以及基于每一个包括目标卷积层2的子网络的通道偏移量，分别确定每一个包括目标卷积层2的子网络在目标卷积层的输出通道集合。

在对目标卷积层2执行上述操作时，为子网络sub-net2分配一个通道偏移量，为子网络sub-net3分配一个通道偏移量。子网络sub-net2的通道偏移量与子网络sub-net3的通道偏移量不同。基于子网络sub-net2的通道偏移量，确定子网络sub-net2在目标卷积层2的输出通道集合。基于子网络sub-net3的通道偏移量，确定子网络sub-net3在目标卷积层2的输出通道集合。

请参考图3，其示出了采用随机偏移策略确定多个子网络在一个目标卷积层的输出通道的一个原理图。

在图3中，示出了一个目标卷积层1。神经网络中的子网络sub-net1、子网络sub-net2、子网络sub-net3均包括目标卷积层1。

当确定子网络sub-net1、子网络sub-net2、子网络sub-net3在目标卷积层1的输出通道集合时，分别随机生成一个通道偏移量。将通道偏移量offset1分配给子网络sub-net1，将通道偏移量offset2分配给子网络sub-net2，将通道偏移量offset3分配给子网络sub-net3。offset1、offset2、offset3中的任意两个通道偏移量不同。

当确定子网络sub-net1在该目标卷积层的输出通道集合时，从目标卷积层1的第offset1+1个通道开始的预设数量个输出通道组成子网络sub-net1在目标卷积层1的输出通道集合。假设目标卷积层1的输出通道的数量为10个，预先为子网络sub-net1分配一个输出通道比例0.7，offset1为1，则从第2个输出通道开始的7个输出通道组成子网络sub-net1在目标卷积层1的输出通道集合。

当确定子网络sub-net2在该目标卷积层的输出通道集合时，从目标卷积层1的第offset2+1个输出通道开始的预设数量个输出通道组成子网络sub-net2在目标卷积层1的输出通道集合。假设目标卷积层1的输出通道的数量为10个，预先为子网络sub-net2分配一个输出通道比例0.8，offset2为1，则从第2个输出通道开始的8个输出通道组成子网络sub-net2在目标卷积层1的输出通道集合。

当确定子网络sub-net3在该目标卷积层的输出通道集合时，从目标卷积层1的第offset3+1个输出通道开始的预设数量个输出通道组成子网络sub-net3在目标卷积层1的输出通道集合。假设目标卷积层1的输出通道的数量为10个，预先为子网络sub-net3分配一个输出通道比例0.6，offset3为1，则从第2个输出通道开始的6个通道组成子网络sub-net3在目标卷积层1的输出通道集合。

在一些实施例中，对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：对于每一个目标卷积层，分别执行以下操作：对于每一个包括目标卷积层的子网络，以随机方式选取目标卷积层的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合。

上述以随机方式选取目标卷积层的所有输出通道中的部分在位置上连续的输出通道，将除了被选取的输出通道之外的所有输出通道作为子网络在目标卷积层的输出通道集合的方式可以称之为随机训练策略中的随机剪裁策略。

对于神经网络中的每一个目标卷积层，均可以采用随机剪裁策略确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合。

例如，神经网络包括子网络sub-net1、子网络sub-net2、子网络sub-net3。子网络sub-net1、子网络sub-net2均包括目标卷积层1。子网络sub-net2、子网络sub-net3均包括目标卷积层2。

对目标卷积层1执行以下操作：对于每一个包括目标卷积层1的子网络，以随机方式选取目标卷积层1的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层1的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层1的子网络在目标卷积层的输出通道集合。

在对目标卷积层1执行上述操作时，对于包括目标卷积层1的子网络sub-net1，以随机方式选取目标卷积层1的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层1的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层1的子网络sub-net1在目标卷积层1的输出通道集合。

在对目标卷积层1执行上述操作时，对于包括目标卷积层1的子网络sub-net2，以随机方式选取目标卷积层1的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层1的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层1的子网络sub-net2在目标卷积层1的输出通道集合。

子网络sub-net1在目标卷积层1的输出通道集合与子网络sub-net2在目标卷积层1的输出通道集合不同。

对目标卷积层2执行以下操作：对于每一个包括目标卷积层2的子网络，以随机方式选取目标卷积层2的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层2的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层2的子网络在目标卷积层的输出通道集合。

在对目标卷积层2执行上述操作时，对于包括目标卷积层2的子网络sub-net2，以随机方式选取目标卷积层2的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层2的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层2的子网络sub-net2在目标卷积层2的输出通道集合。

在对目标卷积层2执行上述操作时，对于包括目标卷积层2的子网络sub-net3，以随机方式选取目标卷积层2的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层2的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层2的子网络sub-net3在目标卷积层2的输出通道集合。

子网络sub-net2在目标卷积层2的输出通道集合与子网络sub-net3在目标卷积层2的输出通道集合不同。

请参考图4，其示出了采用随机剪裁策略确定多个子网络在一个目标卷积层的输出通道的一个原理图。

在图4中，示出了一个目标卷积层1。神经网络中的子网络sub-net1、子网络sub-net2、子网络sub-net3均包括目标卷积层1。两个虚线之间的输出通道为选取出的部分在位置上连续的输出通道。

当确定子网络sub-net1在该目标卷积层1的输出通道集合时，位于两个虚线之间的输出之外的输出通道集合401和输出通道集合402组成子网络sub-net1在目标卷积层1的输出通道集合。

当确定子网络sub-net2在该目标卷积层1的输出通道集合时，位于两个虚线之间的输出通道之外的输出通道集合403和输出通道集合404组成子网络sub-net2在目标卷积层1的输出通道集合。

当确定子网络sub-net3在该目标卷积层1的输出通道集合时，位于两个虚线之间的输出通道之外的输出通道集合405和输出通道集合406组成子网络sub-net3在目标卷积层1的输出通道集合。

在一些实施例中，对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：对于每一个目标卷积层，分别执行以下操作：对于每一个包括目标卷积层的子网络，以随机方式从目标卷积层的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合，被抽取出的各部分输出通道之间的位置不连续。

上述以随机方式从子网络的所有输出通道中抽取部分通道确定子网络在目标卷积层的输出通道集合的方式可以称之为随机训练策略中的随机通道抽取策略。

对于神经网络中的每一个目标卷积层，均可以采用随机通道抽取策略确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合。

例如，神经网络包括子网络sub-net1、子网络sub-net2、子网络sub-net3。子网络sub-net1、子网络sub-net2均包括目标卷积层1。子网络sub-net2、子网络sub-net3均包括目标卷积层2。

对目标卷积层1执行以下操作，对于每一个包括目标卷积层1的子网络，以随机方式从目标卷积层1的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层1的子网络在目标卷积层的输出通道集合。

在对目标卷积层1执行上述操作时，对于包括目标卷积层1的子网络sub-net1，以随机方式从目标卷积层1的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层1的子网络sub-net1在目标卷积层1的输出通道集合。

在对目标卷积层1执行上述操作时，对于包括目标卷积层1的子网络sub-net2，以随机方式从目标卷积层1的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层1的子网络sub-net2在目标卷积层1的输出通道集合。

对目标卷积层2执行以下操作，对于每一个包括目标卷积层2的子网络，以随机方式从目标卷积层2的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层2的子网络在目标卷积层的输出通道集合。

在对目标卷积层2执行上述操作时，对于包括目标卷积层2的子网络sub-net2，以随机方式从目标卷积层2的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层2的子网络sub-net2在目标卷积层2的输出通道集合。

在对目标卷积层2执行上述操作时，对于包括目标卷积层2的子网络sub-net3，以随机方式从目标卷积层2的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层2的子网络sub-net3在目标卷积层2的输出通道集合。

请参考图5，其示出了采用随机通道抽取策略确定多个子网络在一个目标卷积层的输出通道集合的一个原理图。

在图5中，示出了一个目标卷积层1。神经网络中的子网络sub-net1、子网络sub-net2、子网络sub-net3均包括目标卷积层1。每两个虚线之间的输出通道作为抽取出的输出通道。

当确定子网络sub-net1在目标卷积层1的输出通道集合时，以随机方式三次从所有目标卷积层1的所有输出通道中抽取部分输出通道，抽取出输出通道集合501、输出通道集合502、输出通道集合503，对抽取出的输出通道集合501、输出通道集合502、输出通道集合503进行组合，得到子网络sub-net1在目标卷积层1的输出通道集合。

当确定子网络sub-net2在该目标卷积层1的输出通道集合时，以随机方式三次从所有目标卷积层1的所有输出通道中抽取部分输出通道，抽取出输出通道集合504、输出通道集合505、输出通道集合506，对抽取出的输出通道集合504、输出通道集合505、输出通道集合506进行组合，得到子网络sub-net2在目标卷积层1的输出通道集合。

当确定子网络sub-net3在目标卷积层1的输出通道集合时，以随机方式三次从目标卷积层1的所有输出通道中抽取部分输出通道，抽取出输出通道集合507、输出通道集合508、输出通道集合509，对抽取出的输出通道集合507、输出通道集合508、输出通道集合509进行组合，得到子网络sub-net3在目标卷积层1的输出通道集合。

在本申请中，三种随机训练策略均可以使得对于不同子网络，不同的输出通道输出的特征参与训练，从而，确定子网络之间的差异性，降低子网络的子网络输出之间的相似性。

三种随机训练策略均可以使得子网络之间的差异性明显增加，从而，明显提升对多个训练后的子网络的子网络输出进行集成的集成效果。同时，三种随机训练策略对于子网络差异性提升的能力为：随机抽取策略>随机偏移策略>随机剪裁策略。

此外，考虑到随机训练策略造成的子网络之间的差异的能力更强与利用其训练出的子网络精度成反比关系，因此，在实践中，随机剪裁策略可以作为三种随机训练策略中的优选的随机训练策略，既能增加各个子网络之间的差异，又不会造成各个子网络之间的特征冲突，也不会影响各个子网络的精度。

步骤103，迭代地执行训练操作，直至得到多个训练后的子网络。

在本申请中，可以同时对神经网络中的多个子网络进行训练。例如，通过在Slimmable Neural Networks提出的可切换批归一化层(Switchable BatchNormalization)来同时对神经网络中的多个子网络进行训练。

在本申请中，用于对子网络进行训练的数据可以称之为子网络的用于训练的网络输入。子网络输出的数据可以称之为子网络的子网络输出。

在本申请中，训练操作包括：将多个子网络中的每一个子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值。

在本申请中，在每一次对多个子网络的训练中，执行一次训练操作，完成一次对多个子网络的训练。通过迭代地执行训练操作，使得每一个子网络均被迭代地训练，直至得到多个训练后的子网络。集成在神经网络中的多个训练后的子网络用于当利用神经网络去完成诸如目标检测的操作时，基于神经网络的网络输入，得到神经网络的网络输出。

例如，神经网络用于目标检测，在对多个子网络同时进行训练时，将与目标检测相关的图像作为子网络的用于训练的网络输入，来对多个子网络同时进行训练。在得到集成在神经网络中的多个训练后的子网络之后，当利用神经网络去完成目标检测时，神经网络的输入为包括需要检测的目标对象的图像，由集成在神经网络中的多个训练后的子网络基于包括需要检测的目标对象的图像，得到神经网络的网络输出。神经网络的网络输出为目标对象的检测结果。

在本申请中，在每一次对多个子网络的训练中，每一个子网络都会有前向传播和反向传播的过程，多个子网络共享神经网络中的部分网络参数。

在本申请中，在对多个子网络的每一次训练中，可以根据在训练中每一个子网络的子网络输出，计算每一个子网络反传回的误差，然后，计算子网络反传回的误差之和。换言之，对每一个子网络反传回的误差进行累加，得到误差的累加和。利用误差的累加和对每一个子网络的网络参数的参数值进行更新。从而，在多个子网络共享神经网络中的部分网络参数的情况下，将多个子网络同时训练收敛，并且不损失每个子网络的精度。

在一些实施例中，在训练操作的每一次执行过程中，多个子网络中的任意两个子网络的用于训练的子网络输入不同，多个子网络中的每一个子网络的用于训练的子网络输入为随机生成。

换言之，在每一次对多个子网络的训练中，多个子网络中的任意两个子网络的子网络输入不同，多个子网络中的每一个子网络的子网络输入为随机生成。

在本申请中，在每一次对多个子网络的训练中，针对每一个子网络，分别随机生成子网络的用于训练的网络输入。在每一次对多个子网络的训练中，多个子网络中的任意两个子网络的用于训练的子网络输入不同。

换言之，在每一次对多个子网络的训练中，均不会向多个子网络输入同样的用于训练的网络输入。

在本申请中，通过采用在每一次对多个子网络的训练中，多个子网络中的任意两个子网络的用于训练的子网络输入不同并且多个子网络中的每一个子网络的用于训练的子网络输入为随机生成，可以明显地加速多个子网络的训练，提升多个子网络的训练收敛速度。

步骤104，将待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，基于每一个训练后的子网络的子网络输出，得到神经网络的网络输出。

在本申请中，在得到集成在神经网络中的多个训练后的子网络之后，当利用神经网络去完成诸如目标检测的操作时，可以由集成在神经网络中的多个训练后的子网络基于诸如包括目标对象的图像的待处理图像，得到神经网络的网络输出。

换言之，神经网络在接收作为神经网络的网络输入的待处理图像之后，神经网络的网络输出为利用集成在神经网络中的多个训练后的子网络得到的神经网络的网络输出。

在本申请中，对于每一个包括目标层的子网络，子网络在目标层的通道均为目标层的所有输出通道中的部分输出通道。

相应的，在由集成在神经网络中的多个训练后的子网络基于待处理图像，得到待处理图像对应的的网络输出时，对于每一个包括目标层的子网络，由子网络在目标层的输出通道集合中的输出通道输出特征，子网络在目标层的输出通道集合中的所有输出通道输出的特征组合成子网络的子网络输出。

在本申请中，在由集成在神经网络中的多个训练后的子网络基于待处理图像，得到神经网络的网络输出时，可以将待处理图像分别输入到每一个训练后的子网络，由每一个训练后的子网络分别从待处理图像中提取出特征来得到每一个训练后的子网络的子网络输出。

在本申请中，在得到每一个训练后的子网络的子网络输出之后，可以基于每一个训练后的子网络的子网络输出，得到神经网络的网络输出。

换言之，可以对每一个训练后的子网络的子网络输出进行集成，得到神经网络的网络输出。从而，完成诸如目标检测的操作。

例如，可以将所有网络输出中的中位数作为神经网络的网络输出。例如，去除所有网络输出中置信度低于阈值的网络输出，将剩余的网络输出的平均数作为神经网络的网络输出。

在本申请中，当神经网络用于目标检测时，在由集成在神经网络中的多个训练后的子网络基于待处理图像，得到神经网络的网络输出时，可以将待处理图像分别输入到每一个训练后的子网络，每一个训练后的子网络分别从待处理图像中提取出与目标检测相关联的特征例如待处理图像中的目标对象的轮廓特征、形状特征等，根据提取的特征，得到每一个训练后的子网络的子网络输出。然后，基于每一个训练后的子网络的子网络输出，得到包括待处理图像中的目标对象的位置的神经网络的网络输出，以利用集成在神经网络中的多个训练后的子网络完成目标检测。

在本申请中，当神经网络用于图像分类时，在由集成在神经网络中的多个训练后的子网络基于待处理图像，得到神经网络的网络输出时，可以将待处理图像分别输入到每一个训练后的子网络，每一个训练后的子网络分别从待处理图像中提取出与图像分类相关联的特征，根据提取的特征，得到每一个训练后的子网络的子网络输出。然后，基于每一个训练后的子网络的子网络输出，得到包括待处理图像的类别的神经网络的网络输出，以利用集成在神经网络中的多个训练后的子网络完成图像分类。

在本申请中，当神经网络用于物体识别时，在由集成在神经网络中的多个训练后的子网络基于待处理图像，得到神经网络的网络输出时，可以将待处理图像分别输入到每一个训练后的子网络，每一个训练后的子网络分别从待处理图像中提取出与目标检测相关联的特征例如待处理图像中的目标对象的轮廓特征、颜色特征等，根据提取的特征，得到每一个训练后的子网络的子网络输出。然后，基于每一个训练后的子网络的子网络输出，得到包括目标对象的类别的神经网络的网络输出，以利用集成在神经网络中的多个训练后的子网络完成物体识别。

在一些实施例中，当基于集成在神经网络中的每一个训练后的子网络的子网络输出，得到神经网络的网络输出时，可以计算训练后的子网络的子网络输出的平均数。将训练后的子网络的子网络输出的平均数作为神经网络的网络输出。

例如，神经网络用于目标检测，待处理的图像为包括目标对象的图像，包括目标对象的图像作为神经网络的网络输入。换言之，神经网络的网络输入为包括目标对象的图像。然后，在神经网络中将包括目标的图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出。每一个训练后的子网络的子网络输出为包围目标对象的包围盒的坐标。可以计算包围目标对象的包围盒的坐标的平均数，将包围目标对象的包围盒的坐标的平均数作为神经网络的网络输出。

在一些实施例中，当基于集成在神经网络中的每一个训练后的子网络的子网络输出，得到神经网络的网络输出时，可以确定所有标签中对应的子网络输出最多的标签，将所有标签中对应的子网络输出的数量最多的标签作为神经网络的网络输出。

例如，神经网络用于物体识别，待处理的图像为包括目标对象的图像，包括目标对象的图像作为神经网络的网络输入。换言之，神经网络的网络输入为包括目标对象的图像。然后，在神经网络中将包括目标的图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出。训练后的子网络的子网络输出对应的标签为目标对象的预测出的类型。每一个预测出的类型可以被一个子网络输出或多个子网络输出对应。例如，多个子网络中的两个子网络的子网络输出均对应于同一个预测出的类型。换言之，该两个子网络基于包括目标对象的图像，预测出的目标对象的类型为同一类型。然后，确定目标对象的所有预测出的类型中对应的子网络输出的数量最多的预测出的类型，将目标对象的所有预测出的类型中对应的子网络输出的数量最多的预测出的类型作为待处理的图像对应的网络输出。

在一些实施例中，当基于集成在神经网络中的每一个训练后的子网络的子网络输出，得到神经网络的网络输出时，可以将每一个训练后的子网络的子网络输出均输入到全连接层，以在全连接层中对所有训练后的子网络的子网络输出进行加权，得到加权计算结果，将加权计算结果作为待处理的图像对应的网络输出。

例如，神经网络用于目标检测，待处理的图像为包括目标对象的图像，包括目标对象的图像作为神经网络的网络输入。换言之，神经网络的网络输入为包括目标对象的图像。然后，在神经网络中将包括目标的图像分别输入到集成在神经网络中的每一个训练后的子网络，得到每一个训练后的子网络的子网络输出。每一个训练后的子网络的子网络输出为包围目标对象的包围盒的坐标。可以将每一个包围目标对象的包围盒的坐标输入到全连接层，在全连接层中对所有包围目标对象的包围盒的坐标进行加权，得到加权计算结果，将加权计算结果作为待处理的图像对应的网络输出。

图6是本申请实施例示出的基于高精度神经网络的图像处理装置的结构框图。神经网络精度提升装置包括：子网络深度差异化单元601，子网络宽度差异化单元602，子网络训练单元603，图像处理单元604。

其中，子网络深度差异化单元601被配置为确定神经网络中的多个子网络，其中，所述多个子网络中的任意两个子网络对应的层集合不同，子网络对应的层集合为子网络包括的所述神经网络中的层的集合；子网络宽度差异化单元602被配置为对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合，目标层为被所述多个子网络中的至少两个子网络共同包括的层，所述多个子网络中的任意两个子网络在同一目标层的输出通道集合不同；子网络训练单元603被配置为迭代地执行训练操作，直至得到多个训练后的子网络，所述训练操作包括：将所述多个子网络中的每一个子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值；图像处理单元604被配置为将所述待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，以及基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出，其中，训练后的子网络的子网络输出基于训练后的子网络从所述待处理图像中提取的特征而得到。

在一些实施例中，子网络宽度差异化单元602进一步被配置为：对于每一个目标卷积层，分别执行以下操作：为每一个包括目标卷积层的子网络分配一个通道偏移量以及基于每一个包括目标卷积层的子网络的通道偏移量，分别确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合，其中，包括目标卷积层的任意两个子网络的通道偏移量不同。

在一些实施例中，子网络宽度差异化单元602进一步被配置为：对于每一个包括目标卷积层的子网络，以随机方式选取目标卷积层的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合。

在一些实施例中，子网络宽度差异化单元602进一步被配置为：对于每一个目标卷积层，分别执行以下操作：对于每一个包括目标卷积层的子网络，以随机方式从目标卷积层的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合，其中，被抽取出的各部分输出通道之间的位置不连续。

在一些实施例中，在训练操作的每一次执行过程中，所述多个子网络中的任意两个子网络的用于训练的子网络输入不同，所述多个子网络中的每一个子网络的用于训练的子网络输入为随机生成。

在一些实施例中，图像处理单元604进一步被配置为：计算子训练后的子网络的网络输出的平均数；将所述平均数作为所述待处理图像对应的的网络输出。

在一些实施例中，图像处理单元604进一步被配置为：确定每一个训练后的子网络的子网络输出对应的标签；确定所有标签中对应的子网络输出最多的标签；将所有标签中对应的子网络输出最多的标签作为所述待处理图像对应的的网络输出

在一些实施例中，图像处理单元604进一步被配置为：将每一个训练后的子网络的子网络输出均输入到全连接层，以在全连接层对每一个训练后的子网络的子网络输出进行加权计算，得到加权计算结果；将所述加权计算结果作为所述待处理图像对应的的网络输出。

图7是本实施例提供的一种电子设备的结构框图。电子设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述方法。

电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述基于高精度神经网络的图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种基于高精度神经网络的图像处理方法，其特征在于，所述方法包括：

确定神经网络中的多个子网络，其中，所述多个子网络中的任意两个子网络对应的层集合不同，子网络对应的层集合为子网络包括的所述神经网络中的层的集合；

对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合，目标层为被所述多个子网络中的至少两个子网络共同包括的层，所述多个子网络中的任意两个子网络在同一目标层的输出通道集合不同；

迭代地执行训练操作，直至得到多个训练后的子网络，所述训练操作包括：将与目标检测相关的图像作为子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值；

将待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，以及基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出，其中，训练后的子网络的子网络输出基于训练后的子网络从所述待处理图像中提取的特征而得到。

2.根据权利要求1所述的方法，其特征在于，所述对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：

对于每一个目标卷积层，分别执行以下操作：为每一个包括目标卷积层的子网络分配一个通道偏移量以及基于每一个包括目标卷积层的子网络的通道偏移量，分别确定每一个包括目标卷积层的子网络在目标卷积层的输出通道集合，其中，包括目标卷积层的任意两个子网络的通道偏移量不同。

3.根据权利要求1所述的方法，其特征在于，所述对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：

对于每一个目标卷积层，分别执行以下操作：对于每一个包括目标卷积层的子网络，以随机方式选取目标卷积层的所有输出通道中的部分在位置上连续的输出通道以及将目标卷积层的除了被选取的输出通道之外的所有输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合。

4.根据权利要求1所述的方法，其特征在于，所述对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合包括：

对于每一个目标卷积层，分别执行以下操作：对于每一个包括目标卷积层的子网络，以随机方式从目标卷积层的所有输出通道中抽取至少两部分输出通道以及将所有被抽取出的输出通道作为包括目标卷积层的子网络在目标卷积层的输出通道集合，其中，被抽取出的各部分输出通道之间的位置不连续。

5.根据权利要求1-4之一所述的方法，其特征在于，在训练操作的每一次执行过程中，所述多个子网络中的任意两个子网络的用于训练的子网络输入不同，所述多个子网络中的每一个子网络的用于训练的子网络输入为随机生成。

6.根据权利要求5所述的方法，其特征在于，所述基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出包括：

计算训练后的子网络的网络输出的平均数；

将所述平均数作为所述神经网络的网络输出。

7.根据权利要求5所述的方法，其特征在于，所述基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出包括：

确定每一个训练后的子网络的子网络输出对应的标签；

确定所有标签中对应的子网络输出最多的标签；

将所有标签中对应的子网络输出最多的标签作为所述神经网络的网络输出。

8.根据权利要求5所述的方法，其特征在于，基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出包括：

将每一个训练后的子网络的子网络输出均输入到全连接层，以在全连接层对每一个训练后的子网络的子网络输出进行加权计算，得到加权计算结果；

将所述加权计算结果作为所述神经网络的网络输出。

9.一种基于高精度神经网络的图像处理装置，其特征在于，所述装置包括：

子网络深度差异化单元，被配置为确定神经网络中的多个子网络，其中，所述多个子网络中的任意两个子网络对应的层集合不同，子网络对应的层集合为子网络包括的所述神经网络中的层的集合；

子网络宽度差异化单元，被配置为对于每一个目标层，确定每一个包括目标层的子网络在目标层的输出通道集合，目标层为被所述多个子网络中的至少两个子网络共同包括的层，所述多个子网络中的任意两个子网络在同一目标层的输出通道集合不同；

子网络训练单元，被配置为迭代地执行训练操作，直至得到多个训练后的子网络，所述训练操作包括：将与目标检测相关的图像作为子网络的用于训练的子网络输入分别输入到每一个子网络中，得到每一个子网络的子网络输出；基于每一个子网络的子网络输出，更新每一个子网络的网络参数的参数值；

图像处理单元，被配置为将待处理图像分别输入到每一个训练后的子网络，得到每一个训练后的子网络的子网络输出，以及基于所述每一个训练后的子网络的子网络输出，得到所述神经网络的网络输出，其中，训练后的子网络的子网络输出基于训练后的子网络从所述待处理图像中提取的特征而得到。

10.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器;

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的方法。

11.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至8中任一项所述的方法。