CN111753862A - 训练神经网络模型的方法及装置、图像识别方法 - Google Patents

Abstract

公开了一种训练神经网络模型的方法，包括：针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；针对所述特征图，通过归一化层进行归一化处理，得到所述特征图对应的归一化后的特征图；以及固定所述归一化层的参数，并且基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重。通过所有训练样本计算得到归一化层的参数，并且固定该参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度。

Description

训练神经网络模型的方法及装置、图像识别方法

技术领域

本发明涉及神经网络模型训练技术领域，具体涉及一种训练神经网络模型的方法及装置、图像识别方法、电子设备及计算机可读存储介质。

背景技术

随着自动驾驶技术的发展，辅助驾驶系统、自动驾驶系统也得到了快速的发展。而辅助驾驶系统、自动驾驶系统的感知模块往往需要在计算能力有限的嵌入式设备中部署、运行，这使得图像感知算法由于计算能力瓶颈性能受限。此外，嵌入式系统中往往需要运行多个必要的感知任务(如行人、车辆检测，图像语义分割)，进一步限制了每个感知任务的计算能力。

现有的解决方案是使用多个感知任务学习，利用多个感知任务学习模型来实现同时感知多个任务。但是，现有技术存在以下缺点：若直接使用多个感知任务学习，由于各个感知任务在训练过程中数据量不均衡(例如车辆检测的训练样本为50万，而行人检测的训练样本为15万)，这会导致共享的特征提取模块任务间的偏差且感知性能降低。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种训练神经网络模型的方法，解决了上述多任务学习中各任务的训练数据不均衡所带来的感知性能降低的问题。

根据本申请的一个方面，提供了一种训练神经网络模型的方法，所述神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，所述方法包括：针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；针对所述特征图，通过归一化层进行归一化处理，得到所述特征图对应的归一化后的特征图，其中，所述归一化层的参数根据所有训练样本计算得到；以及固定所述归一化层的参数，并且基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重。

在一实施例中，在针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图之前，所述方法还包括：针对所述多个子网络中的相同层数的卷积层，计算批量训练样本在该卷积层各自对应的特征图，得到批量特征图；针对所述批量特征图中的每一特征图，通过批量归一化层进行归一化处理，得到该批量特征图对应的归一化后的批量特征图，其中，所述批量归一化层的参数根据所述批量训练样本计算得到；以及根据所述批量特征图和所述归一化后的批量特征图，计算得到所述多个子网络和主干网络的卷积层的权重。

在一实施例中，所述计算训练样本在该卷积层的特征图包括：将所述训练样本分别输入所述多个子网络的卷积层，得到多个特征图。

在一实施例中，所述基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重包括：基于所述特征图和所述归一化后的特征图，计算所述训练样本的梯度；以及以所述训练样本的梯度为迭代方向训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

在一实施例中，所述调整所述多个子网络和主干网络的卷积层的权重包括：减小训练过程中所述多个子网络和主干网络的卷积层的权重的调整幅度；以及基于减小后的调整幅度训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

在一实施例中，所述调整所述多个子网络和主干网络的卷积层的权重包括：减小训练过程中的遍历次数；以及基于减小后的遍历次数训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

根据本申请的另一方面，提供了一种图像识别方法，包括：将待识别图像输入神经网络模型的子网络；基于所述子网络，得到所述待识别图像的图像数据；将所述图像数据通过主干网络进行特征提取，得到特征图；基于所述特征图，识别所述待识别图像中的目标物；其中，所述神经网络模型通过如上所述任一种方法训练。

根据本申请的另一方面，提供了一种训练神经网络模型的装置，所述神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，所述装置包括：特征图计算模块，用于针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；归一化模块，用于针对所述特征图，通过归一化层进行归一化处理，得到所述特征图对应的归一化后的特征图，其中，所述归一化层的参数根据所有训练样本计算得到；以及调整模块，用于固定所述归一化层的参数，并且基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的训练神经网络模型的方法。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的训练神经网络模型的方法。

使用本申请提供的训练神经网络模型的方法，通过所有训练样本计算得到归一化层的参数，并且固定该参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的神经网络模型的结构图。

图2是本申请一示例性实施例提供的训练神经网络模型的方法的流程示意图。

图3是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。

图4是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。

图5是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。

图6是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。

图7是本申请一示例性实施例提供的训练神经网络模型的装置结构图。

图8是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。

图9是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。

图10是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。

图11是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。

图12是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

随着神经网络模型的快速发展，其在图像识别领域也得到了广泛的应用，通过神经网络模型感知图像中的特征，并根据所感知的特征对图像进行识别，例如在图像中识别出人物或其他事物。

现有技术中，在图像中识别出单个感知任务的实现方案已经有越来越多，然而，在实际应用中，经常会在一张图像中出现多个需要识别的感知任务，例如，在自动驾驶或辅助驾驶领域，为了保证驾驶的安全性能，则需要对驾驶过程中可以影响到安全性能的各个因素进行识别，其中包括行人、车辆、红绿灯、车道线等等一系列感知任务。如果对以上多个感知任务分别进行单独的识别，则会需要很大的计算资源，并且由于该多个感知任务存在于同一张图像中，相互之间存在相同的特征信息，因此，可以通过多感知任务的神经网络模型来实现多感知任务的识别，利用共享的特征模块来实现相同的特征信息的提取，再由单独的特征模块输出各自的感知任务，以达到计算资源最优化。

然而，在训练多感知任务的神经网络模型时，由于各个感知任务的数据量不均衡，例如车辆检测的训练样本为50万，而行人检测的训练样本为15万，各个感知任务数据量的不均衡则会导致共享的特征模块在提取相同的特征信息时会出现偏差，从而影响训练过程中各个卷积层参数的最终取值，继而影响到使用该神经网络模型进行多任务识别的精度。

因此，本申请提出了一种训练神经网络模型的方法，通过所有训练样本计算得到归一化层的参数，并且固定该归一化层的参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度。

示例性系统

图1是本申请所适用的神经网络模型的结构图。该神经网络模型只示例性的给出了包括三个感知任务的模型，三个感知任务例如可以是识别图像中的行人、车辆及车道线。该神经网络模型包括主干网络和子网络，其中，可以有多个子网络，至少一个主干网络，每一个主干网络和每一个子网络中可以分别包括至少一个卷积层。例如图1所示，该神经网络模型包括一个主干网络和两个子网络，识别图像输入神经网络模型后，顺序经过第一子网络、主干网络、第二子网络后输出结果，其中每个子网络包括三个卷积层，即第一子网络包括第一卷积层、第二卷积层和第三卷积层，第二子网络包括第四卷积层、第五卷积层和第六卷积层。图像数据分别输入第一卷积层、第二卷积层和第三卷积层后得到三个特征图，其中三个特征图分别包含行人、车辆和车道线的特征信息，然后将该三个特征图分别输入对应的归一化层(图中未示出)后得到归一化后的三个特征图，将归一化后的三个特征图输入主干网络中的卷积层和归一化层后得到提取相同特征后的三个特征图，最后将提取相同特征后的三个特征图分别输入第四卷积层、第五卷积层和第六卷积层，分别得到行人、车辆和车道线三个输出结果，从而实现在识别图像中识别出上述三个感知任务。

应当理解，本申请所适用的神经网络模型可以包括多个感知任务，不限于三个感知任务，并且该模型的网络结构也只是示例性的，每个主干网络和子网络中所包含的卷积层和归一化层的数量也可以包括多个，该示例并非对本申请所适用的神经网络模型的结构限定。

示例性方法

图2是本申请一示例性实施例提供的训练神经网络模型的方法的流程示意图。该神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，如图2所示，该训练神经网络模型的方法包括如下步骤：

步骤210：针对多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图。

在构建神经网络模型时，会对网络中的各个卷积层设置一个初始权重，例如图1中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及主干网络中的卷积层，都会设置一个初始权重，而在训练该神经网络模型时，随着训练样本的不断输入训练，各个卷积层的权重也会由初始权重不断调整，最终得到该神经网络模型的权重。其中，当训练样本作为输入数据输入某一卷积层(例如第一卷积层)时，通过第一卷积层的卷积计算得到该训练样本在第一卷积层的卷积计算下得到的特征图，并且该特征图可以作为下一网络层(主干网络的卷积层)的输入数据。

步骤220：针对特征图，通过归一化层进行归一化处理，得到特征图对应的归一化后的特征图，其中，归一化层的参数根据所有训练样本计算得到。

归一化处理是一种简化计算的方式，即将有量纲的表达式变换为无量纲的纯量，图像经过归一化处理后能够找出图像中的那些不变量，从而得知这些图像原本就是一样的或者一个系列的。例如图1中，在卷积层与激活函数层之间加入归一化层，例如第一卷积层与对应的激活函数层(图中未示出)之间设置归一化层，并且该归一化层的参数通过对所有训练样本进行训练得到，将训练样本在第一卷积层计算得到的特征图输入该归一化层，由该归一化层对该特征图进行归一化处理，获取一个感知任务(行人或车辆或车道线)对应的图像中的不变量，得到归一化后的特征图，以提取不同感知任务特有的特征信息，加快训练速度且提高网络泛化能力。

步骤230：固定归一化层的参数，并且基于特征图和归一化后的特征图，调整多个子网络和主干网络的卷积层的权重。

对于识别多个感知任务的神经网络模型，通常的训练方式为每次批量的输入一批次的样本来训练该神经网络模型，直至所有的样本都完成训练，而训练过程中部分网络层的参数会根据样本的不同而调整，例如归一化层的参数会根据每次训练的批量样本计算出一个参数，由于每个感知任务的训练数据量不同，即针对每个感知任务输入的样本数量不同，从而使得主干网络的卷积层的参数因为样本数量的不同而在各个感知任务之间出现偏差，最终影响训练的结果。例如，行人、车辆和车道线的训练样本数量不同，从而会导致主干网络的卷积层在提取不同感知任务的相同特征信息时会有所偏重(例如主干网络的卷积层会因为某一感知任务的训练样本数量较多，而权重的变化会偏向该感知任务)。因此，本申请通过所有训练样本计算得到归一化层的参数并固定该参数，以减小各个感知任务的训练样本数量不同带来的偏差。

使用本申请提供的训练神经网络模型的方法，通过所有训练样本计算得到归一化层的参数，并且固定该参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度。

图3是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。如图3所示，在步骤210之前，该方法还可包括：

步骤240：针对多个子网络中的相同层数的卷积层，计算批量训练样本在该卷积层各自对应的特征图，得到批量特征图。

在训练该神经网络模型之初，可以通过常规的多个感知任务的训练方式完成该神经网络模型的初步训练，即通过每次批量的输入包括行人、车辆和车道线等图像信息的训练样本，根据当前各个卷积层的权重值，计算得到分别对应行人、车辆和车道线的批量特征图。

步骤250：针对批量特征图中的每一特征图，通过批量归一化层进行归一化处理，得到该批量特征图对应的归一化后的批量特征图，其中，批量归一化层的参数根据批量训练样本计算得到。

根据每次输入的批量训练样本计算得到批量归一化层的参数，并基于该参数，针对步骤240中得到的批量特征图中的每一特征图，通过批量归一化层进行归一化处理，获取一个感知任务(行人或车辆或车道线)对应的图像中的不变量，以提取不同感知任务特有的特征信息，得到归一化后的批量特征图。

步骤260：根据批量特征图和归一化后的批量特征图，计算得到多个子网络和主干网络的卷积层的权重。

结合图1所示实施例，最后根据批量特征图和归一化后的批量特征图，分别计算并更新上述三个感知任务对应的多个子网络以及三个感知任务共享的主干网络(即神经网络模型的所有网络)的卷积层的权重。然后，重新输入批量的训练样本，重复步骤240至步骤260，直至所有训练样本都完成训练，以实现神经网络模型的初步训练。

在一实施例中，步骤210可包括：将训练样本分别输入多个子网络的卷积层，得到多个特征图。通过将训练样本分别输入多个子网络的卷积层以分别得到多个特征图，例如，将包含行人、车辆、车道线等特性信息的图像分别输入第一子网络的第一卷积层、第二卷积层和第三卷积层，以得到分别对应行人、车辆、车道线的特征图，以实现后续分别识别出行人、车辆、车道线的感知任务。

图4是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。如图4所示，步骤230可包括如下子步骤：

步骤231：基于特征图和归一化后的特征图，计算训练样本的梯度。

归一化层对特征图进行归一化处理实际是对于特征图进行一个函数运算，以得到归一化后的特征图，即特征图与归一化后的特征图是一个函数对应关系，因此，可以以特征图为自变量、归一化后的特征图为因变量，根据因变量和自变量求导计算得到一个梯度值，该梯度值反映了归一化层对于特征图的影响程度。其中，输入的训练样本可以是随机选取所有训练样本中的一个来训练调整卷积层的权重。例如，可以通过对包括行人感知任务的特征图及对应的归一化后的特征图求导，得到归一化层对该感知任务的影响程度，从而可以根据该影响程度对该归一化层的参数进行调整，以得到归一化层的最优参数。

步骤232：以训练样本的梯度为迭代方向训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

为了实现快速下降，以该训练样本的梯度作为下一步迭代的方向来训练神经网络模型的各个网络层，并根据迭代的结果得到神经网络模型的多个子网络和主干网络的卷积层的权重，以得到的权重来更新各个卷积层的权重值，实现各个卷积层权重的调整。

图5是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。如图5所示，步骤230可包括如下子步骤：

步骤233：减小训练过程中多个子网络和主干网络的卷积层的权重的调整幅度。

在常规训练或现有技术的训练过程(步骤240-步骤260)中，由于多个子网络和主干网络的卷积层的初始权重值一般距离最终的权重值比较远，通常为了快速迭代收敛，会将的权重的调整幅度设置的比较大，这样能够在有限的训练时间和有限的迭代次数内收敛到最优的权重值。然而，在得到初步的权重值后对各个卷积层的权重值进行调整时，往往初步的权重值与最优的权重值之间的距离比较近，因此，如果还是保持较大的调整幅度，则可能会导致迭代无法达到最优的权重值，甚至导致无法收敛。例如某一卷积层的理论最优的权重值是10，而如果此时的权重值为1，调整幅度为2，那么经过有限次的迭代训练，该权重值也不能调整到10(即10不能由初始值1经过有限次的加减调整幅度得到)。因此，在调整权重值时，可以选取较小的调整幅度(例如1)，以保证权重值能够调整到最优值。

步骤234：基于减小后的调整幅度训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

本申请在调整的过程中，减小多个子网络和主干网络的卷积层的权重的调整幅度，基于减小后的调整幅度训练神经网络模型，使得各个卷积层的权重值在局部小范围内调整，提高了迭代的精度，保证能够达到最优的权重值。

图6是本申请另一示例性实施例提供的训练神经网络模型的方法的流程示意图。如图6所示，步骤230可包括如下子步骤：

步骤235：减小训练过程中的遍历次数。

在常规训练或现有技术的训练过程中，为了尽可能获取训练样本的特征图中的所有特征信息，通常会将的遍历次数设置的比较大，这样能够在通过多次的遍历获取训练样本的特征信息。然而，本申请在步骤240至步骤260中得到初步的权重值后对各个卷积层的权重值进行调整时，训练样本的特征信息已经被提取出来，因此，如果还是保持较大的遍历次数，则会导致增加计算量，造成计算资源的浪费。

步骤236：基于减小后的遍历次数训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

本申请在调整的过程中，减小训练过程中的遍历次数，并且基于减小后的遍历次数训练神经网络模型，使得各个卷积层的权重值在较短时间内达到最优的权重值，并且尽可能减少计算资源的使用，提高调整的效率。

本申请还提供了一种图像识别方法，包括：将待识别图像输入神经网络模型的子网络；基于所述子网络，得到所述待识别图像的图像数据；将所述图像数据通过主干网络进行特征提取，得到特征图；基于所述特征图，识别所述待识别图像中的目标物；其中，神经网络模型通过如上任一种方法训练。

通过所有训练样本计算得到归一化层的参数，并且固定该参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度，从而，上述方法训练得到的神经网络模型，在识别至少两个预设类型的感知任务时，能够精确的识别出各个感知任务。

示例性装置

图7是本申请一示例性实施例提供的训练神经网络模型的装置结构图。该神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，如图7所示，该装置包括：特征图计算模块71，用于针对多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；归一化模块72，用于针对特征图，通过归一化层进行归一化处理，得到特征图对应的归一化后的特征图，其中，归一化层的参数根据所有训练样本计算得到；以及调整模块73，用于固定归一化层的参数，并且基于特征图和归一化后的特征图，调整多个子网络和主干网络的卷积层的权重。

通过所有训练样本计算得到归一化层的参数，并且固定该参数，调整神经网络模型的各个卷积层的权重，以全局的角度综合训练各个卷积层的权重，兼顾多个感知任务的数据量之间的均衡问题，以提高多个感知任务的感知精度。

图8是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。如图8所示，该装置还可包括批量特征图计算模块74，用于针对多个子网络中的相同层数的卷积层，计算批量训练样本在该卷积层各自对应的特征图，得到批量特征图；批量归一化模块75，用于针对批量特征图中的每一特征图，通过批量归一化层进行归一化处理，得到该批量特征图对应的归一化后的批量特征图，其中，批量归一化层的参数根据批量训练样本计算得到；以及初步计算模块76，用于根据批量特征图和归一化后的批量特征图，计算得到多个子网络和主干网络的卷积层的权重。

在一实施例中，特征图计算模块71可配置为：将训练样本分别输入多个子网络的卷积层，得到多个特征图。通过将训练样本分别输入多个子网络的卷积层以分别得到多个特征图，例如，将包含行人、车辆、车道线等特性信息的图像分别输入第一子网络的第一卷积层、第二卷积层和第三卷积层，以得到分别对应行人、车辆、车道线的特征图，以实现后续分别识别出行人、车辆、车道线的感知任务。

图9是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。如图9所示，调整模块73可包括梯度计算子模块731：用于基于特征图和归一化后的特征图，计算训练样本的梯度；以及迭代子模块732，用于以训练样本的梯度为迭代方向训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

为了实现快速下降，以该训练样本的梯度作为下一步迭代的方向来训练神经网络模型的各个网络层，并根据迭代的结果得到神经网络模型的多个子网络和主干网络的卷积层的权重，以得到的权重来更新各个卷积层的权重值，实现各个卷积层权重的调整。

图10是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。如图10所示，调整模块73可包括幅度调整子模块733，用于减小训练过程中多个子网络和主干网络的卷积层的权重的调整幅度。调整模块73进一步配置为：基于减小后的调整幅度训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

本申请在调整的过程中，减小多个子网络和主干网络的卷积层的权重的调整幅度，基于减小后的调整幅度训练神经网络模型，使得各个卷积层的权重值在局部小范围内调整，提高了迭代的精度，保证能够达到最优的权重值。

图11是本申请另一示例性实施例提供的训练神经网络模型的装置结构图。如图11所示，调整模块73可包括遍历次数调整子模块734，用于减小训练过程中的遍历次数。调整模块73进一步配置为：基于减小后的遍历次数训练神经网络模型，得到多个子网络和主干网络的卷积层的权重。

本申请在调整的过程中，减小训练过程中的遍历次数，并且基于减小后的遍历次数训练神经网络模型，使得各个卷积层的权重值在较短时间内达到最优的权重值，并且尽可能减少计算资源的使用。

示例性电子设备

下面，参考图12来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图12图示了根据本申请实施例的电子设备的框图。

如图12所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的训练神经网络模型方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入图像、图像特征等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是摄像设备，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的训练神经网络模型方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的训练神经网络模型方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种训练神经网络模型的方法，所述神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，所述方法包括：

针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；

针对所述特征图，通过归一化层进行归一化处理，得到所述特征图对应的归一化后的特征图，其中，所述归一化层的参数根据所有训练样本计算得到；以及

固定所述归一化层的参数，并且基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重。

2.根据权利要求1所述的方法，其中，在针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图之前，所述方法还包括：

针对所述多个子网络中的相同层数的卷积层，计算批量训练样本在该卷积层各自对应的特征图，得到批量特征图；

针对所述批量特征图中的每一特征图，通过批量归一化层进行归一化处理，得到该批量特征图对应的归一化后的批量特征图，其中，所述批量归一化层的参数根据所述批量训练样本计算得到；以及

根据所述批量特征图和所述归一化后的批量特征图，计算得到所述多个子网络和主干网络的卷积层的权重。

3.根据权利要求1所述的方法，其中，所述计算训练样本在该卷积层的特征图包括：

将所述训练样本分别输入所述多个子网络的卷积层，得到多个特征图。

4.根据权利要求1所述的方法，其中，所述基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重包括：

基于所述特征图和所述归一化后的特征图，计算所述训练样本的梯度；以及

以所述训练样本的梯度为迭代方向训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

5.根据权利要求1所述的方法，其中，所述调整所述多个子网络和主干网络的卷积层的权重包括：

减小训练过程中所述多个子网络和主干网络的卷积层的权重的调整幅度；以及

基于减小后的调整幅度训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

6.根据权利要求1所述的方法，其中，所述调整所述多个子网络和主干网络的卷积层的权重包括：

减小训练过程中的遍历次数；以及

基于减小后的遍历次数训练所述神经网络模型，得到所述多个子网络和主干网络的卷积层的权重。

7.一种图像识别方法，包括：

将待识别图像输入神经网络模型的子网络；

基于所述子网络，得到所述待识别图像的图像数据；

将所述图像数据通过所述神经网络模型的主干网络进行特征提取，得到特征图；

基于所述特征图，识别所述待识别图像中的目标物；

其中，所述神经网络模型通过如权利要求1-6中任一种方法训练。

8.一种训练神经网络模型的装置，所述神经网络模型包括多个子网络和主干网络，每一个子网络包括至少一个卷积层，所述装置包括：

特征图计算模块，用于针对所述多个子网络中的相同层数的卷积层，基于该卷积层的权重以及该卷积层的输入数据，计算训练样本在该卷积层的特征图；

归一化模块，用于针对所述特征图，通过归一化层进行归一化处理，得到所述特征图对应的归一化后的特征图，其中，所述归一化层的参数根据所有训练样本计算得到；以及

调整模块，用于固定所述归一化层的参数，并且基于所述特征图和所述归一化后的特征图，调整所述多个子网络和主干网络的卷积层的权重。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的训练神经网络模型的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-6任一所述的训练神经网络模型的方法。

Images