CN114648679A - 神经网络训练、目标检测的方法及装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种神经网络训练、目标检测的方法及装置、设备及存储介质，其中，该方法包括：获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络；基于码本生成网络所生成的码本对第二图像样本进行重表征，得到重表征后的第二图像样本；基于重表征后的第二图像样本对第一目标神经网络的网络参数值进行调整，得到迁移至下游任务的第二目标神经网络。本公开基于码本生成网络将第二图像样本转换成了由上游码本的基元表示形式，从而可以在上游任务中的第一目标神经网络上具有更好的适应性，进一步提升在下游任务中的表现性能。

Description

神经网络训练、目标检测的方法及装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种神经网络训练、目标检测的方法及装置、设备及存储介质。

背景技术

随着人工智能技术的飞速发展，基于端到端的深度学习技术也日趋成熟。利用大规模数据集可以在上游为各类任务共同学习一个预训练神经网络(即预训练模型)，该模型可以直接共享预训练好的早期权重，具有较为强大的特征表示能力。

然而，在将预训练模型迁移到下游特定任务的过程中，由于在下游实际上所能获取到的数据量比较少，这导致不管是直接进行模型迁移，还是在对预训练模型进行微调后再进行迁移，预训练模型在下游任务中的表现性能都不佳。

发明内容

本公开实施例至少提供一种神经网络训练、目标检测的方法及装置、设备及存储介质。

第一方面，本公开实施例提供了一种神经网络训练的方法，所述方法包括：

获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，所述第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，所述码本生成网络用于生成将所述第一图像样本分解为包含多个基元的码本；

基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本；

基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

采用上述神经网络训练的方法，可以基于码本生成网络对下游任务中采集的第二图像样本进行重表征，基于重表征后的第二图像样本对基于第一图像样本训练得到的第一目标神经网络的网络参数值进行调整，可以得到迁移至所述下游任务的第二目标神经网络。由于码本生成网络所分解的包含多个基元的码本蕴含了所有上游任务的数据特征，这样在基于码本生成网络对下游任务中的第二图像样本进行重表征的过程中，也使得第二图像样本转换成了由上游码本的基元表示形式，从而可以在上游任务中的第一目标神经网络上具有更好的适应性，进一步更好地提升在下游任务中的表现性能。

在一种可能的实施方式中，所述码本生成网络包括编码器和解码器，按照如下步骤训练所述码本生成网络：

重复执行以下步骤，直至所述解码器输出的图像与输入到所述编码器中的第一图像样本之间的相似度大于预设阈值：

将所述第一图像样本输入到待训练的编码器，得到所述编码器输出的码本；将所述编码器输出的码本输入到待训练的解码器，得到所述解码器输出的图像。

这里的码本可以是基于编码器和解码器所构成的对抗网络实现的图像编码，准确性较高。

在一种可能的实施方式中，所述基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本，包括：

将所述第二图像样本输入到所述码本生成网络包括的编码器，得到所述编码器输出的码本；

将所述编码器输出的码本输入到所述码本生成网络包括的解码器，得到所述解码器输出的所述重表征后的第二图像样本。

这里，利用编码器输出的码本可以对第二图像样本进行重表征，表征后的第二图像样本可以更为适配后续第一神经网络的训练。

在一种可能的实施方式中，所述第一目标神经网络包括用于进行特征提取的特征提取层以及用于进行任务处理的任务层；所述基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络，包括：

在所述第一目标神经网络包括的特征提取层的网络参数值保持不变的情况下，基于所述重表征后的第二图像样本对所述第一目标神经网络包括的任务层的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

这里，可以基于重表征后的第二图像样本对任务层进行单独调整，从而提升网络在下游任务中的收敛性能。

在一种可能的实施方式中，在所述得到迁移至所述下游任务的第二目标神经网络之后，所述方法还包括：

基于所述第二图像样本对得到的所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

这里，可以基于原始的第二图像样本对第二目标神经网络进行微调，扩展网络在下游任务中的泛化性能。

在一种可能的实施方式中，所述基于所述第二图像样本对得到的所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络，包括：

将所述第二图像样本输入至所述第二目标神经网络中，得到网络的任务输出结果；

基于所述任务输出结果以及针对所述第二图像样本进行标注的任务标注结果之间的比对关系，确定所述第二目标神经网络的损失函数值；

基于所述损失函数值对所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

在一种可能的实施方式中，按照如下步骤训练所述第一目标神经网络：

获取原始神经网络；所述原始神经网络至少包括特征提取层；

基于所述原始神经网络包括的特征提取层对所述第一图像样本进行特征提取，得到特征提取层输出的图像特征信息；

基于所述图像特征信息对所述特征提取层的网络参数值进行调整，得到调整好的特征提取层；

将包含有调整好的特征提取层的原始神经网络，确定为训练得到的第一目标神经网络。

这里，可以基于包括有特征提取层的原始神经网络的训练，得到第一目标神经网络，该网络可以输出较为通用的特征信息，便于后续进行任务迁移。

在一种可能的实施方式中，所述上游任务包括多个应用场景下的多个任务，所述下游任务包括一个目标应用场景下的一个目标任务。

第二方面，本公开实施例还提供了一种目标检测的方法，所述方法包括：

获取下游任务中采集的目标图像；

将所述目标图像输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的迁移至所述下游任务的第二目标神经网络，得到目标对象在所述目标图像中的检测结果。

第三方面，本公开实施例还提供了一种神经网络训练的装置，所述装置包括：

获取模块，用于获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，所述第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，所述码本生成网络用于生成将所述第一图像样本分解为包含多个基元的码本；

表征模块，用于基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本；

调整模块，用于基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

第四方面，本公开实施例还提供了一种目标检测的装置，所述装置包括：

获取模块，用于获取下游任务中采集的目标图像；

检测模块，用于将所述目标图像输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的迁移至所述下游任务的第二目标神经网络，得到目标对象在所述目标图像中的检测结果。

第五方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的神经网络训练的方法的步骤或者如第二方面所述的目标检测的方法的步骤。

第六方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的神经网络训练的方法的步骤或者如第二方面所述的目标检测的方法的步骤。

关于上述装置、电子设备、及计算机可读存储介质的效果描述参见上述方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种神经网络训练的方法的流程图；

图2示出了本公开实施例所提供的一种目标检测的方法的流程图；

图3示出了本公开实施例所提供的一种神经网络训练的装置的示意图；

图4示出了本公开实施例所提供的一种目标检测的装置的示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，在将预训练模型迁移到下游特定任务的过程中，相关技术中通常会通过模型微调提升在下游任务中的性能。

现有的微调方式主要有以下两类：第一类可以是筛选映射主干网络提取的特征。在具体应用中，可以通过在主干网络后添加额外的网络层来实现上述筛选过程，也即，通过额外的网络层可以对主干网络提取的通用特征进行筛选、映射，保留并强化下游任务需要的特征，这里，额外的网络层可以是卷积层、归一化层等。第二类可以是操作主干网络权重参数。在具体应用中，不直接利用反向传播进行下游任务迁移，而是针对下游任务在指定权重参数空间内预测权重增量和偏移值，帮助主干网络适应下游任务。

然而，上述两类方法都存在缺点：第一类方法在下游任务中的数据量较小的情况下可能引起特征映射层过拟合；第二类方法的权重更新范围受限于指定的权重参数空间，无法保证权重优化到最佳状态，可见，它们对模型迁移性能的提升均有待提高。

基于上述研究，本公开提供了一种基于码本重表征实现网络迁移的神经网络训练的方案，以提升预训练模型在下游任务中的表现性能。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练的方法进行详细介绍，本公开实施例所提供的神经网络训练的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络训练的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的神经网络训练的方法的流程图，方法包括步骤S101～S103，其中：

S101：获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，码本生成网络用于生成将第一图像样本分解为包含多个基元的码本；

S102：基于码本生成网络所生成的码本对第二图像样本进行重表征，得到重表征后的第二图像样本；

S103：基于重表征后的第二图像样本对第一目标神经网络的网络参数值进行调整，得到迁移至下游任务的第二目标神经网络。

为了便于理解本公开实施例提供的神经网络训练的方法，接下来首先对该方法的应用场景进行简单说明。本公开实施例中的神经网络训练的方法主要可以应用于视觉场景迁移下有关下游任务中的网络训练，这里的下游任务可以是基于当前所迁移到的场景下的相关任务，例如，可以是自然场景下的目标检测任务，还可以是采集场景下的语义分割任务。

其中，在下游任务中可采集的训练样本数量相对较少。与下游任务对应的是上游任务，可以是具有较多训练样本的相关任务。以目标分类任务为例，目前已经具备包括由各目标对象组成的训练数据库训练得到的目标分类神经网络，然而对于下游具体的应用场景自动驾驶而言，由于对应这一场景下的训练数据相对较少，因而往往需要借助上游得到的预训练模型来支持下游的训练，例如，可以在对预训练模型进行微调后再进行迁移。

然而，由于相关技术中的微调方案存在这样或那样的问题，导致预训练模型在下游任务中的表现性能并不佳。

正是为了解决上述问题，本公开实施例才提供了一种基于码本重表征实现网络迁移的神经网络训练的方案，以提升预训练模型在下游任务中的表现性能。

本公开实施例中，这里的预训练模型可以是在上游任务中，利用上游任务中采集的第一图像样本训练得到的第一目标神经网络。另外，上述码本重表征可以是基于码本生成网络实现的，这里的码本生成网络可以是用于生成将第一图像样本分解为包含多个基元的码本的相关网络。

在具体应用中，可以预先准备有针对上游任务的上游数据集以及针对下游任务的下游数据集，上游数据集作为大规模预训练数据集，具有大量的第一图像样本，下游数据集作为待迁移到的数据集，具有少量的第二图像样本。

其中，第一图像样本可以是在多个应用场景下的多个任务中采集的图像，这里的应用场景可以是自然场景、监控场景、采集场景等场景，这里的任务可以是图像分类、目标检测、语义分割等任务。第二图像样本可以是待迁移的特定场景、特定任务中采集的图像，比如检测任务中有关街道行人图像。

基于上述第一图像样本可以对包括有特征提取层的原始神经网络进行训练，这里，可以基于特征提取层对第一图像样本进行特征提取，而后通过特征提取层输出的图像特征信息对特征提取层的网络参数值进行调整，这样训练得到的原始神经网络可以确定为上述训练好的第一目标神经网络。

其中，上述原始神经网络是任一具有特征提供功能的网络结构，通过使用大规模上游数据(对应第一图像样本)对原始神经网络进行训练所得到的第一目标神经网络，对于任一张图像，其骨干网络部分(对应特征提取层)可以输出一个通用的特征表征。

需要说明的是，上述原始神经网络还可以在特征提取层之后，包含用于进行任务处理的任务层，这时可以利用任务层的任务输出结果与针对大规模上游数据的任务标注结果之间的匹配度来进行整个原始神经网络的训练，这里不再赘述。

另外，上述码本生成网络也可以是基于第一图像样本训练得到的。这里的码本生成网络主要是为了训练一个可以编码上游数据中视觉特征的码本，这样，在基于码本生成网络对第二图像样本进行重表征的过程中，即可以将下游数据变换成由上游的码本的基元表示的形式，该形式在上游训练好的第一目标神经网络上具有更好的适应性，可以更快更好的收敛到最优点，继而可以提升迁移到下游任务中的表现性能。

考虑到码本生成网络对重表征的关键作用，接下来可以详细的介绍有关码本生成网络的训练过程以及应用过程。

在本公开实施例中，可以利用配对的编码器和解码器所构成的对抗网络进行码本生成网络的训练。这里，可以将第一图像样本输入到待训练的编码器，得到编码器输出的码本；将编码器输出的码本输入到待训练的解码器，得到解码器输出的图像，然后验证解码器输出的图像与输入编码器的第一图像样本之间的相似度是否大于预设阈值，如果不大于预设阈值，则循环上述将第一图像样本输入到待训练的编码器的过程，直至两个图像的相似度大于预设阈值。

这里，利用训练好的码本生成网络可以使得一张图像通过编码器将图片分解为由若干个基元组成的码本，再通过解码器能将这些基元还原为该图像。

在基于码本生成网络对第二图像样本进行重表征的过程中，可以将第二图像样本输入到码本生成网络包括的编码器，得到编码器输出的码本，在将编码器输出的码本输入到码本生成网络包括的解码器的情况下，可以利用码本所包含的各个基元进行图像还原，进而得到重表征后的第二图像样本。

本公开实施例提供的神经网络训练的方法，基于重表征后的第二图像样本可以对第一目标神经网络进行调整，以通过第一目标神经网络的训练，得到适应于迁移到下游任务的第二目标神经网络。

为了更好的适配下游任务，在进行网络调整的过程中，可以在第一目标神经网络包括的特征提取层的网络参数值保持不变的情况下，基于重表征后的第二图像样本对第一目标神经网络包括的任务层的网络参数值进行调整，从而得到迁移至下游任务的第二目标神经网络。

在进行网络调整的过程中，可以固定第一目标神经网络的骨干网络部分的参数，只调整骨干网络后面任务相关网络的参数，也即，本公开实施例借助重表征下游数据的形式，在保留上游网络泛化性的前提下能够针对不同类型的任务最大限度的利用上游网络的通用特征，确保下游任务指标。

相比相关技术中的简单微调模型权重的方案，由于下游任务数据量过小或者下游任务类型与上游任务不完全匹配，导致很难得到合适的针对下游任务的特征映射的问题，本公开实施例利用重表征方式降低了下游网络进行特征映射学习的难度，很好的适配了第一目标神经网络的任务训练，这样，即使在下游数据量较少的情况下，第二目标神经网络在下游任务中的表现性能也会更好。

为了更进一步地扩展第二目标神经网络在下游任务领域的泛化性能，这里，可以使用原始下游数据(即第二图像样本)对第二目标神经网络进行微调。

本公开实施例中，具体可以通过如下步骤训练第二目标神经网络：

步骤一、将第二图像样本输入至第二目标神经网络中，得到网络的任务输出结果；

步骤二、基于任务输出结果以及针对第二图像样本进行标注的任务标注结果之间的比对关系，确定第二目标神经网络的损失函数值；

步骤三、基于损失函数值对第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

这里，可以通过第二目标神经网络包括的特征提取层进行特征提取，在将特征提取层输出的特征信息输入到第二目标神经网络包括的任务层的情况下，可以基于任务输出结果以及针对第二图像样本的任务标注结果的匹配结果进行第二目标神经网络的多轮训练。

本公开实施例中，在任务输出结果以及任务标注结果不匹配的情况下，说明当前的网络性能不佳，需要进行网络参数值的调整以进行下一轮训练，直到两个结果相匹配或者直到满足其它网络收敛条件，例如，迭代轮次达到预设次数，再如，损失函数值小于预设阈值等。

针对不同的下游任务，这里的任务标注结果也不同。例如，有的图像样本可以是针对目标检测任务标记的有关目标对象的位置、大小等信息，有的图像样本可以是针对目标语义分割任务标记的对象语义信息。这里可以针对不同的下游任务进行标注，对此不做具体的限制。

本公开实施例在基于原始的下游数据进行网络微调的过程中，可以针对网络包括的各个网络层的整体调整过程，这里，可以放开各个网络层的所有参数，使用较小的学习率，进行网络的最终调整，从而可以显著提升网络在下游任务领域的泛化性能。

基于本公开实施例提供的上述神经网络训练的方法，本公开实施例还提供了一种目标检测的方法，如图2所示，具体包括如下步骤：

S201：获取下游任务中采集的目标图像；

S202：将目标图像输入至利用神经网络训练的方法训练得到的迁移至下游任务的第二目标神经网络，得到目标对象在目标图像中的检测结果。

这里，在获取到下游任务中采集的目标图像的情况下，可以基于训练得到的用于进行目标检测的第二目标神经网络对目标图像中的目标对象进行检测，得到目标对象在目标图像中的检测结果。

其中，目标对象在目标图像中的检测结果可以是目标对象在目标图像中的位置、大小等信息。

本公开实施例中，不同的下游任务所采集的目标图像也不同，具体可以参见有关第二图像样本的采集过程，这里不再赘述。有关第二目标神经网络的训练过程参见上述实施例中的相关描述，在此也不再赘述。

需要说明的是，本公开实施例提供的神经网络训练的方法不仅可以应用于目标检测领域，还可以应用于图像分类、语义分割等领域，在此不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与方法对应的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种神经网络训练的装置的示意图，装置包括：获取模块301、表征模块302、调整模块303；其中，

获取模块301，用于获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，码本生成网络用于生成将第一图像样本分解为包含多个基元的码本；

表征模块302，用于基于码本生成网络所生成的码本对第二图像样本进行重表征，得到重表征后的第二图像样本；

调整模块303，用于基于重表征后的第二图像样本对第一目标神经网络的网络参数值进行调整，得到迁移至下游任务的第二目标神经网络。

采用上述神经网络训练的装置，可以基于码本生成网络对下游任务中采集的第二图像样本进行重表征，基于重表征后的第二图像样本对基于第一图像样本训练得到的第一目标神经网络进行调整，可以得到迁移至下游任务的第二目标神经网络。由于码本生成网络所分解的包含多个基元的码本蕴含了所有上游任务的数据特征，这样在基于码本生成网络对下游任务中的第二图像样本进行重表征的过程中，也使得第二图像样本转换成了由上游码本的基元表示形式，从而可以在上游任务中的第一目标神经网络上具有更好的适应性，进一步更好地提升在下游任务中的表现性能。

在一种可能的实施方式中，码本生成网络包括编码器和解码器，获取模块301，用于按照如下步骤训练码本生成网络：

重复执行以下步骤，直至解码器输出的图像与输入到编码器中的第一图像样本之间的相似度大于预设阈值：

将第一图像样本输入到待训练的编码器，得到编码器输出的码本；将编码器输出的码本输入到待训练的解码器，得到解码器输出的图像。

在一种可能的实施方式中，表征模块302，用于按照以下步骤基于码本生成网络所生成的码本对第二图像样本进行重表征，得到重表征后的第二图像样本：

将第二图像样本输入到码本生成网络包括的编码器，得到编码器输出的码本；

将编码器输出的码本输入到码本生成网络包括的解码器，得到解码器输出的重表征后的第二图像样本。

在一种可能的实施方式中，第一目标神经网络包括用于进行特征提取的特征提取层以及用于进行任务处理的任务层；调整模块303，用于按照以下步骤基于重表征后的第二图像样本对第一目标神经网络的网络参数值进行调整，得到迁移至下游任务的第二目标神经网络，包括：

在第一目标神经网络包括的特征提取层的网络参数值保持不变的情况下，基于重表征后的第二图像样本对第一目标神经网络包括的任务层的网络参数值进行调整，得到迁移至下游任务的第二目标神经网络。

在一种可能的实施方式中，上述调整模块303，还用于：

在得到迁移至下游任务的第二目标神经网络之后，基于第二图像样本对得到的第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

在一种可能的实施方式中，调整模块303，用于按照以下步骤基于第二图像样本对得到的第二目标神经网络进行网络训练，得到训练好的第二目标神经网络：

将第二图像样本输入至第二目标神经网络中，得到网络的任务输出结果；

基于任务输出结果以及针对第二图像样本进行标注的任务标注结果之间的比对关系，确定第二目标神经网络的损失函数值；

基于损失函数值对第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

在一种可能的实施方式中，获取模块301，用于按照如下步骤训练第一目标神经网络：

获取原始神经网络；原始神经网络至少包括特征提取层；

基于原始神经网络包括的特征提取层对第一图像样本进行特征提取，得到特征提取层输出的图像特征信息；

基于图像特征信息对特征提取层的网络参数值进行调整，得到调整好的特征提取层；

将包含有调整好的特征提取层的原始神经网络，确定为训练得到的第一目标神经网络。

在一种可能的实施方式中，上游任务包括多个应用场景下的多个任务，下游任务包括一个目标应用场景下的一个目标任务。

参照图4所示，为本公开实施例提供的一种目标检测的装置的示意图，装置包括：获取模块401、检测模块402；其中，

获取模块401，用于获取下游任务中采集的目标图像；

检测模块402，用于将目标图像输入至利用神经网络训练的方法训练得到的迁移至下游任务的第二目标神经网络，得到目标对象在目标图像中的检测结果。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1和图2中的方法，本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器501、存储器502、和总线503；存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当电子设备运行时，处理器501与存储器502之间通过总线503通信，使得处理器501执行图1所示的神经网络训练的方法的步骤或者执行图2所示的目标检测的方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种神经网络训练的方法，其特征在于，所述方法包括：

获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，所述第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，所述码本生成网络用于生成将所述第一图像样本分解为包含多个基元的码本；

基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本；

基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

2.根据权利要求1所述的方法，其特征在于，所述码本生成网络包括编码器和解码器，按照如下步骤训练所述码本生成网络：

重复执行以下步骤，直至所述解码器输出的图像与输入到所述编码器中的第一图像样本之间的相似度大于预设阈值：

将所述第一图像样本输入到待训练的编码器，得到所述编码器输出的码本；将所述编码器输出的码本输入到待训练的解码器，得到所述解码器输出的图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本，包括：

将所述第二图像样本输入到所述码本生成网络包括的编码器，得到所述编码器输出的码本；

将所述编码器输出的码本输入到所述码本生成网络包括的解码器，得到所述解码器输出的所述重表征后的第二图像样本。

4.根据权利要求1至3任一所述的方法，其特征在于，所述第一目标神经网络包括用于进行特征提取的特征提取层以及用于进行任务处理的任务层；所述基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络，包括：

在所述第一目标神经网络包括的特征提取层的网络参数值保持不变的情况下，基于所述重表征后的第二图像样本对所述第一目标神经网络包括的任务层的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

5.根据权利要求1至4任一所述的方法，其特征在于，在所述得到迁移至所述下游任务的第二目标神经网络之后，所述方法还包括：

基于所述第二图像样本对得到的所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第二图像样本对得到的所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络，包括：

将所述第二图像样本输入至所述第二目标神经网络中，得到网络的任务输出结果；

基于所述任务输出结果以及针对所述第二图像样本进行标注的任务标注结果之间的比对关系，确定所述第二目标神经网络的损失函数值；

基于所述损失函数值对所述第二目标神经网络进行网络训练，得到训练好的第二目标神经网络。

7.根据权利要求1至6任一所述的方法，其特征在于，按照如下步骤训练所述第一目标神经网络：

获取原始神经网络；所述原始神经网络至少包括特征提取层；

基于所述原始神经网络包括的特征提取层对所述第一图像样本进行特征提取，得到特征提取层输出的图像特征信息；

基于所述图像特征信息对所述特征提取层的网络参数值进行调整，得到调整好的特征提取层；

将包含有调整好的特征提取层的原始神经网络，确定为训练得到的第一目标神经网络。

8.根据权利要求1至7任一所述的方法，其特征在于，所述上游任务包括多个应用场景下的多个任务，所述下游任务包括一个目标应用场景下的一个目标任务。

9.一种目标检测的方法，其特征在于，所述方法包括：

获取下游任务中采集的目标图像；

将所述目标图像输入至利用权利要求1至8任一所述的神经网络训练的方法训练得到的迁移至所述下游任务的第二目标神经网络，得到目标对象在所述目标图像中的检测结果。

10.一种神经网络训练的装置，其特征在于，所述装置包括：

获取模块，用于获取上游任务中采集的第一图像样本、下游任务中采集的第二图像样本、第一目标神经网络和码本生成网络，所述第一目标神经网络用于进行特征提取且基于第一图像样本训练得到，所述码本生成网络用于生成将所述第一图像样本分解为包含多个基元的码本；

表征模块，用于基于所述码本生成网络所生成的码本对所述第二图像样本进行重表征，得到重表征后的第二图像样本；

调整模块，用于基于所述重表征后的第二图像样本对所述第一目标神经网络的网络参数值进行调整，得到迁移至所述下游任务的第二目标神经网络。

11.一种目标检测的装置，其特征在于，所述装置包括：

获取模块，用于获取下游任务中采集的目标图像；

检测模块，用于将所述目标图像输入至利用权利要求1至8任一所述的神经网络训练的方法训练得到的迁移至所述下游任务的第二目标神经网络，得到目标对象在所述目标图像中的检测结果。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的神经网络训练的方法的步骤或者如权利要求9所述的目标检测的方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的神经网络训练的方法的步骤或者如权利要求9所述的目标检测的方法的步骤。

Images