CN114037056A - 一种生成神经网络的方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本公开提供了一种生成神经网络的方法、装置、计算机设备和存储介质，其中，该方法包括：获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，第一训练样本集包括与多个预设图像处理任务对应的训练样本，第二训练样本集包括与目标任务对应的训练样本，多个预设图像处理任务包括所述目标任务；将第二训练样本集输入教师神经网络和待训练的学生神经网络中，分别得到第二训练样本对应的第一图像特征信息和第二训练样本对应的第二图像特征信息；基于得到的第一图像特征信息和第二图像特征信息，生成第一预测损失，并基于第一预测损失训练待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络。

Description

一种生成神经网络的方法、装置、计算机设备和存储介质

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种生成神经网络的方法、装置、计算机设备和存储介质。

背景技术

经过大规模数据集进行训练的预训练模型往往具有很好的泛化能力。因此，人们尝试将训练好的预训练模型迁移到下游的目标任务中，以提升目标任务的处理效果。

但是，实际应用中，由于目标任务为特定领域中特定任务，比如街道上行人的检测任务等，需要运行速度较高的轻量模型结构，从而提高目标任务的执行效率。然而，预训练模型往往是具有特定结构的大规模神经网络，因此，将预训练模型迁移到目标任务中，利用该预训练模型处理目标任务，效率低。

发明内容

本公开实施例至少提供一种生成神经网络的方法、装置、计算机设备和存储介质。

第一方面，本公开实施例提供了一种生成神经网络的方法，包括：

获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；

将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；

基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。

该方法，利用多个预设图像处理任务的第一训练样本集训练教师神经网络，能够得到较高性能的教师神经网络，即利用教师神经网络执行预设图像处理任务，能够得到较为准确的图像处理结果。进一步地，利用目标任务对应的第二训练样本集，分别经过教师神经网络和待训练的学生神经网络的处理，分别得到第一图像特征信息和第二图像特征信息，其中，第一图像特征信息是经过已经训练完成、且具有较高处理性能的教师神经网络输出的，因此，该第一图像特征信息可以作为待训练的学生神经网络的训练监督信息；之后，利用第一图像特征信息和第二图像特征信息生成的第一预测损失不断训练待训练的学生神经网络，能够将具有较高性能的教师神经网络的处理能力迁移到学生神经网络，使得训练完成的学生神经网络同样具有较高的性能，同时实现了将教师神经网络的处理能力迁移到网络结构较简单的学生神经网络，有利于提高目标任务的执行效率。

一种可选的实施方式中，所述获取第二训练样本集，包括：

获取所述目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；

通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集；其中，所述第二训练样本集中的第二训练样本的分布与所述第三训练样本集中的第三训练样本的分布相似。

一种可选的实施方式中，所述通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集，包括：

将所述第三训练样本集中的至少部分第三训练样本进行掩膜处理；

将进行掩膜处理后的第三训练样本输入到所述衍生神经网络中，得到所述目标任务对应的第二训练样本集。

一种可选的实施方式中，所述第一预设训练截止条件包括第一训练截止子条件和第二训练截止子条件；

所述基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，包括：

基于所述第一预测损失对所述待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络；

基于所述第三训练样本对应于所述目标任务的标签信息和所述初步训练完成的学生神经网络对所述第三训练样本的处理结果之间的差异，生成第二预测损失，其中，所述第二预测损失表征所述初步训练完成的学生神经网络在所述目标任务中的预测误差；

基于所述第二预测损失，对所述初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。

一种可选的实施方式中，衍生神经网络按照如下方式生成：

将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，其中，所述条件生成网络包括用于生成图像数据的生成器；

将经过训练的所述条件生成网络中的生成器作为所述衍生神经网络。

一种可选的实施方式中，将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，包括：

基于所述条件生成网络中的生成器在所述第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，和所述第三训练样本集中的多个第三训练样本的分布，确定所述生成器的第三预测损失；

根据所述第三预测损失训练所述条件生成网络。

一种可选的实施方式中，所述基于所述第一训练样本集，对所述条件生成网络进行训练，还包括：

将所述第一训练样本集中的多个第一训练样本输入条件生成网络中的生成器，分别得到多个第一训练样本的第三图像特征信息；

基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，其中，所述标准特征信息包括通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息；

所述根据所述第三预测损失训练所述条件生成网络，包括：

基于所述第三预测损失和所述第四预测损失，对所述条件生成网络中的生成器进行训练，直到满足第二预设训练截止条件，得到训练完成的条件生成网络中的生成器。

一种可选的实施方式中，所述基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，包括：

基于与所述第一训练样本对应的标准特征信息，确定码本序列信息；所述码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量；所述多个第一特征点是从所述多个第一训练样本分别对应的特征点中选取得到的，多个不同的第一特征点对应的特征向量之间的分布相似；

基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失。

一种可选的实施方式中，所述基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失，包括：

基于所述第三图像特征信息，从所述码本序列信息中筛选出与所述第一训练样本匹配的特征向量序列；

基于所述特征向量序列，生成所述第一训练样本对应的预测子损失；

基于每个第一训练样本对应的预测子损失，生成所述第四预测损失。

一种可选的实施方式中，所述条件生成网络还包括用于与所述生成器对抗训练的判别器；

所述第三预测损失和所述第四预测损失基于所述判别器对所述虚拟图像数据和所述第一训练样本的真伪判别结果确定。

第二方面，本公开实施例还提供一种生成神经网络的装置，包括：

信息获取模块，用于获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；

网络处理模块，用于将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；

网络训练模块，用于基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。

一种可选的实施方式中，所述信息获取模块，用于获取所述目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；

通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集；其中，所述第二训练样本集中的第二训练样本的分布与所述第三训练样本集中的第三训练样本的分布相似。

一种可选的实施方式中，所述信息获取模块，用于将所述第三训练样本集中的至少部分第三训练样本进行掩膜处理；

将进行掩膜处理后的第三训练样本输入到所述衍生神经网络中，得到所述目标任务对应的第二训练样本集。

一种可选的实施方式中，所述第一预设训练截止条件包括第一训练截止子条件和第二训练截止子条件；

所述网络训练模块，用于基于所述第一预测损失对所述待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络；

基于所述第三训练样本对应于所述目标任务的标签信息和所述初步训练完成的学生神经网络对所述第三训练样本的处理结果之间的差异，生成第二预测损失，其中，所述第二预测损失表征所述初步训练完成的学生神经网络在所述目标任务中的预测误差；

基于所述第二预测损失，对所述初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。

一种可选的实施方式中，所述装置还包括网络生成模块，用于按照如下方式生成衍生神经网络：

将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，其中，所述条件生成网络包括用于生成图像数据的生成器；

将经过训练的所述条件生成网络中的生成器作为所述衍生神经网络。

一种可选的实施方式中，所述网络生成模块，用于基于所述条件生成网络中的生成器在所述第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，和所述第三训练样本集中的多个第三训练样本的分布，确定所述生成器的第三预测损失；

根据所述第三预测损失训练所述条件生成网络。

一种可选的实施方式中，所述网络生成模块，还用于将所述第一训练样本集中的多个第一训练样本输入条件生成网络中的生成器，分别得到多个第一训练样本的第三图像特征信息；

基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，其中，所述标准特征信息包括通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息；

所述网络生成模块，用于基于所述第三预测损失和所述第四预测损失，对所述条件生成网络中的生成器进行训练，直到满足第二预设训练截止条件，得到训练完成的条件生成网络中的生成器。

一种可选的实施方式中，所述网络生成模块，用于基于与所述第一训练样本对应的标准特征信息，确定码本序列信息；所述码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量；所述多个第一特征点是从所述多个第一训练样本分别对应的特征点中选取得到的，多个不同的第一特征点对应的特征向量之间的分布相似；

基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失。

一种可选的实施方式中，所述网络生成模块，用于基于所述第三图像特征信息，从所述码本序列信息中筛选出与所述第一训练样本匹配的特征向量序列；

基于所述特征向量序列，生成所述第一训练样本对应的预测子损失；

基于每个第一训练样本对应的预测子损失，生成所述第四预测损失。

一种可选的实施方式中，所述条件生成网络还包括用于与所述生成器对抗训练的判别器；

所述第三预测损失和所述第四预测损失基于所述判别器对所述虚拟图像数据和所述第一训练样本的真伪判别结果确定。

第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的生成神经网络的方法的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的生成神经网络的方法的步骤。

关于上述生成神经网络的装置、计算机设备和存储介质的效果描述参见上述生成神经网络的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种生成神经网络的方法的流程图；

图2示出了本公开实施例所提供的知识蒸馏的流程结构示意图；

图3示出了本公开实施例所提供的确定衍生训练样本的流程示意图；

图4示出了本公开实施例所提供的训练待训练的学生神经网络的具体流程图；

图5示出了本公开实施例所提供的进一步训练初步训练完成的学生神经网络的流程结构示意图；

图6示出了本公开实施例所提供的一种生成神经网络的装置的示意图；

图7示出了本公开实施例所提供的一种计算机设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

经研究发现，经过大规模数据集进行训练的预训练模型往往具有很好的泛化能力。因此，人们尝试将训练好的预训练模型迁移到下游的目标任务中，以提升目标任务的处理效果。但是，实际应用中，由于目标任务为特定领域中特定任务，比如街道上行人的检测任务等，需要运行速度较快的轻量模型结构从而提高目标任务的执行效率。然而，预训练模型往往是具有特定结构的大规模神经网络，因此，将预训练模型迁移到目标任务中，利用该预训练模型处理目标任务，效率低。

基于上述研究，本公开提供了一种生成神经网络的方法，利用多个预设图像处理任务的第一训练样本集训练教师神经网络，能够得到较高性能的教师神经网络，即利用教师神经网络执行预设图像处理任务，能够得到较为准确的图像处理结果。进一步地，利用目标任务对应的第二训练样本集，分别经过教师神经网络和待训练的学生神经网络的处理，分别得到第一图像特征信息和第二图像特征信息，其中，第一图像特征信息是经过已经训练完成、且具有较高处理性能的教师神经网络输出的，因此，该第一图像特征信息可以作为待训练的学生神经网络的训练监督信息；之后，利用第一图像特征信息和第二图像特征信息生成的第一预测损失不断训练待训练的学生神经网络，能够将具有较高性能的教师神经网络的处理能力迁移到学生神经网络，使得训练完成的学生神经网络同样具有较高的性能，同时实现了将教师神经网络的处理能力迁移到网络结构较简单的学生神经网络，有利于提高目标任务的执行效率。

针对现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种生成神经网络的方法进行详细介绍，本公开实施例所提供的生成神经网络的方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该生成神经网络的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为计算机设备为例对本公开实施例提供的生成神经网络的方法加以说明。

参见图1所示，为本公开实施例提供的一种生成神经网络的方法的流程图，所述方法包括步骤S101～S103，其中：

S101：获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，第一训练样本集包括与多个预设图像处理任务对应的训练样本，第二训练样本集包括与目标任务对应的训练样本，多个预设图像处理任务包括目标任务。

多个预设图像处理任务可以包括多个场景下的图像处理任务。其中多个场景，例如是，自然场景、监控场景、采集场景等。多个预设图像处理任务，可以包括针对在自然场景、监控场景和采集场景中的至少一个场景下采集的图像进行的图像分类任务；和/或，针对在自然场景、监控场景和采集场景中的至少一个场景下采集的图像进行的图像检测任务；和/或，针对在自然场景、监控场景和采集场景中的至少一个场景下采集的图像进行的图像分割任务，等等。

第一训练样本集可以包括与多个预设图像处理任务对应的训练样本，也即第一训练样本，比如上述示例中多个场景下的多个图像处理任务的样本。比如，第一训练样本集可以包括自然场景下的图像，监控场景下的图像，采集场景下的图像。或者例如，第一训练样本集可以包括自然场景下图像分类任务的样本图像，自然场景下图像检测任务的样本图像，自然场景下语义分割任务的样本图像，监控场景下图像分类任务的样本图像，监控场景下图像检测任务的样本图像，监控场景下语义分割任务的样本图像，采集场景下图像分类任务的样本图像，采集场景下图像检测任务的样本图像，以及采集场景下图像分割任务的样本图像等等。

多个预设图像处理任务可以包括目标任务。换言之，目标任务是多个预设图像处理任务中的一个或多个指定任务。目标任务可以包括特定场景下的特定任务。比如，某某街道的行人检测任务、厨房的厨师行为检测任务、某一路口的车辆分类任务、或者煤矿传输带上的矿石分割任务等。

第二训练样本集是目标任务对应的训练样本集。可选地，第二训练样本集可以包含由目标任务对应的真实样本数据衍生出的伪数据，例如根据真实采集的图像生成的虚拟图像数据(即伪图像数据)。可选地，第二训练样本集除了包含伪数据之外，还可以包括目标任务对应的真实样本数据，即真实场景下采集的样本数据，比如，针对某某街道的行人检测任务，拍摄到的某某街道的行人的图像。可选地，第二训练样本集也可以仅包含目标任务对应的真实样本数据。

教师神经网络可以是利用多个预设图像处理任务的第一训练样本集训练得到的，用于执行预设图像处理任务的神经网络。第一训练样本集可以为用于进行大规模预训练的训练样本集，其可包含多个预设图像处理任务的训练样本。利用该大规模预训练的第一训练样本集训练教师神经网络，能够得到较高性能的教师神经网络，使得已经训练完成的教师神经网络执行预设图像处理任务，能够得到较为准确的图像处理结果。

S102：将第二训练样本集输入教师神经网络和待训练的学生神经网络中，经过教师神经网络对第二训练样本集中的第二训练样本进行处理，得到第二训练样本对应的第一图像特征信息，经过待训练的学生神经网络对第二训练样本集中的第二训练样本进行处理，得到第二训练样本对应的第二图像特征信息。

本步骤可以采用知识蒸馏的方式进行迁移学习，可以将预先训练好的教师神经网络的输出作为监督信号去训练待训练的学生神经网络。在知识蒸馏过程中，教师神经网络和学生神经网络各自对输入的样本数据进行图像特征提取，分别获得第二训练样本集的第一图像特征信息和第二图像特征信息。

教师神经网络对第二训练样本处理和待训练的学生神经网络对第二训练样本的处理，都是基于目标任务的图像处理，即，以目标任务对应的图像处理结果为目标进行的处理。

以目标任务为某某街道的行人检测任务为例，教师神经网络针对行人图像的检测结果，判断行人是否有闯红灯行为；利用该检测结果监督待训练的学生神经网络对所述行人图像的处理，使得待训练的学生神经网络得到的图像处理结果近似教师神经网络对行人图像的检测结果，也即，待训练的学生神经网络以检测行人是否存在闯红灯行为为目标进行图像检测处理。

可以参见图2所示，其为知识蒸馏的流程结构示意图；包括多个第二训练样本21(比如自然环境样本图像)、教师神经网络22、教师神经网络输出的第一图像特征信息221、待训练的学生神经网络23、待训练的学生神经网络23输出的第二图像特征信息231。示例性的，可以将多张自然环境样本图像21分别输入到教师神经网络22和待训练的学生神经网络23中，通过教师神经网络22对多张自然环境样本图像21进行处理，可以得到每张自然环境样本图像分别对应的第一图像特征信息221；通过待训练的学生神经网络23对多张自然环境样本图像进行处理，得到每张自然环境样本图像分别对应的第二图像特征信息231。

第一图像特征信息可以包括对应的第二训练样本被教师神经网络中的任意网络层提取出的表征图像特征的信息。例如，中间层输出的特征图；或者，最后一个特征提取层或全连接层输出的特征向量。

第二图像特征信息可以包括对应的第二训练样本被待训练的学生神经网络中的任意网络层提取出的表征图像特征的信息。例如，中间层输出的特征图；或者，最后一个特征提取层或全连接层输出的特征向量。

示例性的，教师神经网络的网络结构可以是较为复杂的网络结构，经过多个预设图像处理任务的第一训练样本集训练得到的；待训练的学生神经网络的网络结构可以是较为简单的网络层搭建得到的。教师网络的网络结构的复杂度高于学生网络的网络结构的复杂度。

S103：基于得到的第一图像特征信息和第二图像特征信息，生成第一预测损失，并基于第一预测损失训练待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，第一预测损失表征待训练的学生网络在目标任务中的预测误差。

可以将基于同一个第二训练样本得到的第一图像特征信息和第二图像特征信息为一组训练数据。之后，进行知识蒸馏处理，具体的，可以将一组训练数据其中的第一图像特征信息作为标准监督数据，计算第二图像特征信息与第一图像特征信息之间的差异，并将差异作为待训练的学生神经网络在目标任务中的预测误差，进而得到待训练的学生神经网络的预测损失。之后，基于多个第二训练样本，得到多组包含第一图像特征信息和第二图像特征信息的训练数据，进而得到多个待训练的学生神经网络的预测损失；基于多个待训练的学生神经网络的预测损失，确定第一预测损失。利用多个第一预测损失训练待训练的学生神经网络，调整待训练的学生神经网络的参数，基于调整参数后的学生神经网络返至将第二训练样本集输入待训练的学生神经网络以得到第二图像特征信息，并重新计算第一预测损失的步骤。由此通过多轮迭代调整参数，直到满足第一预设训练截止条件，得到训练完成的学生神经网络。

迭代训练待训练的学生神经网络的过程，也即待训练的学生神经网络输出的第二图像特征信息与其同组训练数据中的第一图像特征信息持续接近的过程，也即，教师神经网络的处理能力不断迁移到学生神经网络的过程。完成知识蒸馏，训练完成的学生神经网络能够学习到教师神经网络的处理能力，得到较高性能的学生神经网络。

确定第一预测损失，具体的，可以计算第二训练样本集中的多个第二训练样本对应的预测误差的平均值，将该平均值作为第一预测损失；或者，也可以对上述多个预测误差进行加权处理，得到第一预测损失。其中，每个预测损失对应的权重可以根据经验值进行设定，本公开实施例不进行具体限定。

计算第二图像特征信息与第一图像特征信息之间的差异，示例性的，可以利用L2距离度量的方式，计算第二图像特征信息指示的特征向量与第一图像特征信息指示的特征向量之间的差异。这里，第二图像特征信息指示的特征向量与第一图像特征信息指示的特征向量之间的维度相同。

可以利用第一预测损失进行反向传播，得到待训练的学生神经网络中网络层的梯度信息，利用梯度信息调整初步训练完成的学生神经网络的网络参数，实现对待训练的学生神经网络的一次迭代训练。

第一预设训练截止条件可以包括第一预测损失达到收敛条件，例如第一预测损失小于第一预设损失阈值，或者，也可以包括训练迭代的次数大于或等于第一预设训练次数阈值的条件。这里，第一预设损失阈值和第一预设训练次数阈值可以根据经验值设置，本公开实施例不进行具体限定。

上述S101～S103，利用多个预设图像处理任务的第一训练样本集训练教师神经网络，能够得到较高性能的教师神经网络，即利用教师神经网络执行预设图像处理任务，能够得到较为准确的图像处理结果。进一步地，利用目标任务对应的第二训练样本集，分别经过教师神经网络和待训练的学生神经网络的处理，分别得到第一图像特征信息和第二图像特征信息，其中，第一图像特征信息是经过已经训练完成、且具有较高处理性能的教师神经网络输出的，因此，该第一图像特征信息可以作为待训练的学生神经网络的训练监督信息；之后，利用第一图像特征信息和第二图像特征信息生成的第一预测损失不断训练待训练的学生神经网络，能够将针对多个预设图像处理任务具有较好性能的教师神经网络的处理能力迁移到用于执行目标任务的学生神经网络，使得训练完成的学生神经网络在目标任务中同样具有较好的性能，实现了使用轻量级的神经网络执行特定的图像处理任务，可获得较优的图像处理结果的同时提高了图像处理任务的执行效率。

在一些实施例中，目标任务是特定场景下的特定任务，该目标任务真实场景下的样本数据数量有限。利用有限数量的样本数据难以训练得到性能较高的学生神经网络，因此，可以利用目标任务对应的多个样本数据，以及多个样本数据衍生出的伪数据，对待训练的学生神经网络进行训练，从而扩大目标任务对应的样本的数据量，也即，利用第二训练样本集对待训练的学生神经网络进行训练，能够训练得到性能较高的学生神经网络。

其中，获取目标任务对应的第二训练样本集的过程，可以参照下述步骤：

S1011：获取目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；

S1012：通过用于生成衍生图像的衍生神经网络对第三训练样本集进行处理，得到目标任务对应的第二训练样本集；其中，第二训练样本集中的第二训练样本的分布与第三训练样本集中第三训练样本的分布相似。

本步骤中，衍生神经网络可以是一种基于训练样本能够还原出与训练样本具有相似分布的样本的网络。

第三训练样本集可以包括目标任务的真实样本数据，即获得的真实场景下的样本数据。

具体实施时，针对多个第三训练样本中的每个第三训练样本，可以通过预先训练的衍生神经网络对第三训练样本进行处理，利用衍生神经网络中提取第三训练样本的样本特征，并根据第三训练样本的样本特征，生成多个第三训练样本对应的衍生样本特征；之后，基于多个衍生样本特征生成虚拟图像数据，这样可以基于一个第三训练样本，生成一个或多个虚拟图像数据，将虚拟图像数据作为第二训练样本，加入第二训练样本集中。

基于此，在存在有限个第三训练样本的情况下，利用衍生神经网络可以得到数量远大于第三训练样本数量的训练样本集，即第二训练样本集。

第二训练样本集中的第二训练样本的分布与第三训练样本集中第三训练样本的分布相似。在这里，多个样本的分布可以用从多个样本中提取出的特征在特征空间内的分布来表示，或者，可以使用样本在频域的信号表征来确定多个样本的分布特性。在上述衍生神经网络的训练过程中，可以通过将第三训练样本集中的第三训练样本的分布特征加入监督信息中，使得衍生神经网络训练完成后能够生成与第三训练样本集中的第三训练样本的分布相似的第二训练样本集。

上述利用衍生神经网络对多个第三训练样本进行处理，能够得到与对应的第三训练样本的分布相似的多个第二训练样本，之后利用大量的第二训练样本，训练得到的学生神经网络在执行目标任务时的性能能够得到提升。

在一些实施例中，也可以针对被掩膜处理的部分第三训练样本，利用衍生神经网络还原被掩膜的第三训练样本，生成多个衍生图像。具体实施时，将第三训练样本集中的至少部分第三训练样本进行掩膜处理；将进行掩膜处理后的第三训练样本输入到衍生神经网络中，得到目标任务对应的第二训练样本集。

其中，掩膜处理，可以用选定的掩膜板，例如图像、图形或物体对第三训练样本进行(全局或局部)遮挡或提取，来控制图像处理的区域或处理过程。

示例性的，可以对第三训练样本的部分区域进行遮挡处理(可以参见图3中的展示效果)，比如从第二训练样本的底部开始遮挡整体样本的二分之一，或者三分之一。这里，被遮挡的部分样本的遮挡面积可以根据经验值或者第二训练样本的整体面积进行设置，本公开实施例不进行具体限定。

参见图3所示，其为确定衍生训练样本的流程示意图；包括掩膜处理后的第三训练样本31，包括掩膜(mask)311；衍生神经网络32；多个第二训练样本33。

确定第二训练样本的过程包括：首先，将掩膜处理后的第三训练样本31输入到衍生神经网络32中，利用衍生神经网络32中的网络层提取掩膜处理后的第三练样本31的部分样本特征；该衍生神经网络32可以根据掩膜处理后的第三训练样本31的保留的部分样本特征，还原出被掩膜处理过滤掉的样本特征，得到多个第二训练样本33。其中，多个第二训练样本33中的每个第二训练样本33与被掩膜处理后的第三训练样本31中未被掩膜311处理的部分的特征类似，被掩膜311处理的部分，衍生神经网络32还可以原出不同种情况，因此，一个掩膜处理后的第三训练样本31可以利用衍生神经网络32还原得到多个第二训练样本33。

参见图4所示，其为训练待训练的学生神经网络的具体流程图，包括S401～S403；其中：

S401：基于第一预测损失对待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络。

本步骤中，第一训练截止子条件可以包括第一预测损失小于第一预设损失阈值，或者，也可以包括训练迭代的次数大于或等于第一预设训练次数阈值。

这里，利用第一预测损失对待训练的学生神经网络进行训练的过程可以参见上述S103的详细阐述，重复部分在此不再赘述。

S402：基于第三训练样本对应于目标任务的标签信息和初步训练完成的学生神经网络对第三训练样本的处理结果之间的差异，生成第二预测损失，其中，第二预测损失表征初步训练完成的学生神经网络在目标任务中的预测误差。

本步骤中，标签信息可以包括目标任务对应的向量标签，其中，向量标签可以为用户指定的某一标记值，该向量标签用于指示标记值对应的向量，即第三训练样本对应于目标任务的标签向量。

这里，标签信息可以是从预设标签集中筛选得到的，预设标签集可以是根据目标任务进行设置的。比如，目标任务为分类任务，则预设标签集可以包括分类任务对应的类别标签向量。目标任务为检测任务，则预预设标签集可以包括检测任务对应的检测结果标签向量。

具体实施时，将第三训练样本输入到初步训练完成的学生神经网络中，经过初步训练完成的学生神经网络对第三训练样本进行处理，得到第三训练样本的处理结果，比如，第三训练样本的样本向量；之后，标签信息可以作为初步训练完成的学生神经网络的训练监督信息，基于第三训练样本的样本向量和该第三训练样本对应于目标任务的标签向量，可以生成第二预测损失。

参见图5所示，其为进一步训练初步训练完成的学生神经网络的流程结构示意图；包括第三训练样本51(也即自然环境样本图像)、初步训练完成的学生神经网络52、初步训练完成的学生神经网络52输出的样本向量521。示例性的，可以将多张自然环境样本图像51输入到初步训练完成的学生神经网络52中，通过初步训练完成的学生神经网络52对多张自然环境样本图像51进行处理，可以得到每张自然环境样本图像分别对应的样本向量521。分别计算每个样本向量与其对应的标签向量之间的差异，得到初步训练完成的学生神经网络的多个预测损失。之后，基于多个预测损失生成第二预测损失。比如，可以计算多个预测损失的平均损失，将该平均损失作为第二预测损失；或者，也可以对多个预测损失进行加权处理，得到第二预测损失。其中，每个预测损失对应的权重可以根据经验值进行设定，本公开实施例不进行具体限定。

S403：基于第二预测损失，对初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。

利用第二预测损失反向传播，计算初步训练完成的学生神经网络中网络层的梯度信息，利用梯度信息调整初步训练完成的学生神经网络的网络参数，实现对初步训练完成的学生神经网络的一次迭代训练。

第二预设训练截止条件可以包括第二预测损失小于第二预设损失阈值的条件，或者，也可以包括训练迭代的次数大于或等于第二预设训练次数阈值的条件。这里，第二预设损失阈值和第二预设训练次数阈值可以根据经验值设置，本公开实施例不进行具体限定。

上述S401～S403，利用第一预测损失对待训练的学生神经网络进行训练，在满足第一训练截止子条件的情况下，能够得到初步训练完成的学生神经网络，该初步训练完成的学生神经网络迁移学习到了教师神经网络的较高的处理性能；之后，再利用第三训练样本对应于目标任务的标签信息(该标签信息可以作为初步训练完成的学生神经网络的训练监督信息)和初步训练完成的学生神经网络对第三训练样本的处理结果之间的差异构建的第二预测损失，进一步对初步训练完成的学生神经网络进行训练，能够得到针对目标任务具有较高处理能力的最终训练完成的学生神经网络，因此，在应用过程中，利用最终训练完成的学生神经网络处理目标任务，能够得到高精度的图像处理结果。

针对S1012中的衍生神经网络，可以按照如下方式生成：

S1012-1：将第三训练样本集作为条件生成网络的条件信息，基于第一训练样本集，对条件生成网络进行训练，其中，条件生成网络包括用于生成图像数据的生成器。

这里，第一训练样本集中可以包括多个预设图像处理任务对应的训练样本，同时，在预设图像处理任务为目标任务的情况下，第一训练样本集中的训练样本还包括目标任务对应的训练样本。训练条件生成网络的训练样本与训练教师神经网络所用到的训练样本可以相同、或不同、或有交叉。

具体实施时，可以将第一训练样本集输入到条件生成网络中进行处理。其中，条件生成网络包括用于生成图像数据的生成器。该生成器可以由神经网络构建。可选地，生成器可以为条件生成网络的部分网络。条件生成网络还可以包括用于与生成器对抗训练的判别器。向生成器输入第一训练样本，生成器可以在第一训练样本的监督下生成多个虚拟图像数据；生成器训练效果越好，生成的虚拟图像数据越能近似真实数据。

在生成器训练过程中，可以将第三训练样本集作为条件信息，与第一训练集一并输入至条件生成网络，在条件生成网络的监督信息中加入与该条件信息对应的监督项，使得训练完成的条件生成网络中的生成器所生成的虚拟图像数据符合第三训练样本集对应的条件。可选地，第三训练样本集对应的条件包括与第三训练样本集中的第三训练样本的分布相似。

之后，以第二训练样本集作为条件生成网络的条件信息，进一步对条件生成网络进行训练。

可选地，在条件生成网络还包括判别器的情况下，可以利用判别器判断生成器的所生成的虚拟图像的真伪，当判别器不能判别虚拟图像数据和真实图像数据的真伪时，确定生成器训练完成。

S1012-2：将经过训练的条件生成网络中的生成器作为衍生神经网络。

可选地，在条件生成网络包括判别器的情况下，基于判别器的判别结果，确定生成器是否训练完成，将训练完成的生成器作为衍生神经网络。

针对S1012-1，将第三训练样本集作为条件生成网络的条件信息训练条件生成对抗网络，具体的，基于条件生成网络中的生成器在第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，与第三训练样本集中的多个第三训练样本的分布，确定生成器的第三预测损失；根据第三预测损失训练条件生成网络。

将第三训练样本集作为条件生成网络的条件信息，即以第三训练样本集中的多个第三训练样本的分布为条件信息，进一步确定生成器生成的虚拟图像数据的分布与第三训练样本的分布之间的差异，根据差异，构建第三预测损失。

根据第三预测损失训练条件生成网络。示例性的，可以利用第三预测损失反向传播，计算条件神经网络中网络层的梯度信息，利用梯度信息调整条件生成网络的网络参数，实现对条件生成网络的一次迭代训练。

或者，在条件生成网络包括判别器的情况下，第三预测损失还可以基于条件生成网络中的判别器对虚拟图像数据(即伪数据)和真实的第一训练样本或真实的第三训练样本(即真实数据)的真伪判别结果进行确定。虚拟图像数据越接近真实数据，则基于判别器得到的准确的真伪判别结果的难度越大。判别器的真伪判别结果的准确率越低，确定第三预测损失越小。

针对S1012-1，基于第一训练样本集，对条件生成网络进行训练，具体的，将第一训练样本集中的多个第一训练样本输入条件生成网络中的生成器，分别得到多个第一训练样本的第三图像特征信息；基于第三图像特征信息和与第一训练样本对应的标准特征信息，生成第四预测损失；基于第三预测损失和第四预测损失，对条件生成网络中的生成器进行训练，直到满足第二预设训练截止条件，得到训练完成的条件生成网络中的生成器。

这里，第三图像特征信息可以包括对应的第一训练样本被生成器中的网络层提取出的样本特征，比如L₁×W₁×D₁的样本特征图，其中，L₁表示样本特征图的长度方向上第二特征点的个数，W₁表示样本特征图的宽度方向上第二特征点的个数，D₁表示每个第二特征点的维度。

标准特征信息可以包括通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息。该特征提取网络可以是任意的图像处理任务中用于提取图像特征的网络。

示例性的，可以利用第一训练样本对应的标准特征信息与第三图像特征信息之间的差异，生成第四预测损失。比如，将多个差异之间的均值作为第四预测损失；或者，可以对多个差异进行加权处理，将处理结果作为第四预测损失。其中，每个差异对应的权重可以根据经验值进行设定，本公开实施例不进行具体限定。

或者，在条件生成网络包括判别器的情况下，还可以基于判别器对第一训练样本的真伪判别结果，确定第四预测损失。示例性的，生成器提取出的第一训练样本的第三图像特征信息，判别器得到该第三图像特征信息的真伪判别结果，真伪判别结果的准确率越低，确定第四预测损失越小。

对条件生成网络中的生成器进行训练，示例性的，可以基于第三预测损失和第四预测损失，确定融合预测损失；可以利用融合预测损失进行反向传播，得到条件生成网络中网络层的梯度信息，利用梯度信息调整条件生成网络的网络参数，实现对条件生成网络的一次迭代训练。示例性的，可以分别基于第三预测损失和第四预测损失对条件生成网络进行反向传播处理，训练条件生成网络。

第二预设训练截止条件可以包括融合预测损失小于第三预设损失阈值，或者，也可以包括训练迭代的次数大于或等于第三预设训练次数阈值。这里，第三预设损失阈值和第三预设训练次数阈值可以根据经验值设置，本公开实施例不进行具体限定。

生成第四预测损失，在一些实施例中，还可以基于与第一训练样本对应的标准特征信息，确定码本序列信息；基于第三图像特征信息和码本序列信息，生成第四预测损失。

其中，码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量；多个第一特征点是从多个第一训练样本分别对应的特征点中选取得到的，多个不同的第一特征点对应的特征向量之间的分布相似。

这里，标准特征信息可以是通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息，比如L₂×W₂×D₂的标准特征图，其中，L₂表示标准特征图的长度方向上特征点的个数，W₂表示标准特征图的宽度方向上特征点的个数，D₂表示每个特征点的维度。

可以从多个第一训练样本中每个第一训练样本对应的标准特征信息指示的标准特征图中筛选出多个第一特征点，将筛选出的多个第一特征点对应的特征向量进行编码，确定码本序列信息。示例性的，码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量以及每个特征向量的编码值。这里，定义码本序列信息包括的特征向量为码本向量。

这里，筛选出的第一特征点满足预设要求，即多个不同的第一特征点对应的特征向量之间的分布相似。

基于第三图像特征信息和码本序列信息，生成第四预测损失。具体实施时，基于第三图像特征信息，从码本序列信息中筛选出与第一训练样本匹配的特征向量序列；基于特征向量序列，生成第一训练样本对应的预测子损失；基于每个第一训练样本对应的预测子损失，生成第四预测损失。

可以从码本序列信息中筛选出与第三图像特征信息中第二特征点对应的特征向量相匹配的码本向量，并确定筛选出的码本向量对应的编码值，根据第三图像特征信息中第二特征点的位置，对筛选出的码本向量进行排序，确定与第一训练样本匹配的特征向量序列，也即，与第一训练样本对应的第三图像特征信息匹配的特征向量序列，该特征向量序列可以通过编码值进行表示。

筛选要求可以包括，筛选出的码本向量与其对应的第二特征点对应的特征向量之间分布相似。

基于特征向量序列，生成第一训练样本对应的预测子损失。具体实施时，可以将特征向量序列划分为多个特征向量子序列；之后，将多个特征向量子序列中的每个特征向量子序列分别输入到条件生成网络中的生成器中，经过生成器对每个特征向量子序列分别进行处理，得到每个特征向量子序列处理后对应的预测特征向量子序列；基于特征向量序列和每个预测特征向量子序列，确定第一训练样本对应的预测子损失；基于每个第一训练样本对应的预测子损失，生成第四预测损失。

基于特征向量序列和每个预测特征向量子序列，确定第一训练样本对应的预测子损失。具体实施时，以特征向量序列为标准向量序列，确定每个预测特征向量子序列的预测差异信息，将每个预测特征向量子序列的预测差异信息进行融合处理，确定第一训练样本对应的预测子损失。

基于每个第一训练样本对应的预测子损失，生成第四预测损失。示例性的，可以计算多个预测子损失之间的均值，将该均值作为待训练的衍生神经网络的第四预测损失；或者，也可以对多个预测子损失进行加权处理，将加权处理结果作为第四预测损失。其中，每个预测子损失对应的权重可以根据经验值进行设定，本公开实施例不进行具体限定。

示例性的，已知码本序列信息中包括1000×128维的特征向量，其中，1000表示有1000个码本向量，序号分别为1、2、3、……、999、1000。每个码本向量有128维。第三图像特征信息对应的L₁×W₁×D₁的样本特征图可以为20×20×128。从1000个码本向量中筛选出400个与样本特征图的第二特征点对应的特征向量相匹配的码本向量，确定与第一训练样本匹配的特征向量序列，比如[3,5,12,20,……,480,500]。之后，将特征向量序列划分为多个特征向量子序列，比如，[3,5]，[3,5,12]，[3,5,12,20]，……，[3,5,12,20,……,480,500]。将多个特征向量子序列中的每个特征向量子序列分别输入到生成器中，生成器能够预测出每个特征向量子序列中最后一个编码值的一下个编码值，并输出对应的预测特征向量子序列，比如[3,5]对应[3,5,A]，[3,5,12]对应[3,5,12,B]，[3,5,12,20]对应[3,5,12,20,C]，……，[3,5,12,20,……,480]对应[3,5,12,20,……,480,D]。之后，基于特征向量序列[3,5,12,20,……,480,500]，确定每个预测特征向量子序列的预测差异信息，将每个预测特征向量子序列的预测差异信息进行融合处理，确定第一训练样本对应的预测子损失。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与生成神经网络的方法对应的生成神经网络的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述生成神经网络的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图6所示，为本公开实施例提供的一种生成神经网络的装置的示意图，所述装置包括：信息获取模块601、网络处理模块602和网络训练模块603；其中，

信息获取模块601，用于获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；

网络处理模块602，用于将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；

网络训练模块603，用于基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。

一种可选的实施方式中，所述信息获取模块601，用于获取所述目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；

通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集；其中，所述第二训练样本集中的第二训练样本的分布与所述第三训练样本集中的第三训练样本的分布相似。

一种可选的实施方式中，所述信息获取模块601，用于将所述第三训练样本集中的至少部分第三训练样本进行掩膜处理；

将进行掩膜处理后的第三训练样本输入到所述衍生神经网络中，得到所述目标任务对应的第二训练样本集。

一种可选的实施方式中，所述第一预设训练截止条件包括第一训练截止子条件和第二训练截止子条件；

所述网络训练模块603，用于基于所述第一预测损失对所述待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络；

基于所述第三训练样本对应于所述目标任务的标签信息和所述初步训练完成的学生神经网络对所述第三训练样本的处理结果之间的差异，生成第二预测损失，其中，所述第二预测损失表征所述初步训练完成的学生神经网络在所述目标任务中的预测误差；

基于所述第二预测损失，对所述初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。

一种可选的实施方式中，所述装置还包括网络生成模块604，用于按照如下方式生成衍生神经网络：

将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，其中，所述条件生成网络包括用于生成图像数据的生成器；

将经过训练的所述条件生成网络中的生成器作为所述衍生神经网络。

一种可选的实施方式中，所述网络生成模块604，用于基于所述条件生成网络中的生成器在所述第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，和所述第三训练样本集中的多个第三训练样本的分布，确定所述生成器的第三预测损失；

根据所述第三预测损失训练所述条件生成网络。

一种可选的实施方式中，所述网络生成模块604，还用于将所述第一训练样本集中的多个第一训练样本输入条件生成网络中的生成器，分别得到多个第一训练样本的第三图像特征信息；

基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，其中，所述标准特征信息包括通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息；

所述网络生成模块604，用于基于所述第三预测损失和所述第四预测损失，对所述条件生成网络中的生成器进行训练，直到满足第二预设训练截止条件，得到训练完成的条件生成网络中的生成器。

一种可选的实施方式中，所述网络生成模块604，用于基于与所述第一训练样本对应的标准特征信息，确定码本序列信息；所述码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量；所述多个第一特征点是从所述多个第一训练样本分别对应的特征点中选取得到的，多个不同的第一特征点对应的特征向量之间的分布相似；

基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失。

一种可选的实施方式中，所述网络生成模块604，用于基于所述第三图像特征信息，从所述码本序列信息中筛选出与所述第一训练样本匹配的特征向量序列；

基于所述特征向量序列，生成所述第一训练样本对应的预测子损失；

基于每个第一训练样本对应的预测子损失，生成所述第四预测损失。

一种可选的实施方式中，所述条件生成网络还包括用于与所述生成器对抗训练的判别器；

所述第三预测损失和所述第四预测损失基于所述判别器对所述虚拟图像数据和所述第一训练样本的真伪判别结果确定。

关于生成神经网络的装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述生成神经网络的方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图7所示，为本申请实施例提供的计算机设备的结构示意图，包括：

处理器71、存储器72和总线73。其中，存储器72存储有处理器71可执行的机器可读指令，处理器71用于执行存储器72中存储的机器可读指令，所述机器可读指令被处理器71执行时，处理器71执行下述步骤：S101：获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，第一训练样本集包括与多个预设图像处理任务对应的训练样本，第二训练样本集包括与目标任务对应的训练样本，多个预设图像处理任务包括所述目标任务；S102：将第二训练样本集输入教师神经网络和待训练的学生神经网络中，经过教师神经网络对第二训练样本集中的第二训练样本进行处理，得到第二训练样本对应的第一图像特征信息，经过待训练的学生神经网络对第二训练样本集中的第二训练样本进行处理，得到第二训练样本对应的第二图像特征信息；S103：基于得到的第一图像特征信息和第二图像特征信息，生成第一预测损失，并基于第一预测损失训练待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，第一预测损失表征待训练的学生网络在目标任务中的预测误差。

上述存储器72包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当计算机设备运行时，处理器71与存储器72之间通过总线73通信，使得处理器71在执行上述方法实施例中所提及的执行指令。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的生成神经网络的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的生成神经网络的方法的步骤。其中，计算机程序产品可以是任何能实现上述生成神经网络的方法的产品，该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(Software Development Kit，SDK))的形式体现，该软件产品可以被存储在一个存储介质中，通过包含的计算机指令使得相关设备或处理器执行上述生成神经网络的方法的部分或全部步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种生成神经网络的方法，其特征在于，包括：

获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；

将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；

基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。

2.根据权利要求1所述的方法，其特征在于，所述获取第二训练样本集，包括：

获取所述目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；

通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集；其中，所述第二训练样本集中的第二训练样本的分布与所述第三训练样本集中的第三训练样本的分布相似。

3.根据权利要求2所述的方法，其特征在于，所述通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集，包括：

将所述第三训练样本集中的至少部分第三训练样本进行掩膜处理；

将进行掩膜处理后的第三训练样本输入到所述衍生神经网络中，得到所述目标任务对应的第二训练样本集。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述第一预设训练截止条件包括第一训练截止子条件和第二训练截止子条件；

所述基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，包括：

基于所述第一预测损失对所述待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络；

基于第三训练样本对应于所述目标任务的标签信息和所述初步训练完成的学生神经网络对所述第三训练样本的处理结果之间的差异，生成第二预测损失，其中，所述第二预测损失表征所述初步训练完成的学生神经网络在所述目标任务中的预测误差；

基于所述第二预测损失，对所述初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。

5.根据权利要求2所述的方法，其特征在于，衍生神经网络按照如下方式生成：

将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，其中，所述条件生成网络包括用于生成图像数据的生成器；

将经过训练的所述条件生成网络中的生成器作为所述衍生神经网络。

6.根据权利要求5所述的方法，其特征在于，将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，包括：

基于所述条件生成网络中的生成器在所述第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，和所述第三训练样本集中的多个第三训练样本的分布，确定所述生成器的第三预测损失；

根据所述第三预测损失训练所述条件生成网络。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一训练样本集，对所述条件生成网络进行训练，还包括：

将所述第一训练样本集中的多个第一训练样本输入条件生成网络中的生成器，分别得到多个第一训练样本的第三图像特征信息；

基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，其中，所述标准特征信息包括通过训练完成的特征提取网络对第一训练样本进行特征提取获得的特征信息；

所述根据所述第三预测损失训练所述条件生成网络，包括：

基于所述第三预测损失和所述第四预测损失，对所述条件生成网络中的生成器进行训练，直到满足第二预设训练截止条件，得到训练完成的条件生成网络中的生成器。

8.根据权利要求7所述的方法，其特征在于，所述基于所述第三图像特征信息和与所述第一训练样本对应的标准特征信息，生成第四预测损失，包括：

基于与所述第一训练样本对应的标准特征信息，确定码本序列信息；所述码本序列信息包括多个第一特征点中每个第一特征点对应的特征向量；所述多个第一特征点是从所述多个第一训练样本分别对应的特征点中选取得到的，多个不同的第一特征点对应的特征向量之间的分布相似；

基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失。

9.根据权利要求8所述的方法，其特征在于，所述基于所述第三图像特征信息和所述码本序列信息，生成所述第四预测损失，包括：

基于所述第三图像特征信息，从所述码本序列信息中筛选出与所述第一训练样本匹配的特征向量序列；

基于所述特征向量序列，生成所述第一训练样本对应的预测子损失；

基于每个第一训练样本对应的预测子损失，生成所述第四预测损失。

10.根据权利要求8或9所述的方法，其特征在于，所述条件生成网络还包括用于与所述生成器对抗训练的判别器；

所述第三预测损失和所述第四预测损失基于所述判别器对所述虚拟图像数据和所述第一训练样本的真伪判别结果确定。

11.一种生成神经网络的装置，其特征在于，包括：

信息获取模块，用于获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；

网络处理模块，用于将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；

网络训练模块，用于基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。

12.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的生成神经网络的方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一项所述的生成神经网络的方法的步骤。

Images