CN114037055A - 数据处理系统、方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据处理系统、方法、装置、设备及存储介质，其中，该系统包括：依次通信连接的数据采集模块、网络生成模块和网络训练模块；数据采集模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；网络生成模块，用于基于获取的训练数据集以及多个网络组成模块，生成至少一个目标神经网络；每个目标神经网络用于执行对应的目标任务；网络训练模块，用于在训练好多个目标神经网络的情况下，对多个目标神经网络进行联合训练，得到训练好的联合神经网络；联合神经网络用于迁移到下游业务场景中执行目标任务。本公开通过联合训练可以生成适配于下游业务场景的联合神经网络，其通用性和准确性均较好。

Description

数据处理系统、方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种数据处理系统、方法、装置、设备及存储介质。

背景技术

通用人工智能技术是人工智能研究领域的重要课题。以计算机视觉领域为例，利用通用人工智能技术构建的通用视觉神经网络可以突破单一模型针对特定计算机视觉任务的局限，从而可以被广泛应用在各类计算机任务中，例如，图像分类、目标检测、语义分割、深度估计等。

相关技术中提供了一种通用视觉神经网络生成的方法，该方法在上游任务中，利用通用数据集训练分类网络以通过分类任务训练出通用的视觉表征。

然而，由于在上游训练的网络只局限于特定的分类任务，这导致在将训练出的视觉表征应用到下游诸如检测、分割等其它任务的时候，效果不佳。

发明内容

本公开实施例至少提供一种数据处理系统、方法、装置、设备及存储介质。

第一方面，本公开实施例提供了一种数据处理系统，包括：数据采集模块、网络生成模块和网络训练模块；所述数据采集模块、所述网络生成模块以及所述网络训练模块依次通信连接；

所述数据采集模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

所述网络生成模块，用于基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务；

所述网络训练模块，用于在训练好多个目标神经网络的情况下，对所述多个目标神经网络进行联合训练，得到训练好的联合神经网络；所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

采用上述数据处理系统，在获取到训练数据以及用于构成目标神经网络的多个网络组成模块的情况下，可以基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络。这样，在训练好多个目标神经网络的情况下，可以对多个目标神经网络进行联合训练，从而得到训练好的联合神经网络。本公开基于基础的网络组成模块可以生成适应于各种目标任务的目标神经网络，而后通过联合训练可以生成适配于下游业务场景的联合神经网络，其通用性和准确性均较好。

在一种可能的实施方式中，在所述训练数据集包括对应于所述目标任务的训练数据的情况下，所述网络生成模块，用于按照如下步骤生成用于执行对应所述目标任务的目标神经网络：

确定与所述多个网络组成模块关联的多个候选搜索路径，其中，每个候选搜索路径分别对应一种组合方式，所述组合方式用于表征各个网络组成模块之间的运算关系；

利用所述对应于所述目标任务的训练数据以及强化学习网络对所述多个候选搜索路径进行至少一次搜索，得到每次搜索后的回报得分；

按照回报得分符合预设要求的候选搜索路径所对应的组合方式，将各个网络组成模块进行组合，得到用于执行所述目标任务的目标神经网络。

这里，在确定出与多个网络组成模块关联的多个候选搜索路径的情况下，可以利用强化学习网络对多个候选搜索路径进行搜索，以根据每次搜索后的回报得分生成目标神经网络。本公开中的候选搜索路径表征的可以是各个网络组成模块之间的运算关系，基于各种各样的运算关系可以确定的候选搜索路径的数量也较多，又利用强化学习网络可以学习从大量候选搜索路径中搜索表征神经网络性能较好的候选搜索路径，这样，基于搜索到的候选搜索路径所生成的目标神经网络的通用性和准确性均较好。

在一种可能的实施方式中，所述网络生成模块，用于按照如下步骤得到每次搜索后的回报得分：

利用强化学习网络对所述多个候选搜索路径进行第一次搜索，并基于第一次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率；

循环执行如下步骤直至满足网络截止条件：

基于第n-1次搜索后的回报得分以及选择对应候选搜索路径的选择概率，确定第n次搜索所选择的候选搜索路径，并基于第n次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第n次搜索后的回报得分以及选择对应候选搜索路径的选择概率，其中，n为大于1的整数。

这里，通过路径搜索，可以确定对应搜索后的回报得分和选择对应候选搜索路径的选择概率，利用强化学习网络的学习原理，可以自动选择回报得分比较高的搜索策略，进而使得所得到的候选搜索路径更为可靠。

在一种可能的实施方式中，所述网络生成模块，用于按照如下步骤确定第n次搜索后的回报得分：

基于第n次搜索所选择的候选搜索路径，构建候选神经网络；

基于所述对应于所述目标任务的训练数据，确定构建的所述候选神经网络的网络精度；

基于构建的所述候选神经网络的网络精度，确定第n次搜索后的回报得分。

这里，可以基于有关候选神经网络的网络精度来确定回报得分。网络精度越高的候选神经网络的网络性能越是能够满足各领域需求，继而可以赋予更高的回报得分。在这样的得分赋予机制下，可以得到更多更好的候选搜索路径。

在一种可能的实施方式中，所述网络生成模块，用于按照如下步骤确定构建的所述候选神经网络的网络精度：

将针对所述目标任务的训练数据输入到构建的所述候选神经网络中，得到所述候选神经网络的输出结果；

将所述输出结果与针对所述训练数据的标注结果进行比对，确定所述候选神经网络的网络精度。

在一种可能的实施方式中，根据以下方式中的一种选择回报得分符合预设要求的候选搜索路径：

选择回报得分最高的候选搜索路径；

按照回报得分对各次搜索对应的候选搜索路径进行排名，并选择排名高于预设名次的候选搜索路径；

选择回报得分高于预设阈值的候选搜索路径。

这里，有关训练数据的标注结果可以是基于知识图谱结构扩展后的标注结果。通过扩展后的标注结果可以为网络训练提供更为真实的监督信号，这一定程度上确保了所确定网络精度的准确性。

在一种可能的实施方式中，所述数据采集模块，用于按照如下步骤获取所述训练数据集：

利用网络输入接口获取网络数据；

基于主动学习网络对获取的网络数据进行质量评估，确定数据质量高于预设阈值的网络数据，并将确定的所述网络数据作为所述训练数据集中的训练数据。

这里的训练数据可以是对获取的网络数据进行质量评估后筛选出的高质量网络数据，高质量的训练数据可以确保网络训练的准确性。

在一种可能的实施方式中，所述数据采集模块，用于按照如下步骤获取所述训练数据集：

获取包括有初始标注结果的训练数据集；

利用知识图谱结构对所述初始标注结果进行扩展，得到扩展后的标注结果；

基于所述扩展后的标注结果对所述训练数据集进行更新。

这里，可以基于知识图谱结构对训练数据集的初始标注结果进行扩展。通过扩展后的标注结果可以为网络训练提供更为真实的监督信号，这一定程度上确保了所确定网络精度的准确性。

在一种可能的实施方式中，所述多个网络组成模块至少包括特征图提取单元和针对所述特征图提取单元输出的特征图进行下采样的下采样单元。

在一种可能的实施方式中，所述目标神经网络包括用于进行特征提取的骨干网络层以及用于进行特征处理的其他网络层；所述训练数据集包括具有多个图像文本对的第一训练数据，以及具有多个图像的第二训练数据；所述网络训练模块，用于按照以下步骤训练所述目标神经网络：

利用所述第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练，得到训练好的骨干网络层；

在所述训练好的骨干网络层的网络参数值保持不变的情况下，利用所述第二训练数据对待训练的目标神经网络包括的其他网络层进行训练，得到训练好的其他网络层。

这里，可以通过不同的训练数据分别对目标神经网络的骨干网络层和其他网络层进行训练，以进一步提升相应网络层的训练性能。

在一种可能的实施方式中，所述网络训练模块，用于按照以下步骤得到训练好的骨干网络层，包括：

将所述第一训练数据输入到待训练的目标神经网络，得到所述第一训练数据所包括图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息；

基于所述图像特征信息和所述文本特征信息之间的特征相似度，确定第一损失函数值；

在当前轮训练不满足迭代截止条件的情况下，基于所述第一损失函数值对所述骨干网络层的网络参数值进行调整，并基于调整后的骨干网络层进行下一轮训练，直至满足迭代截止条件。

在一种可能的实施方式中，所述网络训练模块，用于按照以下步骤得到训练好的其他网络层，包括：

将所述第二训练数据输入到待训练的目标神经网络，得到所述目标神经网络包括的其他网络层的输出结果；

基于所述输出结果和针对所述第二训练数据所包括图像的标注结果，确定第二损失函数值；

在当前轮训练不满足迭代截止条件的情况下，基于所述第二损失函数值对所述其他网络层的网络参数值进行调整，并基于调整后的其他网络层进行下一轮训练，直至满足迭代截止条件。

在一种可能的实施方式中，所述网络训练模块，用于按照以下步骤得到训练好的联合神经网络：

利用所述多个目标神经网络分别对所述训练数据集中的训练数据进行特征提取，得到每个目标神经网络包括的骨干网络层输出的特征信息；

基于各个所述目标神经网络包括的骨干网络层输出的特征信息，确定待训练的联合神经网络的损失函数值，其中，所述联合神经网络由所述多个目标神经网络以及各个所述目标神经网络包括的骨干网络层之间的连接层构成；

基于所述损失函数值对所述待训练的联合神经网络进行至少一轮网络训练，得到训练好的联合神经网络。

在一种可能的实施方式中，所述多个目标神经网络中的一个目标神经网络作为所述联合神经网络的主神经网络，所述多个目标神经网络中的其它目标神经网络作为所述联合神经网络的副神经网络；所述网络训练模块，用于按照以下步骤确定待训练的联合神经网络的损失函数值：

基于所述副神经网络包括的第一骨干网络层输出的第一特征信息对所述主神经网络包括的第二骨干网络层输出的第二特征信息进行更新，得到更新后的第二特征信息；

基于所述更新后的第二特征信息，确定所述待训练的联合神经网络的损失函数值。

这里，通过副神经网络对主神经网络的辅助训练，可以使得所训练的联合神经网络具备多任务的任务特性，进而可以在后续下游应用中更加通用于各种任务场景。

在一种可能的实施方式中，所述网络训练模块，用于按照以下步骤确定所述联合神经网络的损失函数值：

将所述更新后的第二特征信息输入到所述主神经网络包括的其他网络层，得到其他网络层的输出结果；

基于所述其他网络层的输出结果以及所述主神经网络对应任务下的标注结果，确定所述联合神经网络的损失函数值。

在一种可能的实施方式中，在所述训练数据集中包括多个图像的情况下，所述系统还包括网络迁移模块；所述网络迁移模块与所述网络训练模块通信连接；

所述网络迁移模块，用于基于所述多个图像，确定用于表征将每个所述图像分解为多个基元的码本；在将训练好的联合神经网络迁移到下游业务场景的情况下，基于得到的所述码本对所述目标业务场景下采集的目标训练数据进行表征，得到表征后的目标训练数据；利用所述表征后的目标训练数据对所述联合神经网络进行再次训练，得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络。

这里，为了充分挖掘上游所训练的联合神经网络中蕴含的特征，避免迁移到下游时发生信息丢失的问题，这里，可以利用上游训练数据所确定的码本重表征下游的目标训练数据，以高效准确的将训练好的联合神经网络应用到下游的目标业务场景。

在一种可能的实施方式中，所述网络迁移模块，用于按照以下步骤确定用于表征将每个所述图像分解为多个基元的码本：

重复执行以下步骤，直至解码器输出的图像与输入到解码器中的图像之间的相似度大于预设阈值：

将所述图像输入到待训练的编码器，得到所述编码器输出的码本；将所述编码器输出的码本输入到待训练的解码器，得到所述解码器输出的图像。

这里的码本可以是基于编码器和解码器所构成的对抗网络实现的图像编码，准确性较高。

在一种可能的实施方式中，所述网络迁移模块，用于按照如下步骤得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络：

在所述联合神经网络包括的骨干网络层的网络参数值保持不变的情况下，利用所述表征后的目标训练数据对所述联合神经网络包括的其他网络层进行再次训练，得到训练好的其他网络层。

第二方面，本公开实施例还提供了一种数据处理方法，包括：

获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务。

在一种可能的实施方式中，在训练好多个目标神经网络的情况下，所述方法还包括：

对所述多个目标神经网络进行联合训练，得到训练好的联合神经网络；所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

第三方面，本公开实施例还提供了一种数据处理装置，包括：

获取模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

生成模块，用于基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务。

第四方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第二方面及其实施方式任一所述的数据处理方法的步骤。

第五方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第二方面及其实施方式任一所述的数据处理方法的步骤。

关于上述数据处理装置、电子设备、及计算机可读存储介质的效果描述参见上述数据处理方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据处理系统的示意图；

图2示出了本公开实施例所提供的数据处理系统中，联合神经网络训练具体方法的流程图；

图3(a)示出了本公开实施例所提供的数据处理系统中，第一种连接层的连接方式示意图；

图3(b)示出了本公开实施例所提供的数据处理系统中，第二种连接层的连接方式示意图；

图3(c)示出了本公开实施例所提供的数据处理系统中，第三种连接层的连接方式示意图；

图4示出了本公开实施例所提供的一种数据处理方法的流程图；

图5示出了本公开实施例所提供的一种数据处理装置的示意图；

图6示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，目前有关通用视觉神经网络的构建尚未形成一套行之有效的流程及可靠的效果。很多现有的计算机视觉技术受到多种因素的制约，难以实现通用视觉神经网络的目标。以相关技术中提供的一种通用视觉神经网络生成的方法为例，该方法在上游任务中，利用通用数据集训练分类网络以通过分类任务训练出通用的视觉表征。

然而，由于在上游训练的网络只局限于特定的分类任务，这导致在将训练出的视觉表征应用到下游诸如检测、分割等其它任务的时候，效果不佳。除此之外，现有大多数据集，数量有限、标签系统不完善、标注不高效，不能满足通用视觉模型的需求，难以形成规模化。

基于上述研究，本公开提供了一种基于强化学习网络搜索候选搜索路径以实现神经网络生成的方案，该方案在网络性能和网络通用性上均取得了显著的效果。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据处理系统进行详细介绍。如图1所示为本公开实施例提供的数据处理系统的示意图，该数据处理系统包括：数据采集模块101、网络生成模块102和网络训练模块103；数据采集模块101、网络生成模块102以及网络训练模块103依次通信连接；

数据采集模块101，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

网络生成模块102，用于基于获取的训练数据集以及多个网络组成模块，生成至少一个目标神经网络；每个目标神经网络用于执行对应的目标任务；

网络训练模块103，用于在训练好多个目标神经网络的情况下，对多个目标神经网络进行联合训练，得到训练好的联合神经网络；联合神经网络用于迁移到下游业务场景中执行目标任务。

为了便于理解本公开实施例提供的数据处理系统，接下来首先对该方法的应用场景进行简单说明。本公开实施例中的数据处理系统主要可以应用于视觉领域，例如，基于生成的目标神经网络应用于目标检测、图像分类、深度估计等场景中。

考虑到相关技术中现有的很多计算机视觉神经网络只局限于特定的计算机视觉任务，难以形成通用化。基于此，本公开实施例提供了一种基于网络组成模块生成目标神经网络，而后通过联合训练得到适配于各种目标任务的联合神经网络的数据处理系统。

这里的目标神经网络可以是基于强化学习网络对多个网络组成模块所关联的多个候选搜索路径的搜索结果确定的。这里的候选搜索路径对应一组特定的组合方式，基于这一组合方式可以将对应的各个网络组成模块进行组合，继而可以得到符合要求的目标神经网络。

本公开实施例中的网络组成模块，可以包括用于进行特征图提取的特征图提取单元，还可以包括针对特征图提取单元输出的特征图进行下采样的下采样单元。

在具体应用中，上述特征图提取单元可以是基于卷积运算实现的，还可以是基于Transformer架构构建的，还可以是基于多层感知机(Multilayer Perceptron，MLP)实现的，还可以是基于其它具有特征提取功能的相关单元实现的，在此不做具体的限制；上述下采样单元可以是基于卷积运算实现的，还可以是基于多层注意力机制实现，还可以是基于其它具有采样功能的相关单元实现的，在此也不做具体的限制。

本公开实施例中的训练数据集，可以包括各种各样的训练数据，例如，可以包括对应于不同目标任务的训练数据，还可以包括具有多个图像文本对的第一训练数据，以及具有多个图像的第二训练数据，还可以包括其它训练数据，这里不做具体的限制，可以基于不同的需求来选取相应的数据，且上述各类训练数据可以是预先拆分好的，从而便于在进行相应网络训练的情况下，快速的提取对应的训练数据。

本公开实施例提供的中的训练数据集可以是基于主动学习网络筛选出的高质量的网络数据。这里的网络数据可以是基于网络输入接口获取的，在具体应用中，可以通过网络爬虫方式自动从网络输入接口获取网络数据。

除此之外，本公开实施例中的训练数据集还可以具有初始标注结果，而为了适配于各种网络的训练需求，这里可以进行标注结果扩展。也即，本公开实施例提供的是大规模标签体系，这里可以利用知识图谱结构对初始标注结果进行扩展，得到扩展后的标注结果。

在具体应用中，还可以利用基于语义解析的其它自动化链接方式进行标签体系的扩展。

需要说明的是，在采用自动化链接方式扩展标签体系之后，本公开实施例还可以通过数据的重组和标签的清洗确定最终的训练数据和对应的标注结果，这样的标签体系更为符合计算机视觉任务的需求。

为了适配下游业务场景中针对各种目标任务的应用需求，这里，在生成并训练好用于执行不同的目标任务的多个目标神经网络的情况下，可以联合多个目标神经网络进行联合训练，使得所训练的联合神经网络具有各个目标神经网络的任务特征，从而可以更好的适配与下游业务场景，这里的下游业务场景主要可以是与计算机视觉相关的场景，例如，门禁领域、无人驾驶领域等。

需要说明的是，在训练不同任务下的目标神经网络的过程中，可以基于对应于当前任务下的训练数据进行训练，例如，可以训练有关检测任务的检测神经网络，还可以训练有关分类任务的分类神经网络。

考虑到目标神经网络的生成对于本公开实施例提供的数据处理系统的关键作用，接下来可以具体进行描述。这里的网络生成模块102，可以按照如下步骤生成用于执行对应目标任务的目标神经网络：

步骤一、确定与多个网络组成模块关联的多个候选搜索路径，其中，每个候选搜索路径分别对应一种组合方式，组合方式用于表征各个网络组成模块之间的运算关系；

步骤二、利用对应于目标任务的训练数据以及强化学习网络对多个候选搜索路径进行至少一次搜索，得到每次搜索后的回报得分；

步骤三、按照回报得分符合预设要求的候选搜索路径所对应的组合方式，将各个网络组成模块进行组合，得到用于执行目标任务的目标神经网络。

本公开实施例中，确定出的候选搜索路径可以为多个。这里可以基于强化学习网络的学习进行一次或多次路径的搜索，每次路径搜索均可以得到搜索后的候选搜索路径。随着强化学习网络的训练次数的逐渐增加，其学习能力也越来越强，搜索能力也将随着训练次数的增加而逐渐增强，继而可以筛选出更多更好的候选搜索路径。

为了便于描述利用强化学习网络实现至少一次搜索的过程，接下来首先对强化学习网络的标准环境进行简单说明。强化学习网络的标准环境包括状态(State)，动作(Action)和回报(Reword)。其更新形式是在当前时刻输入动作，环境经过单步运行得到该时刻的状态和回报，状态策略函数可以计算下一时刻的输入动作，回报则用来更新策略的权重参数。

本公开实施例中，当前时刻输入动作可以指向的是搜索下一个候选搜索路径，该时刻的状态可以指向的是选择对应候选搜索路径的选择概率。

这里，可以将任一个候选搜索路径作为强化学习网络的初始状态信息，并基于初始状态信息确定第一次搜索所选择的候选搜索路径，基于第一次搜索所选择的候选搜索路径以及对应于目标任务的训练数据，确定第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率。

在得到第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率的情况下，可以基于第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率确定第二次搜索所选择的候选搜索路径，而后可以得到第二次搜索后的回报得分以及选择对应候选搜索路径的选择概率，依此循环，可以基于下一次搜索，确定第三次、第四次、直至最后一次搜索后的回报得分。

本公开实施例中，可以执行n次搜索。n可以是大于1的整数，例如，可以是100次，1000次等。有关n的具体数值可以结合不同应用场景需求来确定，对此不做具体的限制。

有关搜索的执行可以是基于网络截止条件来确定的，这里的网络截止条件可以是迭代次数足够多，还可以是得到的满足预设要求的候选搜索路径的数量足够大，还可以是其它条件，本公开实施例对此不做具体的限制。

本公开实施例中，可以从搜索出的各个候选搜索路径中选取出回报得分比较高的候选搜索路径。这里，可以选择回报得分最高的候选搜索路径；还可以按照回报得分对各次搜索对应的候选搜索路径进行排名，并选择排名高于预设名次的候选搜索路径，例如，可以选取排名前三的候选搜索路径作为相应的组合方式；还可以选择回报得分高于预设阈值的候选搜索路径。

其中，有关每次搜索后的回报得分可以是基于有关候选神经网络的网络精度来确定的。对于网络精度越高的候选神经网络而言，一定程度上可以说明该候选神经网络的训练性能更好，此时可以通过正反馈来激励执行诸如类似的路径搜索，反之，对于网络精度越低的候选搜索路径而言，一定程度上可以说明该候选神经网络的训练性能较差，此时可以通过负反馈来避免执行诸如类似的路径搜索。

这里，在将针对目标任务的训练数据输入到构建的候选神经网络之后，可以确定输出结果与针对训练数据的标注结果之间的差值，差值越大，一定程度上说明候选神经网络的网络精度越低，反之，差值越小，一定程度上说明候选神经网络的网络精度越高。

本公开实施例中，可以通过多个训练数据对应的比对结果共同确定候选神经网络的网络精度，例如，可以基于各个训练数据对应的网络精度所求取的平均网络精度确定最终的网络精度。

本公开实施例提供的数据处理系统中，在网络生成模块102生成有目标神经网络的情况下，可以基于网络训练模块103进行大规模的多模态数据的预训练，以提升目标神经网络的训练性能。其中，这里的目标神经网络包括用于进行特征提取的骨干网络层以及用于进行特征处理的其他网络层，上述网络训练模块103具体可以按照如下步骤训练目标神经网络：

步骤一、利用第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练，得到训练好的骨干网络层；

步骤二、在训练好的骨干网络层的网络参数值保持不变的情况下，利用第二训练数据对待训练的目标神经网络包括的其他网络层进行训练，得到训练好的其他网络层。

这里，为了提取出更为通用的视觉表征，可以利用获取的包括图像文本对的第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练。

在训练好骨干网络层的情况下，骨干网络层的网络参数值保持不变，此时，可以基于局部自监督的方式，利用包括图像的第二训练数据对目标神经网络包括的其他网络层进行训练，从而进一步提升目标神经网络的训练性能。

其中，有关骨干网络层的训练过程具体可以通过如下步骤实现：

步骤一、将第一训练数据输入到待训练的目标神经网络，得到第一训练数据所包括图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息；

步骤二、基于图像特征信息和文本特征信息之间的特征相似度，确定第一损失函数值；

步骤三、在当前轮训练不满足迭代截止条件的情况下，基于第一损失函数值对骨干网络层的网络参数值进行调整，并基于调整后的骨干网络层进行下一轮训练，直至满足迭代截止条件。

这里，可以基于图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息之间的特征相似度确定第一损失函数值，第一损失函数值越小，说明两个特征信息之间的特征相似度越接近，这也是训练骨干网络层的目的。

其中，上述图像文本对可以是从互联网爬取的，且爬取的图像文本对的数量巨大。在这种情况下，本公开实施例可以利用自监督技术，从大规模带有噪声的图像文本对中寻找更多的监督信息，从而可以确保较佳的训练性能。

另外，有关迭代截止条件可以是迭代次数足够多，还可以是第一损失函数值足够小，还可以是有关遍历完第一训练数据等条件，在此不做具体的限制。

有关其它网络层的训练过程具体可以通过如下步骤实现：

步骤一、将第二训练数据输入到待训练的目标神经网络，得到目标神经网络包括的其他网络层的输出结果；

步骤二、基于输出结果和针对第二训练数据所包括图像的标注结果，确定第二损失函数值；

步骤三、在当前轮训练不满足迭代截止条件的情况下，基于第二损失函数值对其他网络层的网络参数值进行调整，并基于调整后的其他网络层进行下一轮训练，直至满足迭代截止条件。

这里，可以基于其他网络层的输出结果与第二训练数据所包括图像的标注结果之间的匹配度确定第二损失函数值，第二损失函数值越小，说明两个结果之间越接近，这也是训练其他网络层的目的。

除此之外，本公开实施例还可以是不为第二训练数据包括的图像进行标注，而是利用自监督的方式来训练其他网络层，从而进一步提升对目标神经网络的训练性能。

另外，这里的有关迭代截止条件与上述训练骨干网络层的条件类似，可以参照上述描述，在此不再赘述。

考虑到本公开实施例中的目标神经网络可以是针对不同的任务特征训练而得到的，而不同的任务之间又存在较大的异构问题，基于此，本公开实施例提供了一种兼顾多任务性能的联合神经网络的训练方法，该方法可以通过本公开实施例中的网络训练模块103来实现，具体可以包括步骤：

步骤一、利用多个目标神经网络分别对训练数据集中的训练数据进行特征提取，得到每个目标神经网络包括的骨干网络层输出的特征信息；

步骤二、基于各个目标神经网络包括的骨干网络层输出的特征信息，确定待训练的联合神经网络的损失函数值，其中，联合神经网络由多个目标神经网络以及各个目标神经网络包括的骨干网络层之间的连接层构成；

步骤四、基于损失函数值对待训练的联合神经网络进行至少一轮网络训练，得到训练好的联合神经网络。

这里，可以结合各个目标神经网络包括的骨干网络层输出的特征信息，确定待训练的联合神经网络的损失函数值，由于各个目标神经网络包括的骨干网络层之间具有连接层，利用这一连接层可以融合各个目标神经网络包括的骨干网络层输出的特征信息，进一步使得所训练的联合神经网络具有各个目标神经网络的任务特征。

在具体应用中，多个目标神经网络中的一个目标神经网络作为联合神经网络的主神经网络，多个目标神经网络中的其它目标神经网络作为联合神经网络的副神经网络，这里，网络训练模块103，可以按照如下步骤确定待训练的联合神经网络的损失函数值：

步骤一、基于副神经网络包括的第一骨干网络层输出的第一特征信息对主神经网络包括的第二骨干网络层输出的第二特征信息进行更新，得到更新后的第二特征信息；

步骤二、将更新后的第二特征信息输入到主神经网络包括的其他网络层，得到其他网络层的输出结果；

步骤三、基于其他网络层的输出结果以及主神经网络对应任务下的标注结果，确定联合神经网络的损失函数值。

这里，可以基于更新后的第二特征信息所确定的其他网络层的输出结果以及主神经网络对应任务下的标注结果的比对结果，确定联合神经网络的损失函数值。

在具体应用中，主神经网络和副神经网络对应的可以是异构任务，例如，可以分别是检测任务和分类任务。

其中，主神经网络可以是利用同构数据训练得到的，这里的同构数据可以指向的是执行同类任务的数据，例如，这里的主神经网络可以用于执行行人检测的检测任务1以及用于执行车辆检测的检测任务2。同理，副神经网络也可以是利用同构数据训练得到的，例如，这里的副神经网络可以用于执行图像分类的分类任务1和分类任务2。

其中，同类任务可以通过共享网络的同几层隐藏层，只不过在网络的靠近输出层的网络开始分叉去做不同的任务，如上述检测任务1和检测任务2。不同任务(即异构任务)通过共享网络底部的几层隐藏层来学习一些共有的抽象层次低的特征，底层共享的参数可以是完全相同的。此外，针对各个任务的特点，各个任务都可以设计各自的任务特有层来学习抽象层次更高的特征。所有任务在保留任务特有的输出层的同时可以共享一些相关的隐藏层。

在异构多任务学习的联合神经网络训练中，每个任务(如分类、检测)都有与参数空间大小相同的骨干网络层。这里，可以将副任务所对应副神经网络的骨干网络层输出的特征信息与主任务所对应主神经网络的骨干网络层输出的特征信息进行融合。

在上述特征融合的过程中，本公开实施例引入了连接层T来帮助各个神经网络之间的特征交流。如图2所示为本公开实施例的两个目标神经网络的训练示意图。左侧分支对应的是主神经网络，右侧分支所对应的是副神经网络，Stage对应的是神经网络的骨干网络层，Head对应的是与任务相关的其他网络层，例如，Head1和Head2分别对应的检测任务1和检测任务2，Head3和Head4分别对应的分类任务1和分类任务2。

在将训练数据输入到主神经网络和副神经网络的情况下，主神经网络包括的Stage可以提取相应的第二特征信息，副神经网络包括的Stage可以提取相应的第一特征信息，通过连接层T可以实现第一特征信息和第二特征信息之间融合。

需要说明的是，在确定有关联合神经网络的损失函数值的过程中，可以是基于主神经网络输出的第二特征信息以及所主神经网络对应的两个任务下的标注结果，确定上述损失函数值。

本公开实施例中的连接层T的摆放位置可以是多样的。如图3(a)～3(c)所示，图3(a)表示的可以摆放在特定层中间，在尺寸相同的特征层进行特征迁移，3(b)表示的是在不同的尺寸间进行特征迁移，图3(c)表示的是在相同尺寸的不同骨干网络层的block进行融合。

需要说明的是，这里的训练数据可以是各任务相关的图像样本，该图像样本可以是具有标注结果的训练数据。

本公开实施例提供的数据处理系统中训练目标神经网络和联合神经网络的过程可以是在上游训练得到的。为了扩展在下游业务场景中的泛化能力，本公开实施例提供了一种数据重表征的训练方式对联合神经网络进行再次训练，具体可以通过图1所示的与网络训练模块103通信连接的网络迁移模块104来实现。

其中，上述训练联合神经网络的过程具体可以包括如下步骤：

步骤一、基于训练数据集中包括的多个图像，确定用于表征将每个图像分解为多个基元的码本；

步骤二、在将训练好的目标神经网络迁移到下游业务场景的情况下，基于得到的码本对目标业务场景下采集的目标训练数据进行表征，得到表征后的目标训练数据；

步骤三、利用表征后的目标训练数据对联合神经网络进行再次训练，得到用于对目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络。

这里，可以首先利用上游的训练数据学习一个码本，使用此码本对下游的训练数据进行重表征，然后使用重表征的下游数据对联合神经网络进行微调，最后使用原始的下游数据进行最后的微调，从而可以扩展所生成的联合神经网络在下游业务场景的泛化性能。

在实际应用中，可以利用配对的编码器和解码器所构成的对抗网络进行码本的训练。这里，可以将图像输入到待训练的编码器，得到编码器输出的码本；将编码器输出的码本输入到待训练的解码器，得到解码器输出的图像，然后验证解码器输出的图像与输入的图像之间的相似度是否大于预设阈值，如果不大于预设阈值，则循环上述过程，直至大于预设阈值。

这里，利用训练好的码本可以使得一张图片通过编码器将图片分解为由若干个基元组成的码本，再通过解码器能将这些基元基本还原为该图片。

这样，在使用训练好的码本，重表征下游业务场景下采集的目标训练数据(对应下游数据)的情况下，可以使用重表征后的下游数据对网络微调，在这一步，可以固定预训练的联合神经网络的骨干网络层的参数，只调整骨干网络层后面任务相关的其他网络层的参数，以提升在任务场景下的泛化能力。其中，上述目标训练数据可以是图像，还可以是其它包含有图像的训练数据。

本公开实施例在按照上述方法对联合神经网络微调之后，还可以使用原始下游数据进行最终调整，以进一步提升联合神经网络的训练性能。

除此之外，本公开实施例针对训练好的目标神经网络也可以按照上述数据重表征方法进行再次训练，以提升目标神经网络的泛化性能，有关训练过程参见上述描述内容，在此不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与数据处理系统对应的数据处理方法及装置，由于本公开实施例中的方法及装置解决问题的原理与本公开实施例上述数据处理系统相似，因此方法及装置的实施可以参见方法的实施，重复之处不再赘述。

参见图4所示，为本公开实施例提供的数据处理方法的流程图，方法包括步骤S401～S402，其中：

S401：获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

S402：基于获取的训练数据集以及多个网络组成模块，生成至少一个目标神经网络；每个目标神经网络用于执行对应的目标任务。

这里，基于获取的训练数据集以及多个网络组成模块，可以生成至少一个用于执行对应的目标任务的目标神经网络。

有关训练数据集、网络组成模块的获取方式参见上述系统实施例中的相关描述，在此不再赘述。有关生成目标神经网络的具体方法也可以参见上述描述，在此也不再赘述。

这里，在训练好多个目标神经网络的情况下，可以对多个目标神经网络进行联合训练，得到训练好的联合神经网络；联合神经网络用于迁移到下游业务场景中执行目标任务。

有关联合神经网络的训练过程以及对应的应用过程可以参见上述描述内容，在此不再赘述。

需要说明的是，本公开实施例所提供的数据处理方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该数据处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参照图5所示，为本公开实施例提供的一种数据处理装置的示意图，装置包括：获取模块501、生成模块502；其中，

获取模块501，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

生成模块502，用于基于获取的训练数据集以及多个网络组成模块，生成至少一个目标神经网络；每个目标神经网络用于执行对应的目标任务。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备结构示意图，包括：处理器601、存储器602、和总线603。存储器602存储有处理器601可执行的机器可读指令(比如，图5中的装置中获取模块501、生成模块502对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行时执行如下处理：

获取与多个网络组成模块关联的多个候选搜索路径，其中，每个候选搜索路径分别对应一种组合方式，组合方式用于表征各个网络组成模块之间的运算关系；

利用强化学习网络对多个候选搜索路径进行至少一次搜索，得到每次搜索后的回报得分；

按照回报得分符合预设要求的候选搜索路径所对应的组合方式，将各个网络组成模块进行组合，得到目标神经网络。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (23)

1.一种数据处理系统，其特征在于，包括：数据采集模块、网络生成模块和网络训练模块；所述数据采集模块、所述网络生成模块以及所述网络训练模块依次通信连接；

所述数据采集模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

所述网络生成模块，用于基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务；

所述网络训练模块，用于在训练好多个目标神经网络的情况下，对所述多个目标神经网络进行联合训练，得到训练好的联合神经网络；所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

2.根据权利要求1所述的系统，其特征在于，在所述训练数据集包括对应于所述目标任务的训练数据的情况下，所述网络生成模块，用于按照如下步骤生成用于执行对应所述目标任务的目标神经网络：

确定与所述多个网络组成模块关联的多个候选搜索路径，其中，每个候选搜索路径分别对应一种组合方式，所述组合方式用于表征各个网络组成模块之间的运算关系；

利用所述对应于所述目标任务的训练数据以及强化学习网络对所述多个候选搜索路径进行至少一次搜索，得到每次搜索后的回报得分；

按照回报得分符合预设要求的候选搜索路径所对应的组合方式，将各个网络组成模块进行组合，得到用于执行所述目标任务的目标神经网络。

3.根据权利要求2所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤得到每次搜索后的回报得分：

利用强化学习网络对所述多个候选搜索路径进行第一次搜索，并基于第一次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率；

循环执行如下步骤直至满足网络截止条件：

基于第n-1次搜索后的回报得分以及选择对应候选搜索路径的选择概率，确定第n次搜索所选择的候选搜索路径，并基于第n次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第n次搜索后的回报得分以及选择对应候选搜索路径的选择概率，其中，n为大于1的整数。

4.根据权利要求3所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤确定第n次搜索后的回报得分：

基于第n次搜索所选择的候选搜索路径，构建候选神经网络；

基于所述对应于所述目标任务的训练数据，确定构建的所述候选神经网络的网络精度；

基于构建的所述候选神经网络的网络精度，确定第n次搜索后的回报得分。

5.根据权利要求4所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤确定构建的所述候选神经网络的网络精度：

将针对所述目标任务的训练数据输入到构建的所述候选神经网络中，得到所述候选神经网络的输出结果；

将所述输出结果与针对所述训练数据的标注结果进行比对，确定所述候选神经网络的网络精度。

6.根据权利要求2至5任一所述的系统，其特征在于，根据以下方式中的一种选择回报得分符合预设要求的候选搜索路径：

选择回报得分最高的候选搜索路径；

按照回报得分对各次搜索对应的候选搜索路径进行排名，并选择排名高于预设名次的候选搜索路径；

选择回报得分高于预设阈值的候选搜索路径。

7.根据权利要求1至6任一所述的系统，其特征在于，所述数据采集模块，用于按照如下步骤获取所述训练数据集：

利用网络输入接口获取网络数据；

基于主动学习网络对获取的网络数据进行质量评估，确定数据质量高于预设阈值的网络数据，并将确定的所述网络数据作为所述训练数据集中的训练数据。

8.根据权利要求1至7任一所述的系统，其特征在于，所述数据采集模块，用于按照如下步骤获取所述训练数据集：

获取包括有初始标注结果的训练数据集；

利用知识图谱结构对所述初始标注结果进行扩展，得到扩展后的标注结果；

基于所述扩展后的标注结果对所述训练数据集进行更新。

9.根据权利要求1至8任一所述的系统，其特征在于，所述多个网络组成模块至少包括特征图提取单元和针对所述特征图提取单元输出的特征图进行下采样的下采样单元。

10.根据权利要求1至9任一所述的系统，其特征在于，所述目标神经网络包括用于进行特征提取的骨干网络层以及用于进行特征处理的其他网络层；所述训练数据集包括具有多个图像文本对的第一训练数据，以及具有多个图像的第二训练数据；所述网络训练模块，用于按照以下步骤训练所述目标神经网络：

利用所述第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练，得到训练好的骨干网络层；

在所述训练好的骨干网络层的网络参数值保持不变的情况下，利用所述第二训练数据对待训练的目标神经网络包括的其他网络层进行训练，得到训练好的其他网络层。

11.根据权利要求10所述的系统，其特征在于，所述网络训练模块，用于按照以下步骤得到训练好的骨干网络层：

将所述第一训练数据输入到待训练的目标神经网络，得到所述第一训练数据所包括图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息；

基于所述图像特征信息和所述文本特征信息之间的特征相似度，确定第一损失函数值；

在当前轮训练不满足迭代截止条件的情况下，基于所述第一损失函数值对所述骨干网络层的网络参数值进行调整，并基于调整后的骨干网络层进行下一轮训练，直至满足迭代截止条件。

12.根据权利要求10或11所述的系统，其特征在于，所述网络训练模块，用于按照以下步骤得到训练好的其他网络层：

将所述第二训练数据输入到待训练的目标神经网络，得到所述目标神经网络包括的其他网络层的输出结果；

基于所述输出结果和针对所述第二训练数据所包括图像的标注结果，确定第二损失函数值；

在当前轮训练不满足迭代截止条件的情况下，基于所述第二损失函数值对所述其他网络层的网络参数值进行调整，并基于调整后的其他网络层进行下一轮训练，直至满足迭代截止条件。

13.根据权利要求10至12任一所述的系统，其特征在于，所述网络训练模块，用于按照以下步骤得到训练好的联合神经网络：

利用所述多个目标神经网络分别对所述训练数据集中的训练数据进行特征提取，得到每个目标神经网络包括的骨干网络层输出的特征信息；

基于各个所述目标神经网络包括的骨干网络层输出的特征信息，确定待训练的联合神经网络的损失函数值，其中，所述联合神经网络由所述多个目标神经网络以及各个所述目标神经网络包括的骨干网络层之间的连接层构成；

基于所述损失函数值对所述待训练的联合神经网络进行至少一轮网络训练，得到训练好的联合神经网络。

14.根据权利要求13所述的系统，其特征在于，所述多个目标神经网络中的一个目标神经网络作为所述联合神经网络的主神经网络，所述多个目标神经网络中的其它目标神经网络作为所述联合神经网络的副神经网络；所述网络训练模块，用于按照以下步骤确定待训练的联合神经网络的损失函数值：

基于所述副神经网络包括的第一骨干网络层输出的第一特征信息对所述主神经网络包括的第二骨干网络层输出的第二特征信息进行更新，得到更新后的第二特征信息；

基于所述更新后的第二特征信息，确定所述待训练的联合神经网络的损失函数值。

15.根据权利要求14所述的系统，其特征在于，所述网络训练模块，用于按照以下步骤确定所述联合神经网络的损失函数值：

将所述更新后的第二特征信息输入到所述主神经网络包括的其他网络层，得到其他网络层的输出结果；

基于所述其他网络层的输出结果以及所述主神经网络对应任务下的标注结果，确定所述联合神经网络的损失函数值。

16.根据权利要求1至15任一所述的系统，其特征在于，在所述训练数据集中包括多个图像的情况下，所述系统还包括网络迁移模块；所述网络迁移模块与所述网络训练模块通信连接；

所述网络迁移模块，用于基于所述多个图像，确定用于表征将每个所述图像分解为多个基元的码本；在将训练好的联合神经网络迁移到下游业务场景的情况下，基于得到的所述码本对所述目标业务场景下采集的目标训练数据进行表征，得到表征后的目标训练数据；利用所述表征后的目标训练数据对所述联合神经网络进行再次训练，得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络。

17.根据权利要求16所述的系统，其特征在于，所述网络迁移模块，用于按照以下步骤确定用于表征将每个所述图像分解为多个基元的码本：

重复执行以下步骤，直至解码器输出的图像与输入到解码器中的图像之间的相似度大于预设阈值：

将所述图像输入到待训练的编码器，得到所述编码器输出的码本；将所述编码器输出的码本输入到待训练的解码器，得到所述解码器输出的图像。

18.根据权利要求16或17所述的系统，其特征在于，所述网络迁移模块，用于按照如下步骤得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络：

在所述联合神经网络包括的骨干网络层的网络参数值保持不变的情况下，利用所述表征后的目标训练数据对所述联合神经网络包括的其他网络层进行再次训练，得到训练好的其他网络层。

19.一种数据处理方法，其特征在于，包括：

获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务。

20.根据权利要求19所述的方法，其特征在于，在训练好多个目标神经网络的情况下，所述方法还包括：

对所述多个目标神经网络进行联合训练，得到训练好的联合神经网络；所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

21.一种数据处理装置，其特征在于，包括：

获取模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；

生成模块，用于基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务。

22.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求19或20所述的数据处理方法的步骤。

23.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求19或20所述的数据处理方法的步骤。

Images