CN112232293A - 图像处理模型训练、图像处理方法及相关设备 - Google Patents

Abstract

本申请提供的一种图像处理模型训练、图像处理方法及相关设备，面对目标场景的图像处理任务，需要训练满足该图像处理任务的目标图像处理模型的情况下，本申请将获取目标场景下的真实图像样本，以及针对该目标场景构建的仿真场景下的仿真图像样本和标注信息，不需要人工手动确定真实图像样本的标注信息，降低了样本数据获取成本，提高了样本数据获取效率及准确性，且本申请将利用真实图像样本、仿真图像样本及标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，相对于直接对仿真图像样本和标注信息进行监督训练，本申请这种训练方式能够保证目标图像处理模型对真实图像的处理可靠、准确，满足图像处理任务。

Description

图像处理模型训练、图像处理方法及相关设备

技术领域

本申请涉及人工智能技术领域，具体涉及一种图像处理模型训练、图像处理方法及相关设备。

背景技术

随着人工智能在图像处理技术上的不断发展，计算机设备能够利用如机器学习技术，对图像或者视频进行个性化处理，如图像分类、目标检测、图像分割、关键点检测等，得到满足用户实际需求的图像处理结果。

在实际应用中，为了提高图像处理效率及准确性，通常是利用机器学习网络(尤其是深度学习网络)，对大量带有标注信息的样本数据进行有监督训练，得到满足相应场景的图像处理任务需求的图像处理模型，以此实现对该场景下的待处理图像的高效处理，得到所需的图像处理结果。

然而，目前带有标注信息的样本数据，通常是在获取相应场景的图像样本后，由人工手动对图像样本进行信息标注，人工成本高、标注工作量大、效率低，且因人为因素影响大，使得图像样本的标注信息准确性低，这将会极大影响图像处理模型的训练效率及准确性。

发明内容

有鉴于此，为解决人工手动标注样本数据，造成的高成本、低效率和准确性，进而降低图像处理模型的训练效率和准确性的技术问题，本申请实施例提供如下技术方案：

一方面，本申请提出了一种图像处理模型训练方法，所述方法包括：

获取目标场景下的真实图像样本，以及针对所述目标场景构建的仿真场景下的仿真图像样本和标注信息，其中，所述标注信息能够表征所述仿真图像样本所包含的仿真对象的分布信息；

利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，其中，所述深度学习网络的网络类型依据所述目标场景下的图像处理任务确定。

在一些实施例中，所述利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，包括：

对所述真实图像样本和所述仿真图像样本分别进行特征提取，得到相应的真实图像特征和仿真图像特征；

对所述真实图像特征和所述仿真图像特征进行差异检测，得到所述仿真图像特征的差异检测结果；

利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型。

在一些实施例中，所述深度学习网络的网络类型依据所述目标场景下的图像处理任务确定，包括：

按照预先构建的所述目标场景下的不同图像处理任务与不同网络类型的深度学习网络之间的对应关系，将所述不同图像处理任务各自对应的任一网络类型的深度学习网络，确定为用以训练该图像处理任务对应的目标图像处理模型的深度学习网络。

在一些实施例中，所述深度学习网络包括监督学习模型和判别模型，所述对所述真实图像样本和所述仿真图像样本分别进行特征提取，得到真实图像特征和仿真图像特征，包括：

将所述真实图像样本和所述仿真图像样本输入所述监督学习模型进行特征提取，得到真实图像特征和仿真图像特征；

所述对所述真实图像特征和所述仿真图像特征进行差异检测，得到所述仿真图像特征的差异检测结果，包括：

将所述真实图像特征和所述仿真图像特征输入所述判别模型进行处理，输出所述仿真图像特征的第一损失值；

所述利用所述仿真图像样本、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，具体为：

利用所述仿真图像特征、所述标注信息及所述第一损失值，对所述监督学习模型进行有监督训练，得到目标图像处理模型。

在一些实施例中，所述利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，包括：

按照所述目标场景的图像处理任务，通过深度学习网络对所述仿真图像特征进行处理，得到所述仿真图像样本的仿真图像处理结果；

将所述仿真图像处理结果与所述标注信息进行比较，得到所述仿真图像处理结果的第二损失值；

依据所述差异检测结果和所述第二损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

在一些实施例中，所述利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，包括：

利用所述差异检测结果对所述仿真图像特征进行优化，得到优化后的仿真图像特征；

按照所述目标场景下的图像处理任务，通过深度学习网络对所述仿真图像特征进行处理，得到所述仿真图像样本的图像处理结果；

将所述图像处理结果与所述标注信息进行比较，得到所述图像处理结果的第三损失值；

依据所述第三损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

在一些实施例中，所述仿真场景下的仿真图像样本和标注信息的获取过程，包括，

对所述仿真场景进行图像渲染，得到相应的渲染图像，并将所述渲染图像确定为仿真图像样本；

确定所述渲染图像包含的仿真对象的分布规则；

依据所述分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。

又一方面，本申请提出了一种图像处理方法，所述方法包括：

获取针对目标场景的目标图像处理任务的图像处理请求；

响应所述图像处理请求，得到所述目标场景下的待处理真实图像，并调用与所述目标图像处理任务对应的预训练的目标图像处理模型；

将所述待处理真实图像输入所述目标图像处理模型进行图像处理，输出所述待处理真实图像的目标图像处理结果；

其中，所述目标图像处理模型是利用所述目标场景下的真实图像样本、仿真图像样本及所述仿真图像样本的标注信息，对深度学习网络进行监督对抗训练得到的，所述仿真图像样本依据针对所述目标场景构建的仿真场景获得，所述深度学习网络的网络类型依据所述目标场景下的目标图像处理任务确定。

又一方面，本申请提出了一种图像处理模型训练装置，所述装置包括：

样本数据获取模块，用于获取目标场景下的真实图像样本，以及针对所述目标场景构建的仿真场景下的仿真图像样本和标注信息，其中，所述标注信息能够表征所述仿真图像样本所包含的仿真对象的分布信息；

模型训练模块，用于利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，其中，所述深度学习网络的网络类型依据所述目标场景的图像处理任务确定。

又一方面，本申请提出了一种图像处理装置，所述装置包括：

图像处理请求获取模块，用于获取针对目标场景的目标图像处理任务的图像处理请求；

待处理图像得到模块，用于响应所述图像处理请求，得到所述目标场景下的待处理真实图像，并调用与所述目标图像处理任务对应的预训练的目标图像处理模型；

图像处理模块，用于将所述待处理真实图像输入所述目标图像处理模型进行图像处理，输出所述待处理真实图像的目标图像处理结果；

其中，所述目标图像处理模型是利用所述目标场景下的真实图像样本、仿真图像样本及所述仿真图像样本的标注信息，对深度学习网络进行监督对抗训练得到的，且所述仿真图像样本依据所述目标场景构建的仿真场景获得，所述深度学习网络的网络类型依据所述目标场景下的目标图像处理任务确定。

又一方面，本申请提出了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行，实现如上述的图像处理模型训练方法，和/或实现如上述的图像处理方法。

又一方面，本申请提出了一种计算机设备，所述计算机设备包括通信接口、至少一个存储器和至少一个处理器，其中：

所述存储器，用于存储实现如上述的图像处理模型训练方法的第一程序，和/或存储实现如上述的图像处理方法的第二程序；

所述处理器，用于加载并执行所述存储器存储的第一程序，以实现上述的图像处理模型训练方法的步骤，和/或加载并执行所述存储器存储的第二程序，以实现上述的图像处理方法的步骤。

基于上述技术方案，本申请实施例提供的一种图像处理模型训练、图像处理方法及相关设备，针对现实世界的目标场景下的图像处理任务，在监督训练相应的目标图像处理模型过程中，本实施例将获得针对该目标场景构建的仿真场景，从而采用对抗学习的思路，依据该仿真场景下自带标注信息的仿真图像样本及目标场景下的真实图像样本，对深度学习网络进行监督对抗学习，将仿真场景下的仿真图像样本与目标场景下的真实图像样本的数据分布相统一，从而使得在仿真场景下监督训练的目标图像处理模型，在目标场景下能够具有同样的输出效果，满足目标场景的图像处理任务需求，同时摆脱有监督深度学习对真实场景的人工标注信息的依赖，极大节约了数据标注成本，且保证了训练所得目标图像处理模型输出准确性及可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为适用于本申请提出的图像处理模型训练方法、图像处理方法的一可选应用环境示意图；

图2为本申请提出的图像处理模型的训练方法的一可选示例的流程示意图；

图3为本申请提出的图像处理模型的训练方法的又一可选示例的流程示意图；

图4为本申请提出的图像处理模型的训练方法中，深度学习网络监督对抗训练过程的一可选应用流程示意图；

图5为本申请提出的图像处理方法的一可选示例的流程示意图；

图6为本申请提出的图像处理模型的训练方法及图像处理方法的一可选应用流程示意图；

图7a为本申请提出的图像处理模型的训练方法中，获得的目标场景及其仿真场景示意图；

图7b为本申请提出的图像处理方法中，一可选目标检测场景下的目标检测结果示意图；

图8a为本申请提出的图像处理模型的训练方法中，获得的目标场景及其仿真图像的标注信息示意图；

图8b为本申请提出的图像处理方法中，一可选图像分割场景下的图像分割结果示意图；

图9为本申请提出的图像处理模型的训练装置的一可选示例的结构示意图；

图10为本申请提出的图像处理装置的一可选示例的结构示意图；

图11为适用于本申请提出的图像处理模型的训练、图像处理方法和装置的计算机设备的一可选示例的硬件结构示意图。

具体实施方式

结合上文背景技术部分的描述，对于目前基于有监督深度学习的图像处理任务，如目标检测、图像分割、图像分类等各种图像处理任务下，在其模型训练阶段，主要是因采用人工手动对现实世界的相应目标场景采集的图像样本进行信息标注，才导致上述现有技术问题。对此，本申请希望能够对图像样本实现非人工的信息标注，以摆脱对人工标注的依赖，降低信息标注成本，消除人为因素对标注信息准确性的不利影响，提高模型训练效率及准确性。

基于上文本申请提出的改进方向，随着近年来仿真(Simulation)技术(又称为仿真引擎技术)在游戏研发、场景建模等领域的发展，如UnrealEngine4虚幻引擎的应用，提出将仿真技术应用到基于有监督深度学习的图像处理模型训练中。具体可以利用仿真技术应用中，计算机能够获取仿真场景(其可以针对真实世界的目标场景构建，具体构成过程不做详述)中仿真对象的分布信息，并将其作为该仿真场景下的仿真图像(如利用三维渲染技术对仿真场景进行渲染，得到的渲染图像)的标注信息，即自动获得仿真场景下的有标签的图像样本，以完成相应模型的监督训练，不再需要人工手动对图像样本进行信息标注，实现了“零”成本图像样本的信息标注，解决人工标注带来的现有技术问题。

其中，仿真技术是应用仿真硬件和仿真软件通过仿真实验，借助某些数值计算和问题求解，反映系统行为或过程的仿真模型技术。本申请可以利用该仿真技术，预先构成需要进行图像处理的真实应用场景对应的仿真场景，即构建相应的仿真模型，具体构成过程申请不做详述。且根据应用需要，本申请可以将仿真技术和人工智能结合起来，产生具有专家系统功能的仿真软件(即仿真器)，以更好地满足图像处理应用需求。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着人工智能技术研究和进步，人工智能的计算机视觉技术(Computer Vision,CV)、机器学习、深度学习等在很多领域展开了研究和应用。

计算机视觉技术是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。因此，其通常被应用到图像处理、图像识别、图像语义理解、图像检索、OCR(OpticalCharacter Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等领域。

机器学习和深度学习作为人工智能的核心，是使计算机具有智能的根本途径，在实际应用中，可以依据应用场景的具体需求，从深度学习/机器学习包含的如人工神经网络、置信网络、强化学习、迁移学习、归纳学习等算法中，选择合适的算法，实现相应模型或网络结构的学习训练，具体实现过程本申请不做一一详述。

对于上文描述的本申请提出的改进构思，进一步了解到，实际应用中，真实场景与仿真场景之间的数据分布、风格等往往会存在一定差异，这就导致直接利用仿真场景中的仿真图像样本进行模型训练，导致训练所得模型在相应真实场景的应用效果不理想，如在一个能够覆盖环路场景下的车辆检测应用中，利用相应仿真场景下的自带标签的仿真图像样本训练所得的目标检测模型，可能无法准确检测出真实环路场景中存在的车辆。

因此，本申请进一步提出结合对抗学习的思想，利用深度学习网络中的迁移网络所具有的，能够将模型从一种数据分布的源领域，在另一种数据分布的目标领域中进行学习与应用这一领域迁移特点，实现仿真场景中的数据分布与真实场景中的数据分布统一，保值在仿真场景下训练的图像处理模型具有领域迁移能力，从而使得该图像处理模型在真实场景下也能够达到同样的输出效果，以摆脱现有的基于有监督深度学习应用中，对真实场景中人工标注的依赖，极大节约信息标注人力成本，同时也避免了人工标注不够准确、客观对模型输出准确性及可靠性的不利影响。

另外，结合上文对本申请技术构思的描述，本申请还可以利用虚拟仿真(VirtualReality)技术，通过三维渲染引擎，在计算机中模拟现实场景，以虚拟仿真的方式给用户创造一个实时反映实体对象变化与相互作用的三维虚拟世界，在该过程中，对于生成的每一帧虚拟图像(相当于上述仿真图像)中的虚拟对象，都能够获取相应的图像坐标位置等唯一标识，本申请可以直接将其作为标注信息，并将该虚拟图像作为图像样本，即得到具有标签的图像样本，以实现有监督模型训练，本申请对具有真实场景的标注信息的仿真图像样本的具体获取方式不做限定，包括但并不局限于上文列举的实现方式。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应该理解，本申请所描述的实施例仅仅是本申请上述技术构思下的一部分实施例，而不是全部的实施例。基于本申请提出的各实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，为适用于本申请提出的图像处理模型训练方法、图像处理方法的一可选应用环境，如图1所示，该应用环境可以包括电子设备100和服务设备200，其中：

电子设备100可以包括但并不局限于智能手机、智能穿戴设备、车载设备、智能家居设备、平板电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、台式计算机等。

服务设备200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是支持云计算服务的云服务器等，电子设备100可以通过有线或无线网络，实现与如上述服务设备200之间的直接或间接通信连接，满足电子设备100与服务设备200之间的通信需求，具体通信实现方式可以视具体应用确定。

在本申请实际应用中，可以通过服务设备200执行本申请实施例提出的图像处理模型的训练方法，得到针对目标场景的图像处理模型。之后，根据应用需求，服务设备200可以将该图像处理模型部署到相应的图像处理应用中，这样，电子设备在该图像处理应用过程中，需要对某一待处理图像进行图像处理时，可以调用相应的图像处理模型对待处理图像进行处理，得到相应的图像处理结果。

应该理解，上述图像处理模型对待处理图像进行图像处理的过程，可以由服务设备完成，即将待处理图像发送至服务设备，由服务设备将其输入针对目标场景的图像处理模型，得到图像处理结果并反馈至电子设备；该图像处理过程也可以直接在电子设备上执行，这种情况下，电子设备可以下载部署有图像处理模型的图像处理应用，启动该图像处理应用，实现对待处理图像的处理。

在又一些实施例中，对于上述图像处理模型的训练过程，也可以直接由具有一定数据处理能力的电子设备完成，并不局限于由服务设备实现。

需要说明，关于上述图像处理模型的训练过程，以及利用图像处理模型实现的图像处理过程，可以参照但并不局限于下文实施例相应部分的描述，本实施例在此不做详述。而且，本申请上述应用场景仅是一种示例，并不构成对本申请实施例提出图像处理模型的训练方法、图像处理方法的限制。

参照图2，为本申请提出的图像处理模型的训练方法的一可选示例的流程示意图，该方法可以适用于计算机设备，该计算机设备可以是上文列举的应用场景中的电子设备100或服务设备200，本申请对执行该图像处理模型的训练方法的计算机设备的产品形式及结构不做限定。如图2所示，该图像处理模型的训练方法可以包括以下步骤：

步骤S11，获取目标场景下的真实图像样本，以及针对目标场景构建的仿真场景下的仿真图像样本和标注信息；

结合上文描述，在监督学习过程中，为了保证模型输出效果及准确性，并解决长尾问题，目前需要高昂的成本人工标注大量样本数据。本申请为了解决该问题，提出利用仿真场景下自带标注信息的仿真数据，并结合迁移算法，实现相应真实场景下的监督学习。

基于此，在得知真实场景(即目标场景)下的图像处理任务需求后，可以先针对该真实场景构建相应的仿真场景，如通过三维渲染引擎，对目标场景进行三维建模，构建该目标场景的虚拟三维场景即仿真场景，关于该仿真场景的具体构建过程本申请不做限定。

在一种可能的实现方式中，结合上文对仿真技术的相关描述，本实施例可以对目标场景进行不同视角下的图像采集，如利用三维扫描仪对目标场景进行三维扫描，从而利用扫描到的图像信息，对目标场景中涉及到的目标对象、现场环境等进行三维建模，得到相应的仿真对象模型、仿真环境模型，之后，可以利用三维渲染引擎(即仿真引擎)，基于这些仿真对象模型、仿真环境模型，按照一定的对象分布规则在仿真环境模型中对仿真对象模型进行部署，构建该目标场景的仿真场景(即模拟的虚拟场景)，在一定程度上保证了该仿真场景的真实度。

在又一种可能的实现方式中，结合上文对虚拟仿真技术的描述，本申请还可以通过虚拟仿真技术，对采集到的目标场景下各视角的图像进行渲染，以得到与现实世界中的目标场景相对应的虚拟场景(即仿真场景)。在这种实现方式中，可以将构建该虚拟场景过程中，经过对真实图像渲染得到的渲染图像进行存储，以供后续将其作为仿真图像样本调用。

另外，应该理解，在本应用平台或第三方应用平台已构建目标场景的仿真场景的情况下，计算机设备可以直接调取针对目标场景构建的仿真场景。因此，本申请实施例可以先检测当前是否存在目标场景对应的仿真场景，若存在，直接调用即可，若不存在，再按照上述方式，构建该目标场景的仿真场景。但其并不局限于上文描述的两种仿真场景构建的实现方式，可视情况而定。

结合上文对本申请技术构思的描述，为了提高最终所得模型训练样本数据的真实度，减少样本数据与目标场景下的真实图像样本之间的差异，本申请并不是直接将仿真场景下的仿真图像样本作为模型训练样本，需要获取目标场景下的真实图像样本，如对目标场景进行现场拍摄，得到真实图像，用以在模型训练过程中对仿真图像进行判别，确定模型参数的调整方向。

对于目标场景下的真实图像样本的获取方式，可以直接控制图像采集设备，对目标场景进行图像采集，将采集到的图像确定为真实图像样本。当然，若在构建仿真场景过程中，执行过对目标场景的图像采集步骤，计算机设备在此阶段可以直接调取已采集到的目标场景的真实图像样本，本申请对该真实图像样本的具体获取方式不做限定。

其中，上述图像采集设备可以是集成在电子设备中的摄像头，也可以是独立的相机、扫描仪等，可以依据应用环境下的实际情况确定，本申请对上述图像采集设备的产品形式及其结构不做限定。

对于上述目标场景对应的仿真场景，若该仿真场景是通过仿真技术构建的，本申请实施例可以利用三维渲染技术，对该仿真场景进行渲染，得到相应的渲染图像，从而将该渲染图像作为该仿真场景下的仿真图像样本，具体获取过程本实施例不做详述。

而对于仿真图像样本的标注信息，能够表征相应仿真图像样本包含的仿真对象的分布信息，本申请对该标注信息包含的具体信息内容不做限定。可选的，基于该标注信息所表征的含义，可以利用仿真场景构成过程中，对各仿真对象模型进行部署时所依据的对象分布规则，对渲染图像进行标注，得到该标注信息，但并不局限于这种标注信息获取方式。

在一些实施例中，为了提高仿真场景的真实性，在构建仿真场景的过程中，可以依据所确定的渲染图像包含的仿真对象的分布规则，对所得渲染图像进行像素级信息标注，确定每个像素点的对象标识，即标记每个像素点属于哪个仿真对象模型。之后，可以将每个像素点的对象标识确定为该渲染图像的标注信息，或者是依据目标场景的图像处理任务，对得到的各像素点的对象标识做进一步处理，得到相应渲染图像的标注信息等，具体获取过程可以结合具体应用场景确定。

示例性的，在自动驾驶应用中，通常会依据所处道路上其他车辆的位置，来动态调整本车辆行驶方向、行驶速度等参数，在该过程中，需要高效且准确识别现实环境中各真实车辆的位置信息，具体利用预先训练相应的目标检测模型，对真实图像(如现实行驶道路上拍摄到的图像)进行目标对象(如车辆、行人等)识别，输出相应的位置信息至本车辆的自动驾驶系统。

针对上述图像处理任务需求，本申请可以预先利用自动驾驶仿真系统，来模拟自动驾驶车辆行驶道路场景，即构建自动驾驶仿真场景，在该过程中，通常会针对现实的自动驾驶场景中的各车辆、行人、建筑物、各交通设施等目标对象，构建相应的仿真对象模型，即一种三维几何模型，之后，将各仿真对象模型按照预设的对象分布规则，部署在自动驾驶仿真环境中。由于对象分布规则是已知的，基于该对象分布规则，能够确定自动驾驶场景的渲染图像中各像素点的对象标识，进而对各像素点的对象标识进行分类组合，可以确定各对象的位置信息，如表征相应对象的检测框的位置信息，本实施例可以将其作为仿真图像样本的标注信息，以便在目标检测模型训练过程中，与模型输出的检测对象位置信息进行比对，确定本次训练得到的模型输出是否足够准确。

为了获取足够多的图像样本，以完成后续模型训练，本申请实施例可以采集不同时刻不同视角下的大量真实图像样本，这可以通过不断调整图像采集设备的拍摄位置、拍摄视角、焦距等拍摄参数实现，具体过程本实施例不做详述。而对于仿真图像样本及其对应的标注信息，结合上文描述的获取过程，本申请可以通过动态调整上述对象分布规则，以调整仿真场景中各仿真对象模型，得到不同的仿真场景，但各仿真场景的内容基本不变，都是针对目标场景的模拟场景。之后，本申请可以按照上述方式，得到新的仿真图像样本及其标注信息。

在本申请提出的又一些实施例中，若采用虚拟仿真技术构建目标场景对应的虚拟的仿真场景，对于上述仿真图像样本及其标注信息，通常是在构建该仿真场景过程中生成或确定的，在需要进行模型训练时，直接调用相应仿真场景对应的仿真图像样本及其标注信息即可，具体实现过程本申请不做详述。

需要说明，在不同图像处理任务下，所获取的仿真图像样本的标注信息的内容可能不同，但该标注信息的获取过程类似，本申请实施例在此不做一一详述。而且，对于上述真实图像样本的获取过程，仿真场景构建过程以及仿真图像样本和标注信息的获取过程之间的执行顺序，可以依据具体实现方法确定，本申请对这些信息的获取顺序不做限制，即并不局限于上文描述的实现顺序。

步骤S12，利用真实图像样本、仿真图像样本及其标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型。

结合上文对本申请技术构思的描述，采用有监督训练方式进行图像处理模型的训练过程中，本申请将结合真实图像样本、仿真图像样本及其标注信息，完成有监督训练，在解决人工标注而带着的成本高、模型准确性低等技术问题的同时，避免仅采用仿真图像样本及其标注信息进行模型训练，导致所得模型无法准确实现对真实图像处理的情况发生，保证训练所得目标图像处理模型对现实场景图像进行处理的准确性及可靠性。

基于此，本申请依据对抗网络的特点，考虑到深度学习网络的领域迁移能力，来确定训练目标图像处理模型的初始深度学习网络(即初始图像处理模型)的网络结构，如其可以由监督学习模型和判别模型构成，在模型训练过程中，通过这两个模型之间的互相博弈学习得到更好的输出效果。

具体的，在本申请提出的一些实施例中，可以由监督学习模型对仿真图像样本和真实图像样本进行图像处理，并由判别模型来判别仿真图像样本数据的真实性概率，以区别开监督学习模型输出的仿真图像样本数据和真实图像样本数据，但监督学习模型是要使处理得到的仿真图像特征和真实图像特征几乎一样，通过这种动态的博弈过程，使监督学习模型能够得到更优的仿真图像特征，进而使得该监督学习模型依据这类仿真图像特征进一步训练得到的图像处理模型，能够同时适用于对现实的目标场景下真实图像的处理。

可见，在上述实施例中，实际上是将整个模型训练过程分为两部分，且在此之前，由于本申请采用基于特征的迁移学习方式，实现从仿真场景到真实场景的领域迁移，所以，本申请先对获取的各图像样本进行特征提取，得到相应的图像特征后，再由这两部分通过不同的学习方式，继续对图像特征进行处理。

更具体地，在图像特征的处理过程中，第一部分可以对仿真图像样本的仿真图像特征及其标注信息进行监督训练，第二部分可以对仿真图像特征和真实图像特征进行差异检测，识别深度学习网络经过图像特征提取后，所得到的图像特征属于仿真图像样本的，还是属于真实图像样本的，并将所得差异检测结果(也可以记为领域判别结果)反馈至第一部分中的有监督训练中，以辅助确定所训练的深度学习网络的网络参数的调整内容及方向，快速且准确地得到所需的目标图像处理模型。

其中，在上述模型训练过程中，在第一部分执行的不断监督训练过程中，会不同调整所训练的深度学习网络的网络参数，使得具有调整后的网络参数的深度学习网络对仿真图像样本进行特征提取，所得到的仿真图像特征越来越接近相应的真实图像特征，从而使得第二部分的判别模型对新输入的仿真图像特征的判别概率(即输入的图像特征来自真实图像样本的概率)越来越大，如此循环直至训练的模型输出达到训练约束条件，得到目标图像处理模型。

在本申请提出的又一些实施例中，区别于上文描述的目标图像处理模型的训练方式，本申请还可以先通过对仿真图像样本进行优化的方式，来得到更加接近真实图像的样本数据，再对所得样本数据(优化后的仿真图像样本及其标注信息)进行有监督训练，得到目标图像处理模型，

在上述实施例描述的图像处理模型训练过程中，可以对深度学习网络中的判别模型进行优化训练，以提高判别模型的输出准确性，进而提高图像处理模型的训练效率及准确性。示例性的，本申请可以在判别网络的损失函数中增强注意力机制，以提高判别结果的准确性，但并不局限于这种优化方式，可以依据实际应用场景的图像处理任务需求确定，本申请在此不做详述。

需要说明，关于上述监督训练的深度学习网络的网络类型及其网络组成结构，可以依据目标场景的具体图像处理任务确定，面对不同的图像处理任务，所选择的深度学习网络的网络类型可以不同，相应地实现模型训练的损失函数类型也可以不同，如用以实现目标检测任务的区域卷积神经网络、用以实现图像分割任务的图像语义分割网络等，本申请在此不做一一详述。

在一种可能的实现方式中，本申请可以预先构建目标场景下的不同图像处理任务与不同网络类型的深度学习网络之间的对应关系，这样，在需要训练满足该图像处理任务的目标图像处理模型时，计算机设备可以按照该对应关系，将不同图像处理任务各自对应的任意一种网络类型的深度学习网络，确定为用以训练该图像处理任务对应的目标图像处理模型的深度学习网络，之后，再按照上述方式实现目标图像处理模型的训练。

示例性的：根据图像处理任务的要求以及不同深度学习网络的特点，确定图像处理任务与深度学习网络之间的对应关系，进行该对应关系的预先设定，以使计算机设备能够依据该对应关系，高效且准确地确定出适合当前图像处理任务的深度学习网络，来完成模型训练过程；此外，本申请还可以根据对抗训练过程以及训练好的模型的后续使用效果，对该对应关系进行设定或调整，即可以依据图像处理应用的反馈信息，更新图像处理任务与深度学习网络之间的对应关系，提高了所依据的该对应关系的可靠性及准确性，进而有助于选择更合适的深度学习网络进行训练和后续的处理，以提高训练效率，提升图像处理效果。

其中，对于上述对应关系的获取方法，在一些实施例中，本申请可以依据不同深度学习网络的特点，为相应深度学习网络配置至少一个图像处理标签，每一个图像处理标签对应一种图像处理任务，可见，一种深度学习网络可能适用于一种或多个图像处理任务，通过配置的图像处理标签，可以预先确定不同网络类型的深度学习网络与图像处理任务之间的对应关系。这样，在实际应用中，确定目标应用场景下的当前图像处理任务后，确定与其对应的图像处理标签，再从具有该图像处理标签的深度学习网络中，选定用以训练当前图像处理任务对应的目标图像处理模型的深度学习网络。

在又一些实施例中，本申请也可以将深度学习网络所能够实现的整个数据处理过程，划分成如特征提取、损失计算、采样等几部分，将每一个部分作为一个子网络模块，可以依据不同的图像处理任务的特点，预先确定每一个子网络模块所采用的深度学习算法，对于同一类子网络模块，可以得到具有不同特点的多个子网络模块，以供实际应用中选择，但并不局限于本实施例列举的这几部分，可视情况而定。可见，本实施例所确定的对应关系，可以是不同图像处理任务与不同类型对应的一个或多个子网络模块之间的对应关系。

关于子网络模块处理过程，以损失计算模块为例，对于目标检测类的图像处理任务，预先可以利用如L1 loss和Focal Loss等损失函数，构成相应的损失计算模块，并为这类损失计算模块配置目标检测标签(也可以配置更细粒度的标签，并不局限于目标检测标签)，确定其与目标检测类的图像处理任务之间的对应关系。基于此，若实际应用中，确定当前图像处理任务属于目标检测类，在确定用以训练目标图像处理模型的深度学习网络过程中，选择所需的损失计算模块时，可以选择具有目标检测标签的任一损失计算模块。同理，对于构成深度学习网络的其他数据处理阶段所需的子网络模块，也可以按照这种处理方式选定，最后，由选定的具有目标检测标签的各子网络模块，构成当前图像处理任务对应的深度学习网络，以进一步实现目标图像处理模型的训练。

需要说明，对于上述目标场景下的不同图像处理任务，与不同网络类型的深度学习网络之间的对应关系的获取方法，并不局限于上文列举的实现方法。

综上，针对现实中的目标场景，在监督训练相应的目标图像处理模型过程中，本实施例采用对抗学习的思路，构建该目标场景对应的仿真场景，从而利用该仿真场景下自带标注信息的仿真图像样本，及目标场景下的真实图像样本，对深度学习网络进行监督对抗学习，将仿真场景下的仿真图像样本与目标场景下的真实图像样本的数据分布相统一，从而使得在仿真场景下监督训练的目标图像处理模型，在目标场景下能够具有同样的输出效果，满足目标场景的图像处理任务，同时摆脱有监督深度学习对真实场景的人工标注信息的依赖，极大节约了数据标注成本，且保证了训练所得目标图像处理模型输出准确性及可靠性。

参照图3，为本申请提出的图像处理模型的训练方法的又一可选示例的流程示意图，本实施例可以是上述实施例描述的图像处理模型的训练方法的一可选细化实现方式，但并不局限于本实施例描述的这种细化实现方式。如图3所示，该细化实现方式可以包括：

步骤S21，获得针对目标场景构建的仿真场景；

步骤S22，获取目标场景下的真实图像样本，以及上述仿真场景下的仿真图像样本和标注信息；

关于步骤S21和步骤S22的实现过程，可以参照上述实施例相应部分的描述，本实施例不做赘述。且关于构建仿真场景与获取真实图像样本的执行顺序，并不局限于本实施例描述的步骤执行顺序。

步骤S23，将真实图像样本、仿真图像样本输入监督学习模型进行特征提取，得到真实图像特征和仿真图像特征；

本申请实施例中，参照图4所示的深度学习网络监督对抗训练过程的一可选应用流程示意图，图4仅以图像分割应用场景下的图像样本为例进行说明，但并不局限于图像分割应用场景。如图4所示，本实施例中用以模型训练的深度学习网络可以包括监督学习模型和判别模型两部分，其中，构成该监督学习模型的深度学习网络的网络类型，可以依据目标场景的具体图像处理任务确定，该图像处理任务可以包括但并不局限于图像分类、目标检测、图像分割等，本申请实施例中，面对不同内容的图像处理任务，可以选择不同类型的深度学习网络来构成初始的监督学习模型，如图像分类网络、目标检测网络、图像分割网络等。因此，本申请对步骤S23中的监督学习模型的类型不做限定。

而且，对于现实场景下的任一种图像处理任务，还可以进一步依据该图像处理任务的具体内容，确定构成初始的监督学习模型具体采用的深度学习算法，其可以包括但并不局限于：传统的卷积神经网络CNN(Convolutional Neural Networks)、基于区域的卷积神经网络RCNN(Region-based Convolutional Neural Networks)、RCNN优化后的Faster-RCNN、YOLO(You Only Look Once，即一种基于深度神经网络的对象识别和定位网络)网络、边缘分割网络、语义分割网络，或者是多个网络结构的组合等相应的深度学习算法，本申请对其运算原理不做一一详述。

在依据目标场景的具体图像处理任务，确定上述监督学习模型的网络类型之后，如图4所示，监督学习模型可以先对输入的各图像样本(其包含仿真图像样本、真实图像样本)进行特征提取，得到相应的图像特征，再对该图像特征做进一步处理，此时对于不同图像处理任务，最终所得的图像处理结果内容可能不同。如在目标检测场景下，图像处理结果可以为识别出的各目标对象及其类别信息；在图像分割场景下，图像处理结果可以为识别出的各区域及其位置信息；在图像分类场景下，图像处理结果可以为输入待处理图像的图像类别等，本申请在此不做一一详述。

其中，对于上述图像特征可以是相应图像样本具有的图像高层表征能力的Feature map(特征图)，但本申请对该特征图的具体图像表征形式不做限定。示例性的，若构成上述监督学习模型的深度学习网络为卷积神经网络，对于输入的仿真图像样本和真实图像样本，可以将该卷积神经网络中高层卷积层输出的特征图，确定为相应图像样本的特征图，即上述仿真图像特征、真实图像特征。关于如上述各目标场景下的图像特征提取的具体实现过程，可以依据相应监督学习模型的工作原理确定，本申请不做详述。

步骤S24，将真实图像特征和仿真图像特征输入判别模型进行处理，输出该仿真图像特征的第一损失值；

结合上文对本申请技术构思的相关描述，本实施例在得到仿真图像样本的仿真图像特征、真实图像样本的真实图像特征后，可以分成两部分进行后续处理，其中一部分为了消除真实图像样本与仿真图像样本之间的数据分布差异，将利用判别模型对由监督学习模型得到的各图像特征进行差异检测，确定本次得到的仿真图像特征的差异检测结果，如判别本次输入的图像特征来自真实图像样本的真实性概率，以此来预测输入的图像特征来自真实图像样本，还是来自仿真图像样本。

可见，上述判别模型可以是一个二分类模型，用以识别输入的图像特征所对应的图像样本来源，也就是说，若输入的仿真图像特征，该判别模型期望输出该仿真图像特征来自仿真图像样本；若输入的真实图像特征，该判别模型期望输出该真实图像特征来自真实图像样本，本申请对构成该判别模型的深度学习网络的网络类别不做限定，可以选择任意具备二分类能力的神经网络构成上述判别模型，如多层感知机MLP(MultilayerPerceptron)等。

应该理解，本申请实施例对深度学习网络不断监督对抗训练过程中，会不断对网络参数进行调整，其包括对上述监督学习模型具有的第一模型参数(如相应深度学习网络的权值、偏置等)的调整，这就会使得每次训练后的监督学习模型对仿真图像样本进行特征提取后，所得到的仿真图像特征与相应的真实图像特征之间的差异越来越小，即仿真图像特征越来越靠近相应真实图像特征，但与此同时，上述判别模型输出的差异检测结果，会越来越靠近来自真实图像样本这种数据源判别结果。

其中，在判别模型执行过程中，为了使得上述监督学习模型所进一步处理的仿真图像特征，如上述判别模型期望的结果，即与真实图像特征之间的数据分布差异越来越小，保证训练后的监督学习模型在对真实图像进行处理的情况下，所得到的图像处理效果越来越符合目标场景的图像处理任务要求，本实施例可以将判别模型输出的针对本次仿真图像特征的差异检测结果，反馈至上述监督学习模型，以便在调整监督学习模型的第一模型参数时，能够结合该差异检测结果实现。

由于在模型训练应用中，可以利用损失函数来评价模型的预测值与真实值不一样的程度，损失函数越好，通常模型的性能越好。因此，对于上述判别模型，也可以依据目标场景的图像处理任务要求配置相应的损失函数，这样，该判别模型输出的上述差异检测结果，可以由该损失函数的损失值(本申请将其记为第一损失值)表示。示例性的，该第一损失值可以是0或1(分别表示不是来自真实图像样本、来自真实图像样本)，也可以是概率值等，本申请上述第一损失值的内容可以依据所选择的损失函数类型确定，本申请对此不做限定。

在一些实施例中，为了保证上述判别模型输出的准确性和可靠性，本申请还可以利用其每次输出的差异检测结果(即上述第一损失值)反馈至该判别模型，调整该判别模型的第二模型参数，达到优化判别模型的目的，具体优化实现过程本实施例不做详述。

步骤S25，按照目标场景下的图像处理任务，通过监督学习模型对仿真图像特征进行处理，得到相应仿真图像样本的仿真图像处理结果；

结合有监督训练的工作原理，针对不同的图像处理任务，确定构成初始模型的深度学习网络的网络类型，确定初始模型即上述初始的监督学习模型后，将获取的图像样本(其包含了仿真图像样本和真实图像样本)输入该监督学习模型进行处理，得到相应的图像特征后，为了满足相应的图像处理任务，需要该监督学习模型的其他网络层继续对仿真图像特征进行处理，如识别感兴趣区域，从多个感兴趣区域中确定目标区域及其类别信息等，这将依据具体图像处理任务及其对应选定的深度学习网络，确定对仿真图像特征的进一步处理过程，得到相应内容的图像处理结果，并不局限于本申请列举的处理过程。

步骤S26，将该仿真图像处理结果与标注信息进行比较，得到该仿真图像处理结果的第二损失值；

结合上文对判别模型的相关描述，在监督学习模型对仿真图像特征及其标注信息进一步处理过程中，也可以依据相应的损失函数，来获取对仿真图像特征进一步处理后，得到的图像处理结果与该标注信息之间的差异，具体可以由损失函数输出的第二损失值来表示该差异，本申请对监督学习模型中采用的损失函数及其输出的第二损失值的表示方式均不作限定，可视情况而定。

应该理解，步骤S26所比较的标注信息的内容，与图像处理结果的内容类型一致，具体可以依据目标场景下的图像处理任务确定。示例性的，在目标检测场景下，仿真图像样本的标注信息可以是该仿真图像样本中对象的目标检测框位置信息，经过监督学习模型对仿真图像特征的进一步处理，可以得到仿真图像特征的响应峰值，通过对仿真图像特征的各响应峰值，获得相应的候选检测框的位置信息，即目标检测场景下的仿真图像处理结果，之后，可以通过损失函数，获取每个候选检测框与相应目标检测框之间的第二损失值。

而在图像分割场景下，仿真图像样本的标注信息可以是该仿真图像样本包含的各区域边缘信息，经过监督学习模型对仿真图像特征的进一步处理，如逐像素确定特征响应峰值，以此实现对仿真图像样本的区域分割，得到各候选区域边缘信息，再通过损失函数，获取每个候选区域边缘信息与目标区域边缘信息之间的第二损失值。可见，本申请在不用的图像处理任务下，获取的仿真图像样本的标注信息内容不同，相应地，监督学习模型对仿真图像样本进行处理，得到的仿真图像处理结果的内容也不同，但与标注信息内容类型一致，具体内容本申请不做一一详述。

在本申请提出的一些实施例中，对于上述监督学习模型和判别模型各自的损失函数，可以是依据图像处理任务确定的不同损失函数；可选的，由于判别模型主要用来判别输入的图像特征的数据源领域，所以，本申请可以为各图像处理任务配置相同的判别模型，其包括相同的深度学习网络类型和损失函数类型，当然，也可以配置不同的判别模型，可视情况而定。

其中，本申请实施例涉及到的损失函数可以包括但并不局限于：0-1损失函数、交叉熵损失函数(Cross-entropy loss function)、交叉熵损失的延伸Focal lossfunction、L1/L2损失函数、BCE损失函数等，如上述分析，可以依据具体图像处理任务要求，选择合适的损失函数，以实现相应模型的训练，提高模型输出准确性。

步骤S27，依据第一损失值与第二损失值，调整监督学习模型的第一模型参数，得到目标图像处理模型。

结合上文对本申请技术构思以及图4所示的模型训练过程可知，相对于传统的有监督训练方式，本申请不再仅依据监督学习模型输出的第二损失值，调整该监督学习模型的第一模型参数，而是依据第一损失值和第二损失值，实现对监督学习模型的第一模型参数的调整，结合上文对第一损失值和第二损失值的描述，本申请实施例这种模型参数调整方式，不仅能够提高监督学习模型对仿真图像样本的输出效果(如目标检测、图像分割、图像分类等图像处理结果的准确性)，且能够同时使该监督学习模型对真实图像处理，得到较高的输出效果，以可靠完成目标场景的图像处理任务。

在一些实施例中，关于本申请利用仿真图像特征及其标注信息、该仿真图像特征与真实图像特征的差异检测结果，对深度学习网络进行有监督对抗训练过程中，所调整的深度学习网络的网络参数，并不局限于上述监督学习模型的第一模型参数，结合上文相应部分的描述，该网络参数还可以包括判别模型的第二模型参数(如判别网络的权重等)，本申请对如何依据第一损失值与第二损失值，对深度学习网络多次监督对抗学习的具体实现过程不做详述。

在一种可能的实现方式中，本申请可以先确定模型训练的训练约束条件，如第二损失值小于第二损失阈值，和/或监督训练次数达到预设次数等，可以依据实际场景要求确定训练约束条件内容，本申请对该训练约束条件内容不做限定。

基于此，监督学习模型的每次训练过程中，按照上述方式得到第二损失值后，可以检测是否满足预设的训练约束条件(若其包含对监督训练次数的约束，在此之前还可以统计当前监督训练次数，实现方式不做限定，如利用计数器实现)，若满足训练约束条件，可以将本次训练得到的网络结果确定为目标图像处理模型；若不满足训练约束条件，可以按照步骤S27方式，调整深度学习网络的网络参数(如上述第一模型参数)，之后，再由具有调整后的网络参数的深度学习网络继续按照上文描述的训练过程，继续对获取的仿真图像样本和真实图像样本进行处理，如此循环，直至满足上述训练约束条件，得到目标图像处理模型。

综上所述，在利用目标场景下的真实图像样本，相应仿真场景下的仿真图像样本及其标注信息，对深度学习网络进行监督对抗学习，以得到满足目标场景的图像处理任务的目标图像处理模型的实现过程中，本申请实施例将由基于人工智能算法构建的初始的监督学习模型和判别模型，构成初始图像处理模型即初始深度学习网络结构，之后，将获取的自带标注信息的仿真图像样本，及无标注信息的真实图像样本输入监督学习模型，得到相应的仿真图像特征和真实图像特征后，会将所得图像特征输入判别模型进行领域判别，输出该仿真图像特征相对于真实图像特征的第一损失值，同时监督学习模型将继续对仿真图像特征及其标注信息进行处理，得到该仿真图像特征的仿真图像处理结果，相对于其标注信息的第二损失值，后续会将第一损失值和第二损失值都反馈至监督学习模型，据此调整其具有的第一模型参数，以使得调整后的监督学习模型对各图像样本进行特征提取后，所得仿真图像特征与真实图像特征更接近，如此循环训练，直至满足训练约束条件，将得到满足目标场景的图像处理任务的目标图像处理模型。

由上述目标图像处理模型的训练过程可知，本申请这种训练方式不仅摆脱了传统的有监督深度学习对真实场景的人工标注信息的依赖，极大节约了数据标注成本，提高了模型训练效率及准确性，而且，通过基于特征的领域迁移学习，实现了仿真场景下的仿真图像样本与目标场景下的真实图像样本的数据分布统一，保证在仿真场景下监督训练的目标图像处理模型，在现实世界的目标场景下具有同样的输出效果，满足现实世界中的图像处理任务需求。

在本申请提出的又一些实施例中，结合上文相应部分的描述，区别于上文实施例采用的基于特征的领域迁移学习方式，在对真实图像特征和仿真图像特征进行差异检测，得到仿真图像特征的差异检测结果之后，本实施例可以利用改差异检测结果对仿真图像特征进行优化，得到优化后的仿真图像特征，之后，再按照目标场景下的图像处理任务，通过深度学习网络(此处可以是上述初始的监督学习模型)对优化后的仿真图像特征进行处理，得到相应仿真图像样本的仿真图像处理结果，通过将该仿真图像处理结果与相应标注信息进行比较，得到仿真图像处理结果的第三损失值，进而依据该第三损失值，调整深度学习网络的网络参数(如上述第一模型参数)，得到目标图像处理模型。关于第三损失值的获取过程，以及利用该第三损失值实现的监督训练过程，可以参照上述实施例相应部分的描述，本实施例不做赘述。

可见，本实施例描述的这种有监督对抗训练方式，也实现了对图像样本的自动标注，提高了标注效率及准确性，同时考虑到仿真场景与真实场景之前的数据分布差异，通过将仿真图像样本向真实图像样本方向优化，保证依据优化后的仿真图像样本训练所得到的目标图像处理模型，能够可靠且准确实现对现实世界采集到的真实图像的处理，满足相应的图像处理任务需求。

在本申请实际应用中，对于上文训练得到的目标图像处理模型，本申请可以将其与目标场景下相应的图像处理任务进行关联，并将该关联关系及该目标图像处理模型进行存储，以便后续图像处理应用中，能够依据该关联关系，直接调用相应的目标图像处理模型，不需要在线训练模型，提高图像处理效率。需要说明，本申请对该目标图像处理模型的具体存储方式不做限定，可视情况而定。

其中，对于上述训练的目标图像处理模型可以共享，因此，在上述实施例的执行主体计算机设备为电子设备的情况下，可以将该目标处理模型及其与图像处理任务的任务标识(用以区分不同的图像处理任务，如任务名称、属性或唯一标识符等)的关联关系，上传至服务设备进行存储，这样，在后续应用中，任一电子设备或其他服务设备都可以通过访问该服务设备，调用所需的图像处理模型，满足相应图像处理任务的图像处理需求。

基于上文描述，参照图5示出的本申请提出的图像处理方法的一可选示例的流程示意图，该方法可以适用于上述计算机设备，如图5所示，该图像处理方法可以包括以下步骤：

步骤S31，获取针对目标场景的目标图像处理任务的图像处理请求；

步骤S32，响应该图像处理请求，得到目标场景下的待处理真实图像，并调用与目标图像处理任务对应的预训练的目标图像处理模型；

应该理解，通过解析图像处理请求，得到目标图像处理任务的目标任务标识后，可以先检测是否存在于该目标任务标识对应的图像处理模型，若存在，直接将预先存储的与该目标任务标识对应的图像处理模型，确定为目标图像处理模型；若不存在，需要由该计算机设备或通知其他设备，按照上述实施例描述的图像处理模型的训练方法，获得针对该目标图像处理任务的目标图像处理模型，具体实现过程不再赘述。

其中，对于目标图像处理模型的调用过程，在一些实施例中，参照图6所示的流程图，计算机设备可以生成携带有目标图像处理任务的目标任务标识的模型调用请求，并将该模型调用请求发送至服务设备，由服务设备查询与该目标任务标识关联的目标图像处理模型，并反馈至本计算机设备，图6所示应用场景以计算机设备是电子设备为例进行说明，但并不局限于该应用场景，结合上述分析，对于执行上述模型训练方法的计算机设备，也并不局限于图6所示的服务设备，本申请可以依据实际情况，来确定应用场景中执行上述模型训练过程的计算机设备，以及执行图像处理方法的计算机设备的产品类型，并不局限于图6所示的应用场景。

步骤S33，将待处理真实图像输入目标图像处理模型进行图像处理，输出待处理真实图像的目标图像处理结果。

结合上文实施例相应部分的描述，该目标图像处理模型是利用目标场景下的真实图像样本、仿真图像样本及其标注信息，对深度学习网络进行监督对抗训练得到的，该仿真图像样本依据针对目标场景构建的仿真场景获得，深度学习网络的网络类型可以依据目标场景下的目标图像处理任务确定，关于目标图像处理模型的具体训练过程，可以参照上述实施例相应部分的描述，本申请在此不做赘述。

应该理解的是，在使用预训练的目标图像处理模型过程中，还可以依据目标图像处理结果，进一步对该目标图像处理模型进行优化，具体优化方式可以参照上述实施例的模型训练过程，本申请实施例在此不做详述。

综上，在本申请实施例中，结合上文对目标图像处理模型的训练过程的相关描述，其能够用以实现真实世界中的图像处理，保证所得图像处理结果可靠且准确，满足真实世界的目标图像处理任务。

另外，对于上述目标图像处理结果的内容，可以依据目标图像处理任务需求确定。示例性的，在目标检测任务中，如道路上的车辆检测场景，可以通过三维引擎来获得仿真场景(如图7a左侧附图所示场景)下的仿真图像样本及其对象检测框标注信息，还有改车辆检测场景(如图7a右侧附图所示场景)下的真实图像样本，并选择Faster RCNN这种神经网络作为目标检测网络，即确定初始的监督学习模型，将带有对象检测框标注信息的仿真图像样本，以及无标注信息的真实图像样本输入该Faster RCNN，由该目标检测网络的最后一个卷积层输出相应的仿真特征图和真实特征图，即上述仿真图像特征和真实图像特征。

之后，可以利用L1 loss和FocalLoss这两种损失函数，对仿真特征图及其对象检测框标注信息进行监督训练，得到相应的损失值，同时利用预设的领域判别网络MLP(即上述判别模型)，以及BCE损失函数，对仿真特征图和真实特征图进行损失计算，将得到的损失值与上述监督训练得到的损失值同时反馈至Faster RCNN，调整其网络参数，继续按照上述方式进行监督对抗训练，直至满足训练约束条件，得到满足目标检测任务的目标检测模型。这种情况下，可以将真实的道路检测图像输入该目标检测模型，得到如图7b所示的目标检测结果，可以输出各车辆的检测框，以及该车辆类别等。

同理，在图像分割场景下，本申请也可以采用三维引擎获得道路场景(如图8a左侧附图所示真实道路场景)和场景的逐像素的分割标注(如图8a右侧附图所示内容)，构建具有标注信息的仿真图像样本，并确定无标注信息的真实图像样本，之后，可以DeepLab图像分割网络的最后一个卷积层，输出仿真特征图和真实特征图，利用entropy loss这一损失函数，获取仿真特征图的损失值，同时利用MLP判别网络及BCE Loss，对仿真特征图和真实特征图进行领域判别，得到仿真特征图的损失值，将其与上述监督训练得到的损失值同时反馈至DeepLab，调整其网络参数，继续按照上述方式进行监督对抗训练，直至满足训练约束条件，得到满足图像分割任务的图像分割模型。这种情况下，可以将真实的道路检测图像输入该图像分割模型，得到如图8b所示的图像分割效果，可以输出该道路检测图像包含的各区域，可以采用不同的显示状态(如颜色等)区别表示。

对于其他图像处理任务，获取其对应的图像处理模型及其应用过程，与上述目标检测任务、图像分割任务的实现过程类似，本申请在此不做一一详述。综合上述各实施例的描述，本申请通过利用自带标注信息(即真实场景的标注结果)的、易于获得的仿真场景下的仿真图像，构建实现仿真场景到真实场景的领域迁移检测网络(即上述深度学习网络)，从而达到无需利用真实场景数据的人工标注信息，在现实世界能够进行有效检测的目的，极大地节约数据标注成本，提高了模型训练效率及准确性。

本申请上述实施例中使用了流程图，来说明根据本申请的实施例的计算机设备所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作，本申请在此不做一一详述。

参照图9，为本申请提出的图像处理模型训练装置的一可选示例的结构示意图，该装置可以适用于上述计算机设备，如图9所示，该装置可以包括：

样本数据获取模块91，用于获取目标场景下的真实图像样本，以及针对该目标场景构建的仿真场景下的仿真图像样本和标注信息；

其中，所述标注信息能够表征仿真图像样本所包含的仿真对象的分布信息。

可选的，为了获取仿真场景下的仿真图像样本和标注信息，该样本数据获取模块91可以包括：

真实图像样本获取单元，用于获取目标场景下的真实图像样本；

仿真场景获得单元，用于获得针对目标场景的仿真场景；

图像渲染单元，用于对该仿真场景进行图像渲染，得到渲染图像，并将该渲染图像确定为仿真图像样本；

分布规则确定单元，用于确定所述渲染图像包含的仿真对象的分布规则；

标注信息得到单元，用于依据所述分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。

模型训练模块92，用于利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，其中，所述深度学习网络的网络类型依据所述目标场景的图像处理任务确定。

在一些实施例中，上述模型训练模块92可以包括：

特征提取单元，用于对所述真实图像样本和所述仿真图像样本分别进行特征提取，得到真实图像特征和仿真图像特征；

差异检测单元，用于对所述真实图像特征和所述仿真图像特征进行差异检测，得到所述仿真图像特征的差异检测结果；

模型训练单元，用于利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型。

进一步地，若上述深度学习网络包括监督学习模型和判别模型，上述特征提取单元具体可以用于将所述真实图像样本和所述仿真图像样本输入所述监督学习模型进行特征提取，得到真实图像特征和仿真图像特征；

上述差异检测单元可以包括：

领域判别单元，用于将所述真实图像特征和所述仿真图像特征输入所述判别模型进行处理，输出所述仿真图像特征的第一损失值；

其中，第一损失值可以表征相应仿真图像特征与真实图像特征的相似概率，或者说是该仿真图像特征为真实图像特征的判别概率等。

上述模型训练单元具体可以用于利用所述仿真图像特征、所述标注信息及所述第一损失值，对所述监督学习模型进行有监督训练，得到目标图像处理模型。

在本申请提出的又一些实施例中，上述模型训练单元还可以包括：

第一图像特征处理单元，用于按照所述目标场景的图像处理任务，通过深度学习网络对所述仿真图像特征进行处理，得到该仿真图像样本的仿真图像处理结果；

第一仿真图像损失值获取单元，用于将所述仿真图像处理结果与所述标注信息进行比较，得到所述仿真图像处理结果的第二损失值；

第一调整单元，用于依据所述差异检测结果和所述第二损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

在本申请提出的又一些实施例中，上述模型训练单元还可以包括：

仿真图像特征优化单元，用于利用所述差异检测结果对所述仿真图像特征进行优化，得到优化后的仿真图像特征；

第二图像特征处理单元，用于按照所述目标场景下的图像处理任务，通过深度学习网络对优化后的仿真图像特征进行处理，得到该仿真图像样本的仿真图像处理结果；

第二仿真图像损失值获取单元，用于将所述仿真图像处理结果与所述标注信息进行比较，得到所述仿真图像处理结果的第三损失值；

第二调整单元，用于依据所述第三损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

参照图10，为本申请提出的图像处理装置的一可选示例的结构示意图，该装置可以适用于上述计算机设备，如图10所示，该装置可以包括：

图像处理请求获取模块101，用于获取针对目标场景的目标图像处理任务的图像处理请求；

待处理图像得到模块102，用于响应所述图像处理请求，得到所述目标场景下的待处理真实图像，并调用与所述目标图像处理任务对应的预训练的目标图像处理模型；

图像处理模块103，用于将所述待处理真实图像输入所述目标图像处理模型进行图像处理，输出所述待处理真实图像的目标图像处理结果；

其中，所述目标图像处理模型是利用所述目标场景下的真实图像样本、仿真图像样本及所述仿真图像样本的标注信息，对深度学习网络进行监督对抗训练得到的，且所述仿真图像样本依据所述目标场景构建的仿真场景获得，所述深度学习网络的网络类型依据所述目标场景下的目标图像处理任务确定。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，可以由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，也可以由该程序模型和硬件结合实现，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行，实现上述图像处理模型的训练、图像处理方法的相应步骤，具体实现过程可以参照上述方法实施例的描述。

本申请还提出了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理模型的训练、图像处理方法或相应装置方面的各种可选实现方式中所提供方法，具体实现过程可以参照上述相应实施例的描述，不做赘述。

参照图11，为适用于本申请提出的图像处理模型的训练、图像处理方法和装置的计算机设备的一可选示例的硬件结构示意图，如上述分析，该计算机设备可以使上述服务设备或电子设备，本申请对该计算机设备的产品类型不做限定，且图11示出的计算机设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限定。

如图11所示，本实施例提出的计算机设备可以包括：通信接口111、至少一个存储器112和至少一个处理器113，其中：

通信接口111、存储器112、处理器113可以连接通信总线，相互之间可以通过该通信总线实现数据交互，具体实现过程可以根据实际应用需求确定，本申请不做详述。

通信接口111可以为适用于无线网络或有线网络的通信模块的接口，如GSM模块、WIFI模块、蓝牙模块、无线射频模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块等通信模块的通信接口，可以实现与其他设备的数据交互，具体可以根据实际应用需求确定；当然，该通信接口111还可以包括如USB接口、串/并口等接口，用以实现计算机设备内部组成部件之间的数据交互。关于该通信接口111包含的接口类型及数量，可以根据该计算机设备的设备类型及其应用需求确定，本申请不做一一详述。

存储器112可以用于存储实现本申请提出的图像处理模型训练方法的第一程序，和/或存储实现如上述的图像处理方法的第二程序；处理器113可以用于加载并执行存储器112存储的第一程序，以实现上述的图像处理模型训练方法的步骤，和/或加载并执行存储器112存储的第二程序，以实现上述的图像处理方法的步骤，具体实现过程可以参照但并不局限于下文实施例相应部分的描述。

本申请实施例中，存储器112可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器113，可以为中央处理器(CentralProcessing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

在一种可能的实现方式中，存储器112可以包括程序存储区和数据存储区，该程序存储区可以存储操作系统、以及至少一个功能(如图像处理功能、图像显示功能等)所需的应用程序、实现本申请提出的图像处理模型的训练、图像处理方法的相应程序等；数据存储区可以存储计算机设备使用过程中所产生的数据，如获取的图像处理模型、图像处理结果等。

应该理解的是，图11所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中，计算机设备可以包括比图11所示的更多或更少的部件，或者组合某些部件，可以结合该计算机设备的设备类型及功能需求确定，本申请在此不做一一列举。

最后，需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请上文描述中涉及到的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、服务器而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域专业技术人员可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所以说，以上所述的各实施例仅表达了本申请的几种实施方式，以使本领域专业技术人员能够实现或使用本申请，但并不能因此而理解为对本申请专利范围的限制。应该理解，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，本领域技术人员可以对其进行若干变形或改进，这些均属于本申请的保护范围。也就是说，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像处理模型训练方法，其特征在于，所述方法包括：

获取目标场景下的真实图像样本，以及针对所述目标场景构建的仿真场景下的仿真图像样本和标注信息，其中，所述标注信息能够表征所述仿真图像样本所包含的仿真对象的分布信息；

利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，其中，所述深度学习网络的网络类型依据所述目标场景下的图像处理任务确定。

2.根据权利要求1所述的方法，其特征在于，所述利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，包括：

对所述真实图像样本和所述仿真图像样本分别进行特征提取，得到相应的真实图像特征和仿真图像特征；

对所述真实图像特征和所述仿真图像特征进行差异检测，得到所述仿真图像特征的差异检测结果；

利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型。

3.根据权利要求1所述的方法，其特征在于，所述深度学习网络的网络类型依据所述目标场景下的图像处理任务确定，包括：

按照预先构建的所述目标场景下的不同图像处理任务与不同网络类型的深度学习网络之间的对应关系，将所述不同图像处理任务各自对应的任一网络类型的深度学习网络，确定为用以训练该图像处理任务对应的目标图像处理模型的深度学习网络。

4.根据权利要求2所述的方法，其特征在于，所述深度学习网络包括监督学习模型和判别模型，所述对所述真实图像样本和所述仿真图像样本分别进行特征提取，得到真实图像特征和仿真图像特征，包括：

将所述真实图像样本和所述仿真图像样本输入所述监督学习模型进行特征提取，得到真实图像特征和仿真图像特征；

所述对所述真实图像特征和所述仿真图像特征进行差异检测，得到所述仿真图像特征的差异检测结果，包括：

将所述真实图像特征和所述仿真图像特征输入所述判别模型进行处理，输出所述仿真图像特征的第一损失值；

所述利用所述仿真图像样本、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，具体为：

利用所述仿真图像特征、所述标注信息及所述第一损失值，对所述监督学习模型进行有监督训练，得到目标图像处理模型。

5.根据权利要求2～4任一项所述的方法，其特征在于，所述利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，包括：

按照所述目标场景的图像处理任务，通过深度学习网络对所述仿真图像特征进行处理，得到所述仿真图像样本的仿真图像处理结果；

将所述仿真图像处理结果与所述标注信息进行比较，得到所述仿真图像处理结果的第二损失值；

依据所述差异检测结果和所述第二损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

6.根据权利要求2所述的方法，其特征在于，所述利用所述仿真图像特征、所述标注信息及所述差异检测结果，对深度学习网络进行有监督训练，得到目标图像处理模型，包括：

利用所述差异检测结果对所述仿真图像特征进行优化，得到优化后的仿真图像特征；

按照所述目标场景下的图像处理任务，通过深度学习网络对所述优化后的仿真图像特征进行处理，得到所述仿真图像样本的仿真图像处理结果；

将所述仿真图像处理结果与所述标注信息进行比较，得到所述仿真图像处理结果的第三损失值；

依据所述第三损失值，调整所述深度学习网络的网络参数，得到目标图像处理模型。

7.根据权利要求1～4任一项所述的方法，其特征在于，所述仿真场景下的仿真图像样本和标注信息的获取过程，包括，

对所述仿真场景进行图像渲染，得到相应的渲染图像，并将所述渲染图像确定为仿真图像样本；

确定所述渲染图像包含的仿真对象的分布规则；

依据所述分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。

8.一种图像处理方法，其特征在于，所述方法包括：

获取针对目标场景的目标图像处理任务的图像处理请求；

响应所述图像处理请求，得到所述目标场景下的待处理真实图像，并调用与所述目标图像处理任务对应的预训练的目标图像处理模型；

将所述待处理真实图像输入所述目标图像处理模型进行图像处理，输出所述待处理真实图像的目标图像处理结果；

其中，所述目标图像处理模型是利用所述目标场景下的真实图像样本、仿真图像样本及所述仿真图像样本的标注信息，对深度学习网络进行监督对抗训练得到的，所述仿真图像样本依据针对所述目标场景构建的仿真场景获得，所述深度学习网络的网络类型依据所述目标场景下的目标图像处理任务确定。

9.一种图像处理模型训练装置，其特征在于，所述装置包括：

样本数据获取模块，用于获取目标场景下的真实图像样本，以及针对所述目标场景下的仿真图像样本和标注信息，其中，所述标注信息能够表征所述仿真图像样本所包含的仿真对象的分布信息；

模型训练模块，用于利用所述真实图像样本、所述仿真图像样本及所述标注信息，对深度学习网络进行监督对抗训练，得到目标图像处理模型，其中，所述深度学习网络的网络类型依据所述目标场景的图像处理任务确定。

10.一种图像处理装置，其特征在于，所述装置包括：

图像处理请求获取模块，用于获取针对目标场景的目标图像处理任务的图像处理请求；

待处理图像得到模块，用于响应所述图像处理请求，得到所述目标场景下的待处理真实图像，并调用与所述目标图像处理任务对应的预训练的目标图像处理模型；

图像处理模块，用于将所述待处理真实图像输入所述目标图像处理模型进行图像处理，输出所述待处理真实图像的目标图像处理结果；

其中，所述目标图像处理模型是利用所述目标场景下的真实图像样本、仿真图像样本及所述仿真图像样本的标注信息，对深度学习网络进行监督对抗训练得到的，且所述仿真图像样本依据所述目标场景构建的仿真场景获得，所述深度学习网络的网络类型依据所述目标场景下的目标图像处理任务确定。

11.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行，实现如权利要求1所述的图像处理模型训练方法，和/或实现如权利要求8所述的图像处理方法。

Images