CN112712098A - 图像数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像数据处理方法及装置，其中，该方法包括：根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，获取虚拟传感器在目标数据采集场景下采集的第一样本数据；根据第一样本数据，采用预设数据增广方法，获取第一扩展数据集。通过在平行图像系统提供的数据采集场景中采集样本数据，并对样本数据进行扩展，能够快速得到大量的样本数据，从而提高数据采集效率；且平行图像系统提供的数据采集场景能够真实还原现实场景中的城市地表信息、交通状况及天气状况，保证了样本数据的真实性以及丰富程度。通过本发明实施例提供的图像数据处理方法获取大量样本数据时，无需投入过多的人力物力，还能够有效降低成本。

Description

图像数据处理方法及装置

技术领域

本发明涉及机器学习技术领域，尤其涉及一种应用于机器学习技术的图像数据处理方法及装置。

背景技术

随着机器学习技术的快速发展，机器学习被广泛应用在多个领域，例如：自动驾驶、目标检测、目标追踪、场景理解、驾驶策略检验等。但是，样本数据量的大小一直是制约机器学习发展的瓶颈之一，现有技术中，为了增加样本数据量，通过增加采集次数、延长采集时间的方式，来获取更多的数据量。

但是，采用上述方法虽然能够保证数据的真实性，但数据采集效率较低。

发明内容

本发明提供一种图像数据处理方法及装置，以实现快速获得大量的样本数据，且保证样本数据的真实性。

第一方面，本发明提供一种图像数据处理方法，该方法应用于平行图像系统，包括：

根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，其中，所述平行图像系统用于提供多种不同的数据采集场景，所述目标数据采集场景为所述多种不同的数据采集场景中的一种或多种；

获取所述虚拟传感器在所述目标数据采集场景下采集的第一样本数据；

根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集，所述第一扩展数据集包括第一样本数据对应的多个第一扩展数据。

可选地，所述根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器之前，还包括：

根据采集的现实场景对应的图像数据以及三维重建技术建立所述现实场景的重建场景，所述现实场景的重建场景用于提供城市地表信息；

将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，其中，所述虚拟城市场景至少用于提供多种不同的交通状况场景以及多种不同的气候场景。

可选地，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，包括：

从交通状况场景数据库中提取目标交通状况场景对应的物体的轨迹数据，其中，所述目标交通状况场景为所述多种不同的交通状况场景中的一种；

将所述目标交通状况场景对应的物体的轨迹数据加载至所述现实场景的重建场景。

可选地，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，包括：

从气候场景数据库中提取目标气候场景对应的数据集，其中，所述目标气候场景为所述多种不同的气候场景中的一种；

将所述目标气候场景对应的数据加载至所述现实场景的重建场景中，并执行渲染。

可选地，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景之前，还包括：

将所述现实场景的重建场景与所述现实场景对应的电子地图数据进行比较，确定所述现实场景的重建场景的精度满足要求。

可选地，所述方法还包括：

获取在所述目标数据采集场景对应的现实场景中采集的第二样本数据；

相应地，根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集之后，还包括：

根据所述第二样本数据，采用预设数据增广方法，获取第二扩展数据集。

可选地，所述预设数据增广方法包括以下一种或多种：传统数据增广法、风格迁移法、语义分割增广法、生成模型增广法。

可选地，所述方法还包括：

采用所述第一扩展数据集和所述第二扩展数据集以及机器学习模型进行学习，获取学习结果；

根据所述学习结果以及所述第二样本数据携带的标签真值，对所述机器学习模型的参数和/或所述虚拟传感器的参数进行调整。

可选地，所述根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集之前，还包括：

对所述第一样本数据进行预处理，获取所述第一样本数据的标签真值；

相应地，所述根据所述第二样本数据，采用预设数据增广方法，获取第二扩展数据集之前，还包括：

对所述第二样本数据进行预处理，获取所述第二样本数据的标签真值。

第二方面，本发明提供一种数据处理装置，该装置包括：

第一处理模块，用于根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，其中，所述平行图像系统用于提供多种不同的数据采集场景，所述目标数据采集场景为所述多种不同的数据采集场景中的一种或多种；

获取模块，用于获取所述虚拟传感器在所述目标数据采集场景下采集的第一样本数据；

数据增广模块，用于根据所述第一样本数据，采用预设数据增广方法，确定第一扩展数据集，所述第一扩展数据集包括第一样本数据对应的多个第一扩展数据。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器以及计算机程序；

所述存储器存储所述计算机程序；

所述处理器执行所述计算机程序，以执行第一方面所述的方法。

第四方面，本发明实施例提供一种存储介质，包括：程序；

所述程序在被处理器执行时，以执行第一方面所述的方法。

第五方面，本发明实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，所述数据处理装置的至少一个处理器可以从所述可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得所述数据处理装置执行如第一方面任一项所述的图像数据处理方法。

本发明提供一种图像数据处理方法及装置，其中，该方法包括：根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，获取虚拟传感器在目标数据采集场景下采集的第一样本数据，根据第一样本数据，采用预设数据增广方法，获取第一扩展数据集。本发明的有益效果在于：平行图像系统能够提供多种不同的数据采集场景，通过在平行图像系统提供的数据采集场景中采集样本数据，并对数据进行扩展，能够快速得到大量的样本数据，从而提高数据采集效率；且平行图像系统提供的数据采集场景能够真实还原现实场景中的城市地表信息、交通状况以及天气状况，保证了样本数据的真实性以及丰富程度。通过本发明提供的图像数据处理方法，无需投入过多的人力物力，还能够有效降低成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本发明提供的图像数据处理方法实施例一的流程示意图；

图1B为本发明提供的图像数据处理方法的流程示意图；

图2A为本发明提供的图像数据处理方法实施例二的流程示意图；

图2B为本发明提供的平行图像系统的结构示意图；

图3为本发明提供的图像数据处理装置实施例一的结构示意图；

图4为本发明提供的图像数据处理装置实施例二的结构示意图；

图5为本发明提供的电子设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

机器学习技术已广泛应用于自动驾驶、目标检测、目标追踪、场景理解、驾驶策略检验等领域，在应用过程中需要大量的图像数据作为样本数据，并根据样本数据进行训练获得机器学习模型，之后采用训练好的机器学习模型进行目标检测、目标追踪、场景理解、驾驶策略检验等。

在训练获得机器学习模型的过程中，样本数据的数据量一直是制约机器学习发展的重要因素之一。

目前，为增加样本数据的数据量，常多通过增加采集次数、延长采集时间的方式，来获取更多的样本数据。但是，通过上述方式在现实世界中大批量采集真实数据所耗费的人力物力成本较高，并且受到季节、光线、时间的限制，较多场景下的样本数据难以获取，因此，在现实世界中快速获取大量的、且真实性较高的样本数据较为困难。

基于上述问题，本发明提供一种图像数据处理方法，以实现快速获得大量的样本数据，且有效保证样本数据的真实性。

下面，通过几个具体的实施例对本发明提供的图像数据处理方法进行详细介绍：

图1A为本发明提供的图像数据处理方法实施例一的流程图。本实施提供的图像数据处理方法的执行主体为本发明提供的数据处理装置，该装置可由任意的软件和/或硬件的方式实现。

示例性地：该装置可以为终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统，服务器计算机系统，手持或膝上设备，基于微处理器、CPU、GPU的系统，可编程消费电子产品，网络个人电脑，小型计算机系统，大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

如图1所示，本实施例的方法包括：

S101、根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器。

其中，平行图像系统用于提供多种不同的数据采集场景，其中，多种不同的数据采集场景中包括本步骤中涉及的目标数据采集场景。

为使本发明方案更加清楚，这里首先对平行图像系统进行详细介绍，平行图像系统是一种能够自动按需生成大量用于提高机器学习模型精度和泛化能力的，与现实世界中的场景相似且多于现实世界的场景的多传感器数据集生产系统。

参照图1B所示，平行图像系统提供的数据采集场景是通过在现实场景中采集图像数据，并根据采集到的图像数据生成现实场景的重建场景，之后，将现实场景的重建场景与预先建立的虚拟城市场景进行融合得到的。本发明实施例中的“融合”是指将现实场景的重建场景融入虚拟的交通状况场景和虚拟的气候场景中，以实现对现实场景的重建场景进行自动生产相关数据集所需的处理，例如，场景归类、环境丰富、传感器适配等。

具体地，平行图像系统提供的数据采集场景可通过下述方式获得：

首先，采集现实场景中包括一个或多个物体的图像数据，利用三维重建技术对在现实场景中采集到的包括一个或多个物体的图像数据进行分析，进一步结合视觉知识获得图形数据中包括的物体的三维信息，根据物体的三维信息建立现实场景的重建场景。其中，三维重建技术是指通过摄像机获取现实场景中包括一个或多个物体的图像数据，并对该图像数据进行分析处理，结合计算机视觉知识推导出现实场景中物体的三维信息。

其中，该现实场景的重建场景是一种虚拟的三维场景，现实场景的重建场景可以包括城市地表信息，城市地表信息可以包括以下一项或多项：道路、道路图标、建筑物、红绿灯、警示牌、立交桥、高速公路、居民区、工业区、跨海大桥、盘山公路等。

接着，将现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取平行图像系统提供的多种不同的数据采集场景。

其中，预先建立的虚拟城市场景用于提供多种不同的交通状况场景以及多种不同的气候场景。将现实场景的重建场景与预先建立的虚拟城市场景进行融合，现实场景的重建场景可提供与现实场景中相同的城市地表信息，预先建立的虚拟城市场景可模拟多种不同的交通状况以及气候状况，将现实场景的重建场景与预先建立的虚拟城市场景进行融合，获得多种不同的数据采集场景。

需要说明的是，本发明实施例中，现实场景的重建场景分别与交通状况场景、气候场景的融合是一种松耦合的关系，也就是说，现实场景的重建场景可以单独与交通状况场景融合，也可以单独与气候场景融合，还可以既与交通状况场景进行融合，也与气候场景进行融合。

现实场景的重建场景与交通状况场景的融合包括：首先，从交通状况场景数据库中选取目标交通状况场景，其中，交通状况场景数据库包括多种不同交通状况场景对应的物体的轨迹数据；然后，将目标交通状况场景对应的物体的轨迹数据加载到现实场景的重建场景中，从而实现现实场景的重建场景与交通状况场景的融合。

其中，交通状况场景数据库可以是通过对大量路段进行实际交通轨迹提取建立的。具体地，轨迹提取包括：首先获取大量路段的实际交通数据，采用深度学习检测模型对实际交通数据进行物体检测，之后，将检测到的物体的位置信息输入到深度学习跟踪模型中进行目标追踪，从而获得像素级的物体的动态轨迹，然后，通过地理信息辅助将像素级的物体的动态轨迹转换成GPS轨迹，并将GPS轨迹确定为交通状况场景对应的物体的轨迹数据。

现实场景的重建场景与气候场景的融合包括：首先，从气候场景数据库中选取目标气候场景，其中，气候场景数据库包括多种不同气候场景对应的数据；然后，将目标气候场景对应的数据加载到现实场景的重建场景中，并执行渲染，从而实现现实场景的重建场景与气候场景的融合。

在一些可能的实现方式中，为了保证融合后的数据采集场景的真实性，将目标气候场景对应的数据加载到现实场景的重建场景中并执行渲染之后，还可以对目标气候场景对应的数据进行风格迁移处理。

现实场景的重建场景与交通状况场景以及气候场景进行融合包括：首先，从交通状况场景数据库中选取目标交通状况场景；然后，将目标交通状况场景对应的物体的轨迹数据加载到现实场景的重建场景中；接着，从气候场景数据库中选取目标气候场景，并将目标气候场景对应的数据加载到现实场景的重建场景中，并执行渲染，从而实现现实场景的重建场景与交通状况场景和气候场景的融合。

通过上述方式获得的多种不同的数据采集场景与现实世界的场景更为接近，且能够打破季节、光线以及时间等外部因素的限制，在平行图像系统提供的多种不同的数据采集场景中采集样本数据，不仅能够保证采集到的样本数据的真实性，还能够提高数据采集效率。

另外，在平行图像系统中，各个数据采集场景中的物体之间可以具有通信机制，当虚拟传感器在数据采集场景中的位置改变时，可以根据各个物体之间的通信机制自动获取其他物体的实时信息，从而保证虚拟传感器在数据采集场景中获得的数据的准确性。

在实际应用中，为了保证现实场景的重建场景的准确性，在将现实场景的重建场景与预先建立的虚拟城市场景进行融合之前，还可以将现实场景的重建场景对应的图像数据与现实场景对应的电子地图数据进行比较，以保证通过三维重建技术获得的现实场景的重建场景的精度满足要求。一种可能的实现方式：可将现实场景的重建场景中的道路图标数量、道路长度，区域面积以及感兴趣点的数量中的一个或多个与现实场景对应的电子地图数据中道路图标数量、道路长度，区域面积以及感兴趣点的数量分别进行比较，根据比较结果确定现实场景的重建场景的精度是否满足要求。这里以道路图标数量为例进行说明：在现实场景的重建场景中共存在N个道路图标，在现实场景对应的电子地图数据中，现实场景对应的电子地图数据中该现实场景中内共存在M个道路图标，如果N大于或等于M，则认为现实场景的重建场景的精度满足要求，若N小于M，则认为现实场景的重建场景的精度不满足要求，这里仅是示例性说明，并不是对本发明中确定现实场景的重建场景的精度满足要求的实现方式的限制。通过道路长度、区域面积以及兴趣点的数量等确定现实场景的重建场景的精度是否满足要求的实现方式与通过道路图标确定现实场景的重建场景的精度是否满足要求的实现方式类似，此处不展开赘述。

在本实施例中，图像数据处理装置能够调用平行图像系统，并将虚拟传感器部署在平行图像系统提供的目标数据采集场景中。其中，虚拟传感器可以为由平行图像系统提供的能够在数据采集场景中完成传感器信息采集的虚拟组件，例如：虚拟传感器可以为视觉传感器，例如，虚拟传感器可以为虚拟相机、虚拟激光雷达等，该视觉传感器能够在平行图像系统提供的数据采集场景中完成样本数据的采集。

另外，虚拟传感器的参数可根据需求定制化，例如，虚拟传感器为虚拟相机时，该虚拟相机的相机参数、可视范围、分辨率、相机角度等均可根据需求定制化；虚拟传感器为虚拟激光雷达时，该虚拟激光雷达的线数、角分辨率、检测距离、反射强度、颜色信息、水平角度以及输出频率等参数均可根据需求定制化。

接下来对本步骤进行详细介绍：数据应用目的表示进行数据增广的目的，具体为进行图像数据增广的目的，例如：数据应用目的可以为自动驾驶策略优化，或者数据应用目的可以为目标检测，不同的数据应用目的所对应的数据应用场景不同。图像数据处理装置根据数据应用目的，确定与该数据应用目的对应类型的虚拟传感器，其中，与数据应用目的对应的虚拟传感器可以为一种，也可以为多种，之后，图像数据处理装置通过调用平行图像系统将虚拟传感器部署在平行图像系统提供的目标数据采集场景中。

本发明实施例中，目标数据采集场景为与数据应用目的对应的数据采集场景，平行图像系统提供的多种不同数据采集场景包括上述目标数据采集场景。

一种可能的实现方式，在图像数据处理装置中预先存储数据应用目的与虚拟传感器类型的对应关系，当用户根据需要输入数据应用目的，图像数据处理装置自动根据数据应用目的以及预先存储的数据应用目的与虚拟传感器类型的对应关系，确定与用户输入的数据应用目的对应类型的虚拟传感器。接着，图像数据处理装置通过调用平行图像系统，将确定的虚拟传感器部署在平行图像系统提供的目标数据采集场景中。

另一种可能的实现方式，由用户根据数据应用目的，确定与该数据应用目的对应类型的虚拟传感器，并将虚拟传感器的类型输入至图像数据处理装置中，接着，图像数据处理装置通过调用平行图像系统，将确定的虚拟传感器部署在平行图像系统提供的目标数据采集场景中。

在上述可能的实现方式中，用户可以是通过手动的方式输入，也可以是通过语音的方式输入，或者还可以通过其他方式输入，本发明实施例对此不做限制。

S102、获取虚拟传感器在目标数据采集场景下采集的第一样本数据。

具体地，部署在目标数据采集场景中的虚拟传感器能够针对目标数据采集场景中的目标物采集传感器数据，并将采集的传感器数据传输至图像数据处理装置中，以使图像数据处理装置根据接收到的第一样本数据进行数据增广。

虚拟传感器在部署完成后，可自动开始采集第一样本数据，或者，也可在接收到由用户输入的数据采集指令后开始采集第一样本数据，本发明实施例对此不作限制。

S103、根据第一样本数据，采用预设数据增广方法，获取第一扩展数据集。

具体地，采用预设数据增广方法，并将第一样本数据作为源数据，进行数据增广，以得到大量的增广数据。预设数据增广方法可以包括：传统数据增广法、风格迁移法、语义分割增广法以及生成模型增广法，在实际应用中，可采用以上一种或多种。

接下来，针对以上几种数据增广方法进行详细介绍：

传统数据增广法是最简单、最原始的数据增广方法，通过对样本图像进行几何位置，对比度等变换，从而生成新的图像数据。

风格迁移法，即通过模仿一幅图像(风格图像)的风格并将其迁移到另一幅图像中，从而获得一幅在展示效果上与风格图像的风格相近，但图像内容与内容图像一致的图像数据。通过采用风格迁移法，可生成多幅光照、时段、天气和季节的图像。新生成的图像数据尽在RGB图像上与原内容图像不同，其深度图、相机参数仍然保持一致。本实施例中，RGB表示红(R)、绿(G)、蓝(B)三个通道的颜色。

语义分割技术是通过训练神经网络模型，使其对输入图像中的每个像素进行分类，从而识别出图像中车辆、道路、行人、建筑物等物体在图像中的区域分布。语义分割增广法是一种基于语义分割技术的数据增强方法，通过将输入的图片进行分割归类，通过改变不同区域的纹理信息，即可生成新的图像数据。例如：源图像中有一辆救护车，采用语义分割增广法确定出救护车在源图像中的像素区域，再将救护车在源图像中的像素区域的图像替换成货车的纹理，即可得到一张包含货车的新图像数据。采用语义分割增广法生.成的新的图像尽在RGB图像上与源图像不同，其深度图、相机参数仍然保持一致。

生成模型增广法是利用生成模型进行数据增广，具体地，首先，通过语义分割技术对源图像进行分割归类，再利用生成模型改变图像中某些区域的内容。在利用生成模型生成某些区域新图像之前，先使用深度学习去除目标区域中的冗余信息，获取该区域最基本的描述数据。然后，调整描述数据，利用生成模型并基于调整后的描述数据生成新的区域图像。采用生成模型增广法生成的新图像仅对源数据中部分区域的RGB图像进行了调整，故其仅在RGB图像上与源图像不同，其深度图、相机参数仍然保持一致。

采用以上一种或多种预设数据增广法进行数据增广，生成的扩展数据，仅在RGB图像上与源数据存在差异，其深度图以及相机参数与源数据仍然保持一致，能够较好地保证扩展数据中关键信息的一致性。

本实施例中，首先根据数据应用目的，确定与数据应用目的对应类型的虚拟传感器，并将虚拟传感器部署在平行图像系统提供的目标数据采集场景中，获取虚拟传感器在目标数据采集场景下采集的第一样本数据，根据第一样本数据，采用预设数据增广方法，获取第一扩展数据集。本实施例中，平行图像系统能够提供多种不同的数据采集场景，通过在平行图像系统提供的数据采集场景中采集样本数据，并对数据进行扩展，能够快速得到大量的样本数据，从而提高数据采集效率；且平行图像系统提供的数据采集场景能够真实还原现实场景中的城市地表信息、交通状况以及天气状况，保证了样本数据的真实性以及丰富程度。通过实施例提供的图像数据处理方法，无需投入过多的人力物力，还能够有效降低成本。

图2A为本发明提供的图像数据处理方法实施例二的流程示意图。如图2A所示，本实施例的方法包括：

S201、根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器。

S202、获取虚拟传感器在目标数据采集场景下采集的第一样本数据。

S203、根据第一样本数据，采用预设数据增广方法，获取第一扩展数据集。

本实施例中步骤S201至步骤S203分别与图1A所示实施例中步骤S101至S103类似，可参照图1A所示实施例中的详细描述，此处不再赘述。

S204、获取在目标数据采集场景对应的现实场景中采集的第二样本数据。

在目标数据采集场景对应的现实场景中采集的第二样本数据相较于虚拟传感器在目标数据采集场景中采集的第一样本数据，真实性更高，为了进一步提高样本数据的真实性，因此，可通过真实传感器获取在目标数据采集场景所对应的现实场景中采集第二样本数据。

一种可能的实现方式，在目标数据采集场景对应的现实场景中，采用真实传感器采集第二样本数据，之后将真实传感器与图像数据处理装置连接，真实传感器将采集到的第二样本数据传输至图像数据处理装置。例如：通过相机(相机即真实传感器)在目标数据采集场景对应的现实场景采集图片数据，并将图片数据进行存储，其中，采集到的图片数据即为第二样本数据，之后，将相机与图像数据处理装置连接，将相机中存储的第二样本数据传输至图像数据处理装置。

其中，相机与图像数据处理装置可通过有线的方式连接，也可通过无线的方式连接，本发明实施例对此不做限制。

另一种可能的实现方式，图像数据处理装置包括真实传感器，通过图像数据处理装置中的真实传感器在目标数据场景对应的现实场景采集第二样本数据。

或者图像数据处理装置还可以通过其他方式获取第二样本数据，本发明实施例对于图像数据处理装置获取第二样本数据的实现不做限制，上述两种可能的实现方式仅是示例性地，并不是对图像数据处理装置获取第二样本数据的具体实现方式的限制。

S205、根据第二样本数据，采用预设数据增广方法，获取第二扩展数据集。

本步骤中，采用预设数据增广方法，进行数据增广的过程，与图1A所示实施例中步骤S103的实现原理类似，可参照步骤S103的详细描述，本步骤与图1中步骤S103的区别仅在于，本步骤中源数据为第二样本数据，而步骤S103中源数据为第一样本数据。

S206、采用第一扩展数据集和第二扩展数据集以及机器学习模型进行学习，获取学习结果。

其中，由于数据应用目的不同，所对应的机器学习模型也不同，例如：数据应用目的为自动驾驶策略优化，其所对应的机器学习模型为自动驾驶策略优化模型；数据应用目的为目标检测，其所对应的机器学习模型为目标检测模型。

本步骤中，将第一扩展数据集中包含的多个第一扩展数据，以及第二扩展数据集中包含的多个第二扩展数据，输入至机器学习模型中，以使机器学习模型进行学习，获取学习结果，学习结果即为机器学习模型的输出结果。例如，若机器学习模型为目标检测模型，那么，机器学习模型的学习结果即为目标检测结果，该目标检测结果为目标检测模型输出的目标检测物在输入的图像数据中的像素位置，该像素位置可以文本的形式表示。

在实际应用中，在采用机器学习模型进行学习的过程中，输入至机器学习模型中的样本数据均携带标签真值，因此，在采用第一扩展数据集合第二扩展数据集以及机器学习模型进行学习之前，需要对第一扩展数据集中的多个第一扩展数据进行处理，以获取多个第一扩展数据分别携带的标签真值，以及对第二扩展数据集中的多个第二扩展数据进行处理，以获取多个第二扩展数据分别携带的标签真值。

由于本发明实施例所采用的预设数据增广方法，在对第一样本数据和第二样本数据进行数据增广时，所生成的第一扩展数据和第二扩展数据仅在RGB图像上与源图像不同，深度图以及相机参数仍与源图像保持一致，也就是说，第一样本数据若携带标签真值，那么，第一样本数据对应的第一扩展数据也携带标签真值，相应地，第二样本数据若携带标签真值，那么，第二样本数据对应的第二扩展数据也携带标签真值。因此，为提高数据处理效率，在进行数据增广之前，对第一样本数据以及第二样本数据进行预处理，分别获取第一样本数据携带的标签真值和第二样本数据携带的标签真值，以使第一扩展数据集中包含的多个第一扩展数据均携带标签真值，第二扩展数据集中包含的多个第二扩展数据均携带标签真值。

由于第一样本数据的数量远小于第一扩展数据集中第一扩展数据的数量，第二样本数据的数量远小于第二扩展数据集中第二扩展数据的数量，因此，对第一样本数据以及第二样本数据进行预处理，分别获取第一样本数据携带的标签真值和第二样本数据携带的标签真值，还能够提高数据处理效率。

S207、根据所述学习结果、第一样本数据携带的标签真值以及第二样本数据携带的标签真值，对机器学习模型的参数和/或虚拟传感器的参数进行调整。

具体地，将学习结果与第一样本数据携带的标签真值以及第二样本携带的标签真值进行比较，以确定学习结果是否达标，从而确定是否需要对机器学习模型的参数和/或虚拟传感器的参数进行调整。若上述学习结果不达标，则可能是以下两种因素造成：第一、机器学习模型参数不准确，需要进一步优化；第二、输入至机器学习模型的第一扩展数据和/或第二扩展数据无法被识别，例如：相机曝光时间过长或曝光时间过短，导致图像不够清晰，那么，需要对虚拟传感器的参数进行调整。

本实施例中，平行图像系统能够提供多种不同的数据采集场景，通过在平行图像系统提供的数据采集场景中采集样本数据，并对数据进行扩展，能够快速得到大量的样本数据，从而提高数据采集效率；且平行图像系统提供的数据采集场景能够真实还原现实场景中的城市地表信息、交通状况以及天气状况，保证了样本数据的真实性以及丰富程度。通过本实施例提供的图像数据处理方法，无需投入过多的人力物力，还能够有效降低成本。

在一些可能的实现方式中，参照图2B所示，可将本发明中的图像数据处理装置与平行图像系统集成在一起，由平行图像系统执行本发明实施例中的技术方案。如图2B所示，该平行图像系统包括：数据接入模块、数据增广模块、数据加载模块以及评价模块，其中，数据接入模块能够获取在平行图像系统提供的目标数据采集场景中采集的第一样本数据，其中，目标数据采集场景是根据现实场景的重建场景和预先建立的虚拟城市场景进行融合得到的，以及能够获取在现实场景中采集的第二样本数据；

数据接入模块与数据增广模块连接，数据增广模块能够根据数据接入模块提供的第一样本数据以及第二样本数据，采用预设的数据增广方法进行数据增广，获得第一扩展数据集以及第二扩展数据集；

数据加载模块分别与数据增广模块、数据应用系统以及评估模块连接，数据加载模块将数据增广模块生成第一扩展数据集以及第二扩展数据集存储于自身的存储模块，并通过与数据应用系统之间进行交互获得机器学习算法，并根据获得的机器学习算法、第一扩展数据集以及第二扩展数据集进行机器学习模型的训练以及测试。数据加载模块可以是一个云平台，在该云平台上能够根据数据应用系统提供的机器学习算法进行机器学习模型的训练及测试。

数据加载模块进行机器学习模型的训练及测试结束之后，评价模块根据数据加载模块提供的测试结果对机器学习模型进行评价，若评价模块确定机器学习模型的学习结果不达标，则评价模块可控制数据接入模块改变虚拟传感器的参数，重新获得第二样本数据，并根据重新获得的第二样本数据进行数据增广以及重新进行机器学习模型的训练以及评价。

在实际应用中，平行图像系统的结构还可以如其他方式，可根据用户需求设定，并不限定于图2B所示的方式，其只要能够完成本发明实施例的技术方案即可。

接下来，通过一详细的例子对本发明实施例的方法进行详细介绍：

第一步：数据应用目的为测试交通标牌检测算法的性能，那么，在平行图像系统提供的目标数据采集场景中部署虚拟传感器(虚拟相机)，采集目标数据采集场景中包含交通标牌的图像数据(即第一样本数据)。

第二步：对虚拟传感器采集到的图像数据进行预处理，将交通标牌在图像中的像素位置以及尺寸进行标记，并将上述标记的尺寸作为图像数据的标签真值。

第三步：采用预设数据增广法，根据预处理后的图像数据，进行数据增广，得到虚拟传感器采集到的图像数据对应的多个扩展数据，其中，每个扩展数据均携带标签真值。

同时，为丰富数据，还可采用真实传感器(真实相机)采集现实场景中包含交通标牌的图像数据(第二样本数据)，并对现实场景中采集到的包含交通标牌的图像数据(即第二样本数据)进行预处理，将交通标牌在图像中的像素位置以及尺寸进行标记，并将上述标记信息作为图像数据的标签真值，进一步，采用预设数据增广法，根据预处理后的图像数据，进行数据增广，得到真实传感器在现实场景中采集到的图像数据对应的多个扩展数据，其中，每个扩展数据均携带标签真值。

第四步：将上述虚拟传感器采集的图像数据对应的扩展数据以及真实传感器采集的图像数据对应的扩展数据输入至交通标牌检测模型中(该交通标牌检测模型即为本发明实施例中所指的机器学习模型)，交通标牌检测模型采用上述虚拟传感器采集的图像数据对应的扩展数据以及真实传感器采集的图像数据进行学习，并输出学习结果，其中，学习结果中包含交通标牌检测模型输出的每个扩展数据中交通标牌在扩展数据中的像素位置以及尺寸。

第五步：将交通标牌检测模型输出的学习结果与扩展数据携带的标签真值进行比较，根据学习结果中像素位置与扩展数据携带的标签真值中的像素位置的重合度，确定交通标牌检测模型的学习结果是否达标。

第六步：若是学习结果不达标，则可以调整交通标牌检测模型的参数和/或虚拟传感器的参数。

示例性地，可以先调整虚拟传感器的参数，例如：虚拟传感器的角度、位置、成像亮度等参数中的一个或多个，之后，通过调整后的虚拟传感器重新获取第一样本数据，接着，对重新获取的第一样本数据进行预处理、以及数据增广，进一步，交通标牌检测模型根据第一扩展数据集进行重新学习，若学习结果仍不达标，则可重复上述过程进行多次学习训练；若多次学习结果均不达标，则可调整交通标牌检测模型的相关参数，并利用调整后的交通标牌检测模型、第一扩展数据集以及第二扩展数据集进行重新学习，直至学习结果达标。

通过调整交通标牌检测模型和/或虚拟传感器的参数，对交通标牌检测模型进行优化，从而使交通标牌检测模型输出结果更加准确。

图3为本发明提供的图像数据处理装置实施例一的结构示意图。如图3所示，本实施例的装置30包括：第一处理模块31、获取模块32以及数据增广模块33。

其中，第一处理模块31，用于根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，其中，所述平行图像系统用于提供多种不同的数据采集场景，所述目标数据采集场景为所述多种不同的数据采集场景中的一种或多种。

获取模块32，用于获取虚拟传感器在目标数据采集场景下采集的第一样本数据。

数据增广模块33，用于根据第一样本数据，采用预设数据增广方法，确定第一扩展数据集。

其中，预设数据增广方法包括以下一种或多种：传统数据增广法、风格迁移法、语义分割增广法、生成模型增广法。

本实施例的装置，可以用于执行图1A所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在图3所示实施例的基础上，可选地，还包括：场景融合模块34，其中，场景融合模块34具体用于：根据采集的现实场景对应的图像数据以及三维重建技术建立所述现实场景的重建场景，所述现实场景的重建场景用于提供城市地表信息；以及，将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，其中，所述虚拟城市场景至少用于提供多种不同的交通状况场景以及多种不同的气候场景。

可选地，场景融合模块34，具体用于：从交通状况场景数据库中提取目标交通状况场景对应的物体的轨迹数据，其中，所述目标交通状况场景为所述多种不同的交通状况场景中的一种；以及，将所述目标交通状况场景对应的物体的轨迹数据加载至所述现实场景的重建场景。

可选地，场景融合模块34，具体用于：从气候场景数据库中提取目标气候场景对应的数据集，其中，所述目标气候场景为所述多种不同的气候场景中的一种；以及，将所述目标气候场景对应的数据加载至所述现实场景的重建场景中，并执行渲染。

可选地，在将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景之前，还包括：

场景融合模块34，还用于将所述现实场景的重建场景与所述现实场景对应的电子地图数据进行比较，确定所述现实场景的重建场景精度满足要求。

图4为本发明提供的图像数据处理装置实施例二的结构示意图。如图4所示，本实施例的装置40在图3所示实施例的基础上，还包括：数据应用模块35。

在一些实施例中，获取模块32，还用于获取在所述目标数据采集场景对应的现实场景中采集的第二样本数据。

相应地，数据增广模块33，还用于根据所述第二样本数据，采用预设数据增广方法，获取第二扩展数据集。

数据应用模块35，具体用于采用第一扩展数据集和第二扩展数据集以及机器学习模型进行学习，获取学习结果；进一步，根据所述学习结果、所述第一样本数据携带的标签真值以及所述第二样本数据携带的标签真值，对所述机器学习模型的参数和/或虚拟传感器的参数进行他调整。

可选地，在一些实施例中，数据增广模块33，还用于根据第一样本数据，采用预设数据增广法，获取第一扩展数据集之前，对第一样本数据进行预处理，获取所述第一样本数据的标签真值。

数据增广模块33，还用于根据第二样本数据，采用预设数据增广法，获取第二扩展数据之前，对第二样本数据就进行预处理，获取第二样本数据的标签真值。

本实施例提供的装置，可以用于执行图2A所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明提供的电子设备实施例一的结构示意图。如图5所示，本实施例的电子设备包括：

存储器51、处理器52以及计算机程序。

其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现图1A、图2A实施例所示的图像数据处理方法。相关说明可以对应参见图1A、图2A所示实施例中各步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本实施例中，存储器51和处理器52通过总线53连接。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图1A、图2A实施例所示的图像数据处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程图像数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，其中，所述平行图像系统用于提供多种不同的数据采集场景，所述目标数据采集场景为所述多种不同的数据采集场景中的一种或多种；

获取所述虚拟传感器在所述目标数据采集场景下采集的第一样本数据；

根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集，所述第一扩展数据集包括第一样本数据对应的多个第一扩展数据。

2.根据权利要求1所述的方法，其特征在于，所述根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器之前，还包括：

根据采集的现实场景对应的图像数据以及三维重建技术建立所述现实场景的重建场景，所述现实场景的重建场景用于提供城市地表信息；

将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，其中，所述虚拟城市场景至少用于提供多种不同的交通状况场景以及多种不同的气候场景。

3.根据权利要求2所述的方法，其特征在于，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，包括：

从交通状况场景数据库中提取目标交通状况场景对应的物体的轨迹数据，其中，所述目标交通状况场景为所述多种不同的交通状况场景中的一种；

将所述目标交通状况场景对应的物体的轨迹数据加载至所述现实场景的重建场景。

4.根据权利要求2所述的方法，其特征在于，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景，包括：

从气候场景数据库中提取目标气候场景对应的数据集，其中，所述目标气候场景为所述多种不同的气候场景中的一种；

将所述目标气候场景对应的数据加载至所述现实场景的重建场景中，并执行渲染。

5.根据权利要求2所述的方法，其特征在于，所述将所述现实场景的重建场景与预先建立的虚拟城市场景进行融合，获取所述平行图像系统提供的目标数据采集场景之前，还包括：

将所述现实场景的重建场景与所述现实场景对应的电子地图数据进行比较，确定所述现实场景的重建场景精度满足要求。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取在所述目标数据采集场景对应的现实场景中采集的第二样本数据；

相应地，根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集之后，还包括：

根据所述第二样本数据，采用预设数据增广方法，获取第二扩展数据集，所述第二扩展数据集包含所述第二样本数据对应的多个第二扩展数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述预设数据增广方法包括以下一种或多种：传统数据增广法、风格迁移法、语义分割增广法、生成模型增广法。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

采用所述第一扩展数据集和所述第二扩展数据集以及机器学习模型进行学习，获取学习结果；

根据所述学习结果、所述第一样本数据携带的标签真值以及所述第二样本数据携带的标签真值，对所述机器学习模型的参数和/或所述虚拟传感器的参数进行调整。

9.根据权利要求7所述的方法，其特征在于，所述根据所述第一样本数据，采用预设数据增广方法，获取第一扩展数据集之前，还包括：

对所述第一样本数据进行预处理，获取所述第一样本数据的标签真值；

相应地，所述根据所述第二样本数据，采用预设数据增广方法，获取第二扩展数据集之前，还包括：

对所述第二样本数据进行预处理，获取所述第二样本数据的标签真值。

10.一种数据处理装置，其特征在于，包括：

第一处理模块，用于根据数据应用目的，在平行图像系统提供的目标数据采集场景中部署虚拟传感器，其中，所述平行图像系统用于提供多种不同的数据采集场景，所述目标数据采集场景为所述多种不同的数据采集场景中的一种或多种；

获取模块，用于获取所述虚拟传感器在所述目标数据采集场景下采集的第一样本数据；

数据增广模块，用于根据所述第一样本数据，采用预设数据增广方法，确定第一扩展数据集，所述第一扩展数据集包括第一样本数据对应的多个第一扩展数据。

Images