CN113516778A - 模型训练数据获取方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，特别是涉及一种模型训练数据获取方法、装置、计算机设备和存储介质。所述方法包括：构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；对初始训练图像进行识别，确定初始训练图像中的目标物体；基于虚拟仿真场景的模型数据，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。采用本方法能够提升模型训练数据生成智能化水平。

Description

模型训练数据获取方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种模型训练数据获取方法、装置、计算机设备和存储介质。

背景技术

随着人工智能在图像处理技术上的不断发展，计算机设备能够利用如机器学习技术，对图像或者视频进行个性化处理，如图像分类、目标检测、图像分割、关键点检测等，得到满足用户实际需求的图像处理结果。

在传统方式中，为了提高图像处理效率及准确性，通常是利用机器学习网络(尤其是深度学习网络)，对大量带有标注信息的样本数据进行有监督训练，得到满足相应场景的图像处理任务需求的图像处理模型。在该种方式中，需要从真实场景中采集大量的数据，并对采集的数据通过人工进行标注，以得到训练数据。

通过人工进行训练数据的标注，使得训练数据的生成处理过程智能化水平较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升模型训练数据生成智能化水平的模型训练数据获取方法、装置、计算机设备和存储介质。

一种模型训练数据获取方法，所述方法包括：

构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；

基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；

根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果；

基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在其中一个实施例中，场景配置参数包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数；

基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，包括：

基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在其中一个实施例中，基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，包括：

基于挂载于虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据；

对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据；

根据第一图像数据以及第二图像数据，得到对网络模型进行训练的初始训练图像。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集场景配置参数调整后的虚拟仿真场景的图像数据；

记录对场景配置参数进行调整的调整次数，并判断调整次数是否等于预设阈值，预设阈值基于网络模型的训练要求确定；

当确定调整次数等于预设阈值时，停止对场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据；

当确定调整次数小于预设阈值时，继续对场景配置参数进行调整，直至调整次数等于预设阈值。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数；

通过各调整后的场景配置参数，对虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景；

采集各调整后的虚拟仿真场景的图像数据，得到第二图像数据。

一种模型训练数据获取装置，所述装置包括：

构建模块，用于构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；

初始训练图像获取模块，用于基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；

识别模块，用于根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果；

标注模块，用于基于虚拟仿真场景的模型数据，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在其中一个实施例中，场景配置参数包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数；

初始训练图像获取模块用于基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。

上述模型训练数据获取方法、装置、计算机设备和存储介质，通过构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机，然后基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，进一步根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果，并基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。从而，可以基于虚拟相机对构建的虚拟仿真场景进行图像数据的采集，得到初始训练数据，并通过对采集的初始训练数据进行识别并进行标注，可以生成大量带标注的训练数据，相比于传统方式中通过人工进行样本的标注，带标注的训练数据的生成更加智能化。并且，通过自动化的对初始训练图像进行识别，并基于虚拟仿真场景的模型数据对识别得到的目标对象进行标注，可以使得标注的信息更加准确，可以提升生成的训练数据的准确性，进而可以提升后续模型训练的准确性。

附图说明

图1为一个实施例中模型训练数据获取方法的应用场景图；

图2为一个实施例中模型训练数据获取方法的流程示意图；

图3为另一个实施例中模型训练数据获取方法的流程示意图；

图4为又一个实施例中模型训练数据获取方法的流程示意图；

图5为一个实施例中模型训练方法的流程示意图；

图6为一个实施例中模型训练数据获取装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的模型训练数据获取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体地，用户可以通过终端102对虚拟仿真场景进行编辑构建，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机，并发送至服务器104。服务器104在获取到构建的对应真实场景的虚拟仿真场景后，可以基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。进一步，服务器104可以基于虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体，并根据识别结果对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种模型训练数据获取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机。

其中，虚拟仿真场景是指基于真实场景构建的仿真场景，场景中可以包括对应真实场景中的各物体对象，例如，以医疗手术场景为例，虚拟场景中可以包括执行手续的医生、护士、手术设备(手术机器人、灯具、手术台、各种医疗设备等)以及柜子等。本领域技术人员可以理解的是，此处所述虚拟仿真场景不仅限于医疗手术场景，还可以适用于其他的场景，如交通场景等。

本领域技术人员可以理解的是，此处所述对应真实场景的虚拟仿真场景，可以是与真实场景完全一致的场景，也可以不一致，例如，建筑物的数量、类型、结构等可以有差别，此处所述对应真实场景的虚拟仿真场景需具备真实场景的相关场景要素，例如，可以包括但不限于前文所述的各种物体，以及气象因素等。

在本实施例中，用户可以通过终端基于真实场景中的各实体物体，构建对应的虚拟仿真场景。

具体地，参考图3，服务器可以通过三维建模软件构建对真实场景中的各单个物体进行建模，然后将构建的各个模型导入虚拟仿真平台中，给各个物体设置一初始化位置，并为各物体加唯一可识别的ID号，以得到构建的基本场景。

进一步，服务器可以对基本场景进行场景配置的添加，得到对应的场景配置文件。

在本实施例中，服务器还可以在构建的基本场景中添加智能相机，即虚拟相机，并对虚拟相机添加可执行程序，使得服务器在进行仿真运行时，服务器可以自动运行该可执行程序。

步骤S204，基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在本实施例中，场景配置参数可以包括但不限于各个物体的位置、运动形态、颜色等，以及可以包括光照类型、光照强度等参数。

在本实施例中，可执行程序挂载于虚拟相机上，服务器通过运行于挂载于虚拟相机上的可执行程序，可以对虚拟仿真场景的场景配置进行调整，即调整场景配置参数，并在每一次调整后，通过虚拟相机采集虚拟仿真场景的图像数据，以得到用于初始训练数据。

在本实施例中，服务器可以预先设置对虚拟仿真场景的场景配置参数进行调整的调整次数以及调整范围，并在每一次调整后，采集对应的图像数据。

在本实施例中，服务器可以基于可执行程序，对场景配置参数进行多次调整，以使得可以采集到对应的图像数据，即可以采集到较大数据量的初始训练图像。相比于通过人工对真实场景中实景图像的采集，可以减少采集时间以及所耗费的成本，可以初始训练图像的采集效率。

步骤S206，根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果。

在本实施例中，服务器在获取到初始训练图像后，可以对获取到的初始训练图像中的目标对象进行识别，即识别初始训练图像中的感兴趣物体，如医疗场景中的各种医疗设备、医生或者护士等医护人员等。

在本实施例中，虚拟相机在采集虚拟仿真场景的图像数据时，可以根据虚拟仿真场景的模型数据，确定相机的位置，虚拟仿真场景中各物体的位置，进行确定采集得到的各初始训练图像中所包含的目标对象，进而识别得到各目标对象，并得到各目标对象的识别结果。其中，模型数据可以包括虚拟仿真场景中各个虚拟物体的物体标识、物体名称、初始位置等数据。识别结果可以包括但不限于各个目标物体的种类信息、尺寸信息以及对象标识信息等。

在本实施例中，服务器可以是在每获取到一张初始训练图像时即进行一次识别，或者也可以是在获取到所有所需获取的初始训练图像后，在进行同一的识别，本申请对此不作限制。

步骤S208，基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在本实施例中，服务器在通过虚拟相机上的可执行程序对目标物体进行识别并得到对应的识别结果后，可以根据获取到的各识别结果，对对应的目标对象进行标注，以得到标注后的用于网络模型进行训练的训练数据。

在本实施例中，初始训练图像中的目标对象可以是多个目标对象，识别结果可以是分别对应于各目标对象的识别结果。服务器可以根据各目标对象的识别结果对初始训练图像中对应的各目标对象进行标注，以得到最终的训练数据。

上述模型训练数据获取方法中，通过构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机，然后基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，进一步根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果，并基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。从而，可以基于虚拟相机对构建的虚拟仿真场景进行图像数据的采集，得到初始训练数据，并通过对采集的初始训练数据进行识别并进行标注，可以生成大量带标注的训练数据，相比于传统方式中通过人工进行样本的标注，带标注的训练数据的生成更加智能化。并且，通过自动化的对初始训练图像进行识别，并基于虚拟仿真场景的模型数据对识别得到的目标对象进行标注，可以使得标注的信息更加准确，可以提升生成的训练数据的准确性，进而可以提升后续模型训练的准确性。

在其中一个实施例中，场景配置参数可以包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数。

其中，相机位姿参数可以包括但不限于虚拟相机的相机位置、相机转换角度等参数。物体位姿参数可以包括目标物体的位置、运动方向、姿态等参数。环境参数可以包括光照条件、光照强度、光照类型等。

在本实施例中，光照条件、光照强度以及光照类型主要用于进行组合以模拟不同的光照环境等，例如，白光、暖光或者是其他特殊的光照等，或者在进行手术过程中，光照强度较强，且需满足无影要求，而在非手术过程中，则光照强度稍微较弱。

在本实施例中，基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在本实施例中，服务器可以通过挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数中至少一项场景配置参数进行调整，以得到对应于不同场景配置参数组合的虚拟仿真场景，并获取对应的图像数据。例如，能够控制虚拟相机本身以任意姿态运动到任意位置，即可以任意设置相机的位置和姿态，以此来实现在不同视角下获取图像数据，或者，也可以控制各个对象以任意姿态运动到任意位置，即可以任意设置虚拟仿真场景中各个物体的位置和姿态，或者，也可以设置光照条件，任意改变光照类型和调节光照强度，即可以模拟在各种不同的光照环境下获取图像数据。

上述实施例中，通过基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，使得采集到的各图像数据的至少一项场景配置参数是不相同的，例如，相机的角度不同、或者是相机位置不同、或者是环境不同等，从而可以得到多样性的初始训练图像，进而可以提升训练用的初始训练图像的多样性，以提升模型训练的准确性。

在其中一个实施例中，基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据；对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据；根据第一图像数据以及第二图像数据，得到对网络模型进行训练的初始训练图像。

在本实施例中，服务器进行仿真，并执行挂载于智能相机的可执行程序后，可以先采集虚拟仿真场景处于原始状态的图像数据，即采集场景配置参数在未发生改变时的图像数据。然后在通过可执行程序，对场景配置参数进行多次调整，并采集每一次调整后的图像数据，以得到初始训练图像。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

具体地，服务器确定对初始虚拟仿真场景的场景配置参数进行调整后，可以等待预设时长，在等待预设时长后，判断是都采集到对应的图像数据。

在本实施例中，当服务器确定采集到对应的图像数据后，可以继续进行下一次场景配置参数的调整，并进行下一次图像数据的采集。

在本实施例中，服务器在等待预设时长后，仍未采集到对应的图像数据，则服务器可以记录此时对应的场景配置参数，在完成所有场景配置参数的调整并完成采集后，设置场景配置参数为记录下来的场景配置参数，并再次进行对应图像数据的采集与判定。

如前所述，采集与识别可以是间插进行的。在本实施例中，服务器可以在采集到一个图像数据后，即可进行目标对象的识别与标注，并在完成标注后，再进行下一次的场景配置参数的调整，并进行采集，以此循环往复，得到用于模型训练的训练数据。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集场景配置参数调整后的虚拟仿真场景的图像数据；记录对场景配置参数进行调整的调整次数，并判断调整次数是否等于预设阈值，预设阈值基于网络模型的训练要求确定；当确定调整次数等于预设阈值时，停止对场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据；当确定调整次数小于预设阈值时，继续对场景配置参数进行调整，直至调整次数等于预设阈值。

在本实施例中，服务器可以预先设置对虚拟仿真场景进行调整的调整次数，即预设阈值，然后在进行图像数据的采集的时候，实时记录并判断对虚拟仿真场景进行调整的调整次数是否达到预设阈值，并在达到预设阈值时，完成图像数据的采集，而在未达到预设阈值时，继续进行场景配置参数的调整以及图像数据的采集。

在本实施例中，预设阈值可以根据网络模型的训练要求确定，例如，网络模型训练要求训练数据量为100万个训练样本，则均衡分配调整次数，可以确定对相机位姿参数、目标物体的物体位姿参数以及环境参数进行调整的调整次数分别为100次(100*100*100＝1000000)，即各个参数的调整次数分别为100。

在其中一个实施例中，服务器可以对每一种场景配置参数设计出优先的典型值，例如，设计出m种相机位姿，给k个物体中的每一个物体设计出n个位置，设计出p种光照条件，则可以组合出m*kⁿ*p种虚拟仿真场景，当相机位姿、任一物体位置以及光照条件中任一发生变化时，均可以确定唯一对应的虚拟仿真场景。服务器可以在虚拟相机的可执行程序中预先设置各场景配置参数的调整次数以及调整范围，使得后续可以通过可执行程序进行场景配置参数调整。

具体地，参考图4，可执行程序中可以包括多层循环，第一层循环长度为m，中间的k层循环中每一层循环的长度为n，最后一层循环长度为p，即分别对应于m种相机位姿，k个物体的各n个位置，p种光照条件。在执行可执行程序时，可以对各个循环的次数进行判定，并进行对应场景配置参数的调整，以进行图像数据的采集。

在其中一个实施例中，对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数；通过各调整后的场景配置参数，对虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景；采集各调整后的虚拟仿真场景的图像数据，得到第二图像数据。

在本实施例中，服务器基于可执行程序，对场景配置参数进行调整，得到调整后的场景配置参数。

进一步，服务器可以根据调整后的场景配置参数，对虚拟仿真场景进行刷新配置，即根据场景配置参数，对虚拟仿真场景的虚拟相机、各物体以及光照等进行刷新配置，以得到调整后的虚拟仿真场景。

进一步，服务器可以通过虚拟相机采集虚拟仿真场景调整后的图像数据，以得到第二图像数据。

本领域技术人员可以理解的，服务器在每一次确定场景配置参数调整后，均可以根据调整后的场景配置参数进行虚拟仿真场景的刷新配置，并进行后续的处理。

在其中一个实施例中，服务器在得到各调整后的场景配置参数后，可以与已采集到的各图像数据所对应的场景配置参数进行比较，以确定场景配置参数是否重复设置，从而可以避免采集到相同的图像数据，进一步提升获取到的训练数据的多样性。

在其中一个实施例中，服务器在获取到训练数据后，可以将获取到的训练数据作为第一样本数据集，对构建的初始网络模型进行初次训练，并通过从真实场景中采集到的第二样本数据集，对初次训练后的初始网络模型进行二次训练，以得到训练完成的目标网络模型。

具体地，参考图5，服务器在获取到带标记信息的样本数据集后，可以将样本数据集划分为训练集以及验证集，即可以将第一样本数据集分为第一训练数据集以及第一验证数据集。

进一步，服务器可以将第一训练数据集输入初始网络模型中，进行初始检测模型的初次训练，即通过初始网络模型对第一训练数据集进行卷积处理、下采样处理以及全连接处理后，输出对应第一训练数据集的实际输出数据，然后根据实际输出数据以及第一训练数据集，确定模型的差值，并在确定模型的差值大于或等于预设误差阈值时，得到训练后的初始网络模型。

进一步，服务器可以将第一验证数据集输入训练后的初始网络模型中，对训练后的初始网络模型进行验证，并在验证通过后得到初次训练完成的初始网络模型。

同理，服务器可以将获取到的少量的真实样本，即第二样本数据集分为训练集以及验证集，并通过前文所述的方式进行初次训练后的初始检测模型的二次训练以及验证，直至验证通过，训练完成，得到目标网络模型。

应该理解的是，虽然图2、图3以及图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3以及图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种模型训练数据获取装置，包括：构建模块100、初始训练图像获取模块200、识别模块300以及标注模块400，其中：

构建模块100，用于构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机。

初始训练图像获取模块200，用于基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

识别模块300，用于根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果。

标注模块400，用于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在其中一个实施例中，场景配置参数可以包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数。

在本实施例中，初始训练图像获取模块200用于基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在其中一个实施例中，初始训练图像获取模块200可以包括：

第一图像数据生成子模块，用于基于挂载于虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据。

第二图像数据生成子模块，用于对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据。

初始训练图像生成子模块，用于根据第一图像数据以及第二图像数据，得到对网络模型进行训练的初始训练图像。

在其中一个实施例中，第二图像数据生成子模块用于对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

在其中一个实施例中，第二图像数据生成子模块可以包括：

采集单元，用于对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集场景配置参数调整后的虚拟仿真场景的图像数据。

判断单元，用于记录对场景配置参数进行调整的调整次数，并判断调整次数是否等于预设阈值，预设阈值基于网络模型的训练要求确定。

停止单元，用于当确定调整次数等于预设阈值时，停止对场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据。

循环处理单元，用于当确定调整次数小于预设阈值时，继续对场景配置参数进行调整，直至调整次数等于预设阈值。

在其中一个实施例中，第二图像数据生成子模块可以包括：

场景配置参数调整单元，用于对初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数。

刷新配置单元，用于通过各调整后的场景配置参数，对虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景。

第二图像数据生成单元，用于采集各调整后的虚拟仿真场景的图像数据，得到第二图像数据。

关于模型训练数据获取装置的具体限定可以参见上文中对于模型训练数据获取方法的限定，在此不再赘述。上述模型训练数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储场景配置参数、图像数据以及训练数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型训练数据获取方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果；基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在其中一个实施例中，场景配置参数可以包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数。

在本实施例中，处理器执行计算机程序时实现基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在其中一个实施例中，处理器执行计算机程序时实现基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据；对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据；根据第一图像数据以及第二图像数据，得到对网络模型进行训练的初始训练图像。

在其中一个实施例中，处理器执行计算机程序时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

在其中一个实施例中，处理器执行计算机程序时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集场景配置参数调整后的虚拟仿真场景的图像数据；记录对场景配置参数进行调整的调整次数，并判断调整次数是否等于预设阈值，预设阈值基于网络模型的训练要求确定；当确定调整次数等于预设阈值时，停止对场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据；当确定调整次数小于预设阈值时，继续对场景配置参数进行调整，直至调整次数等于预设阈值。

在其中一个实施例中，处理器执行计算机程序时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数；通过各调整后的场景配置参数，对虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景；采集各调整后的虚拟仿真场景的图像数据，得到第二图像数据。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：构建对应真实场景的虚拟仿真场景，虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；根据虚拟仿真场景的模型数据，对初始训练图像进行识别，得到初始训练图像中的目标物体的识别结果；基于识别结果，对初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

在其中一个实施例中，场景配置参数可以包括虚拟相机的相机位姿参数、虚拟仿真场景中目标物体的物体位姿参数以及环境参数。

在本实施例中，计算机程序被处理器执行时实现基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过虚拟相机采集每一次相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

在其中一个实施例中，计算机程序被处理器执行时实现基于挂载于虚拟相机上的可执行程序，对虚拟仿真场景的场景配置参数进行多次调整，并通过虚拟相机采集每一次场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，可以包括：基于挂载于虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据；对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据；根据第一图像数据以及第二图像数据，得到对网络模型进行训练的初始训练图像。

在其中一个实施例中，计算机程序被处理器执行时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

在其中一个实施例中，计算机程序被处理器执行时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集场景配置参数调整后的虚拟仿真场景的图像数据；记录对场景配置参数进行调整的调整次数，并判断调整次数是否等于预设阈值，预设阈值基于网络模型的训练要求确定；当确定调整次数等于预设阈值时，停止对场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据；当确定调整次数小于预设阈值时，继续对场景配置参数进行调整，直至调整次数等于预设阈值。

在其中一个实施例中，计算机程序被处理器执行时实现对初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，可以包括：对初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数；通过各调整后的场景配置参数，对虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景；采集各调整后的虚拟仿真场景的图像数据，得到第二图像数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型训练数据获取方法，其特征在于，所述方法包括：

构建对应真实场景的虚拟仿真场景，所述虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；

基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的场景配置参数进行多次调整，并通过所述虚拟相机采集每一次所述场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；

根据所述虚拟仿真场景的模型数据，对所述初始训练图像进行识别，得到所述初始训练图像中的目标物体的识别结果；

基于所述识别结果，对所述初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

2.根据权利要求1所述的方法，其特征在于，所述场景配置参数包括所述虚拟相机的相机位姿参数、所述虚拟仿真场景中目标物体的物体位姿参数以及环境参数；

所述基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的场景配置参数进行多次调整，并通过所述虚拟相机采集每一次所述场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，包括：

基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过所述虚拟相机采集每一次所述相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

3.根据权利要求1所述的方法，其特征在于，所述基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的场景配置参数进行多次调整，并通过所述虚拟相机采集每一次所述场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像，包括：

基于挂载于所述虚拟相机上的可执行程序，采集构建的初始虚拟仿真场景的图像数据，得到第一图像数据；

对所述初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各所述场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据；

根据所述第一图像数据以及所述第二图像数据，得到对网络模型进行训练的初始训练图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各所述场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对所述初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并在确定采集得到所述场景配置参数调整后的虚拟仿真场景的图像数据后，再进行下一次场景配置参数的调整。

5.根据权利要求3所述的方法，其特征在于，所述对所述初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各所述场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对所述初始虚拟仿真场景的场景配置参数进行调整，得到场景配置参数调整后的虚拟仿真场景，并采集所述场景配置参数调整后的虚拟仿真场景的图像数据；

记录对所述场景配置参数进行调整的调整次数，并判断所述调整次数是否等于预设阈值，所述预设阈值基于网络模型的训练要求确定；

当确定所述调整次数等于所述预设阈值时，停止对所述场景配置参数继续进行调整，得到对应各场景配置参数调整后的虚拟仿真场景的第二图像数据；

当确定所述调整次数小于所述预设阈值时，继续对所述场景配置参数进行调整，直至所述调整次数等于所述预设阈值。

6.根据权利要求3所述的方法，其特征在于，所述对所述初始虚拟仿真场景的场景配置参数进行多次调整，得到各场景配置参数调整后的虚拟仿真场景，并采集各所述场景配置参数调整后的虚拟仿真场景的图像数据，得到第二图像数据，包括：

对所述初始虚拟仿真场景的场景配置参数进行多次调整，得到各调整后的场景配置参数；

通过各所述调整后的场景配置参数，对所述虚拟仿真场景进行刷新配置，得到各调整后的虚拟仿真场景；

采集各所述调整后的虚拟仿真场景的图像数据，得到第二图像数据。

7.一种模型训练数据获取装置，其特征在于，所述装置包括：

构建模块，用于构建对应真实场景的虚拟仿真场景，所述虚拟仿真场景中包括真实场景中对应的各实体物体以及虚拟相机；

初始训练图像获取模块，用于基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的场景配置参数进行多次调整，并通过所述虚拟相机采集每一次所述场景配置参数调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像；

识别模块，用于根据所述虚拟仿真场景的模型数据，对所述初始训练图像进行识别，得到所述初始训练图像中的目标物体的识别结果；

标注模块，用于基于所述识别结果，对所述初始训练图像中的目标物体进行标注，得到标注后的用于对网络模型进行训练的训练数据。

8.根据权利要求7所述的装置，其特征在于，所述场景配置参数包括所述虚拟相机的相机位姿参数、所述虚拟仿真场景中目标物体的物体位姿参数以及环境参数；

所述初始训练图像获取模块用于基于挂载于所述虚拟相机上的可执行程序，对所述虚拟仿真场景的相机位姿参数、物体位姿参数以及环境参数至少一项进行调整，并通过所述虚拟相机采集每一次所述相机位姿参数、物体位姿参数以及环境参数至少一项调整后的虚拟仿真场景的图像数据，得到用于对网络模型进行训练的初始训练图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images