CN117036571A - 图像数据生成、视觉算法模型训练、评测方法及装置 - Google Patents
图像数据生成、视觉算法模型训练、评测方法及装置 Download PDFInfo
- Publication number
- CN117036571A CN117036571A CN202311274361.0A CN202311274361A CN117036571A CN 117036571 A CN117036571 A CN 117036571A CN 202311274361 A CN202311274361 A CN 202311274361A CN 117036571 A CN117036571 A CN 117036571A
- Authority
- CN
- China
- Prior art keywords
- image data
- data
- training
- visual algorithm
- algorithm model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 80
- 230000000007 visual effect Effects 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000011156 evaluation Methods 0.000 title claims abstract description 32
- 238000009877 rendering Methods 0.000 claims abstract description 52
- 239000002131 composite material Substances 0.000 claims abstract description 18
- 239000013067 intermediate product Substances 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 124
- 238000013136 deep learning model Methods 0.000 claims description 34
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Architecture (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据生成技术领域，具体提供一种图像数据生成、视觉算法模型训练、评测方法、装置及介质，旨在解决如何生成合成图像数据，以确保合成图像数据的真实性和确定性的问题。为此目的，本发明通过对虚拟场景进行图像数据采集，获得虚拟采集数据，应用渲染引擎对虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据，根据RGB图像和渲染中间产物数据获取合成图像数据。由于合成图像数据结合了RGB图像的色调信息，使得生成的合成图像数据具有更高的确定性；还结合了渲染中间产物数据提供的图片真值信息，使得合成图像数据具有更高的真实性。将合成图像数据应用于视觉算法的训练和评测，确保视觉算法的训练和评测效果。
Description
技术领域
本发明涉及数据生成技术领域，具体提供一种图像数据生成、视觉算法模型训练、评测方法、装置及介质。
背景技术
自动驾驶离不开视觉算法，视觉算法通过感知周围环境为自动驾驶的决策提供数据支持。视觉算法包含多个种类，虽然视觉算法实现的方式各不相同，但是其都离不开图像数据进行算法的训练和评测过程。而对视觉算法进行训练和评测过程中均需要充足的数据集进行支持。
在真实采集的图像数据不能够满足需求时，往往需要由合成的图像数据来组成数据集。而合成图像数据的真实性和确定性则决定了视觉算法的训练和评测效果。
现有技术中，使用渲染引擎获取的合成图像往往真实度不足，而使用神经网络来获取合成图像，往往由于神经网络的黑盒效应，导致确定性较低。
相应地，本领域需要一种新的图像数据生成方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何生成合成图像数据，以确保合成图像数据的真实性和确定性的问题。
在第一方面，本发明提供一种图像数据生成方法，所述方法包括：
对虚拟场景进行图像数据采集，获得虚拟采集数据；
应用渲染引擎对所述虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据；
根据所述RGB图像和所述渲染中间产物数据，获取合成图像数据。
在上述图像数据生成方法的一个技术方案中，所述根据所述RGB图像和所述渲染中间产物数据，获取合成图像数据，包括：
将所述RGB图像和渲染中间产物数据输入至预设的训练好的深度学习模型中，以获取所述合成图像数据。
在上述图像数据生成方法的一个技术方案中，所述方法还包括根据以下步骤对所述深度学习模型进行训练：
获取与所述虚拟场景对应的真实场景中的真实图像数据；
根据所述真实图像数据，以及用于训练的RGB图像和渲染中间产物数据，对所述深度学习模型进行训练，以获得训练好的深度学习模型。
在上述图像数据生成方法的一个技术方案中，所述根据所述真实图像数据，以及用于训练的RGB图像和渲染中间产物数据，对所述深度学习模型进行训练，包括：
将所述真实图像数据作为真值数据，将所述用于训练的RGB图像和渲染中间产物数据作为所述深度学习模型的模型输入数据，对所述深度学习模型进行训练，以使得所述深度学习模型输出的合成图像数据具有符合所述真实图像数据的色调和纹理，从而实现所述深度学习模型的训练。
在上述图像数据生成方法的一个技术方案中，所述对虚拟场景进行图像数据采集，获得虚拟采集数据，包括：
应用虚拟摄像头，对所述虚拟场景进行图像数据采集，以获得所述虚拟采集数据。
在上述图像数据生成方法的一个技术方案中，所述渲染中间产物数据包括G-buffer、深度图、UV图、图像分割图中的至少一种。
在第二方面，本发明提供一种视觉算法模型训练方法，所述方法包括：
构建训练数据集，其中，所述训练数据集中包括上述图像数据生成方法技术方案中任一项所述的图像数据生成方法生成的合成图像数据；
应用所述训练数据集，对所述视觉算法模型进行训练，以获得训练好的视觉算法模型。
在第三方面，本发明提供一种视觉算法模型评测方法，所述方法包括：
构建评测数据集，其中，所述评测数据集中包括上述图像数据生成方法技术方案中任一项所述的图像数据生成方法生成的合成图像数据；
应用所述评测数据集，对所述视觉算法模型进行评测，以获得所述视觉算法模型的评测结果。
在第四方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像数据生成方法的技术方案中任一项技术方案所述的图像数据生成方法或上述视觉算法模型训练方法的技术方案中任一项技术方案所述的视觉算法模型训练方法或上述视觉算法模型评测方法的技术方案中任一项技术方案所述的视觉算法模型评测方法。
在第五方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像数据生成方法的技术方案中任一项技术方案所述的图像数据生成方法或上述视觉算法模型训练方法的技术方案中任一项技术方案所述的视觉算法模型训练方法或上述视觉算法模型评测方法的技术方案中任一项技术方案所述的视觉算法模型评测方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，本发明通过对虚拟场景进行图像数据采集，获得虚拟采集数据，并应用渲染引擎对虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据，根据RGB图像和渲染中间产物数据获取合成图像数据。通过上述配置方式，本发明在获取合成图像数据的过程中，由于结合了RGB图像的色调信息，使得生成的合成图像数据具有更高的确定性；同时由于还结合了渲染中间产物数据提供的图片真值信息（如纹理、深度、亮度等），使得生成的合成图像数据具有更高的真实性。进一步，将合成图像数据应用于视觉算法的训练和评测，能够更为丰富训练数据集和评测数据集，以确保视觉算法的训练和评测效果。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的图像数据生成方法的主要步骤流程示意图；
图2是根据本发明实施例的一个实施方式的图像数据生成方法的主要步骤流程示意图；
图3是根据本发明实施例第一个实施方式的视觉算法模型训练方法的主要步骤流程示意图；
图4是根据本发明实施例第一个实施方式的视觉算法模型评测方法的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
参阅附图1，图1是根据本发明的一个实施例的图像数据生成方法的主要步骤流程示意图。如图1所示，本发明实施例中的图像数据生成方法主要包括下列步骤S101-步骤S103。
步骤S101：对虚拟场景进行图像数据采集，获得虚拟采集数据。
在本实施例中，可以对虚拟场景进行图像数据采集，从而获得虚拟采集数据。
一个实施方式中，可以应用虚拟摄像头，对虚拟场景进行图像数据采集，以获得虚拟采集数据。其中，虚拟场景可以是虚拟环境中的场景，其可以是以某种数学形式表示的三维表面；虚拟环境可以是基于3D视界重建获得的。虚拟摄像头可以对虚拟场景进行取景；虚拟场景中的光源产生的光线会与虚拟场景中的环境物体交互作用并反射，从而到达虚拟摄像机，以获得虚拟采集数据。
步骤S102：应用渲染引擎对虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据。
在本实施例中，可以应用渲染引擎对虚拟采集数据进行渲染，从而获得RGB图像和渲染中间产物数据。
一个实施方式中，可以使用UE等常用的渲染引擎来对虚拟采集数据进行数据渲染。
一个实施方式中，中间产物数据可以包括G-buffer、深度图、UV图、图像分割图中的至少一种。其中，G-Buffer，全称Geometry Buffer（几何缓冲），指包含颜色、法线、世界空间坐标的缓冲区，亦即指包含颜色、法线、世界空间坐标的纹理。深度图是图像的每一个像素值表示场景中某点与摄像机的距离的图像。UV图是指包含U、V纹理贴图坐标的图像。UV纹理贴图坐标，定义了贴图上每个点的位置坐标信息，点与点之间的间隙位置由软件进行图像平滑插值处理，与模型之间互相联系，从而决定纹理贴图的分布位置。图像分割图是指应用图像分割技术获得的图像。图像分割技术就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的过程。
步骤S103：根据RGB图像和渲染中间产物数据，获取合成图像数据。
在本实施例中，可以应用RGB图像和渲染中间产物数据，获得合成图像数据。
一个实施方式中，可以应用图层叠加显示技术，将RGB图像和渲染中间产物数据进行叠加合成，从而获得合成图像数据。
基于上述步骤S101-步骤S103，本发明实施例通过对虚拟场景进行图像数据采集，获得虚拟采集数据，并应用渲染引擎对虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据，根据RGB图像和渲染中间产物数据获取合成图像数据。通过上述配置方式，本发明实施例在获取合成图像数据的过程中，由于结合了RGB图像的色调信息，使得生成的合成图像数据具有更高的确定性；同时由于还结合了渲染中间产物数据提供的图片真值信息（如纹理、深度、亮度等），使得生成的合成图像数据具有更高的真实性。进一步，将合成图像数据应用于视觉算法的训练和评测，能够更为丰富训练数据集和评测数据集，以确保视觉算法的训练和评测效果。
在本发明实施例的一个实施方式中，步骤S103可以进一步被配置为：
将RGB图像和渲染中间产物数据输入至预设的训练好的深度学习模型中，以获取合成图像数据。
在本实施方式中，可以将RGB图像和渲染中间产物数据输入至深度学习模型中，使得深度学习模型结合RGB图像的色调参考以及渲染中间产物数据提供的纹理、深度、亮度等图像的真值信息，进而将虚拟采集数据转换至真实图像域中，从而获得合成图像数据，使得合成图像数据具有高确定性和真实度。
一个实施方式中，深度学习模型可以为生成对抗网络（Generative AdversarialNets，GANs)模型，Variational AutoEncoder（VAE，变分自动编码器）模型等。
一个实施方式中，可以根据以下步骤S201至步骤S202对深度学习模型进行训练：
步骤S201：获取与虚拟场景对应的真实场景中的真实图像数据。
在本实施方式中，可以获取与虚拟场景对应的真实场景中的真实图像数据。如，虚拟场景是公路场景，那么真实场景对应的也是公路场景；虚拟场景是农村场景，那么真实场景对应的也是农村场景等。
步骤S202：根据真实图像数据，以及用于训练的RGB图像和渲染中间产物数据，对深度学习模型进行训练，以获得训练好的深度学习模型。
在本实施方式中，可以将真实图像数据作为真值数据，将用于训练的RGB图像和渲染中间产物数据作为深度学习模型的模型输入数据，对深度学习模型进行训练，以使得深度学习模型输出的合成图像数据具有符合真实图像数据的色调和纹理，从而实现深度学习模型的训练。
即，将真实场景中的真实图像数据作为深度学习模型进行训练过程中的真值数据，以真值数据作为约束，使得深度学习模型能够学习到真实图像数据的色调和纹理。
一个实施方式中，可以参阅附图2，图2是根据本发明实施例的一个实施方式的图像数据生成方法的主要步骤流程示意图。如图2所示，图像数据生成方法可以将虚拟采集数据输入至渲染引擎中，获得RGB常规图像（RGB图像）和中间产物（渲染中间产物数据，如深度图、UV图、图像分割图等）；将RGB常规图像和中间产物输入至深度学习模型中，以真实图像数据为真值数据，对深度学习模型进行训练，使得深度学习模型输出的合成图像数据是符合真实图像色调和纹理的图像数据。
进一步，本发明还提供一种视觉算法模型训练方法。
参阅附图3，图3是根据本发明的一个实施例的图像数据生成方法的主要步骤流程示意图。如图3所示，本发明实施例中的视觉算法模型训练方法主要包括下列步骤S301-步骤S302。
步骤S301：构建训练数据集，其中，训练数据集中包括上述图像数据生成方法实施例中的图像数据生成方法生成的合成图像数据。
在本实施例中，可以应用图像数据生成方法实施例中的图像数据生成方法生成的合成图像数据，来构建训练数据集。
步骤S302：应用训练数据集，对视觉算法模型进行训练，以获得训练好的视觉算法模型。
在本实施例中，可以应用训练数据集来对视觉算法模型进行训练，从而获得训练好的视觉算法模型。
一个实施方式中，视觉算法模型可以为特征提取算法模型、图像分割算法模型、目标检测算法模型、目标分类算法模型、深度学习算法模型、感知算法模型以及物体跟踪算法模型等。
进一步，本发明还提供一种视觉算法模型评测方法。
参阅附图4，图4是根据本发明的一个实施例的图像数据生成方法的主要步骤流程示意图。如图4所示，本发明实施例中的视觉算法模型评测方法主要包括下列步骤S401-步骤S402。
步骤S401：构建评测数据集，其中，评测数据集中包括上述图像数据生成方法实施例中的图像数据生成方法生成的合成图像数据。
在本实施例中，可以应用图像数据生成方法实施例中的图像数据生成方法生成的合成图像数据，来构建评测数据集。
步骤S402：应用评测数据集，对视觉算法模型进行评测，以获得视觉算法模型的评测结果。
在本实施例中，可以应用评测数据集来对视觉算法模型进行评测，从而获得视觉算法模型的评测结果。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的图像数据生成方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的图像数据生成方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的图像数据生成方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的图像数据生成方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的图像数据生成方法，即每个处理器分别执行上述方法实施例的图像数据生成方法的不同步骤，来共同实现上述方法实施例的图像数据生成方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的图像数据生成方法的程序，该程序可以由处理器加载并运行以实现上述图像数据生成方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的视觉算法模型训练方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的视觉算法模型训练方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的视觉算法模型训练方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的视觉算法模型训练方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的视觉算法模型训练方法，即每个处理器分别执行上述方法实施例的视觉算法模型训练方法的不同步骤，来共同实现上述方法实施例的视觉算法模型训练方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的视觉算法模型训练方法的程序，该程序可以由处理器加载并运行以实现上述视觉算法模型训练方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的视觉算法模型评测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的视觉算法模型评测方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的视觉算法模型评测方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的视觉算法模型评测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的视觉算法模型评测方法，即每个处理器分别执行上述方法实施例的视觉算法模型评测方法的不同步骤，来共同实现上述方法实施例的视觉算法模型评测方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的视觉算法模型评测方法的程序，该程序可以由处理器加载并运行以实现上述视觉算法模型评测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种图像数据生成方法，其特征在于，所述方法包括：
对虚拟场景进行图像数据采集，获得虚拟采集数据；
应用渲染引擎对所述虚拟采集数据进行数据渲染，获得RGB图像和渲染中间产物数据；
根据所述RGB图像和所述渲染中间产物数据，获取合成图像数据。
2.根据权利要求1所述的图像数据生成方法，其特征在于，
所述根据所述RGB图像和所述渲染中间产物数据，获取合成图像数据，包括：
将所述RGB图像和渲染中间产物数据输入至预设的训练好的深度学习模型中，以获取所述合成图像数据。
3.根据权利要求2所述的图像数据生成方法，其特征在于，所述方法还包括根据以下步骤对所述深度学习模型进行训练：
获取与所述虚拟场景对应的真实场景中的真实图像数据；
根据所述真实图像数据，以及用于训练的RGB图像和渲染中间产物数据，对所述深度学习模型进行训练，以获得训练好的深度学习模型。
4.根据权利要求3所述的图像数据生成方法，其特征在于，
所述根据所述真实图像数据，以及用于训练的RGB图像和渲染中间产物数据，对所述深度学习模型进行训练，包括：
将所述真实图像数据作为真值数据，将所述用于训练的RGB图像和渲染中间产物数据作为所述深度学习模型的模型输入数据，对所述深度学习模型进行训练，以使得所述深度学习模型输出的合成图像数据具有符合所述真实图像数据的色调和纹理，从而实现所述深度学习模型的训练。
5.根据权利要求1所述的图像数据生成方法，其特征在于，
所述对虚拟场景进行图像数据采集，获得虚拟采集数据，包括：
应用虚拟摄像头，对所述虚拟场景进行图像数据采集，以获得所述虚拟采集数据。
6.根据权利要求1至5任一项所述的图像数据生成方法，其特征在于，
所述渲染中间产物数据包括G-buffer、深度图、UV图、图像分割图中的至少一种。
7.一种视觉算法模型训练方法，其特征在于，所述方法包括：
构建训练数据集，其中，所述训练数据集中包括权利要求1至6中任一项所述的图像数据生成方法生成的合成图像数据；
应用所述训练数据集，对所述视觉算法模型进行训练，以获得训练好的视觉算法模型。
8.一种视觉算法模型评测方法，其特征在于，所述方法包括：
构建评测数据集，其中，所述评测数据集中包括权利要求1至6中任一项所述的图像数据生成方法生成的合成图像数据；
应用所述评测数据集，对所述视觉算法模型进行评测，以获得所述视觉算法模型的评测结果。
9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的图像数据生成方法或权利要求7所述的视觉算法模型训练方法或权利要求8所述的视觉算法模型评测方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的图像数据生成方法或权利要求7所述的视觉算法模型训练方法或权利要求8所述的视觉算法模型评测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311274361.0A CN117036571B (zh) | 2023-09-28 | 2023-09-28 | 图像数据生成、视觉算法模型训练、评测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311274361.0A CN117036571B (zh) | 2023-09-28 | 2023-09-28 | 图像数据生成、视觉算法模型训练、评测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036571A true CN117036571A (zh) | 2023-11-10 |
| CN117036571B CN117036571B (zh) | 2024-01-26 |
Family
ID=88641363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311274361.0A Active CN117036571B (zh) | 2023-09-28 | 2023-09-28 | 图像数据生成、视觉算法模型训练、评测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036571B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274353A (zh) * | 2023-11-20 | 2023-12-22 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876764A (zh) * | 2018-05-21 | 2018-11-23 | 北京旷视科技有限公司 | 渲染图像获取方法、装置、系统和存储介质 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| CN113808242A (zh) * | 2021-09-23 | 2021-12-17 | 广州虎牙科技有限公司 | 图像合成方法、装置及图像处理设备 |
| CN114372940A (zh) * | 2021-12-15 | 2022-04-19 | 南京邮电大学 | 一种真实场景图像合成方法及系统 |
| CN114882177A (zh) * | 2022-05-19 | 2022-08-09 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种模型生成方法及装置 |
| EP4105826A1 (en) * | 2021-06-16 | 2022-12-21 | Volkswagen Aktiengesellschaft | Computer-implemented method and system for generating a synthetic training data set for training a machine learning computer vision model |
-
2023
- 2023-09-28 CN CN202311274361.0A patent/CN117036571B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876764A (zh) * | 2018-05-21 | 2018-11-23 | 北京旷视科技有限公司 | 渲染图像获取方法、装置、系统和存储介质 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| EP4105826A1 (en) * | 2021-06-16 | 2022-12-21 | Volkswagen Aktiengesellschaft | Computer-implemented method and system for generating a synthetic training data set for training a machine learning computer vision model |
| CN113808242A (zh) * | 2021-09-23 | 2021-12-17 | 广州虎牙科技有限公司 | 图像合成方法、装置及图像处理设备 |
| CN114372940A (zh) * | 2021-12-15 | 2022-04-19 | 南京邮电大学 | 一种真实场景图像合成方法及系统 |
| CN114882177A (zh) * | 2022-05-19 | 2022-08-09 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种模型生成方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274353A (zh) * | 2023-11-20 | 2023-12-22 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
| CN117274353B (zh) * | 2023-11-20 | 2024-02-20 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036571B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| JP7386812B2 (ja) | 照明推定 | |
| CN102982577A (zh) | 用于图像处理的设备和方法 | |
| CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| CN112700528B (zh) | 一种用于头戴增强现实设备的虚拟物体阴影渲染方法 | |
| WO2019021456A1 (ja) | 学習装置、認識装置、学習方法、認識方法及びプログラム | |
| CN111311720B (zh) | 一种纹理图像的处理方法和装置 | |
| Barsky et al. | Elimination of artifacts due to occlusion and discretization problems in image space blurring techniques | |
| CN112580213A (zh) | 电场线的显示图像的生成方法和装置、存储介质 | |
| CN109461203B (zh) | 手势三维图像生成方法、装置、计算机设备及存储介质 | |
| CN116958393A (zh) | 一种增量式图像渲染方法及装置 | |
| JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 | |
| US9361689B2 (en) | Image processing apparatus and method | |
| CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
| Marek et al. | Optimization of 3d rendering in mobile devices | |
| CN113538467A (zh) | 图像分割方法和装置及图像分割模型的训练方法和装置 | |
| CN115035224A (zh) | 图像处理和重构图像生成的方法和装置 | |
| EP2962290B1 (en) | Relaying 3d information by depth simulation using 2d pixel displacement | |
| CN117274353B (zh) | 合成图像数据生成方法、控制装置及可读存储介质 | |
| CN117173314B (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
| WO2012168001A1 (en) | Method and device for detecting an object in an image | |
| US20240161391A1 (en) | Relightable neural radiance field model | |
| CN118036336A (zh) | 范围自适应高保真深度数据模拟方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |