CN117274353A - 合成图像数据生成方法、控制装置及可读存储介质 - Google Patents
合成图像数据生成方法、控制装置及可读存储介质 Download PDFInfo
- Publication number
- CN117274353A CN117274353A CN202311546396.5A CN202311546396A CN117274353A CN 117274353 A CN117274353 A CN 117274353A CN 202311546396 A CN202311546396 A CN 202311546396A CN 117274353 A CN117274353 A CN 117274353A
- Authority
- CN
- China
- Prior art keywords
- scene
- rendering
- result
- reconstruction
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000009877 rendering Methods 0.000 claims abstract description 178
- 238000005065 mining Methods 0.000 claims abstract description 6
- 239000002131 composite material Substances 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 3
- 230000001537 neural effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本发明涉及数据生成技术领域，具体提供一种合成图像数据生成方法、控制装置及可读存储介质，旨在解决在基于路采真实数据获取合成图像数据过程中，如何提升数据的真实效果的问题。为此目的，本发明基于真实路采数据进行3D场景重建，获得3D场景重建结果，然后进行场景泛化，获得动态场景，根据3D场景重建结果和动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，获得第一渲染结果和第二渲染结果，然后再进行混合渲染，获得合成图像数据。能够结合基于光线追踪和基于3D重建的渲染的优势，实现新增虚拟目标与3D场景重建结果进行充分的视觉融合，实现虚拟物体的反射、倒影、投射等视觉效果，获得更为真实的合成图像数据。
Description
技术领域
本发明涉及数据生成技术领域，具体提供一种合成图像数据生成方法、控制装置及可读存储介质。
背景技术
在对智能驾驶进行仿真和数据合成过程中，会采用Nerf（Neural RadianceFields, 一种通过图片或视频进行三维重建的 AI 算法）对路采真实数据进行重建，并在其中添加新的物体，实现场景的泛化。但是在这个过程中，往往存在的新增物体无法与环境充分融合的问题，如无法实现实心反射、倒影、投影等视觉效果，使得合成图像数据无法获得真实的图像效果。
相应地，本领域需要一种新的合成图像数据生成方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决在基于路采真实数据获取合成图像数据过程中，如何提升数据的真实效果的问题。
在第一方面，本发明提供一种合成图像数据生成方法，其特征在于，所述方法包括：
基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果；
基于所述3D场景重建结果，进行场景泛化，获取动态场景；其中，所述动态场景中包含向所述3D场景重建结果中添加的虚拟目标；
根据所述3D场景重建结果和所述动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，以分别获得第一渲染结果和第二渲染结果；
根据所述第一渲染结果和所述第二渲染结果，进行混合渲染，获得合成图像数据。
在上述合成图像数据生成方法的一个技术方案中，所述根据所述3D场景重建结果和所述动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，以分别获得第一渲染结果和第二渲染结果，包括：
根据所述3D场景重建结果获取所述重建场景的Mesh数据和语义地图；
根据所述动态场景、所述语义地图和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果；
根据所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果。
在上述合成图像数据生成方法的一个技术方案中，所述根据所述动态场景、所述语义地图和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果，包括：
根据所述动态场景和所述语义地图进行所述重建场景中的交通参与者的仿真，获取所述交通参与者的位姿；
根据所述位姿和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果。
在上述合成图像数据生成方法的一个技术方案中，所述交通参与者包括自车；
所述根据所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果，包括：
获取所述自车的位姿；
根据所述位姿和所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果。
在上述合成图像数据生成方法的一个技术方案中，所述根据所述第一渲染结果和所述第二渲染结果，进行混合渲染，获得合成图像数据，包括：
将所述第一渲染结果作为所述重建场景的背景图像，将所述第二渲染结果作为所述重建场景中添加的虚拟目标的图像，进行混合渲染，获得所述合成图像数据。
在上述合成图像数据生成方法的一个技术方案中，所述基于所述3D场景重建结果，进行场景泛化，包括：
基于所述3D场景重建结果获取重建场景的语义地图；
获取添加至所述重建场景中的虚拟目标和所述虚拟目标的行动轨迹；
基于所述语义地图、所述虚拟目标和所述行动轨迹，进行场景泛化，获得所述动态场景。
在上述合成图像数据生成方法的一个技术方案中，所述基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果，包括：
应用训练好的Nerf 3D重建模型，基于真实路采数据，进行3D场景重建，获得所述3D场景重建结果。
在上述合成图像数据生成方法的一个技术方案中，所述第一渲染结果包括RGB图像和Gbuffer数据；和/或，
所述第二渲染结果包括RGB图像和Gbuffer数据；和/或，
所述合成图像数据包括图像数据、点云数据和深度数据。
在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述合成图像数据生成方法的技术方案中任一项技术方案所述的合成图像数据生成方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述合成图像数据生成方法的技术方案中任一项技术方案所述的合成图像数据生成方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，本发明基于真实路采数据进行3D场景重建，获得3D场景重建结果，基于3D场景重建结果，进行场景泛化，获得动态场景，根据3D场景重建结果和动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，分别获得第一渲染结果和第二渲染结果，根据第一渲染结果和第二渲染结果，进行混合渲染，获得合成图像数据。通过上述配置方式，本发明能够实现基于真实路采数据的3D场景重建，进而在获得的3D场景重建结果中添加虚拟目标，实现场景泛化，进而应用基于光线追踪的渲染和基于3D重建的渲染，获得第一渲染结果和第二渲染结果，能够结合基于光线追踪的渲染和基于3D重建的渲染的优势，再基于第一渲染结果和第二渲染结果进行混合渲染，能够实现新增虚拟目标与3D场景重建结果进行充分的视觉融合，进而实现虚拟物体的反射、倒影、投射等视觉效果，从而获得更为真实的合成图像数据。进而，在应用合成图像数据进行测试和仿真时，能够有效提升测试和仿真过程的可信度，提升合成图像数据的效用性。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的合成图像数据生成方法的主要步骤流程示意图；
图2是根据本发明实施例的一个实施方式的合成图像数据生成方法的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
参阅附图1，图1是根据本发明的一个实施例的合成图像数据生成方法的主要步骤流程示意图。如图1所示，本发明实施例中的合成图像数据生成方法主要包括下列步骤S101-步骤S104。
步骤S101：基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果。
在本实施例中，可以根据真实路采数据，来进行3D场景重建。
一个实施方式中，可以应用训练好的Nerf（Neural Radiance Fields，神经辐射场）3D重建模型，基于真实路采数据，进行3D场景重建，获得3D场景重建结果。其中，Nerf 3D重建模型是基于Nerf算法构建的3D重建模型，Nerf算法可以应用图片或视频实现三维重建。可以应用训练数据集对Nerf 3D重建模型进行训练，从而获得训练好的Nerf 3D重建模型。
一个实施方式中，可以应用3D Gaussian Splatting（三维高斯喷射）技术，实现基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果。
步骤S102：基于3D场景重建结果，进行场景泛化，获取动态场景；其中，动态场景中包含向3D场景重建结果中添加的虚拟目标。
在本实施例中，可以基于3D场景重建结果，进行场景泛化。其中，场景泛化是指基于已有的场景，对场景数据进行部分调整，从而生成新的场景的过程。场景泛化主要是指对虚拟搭建的场景进行泛化。本实施例中，通过向3D场景重建结果中增加虚拟目标，来实现场景泛化。
一个实施方式中，虚拟目标可以为交通参与者，也可以为3D场景重建结果中的新增的环境物品或障碍物等。
步骤S103：根据3D场景重建结果和动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，以分别获得第一渲染结果和第二渲染结果。
在本实施例中，可以应用3D场景重建结果和动态场景，进行基于光线追踪的渲染，获得第一渲染结果。并应用3D场景重建结果和动态场景，进行基于3D重建的渲染，获得第二渲染结果。
其中，光线追踪（Ray-Tracing）是一种渲染技术，其算法可以跟踪光的传播路径，模拟光源的各个方面以及光在三维环境中发生的反射，漫射，折射等特性，生成更逼真的阴影和反射，可大大改进半透明和散射效果。光线追踪算法会考虑光线照射的方向，当光线照射到计算机生成的虚拟世界中的物体对象时，它可以模拟光与物体间的各种交互反应，就像人眼处理真实的光线、阴影和反射一样，并最终决定人眼看到的物体的外观及颜色。这使得渲染场景看起来更加自然和逼真，并使获得的图像数据更接近真实环境。
基于3D重建的渲染是在计算机上实现对三维物体的建模、可视化和呈现的技术。
一个实施方式中，基于3D重建的渲染可以为基于神经辐射场的渲染。神经辐射场（NeRF）是一种面向三维隐式空间建模的深度学习模型。NeRF 所要做的任务是新视角合成任务，定义是：在已知视角下对场景进行一系列的捕获 (包括拍摄到的图像，以及每张图像对应的内外参)，不需要中间三维重建的过程，仅根据位姿内参和图像，合成新视角下的图像。
一个实施方式中，基于3D重建的渲染可以为基于3D Gaussian Splatting（三维高斯喷射）技术的渲染。
需要说明的是，基于3D重建的渲染并不局限于上述两种渲染方式，只要是能够实现三维物体的建模、可视化和呈现的技术均在本申请的保护范围内。
一个实施方式中，第一渲染结果包含RGB图像和RGB图像的Gbuffer数据。其中，Gbuffer指Geometry Buffer，亦即“几何缓冲”。区别于普通的仅将颜色渲染到纹理中，G-Buffer指包含颜色、法线、世界空间坐标、语义分割数据和材质等的缓冲区，亦即指包含颜色、法线、世界空间坐标的纹理、语义分割数据和材质等信息。
一个实施方式中，第二渲染结果也包含RGB图像和RGB图像的Gbuffer数据。
步骤S104：根据第一渲染结果和第二渲染结果，进行混合渲染，获得合成图像数据。
在本实施例中，可以基于第一渲染结果和第二渲染结果，来进行混合渲染，从而获得合成图像数据。其中，混合渲染是指多种渲染技术的组合来生成逼真的图像的技术。在本实施例中，基于根据光线追踪的渲染获得的第一渲染结果和根据神经辐射场的渲染获得的第二渲染结果进行混合渲染，能够结合光线追踪的渲染和神经辐射场的渲染的优势，进而使得获得合成图像数据能够更为真实。
一个实施方式中，合成图像数据可以包括图像数据、点云数据和深度数据。其中，图像数据能够反应出合成图像数据中虚拟目标的阴影、光照、反射和玻璃投射等特性。
基于上述步骤S101-步骤S104，本发明实施例基于真实路采数据进行3D场景重建，获得3D场景重建结果，基于3D场景重建结果，进行场景泛化，获得动态场景，根据3D场景重建结果和动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，分别获得第一渲染结果和第二渲染结果，根据第一渲染结果和第二渲染结果，进行混合渲染，获得合成图像数据。通过上述配置方式，本发明实施例能够实现基于真实路采数据的3D场景重建，进而在获得的3D场景重建结果中添加虚拟目标，实现场景泛化，进而应用基于光线追踪的渲染和基于3D重建的渲染，获得第一渲染结果和第二渲染结果，能够结合基于光线追踪的渲染和基于3D重建的渲染的优势，再基于第一渲染结果和第二渲染结果进行混合渲染，能够实现新增虚拟目标与3D场景重建结果进行充分的视觉融合，进而实现虚拟物体的反射、倒影、投射等视觉效果，从而获得更为真实的合成图像数据。进而，在应用合成图像数据进行测试和仿真时，能够有效提升测试和仿真过程的可信度，提升合成图像数据的效用性。
下面分别对步骤S102至步骤S104作进一步地说明。
在本发明实施例的一个实施方式中，步骤S102可以进一步包括以下步骤S1021至步骤S1023：
步骤S1021：基于3D场景重建结果获取重建场景的语义地图。
在本实施方式中，可以根据3D场景重建结果来获得重建场景的语义地图。其中，语义地图是指重建场景中每个物体与环境之间的结构信息，以及物体的类别、功能等属性信息。可以根据3D场景重建结果计算获得重建场景的语义地图。
步骤S1022：获取添加至重建场景中的虚拟目标和虚拟目标的行动轨迹。
在本实施方式中，可以确定添加至重建场景中的虚拟目标和虚拟目标的行动轨迹。
步骤S1023：基于语义地图、虚拟目标和行动轨迹，进行场景泛化，获得动态场景。
在本实施方式中，可以根据语义地图、虚拟目标以及虚拟目标的行动轨迹，来获得动态场景。
在本发明实施例的一个实施方式中，步骤S103可以进一步包括以下步骤S1031至步骤S1033：
步骤S1031：根据3D场景重建结果获取重建场景的Mesh数据和语义地图。
在本实施方式中，可以根据3D场景重建结果计算获得重建场景的Mesh数据和语义地图。其中，Mesh数据是指物体在重建场景中的基本形状数据，其可以包括物体的顶点坐标、面和面的法线等数据。
步骤S1032：根据动态场景、语义地图和Mesh数据，进行基于光线追踪的渲染，获得第一渲染结果。
在本实施方式中，步骤S1032可以进一步包括以下步骤S10321和步骤S10322：
步骤S10321：根据动态场景和语义地图进行重建场景中的交通参与者的仿真，获取交通参与者的位姿。
在本实施方式中，可以根据动态场景和语义地图来对重建场景中的交通参与者进行仿真，以获得交通参与者的位置、速度等状态，作为交通参与者的位姿。其中，交通参与者可以包括人、车辆等。
步骤S10322：根据位姿和Mesh数据，进行基于光线追踪的渲染，获得第一渲染结果。
在本实施方式中，可以根据交通参与者的位姿和Mesh数据，进行基于光线追踪的渲染，获得第一渲染结果。即，将交通参与者的位姿发送至基于光线追踪的渲染的渲染引擎，渲染引擎按照位姿将交通参与者放置在重建场景的对应位置上，从而获得第一渲染结果。
一个实施方式中，可以仅将添加的虚拟目标中包含的交通参与者的位姿发送至基于光线追踪的渲染的渲染引擎，以使得渲染引擎按照位姿将交通参与者放置在重建场景的对应位置上，从而获得第一渲染结果。其中，第一渲染结果由于是考虑到了添加的虚拟目标中包含的交通参与者的位姿，而基于光线追踪获得的，使得第一渲染结果能够更好地反应出添加的交通参与者的特性。
一个实施方式中，交通参与者中包含自车。其中，自车是在重建场景中作为第一人称视角的车。
步骤S1033：根据3D场景重建结果，进行基于3D重建的渲染，获得第二渲染结果。
在本实施方式中，步骤S1033可以包括以下步骤S10331和步骤S10332：
步骤S10331：获取自车的位姿。
步骤S10332：根据位姿和3D场景重建结果，进行基于3D重建的渲染，获得第二渲染结果。
在本实施方式中，可以获取仿真获得的自车的位姿，根据自车的位姿和和3D场景重建结果，应用基于3D重建的渲染引擎进行渲染，从而获得第二渲染结果。其中，由于第二渲染结果是以自车为视角，且基于3D重建的渲染引擎生成的，能够使得第二渲染结果能够更好地反映出重建场景的特性。
在本发明实施例的一个实施方式中，步骤S104可以进一步被配置为：
将第一渲染结果作为重建场景的背景图像，将第二渲染结果作为重建场景中添加的虚拟目标的图像，进行混合渲染，获得合成图像数据。
在本实施方式中，将第一渲染结果作为重建场景的背景图像，将第二渲染结果作为重建场景中添加的虚拟目标的图像，进行混合渲染，即，进行二次渲染，使得第一渲染结果和第二渲染结果进行合并，就能够获得更为真实的，能够模拟出真实物体的阴影、光照、反射和玻璃透射等特性的合成图像数据。
一个实施方式中，可以参阅附图2，图2是根据本发明实施例的一个实施方式的合成图像数据生成方法的主要步骤流程示意图。如图2所示，首先可以基于数采数据（真实路采数据）进行Nerf 3D重建，从而获得重建结果（3D场景重建结果），其中，3D场景重建结果包括3D重建、原车路径和道路重建结果等。基于重建结果获得语义地图，根据语义地图进行场景泛化，获得动态场景。根据语义地图和动态场景，应用仿真器进行仿真，获得对象位姿（交通参与者的位姿）。基于环境Mesh（Mesh数据）和对象位姿，应用RayTracing渲染引擎（基于光线追踪的渲染引擎）获得主车位姿（自车的位姿）和第一渲染结果对应的图像和GBuffer（RGB图像和GBuffer数据）。基于3D重建场（3D场景重建结果）和主车位姿，应用Nerf神经渲染引擎（基于神经辐射场的渲染引擎），获得第二渲染结果对应的图像和GBuffer（RGB图像和GBuffer数据）。根据第一渲染结果和第二渲染结果，进行混合渲染，获得包含图像（Camera）、点云（Lindar）、标签（Label）和深度图（Depth）的合成图像数据。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的合成图像数据生成方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的合成图像数据生成方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的合成图像数据生成方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的合成图像数据生成方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的合成图像数据生成方法，即每个处理器分别执行上述方法实施例的合成图像数据生成方法的不同步骤，来共同实现上述方法实施例的合成图像数据生成方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的合成图像数据生成方法的程序，该程序可以由处理器加载并运行以实现上述合成图像数据生成方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种合成图像数据生成方法，其特征在于，所述方法包括：
基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果；
基于所述3D场景重建结果，进行场景泛化，获取动态场景；其中，所述动态场景中包含向所述3D场景重建结果中添加的虚拟目标；
根据所述3D场景重建结果和所述动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，以分别获得第一渲染结果和第二渲染结果；
根据所述第一渲染结果和所述第二渲染结果，进行混合渲染，获得合成图像数据。
2.根据权利要求1所述的合成图像数据生成方法，其特征在于，
所述根据所述3D场景重建结果和所述动态场景，分别进行基于光线追踪的渲染和基于3D重建的渲染，以分别获得第一渲染结果和第二渲染结果，包括：
根据所述3D场景重建结果获取所述重建场景的Mesh数据和语义地图；
根据所述动态场景、所述语义地图和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果；
根据所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果。
3.根据权利要求2所述的合成图像数据生成方法，其特征在于，
所述根据所述动态场景、所述语义地图和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果，包括：
根据所述动态场景和所述语义地图进行所述重建场景中的交通参与者的仿真，获取所述交通参与者的位姿；
根据所述位姿和所述Mesh数据，进行基于光线追踪的渲染，获得所述第一渲染结果。
4.根据权利要求3所述的合成图像数据生成方法，其特征在于，所述交通参与者包括自车；
所述根据所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果，包括：
获取所述自车的位姿；
根据所述位姿和所述3D场景重建结果，进行基于3D重建的渲染，获得所述第二渲染结果。
5.根据权利要求1所述的合成图像数据生成方法，其特征在于，
所述根据所述第一渲染结果和所述第二渲染结果，进行混合渲染，获得合成图像数据，包括：
将所述第一渲染结果作为所述重建场景的背景图像，将所述第二渲染结果作为所述重建场景中添加的虚拟目标的图像，进行混合渲染，获得所述合成图像数据。
6.根据权利要求1所述的合成图像数据生成方法，其特征在于，
所述基于所述3D场景重建结果，进行场景泛化，包括：
基于所述3D场景重建结果获取重建场景的语义地图；
获取添加至所述重建场景中的虚拟目标和所述虚拟目标的行动轨迹；
基于所述语义地图、所述虚拟目标和所述行动轨迹，进行场景泛化，获得所述动态场景。
7.根据权利要求1所述的合成图像数据生成方法，其特征在于，
所述基于真实路采数据，进行3D场景重建，获得重建场景的3D场景重建结果，包括：
应用训练好的Nerf 3D重建模型，基于真实路采数据，进行3D场景重建，获得所述3D场景重建结果。
8.根据权利要求1至7中任一项所述的合成图像数据生成方法，其特征在于，
所述第一渲染结果包括RGB图像和Gbuffer数据；和/或，
所述第二渲染结果包括RGB图像和Gbuffer数据；和/或，
所述合成图像数据包括图像数据、点云数据和深度数据。
9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的合成图像数据生成方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的合成图像数据生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311546396.5A CN117274353B (zh) | 2023-11-20 | 2023-11-20 | 合成图像数据生成方法、控制装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311546396.5A CN117274353B (zh) | 2023-11-20 | 2023-11-20 | 合成图像数据生成方法、控制装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274353A true CN117274353A (zh) | 2023-12-22 |
| CN117274353B CN117274353B (zh) | 2024-02-20 |
Family
ID=89214649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311546396.5A Active CN117274353B (zh) | 2023-11-20 | 2023-11-20 | 合成图像数据生成方法、控制装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274353B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096988A (zh) * | 2024-04-24 | 2024-05-28 | 中国科学院宁波材料技术与工程研究所 | 基于三维高斯表征的室内复杂场景高保真实时渲染方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171316A1 (en) * | 2014-12-10 | 2016-06-16 | Honda Research Institute Europe Gmbh | Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system |
| RU2015101179A (ru) * | 2015-01-16 | 2016-08-10 | Общество с ограниченной ответственностью "Системы Компьютерного зрения" | Способ и система отображения масштабных сцен в режиме реального времени |
| US20180322691A1 (en) * | 2017-05-05 | 2018-11-08 | Disney Enterprises, Inc. | Real-time rendering with compressed animated light fields |
| CN111462299A (zh) * | 2020-03-02 | 2020-07-28 | 清华大学 | 基于深度学习的非视域飞秒成像三维重建方法及装置 |
| CN112116693A (zh) * | 2020-08-20 | 2020-12-22 | 中山大学 | 一种基于cpu的生物分子可视化光线追踪渲染方法 |
| CN113888691A (zh) * | 2020-07-03 | 2022-01-04 | 上海大界机器人科技有限公司 | 构建建筑场景语义地图的方法、装置及储存介质 |
| CN114332394A (zh) * | 2021-12-29 | 2022-04-12 | 北京航空航天大学 | 一种基于语义信息辅助的动态场景三维重建方法 |
| WO2022222490A1 (zh) * | 2021-04-21 | 2022-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN115393386A (zh) * | 2022-10-25 | 2022-11-25 | 杭州华橙软件技术有限公司 | 三维场景图的生成方法、装置、设备及可读存储介质 |
| CN115482323A (zh) * | 2022-08-10 | 2022-12-16 | 上海大学 | 一种基于神经辐射场的立体视频视差控制与编辑方法 |
| CN115655262A (zh) * | 2022-12-26 | 2023-01-31 | 广东省科学院智能制造研究所 | 基于深度学习感知的多层级语义地图构建方法和装置 |
| CN115900710A (zh) * | 2022-11-01 | 2023-04-04 | 西安电子科技大学 | 基于视觉信息的动态环境导航方法 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| CN116563459A (zh) * | 2023-04-13 | 2023-08-08 | 北京航空航天大学 | 一种文本驱动的沉浸式开放场景神经渲染与混合增强方法 |
| WO2023184278A1 (en) * | 2022-03-30 | 2023-10-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for semantic map building, server, terminal device and storage medium |
| CN117036571A (zh) * | 2023-09-28 | 2023-11-10 | 光轮智能(北京)科技有限公司 | 图像数据生成、视觉算法模型训练、评测方法及装置 |
| CN117036607A (zh) * | 2023-08-08 | 2023-11-10 | 上海人工智能创新中心 | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 |
-
2023
- 2023-11-20 CN CN202311546396.5A patent/CN117274353B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171316A1 (en) * | 2014-12-10 | 2016-06-16 | Honda Research Institute Europe Gmbh | Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system |
| RU2015101179A (ru) * | 2015-01-16 | 2016-08-10 | Общество с ограниченной ответственностью "Системы Компьютерного зрения" | Способ и система отображения масштабных сцен в режиме реального времени |
| US20180322691A1 (en) * | 2017-05-05 | 2018-11-08 | Disney Enterprises, Inc. | Real-time rendering with compressed animated light fields |
| CN111462299A (zh) * | 2020-03-02 | 2020-07-28 | 清华大学 | 基于深度学习的非视域飞秒成像三维重建方法及装置 |
| CN113888691A (zh) * | 2020-07-03 | 2022-01-04 | 上海大界机器人科技有限公司 | 构建建筑场景语义地图的方法、装置及储存介质 |
| CN112116693A (zh) * | 2020-08-20 | 2020-12-22 | 中山大学 | 一种基于cpu的生物分子可视化光线追踪渲染方法 |
| WO2022222490A1 (zh) * | 2021-04-21 | 2022-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN114332394A (zh) * | 2021-12-29 | 2022-04-12 | 北京航空航天大学 | 一种基于语义信息辅助的动态场景三维重建方法 |
| WO2023184278A1 (en) * | 2022-03-30 | 2023-10-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for semantic map building, server, terminal device and storage medium |
| CN115482323A (zh) * | 2022-08-10 | 2022-12-16 | 上海大学 | 一种基于神经辐射场的立体视频视差控制与编辑方法 |
| CN115393386A (zh) * | 2022-10-25 | 2022-11-25 | 杭州华橙软件技术有限公司 | 三维场景图的生成方法、装置、设备及可读存储介质 |
| CN115900710A (zh) * | 2022-11-01 | 2023-04-04 | 西安电子科技大学 | 基于视觉信息的动态环境导航方法 |
| CN115655262A (zh) * | 2022-12-26 | 2023-01-31 | 广东省科学院智能制造研究所 | 基于深度学习感知的多层级语义地图构建方法和装置 |
| CN116563459A (zh) * | 2023-04-13 | 2023-08-08 | 北京航空航天大学 | 一种文本驱动的沉浸式开放场景神经渲染与混合增强方法 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| CN117036607A (zh) * | 2023-08-08 | 2023-11-10 | 上海人工智能创新中心 | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 |
| CN117036571A (zh) * | 2023-09-28 | 2023-11-10 | 光轮智能(北京)科技有限公司 | 图像数据生成、视觉算法模型训练、评测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096988A (zh) * | 2024-04-24 | 2024-05-28 | 中国科学院宁波材料技术与工程研究所 | 基于三维高斯表征的室内复杂场景高保真实时渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274353B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Max et al. | Rendering trees from precomputed Z-buffer views | |
| Gaboury | Image objects: An archaeology of computer graphics | |
| KR101947650B1 (ko) | 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법 | |
| CN117274353B (zh) | 合成图像数据生成方法、控制装置及可读存储介质 | |
| US9262853B2 (en) | Virtual scene generation based on imagery | |
| CN110400372B (zh) | 一种图像处理的方法及装置、电子设备、存储介质 | |
| US10089796B1 (en) | High quality layered depth image texture rasterization | |
| Peddie | Ray tracing: a tool for all | |
| Paulin et al. | Review and analysis of synthetic dataset generation methods and techniques for application in computer vision | |
| CN108230378B (zh) | 一种基于光线追踪的计算全息遮挡处理算法 | |
| Jiang et al. | VR-GS: a physical dynamics-aware interactive gaussian splatting system in virtual reality | |
| WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
| CN117372602B (zh) | 一种异构三维多对象融合渲染方法、设备及系统 | |
| CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
| US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
| Mirbauer et al. | SkyGAN: Towards Realistic Cloud Imagery for Image Based Lighting. | |
| Lee et al. | Real time 3D avatar for interactive mixed reality | |
| CN116543086A (zh) | 神经辐射场处理方法、装置及电子设备 | |
| Bubenıcek | Using Game Engine to Generate Synthetic Datasets for Machine Learning | |
| CN117132507B (zh) | 图像增强方法、图像处理方法、计算机设备及存储介质 | |
| Zamri et al. | Atmospheric cloud modeling methods in computer graphics: A review, trends, taxonomy, and future directions | |
| CN117237575B (zh) | 室内场景生成方法、控制装置及可读存储介质 | |
| WO2024002130A1 (zh) | 一种图像渲染方法及其相关设备 | |
| CN117173314B (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
| Zhao | Application of Automatic Analysis of Image Data Based on KD-Tree in Ray Tracing Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |