CN116206068A - 基于真实数据集的三维驾驶场景生成与构建方法及装置 - Google Patents

Abstract

本发明公开了一种基于真实数据集的三维驾驶场景生成与构建方法及装置，涉及自动驾驶仿真技术领域。包括：获取待生成三维驾驶场景的城市场景数据；将城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块；根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。本发明能够解决从二维到三维场景自动化生成需求，同时在提高场景模型扩展性、生成实时性、构建轻量性上做出开创性工作。

Description

基于真实数据集的三维驾驶场景生成与构建方法及装置

技术领域

本发明涉及自动驾驶仿真技术领域，尤其涉及一种基于真实数据集的三维驾驶场景生成与构建方法及装置。

背景技术

自动驾驶仿真软件要求极高的真实感和准确性，需要能够模拟真实的道路环境和车辆行为，包括交通标志、道路标线、障碍物、车辆间距离、加速度和制动力等方面，对于大规模的城市场景建模具有十分高的要求。想要重建出城市场景需要完成三个步骤，分割真实场景下的城市元素获得，对分割结果进行进一步特征提取，用特征提取结果指导模型生成和重建。

城市场景分割的主要任务是将城市街景图像中的不同区域进行语义分割，例如将街道、建筑、汽车、行人等不同的物体区分出来，这些物体的形状、大小、颜色、纹理等方面也有很大的差异性，模型可能难以具备较高的鲁棒性和适应性；对于城市场景中存在大量的信息缺失和遮挡现象，例如建筑物之间的遮挡、车辆的变形等，又会对分割的精度造成较大的影响。为了提高城市场景分割的性能，基于生成对抗网络的数据增强方法将合成的城市场景图像与真实场景图像进行混合，采用了一种上下文编码的方法来生成图像，使得合成图像能够与真实场景图像保持一致的语义信息和空间结构，从而能够提高训练集的多样性和丰富性，进一步用于分割算法的泛化能力提升。

城市场景生成和重建的主要任务是使用计算机生成或重建出城市场景的三维模型或图像，该过程需要大量的城市场景数据进行训练和测试，获取到的大量的图像和激光雷达数据往往不够准确和完整，需要经过复杂的处理和配准；除了数据处理需要大量开销，还需平衡生成结果的质量和算法的效率，即生成结果的质量包括模型的准确性、细节的丰富度、纹理的真实性等方面，与算法的效率包括生成时间、计算资源的占用等方面需要根据具体的应用场景进行权衡和调整；从使用角度考虑，还需要生成的结果应该具有一定的随机性和变化性，使得每个生成的场景都具有独特性。为了能够高效的描述城市场景目前最新的基于神经场模型，将场景表示为高维向量场，每个向量对应于场景中的一个像素，通过在向量场中引入对象感知的注意力机制，该模型可以在场景表示中捕捉到每个对象的语义信息，从而在场景中提供更丰富的语义信息，使得场景表示更加全面和精细，也能够有效地压缩场景信息并提高场景表示的效率。

目前国内外已经有不少软件（PreScan、51Sim、PTV Vissi、NVIDIA Drive Sim等）尝试以数字孪生的方式对城市场景进行“1:1”还原，即通过建筑师和美术设计师对于城市数据的分析和理解，在三维建模软件中（Blender、AutoCAD等）手工构建出高精度且具有艺术性的静态城市街景元素（建筑、路牌、绿化等）和动态交通参与对象（车辆、行人），得到丰富的仿真建模素材库，在此基础上制定动态交通参与对象的移动规则，使得环境中的所有对象能够尽可能的接近真实世界中的物理规律，得到基于大量人工经验的“高动态、低耦合”三维复杂仿真场景，结合仿真引擎所提供的光照、渲染还原出一个数字孪生的城市场景。

分析当前市面上投入应用的商业软件，可以总结出以下缺点：对于城市规模场景而言，需要大量的时间和劳动力投入，时间成本高；对于三维网格模型素材而言，导入场景前需要雕刻纹理和模型细节，难以在导入场景后进行扩展或修改，需要通过手工操作在全局调整和变化；对于动态对象在场景中的运动规律而言，手工搭建的场景质量和效果受到设计者的经验和技能的影响，场景难以量化和数字化；对于自动化流程和测试驾驶算法应用而言，对算法从实车迁移到仿真中的闭环迭代过程不友好。

参考当前市面上主流的半自动化场景生成和重建方法（倾斜摄影、三维扫描重建等），在城市建筑物和道路等元素上虽然能快速的捕捉并转化为三维仿真软件可用的数据，但需要使用激光扫描仪和摄像头对地理区域进行扫描，获取地面图像和轮廓并对这些数据进行进一步处理和储存，包括去噪、滤波、配准等操作，以提高数据质量和准确性，再将预处理后的大量点云数据借助深度学习的方法从图像关联对应像素或三角面片的颜色，实现不同来源的数据融合，数据规模庞大难以满足实时需求，过程消耗大量计算资源，且对于较为细节的植被、车辆、行人、交通元素难以在原始数据上很好表达，缺乏高精度描述而导致后处理效果不佳，与实际真实效果相差甚远，尤其对于图像数据无法直接应用于自动驾驶的测试仿真中，需要进一步对图像风格迁移才能贴近真实相机传感器的数据。

发明内容

本发明针对如何解决从二维到三维场景自动化生成需求，同时在提高场景模型扩展性、生成实时性、构建轻量性上做出开创性工作的问题，提出了本发明。

为解决上述技术问题，本发明提供如下技术方案：

一方面，本发明提供了一种基于真实数据集的三维驾驶场景生成与构建方法，该方法由电子设备实现，该方法包括：

S1、获取待生成三维驾驶场景的城市场景数据。

S2、将城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块。

S3、根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，S3中的根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建，包括：

S31、将城市场景数据中的二维空间图像数据输入到对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签。

S32、将二维空间图像中物体的像素及物体的对应标签输入到模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理。

S33、将城市场景数据中的点云点集数据输入到位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度。

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型。

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型；

S36、根据三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，S31中的将城市场景数据中的二维空间图像数据输入到对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签，包括：

S311、对城市场景数据中的二维空间图像数据进行预处理，得到预处理后的图像。

S312、将预处理后的图像输入到训练好的全卷积神经网络进行物体分割，得到与预处理后的图像同样大小的像素级标注图。

S313、对像素级标注图进行后处理，得到二维空间图像中物体的像素及物体的对应标签。

可选地，S32中的将二维空间图像中物体的像素及物体的对应标签输入到模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理，包括：

S321、对二维空间图像中物体的像素及物体的对应标签进行特征提取，得到物体的特征向量。

S322、将物体的特征向量输入到基于变分自编码器VAE的生成模型，生成具有纹理和形状的三维空间物体模型。

可选地，S33中的将城市场景数据中的点云点集数据输入到位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度，包括：

S331、对城市场景数据中的点云点集数据进行预处理，得到预处理后的点云点集数据。

S332、根据预处理后的点云点集数据以及体素网络VoxelNet模型，进行特征提取，得到物体的三维候选框。

S333、使用卷积神经网络对物体的三维候选框进行预测，得到三维候选框的中心点坐标、大小以及朝向角度。

可选地，S34中的将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型，包括：

S341、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度的坐标转换为节点对象存入文件，在文件中创建路径对象，完成被测车辆数据预处理，得到被测车辆预处理数据。

S342、获取高精地图数据，选取高精地图数据中面积上包含被测车辆预处理数据所有范围的高精地图可行驶道路数据，对被测车辆预处理数据以及高精地图可行驶道路数据进行格式转换以及路径点融合，得到融合数据。

S343、将融合数据按照直线、螺旋线以及立方多项式曲线进行表达，并设定可行驶道路宽度，得到三维空间路面模型。

可选地，S35中的将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型，包括：

S351、对城市场景数据中的建筑底面轮廓的顶点地理坐标数据、高精地图可行驶道路数据以及被测车辆预处理数据进行格式转换，得到三维仿真全局坐标。

S352、根据三维仿真全局坐标中的建筑底面坐标和建筑高度，计算建筑立方体的八个顶点的空间坐标。

S353、根据建筑立方体的八个顶点的空间坐标，生成建筑立方体的三角形面片，得到三维空间建筑模型。

可选地，模型重建模块以及位姿解析模块，还用于还原真实场景下交通参与物的状态和相对位置关系。

街景路网生成模块以及静态建筑重建模块，还用于还原真实场景下关键驾驶环境要素的状态和相对位置关系。

另一方面，本发明提供了一种基于真实数据集的三维驾驶场景生成与构建装置，该装置应用于实现基于真实数据集的三维驾驶场景生成与构建方法，该装置包括：

获取模块，用于获取待生成三维驾驶场景的城市场景数据。

输入模块，用于将城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块。

输出模块，用于根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，输出模块，进一步用于：

S31、将城市场景数据中的二维空间图像数据输入到对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签。

S32、将二维空间图像中物体的像素及物体的对应标签输入到模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理。

S33、将城市场景数据中的点云点集数据输入到位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度。

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型。

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型；

S36、根据三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，输出模块，进一步用于：

S311、对城市场景数据中的二维空间图像数据进行预处理，得到预处理后的图像。

S312、将预处理后的图像输入到训练好的全卷积神经网络进行物体分割，得到与预处理后的图像同样大小的像素级标注图。

S313、对像素级标注图进行后处理，得到二维空间图像中物体的像素及物体的对应标签。

可选地，输出模块，进一步用于：

S321、对二维空间图像中物体的像素及物体的对应标签进行特征提取，得到物体的特征向量。

S322、将物体的特征向量输入到基于变分自编码器VAE的生成模型，生成具有纹理和形状的三维空间物体模型。

可选地，输出模块，进一步用于：

S331、对城市场景数据中的点云点集数据进行预处理，得到预处理后的点云点集数据。

S332、根据预处理后的点云点集数据以及体素网络VoxelNet模型，进行特征提取，得到物体的三维候选框。

S333、使用卷积神经网络对物体的三维候选框进行预测，得到三维候选框的中心点坐标、大小以及朝向角度。

可选地，输出模块，进一步用于：

S341、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度的坐标转换为节点对象存入文件，在文件中创建路径对象，完成被测车辆数据预处理，得到被测车辆预处理数据。

S342、获取高精地图数据，选取高精地图数据中面积上包含被测车辆预处理数据所有范围的高精地图可行驶道路数据，对被测车辆预处理数据以及高精地图可行驶道路数据进行格式转换以及路径点融合，得到融合数据。

S343、将融合数据按照直线、螺旋线以及立方多项式曲线进行表达，并设定可行驶道路宽度，得到三维空间路面模型。

可选地，输出模块，进一步用于：

S351、对城市场景数据中的建筑底面轮廓的顶点地理坐标数据、高精地图可行驶道路数据以及被测车辆预处理数据进行格式转换，得到三维仿真全局坐标。

S352、根据三维仿真全局坐标中的建筑底面坐标和建筑高度，计算建筑立方体的八个顶点的空间坐标。

S353、根据建筑立方体的八个顶点的空间坐标，生成建筑立方体的三角形面片，得到三维空间建筑模型。

可选地，模型重建模块以及位姿解析模块，还用于还原真实场景下交通参与物的状态和相对位置关系。

街景路网生成模块以及静态建筑重建模块，还用于还原真实场景下关键驾驶环境要素的状态和相对位置关系。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于真实数据集的三维驾驶场景生成与构建方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于真实数据集的三维驾驶场景生成与构建方法。

上述技术方案，与现有技术相比至少具有如下有益效果：

上述方案，实现了由二维场景到三维场景的自动化生成，不需要进行手工设计搭建城市场景，即可构建出满足驾驶测试的城市仿真街景。

本发明方法使用了交通参与物模型生成方法，不需要模型设计师手工雕刻，即可直接在城市仿真街景中生成新的模型对象，并具备新的网格模型和纹理。

本发明方法设计了关键驾驶环境要素生成方法，不需要使用专门的设备和技术来获取地面图像并处理大规模数据，即可生成道路和建筑物等。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于真实数据集的三维驾驶场景生成与构建方法流程示意图；

图2是本发明实施例提供的模块框架图；

图3是本发明实施例提供的前景物体生成流程图；

图4是本发明实施例提供的位姿解析流程图；

图5是本发明实施例提供的街景路网生成流程图；

图6是本发明实施例提供的静态建筑重建流程图；

图7是本发明实施例提供的基于真实数据集的三维驾驶场景生成与构建装置框图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于真实数据集的三维驾驶场景生成与构建方法，该方法可以由电子设备实现。如图1所示的基于真实数据集的三维驾驶场景生成与构建方法流程图，该方法的处理流程可以包括如下的步骤：

S1、获取待生成三维驾驶场景的城市场景数据。

S2、将城市场景数据输入到构建好的三维驾驶场景生成与构建模型。

其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块。

一种可行的实施方式中，本发明的生成和构建方法分为两个板块：前景物体生成和背景场景重建。如图2所示，使得复杂多变的大场景在三位空间的维度进行划分，发挥生成和重建技术所能够实现的最佳效果并融合。

具体地，可以包括：对象提取模块、模型重建模块、位姿解析模块、街景路网生成、静态建筑重建共5个模块。分别完成前景对象的特征提取、前景对象的模型生成、前景对象的位姿估计、背景建筑的模型生成、被测场景的道路生成。

可选地，模型重建模块以及位姿解析模块，还用于还原真实场景下交通参与物的状态和相对位置关系。

街景路网生成模块以及静态建筑重建模块，还用于还原真实场景下关键驾驶环境要素的状态和相对位置关系。

一种可行的实施方式中，前景对象的模型和位姿用于还原真实场景下交通参与物的状态和相对位置关系，背景建筑的模型和被测场景的道路还原真实场景下关键驾驶环境要素的状态和相对位置关系。

其中，交通参与物包括但不限于汽车、自行车、行人，关键驾驶环境要素包括但不限于道路、静态建筑物。

S3、根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，上述步骤S3可以包括如下步骤S31-S36：

S31、将城市场景数据中的二维空间图像数据输入到对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签。

一种可行的实施方式中，如图3所示，对象提取模块的输入可以是二维空间图像（数据格式：png图像文件）；输出可以是二维空间图像物体像素及对应标签（数据格式：npz二进制文件）。

具体地，本模块使用了一个FCN（Fully Convolutional Networks，全卷积神经网络）来将输入图像映射到像素级的分割结果，采用一系列卷积和反卷积层并引入空间金字塔池化技术，用于在不同的尺度下提取特征，提取图像时按照以下步骤S311-S313生成二维图像物体像素及对应标签。

S311、对城市场景数据中的二维空间图像数据进行预处理，得到预处理后的图像。

一种可行的实施方式中，对测试图像进行预处理，使其能够被输入到神经网络中进行分割，将测试图像进行裁剪和缩放，使其大小与训练过程中使用的图像大小相同；对图像进行归一化处理，将像素值缩放到 0 到 1 之间。

S312、将预处理后的图像输入到训练好的全卷积神经网络进行物体分割，得到与预处理后的图像同样大小的像素级标注图。

一种可行的实施方式中，使用训练好的全卷积神经网络对输入图像进行物体分割，经过预处理的图像输入到网络中，网络输出一个与输入图像同样大小的像素级标注图，其中每个像素都被分配到其所属的物体类别上。

S313、对像素级标注图进行后处理，得到二维空间图像中物体的像素及物体的对应标签。

一种可行的实施方式中，对分割结果进行后处理，借助连通性分析、边缘检测，去除分割结果中的噪声和不连续区域，得到准确的分割结果。

S32、将二维空间图像中物体的像素及物体的对应标签输入到模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理。

一种可行的实施方式中，如图3所示，模型重建模块的输入可以是二维空间图像物体像素及对应标签（数据格式：npz二进制文件）；输出可以是三维空间物体模型及纹理（数据格式：ply模型文件、mtl纹理文件）。

可选地，上述步骤S32可以包括如下步骤S321-S322：

S321、对二维空间图像中物体的像素及物体的对应标签进行特征提取，得到物体的特征向量。

一种可行的实施方式中，本模块分为两个部分，先对分割结果进行特征提取，使用点云神经网络模型PointNet来提取点云数据中的特征，接收点云数据作为输入，并将点云数据转换为固定维度的特征向量的函数，从上游模块的物体分割结果中提取出物体的特征向量。

S322、将物体的特征向量输入到基于变分自编码器VAE的生成模型，生成具有纹理和形状的三维空间物体模型。

一种可行的实施方式中，使用基于VAE（Variational Auto-Encoders，变分自编码器）的生成模型，从上游模块的物体分割结果中生成具有纹理和形状的三维网格模型，将物体的特征向量作为输入，并使用编码器将其映射到一个低维的隐空间中，使用解码器从隐空间中生成具有纹理和形状的三维网格模型。

为了“从真实数据集中的图像数据生成对应物体的纹理和三维模型，并可迁移成其他种类的物体纹理和模型”，本发明生成物体纹理是通过噪声向量进行生成的，使用纹理场的方法来生成纹理，将噪声向量作为条件输入，并通过一个卷积神经网络将噪声向量映射到一个纹理场，将纹理场视为一个三维的图像，其中每个像素表示纹理的颜色，把生成的纹理被应用到3D网格的表面上，从而实现对不同种类三维网格物体的纹理细节的生成，进而可以轻松地迁移到其他种类物体；该系统生成物体模型从噪声中生成，使用Latent-GAN（Latent-Generative Adversarial Network，潜在生成对抗网络）的方法，通过在噪声空间中采样潜变量来生成三维网格模型，将潜变量输入到生成器生成三维网格模型的顶点坐标，引入判别器网络，判断生成的三维网格模型真实性。

S33、将城市场景数据中的点云点集数据输入到位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度。

一种可行的实施方式中，如图4所示，位姿解析模块的输入可以是点云点集（数据格式：bin二进制文件）；输出可以是三维候选框的中心点坐标、大小、朝向角度（数据格式：npy二进制文件）。

可选地，上述步骤S33可以包括如下步骤S331-S333：

S331、对城市场景数据中的点云点集数据进行预处理，得到预处理后的点云点集数据。

一种可行的实施方式中，对输入的点云数据进行预处理，包括去除无用点、进行点云降采样等操作，以减少点云的数量和噪声。

S332、根据预处理后的点云点集数据以及体素网络VoxelNet模型，进行特征提取，得到物体的三维候选框。

一种可行的实施方式中，使用体素网络VoxelNet模型在点云中提取特征，将点云数据转化为具有高维度特征的向量或者矩阵，对每一个可能的物体生成一个候选框并用NMS（Non-Maximum Suppression，非极大值抑制）算法筛选出其中置信度最高的框。

S333、使用卷积神经网络对物体的三维候选框进行预测，得到三维候选框的中心点坐标、大小以及朝向角度。

一种可行的实施方式中，使用CNN（Convolutional Neural Networks，卷积神经网络）来预测该候选框所代表的物体的类别，并预测该物体的三维位置、大小和姿态，获得三维候选框的中心点坐标、大小、朝向角度。

为了“从真实数据集中的点云数据定位可视范围内的车辆和行人，为生成前景物体提供单帧传感器坐标下的位置”，采用二阶段的检测方法，将样本框内的点云进行编码，得到相应特征表示，将特征表示输入到池化层，得到固定长度的特征向量，将特征向量输入到全连接层中进行分类和回归。在分类阶段，首先进行二分类，判断样本框中是否存在一个目标，若存在，则进行多类别的分类判断目标属于哪个类别。在回归阶段，通过回归预测目标的三维候选框，预测目标的中心点、尺寸以及旋转角度等参数。

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型。

一种可行的实施方式中，如图5所示，街景路网生成模块的输入可以是GNSS（Global Navigation Satellite System，全球导航卫星系统）导航数据的经度和纬度（数据格式：npy二进制文件）；输出可以是三维空间路面模型（数据格式：obj模型文件）。

可选地，上述步骤S34可以包括如下步骤S341-S343：

S341、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度的坐标转换为节点对象存入文件，在文件中创建路径对象，完成被测车辆数据预处理，得到被测车辆预处理数据。

一种可行的实施方式中，本模块重建路面步骤包含被测车辆数据预处理和数据格式转换与融合，从指定的数据集中加载并创建数据集对象，根据文件索引获取各字段中的数据，筛选出经度和纬度以及对应的帧数标号；创建符合格式地图Open Street Map格式的文件对象，将经度和纬度坐标转换为节点对象存入文件，并在文件中创建路径对象用于表达节点对象之间的拓扑连接关系，将节点对象与路径对象关联，从而使得被测车辆的移动轨迹以高精地图的形式保存，完成被测车辆数据预处理。

S342、获取高精地图数据，选取高精地图数据中面积上包含被测车辆预处理数据所有范围的高精地图可行驶道路数据，对被测车辆预处理数据以及高精地图可行驶道路数据进行格式转换以及路径点融合，得到融合数据。

一种可行的实施方式中，根据被测车辆预处理数据选取面积上包含该数据所有范围的高精地图数据；将被测车辆预处理数据和高精地图可行驶道路数据从Open StreetMap转Open Drive格式，在Open Drive格式下根据车道信息将被测车辆的经度和纬度与高精地图的路径点融合，得到被测车辆与高精地图的融合数据，实现从经度和纬度到三维仿真全局坐标的映射。

S343、将融合数据按照直线、螺旋线以及立方多项式曲线进行表达，并设定可行驶道路宽度，得到三维空间路面模型。

一种可行的实施方式中，将融合数据按照直线、螺旋线、立方多项式曲线表达，设定车道宽度画出三维空间路面模型。

为了“从真实数据集中的导航数据划定连续多帧数据可能所处的场景范围，调用高精地图数据进行道路和建筑物生成”，将高精地图数据加载到计算机内存中，按照格网划分为若干个小区域，每个小区域中包含相应的地图信息；将导航数据集中的GPS（GlobalPositioning System，全球定位系统）数据转换为地理坐标系中的坐标，把多帧数据按照一定时间间隔进行划分，使用基于距离的匹配方法来进行匹配，计算单帧数据和地图数据点集的欧式距离，设置匹配阈值，当距离小于该阈值时，匹配成功，更新当前场景的范围并以当前帧数据所匹配的小区域作为当前场景的中心。

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型。

一种可行的实施方式中，如图6所示，静态建筑重建模块的输入可以是建筑底面轮廓顶点地理坐标（数据格式：osm标记文件）；输出可以是三维空间建筑模型（数据格式：fbx模型文件）。

具体地，本模块将复杂的形状的建筑抽象为立方体，按照顶点确认、面片构造和法向量计算的步骤进行重建。

可选地，上述步骤S35可以包括如下步骤S351-S353：

S351、对城市场景数据中的建筑底面轮廓的顶点地理坐标数据、高精地图可行驶道路数据以及被测车辆预处理数据进行格式转换，得到三维仿真全局坐标。

一种可行的实施方式中，创建坐标对象从地理坐标标记文件中加载被测车辆预处理数据下范围内所有建筑底角经度和纬度、建筑高度，与高精地图可行驶道路数据、被测车辆预处理数据一并从Open Street Map转Open Drive格式得到三维仿真全局坐标。

S352、根据三维仿真全局坐标中的建筑底面坐标和建筑高度，计算建筑立方体的八个顶点的空间坐标。

S353、根据建筑立方体的八个顶点的空间坐标，生成建筑立方体的三角形面片，得到三维空间建筑模型。

一种可行的实施方式中，使用八个顶点的坐标来生成立方体的三角形面片，根据立方体的八个顶点，组合成立方体的 12 个三角形面片，每个三角形面片由三个顶点的坐标组成，并计算其法向量和纹理坐标，法向量用于光照计算，纹理坐标用于贴图和纹理映射。

S36、根据三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

针对“三维网格模型素材需要在导入场景前雕刻纹理和模型细节，难以在导入场景后进行扩展或修改”的问题，本发明从真实数据集中的图像数据生成对应物体的纹理和三维模型，并可迁移成其他种类的物体纹理和模型。

针对“三维仿真场景实时根据传感器位置自动化设置动态对象位置过程难以量化和数字化”的问题，本发明从真实数据集中的点云数据定位可视范围内的车辆和行人，为生成前景物体提供单帧传感器坐标下的位置。

针对“背景重建数据规模大难以快速预处理并实时指导仿真场景生成”的问题，本发明从真实数据集中的导航数据划定连续多帧数据可能所处的场景范围，调用高精地图数据进行道路和建筑物生成。

本发明所提出的充分利用被测车辆的高精导航数据，还原测试路段的建筑与道路信息，绘制出三维仿真场景下的静态物体，过程避开使用专业测绘设备并处理大量数据，提高了实时生成性能。

本发明所提出的自动化生成与构建方法开创性地实现了以自动驾驶测试为应用场景的三维仿真场景自动生成，方法不引入人工雕刻网格模型，避开了依赖大量人工绘制的繁琐重复性工作，提高了驾驶测试场景的搭建效率。

本发明实施例中，实现了由二维场景到三维场景的自动化生成，不需要进行手工设计搭建城市场景，即可构建出满足驾驶测试的城市仿真街景。

本发明方法使用了交通参与物模型生成方法，不需要模型设计师手工雕刻，即可直接在城市仿真街景中生成新的模型对象，并具备新的网格模型和纹理。

本发明方法设计了关键驾驶环境要素生成方法，不需要使用专门的设备和技术来获取地面图像并处理大规模数据，即可生成道路和建筑物等。

如图7所示，本发明实施例提供了一种基于真实数据集的三维驾驶场景生成与构建装置700，该装置700应用于实现基于真实数据集的三维驾驶场景生成与构建方法，该装置700包括：

获取模块710，用于获取待生成三维驾驶场景的城市场景数据。

输入模块720，用于将城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块。

输出模块730，用于根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，输出模块730，进一步用于：

S31、将城市场景数据中的二维空间图像数据输入到对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签。

S32、将二维空间图像中物体的像素及物体的对应标签输入到模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理。

S33、将城市场景数据中的点云点集数据输入到位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度。

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型。

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型；

S36、根据三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

可选地，输出模块730，进一步用于：

S311、对城市场景数据中的二维空间图像数据进行预处理，得到预处理后的图像。

S312、将预处理后的图像输入到训练好的全卷积神经网络进行物体分割，得到与预处理后的图像同样大小的像素级标注图。

S313、对像素级标注图进行后处理，得到二维空间图像中物体的像素及物体的对应标签。

可选地，输出模块730，进一步用于：

S321、对二维空间图像中物体的像素及物体的对应标签进行特征提取，得到物体的特征向量。

S322、将物体的特征向量输入到基于变分自编码器VAE的生成模型，生成具有纹理和形状的三维空间物体模型。

可选地，输出模块730，进一步用于：

S331、对城市场景数据中的点云点集数据进行预处理，得到预处理后的点云点集数据。

S332、根据预处理后的点云点集数据以及体素网络VoxelNet模型，进行特征提取，得到物体的三维候选框。

S333、使用卷积神经网络对物体的三维候选框进行预测，得到三维候选框的中心点坐标、大小以及朝向角度。

可选地，输出模块730，进一步用于：

S341、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度的坐标转换为节点对象存入文件，在文件中创建路径对象，完成被测车辆数据预处理，得到被测车辆预处理数据。

S342、获取高精地图数据，选取高精地图数据中面积上包含被测车辆预处理数据所有范围的高精地图可行驶道路数据，对被测车辆预处理数据以及高精地图可行驶道路数据进行格式转换以及路径点融合，得到融合数据。

S343、将融合数据按照直线、螺旋线以及立方多项式曲线进行表达，并设定可行驶道路宽度，得到三维空间路面模型。

可选地，输出模块730，进一步用于：

S351、对城市场景数据中的建筑底面轮廓的顶点地理坐标数据、高精地图可行驶道路数据以及被测车辆预处理数据进行格式转换，得到三维仿真全局坐标。

S352、根据三维仿真全局坐标中的建筑底面坐标和建筑高度，计算建筑立方体的八个顶点的空间坐标。

S353、根据建筑立方体的八个顶点的空间坐标，生成建筑立方体的三角形面片，得到三维空间建筑模型。

可选地，模型重建模块以及位姿解析模块，还用于还原真实场景下交通参与物的状态和相对位置关系。

街景路网生成模块以及静态建筑重建模块，还用于还原真实场景下关键驾驶环境要素的状态和相对位置关系。

本发明实施例中，实现了由二维场景到三维场景的自动化生成，不需要进行手工设计搭建城市场景，即可构建出满足驾驶测试的城市仿真街景。

本发明方法使用了交通参与物模型生成方法，不需要模型设计师手工雕刻，即可直接在城市仿真街景中生成新的模型对象，并具备新的网格模型和纹理。

本发明方法设计了关键驾驶环境要素生成方法，不需要使用专门的设备和技术来获取地面图像并处理大规模数据，即可生成道路和建筑物等。

图8是本发明实施例提供的一种电子设备800的结构示意图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）801和一个或一个以上的存储器802，其中，存储器802中存储有至少一条指令，至少一条指令由处理器801加载并执行以实现下述基于真实数据集的三维驾驶场景生成与构建方法：

S1、获取待生成三维驾驶场景的城市场景数据。

S2、将城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块。

S3、根据城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于真实数据集的三维驾驶场景生成与构建方法。例如，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于真实数据集的三维驾驶场景生成与构建方法，其特征在于，所述方法包括：

S1、获取待生成三维驾驶场景的城市场景数据；

S2、将所述城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，所述三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块；

S3、根据所述城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

2.根据权利要求1所述的方法，其特征在于，所述S3中的根据所述城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建，包括：

S31、将城市场景数据中的二维空间图像数据输入到所述对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签；

S32、将所述二维空间图像中物体的像素及物体的对应标签输入到所述模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理；

S33、将城市场景数据中的点云点集数据输入到所述位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度；

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到所述街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型；

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到所述静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型；

S36、根据所述三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

3.根据权利要求2所述的方法，其特征在于，所述S31中的将城市场景数据中的二维空间图像数据输入到所述对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签，包括：

S311、对城市场景数据中的二维空间图像数据进行预处理，得到预处理后的图像；

S312、将所述预处理后的图像输入到训练好的全卷积神经网络进行物体分割，得到与所述预处理后的图像同样大小的像素级标注图；

S313、对所述像素级标注图进行后处理，得到二维空间图像中物体的像素及物体的对应标签。

4.根据权利要求2所述的方法，其特征在于，所述S32中的将所述二维空间图像中物体的像素及物体的对应标签输入到所述模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理，包括：

S321、对所述二维空间图像中物体的像素及物体的对应标签进行特征提取，得到物体的特征向量；

S322、将所述物体的特征向量输入到基于变分自编码器VAE的生成模型，生成具有纹理和形状的三维空间物体模型。

5.根据权利要求2所述的方法，其特征在于，所述S33中的将城市场景数据中的点云点集数据输入到所述位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度，包括：

S331、对城市场景数据中的点云点集数据进行预处理，得到预处理后的点云点集数据；

S332、根据所述预处理后的点云点集数据以及体素网络VoxelNet模型，进行特征提取，得到物体的三维候选框；

S333、使用卷积神经网络对所述物体的三维候选框进行预测，得到三维候选框的中心点坐标、大小以及朝向角度。

6.根据权利要求2所述的方法，其特征在于，所述S34中的将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到所述街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型，包括：

S341、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度的坐标转换为节点对象存入文件，在所述文件中创建路径对象，完成被测车辆数据预处理，得到被测车辆预处理数据；

S342、获取高精地图数据，选取所述高精地图数据中面积上包含所述被测车辆预处理数据所有范围的高精地图可行驶道路数据，对所述被测车辆预处理数据以及高精地图可行驶道路数据进行格式转换以及路径点融合，得到融合数据；

S343、将所述融合数据按照直线、螺旋线以及立方多项式曲线进行表达，并设定可行驶道路宽度，得到三维空间路面模型。

7.根据权利要求2所述的方法，其特征在于，所述S35中的将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到所述静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型，包括：

S351、对城市场景数据中的建筑底面轮廓的顶点地理坐标数据、高精地图可行驶道路数据以及被测车辆预处理数据进行格式转换，得到三维仿真全局坐标；

S352、根据三维仿真全局坐标中的建筑底面坐标和建筑高度，计算建筑立方体的八个顶点的空间坐标；

S353、根据所述建筑立方体的八个顶点的空间坐标，生成建筑立方体的三角形面片，得到三维空间建筑模型。

8.根据权利要求1所述的方法，其特征在于，所述模型重建模块以及位姿解析模块，还用于还原真实场景下交通参与物的状态和相对位置关系；

所述街景路网生成模块以及静态建筑重建模块，还用于还原真实场景下关键驾驶环境要素的状态和相对位置关系。

9.一种基于真实数据集的三维驾驶场景生成与构建装置，其特征在于，所述装置包括：

获取模块，用于获取待生成三维驾驶场景的城市场景数据；

输入模块，用于将所述城市场景数据输入到构建好的三维驾驶场景生成与构建模型；其中，所述三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块；

输出模块，用于根据所述城市场景数据以及三维驾驶场景生成与构建模型，完成三维驾驶场景的前景物体生成和背景场景重建。

10.根据权利要求9所述的装置，其特征在于，所述输出模块，用于：

S31、将城市场景数据中的二维空间图像数据输入到所述对象提取模块，进行前景物体的特征提取，得到二维空间图像中物体的像素及物体的对应标签；

S32、将所述二维空间图像中物体的像素及物体的对应标签输入到所述模型重建模块，进行前景物体的模型生成，得到三维空间物体模型及纹理；

S33、将城市场景数据中的点云点集数据输入到所述位姿解析模块，进行前景物体的位姿估计，得到三维候选框的中心点坐标、大小以及朝向角度；

S34、将城市场景数据中的全球导航卫星系统GNSS导航数据的经度和纬度输入到所述街景路网生成模块，进行背景建筑的模型生成，得到三维空间路面模型；

S35、将城市场景数据中的建筑底面轮廓的顶点地理坐标数据输入到所述静态建筑重建模块，进行城市场景的道路生成，得到三维空间建筑模型；

S36、根据所述三维空间物体模型及纹理、三维候选框的中心点坐标、大小以及朝向角度、三维空间路面模型以及三维空间建筑模型，完成三维驾驶场景的前景物体生成和背景场景重建。

Images