CN115719439A - 一种自动驾驶仿真数据生成方法 - Google Patents

Abstract

本发明公开了一种自动驾驶仿真数据生成方法。首先，对没有车辆的道路图像进行可行驶车道标注后，通过相机参数进行反向投影获得世界坐标系中的可行驶车道。通过可行驶车道对点云数据进行筛选，利用筛选过后的点云集合拟合出真实路面方程，从车辆3D模型库中选取车辆模型放置到真实路面，根据路面方程对车辆角度进行调整。从灯光库中选取不同的灯光信息后，便可利用blender进行渲染得到高真实度的前景图像与蒙版信息。通过风格和谐化模型，以背景图像作为参考，对前景图像进行风格和谐化操作，最后利用蒙版信息将前景图像与背景图像进行贴图操作，得到最终的仿真图像。本发明可以快速得到与真实世界高相似的合成图像数据，同时轻松地获得高精度的检测框。

Description

一种自动驾驶仿真数据生成方法

技术领域

本发明涉及了一种驾驶数据生成方法，具体涉及了一种自动驾驶仿真数据生成方法。

背景技术

自动驾驶离不开基于计算机视觉的3D检测算法，其中包括单目3D目标检测，多目鸟瞰视图目标检测等。虽然各个3D目标检测算法的实现方式各有不同，但是都离不开对于真实标注数据的依赖。3D目标检测数据集的标注成本远高于2D目标检测数据集，标注效率也远低于2D目标检测数据集。同时，训练优秀的3D目标检测模型需要精确标注的数据集，3D目标检测框是在点云中进行标注，而训练数据却是图像。点云数据由激光雷达获得，图像数据由相机获得，由于相机的曝光时间无法确定，导致激光雷达的刷新频率与相机拍摄频率无法精确对齐，即手工标注的3D目标框投影到2D图像以后大多数情况下是偏离目标车辆的，这对自动驾驶中的检测模型训练带来了极大的负面影响。

发明内容

为了克服人工采集和标注自动驾驶目标检测数据集成本高、效率低、精度差的问题，本发明提供了一种自动驾驶仿真数据生成方法，本发明旨在对没有车辆的道路图像进行可行驶车道标注后，通过相机参数进行反向投影获得世界坐标系中的可行驶车道。通过可行驶车道对点云数据进行筛选，利用筛选过后的点云集合拟合出真实路面方程，从车辆3D模型库中选取车辆模型放置到真实路面，根据路面方程对车辆角度进行调整。从灯光库中选取不同的灯光信息后，便可利用blender进行渲染得到高真实度的前景图像与蒙版信息。为了排除前景与背景的风格差异，通过风格和谐化模型，以背景图像作为参考，对前景图像进行风格和谐化操作，最后利用蒙版信息将前景图像与背景图像进行贴图操作，得到最终的仿真图像。本发明可以以极低的成本快速地获得高真实度的自动驾驶数据集以及高精度的3D目标检测框标注。

本发明所采用的技术方案如下：

1)通过车辆检测模型筛选获得没有车辆的道路图像并记为目标背景图像，接着通过可行驶车道检测模块对目标背景图像进行可行驶车道标注，获得车道标注信息，最后通过相机参数对车道标注信息进行反向投影，获得世界坐标系中的可行驶车道；

2)利用世界坐标系中的可行驶车道筛选目标背景图像对应世界坐标系的点云坐标集合，根据筛选获得世界坐标系的点云坐标集合拟合出车道平面方程；

3)在可行驶车道中随机生成世界坐标系中的X轴坐标X_w和Y轴坐标Y_w，通过车道平面方程计算出X轴坐标X_w和Y轴坐标Y_w对应的Z轴坐标Z_w，由X轴坐标X_w、X轴坐标Y_w和Z轴坐标Z_w组成基准坐标(X_w，Y_w，Z_w)；

4)根据可行驶车道的中轴线计算出偏航角，再根据拟合出车道平面方程计算得到俯仰角和翻滚角，由偏航角、俯仰角和翻滚角组成基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)；

5)从车辆3D模型库中随机抽取车辆模型后导入图像渲染引擎中，将3)中的基准坐标作为车辆模型的底面几何中心坐标，将4)中的基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)作为车辆模型的旋转角度；接着从高动态范围成像库中随机选取文件作为光照信息，通过图像渲染引擎对设置好的车辆模型进行渲染，获得前景渲染图像以及蒙版信息；

6)根据目标背景图像、前景渲染图像以及蒙版信息，利用风格和谐化模型进行图像仿真，获得仿真图像；

7)根据当前车辆模型的尺寸信息、图像渲染引擎中的相机参数计算得到投影到仿真图像的3D检测框标注信息；由仿真图像和对应的3D检测框标注信息组成仿真数据。

所述1)中，车道标注信息为一个四边形的四个顶点坐标，根据相机参数利用以下公式对四个顶点坐标进行反向投影，获得世界坐标系中的可行驶车道：

M₂＝R^invT

其中，每个可行驶车道由4个顶点表示，

表示可行驶车道的第i个顶点反向投影系数，u_i，v_i分别表示像素坐标系中可行驶车道第i个顶点的水平和垂直坐标值，R表示相机外参中的旋转矩阵，T表示相机外参中的平移矩阵，K表示相机内参矩阵，R^inv表示旋转矩阵的逆矩阵，K^inv表示相机内参矩阵的逆矩阵，

表示世界坐标系中第i个顶点的三个坐标值，M₁表示反向投影中的旋转相关系数矩阵，M₂表示反向投影中的平移相关系数矩阵，M₁[0，0]表示反向投影中的旋转相关系数矩阵M₁第0行第0列，M₂[2，0]表示反向投影中的平移相关系数矩阵M₂的第2行第0列。

所述2)具体为：

首先，根据世界坐标系中的可行驶车道确定可行驶车道在X轴和Y轴坐标范围，接着，根据可行驶车道在X轴和Y轴坐标范围对目标背景图像对应世界坐标系的点云坐标集合进行筛选，再根据筛选获得世界坐标系的点云坐标集合利用以下公式拟合出车道平面方程，公式如下：

min||An||

||n||＝1

Sp_oints＝{p₁，p₂，…，p_m}

p_i＝(x_i，y_i，z_i)

p₀＝(x₀，y₀，z₀)

n＝[a b c]^T

其中，min|| ||表示取最小值操作，S_points表示筛选获得世界坐标系的点云坐标集合，共有m个点，A表示点云集合中所有点指向均值点的向量矩阵，n表示车道的平面法向量，p_i表示目标背景图像对应世界坐标系点云集合的第i个点，x_i，y_i，z_i表示点云集合中第i个点的三个坐标值，p₀表示点云集合中所有点的坐标均值点，x₀，y₀，z₀分别表示点云集合中所有点对应三个坐标值的均值，a，b，c表示平面方程中的三次系数、二次系数和一次系数。

所述4)中，将车道平面方程的平面法向量与世界坐标系的x轴的夹角记为俯仰角，将车道平面方程的平面法向量与世界坐标系的y轴的夹角记为翻滚角。

所述风格和谐化模型包括第一特征提取模块、第二特征提取模块和生成网络，目标背景图像、前景渲染图像以及蒙版信息输入到风格和谐化模型中，目标背景图像作为第一特征提取模块的输入，前景渲染图像作为第二特征提取模块的输入，前景渲染图像还作为生成网络的第一输入，第一特征提取模块的输出和第二特征提取模块的输出分别作为生成网络的第二输入和第三输入，目标背景图像还作为生成网络的第四输入，蒙版信息作为生成网络的第五输入，生成网络的输出作为风格和谐化模型的输出。

所述第一特征提取模块和第二特征提取模块的结构相同，第一特征提取模块包括5个特征编码模块、4个特征解码模块、4层最大池化层和4层反卷积层，第一特征提取模块的输入作为第一特征编码模块的输入，第一特征编码模块依次经第一最大池化层、第二特征编码模块、第二最大池化层、第三特征编码模块、第三最大池化层、第四特征编码模块、第四最大池化层和第五特征编码模块后与第四反卷积层相连，第四特征编码模块的输出与第四反卷积层的输出拼接后再输入到第四特征解码模块，第四特征解码模块与第三反卷积层相连，第三特征编码模块的输出与第三反卷积层的输出拼接后再输入到第三特征解码模块，第三特征解码模块与第二反卷积层相连，第二特征编码模块的输出与第二反卷积层的输出拼接后再输入到第二特征解码模块，第二特征解码模块与第一反卷积层相连，第一特征编码模块的输出与第一反卷积层的输出拼接后再输入到第一特征解码模块，第二特征解码模块-第四特征解码模块的输出分别进行双线性插值后再一起与第一特征解码模块的输出进行相加，输出获得最终特征图并作为第一特征提取模块的输出。

所述生成网络包括2个自适应实例归一化层和6层全连接层，生成网络的第二输入和第三输入分别作为第一自适应实例归一化层的第一输入和第二输入，第一自适应实例归一化层依次经6层全连接层后与第二自适应实例归一化层相连，生成网络的第一输入作为第二自适应实例归一化层的第一输入，第二自适应实例归一化层的输出记为和谐化前景图像，和谐化前景图像与生成网络的第四输入和第五输入进行贴图操作后，获得仿真图像作为生成网络的输出。

所述7)具体为：

将当前车辆模型的底面几何中心作为原点，根据当前车辆模型的尺寸信息计算获得当前车辆模型的最小外接长方体的8个顶点，对最小外接长方体的8个顶点进行投影，获得3D检测框标注信息，计算公式如下：

其中，K_r为图像渲染引擎中的相机内参，R_r为图像渲染引擎中相机外参的旋转矩阵，T_r为图像渲染引擎中相机外参的平移矩阵，

为最小外接长方体的第k个顶点在世界坐标系中的三个坐标值，

为最小外接长方体的第k个顶点投影的两个像素坐标值。

本发明的有益效果为：

该发明可以快速得到与真实世界高度相似的合成图像数据，在车辆类型、位置、光照信息等方向有着很高的丰富度以及真实度。相比与传统采集以及手工标注的方式，合成数据的方式成本更加低廉，数据生成效率远高于传统方式。同时由于自动驾驶数据集标注时雷达和相机硬件上存在时间难以对齐问题，导致难以获得标准的检测框，相对而言该发明可以轻松地获得标准且高精度的检测框，对于各类自动驾驶检测模型的训练提供了极大的帮助。

附图说明

图1是本发明中的方法流程图。

图2是本发明中的风格和谐化模型中的特征提取模块结构图。

图3是本发明中的风格和谐化模型中的生成网络结构图。

图4是本发明生成的未和谐化的合成图像。

图5是本发明生成的和谐化的合成图像。

具体实施方式

为了更加清楚说明本发明的目的和技术方案，以下结合附图，对本发明进行进一步详细说明。

如图1所示，本发明包括以下步骤：

1)通过车辆检测模型筛选获得没有车辆的道路图像并记为目标背景图像，接着通过可行驶车道检测模块对目标背景图像进行可行驶车道标注，获得车道标注信息，最后通过相机参数对车道标注信息进行反向投影，获得世界坐标系中的可行驶车道；

1)中，车道标注信息为一个四边形的四个顶点坐标，根据相机参数利用以下公式对四个顶点坐标进行反向投影，获得世界坐标系中的可行驶车道：

M₂＝R^invT

其中，每个可行驶车道由4个顶点表示，

表示可行驶车道的第i个顶点反向投影系数，u_i，v_i分别表示像素坐标系中可行驶车道第i个顶点的水平和垂直坐标值，R表示相机外参中的旋转矩阵，T表示相机外参中的平移矩阵，K表示相机内参矩阵，R^inv表示旋转矩阵的逆矩阵，K^inv表示相机内参矩阵的逆矩阵，

表示世界坐标系中第i个顶点的三个坐标值，M₁表示反向投影中的旋转相关系数矩阵，M₂表示反向投影中的平移相关系数矩阵，M₁[0，0]表示反向投影中的旋转相关系数矩阵M₁第0行第0列，M₂[2，0]表示反向投影中的平移相关系数矩阵M₂的第2行第0列。

2)利用世界坐标系中的可行驶车道筛选目标背景图像对应世界坐标系的点云坐标集合，根据筛选获得世界坐标系的点云坐标集合拟合出车道平面方程；

2)具体为：

首先，根据世界坐标系中的可行驶车道确定可行驶车道在X轴和Y轴坐标范围[X′_min，X′_max]和[Y′_min，Y′_max]，具体地，每条可行驶车道的顶点集合S_available表示为：

S_available＝{P₁，P₂，P₃，P₄}

P_i＝(X_iw，Y_iw，0)

X_1w，X_4w＜X_2w，X_3w

Y_1w，Y_2w＜Y_3w，Y_4w

其中，P_i表示顶点i的坐标，X_iw，Y_iw分别表示顶点i的X轴、Y轴坐标值，X_1w，X_2w，X_3w，X_4w分别表示顶点1-4的X轴坐标值，Y_1w，Y_2w，Y_3w，Y_4w分别表示顶点1-4的Y轴坐标值，从Y_1w，Y_2w中选取较大值作为Y′_min，Y_3w，Y_4w中选取较小值作为Y′_max，X_1w，X_2w中选取较大值作为X′_min，X_3w，X_4w中选取较大值作为X′_min。

接着，根据可行驶车道在X轴和Y轴坐标范围对目标背景图像对应世界坐标系的点云坐标集合进行筛选，即选择满足X_w∈[X′_min，X′_max]，Y_w∈[Y′_min，Y′_max]的点，再根据筛选获得世界坐标系的点云坐标集合利用以下公式拟合出车道平面方程，公式如下：

min||An||

||n||＝1

Sp_oints＝{p₁，p₂，…，p_m}

p_i＝(x_i，y_i，z_i)

p₀＝(x₀，y₀，z₀)

n＝[a b c]^T

其中，min|| ||表示取最小值操作，S_points表示筛选获得世界坐标系的点云坐标集合，共有m个点，A表示点云集合中所有点指向均值点的向量矩阵，n表示车道的平面法向量，p_i表示目标背景图像对应世界坐标系点云集合的第i个点，x_i，y_i，z_i表示点云集合中第i个点的三个坐标值，p₀表示点云集合中所有点的坐标均值点，x₀，y₀，z₀分别表示点云集合中所有点对应三个坐标值的均值，a，b，c表示平面方程中的三次系数、二次系数和一次系数。假设S_points中所有点在平面上，应该满足An＝0，但在实际情况中，大部分点坐标在目标平面上下浮动，所以目标函数为min||An||，约束条件为||n||＝1，对矩阵A进行奇异值分解，A＝UDV^T，其中D为对角矩阵，U和V为酉矩阵，则可以得到||An||＝||UDV^Tn||＝||DV^Tn||，其中V^Tn为列矩阵，且||V^Tn||＝||n||＝1，当且仅当

时，||An||取到最小值，由此可以得到

min||An||约束下最优解为n＝(a，b，c)＝(v₁，v₂，v₃)，d＝-(ax₀+by₀+cz₀)。

3)在可行驶车道中随机生成世界坐标系中的X轴坐标X_w和Y轴坐标Y_w，通过车道平面方程计算出X轴坐标X_w和Y轴坐标Y_w对应的Z轴坐标Z_w(即高度)，由X轴坐标X_w、X轴坐标Y_w和Z轴坐标Z_w组成基准坐标(X_w，Y_w，Z_w)；

随机生成坐标X_w∈[X′_min，X′_max]和Y_w∈[Y′_min，Y′_max]，根据步骤2)中拟合的平面方程aX_w+bY_w+cZ_w+d＝0，可以计算出对应的高度坐标Z_w。

4)根据可行驶车道的中轴线计算出偏航角，再根据拟合出车道平面方程计算得到俯仰角和翻滚角，由偏航角、俯仰角和翻滚角组成基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)；

具体实施中，对于每条可行驶车道的顶点集合S_available＝{P₁，P₂，P₃，P₄}，计算P₁，P₂的中点P_near以及P₃，P₄的中点P_far，利用以下公式可以计算出偏航角θ_Yaw：

其中，X_far，Y_far表示中点P_far的X、Y轴坐标值，X_near，Y_near表示中点P_near的X、Y轴坐标值。

将车道平面方程的平面法向量n＝(a，b，c)与世界坐标系的x轴所在的单位向量n_x＝(1，0，0)的夹角记为俯仰角，将车道平面方程的平面法向量所在的单位向量n＝(a，b，c)与世界坐标系的y轴n_y＝(0，1，0)的夹角记为翻滚角。

5)从预先准备的车辆3D模型库中随机抽取至少一辆车辆模型后导入图像渲染引擎blender中，车型包括小轿车、厢式货车、特种车辆、SUV。将3)中的基准坐标(X_w，Y_w，Z_w)作为车辆模型的底面几何中心坐标，底面几何中心为车辆的原点，如果抽取了多辆车辆模型，则3)中需要生成多个基准坐标，将4)中的基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)作为车辆模型的旋转角度；接着从高动态范围成像(High Dynamic Range lmaging，HDRI)库中随机选取文件作为光照信息，光照信息库由多个不同场景下的高动态范围成像(High Dynamic Rangelmaging，HDRI)构成，场景包括清晨、正午、下午、傍晚、夜间。通过图像渲染引擎blender的cycles渲染器对设置好的车辆模型进行渲染，获得前景渲染图像以及蒙版信息；

6)根据目标背景图像、前景渲染图像以及蒙版信息，利用风格和谐化模型进行图像仿真，获得拥有高真实度的仿真图像；风格和谐化模型中，首先对前景渲染图像进行背景风格和谐化操作，获得和谐化前景图像，如图5所示，与图4相比，图5中的前景渲染图像与背景风格更和谐。再利用蒙版信息将和谐化前景图像和前景渲染图像进行贴图合成，便可获得拥有高真实度的仿真图像。

风格和谐化模型为U型结构，包括第一特征提取模块、第二特征提取模块和生成网络，目标背景图像、前景渲染图像以及蒙版信息输入到风格和谐化模型中，目标背景图像作为第一特征提取模块的输入，前景渲染图像作为第二特征提取模块的输入，前景渲染图像还作为生成网络的第一输入，第一特征提取模块的输出和第二特征提取模块的输出分别作为生成网络的第二输入和第三输入，目标背景图像还作为生成网络的第四输入，蒙版信息作为生成网络的第五输入，生成网络的输出作为风格和谐化模型的输出。

如图2所示，第一特征提取模块和第二特征提取模块的结构相同，第一特征提取模块包括5个特征编码模块、4个特征解码模块、4层最大池化层和4层反卷积层，第一特征提取模块的输入作为第一特征编码模块的输入，第一特征编码模块依次经第一最大池化层、第二特征编码模块、第二最大池化层、第三特征编码模块、第三最大池化层、第四特征编码模块、第四最大池化层和第五特征编码模块后与第四反卷积层相连，第四特征编码模块的输出与第四反卷积层的输出拼接后再输入到第四特征解码模块，第四特征解码模块与第三反卷积层相连，第三特征编码模块的输出与第三反卷积层的输出拼接后再输入到第三特征解码模块，第三特征解码模块与第二反卷积层相连，第二特征编码模块的输出与第二反卷积层的输出拼接后再输入到第二特征解码模块，第二特征解码模块与第一反卷积层相连，第一特征编码模块的输出与第一反卷积层的输出拼接后再输入到第一特征解码模块，第二特征解码模块-第四特征解码模块的输出分别进行双线性插值后再一起与第一特征解码模块的输出进行相加，输出获得最终特征图并作为第一特征提取模块的输出。特征编码模块和特征解码模块的结构相同，每个特征编码模块中有两个CBL模块，其中C表示卷积层，B表示批量归一化层，L表示Leaky ReLU激活层，卷积层、批量归一化层和Leaky ReLU激活层依次相连。

如图3所示，生成网络包括2个自适应实例归一化层(Adaptive InstanceNormalization，AdaIN)和6层全连接层，生成网络的第二输入和第三输入分别作为第一自适应实例归一化层的第一输入和第二输入，第一自适应实例归一化层依次经6层全连接层后与第二自适应实例归一化层相连，即第六全连接层的输出作为第二自适应实例归一化层的第二输入，生成网络的第一输入作为第二自适应实例归一化层的第一输入，第二自适应实例归一化层的输出记为和谐化前景图像，和谐化前景图像与生成网络的第四输入(即目标背景图像)和第五输入(即蒙版信息)进行贴图操作后，获得仿真图像作为生成网络的输出。

相邻两个特征编码模块中间由最大池化层连接，共4个最大池化层。编码器G的每一层特征提取模块会得到不同尺度的特征图，公式为：

G(I)＝{F₁，F₂，F₃，F₄，F₅}

(W，H)表示特征图尺寸。解码神经网络E由4个相同的解码模块构成，解码模块与编码模块结构相同，相邻解码模块间由反卷积层连接，第5个编码模块与第4个解码模块之间也由反卷积层(DConv)连接，共4个反卷积层，每一层反卷积层对上一层特征进行上采样操作，解码过程中具体公式为：

F′₄＝Concat(DConv(F₅)，F₄)

其中F′_i表示第i个解码模块输出D_i的特征图，Concat表示矩阵拼接操作。

7)根据当前预先标注的车辆模型的尺寸信息、图像渲染引擎中的相机参数计算得到投影到仿真图像(即2D图像)以后的3D检测框标注信息；由仿真图像和对应的3D检测框标注信息组成仿真数据，用于训练自动驾驶视觉感知模型，实现车辆的自动驾驶。

7)具体为：

将当前车辆模型的底面几何中心作为原点，根据当前车辆模型的尺寸信息(w，l，h)计算获得当前车辆模型的最小外接长方体的8个顶点，对最小外接长方体的8个顶点进行投影，获得3D检测框标注信息，计算公式如下：

其中，K_r为图像渲染引擎中的相机内参，R_r为图像渲染引擎中相机外参的旋转矩阵，T_r为图像渲染引擎中相机外参的平移矩阵，

为最小外接长方体的第k个顶点在世界坐标系中的三个坐标值，

为最小外接长方体的第k个顶点投影的两个像素坐标值。

Claims (8)

1.一种自动驾驶仿真数据生成方法，其特征在于，包括以下步骤：

1)通过车辆检测模型筛选获得没有车辆的道路图像并记为目标背景图像，接着通过可行驶车道检测模块对目标背景图像进行可行驶车道标注，获得车道标注信息，最后通过相机参数对车道标注信息进行反向投影，获得世界坐标系中的可行驶车道；

2)利用世界坐标系中的可行驶车道筛选目标背景图像对应世界坐标系的点云坐标集合，根据筛选获得世界坐标系的点云坐标集合拟合出车道平面方程；

3)在可行驶车道中随机生成世界坐标系中的X轴坐标X_w和Y轴坐标Y_w，通过车道平面方程计算出X轴坐标X_w和Y轴坐标Y_w对应的Z轴坐标Z_w，由X轴坐标X_w、X轴坐标Y_w和Z轴坐标Z_w组成基准坐标(X_w，Y_w，Z_w)；

4)根据可行驶车道的中轴线计算出偏航角，再根据拟合出车道平面方程计算得到俯仰角和翻滚角，由偏航角、俯仰角和翻滚角组成基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)；

5)从车辆3D模型库中随机抽取车辆模型后导入图像渲染引擎中，将3)中的基准坐标作为车辆模型的底面几何中心坐标，将4)中的基准旋转角度(θ_Pitch，θ_Roll，θ_Yaw)作为车辆模型的旋转角度；接着从高动态范围成像库中随机选取文件作为光照信息，通过图像渲染引擎对设置好的车辆模型进行渲染，获得前景渲染图像以及蒙版信息；

6)根据目标背景图像、前景渲染图像以及蒙版信息，利用风格和谐化模型进行图像仿真，获得仿真图像；

7)根据当前车辆模型的尺寸信息、图像渲染引擎中的相机参数计算得到投影到仿真图像的3D检测框标注信息；由仿真图像和对应的3D检测框标注信息组成仿真数据。

2.根据权利要求1所述的一种自动驾驶仿真数据生成方法，其特征在于，所述1)中，车道标注信息为一个四边形的四个顶点坐标，根据相机参数利用以下公式对四个顶点坐标进行反向投影，获得世界坐标系中的可行驶车道：

M₂＝R^invT

其中，每个可行驶车道由4个顶点表示，

表示可行驶车道的第i个顶点反向投影系数，u_i，v_i分别表示像素坐标系中可行驶车道第i个顶点的水平和垂直坐标值，R表示相机外参中的旋转矩阵，T表示相机外参中的平移矩阵，K表示相机内参矩阵，R^inv表示旋转矩阵的逆矩阵，K^inv表示相机内参矩阵的逆矩阵，

表示世界坐标系中第i个顶点的三个坐标值，M₁表示反向投影中的旋转相关系数矩阵，M₂表示反向投影中的平移相关系数矩阵，M₁[0，0]表示反向投影中的旋转相关系数矩阵M₁第0行第0列，M₂[2，0]表示反向投影中的平移相关系数矩阵M₂的第2行第0列。

3.根据权利要求1所述的一种自动驾驶仿真数据生成方法，其特征在于，所述2)具体为：

首先，根据世界坐标系中的可行驶车道确定可行驶车道在X轴和Y轴坐标范围，接着，根据可行驶车道在X轴和Y轴坐标范围对目标背景图像对应世界坐标系的点云坐标集合进行筛选，再根据筛选获得世界坐标系的点云坐标集合利用以下公式拟合出车道平面方程，公式如下：

min‖An‖

‖n‖＝1

S_points＝{p₁，p₂，…，p_m}

p_i＝(x_i，y_i，z_i)

p₀＝(x₀，y₀，z₀)

n＝[a b c]^T

其中，min‖ ‖表示取最小值操作，S_points表示筛选获得世界坐标系的点云坐标集合，共有m个点，A表示点云集合中所有点指向均值点的向量矩阵，n表示车道的平面法向量，p_i表示目标背景图像对应世界坐标系点云集合的第i个点，x_i，y_i，z_i表示点云集合中第i个点的三个坐标值，p₀表示点云集合中所有点的坐标均值点，x₀，y₀，z₀分别表示点云集合中所有点对应三个坐标值的均值，a，b，c表示平面方程中的三次系数、二次系数和一次系数。

4.根据权利要求1所述的一种自动驾驶仿真数据生成方法，其特征在于，所述4)中，将车道平面方程的平面法向量与世界坐标系的x轴的夹角记为俯仰角，将车道平面方程的平面法向量与世界坐标系的y轴的夹角记为翻滚角。

5.根据权利要求1所述的一种自动驾驶仿真数据生成方法，其特征在于，所述风格和谐化模型包括第一特征提取模块、第二特征提取模块和生成网络，目标背景图像、前景渲染图像以及蒙版信息输入到风格和谐化模型中，目标背景图像作为第一特征提取模块的输入，前景渲染图像作为第二特征提取模块的输入，前景渲染图像还作为生成网络的第一输入，第一特征提取模块的输出和第二特征提取模块的输出分别作为生成网络的第二输入和第三输入，目标背景图像还作为生成网络的第四输入，蒙版信息作为生成网络的第五输入，生成网络的输出作为风格和谐化模型的输出。

6.根据权利要求5所述的一种自动驾驶仿真数据生成方法，其特征在于，所述第一特征提取模块和第二特征提取模块的结构相同，第一特征提取模块包括5个特征编码模块、4个特征解码模块、4层最大池化层和4层反卷积层，第一特征提取模块的输入作为第一特征编码模块的输入，第一特征编码模块依次经第一最大池化层、第二特征编码模块、第二最大池化层、第三特征编码模块、第三最大池化层、第四特征编码模块、第四最大池化层和第五特征编码模块后与第四反卷积层相连，第四特征编码模块的输出与第四反卷积层的输出拼接后再输入到第四特征解码模块，第四特征解码模块与第三反卷积层相连，第三特征编码模块的输出与第三反卷积层的输出拼接后再输入到第三特征解码模块，第三特征解码模块与第二反卷积层相连，第二特征编码模块的输出与第二反卷积层的输出拼接后再输入到第二特征解码模块，第二特征解码模块与第一反卷积层相连，第一特征编码模块的输出与第一反卷积层的输出拼接后再输入到第一特征解码模块，第二特征解码模块-第四特征解码模块的输出分别进行双线性插值后再一起与第一特征解码模块的输出进行相加，输出获得最终特征图并作为第一特征提取模块的输出。

7.根据权利要求5所述的一种自动驾驶仿真数据生成方法，其特征在于，所述生成网络包括2个自适应实例归一化层和6层全连接层，生成网络的第二输入和第三输入分别作为第一自适应实例归一化层的第一输入和第二输入，第一自适应实例归一化层依次经6层全连接层后与第二自适应实例归一化层相连，生成网络的第一输入作为第二自适应实例归一化层的第一输入，第二自适应实例归一化层的输出记为和谐化前景图像，和谐化前景图像与生成网络的第四输入和第五输入进行贴图操作后，获得仿真图像作为生成网络的输出。

8.根据权利要求1所述的一种自动驾驶仿真数据生成方法，其特征在于，所述7)具体为：

将当前车辆模型的底面几何中心作为原点，根据当前车辆模型的尺寸信息计算获得当前车辆模型的最小外接长方体的8个顶点，对最小外接长方体的8个顶点进行投影，获得3D检测框标注信息，计算公式如下：

其中，K_r为图像渲染引擎中的相机内参，R_r为图像渲染引擎中相机外参的旋转矩阵，T_r为图像渲染引擎中相机外参的平移矩阵，

为最小外接长方体的第k个顶点在世界坐标系中的三个坐标值，

为最小外接长方体的第k个顶点投影的两个像素坐标值。

Images