CN114693574A - 一种无人驾驶仿真场景生成方法及设备 - Google Patents

Abstract

本发明的目的是提供一种无人驾驶仿真场景生成方法及设备，本发明将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，可以结合虚拟仿真中的道路和真实的自然环境，以此来丰富测试场景中的背景环境，在虚拟仿真的道路的基础上，可以生成更多不容易识别车道的道路场景，增加道路识别的更多干扰因素，能够使仿真测试场景更加多样化和本地化，通过相关场景测试可更准确评估无人驾驶车辆是否具有鲁棒性。

Description

一种无人驾驶仿真场景生成方法及设备

技术领域

本发明提供一种无人驾驶仿真场景生成方法及设备。

背景技术

随着自动驾驶技术的能力的不断提升，制造安全的自动驾驶汽车不仅需要针对实际操作场景进行广泛的训练和测试，而且还需要应对更多的不确定性。因此自动驾驶仿真技术也越来越受到关注，同时也慢慢变成自动驾驶研发与测试的基础关键技术。

现实世界中可能会出现许多罕见且危险的环境，这表明在遇到新的、不可预见的环境时，车辆的自动驾驶系统必须具有对这些罕见且危险的环境的识别能力，要求自动驾驶系统具有很好的鲁棒性。

然而，目前的大部分仿真技术中缺乏把真实的本地化场景和虚拟道路进行结合，大部分的仿真元素都是来源于软件公司所在的其国家的本地化特征，虚拟仿真中要做可以落地的本土化的罕见且危险的环境的测试会有较大的难度，时间周期比较长。

发明内容

本发明提供一种无人驾驶仿真场景生成方法及设备。

本发明的无人驾驶仿真场景生成方法，包括：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

进一步的，上述方法中，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

获取车道元素图像的视觉消失点的坐标；

获取各类环境元素图像的视觉消失点的坐标；

基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

进一步的，上述方法中，获取车道元素图像的视觉消失点的坐标，包括：

在车道元素图像中找到车道的边缘轮廓；

在车道的边缘轮廓中，找到密集的车道直线区域；

在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

进一步的，上述方法中，在车道元素图像中找到车道的边缘轮廓，包括：

使用边缘检测算法，在车道元素图像中找到车道的边缘轮廓。

进一步的，上述方法中，车道的边缘轮廓中，找到密集的车道直线区域，包括：

使用霍夫变换算法，在车道的边缘轮廓中，找到密集的车道直线区域。

进一步的，上述方法中，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标，包括：

使用RANSAC算法，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

进一步的，上述方法中，获取各类环境元素图像的视觉消失点的坐标，包括：

在各类环境元素图像中找到对应的环境元素主体的边缘轮廓；

在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域，

若在某类环境元素主体的边缘轮廓中，未找到密集的元素主体的直线区域，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

若在某类环境元素主体的边缘轮廓中，找到元素主体的密集的直线区域，继续在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线；

若在环境元素主体的密集的直线区域中，未找到环境元素主体的平行的直线，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

若在环境元素主体的密集的直线区域中，找到环境元素主体的平行的直线，则将环境元素主体的平行的直线的视觉相交点的坐标，作为环境元素图像的视觉消失点的坐标。

进一步的，上述方法中，基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

在车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标中，选择车道元素图像的视觉消失点的坐标或一类环境元素图像视觉消失点的坐标，作为待合成的无人驾驶仿真场景图像中基准消失点的坐标；

将未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标，在待合成的无人驾驶仿真场景图像中与基准消失点的坐标对准；

基于所述基准消失点的坐标，确定待合成的无人驾驶仿真场景图像中的车道元素图像和各类环境元素图像的对应所在区域；

将车道元素图像投射到无人驾驶仿真场景图像中的车道元素图像的对应所在区域，并将各类环境元素图像投射到无人驾驶仿真场景图像中的该类环境元素图像的对应所在区域，以得到合成后的无人驾驶仿真场景图像。

进一步的，上述方法中，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓，包括：

使用边缘检测算法，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓。

进一步的，上述方法中，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域，包括：

使用霍夫变换算法，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域。

进一步的，上述方法中，在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线，

使用RANSAC算法，环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线。

根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

本发明将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，可以结合虚拟仿真中的道路和真实的自然环境，以此来丰富测试场景中的背景环境，在虚拟仿真的道路的基础上，可以生成更多不容易识别车道的道路场景，增加道路识别的更多干扰因素，能够使仿真测试场景更加多样化和本地化，通过相关场景测试可更准确评估无人驾驶车辆是否具有鲁棒性。

附图说明

图1是本发明一实施例的自然环境的示意图；

图2是本发明一实施例的仿真车道的示意图；

图3是本发明一实施例的草地元素的示意图；

图4是本发明一实施例的天空元素的示意图；

图5是本发明一实施例的车道线元素所在图像的示意图；

图6是本发明一实施例的提取边缘轮廓结果图的示意图；

图7是本发明一实施例的找到的密集的直线的示意图；

图8是本发明一实施例的通过RANSAC算法找到的消失点的示意图；

图9是本发明一实施例的道路旁区域的示意图；

图10是本发明一实施例的车道区域的示意图；

图11是本发明一实施例的天空区域的示意图；

图12是本发明一实施例的草地填充的示意图；

图13是本发明一实施例的车道填充的示意图；

图14是本发明一实施例的天空填充的示意图；

图15是本发明一实施例的将车道和天空元素结合的示意图；

图16是本发明一实施例的将所有元素结合的示意图；

图17是本发明一实施例的虚拟车道元素和自然世界的不同元素结合效果图的示意图；

图18是本发明一实施例的无人驾驶仿真场景生成方法的流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器 (CPU&GPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、 磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

本发明提供一种无人驾驶仿真场景生成方法，所述方法包括：

步骤S1，采集本地的环境图像，将环境图像拆分为各类环境元素图像；

步骤S2，根据本地的地图虚拟生成车道元素图像；

步骤S3，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

可选的，所述数据采集设备可以是单目摄像头，通过镜头对无人驾驶的汽车行进中的真实场景进行采集，获得各类环境元素图像，如草地、天空、花园、小溪、大海、居民区、城市街区等。

在本实施例中，所述采集本地的环境图像可以通过数据采集设备对自然环境进行采集，筛选其中符合使用标准的图像，并对所采集的自然环境元素进行分类，在后续合成过程中进行使用。其中，所述环境图像包括但不限于草地、天空、花园、小溪、大海、居民区、城市街区等；所述对自然环境的分类可以以自然环境的地理位置、种类等分类。进一步的，可以将自然环境如图1所示进行拆分，得到如图3所示的草坪和如图4所示的天空等。

可选的，所述自然环境可扩展为其他环境元素图像，若汽车驾驶进入中心城区，单目摄像头可以识别出居民楼、商场等环境元素，可进一步拆分成居民楼和商场等环境元素；若汽车驾驶进入工业园区，单目摄像头可识别出厂房和绿化带等环境元素，可进一步拆分为厂房和绿化带等环境元素。

在本实施例中，所述本地的地图可以采用高精地图生成如图2所示的车道元素图像，其中，在软件中构件虚拟场景时，借鉴高精地图生成的车道元素图像为虚拟元素图像。

所述无人驾驶仿真场景图像是将车道元素和各类环境元素图像结合，进行虚拟仿真，将高精地图中的车道元素图像的精确性与各类环境元素图像结合，可以得到更本地化的仿真场景，如果只有简单路面元素作为本地化测试的条件，识别虽然容易但是不具有真实性，不容易应对新的、不可预见的环境，通过加入城市道路景观，可使自动驾驶系统具有更真实的驾驶检测环境，更好的落地本土化的场景中。

在此，本发明将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，可以结合虚拟仿真中的道路和真实的自然环境，以此来丰富测试场景中的背景环境，在虚拟仿真的道路的基础上，可以生成更多不容易识别车道的道路场景，增加道路识别的更多干扰因素，能够使仿真测试场景更加多样化和本地化，通过相关场景测试可更准确评估无人驾驶车辆是否具有鲁棒性。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S3，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

步骤S31，获取车道元素图像的视觉消失点的坐标；

步骤S32，获取各类环境元素图像的视觉消失点的坐标；

步骤S33，基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

在本实施例中，所述视觉消失点一般情况下为真实世界中的平行线在二维图像中的视觉相交点，获取车道元素的视觉消失点的坐标为通过车道延伸获得远处车道线的尽头的点的坐标；

所述坐标为可以用位置坐标表示。可选的，获取各类环境元素图像的视觉消失点的坐标主要是确定每个元素在所在图像中的视觉消失点，并选择其中一个元素中的消失点作为基准，确认不同元素所在区域，进一步的，所述环境元素图像可包括如图1所示的自然环境、如图3所示的草地元素和/或如图4所示的天空元素等，且各类环境元素图像可自由组合。

针对不同类型的环境元素图像，所得到的视觉消失点存在不同，将环境元素图像划分为同质化的环境元素图像与非同质化的环境元素图像，对于同质化的环境元素图像，如果元素主体中没有任何现实世界的平行线（比如天空元素），默认整个三维空间内该元素主体的排列是一致的，如针对图3草地元素、图4天空元素等存在的元素没有任何现实世界的平行线，默认整个三维空间内该元素主体的排列是一致的，可认为是同质化元素。同质化元素可认为由数据采集设备获得的元素图像的中心点为该类环境元素图像的视觉消失点；对于非同质化的环境元素图像，如图1所示为环境图像，地平线上的中心点为该类环境元素图像的视觉消失点的坐标。

具体的，在本实施例中，例如，针对车道元素图像的视觉消失点的坐标主要是在车道线在无限延伸中线的交点位置。如图5所示，图中存在1条白色实线和2条白色虚线，在这3条线的交汇处的点即为车道元素的视觉消失点。

在此，本实施例以车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，作为参考点，各类环境元素图像之间可自由组合，为本地化场景提供更多样化的测试环境，将测试实际环境区域的真实的自然环境和虚拟道路相结合，丰富和真实化仿真测试环境场景，使得该仿真测试场景与测试实际环境区域结合更加紧密，本地化程度更高。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S31，获取车道元素图像的视觉消失点的坐标，包括：

步骤S311，在车道元素图像中找到车道的边缘轮廓；

步骤S312，在车道的边缘轮廓中，找到密集的车道直线区域；

步骤S313，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

在本实施例中，所述车道的边缘轮廓主要为在自动驾驶车辆行驶的车道上，相关部门指定的，可辅助指引汽车行进及规划汽车行驶方向的直线，如图5所示。

所述密集的车道直线区域可表示为由获得的车道线的边缘轮廓中存在的线的交叉点、汇集点等；所述平行的车道直线的视觉相交点的坐标为通过车道延伸获得远处车道线的尽头的点的坐标。

通过在车道元素图像中获得车道的边缘轮廓获得密集的车道直线区域，可以获得该区域中平行的车道直线的视觉消失点的坐标，为后续进行场景迁移提供技术支撑，通过将真实世界中的图像转化为点的表达，为真实化本地化场景的落地提供理论依据。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S311，在车道元素图像中找到车道的边缘轮廓，包括：

使用边缘检测算法，在车道元素图像中找到车道的边缘轮廓。

在此，所述边缘检测算法，例如，可以是canny边缘检测算法。

如图5和图6所示，通过canny边缘检测算法，可以将数据采集设备中获取的车道元素图像进行采集处理，可进行如灰度化、二值化处理等图像处理手段，并通过图片中各值的像素值的大小获得车道的边缘检测结果。具体的，图5表示的是使用canny算法前的车道元素图像，图6表示的是使用canny算法后的在车道元素图像中找到的车道边缘轮廓。

通过图5和图6对比，可以清晰看到，图6中的图像更能反映车道线的具体轮廓，该结果有助于在车道元素图像中获得清晰的车道的边缘轮廓，通过在车道元素图像中找到车道的边缘轮廓，可以将图像中表达的信息以车道的边缘轮廓的形式展现出来，使结果更高效、便捷。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S312，在车道的边缘轮廓中，找到密集的车道直线区域，包括：

使用霍夫变换算法，在车道的边缘轮廓中，找到密集的车道直线区域。

如图6和图7所示，所述霍夫变换算法的主要作用为从上述实施例获得的车道的边缘轮廓中辨别出密集的车道直线区域，即通过霍夫变换算法获取车道图像中的几何形状，这里主要是指车道线的形状，即以直线为主。进一步的，图6为未经过霍夫变换算法前的车道线的边缘轮廓，图7为经过霍夫变换算法后的找到的密集的车道直线区域。进一步的，所述密集的车道直线区域主要在霍夫变换算法中设定的合适的阈值，进行几何形状的获取，获得密集直线的区域。

经过霍夫变换算法的处理，图6中车道轮廓线为虚线的部分被过滤掉，车道轮廓线为直线但不清晰的部分经过霍夫变换算法的加工处理等工作生成如图7所示更为清晰具体的密集的车道直线区域，为后续无人驾驶仿真场景的生成提供可靠的参考标准。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S313，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标，包括：

使用RANSAC算法，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

如图7和图8所示，所述RANSAC算法的主要作用为在所有数据中筛选出有效样本数据，其中，有效样本数据为在密集的车道直线区域中平行的车道直线的视觉相交点的坐标。具体的，RANSAC算法一定程度上获得密集的车道直线区域中车道元素图像的视觉消失点的坐标，此时，RANSAC算法的主要作用为过滤筛选。图7为经过霍夫变换算法后的找到的密集的车道直线区域，图8为经过RANSAC算法的筛选有效样本数据后的车道直线的视觉相交点的坐标，其中，图8中白色圆圈位置为在密集的车道直线区域中平行的车道直线的视觉相交点的坐标。

通过对车道元素图像的视觉消失点的坐标的获取，将代表车道边缘轮廓线，密集的车道直线区域进行了串联，获得了由面到线再到点的有序过渡，更好地概括了车道元素图像的意义，使无人驾驶仿真场景与现实车道的结合更为紧密，更生动有效。

如图18所示，本发明的无人驾驶仿真场景生成方法一实施例中，步骤S32，获取各类环境元素图像的视觉消失点的坐标，包括：

步骤S321，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓；

所述在各类环境元素图像中找到对应的环境元素主体的边缘轮廓的原理主要是根据

例如，如图1所示的自然环境的环境元素图像的对应的元素主体为地面，地面的边缘轮廓为地平线；

在此，当三维世界投射到图像展示的的二维世界时，由三维变成二维压缩了一个维度，因此地面的远处的边缘轮廓会是地平线或者是相交的直线。

如图3所示的草地元素图像对应的元素主体为草地，草地的边缘轮廓为草地的面积轮廓；

如图4所示的天空元素图像对应的元素主体为天空，天空的边缘轮廓为天空的面积轮廓；

步骤S322，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域；

步骤S323，若在某类环境元素主体的边缘轮廓中，未找到密集的元素主体的直线区域，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

例如，如图1所示，地面的边缘轮廓为地平线，不属于密集的元素主体的直线区域；进一步的，如图1所示的自然环境的环境元素图像的地面元素主体中，如果没有任何现实世界的密集的元素主体的直线区域，无法找到消失点，因此可以通过霍夫变换找到整幅图像中最长的直线例如地平线，以这条直线的中点为图像的中心点坐标，其视觉消失点就是图像的中心点；

例如，如图3所示的草地元素图像的草地元素主体中没有任何现实世界的密集的元素主体的直线区域，那么，可以默认整个三维空间内该元素主体的排列是一致的，其视觉消失点就是图像的中心点。

如图4所示的天空元素图像的天空元素主体中没有任何现实世界的密集的元素主体的直线区域，那么，可以默认整个三维空间内该元素主体的排列是一致的，其视觉消失点就是图像的中心点；

步骤S324，若在某类环境元素主体的边缘轮廓中，找到元素主体的密集的直线区域，则继续在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线；

步骤S325，若在环境元素主体的密集的直线区域中，未找到环境元素主体的平行的直线，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

例如，如图1所示的自然环境的环境元素图像的地面元素主体中未找到环境元素主体平行的直线，那么，可将该类环境元素图像的地面元素主体的边缘轮廓即地平线的中点设置为该类环境元素图像的中心点的坐标；

步骤S326，若在环境元素主体的密集的直线区域中，找到环境元素主体的平行的直线，则将环境元素主体的平行的直线的视觉相交点的坐标，作为环境元素图像的视觉消失点的坐标。

在此，通过对各类环境元素图像的分析，将各类环境元素主体的边缘轮廓进行分类，提高了环境元素图像输入待合成的无人驾驶仿真场景图像的科学性和有效性，并以实际的环境图像为例，使环境元素图像呈现的状态更真实有效，本地化环境元素图像更明显。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S33，基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

步骤S331，在车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标中，选择车道元素图像的视觉消失点的坐标或一类环境元素图像视觉消失点的坐标，作为待合成的无人驾驶仿真场景图像中基准消失点的坐标；

在此，所述基准消失点的坐标为待合成的无人驾驶仿真场景图像中基准消失点的坐标，一般可作为待合成的无人驾驶仿真场景图像中的原点。进一步的，基准消失点的坐标的目的是寻找一个可衡量的点，所以可选择车道元素图像的视觉消失点，也可选择某一类环境元素图像视觉消失点。

步骤S332，将未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标，在待合成的无人驾驶仿真场景图像中与基准消失点的坐标对准；

在此，通过选择完成基准消失点后，其他非基准消失点需要和选择完成的基准消失点进行等比例转换，即将基准消失点和非基准消失点以基准消失点为参考依据，如认定基准消失点为原点进行坐标转换，确保所有的点都在同一坐标系下呈现正确的坐标位置关系，这也是将车道元素图像和环境元素图像共同形成待合成的无人驾驶仿真场景的基础条件。

具体的，所述未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标，在待合成的无人驾驶仿真场景图像中与基准消失点的坐标对准为将基准消失点的坐标为待合成的无人驾驶仿真场景图像中的原点后，将所述未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标与基准消失点的坐标，和基准消失点转换后生成的待合成的无人驾驶仿真场景图像中的原点进行投射如仿射关系变换，转换到对应位置。

在此，将未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标，在待合成的无人驾驶仿真场景图像中与基准消失点的坐标对准后，在待合成的无人驾驶仿真场景图像中，各类环境元素图像视觉消失点的坐标与车道元素图像的视觉消失点的坐标重合；

步骤S333，基于所述基准消失点的坐标，确定待合成的无人驾驶仿真场景图像中的车道元素图像和各类环境元素图像的对应所在区域；

在此，以白色区域为候选区，黑色区域为非候选区。所述候选区为将车道元素图像或各类环境元素图像利用投射如仿射关系变换到对应的待合成图像中的区域。

例如图9所示，白色区域为道路旁区域元素，图中显示候选区为道路旁区域元素图像利用投射如仿射关系变换到待合成图像后的对应区域，若道路两旁为草地，则可认为是草地元素，若道路两旁是河流，则可认为是河流元素。

如图10所示，白色区域为车道元素，图中显示候选区为车道元素图像利用投射如仿射关系变换到待合成图像后的对应区域；

如图11所示，白色区域为天空元素，图中显示候选区为天空元素图像利用投射如仿射关系变换到待合成图像后的对应区域；

通过投射如仿射关系的变换，调整不同元素基于同一个消失点的三维世界到待合成图像，获得本地化的仿真测试场景。如图12所示，通过调整，获得草地元素填充后的区域填充结果，在此，可认为图9所示的道路旁区域元素的实际对应元素为草地；

如图13所示，通过调整，获得车道元素填充后的区域填充结果；

如图14所示，通过调整，获得天空元素填充后的区域填充结果；

需要注意的是，不同的场景组合可以获得不同的驾驶场景，有鉴于此，可以将车道元素和其他元素结合，获得不同的组合驾驶场景。

步骤S334，将车道元素图像投射到无人驾驶仿真场景图像中的车道元素图像的对应所在区域，并将各类环境元素图像投射到无人驾驶仿真场景图像中的该类环境元素图像的对应所在区域，以得到合成后的无人驾驶仿真场景图像。

通过依次合成不同元素部分，并做好拼接边缘处理，使得到的仿真场景更加逼真，如图15所示，通过将车道和天空元素结合，即将图13与图14的区域填充结果进行补充，获得车道天空组合的无人驾驶仿真场景；

如图16所示，通过将车道、天空和/或草地元素结合，即将图13、图14和图15的区域填充结果进行补充，获得基于全局的无人驾驶场景。

可选的，针对填充结果的处理方式，可以采用如图15所示进行单个组合叠加的填充获得如图16所示的整体组合方式，也可以直接进行如图16所示的整体组合方式，针对单个叠加的组合方式，即通过此类层次性的组合，合并的工作量变小，叠加的每一个步骤更清晰，可利于及时更换叠加素材等。

进一步的，如图17所示，根据真实的环境图像，根据不同元素进行拆分，再参考消失点进行组合，获得虚拟车道和自然世界相结合的仿真场景。

通过该实施例，天空元素所代表的自然环境元素和远景元素可以通过不同的数据采集设备获得，使自然环境元素的复用性更高，当面对使用整体环境图像时，不利于图像的拆解，而通过此方式，可以更容易管理环境元素图像，通过区域性划分，设备采集的精度及数据处理手段如筛选、过滤效率等也会进行相应提升，从而获得更本地化的测试场景，也丰富了无人驾驶仿真场景库，减少了测试开发的时间周期。

在此，本实施例本发明中的仿真场景设计方法针对仿真测试场景难以本地化的问题，通过本地化元素采集和虚拟仿真场景元素采集，虚拟和现实元素基于视觉消失点获得的元素在真实世界的坐标，通过合理的投射如仿射关系变换，可以获得虚拟与现实世界相结合的仿真场景，以此来获得更丰富、更复杂的本地化的测试场景，提高仿真测试的有效性。

本发明可提供自动驾驶车辆技术领域中，一种虚拟环境结合本地化自然环境的测试场景，通过视觉消失点来确认不同区域各个元素在三维世界中的位置，并通过仿射关系，得到在二维世界的映射关系，最后把不同区域的本地化元素和虚拟仿真相结合，得到更本地化的仿真场景。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S321，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓，包括：

使用边缘检测算法，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S322，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域，包括：

使用霍夫变换算法，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域。

本发明的无人驾驶仿真场景生成方法一实施例中，步骤S324, 在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线，

使用RANSAC算法，环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线。

在此，本发明将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，可以结合虚拟仿真中的道路和真实的自然环境，以此来丰富测试场景中的背景环境，在虚拟仿真的道路的基础上，可以生成更多不容易识别车道的道路场景，增加道路识别的更多干扰因素，能够使仿真测试场景更加多样化和本地化，通过相关场景测试可更准确评估无人驾驶车辆是否具有鲁棒性。

根据本发明的另一方面，还提供一种基于计算的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。

本发明各设备实施例的详细内容具体可参见各方法实施例的对应部分，在此，不再赘述。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路（ASIC）、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序（包括相关的数据结构）可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (13)

1.一种无人驾驶仿真场景生成方法，其中，该方法包括：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

2.根据权利要求1所述的方法，其中，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

获取车道元素图像的视觉消失点的坐标；

获取各类环境元素图像的视觉消失点的坐标；

基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

3.根据权利要求2所述的方法，其中，获取车道元素图像的视觉消失点的坐标，包括：

在车道元素图像中找到车道的边缘轮廓；

在车道的边缘轮廓中，找到密集的车道直线区域；

在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

4.根据权利要求3所述的方法，其中，在车道元素图像中找到车道的边缘轮廓，包括：

使用边缘检测算法，在车道元素图像中找到车道的边缘轮廓。

5.根据权利要求3所述的方法，其中，车道的边缘轮廓中，找到密集的车道直线区域，包括：

使用霍夫变换算法，在车道的边缘轮廓中，找到密集的车道直线区域。

6.根据权利要求3所述的方法，其中，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标，包括：

使用RANSAC算法，在密集的车道直线区域中，将平行的车道直线的视觉相交点的坐标，作为车道元素图像的视觉消失点的坐标。

7.根据权利要求2所述的方法，其中，获取各类环境元素图像的视觉消失点的坐标，包括：

在各类环境元素图像中找到对应的环境元素主体的边缘轮廓；

在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域，

若在某类环境元素主体的边缘轮廓中，未找到密集的元素主体的直线区域，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

若在某类环境元素主体的边缘轮廓中，找到元素主体的密集的直线区域，继续在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线；

若在环境元素主体的密集的直线区域中，未找到环境元素主体的平行的直线，则将该类环境元素图像的中心点的坐标或该类环境元素图像中最长的直线的中点的坐标，作为环境元素图像的视觉消失点的坐标；

若在环境元素主体的密集的直线区域中，找到环境元素主体的平行的直线，则将环境元素主体的平行的直线的视觉相交点的坐标，作为环境元素图像的视觉消失点的坐标。

8.根据权利要求7所述的方法，其中，基于车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标，将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像，包括：

在车道元素图像的视觉消失点的坐标和各类环境元素图像的视觉消失点的坐标中，选择车道元素图像的视觉消失点的坐标或某类环境元素图像视觉消失点的坐标，作为待合成的无人驾驶仿真场景图像中基准消失点的坐标；

将未选择的其他类环境元素图像视觉消失点的坐标或未选择的车道元素图像的视觉消失点的坐标，在待合成的无人驾驶仿真场景图像中与基准消失点的坐标对准；

基于所述基准消失点的坐标，确定待合成的无人驾驶仿真场景图像中的车道元素图像和各类环境元素图像的对应所在区域；

将车道元素图像投射到无人驾驶仿真场景图像中的车道元素图像的对应所在区域，并将各类环境元素图像投射到无人驾驶仿真场景图像中的该类环境元素图像的对应所在区域，以得到合成后的无人驾驶仿真场景图像。

9.根据权利要求7所述的方法，其中，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓，包括：

使用边缘检测算法，在各类环境元素图像中找到对应的环境元素主体的边缘轮廓。

10.根据权利要求7所述的方法，其中，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域，包括：

使用霍夫变换算法，在各类环境元素主体的边缘轮廓中，查找环境元素主体的密集的直线区域。

11.根据权利要求7所述的方法，其中，在环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线，

使用RANSAC算法，环境元素主体的密集的直线区域中，查找环境元素主体的平行的直线。

12.一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

13.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

采集本地的环境图像，将环境图像拆分为各类环境元素图像；

根据本地的地图虚拟生成车道元素图像；

将车道元素图像和各类环境元素图像，合成为无人驾驶仿真场景图像。

Images