CN118115685A - 仿真场景生成、测试方法、装置、设备和介质 - Google Patents

仿真场景生成、测试方法、装置、设备和介质 Download PDF

Info

Publication number
CN118115685A
CN118115685A CN202410291722.0A CN202410291722A CN118115685A CN 118115685 A CN118115685 A CN 118115685A CN 202410291722 A CN202410291722 A CN 202410291722A CN 118115685 A CN118115685 A CN 118115685A
Authority
CN
China
Prior art keywords
data
scene
driving
expansion
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410291722.0A
Other languages
English (en)
Other versions
CN118115685B (zh
Inventor
周建波
李杨
张操
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Selis Phoenix Intelligent Innovation Technology Co ltd
Original Assignee
Chongqing Selis Phoenix Intelligent Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Selis Phoenix Intelligent Innovation Technology Co ltd filed Critical Chongqing Selis Phoenix Intelligent Innovation Technology Co ltd
Priority to CN202410291722.0A priority Critical patent/CN118115685B/zh
Publication of CN118115685A publication Critical patent/CN118115685A/zh
Application granted granted Critical
Publication of CN118115685B publication Critical patent/CN118115685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例涉及一种仿真场景生成方法、测试方法、装置、设备和介质。前述方法的主要步骤包括:获取驾驶场景的实车数据,根据实车数据得到三维重建后的体素化数据和矢量化地图数据,将体素化数据和矢量化地图数据关联到同一坐标系中,得到三维重建数据,将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据,根据三维重建数据和AI扩展数据构建第一驾驶仿真场景。采用前述方法能够提高仿真场景的泛化能力,增强仿真场景覆盖度。

Description

仿真场景生成、测试方法、装置、设备和介质
技术领域
本公开涉及自动驾驶技术领域,特别是涉及一种自动驾驶仿真场景生成、测试方法、装置、设备和介质。
背景技术
随着自动驾驶技术的发展,利用数字虚拟仿真技术的模拟仿真成为目前自动驾驶仿真测试的重要手段之一。相较于传统的实车测试,仿真测试具有测试过程安全和测试效率高等优势,因此在自动驾驶测试中发挥着越来越重要的作用,而仿真场景的构建是仿真测试的重要基础。
在目前的仿真场景构建中,通常基于路采回传数据以及测试车辆相关的测试需求,构建仿真场景,存在仿真场景覆盖度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高仿真场景覆盖度的自动驾驶仿真场景生成、测试方法、装置、设备和介质。
在第一方面,本公开实施例提供了一种仿真场景生成方法,该方法可以包括以下步骤:
获取驾驶场景的实车数据;
根据实车数据得到三维重建后的体素化数据和矢量化地图数据;
将体素化数据和矢量化地图数据关联到同一坐标系中,得到三维重建数据;
将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据;
根据三维重建数据和A I扩展数据构建第一驾驶仿真场景。
在一些实施例中,获取驾驶场景的实车数据,可以包括以下步骤:
根据预设分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息;
获取各类细分场景的实车数据;
根据实车数据得到三维重建后的体素化数据和矢量化地图数据,可以包括步骤:根据各类细分场景的实车数据得到三维重建后的体素化数据和矢量化地图数据。
在一些实施例中,体素化数据和矢量化地图数据均标注有场景标签信息,预设的AI模型为生成式A I模型。
将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据,可以包括:对标注有同类场景标签信息的体素化数据和矢量化地图数据进行特征提取,获得特征数据,将特征数据输入预设的AI模型中进行数据扩展训练,得到A I扩展数据。
其中,特征数据包括标签关键词信息、体素化数据特征信息和地图数据特征信息,A I模型用于按照预设的关联度对特征数据进行扩展训练,得到AI扩展数据,AI扩展数据包括扩展后的体素化数据和扩展后的矢量化地图数据。
在一些实施例中,一类细分场景包括一个或多个场景;
获取各类细分场景的实车数据,可以包括以下步骤:
确定目标区域地图数据中所有细分场景的场景总量和各类细分场景的场景数量;
根据所有细分场景的场景总量和各类细分场景的场景数量,确定各类细分场景的权重值;
根据权重值,等比例采集各类细分场景的实车数据。
在一些实施例中,预设的分类维度可以包括环境分类维度、道路分类维度和地图要素分类维度中的至少两类;
环境分类维度可以包括目标区域地图数据中环境空间的纬度区间、海拔区间、地貌类型以及行政区域范围中的至少两项;
道路分类维度可以包括目标区域地图数据中的道路类型、道路空间层级、道路拓扑关系以及道路运行现状中的至少两项;
地图要素分类维度可以包括目标区域地图数据中的交通信号灯、交通标志、交通标线、车道数量、车道类型中的至少两项。
在一些实施例中,根据三维重建数据和AI扩展数据构建第一驾驶仿真场景,可以包括以下步骤:
通过预设的数字孪生应用程序将三维重建数据和AI扩展数据进行仿真处理,构建驾驶孪生模型;
将驾驶孪生模型导入预设的游戏引擎中,得到第一驾驶仿真场景。
在一些实施例中,仿真场景生成方法还可以包括步骤:
仅根据三维重建数据构建第二驾驶仿真场景,第二驾驶仿真场景用于还原实车数据对应的驾驶场景。
在第二方面,本公开实施例提供了一种自动驾驶测试方法,该方法可以包括以下步骤:
对测试车辆在第一驾驶仿真场景中进行测试,获得第一行驶数据,对测试车辆在第二驾驶仿真场景中进行测试,获得第二行驶数据;其中,第一驾驶仿真场景和第二驾驶场景可以是第一方面实施例中公开的第一驾驶仿真场景和第二驾驶仿真场景;
将第一行驶数据和第二行驶数据进行对比分析,确定待测车辆的行驶异常数据,
根据行驶异常数据对测试车辆的算法进行修正处理。
在第三方面,本公开实施例提供了一种仿真场景生成装置,该装置可以包括:
数据获取模块,用于获取驾驶场景的实车数据;
数据处理模块,用于根据实车数据得到三维重建后的体素化数据和矢量化地图数据;
三维重建模块,用于将体素化数据和矢量化地图数据关联到同一坐标系中,得到三维重建数据;
AI扩展模块,用于将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据;
场景构建模块,用于根据三维重建数据和AI扩展数据构建第一驾驶仿真场景。
在第四方面,本公开实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本公开第一方面任一实施例中的仿真场景生成方法。
在第五方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本公开第一方面任一实施例中的仿真场景生成方法。
上述仿真场景生成、测试方法、装置、设备和介质,服务器基于驾驶场景的实车数据进行数据处理获得体素化数据和矢量化地图数据,将两类数据关联到同一坐标后,获得三维重建数据,同时将两类数据利用预设的AI模型进行扩展训练后,获得A I扩展数据,并根据三维重建数据和AI扩展数据构建第一驾驶场景,其中三维重建数据能够最大程度还原实际的驾驶场景信息,而AI扩展数据能够对真实驾驶场景进行泛化,提高数据的丰富度和多样性,提供了实车数据中没有覆盖的驾驶场景,能够提高场景的泛化能力,增强仿真场景的覆盖度。
附图说明
图1为一些实施例中仿真场景生成方法的应用环境图;
图2为一些实施例中仿真场景生成方法的流程示意图;
图3为一些实施例中涉及获取实车数据的步骤的流程示意图;
图4为一些实施例中涉及获取各类细分场景实车数据的步骤的流程示意图;
图5为一些实施例中涉及自动驾驶测试方法步骤的流程示意图;
图6为一些实施例中仿真场景生成装置的结构框图;
图7为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本公开的技术方案及优点更加清楚明白,以下结合附图及文字说明,对本公开的实施例及相关技术内容作进一步详细说明。应当理解,下文描述的实施方式仅用以解释本公开的实施例的技术方案,并不用于限制本公开更多的、可能的实现方式。
需要注意,本文中出现的“第一”、“第二”等关系术语等仅用于区分事物、状态或动作,而不必然地指示、暗示相对重要性或顺序关系。术语“包括”、“包含”或者其任何其他变体用于表示非排他性的包含,包含的对象可以不限于本文列举的对象。术语“多个”或者其他变体用于表示对象的数量为两个或更多个。
在第一方面,本公开的实施例提供了一种仿真场景生成方法。该方法可以应用于如图1所示的应用环境中。其中,服务器101可以与终端102通过网络进行通信,获取终端102传输的驾驶场景的实车数据后,进行仿真场景的构建。服务器101中加载运行有用于数据处理和场景仿真的相关应用程序,例如三维重建、场景仿真、渲染、管理的应用程序等。服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
以仿真场景生成方法应用于图1中的服务器101为例进行说明,在一些实施例中,如图2所示,仿真场景生成方法包括服务器101可以执行的步骤S201至步骤S205。下文对各步骤展开说明。
步骤S201,获取驾驶场景的实车数据。
其中,驾驶场景可以是地图数据中的目标区域范围,该目标区域范围可以是自动驾驶测试的城市道路区域,实车数据为路采车辆在目标区域范围获取的传感器数据,具体可以包括摄像头采集的图像数据、雷达传感器采集的点云数据、位置传感器采集的定位数据等。
具体地,服务器101获取终端102传输的驾驶场景的实车数据。在一些示例中,驾驶场景的实车数据可以是终端102接收路采车辆回传的数据,在其他一些示例中,驾驶场景的实车数据可以是终端102从地图厂商获取的数据。
在一些可选的实施方式中,驾驶场景的实车数据可以存储在本地存储设备,还可以是存储在云端存储空间中,在进行仿真场景生成时,响应于服务器101的数据获取需求,通过网络传输至服务器101中。
步骤S202,根据实车数据得到三维重建后的体素化数据和矢量化地图数据。
其中,体素化数据是指将驾驶场景的实车数据进行体素化处理后获得的三维数据,体素化处理是将物体的几何形式表示转换成最接近该物体的体素表示形式,包含模型的表面信息和内部属性。可以是将驾驶场景的实车数据体素化处理后获得三维立体数据。
在一些具体的实施方式中,可以通过NeRF(Neural Radiance Field Model,神经辐射场)模型对驾驶场景的实车数据进行三维重建,合成场景结构,得到体素化数据。当然,还可以基于其他的三维重建模型进行处理,获取体素化数据。
矢量化地图数据是指将驾驶场景的实车数据通过高精地图离线自动构建技术获得的矢量化地图数据,例如可以通过激光雷达点云SLAM(Simultaneous Localization andMapping,同步定位与地图构建)技术建图,提取地图要素得到矢量化地图数据。矢量化地图数据可以通过X、Y、Z坐标来表示地图图形或地理实体的位置,通过坐标形式可以尽可能准确地标示地理实体的空间位置。
步骤S203,将体素化数据和矢量化地图数据关联到同一坐标系中,得到三维重建数据。
在一些具体的实施方式中,服务器101可以先对体素化数据和矢量化地图数据进行数据预处理,例如进行数据筛选去噪。将处理后的体素化数据和矢量化地图数据合并到同一坐标系中,得到三维重建数据。在一些示例中,可以将矢量化地图数据的坐标作为基准坐标系,将体素化数据坐标系与矢量化地图数据的坐标相统一,在完成基准坐标系统一后,将体素化数据合并到矢量化地图数据中,得到三维重建数据。在其他一些示例中,还可以将体素化数据和矢量化地图数据合并至统一的地理坐标系(例如WGS84,GPS全球定位系统使用的坐标系统)中,在统一坐标系的基础上,可以是将体素化数据与矢量化地图数据中的立体特征进行对齐,实现数据融合,对融合后的数据进行三维重建,得到三维重建数据。
步骤S204,将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据。
其中,预设的AI模型可以是AIGC模型,还可以是其他生成式的AI模型。
在一些具体的实施方式中,步骤S204可以包括:提取体素化数据和矢量化地图数据的驾驶场景分类标签信息和数据特征信息,将分表标签信息和数据特征信息输入预设的AI模型中,按照特定的关联度或相似度进行数据扩展,得到与原始输入的体素化数据和矢量化地图数据在数据内容上存在高关联或高相似度的体素化数据和矢量化地图数据。其中,驾驶场景的分类标签可以包括环境分类标签、道路分类标签和高精地图要素标签。
通过对体素化数据和矢量化地图数据进行AI数据扩展训练,可以获得采集的实际驾驶场景的数据之外的体素化数据和矢量化地图数据,且AI扩展数据与实际驾驶场景的数据存在相似度与关联度。可是实现对实际驾驶场景数据的补充,提高数据的丰富性和多样性。
步骤S205,根据三维重建数据和AI扩展数据构建第一驾驶仿真场景。
具体地,服务器101可以运行预先配置的仿真应用程序以及渲染应用程序,对三维重建数据和AI扩展数据进行数据处理构建第一驾驶仿真场景。预先配置的仿真应用程序可以是交通模拟仿真软件,例如:PTV-VISSIM(一款微观交通仿真软件,由德国PTV公司开发)、SUMO(一款开源的微观交通仿真软件,由德国宇航中心开发)、Anylogic(一款多领域的仿真软件)以及Paramics(一款由英国Quadrant公司开发的微观交通仿真软件)等。
此处对于服务器101根据三维重建数据和AI扩展数据构建第一驾驶仿真场景的具体方式和使用的应用程序不作特别限定,本领域技术人员可以根据实际需要选择相应的应用程序或平台构建第一驾驶仿真场景。
通过执行步骤S201至步骤S205,服务器101基于驾驶场景的实车数据进行数据处理获得体素化数据和矢量化地图数据,将两类数据关联到同一坐标后,获得三维重建数据,同时将两类数据利用预设的AI模型进行扩展训练后,获得AI扩展数据,并根据三维重建数据和AI扩展数据构建第一驾驶场景,其中三维重建数据能够最大程度还原实际的驾驶场景信息,而AI扩展数据能够对真实驾驶场景进行泛化,提高数据的丰富度和多样性,提供了实车数据中没有覆盖的驾驶场景,能够提高场景的泛化能力,增强仿真场景的覆盖度。
在一些实施例中,如图3所示,步骤S201可以包括步骤S301至步骤S302。以下对各步骤进行说明。
步骤S301,根据预设分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息。
其中,目标区域地图数据可以是特定城市区域的导航地图路网数据,还可以是基于自动驾驶测试范围划定的目标区域的导航地图的路网数据。
在一些实施例中,预设的分类维度可以包括环境分类维度、道路分类维度和地图要素分类维度中的至少两类。
其中,环境分类维度可以包括目标区域地图数据中环境空间的纬度区间、海拔区间、地貌类型以及行政区域范围中的至少两项。环境分类维度中的每一项可以包括两个以上的细分项。
例如,纬度区间可以时将目标区域按每2°的纬度范围进行划分获得的区间,以四川省作为目标区域为例,四川省的纬度范围在北纬26°03′~34°19′之间,进行纬度区间划分后,可以获得5个纬度区间,分别是26°至28°,28°至30°,30°至32°,32°至34°,以及,34°至36°。其中,维度区间的划分单位可以根据实际需求进行设置。
海拔区间可以是根据目标区域的实际海拔范围以特定的划分单位进行划分,与纬度区间相类似,划分单位和具体划分后的区间数量可以根据实际情况设置。
环境分类维度中的地貌类型是指目标区域中的地貌分类,可以包括山地、丘陵、平原和高原等。
行政区域范围可以按省级划分,也可以按市、县级划分。
示例性地,环境分类维度可以用环境分类树表示,环境分类树中可以以行政区域范围作为一级枝干节点,地貌类型作为二级枝干节点,纬度区间或海拔区间作为叶节点。具体关于层级数量、每个层级中的节点数、以及层级分类项可以根据实际需求设定。
道路分类维度包括目标区域地图数据中的道路类型、道路空间层级、道路拓扑关系以及道路运行现状中的至少两项。道路分类维度中的每一项可以包括两个以上的细分项。
例如,道路类型可以按道路等级划分为高速公路、一级公路、二级公路、三级公路和四级公路。其中:
高速公路是指专供汽车分道高速行驶并全部控制出入的公路;一级公路是指供汽车分向、分车道行驶,并部分控制出入、部分立体交叉的公路;二级公路是主要以汽车运输为主的公路,通常用于省内的中短途交通;三级公路是指供汽车和非汽车交通混合行驶,以服务县、镇为主的干线公路;四级公路是指沟通乡、村等的地方公路。
道路空间层级可以包括地面道路、地下道路和高架道路。
道路拓扑关系是指分类道路路段与其他道路的联通关系,可以包括无联通、单联通、双联通、多联通等。
道路运行现状是指分类道路路段目前的运行情况,可以包括施工状态、通行状态、事故状态等。
示例性地,道路分类维度也可以用道路分类树表示,道路分类树中可以以道路类型作为一级枝干节点,道路空间层级作为二级枝干节点,道路拓扑关系作为三级枝干节点,道路运行状态作为叶节点。具体关于层级数量、每个层级中的节点数、以及层级分类项可以根据实际需求设定。
地图要素分类维度包括目标区域地图数据中的交通信号灯、交通标志、交通标线、车道数量、车道类型中的至少两项。地图要素分类维度中的每一项可以包括两个以上的细分项。
例如:交通信号灯可以包括红灯、绿灯;交通标志可以包括让行标志、慢行标志、禁止停车、禁止掉头等;交通标线可以包括车道线、停止线、引导线等;车道数量可以包括双车道、四车道、六车道等;车道类型可以包括单向车道、双向车道。
示例性地,地图要素分类维度也可以用要素分类树表示,具体关于要素分类树中的层级数量、每个层级中的节点数、以及层级分类项可以根据实际需求设定。
在一些具体的实施方式中,服务器101根据预设分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息,可以包括:根据环境分类维度、道路分类维度和地图要素分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息。
具体地,环境分类维度、道路分类维度和地图要素分类维度可以组成一个全项场景分类树,将目标区域的地图数据依次进行环境分类、道路分类和地图要素分类。分类后的目标区域地图数据包括多类细分场景,分类后的目标地图数据可以包括如下的细分场景的信息:“XX省XX市X地貌X海拔区间X维度区间XX等级公路X联通XX运行状态XX车道XX标志”。示例性地,细分场景的信息可以包括:“四川省成都市平原地貌第一海拔区间第二维度区间二级公路双联通通行状态双车道让行标志”,还可以包括:“四川省成都市平原地貌第一海拔区间第二维度区间三级公路单联通通行状态双车道慢性标志”。
步骤S302,获取各类细分场景的实车数据。
服务器101根据目标区域地图数据分类后得到的细分场景的信息,获取各类细分场景的实车数据。
在一些示例中,实车数据可以通过安排采集计划进行路采回传后获取。在其他一些示例中,实车数据可以与地图厂商购买获取,将购买获得的数据按各类细分场景进行划分,在存在缺失数据时补充采集。
在一些具体的实施例中,获取各类细分场景的实车数据,可以包括步骤:根据车辆传感器采集实车数据。其中,车辆传感器可以包括视觉传感器(例如:三目摄像头和环视摄像头)、雷达传感器(例如:毫米波雷达和激光雷达)、GPS和惯性传感器中的至少一个。
实车数据可以包括雷达数据、图像数据、定位数据、车辆行驶数据等。
在一些具体的实施例中,获取各类细分场景的实车数据,还可以包括步骤:对同一细分场景重复采集不同天气、不同季节的实车数据;和/或,对同一细分场景采集特殊采集条件数据。其中,特殊采集条件数据包括噪音环境、强光环境、遮挡环境特殊中的至少一类。
在一些具体的实施例中,获取各类细分场景的实车数据,还可以对同一场景重复采集同一天不同时段的实车数据。
通过执行步骤S301和步骤S302,根据预设的分类维度与目标区域地图数据进行场景分类,获取分类后的细分场景对应的实车数据,通过先分类后获取数据的方式,能够提高构建仿真场景的仿真数据的全面性和真实性,进而使驾驶仿真场景能够覆盖大量的实际驾驶场景,提高场景覆盖度,且大量实车数据作为仿真数据,能够提高仿真场景的真实性。
同时,预设的分类维度包括环境分类、道路分类和地图要素分类的多类分类维度,每一类分类维度中又包括多个细分项,分类维度多,且分类的颗粒度细,提高了目标区域的地图路网数据的分类的准确性和精细度。
对于同一细分场景重复采集不同天气、不同季节、不同时段的实车数据,也能够提高仿真数据的全面性和真实性。对特殊采集条件(噪音、强光、遮挡等情况)的数据进行采集,加入仿真数据中,能够提高数据的全面完整度,在车辆实际驾驶过程遇到的特殊环境条件时,能够有相应的原始数据做支撑。
相应地,在一些实施例中,步骤S202可以包括步骤:根据各类细分场景的实车数据得到三维重建后的体素化数据和矢量化地图数据。
在一些实施例中,体素化数据和矢量化地图数据均标注有场景标签信息,预设的AI模型为生成式A I模型。
将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据,可以包括:对标注有同类场景标签信息的体素化数据和矢量化地图数据进行特征提取,获得特征数据,将特征数据输入预设的AI模型中进行数据扩展训练,得到A I扩展数据。
其中,特征数据包括标签关键词信息、体素化数据特征信息和地图数据特征信息,A I模型用于按照预设的关联度对特征数据进行扩展训练,得到AI扩展数据,AI扩展数据包括扩展后的体素化数据和扩展后的矢量化地图数据。
具体地,根据各类细分场景的实车数据得到的的体素化数据和矢量化地图数据均标注有与各类细分场景相对应的场景标签信息,场景标签信息用于表示体素化数据和矢量化地图数据所属的细分场景。场景标签信息可以包括环境标签、道路标签和地图要素标签。预设的关联度可以是百分之九十的关联度,即扩展后的数据与输入的体素化数据和矢量化地图数据关联度在百分之九十以上。在一些情况下,也可以选取关联度从高到低排序的前五十个或是前一百个数据作为A I扩展数据。在其他一些情况下,也可以按根据预设的数据相似度进行数据扩展,扩展数据与原始输入的数据在数据内容上存在高关联或高相似度。
在一些具体的实施方式中,体素化数据特征信息可以包括体素数据的几何特征、描述体素之间连接性和空间关系的拓扑特征以及纹理特征。地图数据特征信息可以包括地理要素的空间位置特征、地理要素的形状特征、拓扑特征等。
由于特征数据中的标签关键词信息、体素化数据特征信息和地图数据特征信息为异源数据,在进行特征数据提取后,仿真场景生成方法可以包括对特征数据进行标准化处理,通过数据转换、融合等步骤,形成统一的特征数据表示,并将统一后特征数据输入AI模型中进行训练。
在一些情况下,对于特征数据的提取以及特征数据标准化处理的步骤也可以在AI模型中实现。
AI模型通过对输入的特征数据按照预设的关联度或相似度进行扩展训练,并经过特征数据融合处理,可以生成与原始的体素化数据和矢量化地图数据在数据内容上高关联或高相似的数据。
在一些实施例中,一类细分场景可以包括一个或多个场景,如图4所示,步骤S302可以包括步骤S401至步骤S403。
步骤S401,确定目标区域地图数据中所有细分场景的场景总量和各类细分场景的场景数量。
步骤S402,根据所有细分场景的场景总量和各类细分场景的场景数量,确定各类细分场景的权重值。
步骤S403,根据权重值,等比例采集各类细分场景的实车数据。
具体地,可以是服务器101对分类后的目标区域地图数据中所包含的所有细分场景总量和各类细分场景的场景数量进行统计,并根据统计结果确定各类细分场景的权重值,示例性地,A类细分场景权重值可以是A类细分场景的场景数量和所有细分场景总量相除之后的结果。根据各类细分场景的权重值,等比例采集各类细分场景的实车数据。
通过确定各类细分场景权重值后,根据权重值等比例采集实车数据,能够使仿真场景构建所使用的仿真数据中各场景的实车数据与实际驾驶场景高度一致,进而提高了构建的仿真场景的真实性。
在一些实施例中,步骤S205可以包括以下步骤:
通过预设的数字孪生应用程序将三维重建数据和AI扩展数据进行仿真处理,构建驾驶孪生模型;将驾驶孪生模型导入预设的游戏引擎中,得到第一驾驶仿真场景。
其中,预设的数字孪生应用程序可以是一种或是多种应用程序的集合体,用于将三维重建数据和AI扩展数据进行仿真处理,构建出真实驾驶场景的虚拟副本,预设的数字孪生应用程序可以是Esri CityEngine(一款用于三维城市建模的应用),还可以是BentleyiTwin(Bentley公司的数字孪生平台)等,或是其他仿真应用程序。
预设的游戏引擎可以用于对驾驶孪生模型进行运行和管理,还可以通过预设的游戏引擎构建测试环境,预设的游戏引擎可以是Unreal(虚幻引擎),还可以是Unity3D(三维游戏开发工具),也可以是其他游戏引擎。
通过预设的数字孪生应用程序和预设的游戏引擎进行第一驾驶仿真场景的构建能够提高仿真场景的真实性以及提高仿真场景的呈现效果。
在一些实施例中,仿真场景生成方法还可以包括步骤:仅根据三维重建数据构建第二驾驶仿真场景。
其中,第二驾驶仿真场景用于还原实车数据对应的驾驶场景。用于构建第二驾驶仿真场景的数据仅包括实车数据处理后获得的三维重建数据,能够确保第二驾驶仿真场景对真实的驾驶场景高还原度,在利用第二驾驶仿真进行车辆测试时,具有测试结果准确度高的效果。
在一些实施例中,仿真场景生成方法还可以包括步骤:在第一驾驶仿真场景中加入交通参与者,形成交通流。
在一些具体的实施方式中,在第一驾驶仿真场景中加入交通参与者可以包括以下步骤:
根据决策树算法,确定驾驶仿真场景中的出口车道,控制交通参与者从随机入口车道自主移动至随机出口车道,在驾驶仿真场景中添加异常事件。
其中,异常事件可以包括:行人闯红灯、邻车异常变道、后车跟车距离过近等事件以及邻车压线行驶等。
具体地,遍历第一驾驶仿真场景中的所有入口车道,包括非机动车道和右侧人行道,对于每一个入口车道根据决策树算法,对车道联通关系和车道线类型分析,确定该入口车道可以到达的所有出口车道,控制交通参与者在随机时间点从任一入口车道出发,并自主移动至随机出口车道。
在一些实施例中,仿真场景生成方法还可以包括步骤:在第一驾驶仿真场景中加入环境要素,模拟不同环境的驾驶场景。其中环境要素包括天气、光照等。
通过在第一驾驶仿真场景中加入交通参与者、异常事件以及环境要素,能够模拟真实的交通行为。
在第二方面,本公开的实施例提供了一种自动驾驶测试方法,如图5所示,该测试方法包括步骤S501至步骤S504。以下对各步骤进行说明。
步骤S501,对测试车辆在第一驾驶仿真场景中进行测试,获得第一行驶数据。
步骤S502,对测试车辆在第二驾驶仿真场景中进行测试,获得第二行驶数据。
步骤S503,将第一行驶数据和第二行驶数据进行对比分析,确定待测车辆的行驶异常数据。
步骤S504,根据行驶异常数据对测试车辆的算法进行修正处理。
其中,第一驾驶仿真场景为第一方面实施例中公开的第一驾驶仿真场景。第二驾驶仿真场景为第一方面实施例中公开的第二驾驶仿真场景。
在对测试车辆在仿真场景中进行测试时,分别将测试车辆在第一驾驶仿真场景和第二驾驶仿真场景中进行测试,获得对应的第一行驶数据和第二行驶数据。
其中,因用于构建第一驾驶仿真场景的数据,除了真实驾驶场景采集的实车数据外,还包括A I扩展数据,能够为测试车辆提供更多驾驶场景进行仿真测试,而第二驾驶仿真场景的构建所使用的数据仅包括真实驾驶场景采集的实车数据,仿真场景更加切合实际驾驶场景,能够确保测试结果的准确性。
将第一行驶数据和第二行驶数据进行对比分析,确定两组数据中的行驶异常数据,根据异常数据进行分析实现对测试车辆算法的修正与完整。
本公开实施例提供的测试方法,通过第一驾驶仿真场景和第二驾驶仿真场景的行驶数据进行交叉验证,能够提高测试车辆异常数据识别的准确性,进而提高算法修正的准确度。同时,第二驾驶仿真场景中增加了实际驾驶场景中没有的AI扩展数据,提高了场景泛化能力,增加了测试车辆的仿真测试场景,一定程度上可以提前发现在当前实际驾驶环境中无法测试发现的算法缺陷和不足。
通过在第一驾驶仿真场景和第二驾驶仿真场景中,对测试车辆进行驾驶测试,能够更改不同的交通流参数和环境参数进行多样化测试,场景可以重复使用,且对于不同车型的测试均可在这两个仿真场景中进行,能够缩减车型泛化时间。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。图2-5展示的步骤以及其他实施例涉及的步骤,除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,前述各实施例的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在第三方面,本公开的实施例提供了一种仿真场景生成装置,如图6所示,仿真场景生成装置600包括:数据获取模块601、数据处理模块602、三维重建模块603、AI扩展模块604和场景构建模块605。以下对各模块进行说明。
数据获取模块601,用于获取驾驶场景的实车数据。
数据处理模块602,用于根据实车数据得到三维重建后的体素化数据和矢量化地图数据。
三维重建模块603,用于将体素化数据和矢量化地图数据关联到同一坐标系中,得到三维重建数据。
AI扩展模块604,用于将体素化数据和矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据。
场景构建模块605,用于根据三维重建数据和AI扩展数据构建第一驾驶仿真场景。
在一些实施例中,数据获取模块601包括场景分类单元和数据采集单元。
场景分类单元,用于根据预设分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息。
数据采集单元,用于获取各类细分场景的实车数据。
数据处理模块602,还用于根据各类细分场景的实车数据得到三维重建后的体素化数据和矢量化地图数据。
在一些实施例中,数据采集单元可以包括场景数量确定子单元、场景权重确定子单元和等比例采集子单元。
场景数量确定子单元,用于确定目标区域地图数据中所有细分场景的场景总量和各类细分场景的场景数量。
场景权重确定子单元,用于根据所有细分场景的场景总量和各类细分场景的场景数量,确定各类细分场景的权重值。
等比例采集子单元,用于根据权重值,等比例采集各类细分场景的实车数据。
在一些实施例中,场景构建模块605可以包括数字孪生单元和游戏引擎单元。
数字孪生单元,用于通过预设的数字孪生应用程序将三维重建数据和AI扩展数据进行仿真处理,构建驾驶孪生模型。
游戏引擎单元,用于将驾驶孪生模型导入预设的游戏引擎中,得到第一驾驶仿真场景。
在一些实施例中,仿真场景生成装置600还可以包括第二场景构建模块,用于根据三维重建数据构建第二驾驶仿真场景。
在第四方面,本公开的实施例提供了一种计算机设备,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本公开第一方面任一实施例中的仿真场景生成方法。
在一些实施例中,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储构建仿真场景的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本公开第一方面任一实施例中的仿真场景生成方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本公开的实施例方案相关的部分结构的框图,并不构成对本公开的实施例方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在第五方面,本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本公开第一方面任一实施例中的仿真场景生成方法。
该计算机可读存储介质可以是图7所示的计算机设备中的计算机可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,前述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开的实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchnonous Link)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本公开记载的范围。
以上实施例仅表达了本公开的若干实施方式,其描述较为具体和详细,但并不能因此而理解为对本公开的保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开的保护范围应以所附权利要求为准。

Claims (11)

1.一种仿真场景生成方法,其特征在于,所述方法包括:
获取驾驶场景的实车数据;
根据所述实车数据得到三维重建后的体素化数据和矢量化地图数据;
将所述体素化数据和所述矢量化地图数据关联到同一坐标系中,得到三维重建数据;
将所述体素化数据和所述矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到A I扩展数据;
根据所述三维重建数据和所述A I扩展数据构建第一驾驶仿真场景。
2.根据权利要求1所述的方法,其特征在于,所述获取驾驶场景的实车数据,包括:
根据预设分类维度对目标区域地图数据进行场景分类,生成多类细分场景的信息;
获取各类细分场景的实车数据;
所述根据所述实车数据得到三维重建后的体素化数据和矢量化地图数据,包括:根据所述各类细分场景的实车数据得到三维重建后的体素化数据和矢量化地图数据。
3.根据权利要求2所述的方法,其特征在于,所述体素化数据和所述矢量化地图数据均标注有场景标签信息;所述预设的AI模型为生成式AI模型;
所述将所述体素化数据和所述矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到A I扩展数据,包括:
对标注有同类场景标签信息的体素化数据和矢量化地图数据进行特征提取,获得特征数据;
将所述特征数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据;
其中,所述特征数据包括标签关键词信息、体素化数据特征信息和地图数据特征信息,所述AI模型用于按照预设的关联度对所述特征数据进行扩展训练,得到所述AI扩展数据,所述AI扩展数据包括扩展后的体素化数据和扩展后的矢量化地图数据。
4.根据权利要求2所述的方法,其特征在于,一类细分场景包括一个或多个场景;
所述获取各类细分场景的实车数据,包括:
确定所述目标区域地图数据中所有细分场景的场景总量和各类细分场景的场景数量;
根据所述所有细分场景的场景总量和所述各类细分场景的场景数量,确定所述各类细分场景的权重值;
根据所述权重值,等比例采集所述各类细分场景的实车数据。
5.根据权利要求3所述的方法,其特征在于,所述预设的分类维度包括环境分类维度、道路分类维度和地图要素分类维度中的至少两类;
所述环境分类维度包括所述目标区域地图数据中环境空间的纬度区间、海拔区间、地貌类型以及行政区域范围中的至少两项;
所述道路分类维度包括所述目标区域地图数据中的道路类型、道路空间层级、道路拓扑关系以及道路运行现状中的至少两项;
所述地图要素分类维度包括所述目标区域地图数据中的交通信号灯、交通标志、交通标线、车道数量、车道类型中的至少两项。
6.根据权利要求1所述的方法,其特征在于,所述根据所述三维重建数据和所述AI扩展数据构建第一驾驶仿真场景,包括:
通过预设的数字孪生应用程序将所述三维重建数据和所述AI扩展数据进行仿真处理,构建驾驶孪生模型;
将所述驾驶孪生模型导入预设的游戏引擎中,得到第一驾驶仿真场景。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
仅根据所述三维重建数据构建第二驾驶仿真场景,所述第二驾驶仿真场景用于还原所述实车数据对应的驾驶场景。
8.一种自动驾驶测试方法,其特征在于,所述方法包括:
对测试车辆在权利要求1-6任一项所述的第一驾驶仿真场景中进行测试,获得第一行驶数据;
对所述测试车辆在权利要求7所述的第二驾驶仿真场景中进行测试,获得第二行驶数据;
将所述第一行驶数据和所述第二行驶数据进行对比分析,确定所述待测车辆的行驶异常数据;
根据所述行驶异常数据对所述测试车辆的算法进行修正处理。
9.一种仿真场景生成装置,其特征在于,所述装置包括:
数据获取模块,用于获取驾驶场景的实车数据;
数据处理模块,用于根据所述实车数据得到三维重建后的体素化数据和矢量化地图数据;
三维重建模块,用于将所述体素化数据和所述矢量化地图数据关联到同一坐标系中,得到三维重建数据;
AI扩展模块,用于将所述体素化数据和所述矢量化地图数据输入预设的AI模型中进行数据扩展训练,得到AI扩展数据;
场景构建模块,用于根据所述三维重建数据和所述AI扩展数据构建第一驾驶仿真场景。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202410291722.0A 2024-03-14 2024-03-14 仿真场景生成、测试方法、装置、设备和介质 Active CN118115685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410291722.0A CN118115685B (zh) 2024-03-14 2024-03-14 仿真场景生成、测试方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410291722.0A CN118115685B (zh) 2024-03-14 2024-03-14 仿真场景生成、测试方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN118115685A true CN118115685A (zh) 2024-05-31
CN118115685B CN118115685B (zh) 2024-10-29

Family

ID=91220588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410291722.0A Active CN118115685B (zh) 2024-03-14 2024-03-14 仿真场景生成、测试方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN118115685B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383330A (zh) * 2020-03-20 2020-07-07 吉林化工学院 一种复杂环境三维重建方法和系统
CN113936109A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 高精地图点云数据的处理方法、装置、设备以及存储介质
CN114067062A (zh) * 2022-01-17 2022-02-18 深圳慧拓无限科技有限公司 一种真实驾驶场景仿真方法、系统、电子设备和存储介质
CN115187742A (zh) * 2022-09-07 2022-10-14 西安深信科创信息技术有限公司 自动驾驶仿真测试场景生成方法、系统及相关装置
CN116258817A (zh) * 2023-02-16 2023-06-13 浙江大学 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN117408149A (zh) * 2023-10-23 2024-01-16 北京大学 基于三维场景数据仿真和感知模型的联合训练优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383330A (zh) * 2020-03-20 2020-07-07 吉林化工学院 一种复杂环境三维重建方法和系统
CN113936109A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 高精地图点云数据的处理方法、装置、设备以及存储介质
CN114067062A (zh) * 2022-01-17 2022-02-18 深圳慧拓无限科技有限公司 一种真实驾驶场景仿真方法、系统、电子设备和存储介质
CN115187742A (zh) * 2022-09-07 2022-10-14 西安深信科创信息技术有限公司 自动驾驶仿真测试场景生成方法、系统及相关装置
CN116258817A (zh) * 2023-02-16 2023-06-13 浙江大学 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN117408149A (zh) * 2023-10-23 2024-01-16 北京大学 基于三维场景数据仿真和感知模型的联合训练优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨必胜;董震;: "点云智能研究进展与趋势", 测绘学报, no. 12, 15 December 2019 (2019-12-15) *

Also Published As

Publication number Publication date
CN118115685B (zh) 2024-10-29

Similar Documents

Publication Publication Date Title
Varney et al. DALES: A large-scale aerial LiDAR data set for semantic segmentation
Massow et al. Deriving HD maps for highly automated driving from vehicular probe data
CN106198049A (zh) 真实车辆在环测试系统和方法
US20240017747A1 (en) Method and system for augmenting lidar data
CN108428254A (zh) 三维地图的构建方法及装置
CN115357006A (zh) 基于数字孪生的智能网联汽车虚实测试方法、设备及介质
Zhao et al. Autonomous driving simulation for unmanned vehicles
CN116129066A (zh) 基于数字孪生的自动驾驶高精度地图模型及高精度静态地图制作方法
CN114637305B (zh) 一种无人机最短路径规划方法及装置
Yang et al. Survey on autonomous vehicle simulation platforms
Eum et al. Vehicle detection from airborne LiDAR point clouds based on a decision tree algorithm with horizontal and vertical features
CN115344655A (zh) 地物要素的变化发现方法、装置及存储介质
CN114398253A (zh) 自动驾驶实车测试场景生成方法和系统
CN118115685B (zh) 仿真场景生成、测试方法、装置、设备和介质
Eftelioglu et al. Ring-net: road inference from gps trajectories using a deep segmentation network
Becker et al. Road network variation based on hd map analysis for the simulative safety assurance of automated vehicles
CN113971348B (zh) 一种基于综合能源系统的源端功率短期预测方法
Taal et al. Procedural Generation of Traffic Signs.
Patel A simulation environment with reduced reality gap for testing autonomous vehicles
CN113656979B (zh) 路网数据生成方法、装置、电子设备及存储介质
CN110134024A (zh) 车辆自动驾驶虚拟环境中特殊标志物的构建方法
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
Lagahit et al. Road marking extraction and classification from mobile LiDAR point clouds derived imagery using transfer learning
de Gordoa et al. Scenario-Based Validation of Automated Train Systems Using a 3D Virtual Railway Environment
CN111121793B (zh) 用于无人驾驶的地图生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant