CN117612127A - 场景生成方法、装置和存储介质及电子设备 - Google Patents

场景生成方法、装置和存储介质及电子设备 Download PDF

Info

Publication number
CN117612127A
CN117612127A CN202410081790.4A CN202410081790A CN117612127A CN 117612127 A CN117612127 A CN 117612127A CN 202410081790 A CN202410081790 A CN 202410081790A CN 117612127 A CN117612127 A CN 117612127A
Authority
CN
China
Prior art keywords
road
scene
track
vehicle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410081790.4A
Other languages
English (en)
Other versions
CN117612127B (zh
Inventor
丁宇
舒寒丹
王明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foss Hangzhou Intelligent Technology Co Ltd
Original Assignee
Foss Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foss Hangzhou Intelligent Technology Co Ltd filed Critical Foss Hangzhou Intelligent Technology Co Ltd
Priority to CN202410081790.4A priority Critical patent/CN117612127B/zh
Priority claimed from CN202410081790.4A external-priority patent/CN117612127B/zh
Publication of CN117612127A publication Critical patent/CN117612127A/zh
Application granted granted Critical
Publication of CN117612127B publication Critical patent/CN117612127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开了一种场景生成方法、装置和存储介质及电子设备。其中,该方法包括:根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数;根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;根据第二行驶轨迹生成目标场景模型。本申请解决了相关技术生成的场景不准确的技术问题。

Description

场景生成方法、装置和存储介质及电子设备
技术领域
本申请涉及智能驾驶领域,具体而言,涉及一种场景生成方法、装置和存储介质及电子设备。
背景技术
数据作为自动驾驶当中的重要资产,如何高质量的利用道路采集中的高价值场景,形成高效的数据管理并实现场景的泛化,形成更多高价值场景用于验证算法性能,以此提升自动驾驶算法,成为一直以来行业研究者持续关注的话题。
现阶段,面对海量的自动驾驶数据,主流的方案并不能高质量利用道路采集数据中的高价值片段,快速的进行场景构建,泛化以此来验证算法性能。同时,主流的场景识别方案,相对较为简单,并不能准确的识别较为细致的场景分类,从而验证不同环境下的算法性能。其三,目前主流的场景泛化方式,还是基于目标运动轨迹的调整,而并未有通过语义识别,进行相关参数的泛化,不能准确的泛化生成更多符合现实世界逻辑规则的同类型场景,因此存在场景生成不准确的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种场景生成方法、装置和存储介质及电子设备,以至少解决相技术场景生成不准确的技术问题。
根据本申请实施例的一个方面,提供了一种场景生成方法,包括:根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取上述当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;在根据用于指示上述第一行驶轨迹的第一轨迹参数集合确定出上述目标车辆的第一行驶语义的情况下,根据上述第一行驶语义以及上述道路场景标签确定轨迹泛化参数,其中,上述第一轨迹参数集合中包括用于指示上述目标车辆的车辆状态的多个状态参数;根据上述轨迹泛化参数对上述第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;根据上述第二行驶轨迹生成目标场景模型,其中,在上述目标场景模型中包括在上述道路场景标签所指示的目标道路场景中,按照上述第二行驶轨迹行驶的车辆对象。
根据本申请实施例的另一方面,还提供了一种场景生成装置,包括:获取单元,用于根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取上述当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;确定单元,用于在根据用于指示上述第一行驶轨迹的第一轨迹参数集合确定出上述目标车辆的第一行驶语义的情况下,根据上述第一行驶语义以及上述道路场景标签确定轨迹泛化参数,其中,上述第一轨迹参数集合中包括用于指示上述目标车辆的车辆状态的多个状态参数;泛化单元,用于根据上述轨迹泛化参数对上述第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;生成单元,用于根据上述第二行驶轨迹生成目标场景模型,其中,在上述目标场景模型中包括在上述道路场景标签所指示的目标道路场景中,按照上述第二行驶轨迹行驶的车辆对象。
作为一种可选的方案,上述场景生成装置,还包括:第一获取单元,用于获取上述当前车辆在行驶过程中对上述当前道路采集的道路图像和点云信息;根据上述道路图像和上述点云信息的解析结果,获取与上述当前道路关联的道路对象;从上述道路对象中获取上述目标车辆,并根据与上述目标车辆关联的上述道路图像和上述点云信息,确定出上述目标车辆的第一行驶轨迹。
作为一种可选的方案,上述第一获取单元,包括:获取模块,用于从连续多帧上述道路图像中获取关键帧图像,并获取与上述关键帧图像匹配的关键点云信息;根据上述关键帧图像和上述关键点云信息进行道路对象标注;根据标注后的上述关键帧图像和上述关键点云信息,以及连续多帧上述道路图像和上述点云信息进行对象识别,获取与上述当前道路关联的上述道路对象。
作为一种可选的方案,上述第一确定单元,包括:第二确定模块,用于将上述道路图像输入场景识别网络,得到至少一个第一场景识别结果,其中,上述第一场景识别结果包括目标分类方式下上述道路场景与多个分类标签分别匹配的匹配概率;用于获取与上述道路图像关联的道路对象集合,其中,上述道路对象集合中包括根据上述道路图像的对象识别结果确定的多个道路对象;用于根据上述道路对象集合与每个上述分类标签之间的先验关联关系,对上述第一场景识别结果进行校验,得到第二场景识别结果;用于根据上述第二场景识别结果确定上述道路场景标签。
作为一种可选的方案,上述第一确定单元包括:第三确定模块,用于获取根据上述点云信息进行第一对象识别的第一识别结果,以及对上述道路图像进行第二对象识别的第二识别结果,其中,上述第一识别结果用于指示上述当前道路中包括的第一道路对象,以及各个上述第一道路对象的三维空间位置,上述第二识别结果用于指示上述道路图像中包括的第二道路对象,以及各个上述第二道路对象所在的图像区域;用于将上述第一道路对象投影至上述道路图像中,得到第一投影结果,其中,上述第一投影结果用于指示各个上述第一道路对象所在的图像区域;用于根据上述第一投影结果和上述第二识别结果的匹配结果确定上述目标路段中包括的目标道路对象。
作为一种可选的方案,上述第一确定单元,还用于:获取与上述第一行驶语义关联的描述标签集合,其中,上述描述标签集合中包括多个状态描述标签,上述状态描述标签指示上述第一行驶轨迹中的上述目标车辆的运动状态;获取与上述道路场景标签匹配的轨迹泛化参数,其中,上述轨迹泛化参数中包括与多个上述状态描述标签分别对应的参数泛化区间。
作为一种可选的方案,上述装置还包括:第二获取单元,用于获取上述当前车辆的当前行驶轨迹,并根据上述当前行驶轨迹和上述第一行驶轨迹确定出与上述描述标签集合匹配的第一描述参数集合,其中,上述第一描述参数集合中包括与多个上述状态描述标签分别对应的第一状态参数值;根据上述泛化区间集合和上述第一描述参数集合生成参数区间集合,其中,上述参数区间集合中包括与多个上述状态描述标签分别对应的状态参数区间;从多个上述状态参数区间中分别获取一个第二状态参数值,得到用于指示上述第二行驶轨迹的第二描述参数集合。
作为一种可选的方案,生成单元用于:根据上述道路场景标签确定道路环境特征;根据获取的第一车辆类型标签确定上述目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型;根据上述目标行驶轨迹,上述道路环境特征和上述目标车辆的上述物理模型,生成上述目标车辆行驶场景。
作为一种可选的方案,上述生成单元,还用于:根据上述目标车辆行驶场景,对待测车辆的传感器感知模型进行测试;根据上述目标车辆行驶场景,对待测车辆的行驶意图生成模型进行测试;根据上述目标车辆行驶场景,对待测车辆的制动控制模型进行测试。
根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上场景生成方法。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的场景生成方法。
在本申请的上述实施例中,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,其中,第一轨迹参数集合中包括用于指示目标车辆的车辆状态的多个状态参数;根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;根据第二行驶轨迹生成目标场景模型,其中,在目标场景模型中包括在道路场景标签所指示的目标道路场景中,按照第二行驶轨迹行驶的车辆对象。
通过本申请的上述实施方式,基于车辆在当前道路采集的数据获取对应的道路场景标签以及车辆的第一行驶轨迹,通过第一轨迹参数集合确定出目标车辆的第一行驶语义后,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,进而根据轨迹泛化参数对第一轨迹参数集合进行泛化处理得到第二行驶轨迹,生成目标场景模型,从而解决了现有方式生成的场景泛化方式单一并且不符合物理逻辑,进而导致存在场景生成不准确的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的场景生成方法的应用环境的示意图;
图2是根据本申请实施例的一种可选的场景生成方法的流程的示意图;
图3是根据本申请实施例的一种可选的道路场景的分类标签输出结果的示意图;
图4是根据本申请实施例的另一种可选的道路场景的分类标签输出结果的示意图;
图5是根据本申请实施例的一种可选的道路对象的识别方法的示意图;
图6是根据本申请实施例的另一种可选的场景生成方法的流程的示意图;
图7是根据本申请实施例的一种可选的道路对象的识别方法的流程的示意图;
图8是根据本申请实施例的另一种可选的道路对象的识别方法的流程的示意图;
图9是根据本申请实施例的一种可选的道路对象坐标转换过程的示意图;
图10是根据本申请实施例的一种可选的道路场景识别方法的流程图;
图11是根据本申请实施例的另一种可选的道路场景识别方法的流程图;
图12是根据本申请实施例的一种可选的道路场景识别方法模型的示意图;
图13是根据本申请实施例的一种可选的车辆行驶场景的生成方法的流程图;
图14是根据本申请实施例的另一种可选的车辆行驶场景的生成方法的流程图;
图15是根据本申请实施例的一种可选的场景生成装置的示意图;
图16是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种场景的生成方法,可选地,上述场景的生成方法可以但不限于应用于如图1所示的硬件环境中。可选地,本申请提供的上述场景的生成方法可以应用于一种车辆终端中。图1示出了车辆终端101的侧视图,车辆终端101可以在行进表面113上行驶。车辆终端101包括存储有机载导航系统103、数字化道路地图104的存储器102、空间监测系统117、交通工具控制器109、GPS(全球定位系统)传感器110、HMI(人/机交互界面)装置111,还包括自主控制器112和远程信息处理控制器114。
在一个实施例中,空间监测系统117包括一个或多个空间传感器和系统,空间传感器和系统用于监测车辆终端101前方的可视区域105,空间监测系统117中还包括空间监测控制器118;用于监测可视区域105的空间传感器包括激光雷达传感器106、雷达传感器107、摄像头108等。空间监测控制器118可以用于基于来自空间传感器的数据输入生成与可视区域105相关的数据。空间监测控制器118可以根据来自空间传感器的输入,确定车辆终端101的线性范围、相对速度和轨迹,例如,确定自车的当前速度以及相较于前车的相对速度。车辆终端空间监测系统117的空间传感器可包括对象定位感测装置,对象定位感测装置可以包括范围传感器,范围传感器可以用于定位前方对象例如前车对象。
摄像头108有利地被安装和定位在车辆终端101上处于允许捕获可视区域105的图像的位置中,其中,可视区域105的至少部分包括在车辆终端101前方并且包括车辆终端101的轨迹的行进表面113的部分。可视区域105还可包括周围环境。还可采用其它摄像头,例如,包括被设置在车辆终端101的后部分或侧部分上的第二摄像头,以监测车辆终端101的后方以及车辆终端101的右侧或左侧中的一个。
自主控制器112被配置成实施自主驾驶或高级驾驶员辅助系统(ADAS)车辆终端功能性。此类功能性可包括能够提供一定驾驶自动化水平的车辆终端机载控制系统。驾驶自动化可包括一系列动态驾驶和车辆终端操作。驾驶自动化可包括涉及单个车辆终端功能(例如,转向、加速和/或制动)的某种水平的自动控制或干预。例如,上述自主控制器可以用于通过执行如下步骤生成场景:
S102,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
S104,在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,其中,第一轨迹参数集合中包括用于指示目标车辆的车辆状态的多个状态参数;
S106,根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
S108,根据第二行驶轨迹生成目标场景模型,其中,在目标场景模型中包括在道路场景标签所指示的目标道路场景中,按照第二行驶轨迹行驶的车辆对象。
HMI装置111提供人机交互,用于指导信息娱乐系统、GPS(全球定位系统)传感器110、机载导航系统103和类似的操作的目的,并且包括控制器。HMI装置111监测操作者请求,并且向操作者提供车辆终端系统的状态、服务和维护信息。HMI装置111与多个操作者界面装置通信,和/或控制多个操作者界面装置的操作。HMI装置111还可与一个或多个装置通信,所述一个或多个装置监测与车辆终端操作者相关联的生物特征数据。为了描述的简单性,HMI装置111被描绘为单一装置,但是在本文描述的系统的实施例中,可被配置为多个控制器和相关联的感测装置。
操作者控制件可被包括在车辆终端101的乘客舱中,并且通过非限制性示例的方式可包括方向盘、加速器踏板、制动踏板和操作者输入装置,所述操作者输入装置是HMI装置111的元件。操作者控制件使得车辆终端操作者能够与运行的车辆终端101交互,并且指导车辆终端101的操作,以提供乘客运输。
机载导航系统103采用数字化道路地图104,用于向车辆终端操作者提供导航支持和信息的目的。自主控制器112采用数字化道路地图104,用于控制自主车辆终端操作或ADAS车辆终端功能的目的。
车辆终端101可包括远程信息处理控制器114,远程信息处理控制器114包括能够进行车辆终端外通信(包括与具有无线和有线通信能力的通信网络115通信)的无线远程信息处理通信系统。无线远程信息处理通信系统中包括非机载服务器116,能够与移动终端短程无线通信。
通过本申请的上述实施方式,基于车辆在当前道路采集的数据获取对应的道路场景标签以及车辆的第一行驶轨迹,通过第一轨迹参数集合确定出目标车辆的第一行驶语义后,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,进而根据轨迹泛化参数对第一轨迹参数集合进行泛化处理得到第二行驶轨迹,生成目标场景模型,从而解决了现有方式生成的场景泛化方式单一并且不符合物理逻辑,进而导致存在场景生成不准确的技术问题。
作为一种可选的实施方式,如图2所示,场景的生成方法可以由电子设备执行,如图1所示的车辆终端中包括的电子设备,具体步骤包括:
S202,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
S204,在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,其中,第一轨迹参数集合中包括用于指示目标车辆的车辆状态的多个状态参数;
S206,根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
S208,根据第二行驶轨迹生成目标场景模型,其中,在目标场景模型中包括在道路场景标签所指示的目标道路场景中,按照第二行驶轨迹行驶的车辆对象。
在上述实施方式中的S202中,根据采集的测量数据获得当前道路对应的道路场景标签以及目标车辆的行驶轨迹,可以理解的是,采集的测量数据包括车辆行驶数据:车辆行驶的速度、加速度、方向、位置、行驶时间、行驶路线等,道路环境数据:交通信号、交通标识、道路设施、路面状况、气候环境车辆行人数据等;进而可以根据采集的数据信息得到场景标签、行驶轨迹。
进一步地,作为一种可选的实施方式,在上述步骤S204中,第一轨迹参数集合根据第一行驶轨迹得到,例如车辆以1Km/h的速度从第一车道右转转入第二车道,则轨迹参数为“速度:50Km/h”、“方向:右转”、“速度:匀速”,进而可以确定出目标车辆的第一行驶语义,例如“切入(cut-in)”,然后根据第一行驶语义以及道路场景标签确定出轨迹泛化参数,例如在雨天学校门口道路的场景下,轨迹泛化参数为速度增大10Km/h以内,速度减小30Km/h以内,即速度的轨迹泛化参数为+10Km/h。-30Km/h;上述第一轨迹参数集合中包括用于指示目标车辆状态的多个状态参数,如:50Km/h、右转、匀速。
需要说明的是,上述根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹,可以但不限于为通过以下实施方式实现:例如第一轨迹参数为“速度:50Km/h”、“方向:右转”、“速度:匀速”,在目标变量是连续型变量的情况下,可以使用均值加减若干个标准差来确定泛化区间,在目标变量是分类变量的情况下,可以根据不同类别的分布情况确定泛化区间,例如泛化处理上述参数后为:“速度:70Km/h”、“方向:直行”、“速度:匀速”,得到的第二行驶轨迹可以为:车辆以70Km/h匀速直行。
作为一种可选的实施方式,在根据第二行驶轨迹后,根据第二行驶轨迹生成目标场景模型,目标场景模型包括目标道路场景中按上述第二行驶轨迹行驶的车辆对象,例如在上述实施例中最终生成的目标场景为:雨天学校门口道路,车辆以70Km/h匀速直行。
通过本申请的上述实施方式,基于车辆在当前道路采集的数据获取对应的道路场景标签以及车辆的第一行驶轨迹,通过第一轨迹参数集合确定出目标车辆的第一行驶语义后,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,进而根据轨迹泛化参数对第一轨迹参数集合进行泛化处理得到第二行驶轨迹,生成目标场景模型,从而解决了现有方式生成的场景泛化方式单一并且不符合物理逻辑,进而导致存在场景生成不准确的技术问题。
在一种可选的实施方式中,上述根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取目标车辆的第一行驶轨迹包括:
S1,获取当前车辆在行驶过程中对当前道路采集的道路图像和点云信息;
S2,根据道路图像和点云信息的解析结果,获取与当前道路关联的道路对象;
S3,从道路对象中获取目标车辆,并根据与目标车辆关联的道路图像和点云信息,确定出目标车辆的第一行驶轨迹。
可以理解的是,在本申请的上述实施方式中,上述道路图像可以包括但不限于为车辆终端实时获取的一个单独用于道路场景识别的道路图像,或者是车辆终端获取的图像序列中的某一个道路图像,上述点云信息可以通过对激光雷达采集连续帧片段的3D空间点云,通过激光SLAM算法获取场景片段的点云信息,然后通过深度学习模型,对该SLAM场景的路面标志、立面标志等静态目标按照点云反射强度和形状进行聚类提取,能够识别出道路对象(例如车道线道路标志等)。
与点云信息同时获取的道路图像信息,会通过语义分割,获得对应的如车道线,路沿等的语义信息。将上述检测到的3D车道线,经过坐标转换到图像坐标系中,再截取向前150米向后50米的车道线曲线,投影到对应时间的图像中;进一步通过图像上语义分割的mask信息,对3D车道线进行优化,比如对于3D检测车道线置信度较低的,如果图像上有对应的语义信息,则予以保留;如果3D空间检测的车道线,在图像上未有匹配,如果检测置信度不高则予以删除,通过图像的语义分割信息,可以进一步优化静态的检测的静态目标的真值质量。
作为另一种可选的实施方式,可以通过真值构建模块获取真值,该模块会对片段进行连续帧的真值构建。该真值包括动态障碍物(车辆,行人,二轮车等)在每一帧的位置,尺寸,运动信息,以及在连续帧中的目标ID信息进行准确的真值生成;静态目标,如车道线,路沿,交通标识,交通灯等的位置信息标注等。
真值模型主要用于对于连续帧片段,包括图像/激光等传感器检测到的动态和静态障碍物,进行目标检测,跟踪,轨迹优化等,最终生成连续帧片段的所有下游算法需要的真值构建。该模块生成的真值会进行粗优化和轨迹匹配两个阶段去优化真值。粗优化真值阶段会对完全基于大模型和追踪生成的结果与有少量真值的关键帧做对比,如果该帧不为关键帧则完全运用模型结果,如果为关键帧,则会人工校验,进行漏检和误检后处理。经过粗优化阶段的真值,会进入精优化阶段,即轨迹优化。轨迹优化会将大片段和真值帧进行划分,形成小片段,然后再小片段当中进行目标追踪,重召回及轨迹优化,然后进行前后小片段串联。通过轨迹优化,可以更好的在3D空间优化目标运动的轨迹,航向角和尺寸,补充模型能力之外的目标真值信息。
在获取对应的真值后,由于图像,点云等采集频率的不同,在不同的测试任务中,会需要不同频率的真值信息。通过对上述生成的真值进行上采样/下采样,可以获得更准确的真值信息。
在本申请的上述实施方式中,根据道路图像和点云信息的解析结果,获取与当前道路关联的道路对象,例如解析出的与当前道路关联的道路对象有红路灯、斑马线、行人、地铁口、公交车,进而从道路对象中获取目标车辆(例如公交车为目标车辆),根据与目标车辆关联的道路图像和点云信息,确定出目标车辆的第一行驶轨迹,例如获取公交车的行为状态为直行、50km/h,从而确定出公交车的行驶轨迹为地铁站路口以50Km/h直行。
通过本申请的上述实施方式,动态场景重构中通过少量的关键帧标注,结合真值构建模型,更好的获得场景中动态障碍物的运行轨迹,且标注数据可以帮助真值模型进行算法提升,属于可演进式的真值构建系统;静态场景重构中,借助图像语义分割结果,更好的辅助3D空间道路识别信息进行优化,在面对诸如车道线磨损,不清晰,雨天等激光雷达难以解决的场景,图像可以提供更多信息帮助获得更为精确的静态场景信息,从而提高了测量数据、以及根据测量数据得到的行驶轨迹的准确性。
在一种可选的实施方式中,上述根据道路图像和点云信息的解析结果,获取与当前道路关联的道路对象,包括:
S1,从连续多帧道路图像中获取关键帧图像,并获取与关键帧图像匹配的关键点云信息;
S2,根据关键帧图像和关键点云信息进行道路对象标注;
S3,根据标注后的关键帧图像和关键点云信息,以及连续多帧道路图像和点云信息进行对象识别,获取与当前道路关联的道路对象。
作为一种可选的实施方式,上述从连续多帧上述道路图像中获取关键帧图像的方法可以但不限于为:人工挑选或以目标道路图像序列中清晰度最高的一张,或目标道路图像序列中包含道路对象最多的一张作为关键帧;获取与关键帧图像匹配的关键点云信息的方式包括但不限于为:首先使用特征点提取和描述算法(例如SIFT、SURF、ORB等)在关键帧图像上提取关键点和对应的特征描述子;然后使用特征匹配算法(例如特征点匹配、ICP等)将关键帧图像中的特征描述子与点云数据中的特征点进行匹配;最后通过匹配得到的关键点在点云数据中找到对应的三维点坐标,从而获取与关键帧图像匹配的关键点云信息。
进一步地,根据上述关键帧图像和上述关键点云信息进行道路对象标注,包括但不限于:标注道路的边界线,包括左右两侧的边界线,标注车道线的位置和类型,如实线、虚线、双实线等,标注车道标识牌的位置和类型,如禁止停车、限速等,标注车道标识线的位置和类型,如停车线、转弯线等,标注路口的位置和类型,标注行人过街道的位置和类型,标注道路上的路障,如隔离带、护栏,标注路面的状况,如坑洼、裂缝、施工标志等。
需要说明的是,根据标注后的上述关键帧图像和上述关键点云信息,以及连续多帧上述道路图像和上述点云信息进行对象识别,也就是在场景重构中的动态交通流重构过程中,基于多传感器,如图像,点云等,通过抽取少量数据进行人工标注,辅助真值算法更好的构建整个场景片段的连续帧真值,可以更好的得到场景中各个动态障碍物目标的运行轨迹获取与上述当前道路关联的上述道路对象,进而可以提高道路对象的识别准确度,生成更科学、准确的场景。
在一种可选的实施方式中,上述根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签包括:
S1,将道路图像输入场景识别网络,得到至少一个第一场景识别结果,其中,第一场景识别结果包括目标分类方式下道路场景与多个分类标签分别匹配的匹配概率;
S2,获取与道路图像关联的道路对象集合,其中,道路对象集合中包括根据道路图像的对象识别结果确定的多个道路对象;
S3,根据道路对象集合与每个分类标签之间的先验关联关系,对第一场景识别结果进行校验,得到第二场景识别结果;
S4,根据第二场景识别结果确定道路场景标签。
可以理解的是,在本实施方式中,场景识别网络输出的场景识别结果可以如道路场景的分类标签输出结果的示意图图3所示,例如目标分类方式可以为按道路类型分类,多个分类标签可以是高速路、乡村、胡同等,对应的道路类型为高速路的概率为0.3,道路类型为乡村的概率为0.4,道路类型为胡同的概率为0.1,因此,道路类型可能为乡村道路的概率最大;
上述目标分类方式可以分为为一个或多个类型,例如道路场景的分类标签输出结果的示意图图3所示,可以确定道路类型为目标分类方式,或者,如道路场景的分类标签输出结果的示意图图4所示,可以确定道路类型、光照类型和天气类型确定为目标分类方式,对应目标分类方式中的每一项类型下,可以进一步分为多个分类标签,从而得到与多个分类标签分别匹配的匹配概率,如道路场景的分类标签输出结果的示意图图4所示。
需要说明的是,从道路对象的特征上,道路对象集合可以包括动态对象集合和静态对象集合,动态道路对象是指在道路上具有变化特性的对象,这些对象在道路上具有移动性,并且会随着时间和空间的变化而改变位置和状态;可以通过传感器、摄像头等设备来监测和识别这些动态道路对象;静态道路对象是指在道路上不具有移动性的对象,这些对象通常固定在道路上的特定位置,并且不会随着时间和空间的变化而改变位置和状态。可以通过地图、GPS等信息来获取静态道路对象的位置和属性。动态对象可以但不限于为行人、自行车、摩托车、公交车、火车等,静态对象可以但不限于为交通标志、道路护栏、路灯、道路标线、道路标识牌等;从道路对象的获取方式上,道路对象集合可以包括通过地图API获取的道路对象,通过道路管理系统获取的道路对象,通过交通管理部门获取的道路对象,通过卫星图像识别获取的道路对象,通过地理获取的道路对象等;从道路对象的用途上,道路对象集合可以包括获取公路上的道路对象、步行道上的道路对象、山路上的道路对象、车辆专用道上的道路对象等,在本实施例中不对获取的道路对象的方式做具体限定。
在上述步骤S206和S208中,进一步地,道路对象集合与分类标签间具有先验关联关系,可以对得到的第一场景识别结果进行校验得到第二场景识别结果,进而根据第二场景识别结果确定道路场景标签。作为一种可选的实施例,场景分类任务存在包括但不限于城市道路、高架桥、高速、隧道、乡村、收费站、停车场和其他标签,此处以8个标签为例,模型输入为3840*1980的图像矩阵,通过ResNet50的主干网络,计算得到224*224的响应图,响应图通过全连接神经网络,输出一个8*1维的矩阵,分别对应该图片属于该标签的得分通过Softmax计算得到每个类别的概率,也就是上述多个分类标签分别对应的匹配概率,输出标签及其概率称为软标签(对应的非软标签即只输出概率最大的标签)。
通过本申请的上述实施方式,基于目标场景识别网络得到道路场景的至少一个场景识别结果,并获取道路图像关联的道路对象集合,基于道路对象集合与每个分类标签间的先验关联关系对第一场景识别结果校验,进而得到第二场景识别结果,通过先验关联关系能够进一步判断第一场景的场景识别结果的合理性、准确性,从而得到更准确的第二场景识别结果,也就是,一方面通过深度学习模型,对天气,道路类型等多种静态环境要素进行分类,输出带每一种分类概率的软标签;再结合目标识别,车道线识别以及交通灯/道路标识识别的结果,结合人工先验的经验信息,对软标签做一次筛选,最终得到更为准确的场景识别结果,将道路场景识别方法与复杂的道路行驶场景高度适配,实现准确识别道路场景的技术效果。
在一种可选的实施方式中,上述获取与道路图像关联的道路对象集合包括:
S1,获取根据点云信息进行第一对象识别的第一识别结果,以及对道路图像进行第二对象识别的第二识别结果,其中,第一识别结果用于指示当前道路中包括的第一道路对象,以及各个第一道路对象的三维空间位置,第二识别结果用于指示道路图像中包括的第二道路对象,以及各个第二道路对象所在的图像区域;
S2,将第一道路对象投影至道路图像中,得到第一投影结果,其中,第一投影结果用于指示各个第一道路对象所在的图像区域;
S3,根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。
可以理解的是,在本申请的上述实施方式中,上述第一识别结果可以得到目标路段中的所有道路对象,如:行人、车辆等动态道路对象,交通标志、车道线等静态道路对象,在此不做限制;还可以得到各个道路对象在三维空间中的三维空间位置,例如,第一识别结果可以为直角坐标系中用三个坐标轴表示道路对象在上述三维空间中的位置,极坐标系中使用径向距离和两个角度来表示道路对象在空间中的位置,球坐标系中使用一个径向距离、一个极角和一个方位角来表示道路对象在空间中的位置,柱坐标系中使用一个径向距离、一个角度和一个z坐标来表示道路对象在空间中的位置,笛卡尔坐标系中使用一个轴向量和一个位置向量来表示道路对象在空间中的位置等。需要说明的是,上述方法可以根据具体应用场景和需求,选择合适的方法得到道路对象的三维空间位置,也可以将上述识别方法进行结合使用。
上述第二识别结果可以得到道路图像中的所有道路对象,如:行人、车辆等动态道路对象,交通标志、车道线等静态道路对象,在此不做限制;还可以得到各个道路对象在道路图像中对应的图像区域位置,例如,首先,可以使用图像处理算法来对道路图像进行预处理,例如去噪、边缘检测、图像分割等操作,以便得到道路对象的图像区域;然后,可以使用计算机视觉技术,如特征检测、特征匹配等方法来识别道路对象在图像中的位置,具体地,可以使用特征点检测算法(如SIFT、SURF等)来检测道路对象的特征点,然后利用特征匹配算法(如RANSAC、Hough变换等)来确定道路对象的位置和姿态;另外,也可以使用深度学习技术,如卷积神经网络(CNN)来进行对象检测和定位,通过训练模型来实现道路对象在图像中的定位。需要说明的是,上述方法可以根据具体应用场景和需求,选择合适的方法得到道路图像中对应的图像区域位置。
进一步地,在获取到上述目标时刻对目标路段采集到的点云信息以及道路图像之后,上述根据点云信息进行第一对象识别的方法可以但不限于为:利用特征点提取、特征描述和模式识别等技术,对点云中的物体进行识别和分类;通过聚类、分割和分组等方法,将点云数据中的物体进行分割,进行后续的识别和分析;利用点云数据中物体的位置和形状信息,对物体进行定位和姿态估计;利用特征点提取和描述符计算等方法,提取点云数据中的特征信息,进行后续的识别和分类;利用机器学习算法,对点云数据进行训练和学习,以实现对点云信息的识别和分类。需要说明的是,上述方法可以根据具体应用场景和需求,选择合适的方法得到第一识别结果,也可以将上述识别方法进行结合使用。
上述对道路图像进行识别的方法可以但不限于为:使用计算机视觉技术,通过图像处理算法对道路图像进行边缘检测、颜色识别等操作,以提取道路的特征信息;基于机器学习和深度学习技术,构建道路图像识别模型,通过大量标注的道路图像数据进行训练,使模型能够识别道路的各种特征和情况;利用传感器和摄像头设备获取道路图像,并通过图像识别技术实时对道路图像进行分析和识别;结合全局定位系统(GPS)和地图数据,对道路图像进行地理位置和道路类型的识别,实现精确的道路信息识别;使用图像语义分割技术,将道路图像分割成不同的区域,从而可以对道路的各个部分进行更精细的识别和分析。需要说明的是,上述方法可以根据具体应用场景和需求,选择合适的方法得到第二识别结果,也可以将上述识别方法进行结合使用。
在上述步骤S2和S3中,在将第一道路对象投影至道路图像得到第一投影结果后,可以用第一投影结果指示第一道路对象所在的图像区域。换句话说,通过上述步骤S2和S3可以将点云信息得到的识别结果投影至道路图像上。可以理解的是,将点云信息投影至道路图像可以先将点云信息的坐标系转换为道路图像的坐标系,然后使用几何投影或者透视投影等方法将点云信息映射到道路图像上,另外还可以将投影后的点云信息和道路图像进行叠加显示,以便进行分析和识别道路上的物体和障碍物等信息。
在上述实施方式中的S4中,将上述基于点云信息得到的第一投影结果与基于道路图像得到的第二识别结果进行匹配,进而判断目标路段中的目标道路对象,进一步提高了识别结果的准确性,从而提高了道路对象识别方法的准确度。如识别道路对象的示意图图5所示,左边为激光雷达点云数据处理的流程,对应第一对象识别过程,具体每一张图片对应的步骤为:图5中的(a)图表示点云数据接收:通过UDP(用户数据报协议)的形式向网络发送数据,从而在接收端匹配激光雷达的IP地址与自身UDP端口号,从而接收原始点云数据;图5中的(b)图表示点云组帧:将多个点云数据包叠加到同一帧;图5中的(c)图表示外参变化:激光雷达的坐标系转化为车辆的坐标系;图5中的(d)图表示滤波处理;将点云数据中的噪点剔除,或以平滑的方式进行处理;图5中的(e)图表示特征提取:利用特征点提取和描述符计算等方法,提取点云数据中的特征信息,右边为图像数据经过神经网络提取Mask信息后结果,对应第二对象识别过程,具体每一张图片对应的步骤为:图5中的(f)图表示获取道路图像;图5中的(g)图表示神经网络模型处理图片;图5中的(h)图表示输出响应图,每个位置对应图片像素存在目标的概率;图5中的(i)图表示填充上采样,通过邻近方式填充上采样到图片原尺寸;最后将第一道路对象投影至道路图像中得到第一投影结果与第二识别结果进行匹配(对应图5中的(e)图与图5中的(i)图进行匹配),输出道路对象。
通过本申请的上述实施方式,将根据点云信息得到的第一识别结果与根据道路图像得到的第二识别结果,进一步将第一识别结果中包含的第一道路对象投影至道路图像中得到第一投影结果,将第一投影结果与第二识别结果进行匹配,从而判断采集道路对象的准确性,也就是静态场景重构中,不仅通过激光雷达结合SLAM进行场景重构,且通过深度学习模型进行包括3D空间车道线/路沿的提取;同时结合图像的语义分割模型,在图像上提取出车道线/路沿等相关信息,在将3D空间的车道线/路沿结果投影到图像上,结合语义的掩膜信息,辅助优化,更为准确的车道线,路沿等道路特征,提高了道路对象识别的准确性,进而提高场景生成的准确度。
在一种可选的实施方式中,上述在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数包括:
S1,获取与第一行驶语义关联的描述标签集合,其中,描述标签集合中包括多个状态描述标签,状态描述标签指示第一行驶轨迹中的目标车辆的运动状态;
S2,获取与道路场景标签匹配的轨迹泛化参数,其中,轨迹泛化参数中包括与多个状态描述标签分别对应的参数泛化区间:
可以理解的是,与第一行驶语义关联的描述标签集合包括多个状态描述标签,状态描述标签指示第一行驶轨迹中的目标车辆的运动状态,例如,得到的行驶语义有:“车辆加速”、“车辆鸣笛”、“车辆换道”,在上述行驶语义关联的描述标签集合分别对应“速度描述标签”、“行驶人员描述标签”、“车道描述标签”,因此从上述描述标签集合中获取“速度描述标签”、“行驶人员描述标签”、“车道描述标签”作为与参考行驶语义关联的描述标签集合,目标车辆的运动状态即为加速鸣笛换道行驶。
进一步地,在一种可选的实施方式中,获取与上述道路场景标签匹配的泛化参数,上述泛化参数中包括多个状态描述标签分别对应的参数泛化区间,如果目标变量是连续型变量,可以使用均值加减若干个标准差来确定泛化区间;如果目标变量是分类变量,可以根据不同类别的分布情况确定泛化区间,例如道路场景为雨天市内,第一描述参数集合为天气状态参数对应的“雨天”,速度状态参数对应的“50Km/h”,以及道路状态参数对应的“路面湿滑”、方向状态参数对应的“右转”,进而可以根据上述信息获取泛化参数,例如天气状态参数区间可以为“阴天”、“晴天”、“雨天”,速度状态参数区间可以为“10Km/h-60Km/h”,道路状态参数区间可以为“路面湿滑”、“路面结冰”,方向状态参数区间可以为“右转”、“左转”、“直行”,具体参数区间的范围可以根据实际道路情况人工设置,或者根据机器学习得到。
需要说明的是,上述参数泛化区间的计算方式可以但不限于以下两种方式:方式一:当前道路场景车辆行驶速度为50Km/h,泛轨迹泛化参数为30个单位,即泛化的速度参数区间为20Km/h-80Km/h;在另一种方式中:当前道路场景车辆行驶速度为50Km/h,确泛轨迹泛化参数为40个单位,即泛化的速度参数区间为30Km/h-70Km/h、或40Km/h-80Km/h等。
通过本申请的上述实施方式,获取与第一行驶语义关联的描述标签集合后,获取与道路场景标签匹配的轨迹泛化参数,进而可以泛化出场景丰富且符合现实世界逻辑的场景,提高场景生成的科学性、准确性。
在一种可选的实施方式中,上述根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹包括:
S1,获取当前车辆的当前行驶轨迹,并根据当前行驶轨迹和第一行驶轨迹确定出与描述标签集合匹配的第一描述参数集合,其中,第一描述参数集合中包括与多个状态描述标签分别对应的第一状态参数值;
S2,根据泛化区间集合和第一描述参数集合生成参数区间集合,其中,参数区间集合中包括与多个状态描述标签分别对应的状态参数区间;
S3,从多个状态参数区间中分别获取一个第二状态参数值,得到用于指示第二行驶轨迹的第二描述参数集合。
通过本申请的上述实施方式,获取当前车辆的当前行驶轨迹,并确定出与描述标签集合匹配的第一描述参数集合,例如当前行驶轨迹为公交车以50Km/h的速度在公交车道匀速直行,则对应描述标签为“车辆类型标签”、“速度标签”、“道路类型标签”、“方向标签”,进而确定出第一描述参数集合为“公交车”、“50Km/h”、“公交车道”、“直行”。
进一步地,根据泛化区间集合和第一描述参数集合生成参数区间集合,参数区间集合中包括与多个状态描述标签分别对应的状态参数区间,例如生成参数区间集合可以为:“车辆类型区间:公交车、客车、货车”,“速度区间:40Km/h-60Km/h”,“道路类型区间:公交车道、机动车道”,“方向区间:左转、右转、直行”。
可以理解的是,从多个状态参数区间中分别获取一个第二状态参数值,得到用于指示第二行驶轨迹的第二描述参数集合,例如第二描述参数集合可以为:“公交车、40Km/h、公交车道、左转”或“客车、60Km/h、机动车道、右转”等,在此仅为一种示例。
通过本申请的上述实施方式,根据当前行驶轨迹和第一行驶轨迹确定出与描述标签集合匹配的第一描述参数集合,然后根据泛化区间集合和第一描述参数集合生成参数区间集合,进而从多个状态参数区间中分别获取一个第二状态参数值,得到用于指示第二行驶轨迹的第二描述参数集合,进而可以泛化出场景丰富且符合现实世界逻辑的场景,提高场景生成的科学性、准确性。
在一种可选的实施方式中,上述根据第二行驶轨迹生成目标场景模型,包括:
S1,根据道路场景标签确定道路环境特征;
S2,根据获取的第一车辆类型标签确定目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型;
S3,根据目标行驶轨迹,道路环境特征和目标车辆的物理模型,生成目标车辆行驶场景。
作为一种可选的实施方式,根据上述道路场景标签确定车辆行驶场景中的道路环境特征,包括:路面状况、交通标志、交通信号灯、路灯、行人过街设施、交通岛、绿化带、路边停车位、交通设施等;根据获取的第一车辆类型标签确定目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型,包括:小轿车、客车、货车、卡车等;根据上述目标行驶轨迹,上述道路环境特征和上述目标车辆的上述物理模型,生成上述目标车辆行驶场景,例如:直行、50Km/h、道路湿滑、路口、客车。
通过本申请的上述实施方式,根据道路场景标签确定道路环境特征、根据获取的第一车辆类型标签确定目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型、根据目标行驶轨迹,道路环境特征和目标车辆的物理模型,生成目标车辆行驶场景,从而实现了生成场景多样且符合物理逻辑的不同场景的技术效果。
在一种可选的实施方式中,上述根据所述第二行驶轨迹生成目标场景模型之后,还包括以下至少之一:
方式一,根据目标车辆行驶场景,对待测车辆的传感器感知模型进行测试;
方式二,根据目标车辆行驶场景,对待测车辆的行驶意图生成模型进行测试;
方式三,根据目标车辆行驶场景,对待测车辆的制动控制模型进行测试。
需要说明的是,根据所述目标车辆行驶场景,对待测车辆的传感器感知模型进行测试可以但不限于为:确定测试场景:根据目标车辆行驶场景,确定测试所需的具体场景和环境,包括道路类型、交通情况、天气条件等;确定传感器感知模型:对待测车辆的传感器感知模型进行详细的了解,包括其使用的传感器类型、工作原理、数据处理算法等;设计测试方案:根据目标车辆行驶场景和传感器感知模型,设计测试方案,包括测试用例、测试数据采集方式、测试参数设置等;实施测试:在确定的测试场景中,对待测车辆的传感器感知模型进行实际测试,采集传感器数据并进行分析;分析测试结果:对采集到的传感器数据进行分析,评估传感器感知模型在目标车辆行驶场景下的性能表现,发现可能存在的问题和改进空间;优化模型:根据测试结果,对传感器感知模型进行优化,包括调整参数、改进算法等,以提高在目标车辆行驶场景下的性能表现;验证优化效果:进行再次测试,验证对传感器感知模型的优化是否能够改善其在目标车辆行驶场景下的性能表现。
在一种可选的实施方式中,根据所述目标车辆行驶场景,对待测车辆的行驶意图生成模型进行测试可以但不限于为:收集目标车辆的行驶数据:首先,需要收集目标车辆在不同场景下的行驶数据,包括城市道路、高速公路、乡村道路等不同环境下的行驶行为和意图;数据预处理:对收集到的行驶数据进行预处理,包括数据清洗、去噪、数据对齐等操作,确保数据质量和一致性;特征提取:从预处理后的数据中提取特征,如车辆速度、加速度、转向角等,作为模型的输入特征;选择:选择合适的模型来生成目标车辆的行驶意图模型,可以考虑使用机器学习模型或深度学习模型;数据划分:将收集到的行驶数据划分为训练集和测试集,一般采用交叉验证的方式来评估模型的性能;模型训练:使用训练集对选定的模型进行训练,优化模型参数,使其能够准确地预测目标车辆的行驶意图;模型评估:使用测试集对训练好的模型进行评估,评估模型的准确性、精确度、召回率等指标,确保模型能够准确地预测目标车辆的行驶意图;模型优化:根据评估结果对模型进行优化,调整模型参数或者考虑使用其他特征、模型结构等方式来提升模型的性能。
在一种可选的实施方式中,根据所述目标车辆行驶场景,对待测车辆的制动控制模型进行测试可以但不限于为:确定测试目标:根据目标车辆行驶场景,确定测试车辆的制动控制模型的目标,例如提高制动性能、优化制动系统等;设计测试方案:根据目标确定测试车辆的制动控制模型的测试方案,包括测试的环境条件、测试的参数和指标等;准备测试设备:准备测试车辆、测试仪器和设备,确保测试设备能够满足测试需求;进行测试:在所述目标车辆行驶场景下,对待测车辆的制动控制模型进行测试,记录测试数据并进行分析;分析测试结果:对测试数据进行分析,评估待测车辆的制动控制模型的性能和稳定性,发现并解决可能存在的问题;优化和改进:根据测试结果,对待测车辆的制动控制模型进行优化和改进,提高其性能和可靠性;验证测试结果:对优化后的制动控制模型进行再次测试,验证改进效果,确保其符合目标要求。
通过本申请记载的上述实施方式,基于原始路测数据,实现对原始数据的自动化静态动态真值构建,场景检测生成标签进行场景管理,并基于动态目标的精确轨迹,进行语义提取后,支持场景语义级泛化,并且能够对泛化后的场景进行算法评测,以此实现数据利用的充分性,有效性,在提升仿真的效率的同时,通过自动化场景泛化,可以大大提高场景丰富度,复杂度,延伸度,降低路采人力和财力成本。
以下结合图6对本申请的一个完整实施方式进行说明:
S602,动态真值构建;以下结合图7对动态真值构建的一个完整过程进行说明:
解析获取的待标注的图像和点云数据,如图7中的(a)图所示;
关键帧(按20帧间隔选取的帧,此处仅为一种示例)送标获得人工标注的真值,如图7中的(b)图所示,其余图像和点云通过检测跟踪模型得到模型预测结果,如图7中的(c)图所示;
通过匈牙利匹配关键帧预测值和上述步骤标注结果,对于每个匹配上的结果计算真实值和预测值的偏差,对于前面的模型预测结果进行预测框的高宽和概率修正,如图7中的(d)图所示,将人工标注的关键帧的数据插入原序列帧,得到粗优化真值;
轨迹优化,如图7中的(e)图所示;具体地包括,分段拟合:首先会基于关键帧数据,每两个关键帧中间的轨迹进行分段拟合,通过这种方式,可以保证所有关键帧的轨迹点准确,也能保证整体的轨迹符合车辆运动的规律,从而降低因为真值模型的检测质量和误差,导致轨迹不准确的问题,而其中车由于运行过程中总体符合刚体运动,所以通过三次多项式拟合方式获得车辆运动的优化后轨迹,行人和二轮车由于其运动的无规律性,则会通过离散点平滑的方式进行轨迹优化。航向角优化:在轨迹优化之后,会基于轨迹以及车辆的运动方向,将航向角统一修正为车辆运动轨迹的切线方向,通过这种方式,可以保证车辆航向角的稳定性和准确性。尺寸优化:目标尺寸优化分为两种情况:如果该目标的运动轨迹有通过关键帧,则意味着关键帧标注的目标尺寸是准确的,由于在3D空间中,目标框的尺寸不会随着目标移动而变化,则通过这种方式,可以将整个目标运动序列的所有检测框修正为关键帧标注的尺寸大小;如果该目标没有通过关键帧,则意味着该目标仅存在于两个关键帧之间的片段,则通过一个深度学习模型,对目标的长宽高进行回归后,输出较为精确的目标尺寸大小,该尺寸的检测框会用于修正整个目标序列所有检测框;
多传感器匹配优化,如图7中的(f)图所示;具体地包括,轨迹拓展:针对之前优化过的目标轨迹进行前后真拓展,通过递推的方式,每次推理一帧的时候,统计检测框内前后的点云数量与前一帧的数量的比值,显著性变小活没有点云则认为丢失;关键点目标拓展:对于关键帧中超过100米的标注目标进行上述轨迹拓展,以填补远距离点云稀疏的问题;目标匹配映射与筛选:通过每一帧图像检测框与3D检测框投影的结果进行匹配,如果多帧图像检测框不存在而3D真值存在目标框,则认为属于误检,对该部分真值打上标签,后续交由人工审核判断,以进行真值过滤,保证准确性;
获得精优化后的真值,如图7中的(g)图所示;
需要说明的是,该真值生成主要通过真值模型以及标注数据共同生成。真值模型主要用于对于连续帧片段,包括图像/激光等传感器检测到的动态和静态障碍物,进行目标检测,跟踪,轨迹优化等,最终生成连续帧片段的所有下游算法需要的真值构建。
标注数据是从相应的片段数据中抽帧并标注生成的,在人工标注后,具有相对于算法更精确的真值信息,可以通过片段匹配映射,插入回原有片段。在构建真值的过程中,这些关键帧的标注真值,可以辅助真值算法进行真值构建,从而获取相对于纯算法推导更为准确的场景真值信息。在后续通过轨迹优化策略,可以更加进一步提升真值的准确性,实现较好的动态障碍物真值。
S604,静态真值构建;以下结合图8对静态真值构建的一个完整过程进行说明:
S802,首先对于该连续帧片段激光雷达采集的3D空间点云,会通过激光SLAM算法获得这个场景片段的静态目标点云信息;
S804,通过深度学习模型,对该SLAM场景的路面标志、立面标志等静态目标按照点云反射强度和形状进行聚类提取;
S806,获取与点云同时的图像信息,进行语义分割,获得对应的如车道线,路沿等的语义信息。
S808,将上述检测到的3D车道线,经过坐标转换到图像坐标系中,再截取向前150米向后50米以内的车道线曲线,投影到对应时间的图像中;
具体地,在步骤S808中还包括,获得与采集的激光雷达同时刻的前置摄像头图像数据;通过分割神经网络提取道路相关的语义信息包括路面标志、立面标志,对于经检测出来的点云结果,增加物体10%宽度的软边界用于后续的点云匹配;根据实时的车身信号信息,相机的内外参数,将激光雷达点云数据投射到图像坐标系(如下图9所示世界坐标系-相机坐标系-图像坐标系-像素坐标系),截取车身前后190m的内的标志,从而匹配点云数据与图像;
上述投影过程可以通过如下公式进行描述:
3D点云信息在2D道路图像上的投影结果为:
其中,上述公式中为道路对象在世界坐标系下的表示;
上述公式中表示道路对象在世界坐标系转化到车辆坐标系下的结果;
上述公式中表示道路对象在车辆坐标系转化到图像坐标系下的结果;
最终将第三坐标信息以及第一道路对象的对象标签确定为第一投影
结果表示为
需要说明的是,上述为外参矩阵,上述外参矩阵是指在计算机视觉和计算机图形学中,用于描述相机的位置和方向的矩阵。外参矩阵通常包括相机的旋转矩阵和平移矩阵,用于将相机坐标系中的点映射到世界坐标系中;上述/>为内参矩阵,上述内参矩阵是指在摄影测量学中用来描述相机的内部参数的矩阵,它包括了相机的焦距、主点位置、畸变参数等信息,用于描述相机成像的特性。/>
S810,对3D车道线进行优化,例如通过图像上语义分割的mask信息,对3D车道线进行优化。
S812,判断3D检测的车道线置信度,比如对于3D检测车道线置信度较高的,如果图像上有对应的语义信息,则执行S816,保留识别对象;如果3D空间检测的车道线,在图像上未有匹配,检测置信度不高(例如可以设置阈值为0.6,置信度低于0.6说明置信度低,高于0.6置信度高),则执行S814,删除识别对象。通过图像的语义分割信息,可以进一步优化静态的检测的静态目标的真值质量;
具体地,在步骤S812中还包括2D图像Mask提取方法:数据准备过程:根据标注数据信息生成语义图,根据标注的多边形,多边形范围内的像素对应位置设置为1没有标注的设置为0,从而得到真值(GT);模型训练过程:将获取的道路图片读取为三维矩阵,输入多层卷积神经网络,输出一个尺寸为1/4大小的响应图(矩阵每个位置对应图片像素存在目标的概率),以响应图与GT的差值的总和作为损失函数来优化这个神经网络;推理后处理过程:将图片输入神经网络得到响应图,在通过近邻方式填充上采样到图片原尺寸,通过阈值筛选例如阈值为0.6,置信度大于0.6的情况下认为道路对象存在,mask对应值设定为1反之为0,也就是道路对象置信度低将对应的概率设置为0,认定道路对象不存在,mask表示图片对应位置为像素对应路面/立面标志的概率。
也就是说,通过上述方法获取当前时刻2D图像的路面、立面标志的点云信息;通过上述执行步骤,将3D车道线从3D空间映射到2D图片的像素坐标系中;对于每一组路面/立面标志车道线的点云,计算投影后结果是否与在2DMask中,如果是则保留该点云,反之剔除,进而实现了准确识别道路对象的技术效果。
S606,场景识别;以下结合图10对场景识别的一个完整过程进行说明:
S1002,获取采集的道路图像;具体地,可以将连续帧片段图像等间隔抽取一定的帧数,如图11中的(a)图所示;
S1004,将该抽帧道路图像数据输入场景识别模型进行各场景信息的识别,如图11中的(b)图所示;识别的标签包括天气,道路类型,光照类型,道路拓扑结构等。该场景识别为基于深度学习的多任务分类模型,会对每一帧输出对应的类型结果。在这里,保留每一个任务输出结果的软标签,即每一种类型以及模型推理出来的概率值,此处以图11中的(c)图的场景识别结果为例;
S1006,将抽帧道路图像每一帧的真值信息提取并输入先验经验模型进行推断,此处以图11中的(d)图的场景识别过程为例,动态场景真值中有行人、车、三轮车,静态场景真值中有交通灯、道路标识(限速牌);
进一步地,该先验经验模型基于一些传统的经验,对一些场景内可能出现和不出现的动态/静态目标进行总结,并支持判断。比如该场景中出现了行人,则基本上不会是高速场景;出现红绿灯,则大概率是路口场景;如果出现车道线分离点,则可能是匝道场景。
S1008,判断得到的分类标签是否合理;具体地,基于先验经验模型,对上述软标签进行一次筛选,剔除不合理的分类结果,提升部分场景类型的分类的权重,此处示例判断结果为不可能出现高速场景,因此场景识别结果如图11中的(e)图所示,即图11中的(e)图中的“高速:0.45”被删除(划去);
作为一种可选的方式,先验模型基于GBDT方法,总体流程如下:
首先,对得到的道路对象进行数据转化,具体地,对于真实的场景标签进行独热编码,对于存在的标签组合设为正样本反之为负样本(1和0);
接着,对先验经验模型进行训练,具体地,将行列化的数据输入GBDT中,得到优化后回归树,对于给定结果输出二分类标签结果,结果大于0.5即标签结果合理,反之为标签结果异常;
最后使用先验经验模型进行调用,具体地,抽帧图像分类结果使用回归树判断抽帧结果可用性,分数小于0.5则判定标记为问题数据,如图12所示,以场景为高速场景为例,将得到的分类标签输入先验经验模型中,得到有行人、40限速标牌的分数为0,即“行人”“40限速标牌”为问题数据,得到“有车”、“雨天”、“120限速牌”、“没有红绿灯”的分数为0.8,则说明标签符合高速场景,即数据合理。
若判断出的分类标签合理,执行S1010,针对不同的识别任务,将多帧结果进行统一计算(如图11中以“投票”代表计算过程),其中选择多帧权重之和(计算结果)最大的类别,作为该场景最后的标签,如图11中的(f)图所示,由计算结果得到:天气类型对应的识别结果为晴天,光照类型对应的结果为白天,道路类型对应的结果为路口;
具体地,对于场景识别、天气识别等任务,抽取10秒视频片段的每一帧进行分类模型推理,对于每个任务,模型都会输出每一帧对应的该任务的标签以及其概率,然后这个概率乘以权重最为最后分数,对于每个任务的每个标签,进行求和,得到这个视频片段对应任务标签的分数,选取最高分的结果作为该视频片段该任务对应的标签;
否则,执行S1012,舍弃异常标签,如图11中的(e)图所示,舍弃道路类型中“高速”标签;
通过上述实施方式,可以根据获取到的道路图像得到第一场景识别结果以及分类标签匹配概率,根据获取到的道路图像关联的道路对象集合,基于道路对象集合和分类标签间的先验关联关系对第一场景识别结果进行校验,通过先验关联关系能够进一步判断第一场景的场景识别结果的合理性、准确性,从而得到更准确的第二场景识别结果,将道路场景识别方法与复杂的道路行驶场景高度适配,使复杂环境中的场景识别结果更准确。
S608,场景泛化;以下结合图13对场景泛化的一个完整过程进行说明:
S1302,交通流语义识别:首先会将动态真值的信息中,每一个动态障碍物目标(目标车运动)的运动轨迹与时间信息,与自车运动的运动轨迹与时间信息共同分析,结合车道信息等静态环境信息,得到相应的交通流语义信息,如cut-in、cut-out、following、overtaking等。比如车辆轨迹从自车左侧切入到正前方,则根据整个序列,判断出该目标的交通流语义为cut-in行为。
具体地,根据数据库的真实数据标签,训练基于树的GBDT分类模型,模型输入为每一个动态障碍物目标的运动轨迹与时间信息,与自车运动轨迹与时间信息,输出语义标签。其中树模型基于历史统计信息不断左右划分数据集特征来优化分类损失函数,最终回归模型标签。
S1304,交通流语义参数化:基于识别出来的交通流语义,结合轨迹信息,将该交通流语义以预设的参数进行描述,即参数特征提取。
作为一种可选的实施方式,不同的交通流有不同的参数信息,如图14中识别出图14中的(a)图中的目标车辆(左侧第一个车道上的车辆)为切入(cut-in)行为,然后定义cut-in的开始位置,开始时间,开始切入时间,切入速度,切入角度,结束时间,结束位置等多个参数(以图14中的(b)图所示),进而通过这些参数进行参数泛化,将原有的轨迹点,转化为不同的参数化的运动语义信息(以图14中的(c)图泛化出的结果为例)。
具体地,交通流识别的语义行为和触发/结束条件通过通用协议标准,如OpenX,进行对应标签的参数描述供后续数据平台使用。交通流中目标交通参与者的行为识别可以根据不同场景进行分类及识别,如红绿灯路口博弈、路段上切入切除、高速并线等行为,参数描述也通过初始状态、目标车辆具体行为、动作触发条件、场景结束条件等标签进行具体描述。经过上述场景识别与规则判断两种方式,可提取目标障碍物的行为特征进行语义描述,完成轨迹点到语义信息的转换。
S1306,语义泛化:基于参数针对每一种语义,结合车辆运动的动力学原理及当前值,设置合理的泛化范围进行泛化。
S1308,泛化场景,在泛化之后,会生成全新的车辆运行轨迹,会基于经验信息,剔除不合理的轨迹,保留合理的泛化场景。同时,该目标车辆也可以泛化为其他的目标类型车辆,如小车变成卡车等。
经过上述的语义场景转化,将路测场景输出为参数化的通用场景协议文件,由此,可以通过对场景参数(包括,车型、仿真时间、初始位置、行为模式)修改进行场景的泛化及生成。首先,确定需要泛化的参数x,对该参数选取合理的参数范围[min,max],通过固定步长s进行采样,基于此可以泛化生成(max-min)/s个的场景。
同时,包括天气光照等信息,也可以进行相关的泛化,可以适用于包含传感器感知模型的完整评测。
S610,通过上述方式,可以生成大量符合物理逻辑的相似场景,可以帮助模型进行快速且大量的验证,得到模型的评测数据(结果)。
本实施例提供一种通过对动态真值中每一个目标的运动轨迹与自车的运动轨迹的比较,识别出交通流语义信息,并通过当前轨迹,对语义进行参数化描述,通过对该些参数进行泛化,设置合理的泛化范围进行场景泛化的方法,其可以在合理的范围内进行参数的随机生成,从而泛化出大量不改变当前运动逻辑的相似场景。
通过本申请的上述实施方式中的算法框架,可以通过完整的链路,实现从路采数据到动态/静态场景更为精确的生成,以及针对该场景的识别。通过场景的信息及交通流信息,进行场景泛化,快速生成大量可靠的场景,对算法进行评测和验证。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述场景生成方法的场景生成装置。如图15所示,该装置包括:
获取单元1502,用于根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
确定单元1504,用于在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,其中,第一轨迹参数集合中包括用于指示目标车辆的车辆状态的多个状态参数;
泛化单元1506,用于根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
生成单元1508,用于根据第二行驶轨迹生成目标场景模型,其中,在目标场景模型中包括在道路场景标签所指示的目标道路场景中,按照第二行驶轨迹行驶的车辆对象。
可选地,上述场景生成装置,还包括:第一获取单元,用于获取上述当前车辆在行驶过程中对上述当前道路采集的道路图像和点云信息;根据上述道路图像和上述点云信息的解析结果,获取与上述当前道路关联的道路对象;从上述道路对象中获取上述目标车辆,并根据与上述目标车辆关联的上述道路图像和上述点云信息,确定出上述目标车辆的第一行驶轨迹。
可选地,第一获取单元,包括:获取模块,用于从连续多帧上述道路图像中获取关键帧图像,并获取与上述关键帧图像匹配的关键点云信息;根据上述关键帧图像和上述关键点云信息进行道路对象标注;根据标注后的上述关键帧图像和上述关键点云信息,以及连续多帧上述道路图像和上述点云信息进行对象识别,获取与上述当前道路关联的上述道路对象。
可选地,上述第一确定单元,包括:第二确定模块,用于将上述道路图像输入场景识别网络,得到至少一个第一场景识别结果,其中,上述第一场景识别结果包括目标分类方式下上述道路场景与多个分类标签分别匹配的匹配概率;用于获取与上述道路图像关联的道路对象集合,其中,上述道路对象集合中包括根据上述道路图像的对象识别结果确定的多个道路对象;用于根据上述道路对象集合与每个上述分类标签之间的先验关联关系,对上述第一场景识别结果进行校验,得到第二场景识别结果;用于根据上述第二场景识别结果确定上述道路场景标签。
可选地,上述第一确定单元包括:第三确定模块,用于获取根据上述点云信息进行第一对象识别的第一识别结果,以及对上述道路图像进行第二对象识别的第二识别结果,其中,上述第一识别结果用于指示上述当前道路中包括的第一道路对象,以及各个上述第一道路对象的三维空间位置,上述第二识别结果用于指示上述道路图像中包括的第二道路对象,以及各个上述第二道路对象所在的图像区域;用于将上述第一道路对象投影至上述道路图像中,得到第一投影结果,其中,上述第一投影结果用于指示各个上述第一道路对象所在的图像区域;用于根据上述第一投影结果和上述第二识别结果的匹配结果确定上述目标路段中包括的目标道路对象。
可选地,上述第一确定单元,还用于:获取与上述第一行驶语义关联的描述标签集合,其中,上述描述标签集合中包括多个状态描述标签,上述状态描述标签指示上述第一行驶轨迹中的上述目标车辆的运动状态;获取与上述道路场景标签匹配的轨迹泛化参数,其中,上述轨迹泛化参数中包括与多个上述状态描述标签分别对应的参数泛化区间。
可选地,上述装置还包括:第二获取单元,用于获取上述当前车辆的当前行驶轨迹,并根据上述当前行驶轨迹和上述第一行驶轨迹确定出与上述描述标签集合匹配的第一描述参数集合,其中,上述第一描述参数集合中包括与多个上述状态描述标签分别对应的第一状态参数值;根据上述泛化区间集合和上述第一描述参数集合生成参数区间集合,其中,上述参数区间集合中包括与多个上述状态描述标签分别对应的状态参数区间;从多个上述状态参数区间中分别获取一个第二状态参数值,得到用于指示上述第二行驶轨迹的第二描述参数集合。
可选地,生成单元用于:根据上述道路场景标签确定道路环境特征;根据获取的第一车辆类型标签确定上述目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型;根据上述目标行驶轨迹,上述道路环境特征和上述目标车辆的上述物理模型,生成上述目标车辆行驶场景。
可选地,上述生成单元,还用于:根据上述目标车辆行驶场景,对待测车辆的传感器感知模型进行测试;根据上述目标车辆行驶场景,对待测车辆的行驶意图生成模型进行测试;根据上述目标车辆行驶场景,对待测车辆的制动控制模型进行测试。
具体实施例可以参考上述场景生成方法中所示示例,本示例中在此不再赘述。
根据本申请实施例的又一个方面,还提供了一种用于实施上述场景生成方法的电子设备,该电子设备可以是图16所示的终端设备或服务器。本实施例以该电子设备为例来说明。如图16所示,该电子设备包括存储器1602和处理器1604,该存储器1602中存储有计算机程序,该处理器1604被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,本领域普通技术人员可以理解,图16所示的结构仅为示意。图16其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图16中所示更多或者更少的组件(如网络接口等),或者具有与图16所示不同的配置。
其中,存储器1602可用于存储软件程序以及模块,如本发明实施例中的场景的生成方法和装置对应的程序指令/模块,处理器1604通过运行存储在存储器1602内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的场景的生成方法。存储器1602可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1602可进一步包括相对于处理器1604远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1602具体可以但不限于用于存储目标逻辑文件等文件信息。作为一种示例,如图16所示,上述存储器1602中可以但不限于包括上述场景生成装置中的获取单元1502、确定单元1504、泛化单元1506和生成单元1508。此外,还可以包括但不限于上述场景的生成装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1606包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1606为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1608,和连接总线1610,用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请实施例提供的各种功能。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,电子设备的计算机系统仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请的系统中限定的各种功能。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
S2,在根据用于指示第一行驶轨迹的第一轨迹参数集合确定出目标车辆的第一行驶语义的情况下,根据第一行驶语义以及道路场景标签确定轨迹泛化参数,其中,第一轨迹参数集合中包括用于指示目标车辆的车辆状态的多个状态参数;
S3,根据轨迹泛化参数对第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
S4,根据第二行驶轨迹生成目标场景模型,其中,在目标场景模型中包括在道路场景标签所指示的目标道路场景中,按照第二行驶轨迹行驶的车辆对象。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的用户设备,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种场景生成方法,其特征在于,包括:
根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取所述当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
在根据用于指示所述第一行驶轨迹的第一轨迹参数集合确定出所述目标车辆的第一行驶语义的情况下,根据所述第一行驶语义以及所述道路场景标签确定轨迹泛化参数,其中,所述第一轨迹参数集合中包括用于指示所述目标车辆的车辆状态的多个状态参数;
根据所述轨迹泛化参数对所述第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
根据所述第二行驶轨迹生成目标场景模型,其中,在所述目标场景模型中包括在所述道路场景标签所指示的目标道路场景中,按照所述第二行驶轨迹行驶的车辆对象。
2.根据权利要求1所述的方法,其特征在于,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取目标车辆的第一行驶轨迹包括:
获取所述当前车辆在行驶过程中对所述当前道路采集的道路图像和点云信息;
根据所述道路图像和所述点云信息的解析结果,获取与所述当前道路关联的道路对象;
从所述道路对象中获取所述目标车辆,并根据与所述目标车辆关联的所述道路图像和所述点云信息,确定出所述目标车辆的第一行驶轨迹。
3.根据权利要求2所述的方法,其特征在于,所述根据所述道路图像和所述点云信息的解析结果,获取与所述当前道路关联的道路对象,包括:
从连续多帧所述道路图像中获取关键帧图像,并获取与所述关键帧图像匹配的关键点云信息;
根据所述关键帧图像和所述关键点云信息进行道路对象标注;
根据标注后的所述关键帧图像和所述关键点云信息,以及连续多帧所述道路图像和所述点云信息进行对象识别,获取与所述当前道路关联的所述道路对象。
4.根据权利要求2所述的方法,其特征在于,根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取所述当前道路对应的道路场景标签包括:
将所述道路图像输入场景识别网络,得到至少一个第一场景识别结果,其中,所述第一场景识别结果包括目标分类方式下所述道路场景与多个分类标签分别匹配的匹配概率;
获取与所述道路图像关联的道路对象集合,其中,所述道路对象集合中包括根据所述道路图像的对象识别结果确定的多个道路对象;
根据所述道路对象集合与每个所述分类标签之间的先验关联关系,对所述第一场景识别结果进行校验,得到第二场景识别结果;
根据所述第二场景识别结果确定所述道路场景标签。
5.根据权利要求4所述的方法,其特征在于,所述获取与所述道路图像关联的道路对象集合包括:
获取根据所述点云信息进行第一对象识别的第一识别结果,以及对所述道路图像进行第二对象识别的第二识别结果,其中,所述第一识别结果用于指示所述当前道路中包括的第一道路对象,以及各个所述第一道路对象的三维空间位置,所述第二识别结果用于指示所述道路图像中包括的第二道路对象,以及各个所述第二道路对象所在的图像区域;
将所述第一道路对象投影至所述道路图像中,得到第一投影结果,其中,所述第一投影结果用于指示各个所述第一道路对象所在的图像区域;
根据所述第一投影结果和所述第二识别结果的匹配结果确定目标路段中包括的目标道路对象。
6.根据权利要求1所述的方法,其特征在于,所述在根据用于指示所述第一行驶轨迹的第一轨迹参数集合确定出所述目标车辆的第一行驶语义的情况下,根据所述第一行驶语义以及所述道路场景标签确定轨迹泛化参数包括:
获取与所述第一行驶语义关联的描述标签集合,其中,所述描述标签集合中包括多个状态描述标签,所述状态描述标签指示所述第一行驶轨迹中的所述目标车辆的运动状态;
获取与所述道路场景标签匹配的轨迹泛化参数,其中,所述轨迹泛化参数中包括与多个所述状态描述标签分别对应的参数泛化区间。
7.根据权利要求6所述的方法,其特征在于,所述根据所述轨迹泛化参数对所述第一轨迹参数集合进行泛化处理,得到第二行驶轨迹包括:
获取所述当前车辆的当前行驶轨迹,并根据所述当前行驶轨迹和所述第一行驶轨迹确定出与所述描述标签集合匹配的第一描述参数集合,其中,所述第一描述参数集合中包括与多个所述状态描述标签分别对应的第一状态参数值;
根据泛化区间集合和所述第一描述参数集合生成参数区间集合,其中,所述参数区间集合中包括与多个所述状态描述标签分别对应的状态参数区间;
从多个所述状态参数区间中分别获取一个第二状态参数值,得到用于指示所述第二行驶轨迹的第二描述参数集合。
8.根据权利要求1所述的方法,其特征在于,所述根据所述第二行驶轨迹生成目标场景模型,包括:
根据所述道路场景标签确定道路环境特征;
根据获取的第一车辆类型标签确定所述目标车辆的物理模型,并根据第二车辆类型标签确定待测车辆的物理模型;
根据目标行驶轨迹,所述道路环境特征和所述目标车辆的所述物理模型,生成目标车辆行驶场景。
9.根据权利要求1所述的方法,其特征在于,所述根据所述第二行驶轨迹生成目标场景模型之后,还包括以下至少之一:
根据目标车辆行驶场景,对待测车辆的传感器感知模型进行测试;
根据所述目标车辆行驶场景,对待测车辆的行驶意图生成模型进行测试;
根据所述目标车辆行驶场景,对待测车辆的制动控制模型进行测试。
10.一种场景生成装置,其特征在于,包括:
获取单元,用于根据当前车辆在行驶过程中对当前道路所采集的测量数据,获取所述当前道路对应的道路场景标签,以及目标车辆的第一行驶轨迹;
确定单元,用于在根据用于指示所述第一行驶轨迹的第一轨迹参数集合确定出所述目标车辆的第一行驶语义的情况下,根据所述第一行驶语义以及所述道路场景标签确定轨迹泛化参数,其中,所述第一轨迹参数集合中包括用于指示所述目标车辆的车辆状态的多个状态参数;
泛化单元,用于根据所述轨迹泛化参数对所述第一轨迹参数集合进行泛化处理,得到第二行驶轨迹;
生成单元,用于根据所述第二行驶轨迹生成目标场景模型,其中,在所述目标场景模型中包括在所述道路场景标签所指示的目标道路场景中,按照所述第二行驶轨迹行驶的车辆对象。
11.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序被电子设备运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
CN202410081790.4A 2024-01-19 场景生成方法、装置和存储介质及电子设备 Active CN117612127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410081790.4A CN117612127B (zh) 2024-01-19 场景生成方法、装置和存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410081790.4A CN117612127B (zh) 2024-01-19 场景生成方法、装置和存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN117612127A true CN117612127A (zh) 2024-02-27
CN117612127B CN117612127B (zh) 2024-04-26

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076063A1 (en) * 2001-08-30 2003-04-24 Lockheed-Martin Corporation Switching processes for control of servos
CN109034448A (zh) * 2018-06-14 2018-12-18 重庆邮电大学 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法
CN113989784A (zh) * 2021-11-30 2022-01-28 福州大学 一种基于车载激光点云的道路场景类型识别方法及系统
CN115294544A (zh) * 2022-09-01 2022-11-04 亿咖通(湖北)技术有限公司 驾驶场景分类方法、装置、设备及存储介质
CN115762126A (zh) * 2022-09-23 2023-03-07 广州文远知行科技有限公司 基于车道匹配的场景筛选方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076063A1 (en) * 2001-08-30 2003-04-24 Lockheed-Martin Corporation Switching processes for control of servos
CN109034448A (zh) * 2018-06-14 2018-12-18 重庆邮电大学 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法
CN113989784A (zh) * 2021-11-30 2022-01-28 福州大学 一种基于车载激光点云的道路场景类型识别方法及系统
CN115294544A (zh) * 2022-09-01 2022-11-04 亿咖通(湖北)技术有限公司 驾驶场景分类方法、装置、设备及存储介质
CN115762126A (zh) * 2022-09-23 2023-03-07 广州文远知行科技有限公司 基于车道匹配的场景筛选方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟祥武;李瑞昌;张玉洁;纪威宇;: "基于用户轨迹数据的移动推荐系统研究", 软件学报, no. 10, 7 June 2018 (2018-06-07) *

Similar Documents

Publication Publication Date Title
CN108345822B (zh) 一种点云数据处理方法及装置
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN113168708B (zh) 车道线跟踪方法和装置
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
KR102595886B1 (ko) 매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크
CN113792566A (zh) 一种激光点云的处理方法及相关设备
CN112348848A (zh) 一种交通参与者的信息生成方法及系统
CN115615445A (zh) 处理地图数据的方法、系统和存储介质
US20230360379A1 (en) Track segment cleaning of tracked objects
CN116830164A (zh) LiDAR去相关对象检测系统与方法
CN113511204B (zh) 一种车辆换道行为识别方法及相关设备
CN115705693A (zh) 用于传感器数据的标注的方法、系统和存储介质
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
CN117612127B (zh) 场景生成方法、装置和存储介质及电子设备
WO2023178069A1 (en) Instance segmentation in a pseudo-image
CN117612127A (zh) 场景生成方法、装置和存储介质及电子设备
CN115205311A (zh) 图像处理方法、装置、车辆、介质及芯片
CN111077893B (zh) 一种基于多灭点的导航方法、电子设备和存储介质
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备
CN117601903B (zh) 车辆行驶场景的生成方法、装置和存储介质及电子设备
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN115985109B (zh) 一种无人驾驶矿车环境感知方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant