CN112789619A - 一种仿真场景的构建方法、仿真方法以及设备 - Google Patents

一种仿真场景的构建方法、仿真方法以及设备 Download PDF

Info

Publication number
CN112789619A
CN112789619A CN202080004905.XA CN202080004905A CN112789619A CN 112789619 A CN112789619 A CN 112789619A CN 202080004905 A CN202080004905 A CN 202080004905A CN 112789619 A CN112789619 A CN 112789619A
Authority
CN
China
Prior art keywords
data
vehicle
data segment
simulation
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004905.XA
Other languages
English (en)
Other versions
CN112789619B (zh
Inventor
眭加彩
刘亚林
王辉
尹金成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112789619A publication Critical patent/CN112789619A/zh
Application granted granted Critical
Publication of CN112789619B publication Critical patent/CN112789619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种仿真场景的构建方法、仿真方法以及设备,可应用于自动驾驶仿真测试领域。该方法包括:获取指令,指令指示起始点和目的地。根据指令和地图信息获取车辆从起始点行驶至目的地的行驶路线、行驶路线的道路信息。根据行驶路线的道路信息从预先存储的多个数据片段中选择至少一个数据片段,多个数据片段是根据传感器设备采集的数据确定的。根据第一预设规则对至少一个数据片段进行拼接,以得到拼接数据片段。基于拼接数据片段生成仿真场景。通过本申请提供的方案,不需要耗费大量人力物力,就可以获取大量的真实的交通场景数据。

Description

一种仿真场景的构建方法、仿真方法以及设备
技术领域
本申请涉及自动驾驶的仿真测试领域,尤其涉及一种仿真场景的构建方法、仿真方法以及仿真设备。
背景技术
目前,自动驾驶系统的仿真测试中构建仿真场景的数据一般是实车采集的数据。通过组建采集数据的车队,按照预设路线行驶,车队中的每一辆车配置有传感器,以沿途采集数据。通过对采集的数据进行处理,以构建仿真场景。
在自动驾驶商业使用前,往往需要经过大量的仿真测试。一般每个驾驶系统都需要上亿公里的驾驶数据来优化系统,这种采用实车采集数据的方案,需要耗费大量人力物力,同时测试周期长,能够覆盖的交通场景也有限。
发明内容
本申请实施例提供一种仿真场景的构建方法、仿真方法以及仿真设备。通过本申请提供的方案,不需要耗费大量人力物力,就可以获取大量的真实的交通场景数据。
为达到上述目的,本申请实施例提供如下技术方案:
本申请第一方面提供一种仿真场景的构建方法,可以包括:数据处理设备获取指令,该指令指示起始点和目的地。其中该指令可以是用户发送的,也可以是自动化程序随机生成的。比如,用户或自动化程序可以在虚拟的地图上指定起始点和目的地,在一个可能的实施方式中,用户或自动化程序也可以在真实的地图上指定起始点和目的地。其中,数据处理设备上可以预先存储虚拟的地图或者真实的地图。根据指令和地图信息获取车辆从起始点行驶至目的地的行驶路线、行驶路线的道路信息。通过地图信息可以获取地图上包括的各个路段的曲率、车道的数目、该路段的限速信息,交通标识等道路信息。其中,虚拟的地图指示的虚拟地图中各个路段的道路信息可以是随机生成的符合交通规则的道路信息,真实的地图中各个路段的道路信息是真实道路信息。根据行驶路线的道路信息从预先存储的多个数据片段中选择至少一个数据片段,多个数据片段是根据传感器设备采集的数据确定的。假设根据指令和道路信息确定从起始点行驶至目的地的行驶路线包括第一路段和第二路段,其中第一路段是单向单车道,第二路段是单向双车道。则从多个数据片段中选择待检测物体包括车道线,且该车道线的类别是单向单车道的数据片段,从多个数据片段中选择待检测物体包括车道线,且该车道线的类别是单向双车道的数据片段。满足上述条件的数据片段可能有多个,比如有多个数据片段都满足待检测物体包括车道线,且该车道线的类别是单向单车道,有多个数据片段都满足待检测物体包括车道线,且该车道线的类别是单向双车道的数据片段。根据第一预设规则对至少一个数据片段进行拼接,以得到拼接数据片段。基于拼接数据片段生成仿真场景。第一预设规则可能有多种设置的方式,以获取一个在时间上和空间上具有连续性的数据流。由第一方面可知,通过传感器设备采集的真实交通数据构建仿真场景,使构建的仿真交通场景可以更接近真实的交通场景。此外,第一方面提供的方案不同于实车采集的方案,需要耗费大量人力物力才能获取大量的交通场景,第一方面提供的方案对来自真实交通场景的数据按照预设的规则进行拼接,无需通过实车采集大量数据,也可以获取大量的真实交通场景数据,并基于获取到的大量的真实交通数据构建仿真场景。
可选地,结合上述第一方面,在第一种可能的实施方式中,该方法还可以包括:接收传感器设备采集的数据。对数据进行筛选,以获取满足预设信噪比的数据。对经过筛选处理后的数据进行识别处理,以获取待检测物体的类别以及待检测物体的属性。其中,待检测物体包括但不限于车辆、人物等等。可以根据交通道路中可能出现的参与对象选择待检测物体。待检测物体的属性包括但不限于待检测物体的位置、速度、颜色、尺寸、材质。为了构建与真实交通场景更接近的仿真场景,可以获取待检测物体的多个属性,以使仿真对象的特征更接近实际的对象的特征。对经过识别处理后的数据进行分片处理,以获取多个数据片段。由第一方面第一种可能的实施方式可知,给出了一种具体的获取多个数据片段的方式,对采集到的数据进行筛选处理后,有利于获取高质量的数据,更有利于后续的处理过程,对数据进行识别处理后,可以使每一个待检测物体都可以被当做一个独立的对象进行处理,方便后续构图处理时,获取到每一个待处理对象的三维模型,进而获取到不同视角的交通流。
可选地,结合上述第一方面第一种可能的实施方式,在第二种可能的实施方式中,对数据进行筛选处理可以包括:若获取到传感器设备采集的数据有相同的时间戳,则对有相同的时间戳的数据统一进行筛选处理。由第一方面第二种可能的实施方式可知,如果传感器设备采集的数据具有时间上的连续性,可以对具有相同的时间戳的数据一同处理。
可选地,结合上述第一方面或第一方面第一种至第一方面第二种可能的实施方式,在第三种可能的实施方式中,基于拼接数据片段生成仿真场景,可以包括:根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理,以获取数据片段中各个待检测物体对应的三维模型。根据拼接数据片段中各个待检测物体对应的三维模型生成仿真场景。由第一方面第三种可能的实施方式可知,给出了一种具体的基于拼接数据片段生成仿真场景的方式,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第三种可能的实施方式,在第四种可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。由第一方面第四种可能的实施方式可知,给出了几种典型的第一预设规则,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第四种可能的实施方式,在第五种可能的实施方式中,传感器设备相对于大地是静止的。由第一方面第五种可能的实施方式可知,由于采集数据的传感器设备相对于地面是静止的,相比于实车采集的数据,包含较少的噪声,信噪比高。极大程度的降低了获取的感知范围内的对象的绝对位置信息、绝对速度信息的误差。而本申请提供的方案,传感器设备可以安装在户外,比如安装在道路边上,不再受限于安装空间的限制,因此本申请中的传感器设备可以获取分辨率更高的数据。
可选地,结合上述第一方面或第一方面第一种至第一方面第五种可能的实施方式,在第六种可能的实施方式中,传感器设备可以包括如下传感器设备中的一种或者几种:激光雷达、毫米波雷达、单目摄像机、双目摄像机、全球定位系统GPS。由第一方面第六种可能的实施方式可知,传感器设备的种类可以有多种,可以参照车载传感器的可能种类进行理解。
可选地,结合上述第一方面或第一方面第一种至第一方面第六种可能的实施方式,在第七种可能的实施方式中,该方法还可以包括:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶轨迹用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶轨迹。由第一方面第七种可能的实施方式可知,该不显示的车辆的行驶轨迹是真实交通场景下车辆的行驶轨迹,比如可能是真实的经验丰富的司机操纵的行驶轨迹。本申请认为真实交通场景下驾驶员操纵的车辆的行驶轨迹是更可靠的,在仿真测试时,以该真实的行驶轨迹为目标轨迹,智能驾驶控制器的算法的更新应当以更接近该真实的行驶轨迹为目标。本申请提供的方案以仿真场景下,智能驾驶控制器控制车辆行驶的轨迹和真实的行驶轨迹之间的偏离程度评估自动驾驶能力,使评估的结果更具有可信性。
可选地,结合上述第一方面或第一方面第一种至第一方面第七种可能的实施方式,在第八种可能的实施方式中,该方法还可以包括:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶状态用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶状态,车辆的行驶状态可以包括车辆的转向灯的开启状态、制动灯的开启状态、车辆的警告灯的开启状态中的一种或者几种。本申请认为真实交通场景下驾驶员操纵的车辆的行驶状态是更可靠的,在仿真测试时,以该真实的行驶状态为目标状态,智能驾驶控制器的算法的更新应当以更接近该真实的行驶状态为目标。
可选地,结合上述第一方面第七种或第一方面第八种可能的实施方式,在第九种可能的实施方式中,第二预设规则可以包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。由第一方面第九种可能的实施方式可知,给出了几种典型的第二预设规则,增加了方案的多样性。
本申请第二方面提供一种车辆的仿真方法,可以包括:从仿真系统中获取虚拟车辆。根据虚拟车辆上装配的各个虚拟传感器的位置、确定各个虚拟传感器的感知视角。根据各个虚拟传感器的感知视角获取仿真场景,仿真场景是基于拼接数据片段生成的,拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,多个数据片段是根据传感器设备采集的数据确定的,行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,指令用于指示起始点和目的地。控制虚拟车辆在仿真场景中进行仿真测试。
可选地,结合上述第二方面,在第一种可能的实施方式中,多个数据片段是数据处理设备对传感器设备采集的数据进行筛选、识别、分片处理后获取的。
可选地,结合上述第二方面或第二方面第一种可能的实施方式,在第二种可能的实施方式中,仿真场景是根据拼接数据片段中各个待检测物体对应的三维模型生成的,各个待检测物体对应的三维模型是根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理后获取的。
可选地,结合上述第二方面或第二方面第一种至第二方面第二种可能的实施方式,在第三种可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
可选地,结合上述第二方面或第二方面第一种至第二方面第三种可能的实施方式,在第四种可能的实施方式中,控制虚拟车辆在仿真场景中进行仿真测试,可以包括:控制虚拟车辆从第一位置开始行驶,第一位置可以包括于第一车辆的行驶轨迹中,第一车辆是在拼接数据片段中不显示的车辆。将各个虚拟传感器获取到的虚拟感知数据发送至智能驾驶控制器,以使智能驾驶控制器根据虚拟感知数据控制虚拟车辆的行驶轨迹。根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异更新智能驾驶控制器的算法。
可选地,结合上述第二方面第四种可能的实施方式,在第五种可能的实施方式中,第一车辆是根据第二预设规则从多个数据片段中的各个数据片段中选择的,第二预设规则可以包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。
本申请第三方面提供一种数据同步的方法,可以包括:从仿真系统中获取虚拟车辆。通过视角生成器执行第一任务,第一任务可以包括从数据处理设备中获取不同角度的仿真场景,并根据各个虚拟传感器在虚拟车辆上的装配位置使各个虚拟传感器获取各自角度下的仿真场景,通过底盘域仿真器和动力域仿真器执行第二任务,第二任务可以包括根据控制信号控制虚拟车辆行驶,控制信号是智能驾驶控制器根据各个传感器仿真器获取到的虚拟感知数据获取的信号。视角生成器、底盘域仿真器和动力域仿真器三个器件中的任意一个器件提前执行完任务,则提前执行完任务的器件进入等候状态,直至其他器件执行完任务。所述仿真场景是基于拼接数据片段生成的,所述拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,所述至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,所述多个数据片段是根据传感器设备采集的数据确定的,所述行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,所述指令用于指示起始点和目的地。
可选地,结合上述第三方面,在第一种可能的实施方式中,多个数据片段是数据处理设备对传感器设备采集的数据进行筛选、识别、分片处理后获取的。
可选地,结合上述第三方面或第三方面第一种可能的实施方式,在第二种可能的实施方式中,仿真场景是根据拼接数据片段中各个待检测物体对应的三维模型生成的,各个待检测物体对应的三维模型是根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理后获取的。
可选地,结合上述第三方面或第三方面第一种至第三方面第二种可能的实施方式,在第三种可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
本申请第四方面提供一种数据处理设备,可以包括:获取模块,用于获取指令,指令指示起始点和目的地。获取模块,还用于根据指令和地图信息获取车辆从起始点行驶至目的地的行驶路线、行驶路线的道路信息。选择模块,用于根据获取模块获取的行驶路线的道路信息从预先存储的多个数据片段中选择至少一个数据片段,多个数据片段是根据传感器设备采集的数据确定的。拼接模块,用于根据第一预设规则对选择模块选择的至少一个数据片段进行拼接,以得到拼接数据片段。生成模块,用于基于拼接数据片段生成仿真场景。
可选地,结合上述第四方面,在第一种可能的实施方式中,还可以包括分片处理模块,获取模块,还用于接收传感器设备采集的数据。分片处理模块,用于:对获取模块接收的数据进行筛选,以获取满足预设信噪比的数据。对经过筛选处理后的数据进行识别处理,以获取待检测物体的类别以及待检测物体的属性。对经过识别处理后的数据进行分片处理,以获取多个数据片段。
可选地,结合上述第四方面第一种可能的实施方式,在第二种可能的实施方式中,分片处理模块,具体用于:若获取到传感器设备采集的数据有相同的时间戳,则对有相同的时间戳的数据统一进行筛选处理。
可选地,结合上述第四方面或第四方面第一种至第四方面第二种可能的实施方式,在第三种可能的实施方式中,生成模块,具体用于:根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理,以获取数据片段中各个待检测物体对应的三维模型。根据拼接数据片段中各个待检测物体对应的三维模型生成仿真场景,三维模型还用于在仿真场景中进行仿真测试时,装配于车辆不同位置的各个虚拟传感器从不同角度感知待检测物体。
可选地,结合上述第四方面或第四方面第一种至第四方面第三种可能的实施方式,在第四种可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
可选地,结合上述第四方面或第四方面第一种至第四方面第四种可能的实施方式,在第五种可能的实施方式中,选择模块,还用于:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶轨迹用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶轨迹。
可选地,结合上述第四方面或第四方面第一种至第四方面第四种可能的实施方式,在第六种可能的实施方式中,选择模块,还用于:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶状态用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶状态,车辆的行驶状态可以包括车辆的转向灯的开启状态、制动灯的开启状态、车辆的警告灯的开启状态中的一种或者几种。
可选地,结合上述第四方面第五种或第四方面第六种可能的实施方式,在第七种可能的实施方式中,第二预设规则包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。
本申请第五方面提供一种仿真设备,可以包括:获取模块,用于从仿真系统获取虚拟车辆。视角模块,用于根据虚拟车辆上装配的各个虚拟传感器的位置、确定各个虚拟传感器的感知视角。获取模块,还用于根据各个虚拟传感器的感知视角获取仿真场景,仿真场景是基于拼接数据片段生成的,拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,多个数据片段是根据传感器设备采集的数据确定的,行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,指令用于指示起始点和目的地。控制模块,用于控制虚拟车辆在仿真场景中进行仿真测试。
可选地,结合上述第五方面,在第一种可能的实施方式中,多个数据片段是数据处理设备对传感器设备采集的数据进行筛选、识别、分片处理后获取的。
可选地,结合上述第五方面或第五方面第一种可能的实施方式,在第二种可能的实施方式中,仿真场景是根据拼接数据片段中各个待检测物体对应的三维模型生成的,各个待检测物体对应的三维模型是根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理后获取的。
可选地,结合上述第五方面或第五方面第一种至第五方面第二种可能的实施方式,在第三种可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
可选地,结合上述第五方面或第五方面第一种至第五方面第三种可能的实施方式,在第四种可能的实施方式中,控制模块,具体用于:控制虚拟车辆从第一位置开始行驶,第一位置可以包括于第一车辆的行驶轨迹中,第一车辆是在拼接数据片段中不显示的车辆。将各个虚拟传感器获取到的虚拟感知数据发送至智能驾驶控制器,以使智能驾驶控制器根据虚拟感知数据控制虚拟车辆的行驶轨迹。根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异更新智能驾驶控制器的算法。
可选地,结合上述第五方面第四种可能的实施方式,在第五种可能的实施方式中,第一车辆是根据第二预设规则从多个数据片段中的各个数据片段中选择的,第二预设规则可以包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。
本申请第六方面提供一种数据处理设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现第一方面或第一方面任意一种可能的实施方式中描述的方法。
本申请第七方面提供一种仿真设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现第二方面或第二方面任意一种可能的实施方式中描述的方法。
本申请第八方面提供一种仿真设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现第三方面或第三方面任意一种可能的实施方式中描述的方法。
本申请第九方面提供一种计算机可读存储介质,可以包括程序,当其在计算机上运行时,使得计算机执行如第一方面或第一方面任意一种可能的实施方式中描述的方法。
本申请第十方面提供一种计算机可读存储介质,可以包括程序,当其在计算机上运行时,使得计算机执行如第二方面或第二方面任意一种可能的实施方式中描述的方法。
本申请第十一方面提供一种计算机可读存储介质,可以包括程序,当其在计算机上运行时,使得计算机执行如第三方面或第三方面任意一种可能的实施方式中描述的方法。
本申请第十二方面提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机可以执行如第一方面或第一方面任意一种可能的实施方式中描述的方法。
本申请第十三方面提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机可以执行如第二方面或第二方面任意一种可能的实施方式中描述的方法。
本申请第十四方面提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机可以执行如第三方面或第三方面任意一种可能的实施方式中描述的方法。
本申请第十五方面提供一种芯片,芯片与存储器耦合,用于执行存储器中存储的程序,以执行如第一方面或第一方面任意一种可能的实施方式中描述的方法。
本申请第十六方面提供一种芯片,芯片与存储器耦合,用于执行存储器中存储的程序,以执行如第二方面或第二方面任意一种可能的实施方式中描述的方法。
本申请第十七方面提供一种芯片,芯片与存储器耦合,用于执行存储器中存储的程序,以执行如第三方面或第三方面任意一种可能的实施方式中描述的方法。
目前,已有的通过仿真测试评估虚拟车辆的自动驾驶能力的方案,无法保证在真实的道路场景中车辆仍然能够满足对于自动驾驶能力的要求。而本申请提供的方案设定了一套可靠的评估体系,首先,本申请对来自真实交通场景的数据按照预设的规则进行拼接,以获取大量的真实交通场景数据。通过本申请提供的方案,不需要耗费大量人力物力,就可以获取大量的真实的交通场景数据。然后,按照预设的规则对来源于真实道路交通数据中的各个数据片段中选择一辆车不显示。该不显示的车辆的行驶轨迹是真实交通场景下车辆的行驶轨迹,比如可能是真实的经验丰富的司机操纵的行驶轨迹。本申请认为真实交通场景下驾驶员操纵的车辆的行驶轨迹是更可靠的,在仿真测试时,以该真实的行驶轨迹为目标轨迹,智能驾驶控制器的算法的更新应当以更接近该真实的行驶轨迹为目标。本申请提供的方案以仿真场景下,智能驾驶控制器控制车辆行驶的轨迹和真实的行驶轨迹之间的偏离程度评估自动驾驶能力,使评估的结果更具有可信性。
附图说明
图1为本申请提供的实施例中数据采集的示意图;
图1-a为本申请实施例提供的仿真场景的构建方法的一种场景示意图;
图1-b为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图1-c为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图2-a为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图2-b为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图3为本申请提供的一种仿真场景的构建方法的流程示意图;
图4-a为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图4-b为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图5为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图6-a为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图6-b为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图7为申请提供的一种车辆的仿真方法的流程示意图;
图8为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图9为本申请实施例提供的仿真场景的构建方法的另一种场景示意图;
图10为本申请实施例提供的一种仿真系统的架构示意图;
图11为本申请实施例提供的另一种仿真系统的架构示意图;
图12为本申请实施例提供的仿真同步处理示意图;
图13为本申请实施例提供的加速仿真计算计算的示意图;
图14为本申请提供的一种仿真场景的构建方法的流程示意图;
图15为本申请提供的一种仿真场景的构建方法的流程示意图;
图16为本申请提供的另一种车辆的仿真方法的流程示意图;
图17为本申请提供的一种数据处理设备的结构示意图;
图18为本申请提供的另一种数据处理设备的结构示意图;
图19为本申请提供的一种仿真设备的结构示意图;
图20为本申请提供的另一种仿真设备的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请将从数据的采集、仿真场景的构建以及通过构建的仿真场景进行仿真测试这三个方面对本申请提供的一种仿真场景的构建方法进行介绍。
一、数据的采集
参阅图1,为本申请提供的实施例中数据采集的示意图。本申请提供的方案通过传感器设备采集的数据构建仿真场景,其中,在一个优选的实施方式中,传感器设备相对于地面是静止的。该传感器设备包括一个或者多个传感器,可以根据实际车辆上装配的传感器的种类确定本申请中传感器设备包括的传感器的种类。在一个可能的实施方式中,多个传感器包括单目摄像机、双目摄像机、激光雷达、毫米波雷达、全球定位系统(globalpositioning system,GPS)中的至少一种传感器。
不同于通过实车采集的数据构建仿真场景的方案,本申请提供的方案中采集数据的设备相对于地面是静止的。通过实车采集数据时,由于车辆处于运动状态,车辆在行驶过程中不可避免的会产生颠簸,致使采集到的数据出现抖动,使采集到的数据包括大量的噪声,信噪比低。而本申请提供的方案,由于采集数据的传感器设备相对于地面是静止的,相比于实车采集的数据,包含较少的噪声,信噪比高。然后,通过实车采集的数据获取感知范围内的对象相对于大地的绝对位置信息、绝对速度信息时,需要结合采集车辆自车的位置信息、速度信息进行计算。由于自车的位置信息、速度信息的获取通常是根据GPS、惯性测量单元(inertialmeasurement unit,IMU)获取的,通过GPS和IMU获取自车的位置信息和速度信息会导致自车的位置和速度与自车真实的位置和速度存在偏差。通过已经存在偏差的自车的位置信息和速度信息去获取感知范围内的对象相对于大地的绝对位置信息、绝对速度信息时,会导致获取到的感知范围内的对象的绝对位置信息、绝对速度信息的误差更大。而本申请提供的方案,传感器设备相对于大地是绝对静止的,极大程度的降低了获取的感知范围内的对象的绝对位置信息、绝对速度信息的误差。随后,通过实车采集数据,采集到的数据和实车的行驶路线、行驶速度密切相关。比如对于同一个行驶路段,新手司机和老司机可能采取完全不同的行驶路线,导致各个传感器感知的数据可能有很大差异。因此通过实车采集的数据构建的仿真场景,误差较大,不利于客观的评价智能驾驶算法的优劣。此外,分辨率较高的传感器设备,尺寸往往较大,而实车的空间有限,导致传感器的安装位置受限,进而导致实车上无法装配分辨率较高的传感器。无法采用这样高分辨率的传感器在一定程度上也会限制采集到的数据的质量。而本申请提供的方案,传感器设备可以安装在户外,比如安装在道路边上,不再受限于安装空间的限制,因此本申请中的传感器设备可以获取分辨率更高的数据。
在一个可能的实施方式中,本申请中的传感器设备可以装配于路边静止的建筑物上。比如,本申请中的传感器设备可以装配于电线杆上、围栏上等等。在一个可能的实施方式中,本申请中的传感器设备可以装配于已有的数据采集设备上。比如,目前在城市道路、小区内、高速公路上安装了多种用于采集数据的设备,比如抓拍球、电子警察、卡口监控、天网监控等等。本申请中的传感器设备可以装配于这些已有的数据采集设备上,比如可以在小区门口的监控设备上加装雷达。在一个可能的实施方式中,若可以获取到这些已有的数据采集设备的使用权限,可以通过这些已有的数据采集设备采集的数据构建本申请实施例提供的仿真场景。
在一个可能的实施方式中,可以在一些典型的路段上安装传感器设备。一些典型的路段可以包括高速公路、城市道路、小区门口等等。城市道路可以进一步的包括十字路口、丁字路口、双向车道、单向车道、多车道、多岔路路口、隧道、环形路段、桥梁路段等等。
在一个可能的实施方式中,参阅图1-a至图1-c进行理解,可以在同一路段上安装一个或者多个传感器设备。其中该一个或者多个传感器的感知范围可能存在交叉,或者该一个或者多个传感器的感知范围可能完全相同,或者该一个或者多个传感器的感知范围可能完全不同。
在一个可能的实施方式中,可以配置传感器设备连续采集数据,比如可以配置传感器设备一天24个小时均处于工作状态,持续的采集数据。在一个可能的实施方式中,也可以配置传感器设备采集某一时间段的数据,比如可以配置传感器设备仅采集早上6点至晚上9点的数据,或者配置传感器设备仅采集晚上9点到凌晨12点的数据。
在一个可能的实施方式中,可以配置传感器通过时间敏感型网络(timesensitivenetwork,TSN)对采集到的数据打上时间戳。传感器采集到的数据一般具有强相关性,比如参照图1-a和图1-b进行理解,图中传感器可能采取的是同一交通场景(比如同一个路段)中的数据。对于同一个对象,比如同一辆车,可能同时被该路段上安装的多个传感器设备获取到。如果该路段上安装的多个传感器设备的时钟是同步的,比如都是通过TSN网络对多个传感器设备各自的时钟进行校准,则通过该多个传感器设备采集到的数据,可以获取到该车在该路段上行驶时不同时刻的轨迹。当数据处理设备接收到传感器设备采集到的数据有相同的时间戳,则可以对有相同时间戳的数据进行统一的处理,以更好的构建仿真场景,比如构建更接近某一个完整路段真实交通场景的仿真场景。此外,若假设有多个路段,多个路段中的每个路段都安装了多个传感器设备,则还可以配置相同路段的传感器设备采集的数据添加相同的标识信息。则数据处理设备接收到传感器设备采集到的数据有不同的标识信息时,可以将有相同标识信息的数据划分为一组,再对有相同标识信息的一组数据中有相同的时间戳的信息进行统一的处理。
以上第一部分对传感器设备如何采集数据进行了说明,下面对如何对传感器设备采集的数据进行处理以构建仿真场景进行说明。
二、仿真场景的构建
各个传感器设备可以将采集到的数据发送至数据处理设备。其中,各个传感器设备可以实时的将采集到的数据发送至数据处理设备中,或者各个传感器设备可以周期性的将采集到的数据发送至数据处理设备中,或者各个传感器设备可以在接收到数据处理设备发送的指令后,根据指令将采集到的数据发送至数据处理设置中。此外,各个传感器设备向数据处理设备发送数据的方式可以不同,比如一些传感器设备实时的将采集到的数据发送至数据处理设备中,一些传感器设备周期性的将采集到的数据发送至数据处理设备中,本申请实施例对此并不进行限定。此外,传感器设备可以通过固网技术、长期演进(long termevolution,LTE)技术、第五代移动通信技术(5th generation mobile networks或5thgeneration wireless systems,5G)向数据处理设备发送采集的数据,本申请实施例对传感器设备向数据处理设备发送采集的数据的具体方式并不进行限定。
本申请提供的方案中,优选的实施例采用相对于地面是静止的传感器设备采集的数据构建仿真场景,需要说明的是,采用实车采集的数据也可以构建本申请方案中的仿真场景。
在一个可能的实施方式中,数据处理设备对接收到的传感器设备采集的数据进行筛选处理,以获取满足预设信噪比的数据。本申请有时也将对数据进行筛选处理描述为对数据进行清洗处理,二者表示相同的意思,用于表示对接收到的传感器设备采集的数据进行预处理,以删除不满足条件的数据。需要说明的是,可以根据实际情况采用不同的筛选手段删除不满足信噪比的数据,获取满足信噪比的数据。举例说明,可以设定不同的筛选规则,以图像数据为例进行说明,对于同一个传感器设备采集的数据,当某个时刻的图像数据和相邻的几个时刻的图像数据的差异度超过阈值时,则认为该图像数据不满足预设的条件,可以对其进行删除处理。需要说明的是,通过对传感器设备采集的数据进行筛选处理,还可以将一些重复的数据进行删除。在这种实施方式的基础下,若获取到传感器设备采集的数据有相同的时间戳,则对有相同的时间戳的数据统一进行清洗处理。其中,关于相同的时间戳可以参照第一方面中数据的采集中关于时间戳的相关描述进行理解,这里不再重复赘述。
在一个可能的实施方式中,数据处理设备可以对经过清洗处理后的数据进行识别处理,以获取待检测物体的类别以及待检测物体的属性。其中,待检测物体包括但不限于车辆、人物、车道线、天气、动物、植物、建筑物。可以根据交通道路中可能出现的参与对象选择待检测物体,比如交通场景中有很大的概率会出现轿车、公交车、面包车、越野车、摩托车、电瓶车、自行车、车道线、行人等等,则待检测物体可以包括轿车、公交车、面包车、越野车、摩托车、电瓶车、自行车、车道线、行人等等。待检测物体的属性包括但不限于待检测物体的位置、速度、颜色、尺寸、材质。为了构建与真实交通场景更接近的仿真场景,可以获取待检测物体的多个属性,以使仿真对象的特征更接近实际的对象的特征。本领域的技术人员可以采用多种方式获取待检测物体的类别以及待检测物体的属性,比如可以通过对多个传感器设备采集的数据进行融合处理,以获取待检测物体的类别以及待检测物体的属性、比如将相机获取的数据输入物件检测神经网络,以获取待检测物体的类别,颜色属性;通过激光雷达、毫米波雷达采集的数据获取待检测物体的速度、位置等属性。本申请实施例对获取待检测物体的类别以及待检测物体的属性的具体方式并不限定,仅关心获取到待检测物体的类别以及待检测物体的属性。对数据进行识别处理后,可以使每一个待检测物体都可以被当做一个独立的对象进行处理,方便后续构图处理时,获取到每一个待处理对象的三维模型,进而获取到不同视角的交通流。关于根据待检测物体的类别和待检测物体构建三维模型的过程将在下文展开叙述,这里暂不详细说明。
数据处理设备对经过识别处理后的数据进行分片处理,以获取多个数据片段。可以采用多种方式对处理后的数据进行分片处理,示例性的,下面给出两种可能的分片处理的方式:
待分片处理的数据是来自同一位置的传感器设备采集的数据时,由于这些传感器设备采集的数据具有时间上的连续性,可以以预设的时长为分片单位,对这些传感器设备采集到的数据进行分片处理,以获取多个数据片段。
在一个可能的实施方式中,可以根据预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,该辆不显示的车辆的行驶轨迹用于评估参加仿真测试的虚拟车辆的自动驾驶能力。参阅图2-a进行理解,以一个数据片段为例,根据预设规则从该数据片段中选择车辆不显示。其中预设规则的设定与车辆的行驶状态相关,预设规则的设定标准在于车辆的行驶状态发生了变换,比如预设规则包括但不限于:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。需要说明的是,在各个数据片段中选择一辆车不显示,但是数据处理设备仍然保存有该辆车的行驶轨迹。当数据处理设备将仿真场景发送至仿真设备时,仿真设备也可以获取到该辆车的行驶状态,该辆车的行驶状态只是在仿真场景中不显示而已。在一个可能的实施方式中,可以根据用户发送的指令选择不显示的车辆。在图7对应的实施例中的步骤701中介绍到,用户或自动化程序可以向仿真设备发送指令,以从仿真系统中获取虚拟车辆,其中该指令还可以同步发送至数据处理设备,使数据处理设备获取虚拟仿真车辆的相关信息,比如获取到选择的虚拟车辆的类型,这里可以根据虚拟车辆的类型选择不显示的车辆,比如虚拟车辆是轿车,则优先选择不显示一辆轿车,若虚拟车辆是卡车,则优先选择不显示一辆卡车。
数据处理设备根据待检测物体的类别和待检测物体的属性对经过分片处理后的数据片段进行构图处理,以获取数据片段中各个待检测物体的三维模型。根据获取到的各个待检测物体的三维模型,以及待检测物体的属性(比如速度、位置)可以构建接近真实交通场景的仿真场景。为了更好的理解方案,下面结合图2-b进行举例说明。参阅图2-b,为本申请实施例中对数据片段进行构图处理的示意图。针对一个数据片段,对其进行构图处理,包括对该数据片段进行回放仿真,其中回放仿真可以理解为重新播放传感器采集设备采集到的数据流,比如该数据流是一段视频,则回放仿真是根据识别处理获取到的该视频中包括的待检测物体的分类以及待检测物体的属性重新构建该段视频。而通过对该数据片段进行构图处理,获取了该视频中每个待检测物体的三维模型,在回放仿真的过程,可以从不同角度展示该段构建视频。此外,由于对于该数据片段进行构图处理后,每个待检测物体可以作为一个独立的处理对象,还可以对每个待处理对象进行单独的处理,比如在回放仿真的过程,可以使视频中的某一辆车加速行驶,或者控制视频中的某一辆车换道行驶,或者控制延长车道线等等。如何根据传感器采集的数据获取待检测物体的三维模型可以有多种方式,本领域的技术人员可以根据实际需求采用不同的方式实现,比如可以用常用三维建模工具这种专门的软件生成,但是也可以用其它方法生成,本申请实施例对此并不进行限定。
在一个可能的实施方式中,可以对该经过分片处理后的数据片段进行拼接处理,并对经过拼接处理后的数据片段进行构图处理,以获取满足用户需求的仿真场景。在一个可能的实施方式中,也可以先对经过分片处理后的数据进行构图处理,并对经过构图处理后的数据片段进行拼接处理,以获取满足用户需求的仿真场景。下面结合一个具体的实施方式对如何根据数据片段构建仿真场景进行说明。
参见图3,为本申请提供的一种仿真场景的构建方法的流程示意图。
如图3所示,本申请提供的一种仿真场景的构建方法可以包括以下步骤:
301、获取指令。
指令指示起始点和目的地。
参见图4,在一个可能的实施方式中,用户或自动化程序可以在虚拟的地图上指定起始点和目的地,在一个可能的实施方式中,用户或自动化程序也可以在真实的地图上指定起始点和目的地。其中,数据处理设备上可以预先存储虚拟的地图或者真实的地图。参照图4-a进行理解,用户或自动化程序可以通过输入起始点和目的地的名称指示起始点和目的地,参阅图4-b进行理解,用户也可以通过在虚拟的地图或者真实的地图上通过手势划定行驶路线的方式,以指示起始点和目的地。
302、根据指令和地图信息获取第一信息。
第一信息包括车辆从起始点行驶至目的地的行驶路线以及行驶路线的道路信息。
该地图信息可以是虚拟的地图信息,也可以是真实的地图信息。通过地图信息可以获取地图上包括的各个路段的曲率、车道的数目、该路段的限速信息,交通标识等道路信息。其中,虚拟的地图指示的虚拟地图中各个路段的道路信息可以是随机生成的符合交通规则的道路信息,真实的地图中各个路段的道路信息是真实道路信息。因此在一个优选的实施方式中,优先根据指令和真实的地图信息获取第一信息,以使仿真场景中涉及到的各个路段的道路信息更贴近真实的道路信息。在另一个实施方式中,也可以根据指令和虚拟地图信息获取第一信息,以满足用户需求的设定仿真场景。
在一个可能的实施方式中,如果用户采用通过手势划定行驶路线的方式,可以在地图上确定唯一的行驶路线,并获取该行驶路线中各个路段的道路信息,比如获取该行驶路线中各个路段的曲率、限速信息、车道信息、该路段的限速信息,交通标识等等。在一个可能的实施方式中,如果用户采用输入起始点和目的地的名称的方式指示起始点和目的地,则通过地图信息,可能确定多条从起始点行驶至目的地的行驶路线。当有多条从起始点行驶至目的地的行驶路线时,可以由用户选择该多条行驶路线中的一条行驶路线作为最终的行驶路线,也可以由数据设备随机的从该多条行驶路线中选择一条行驶路线作为最终的行驶路线,或者还可以将该多条行驶路线中的每一条行驶路线都作为最终的行驶路线,获取该多条行驶路线的每一条行驶路线的道路信息。
303、根据行驶路线的道路信息从多个数据片段中选择至少一个数据片段。
根据行驶路线的道路信息从多个数据片段中选择满足道路信息的至少一个数据片段。假设根据指令和道路信息确定从起始点行驶至目的地的行驶路线包括第一路段和第二路段,其中第一路段是单向单车道,第二路段是单向双车道。则从多个数据片段中选择待检测物体包括车道线,且该车道线的类别是单向单车道的数据片段,从多个数据片段中选择待检测物体包括车道线,且该车道线的类别是单向双车道的数据片段。满足上述条件的数据片段可能有多个,比如有多个数据片段都满足待检测物体包括车道线,且该车道线的类别是单向单车道,有多个数据片段都满足待检测物体包括车道线,且该车道线的类别是单向双车道的数据片段。在一个可能的实施方式中,可以优先选择来自同一个路段的数据片段。比如,若有第一数据片段、第二数据片段、第三数据片段均满足待检测物体包括车道线,且该车道线的类别是单向单车道的数据片段,有第四数据片段、第五数据片段均满足待检测物体包括车道线,且该车道线的类别是单向双车道,若其中第一数据片段和第四数据片段来自同一个路段中的传感器设备采集的数据,比如若第一数据片段和第四数据片段具有相同的标识信息或者具有相同的时间戳,则优先选择第一数据片段和第四数据片段。在一个可能的实施方式中,若没有来自同一个路段的数据片段,则可以从多个满足道路信息的至少一个数据片段中随机选择一定数量的数据片段,比如在上述例子中,行驶路线中包括第一路段和第二路段,则对于第一路段和第二路段而言,可以选择两个数据片段。
总的来说,从多个数据片段中选择数据片段是为了使选择的数据片段中包括的道路信息与行驶路线的道路信息是尽可能相同的。因此可以设定不同的判定条件,比如车道数目是相同的,则认为数据片段中包括的道路信息与行驶路线的道路信息是相同的;再比如,车道数目是相同的,且道路的曲率的偏差在预设范围内,则认为数据片段中包括的道路信息与行驶路线的道路信息是相同的;再比如,车道数目是相同的,且道路的曲率的偏差在预设范围内,且道路的限速要求是相同的,则认为数据片段中包括的道路信息与行驶路线的道路信息是相同的。针对于不同的实际场景,可以设定不同的判定条件,应当理解包括但不限于上述提到的几种限制条件。
需要说明的是,在具体的应用场景中,根据实际需求的道路信息在数据库中筛选路段的规则,包括但不限于道路的级别(比如高速公路、乡道等等)、道路对应的天气信息、道路上具有的车辆的数目,采集的时间段、传感器设备安装的位置等。优先选择具有相同道路信息的路段。
304、根据第一预设规则对至少一个数据片段进行拼接,以得到拼接数据片段。
第一预设规则可能有多种设置的方式,目的是为了使按照步骤303选择出的至少一个数据片段进行拼接处理,以获取一个在时间上和空间上具有连续性的数据流。下面给出几种优选的第一预设规则。
在一种可能的实施方式中,若两个数据片段中包括的车道数目相同,则对两个数据片段直接进行拼接处理,使拼接后的两个数据片段中包括的车道无缝衔接。参见图5进行理解,比如待拼接的数据片段包括第一数据片段和第二数据片段,第一数据片段和第二数据片段都是双向四车道,则如果二者的车道宽度相同,则直接延长某一数据片段中的车道线,以与另一个数据片段中的车道线无缝衔接;如果二者的车道宽度不相同,比如第一数据片段中的车道宽度比第二数据片段中的车道宽度窄,则可以扩宽第一数据片段中的车道宽度,使之与第二数据片段中的车道宽度相同,或者可以缩小第二数据片段中的车道宽度,使之与第一数据片段中的车道宽度相同。上文已经介绍过对数据进行识别处理后,可以使每一个待检测物体都可以被当做一个独立的对象进行处理,所以这里可以对数据片段中的车道进行独立的处理,改变车道的宽度。
在一个可能的实施方式中,若两个数据片段中包括的车道数目不相同,则在两个数据片段之间增加一个用于过渡的数据片段,该过渡的数据片段用于指示车道数目发生了变化。比如待拼接的数据片段包括第一数据片段和第二数据片段,其中第一数据片段是单向单车道,第二数据片段是单向双车道,则可以在第一数据片段和第二数据片段之间增加过渡的数据片段,参阅图6-a进行理解,该过渡的数据片段可以包括车道合并的交通标识或者车道拓宽的交通标识。
在一个可能的实施方式中,为了使两个数据片段中的动态交通参与者可以进行更好的拼接,还可以在两个数据片段中增加一个用于过渡的数据片段,该过渡的数据片段用于使前一个数据片段尾部的动态参与者进入该过渡的数据片段中,使后一个数据片段头部的动态参与者从该过渡的数据片段中驶入后一个数据片段。参阅图6-b进行理解,比如待拼接的数据片段包括第一数据片段和第二数据片段,两个数据片段中的第一数据片段与过渡数据片段的首部拼接,两个数据片段中的第二数据片段与过渡数据片段的尾部拼接,控制第一数据片段的尾部的车辆进入第二过渡数据片段,控制第二数据片段的头部的车辆从第二过渡数据片段驶入第二数据片段。头部和尾部在一个数据片段中的占比可以根据实际需求进行设定,本申请对此并不进行限定。在一个可能的实施方式中,由于新增的过渡的片段是为了使两个数据片段可以进行自然的拼接,所以在通过构建的仿真场景进行仿真测试时,过渡片段中仿真车辆的行驶轨迹可以不作为评价智能驾驶算法的优劣的标准。
在一个可能的实施方式中,可以仅采用一个数据片段进行拼接,以得到拼接数据片段。比如,可以根据一个数据片段生成至少一个用于过渡的数据片段,将一个或者多个该数据片段和用于过渡的数据片段进行拼接处理,以得到拼接数据片段。
由图3对应的实施例可知,本申请提供的方案,对来自真实交通场景的数据按照预设的规则进行拼接,以获取大量的真实交通场景数据。通过本申请提供的方案,不需要耗费大量人力物力,就可以获取大量的真实的交通场景数据。
上文介绍到可以根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理,以获取数据片段中各个待检测物体对应的三维模型。并根据拼接数据片段中各个待检测物体对应的三维模型、以及拼接数据片段中各个待检测物体的属性(比如速度、位置)可以生成完整的仿真场景。该仿真场景由于是通过传感器设备采集的真实的道路交通数据获取的,所以该仿真场景更接近真实的交通场景。该三维模型还用于在仿真场景中进行仿真测试时,装配于车辆不同位置的各个虚拟传感器从不同角度感知待检测物体,将在下文展开介绍。
三、通过构建的仿真场景进行仿真测试
第二方面介绍了数据处理设备如何根据真实的传感器设备采集的道路交通数据构建仿真场景,数据处理设备构建了仿真场景后还需要将构建的仿真场景发送至仿真设备,以使仿真设备根据构建的仿真场景进行仿真测试。
参阅图7,为申请提供的一种车辆的仿真方法的流程示意图。
本申请提供的一种车辆的仿真方法可以包括如下步骤:
701、从仿真系统中获取虚拟车辆。
在图3对应的实施例中的步骤301中介绍到用户或自动化程序可以向数据处理设备发送指令,指示起始点和目的地,在步骤701中,用户可以通过相同的设备或者不同的设备向仿真设备发送指令,以从仿真系统中获取虚拟车辆。比如,用户可以在选择起始点和目的地后选择虚拟车辆,或者选择虚拟车辆后选择起始点和目的地。参照图8进行理解。可以根据仿真需求从仿真系统中选择虚拟车辆。具体的,可以根据需求选择虚拟车辆的类型(比如轿车、面包车、越野车等)、车辆的动力配置(比如发动机或电机的配置、变速器的配置,四驱或前驱等)、底盘的配置(比如悬挂的配置等)等等。
702、根据虚拟车辆上装配的各个虚拟传感器的位置确定各个虚拟传感器的感知视角。
如果配置虚拟传感器(以下有时也简称为传感器)在车辆的不同位置,不同位置的虚拟传感器感知的视角可能是不同的。比如车辆行驶在一个仿真场景中,一个传感器配置在车头的配置,一个传感器配置在车尾的位置,则该两个传感器对仿真场景感知的视角,感知的数据是不相同的。再比如,一个传感器配置在车头左边的位置,一个传感器配置在车头右边的位置,则该两个传感器感知的范围也存在差异,即使同一个待检测物体同时被该两个传感器感知到,由于一个配置在车头左边的位置,一个配置在车头右边的位置,两个传感器也是从不同的角度感知该待检测物体。
703、根据各个虚拟传感器的感知视角获取仿真场景。
其中该仿真场景可以参照第二方面中构建的仿真场景进行理解,这里不再重复说明。此外需要说明的是,由于各个虚拟传感器装配的位置不同,对于同一个仿真场景,各个传感器的感知视角并不相同,即各个传感器从不同的角度感知该仿真场景。在第二方面中已经介绍到仿真场景中的每个待检测物体都是三维模型,因此可以根据各个虚拟传感器的感知视角,使各个虚拟的传感器获取各自感知角度对应下的仿真场景。
704、控制虚拟车辆从第一位置开始行驶,第一位置包括于第一车辆的行驶轨迹中。
上文第二方面构建仿真场景时介绍到,从各个数据片段中选择车辆在各自的数据片段中不显示,步骤704中的第一车辆是拼接的数据片段中包括的各个数据片段中不显示的车辆。参照图9进行理解,假设拼接的数据片段包括第一数据片段和第二数据片段,第一数据片段中不显示的车辆是车辆A,第二数据片段中不显示的车辆是车辆B,其中车辆A的行驶轨迹是行驶轨迹1,车辆B的行驶轨迹是行驶轨迹2,则可以控制虚拟车辆从行驶轨迹1上任意一点开始行驶,或者控制虚拟车辆从行驶轨迹2上任意一点开始行驶。在一个优选的实施方式中,控制虚拟车辆从行驶轨迹1的起点开始行驶。
705、将各个虚拟传感器获取到的虚拟感知数据发送至智能驾驶控制器,以使智能驾驶控制器根据虚拟感知数据控制虚拟车辆的行驶轨迹。
虚拟车辆在仿真场景中进行行驶时,虚拟传感器会持续的感知仿真场景,并将感知数据发送至智能驾驶控制器,智能驾驶控制器根据感知数据为虚拟车辆规划行驶路线,并向动力域控制器和底盘域控制器发送指令,以使动力域控制器和底盘域控制器根据接收到的智能驾驶控制器发送的指令,控制底盘域仿真器和动力域仿真器,以使虚拟车辆按照智能驾驶控制器规划的行驶路线进行行驶。
706、根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异更新智能驾驶控制器算法。
根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异可以评估智能驾驶控制器算法的优劣,根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异可以更新智能驾驶控制器的算法。根据步骤705中虚拟车辆的行驶路线与步骤704中的第一车辆的行驶轨迹进行对比,并根据虚拟车辆的行驶路线与第一车辆的行驶轨迹之间的偏离程度,更新智能驾驶控制器的算法,以使智能驾驶控制器为虚拟车辆规划的行驶路线更接近于第一车辆的行驶轨迹。
目前,已有的通过仿真测试评估虚拟车辆的自动驾驶能力的方案,无法保证在真实的道路场景中车辆仍然能够满足对于自动驾驶能力的要求。而本申请提供的方案设定了一套可靠的评估体系,首先,本申请中构建仿真场景的数据来自于真实的交通场景,所以构建的仿真场景和真实的交通场景是相同或者十分接近的。然后,按照预设的规则对来源于真实道路交通数据中的各个数据片段中选择一辆车不显示。该不显示的车辆的行驶轨迹是真实交通场景下车辆的行驶轨迹,比如可能是真实的经验丰富的司机操纵的行驶轨迹。本申请认为真实交通场景下驾驶员操纵的车辆的行驶轨迹是更可靠的,在仿真测试时,以该真实的行驶轨迹为目标轨迹,智能驾驶控制器的算法的更新应当以更接近该真实的行驶轨迹为目标。本申请提供的方案以仿真场景下,智能驾驶控制器控制车辆行驶的轨迹和真实的行驶轨迹之间的偏离程度评估自动驾驶能力,使评估的结果更具有可信性。
在一个可能的实施方式中,第一车辆的行驶状态用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶状态,车辆的行驶状态包括车辆的转向灯的开启状态、制动灯的开启状态、车辆的警告灯的开启状态中的一种或者几种,使虚拟车辆的行驶状态更接近于真实车辆的行驶状态。
参阅图10,为本申请提供的一种仿真系统的架构示意图。如图10所示,本申请提供的仿真系统包括道路交通数据采集系统、数据处理系统、仿真器系统以及控制器系统。其中道路交通数据采集系统包括至少一个传感器设备,其中传感器设备可以参照上文第一方面中介绍的传感器设备进行理解,这里不再重复赘述。数据处理系统包括至少一个数据处理设备,可选地,各个数据处理设备上可以在本地存储虚拟地图或者实际地图,或者各个数据处理设备也可以从其他设备中获取虚拟地图或者实际地图,各个数据处理设备可以参照上文中介绍的数据处理设备进行理解,这里不再重复赘述。仿真器系统可以包括底盘域仿真器、动力域仿真器以及驾驶域仿真器。其中底盘域仿真器、动力域仿真器以及驾驶域仿真器通过软件程序仿真真实车辆的底盘域相关器件的工作流程、动力域相关器件的工作流程以及车载传感器的工作流程,可以参照现有技术中已有的底盘域仿真器、动力域仿真器进行理解,这里不再重复解释。其中,底盘域仿真器、动力域仿真器以及驾驶域仿真器可以是模型在环(model in the loop,MIL)、软件在环(software in the loop,SIL)级别的纯软件非实时离线仿真器、也可以是硬件在环(hardware in the loop,HIL)级别的实时仿真,本申请实施例对此并不进行限定。控制器系统包括底盘域控制器、智能驾驶控制器以及动力域控制器。其中,智能驾驶控制器通过各个虚拟传感器获取的感知数据为虚拟车辆规划行驶路线,并向底盘域控制器和动力域控制器发送指令,底盘域控制器接收到智能驾驶控制器发送的指令后,控制底盘域仿真器进行工作,动力域控制器接收到智能驾驶控制器发送的指令后,控制动力域仿真器进行工作,进而使虚拟车辆按照智能驾驶控制器规划的行驶路线行驶。
下面结合图11对仿真器系统以及控制器系统之间的交互过程进行说明。驾驶域仿真器根据各个虚拟传感器在虚拟车辆上的装配位置从数据处理设备中获取仿真场景,可以参照图7对应的实施例中的步骤702和步骤703进行理解,这里不再重复赘述。在一个可能的实施方式中,驾驶域仿真器包括视角生成器,用于从数据处理设备中获取不同角度的仿真场景。各个虚拟传感器将感知到的数据向传感器仿真器发送,并经由传感器仿真器转换成智能驾驶控制器需要的数据格式或电气信号,以使智能驾驶控制器根据接收到的感知数据为虚拟车辆规划行驶路线。在一个可能的实施方式中,智能驾驶控制器还可以控制部分或者各个虚拟传感器转换感知角度,若一个或者多个虚拟传感器的感知角度发生了变化,则视角生成器可以控制该一个或者多个虚拟传感器根据更新后的视角获取仿真场景。在MIL/SIL仿真中,这些虚拟传感器把数据通过软件直接传递给智能驾驶控制器的算法;在HIL仿真中,这些虚拟传感器经由相应的电路板卡转换为电信号,传输给智能驾驶控制器。在一个可能的实施方式中,视角生成器可以将仿真场景中的涉及的道路信息发送至车身动力学模型,使底盘域模型可以根据道路信息获取道路的坡度信息、路面形态等计算摩擦力等等。在一个可能的实施方式中,底盘域模型可以将车身当前的姿态信息、各个传感器的速度信息发送至视角生成器,以使视角生成器及时的更新各个传感器的感知视角。底盘域模型可以将虚拟车辆当前的速度信息发送至动力域模型,以使动力域模型计算虚拟车辆在前进方向的力矩的大小,动力域模型可以将计算获得的前进方向的力矩的大小再发送至底盘域模型。底盘域模型通过底盘域仿真器将底盘域模型输出的物理信号转换为电信号(比如频率信息、模拟信号、脉宽调制波(pulse width modulation,PWM)),并将该电信号发送至底盘域控制器,以使底盘域控制器根据接受到的信号进一步下发控制指令。动力域模型可以通过动力域仿真器将动力域模型输出的物理信号转为电信号,并将该电信号发送至动力域控制器,以使动力域控制器根据接受到的电信号进一步下发控制指令。在一个可能的实施方式中,在通过底盘域模型和动力域模型使虚拟车辆行驶时,各个传感器感知的数据也在不断发生变化,智能驾驶控制器可以根据获取得到的感知数据不断的为虚拟车辆规划行驶路线,并通过向底盘域控制器和动力域控制器下发指令,使底盘域控制器通过底盘域仿真器控制底盘域模型、使动力域控制器通过动力域仿真器控制动力域模型,进而控制虚拟车辆按照规划的路线行驶。
在一个可能的实施方式中,为了使虚拟车辆和仿真场景是同步的,使虚拟车辆可以在仿真场景中正常行驶,还可以对虚拟车辆所在的坐标系以及仿真场景所在的坐标系进行统一处理,使虚拟车辆和仿真场景在相同的坐标系中。
在一个可能的实施方式中,可以采用不同的方式使动力域的仿真、底盘域的仿真以及驾驶域的仿真三者之间是同步的。以使虚拟车辆可以在仿真场景中连续行驶,避免出现车辆行驶速度过快,仿真场景获取的速度跟不上虚拟车辆行驶速度等延迟的情况。在一个可能的实施方式中,参见图12进行理解,在当前仿真步长内,针对驾驶域的仿真计算,视角生成器从数据处理设备中获取不同角度的仿真场景(比如获取了第一数据),并根据各个虚拟传感器在虚拟车辆上的装配位置使各个虚拟传感器获取各自角度下的仿真场景,各个虚拟传感器将感知到的数据发送至智能驾驶控制器,以使智能驾驶控制器根据各个虚拟传感器获取的感知数据为虚拟车辆规划行驶路线,并向底盘域控制器和动力域控制器发送指令;针对底盘域的仿真计算,在接收到智能驾驶控制器发送的指令后,控制底盘域仿真器进行工作;针对动力域控制器接收到智能驾驶控制器发送的指令后,控制动力域仿真器进行工作,进而使虚拟车辆按照智能驾驶控制器规划的行驶路线行驶。如果在上述当前步长内,某一个域提前执行完任务,则该域的相关程序、设备进入等候状态,直至进入下一个仿真步长。
由于针对驾驶域的仿真需要的计算量比较大,在一个仿真步长内,针对第一数据,驾驶域的相关仿真无法完全计算完成。在一个可能的实施方式中,为了提升计算的速度,参见图13进行理解,可以通过多个处理器并行执行驾驶域仿真的相关任务,以加速驾驶域仿真的相关任务的执行速度。通过这样的方式,可能在一个仿真步长内,驾驶域的仿真器可以针对一次获取到的数据完成相关的计算。
下面结合几个典型的实施例对本申请实施例提供的方法进行说明,以更好的理解本申请实施例提供的方案。
参见图14,为本申请提供的一种仿真场景的构建方法的流程示意图。
在该实施方式中,包括两个传感器设备,且该两个传感器设备装配于一对栏杆上,参照图1-b进行理解,该两个传感器设备的感知范围完全相同,二者是获取同一个相同路段的道路交通数据。配置两个传感器设备通过时间敏感型网络TSN对采集到的数据打上时间戳。数据处理接收到该两个传感器设备采集的数据后,对有相同的时间戳的数据统一进行清洗处理,对经过清洗处理后的数据进行识别处理,其中清洗处理和识别处理已经在上文进行了详细的介绍,这里不再重复赘述。在这个实施方式中,可以采用卷积神经网络(convolutional neural networks,CNN)识别待检测物体的类别,通过多传感器融合算法获取待检测物体的速度属性和位置属性,其中待检测物体包括静态场景(比如栏杆、红绿灯)和动态的交通参与者(比如车辆,行人)。对经过识别处理后的数据进行分片处理,由于两个传感器设备采集的数据是同一个相同路段的道路交通数据,两个传感器设备采集的数据具有时间上的连续性,以预设的时长为分片单位,对同一个传感器设备采集到的数据进行分片处理,以获取多个数据片段。根据预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,并将各个数据片段存储在数据处理设备中。如果某个数据片段中没有满足预设条件的车辆,则将该数据片段舍弃,比如预设规则的设定标准在于车辆的行驶轨迹发生了变换,如果某个数据片段中没有车辆的行驶轨迹发生了变化,则将该数据片段舍弃。
参见图15,为本申请提供的一种仿真场景的构建方法的流程示意图。数据处理设备根据指令获取起始点和目的地。根据起始点和目的地以及地图信息获取车辆从起始点行驶至目的地的行驶路线。将该行驶路线根据道路信息划分为N个片段,N为正整数。根据道路信息从多个数据片段中选择N个片段。若N不小于2,则根据行驶轨迹的道路信息从多个数据片段中先选择两个数据片段,在两个数据片段之间增加一个用于过渡的数据片段,按照预设规则对该两个数据片段进行拼接处理。重复执行上述拼接过程,直至N个片段都拼接完成,即该行驶路线拼接完成。在一个可能的实施方式中,还可以判断拼接的行驶路线是否满足需求,比如用于过度的数据片段的总长度是否小于预设阈值,若不满足需求,则可以重新对行驶路线进行划分。若拼接后的行驶路线满足需求,则将拼接后的行驶路线保存在数据处理设备中。在一个可能的实施方式中,还可以包括向仿真设备发送该拼接后的行驶路线。
参见图16,为申请提供的另一种车辆的仿真方法的流程示意图。驾驶域仿真器从数据处理设备中获取仿真场景,其中该仿真场景可以参照上面的拼接后的行驶路线进行理解。通过坐标系的转换,对虚拟车辆所在的坐标系以及仿真场景所在的坐标系进行统一处理,使虚拟车辆和仿真场景在相同的坐标系中。通过底盘域模型获取模拟车辆的位置信息以及速度信息,进而获取各个虚拟传感器安装的位置以及各个虚拟传感器的速度,根据各个虚拟传感器安装的位置以及速度,使各个虚拟传感器获取各自角度的仿真场景,在一个可能的实施方式中,可以通过射线碰撞检测算法或三维图像算法根据各个传感器的角度生成各个传感器获取的物理数据,本申请实施例对此并不进行限定。
以上,对本申请实施例提供的一种仿真场景的构建方法以及一种车辆的仿真方法进行了介绍,下面对本申请实施例的相关装置进行详细的介绍。
参见图17,为本申请实施例提供的一种数据处理设备的结构示意图。该数据处理设备包括获取模块1701、选择模块1702、拼接模块1703以及生成模块1704。
在一个可能的实施方式中,获取模块1701,用于获取指令,指令指示起始点和目的地。获取模块1701,还用于根据指令和地图信息获取车辆从起始点行驶至目的地的行驶路线、行驶路线的道路信息。选择模块1702,用于根据获取模块1701获取的行驶路线的道路信息从预先存储的多个数据片段中选择至少一个数据片段,多个数据片段是根据传感器设备采集的数据确定的。拼接模块1703,用于根据第一预设规则对选择模块1702选择的至少一个数据片段进行拼接,以得到拼接数据片段。生成模块1704,用于基于拼接数据片段生成仿真场景。
在一个可能的实施方式中,还可以包括分片处理模块1705,获取模块1701,还用于接收传感器设备采集的数据。分片处理模块1705,用于:对获取模块1701接收的数据进行筛选,以获取满足预设信噪比的数据。对经过筛选处理后的数据进行识别处理,以获取待检测物体的类别以及待检测物体的属性。对经过识别处理后的数据进行分片处理,以获取多个数据片段。
在一个可能的实施方式中,分片处理模块1705,具体用于:若获取到传感器设备采集的数据有相同的时间戳,则对有相同的时间戳的数据统一进行筛选处理。
在一个可能的实施方式中,生成模块1704,具体用于:根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理,以获取数据片段中各个待检测物体对应的三维模型。根据拼接数据片段中各个待检测物体对应的三维模型生成仿真场景,三维模型还用于在仿真场景中进行仿真测试时,装配于车辆不同位置的各个虚拟传感器从不同角度感知待检测物体。
在一个可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
可选地,结合上述第四方面或第四方面第一种至第四方面第四种可能的实施方式,在第五种可能的实施方式中,在一个可能的实施方式中,选择模块1702,还用于:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶轨迹用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶轨迹。
在一个可能的实施方式中,选择模块1702,还用于:根据第二预设规则从多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,车辆的行驶状态用于根据仿真场景进行仿真测试时,作为仿真测试中采用的虚拟车辆的目标行驶状态,车辆的行驶状态可以包括车辆的转向灯的开启状态、制动灯的开启状态、车辆的警告灯的开启状态中的一种或者几种。
在一个可能的实施方式中,第二预设规则包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。
参见图18,为本申请实施例提供的另一种数据处理设备的结构示意图。该数据处理设备包括处理器1801、存储器1802,可选地,还可以包括通信接口1803。其中处理器1801包括但不限于中央处理器(central processing unit,CPU),网络处理器(networkprocessor,NP),专用集成电路(application-specific integrated circuit,ASIC)或者可编程逻辑器件(programmable logic device,PLD)中的一个或多个。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。存储器1802可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically er服务器able programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。通信接口1803可以使用任何收发器一类的装置,用于与其他设备或通信网络通信。通信接口1803可以采用以太网,无线接入网(radio access network,RAN),无线局域网(wireless local area networks,WLAN)等技术与其他设备进行通信。
在一个可能的实施方式中,该车辆包括处理器1801,处理器1801和存储器1802耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述图3至图6-b中所描述的数据处理设备执行的方法。在一个可能的实施方式中,当存储器存储的程序指令被处理器执行时实现上述图14至图15中所描述的数据处理设备执行的方法。
参见图19,为本申请实施例提供的一种仿真设备的结构示意图。该仿真设备包括获取模块901,仿真模块902,其中仿真模块902可以包括传感器模块9023、底盘域模块9021、动力域模块9022。
在一个可能的实施方式中,获取模块901,用于从仿真系统获取虚拟车辆。传感器模块9023包括视角模块931和虚拟传感器932,视角模块931用于根据虚拟车辆上装配的各个虚拟传感器932的位置、确定各个虚拟传感器932的感知视角。获取模块901,还用于根据各个虚拟传感器932的感知视角获取仿真场景,仿真场景是基于拼接数据片段生成的,拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,多个数据片段是根据传感器设备采集的数据确定的,行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,指令用于指示起始点和目的地。仿真模块902获取到控制信号后,根据控制信号进行仿真测试,具体的根据控制信号控制底盘域模块9021和动力域模块9022,进而控制虚拟车辆在仿真场景中进行仿真测试。其中,控制信号是智能驾驶控制器根据各个传感器仿真器获取到的虚拟感知数据获取的信号,或者该控制信号是智能驾驶控制器根据各个传感器仿真器获取到的虚拟感知数据、以及仿真模块902传输的信号获取的信号。具体的,可以参照图11中,智能驾驶控制器发出的信号进行理解,这里不再重复赘述。
在一个可能的实施方式中,多个数据片段是数据处理设备对传感器设备采集的数据进行筛选、识别、分片处理后获取的。
在一个可能的实施方式中,仿真场景是根据拼接数据片段中各个待检测物体对应的三维模型生成的,各个待检测物体对应的三维模型是根据待检测物体的类别以及待检测物体的属性对数据片段进行构图处理后获取的。
在一个可能的实施方式中,第一预设规则可以包括如下规则中的至少一种:若两个数据片段中可以包括的车道数目相同,则对两个数据片段直接进行拼接处理。若两个数据片段中可以包括的车道数目不相同,则在两个数据片段之间增加第一过渡数据片段,第一过渡数据片段指示车道数目发生了变化。在两个数据片段中增加第二过渡数据片段,两个数据片段中的第一数据片段与第二过渡数据片段的首部拼接,两个数据片段中的第二数据片段与第二过渡数据片段的尾部拼接,控制第一数据片段的预设位置的车辆进入第二过渡数据片段,控制第二数据片段的预设位置的车辆从第二过渡数据片段驶入第二数据片段。
在一个可能的实施方式中,控制模块,具体用于:控制虚拟车辆从第一位置开始行驶,第一位置可以包括于第一车辆的行驶轨迹中,第一车辆是在拼接数据片段中不显示的车辆。将各个虚拟传感器932获取到的虚拟感知数据发送至智能驾驶控制器,以使智能驾驶控制器根据虚拟感知数据控制虚拟车辆的行驶轨迹。根据虚拟车辆的行驶轨迹和第一车辆的行驶轨迹之间的差异更新智能驾驶控制器的算法。
在一个可能的实施方式中,第一车辆是根据第二预设规则从多个数据片段中的各个数据片段中选择的,第二预设规则可以包括如下规则中的至少一种:车辆变换了车道、车辆转换了行驶方向、车辆周围有非机动车或者行人、车辆等候红灯、车辆进行了倒车入库、车辆超越前车、有其他车辆并入车辆所在车道。
参阅图20,图20为本申请实施例提供的仿真设备的一种结构示意图,仿真设备上可以部署有图19中所描述的模块,用于实现图7至图13、图16中任意一个对应实施例中仿真设备的功能,具体的,仿真设备由一个或多个服务器实现,仿真设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)2022(例如,一个或一个以上中央处理器)和存储器2032,一个或一个以上存储应用程序2042或数据2044的存储介质2030(例如一个或一个以上海量存储设备)。其中,存储器2032和存储介质2030可以是短暂存储或持久存储。存储在存储介质2030的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对仿真设备中的一系列指令操作。更进一步地,中央处理器2022可以设置为与存储介质2030通信,在仿真设备上执行存储介质2030中的一系列指令操作。
仿真设备还可以包括一个或一个以上电源2026,一个或一个以上有线或无线网络接口2050,一个或一个以上输入输出接口2058,和/或,一个或一个以上操作系统2041,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本申请实施例中,中央处理器2022,用于执行图7至图13、图16中任意一个对应实施例中的方法。需要说明的是,中央处理器2022还可以用于执行与本申请中图7至图13、图16中任意一个对应的方法实施例中任意一个步骤,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
应当理解,上述仅为本申请实施例提供的一个例子,并且,数据处理设备、仿真设备可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于仿真测试的程序,当其在计算机上运行时,使得计算机执行上述数据处理设备所执行的方法。或者当其在计算机上运行时,使得计算机执行上述仿真设备所执行的方法。
本申请实施例还提供一种数字处理芯片。该数字处理芯片中集成了用于实现上述处理器,或者处理器的功能的电路和一个或者多个接口。当该数字处理芯片中集成了存储器时,该数字处理芯片可以完成前述实施例中的任一个或多个实施例的方法步骤。当该数字处理芯片中未集成存储器时,可以通过通信接口与外置的存储器连接。该数字处理芯片根据外置的存储器中存储的程序代码来实现上述实施例中数据处理设备或者仿真设备执行的动作。
本申请实施例中还提供一种计算机程序产品,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
本申请的说明书和权利要求书及上述附图中的术语“第一”,“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程,方法,系统,产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程,方法,产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

Claims (37)

1.一种仿真场景的构建方法,其特征在于,包括:
获取指令,所述指令指示起始点和目的地;
根据所述指令和地图信息获取车辆从所述起始点行驶至所述目的地的行驶路线、所述行驶路线的道路信息;
根据所述行驶路线的道路信息从预先存储的多个数据片段中选择至少一个所述数据片段,所述多个数据片段是根据传感器设备采集的数据确定的;
根据第一预设规则对所述至少一个数据片段进行拼接,以得到拼接数据片段;
基于所述拼接数据片段生成仿真场景。
2.根据权利要求1所述的构建方法,其特征在于,所述方法还包括:
接收所述传感器设备采集的数据;
对所述数据进行筛选,以获取满足预设信噪比的数据;
对经过筛选处理后的所述数据进行识别处理,以获取待检测物体的类别以及所述待检测物体的属性;
对经过识别处理后的所述数据进行分片处理,以获取所述多个数据片段。
3.根据权利要求2所述的构建方法,其特征在于,所述对所述数据进行筛选处理包括:
若获取到所述传感器设备采集的数据有相同的时间戳,则对所述有相同的时间戳的数据统一进行筛选处理。
4.根据权利要求1至3任一项所述的构建方法,其特征在于,所述基于所述拼接数据片段生成仿真场景,包括:
根据待检测物体的类别以及所述待检测物体的属性对所述数据片段进行构图处理,以获取所述数据片段中各个所述待检测物体对应的三维模型;
根据所述拼接数据片段中各个所述待检测物体对应的三维模型生成所述仿真场景。
5.根据权利要求1至4任一项所述的构建方法,其特征在于,所述第一预设规则包括如下规则中的至少一种:
若两个所述数据片段中包括的车道数目相同,则对两个数据片段直接进行拼接处理;
若两个所述数据片段中包括的车道数目不相同,则在所述两个数据片段之间增加第一过渡数据片段,所述第一过渡数据片段指示车道数目发生了变化;
在两个所述数据片段中增加第二过渡数据片段,所述两个数据片段中的第一数据片段与所述第二过渡数据片段的首部拼接,所述两个数据片段中的第二数据片段与所述第二过渡数据片段的尾部拼接,控制所述第一数据片段的预设位置的车辆进入所述第二过渡数据片段,控制所述第二数据片段的预设位置的车辆从所述第二过渡数据片段驶入所述第二数据片段。
6.根据权利要求1至5任一项所述的构建方法,其特征在于,所述传感器设备相对于大地是静止的。
7.根据权利要求1至6任一项所述的构建方法,其特征在于,所述传感器设备包括如下传感器设备中的一种或者几种:
激光雷达、毫米波雷达、单目摄像机、双目摄像机、全球定位系统GPS。
8.根据权利要求1至7任一项所述的构建方法,其特征在于,所述方法还包括:
根据第二预设规则从所述多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,所述车辆的行驶轨迹用于根据所述仿真场景进行仿真测试时,作为所述仿真测试中采用的虚拟车辆的目标行驶轨迹。
9.根据权利要求1至7任一项所述的构建方法,其特征在于,所述方法还包括:
根据第二预设规则从所述多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,所述车辆的行驶状态用于根据所述仿真场景进行仿真测试时,作为所述仿真测试中采用的虚拟车辆的目标行驶状态,所述车辆的行驶状态包括所述车辆的转向灯的开启状态、制动灯的开启状态、所述车辆的警告灯的开启状态中的一种或者几种。
10.根据权利要求8或9所述的构建方法,其特征在于,所述第二预设规则包括如下规则中的至少一种:
所述车辆变换了车道、所述车辆转换了行驶方向、所述车辆周围有非机动车或者行人、所述车辆等候红灯、所述车辆进行了倒车入库、所述车辆超越前车、有其他车辆并入所述车辆所在车道。
11.一种车辆的仿真方法,其特征在于,包括:
从仿真系统中获取虚拟车辆;
根据所述虚拟车辆上装配的各个虚拟传感器的位置、确定所述各个虚拟传感器的感知视角;
根据所述各个虚拟传感器的感知视角获取仿真场景,所述仿真场景是基于拼接数据片段生成的,所述拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,所述至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,所述多个数据片段是根据传感器设备采集的数据确定的,所述行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,所述指令用于指示起始点和目的地;
控制所述虚拟车辆在所述仿真场景中进行仿真测试。
12.根据权利要求11所述的方法,其特征在于,所述多个数据片段是数据处理设备对所述传感器设备采集的数据进行筛选、识别、分片处理后获取的。
13.根据权利要求11或12所述的方法,其特征在于,所述仿真场景是根据所述拼接数据片段中各个待检测物体对应的三维模型生成的,所述各个待检测物体对应的三维模型是根据所述待检测物体的类别以及所述待检测物体的属性对所述数据片段进行构图处理后获取的。
14.根据权利要求11至13任一项所述的方法,其特征在于,所述第一预设规则包括如下规则中的至少一种:
若两个所述数据片段中包括的车道数目相同,则对两个数据片段直接进行拼接处理;
若两个所述数据片段中包括的车道数目不相同,则在所述两个数据片段之间增加第一过渡数据片段,所述第一过渡数据片段指示车道数目发生了变化;
在两个所述数据片段中增加第二过渡数据片段,所述两个数据片段中的第一数据片段与所述第二过渡数据片段的首部拼接,所述两个数据片段中的第二数据片段与所述第二过渡数据片段的尾部拼接,控制所述第一数据片段的预设位置的车辆进入所述第二过渡数据片段,控制所述第二数据片段的预设位置的车辆从所述第二过渡数据片段驶入所述第二数据片段。
15.根据权利要求11至14任一项所述的仿真方法,其特征在于,所述控制所述虚拟车辆在所述仿真场景中进行仿真测试,包括:
控制所述虚拟车辆从第一位置开始行驶,所述第一位置包括于第一车辆的行驶轨迹中,所述第一车辆是在所述拼接数据片段中不显示的车辆;
将所述各个虚拟传感器获取到的虚拟感知数据发送至智能驾驶控制器,以使所述智能驾驶控制器根据所述虚拟感知数据控制所述虚拟车辆的行驶轨迹;
根据所述虚拟车辆的行驶轨迹和所述第一车辆的行驶轨迹之间的差异更新所述智能驾驶控制器的算法。
16.根据权利要求15所述的仿真方法,所述第一车辆是根据第二预设规则从所述多个数据片段中的各个数据片段中选择的,所述第二预设规则包括如下规则中的至少一种:
所述车辆变换了车道、所述车辆转换了行驶方向、所述车辆周围有非机动车或者行人、所述车辆等候红灯、所述车辆进行了倒车入库、所述车辆超越前车、有其他车辆并入所述车辆所在车道。
17.一种数据同步的方法,其特征在于,包括:
从仿真系统中获取虚拟车辆;
通过视角生成器执行第一任务,所述第一任务包括从数据处理设备中获取不同角度的仿真场景,并根据各个虚拟传感器在虚拟车辆上的装配位置使各个虚拟传感器获取各自角度下的仿真场景,通过底盘域仿真器和动力域仿真器执行第二任务,所述第二任务包括根据控制信号控制所述虚拟车辆行驶,所述控制信号是智能驾驶控制器根据所述各个传感器仿真器获取到的虚拟感知数据获取的信号,所述仿真场景是基于拼接数据片段生成的,所述拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,所述至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,所述多个数据片段是根据传感器设备采集的数据确定的,所述行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,所述指令用于指示起始点和目的地;
所述视角生成器、底盘域仿真器和动力域仿真器三个器件中的任意一个器件提前执行完任务,则所述提前执行完任务的器件进入等候状态,直至其他器件执行完任务。
18.一种数据处理设备,其特征在于,包括:
获取模块,用于获取指令,所述指令指示起始点和目的地;
所述获取模块,还用于根据所述指令和地图信息获取车辆从所述起始点行驶至所述目的地的行驶路线、所述行驶路线的道路信息;
选择模块,用于根据所述获取模块获取的所述行驶路线的道路信息从预先存储的多个数据片段中选择至少一个所述数据片段,所述多个数据片段是根据传感器设备采集的数据确定的;
拼接模块,用于根据第一预设规则对所述选择模块选择的所述至少一个数据片段进行拼接,以得到拼接数据片段;
生成模块,用于基于所述拼接数据片段生成仿真场景。
19.根据权利要求18所述的数据处理设备,其特征在于,还包括分片处理模块,
所述获取模块,还用于接收所述传感器设备采集的数据;
所述分片处理模块,用于:
对所述获取模块接收的所述数据进行筛选,以获取满足预设信噪比的数据;
对经过筛选处理后的所述数据进行识别处理,以获取待检测物体的类别以及所述待检测物体的属性;
对经过识别处理后的所述数据进行分片处理,以获取所述多个数据片段。
20.根据权利要求19所述的数据处理设备,其特征在于,所述分片处理模块,具体用于:
若获取到所述传感器设备采集的数据有相同的时间戳,则对所述有相同的时间戳的数据统一进行筛选处理。
21.根据权利要求18至20任一项所述的数据处理设备,其特征在于,所述生成模块,具体用于:
根据待检测物体的类别以及所述待检测物体的属性对所述数据片段进行构图处理,以获取所述数据片段中各个所述待检测物体对应的三维模型;
根据所述拼接数据片段中各个所述待检测物体对应的三维模型生成所述仿真场景,所述三维模型还用于在所述仿真场景中进行仿真测试时,装配于车辆不同位置的各个虚拟传感器从不同角度感知所述待检测物体。
22.根据权利要求18至21任一项所述的数据处理设备,其特征在于,所述第一预设规则包括如下规则中的至少一种:
若两个所述数据片段中包括的车道数目相同,则对两个数据片段直接进行拼接处理;
若两个所述数据片段中包括的车道数目不相同,则在所述两个数据片段之间增加第一过渡数据片段,所述第一过渡数据片段指示车道数目发生了变化;
在两个所述数据片段中增加第二过渡数据片段,所述两个数据片段中的第一数据片段与所述第二过渡数据片段的首部拼接,所述两个数据片段中的第二数据片段与所述第二过渡数据片段的尾部拼接,控制所述第一数据片段的预设位置的车辆进入所述第二过渡数据片段,控制所述第二数据片段的预设位置的车辆从所述第二过渡数据片段驶入所述第二数据片段。
23.根据权利要求18至22任一项所述的数据处理设备,其特征在于,所述选择模块,还用于:
根据第二预设规则从所述多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,所述车辆的行驶轨迹用于根据所述仿真场景进行仿真测试时,作为所述仿真测试中采用的虚拟车辆的目标行驶轨迹。
24.根据权利要求18至22任一项所述的数据处理设备,其特征在于,所述选择模块,还用于:
根据第二预设规则从所述多个数据片段中的各个数据片段中选择车辆在各自的数据片段中不显示,所述车辆的行驶状态用于根据所述仿真场景进行仿真测试时,作为所述仿真测试中采用的虚拟车辆的目标行驶状态,所述车辆的行驶状态包括所述车辆的转向灯的开启状态、制动灯的开启状态、所述车辆的警告灯的开启状态中的一种或者几种。
25.根据权利要求23或24所述的数据处理设备,其特征在于,所述第二预设规则包括如下规则中的至少一种:
所述车辆变换了车道、所述车辆转换了行驶方向、所述车辆周围有非机动车或者行人、所述车辆等候红灯、所述车辆进行了倒车入库、所述车辆超越前车、有其他车辆并入所述车辆所在车道。
26.一种仿真设备,其特征在于,包括:
获取模块,用于从仿真系统中获取虚拟车辆;
视角模块,用于根据所述虚拟车辆上装配的各个虚拟传感器的位置、确定所述各个虚拟传感器的感知视角;
所述获取模块,还用于根据所述各个虚拟传感器的感知视角获取仿真场景,所述仿真场景是基于拼接数据片段生成的,所述拼接数据片段是数据处理设备根据第一预设规则对至少一个数据片段进行拼接后得到的,所述至少一个数据片段是根据行驶路线的道路信息从预先存储的多个数据片段中选择的,所述多个数据片段是根据传感器设备采集的数据确定的,所述行驶路线的道路信息是根据指令和地图信息获取的车辆从起始点行驶至目的地的行驶路线的道路信息,所述指令用于指示起始点和目的地;
控制模块,用于控制所述虚拟车辆在所述仿真场景中进行仿真测试。
27.根据权利要求26所述的仿真设备,其特征在于,所述多个数据片段是数据处理设备对所述传感器设备采集的数据进行筛选、识别、分片处理后获取的。
28.根据权利要求26或27所述的仿真设备,其特征在于,所述仿真场景是根据所述拼接数据片段中各个待检测物体对应的三维模型生成的,所述各个待检测物体对应的三维模型是根据所述待检测物体的类别以及所述待检测物体的属性对所述数据片段进行构图处理后获取的。
29.根据权利要求26至28任一项所述的仿真设备,其特征在于,所述第一预设规则包括如下规则中的至少一种:
若两个所述数据片段中包括的车道数目相同,则对两个数据片段直接进行拼接处理;
若两个所述数据片段中包括的车道数目不相同,则在所述两个数据片段之间增加第一过渡数据片段,所述第一过渡数据片段指示车道数目发生了变化;
在两个所述数据片段中增加第二过渡数据片段,所述两个数据片段中的第一数据片段与所述第二过渡数据片段的首部拼接,所述两个数据片段中的第二数据片段与所述第二过渡数据片段的尾部拼接,控制所述第一数据片段的预设位置的车辆进入所述第二过渡数据片段,控制所述第二数据片段的预设位置的车辆从所述第二过渡数据片段驶入所述第二数据片段。
30.根据权利要求26至29任一项所述的仿真设备,其特征在于,所述控制模块,具体用于:
控制所述虚拟车辆从第一位置开始行驶,所述第一位置包括于第一车辆的行驶轨迹中,所述第一车辆是在所述拼接数据片段中不显示的车辆;
将所述各个虚拟传感器获取到的虚拟感知数据发送至智能驾驶控制器,以使所述智能驾驶控制器根据所述虚拟感知数据控制所述虚拟车辆的行驶轨迹;
根据所述虚拟车辆的行驶轨迹和所述第一车辆的行驶轨迹之间的差异更新所述智能驾驶控制器的算法。
31.根据权利要求30所述的仿真设备,其特征在于,所述第一车辆是根据第二预设规则从所述多个数据片段中的各个数据片段中选择的,所述第二预设规则包括如下规则中的至少一种:
所述车辆变换了车道、所述车辆转换了行驶方向、所述车辆周围有非机动车或者行人、所述车辆等候红灯、所述车辆进行了倒车入库、所述车辆超越前车、有其他车辆并入所述车辆所在车道。
32.一种数据处理设备,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至10中任一项所述的方法。
33.一种仿真设备,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求11至16中任一项所述的方法。
34.一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1至10中任一项所述的方法。
35.一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行如权利要求11至16中任一项所述的方法。
36.一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机可以执行如权利要求1至10任一所描述的方法。
37.一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机可以执行如权利要求11至16任一所描述的方法。
CN202080004905.XA 2020-12-31 2020-12-31 一种仿真场景的构建方法、仿真方法以及设备 Active CN112789619B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/142388 WO2022141506A1 (zh) 2020-12-31 2020-12-31 一种仿真场景的构建方法、仿真方法以及设备

Publications (2)

Publication Number Publication Date
CN112789619A true CN112789619A (zh) 2021-05-11
CN112789619B CN112789619B (zh) 2022-04-12

Family

ID=75753952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004905.XA Active CN112789619B (zh) 2020-12-31 2020-12-31 一种仿真场景的构建方法、仿真方法以及设备

Country Status (2)

Country Link
CN (1) CN112789619B (zh)
WO (1) WO2022141506A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687600A (zh) * 2021-10-21 2021-11-23 中智行科技有限公司 仿真测试方法、装置、电子设备及存储介质
CN114067610A (zh) * 2021-09-22 2022-02-18 广州文远知行科技有限公司 一种错过岔道口事故的仿真场景构建方法及装置
CN114936515A (zh) * 2022-04-25 2022-08-23 北京宾理信息科技有限公司 一种生成仿真交通场景文件的方法及系统
CN115148028A (zh) * 2022-06-30 2022-10-04 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆
CN115830562A (zh) * 2022-12-12 2023-03-21 昆易电子科技(上海)有限公司 车道信息的确定方法、计算机设备及介质
WO2023082199A1 (zh) * 2021-11-12 2023-05-19 华为技术有限公司 资源分配方法、hil测试设备及相关装置
CN116308936A (zh) * 2023-05-22 2023-06-23 广州极智信息技术有限公司 一种基于大数据的交通教学智能管理系统及方法
CN116734892A (zh) * 2023-08-15 2023-09-12 腾讯科技(深圳)有限公司 行驶数据的处理方法、装置、设备和介质
CN117272699A (zh) * 2023-11-21 2023-12-22 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526055B (zh) * 2022-09-30 2024-02-13 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN115471495B (zh) * 2022-09-30 2024-02-13 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN117910188A (zh) * 2022-10-10 2024-04-19 华为云计算技术有限公司 模拟训练方法、装置及计算设备集群
CN115374016A (zh) * 2022-10-25 2022-11-22 苏州清研精准汽车科技有限公司 一种测试场景仿真系统、方法、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930623A (zh) * 2009-06-26 2010-12-29 比亚迪股份有限公司 一种三维道路模型化方法及装置
CN104808932A (zh) * 2014-01-23 2015-07-29 腾讯科技(深圳)有限公司 一种路线信息获取方法及终端
CN105096688A (zh) * 2015-08-20 2015-11-25 中交第一公路勘察设计研究院有限公司 基于bim仿真环境的驾驶模拟控制系统
CN106153352A (zh) * 2016-07-04 2016-11-23 江苏大学 一种无人驾驶车辆测试验证平台及其测试方法
CN108734949A (zh) * 2017-04-18 2018-11-02 百度在线网络技术(北京)有限公司 无人驾驶车辆仿真平台构建方法、装置、设备及存储介质
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
US20190077417A1 (en) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Method, apparatus, and computer readable storage medium having instructions for controlling a display of an augmented reality display device for a transportation vehicle
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及系统
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
CN109974739A (zh) * 2019-04-15 2019-07-05 西安交通大学 基于高精度地图的全局导航系统及导航信息生成方法
CN110414098A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 一种仿真测试环境的生成方法及装置
CN110728020A (zh) * 2019-09-05 2020-01-24 一汽解放汽车有限公司 一种整车仿真实验平台道路模拟系统
CN110807219A (zh) * 2019-10-16 2020-02-18 湖北亿咖通科技有限公司 道路网络的三维仿真建模方法、装置、终端及存储介质
CN111261016A (zh) * 2018-11-30 2020-06-09 北京嘀嘀无限科技发展有限公司 道路地图的构建方法、装置和电子设备
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN112069280A (zh) * 2020-09-04 2020-12-11 中国平安财产保险股份有限公司 道路数据处理方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341295B2 (en) * 2018-09-27 2022-05-24 Intel Corporation Methods, systems, and devices for efficient computation of simulation runs
CN111680362B (zh) * 2020-05-29 2023-08-11 北京百度网讯科技有限公司 一种自动驾驶仿真场景获取方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930623A (zh) * 2009-06-26 2010-12-29 比亚迪股份有限公司 一种三维道路模型化方法及装置
CN104808932A (zh) * 2014-01-23 2015-07-29 腾讯科技(深圳)有限公司 一种路线信息获取方法及终端
CN105096688A (zh) * 2015-08-20 2015-11-25 中交第一公路勘察设计研究院有限公司 基于bim仿真环境的驾驶模拟控制系统
CN106153352A (zh) * 2016-07-04 2016-11-23 江苏大学 一种无人驾驶车辆测试验证平台及其测试方法
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
CN108734949A (zh) * 2017-04-18 2018-11-02 百度在线网络技术(北京)有限公司 无人驾驶车辆仿真平台构建方法、装置、设备及存储介质
US20190077417A1 (en) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Method, apparatus, and computer readable storage medium having instructions for controlling a display of an augmented reality display device for a transportation vehicle
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN111261016A (zh) * 2018-11-30 2020-06-09 北京嘀嘀无限科技发展有限公司 道路地图的构建方法、装置和电子设备
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及系统
CN109974739A (zh) * 2019-04-15 2019-07-05 西安交通大学 基于高精度地图的全局导航系统及导航信息生成方法
CN110414098A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 一种仿真测试环境的生成方法及装置
CN110728020A (zh) * 2019-09-05 2020-01-24 一汽解放汽车有限公司 一种整车仿真实验平台道路模拟系统
CN110807219A (zh) * 2019-10-16 2020-02-18 湖北亿咖通科技有限公司 道路网络的三维仿真建模方法、装置、终端及存储介质
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN112069280A (zh) * 2020-09-04 2020-12-11 中国平安财产保险股份有限公司 道路数据处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENGCHENG SHENG ET AL: "Intelligent trajectory planning model for electric vehicle in unknown environment", 《JOURNAL OF INTELLIGENT & FUZZY SYSTEMS》 *
高岩 等: "智能车辆仿真场景建模方法", 《交通信息与安全》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067610A (zh) * 2021-09-22 2022-02-18 广州文远知行科技有限公司 一种错过岔道口事故的仿真场景构建方法及装置
CN113687600A (zh) * 2021-10-21 2021-11-23 中智行科技有限公司 仿真测试方法、装置、电子设备及存储介质
WO2023082199A1 (zh) * 2021-11-12 2023-05-19 华为技术有限公司 资源分配方法、hil测试设备及相关装置
CN114936515A (zh) * 2022-04-25 2022-08-23 北京宾理信息科技有限公司 一种生成仿真交通场景文件的方法及系统
CN114936515B (zh) * 2022-04-25 2023-09-19 北京宾理信息科技有限公司 一种生成仿真交通场景文件的方法及系统
CN115148028A (zh) * 2022-06-30 2022-10-04 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆
CN115148028B (zh) * 2022-06-30 2023-12-15 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆
CN115830562A (zh) * 2022-12-12 2023-03-21 昆易电子科技(上海)有限公司 车道信息的确定方法、计算机设备及介质
CN115830562B (zh) * 2022-12-12 2024-05-24 昆易电子科技(上海)有限公司 车道信息的确定方法、计算机设备及介质
CN116308936A (zh) * 2023-05-22 2023-06-23 广州极智信息技术有限公司 一种基于大数据的交通教学智能管理系统及方法
CN116308936B (zh) * 2023-05-22 2023-07-21 广州极智信息技术有限公司 一种基于大数据的交通教学智能管理系统及方法
CN116734892A (zh) * 2023-08-15 2023-09-12 腾讯科技(深圳)有限公司 行驶数据的处理方法、装置、设备和介质
CN116734892B (zh) * 2023-08-15 2023-11-03 腾讯科技(深圳)有限公司 行驶数据的处理方法、装置、设备和介质
CN117272699A (zh) * 2023-11-21 2023-12-22 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备
CN117272699B (zh) * 2023-11-21 2024-02-09 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
WO2022141506A1 (zh) 2022-07-07
CN112789619B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN112789619B (zh) 一种仿真场景的构建方法、仿真方法以及设备
CN109520744B (zh) 自动驾驶车辆的驾驶性能测试方法和装置
KR102551208B1 (ko) 차량의 교통 신호등 검출 시스템
CN111179585B (zh) 自动驾驶车辆的场地测试方法及装置
CN111473980B (zh) 一种智能汽车自动驾驶能力测试系统
EP3547215A1 (en) Systems and methods for automatically training neural networks
CN109839922B (zh) 用于控制无人驾驶车辆的方法及装置
CN114879631A (zh) 一种基于数字孪生云控平台的自动驾驶测试系统和方法
CN107807542A (zh) 自动驾驶仿真系统
US10635117B2 (en) Traffic navigation for a lead vehicle and associated following vehicles
CN113022540B (zh) 一种用于多车状态监控的实时远程驾驶系统及方法
CN112819968B (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
DE102020128153A1 (de) Sampling von fahrszenarien zum trainieren/abstimmen maschineller lernmodelle für fahrzeuge
CN113511204B (zh) 一种车辆换道行为识别方法及相关设备
CN110688943A (zh) 一种基于实际驾驶数据自动获取图像样本的方法和装置
DE102020120873A1 (de) Lokalisierung basierend auf vordefinierten merkmalen der umgebung
US20230150549A1 (en) Hybrid log simulated driving
US20230252084A1 (en) Vehicle scenario mining for machine learning models
CN109903574A (zh) 路口交通信息的获取方法和装置
CN110675476A (zh) 一种直观传达自动驾驶场景定义的方法和装置
US20230360379A1 (en) Track segment cleaning of tracked objects
CN115952692A (zh) 道路交通的仿真方法和装置、存储介质及电子设备
CN114492022A (zh) 路况传感数据处理方法、装置、设备、程序以及存储介质
CN114813157A (zh) 一种测试场景构建方法及装置
DE102022102187A1 (de) High-fidelity-daten-getriebene multimodale simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant