CN109446371A - 一种智能汽车仿真测试场景库生成方法及测试系统和方法 - Google Patents

一种智能汽车仿真测试场景库生成方法及测试系统和方法 Download PDF

Info

Publication number
CN109446371A
CN109446371A CN201811329138.0A CN201811329138A CN109446371A CN 109446371 A CN109446371 A CN 109446371A CN 201811329138 A CN201811329138 A CN 201811329138A CN 109446371 A CN109446371 A CN 109446371A
Authority
CN
China
Prior art keywords
scene image
image
label
scene
intelligent automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811329138.0A
Other languages
English (en)
Inventor
董汉
舒伟
王猛
陈超
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyan Precision Automobile Technology Co Ltd
Original Assignee
Suzhou Qingyan Precision Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyan Precision Automobile Technology Co Ltd filed Critical Suzhou Qingyan Precision Automobile Technology Co Ltd
Priority to CN201811329138.0A priority Critical patent/CN109446371A/zh
Publication of CN109446371A publication Critical patent/CN109446371A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种智能汽车仿真测试场景库生成方法及仿真测试系统和方法。该仿真测试场景库生成方法包括:获取实景图像;对实景图像进行标注,以生成具有标签的场景图像;利用场景图像生成仿真测试场景库。利用基于实景图像生成的场景图像构造仿真测试场景进行测试,极大提高了对真实交通环境模拟的真实性,从而确保了测试的高效性、可靠性以及场景覆盖率。

Description

一种智能汽车仿真测试场景库生成方法及测试系统和方法
技术领域
本发明涉及智能汽车技术领域,更具体地涉及一种智能汽车仿真测试场景库生成方法及仿真测试系统和方法。
背景技术
智能汽车又称智能网联汽车,通过高级驾驶辅助系统(Advanced DrivingAssistance System,简称ADAS)或自动驾驶(Automated Driving,简称AD)系统等智能控制模组实现智能控制,以辅助驾驶人安全行驶或部分甚至全部替代驾驶人对车辆进行操控。
在智能汽车开发阶段,为确保智能汽车的安全性,需要进行全面的大量的测试。现有测试技术主要有两种:在真实道路用真实车辆进行的实车测试和基于数字建模的虚拟仿真测试。
实车测试的结果可靠性高,但其测试效率太低且测试成本太高,需要消耗大量的人力物力,却难以覆盖多种天气、光照、交通工况、道路线型等情况。当前,虚拟仿真测试越来越多的应用于智能汽车领域。虚拟仿真测试利用基于3D引擎的数字建模技术模拟出各种虚拟交通场景进行测试。这些虚拟交通场景可以通过视频动画的方式播放出来。视频动画自带标签,该标签中包括关于视频动画中的人、车、路等对象的坐标信息、几何尺寸和纹理信息等信息。
发明内容
通过数字建模技术模拟出来的虚拟交通场景与真实交通场景之间存在着不容忽视的真实度差异,其难以模拟出万千变化的真实交通场景。因此存在测试结果可靠性不高和覆盖率不全的问题。
考虑到上述问题而提出了本发明。本发明提供了一种智能汽车仿真测试场景库生成方法及仿真测试系统和方法。
根据本发明一方面,提供了一种智能汽车仿真测试场景库生成方法,包括:
获取实景图像;
对所述实景图像进行标注,以生成具有标签的场景图像;
利用所述场景图像生成所述仿真测试场景库。
示例性地,所述获取实景图像包括:
利用车载终端采集所述实景图像。
示例性地,所述获取实景图像包括:
在所述车载终端采集的图像中选择在包括汽车特定状态时刻的预设时长范围内的图像,以用于确定所述实景图像,其中所述汽车特定状态时刻是根据汽车传感器的感应参数确定的。
示例性地,所述获取实景图像包括:
在所述车载终端采集的图像中选择在包括汽车的预警时刻或报警时刻的预设时长范围内的图像,以用于确定所述实景图像。
示例性地,所述车载终端包括单目摄像机,
所述利用车载终端采集所述实景图像包括:通过所述单目摄像机采集所述实景图像。
示例性地,所述车载终端包括深度摄像机和/或激光雷达,
所述利用车载终端采集所述实景图像包括:通过所述深度摄像机和/或激光雷达采集所述实景图像。
示例性地,所述对所述实景图像进行标注以生成具有标签的场景图像包括:
利用分类器对所述实景图像进行分类;
基于分类结果标注所述实景图像,以生成所述场景图像,其中所述场景图像具有与所述分类结果相对应的标签。
示例性地,所述标签包括以下一项或多项:交通参与对象标签、环境特征标签、交通工况标签、驾驶人标签。
示例性地,所述方法还包括:
接收对所述场景图像的标签的调整信息,并根据所述调整信息修正所述标签。
示例性地,所述利用所述场景图像生成所述仿真测试场景库包括:
根据所述场景图像的标签基于车辆前向维度生成所述仿真测试场景库;和/或
根据所述场景图像的标签基于车内维度生成所述仿真测试场景库。
示例性地,所述获取实景图像包括:基于标准测试场地获取所述实景图像。
根据本发明另一方面,还提供了一种智能汽车仿真测试系统,包括互相连接的测试主机和显示装置,其中:
所述测试主机用于播放利用上述方法生成的仿真测试场景库中的场景图像,接收所述智能汽车基于当前播放的场景图像进行测试而输出的检测信息并且根据所述检测信息和所述当前播放的场景图像确定测试结果;
所述显示装置,用于显示所述测试主机播放的场景图像。
示例性地,所述测试主机还用于:
根据测试用例从所述仿真测试场景库中选择对应的场景图像播放。
示例性地,所述检测信息包括以下一项或多项:交通参与对象信息、环境特征、交通工况以及驾驶人信息。
示例性地,所述测试主机根据所述检测信息和所述当前播放的场景图像确定测试结果通过以下方式实现:
对所述检测信息和所述当前播放的场景图像的标签进行比对,以确定所述智能汽车的识别正确率、拒识率、误识率和/或检测速度;
根据当前播放的场景图像中的驾驶人信息确定是否存在影响安全驾驶的因素,并根据所述影响安全驾驶的因素确定所述智能汽车的驾驶人监测报警的正确率、准确率和误警率;和/或
根据当前播放的场景图像的深度信息确定交通参与对象与所述智能汽车之间的距离信息和相对速度信息,并根据所述距离信息和相对速度信息确定所述智能汽车的前碰撞预警的正确率、准确率和误警率;和/或
根据当前播放的场景图像的车道线的位置信息确定所述智能汽车的车道偏离程度,并根据所述车道偏离程度确定所述智能汽车的车道偏离预警的正确率、准确率和误警率。
示例性地,所述系统还包括存储器,用于存储利用所述仿真测试场景库。
根据本发明又一方面,还提供了一种智能汽车仿真测试方法,包括:
播放并显示利用上述方法生成的仿真测试场景库中的场景图像;
接收所述智能汽车基于当前播放的场景图像进行测试而输出的检测信息;以及
根据所述检测信息和所述当前播放的场景图像确定测试结果。
根据本发明实施例的智能汽车仿真测试场景库生成方法及仿真测试系统和方法,利用基于实景图像生成的场景图像构造仿真测试场景,极大提高了对真实交通环境模拟的真实性,从而确保了测试的高效性、可靠性以及场景覆盖率,由此可以极大地促进智能汽车的开发和研究。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的智能汽车仿真测试场景库生成方法的示意性流程图;
图2示出了根据本发明一个实施例的对实景图像进行标注以生成具有标签的场景图像的示意性流程图;
图3示出了根据本发明一个实施例的智能汽车仿真测试系统以及被测智能汽车的示意性框图;以及
图4示出了根据本发明一个实施例的智能汽车仿真测试方法的示意性流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了在有限的物力人力投入的情况下对智能汽车进行大量测试,一般使用仿真技术模拟真实交通环境进行测试。如前所述,现有的虚拟仿真测试一般利用基于3D引擎的数字建模技术模拟出各种虚拟交通场景进行智能汽车的测试。这种虚拟仿真技术具有以下缺点:
1、交通参与对象是基于模型的,例如基于小轿车、客车、卡车、特种车辆、摩托车、自行车、电动自行车、行人、动物等各种模型。但模型的种类有限,不可能覆盖所有的交通参与对象,例如送外卖的电动自行车可能就没有合适的模型。
2、对交通环境中其他对象的模拟真实度不高。比如树有不同的形状、纹理、细节,但在现有虚拟仿真中就由某个形状替代。比如因为树有不同的形状,在不同的光照下,有可能被智能汽车识别成车,但在虚拟仿真中不能表达如此复杂的场景。比如道路线型是有限的,但真实情况中可能有各种各样的形状,车道线也有不同程度的磨损、污渍,这些在现有虚拟仿真中都不能得到真实表达。
3、对于天气、光照等环境因素仿真的真实度不高。真实世界中存在各种各样的天气、光照条件,现有虚拟仿真难以真实模拟和覆盖各种天气情况。
4、对于交通工况的仿真度不高。虚拟仿真对于交通工况的建模基于交通工况模型。而真实驾驶环境中,不同司机具有不同驾驶习惯,不同情况下的切入、刹车、加速等驾驶行为,以及不同的车流量的影响等,使得虚拟仿真中的交通工况模型与真实的交通工况存在差距。
5、特殊工况在虚拟仿真情况下无法实现。比如某个卡车上面掉落物体,后车需要紧急避让等特殊场景,无法利用虚拟仿真技术进行充分模拟和覆盖,而这些场景往往是需要进行测试的。
为了解决上述问题,本发明提出了基于实景图像生成仿真测试场景库的方法。下面,将参考图1描述根据本发明实施例的智能汽车仿真测试场景库生成方法。图1示出了根据本发明一个实施例的智能汽车仿真测试场景库生成方法100的示意性流程图。
如图1所示,方法100包括步骤S110、步骤S120以及步骤S130。
步骤S110,获取实景图像。
实景图像可以是任何合适的、包括有真实的交通场景的图像。例如通过摄像机、雷达等设备在车辆行进中进行拍摄或扫描获得的图像。实景图像可以是静态的图像,也可以是动态的视频。可以通过任何现有的或未来开发的技术获取实景图像。例如,可以通过摄像头传感器实时跟随汽车的行驶采集实景图像,可以利用无人机沿着车道飞行航拍以采集实景图像,也可以从高分辨率卫星图像中获取实景图像等等。实景图像中包括有真实的交通参与对象,例如小轿车、客车、卡车、特种车辆、摩托车、自行车、电动自行车、行人、动物等。实景图像中包括有交通环境中其他对象,例如路旁的树、绿化隔离带、各种路障等。通过大量的实景图像,例如累计上千万个小时的各种天气、各种道路、各种交通工况、各种行驶状态下的实景图像,可以对真实的交通场景进行充分的仿真测试。
实景图像还可以包括对行驶过程中的驾驶人采集的图像,以便于参考驾驶人的因素对相应的真实交通场景进行仿真测试。
步骤S120,对步骤S110获取的实景图像进行标注,以生成具有标签的场景图像。
每个实景图像具有与交通相关的特征,例如天气、光照、道路类型、障碍物类型、交通参与对象的个数、类型和状态等。不同的特征对于汽车行驶可能产生不同的影响。为此,需要对步骤S110获取的实景图像进行标注,注明该实景图像具有哪些特征。可以用标签的方式表示实景图像具有的各种特征,由此,生成具有标签的场景图像。例如,一个场景图像具有以下标签:“晴天”、“光照一般”、“一般城市道路”、“车道线不清晰”、“行人7个”、“小轿车3辆”、“驾驶人在打手机”。
步骤S130,利用步骤S120生成的场景图像生成仿真测试场景库。
通过步骤S120生成的场景图像,具有体现该场景图像中与交通相关的特征的标签。利用场景图像的标签,可以根据需要对场景图像分类管理,从而生成相应的仿真测试场景库。例如,利用“雨天”和“高速公路”两个标签生成包括有在雨天的高速公路行驶的场景特征的仿真测试场景库。又例如,利用“雪天”和“碰撞”两个标签生成包括有在雪天发生碰撞的场景特征的仿真测试场景库。
根据本发明上述实施例,利用基于实景图像生成的场景图像构造仿真测试场景,极大提高了对真实交通环境模拟的真实性,相对实车测试极大提升了测试效率降低了测试成本,相对虚拟仿真测试极大提升了测试的可靠性和场景覆盖率。
示例性地,可以利用车载终端采集上述实景图像。
车载终端例如可以是ADAS智能车载终端或行车记录仪等具备图像采集功能的车载设备。通过车载终端可以采集汽车行驶过程中的车辆前向的实景图像,采集的实景图像具备和汽车行驶速度一致的场景变化速度,从而可以很好的模拟真实的动态交通场景,例如用作测试不同车速情况下的仿真测试场景。车载终端还可以包括车内摄像头,用于同时获取包括驾驶人体征和状态的车内实景图像。可以理解,不参考驾驶人因素的仿真测试可以直接利用基于车辆前向的实景图像构造的仿真测试场景进行测试。需要参考驾驶人因素的仿真测试可以利用车内的实景图像中的驾驶人的相关信息对基于同时采集的车辆前向的实景图像构造的仿真测试场景进行测试。可以理解,下文中的实景图像可以仅是车辆前向的实景图像,也可以是由同时采集的车辆前向的实景图像和车内实景图像组成的实景图像。
示例性地,在上述通过车载终端采集的图像中选择在包括汽车特定状态时刻的预设时长范围内的图像,以用于确定上述实景图像,其中所述汽车特定状态时刻是根据汽车传感器的感应参数确定的。
汽车传感器例如加速度传感器,可以对车辆的急加速、急减速以及急转弯具有感知能力。汽车特定状态时刻是根据汽车传感器的感应参数确定的,其是该感应参数在特定范围内的时刻。在一个实施例中,可以预先设置变化阈值。例如针对急加速设置第一加速度阈值,可以把汽车加速度与速度方向相同且超过第一加速度阈值的时刻作为汽车特定状态时刻。例如针对急减速设置第二加速度阈值,可以把汽车加速度与速度方向相反且超过第二加速度阈值的时刻作为汽车特定状态时刻。例如针对急转弯设置转弯速度阈值和转换角度阈值,可以把汽车转弯速度超过转换速度阈值或转换角度超过转换角度阈值的时刻作为汽车特定状态时刻,还可以把汽车转弯速度超过转换速度阈值并且转换角度超过转换角度阈值的时刻作为汽车特定状态时刻。在汽车特定状态时刻,触发实景图像确认操作。
示例性地,可以设置从汽车特定状态时刻之前M秒至汽车特定状态时刻之后N秒的时间范围作为预设时长范围,在上述通过车载终端采集的图像中选择在预设时长范围内的图像作为实景图像。其中,M和N是独立设置的时长参数,可以相同,也可以不同。例如,可以设置M和N都为10。又例如,可以设置M为20,设置N为10。示例性地,对于车载终端采集的图像,可以仅保存从图像缓存中选择出的实景图像。由此,可以实现基于汽车特定状态时刻的在线处理,实时获取实景图像。从而可以构造针对不同驾驶行为的真实的仿真测试场景,同时有效利用了图像数据存储空间。可选地,可以实时把获取的实景图像传输至云端或远程服务器,减小本地存储的负担,也利于及时对实景图像进行后续处理,提高构造仿真测试场景的效率。
示例性地,在上述车载终端采集的图像中选择在包括汽车的预警时刻或报警时刻的预设时长范围内的图像,以用于确定上述实景图像。
汽车行驶中可以针对各种危险情况发出预警或报警。可以理解,针对危险情况可以较早发出警报,也即进行预警。可以在危险情况已经发生或即将发生时刻发出警报,也即进行报警。例如在与前车距离过近的情况下可能发生碰撞危险,此时发出前碰撞预警(Forward Collision Warning,简称FCW)。例如,当汽车没有正常在车道内行驶,偏离程度可能造成与相邻车道的车辆发生剐蹭或碰撞危险,此时发出车道偏离预警(LaneDeparture Warning,简称LDW)。例如,当驾驶人处于危险驾驶状态,如打手机、抽烟、打呵欠、闭眼等,此时发出驾驶员状态监控预警(Driver State Monitoring,简称DSM)。
在汽车发出预警或报警时刻,触发实景图像确认操作。示例性地,可以设置从预警时刻或报警时刻之前K秒至预警时刻或报警时刻之后L秒的时间范围作为预设时长范围,在上述通过车载终端采集的图像中选择在预设时长范围内的图像作为实景图像。其中,K和L是独立设置的时长参数,可以相同,也可以不同。例如,可以设置K和L都为10。又例如,可以设置K为20,设置L为10。示例性地,对于车载终端采集的图像,可以仅保存从图像缓存中选择出的实景图像。由此,可以实现基于汽车预警时刻或报警时刻的在线处理,实时获取实景图像。从而可以构造针对危险情况的真实的仿真测试场景,同时有效利用了图像数据存储空间。可选地,可以实时把获取的实景图像传输至云端或远程服务器,减小本地存储的负担,也利于及时对实景图像进行后续处理,提高构造仿真测试场景的效率。
示例性地,可以从上述基于汽车特定状态时刻获取的实景图像中选择在包括汽车预警时刻或报警时刻的预设时长范围内的图像,以用于进一步确定上述实景图像。可选地,可以选择包括汽车特定状态时刻的预设时长范围与包括汽车预警时刻或报警时刻的预设时长范围的交集里的图像作为实景图像。可选地,如在包括汽车特定状态时刻的预设时长范围内汽车发出了预警或报警,可以直接确定该包括汽车特定状态时刻的预设时长范围内的实景图像为进一步确定的实景图像。由此,可以实现基于汽车特定状态时刻和汽车预警时刻或报警时刻的在线处理,实时获取实景图像。从而可以构造针对危险情况驾驶行为的真实的仿真测试场景,同时有效利用了图像数据存储空间。可选地,可以实时把获取的实景图像传输至云端或远程服务器,减小本地存储的负担,也利于及时对实景图像进行后续处理,提高构造仿真测试场景的效率。
示例性地,上述车载终端包括单目摄像机,上述利用车载终端采集实景图像包括:通过单目摄像机采集实景图像。
单目摄像机只包含一个镜头。由于很多图像算法的研究都是基于单目摄像机开发的,因此相对于其他类别的摄像机,单目摄像机的算法成熟度更高。可以利用合适的算法对单目摄像机采集的实景图像进行相关处理,以提高构造仿真测试场景的效率和场景图像效果。
示例性地,上述车载终端包括深度摄像机和/或激光雷达,上述利用车载终端采集所述实景图像包括:通过深度摄像机和/或激光雷达采集实景图像。
深度摄像机是可以获取场景深度信息的摄像机。例如可以是基于双目视觉技术的双目摄像机,可以是基于结构光技术的深度摄像机,可以是基于时差测距(Time OfFlight,简称TOF)技术的深度摄像机等等。激光雷达可以获得包括周围场景的深度信息的点云数据,在本申请中也将其称为实景图像。通过深度摄像机或激光雷达获取的实景图像包括有场景深度信息,例如本车与前车的距离、本车与其他交通参与对象或建筑物的距离。根据视频中连续视频帧里的距离变化,还可以获取本车与前车的相对速度等信息。利用上述距离和/或相对速度等信息,可以构造支持智能汽车报警测试的仿真测试场景。
图2示出了根据本发明一个实施例的步骤S120对实景图像进行标注以生成具有标签的场景图像的示意性流程图。如图2所示,上述步骤S120可以包括以下子步骤:
步骤S121,利用分类器对实景图像进行分类。
利用计算机对图像进行计算分析,把图像划归为若干个类别中的某一种,以代替人的视觉判读,从而构造出可以对图像进行分类的分类器。可以利用任何现有的或未来开发的技术构造分类器,例如基于深度学习的分类器。分类器根据实景图像中所反映的不同特征,对不同类别的目标进行区分,从而获得该实景图像的分类结果。例如,根据实景图像的天气特征进行分类,把实景图像分为“晴天”、“雨天”、“雾天”、“雪天”和“阴天”。例如,根据实景图像的道路特征进行分类,把实景图像分为“一般城市道路”、“城市快速路”、“高速公路”和“乡村道路”。由此,可以根据不同的交通影响因素,对实景图像进行分类,针对每个实景图像获得相应的分类结果。
步骤S122,基于通过步骤S121获得的分类结果标注实景图像,以生成场景图像,其中所述场景图像具有与分类结果相对应的标签。
根据各种交通影响因素,利用步骤S121获得的实景图像的各种分类维度的分类结果。对实景图像标注上相应的分类结果,以生成场景图像。场景图像的标签即为对应的实景图像的分类结果。例如,某个实景图像经过步骤S121分类后有以下分类结果:
天气类型:雨天;
光照类型:光照暗淡;
道路类型:一般城市道路;
障碍物类型:小轿车+行人+自行车;
交通工况:有轻微冲突,很容易避免;
驾驶人状态:打手机。
给该实景图像标注以上分类信息,生成场景图像,该场景图像具有以下标签:“天气类型:雨天”、“光照类型:光照暗淡”、“道路类型:一般城市道路”、“障碍物类型:小轿车+行人+自行车”、“交通工况:有轻微冲突,很容易避免”以及“驾驶人状态:打手机”。
由此,获得了具有标签的场景图像,标签内容表示了场景图像在各种交通影响因素中的特征,从而可以构造针对性的仿真测试场景。
在一个实施例中,上述场景图像的标签包括以下一项或多项:交通参与对象标签、环境特征标签、交通工况标签、驾驶人标签。
交通参与对象标签可以包括交通参与对象的类型标签。交通参与对象的类型例如可以是小轿车、客车、卡车、特种车辆、摩托车、自行车、电动自行车、行人、动物等。交通参与对象标签还可以包括交通参与对象的状态标签。交通参与对象的状态例如可以是该交通参与对象在场景中的位置信息,所述位置信息可以使用包含该交通参与对象的边框(Bounding Box)的四个角点的坐标表示。交通参与对象的状态例如可以是与本车之间的相对速度信息。例如,某场景图像中的某个交通参与对象标签为:“类型:小汽车”、“位置:Bounding Box{A,B,C,D}”、“相对速度:20KM/h”。其中,A、B、C、D表示该交通参与对象的Bounding Box的四个角点的坐标。
环境特征可以包括天气、光照、道路、车道线以及障碍物等方面的特征。例如,某场景图像的环境特征标签为:“天气:晴天”、“光照:光照强烈”、“道路类型:道路高速公路”、“车道线型:应急车道”、“障碍物类型:警示三角架”。
交通工况又叫做交通流,是对交通场景的整体动态情况的描述。智能汽车可以基于动态交通工况采取相应的控制措施。交通工况标签例如可以是“交通工况:有轻微冲突、很容易避免”、“交通工况:有较大冲突、需采取一定措施避免”、“交通工况:冲突很明显、需及时采取措施避免”、“交通工况:碰撞”。更多交通工况分类可以参考美国高速公路安全管理局(National Highway Traffic Safety Administration,简称NHTSA)公布的37种危险工况分类。
驾驶人标签可以包括驾驶人的体征标签。驾驶人的体征例如可以是年龄、性别、身高、头部是否有配饰、面部光照情况等。男性和女性的驾驶习惯存在明显差异。50岁以下较年轻的驾驶人和50岁以上较老年的驾驶人的驾驶习惯会存在明显差异。驾驶人的身高会影响驾驶人的视野,从而影响驾驶操作判断。驾驶人戴有帽子、眼镜或墨镜也会对驾驶人的视野存在一定影响。驾驶人的面部的不同光照情况,如完全曝光、处于阴影中、有光斑或光栅等,会影响驾驶人的注意力、眼部聚焦,从而影响驾驶人的有效视野甚至驾驶动作。驾驶人标签还可以包括驾驶人的状态标签。驾驶人的状态例如可以是:闭眼、抽烟、打手机、打哈欠等,这些注意力不集中的状态对交通安全驾驶存在严重影响。利用车内摄像装置,例如司机行为识别摄像头,可以获取包括驾驶人的车内实景图像。例如,某场景图像的驾驶人的体征标签为:“性别:女性”、“年龄:50岁以下”、“配饰类型:戴眼镜”、“面部光照:部分有阴影”;该场景图像的驾驶人的状态标签为:“打哈欠”。
通过以上各种类型的标签,体现场景图像中的各种交通因素,由此可以针对各种交通情况构造相应的仿真测试场景。
在一个实施例中,可以接收对场景图像的标签的调整信息,并根据所述调整信息修正该场景图像的标签。
通过上述分类器对实景图像进行分类,可能存在不够准确或不够精确的分类结果,从而使得场景图像的标签与实际场景内容不适配的情况。对此,可以利用场景测试技术或人工核对的方法给出对场景图像的标签的调整信息,根据调整信息相应地修改场景图像的标签。由此,可以使得场景图像的标签对实际场景内容的描述更为准确,从而可以构造准确的仿真测试场景。
利用上述各种场景图像的标签,可以从各种维度划分仿真测试场景,生成各维度的仿真测试场景库。例如,根据天气类型、道路类型、交通工况等维度进行划分。
示例性地,可以根据场景图像的标签基于车辆前向维度生成仿真测试场景库。表1示出了基于车辆前向维度划分的部分标签,其中,交通参与对象仅示出了交通参与对象的类型,没有示出交通参与对象的状态。
表1车辆前向维度标签
示例性地,可以根据场景图像的标签基于车内维度生成仿真测试场景库。表2示出了基于车内维度划分的部分标签。
表2车辆内维度标签
车辆前向维度包括了场景图像中车外的交通相关特征,属于交通的客观影响因素。车内维度包括了驾驶人相关的特征,属于交通的主观影响因素。可以仅基于车辆前向维度构造仿真测试场景库对智能汽车进行客观影响因素方面的测试,可以仅基于车内维度构造仿真测试场景库对智能汽车进行主观影响因素方面的测试,或者结合两者构造仿真测试场景库对智能汽车进行综合性测试。由此,获得可以对智能汽车进行全面测试的仿真测试场景库,提高了测试覆盖率。
示例性地,可以基于标准测试场地获取实景图像。
标准测试场地是对智能汽车进行实车测试的场地,例如经过交通部门认定的自动驾驶封闭场地测试基地。标准测试场地通过布置标线、标识、标牌、可移动信号灯、目标车、目标人等设施,可构建各种不同形态、不同规模的道路交通场景、前方事故预警场景等以满足自动驾驶测试需求。为保证仿真测试能与在实际道路的实车测试达到一样的测试效果,本发明采用与场地测试结合的标定方法。在标准测试场地中选取能够较为完好复现的交通工况及测试场景,利用车载终端,例如ADAS设备、行车记录仪以及车内摄像头记录测试过程中的实景图像。采用差分GPS等技术标记本车、前方车辆、行人、自行车及车道线等的绝对及相对位置等信息。测试完成后,基于录制好的实景图像生成场景图像,还可以利用前述标注信息对场景图像的标签进行修正。由此,获得基于标准测试场地的场景图像,可以构造结合标准测试场地的仿真测试场景,从而可以通过仿真测试获得接近实车测试的测试效果。例如,在一个实施例中,仿真测试输出的测试结果与实车测试的测试结果比对的一致率达到99%以上。
根据本发明另一方面,提供了一种智能汽车仿真测试系统。图3示出了根据本发明一个实施例的智能汽车仿真测试系统300的示意性框图。如图3所示,系统300包括互相连接的测试主机310和显示装置320。
测试主机310用于播放利用上述方法生成的仿真测试场景库中的场景图像,接收智能汽车基于当前播放的场景图像进行测试而输出的检测信息并且根据所述检测信息和所述当前播放的场景图像确定测试结果。显示装置320用于显示测试主机310播放的场景图像。
智能汽车可以理解为装备了智能控制模组的普通汽车。智能控制模组实现智能控制,以辅助驾驶人安全行驶或部分甚至全部替代驾驶人对车辆进行操控。智能控制模组例如可以是ADAS设备或AD设备。仿真测试中,可以通过对智能控制模组的测试替代对智能汽车的测试。下文中的智能汽车330可以指代整车系统,也可以指代智能控制模组。
测试主机310从利用上述方法生成的仿真测试场景库中读取场景图像进行播放。显示装置320用于显示测试主机310播放的场景图像。显示装置320例如可以是投影仪或大尺寸显示器,使得显示的场景图像中的车辆大小与真实车辆的大小一致,从而提高仿真测试的真实度。智能汽车330的视觉系统对准显示装置320,基于当前播放的场景图像进行测试,输出检测信息至测试测试主机310。检测信息以智能汽车330各类输出信息为准,例如可以是对场景图像中的相关交通因素的识别。例如对场景图像中的交通参与对象、天气、道路类型等的识别。例如对驾驶员是否在吸烟、是否在打手机等影响交通安全行为的识别。检测信息还可以包括智能汽车基于当前播放的场景图像做出的反应,例如发出预警或报警、改变行车道进行避让、急刹车等。测试主机310根据从智能汽车330收到的检测信息和当前播放的场景图像确定测试结果。例如场景图像的交通参与对象的标签是“小轿车”,如果检测信息中交通参与对象识别为“小轿车”,则确定有关交通参与对象的测试结果正确。例如智能汽车330根据场景图像中识别出的前车的位置信息和速度信息得到的碰撞时间(Time ToCollision,简称TTC)小于预设碰撞时间阈值,判断本车与前车存在碰撞风险,于是发出前碰撞预警。如果测试主机310根据场景图像中该前车的位置信息及速度信息得到的TTC与智能汽车330输出的TTC的误差在阈值范围内,则确定该前碰撞预警为正确的测试结果,否则为错误预警。
根据本发明上述实施例的仿真测试系统,利用基于实景图像生成的场景图像构造仿真测试场景进行仿真测试,极大提高了仿真测试的真实性,相对实车测试极大提升了测试效率降低了测试成本,相对虚拟仿真测试极大提升了测试的可靠性和场景覆盖率。
示例性地,系统300还包括与测试主机310连接的存储器(未示出),用于存储利用上述方法生成的仿真测试场景库。测试主机310可以从存储器中读取场景图像进行仿真测试。存储仿真测试场景库的存储器独立于测试主机310,可以同时与多台测试主机连接,从而可以支持多台智能汽车同时进行仿真测试,提高测试效率。
可选地,利用上述方法生成的仿真测试场景库可以存储于云端或远程数据服务器。测试主机310可以从云端或远程数据服务器中读取场景图像进行仿真测试。多台测试主机310可以同时从云端或远程数据服务器读取场景图像进行仿真测试,从而可以支持多台智能汽车同时进行仿真测试,提高测试效率。
可选地,利用上述方法生成的仿真测试场景库可以存储于测试主机310内置的存储器。测试主机310从其内置的存储器中读取场景图像进行仿真测试。内置的存储器可以提供高数据带宽,从而可以支持高分辨率的场景图像传输,确保能够基于高质量的场景图像进行仿真测试,从而提高仿真测试的效果。
示例性地,测试主机310还用于根据测试用例从利用上述方法生成的仿真测试场景库中选择对应的场景图像播放。
为了对智能汽车进行全面测试,需要构造覆盖各种功能特性和/或性能特性的测试用例。测试主机310根据构造的每个测试用例从利用上述方法生成的仿真测试场景库中选择对应的场景图像播放。例如,测试用例为:雨天高速公路弯道行车测试。测试主机310根据测试用例选择包括有“雨天”、“高速公路”和“弯道”的场景图像进行播放。由此,实现智能汽车仿真测试的自动化,提高智能汽车仿真测试的效率。
示例性地,智能汽车330输出的检测信息包括以下一项或多项:交通参与对象信息、环境特征、交通工况以及驾驶人信息。交通参与对象信息可以包括交通参与对象的类型。交通参与对象的类型例如可以是小轿车、客车、卡车、特种车辆、摩托车、自行车、电动自行车、行人、动物等。交通参与对象信息还可以包括交通参与对象的状态。交通参与对象的状态例如可以是该交通参与对象在场景中的位置信息,所述位置信息可以使用包含该交通参与对象的边框(Bounding Box)的四个角点的坐标表示。交通参与对象的状态例如可以是与本车之间的相对速度信息。环境特征可以包括天气、光照、道路、车道线以及障碍物等方面的特征。交通工况又叫做交通流,是对交通场景的整体动态情况的描述。智能汽车330可以基于动态交通工况采取相应的控制措施。驾驶人信息可以包括驾驶人的体征信息,例如可以是年龄、性别、身高、头部是否有配饰、面部光照情况等。驾驶人信息还可以包括驾驶人的状态信息,例如可以是:闭眼、抽烟、打手机、打哈欠等,这些注意力不集中的状态对交通安全驾驶存在严重影响。智能汽车330基于从场景图像中获取的各种检测信息进行智能控制,因此各项检测功能是否正确工作体现了智能汽车是否能够实现正确的智能控制。因此可以利用各种检测信息确定智能汽车的测试结果,使得智能汽车的测试结果清晰明确。
示例性地,测试主机310可以通过以下四个步骤根据智能汽车330输出的检测信息和当前播放的场景图像确定测试结果。
步骤一,测试主机310对智能汽车330输出的检测信息和当前播放的场景图像的标签进行比对,以确定智能汽车330的以下指标中的一项或多项:识别正确率、拒识率、误识率和/或检测速度。
对于每个测试用例,测试主机310对智能汽车330输出的检测信息和当前播放的场景图像的标签进行比对,得到该测试用例的测试结果。基于已执行的测试用例,可以对所有获得的测试结果进行统计,从而确定智能汽车330的识别正确率、拒识率、误识率和/或检测速度。例如,天气类型的识别正确率为99%、拒识率为0%、误识率1%、检测速度为30帧每秒(Frame Per Sencond,简称FPS)。例如,交通参与对象的识别正确率为95%、拒识率为2%、误识率3%、检测速度为50FPS,该交通参与对象的Bounding Box的坐标精确度为95%。基于智能汽车330从场景图像播放至输出相应的检测信息的时间延迟,测试主机310还可以输出智能汽车330的整体延迟结果,例如针对以50FPS播放的场景图像,智能汽车330的整体延迟为10帧,即智能汽车330延迟场景图像播放10帧时间后输出检测信息。由此,可以获得智能汽车的感知层的量化的检测精度和检测速度等。
步骤二,测试主机310根据当前播放的场景图像中的驾驶人信息确定是否存在影响安全驾驶的因素,并根据该影响安全驾驶的因素确定所述智能汽车的驾驶人监测报警的正确率、准确率和误警率。
上述影响安全驾驶的因素包括驾驶人的状态和驾驶人的体征。针对驾驶人的状态的驾驶人监测报警包括疲劳驾驶报警、抽烟危险驾驶报警、打手机危险驾驶报警等。针对驾驶人的体征的驾驶人监测报警包括需要调整座椅高度的报警、脸部光照过强报警等。
对于每个测试用例,智能汽车330可以检测驾驶人信息,例如驾驶人是否处于闭眼、抽烟、打手机、打哈欠等状态。这些注意力不集中的状态对交通安全驾驶存在严重影响,属于上述影响安全驾驶的因素。对于检测到驾驶人持续闭眼超过第一疲劳驾驶时间阈值(例如10秒)或检测到驾驶人在第二疲劳驾驶时间阈值(例如2分钟)内打了预设数值个数(例如3个)哈欠的情况,智能汽车330发出疲劳驾驶报警。上述第一疲劳驾驶时间阈值、第二疲劳驾驶时间阈值以及预设数值可使用系统默认值,也可由用户预先设置。对于检测到驾驶人抽烟的情况,智能汽车330发出抽烟危险驾驶报警。对于检测到驾驶人打手机的情况,智能汽车330发出打手机危险驾驶报警。测试主机310根据当前播放的场景图像中驾驶人的状态判断是否存在影响安全驾驶的因素。如果存在影响安全驾驶的因素并且与智能汽车330发出的驾驶人监测报警的内容一致,则确定当前的驾驶人监测报警正确,否则为错误报警。
对于每个测试用例,智能汽车330可以检测驾驶人的体征,例如驾驶人的身高、脸部光照等。对于检测到驾驶人身高过低却没有把座椅调整到合适高度,使得驾驶人的眼睛没有处于合适的高度的情况,不能驾驶人保证有足够的视野进行安全驾驶的情况,智能汽车330发出需要调整座椅高度的报警。对于检测到驾驶人的脸部光照强烈的情况,会影响驾驶人的注意力以及眼部聚焦,智能汽车330发出脸部光照过强报警,可选地,提示驾驶人使用遮阳板。测试主机310根据当前播放的场景图像中驾驶人的体征判断是否存在影响安全驾驶的因素。如果存在影响安全驾驶的因素并且与智能汽车330发出的驾驶人监测报警的内容一致,则确定当前的驾驶人监测报警正确,否则为错误报警。
例如,智能汽车330应该发出100次疲劳驾驶报警,实际发出93次前碰撞预警,其中,应该发出疲劳驾驶报警的时刻发出了87次疲劳驾驶报警,不该发出疲劳驾驶报警的时刻发出了6次疲劳驾驶报警。则该智能汽车330的疲劳驾驶报警的正确率为87%(=87÷100)、准确率为93.55%(=87÷93)、误警率为6.45%(=6÷93)。由此,可以获得智能汽车的疲劳驾驶报警逻辑的量化的测试结果。类似的,可以获得抽烟危险驾驶报警、打手机危险驾驶报警、需要调整座椅高度的报警、脸部光照过强报警等驾驶人监测报警的测试结果。
步骤三,测试主机310根据当前播放的场景图像的深度信息确定交通参与对象与智能汽车330之间的距离信息和相对速度信息,并根据该距离信息和相对速度信息确定智能汽车330的前碰撞预警的正确率、准确率和误警率。
对于每个测试用例,智能汽车330根据从当前播放的场景图像实时判断前方是否有车、前方车辆是否在本车道内,获取本车道内前车的Bounding Box的详细坐标值,按本车当前速度计算TTC。当TTC小于预设碰撞时间阈值时判断本车与前车存在碰撞风险,于是发出前碰撞预警。如果测试主机310根据当前播放的场景图像中该前车的位置信息及速度信息得到的TTC与智能汽车330输出的TTC的误差在阈值范围内,则确定该前碰撞预警为正确的测试结果,否则为错误预警。基于已执行的测试用例,可以对所有获得的测试结果进行统计,从而确定智能汽车330的前碰撞预警的正确率、准确率和误警率。例如,智能汽车330应该发出100次前碰撞预警,实际发出97次前碰撞预警,其中,应该发出前碰撞预警的时刻发出了89次前碰撞预警,不该发出前碰撞预警的时刻发出了8次前碰撞预警。则该智能汽车330的前碰撞预警的正确率为89%
(=89÷100)、准确率为91.75%(=89÷97)、误警率为8.25%(=8÷97)。由此,可以获得智能汽车决策层的前碰撞预警逻辑的量化的测试结果。类似的,可以对前碰撞报警进行测试,获得智能汽车决策层的前碰撞报警逻辑的量化的测试结果。
步骤四,测试主机310根据当前播放的场景图像的车道线的位置信息确定智能汽车330的车道偏离程度,并根据该车道偏离程度确定智能汽车330的车道偏离预警的正确率、准确率和误警率。
对于每个测试用例,智能汽车330根据当前播放的场景图像实时识别车道线,获取车道线的位置信息。基于车道线的位置信息确定本车的车道偏离程度,并根据该车道偏离程度判断本车的车道偏离是否超过预设偏离阈值,如超出预设偏离阈值则发出车道偏离预警。如果测试主机310根据当前播放的场景图像的车道线的位置信息和智能汽车330的位置信息,判断智能汽车330的车道偏离程度超出预设阈值,则确定该车道偏离预警为正确的测试结果,否则为错误预警。基于已执行的测试用例,可以对所有获得的测试结果进行统计,从而确定智能汽车330的车道偏离预警的正确率、准确率和误警率。例如,智能汽车330应该发出100次车道偏离预警,实际发出95次前碰撞预警,其中,应该发出车道偏离预警的时刻发出了90次车道偏离预警,不该发出车道偏离预警的时刻发出了5次车道偏离预警。则该智能汽车330的车道偏离预警的正确率为90%(=90÷100)、准确率为94.74%(=90÷95)、误警率为5.26%(=5÷95)。由此,可以获得智能汽车决策层的车道偏离预警逻辑的量化的测试结果。类似的,可以对车道偏离报警进行测试,获得被测试的智能汽车决策层的车道偏离报警逻辑的量化的测试结果。
可以理解,上述步骤一、步骤二、步骤三和步骤四没有前后执行顺序的关系。测试主机310可以从步骤一、步骤二、步骤三和步骤四中任意选择一个、两个、三个或四个步骤确定测试结果。
根据本发明又一个方面,还提供了一种智能汽车仿真测试方法。图4示出了根据本发明一个实施例的智能汽车仿真测试方法400的示意性流程图。如图4所示,方法400包括步骤S410、步骤S420以及步骤S430。
步骤S410,播放并显示利用上述方法生成的仿真测试场景库中的场景图像。
步骤S420,接收智能汽车基于当前播放的场景图像进行测试输出的检测信息。
步骤S430,根据所述检测信息和所述当前播放的场景图像的标签确定测试结果。
通过上述关于智能汽车仿真测试系统的描述,本领域普通技术人员可以理解该方法400的详细执行步骤。为了简洁,在此不再赘述。
根据本发明的智能汽车仿真测试方法,利用基于实景图像生成的场景图像构造仿真测试场景进行测试,极大提高了对真实交通环境模拟的真实性,从而确保了测试的高效性、可靠性以及场景覆盖率,由此可以极大地促进智能汽车的开发和研究。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像识别装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种智能汽车仿真测试场景库生成方法,包括:
获取实景图像;
对所述实景图像进行标注,以生成具有标签的场景图像;
利用所述场景图像生成所述仿真测试场景库。
2.根据权利要求1所述的方法,其中,所述获取实景图像包括:
利用车载终端采集所述实景图像。
3.根据权利要求2所述的方法,其中,所述获取实景图像包括:
在所述车载终端采集的图像中选择在包括汽车特定状态时刻的预设时长范围内的图像,以用于确定所述实景图像,其中所述汽车特定状态时刻是根据汽车传感器的感应参数确定的。
4.根据权利要求2或3所述的方法,其中,所述获取实景图像包括:
在所述车载终端采集的图像中选择在包括汽车的预警时刻或报警时刻的预设时长范围内的图像,以用于确定所述实景图像。
5.根据权利要求2或3所述的方法,其中,所述车载终端包括单目摄像机,
所述利用车载终端采集所述实景图像包括:通过所述单目摄像机采集所述实景图像。
6.根据权利要求2或3所述的方法,其中,所述车载终端包括深度摄像机和/或激光雷达,
所述利用车载终端采集所述实景图像包括:通过所述深度摄像机和/或激光雷达采集所述实景图像。
7.根据权利要求1至3任一项所述的方法,其中,所述对所述实景图像进行标注以生成具有标签的场景图像包括:
利用分类器对所述实景图像进行分类;
基于分类结果标注所述实景图像,以生成所述场景图像,其中所述场景图像具有与所述分类结果相对应的标签。
8.根据权利要求1至3任一项所述的方法,所述标签包括以下一项或多项:交通参与对象标签、环境特征标签、交通工况标签、驾驶人标签。
9.根据权利要求1至3任一项所述的方法,其中,所述方法还包括:
接收对所述场景图像的标签的调整信息,并根据所述调整信息修正所述标签。
10.根据权利要求1至3任一项所述的方法,所述利用所述场景图像生成所述仿真测试场景库包括:
根据所述场景图像的标签基于车辆前向维度生成所述仿真测试场景库;和/或
根据所述场景图像的标签基于车内维度生成所述仿真测试场景库。
11.根据权利要求1至3任一项所述的方法,其中,所述获取实景图像包括:基于标准测试场地获取所述实景图像。
12.一种智能汽车仿真测试系统,包括互相连接的测试主机和显示装置,其中:
所述测试主机用于播放利用如权利要求1至11任一项所述方法生成的仿真测试场景库中的场景图像,接收所述智能汽车基于当前播放的场景图像进行测试而输出的检测信息并且根据所述检测信息和所述当前播放的场景图像确定测试结果;
所述显示装置,用于显示所述测试主机播放的场景图像。
13.根据权利要求12所述的系统,其中,所述测试主机还用于:
根据测试用例从所述仿真测试场景库中选择对应的场景图像播放。
14.根据权利要求12或13任一项所述的系统,其中,所述检测信息包括以下一项或多项:交通参与对象信息、环境特征、交通工况以及驾驶人信息。
15.根据权利要求12或13任一项所述的系统,其中,所述测试主机根据所述检测信息和所述当前播放的场景图像确定测试结果通过以下方式实现:
对所述检测信息和所述当前播放的场景图像的标签进行比对,以确定所述智能汽车的识别正确率、拒识率、误识率和/或检测速度;和/或
根据当前播放的场景图像中的驾驶人信息确定是否存在影响安全驾驶的因素,并根据所述影响安全驾驶的因素确定所述智能汽车的驾驶人监测报警的正确率、准确率和误警率;和/或
根据当前播放的场景图像的深度信息确定交通参与对象与所述智能汽车之间的距离信息和相对速度信息,并根据所述距离信息和相对速度信息确定所述智能汽车的前碰撞预警的正确率、准确率和误警率;和/或
根据当前播放的场景图像的车道线的位置信息确定所述智能汽车的车道偏离程度,并根据所述车道偏离程度确定所述智能汽车的车道偏离预警的正确率、准确率和误警率。
16.根据权利要求12或13任一项所述的系统,其中,所述系统还包括存储器,用于存储所述仿真测试场景库。
17.一种智能汽车仿真测试方法,包括:
播放并显示利用如权利要求1至11任一项所述方法生成的仿真测试场景库中的场景图像;
接收所述智能汽车基于当前播放的场景图像进行测试而输出的检测信息;以及
根据所述检测信息和所述当前播放的场景图像确定测试结果。
CN201811329138.0A 2018-11-09 2018-11-09 一种智能汽车仿真测试场景库生成方法及测试系统和方法 Pending CN109446371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329138.0A CN109446371A (zh) 2018-11-09 2018-11-09 一种智能汽车仿真测试场景库生成方法及测试系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811329138.0A CN109446371A (zh) 2018-11-09 2018-11-09 一种智能汽车仿真测试场景库生成方法及测试系统和方法

Publications (1)

Publication Number Publication Date
CN109446371A true CN109446371A (zh) 2019-03-08

Family

ID=65552592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329138.0A Pending CN109446371A (zh) 2018-11-09 2018-11-09 一种智能汽车仿真测试场景库生成方法及测试系统和方法

Country Status (1)

Country Link
CN (1) CN109446371A (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192232A (zh) * 2019-04-18 2019-08-30 京东方科技集团股份有限公司 交通信息处理设备、系统及方法
CN110543173A (zh) * 2019-08-30 2019-12-06 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
CN110579216A (zh) * 2019-09-12 2019-12-17 百度在线网络技术(北京)有限公司 测试场景库构建方法、装置、电子设备和介质
CN110705134A (zh) * 2019-12-13 2020-01-17 中智行科技有限公司 行驶测试方法、装置、设备及计算机可读存储介质
CN110763483A (zh) * 2019-09-26 2020-02-07 泰牛汽车技术(苏州)有限公司 一种安全等级测试场景库的自动生成方法及装置
CN110795348A (zh) * 2019-10-28 2020-02-14 武汉极目智能技术有限公司 基于数据回放的图像测距的自动化测试装置及方法
CN111178402A (zh) * 2019-12-13 2020-05-19 赛迪检测认证中心有限公司 一种自动驾驶车辆道路测试的场景分类方法及装置
CN111243335A (zh) * 2020-01-20 2020-06-05 上海大学 一种自主无人系统中的场景描述方法
CN111967123A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种仿真测试中仿真测试用例的生成方法
CN112052820A (zh) * 2020-09-15 2020-12-08 展讯通信(上海)有限公司 识别ai场景的识别率的测试方法及装置、存储介质、终端
CN112131697A (zh) * 2019-06-06 2020-12-25 上海汽车集团股份有限公司 一种智能集卡的仿真测试方法、装置及平台
CN112256590A (zh) * 2020-11-12 2021-01-22 腾讯科技(深圳)有限公司 虚拟场景有效性判定方法、装置和自动驾驶系统
CN112395208A (zh) * 2021-01-19 2021-02-23 珠海亿智电子科技有限公司 Ai识别装置的自动测试方法、装置、设备及存储介质
CN112513951A (zh) * 2020-10-28 2021-03-16 华为技术有限公司 一种场景文件的获取方法以及装置
CN112525552A (zh) * 2020-12-15 2021-03-19 武汉极目智能技术有限公司 汽车高级辅助驾驶系统的算法测试系统及方法
CN112527633A (zh) * 2020-11-20 2021-03-19 北京赛目科技有限公司 一种场景库的自动驾驶仿真测试方法及装置
CN112528477A (zh) * 2020-12-03 2021-03-19 安徽江淮汽车集团股份有限公司 道路场景仿真方法、设备、存储介质及装置
CN112818834A (zh) * 2021-01-29 2021-05-18 山东大学 一种交叉口针对应急车辆的避让判定方法、设备及介质
CN113032261A (zh) * 2021-03-23 2021-06-25 北京三快在线科技有限公司 一种仿真测试的方法及装置
WO2021146906A1 (zh) * 2020-01-21 2021-07-29 深圳元戎启行科技有限公司 测试场景仿真方法、装置、计算机设备和存储介质
CN113239609A (zh) * 2020-12-24 2021-08-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法
CN113299095A (zh) * 2021-05-21 2021-08-24 深圳市元征软件开发有限公司 车辆校准提醒方法、装置、电子设备及存储介质
CN113297667A (zh) * 2021-04-30 2021-08-24 东风汽车集团股份有限公司 一种智能驾驶数据闭环的方法及系统
CN113343461A (zh) * 2021-06-07 2021-09-03 芜湖雄狮汽车科技有限公司 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN113392804A (zh) * 2021-07-02 2021-09-14 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
CN113608187A (zh) * 2021-09-17 2021-11-05 沈阳铁路信号有限责任公司 一种模拟铁路障碍物生成的方法
CN113674610A (zh) * 2021-10-22 2021-11-19 北京智能车联产业创新中心有限公司 可变道路形态的自动驾驶封闭测试场设计方法
CN113691798A (zh) * 2021-08-10 2021-11-23 一汽解放汽车有限公司 一种车载摄像头运行可靠性检测系统、方法和计算机设备
CN114114953A (zh) * 2020-08-26 2022-03-01 比亚迪股份有限公司 仿真场景的创建方法、装置、计算机设备及介质
US11308330B2 (en) 2020-07-01 2022-04-19 Chang'an University Method and device for constructing autonomous driving test scenes, terminal and readable storage media
CN114495018A (zh) * 2022-04-14 2022-05-13 深圳宇通智联科技有限公司 一种面向自动驾驶矿卡的数据自动清洗方法
CN115687163A (zh) * 2023-01-05 2023-02-03 中汽智联技术有限公司 场景库构建方法、装置、设备和存储介质
CN116046417A (zh) * 2023-04-03 2023-05-02 西安深信科创信息技术有限公司 自动驾驶感知局限测试方法、装置、电子设备及存储介质
TWI805925B (zh) * 2020-06-05 2023-06-21 財團法人車輛研究測試中心 駕駛者狀態監控器測試方法及其測試系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956268A (zh) * 2016-04-29 2016-09-21 百度在线网络技术(北京)有限公司 应用于无人驾驶汽车的测试场景构建方法和装置
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN106776943A (zh) * 2016-12-01 2017-05-31 中科唯实科技(北京)有限公司 一种基于AutoEncoder和属性标签的车辆检索方法
CN107153363A (zh) * 2017-05-08 2017-09-12 百度在线网络技术(北京)有限公司 无人驾驶汽车的仿真测试方法及装置、设备与可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956268A (zh) * 2016-04-29 2016-09-21 百度在线网络技术(北京)有限公司 应用于无人驾驶汽车的测试场景构建方法和装置
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106776943A (zh) * 2016-12-01 2017-05-31 中科唯实科技(北京)有限公司 一种基于AutoEncoder和属性标签的车辆检索方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN107153363A (zh) * 2017-05-08 2017-09-12 百度在线网络技术(北京)有限公司 无人驾驶汽车的仿真测试方法及装置、设备与可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何黎明: "《中国物流技术发展报告2017》", 30 November 2017, 中国财富出版社 *
张元斌等: "《物联网通信技术》", 30 September 2018, 西南交通大学出版社 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192232A (zh) * 2019-04-18 2019-08-30 京东方科技集团股份有限公司 交通信息处理设备、系统及方法
CN112131697A (zh) * 2019-06-06 2020-12-25 上海汽车集团股份有限公司 一种智能集卡的仿真测试方法、装置及平台
CN112131697B (zh) * 2019-06-06 2024-06-07 上海汽车集团股份有限公司 一种智能集卡的仿真测试方法、装置及平台
CN110543173A (zh) * 2019-08-30 2019-12-06 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
CN110579216A (zh) * 2019-09-12 2019-12-17 百度在线网络技术(北京)有限公司 测试场景库构建方法、装置、电子设备和介质
CN110763483A (zh) * 2019-09-26 2020-02-07 泰牛汽车技术(苏州)有限公司 一种安全等级测试场景库的自动生成方法及装置
CN110795348A (zh) * 2019-10-28 2020-02-14 武汉极目智能技术有限公司 基于数据回放的图像测距的自动化测试装置及方法
CN111178402B (zh) * 2019-12-13 2023-04-07 赛迪检测认证中心有限公司 一种自动驾驶车辆道路测试的场景分类方法及装置
CN111178402A (zh) * 2019-12-13 2020-05-19 赛迪检测认证中心有限公司 一种自动驾驶车辆道路测试的场景分类方法及装置
CN110705134A (zh) * 2019-12-13 2020-01-17 中智行科技有限公司 行驶测试方法、装置、设备及计算机可读存储介质
CN111243335A (zh) * 2020-01-20 2020-06-05 上海大学 一种自主无人系统中的场景描述方法
WO2021146906A1 (zh) * 2020-01-21 2021-07-29 深圳元戎启行科技有限公司 测试场景仿真方法、装置、计算机设备和存储介质
TWI805925B (zh) * 2020-06-05 2023-06-21 財團法人車輛研究測試中心 駕駛者狀態監控器測試方法及其測試系統
CN111967123A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种仿真测试中仿真测试用例的生成方法
CN111967123B (zh) * 2020-06-30 2023-10-27 中汽数据有限公司 一种仿真测试中仿真测试用例的生成方法
US11308330B2 (en) 2020-07-01 2022-04-19 Chang'an University Method and device for constructing autonomous driving test scenes, terminal and readable storage media
CN114114953A (zh) * 2020-08-26 2022-03-01 比亚迪股份有限公司 仿真场景的创建方法、装置、计算机设备及介质
CN114114953B (zh) * 2020-08-26 2024-02-27 比亚迪股份有限公司 仿真场景的创建方法、装置、计算机设备及介质
CN112052820A (zh) * 2020-09-15 2020-12-08 展讯通信(上海)有限公司 识别ai场景的识别率的测试方法及装置、存储介质、终端
CN112513951A (zh) * 2020-10-28 2021-03-16 华为技术有限公司 一种场景文件的获取方法以及装置
CN112256590A (zh) * 2020-11-12 2021-01-22 腾讯科技(深圳)有限公司 虚拟场景有效性判定方法、装置和自动驾驶系统
CN112527633B (zh) * 2020-11-20 2021-10-01 北京赛目科技有限公司 一种场景库的自动驾驶仿真测试方法及装置
CN112527633A (zh) * 2020-11-20 2021-03-19 北京赛目科技有限公司 一种场景库的自动驾驶仿真测试方法及装置
CN112528477B (zh) * 2020-12-03 2024-03-08 安徽江淮汽车集团股份有限公司 道路场景仿真方法、设备、存储介质及装置
CN112528477A (zh) * 2020-12-03 2021-03-19 安徽江淮汽车集团股份有限公司 道路场景仿真方法、设备、存储介质及装置
CN112525552A (zh) * 2020-12-15 2021-03-19 武汉极目智能技术有限公司 汽车高级辅助驾驶系统的算法测试系统及方法
CN113239609A (zh) * 2020-12-24 2021-08-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法
CN112395208A (zh) * 2021-01-19 2021-02-23 珠海亿智电子科技有限公司 Ai识别装置的自动测试方法、装置、设备及存储介质
CN112818834A (zh) * 2021-01-29 2021-05-18 山东大学 一种交叉口针对应急车辆的避让判定方法、设备及介质
CN112818834B (zh) * 2021-01-29 2022-11-25 山东大学 一种交叉口针对应急车辆的避让判定方法、设备及介质
CN113032261B (zh) * 2021-03-23 2022-09-30 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113032261A (zh) * 2021-03-23 2021-06-25 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113297667A (zh) * 2021-04-30 2021-08-24 东风汽车集团股份有限公司 一种智能驾驶数据闭环的方法及系统
CN113299095A (zh) * 2021-05-21 2021-08-24 深圳市元征软件开发有限公司 车辆校准提醒方法、装置、电子设备及存储介质
CN113343461A (zh) * 2021-06-07 2021-09-03 芜湖雄狮汽车科技有限公司 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN113392804A (zh) * 2021-07-02 2021-09-14 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
CN113691798A (zh) * 2021-08-10 2021-11-23 一汽解放汽车有限公司 一种车载摄像头运行可靠性检测系统、方法和计算机设备
CN113691798B (zh) * 2021-08-10 2024-04-09 一汽解放汽车有限公司 一种车载摄像头运行可靠性检测系统、方法和计算机设备
CN113608187A (zh) * 2021-09-17 2021-11-05 沈阳铁路信号有限责任公司 一种模拟铁路障碍物生成的方法
CN113674610A (zh) * 2021-10-22 2021-11-19 北京智能车联产业创新中心有限公司 可变道路形态的自动驾驶封闭测试场设计方法
CN114495018A (zh) * 2022-04-14 2022-05-13 深圳宇通智联科技有限公司 一种面向自动驾驶矿卡的数据自动清洗方法
CN114495018B (zh) * 2022-04-14 2022-07-01 深圳宇通智联科技有限公司 一种面向自动驾驶矿卡的数据自动清洗方法
CN115687163B (zh) * 2023-01-05 2023-04-07 中汽智联技术有限公司 场景库构建方法、装置、设备和存储介质
CN115687163A (zh) * 2023-01-05 2023-02-03 中汽智联技术有限公司 场景库构建方法、装置、设备和存储介质
CN116046417A (zh) * 2023-04-03 2023-05-02 西安深信科创信息技术有限公司 自动驾驶感知局限测试方法、装置、电子设备及存储介质
CN116046417B (zh) * 2023-04-03 2023-11-24 安徽深信科创信息技术有限公司 自动驾驶感知局限测试方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109446371A (zh) 一种智能汽车仿真测试场景库生成方法及测试系统和方法
US11487288B2 (en) Data synthesis for autonomous control systems
US11640174B2 (en) Smart vehicle
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
US10928830B1 (en) Smart vehicle
US20210157330A1 (en) Smart vehicle
US11055544B2 (en) Electronic device and control method thereof
JP2017535873A (ja) 路上シーン認識のための連続オクルージョンモデル
CN106372571A (zh) 路面交通标志检测与识别方法
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
Muckenhuber et al. Object-based sensor model for virtual testing of ADAS/AD functions
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN113168176A (zh) 产生用于训练自动驾驶的实际模拟数据的系统及方法
JP2011065527A (ja) 運転評価システム、車載機及び情報処理センター
CN113345237A (zh) 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质
US20240017747A1 (en) Method and system for augmenting lidar data
KR20150087985A (ko) 안전운행정보 표출 장치 및 그 방법
CN111433095A (zh) 自动化车辆动作以及相关的系统和方法
CN112334370A (zh) 诸如车道偏离警报的自动化载运工具动作以及相关联的系统和方法
WO2023202384A1 (zh) 一种增强现实抬头显示方法、装置、终端设备及存储介质
CN115877343A (zh) 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN112633182A (zh) 一种车辆状态检测方法、装置、设备和存储介质
KR102671702B1 (ko) 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법
CN116312045A (zh) 一种车辆危险预警方法及装置
CN113239609A (zh) 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination