CN110188482B - 一种基于智能驾驶的测试场景创建方法及装置 - Google Patents

一种基于智能驾驶的测试场景创建方法及装置 Download PDF

Info

Publication number
CN110188482B
CN110188482B CN201910473106.6A CN201910473106A CN110188482B CN 110188482 B CN110188482 B CN 110188482B CN 201910473106 A CN201910473106 A CN 201910473106A CN 110188482 B CN110188482 B CN 110188482B
Authority
CN
China
Prior art keywords
scene
perception data
created
small feature
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910473106.6A
Other languages
English (en)
Other versions
CN110188482A (zh
Inventor
肖振明
曹丹青
贺文平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910473106.6A priority Critical patent/CN110188482B/zh
Publication of CN110188482A publication Critical patent/CN110188482A/zh
Application granted granted Critical
Publication of CN110188482B publication Critical patent/CN110188482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种基于智能驾驶的测试场景创建方法及装置。该方法包括:当需要在测试场中创建待创建场景时,根据待创建场景的特征从预设的多个小特征分类中确定用于丰富待创建场景的目标小特征分类;从场景素材库中选择针对目标小特征分类的感知数据,得到多个感知数据;采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同测试场景的感知数据;其中,待创建场景为异常问题场景;场景素材库,用于存储针对多个小特征分类的感知数据;感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到。应用本发明实施例提供的方案,能够提高获得异常问题场景的效率。

Description

一种基于智能驾驶的测试场景创建方法及装置
技术领域
本发明涉及智能驾驶技术领域,具体而言,涉及一种数据同步方法及处理器、车载终端。
背景技术
在智能驾驶系统中,主要技术环节包括对环境的感知、驾驶决策和驾驶控制。智能车辆中的传感器可以采集各种传感器数据,感知算法可以对传感器数据中的障碍物和其他车辆进行感知,智能驾驶算法可以根据感知结果对车辆的驾驶方案做出决策,根据决策结果对车辆的行驶进行控制。每个环节均需要做大量的道路测试,以提高智能车辆在行驶时的安全性。
在实际道路测试过程中,可能会遇到各种各样的路况,在异常问题场景中,智能驾驶算法无法给出合理、有效的决策。例如,道路中遇到洒水车、故障车、三角桩以及其他车辆紧急变道等场景都属于异常问题场景。为了使得智能驾驶算法具有能够应对这种异常问题场景的良好性能,可以大量地增加实车测试,以获得足够多的同类问题场景样本,进而根据同类问题场景样本的数据对智能驾驶算法进行测试。但是这种获得同类问题场景样本的方式过于低效。
发明内容
本发明提供了一种基于智能驾驶的测试场景创建方法及装置,以提高获得异常问题场景的效率。具体的技术方案如下。
第一方面,本发明实施例提供了一种基于智能驾驶的测试场景创建方法,包括:
当需要在测试场中创建待创建场景时,根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类;其中,所述待创建场景为异常问题场景;
从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个小特征分类的感知数据;所述感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到;
采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同测试场景的感知数据。
第二方面,本发明实施例提供了一种基于智能驾驶的测试场景创建装置,包括:
确定模块,被配置为当需要在测试场中创建待创建场景时,根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类;其中,所述待创建场景为异常问题场景;
选择模块,被配置为从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个小特征分类的感知数据;所述感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到;
构建模块,被配置为采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同的测试场景的感知数据。
由上述内容可知,本发明实施例提供的基于智能驾驶的测试场景创建方法及装置,可以从场景素材库中选择针对目标小特征分类的感知数据,采用选择得到的多个感知数据构建包含待创建场景的多个不同测试场景的感知数据。相比于在真实道路上进行大量行驶,从而获取到少数几个包含异常问题场景的感知数据,采用本发明实施例中预先建立场景素材库的方式,能够通过对感知数据进行结合的方式构建出包含待创建场景的大量不同测试场景的感知数据,感知数据能够标识测试场景,根据得到的测试场景的感知数据即可以对智能驾驶领域的算法进行测试。因此本发明实施例能够提高获得异常问题场景的效率。
本发明实施例的创新点包括:
1、场景素材库中的感知数据都是根据真实道路上行驶时得到的数据得来的,对各个感知数据进行结合构建多个不同测试场景的感知数据,采样虚实数据结合的方式,快速地创建大量包含异常问题的测试场景。
2、在创建测试场景时,可以全部使用场景素材库中的感知数据。这样创建的测试场景也能够用于对智能驾驶进行测试,并能快速地创建多个测试场景。
3、在创建测试场景时,可以部分地使用场景素材库中的感知数据,部分地使用测试场中已经具备的真实环境,这种虚拟环境和真实环境结合的方式,能够提高创建测试场景时的多样性和适用性。
4、将采样虚实结合方式创建的测试场景的感知数据输入智能驾驶算法,并将虚拟现实视频投影至测试车辆的玻璃上,以便测试员可以根据虚拟现实视频判断测试车辆的行驶是否合理、安全。这为采用虚实结合的感知数据对算法进行测试,提供了很好的实现方式。
5、通过对测试场景的感知数据的位置信息进行变换,可以得到针对感知数据的新视角的视频,将不同视角的视频进行结合,能够得到针对测试场景的虚拟现实视频。这提供了一种新的生成虚拟现实视频的方式。
6、根据测试场中设置的真实的待感知对象,通过变换待感知对象之外的感知数据,能够形成大量不同的测试场景,通过感知算法对待感知对象和感知数据的综合感知,能够在多个测试场景中检测感知算法对待感知对象的感知效果。这为对感知算法进行针对性测试提供了可实施的方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于智能驾驶的测试场景创建方法的一种流程示意图;
图2为本发明实施例提供的基于智能驾驶的测试场景创建方法的另一种流程示意图;
图3为本发明实施例提供的基于智能驾驶的测试场景创建方法的又一种流程示意图;
图4为本发明实施例提供的对智能驾驶算法进行测试的一种流程示意图;
图5为本发明实施例提供的对感知信息集进行分类的一种原理示意图;
图6为本发明实施例提供的针对每个小特征的感知数据进行组合的一种原理示意图;
图7为本发明实施例提供的创建测试场景数据并对测试车辆进行智能驾驶测试的一种原理示意图;
图8为本发明实施例提供的基于智能驾驶的测试场景创建装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于智能驾驶的测试场景创建方法及装置,能够提高获得异常问题场景的效率。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于智能驾驶的测试场景创建方法的一种流程示意图。该方法应用于电子设备。该电子设备可以包括普通计算机、服务器和智能移动终端等。该方法具体包括以下步骤。
S110:当需要在测试场中创建待创建场景时,根据待创建场景的特征,从预设的多个小特征分类中确定用于丰富待创建场景的目标小特征分类。
其中,待创建场景为异常问题场景,异常问题场景可以理解为智能驾驶车辆无法安全、合理地处理的场景,例如待创建场景可以为弯道被并线、直道突然被并线、障碍物掉落、路遇洒水车、雨雪天行驶等。
上述小特征分类可以采用多种分类方式进行确定,例如可以包括:天气分类、其他车辆分类和道路分类。其中,天气分类、其他车辆分类和道路分类还可以包括各个子分类,例如,天气分类可以包括雨天分类、雪天分类、白天分类、夜晚分类、沙尘天气分类等;其他车辆分类可以包括直线行驶车辆分类、并线行驶车辆分类等;道路分类可以包括交通标识牌分类、车道线分类和行人分类等。每个小特征分类都具有该小特征分类的特征,例如,天气分类下的感知数据都具有天气特征,其他车辆分类都具有车辆特征等。
小特征分类还可以包括并入分类、被并入分类、弯道分类、弯道并入分类等。每个小特征分类还可以包括天气分类、其他车辆分类和道路分类。例如,并入分类下的所有感知数据都是在并入场景下采集的,都具有并入的特征。
在确定用于丰富待创建场景的目标小特征分类时,具体可以将待创建场景的特征与多个小特征分类的特征进行匹配,根据匹配结果确定目标小特征分类。根据匹配结果确定目标小特征分类时,具体可以将匹配成功的小特征分类确定为目标小特征分类。例如,当待创建场景为雨天行驶场景时,可以根据待创建场景的雨天特征,与各个小特征分类的特征进行匹配,可以确定匹配成功的是天气分类中的雨天分类。
确定的目标小特征分类可以为一个,也可以为多个。
测试场可以理解为真实的用于测试智能车辆的场地。测试场中可以设置真实环境,例如可以设置车道线、交通标识牌和路灯杆、其他车辆等;也可以不设置任何真实环境。
S120:从预先创建的场景素材库中选择针对目标小特征分类的感知数据,得到多个感知数据。
其中,场景素材库,用于存储针对多个小特征分类的感知数据。上述小特征分类可以包括:天气分类、其他车辆分类和道路分类。针对天气分类的感知数据包括:对天气状况的感知数据。针对其他车辆分类的感知数据包括:其他车辆的行驶轨迹数据;其中,其他车辆为:真实道路上智能车辆之外的其他车辆。针对道路分类的感知数据包括:车道线信息、路灯杆信息、交通标志牌、交通信号灯信息中的至少一种。
感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到,此处的智能车辆为真实车辆。感知信息集可以为智能车辆行驶过程中遇到异常问题时的数据集。感知数据可以为经过感知算法处理后的、直接可以输入智能驾驶算法的数据,也可以为未经过感知算法处理的数据。感知算法用于对多个传感器采集的数据进行综合感知。智能驾驶算法用于根据感知算法输入的感知结果进行复杂的运算,得到针对智能车辆的各个驾驶操纵装置的控制量。
感知信息集为一段时间内多种感知数据的集合。每个感知数据可以为多个时间点对应的各个数据的总和,例如,其他车辆的行驶轨迹数据,可以为一段时间内各个时间点的行驶轨迹数据的总和,每个时间点的行驶轨迹数据均可以包括该其他车辆相对于智能车辆的速度、加速度和位置等信息。每个感知数据也可以为不与时间相关的数据,例如天气分类中的雨天分类的雨量数据、温度数据等。
针对每个小特征分类,选择的感知数据可以为一个感知数据,也可以为多个感知数据。
从场景素材库中选择针对目标小特征分类的感知数据时,具体可以按照以下限制条件进行选择:当目标小特征分类为多个时,不同目标小特征分类的感知数据之间不存在矛盾。
S130:采用选择得到的多个感知数据,构建包含待创建场景的多个不同测试场景的感知数据。
当目标小特征分类为一个时,可以对多个感知数据进行组合,每个组合中的感知数据作为一个测试场景的感知数据;当目标小特征分类为至少两个时,可以对不同目标小特征分类的感知数据之间进行交叉组合,每个组合对应一个测试场景。具体的,在交叉组合时,也要满足预设的限制条件。限制条件可以包括速度大小的限制,其他车辆行驶时真实道路路型的限制(比如直道、弯道上行驶的车辆)
例如,当目标小特征分类为其他车辆分类时,针对选择得到的多个其他车辆的行驶轨迹数据,其他车辆包括车1、车2和车3,对其他车辆的行驶轨迹数据进行以下组合:车1+车2,车2+车3,车1+车2+车3。分别得到三种组合结果,每种组合结果中其他车辆的行驶轨迹数据的总和可以作为一种测试场景的感知数据。
目标小特征分类包括天气分类和其他车辆分类,天气分类下包括3个不同天气状况(天气状况1、天气状况2和天气状况3)下的感知数据,其他车辆分类中包括车1、车2和车3的行驶轨迹数据。对其组合可以包括:天气状况1+车1+车2,天气状况2+车1+车2,天气状况3+车1+车2,天气状况1+车2+车3,天气状况2+车2+车3,天气状况3+车2+车3,天气状况1+车1+车2+车3,天气状况2+车1+车2+车3,天气状况3+车1+车2+车3。
当确定了测试场景的感知数据,也就确定了该测试场景,实现了对测试场景的创建。
由上述内容可知,本实施例可以从场景素材库中选择针对目标小特征分类的感知数据,采用选择得到的多个感知数据构建包含待创建场景的多个不同测试场景的感知数据。相比于在真实道路上进行大量行驶,从而获取到少数几个包含异常问题场景的感知数据,采用本实施例中预先建立场景素材库的方式,能够通过对感知数据进行结合的方式构建出包含待创建场景的大量不同测试场景的感知数据,感知数据能够标识测试场景,根据得到的测试场景的感知数据即可以对智能驾驶领域的算法进行测试。因此本实施例能够提高获得异常问题场景的效率。
由于场景素材库中的感知数据都是根据真实行驶过程采集得到的,为真实智能车辆行驶时得到的数据,而将这些感知数据进行结合得到的测试场景为虚拟的,因此本实施例的创建测试场景的过程采用了虚实结合的方式。
在本发明的另一实施例中,基于图1所示实施例可以得到图2所示实施例。在该图2所示实施例中,小特征分类可以包括多个可选小特征分类和多个异常问题小特征分类。该方法包括以下步骤。
其中,异常问题小特征分类可以理解为测试场景中的重要部分,对测试车辆的测试起到关键作用的分类,缺少该异常问题小特征分类中的感知数据时即无法形成包含异常问题场景的测试场景。可选小特征分类可以理解为,用于对测试场景中的异常问题之外的部分进行创建的可替换的分类。
例如,针对弯道被并线这样的异常问题,在测试车辆前方执行并线操作的其他车辆就属于该异常问题小特征分类中的数据。针对障碍物掉落异常问题,行驶过程中掉落障碍物的其他车辆即属于异常问题小特征分类中的数据。针对雨雪天行驶异常问题,雨天天气或者雪天天气的感知数据即属于异常问题小特征分类中的数据等。
本实施例中各个小特征分类的情况以及场景素材库中的数据可以参见下表所示的例子。
Figure BDA0002081325420000081
其中,异常问题小特征分类包括被并入分类和弯道分类,弯道分类还包括弯道1分类和弯道2分类。可选小特征分类包括天气分类、其他车辆分类和道路分类。被并入分类下包括车辆1~车辆10的行驶轨迹数据。天气分类下包括天气状况1~天气状况5的感知数据。道路分类下的每个感知数据具体还可以包括车道线数据、路灯杆数据和交通标识牌数据等。
步骤S210:当确定待创建场景中不存在真实的异常问题环境时,根据待创建场景的特征,从各个异常问题小特征分类中确定目标异常问题小特征分类,从各个可选小特征分类中确定用于丰富待创建场景的目标可选小特征分类。
具体的,可以根据测试员的输入信息,确定待创建场景中是否存在真实的异常问题环境。
在确定目标异常问题小特征分类时,具体可以将待创建场景的特征与多个异常问题小特征分类的特征进行匹配,根据匹配结果确定目标异常问题小特征分类。根据匹配结果确定目标异常问题小特征分类时,具体可以将匹配成功的异常问题小特征分类确定为目标异常问题小特征分类。确定的目标异常问题小特征分类可以为一个。
在确定用于丰富待创建场景的目标可选小特征分类时,具体可以将待创建场景的特征与多个可选小特征分类的特征进行匹配,根据匹配结果确定目标可选小特征分类。根据匹配结果确定目标可选小特征分类时,具体可以将匹配成功的可选小特征分类确定为目标可选小特征分类。确定的目标可选小特征分类可以为一个,也可以为多个。
以上表数据为例,当待创建场景为被并入场景时,可以确定目标异常问题小特征分类为被并入分类,确定目标可选小特征分类为:天气分类、其他车辆分类和道路分类。
步骤S220:从预先创建的场景素材库中选择针对目标异常问题小特征分类的感知数据,以及从预先创建的场景素材库中选择针对目标可选小特征分类的感知数据,得到多个感知数据。
以上表数据为例,当目标异常问题小特征分类为被并入分类时,可以从场景素材库中选择车辆2、车辆3等的感知数据。
其中,场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据。
针对目标异常问题小特征分类,选择的感知数据可以为一个感知数据,也可以为多个感知数据。
针对每个目标可选小特征分类,选择的感知数据可以为一个感知数据,也可以为多个感知数据。
步骤S230:将选择得到的多个针对目标可选小特征分类的感知数据,分别与选择得到的针对目标异常问题小特征分类的感知数据进行组合,得到包含待创建场景的多个不同测试场景的感知数据。
其中,每个测试场景均包含针对目标异常问题小特征分类的感知数据。
例如,选择的针对被并入分类的车辆2和车辆3的感知数据时,可以将每个目标可选小特征分类的感知数据分别与车辆2的行驶轨迹数据进行结合,将每个目标可选小特征分类的感知数据分别与车辆3的行驶轨迹数据进行结合,组成不同的测试场景的感知数据。
综上,本实施例在创建测试场景时,确定目标异常问题小特征分类和目标可选小特征分类,并将目标可选小特征分类的感知数据分别与目标异常问题小特征分类的感知数据进行结合,得到不同测试场景的感知数据。本实施例中创建的测试场景的感知数据全部使用场景素材库中的感知数据。这样创建的测试场景能够用于对智能驾驶进行测试,并能快速地创建多个测试场景。
在本发明的另一实施例中,基于图1所示实施例可以得到图3所示实施例。在该图3所示实施例中,小特征分类包括多个可选小特征分类和多个异常问题小特征分类。该方法包括以下步骤。
步骤S310:当确定待创建场景中存在真实的异常问题环境时,根据待创建场景的特征,从各个可选小特征分类中确定用于丰富待创建场景的目标可选小特征分类。
其中,目标可选小特征分类与真实的异常问题环境对应的小特征分类不同,也可以相同。例如,当待创建场景为被并入场景,且待创建场景中存在真实的用于并入其他车道的车辆时可以从可选小特征分类中确定目标可选小特征分类,而无需再从异常问题小特征分类中确定目标异常问题小特征分类。
步骤S320:从预先创建的场景素材库中选择针对目标可选小特征分类的感知数据,得到多个感知数据。
其中,场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据。
当目标可选小特征分类中包含真实的异常问题环境对应的小特征分类的情况下,在选择针对目标可选小特征分类的感知数据时,具体还可以按照以下限制条件进行选择:选择的针对目标可选小特征分类的感知数据与真实的异常问题环境不矛盾。
步骤S330:采用选择得到的多个针对目标可选小特征分类的感知数据,构建得到包含待创建场景的多个不同测试场景的感知数据。
在实际对测试车辆进行测试时,测试场景还包括真实的异常问题环境。测试场景的感知数据为步骤S330中得到的感知数据与真实的异常问题环境的感知数据的结合。
综上,本实施例中,在创建测试场景时,采用真实的异常问题环境与从场景素材库中得到的感知数据进行结合构建,可以部分地使用场景素材库中的感知数据,部分地使用测试场中已经具备的真实环境,这种虚拟环境和真实环境结合的方式,能够提高创建测试场景时的多样性和适用性。
在本发明的另一实施例中,基于图3所示实施例,当待创建场景为其他车辆并入场景,且待创建场景中真实存在并线车辆和车道线时,步骤S310,根据待创建场景的特征,从各个可选小特征分类中确定用于丰富待创建场景的目标可选小特征分类的步骤,包括:
从各个可选小特征分类包括的天气分类、其他车辆分类和道路分类中,确定用于丰富待创建场景的目标可选小特征分类。
步骤S320,从预先创建的场景素材库中选择针对所目标可选小特征分类的感知数据,得到多个感知数据的步骤,包括:
从场景素材库中目标可选小特征分类中的多个对象的感知数据中,选择目标数量个对象的感知数据。
其中,对象可以包括车辆、行人、天气、车道线、路灯杆、交通标识牌、交通信号灯等。
目标数量可以为在预设数量范围内随机确定的,也可以为根据测试员的输入信息确定,也可以为预先设置。
综上,在确定目标可选小特征分类和选择感知数据时,本实施例提供了一种具体的实施方式。
在本发明的另一实施例中,基于图2所示实施例,当待创建场景中不存在真实的异常问题环境时,步骤S210,可以包括:
从异常问题小特征分类包括的天气分类、其他车辆分类和道路分类中确定目标异常问题小特征分类,从可选小特征分类包括的天气分类、其他车辆分类和道路分类中确定用于丰富待创建场景的目标可选小特征分类。
步骤S320,从预先创建的场景素材库中选择针对目标可选小特征分类的感知数据,得到多个感知数据的步骤,包括:
从场景素材库中目标异常问题小特征分类中的多个对象的感知数据中,选择一个对象的感知数据;从场景素材库中目标可选小特征分类中的多个对象的感知数据中,选择目标数量个对象的感知数据。
综上,在确定目标异常问题小特征分类和目标可选小特征分类,以及选择对应的感知数据时,本实施例提供了一种具体的实施方式。
在本发明的另一实施例中,基于上述实施例,从预先创建的场景素材库中选择针对目标可选小特征分类的感知数据,得到多个感知数据的步骤,包括:
步骤1a:根据待创建场景的特征确定选择规则。
例如,上述选择规则可以包括选择直道上行驶的车辆,还是弯道上行驶的车辆;和/或,选择的车辆的行驶速度不超过多大值等等。其中,在每个其他车辆的行驶轨迹数据中还可以包含用于标识该其他车辆所行驶的道路路型。道路路型可以包括道路形状信息,比如直道路型和弯道路型,弯道路型时还可以包含道路的弯曲度等信息。
在确定选择规则时,可以根据待创建场景包含的道路路型信息和/或道路交通牌的限速信息等,确定选择规则。
步骤2a:从预先创建的场景素材库中选择针对目标可选小特征分类的满足选择规则的感知数据。
综上,本实施例中,根据按照选择规则所选择的感知数据构建测试场景的感知数据,可以使得构建的测试场景更接近于真实状态,提高创建测试场景的真实性。
在本发明的另一实施例中,基于图1所示实施例,当目标小特征分类为其他车辆分类时,其他车辆的行驶轨迹数据为其他车辆相对于智能车辆的行驶轨迹数据。由于其他车辆的行驶轨迹数据为智能车辆在真实道路上行驶时,对智能车辆中的传感器采集的传感器数据进行处理得到,其他车辆的行驶轨迹数据可以为相对于智能车辆的行驶轨迹数据的相对值。
在实际应用时,可以采用下面的步骤将其他车辆的行驶轨迹数据变换到测试车辆中,以利于测试车辆中的算法直接应用变换后的数据。
步骤S130,采用选择得到的多个感知数据,构建包含待创建场景的多个不同测试场景的感知数据的步骤,具体可以包括步骤1b~3b。
步骤1b:确定测试场中测试车辆的行驶数据。
其中,测试车辆的行驶数据可以包括测试车辆在预设地图中的初始位置和初始速度等。该初始位置和初始速度可以理解为开始对测试车辆进行测试时测试车辆的位置和速度。测试车辆为真实的智能车辆。
本步骤具体可以包括:根据测试员的输入信息确定测试场中测试车辆的行驶数据。也可以包括:接收其他电子设备发送的测试场中测试车辆的行驶数据。
步骤2b:根据测试车辆的行驶数据,对选择得到的每个其他车辆的行驶轨迹数据进行变换。
具体的,可以以上述行驶数据作为初始条件,对每个其他车辆的行驶轨迹数据进行积分。具体的,针对各个时间点的速度、加速度和位置信息,不断地根据上一个时间点的数据对该时间点的数据进行积分。
变换后得到的其他车辆的行驶轨迹数据可以直接应用于测试车辆中。
步骤3b:采用变换后每个其他车辆的行驶轨迹数据,构建针对所述测试车辆的包括所述待创建场景的多个不同测试场景的感知数据。
综上,本实施例中,可以根据测试车辆的行驶数据对其他车辆的行驶轨迹数据进行变换,当测试车辆的行驶数据不同时,其他车辆的行驶轨迹数据也会随之变换,这样能够实现对其他车辆的行驶轨迹数据的利用,提高测试场景的感知数据的准确性。
在本发明的另一实施例中,基于上述实施例,场景素材库可以采用以下步骤1c~3c创建。
步骤1c:获取根据智能车辆在不同时段和/或不同路段的真实道路上行驶时,智能车辆中设置的多个传感器采集的数据得到的感知信息集。
其中,每个感知信息集包括根据同一时段和同一路段下多个传感器数据得到的感知数据。
步骤2c:根据预设的每个小特征分类的特征,确定每个感知信息集中每个感知数据所属的小特征分类;或者,对各个感知数据集中的感知数据进行聚类,根据聚类结果确定每个聚类对应的小特征分类。
在确定每个感知信息集中每个感知数据所属的小特征分类时,可以将每个感知数据的特征与小特征分类的特征进行匹配,将匹配成功的小特征分类作为该感知数据的小特征分类。
对各个感知数据集中的感知数据进行聚类时,具体可以采用聚类算法,提取感知数据的特征,根据感知数据的特征进行聚类。对各个感知数据集中的感知数据进行聚类之后,可以得到每个聚类的聚类特征以及属于该聚类的每个感知数据,将每个聚类特征作为小特征分类的特征,从而可以将每个聚类映射到小特征分类下。
在根据聚类结果确定每个聚类对应的小特征分类时,具体可以包括,当聚类结果中包括大于预设数量个感知信息集时,将该聚类结果确定为一个小特征分类。例如,预设数量为10,当10个感知信息集中都存在并入车辆时,可以提取被并入分类,并将感知信息集中执行并入操作的车辆的行驶轨迹数据作为该被并入分类的感知数据。
步骤3c:去除每个小特征分类下相似度大于预设相似度阈值的感知数据,将小特征分类下剩余的感知数据添加至场景素材库中。
其中,预设相似度阈值可以为根据经验预先设置的值。去除相似度比较高的感知数据能够精简场景素材库的数据,提高场景素材库的可利用性。
综上,本实施例可以通过特征匹配或者聚类,从感知信息集中分离出每个小特征分类下的感知数据,能够提高创建场景素材库时的准确性。
在本发明的另一实施例中,基于上述实施例可以得到图4所示实施例,图4所示实施例中的场景素材库中的感知数据为经过感知算法处理后的数据时。本实施例的方法包括以下步骤所示的对智能驾驶算法进行测试的过程。
步骤S440:在构建得到包含待创建场景的多个不同测试场景的感知数据之后,将各个不同测试场景的感知数据输入测试场中测试车辆的智能驾驶算法中。
其中,智能驾驶算法用于根据输入的感知数据确定针对测试车辆的驾驶操纵装置的控制量信息。驾驶操纵装置包括制动装置、加速装置、方向盘等。将控制量信息输入测试车辆中的控制单元,控制单元能够根据该控制量信息控制测试车辆的行驶。
当待创建场景中存在真实的异常问题环境时,可以设置测试车辆中对应的传感器对该异常问题环境进行数据的实时采集,实时采集得到的传感器数据可以用于输入感知算法。感知算法对实时采集的传感器数据进行感知,并将感知后的数据输入智能驾驶算法。
本实施例的各个步骤可以在图1、图2或图3的步骤之后执行。
步骤S450:获取根据各个不同测试场景的感知数据生成的虚拟现实视频。
其中,虚拟现实(VR,Virtual Reality)视频可以理解为三维视频,在投影至屏幕或其他平面时能产生立体效果的视频。根据各个不同测试场景的感知数据生成虚拟现实视频的操作,可以在对测试车辆进行测试之前进行,并将生成的虚拟现实视频存储在指定存储位置。
步骤S460:当测试车辆在智能驾驶算法的控制下行驶时,将虚拟现实视频输入测试车辆中的视频投影设备中,以使视频投影设备将虚拟现实视频投影至测试车辆的玻璃上。
例如,可以将虚拟现实视频投影至前挡风玻璃和左右侧挡风玻璃。
由于上述不同的测试场景在测试场中并不是真实存在的,为了能够对智能驾驶算法控制下的测试车辆的行驶过程进行测试,可以将虚拟现实视频投影至测试车辆的玻璃上。这样,测试车辆中的测试员能够根据玻璃上呈现的虚拟现实视频,判断测试车辆的行驶轨迹是否正常,并在必要的时候对测试车辆的驾驶操纵装置进行操作。
在另一种实施方式中,可以记录根据测试过程中测试员对测试车辆执行的操作得到的控制量信息,根据该控制量信息可以对智能驾驶算法进行改进。
综上,本实施例将采样虚实结合方式创建的测试场景的感知数据输入智能驾驶算法,并将虚拟现实视频投影至测试车辆的玻璃上,以便测试员可以根据虚拟现实视频判断测试车辆的行驶是否合理、安全。这为采用虚实结合的感知数据对算法进行测试,提供了很好的实现方式。
在本发明的另一实施例中,基于图4所示实施例,步骤S420,获取根据各个不同测试场景的感知数据生成的虚拟现实视频的步骤,具体可以包括步骤1d~5d。
步骤1d:针对第一测试场景的感知数据,采用以下操作根据第一测试场景的感知数据生成虚拟现实视频。其中,第一测试场景为各个不同测试场景中的任一个。针对每个测试场景的感知数据,均可以采用本实施例的方式生成虚拟现实视频。
步骤2d:根据第一测试场景的感知数据生成视频,作为第一视角视频。
具体的,可以选择预设的背景视频作为第一视角视频的背景视频。该背景视频可以包括天空、树木、草地等。
当第一测试场景的感知数据包括其他车辆的行驶轨迹数据时,可以根据行驶轨迹数据中各个时间点其他车辆的速度、加速度、位置信息,生成针对该其他车辆的行驶轨迹。其他车辆在第一视角视频中的大小可以根据该其他车辆的车型来确定。
当第一测试场景的感知数据包括天气状况的感知数据时,可以根据天气状况的感知数据模拟天气状况。例如可以根据感知数据中的雨量,模拟下雨场景。
当第一测试场景的感知数据包括道路分类的车道线、路灯杆、交通标识牌等的位置信息时,可以根据位置信息在第一视角视频中进行相应设置。
步骤3d:按照预设的虚拟现实画面角度变换规则,对第一测试场景的感知数据中的位置信息进行变换,得到第一测试场景的变换后的感知数据。
其中,三维视频为从不同角度拍摄的同一画面的两个视频叠加之后形成的。虚拟现实画面角度变换规则,可以理解为两个感知数据之间的视角达到虚拟现实画面角度时感知数据中位置信息的差异,不同位置信息对应不同的差异。虚拟现实画面角度可以为根据三维视频的拍摄角度得到。
对第一测试场景的感知数据的位置信息进行变换,使得根据变换后的感知数据形成的视频与第一视角视频之间的拍摄角度为上述虚拟现实画面角度。
步骤4d:根据变换后的感知数据生成视频,作为第二视角视频。
步骤5d:对第一视角视频和第二视角视频进行结合,得到第一测试场景的虚拟现实视频。
本步骤具体可以包括,针对第一视角视频和第二视角视频,按照奇数帧和偶数帧的方式分别设置,形成第一测试场景的虚拟现实视频。
综上,本实施例通过对测试场景的感知数据的位置信息进行变换,可以得到针对感知数据的新视角的视频,将不同视角的视频进行结合,能够得到针对测试场景的虚拟现实视频。这提供了一种新的生成虚拟现实视频的方式。
在本发明的另一实施例中,基于图1所示实施例,场景素材库中的感知数据可以为未经过感知算法处理的数据。步骤S110,根据所待创建场景的特征,从预设的多个小特征分类中确定用于丰富待创建场景的目标小特征分类的步骤,具体可以包括:
当测试场中设置有待感知对象时,根据各个小特征分类的特征,确定待感知对象所属的小特征分类,从预设的多个小特征分类中除待感知对象所属的小特征分类之外的小特征分类中,确定用于丰富所述待创建场景的目标小特征分类。
其中,待感知对象可以理解为感知算法漏检测的对象。例如,待感知对象可以为交通标识牌、交通信号灯等。例如,待感知对象属于交通标识牌分类时,确定的目标小特征分类可以不包含该交通标识牌分类。
在步骤S130中构建得到包含待创建场景的多个不同的测试场景的感知数据之后,该方法还可以包括:
针对每个测试场景的感知数据,将感知数据输入测试场中测试车辆的感知算法中,以使感知算法对待感知对象和感知数据进行综合感知。
本实施例中,当智能车辆在行驶过程中,有时会出现漏检测待感知对象的情况。这种漏检的情况有时候会发生,有时候不会发生。漏检发生的原因很复杂,其原因可能受到待感知对象之外的其他数据影响。为了深度检测什么情况下会发生漏检,可以固定该待感知对象,变换该感知对象之外的其他信息,经过多次测试,可以对感知算法进行改进。
例如,待感知对象为交通标识牌,测试场景的感知数据可以为对激光点云数据进行处理后的障碍物信息。在对测试车辆进行测试的过程中,测试车辆中的摄像头会拍摄车辆周围的图像,并通过感知算法中的图像处理模块检测该图像,得到图像检测信息。感知算法还用于对障碍物信息和图像检测信息进行综合感知,得到车辆周围的交通标识牌位置、车道线、路灯杆以及其他车辆、行人等信息。
在迭代测试过程中,向测试车辆的感知算法输入不同的上述感知数据,可以测试感知算法在不同测试场景下对待感知对象的感知情况,得到大量可分析的数据。
在对感知算法进行测试时,可以由车外的测试员观察测试车辆的行驶中是否检测到待感知对象。例如,当交通标识牌为限速牌时,可以观察测试车辆是否限速行驶等。
综上,本实施例,根据测试场中设置的真实的待感知对象,通过变换待感知对象之外的感知数据,能够形成大量不同的测试场景,通过感知算法对待感知对象和感知数据的综合感知,能够在多个测试场景中检测感知算法对待感知对象的感知效果。这为对感知算法进行针对性测试提供了可实施的方式。
下面结合具体实例对本申请进行说明。
图5为对感知信息集进行分类的一种原理示意图。针对历史极端问题数据库中的多个感知信息集,可以将感知信息集输入虚实结合系统接收器。虚实结合系统接收器中的分类程序可以对感知信息集中的感知数据进行聚类,得到聚类后的各个小特征分类,这些小特征分类包括小特征A、小特征B和小特征C等。感知数据可以采用JSON(JavaScriptObject Notation,JS对象简谱)数据可以进行表示。在完成小特征分类之后,该虚实结合系统可以输出所有小特征分类接口下的所有感知数据,每个可以独立使用的感知数据称为JSON数据。并且每个感知数据还标注有所属的感知信息集。
图6为针对每个小特征的感知数据进行组合的一种原理示意图。其中以小特征A为例,小特征A下的感知数据包括JSON1、JSON2和JSON3,分别对这些感知数据进行组合,得到不同的测试场景的感知数据(以下简称为测试场景数据):虚拟JSON1、虚拟JSON2和虚拟JSON3。通过该方法可以生成大量的虚拟的测试场景数据,由于源数据都是真实的,因此组合后形成的测试场景数据并不完全虚拟,其带有一定的真实性。
图7为创建测试场景数据并对测试车辆进行智能驾驶测试的一种原理示意图。其中,以小特征A为例,将小特征A分类下的各个JSON数据输入测试车辆的车载高性能计算机中。车载高性能计算机对小特征A分类下的各个JSON数据进行随机选择,形成多个测试场景数据。将每个测试场景数据分别输入VR生成器,生成对应的VR视频,并通过车载的VR设备进行投影。
例如,确定需要在白天的弯道上对测试车辆进行测试。当车载高性能计算机接收到用于标识白天、弯道的特征时,可以从场景素材库中找到对具有该特征的感知信息,并组合成测试场景数据。
又如,需要在测试场的一真实弯道上重新测试,观察测试车辆在弯道上发生的问题,那么此时可以选择具有弯道特征的感知数据,并组合成测试场景数据。生成的VR场景能够让车内的测试员感受到很大的真实感,从而更好地把握问题的本质。
图8为本发明实施例提供的基于智能驾驶的测试场景创建装置的一种结构示意图。该装置应用于电子设备。该实施例与图1所示方法实施例相对应。该装置包括:
确定模块810,被配置为当需要在测试场中创建待创建场景时,根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类;其中,所述待创建场景为异常问题场景;
选择模块820,被配置为从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个小特征分类的感知数据;所述感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到;
构建模块830,被配置为采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同的测试场景的感知数据。
在本发明的另一实施例中,基于图8所示实施例,小特征分类包括:天气分类、其他车辆分类和道路分类;
针对所述天气分类的感知数据包括:对天气状况的感知数据;
针对所述其他车辆分类的感知数据包括:其他车辆的行驶轨迹数据;其中,其他车辆为:真实道路上所述智能车辆之外的其他车辆;
针对所述道路分类的感知数据包括:车道线信息、路灯杆信息、交通标志牌、交通信号灯信息中的至少一种。
在本发明的另一实施例中,基于图8所示实施例,所述小特征分类包括多个可选小特征分类和多个异常问题小特征分类;所述确定模块,具体被配置为:
当确定所述待创建场景中不存在真实的异常问题环境时,根据所述待创建场景的特征,从各个异常问题小特征分类中确定目标异常问题小特征分类,从各个可选小特征分类中确定用于丰富所述待创建场景的目标可选小特征分类;
所述选择模块,具体被配置为:
从预先创建的场景素材库中选择针对所述目标异常问题小特征分类的感知数据,以及从预先创建的场景素材库中选择针对所述目标可选小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据;
所述构建模块,具体被配置为:
将选择得到的多个针对所述目标可选小特征分类的感知数据,分别与选择得到的针对所述目标异常问题小特征分类的感知数据进行组合,得到包含所述待创建场景的多个不同测试场景的感知数据。
在本发明的另一实施例中,基于图8所示实施例,小特征分类包括多个可选小特征分类和多个异常问题小特征分类;确定模块810,具体被配置为:
当确定所述待创建场景中存在真实的异常问题环境时,根据所述待创建场景的特征,从各个可选小特征分类中确定用于丰富所述待创建场景的目标可选小特征分类;
所述选择模块820,具体被配置为:
从预先创建的场景素材库中选择针对所述目标可选小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据;
所述构建模块830,具体被配置为:
采用选择得到的多个针对所述目标可选小特征分类的感知数据,构建得到包含所述待创建场景的多个不同测试场景的感知数据。
在本发明的另一实施例中,基于图8所示实施例,确定模块810,具体被设置为:
当所述待创建场景为其他车辆并入场景,且所述待创建场景中真实存在并线车辆和车道线时,从可选小特征分类包括的天气分类、其他车辆分类和道路分类中,确定用于丰富待创建场景的目标可选小特征分类;
选择模块820,具体被配置为:
从所述场景素材库中目标可选小特征分类中的多个对象的感知数据中,选择目标数量个对象的感知数据。
在本发明的另一实施例中,基于图8所示实施例,选择模块820具体被配置为:
根据所述待创建场景的特征确定选择规则;
从预先创建的场景素材库中选择针对所述目标可选小特征分类的满足所述选择规则的感知数据。
在本发明的另一实施例中,基于图8所示实施例,所述当所述目标小特征分类为其他车辆分类时,所述其他车辆的行驶轨迹数据为所述其他车辆相对于所述智能车辆的行驶轨迹数据;所述构建模块830,具体被配置为:
确定所述测试场中测试车辆的行驶数据;
根据所述测试车辆的行驶数据,对选择得到的每个其他车辆的行驶轨迹数据进行变换;
采用变换后每个其他车辆的行驶轨迹数据,构建针对所述测试车辆的包括所述待创建场景的多个不同测试场景的感知数据。
在本发明的另一实施例中,基于图8所示实施例,该装置还包括:创建模块(图中未示出);所述创建模块,被配置为采用以下操作创建所述场景素材库:
获取根据所述智能车辆在不同时段和/或不同路段的真实道路上行驶时,所述智能车辆中设置的多个传感器采集的数据得到的感知信息集;其中,每个感知信息集包括根据同一时段和同一路段下多个传感器数据得到的感知数据;
根据预设的每个小特征分类的特征,确定每个感知信息集中每个感知数据所属的小特征分类;或者,对各个感知数据集中的感知数据进行聚类,根据聚类结果确定每个聚类对应的小特征分类;
去除每个小特征分类下相似度大于预设相似度阈值的感知数据,将所述小特征分类下剩余的感知数据添加至场景素材库中。
在本发明的另一实施例中,基于图8所示实施例,所述场景素材库中的感知数据为经过感知算法处理后的数据;所述装置还包括:
第一输入模块(图中未示出),被配置为在构建得到包含所述待创建场景的多个不同测试场景的感知数据之后,将各个不同测试场景的感知数据输入所述测试场中测试车辆的智能驾驶算法中;
获取模块(图中未示出),被配置为获取根据各个不同测试场景的感知数据生成的虚拟现实视频;
第二输入模块(图中未示出),被配置为当所述测试车辆在所述智能驾驶算法的控制下行驶时,将所述虚拟现实视频输入所述测试车辆中的视频投影设备中,以使所述视频投影设备将所述虚拟现实视频投影至所述测试车辆的玻璃上。
在本发明的另一实施例中,基于图8所示实施例,获取模块具体被配置为:
针对第一测试场景的感知数据,采用以下操作根据所述第一测试场景的感知数据生成虚拟现实视频,其中,所述第一测试场景为各个不同测试场景中的任一个:
根据所述第一测试场景的感知数据生成视频,作为第一视角视频;
按照预设的虚拟现实画面角度变换规则,对所述第一测试场景的感知数据中的位置信息进行变换,得到所述第一测试场景的变换后的感知数据;
根据所述变换后的感知数据生成视频,作为第二视角视频;
对所述第一视角视频和第二视角视频进行结合,得到所述第一测试场景的虚拟现实视频。
在本发明的另一实施例中,基于图8所示实施例,所述场景素材库中的感知数据为未经过感知算法处理的数据;确定模块810,具体被配置为:
当所述测试场中设置有待感知对象时,根据各个小特征分类的特征,确定所述待感知对象所属的小特征分类,从预设的多个小特征分类中除待感知对象所属的小特征分类之外的小特征分类中,确定用于丰富所述待创建场景的目标小特征分类;
所述装置还包括:
第三输入模块(图中未示出),被配置为在构建得到包含所述待创建场景的多个不同的测试场景的感知数据之后,针对每个测试场景的感知数据,将所述感知数据输入所述测试场中测试车辆的感知算法中,以使所述感知算法对所述待感知对象和所述感知数据进行综合感知。
上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种基于智能驾驶的测试场景创建方法,其特征在于,包括:
当需要在测试场中创建待创建场景时,根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类;其中,所述待创建场景为异常问题场景;
从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个小特征分类的感知数据;所述感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到;
采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同测试场景的感知数据;
其中,所述场景素材库中的感知数据为经过感知算法处理后的数据;在构建得到包含所述待创建场景的多个不同测试场景的感知数据之后,所述方法还包括:
将各个不同测试场景的感知数据输入所述测试场中测试车辆的智能驾驶算法中;
获取根据所述各个不同测试场景的感知数据生成的虚拟现实视频;
当所述测试车辆在所述智能驾驶算法的控制下行驶时,将所述虚拟现实视频输入所述测试车辆中的视频投影设备中,以使所述视频投影设备将所述虚拟现实视频投影至所述测试车辆的玻璃上;
其中,所述获取根据各个不同测试场景的感知数据生成的虚拟现实视频的步骤,包括:
针对第一测试场景的感知数据,采用以下操作根据所述第一测试场景的感知数据生成虚拟现实视频,其中,所述第一测试场景为各个不同测试场景中的任一个:
根据所述第一测试场景的感知数据生成视频,作为第一视角视频;
按照预设的虚拟现实画面角度变换规则,对所述第一测试场景的感知数据中的位置信息进行变换,得到所述第一测试场景的变换后的感知数据;
根据所述变换后的感知数据生成视频,作为第二视角视频;
对所述第一视角视频和第二视角视频进行结合,得到所述第一测试场景的虚拟现实视频。
2.如权利要求1所述的方法,其特征在于,小特征分类包括:天气分类、其他车辆分类和道路分类;
针对所述天气分类的感知数据包括:对天气状况的感知数据;
针对所述其他车辆分类的感知数据包括:其他车辆的行驶轨迹数据;其中,其他车辆为:真实道路上所述智能车辆之外的其他车辆;
针对所述道路分类的感知数据包括:车道线信息、路灯杆信息、交通标志牌、交通信号灯信息中的至少一种。
3.如权利要求1或2所述的方法,其特征在于,所述小特征分类包括多个可选小特征分类和多个异常问题小特征分类;
所述根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类的步骤,包括:
当确定所述待创建场景中不存在真实的异常问题环境时,根据所述待创建场景的特征,从各个异常问题小特征分类中确定目标异常问题小特征分类,从各个可选小特征分类中确定用于丰富所述待创建场景的目标可选小特征分类;
所述从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据的步骤,包括:
从预先创建的场景素材库中选择针对所述目标异常问题小特征分类的感知数据,以及从预先创建的场景素材库中选择针对所述目标可选小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据;
所述采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同测试场景的感知数据的步骤,包括:
将选择得到的多个针对所述目标可选小特征分类的感知数据,分别与选择得到的针对所述目标异常问题小特征分类的感知数据进行组合,得到包含所述待创建场景的多个不同测试场景的感知数据。
4.如权利要求1或2所述的方法,其特征在于,所述小特征分类包括多个可选小特征分类和多个异常问题小特征分类;
所述从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类的步骤,包括:
当确定所述待创建场景中存在真实的异常问题环境时,根据所述待创建场景的特征,从各个可选小特征分类中确定用于丰富所述待创建场景的目标可选小特征分类;
所述从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据的步骤,包括:
从预先创建的场景素材库中选择针对所述目标可选小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个异常问题小特征分类的感知数据和针对多个可选小特征分类的感知数据;
所述采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同测试场景的感知数据的步骤,包括:
采用选择得到的多个针对所述目标可选小特征分类的感知数据,构建得到包含所述待创建场景的多个不同测试场景的感知数据。
5.如权利要求4所述的方法,其特征在于,当所述待创建场景为其他车辆并入场景,且所述待创建场景中真实存在并线车辆和车道线时,所述根据所述待创建场景的特征,从各个可选小特征分类中确定用于丰富所述待创建场景的目标可选小特征分类的步骤,包括:
从所述可选小特征分类包括的天气分类、其他车辆分类和道路分类中,确定用于丰富所述待创建场景的目标可选小特征分类;
所述从预先创建的场景素材库中选择针对所述目标可选小特征分类的感知数据,得到多个感知数据的步骤,包括:
从所述场景素材库中目标可选小特征分类中的多个对象的感知数据中,选择目标数量个对象的感知数据。
6.如权利要求1所述的方法,其特征在于,所述场景素材库采用以下方式创建:
获取根据所述智能车辆在不同时段和/或不同路段的真实道路上行驶时,所述智能车辆中设置的多个传感器采集的数据得到的感知信息集;其中,每个感知信息集包括根据同一时段和同一路段下多个传感器数据得到的感知数据;
根据预设的每个小特征分类的特征,确定每个感知信息集中每个感知数据所属的小特征分类;或者,对各个感知数据集中的感知数据进行聚类,根据聚类结果确定每个聚类对应的小特征分类;
去除每个小特征分类下相似度大于预设相似度阈值的感知数据,将所述小特征分类下剩余的感知数据添加至场景素材库中。
7.如权利要求1所述的方法,其特征在于,所述场景素材库中的感知数据为未经过感知算法处理的数据;所述根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类的步骤,包括:
当所述测试场中设置有待感知对象时,根据各个小特征分类的特征,确定所述待感知对象所属的小特征分类,从预设的多个小特征分类中除所述待感知对象所属的小特征分类之外的小特征分类中,确定用于丰富所述待创建场景的目标小特征分类;
在构建得到包含所述待创建场景的多个不同的测试场景的感知数据之后,所述方法还包括:
针对每个测试场景的感知数据,将所述感知数据输入所述测试场中测试车辆的感知算法中,以使所述感知算法对所述待感知对象和所述感知数据进行综合感知。
8.一种基于智能驾驶的测试场景创建装置,其特征在于,包括:
确定模块,被配置为当需要在测试场中创建待创建场景时,根据所述待创建场景的特征,从预设的多个小特征分类中确定用于丰富所述待创建场景的目标小特征分类;其中,所述待创建场景为异常问题场景;
选择模块,被配置为从预先创建的场景素材库中选择针对所述目标小特征分类的感知数据,得到多个感知数据;其中,所述场景素材库,用于存储针对多个小特征分类的感知数据;所述感知数据为从多组感知信息集中分离得到,不同组感知信息集为根据智能车辆在不同时段和/或不同路段的真实道路上行驶时得到;
构建模块,被配置为采用选择得到的多个感知数据,构建包含所述待创建场景的多个不同的测试场景的感知数据;
其中,所述场景素材库中的感知数据为经过感知算法处理后的数据;所述装置还包括:
第一输入模块,被配置为在构建得到包含所述待创建场景的多个不同测试场景的感知数据之后,将各个不同测试场景的感知数据输入所述测试场中测试车辆的智能驾驶算法中;
获取模块,被配置为获取根据各个不同测试场景的感知数据生成的虚拟现实视频;
第二输入模块,被配置为当所述测试车辆在所述智能驾驶算法的控制下行驶时,将所述虚拟现实视频输入所述测试车辆中的视频投影设备中,以使所述视频投影设备将所述虚拟现实视频投影至所述测试车辆的玻璃上;
其中,所述获取模块,具体被配置为:
针对第一测试场景的感知数据,采用以下操作根据所述第一测试场景的感知数据生成虚拟现实视频,其中,所述第一测试场景为各个不同测试场景中的任一个:
根据所述第一测试场景的感知数据生成视频,作为第一视角视频;
按照预设的虚拟现实画面角度变换规则,对所述第一测试场景的感知数据中的位置信息进行变换,得到所述第一测试场景的变换后的感知数据;
根据所述变换后的感知数据生成视频,作为第二视角视频;
对所述第一视角视频和第二视角视频进行结合,得到所述第一测试场景的虚拟现实视频。
CN201910473106.6A 2019-05-31 2019-05-31 一种基于智能驾驶的测试场景创建方法及装置 Active CN110188482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910473106.6A CN110188482B (zh) 2019-05-31 2019-05-31 一种基于智能驾驶的测试场景创建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910473106.6A CN110188482B (zh) 2019-05-31 2019-05-31 一种基于智能驾驶的测试场景创建方法及装置

Publications (2)

Publication Number Publication Date
CN110188482A CN110188482A (zh) 2019-08-30
CN110188482B true CN110188482B (zh) 2022-06-21

Family

ID=67719729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910473106.6A Active CN110188482B (zh) 2019-05-31 2019-05-31 一种基于智能驾驶的测试场景创建方法及装置

Country Status (1)

Country Link
CN (1) CN110188482B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795818B (zh) * 2019-09-12 2022-05-17 腾讯科技(深圳)有限公司 一种确定虚拟测试场景方法、装置、电子设备和存储介质
CN110763483A (zh) * 2019-09-26 2020-02-07 泰牛汽车技术(苏州)有限公司 一种安全等级测试场景库的自动生成方法及装置
CN111402587B (zh) * 2020-03-30 2021-05-25 上海汽车集团股份有限公司 一种智能驾驶的测试方法及测试系统
CN111611711B (zh) * 2020-05-21 2023-06-20 北京百度网讯科技有限公司 自动驾驶数据处理方法、装置及电子设备
CN114185320B (zh) * 2020-09-15 2023-10-24 中国科学院软件研究所 一种无人系统集群的测评方法、装置、系统及存储介质
CN112819968B (zh) * 2021-01-22 2024-04-02 北京智能车联产业创新中心有限公司 基于混合现实的自动驾驶车辆的测试方法和装置
CN113361386B (zh) * 2021-06-03 2022-11-15 苏州智加科技有限公司 虚拟场景的处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法
CN109597317A (zh) * 2018-12-26 2019-04-09 广州小鹏汽车科技有限公司 一种基于自学习的车辆自动驾驶方法、系统及电子设备
CN109741464A (zh) * 2019-01-08 2019-05-10 三星电子(中国)研发中心 用于显示实景的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法
CN109597317A (zh) * 2018-12-26 2019-04-09 广州小鹏汽车科技有限公司 一种基于自学习的车辆自动驾驶方法、系统及电子设备
CN109741464A (zh) * 2019-01-08 2019-05-10 三星电子(中国)研发中心 用于显示实景的方法和装置

Also Published As

Publication number Publication date
CN110188482A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
CN109657355B (zh) 一种车辆道路虚拟场景的仿真方法及系统
US11554785B2 (en) Driving scenario machine learning network and driving environment simulation
Bojarski et al. End to end learning for self-driving cars
US11688174B2 (en) System and method for determining vehicle data set familiarity
CN112789619B (zh) 一种仿真场景的构建方法、仿真方法以及设备
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
CN112819968B (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
GB2536549A (en) Virtual autonomous response testbed
KR102453627B1 (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN111028529A (zh) 安装在车辆中的车载设备及相关设备与方法
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN115119045A (zh) 基于车载多摄像头的视频生成方法、装置及车载设备
Madani et al. Malaysian traffic sign dataset for traffic sign detection and recognition systems
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN115635961A (zh) 样本数据生成方法及应用其的轨迹预测方法、装置
CN114333339B (zh) 深度神经网络功能模块去重复的方法
US20220406041A1 (en) Recognition model distribution system and updating method of recognition model
CN109101908B (zh) 驾驶过程感兴趣区域检测方法及装置
WO2016157277A1 (ja) 走行環境抽象化映像作成方法及び装置
CN115394089A (zh) 一种车辆信息融合展示的方法、无感通行系统及存储介质
CN110198439A (zh) 用于自动测试adas相机的图像识别性能的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant