CN115257768A - 一种智能驾驶车辆环境感知方法、系统、设备及介质 - Google Patents
一种智能驾驶车辆环境感知方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115257768A CN115257768A CN202210968663.7A CN202210968663A CN115257768A CN 115257768 A CN115257768 A CN 115257768A CN 202210968663 A CN202210968663 A CN 202210968663A CN 115257768 A CN115257768 A CN 115257768A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target vehicle
- level
- intelligent driving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4023—Type large-size vehicles, e.g. trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/804—Relative longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/805—Azimuth angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/50—Relative longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/60—Azimuth angle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种智能驾驶车辆环境感知方法、系统、设备及介质,首先获取目标车辆在测试场景中的图像,并对图像进行识别,确定图像中的车道线、障碍物和可通行空间;再识别目标车辆与周围车辆的距离、周围车辆的行驶速度、周围车辆与目标车辆的方位角信息;再然后对车道线、障碍物、可通行空间、目标车辆与周围车辆的距离、周围车辆的行驶速度、以及周围车辆与目标车辆的方位角信息进行融合,并基于融合结果确定目标车辆的安全行驶速度、加速决策信息、减速决策信息和转向决策信息;最后反馈给目标车辆,以对目标车辆进行智能驾驶控制。本申请通过构建环境感知设计的多模态技术体系,能够满足仿真测试、功能测试、道路试验、多场景应用等使用需要。
Description
技术领域
本申请涉及车辆控制技术领域,特别是涉及一种智能驾驶车辆环境感知方法、系统、设备及介质。
背景技术
随着汽车驾驶智能化体验需求快速发展,辅助驾驶、自动驾驶、无人驾驶成为汽车智能化技术研究、应用的发展方向。智能驾驶汽车行车安全性是智能化关注的核心和焦点,与车辆行车安全相关的环境感知、任务规划、行为决策、控制执行是智能驾驶研究应用的主要技术环节。环境感知作为首要条件,既是行车安全实现的前提输入,也是安全功能实现的重要保障。感知结果的全域性、正确性、精确度、实时性与系统架构技术设计的合理性直接相关联。
目前,可通行空间内道路、交通、障碍物构成了极其复杂的外部环境感知,部分目标还处于动态变化状态,加之天气、光照、雨雾、遮挡、侵入、纵向目标高度重叠等增加了感知的不确定性,对智能驾驶功能的稳定实现存在极高的挑战。除需要感知的车辆外部信息外,车辆在动态行驶过程中,还必须对自车状态、障碍物相对距离、速度、方位等作出准确的感知。因此,由于车辆环境感知的复杂性,在当前的运用中,车辆感知主要存在下列不足:
1)探测范围的不完整性造成感知盲区。由于部分车辆(例如商用车)体量大,高度和长度外廓尺寸大,驾驶室与货箱分离,驾驶室与货箱通常不等宽,驾驶室需要翻转,特种车辆的上装也需要翻转,传感器安装布置要实现全域感知需要进行周密的部署和校核;否则带来车辆四周近场感知不足,尤其是四周低矮障碍物识别,长期运用存在的危险性、伤害性高。
2)前向感知距离、范围不足给车辆的中高车速安全行驶带来限制,商用车重量大,行驶惯性大,需要提前感知中远距离范围内的行驶条件,提前减速,紧急制动对人员、运载物的伤害大,不利于场景拓展和应用。
3)单一传感器受硬件质量、感知能力、使用环境条件限制,影响车辆使用安全,只适用于单一的驾驶辅助或预警。常见的视觉感知摄像头、相机的组合能较好地实现对纹理、色彩、数字的感知识别,主要不足在于强光、逆光致盲和弱光、昏暗环境识别的功能性缺失,以及由于安装在前挡风玻璃后侧可能导致的暗室虚拟成像,都是摄像头饱受批评的重点,还存在由于像素原因导致的远端成像像素点与实际距离值的估算误差,对深度距离信息的高精度判断成为摄像头视觉功能的重要不足。毫米波雷达在高度方向感知能力不足,对金属、遮挡反应敏感,近车端由于视场角小出现较大的感知盲区;超声波雷达只能近场感知且距离精度不足。传感器近场距离探测精度应对机场行李车、旅客登机车等特殊场景毫米级高精度定位要求的局限性,影响车辆的落地运用、正常运营和复制推广。任何单一传感器适应高级自动驾驶的能力不足,多传感器感知融合是智能驾驶方向。
4)可通行空间范围外感知结果的作用造成系统功能的触发,非预期触发带来的驾乘舒适性影响。尤其在弯道条件下更容易出现。对数据区域的滤波,提高识别算法的适用性,满足更高车速和开发道路复杂场景的使用需要。
5)感知系统设计在不同车型多场景应用中出现迁移性、复用性不足的问题。设计方案的场景迁移性不强,难以批量复制和量产运用,不利于汽车智能化应用的发展。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种智能驾驶车辆环境感知方法及系统,用于解决现有技术中智能驾驶车辆在环境感知时存在的问题。
为实现上述目的及其他相关目的,本申请提供一种智能驾驶车辆环境感知方法,包括以下步骤:
获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;所述目标车辆包括实时或预先确定的车辆;
识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆;
对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息;
将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
于本申请的一实施例中,获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出车道线、障碍物和可通行空间的过程包括:
将一个或多个图像拍摄装置安装于所述目标车辆上;
利用所述一个或多个图像拍摄装置拍摄所述目标车辆在测试场景中行驶状态或停止状态下的图像,得到所述目标车辆在测试场景中的图像,记为目标图像;
对所述目标图像进行识别,确定出所述目标图像中的车道线、障碍物和可通行空间。
于本申请的一实施例中,所述测试场景包括测试场地场景和行驶条件状态;
其中,所述测试场地场景包括以下至少之一:封闭场地道路场景、半开放场地道路场景、开放场地道路场景;
所述行驶条件状态包括以下至少之一:交通通行控制、道路状况、交通环境状态、路线设定、车辆行驶状态、行驶车速限速。
于本申请的一实施例中,在获取所述目标车辆在测试场景中的图像前,所述方法还包括:获取预先确定的车辆智能驾驶级别和测试功能需求列表,并基于所述车辆智能驾驶级别和所述测试功能需求列表确定所述测试场景;
其中,所述车辆智能驾驶级别包括:L1级智能驾驶级别、L2级智能驾驶级别、L3级智能驾驶级别、L4级智能驾驶级别和L5级智能驾驶级别;且所述L5级智能驾驶级别的智能程度大于所述L4级智能驾驶级别,所述L4级智能驾驶级别的智能程度大于所述L3级智能驾驶级别,所述L3级智能驾驶级别的智能程度大于所述L2级智能驾驶级别,所述L2级智能驾驶级别的智能程度大于所述L1级智能驾驶级别。
于本申请的一实施例中,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息的过程包括:
将多个传感器安装于所述目标车辆上,并记录所述目标车辆在测试场景中处于行驶状态或停止状态下每个传感器的数据;
对每个传感器的数据进行解析,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息。
于本申请的一实施例中,所述多个传感器包括:激光雷达传感器、毫米波雷达传感器和超声波雷达传感器。
于本申请的一实施例中,所述图像拍摄装置包括以下至少之一:单目摄像头、双目摄像头、环视摄像头。
本申请还提供一种智能驾驶车辆环境感知系统,所述系统包括有:
图像感知模块,用于获取目标车辆在测试场景中的图像,所述目标车辆包括实时或预先确定的车辆;
图像识别模块,用于对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;
传感器感知模块,用于识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆;
数据融合模块,用于对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息;
智能驾驶模块,用于将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
本申请还提供一种计算机设备,包括:
处理器;和,
存储有指令的计算机可读介质,当所述处理器执行所述指令时,使得所述设备执行如上述中任一所述的方法。
本申请还提供一种计算机可读介质,其上存储有指令,所述指令由处理器加载并执行如上述中任一所述的方法。
如上所述,本申请提供一种智能驾驶车辆环境感知方法、系统、设备及介质,具有以下有益效果:
本申请首先获取目标车辆在测试场景中的图像,并对图像进行识别,确定出图像中的车道线、障碍物和可通行空间;再识别目标车辆与周围车辆的距离、周围车辆的行驶速度、周围车辆与目标车辆的方位角信息;再然后对车道线、障碍物、可通行空间、目标车辆与周围车辆的距离、周围车辆的行驶速度、以及周围车辆与目标车辆的方位角信息进行融合,并基于融合结果确定目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息;最后将目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息反馈给目标车辆,以对目标车辆进行智能驾驶控制。由此可知,本申请从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,可以涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。
附图说明
图1为应用本申请中一个或多个实施例中技术方案的示例性系统架构的示意图;
图2为本申请中一实施例提供的智能驾驶车辆环境感知方法的流程示意图;
图3为本申请中一实施例提供的车辆感知功能的架构示意图;
图4为本申请中一实施例提供的实现智能驾驶功能需求的路径示意图;
图5为本申请中一实施例提供的智能驾驶感知总体技术架构示意图;
图6为本申请中一实施例提供的传感器视场角及探测距离示意图;
图7为本申请中一实施例提供的智能驾驶车辆环境感知系统的硬件结构示意图。
图8为适用于实现本申请中一个或多个实施例的计算机设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1示出了一种可以应用本申请中一个或多个实施例中技术方案的示例性系统架构的示意图。如图1所示,系统架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路或者无线通信链路。
根据实现需要,本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如,服务器130可以是由多个服务器设备组成的服务器群组。另外,本申请实施例提供的技术方案可以应用于终端设备110,也可以应用于服务器130,或者可以由终端设备110和服务器130共同实施,本申请对此不做特殊限定。
在本申请的一个实施例中,本申请的终端设备110或服务器130可以获取目标车辆在测试场景中的图像,并对图像进行识别,确定出图像中的车道线、障碍物和可通行空间;再识别目标车辆与周围车辆的距离、周围车辆的行驶速度、周围车辆与目标车辆的方位角信息;再然后对车道线、障碍物、可通行空间、目标车辆与周围车辆的距离、周围车辆的行驶速度、以及周围车辆与目标车辆的方位角信息进行融合,并基于融合结果确定目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息;最后将目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息反馈给目标车辆,以对目标车辆进行智能驾驶控制。利用终端设备110或服务器130执行智能驾驶车辆环境感知方法,可以从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。
以上部分介绍了应用本申请技术方案的示例性系统架构的内容,接下来继续介绍本申请的智能驾驶车辆环境感知方法。
图2示出了本申请一实施例提供的智能驾驶车辆环境感知方法流程示意图。具体地,在一示例性实施例中,如图2所示,本实施例提供一种智能驾驶车辆环境感知方法,该方法包括以下步骤:
S210,获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;所述目标车辆包括实时或预先确定的车辆。在本实施例中,目标车辆包括实时或预先确定的商用车辆、私家车辆、公共车辆等。本实施例中的测试场景包括测试场地场景和行驶条件状态;其中,所述测试场地场景包括以下至少之一:封闭场地道路场景、半开放场地道路场景、开放场地道路场景;所述行驶条件状态包括以下至少之一:交通通行控制、道路状况、交通环境状态、路线设定、车辆行驶状态、行驶车速限速。作为示例,本实施例首先对测试场景6类要素特性进行识别,识别测试场景几何特征、物理特征、逻辑特征,得到距离、宽度、高度、速度、方位角、定位、时序等直接要素,作为后续对车辆功能进行匹配、仿真、测试运用的输入和约束条件。其中,智能驾驶商用车的测试场景如下表1所示。
表1智能驾驶商用车的测试场景
根据表1的记载可知,封闭场景的特定场所和开放道路的高速干线,由于行驶速度低,环境相对单纯,具备更良好的智能驾驶运用条件。而复杂城市环境道路的运用才是对各类智能驾驶真正的考验和挑战。因此,本实施例对于前端的感知架构设定要求更高,需要做出充分的分析对应。
S220,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆。具体地,本实施例识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息的过程包括:将多个传感器安装于所述目标车辆上,并记录所述目标车辆在测试场景中处于行驶状态或停止状态下每个传感器的数据;对每个传感器的数据进行解析,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息。所述多个传感器包括:激光雷达传感器、毫米波雷达传感器和超声波雷达传感器。在本实施例中,目标车辆上设置的传感器如图3所示。在图3中,本实施例在目标车辆上设置有前激光雷达、左侧激光雷达、右侧激光雷达、后激光雷达和毫米波雷达;其中,前激光雷达、左侧激光雷达、右侧激光雷达和后激光雷达通过以太网与网络交换机连接,网络交换机通过以太网与自动驾驶控制器ACU(Automated Control Unit,简称ACU)连接,毫米波雷达通过CAN总线(Controller AreaNetwork,控制器域网,简称CAN)与自动驾驶控制器ACU连接。
S230,对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息。如图3所示,本实施例构建了网联协同式自动驾驶的总体技术架构,简化后也可对应不同辅助驾驶功能需求。作为环境信息感知的摄像头视觉感知系统将视频图像通过交换机发送给自动驾驶控制器ACU(Automated Control Unit,简称ACU),进行图像处理,识别出车道线、障碍物、可通行空间等信息;同理,毫米波雷达识别前车距离和速度、方位角信息,ACU进行计算、校核;作为高级别自动驾驶使用的激光雷达可兼具前两者的功能,提升环境和目标识别的完整性、准确性。所有数据在ACU控制器完成融合,实现对目标类别、距离、速度、角度的定义,作出自车的定位及其与各目标的相对位置判断,以确定自车的安全行驶速度,加减速及转向决策信息,实时将决策结果通过网关发送给底盘各控制器。对驱动、传动、转向、转向和上车体功能的控制执行,并将实时数据返回ACU作为下次决策的依据之一,循环往复控制车辆智能驾驶功能实现。
S240,将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
由此可知,本实施例从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,可以涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。
在一示例性实施例中,获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出车道线、障碍物和可通行空间的过程包括:将一个或多个图像拍摄装置安装于所述目标车辆上。利用所述一个或多个图像拍摄装置拍摄所述目标车辆在测试场景中行驶状态或停止状态下的图像,得到所述目标车辆在测试场景中的图像,记为目标图像。对所述目标图像进行识别,确定出所述目标图像中的车道线、障碍物和可通行空间。作为示例,如图3所示,本实施例中目标车辆上安装的图像拍摄装置包括但不限于:单目摄像头、双目摄像头、环视摄像头。
根据上述记载,在一示例性实施例中,在获取所述目标车辆在测试场景中的图像前,所述方法还包括:获取预先确定的车辆智能驾驶级别和测试功能需求列表,并基于所述车辆智能驾驶级别和所述测试功能需求列表确定所述测试场景;其中,所述车辆智能驾驶级别包括:L1级智能驾驶级别、L2级智能驾驶级别、L3级智能驾驶级别、L4级智能驾驶级别和L5级智能驾驶级别;且所述L5级智能驾驶级别的智能程度大于所述L4级智能驾驶级别,所述L4级智能驾驶级别的智能程度大于所述L3级智能驾驶级别,所述L3级智能驾驶级别的智能程度大于所述L2级智能驾驶级别,所述L2级智能驾驶级别的智能程度大于所述L1级智能驾驶级别。具体地,本实施例识别智能驾驶功能需求的主要路径如图4所示。在图4中,对预警、保持、防撞等L0-L2类驾驶辅助功能的实现,主要依赖于①中传感器及识别算法实现,由执行系统④进行相应。包括声音、光电、震动,甚至降低动力,发出提示信号,警示驾驶者修正当前车辆状态,及时控制行车安全。对L3级及以上自动驾驶,由于实时操作车辆的主体转变为自动驾驶系统,需要更精准、完备、实时的环境感知结果作为输入;需要增加任务规划、行为决策以替代人工操作;需要更复杂的操作系统软件和强大算力的支持,在此基础上实现对车辆的精准控制,还将车辆实时的运动状态状态参数作为输入与下一次感知进行新一轮校正、匹配。如本实施例的记载可知,无论是单一驾驶辅助功能还是复杂自动驾驶功能的实现,环境感知的重要度随时均处于车辆安全行驶运用的重要地位。
无论是自主式单车智能还是网联式车路协同技术路线下的智能汽车,单一类别的传感器环境感知局限性越来越受到使用安全的限制。多传感器融合,优势互补,共同构建安全、高效、实时的感知系统已经成为研究和运用重要方向。即使在车路协同发展及至成熟,车载系统的感知能力仍然是车辆行驶安全的重要手段和保障。按照智能驾驶功能需求,可组合设定对应感知技术方案,适应不同复杂程度的环境感知功能需要。因此,在本申请另一示例性实施例中,本实施例提供一种智能驾驶车辆环境感知方法,包括以下步骤:识别实现智能驾驶功能需求的主要路径;定义不同使用场景与智能驾驶功能的适用关联;部署车辆感知功能的总体技术架构,并按照所述总体技术架构进行车辆感知。
具体地,识别实现智能驾驶功能需求的主要路径的过程包括:第一,对预警、保持、防撞等L0-L2类驾驶辅助功能的实现,主要依赖于①中传感器及识别算法实现,由执行系统④进行相应。包括声音、光电、震动,甚至降低动力,发出提示信号,警示驾驶者修正当前车辆状态,及时控制行车安全。第二,对L3级及以上自动驾驶,由于实时操作车辆的主体转变为自动驾驶系统,需要更精准、完备、实时的环境感知结果作为输入;需要增加任务规划、行为决策以替代人工操作;需要更复杂的操作系统软件和强大算力的支持,在此基础上实现对车辆的精准控制,还将车辆实时的运动状态状态参数作为输入与下一次感知进行新一轮校正、匹配。如上可知,无论是单一驾驶辅助功能还是复杂自动驾驶功能的实现,环境感知的重要度无时不处于着车辆安全行驶运用的重要地位。
定义不同使用场景与智能驾驶功能的适用关联的过程包括:对场景6类要素特性进行识别,识别场景几何特征、物理特征、逻辑特征,技术落脚点是距离、宽度、高度、速度、方位角、定位、时序等直接要素,作为后续对车辆功能进行匹配、仿真、测试运用的输入和约束条件。其中,封闭场景的特定场所和开放道路的高速干线,尤其是前者,由于行驶速度低,环境相对单纯,具备更良好的智能驾驶运用条件。而复杂城市环境道路的运用才是对各类智能驾驶真正的考验和挑战。因此,作为前端的感知架构设定要求更高,应做充分的分析对应。此外,本实施例在场景特征识别基础上,分析场景与不同自动驾驶级别需求的对应关联。根据场景限制条件设定不同功能组合与选择,确定设计运行条件,确保技术方案对应场景的有效性和安全性。场景与不同自动驾驶级别需求的关联匹配关系如表2所示,在表2中,“●”表示适用,“◎”表示可选用,“—”表示不推荐使用。
表2场景与不同自动驾驶级别需求的关联匹配关系
图3构建了网联协同式自动驾驶的总体技术架构,简化后也可对应不同辅助驾驶功能需求。部署车辆感知功能的总体技术架构,并按照所述总体技术架构进行车辆感知的过程包括:作为环境信息感知的摄像头视觉感知系统将视频图像通过交换机发送给自动驾驶控制器ACU,进行图像处理,识别出车道线、障碍物、可通行空间等信息;同理,毫米波雷达识别前车距离和速度、方位角信息,ACU进行计算、校核;作为高级别自动驾驶使用的激光雷达可兼具前两者的功能,提升环境和目标识别的完整性、准确性。所有数据在ACU控制器完成融合,实现对目标类别、距离、速度、角度的定义,作出自车的定位及其与各目标的相对位置判断,以确定自车的安全行驶速度,加减速及转向决策信息,实时将决策结果通过网关发送给底盘各控制器。对驱动、传动、转向、转向和上车体功能的控制执行。并将实时数据返回ACU作为下次决策的依据之一。循环往复控制车辆智能驾驶功能实现。由此可知,在本实施例中,无论是自主式单车智能还是网联式车路协同技术路线下的智能汽车,单一类别的传感器环境感知局限性越来越受到使用安全的限制。多传感器融合,优势互补,共同构建安全、高效、实时的感知系统已经成为研究和运用重要方向。即使在车路协同发展及至成熟,车载系统的感知能力仍然是车辆行驶安全的重要手段和保障。按照智能驾驶功能需求,可组合设定对应感知技术方案,适应不同复杂程度的环境感知功能需要。
为满足场景使用需求,按照表2指出的功能进行匹配,再和图4指出的传感器功能结合,可以制定相应的感知系统方案。例如,对车道偏离预警等驾驶辅助功能需求,采用视觉和短距离毫米波雷达进行组合,根据车型外廓尺寸大小选定适当数量进行部署。从而既可以产生理想效果,又能有效控制成本,易于技术、产品的推广应用,实现产品升级。同理,在面对复杂环境的需求时,除了充分应用视觉感知系统在颜色、纹理、明暗感知的优势,还必须加入有纵向距离感知和速度感知优势的长距离毫米波雷达,实现距离和速度可控。此外,在L3级及以上的自动驾驶,利用高精地图进行动态支持,以及GNSS+RTK+IMU等高精度定位设备的支持,实现超视距信息交互;在实现远程驾驶、联网运行的系统中,还进一步采用V2X车路协同通信及路测感知系统,适应高级别自动驾驶的使用需要。
此外,在进行感知系统部署时,如图6所示,本实施例各类传感器视场角及探测距离参数确定后,可对系统进行部署,主要调整、校核系统的可探测范围,建立可覆盖从定向感知到全域感知、远中近结合/高中低搭配的立体包络感知系统,满足单项功能或组合功能的使用需求,及至无人驾驶系统使用的需要。
综上所述,本申请提供一种智能驾驶车辆环境感知方法,首先获取目标车辆在测试场景中的图像,并对图像进行识别,确定出图像中的车道线、障碍物和可通行空间;再识别目标车辆与周围车辆的距离、周围车辆的行驶速度、周围车辆与目标车辆的方位角信息;再然后对车道线、障碍物、可通行空间、目标车辆与周围车辆的距离、周围车辆的行驶速度、以及周围车辆与目标车辆的方位角信息进行融合,并基于融合结果确定目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息;最后将目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息反馈给目标车辆,以对目标车辆进行智能驾驶控制。由此可知,本申请从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,可以涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。本方法在系统性分析智能驾驶商用车使用场景及特征和不同级别智能驾驶功能的基础上,提出了开展感知系统设计的一种流程化设计思路和查表分析思路。首先,设计思路具有较强的实用性。以场景特征分析为前提,能更好提出满足驾驶功能需求的组合方案。既有技术性,又有经济性,避免了系统性分析不足所采用方案给环境感知带来的识别缺陷,也避免过度冗余的复杂技术方案带来的成本高启和对硬件系统更高性能的要求。其次,按照上述流程,可探索功能需求实现的多种技术路径,验证对不同场景的同一功能需求的采取不同类别感知系统进行对应的有效性。如在园区内使用的L3级自动驾驶物流车,自车行驶速度较低,建立了以激光雷达为核心感知的系统,既满足L3级感知需求又兼带AEBS等辅助驾驶功能实现,可省去对毫米波雷达的设计部署,降低使用成本和系统复杂度。
如图7所示,本申请还提供一种智能驾驶车辆环境感知系统,所述系统包括有:
图像感知模块710,用于获取目标车辆在测试场景中的图像,所述目标车辆包括实时或预先确定的车辆。在本实施例中,目标车辆包括实时或预先确定的商用车辆、私家车辆、公共车辆等。本实施例中的测试场景包括测试场地场景和行驶条件状态;其中,所述测试场地场景包括以下至少之一:封闭场地道路场景、半开放场地道路场景、开放场地道路场景;所述行驶条件状态包括以下至少之一:交通通行控制、道路状况、交通环境状态、路线设定、车辆行驶状态、行驶车速限速。作为示例,本实施例首先对测试场景6类要素特性进行识别,识别测试场景几何特征、物理特征、逻辑特征,得到距离、宽度、高度、速度、方位角、定位、时序等直接要素,作为后续对车辆功能进行匹配、仿真、测试运用的输入和约束条件。其中,智能驾驶商用车的测试场景如下表3所示。
表3智能驾驶商用车的测试场景
根据表3的记载可知,封闭场景的特定场所和开放道路的高速干线,由于行驶速度低,环境相对单纯,具备更良好的智能驾驶运用条件。而复杂城市环境道路的运用才是对各类智能驾驶真正的考验和挑战。因此,本实施例对于前端的感知架构设定要求更高,需要做出充分的分析对应。
图像识别模块720,用于对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;
传感器感知模块730,用于识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆。具体地,本实施例识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息的过程包括:将多个传感器安装于所述目标车辆上,并记录所述目标车辆在测试场景中处于行驶状态或停止状态下每个传感器的数据;对每个传感器的数据进行解析,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息。所述多个传感器包括:激光雷达传感器、毫米波雷达传感器和超声波雷达传感器。在本实施例中,目标车辆上设置的传感器如图3所示。在图3中,本实施例在目标车辆上设置有前激光雷达、左侧激光雷达、右侧激光雷达、后激光雷达和毫米波雷达;其中,前激光雷达、左侧激光雷达、右侧激光雷达和后激光雷达通过以太网与网络交换机连接,网络交换机通过以太网与自动驾驶控制器ACU(Automated Control Unit,简称ACU)连接,毫米波雷达通过CAN总线(Controller Area Network,控制器域网,简称CAN)与自动驾驶控制器ACU连接。
数据融合模块740,用于对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息。如图3所示,本实施例构建了网联协同式自动驾驶的总体技术架构,简化后也可对应不同辅助驾驶功能需求。作为环境信息感知的摄像头视觉感知系统将视频图像通过交换机发送给自动驾驶控制器ACU(Automated Control Unit,简称ACU),进行图像处理,识别出车道线、障碍物、可通行空间等信息;同理,毫米波雷达识别前车距离和速度、方位角信息,ACU进行计算、校核;作为高级别自动驾驶使用的激光雷达可兼具前两者的功能,提升环境和目标识别的完整性、准确性。所有数据在ACU控制器完成融合,实现对目标类别、距离、速度、角度的定义,作出自车的定位及其与各目标的相对位置判断,以确定自车的安全行驶速度,加减速及转向决策信息,实时将决策结果通过网关发送给底盘各控制器。对驱动、传动、转向、转向和上车体功能的控制执行,并将实时数据返回ACU作为下次决策的依据之一,循环往复控制车辆智能驾驶功能实现。
智能驾驶模块750,用于将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
由此可知,本实施例从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,可以涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。
在一示例性实施例中,获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出车道线、障碍物和可通行空间的过程包括:将一个或多个图像拍摄装置安装于所述目标车辆上。利用所述一个或多个图像拍摄装置拍摄所述目标车辆在测试场景中行驶状态或停止状态下的图像,得到所述目标车辆在测试场景中的图像,记为目标图像。对所述目标图像进行识别,确定出所述目标图像中的车道线、障碍物和可通行空间。作为示例,如图3所示,本实施例中目标车辆上安装的图像拍摄装置包括但不限于:单目摄像头、双目摄像头、环视摄像头。
根据上述记载,在一示例性实施例中,在获取所述目标车辆在测试场景中的图像前,所述系统还包括:获取预先确定的车辆智能驾驶级别和测试功能需求列表,并基于所述车辆智能驾驶级别和所述测试功能需求列表确定所述测试场景;其中,所述车辆智能驾驶级别包括:L1级智能驾驶级别、L2级智能驾驶级别、L3级智能驾驶级别、L4级智能驾驶级别和L5级智能驾驶级别;且所述L5级智能驾驶级别的智能程度大于所述L4级智能驾驶级别,所述L4级智能驾驶级别的智能程度大于所述L3级智能驾驶级别,所述L3级智能驾驶级别的智能程度大于所述L2级智能驾驶级别,所述L2级智能驾驶级别的智能程度大于所述L1级智能驾驶级别。具体地,本实施例识别智能驾驶功能需求的主要路径如图4所示。在图4中,对预警、保持、防撞等L0-L2类驾驶辅助功能的实现,主要依赖于①中传感器及识别算法实现,由执行系统④进行相应。包括声音、光电、震动,甚至降低动力,发出提示信号,警示驾驶者修正当前车辆状态,及时控制行车安全。对L3级及以上自动驾驶,由于实时操作车辆的主体转变为自动驾驶系统,需要更精准、完备、实时的环境感知结果作为输入;需要增加任务规划、行为决策以替代人工操作;需要更复杂的操作系统软件和强大算力的支持,在此基础上实现对车辆的精准控制,还将车辆实时的运动状态状态参数作为输入与下一次感知进行新一轮校正、匹配。如本实施例的记载可知,无论是单一驾驶辅助功能还是复杂自动驾驶功能的实现,环境感知的重要度随时均处于车辆安全行驶运用的重要地位。
无论是自主式单车智能还是网联式车路协同技术路线下的智能汽车,单一类别的传感器环境感知局限性越来越受到使用安全的限制。多传感器融合,优势互补,共同构建安全、高效、实时的感知系统已经成为研究和运用重要方向。即使在车路协同发展及至成熟,车载系统的感知能力仍然是车辆行驶安全的重要手段和保障。按照智能驾驶功能需求,可组合设定对应感知技术方案,适应不同复杂程度的环境感知功能需要。因此,在本申请另一示例性实施例中,本实施例提供一种智能驾驶车辆环境感知系统,包括执行以下步骤:识别实现智能驾驶功能需求的主要路径;定义不同使用场景与智能驾驶功能的适用关联;部署车辆感知功能的总体技术架构,并按照所述总体技术架构进行车辆感知。
具体地,识别实现智能驾驶功能需求的主要路径的过程包括:第一,对预警、保持、防撞等L0-L2类驾驶辅助功能的实现,主要依赖于①中传感器及识别算法实现,由执行系统④进行相应。包括声音、光电、震动,甚至降低动力,发出提示信号,警示驾驶者修正当前车辆状态,及时控制行车安全。第二,对L3级及以上自动驾驶,由于实时操作车辆的主体转变为自动驾驶系统,需要更精准、完备、实时的环境感知结果作为输入;需要增加任务规划、行为决策以替代人工操作;需要更复杂的操作系统软件和强大算力的支持,在此基础上实现对车辆的精准控制,还将车辆实时的运动状态状态参数作为输入与下一次感知进行新一轮校正、匹配。如上可知,无论是单一驾驶辅助功能还是复杂自动驾驶功能的实现,环境感知的重要度无时不处于着车辆安全行驶运用的重要地位。
定义不同使用场景与智能驾驶功能的适用关联的过程包括:对场景6类要素特性进行识别,识别场景几何特征、物理特征、逻辑特征,技术落脚点是距离、宽度、高度、速度、方位角、定位、时序等直接要素,作为后续对车辆功能进行匹配、仿真、测试运用的输入和约束条件。其中,封闭场景的特定场所和开放道路的高速干线,尤其是前者,由于行驶速度低,环境相对单纯,具备更良好的智能驾驶运用条件。而复杂城市环境道路的运用才是对各类智能驾驶真正的考验和挑战。因此,作为前端的感知架构设定要求更高,应做充分的分析对应。此外,本实施例在场景特征识别基础上,分析场景与不同自动驾驶级别需求的对应关联。根据场景限制条件设定不同功能组合与选择,确定设计运行条件,确保技术方案对应场景的有效性和安全性。场景与不同自动驾驶级别需求的关联匹配关系如表4所示,在表4中,“●”表示适用,“◎”表示可选用,“—”表示不推荐使用。
表4场景与不同自动驾驶级别需求的关联匹配关系
图3构建了网联协同式自动驾驶的总体技术架构,简化后也可对应不同辅助驾驶功能需求。部署车辆感知功能的总体技术架构,并按照所述总体技术架构进行车辆感知的过程包括:作为环境信息感知的摄像头视觉感知系统将视频图像通过交换机发送给自动驾驶控制器ACU,进行图像处理,识别出车道线、障碍物、可通行空间等信息;同理,毫米波雷达识别前车距离和速度、方位角信息,ACU进行计算、校核;作为高级别自动驾驶使用的激光雷达可兼具前两者的功能,提升环境和目标识别的完整性、准确性。所有数据在ACU控制器完成融合,实现对目标类别、距离、速度、角度的定义,作出自车的定位及其与各目标的相对位置判断,以确定自车的安全行驶速度,加减速及转向决策信息,实时将决策结果通过网关发送给底盘各控制器。对驱动、传动、转向、转向和上车体功能的控制执行。并将实时数据返回ACU作为下次决策的依据之一。循环往复控制车辆智能驾驶功能实现。由此可知,在本实施例中,无论是自主式单车智能还是网联式车路协同技术路线下的智能汽车,单一类别的传感器环境感知局限性越来越受到使用安全的限制。多传感器融合,优势互补,共同构建安全、高效、实时的感知系统已经成为研究和运用重要方向。即使在车路协同发展及至成熟,车载系统的感知能力仍然是车辆行驶安全的重要手段和保障。按照智能驾驶功能需求,可组合设定对应感知技术方案,适应不同复杂程度的环境感知功能需要。
为满足场景使用需求,按照表4指出的功能进行匹配,再和图4指出的传感器功能结合,可以制定相应的感知系统方案。例如,对车道偏离预警等驾驶辅助功能需求,采用视觉和短距离毫米波雷达进行组合,根据车型外廓尺寸大小选定适当数量进行部署。从而既可以产生理想效果,又能有效控制成本,易于技术、产品的推广应用,实现产品升级。同理,在面对复杂环境的需求时,除了充分应用视觉感知系统在颜色、纹理、明暗感知的优势,还必须加入有纵向距离感知和速度感知优势的长距离毫米波雷达,实现距离和速度可控。此外,在L3级及以上的自动驾驶,利用高精地图进行动态支持,以及GNSS+RTK+IMU等高精度定位设备的支持,实现超视距信息交互;在实现远程驾驶、联网运行的系统中,还进一步采用V2X车路协同通信及路测感知系统,适应高级别自动驾驶的使用需要。
此外,在进行感知系统部署时,如图6所示,本实施例各类传感器视场角及探测距离参数确定后,可对系统进行部署,主要调整、校核系统的可探测范围,建立可覆盖从定向感知到全域感知、远中近结合/高中低搭配的立体包络感知系统,满足单项功能或组合功能的使用需求,及至无人驾驶系统使用的需要。
综上所述,本申请提供一种智能驾驶车辆环境感知系统,首先获取目标车辆在测试场景中的图像,并对图像进行识别,确定出图像中的车道线、障碍物和可通行空间;再识别目标车辆与周围车辆的距离、周围车辆的行驶速度、周围车辆与目标车辆的方位角信息;再然后对车道线、障碍物、可通行空间、目标车辆与周围车辆的距离、周围车辆的行驶速度、以及周围车辆与目标车辆的方位角信息进行融合,并基于融合结果确定目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息;最后将目标车辆的安全行驶速度、目标车辆的加速决策信息、目标车辆的减速决策信息和目标车辆的转向决策信息反馈给目标车辆,以对目标车辆进行智能驾驶控制。由此可知,本申请从智能驾驶功能需求出发,通过构建环境感知设计的多模态技术体系,可以涵盖厘米级定位精度组合惯导、车路协同路测感知,能够完整构建多模态、模块化、可拆分、组合式的技术方案,实现功能、技术、成本的协同,适应包括驾驶辅助预警,到不同场景的辅助驾驶,直至实现对自动驾驶商用车封闭场景、固定路线乃至开放道路测试验证和示范运用的功能覆盖,能够满足仿真测试、功能测试、道路试验、多场景应用等不同使用需要。本系统在系统性分析智能驾驶商用车使用场景及特征和不同级别智能驾驶功能的基础上,提出了开展感知系统设计的一种流程化设计思路和查表分析思路。首先,设计思路具有较强的实用性。以场景特征分析为前提,能更好提出满足驾驶功能需求的组合方案。既有技术性,又有经济性,避免了系统性分析不足所采用方案给环境感知带来的识别缺陷,也避免过度冗余的复杂技术方案带来的成本高启和对硬件系统更高性能的要求。其次,按照上述流程,可探索功能需求实现的多种技术路径,验证对不同场景的同一功能需求的采取不同类别感知系统进行对应的有效性。如在园区内使用的L3级自动驾驶物流车,自车行驶速度较低,建立了以激光雷达为核心感知的系统,既满足L3级感知需求又兼带AEBS等辅助驾驶功能实现,可省去对毫米波雷达的设计部署,降低使用成本和系统复杂度。
需要说明的是,上述实施例所提供智能驾驶车辆环境感知系统与上述实施例所提供的智能驾驶车辆环境感知方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。上述实施例所提供的智能驾驶车辆环境感知系统在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,本处也不对此进行限制。
本申请实施例还提供了一种计算机设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图2所述的方法。图8示出了一种计算机设备1000的结构示意图。参阅图8所示,计算机设备1000包括:处理器1010、存储器1020、电源1030、显示单元1040、输入单元1060。
处理器1010是计算机设备1000的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在存储器1020内的软件程序和/或数据,执行计算机设备1000的各种功能,从而对计算机设备1000进行整体监控。本申请实施例中,处理器1010调用存储器1020中存储的计算机程序时执行如图2所述的方法。可选的,处理器1010可包括一个或多个处理单元;优选的,处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用等,调制解调处理器主要处理无线通信。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、各种应用等;存储数据区可存储根据计算机设备1000的使用所创建的数据等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
计算机设备1000还包括给各个部件供电的电源1030(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及计算机设备1000的各种菜单等,本申请实施例中主要用于显示计算机设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1050。显示面板1050可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置。
输入单元1060可用于接收用户输入的数字或字符等信息。输入单元1060可包括触控面板1070以及其他输入设备1080。其中,触控面板1070,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1070上或在触控面板1070附近的操作)。
具体的,触控面板1070可以检测用户的触摸操作,并检测触摸操作带来的信号,将这些信号转换成触点坐标,发送给处理器1010,并接收处理器1010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1070。其他输入设备1080可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然,触控面板1070可覆盖显示面板1050,当触控面板1070检测到在其上或附近的触摸操作后,传送给处理器1010以确定触摸事件的类型,随后处理器1010根据触摸事件的类型在显示面板1050上提供相应的视觉输出。虽然在图8中,触控面板1070与显示面板1050是作为两个独立的部件来实现计算机设备1000的输入和输出功能,但是在某些实施例中,可以将触控面板1070与显示面板1050集成而实现计算机设备1000的输入和输出功能。
计算机设备1000还可包括一个或多个传感器,例如压力传感器、重力加速度传感器、接近光传感器等。当然,根据具体应用中的需要,上述计算机设备1000还可以包括摄像头等其它部件。
本申请实施例还提供了一种计算机可读存储介质,该存储介质中存储有指令,当一个或多个处理器执行所述指令时,使得上述设备能够执行本申请中如图2所述的方法。
本领域技术人员可以理解的是,图8仅仅是计算机设备的举例,并不构成对该设备的限定,该设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本申请时,可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的,应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可应用至通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器中以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种智能驾驶车辆环境感知方法,其特征在于,所述方法包括以下步骤:
获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;所述目标车辆包括实时或预先确定的车辆;
识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆;
对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息;
将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
2.根据权利要求1所述的智能驾驶车辆环境感知方法,其特征在于,获取目标车辆在测试场景中的图像,并对所述图像进行识别,确定出车道线、障碍物和可通行空间的过程包括:
将一个或多个图像拍摄装置安装于所述目标车辆上;
利用所述一个或多个图像拍摄装置拍摄所述目标车辆在测试场景中行驶状态或停止状态下的图像,得到所述目标车辆在测试场景中的图像,记为目标图像;
对所述目标图像进行识别,确定出所述目标图像中的车道线、障碍物和可通行空间。
3.根据权利要求1或2所述的智能驾驶车辆环境感知方法,其特征在于,所述测试场景包括测试场地场景和行驶条件状态;
其中,所述测试场地场景包括以下至少之一:封闭场地道路场景、半开放场地道路场景、开放场地道路场景;
所述行驶条件状态包括以下至少之一:交通通行控制、道路状况、交通环境状态、路线设定、车辆行驶状态、行驶车速限速。
4.根据权利要求3所述的智能驾驶车辆环境感知方法,其特征在于,在获取所述目标车辆在测试场景中的图像前,所述方法还包括:获取预先确定的车辆智能驾驶级别和测试功能需求列表,并基于所述车辆智能驾驶级别和所述测试功能需求列表确定所述测试场景;
其中,所述车辆智能驾驶级别包括:L1级智能驾驶级别、L2级智能驾驶级别、L3级智能驾驶级别、L4级智能驾驶级别和L5级智能驾驶级别;且所述L5级智能驾驶级别的智能程度大于所述L4级智能驾驶级别,所述L4级智能驾驶级别的智能程度大于所述L3级智能驾驶级别,所述L3级智能驾驶级别的智能程度大于所述L2级智能驾驶级别,所述L2级智能驾驶级别的智能程度大于所述L1级智能驾驶级别。
5.根据权利要求3所述的智能驾驶车辆环境感知方法,其特征在于,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息的过程包括:
将多个传感器安装于所述目标车辆上,并记录所述目标车辆在测试场景中处于行驶状态或停止状态下每个传感器的数据;
对每个传感器的数据进行解析,识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息。
6.根据权利要求5所述的智能驾驶车辆环境感知方法,其特征在于,所述多个传感器包括:激光雷达传感器、毫米波雷达传感器和超声波雷达传感器。
7.根据权利要求2所述的智能驾驶车辆环境感知方法,其特征在于,所述图像拍摄装置包括以下至少之一:单目摄像头、双目摄像头、环视摄像头。
8.一种智能驾驶车辆环境感知系统,其特征在于,所述系统包括有:
图像感知模块,用于获取目标车辆在测试场景中的图像,所述目标车辆包括实时或预先确定的车辆;
图像识别模块,用于对所述图像进行识别,确定出所述图像中的车道线、障碍物和可通行空间;
传感器感知模块,用于识别所述目标车辆与周围车辆的距离、所述周围车辆的行驶速度、所述周围车辆与所述目标车辆的方位角信息;所述周围车辆包括与所述目标车辆处于预设距离范围内的车辆;
数据融合模块,用于对所述车道线、所述障碍物、所述可通行空间、所述目标车辆与所述周围车辆的距离、所述周围车辆的行驶速度、以及所述周围车辆与所述目标车辆的方位角信息进行融合,并基于融合结果确定所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息;
智能驾驶模块,用于将所述目标车辆的安全行驶速度、所述目标车辆的加速决策信息、所述目标车辆的减速决策信息和所述目标车辆的转向决策信息反馈给所述目标车辆,以对所述目标车辆进行智能驾驶控制。
9.一种计算机设备,其特征在于,包括:
处理器;和,
存储有指令的计算机可读介质,当所述处理器执行所述指令时,使得所述设备执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读介质,其特征在于,其上存储有指令,所述指令由处理器加载并执行如权利要求1至7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210968663.7A CN115257768A (zh) | 2022-08-12 | 2022-08-12 | 一种智能驾驶车辆环境感知方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210968663.7A CN115257768A (zh) | 2022-08-12 | 2022-08-12 | 一种智能驾驶车辆环境感知方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115257768A true CN115257768A (zh) | 2022-11-01 |
Family
ID=83751619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210968663.7A Pending CN115257768A (zh) | 2022-08-12 | 2022-08-12 | 一种智能驾驶车辆环境感知方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115257768A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115775457A (zh) * | 2023-01-31 | 2023-03-10 | 江苏天一航空工业股份有限公司 | 一种用于民航机场车路协同路径测试方法及系统 |
CN115797913A (zh) * | 2023-01-30 | 2023-03-14 | 江苏天一航空工业股份有限公司 | 一种物流行李牵引车自动驾驶交通信号灯识别系统 |
CN116010289A (zh) * | 2023-03-27 | 2023-04-25 | 禾多科技(北京)有限公司 | 自动驾驶仿真场景测试方法、装置、电子设备和可读介质 |
CN116824869A (zh) * | 2023-08-31 | 2023-09-29 | 国汽(北京)智能网联汽车研究院有限公司 | 车路云一体化交通融合感知测试方法、装置、系统及介质 |
-
2022
- 2022-08-12 CN CN202210968663.7A patent/CN115257768A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797913A (zh) * | 2023-01-30 | 2023-03-14 | 江苏天一航空工业股份有限公司 | 一种物流行李牵引车自动驾驶交通信号灯识别系统 |
CN115775457A (zh) * | 2023-01-31 | 2023-03-10 | 江苏天一航空工业股份有限公司 | 一种用于民航机场车路协同路径测试方法及系统 |
CN116010289A (zh) * | 2023-03-27 | 2023-04-25 | 禾多科技(北京)有限公司 | 自动驾驶仿真场景测试方法、装置、电子设备和可读介质 |
CN116824869A (zh) * | 2023-08-31 | 2023-09-29 | 国汽(北京)智能网联汽车研究院有限公司 | 车路云一体化交通融合感知测试方法、装置、系统及介质 |
CN116824869B (zh) * | 2023-08-31 | 2023-11-24 | 国汽(北京)智能网联汽车研究院有限公司 | 车路云一体化交通融合感知测试方法、装置、系统及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111919225B (zh) | 使用模拟环境对自主机器进行培训、测试和验证 | |
JP7399164B2 (ja) | 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出 | |
US11302031B2 (en) | System, apparatus and method for indoor positioning | |
US11217012B2 (en) | System and method for identifying travel way features for autonomous vehicle motion control | |
US10489686B2 (en) | Object detection for an autonomous vehicle | |
US20210276587A1 (en) | Systems and Methods for Autonomous Vehicle Systems Simulation | |
CN115257768A (zh) | 一种智能驾驶车辆环境感知方法、系统、设备及介质 | |
US20190235521A1 (en) | System and method for end-to-end autonomous vehicle validation | |
CN111133448A (zh) | 使用安全到达时间控制自动驾驶车辆 | |
KR20210050925A (ko) | 차량 충돌 회피 장치 및 방법 | |
US11897505B2 (en) | In-vehicle operation of simulation scenarios during autonomous vehicle runs | |
US20170359561A1 (en) | Disparity mapping for an autonomous vehicle | |
US20200004237A1 (en) | Apparatus and method for virtual home service | |
US20190221058A1 (en) | Methods, Devices, and Systems For Communicating Autonomous-Vehicle Status | |
CN109300324A (zh) | 一种无人驾驶汽车的环境信息获取方法及装置 | |
US11893323B2 (en) | Systems and methods for generating scenarios for AV simulation using parametric modeling | |
US11604908B2 (en) | Hardware in loop testing and generation of latency profiles for use in simulation | |
EP3839438A2 (en) | Using map information to smooth objects generated from sensor data | |
US11673581B2 (en) | Puddle occupancy grid for autonomous vehicles | |
CN114973050A (zh) | 自动驾驶应用中深度神经网络感知的地面实况数据生成 | |
Certad et al. | Jku-its automobile for research on autonomous vehicles | |
CN115480092A (zh) | 自主机器应用中多个频率范围内的电压监测 | |
CN112874511A (zh) | 汽车的自动驾驶控制方法、装置及计算机存储介质 | |
JP2023133049A (ja) | 自律マシンシステム及びアプリケーションのための認知ベースの駐車支援 | |
US20240017741A1 (en) | Validation of trajectory planning for autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |