CN115205803A - 自动驾驶环境感知方法、介质及车辆 - Google Patents

自动驾驶环境感知方法、介质及车辆 Download PDF

Info

Publication number
CN115205803A
CN115205803A CN202210834143.7A CN202210834143A CN115205803A CN 115205803 A CN115205803 A CN 115205803A CN 202210834143 A CN202210834143 A CN 202210834143A CN 115205803 A CN115205803 A CN 115205803A
Authority
CN
China
Prior art keywords
information
target detection
perception
environment perception
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210834143.7A
Other languages
English (en)
Inventor
彭超
熊祺
邓浩平
梁继
孙雷
任少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202210834143.7A priority Critical patent/CN115205803A/zh
Publication of CN115205803A publication Critical patent/CN115205803A/zh
Priority to PCT/CN2023/103659 priority patent/WO2024012211A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及自动驾驶技术领域，具体提供一种自动驾驶环境感知方法、介质及车辆，旨在解决现有技术中当车载摄像头或者激光雷达中的任意一个传感器损坏的情况下无法获得环境感知信息的技术问题。为此目的，本发明的自动驾驶环境感知方法包括：基于来自相机的图像数据获取第一目标检测信息；基于来自激光雷达的点云数据获取第二目标检测信息；基于来自定位传感器的定位数据获取相对定位信息和全局定位信息；对第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息；对第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。如此，提高了环境感知信息的精度。

Description

自动驾驶环境感知方法、介质及车辆
技术领域
本发明涉及自动驾驶技术领域，具体提供一种自动驾驶环境感知方法、介质及车辆。
背景技术
目前，在自动驾驶领域中，车载摄像头和激光雷达高度绑定，因此，在获得环境感知信息的过程中，必须要求车载摄像头采集的图像数据和激光雷达采集的点云数据准确无误的送到融合单元，才能够识别得到最终的环境感知信息。然而，在一些突发情况下，当车载摄像头或者激光雷达中的任意一个传感器损坏的情况下，将无法获得车辆需要的环境感知信息，无法保证车辆安全驾驶。
相应地，本领域需要一种新的自动驾驶环境感知方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有技术中当车载摄像头或者激光雷达中的任意一个传感器损坏的情况下获得车辆需要的环境感知信息的技术问题。本发明提供了一种自动驾驶环境感知方法、介质及车辆。
在第一方面，本发明提供一种自动驾驶环境感知方法，所述方法包括：基于来自相机的图像数据获取第一目标检测信息；基于来自激光雷达的点云数据获取第二目标检测信息；基于来自定位传感器的定位数据获取定位信息，所述定位信息包括相对定位信息和全局定位信息；对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息；对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
在一个具体实施方式中，所述方法还包括基于来自毫米波雷达的点云数据获取第三目标检测信息；所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：对所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
在一个具体实施方式中，所述对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息，包括：将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：将所述第一环境感知信息、相对定位信息和全局定位信息输入第二感知融合模型，得到所述第二环境感知信息。
在一个具体实施方式中，所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息，地面信息、对向车辆灯光信息以及车道线信息中的至少一个；
所述基于来自激光雷达的点云数据获取第二目标检测信息，包括：将来自激光雷达的点云数据输入第二神经网络获得第二目标检测信息，其中所述第二目标检测信息包括障碍物信息和可行驶区域信息中的至少一个；
所述基于来自定位传感器的定位数据获取定位信息，包括：将来自卫星导航、惯性导航装置和里程计中的至少一种的定位数据输入定位模块，获取自动驾驶车辆相对于初始位姿的当前位姿信息以及在全局地图上的全局位姿信息。
在一个具体实施方式中，所述第一神经网络和所述定位模块设置在第一系统级芯片上；所述第二神经网络设置在不同于所述第一系统级芯片的第二系统级芯片上；或
所述第一神经网络设置在第一系统级芯片上，所述第二神经网络和所述定位模块设置在不同于所述第一系统级芯片的第二系统级芯片上。
在一个具体实施方式中，所述第一感知融合模型和第二感知模型设置在所述第一系统级芯片上。
在一个具体实施方式中，所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：若检测到所述第二系统级芯片被关闭，将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息。
在一个具体实施方式中，所述第一感知融合模型设置在所述第一系统级芯片上；所述第二感知模型设置在所述第二系统级芯片上。
在一个具体实施方式中，若检测到所述第二系统级芯片被关闭，所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；
所述方法还包括：将所述第一环境感知信息作为最终感知结果进行输出。
在第二方面，提供一种系统级芯片，该系统级芯片包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的自动驾驶环境感知方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的自动驾驶环境感知方法。
在第四方面，提供一种车辆，包括前述的系统级芯片。
方案1.一种自动驾驶环境感知方法，其特征在于，所述方法包括：
基于来自相机的图像数据获取第一目标检测信息；
基于来自激光雷达的点云数据获取第二目标检测信息；
基于来自定位传感器的定位数据获取定位信息，所述定位信息包括相对定位信息和全局定位信息；
对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息；
对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
方案2.根据方案1所述的自动驾驶环境感知方法，其特征在于，所述方法还包括基于来自毫米波雷达的点云数据获取第三目标检测信息；
所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：对所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
方案3.根据方案1或2所述的自动驾驶环境感知方法，其特征在于，所述对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息，包括：将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；
所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：将所述第一环境感知信息、相对定位信息和全局定位信息输入第二感知融合模型，得到所述第二环境感知信息。
方案4.根据方案3所述的自动驾驶环境感知方法，其特征在于，
所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息，地面信息、对向车辆灯光信息以及车道线信息中的至少一个；
所述基于来自激光雷达的点云数据获取第二目标检测信息，包括：将来自激光雷达的点云数据输入第二神经网络获得第二目标检测信息，其中所述第二目标检测信息包括障碍物信息和可行驶区域信息中的至少一个；
所述基于来自定位传感器的定位数据获取定位信息，包括：将来自卫星导航、惯性导航装置和里程计中的至少一种的定位数据输入定位模块，获取自动驾驶车辆相对于初始位姿的当前位姿信息以及在全局地图上的全局位姿信息。
方案5.根据方案4所述的自动驾驶环境感知方法，其特征在于，所述第一神经网络和所述定位模块设置在第一系统级芯片上，所述第二神经网络设置在不同于所述第一系统级芯片的第二系统级芯片上；或
所述第一神经网络设置在第一系统级芯片上，所述第二神经网络和所述定位模块设置在不同于所述第一系统级芯片的第二系统级芯片上。
方案6.根据方案5所述的自动驾驶环境感知方法，其特征在于，所述第一感知融合模型和第二感知模型设置在所述第一系统级芯片上。
方案7.根据方案6所述的自动驾驶环境感知方法，其特征在于，所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：
若检测到所述第二系统级芯片被关闭，将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息。
方案8.根据方案5所述的自动驾驶环境感知方法，其特征在于，所述第一感知融合模型设置在所述第一系统级芯片上；
所述第二感知模型设置在所述第二系统级芯片上。
方案9.根据方案8所述的自动驾驶环境感知方法，其特征在于，若检测到所述第二系统级芯片被关闭，
所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；
所述方法还包括：将所述第一环境感知信息作为最终感知结果进行输出。
方案10.一种系统级芯片，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至9中任一项所述的自动驾驶环境感知方法。
方案11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至9中任一项所述的自动驾驶环境感知方法。
方案12.一种车辆，其特征在于，包括方案10所述的系统级芯片。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明中的自动驾驶环境感知方法，通过对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息以及定位传感器对应的定位信息进行分级融合，从而获得最终的环境感知信息。如此，在任意一个传感器出现损坏的情况下，都能够保证系统有独立的环境感知信息输出的能力，使得系统能够正常工作，从而提升了车辆的安全性能。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是根据本发明的一个实施例的自动驾驶环境感知方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的基于三维点云数据获取三维检测结果的流程示意图；
图3是根据本发明的一个实施例的基于三维点云数据获取可行驶区域的流程示意图；
图4是根据本发明的一个实施例的自动驾驶环境感知方法的完整步骤流程示意图；
图5是根据本发明的一个实施例的一个系统级芯片实现自动驾驶环境感知方法的结构示意图；
图6是根据本发明的一个实施例的两个系统级芯片实现自动驾驶环境感知方法的结构示意图；
图7是根据本发明的一个实施例的两个系统级芯片实现自动驾驶环境感知方法的结构示意图；
图8是根据本发明的一个实施例的系统级芯片装置的主要结构框图示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
目前，在自动驾驶领域中，车载摄像头和激光雷达高度绑定，因此，在获得环境感知信息的过程中，必须要求车载摄像头采集的图像数据和激光雷达采集的点云数据准确无误的送到融合单元，才能够识别得到最终的环境感知信息。然而，在一些突发情况下，当车载摄像头或者激光雷达中的任意一个传感器损坏的情况下，将无法获得车辆需要的环境感知信息，无法保证车辆安全驾驶。
为此，本申请提出了一种自动驾驶环境感知方法、介质及车辆，通过对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息以及定位传感器对应的定位信息进行分级融合，从而获得最终的环境感知信息。如此，在任意一个传感器出现损坏的情况下，都能够保证系统有独立的环境感知信息输出的能力，使得系统能够正常工作，从而提升了车辆的安全性能。
参阅附图1，图1是根据本发明的一个实施例的自动驾驶环境感知方法的主要步骤流程示意图。
如图1所示，本发明实施例中的自动驾驶环境感知方法主要包括下列步骤S101-步骤S105。
步骤S101：基于来自相机的图像数据获取第一目标检测信息。
相机用于对车辆周围的图像数据进行采集。车辆上可以安装多个摄像头，可以包含至少一个远距离摄像头。对相机的具体安装位置没有限定，只要求相机能够覆盖车辆周围360°即可。
在一个具体实施方式中，所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息，地面信息、对向车辆灯光信息以及车道线信息中的至少一个。
第一神经网络能够对相机的图像数据进行识别，从而得到包括障碍物信息、交通标志信息，地面信息、对向车辆灯光信息以及车道线信息等信息。
第一神经网络可以基于FasterRCNN算法、YOLO算法和Mobilenet算法等中的任意一种算法实现，但不限于此。
步骤S102：基于来自激光雷达的点云数据获取第二目标检测信息。
在一个具体实施方式中，所述基于来自激光雷达的点云数据获取第二目标检测信息，包括：将来自激光雷达的点云数据输入第二神经网络获得第二目标检测信息，其中所述第二目标检测信息包括障碍物信息和可行驶区域信息中的至少一个。
具体如图2所示，在基于激光雷达的点云数据获取障碍物信息的过程中，首先可以对原始的三维点云数据进行栅格化预处理。栅格化预处理有利于减少网络对绝对距离的依赖，提高网络对激光雷达点云分布的抗干扰性，也提高了网络的泛化性。
经过栅格化预处理后，得到了坐标和特征的成对信息，并将其输入稀疏三维卷积网络中。通过稀疏三维卷积网络，对点云组成的三维形状进行特征提取，得到维度更高的特征。
经过三维栅格特征提取后，获得了三维的点云特征，但为了增加更多的感受野以及组合更多的层次的点云特征，利用二维栅格特征提取网络获得包含二维特征的特征图。
在得到二维特征提取的特征图后，利用检测头网络输出bbox形式的检测结果。检测头通过两层卷积后输出特征图上每个像素点的检测属性，包括分类得分、三维检测框属性(坐标、尺寸和角度)和朝向分类属性等。
由于激光雷达的物理特性，点云检测网络往往容易输出一些假目标，所以需要对初步得到的检测结果进行后处理。从而过滤掉这些假目标，得到最终的三维检测结果，也就是障碍物信息。
另外，具体如图3所示，在基于激光雷达的点云数据获取可行驶区域的过程中，首先根据激光雷达获取的三维点云数据估计当前环境的地面高度，接着根据地面高度确定三维点云数据中不属于地面的非地面点云，其次对非地面点云进行障碍物检测，得到一个或多个障碍物，最后根据障碍物的位置确定可行驶区域。
通过对来自激光雷达的点云数据进行处理，从而得到障碍物信息和可行驶区域，为后期信息的融合提供了基础支持。
步骤S103：基于来自定位传感器的定位数据获取定位信息，所述定位信息包括相对定位信息和全局定位信息。
定位传感器包括卫星导航、惯性导航装置和里程计中的至少一种。
具体是将来自卫星导航、惯性导航装置和里程计中的至少一种的定位数据输入定位模块，从而能够获取到自动驾驶车辆相对于初始位姿的当前位姿信息以及在全局地图上的全局位姿信息，所述当前位姿信息即为相对定位信息，全局位姿信息即为全局定位信息。
步骤S104：对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息。
在一个具体实施方式中，所述对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息，包括：将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息。
具体来说，第一目标检测信息包括检测目标的二维包围框和第一置信值，第二目标检测信息包括检测目标的候选三维包围框和第二置信值。具体地，在第一目标检测信息、第二目标检测信息和相对定位信息进行融合的过程中，首先利用第一目标检测信息、第二目标检测信息和相对定位信息构造手工特征，接着将手工特征输入到后融合网络，为候选三维包围框生成新的置信值，得到第一环境感知信息。
利用第一目标检测信息、第二目标检测信息和相对定位信息构造手工特征，包括：将二维包围框对应的第一置信值和三维包围框对应的第二置信值加入手工特征；将激光雷达对应的三维包围框投影到相机图像中，获取激光雷达对应的二维包围框；根据激光雷达对应的二维包围框和相机对应的二维包围框计算GIoU，将计算获得的GIoU加入所述手工特征；根据第二目标检测信息估计车辆目标中心点的深度，将所述深度加入手工特征；基于相对定位信息获取三维包围框到相机中心的距离，将所述距离加入手工特征。
详细来说，对于任意的二维检测框A1和A2，首先找到他们的最小包围框A3,然后计算A3/(A1∪A2)与A3面积的比值，将二维检测框A1和A2的交并比IoU与A3的比值作为GIoU，即：
Figure BDA0003746790860000101
车辆目标中心点的深度Zi的计算公式为：
Figure BDA0003746790860000102
其中，f为相机焦距，b为基线长度，x1为检测框中心点到图像中心点的距离。
后融合网络由4个一维卷积网络和一个最大池化层组成，分别是Conv2D(4,16,(1,1),1)，Conv2D(16,32,(1,1),1)，Conv2D(32,32,(1,1),1)and Conv2D(32,1,(1,1),1)，其中Conv2D(cin,cout,k,s)的含义为：cin和cout分别是输入和输出的通道数，k为卷积核的大小，s为步长。
第一感知融合模块能够将第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息，从而为车辆的安全驾驶提供支撑。第一感知融合模块也可以通过其它算法实现，此处不赘述。
步骤S105：对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
在一个具体实施方式中，所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：将所述第一环境感知信息、相对定位信息和全局定位信息输入第二感知融合模型，得到所述第二环境感知信息。
具体是根据第一环境感知信息、相对定位信息和全局定位信息预估目标的运行轨迹，并准确估计下一时刻目标在全局地图中的具体位置、速度大小和方向等信息。
在一个具体实施方式中，所述方法还包括基于来自毫米波雷达的点云数据获取第三目标检测信息；所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：对所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
在第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合的过程中，首先获取第一环境感知信息和第三目标检测信息的检测框，检测框为目标的最小边界框。
接着基于相对定位信息和全局定位信息确定第一环境感知信息和第三目标检测信息中各目标的位置、各个目标的轨迹以及速度，并基于所述位置计算两个目标对应检测框的交并比IoU。
最后判断所述交并比、轨迹相似度和速度相似度是否满足预设条件，具体在所述交并比大于交并比阈值、轨迹相似度大于轨迹阈值、速度相似度大于速度相似度阈值时，说明两个目标匹配成功，此时将第一环境感知信息中包含的目标的位置、速度和航向角等信息作为第二感知信息输出。
若不满足预设条件，说明两个目标匹配不成功。具体在未匹配成功的目标为第一环境感知信息中的目标时，将从第一环境感知信息中获取的该目标的位置、速度和航向角等信息作为该目标的具体信息输出。具体在未匹配成功的目标为第三目标检测信息中的目标时，将从第三目标检测信息中获取的该目标的位置、速度和航向角等信息作为该目标的具体信息输出。
第二感知融合模块能够对相对定位信息、全局定位信息、第一环境感知信息和第三目标检测信息进行进一步融合，从而获得了更加精确地环境感知信息。第二感知融合模块也可以通过其它算法实现，此处不赘述。
基于上述步骤S101-步骤S105，通过对相机对应的第一目标检测信息、激光雷达对应的第二目标检测信息以及定位传感器对应的定位信息进行分级融合，从而获得最终的环境感知信息。如此，在任意一个传感器出现损坏的情况下，都能够保证系统有独立的环境感知信息输出的能力，使得系统能够正常工作，从而提升了车辆的安全性能。
为了获得更加精确的环境感知信息，具体如图4所示，还可以在环境信息融合的过程中加入基于毫米波雷达采集的点云数据获得的第三目标检测信息。具体是将第三目标检测信息与第一环境感知信息、相对定位信息和全局定位信息输入第二感知融合模块进行融合，从而得到第二环境感知信息。由于在融合的过程中进一步加入了毫米波雷达的点云对应的目标检测信息，因此，融合得到的第二环境感知信息准确度更高。
具体如图5所示，第一神经网络、定位模块、第二神经网络、第一感知融合模型和第二感知融合模型可以设置在一个系统级芯片(SOC)上。
在一个具体实施方式中，所述第一神经网络和所述定位模块设置在第一系统级芯片上；所述第二神经网络设置在不同于所述第一系统级芯片的第二系统级芯片上；或所述第一神经网络设置在第一系统级芯片上，所述第二神经网络和所述定位模块设置在不同于所述第一系统级芯片的第二系统级芯片上。
在一个具体实施方式中，所述第一感知融合模型和第二感知模型设置在所述第一系统级芯片上。
具体如图6所示，第一神经网络和定位模块设置在第一系统级芯片(SOC1)上，第二神经网络设置在不同于SOC1的第二系统级芯片(SOC2)上。
另外，第一神经网络可以设置在第一系统级芯片SOC1上，第二神经网络和定位模块设置在第二系统级芯片SOC2上。
同时，第一感知融合模型和第二感知模型也可以设置在SOC1上。如此，在SOC2关闭的情况下，能够保证车辆获取到基础的环境感知信息，使得车辆能够保持基础驾驶性能。在SOC2工作的情况下，能够保证车辆获取到更高精度的环境感知信息，从而保证了车辆的安全、稳定驾驶。
在一个具体实施方式中，所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：若检测到所述第二系统级芯片被关闭，将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息。
当SOC2关闭时，第二神经网络无法输出第二检测目标信息，因此，此时可以将第二检测目标信息作为无效信息，不参与数据融合，在第一感知融合模块中直接对第一检测目标信息及相对定位信息进行融合。如此，也能够保证系统输出第一环境感知信息和第二环境感知信息，从而保证车辆安全驾驶。
在一个具体实施方式中，所述第一感知融合模型设置在所述第一系统级芯片上；所述第二感知模型设置在所述第二系统级芯片上。
如图6所示，第一感知融合模块和第二感知融合模块两者可以在一个SOC中实现。另外，如图7所示，第一感知融合模块和第二感知融合模块两者也可以在不同的SOC上实现，在不同的SOC上实现的优势是在一个SOC的算力有限制的情况下，将算法分配在多个带有AI算力的SOC中，保证计算资源的充足性。同时可以针对不同的应用需求，方便关闭部分计算资源，达到降低功耗，提升车辆续航里程。如图7所示。当车辆不开启高级别自动驾驶功能时候，可以关闭第二系统级芯片SOC2，仅使用车载相机和定位信息作为输入实现相关低级别自动驾驶功能。
在一个具体实施方式中，若检测到所述第二系统级芯片被关闭，
所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；
所述方法还包括：将所述第一环境感知信息作为最终感知结果进行输出。
当车辆不开启高级别自动驾驶功能时，可以关闭第二系统级芯片SOC2。此时，将第二目标检测信息作为无效信息，不参与数据融合，在第一感知融合模型中直接对第一目标检测信及相对定位信息进行融合。同时，由于第二系统级芯片SOC2关闭后，第二感知融合模块无法正常工作，因此，第二感知融合模型输出的信息为无效信息。此时可以将第一环境感知信息作为最终的感知结果输出。如此，在保证车辆基础驾驶功能的情况下，节省了资源。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种系统级芯片。在根据本发明的一个电子设备实施例中，如图8所示，系统级芯片包括处理器80和存储装置81，存储装置可以被配置成存储执行上述方法实施例的自动驾驶环境感知方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的自动驾驶环境感知方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的自动驾驶环境感知方法的程序，该程序可以由处理器加载并运行以实现上述自动驾驶环境感知方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种车辆，所述车辆包括前述的系统级芯片。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种自动驾驶环境感知方法，其特征在于，所述方法包括：
基于来自相机的图像数据获取第一目标检测信息；
基于来自激光雷达的点云数据获取第二目标检测信息；
基于来自定位传感器的定位数据获取定位信息，所述定位信息包括相对定位信息和全局定位信息；
对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息；
对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
2.根据权利要求1所述的自动驾驶环境感知方法，其特征在于，所述方法还包括基于来自毫米波雷达的点云数据获取第三目标检测信息；
所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：对所述第一环境感知信息、第三目标检测信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息。
3.根据权利要求1或2所述的自动驾驶环境感知方法，其特征在于，所述对所述第一目标检测信息、第二目标检测信息和相对定位信息进行融合，得到第一环境感知信息，包括：将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息；
所述对所述第一环境感知信息、相对定位信息和全局定位信息进行融合，得到第二环境感知信息，包括：将所述第一环境感知信息、相对定位信息和全局定位信息输入第二感知融合模型，得到所述第二环境感知信息。
4.根据权利要求3所述的自动驾驶环境感知方法，其特征在于，
所述基于来自相机的图像数据获取第一目标检测信息，包括：将来自相机的图像数据输入第一神经网络获得第一目标检测信息，其中所述第一目标检测信息包括障碍物信息、交通标志信息，地面信息、对向车辆灯光信息以及车道线信息中的至少一个；
所述基于来自激光雷达的点云数据获取第二目标检测信息，包括：将来自激光雷达的点云数据输入第二神经网络获得第二目标检测信息，其中所述第二目标检测信息包括障碍物信息和可行驶区域信息中的至少一个；
所述基于来自定位传感器的定位数据获取定位信息，包括：将来自卫星导航、惯性导航装置和里程计中的至少一种的定位数据输入定位模块，获取自动驾驶车辆相对于初始位姿的当前位姿信息以及在全局地图上的全局位姿信息。
5.根据权利要求4所述的自动驾驶环境感知方法，其特征在于，所述第一神经网络和所述定位模块设置在第一系统级芯片上，所述第二神经网络设置在不同于所述第一系统级芯片的第二系统级芯片上；或
所述第一神经网络设置在第一系统级芯片上，所述第二神经网络和所述定位模块设置在不同于所述第一系统级芯片的第二系统级芯片上。
6.根据权利要求5所述的自动驾驶环境感知方法，其特征在于，所述第一感知融合模型和第二感知模型设置在所述第一系统级芯片上。
7.根据权利要求6所述的自动驾驶环境感知方法，其特征在于，所述将所述第一目标检测信息、第二目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息，包括：
若检测到所述第二系统级芯片被关闭，将所述第一目标检测信息和相对定位信息输入第一感知融合模型，得到所述第一环境感知信息。
8.一种系统级芯片，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的自动驾驶环境感知方法。
9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的自动驾驶环境感知方法。
10.一种车辆，其特征在于，包括权利要求8所述的系统级芯片。
CN202210834143.7A 2022-07-14 2022-07-14 自动驾驶环境感知方法、介质及车辆 Pending CN115205803A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210834143.7A CN115205803A (zh) 2022-07-14 2022-07-14 自动驾驶环境感知方法、介质及车辆
PCT/CN2023/103659 WO2024012211A1 (zh) 2022-07-14 2023-06-29 自动驾驶环境感知方法、介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834143.7A CN115205803A (zh) 2022-07-14 2022-07-14 自动驾驶环境感知方法、介质及车辆

Publications (1)

Publication Number Publication Date
CN115205803A true CN115205803A (zh) 2022-10-18

Family

ID=83583028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834143.7A Pending CN115205803A (zh) 2022-07-14 2022-07-14 自动驾驶环境感知方法、介质及车辆

Country Status (2)

Country Link
CN (1) CN115205803A (zh)
WO (1) WO2024012211A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690261A (zh) * 2022-12-29 2023-02-03 安徽蔚来智驾科技有限公司 基于多传感器融合的车位建图方法、车辆及存储介质
CN117163071A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆
WO2024012211A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 自动驾驶环境感知方法、介质及车辆

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
CN109556615B (zh) * 2018-10-10 2022-10-04 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN110032965B (zh) * 2019-04-10 2023-06-27 南京理工大学 基于遥感图像的视觉定位方法
CN113002396B (zh) * 2020-04-14 2022-06-10 青岛慧拓智能机器有限公司 一种用于自动驾驶矿用车辆的环境感知系统及矿用车辆
CN112740268B (zh) * 2020-11-23 2022-06-07 华为技术有限公司 目标检测方法和装置
CN115205803A (zh) * 2022-07-14 2022-10-18 安徽蔚来智驾科技有限公司 自动驾驶环境感知方法、介质及车辆
CN115273027A (zh) * 2022-07-14 2022-11-01 安徽蔚来智驾科技有限公司 环境感知方法、域控制器、存储介质及车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012211A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 自动驾驶环境感知方法、介质及车辆
CN115690261A (zh) * 2022-12-29 2023-02-03 安徽蔚来智驾科技有限公司 基于多传感器融合的车位建图方法、车辆及存储介质
CN115690261B (zh) * 2022-12-29 2023-04-14 安徽蔚来智驾科技有限公司 基于多传感器融合的车位建图方法、车辆及存储介质
CN117163071A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆
CN117163071B (zh) * 2023-11-03 2024-03-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆

Also Published As

Publication number Publication date
WO2024012211A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
Suhr et al. Sensor fusion-based low-cost vehicle localization system for complex urban environments
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
CN109143207B (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN104833370B (zh) 用于映射、定位和位姿校正的系统和方法
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN112101092A (zh) 自动驾驶环境感知方法及系统
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
RU2744012C1 (ru) Способы и системы для автоматизированного определения присутствия объектов
CN112166457A (zh) 点云分割方法、系统和可移动平台
CN112740225B (zh) 一种路面要素确定方法及装置
WO2024012212A1 (zh) 环境感知方法、域控制器、存储介质及车辆
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN114485698B (zh) 一种交叉路口引导线生成方法及系统
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
Song et al. Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework
CN114694115A (zh) 一种道路障碍物检测方法、装置、设备及存储介质
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
CN116184357B (zh) 一种地面点云数据处理方法、装置、电子装置和存储介质
CN114419573A (zh) 动态占据栅格估计方法及装置
CN112835063B (zh) 物体动静属性的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination