CN115620261A - 基于多传感器的车辆环境感知方法、系统、设备及介质 - Google Patents

基于多传感器的车辆环境感知方法、系统、设备及介质 Download PDF

Info

Publication number
CN115620261A
CN115620261A CN202211239722.3A CN202211239722A CN115620261A CN 115620261 A CN115620261 A CN 115620261A CN 202211239722 A CN202211239722 A CN 202211239722A CN 115620261 A CN115620261 A CN 115620261A
Authority
CN
China
Prior art keywords
current frame
point cloud
obstacle
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211239722.3A
Other languages
English (en)
Inventor
刘建国
廖新佳
尹智帅
颜伏伍
卢炽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Foshan Xianhu Laboratory
Original Assignee
Wuhan University of Technology WUT
Foshan Xianhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT, Foshan Xianhu Laboratory filed Critical Wuhan University of Technology WUT
Priority to CN202211239722.3A priority Critical patent/CN115620261A/zh
Publication of CN115620261A publication Critical patent/CN115620261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本发明公开了基于多传感器的车辆环境感知方法、系统、设备及介质，其中所述方法包括：从激光雷达组件所采集到的当前帧点云中提取出当前帧地面点云和当前帧非地面点云；对当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；利用卷积神经网络对相机所采集到的图像数据进行标记处理，得到所有障碍物目标框；将当前帧障碍物定位数据和毫米波雷达所扫描到的所有障碍物检测数据与所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。本发明通过对车辆上安装的多类传感器所采集到的多类数据进行加强融合处理，可以得到车辆周边更为完整的环境信息，有利于更为准确地预判车辆在行驶过程中的安全性。

Description

基于多传感器的车辆环境感知方法、系统、设备及介质
技术领域
本发明涉及障碍物检测技术领域，具体是涉及基于多传感器的车辆环境感知方法、系统、设备及介质。
背景技术
随着智能汽车技术的飞速发展，国内外各大公司均大力发展无人驾驶技术，无人驾驶技术四大核心技术分别是环境感知、精确定位、路径规划和线控执行。目前的环境感知技术主要是采用单一的车载传感器来获取到车辆周边的环境信息，容易造成信息漏检误判，而对于利用多类传感器进行数据融合来获取更为完整的环境信息这一研究相对较少。
发明内容
本发明提供基于多传感器的车辆环境感知方法、系统、设备及介质，解决现有技术中存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
第一方面，提供一种基于多传感器的车辆环境感知方法，所述方法包括：
获取车辆上安装的激光雷达组件采集到的当前帧点云，从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云；
对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
获取车辆上安装的相机采集到的图像数据，利用卷积神经网络对所述图像数据进行标记处理得到所有障碍物目标框；
获取车辆上安装的毫米波雷达扫描到的所有障碍物检测数据，将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。
进一步地，所述激光雷达组件包括设置在车辆顶部中间的第一激光雷达以及分别设置在车辆顶部左右两侧的第二激光雷达和第三激光雷达。
进一步地，所述从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云包括：
获取所述第二激光雷达与所述第一激光雷达之间的第一外参变换矩阵，以及所述第三激光雷达与所述第一激光雷达之间的第二外参变换矩阵；
利用所述第一外参变换矩阵和所述第二外参变换矩阵对所述当前帧点云数据进行转换与融合，得到第一当前帧点云；
对所述第一当前帧点云进行体素栅格化处理，得到第二当前帧点云；
利用地平面拟合算法对所述第二当前帧点云进行分割处理，得到当前帧地面点云和当前帧非地面点云。
进一步地，所述对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据包括：
对所述当前帧非地面点云进行区域划分，结合KDTree算法和欧式聚类算法对每个区域的非地面点云进行最邻近搜索，得到每个区域的聚类结果；
根据所述每个区域的聚类结果，确定所述当前帧非地面点云所表征的障碍物位置和障碍物大小。
进一步地，在将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测之前，还包括：
将所述当前帧障碍物定位数据和所述所有障碍物检测数据分别转换至相机坐标系下进行表示。
进一步地，所述方法还包括：
将所述当前帧障碍物定位数据与存储的历史帧障碍物定位数据进行同个障碍物的匹配关联运算，得到当前帧障碍物姿态数据；根据所述最终障碍物信息，对所述当前帧障碍物姿态数据进行筛选与关联输出。
进一步地，所述方法还包括：
从所述当前帧地面点云中提取出发生高度突变的所有点云数据，再对所述所有点云数据进行拟合处理得到车道边缘信息；根据所述车道边缘信息，对所述最终障碍物信息的所处环境进行识别判断与关联输出。
第二方面，提供一种基于多传感器的车辆环境感知系统，所述系统包括：
提取模块，用于获取车辆上安装的激光雷达组件采集到的当前帧点云，从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云；
聚类模块，用于对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
标记模块，用于获取所述车辆上安装的相机采集到的图像数据，利用卷积神经网络对所述图像数据进行标记处理得到所有障碍物目标框；
匹配模块，用于获取车辆上安装的毫米波雷达扫描到的所有障碍物检测数据，将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。
第三方面，提供一种计算机设备，包括：
至少一个存储器；
至少一个处理器；
所述存储器存储有计算机程序，处理器执行所述计算机程序如第一方面所述的基于多传感器的车辆环境感知方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多传感器的车辆环境感知方法。
本发明至少具有以下有益效果：通过对激光雷达组件、相机、毫米波雷达等多类传感器所采集到的多类数据进行加强融合处理，可以得到车辆周边更为完整的环境信息，从而有助于更为准确地预判车辆在行驶过程中的安全性。通过在激光雷达组件中设置有多个低线束激光雷达，可以在降低应用成本的同时，扩大对车辆周边的检测范围，提高对车辆周边的检测精度。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明实施例中的一种基于多传感器的车辆环境感知方法的流程示意图；
图2是本发明实施例中的一种基于多传感器的车辆环境感知系统的组成示意图；
图3是本公开实施例中的计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
首先，对本发明中涉及的部分名词进行解释如下：
卷积神经网络，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一；卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。卷积神经网络包含一个由卷积层和子采样层构成的特征抽取器，其中的卷积层通常包含若干个特征图，每个特征图是由一些矩形排列的神经元组成，且同一特征图的神经元共享权值(即卷积核)，卷积核一般以随机小数矩阵的形式进行初始化且在网络的训练过程中进行学习更新，而通过共享权值的方式可以减少网络各层之间的连接以及降低过拟合的风险；其中的子采样层又称为池化层，通常有均值池化和最大值池化这两种形式，均可以看作是一种特殊的卷积过程。
激光雷达的外参变换矩阵，表征激光雷达测量坐标系相对于其他传感器测量坐标系的相对变换关系，即旋转平移变换矩阵。
KDTree算法，全称为K-demension Tree算法，可以构建出一种KD树，是把二叉搜索树推广到多维数据的主存数据结构，其构造方式为：首先构造根结点，该根结点对应于包含所有样本的k维特征空间的超矩形区域；其次通过递归方式对k维特征空间进行切分，在该超矩形区域上选择某一特定坐标轴和特定切分点，通过垂直于该特定坐标轴且经过该特定切分点的超平面，将该超矩形区域上的所有样本被对应划分入左右两个子区域(即左子树和右子树)；当左右两个子区域中没有样本时，终止整个递归过程。
欧式聚类算法，利用现有的欧式距离计算公式将数据集划分为由若干相似对象组成的多个组或簇，使得同一个组或簇内的数据相似度最大化，而不同的组或簇间的数据相似度最小化。
地平面拟合算法，首先从点云数据中提取出一组具有低高度值的种子点，利用这些种子点估计地面的初始平面模型；该点云数据中的每个点根据平面估计模型来估计候选平面，并获取该点在该候选平面上发生正交投影时的距离；将该距离与事先定义好的阈值进行比较，若小于该阈值则认定该点属于地面；将该点当作新的种子点，用于平面估计模型重新估计新的候选平面；按照上述过程重复执行若干次之后，可以从该点云数据中筛选出所有地面点，进而可以形成一个地平面。
请参考图1，图1是本发明实施例提供的一种基于多传感器的车辆环境感知方法的流程示意图，所述方法包括如下：
步骤S110、获取车辆上安装的激光雷达组件采集到的当前帧点云，从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云；
步骤S120、对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
步骤S130、获取所述车辆上安装的相机采集到的图像数据，利用卷积神经网络对所述图像数据进行标记处理得到所有障碍物目标框；
步骤S140、获取车辆上安装的毫米波雷达扫描到的所有障碍物检测数据，将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。
在上述步骤S110中，所述激光雷达组件实际上包括第一激光雷达、第二激光雷达和第三激光雷达，所述第一激光雷达采用现有的32线激光雷达，所述第二激光雷达和所述第三激光雷达均采用现有的16线激光雷达；其中，所述第一激光雷达设置在所述车辆的顶部中间，所述第二激光雷达设置在所述车辆的顶部左侧，所述第三激光雷达设置在所述车辆的顶部右侧，通过这种布置方式可以提高对所述车辆的四周中远距离和左右两侧较近距离的点云检测效果。
在上述步骤S110中，由于所述当前帧点云实际上包含有由所述第一激光雷达所采集到的中间点云、由所述第二激光雷达所采集到的左侧点云以及由所述第三激光雷达所采集到的右侧点云，需要优先对所述中间点云、所述左侧点云和所述右侧点云进行转换和融合处理，具体实施过程包括如下：
步骤A1、将所述第一激光雷达和所述第二激光雷达固定到一个机器人上进行LOAM建图，通过在地图上进行ICP配准来完成外参标定过程，得到所述第一激光雷达与所述第二激光雷达之间的第一外参变换矩阵；其中LOAM的全称为Lidar Odometry and Mapping onVariable Terrain，ICP的全称为Iterative Closest Point；
步骤A2、将所述第一激光雷达和所述第三激光雷达固定到一个机器人上进行LOAM建图，通过在地图上进行ICP配准来完成外参标定过程，得到所述第一激光雷达与所述第三激光雷达之间的第二外参变换矩阵；
步骤A3、利用所述第一外参变换矩阵对所述左侧点云进行转换处理，使得所述左侧点云可以在所述第一激光雷达所在的激光雷达坐标系下进行表示
步骤A4、利用所述第二外参变换矩阵对所述右侧点云进行转换处理，使得所述右侧点云可以在所述第一激光雷达所在的激光雷达坐标系下进行表示；
步骤A5、将通过上述步骤A3所得到的左侧点云、通过上述步骤A4所得到的右侧点云和所述中间点云进行结合，得到第一当前帧点云。
在此基础上，从所述第一当前帧点云中提取出所述当前帧非地面点云和所述当前帧地面点云的实施过程包括如下：
步骤B1、对所述第一当前帧点云进行体素栅格化处理得到第二当前帧点云；
步骤B2、结合地平面拟合算法对所述第二当前帧点云进行分割处理得到当前帧非地面点云和当前帧地面点云。
具体的，上述步骤B1的实施方式为：首先将所述第一当前帧点云输入预先创建好的体素滤波器中，按照预先设定的体素分辨率对所述第一当前帧点云进行体素化处理，形成若干个体素；其次通过遍历每个体素，针对每个体素计算其中心点，最终仅保留该体素内距离该中心点最近的点，以此实现对所述第一当前帧点云的降采样处理；其中，所述体素分辨率优选为0.2m。
需要说明的是，上述步骤B1的实施目的在于减少上述步骤B2所提及到的点云分割处理以及上述步骤S120所提及到的障碍物聚类处理的计算复杂度，同时也可以滤除掉所述第一当前帧点云中的噪点数据。
具体的，在大多数情况下，车辆行驶地面呈现出一定的坡度变化，单一平面模型并不能够很好地表示真实的车辆行驶地面，因此上述步骤B2的实施方式为：首先沿着所述车辆的车头行驶方向，将所述第二当前帧点云划分成在不同距离的空间平面下表示的若干个第三当前帧点云；其次利用地平面拟合算法对每个第三当前帧点云进行分割处理，可以从每个第三当前帧点云中获取到所有地面点和剩下的所有非地面点，进而通过集合方式获取到所述当前帧非地面点云和所述当前帧地面点云。
在本发明实施例中，上述步骤S120的具体实施过程包括如下：
步骤S121、将所述当前帧非地面点云进行区域划分，结合欧式聚类算法和KDTree算法对划分出来的每个区域内包含的非地面点云进行最邻近搜索，得到划分出来的每个区域的聚类结果；
步骤S122、基于所述每个区域的聚类结果，确定所述当前帧非地面点云表征着的障碍物大小和障碍物位置。
具体的，当点云距离越大时，点云密度就越稀疏，相应的聚类效果就越差，因此上述步骤S121的实施方式为：首先将所述当前帧非地面点云划分成在不同距离的空间平面下表示的若干个第一非地面点云，为每个第一非地面点云设置使用不同的聚类半径阈值；针对每个第一非地面点云，从中随机选取一个点作为初始点，使用KDTree算法进行临近搜索以得到离所述初始点最近的若干个点，并将所述若干个点中距离小于其聚类半径阈值的所有点聚类于第一集合中；当所述第一集合中的点数量继续增加时，在所述第一集合中选取除了所述初始点之外的一个点并重复执行上述搜索聚类过程，直至所述第一集合中的点数量不再继续增加为止，由此可以得到该第一非地面点云所对应的聚类结果。
具体的，上述步骤S122的实施方式为：针对每个第一非地面点云所对应的聚类结果，首先对该聚类结果所关联的所有点云的X值、Y值和Z值分别进行比较，从中获取最大X值、最小X值、最大Y值、最小Y值、最大Z值和最小Z值；接着根据所述最大X值和所述最小X值之间的差值确定障碍物的长度，根据所述最大Y值和所述最小Y值之间的差值确定该障碍物的宽度，以及根据所述最大Z值和所述最小Z值之间的差值确定该障碍物的高度，即确定该障碍物的大小；最后根据所述最大X值与所述最小X值之间的平均值、所述最大Y值和所述最小Y值之间的平均值以及所述最大Y值和所述最小Y值之间的平均值，确定该障碍物的位置。
在上述步骤S130中，首先使用现有的张正友标定法对所述相机的内参、外参和畸变系数进行标定之后，再利用所述相机采集所述车辆前方的图像数据；接着对所述图像数据进行常规的去畸变处理，再利用现有的卷积神经网络对去畸变后的图像数据进行特征提取，进而在所述去畸变后的图像数据中标记出所有障碍物目标框，包括其他车辆、步行的人、骑行的人等等；其中，所述卷积神经网络可以选用Faster-RCNN检测网络、YOLO目标检测网络等等。
在本发明实施例中，上述步骤S140的具体实施过程包括如下：
步骤S141、通过现有的标定方式确定所述第一激光雷达所在的激光雷达坐标系与所述相机所在的相机坐标系之间的转换关系，得到第一转换矩阵；
步骤S142、利用所述第一转换矩阵将所述当前帧障碍物定位数据转换到所述激光雷达坐标系下进行表示；
步骤S143、通过现有的标定方式确定所述毫米波雷达所在的毫米波雷达坐标系与所述相机坐标系之间的转换关系，得到第二转换矩阵；
步骤S144、利用所述第二转换矩阵将所述所有障碍物检测数据转换到所述毫米波雷达坐标系下进行表示；其中，所述所有障碍物检测数据包括所有障碍物的位置数据；
步骤S145、基于通过上述步骤S142所得到的当前帧障碍物定位数据实际上包含有多个障碍物定位数据，通过上述步骤S144所得到的所有障碍物检测数据实际上包含有多个障碍物检测数据，将所述多个障碍物定位数据和所述多个障碍物检测数据投影到所述去畸变后的图像数据上，进而从所述所有障碍物目标框中筛选出被上述两类数据同时覆盖的若干个障碍物目标框，再将若干个障碍物目标框中的每一个障碍物目标框所覆盖的障碍物定位数据进行输出。
需要说明的是，通过所述激光雷达组件获取所述当前帧点云的时间、通过所述相机获取所述图像数据的时间以及通过所述毫米波雷达获取所述所有障碍物检测数据的时间均是同步的。
在本发明实施例中，为了获取所述车辆周边的所有障碍物的更多信息，所述方法还可以包括如下：
步骤C、将所述当前帧障碍物定位数据与存储的历史帧障碍物定位数据进行同个障碍物的匹配关联运算，得到当前帧障碍物姿态数据；根据所述最终障碍物信息，对所述当前帧障碍物姿态数据进行筛选与关联输出；
步骤D、从所述当前帧地面点云中提取出发生高度突变的所有点云数据，再对所述所有点云数据进行拟合处理得到车道边缘信息；根据所述车道边缘信息，对所述最终障碍物信息的所处环境进行识别判断与关联输出。
在上述步骤C中，本发明实施例预先设定所述历史帧障碍物定位数据所对应的采集时间与所述当前帧障碍物定位数据所对应的采集时间之间的差值不得超过1秒，并且所述历史帧障碍物定位数据是在世界坐标系下进行表示的。
在本发明实施例中，上述步骤C的具体实施过程包括如下：
步骤C1、利用所述车辆内部所安装的GPS/RTK设备对所述车辆的当前定位信息进行采集，并且所述当前定位信息是在世界坐标系下进行表示的；
步骤C2、获取所述第一激光雷达与所述车辆的定位中心之间的相对位置，同时结合所述当前定位信息确定所述第一激光雷达所在的激光雷达坐标系与世界坐标系之间的转换关系，得到第三转换矩阵；
步骤C3、利用所述第三转换矩阵将所述当前帧障碍物定位数据转换到世界坐标系下进行表示，同时利用现有的匈牙利匹配算法将其与所述历史帧障碍物定位数据进行关联匹配，即把位置相隔较近且大小相近的两个障碍物认定为同一个障碍物，由此可以得到满足匹配条件的若干个障碍物；
步骤C4、针对所述若干个障碍物中的每一个障碍物，根据所述历史帧障碍物定位数据和所述当前帧障碍物定位数据确定该障碍物的距离差和采集时间差，进而确定该障碍物的运动速度和运动方向，再将其与该障碍物的大小和位置进行关联输出，该障碍物的大小和位置记载在所述当前帧障碍物定位数据中；
其中，GPS的全称为Global Positioning System，译为全球定位系统，RTK的全称为Real-Time Kinematic，译为实时动态差分法。
在本发明实施例中，所述激光雷达组件所采集到的每一个点云均携带有对应的线束号信息，所述线束号信息包括激光雷达型号及其所属的线束编号，上述步骤D的具体实施过程包括如下：
步骤D1、将所述当前帧地面点云进行分类得到若干个第一地面点云，并且每个第一地面点云所对应的线束号信息互不相同；
步骤D2、针对每个第一地面点云，将该第一地面点云沿着所述车辆的车头行驶方向分割成两部分，再对这两部分进行遍历以获取到第一个发生高度突变(即Z轴数值发生突变)的点云，并将该点云作为形成车道边缘的一个点云；
步骤D3、针对通过上述步骤D2所获取到的用于形成车道边缘的所有点云，利用现有的最小二乘法对所述所有点云进行拟合得到所述车道边缘信息；
步骤D4、针对所述最终障碍物信息中所包含的每一个障碍物定位数据，根据所述车道边缘信息识别出该障碍物定位数据所对应的障碍物是落在车道内或者是落在车道外，再将该识别结果与该障碍物的大小和位置进行关联输出。
在本发明实施例中，通过对激光雷达组件、相机、毫米波雷达等多类传感器所采集到的多类数据进行加强融合处理，可以得到车辆周边更为完整的环境信息，从而有助于更为准确地预判车辆在行驶过程中的安全性。通过在激光雷达组件中设置有多个低线束激光雷达，可以在降低应用成本的同时，扩大对车辆周边的检测范围，提高对车辆周边的检测精度。
请参考图2，图2是本发明实施例提供的一种基于多传感器的车辆环境感知系统的组成示意图，所述系统包括：
提取模块210，用于从当前帧点云中提取出当前帧非地面点云和当前帧地面点云；其中所述当前帧点云是由车辆上所安装着的激光雷达组件采集的；
聚类模块220，用于对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
标记模块230，用于利用卷积神经网络对图像数据进行标记处理，得到所有障碍物目标框；其中所述图像数据是由所述车辆上所安装着的相机采集的；
匹配模块240，用于将所有障碍物检测数据和所述当前帧障碍物定位数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息；其中，所述所有障碍物检测数据是由所述车辆上所安装着的毫米波雷达采集的。
在本发明实施例中，为了获取所述车辆周边的所有障碍物的更多信息，所述系统还可以包括：
第一输出模块，用于将原先存储好的历史帧障碍物定位数据与所述当前帧障碍物定位数据进行同一障碍物的匹配关联运算，以得到当前帧障碍物姿态数据，再进一步结合所述最终障碍物信息对所述当前帧障碍物姿态数据进行筛选与关联输出；
第二输出模块，用于从所述当前帧地面点云中提取发生高度突变的所有点云数据，通过拟合所述所有点云数据以得到车道边缘信息，再进一步结合所述车道边缘信息对所述最终障碍物信息的所处环境进行识别判断与关联输出。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所实现的功能与上述方法实施例相同，并且所达到的有益效果与上述方法实施例相同，在此不再赘述。
另外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中的基于多传感器的车辆环境感知方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是说，存储设备包括由设备(例如计算机、手机等)以可读的形式存储或传输信息的任何介质，可以是只读存储器、磁盘或光盘等。
请参考图3，图3是本发明实施例提供的计算机设备的硬件结构示意图，所述计算机设备包括处理器320、存储器330、输入单元340和显示单元350等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器330可用于存储计算机程序310以及各功能模块，处理器320运行存储在存储器330的计算机程序310，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明实施例所公开的存储器330包括但不限于上述这些类型的存储器。本发明实施例所公开的存储器330只作为例子而非作为限定。
输入单元340用于接收信号的输入，以及接收用户输入的关键字。输入单元340可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户利用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元350可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元350可采用液晶显示器、有机发光二极管等形式。处理器320是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括至少一个处理器320、至少一个存储器330、至少一个计算机程序310，其中所述至少一个计算机程序310被存储在所述至少一个存储器330中并被配置为由所述至少一个处理器320所执行，所述至少一个计算机程序310被配置用于执行上述实施例中的基于多传感器的车辆环境感知方法。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (10)

1.一种基于多传感器的车辆环境感知方法，其特征在于，所述方法包括：
获取车辆上安装的激光雷达组件采集到的当前帧点云，从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云；
对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
获取车辆上安装的相机采集到的图像数据，利用卷积神经网络对所述图像数据进行标记处理得到所有障碍物目标框；
获取车辆上安装的毫米波雷达扫描到的所有障碍物检测数据，将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。
2.根据权利要求1所述的基于多传感器的车辆环境感知方法，其特征在于，所述激光雷达组件包括设置在车辆顶部中间的第一激光雷达以及分别设置在车辆顶部左右两侧的第二激光雷达和第三激光雷达。
3.根据权利要求2所述的基于多传感器的车辆环境感知方法，其特征在于，所述从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云包括：
获取所述第二激光雷达与所述第一激光雷达之间的第一外参变换矩阵，以及所述第三激光雷达与所述第一激光雷达之间的第二外参变换矩阵；
利用所述第一外参变换矩阵和所述第二外参变换矩阵对所述当前帧点云数据进行转换与融合，得到第一当前帧点云；
对所述第一当前帧点云进行体素栅格化处理，得到第二当前帧点云；
利用地平面拟合算法对所述第二当前帧点云进行分割处理，得到当前帧地面点云和当前帧非地面点云。
4.根据权利要求1所述的基于多传感器的车辆环境感知方法，其特征在于，所述对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据包括：
对所述当前帧非地面点云进行区域划分，结合KDTree算法和欧式聚类算法对每个区域的非地面点云进行最邻近搜索，得到每个区域的聚类结果；
根据所述每个区域的聚类结果，确定所述当前帧非地面点云所表征的障碍物位置和障碍物大小。
5.根据权利要求1所述的基于多传感器的车辆环境感知方法，其特征在于，在将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测之前，还包括：
将所述当前帧障碍物定位数据和所述所有障碍物检测数据分别转换至相机坐标系下进行表示。
6.根据权利要求1所述的基于多传感器的车辆环境感知方法，其特征在于，所述方法还包括：
将所述当前帧障碍物定位数据与存储的历史帧障碍物定位数据进行同个障碍物的匹配关联运算，得到当前帧障碍物姿态数据；根据所述最终障碍物信息，对所述当前帧障碍物姿态数据进行筛选与关联输出。
7.根据权利要求1所述的基于多传感器的车辆环境感知方法，其特征在于，所述方法还包括：
从所述当前帧地面点云中提取出发生高度突变的所有点云数据，再对所述所有点云数据进行拟合处理得到车道边缘信息；根据所述车道边缘信息，对所述最终障碍物信息的所处环境进行识别判断与关联输出。
8.一种基于多传感器的车辆环境感知系统，其特征在于，所述系统包括：
提取模块，用于获取车辆上安装的激光雷达组件采集到的当前帧点云，从所述当前帧点云中提取出当前帧地面点云和当前帧非地面点云；
聚类模块，用于对所述当前帧非地面点云进行聚类分析，得到当前帧障碍物定位数据；
标记模块，用于获取所述车辆上安装的相机采集到的图像数据，利用卷积神经网络对所述图像数据进行标记处理得到所有障碍物目标框；
匹配模块，用于获取车辆上安装的毫米波雷达扫描到的所有障碍物检测数据，将所述当前帧障碍物定位数据和所述所有障碍物检测数据与所述所有障碍物目标框进行重合匹配检测，得到车辆周边的最终障碍物信息。
9.一种计算机设备，其特征在于，包括：
至少一个存储器；
至少一个处理器；
所述存储器存储有计算机程序，处理器执行所述计算机程序以实现如权利要求1至7任一项所述的基于多传感器的车辆环境感知方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于多传感器的车辆环境感知方法。
CN202211239722.3A 2022-10-11 2022-10-11 基于多传感器的车辆环境感知方法、系统、设备及介质 Pending CN115620261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211239722.3A CN115620261A (zh) 2022-10-11 2022-10-11 基于多传感器的车辆环境感知方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211239722.3A CN115620261A (zh) 2022-10-11 2022-10-11 基于多传感器的车辆环境感知方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115620261A true CN115620261A (zh) 2023-01-17

Family

ID=84862021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211239722.3A Pending CN115620261A (zh) 2022-10-11 2022-10-11 基于多传感器的车辆环境感知方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115620261A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116299474A (zh) * 2023-05-23 2023-06-23 禾多科技（北京）有限公司 一体化雷达装置和车辆避障方法
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117872310A (zh) * 2024-03-08 2024-04-12 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116299474A (zh) * 2023-05-23 2023-06-23 禾多科技（北京）有限公司 一体化雷达装置和车辆避障方法
CN116299474B (zh) * 2023-05-23 2023-09-12 禾多科技（北京）有限公司 一体化雷达装置和车辆避障方法
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117557977B (zh) * 2023-12-28 2024-04-30 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117872310A (zh) * 2024-03-08 2024-04-12 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Lim et al. ERASOR: Egocentric ratio of pseudo occupancy-based dynamic object removal for static 3D point cloud map building
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
Xia et al. Geometric primitives in LiDAR point clouds: A review
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN115620261A (zh) 基于多传感器的车辆环境感知方法、系统、设备及介质
Rozsa et al. Obstacle prediction for automated guided vehicles based on point clouds measured by a tilted LIDAR sensor
US7995055B1 (en) Classifying objects in a scene
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
Yao et al. Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis
CN111444767B (zh) 一种基于激光雷达的行人检测和追踪方法
CN112184736B (zh) 一种基于欧式聚类的多平面提取方法
CN114419152B (zh) 一种基于多维度点云特征的目标检测与跟踪方法及系统
Dreher et al. Radar-based 2D car detection using deep neural networks
CN115049700A (zh) 一种目标检测方法及装置
Moosmann Interlacing self-localization, moving object tracking and mapping for 3d range sensors
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
Yuan et al. Image feature based GPS trace filtering for road network generation and road segmentation
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114359876A (zh) 一种车辆目标识别方法及存储介质
Xiao et al. 3D urban object change detection from aerial and terrestrial point clouds: A review
CN113420648A (zh) 一种具有旋转适应性的目标检测方法及系统
CN116052099A (zh) 一种面向非结构化道路的小目标检测方法
Chai et al. ORB-SHOT SLAM: trajectory correction by 3D loop closing based on bag-of-visual-words (BoVW) model for RGB-D visual SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination