CN111274976A - 基于视觉与激光雷达多层次融合的车道检测方法及系统 - Google Patents

基于视觉与激光雷达多层次融合的车道检测方法及系统 Download PDF

Info

Publication number
CN111274976A
CN111274976A CN202010074226.1A CN202010074226A CN111274976A CN 111274976 A CN111274976 A CN 111274976A CN 202010074226 A CN202010074226 A CN 202010074226A CN 111274976 A CN111274976 A CN 111274976A
Authority
CN
China
Prior art keywords
lane
point cloud
information
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010074226.1A
Other languages
English (en)
Other versions
CN111274976B (zh
Inventor
张新钰
李志伟
刘华平
李骏
李太帆
周沫
谭启凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010074226.1A priority Critical patent/CN111274976B/zh
Publication of CN111274976A publication Critical patent/CN111274976A/zh
Application granted granted Critical
Publication of CN111274976B publication Critical patent/CN111274976B/zh
Priority to US17/035,638 priority patent/US10929694B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明公开了基于视觉与激光雷达多层次融合的车道检测方法及系统，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：对获得的点云数据和视频图像进行标定；融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D‑LaneNet，输出第二车道候选区域的图像；将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。本发明的方法提高了复杂道路场景下车道检测的准确性。

Description

基于视觉与激光雷达多层次融合的车道检测方法及系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及基于视觉与激光雷达多层次融合的车道检测方法及系统。
背景技术
道路场景下的车道检测是实现车辆自动驾驶的关键技术环节，以确保车辆行驶在车道限制之内，避免因越过车道而与车道外行人等目标发生碰撞。且后续在有效的车道区域内检测车道线将更快速、更准确，实现车辆在正确的车道上安全自动驾驶。
识别马路上的车道，对于人来说比较容易，不过在强光、大雾、夜间等复杂场景下，人类的车道识别能力依然有限。而要实现自动驾驶，必须实现在复杂场景下车道的准确检测。现有车道检测方法大都是利用车载相机获得稠密、高频率的道路图像，然后从这些图像中检测车道。但车道区域内的阴影、反光、道路颜色的微小变化，都会对车道准确检测造成很大困难。而且单幅相机图像没有空间信息，多目相机空间测距的准确性和稳定性也很差，无法满足高可靠度要求的车辆自动驾驶。
激光雷达点云不受可见光环境的影响，对不同材质的目标有一定区分度，且包含有空间信息。在整个道路场景中车道的高度通常是所有目标中最低的，有学者通过设置一个车道高度阈值来去除路牙、隔离带等目标，获得车道。但是当存在上坡的车道时，车道的高度不一定是整个道路场景中最低的，使得基于点云高度阈值的车道检测方法有局限性。而且激光雷达点云稀疏，对车道的精细检测能力比较差。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种基于视觉与激光雷达多层次融合的车道检测方法，该方法融合激光雷达点云和相机图像进行车道检测，将点云作为图像空间信息的补充，用图像弥补点云采样密度低的缺陷，提高上坡的车道、光照不均、大雾、夜间等复杂道路场景下车道检测算法的鲁棒性。
为实现上述目的，本发明提出了一种基于视觉与激光雷达多层次融合的车道检测方法，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：
对获得的点云数据和视频图像进行标定；
融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；
将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；
将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。
作为上述方法的一种改进，所述融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；具体包括：
构造基于约束条件的点云聚类模型：
Ei＝α(Hi-Hi+1)+β(Qi-Qi+1)+
γ[(Ri-Ri+1)+(Gi-Gi+1)+(Bi-Bi+1)]
其中，Ei表示第i个点和第i+1个点的相似度；α、β、γ为权重系数；Hi为标定后的点云数据中第i个点的高度、Qi为标定后的点云数据中第i个点的反射强度；Ri、Gi、Bi分别为视频图像中第i个像素的RGB三通道数值；
以最接近车头中心位置的点云为中心点，利用所述点云聚类模型开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云；
使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即第一车道候选区域。
作为上述方法的一种改进，所述语义分割网络3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征；3D-LaneNet包括6个并行的3D-P-Inception模块；3D-P-Inception模块为将二维卷积核替换为三维卷积核的Inception-v2模块；在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling；所述3D-P-Inception模块中使用了不同大小的卷积核，便于提取多尺度的车道特征。
作为上述方法的一种改进，所述方法还包括：对语义分割网络3D-LaneNet进行训练的步骤，具体包括：
将已经标注好的连续多帧点云和图像制作成Dataset数据集，作为训练集；
当输入连续10帧数据时，为10帧数据分别设置10个初始学习率aj0＝0.001，j＝1,2,3,…10；每次更新参数使用的批量值b＝2，迭代训练次数为c＝5000；使用交叉熵损失函数，对每一帧融合数据都进行损失函数值的计算分别为Lj，总的损失函数值为
Figure BDA0002378066980000031
模型的权重W采用高斯权重初始化，服从分布X～N(0,σ2)，对于每一帧数据的权重，σ2分别为1.0，1.1，…，1.9；偏置b均初始化为0；
将训练集的样本输入3D-LaneNet，第n次迭代训练完成后，计算各个损失函数占总损失函数的比值为αn＝Ljn/Ln，Ljn为第n次迭代中第j个损失函数，Ln为总的损失函数；如果αn＞0.3，则更新学习率为ajn＝aj0*(1+αn)，如果αn＜0.03，则更新学习率为ajn＝aj0*(1-10αn)；
当网络参数收敛后，得到训练好的语义分割网络3D-LaneNet。
作为上述方法的一种改进，所述将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；具体包括：
视频图像的第i个像素的RGB信息用(Ri,Gi,Bi)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的RGB信息为(R′i,G′i,B′i)；
使用z-score标准化方法对点云的反射强度进行数据标准化，得到第i个点云标准化后的反射强度为Q′i；
将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的道路信息(R′i,G′i,B′i,Q′i)。
本发明还提出了一种基于视觉与激光雷达多层次融合的车道检测系统，所述系统包括：激光雷达、车载相机和车道检测模块；所述车道检测模块包括：语义分割网络3D-LaneNet、标定单元、第一车道候选区域检测单元、第二车道候选区域检测单元和车道融合单元；
所述激光雷达用于获取点云数据；
所述车载相机用于获取视频图像；
所述标定单元，用于对获得的点云数据和视频图像进行标定；
所述第一车道候选区域检测单元，用于融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；
所述第二车道候选区域检测单元，用于将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入所述语义分割网络3D-LaneNet，输出第二车道候选区域的图像；
所述车道融合单元，用于将第一车道候选区域和第二车道候选区域进行融合，取两个车道候选区域的并集作为最终的车道区域。
作为上述系统的一种改进，所述第一车道候选区域检测单元的具体实现过程为：
构造基于约束条件的点云聚类模型：
Ei＝α(Hi-Hi+1)+β(Qi-Qi+1)+γ[(Ri-Ri+1)+(Gi-Gi+1)+(Bi-Bi+1)]
其中，Ei表示第i个点和第i+1个点的相似度；α、β、γ为权重系数；Hi为标定后的点云数据中第i个点的高度、Qi为标定后的点云数据中第i个点的反射强度；Ri、Gi、Bi分别为视频图像中第i个像素的RGB三通道数值；
以最接近车头中心位置的点云为中心点，利用所述点云聚类模型开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云；
使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即第一车道候选区域。
作为上述系统的一种改进，所述语义分割网络3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征；3D-LaneNet包括6个并行的3D-P-Inception模块；3D-P-Inception模块为将二维卷积核替换为三维卷积核的Inception-v2模块；在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling；所述3D-P-Inception模块中使用了不同大小的卷积核，便于提取多尺度的车道特征。
作为上述系统的一种改进，所述语义分割网络3D-LaneNet的训练步骤具体包括：
将已经标注好的连续多帧点云和图像制作成Dataset数据集，作为训练集；
当输入连续10帧数据时，为10帧数据分别设置10个初始学习率aj0＝0.001，j＝1,2,3,…10；每次更新参数使用的批量值b＝2，迭代训练次数为c＝5000；使用交叉熵损失函数，对每一帧融合数据都进行损失函数值的计算分别为Lj，总的损失函数值为
Figure BDA0002378066980000051
模型的权重W采用高斯权重初始化，服从分布X～N(0,σ2)，对于每一帧数据的权重，σ2分别为1.0，1.1，…，1.9；偏置b均初始化为0；
将训练集的样本输入3D-LaneNet，第n次迭代训练完成后，计算各个损失函数占总损失函数的比值为αn＝Ljn/Ln，Ljn为第n次迭代中第j个损失函数，Ln为总的损失函数；如果αn＞0.3，则更新学习率为ajn＝aj0*(1+αn)，如果αn＜0.03，则更新学习率为ajn＝aj0*(1-10αn)；
当网络参数收敛后，得到训练好的语义分割网络3D-LaneNet。
作为上述系统的一种改进，所述第二车道候选区域检测单元的具体实现过程为：
视频图像的第i个像素的RGB信息用(Ri,Gi,Bi)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的RGB信息为(R′i,G′i,B′i)；
使用z-score标准化方法对点云的反射强度进行数据标准化，得到第i个点云标准化后的反射强度为Q′i；
将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的道路信息(R′i,G′i,B′i,Q′i)。
与现有技术相比，本发明的优势在于：
1、本发明的方法充分将激光雷达点云和车载相机图像进行融合，使两种数据优势互补，提高了复杂道路场景下车道检测的准确性；
2、本发明将激光雷达点云数据和车载相机图像信息融合进聚类方法中，实现在车道上坡等复杂场景下车道检测的准确性；
3、本发明能够利用连续帧数据中车道的关联性进行车道的检测，使算法性能更加鲁棒和稳定。
附图说明
图1为本发明实施例1提供的基于视觉与激光雷达多层次融合的车道检测方法的流程图；
图2为本发明实施例1提供的3D-LaneNet网络结构的示意图；
图3为本发明实施例1提供的3D-P-Inception模块的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在复杂场景下，针对单纯使用车载相机或激光雷达检测车道准确率低的问题，一种新颖的思路是融合多类传感器的信息，提高对车辆周边道路环境的感知能力。而大多数这类方法仅限于在激光雷达点云和相机图像上分别进行车道检测，再对检测结果进行融合，没有充分利用两种传感器数据之间信息的互补作用。且雷达点云和相机图像均为连续的时序数据，在邻近的连续数据中的车道是有一定关联的，现有方法对该关联信息的提取和使用几乎没有。
如图1所示，本发明的实施例1提供了一种基于视觉与激光雷达多层次融合的车道检测方法，包括步骤如下：
步骤1)通过激光雷达获得点云数据，通过车载相机获得视频图像，对点云数据和视频图像进行标定后，使点云数据和视频图像空间坐标对应一致，即点云数据中每个点都和视频图像中每个像素代表的是实际道路场景中同一坐标位置；点云数据的第i个点的高度为Hi、反射强度为Qi；视频图像的第i个像素的颜色信息为(Ri,Gi,Bi)；
步骤2)融合激光雷达点云的高度信息、反射强度信息和相机图像信息，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得车道候选区域1；
步骤2-1)同类目标的局部小范围内，点云的高度、反射强度、RGB值变化不大，构造基于约束条件的点云聚类模型：
Ei＝α(Hi-Hi+1)+β(Qi-Qi+1)+γ[(Ri-Ri+1)+(Gi-Gi+1)+(Bi-Bi+1)]
其中，α、β、γ为权重系数；Ei表示第i个点和第i+1个点的相似度，同类型的两个点的相似度值为0或接近于0，基于此也可以判断点云数据中的两个点是否属于同一类目标，即其值越接近于0，两个点越可能属于同一类目标。
步骤2-2)以最接近车头中心位置的点云为中心点开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云。
步骤2-3)点云的曲面拟合：使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即车道候选区域1。
步骤3)将激光雷达点云中的反射强度与视频图像RGB信息融合，得到四通道的道路信息；输入语义分割网络3D-LaneNet，输出车道候选区域2的图像；具体包括：
步骤3-1)视频图像的第i个像素的RGB信息用(Ri,Gi,Bi)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的RGB信息为(R′i,G′i,B′i)；
步骤3-2)使用z-score标准化方法对点云数据的反射强度进行数据标准化，得到点云数据中第i个点标准化后的反射强度为Q′i；
步骤3-3)将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的道路信息(R′i,G′i,B′i,Q′i)。
步骤3-4)建立和训练语义分割网络3D-LaneNet；
如图2所示，本发明语义分割网络3D-LaneNet结构图，主要包括网络结构的设计、模型的训练、模型的测试三个部分。需要说明的是，3D-LaneNet的搭建、训练、测试的硬件和软件平台为Ubuntu18.04+TITAN RTX+Tensorflow-gpu1.9+cuda10.1+cudn7.5+python3.6。
网络结构的设计的主要步骤包括：
1)和传统语义分割网络类似，3D-LaneNet的结构分为对称的encoder和decoder两部分。encoder部分侧重于从输入数据中学习车道特征。而decoder部分则使用反卷积进行上采样，将encoder部分学习的特征生成分割结果。
2)将Inception-v2模块中的二维卷积核替换为三维卷积核形成3D-P-Inception，如图3所示。图像中，车道颜色一般比较暗，其RGB值较小。而MaxPooling容易将值较小的车道信息丢弃，AvgPooling的结果受局部区域内所有值的影响，车道特征信息保留度比较好。因此在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling。车道的宽度以及长度是不固定的，在3D-P-Inception中使用了不同大小的卷积核，便于提取多尺度的车道特征，并大幅减少网络参数。
3)基于3D-P-Inception构建三维语义分割网络3D-LaneNet。3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征。考虑到训练数据有限，且每次需要同时处理多桢融合信息，3D-LaneNet使用6个3D-P-Inception模块，避免由于网络过深而造成模型的过拟合，并减少参数数量，提高网络的实时计算能力。需要特别说明的是，对于Q，在本发明训练3D-LaneNet语义分割网络时，需要学习一个矫正系数α。
模型训练的主要步骤包括(以同时处理连续10帧数据为例)：
1)数据集的制作：将已经标注好的点云数据和图像文件制作成Dataset数据集。
2)超参数的设置：为输入的连续10帧数据分别设置10个初始学习率ai＝0.001，i＝1,2,3,…10，使每帧数据都有自己的学习率。每次更新参数使用的批量值b＝2，迭代训练次数为c＝5000。
3)损失函数的设置：使用交叉熵损失函数，对每一帧融合数据都进行损失函数值的计算分别为Lj，j＝1,2,3,…10。总的损失函数值为
Figure BDA0002378066980000081
4)学习率的更新：第n次迭代训练完成后，计算各个损失函数占总损失函数的比值为αn＝Ljn/Ln，Ljn为第n次迭代中第j个损失函数，Ln为总的损失函数；如果αn＞0.3，则更新学习率为ajn＝aj0*(1+αn)，如果αn＜0.03，则更新学习率为ajn＝aj0*(1-10αn)；
5)权重和偏置的初始化：权重W采用高斯权重初始化，服从分布X～N(0,σ2)，对于每一桢数据的权重，σ2分别为1.0，1.1，…，1.9。偏置b均初始化为0。
步骤3-5)将四通道的道路信息(R′i,G′i,B′i,Q′i)输入训练好的语义分割网络3D-LaneNet，输出车道候选区域2的图像；
步骤4)将车道候选区域1和车道候选区域2进行融合，取两个车道获选区域的并集作为最终的车道区域。
实施例2
本发明的实施例2提出了基于视觉与激光雷达多层次融合的车道检测系统，所述系统包括：激光雷达、车载相机和车道检测模块；所述车道检测模块包括：语义分割网络3D-LaneNet、标定单元、第一车道候选区域检测单元、第二车道候选区域检测单元和车道融合单元；
激光雷达用于获取点云数据；
车载相机用于获取视频图像；
标定单元，用于对获得的点云数据和视频图像进行标定；
第一车道候选区域检测单元，用于融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；
第二车道候选区域检测单元，用于将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入所述语义分割网络3D-LaneNet，输出第二车道候选区域的图像；
车道融合单元，用于将第一车道候选区域和第二车道候选区域进行融合，取两个车道候选区域的并集作为最终的车道区域。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于视觉与激光雷达多层次融合的车道检测方法，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：
对获得的点云数据和视频图像进行标定；
融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；
将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；
将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。
2.根据权利要求1所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；具体包括：
构造基于约束条件的点云聚类模型：
Ei＝α(Hi-Hi+1)+β(Qi-Qi+1)+γ[(Ri-Ri+1)+(Gi-Gi+1)+(Bi-Bi+1)]
其中，Ei表示第i个点和第i+1个点的相似度；α、β、γ为权重系数；Hi为标定后的点云数据中第i个点的高度、Qi为标定后的点云数据中第i个点的反射强度；Ri、Gi、Bi分别为视频图像中第i个像素的RGB三通道数值；
以最接近车头中心位置的点云为中心点，利用所述点云聚类模型开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云；
使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即第一车道候选区域。
3.根据权利要求2所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述语义分割网络3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征；3D-LaneNet包括6个并行的3D-P-Inception模块；3D-P-Inception模块为将二维卷积核替换为三维卷积核的Inception-v2模块；在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling；所述3D-P-Inception模块中使用了不同大小的卷积核，便于提取多尺度的车道特征。
4.根据权利要求3所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述方法还包括：对语义分割网络3D-LaneNet进行训练的步骤，具体包括：
将已经标注好的连续多帧点云和图像制作成Dataset数据集，作为训练集；
当输入连续10帧数据时，为10帧数据分别设置10个初始学习率aj0＝0.001，j＝1,2,3,…10；每次更新参数使用的批量值b＝2，迭代训练次数为c＝5000；使用交叉熵损失函数，对每一帧融合数据都进行损失函数值的计算分别为Lj，总的损失函数值为
Figure FDA0002378066970000021
模型的权重W采用高斯权重初始化，服从分布X～N(0,σ2)，对于每一帧数据的权重，σ2分别为1.0，1.1，…，1.9；偏置b均初始化为0；
将训练集的样本输入3D-LaneNet，第n次迭代训练完成后，计算各个损失函数占总损失函数的比值为αn＝Ljn/Ln，Ljn为第n次迭代中第j个损失函数，Ln为总的损失函数；如果αn＞0.3，则更新学习率为ajn＝aj0*(1+αn)，如果αn＜0.03，则更新学习率为ajn＝aj0*(1-10αn)；
当网络参数收敛后，得到训练好的语义分割网络3D-LaneNet。
5.根据权利要求4所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；具体包括：
视频图像的第i个像素的RGB信息用(Ri,Gi,Bi)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的RGB信息为(R′i,G′i,B′i)；
使用z-score标准化方法对点云的反射强度进行数据标准化，得到第i个点云标准化后的反射强度为Q′i；
将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的道路信息(R′i,G′i,B′i,Q′i)。
6.一种基于视觉与激光雷达多层次融合的车道检测系统，其特征在于，所述系统包括：激光雷达、车载相机和车道检测模块；所述车道检测模块包括：语义分割网络3D-LaneNet、标定单元、第一车道候选区域检测单元、第二车道候选区域检测单元和车道融合单元；
所述激光雷达用于获取点云数据；
所述车载相机用于获取视频图像；
所述标定单元，用于对获得的点云数据和视频图像进行标定；
所述第一车道候选区域检测单元，用于融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；
所述第二车道候选区域检测单元，用于将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入所述语义分割网络3D-LaneNet，输出第二车道候选区域的图像；
所述车道融合单元，用于将第一车道候选区域和第二车道候选区域进行融合，取两个车道候选区域的并集作为最终的车道区域。
7.根据权利要求6所述的基于视觉与激光雷达多层次融合的车道检测系统，其特征在于，所述第一车道候选区域检测单元的具体实现过程为：
构造基于约束条件的点云聚类模型：
Ei＝α(Hi-Hi+1)+β(Qi-Qi+1)+γ[(Ri-Ri+1)+(Gi-Gi+1)+(Bi-Bi+1)]
其中，Ei表示第i个点和第i+1个点的相似度；α、β、γ为权重系数；Hi为标定后的点云数据中第i个点的高度、Qi为标定后的点云数据中第i个点的反射强度；Ri、Gi、Bi分别为视频图像中第i个像素的RGB三通道数值；
以最接近车头中心位置的点云为中心点，利用所述点云聚类模型开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云；
使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即第一车道候选区域。
8.根据权利要求7所述的基于视觉与激光雷达多层次融合的车道检测系统，其特征在于，所述语义分割网络3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征；3D-LaneNet包括6个并行的3D-P-Inception模块；3D-P-Inception模块为将二维卷积核替换为三维卷积核的Inception-v2模块；在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling；所述3D-P-Inception模块中使用了不同大小的卷积核，便于提取多尺度的车道特征。
9.根据权利要求8所述的基于视觉与激光雷达多层次融合的车道检测系统，其特征在于，所述语义分割网络3D-LaneNet的训练步骤具体包括：
将已经标注好的连续多帧点云和图像制作成Dataset数据集，作为训练集；
当输入连续10帧数据时，为10帧数据分别设置10个初始学习率aj0＝0.001，j＝1,2,3,…10；每次更新参数使用的批量值b＝2，迭代训练次数为c＝5000；使用交叉熵损失函数，对每一帧融合数据都进行损失函数值的计算分别为Lj，总的损失函数值为
Figure FDA0002378066970000041
模型的权重W采用高斯权重初始化，服从分布X～N(0,σ2)，对于每一帧数据的权重，σ2分别为1.0，1.1，…，1.9；偏置b均初始化为0；
将训练集的样本输入3D-LaneNet，第n次迭代训练完成后，计算各个损失函数占总损失函数的比值为αn＝Ljn/Ln，Ljn为第n次迭代中第j个损失函数，Ln为总的损失函数；如果αn＞0.3，则更新学习率为ajn＝aj0*(1+αn)，如果αn＜0.03，则更新学习率为ajn＝aj0*(1-10αn)；
当网络参数收敛后，得到训练好的语义分割网络3D-LaneNet。
10.根据权利要求9所述的基于视觉与激光雷达多层次融合的车道检测系统，其特征在于，所述第二车道候选区域检测单元的具体实现过程为：
视频图像的第i个像素的RGB信息用(Ri,Gi,Bi)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的RGB信息为(R′i,G′i,B′i)；
使用z-score标准化方法对点云的反射强度进行数据标准化，得到第i个点云标准化后的反射强度为Q′i；
将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的道路信息(R′i,G′i,B′i,Q′i)。
CN202010074226.1A 2020-01-22 2020-01-22 基于视觉与激光雷达多层次融合的车道检测方法及系统 Active CN111274976B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010074226.1A CN111274976B (zh) 2020-01-22 2020-01-22 基于视觉与激光雷达多层次融合的车道检测方法及系统
US17/035,638 US10929694B1 (en) 2020-01-22 2020-09-28 Lane detection method and system based on vision and lidar multi-level fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074226.1A CN111274976B (zh) 2020-01-22 2020-01-22 基于视觉与激光雷达多层次融合的车道检测方法及系统

Publications (2)

Publication Number Publication Date
CN111274976A true CN111274976A (zh) 2020-06-12
CN111274976B CN111274976B (zh) 2020-09-18

Family

ID=70999109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074226.1A Active CN111274976B (zh) 2020-01-22 2020-01-22 基于视觉与激光雷达多层次融合的车道检测方法及系统

Country Status (2)

Country Link
US (1) US10929694B1 (zh)
CN (1) CN111274976B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112184589A (zh) * 2020-09-30 2021-01-05 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112513876A (zh) * 2020-09-04 2021-03-16 华为技术有限公司 一种用于地图的路面提取方法及装置
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN112731436A (zh) * 2020-12-17 2021-04-30 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112883789A (zh) * 2021-01-15 2021-06-01 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防打保龄方法、系统
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113781374A (zh) * 2021-08-30 2021-12-10 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN114037948A (zh) * 2021-10-08 2022-02-11 中铁第一勘察设计院集团有限公司 基于迁移主动学习的车载道路点云要素矢量化方法与装置
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114155258A (zh) * 2021-12-01 2022-03-08 苏州思卡信息系统有限公司 一种公路施工围封区域的检测方法
CN114612869A (zh) * 2022-03-14 2022-06-10 合肥工业大学 一种路侧激光雷达与车载激光雷达信息融合方法
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
DE102021200889A1 (de) 2021-02-01 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Schätzen eines Fahrzeugparameters für den Betrieb eines Fahrzeugs
CN115100618A (zh) * 2022-06-27 2022-09-23 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN116153057A (zh) * 2022-09-12 2023-05-23 东北林业大学 基于激光雷达点云估算车道宽度的方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN111144388B (zh) * 2020-04-03 2020-07-14 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN113128348B (zh) * 2021-03-25 2023-11-24 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN113065590B (zh) * 2021-03-26 2021-10-08 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113052109A (zh) * 2021-04-01 2021-06-29 西安建筑科技大学 一种3d目标检测系统及其3d目标检测方法
CN113155027B (zh) * 2021-04-27 2023-05-26 中铁工程装备集团有限公司 一种隧道岩壁特征物识别方法
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113689483B (zh) * 2021-07-23 2024-01-12 浙江零跑科技股份有限公司 一种基于单目摄像头和激光雷达的测距方法
CN113591670B (zh) * 2021-07-27 2023-12-01 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113569750B (zh) * 2021-07-29 2023-07-07 上海动亦科技有限公司 一种基于空间特征聚合的道路目标检测识别方法
CN113870597B (zh) * 2021-08-09 2022-07-12 中标慧安信息技术股份有限公司 基于物联网数据的交通调度的方法和系统
CN113688900A (zh) * 2021-08-23 2021-11-23 阿波罗智联(北京)科技有限公司 雷达和视觉数据融合处理方法、路侧设备及智能交通系统
CN113705515B (zh) * 2021-09-03 2024-04-12 北京百度网讯科技有限公司 语义分割模型的训练和高精地图车道线的生成方法和设备
CN113902709B (zh) * 2021-10-12 2023-04-07 南京航空航天大学 引导飞机复合材料蒙皮修复的表面平整度实时分析方法
CN114398937B (zh) * 2021-12-01 2022-12-27 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114359902B (zh) * 2021-12-03 2024-04-26 武汉大学 基于多尺度特征融合的三维点云语义分割方法
CN114155415B (zh) * 2021-12-07 2024-05-03 华东交通大学 一种多数据融合的车辆检测方法、系统、设备及存储介质
CN114005110B (zh) * 2021-12-30 2022-05-17 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置
CN115115652B (zh) * 2022-05-09 2024-03-19 南京林业大学 行道树靶标点云在线分割方法
CN115236682B (zh) * 2022-07-09 2024-04-26 江苏新绿能科技有限公司 一种基于机器视觉的改进接触网车载限界测量方法
CN115471805B (zh) * 2022-09-30 2023-09-05 阿波罗智能技术(北京)有限公司 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN115359430B (zh) * 2022-10-19 2023-02-28 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN115421158B (zh) * 2022-11-07 2023-04-07 中国人民解放军国防科技大学 自监督学习的固态激光雷达三维语义建图方法与装置
CN115620149B (zh) * 2022-12-05 2023-07-11 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的道路检测方法
CN115810153B (zh) * 2023-02-08 2023-05-02 四川高速公路建设开发集团有限公司 一种基于相对熵和语义约束的高速公路点云提取方法
CN115953763B (zh) * 2023-03-03 2023-06-30 青岛慧拓智能机器有限公司 一种用于矿区无人驾驶场景的目标检测方法及系统
CN116071283B (zh) * 2023-04-07 2023-06-16 湖南腾琨信息科技有限公司 基于计算机视觉的三维点云图像融合方法
CN116092038B (zh) * 2023-04-07 2023-06-30 中国石油大学(华东) 一种基于点云的大件运输关键道路空间通行性判定方法
CN116363036B (zh) * 2023-05-12 2023-10-10 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116309943B (zh) * 2023-05-24 2023-08-08 联友智连科技有限公司 一种停车场语义地图路网构建方法、装置及电子设备
CN116403171B (zh) * 2023-06-08 2023-09-01 松立控股集团股份有限公司 一种车辆重识别方法、系统及电子设备
CN117037007B (zh) * 2023-10-09 2024-02-20 浙江大云物联科技有限公司 一种航拍式的道路照明均匀度检查方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
EP3291138A1 (en) * 2016-09-02 2018-03-07 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
US20190163989A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US20190163990A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置
CN110295533A (zh) * 2019-08-02 2019-10-01 武汉夕睿光电技术有限公司 一种路面移动测量装置、系统及方法
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法
CN110532865A (zh) * 2019-07-19 2019-12-03 南京航空航天大学 基于可见光与激光融合的航天器结构识别方法
CN110599497A (zh) * 2019-07-31 2019-12-20 中国地质大学（武汉） 一种基于深度神经网络的可行驶区域分割方法
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
EP3291138A1 (en) * 2016-09-02 2018-03-07 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
US20190163989A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US20190163990A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110532865A (zh) * 2019-07-19 2019-12-03 南京航空航天大学 基于可见光与激光融合的航天器结构识别方法
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法
CN110599497A (zh) * 2019-07-31 2019-12-20 中国地质大学（武汉） 一种基于深度神经网络的可行驶区域分割方法
CN110295533A (zh) * 2019-08-02 2019-10-01 武汉夕睿光电技术有限公司 一种路面移动测量装置、系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAVY NEVEN,ET AL.: ""Towards End-to-End Lane Detection:an Instance Segmentation Approach"", 《ARXIV》 *
MIN BAI,ET AL.: ""Deep Multi-Sensor Lane Detection"", 《ARXIV》 *
叶子豪: ""基于深度学习的无人驾驶感知与决策若干方法研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
张军良: ""基于深度卷积网络的道路交通场景感知"", 《万方》 *
张蕊: ""基于激光点云的复杂三维场景多态目标语义分割技术研究"", 《中国博士学位论文全文数据库 基础科学辑》 *
朱雨桐: ""融合图像与激光雷达的车道偏离预警算法研究"", 《万方》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
US11120276B1 (en) 2020-07-30 2021-09-14 Tsinghua University Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
WO2022047744A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 一种用于地图的路面提取方法及装置
CN112513876A (zh) * 2020-09-04 2021-03-16 华为技术有限公司 一种用于地图的路面提取方法及装置
CN112184589A (zh) * 2020-09-30 2021-01-05 清华大学 一种基于语义分割的点云强度补全方法及系统
US11315271B2 (en) 2020-09-30 2022-04-26 Tsinghua University Point cloud intensity completion method and system based on semantic segmentation
CN112184589B (zh) * 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112731436B (zh) * 2020-12-17 2024-03-19 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112731436A (zh) * 2020-12-17 2021-04-30 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
US11398097B2 (en) 2020-12-21 2022-07-26 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN112883789A (zh) * 2021-01-15 2021-06-01 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防打保龄方法、系统
WO2022161843A1 (de) 2021-02-01 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum schätzen eines fahrzeugparameters für den betrieb eines fahrzeugs
DE102021200889A1 (de) 2021-02-01 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Schätzen eines Fahrzeugparameters für den Betrieb eines Fahrzeugs
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113781374B (zh) * 2021-08-30 2023-09-01 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN113781374A (zh) * 2021-08-30 2021-12-10 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN114037948A (zh) * 2021-10-08 2022-02-11 中铁第一勘察设计院集团有限公司 基于迁移主动学习的车载道路点云要素矢量化方法与装置
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114155258A (zh) * 2021-12-01 2022-03-08 苏州思卡信息系统有限公司 一种公路施工围封区域的检测方法
CN114119671B (zh) * 2021-12-01 2022-09-09 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114612869A (zh) * 2022-03-14 2022-06-10 合肥工业大学 一种路侧激光雷达与车载激光雷达信息融合方法
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN114662600B (zh) * 2022-03-25 2023-11-07 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN115100618A (zh) * 2022-06-27 2022-09-23 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN115100618B (zh) * 2022-06-27 2024-04-12 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN116153057A (zh) * 2022-09-12 2023-05-23 东北林业大学 基于激光雷达点云估算车道宽度的方法

Also Published As

Publication number Publication date
CN111274976B (zh) 2020-09-18
US10929694B1 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN108304873B (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN111274980B (zh) 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN114155501A (zh) 一种无人车在烟雾遮挡环境下的目标检测方法
CN112766056B (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN111461221A (zh) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN114612883A (zh) 一种基于级联ssd和单目深度估计的前向车辆距离检测方法
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
Zhang et al. Fusion of lidar and camera by scanning in lidar imagery and image-guided diffusion for urban road detection
CN112529011A (zh) 目标检测方法及相关装置
Wu et al. Example-based clear path detection assisted by vanishing point estimation
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN108256444B (zh) 一种用于车载视觉系统的目标检测方法
CN113255704B (zh) 一种基于局部二值模式的像素差卷积边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant