CN110378196A - 一种结合激光点云数据的道路视觉检测方法 - Google Patents

一种结合激光点云数据的道路视觉检测方法 Download PDF

Info

Publication number
CN110378196A
CN110378196A CN201910455352.9A CN201910455352A CN110378196A CN 110378196 A CN110378196 A CN 110378196A CN 201910455352 A CN201910455352 A CN 201910455352A CN 110378196 A CN110378196 A CN 110378196A
Authority
CN
China
Prior art keywords
point cloud
image
cloud data
data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910455352.9A
Other languages
English (en)
Other versions
CN110378196B (zh
Inventor
马沪敏
彭真明
杨心怡
陈明
彭凌冰
陶冰洁
杨春平
赵学功
蒲恬
何艳敏
袁国慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910455352.9A priority Critical patent/CN110378196B/zh
Publication of CN110378196A publication Critical patent/CN110378196A/zh
Application granted granted Critical
Publication of CN110378196B publication Critical patent/CN110378196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明公开了一种结合激光点云数据的道路视觉检测方法，属于无人驾驶领域，解决现有技术中的多传感器融合的问题。对点云数据和图像数据进行数据级融合；对图像数据中的各帧图像进行道路划分，划分后进行转换，得到光照不变空间图像；根据M估计样本一致性，对数据级融合后的点云数据进行平面拟合，得到点云数据粗划分结果；分别对数据级融合后的图像数据的各帧图像、光照不变空间图像、点云数据粗划分结果及各帧图像对应的数据级融合后的点云数据进行道路特征提取；将提取的道路特征分别送入两个随机森林进行训练，获取各像素点概率输出和各点云数据的概率输出；再用于构造各点云‑图像混合条件随机场获取道路区域。本发明用于道路视觉检测。

Description

一种结合激光点云数据的道路视觉检测方法
技术领域
一种结合激光点云数据的道路视觉检测方法，用于道路视觉检测，属于无人驾驶领域。
背景技术
道路检测是驾驶环境感知中一项基本的研究任务，在保障车辆行驶安全、实现高级别自动驾驶中起到了至关重要的作用。然而，在真实户外环境中，道路检测面临着复杂天气、光照、阴影以及场景多样性等的挑战，面对这些问题，要求道路检测算法应具有很强的场景适应以及抵抗复杂天气、光照、阴影变化的鲁棒性，用于保障智能车辆安全、稳定地行驶。
道路检测方法分为基于单一传感器的道路检测以及基于多传感器融合的道路检测，由于单一传感器使用不可避免的存在缺陷，多传感器融合的道路检测方法已成为道路检测中的主要研究方向。而基于激光雷达与单目视觉融合的道路检测方法，将激光雷达能够精确测距、定位以及不易受天气、光照、阴影变化的优势与单目视觉能够获取丰富的场景纹理、颜色信息的优势相结合，在基于多传感器融合的道路检测中表现出巨大的潜力。
Liu Z等(2017)提出了一种基于单目视觉和激光雷达点云数据融合的无监督道路检测方法。将三角剖分后激光雷达点云数据和超像素分割的图像数据融合得到方向射线图，基于方向射线图进行道路区域的粗分割，随后提取视觉图像道路区域和激光雷达点云数据的道路区域特征，进行特征级融合后送入马尔可夫随机场(Markov network)进行精分割。Caltagirone等(2018)提出的是一种新的激光雷达点云数据与视觉信息交叉融合的全卷积神经网络(Fully Convolutional Networks，FCN)框架用于道路检测。此外，作者在KITTI数据集的原始数据中提炼了一些更赋挑战性的数据集进行测试。Yang F等(2018)提出一种基于深度学习和全连接条件随机场的道路检测方法。分别基于全卷积网络(FullyConvolutional Networks，FCN)和Point Net ++对图像数据和点云数据进行道路区域粗分割，并作为全连接条件随机场的一元势，再通过基于马尔可夫随机场的上采样方法提取点云数据的密集高度图作为全连接条件随机场的二元势，全连接条件随机场的求解基于平均场近似算法，最终得到道路检测的结果。
道路检测方法依据传感器使用，划分为基于单一传感器的检测方法和基于多传感器融合的检测方法。基于公开数据集的测试与验证中，基于单一传感器并结合深度学习的方法取得了很好的检测效果，但基于单一传感器的道路检测方法，由于单一传感器使用存在缺陷，在真实户外场景下，易受到复杂环境因素的干扰，道路检测结果缺乏稳定性和鲁棒性。而多传感器融合的道路检测方法融合多模态数据信息，更适合应用于真实道路场景，是目前道路检测研究中的一个主流趋势。
多传感器融合的道路检测方法的提出，源于单一传感器使用存在不可避免的缺陷，使用多传感器融合实现信息互补进而提高道路检测的精度和鲁棒性。然而近十年的道路检测方法中，基于多传感器融合的方法，并未表现出应有的优势。表明多源数据融合，并未真正实现数据的优势互补，多传感器融合的结果往往由个别传感器主导。多模态数据融合如何最大限度发挥多源数据的优势并抑制单一数据存在的缺陷仍是目前道路检测的研究重点。同时，道路检测面临着复杂天气、光照、阴影以及场景多样性等的挑战，要求道路检测算法具有多场景适应性及抵抗天气干扰、阴影变化的鲁棒性。道路检测作为自动驾驶方向下的一个基础研究，准确、可靠的道路检测结果是保障自动驾驶安全、稳定行驶的前提，多源数据融合的道路检测研究将促进自动驾驶研究的不断进步。
发明内容
针对上述研究的问题，本发明的目的在于提供一种结合激光点云数据的道路视觉检测方法，解决现有技术中的多传感器融合，不能实现信息互补进而不能提高道路检测的精度和鲁棒性的问题。
为了达到上述目的，本发明采用如下技术方案：
一种结合激光点云数据的道路视觉检测方法，包括以下步骤：
步骤1：根据点云数据和图像数据间的空间关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，得到点云数据和图像数据的数据级融合，其中，图像数据包括一帧图像或多帧图像序列；
步骤2：对图像数据中的各帧图像进行道路划分，得到道路所在区域的粗划分图像，再将粗划分图像转换到光照不变空间，得到光照不变空间图像；
步骤3：根据M估计样本一致性，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果；
步骤4：分别对数据级融合后的图像数据的各帧图像、光照不变空间图像、点云数据粗划分结果及各帧图像对应的数据级融合后的点云数据进行道路特征提取，得图像道路特征和点云道路特征；
步骤5：将各帧图像对应的图像道路特征和点云道路特征分别送入两个随机森林进行训练，获取各像素点概率输出和各点云数据的概率输出；
步骤6：将各帧对应的所有像素点的概率输出和所有点云数据的概率输出用于构造各点云-图像混合条件随机场，基于构造好后的点云-图像混合条件随机场获取道路区域。
进一步，所述步骤1的具体步骤如下：
步骤1.1：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各帧图像上点云数据投影点，点云数据投影点的投影坐标的为：
其中，y为各帧图像上点云数据投影点的投影坐标，为旋转校准矩阵，为将点云数据坐标velo转换到图像数据坐标cam的转换矩阵，p为三维点云数据坐标；
步骤1.2：根据各帧图像上点云数据投影点的投影坐标和图像尺寸的关系，剔除超出各帧图像面内的坐标，得到点云数据和图像数据的数据级融合。
进一步，所述步骤2的具体步骤如下：
步骤2.1：根据天空区域所在位置，联合道路位置先验和城市环境空间约束，对图像数据中的各帧图像进行划分，得到道路所在区域的粗划分图像；
步骤2.2：将粗划分图像转换到光照不变空间，得到光照不变空间图像，转换公式为：
Iii＝log(G)-αlog(B)-(1-α)log(R) (2)
其中，Iii表示光照不变空间图像的像素值，ii表示光照不变空间图像；R、G、B分别为表示R、G、B三通道像素值，参数α与传感器的光谱响应有关。
进一步，所述步骤3的具体步骤如下：
步骤3.1：根据M估计样本一致性，结合地面区域在三维空间的位置关系，构建地面方程：
ax+by+cz+d＝0 (3)
其中，a、b、c、d为基于M估计样本一致性并结合地面区域在三维空间的位置关系获取的道路平面参数；基于M估计样本一致性，求解地面方程，首先从数据级融合后的点云数据中随机选取点云数据用于计算参数a、b、c、d，作为候选地面方程，随后计算候选地面方程与所有点云数据的匹配程度，用点云数据到地面的距离作为匹配程度判断标准，并添加地面高度约束，符合候选地面方程的点云被认为地面点云数据，若有足够多的点云数据被认为是地平面点云数据，那么候选地面方程就合理，若迭代未结束，再次用随机选取的地面点云数据估计侯选地面方程，如此反复迭代，直到达到指定的迭代次数为止，获取道路平面参数a、b、c、d；
步骤3.2：根据地面方程，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果。
进一步，所述步骤4的具体如下：
图像道路特征的提取方式具体如下：
基于联合校准后的图像数据中各帧图像提取Gabor滤波器组输出特征、RGB三通道数值；L0平滑特征和基于全卷积神经网络获取的深度特征，具体提取方式如下：
Gabor滤波器组输出特征：构建Gabor滤波器组，获取联合校准后的图像数据中的各帧图像在不同方向、不同尺度滤波器下的道路特征，并进行归一化处理，处理后得到Gabor滤波器组输出特征；
RGB三通道数值：提取联合校准后的图像数据中的各帧图像的R、G、B三通道数据，并进行归一化处理，处理后得到RGB三通道数值；
L0平滑特征：对联合校准后的图像数据中的各帧图像进行L0平滑，保持各帧图像中道路边缘的同时，削弱周围环境及路面噪声，并进行归一化处理，处理后得到L0平滑特征；
基于全卷积神经网络获取的深度特征：基于全卷积神经网络，对训练集进行6倍的数据增强后，在ILSVRC2012数据集预训练权重的基础上仅训练最后两层网络，减少FCN网络对小样本量数据的过拟合现象，进行6倍数据增强包括：随机裁剪、随机改变形状、随机改变亮度、随机改变对比度、随机改变色调、随机改变饱和度，将联合校准后的图像数据中的各帧图像输入训练好的全卷积神经网络，输出特征，再进行归一化处理，得到基于全卷积神经网络获取的深度特征，其中，全卷积神经网络为VGG-16；
基于光照不变空间的图像和点云数据粗划分结果提取高斯分布颜色模型输出特征，具体提取方式如下：
高斯分布颜色模型输出特征：结合光照不变空间的图像和点云数据粗划分结果，构造高斯分布颜色模型，获取每一个像素点是否是道路像素点的概率输出，并进行归一化处理，得到高斯分布颜色模型输出特征，归一化处理的公式为：
其中，μc表示基于点云数据划分结果的对应像素点在光照不变空间下的道路像素点的均值，σc表示基于点云数据粗划分结果的对应像素点在光照不变空间下的道路像素点的标准差，Iii(i，j)表示光照不变空间图像的(i，j)位置处的像素值，ii表示光照不变空间图像；
基于数据级融合后的图像数据提取密集高度特征，具体提取方式如下：
密集高度特征：结合数据级融合后的点云数据的高度信息和图像数据间的映射关系，赋予各帧图像上点云数据投影点高度信息，基于联合双边滤波器，对数据级融合后的图像数据中各帧图像上的高度信息进行上采样，并进行归一化处理，得到密集高度特征，归一化处理的公式为：
其中，Jp表示密集高度特征，表示输入数据级融合后的图像数据中各帧图像在位置p处的像素值，表示融合后图像数据位置p处邻域内点q处的像素值，Iq表示引导图像在位置q处像素值，此处的引导图像指将数据级融合后的点云数据投影到与图像尺寸大小一致的空白像平面，平面上点云数据投影点位置处的像素值就是对应点云数据的高度信息，f、g表示权重分布函数，kp表示权重之和；
点云道路特征的提取方式具体如下：
基于数据级融合后各帧图像对应的点云数据提取点云数据位置、惯性张量矩阵、三维协方差矩阵、三维协方差矩阵特征梯度值和投影点坐标，具体如下：
点云数据位置：根据数据级融合后各帧图像对应的点云数据，获取点云数据在三维空间中的x、y、z坐标，得到点云数据位置；
惯性张量矩阵：获取数据级融合后各帧图像对应的点云数据坐标的惯性张量矩阵的6个独立项作为特征，并进行归一化处理，惯性张量矩阵为：
其中，M为计算每个点云数据最近邻几个点云数据共同产生的惯性张量矩阵，x、y、z分别表示点云数据的三维坐标，i表示当前点云数据最近邻的第i个点云数据；
三维协方差矩阵：获取数据级融合后各帧图像对应的点云数据的三维协方差矩阵的6个独立项作为特征，并进行归一化处理，三维协方差矩阵为：
其中，cov表示计算每个点云数据与其最近邻几个点的协方差，C表示三维协方差矩阵；x、y、z分别表示点云数据的三维坐标；i表示当前点云数据最近邻的第i个点云数据；
三维协方差矩阵特征梯度值：计算点云数据的三维协方差矩阵特征值d1、d2、d3，d1＞d2＞d3，对特征进行归一化处理，并分别计算三个特征值对应的梯度值，三维协方差矩阵特征值和其对应的梯度值的计算公式如下：
其中，d1、d2、d3分别表示协方差矩阵的三个特征值；L1、L2、L3分别表示协方差矩阵特征归一化后的梯度值；
投影坐标：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各图像上点云数据投影点，再根据点云数据投影点获得投影坐标。
进一步，所述步骤5的具体步骤为：
对各帧图像提取到的图像道路特征进行行列十倍的降采样，得到降采样后的图像道路特征，同时，设置随机森林的参数，通过分析外包错误率获取决策树棵树，设置随机属性选择，得到设置好参数的图像数据随机森林，将降采样后的图像道路特征输入图像数据随机进行训练，得到训练好的图像数据随机森林，训练好的图像数据随机森林输出各帧图像中每一个像素点的概率输出，其中设置随机森林的参数、通过分析外包估计获取决策树棵树和设置随机属性选择的公式为：
k＝log2d (13)
其中，Hoob(x)表示对降采样后的图像道路特征x的外包预测；Dt表示第t个基分类器ht实际使用的训练样本集；T表示基分类器总数；y表示降采样后的图像道路特征x的标签；I(·)表示指示函数，为真时取值为1，否则为0；εoob表示外包估计，oob为out of bag三个单词首字母，无具体含义；k表示随机属性选择；d表示特征维数；
设置决策树棵树和随机属性选择得到设置好参数后的点云数据随机森林，将点云道路特征输入到点云数据随机森林中进行训练，得到训练好的点云数据随机森林，训练好的点云数据随机森林输出各帧图像对应的点云数据中每一个点云数据的概率输出。
进一步，所述步骤6的具体步骤为：
(1)将各帧对应的所有像素点的概率输出和所有点云数据的概率输出分别用于构造各点云-图像混合条件随机场，即构造点云-图像无向图模型，点云-图像混合条件随机场包括图像子模型和点云子模型，在图像子模型中，每个像素点的4邻域相互邻接；点云子模型中，每一个点云数据与最近邻的5个点邻接，同时每一个点云数据与其在对应帧图像上的投影点进行邻接，进而建立点云数据与对应各帧图像像素点间的邻接关系，使得图像子模型与点云子模型相互关联；
(2)基于构造的各点云-图像混合条件随机场，通过各帧图像中所有像素点的概率输出和对应各帧图像的所有点云数据的概率输出构造图像数据及点云数据的一元势，具体公式为：
其中，表示各帧图像一元势；pimg(xi)表示每一个像素点的概率输出；表示对应各帧图像的点云数据一元势；ppoint(xi)表示每一个点云数据的一元势；
(3)基于构造的各点云-图像混合条件随机场，进行图像成对势及点云成对势构建：
图像成对势的构建为：当各帧图像中的各像素点与其邻域内像素点标签相同时，势函数值为0；当像素点与其邻域内的像素点标签不相同时，使用颜色距离度量势函数的值；
点云成对势的构建为：当各帧图像对应的点云数据中各点云数据与其邻域内的点云数据标签一致时，势函数的值为0；当各点云数据与其邻域内的点云数据标签不一致时，用点云数据在三维空间的距离度量势函数的值进行表示，具体公式为：
其中，表示各帧图像成对势；Ii表示第i个像素点，Ij表示第j个像素点的4邻域点；β表示相邻像素点的颜色间距在整个图像上的均值；表示对应各帧图像的点云成对势；pi表示当前点云数据，pj表示当前点云数据的最近邻的5个点；xi(lable)表示第i个像素点或第i个点云数据的标签，xj(lable)表示第j个像素点或第j个点云邻域内的像素点或点云的标签，lable即标签；λ和ζ用于控制成对势的强度；
(4)基于构造的各点云-图像混合条件随机场，得到点云-图像间一元势：当点云数据与其对应的帧图像上的投影点标签一致时，势函数的值为0；当点云数据与其图像面上的投影点标签不一致时，用参数η度量势函数的值，其中，点云-图像间一元势为：
其中，表示点云-图像成对势，即点云-图像间一元势；C表示存在对应关系的图像像素点-点云对；xi表示第i个像素点；xj表示第j个像素点对应的点云数据；xi(lable)表示第i个像素点的标签，xj(lable)表示第j个像素点对应点云的标签，lable即标签。
(5)基于步骤(2)-(4)得到的结果，将道路标签标注问题转换为吉布斯能量最小化问题，并使用最大流算法进行求解，获取道路区域，求解公式为：
其中，表示各帧图像成对势；表示对应各帧图像的点云数据成对势；表示各帧图像一元势；表示对应各帧图像的点云数据一元势；表示点云-图像成对势，参数r用于控制点云势函数强度。
本发明同现有技术相比，其有益效果表现在：
1、本发明基于多源数据融合的道路检测方法，联合数据级融合和决策级融合共同融合点云数据与视觉图像数据，综合利用多传感器优势，改善单一传感器使用缺陷，即使用多传感器融合实现信息互补进而提高道路检测的精度和鲁棒性；
2、本发明中数据级融合阶段，通过点云数据和图像数据的联合校准建立点云与图像间的一一对应关系，辅助后续决策级融合；
3、本发明将传统特征分析与深度学习相结合，将基于先验信息及领域知识共同构建的低级特征与通过深度学习获取的抽象高级特征相结合，改善道路特征对待检测道路区域的表征能力，增强道路检测算法在复杂环境干扰下的鲁棒性。
4、本发明在决策级融合阶段，通过集成学习与点云-图像混合条件随机场相结合，进一步提高道路检测的精度和稳定性，实现一种稳定且鲁棒的道路检测算法。
附图说明
图1为本发明的流程图；
图2为本发明中的一帧图像；
图3为本发明中图2对应的未校准后的点云数据；
图4为本发明中图2中的道路所在区域的粗划分图像；
图5为本发明中道路所在区域上的点云数据粗划分结果；
图6为本发明图像数据随机森林输出结果；
图7为本发明中的图像子模型的示意图；
图8为本发明中点云子模型的示意图；
图9为本发明中点云-图像混合条件随机场的示意图；
图10为本发明中最终点云-图像混合条件场道路标签标注的结果。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
一种结合激光点云数据的道路视觉检测方法，包括以下步骤：
步骤1：根据点云数据和图像数据间的空间关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，得到点云数据和图像数据的数据级融合，其中，图像数据包括一帧图像或多帧图像序列；
具体步骤如下：
步骤1.1：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各帧图像上点云数据投影点，点云数据投影点的投影坐标的为：
其中，y为各帧图像上点云数据投影点的投影坐标，为旋转校准矩阵，为将点云数据坐标velo转换到图像数据坐标cam的转换矩阵，p为三维点云数据坐标；
步骤1.2：根据各帧图像上点云数据投影点的投影坐标和图像尺寸的关系，剔除超出各帧图像面内的坐标，得到点云数据和图像数据的数据级融合。
步骤2：对图像数据中的各帧图像进行道路划分，得到道路所在区域的粗划分图像，再将粗划分图像转换到光照不变空间，得到光照不变空间图像；
具体步骤如下：
步骤2.1：根据天空区域所在位置，联合道路位置先验和城市环境空间约束，对图像数据中的各帧图像进行划分，得到道路所在区域的粗划分图像；
步骤2.2：将粗划分图像转换到光照不变空间，得到光照不变空间图像，转换公式为：
Iii＝log(G)-αlog(B)-(1-α)log(R) (2)
其中，Iii表示光照不变空间图像的像素值，ii表示光照不变空间图像；R、G、B分别为表示R、G、B三通道像素值，参数α与传感器的光谱响应有关，在某一实施例中，取值可为α＝0.4706。
步骤3：根据M估计样本一致性，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果；
具体步骤如下：
步骤3.1：根据M估计样本一致性，结合地面区域在三维空间的位置关系，构建地面方程：
ax+by+cz+d＝0 (3)
其中，a、b、c、d为基于M估计样本一致性并结合地面区域在三维空间的位置关系获取的道路平面参数；基于M估计样本一致性，求解地面方程，首先从数据级融合后的点云数据中随机选取点云数据用于计算参数a、b、c、d，作为候选地面方程，随后计算候选地面方程与所有点云数据的匹配程度，用点云数据到地面的距离作为匹配程度判断标准，并添加地面高度约束，符合候选地面方程的点云被认为地面点云数据，若有足够多的点云数据被认为是地平面点云数据，那么候选地面方程就合理，若迭代未结束，再次用随机选取的地面点云数据估计侯选地面方程，如此反复迭代，直到达到指定的迭代次数为止，获取道路平面参数a、b、c、d；
步骤3.2：根据地面方程，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果。
步骤4：分别对数据级融合后的图像数据的各帧图像、光照不变空间图像、点云数据粗划分结果及各帧图像对应的数据级融合后的点云数据进行道路特征提取，得图像道路特征和点云道路特征；具体如下：
图像道路特征的提取方式具体如下：
基于联合校准后的图像数据中各帧图像提取Gabor滤波器组输出特征、RGB三通道数值；L0平滑特征和基于全卷积神经网络获取的深度特征，具体提取方式如下：
Gabor滤波器组输出特征：构建Gabor滤波器组，获取联合校准后的图像数据中的各帧图像在不同方向、不同尺度滤波器下的道路特征，并进行归一化处理，处理后得到Gabor滤波器组输出特征；
RGB三通道数值：提取联合校准后的图像数据中的各帧图像的R、G、B三通道数据，并进行归一化处理，处理后得到RGB三通道数值；
L0平滑特征：对联合校准后的图像数据中的各帧图像进行L0平滑，保持各帧图像中道路边缘的同时，削弱周围环境及路面噪声，并进行归一化处理，处理后得到L0平滑特征；
基于全卷积神经网络获取的深度特征：基于全卷积神经网络，对训练集进行6倍的数据增强后，在ILSVRC2012数据集预训练权重的基础上仅训练最后两层网络，减少FCN网络对小样本量数据的过拟合现象，进行6倍数据增强包括：随机裁剪、随机改变形状、随机改变亮度、随机改变对比度、随机改变色调、随机改变饱和度，将联合校准后的图像数据中的各帧图像输入训练好的全卷积神经网络，输出特征，再进行归一化处理，得到基于全卷积神经网络获取的深度特征，其中，全卷积神经网络为VGG-16；
基于光照不变空间的图像和点云数据粗划分结果提取高斯分布颜色模型输出特征，具体提取方式如下：
高斯分布颜色模型输出特征：结合光照不变空间的图像和点云数据粗划分结果，构造高斯分布颜色模型，获取每一个像素点是否是道路像素点的概率输出，并进行归一化处理，得到高斯分布颜色模型输出特征，归一化处理的公式为：
其中，μc表示基于点云数据划分结果的对应像素点在光照不变空间下的道路像素点的均值，σc表示基于点云数据粗划分结果的对应像素点在光照不变空间下的道路像素点的标准差，Iii(i，j)表示光照不变空间图像的(i，j)位置处的像素值，ii表示光照不变空间图像；
基于数据级融合后的图像数据提取密集高度特征，具体提取方式如下：
密集高度特征：结合数据级融合后的点云数据的高度信息和图像数据间的映射关系，赋予各帧图像上点云数据投影点高度信息，基于联合双边滤波器，对数据级融合后的图像数据中各帧图像上的高度信息进行上采样，并进行归一化处理，得到密集高度特征，归一化处理的公式为：
其中，Jp表示密集高度特征，表示输入数据级融合后的图像数据中各帧图像在位置p处的像素值，表示融合后图像数据位置p处邻域内点q处的像素值，Iq表示引导图像在位置q处像素值，此处的引导图像指将数据级融合后的点云数据投影到与图像尺寸大小一致的空白像平面，平面上点云数据投影点位置处的像素值就是对应点云数据的高度信息，f、g表示权重分布函数，kp表示权重之和；
点云道路特征的提取方式具体如下：
基于数据级融合后各帧图像对应的点云数据提取点云数据位置、惯性张量矩阵、三维协方差矩阵、三维协方差矩阵特征梯度值和投影点坐标，具体如下：
点云数据位置：根据数据级融合后各帧图像对应的点云数据，获取点云数据在三维空间中的x、y、z坐标，得到点云数据位置；
惯性张量矩阵：获取数据级融合后各帧图像对应的点云数据坐标的惯性张量矩阵的6个独立项作为特征，并进行归一化处理，惯性张量矩阵为：
其中，M为计算每个点云数据最近邻几个点云数据共同产生的惯性张量矩阵，x、y、z分别表示点云数据的三维坐标，i表示当前点云数据最近邻的第i个点云数据，在某一实施例中，可计算每个点云数据最近邻10个点云数据共同产生的惯性张量矩阵，即n＝10；
三维协方差矩阵：获取数据级融合后各帧图像对应的点云数据的三维协方差矩阵的6个独立项作为特征，并进行归一化处理，三维协方差矩阵为：
其中，cov表示计算每个点云数据与其最近邻几个点的协方差，C表示三维协方差矩阵；x、y、z分别表示点云数据的三维坐标；i表示当前点云数据最近邻的第i个点云数据，在某一实施例中，cov表示计算每个点云数据与其最近邻10个点云数据的协方差，即n＝10；
三维协方差矩阵特征梯度值：计算点云数据的三维协方差矩阵特征值d1、d2、d3，d1＞d2＞d3，对特征进行归一化处理，并分别计算三个特征值对应的梯度值，三维协方差矩阵特征值和其对应的梯度值的计算公式如下：
其中，d1、d2、d3分别表示协方差矩阵的三个特征值；L1、L2、L3分别表示协方差矩阵特征归一化后的梯度值；
投影坐标：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各图像上点云数据投影点，再根据点云数据投影点获得投影坐标。
步骤5：将各帧图像对应的图像道路特征和点云道路特征分别送入两个随机森林进行训练，获取各像素点概率输出和各点云数据的概率输出；具体步骤为：
对各帧图像提取到的图像道路特征进行行列十倍的降采样(当然也可在提取特征前，对提取图像道路特征的数据进行行列10倍的降采样，再进行特征提取，提取后，进行后续处理)，得到降采样后的图像道路特征，同时，设置随机森林的参数，通过分析外包错误率获取决策树棵树，设置随机属性选择，得到设置好参数的图像数据随机森林，将降采样后的图像道路特征输入图像数据随机进行训练，得到训练好的图像数据随机森林，训练好的图像数据随机森林输出各帧图像中每一个像素点的概率输出，其中设置随机森林的参数、通过分析外包估计获取决策树棵树和设置随机属性选择的公式为：
k＝log2d (13)
其中，Hoob(x)表示对降采样后的图像道路特征x的外包预测；Dt表示第t个基分类器ht实际使用的训练样本集；T表示基分类器总数；y表示降采样后的图像道路特征x的标签；I(·)表示指示函数，为真时取值为1，否则为0；εoob表示外包估计，oob为out of bag三个单词首字母，无具体含义；k表示随机属性选择；d表示特征维数；
设置决策树棵树和随机属性选择得到设置好参数后的点云数据随机森林，将点云道路特征输入到点云数据随机森林中进行训练，得到训练好的点云数据随机森林，训练好的点云数据随机森林输出各帧图像对应的点云数据中每一个点云数据的概率输出。
步骤6：将各帧对应的所有像素点的概率输出和所有点云数据的概率输出用于构造各点云-图像混合条件随机场，基于构造好后的点云-图像混合条件随机场获取道路区域。
具体步骤为：
(1)将各帧对应的所有像素点的概率输出和所有点云数据的概率输出分别用于构造各点云-图像混合条件随机场，即构造点云-图像无向图模型，点云-图像混合条件随机场包括图像子模型和点云子模型，在图像子模型中，每个像素点的4邻域相互邻接；点云子模型中，每一个点云数据与最近邻的5个点邻接，同时每一个点云数据与其在对应帧图像上的投影点进行邻接，进而建立点云数据与对应各帧图像像素点间的邻接关系，使得图像子模型与点云子模型相互关联；
(2)基于构造的各点云-图像混合条件随机场，通过各帧图像中所有像素点的概率输出和对应各帧图像的所有点云数据的概率输出构造图像数据及点云数据的一元势，具体公式为：
其中，表示各帧图像一元势；pimg(xi)表示每一个像素点的概率输出；表示对应各帧图像的点云数据一元势；ppoint(xi)表示每一个点云数据的一元势；
(3)基于构造的各点云-图像混合条件随机场，进行图像成对势及点云成对势构建：
图像成对势的构建为：当各帧图像中的各像素点与其邻域内像素点标签相同时，势函数值为0；当像素点与其邻域内的像素点标签不相同时，使用颜色距离度量势函数的值；
点云成对势的构建为：当各帧图像对应的点云数据中各点云数据与其邻域内的点云数据标签一致时，势函数的值为0；当各点云数据与其邻域内的点云数据标签不一致时，用点云数据在三维空间的距离度量势函数的值进行表示，具体公式为：
其中，表示各帧图像成对势；Ii表示第i个像素点，Ij表示第j个像素点的4邻域点；β表示相邻像素点的颜色间距在整个图像上的均值；表示对应各帧图像的点云成对势；pi表示当前点云数据，pj表示当前点云数据的最近邻的5个点；xi(lable)表示第i个像素点或第i个点云数据的标签，xj(lable)表示第j个像素点或第j个点云邻域内的像素点或点云的标签，lable即标签；λ和ζ用于控制成对势的强度，在某一实施例中，λ＝100、ζ＝180；
(4)基于构造的各点云-图像混合条件随机场，得到点云-图像间一元势：当点云数据与其对应的帧图像上的投影点标签一致时，势函数的值为0；当点云数据与其图像面上的投影点标签不一致时，用参数η度量势函数的值，其中，点云-图像间一元势为：
其中，表示点云-图像成对势，即点云-图像间一元势；C表示存在对应关系的图像像素点-点云对；xi表示第i个像素点；xj表示第j个像素点对应的点云数据；xi(lable)表示第i个像素点的标签，xj(lable)表示第j个像素点对应点云的标签，lable即标签，在某一实施例中，η＝55。
(5)基于步骤(2)-(4)得到的结果，将道路标签标注问题转换为吉布斯能量最小化问题，并使用最大流算法进行求解，获取道路区域，求解公式为：
其中，表示各帧图像成对势；表示对应各帧图像的点云数据成对势；表示各帧图像一元势；表示对应各帧图像的点云数据一元势；表示点云-图像成对势，参数r用于控制点云势函数强度。
实施例
根据点云数据和图像数据间的空间关系，对激光雷获取的达点云数据与摄像机获取的图像数据进行联合校准，得到点云数据和图像数据的数据级融合，其中，图像数据包括为一帧图像，如图2所示；对应图2的未校准前的点云数据，如图3所示；
对图像数据中的各帧图像进行道路划分，得到道路所在区域的粗划分图像，如图4所示，再将粗划分图像转换到光照不变空间，得到光照不变空间图像；
根据M估计样本一致性，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果，如图5所示；
分别对数据级融合后的图像数据的各帧图像、光照不变空间图像、点云数据粗划分结果及各帧图像对应的数据级融合后的点云数据进行道路特征提取，得图像道路特征和点云道路特征；
将各帧图像对应的图像道路特征和点云道路特征分别送入两个随机森林进行训练，获取各像素点概率输出和各点云数据的概率输出，如图6所示；
将各帧对应的所有像素点的概率输出和所有点云数据的概率输出分别用于构造各点云-图像混合条件随机场，如图8-9所示，构造好后的点云-图像混合条件随机场获取道路区域，如图10所示。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种结合激光点云数据的道路视觉检测方法，其特征在于：包括以下步骤：
步骤1：根据点云数据和图像数据间的空间关系，对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准，得到点云数据和图像数据的数据级融合，其中，图像数据包括一帧图像或多帧图像序列；
步骤2：对图像数据中的各帧图像进行道路划分，得到道路所在区域的粗划分图像，再将粗划分图像转换到光照不变空间，得到光照不变空间图像；
步骤3：根据M估计样本一致性，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果；
步骤4：分别对数据级融合后的图像数据的各帧图像、光照不变空间图像、点云数据粗划分结果及各帧图像对应的数据级融合后的点云数据进行道路特征提取，得图像道路特征和点云道路特征；
步骤5：将各帧图像对应的图像道路特征和点云道路特征分别送入两个随机森林进行训练，获取各像素点概率输出和各点云数据的概率输出；
步骤6：将各帧对应的所有像素点的概率输出和所有点云数据的概率输出用于构造各点云-图像混合条件随机场，基于构造好后的点云-图像混合条件随机场获取道路区域。
2.根据权利要求1所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤1的具体步骤如下：
步骤1.1：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各帧图像上点云数据投影点，点云数据投影点的投影坐标的为：
其中，y为各帧图像上点云数据投影点的投影坐标，为旋转校准矩阵，为将点云数据坐标velo转换到图像数据坐标cam的转换矩阵，p为三维点云数据坐标；
步骤1.2：根据各帧图像上点云数据投影点的投影坐标和图像尺寸的关系，剔除超出各帧图像面内的坐标，得到点云数据和图像数据的数据级融合。
3.根据权利要求2所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤2的具体步骤如下：
步骤2.1：根据天空区域所在位置，联合道路位置先验和城市环境空间约束，对图像数据中的各帧图像进行划分，得到道路所在区域的粗划分图像；
步骤2.2：将粗划分图像转换到光照不变空间，得到光照不变空间图像，转换公式为：
Iii＝log(G)-αlog(B)-(1-α)log(R) (2)
其中，Iii表示光照不变空间图像的像素值，ii表示光照不变空间图像；R、G、B分别为表示R、G、B三通道像素值，参数α与传感器的光谱响应有关。
4.根据权利要求3所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤3的具体步骤如下：
步骤3.1：根据M估计样本一致性，结合地面区域在三维空间的位置关系，构建地面方程：
ax+by+cz+d＝0 (3)
其中，a、b、c、d为基于M估计样本一致性并结合地面区域在三维空间的位置关系获取的道路平面参数；基于M估计样本一致性，求解地面方程，首先从数据级融合后的点云数据中随机选取点云数据用于计算参数a、b、c、d，作为候选地面方程，随后计算候选地面方程与所有点云数据的匹配程度，用点云数据到地面的距离作为匹配程度判断标准，并添加地面高度约束，符合候选地面方程的点云被认为地面点云数据，若有足够多的点云数据被认为是地平面点云数据，那么候选地面方程就合理，若迭代未结束，再次用随机选取的地面点云数据估计侯选地面方程，如此反复迭代，直到达到指定的迭代次数为止，获取道路平面参数a、b、c、d；
步骤3.2：根据地面方程，对数据级融合后的各帧图像对应的点云数据进行平面拟合，得到道路所在区域上的点云数据粗划分结果。
5.根据权利要求4所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤4的具体如下：
图像道路特征的提取方式具体如下：
基于联合校准后的图像数据中各帧图像提取Gabor滤波器组输出特征、RGB三通道数值；L0平滑特征和基于全卷积神经网络获取的深度特征，具体提取方式如下：
Gabor滤波器组输出特征：构建Gabor滤波器组，获取联合校准后的图像数据中的各帧图像在不同方向、不同尺度滤波器下的道路特征，并进行归一化处理，处理后得到Gabor滤波器组输出特征；
RGB三通道数值：提取联合校准后的图像数据中的各帧图像的R、G、B三通道数据，并进行归一化处理，处理后得到RGB三通道数值；
L0平滑特征：对联合校准后的图像数据中的各帧图像进行L0平滑，保持各帧图像中道路边缘的同时，削弱周围环境及路面噪声，并进行归一化处理，处理后得到L0平滑特征；
基于全卷积神经网络获取的深度特征：基于全卷积神经网络，对训练集进行6倍的数据增强后，在ILSVRC2012数据集预训练权重的基础上仅训练最后两层网络，减少FCN网络对小样本量数据的过拟合现象，进行6倍数据增强包括：随机裁剪、随机改变形状、随机改变亮度、随机改变对比度、随机改变色调、随机改变饱和度，将联合校准后的图像数据中的各帧图像输入训练好的全卷积神经网络，输出特征，再进行归一化处理，得到基于全卷积神经网络获取的深度特征，其中，全卷积神经网络为VGG-16；
基于光照不变空间的图像和点云数据粗划分结果提取高斯分布颜色模型输出特征，具体提取方式如下：
高斯分布颜色模型输出特征：结合光照不变空间的图像和点云数据粗划分结果，构造高斯分布颜色模型，获取每一个像素点是否是道路像素点的概率输出，并进行归一化处理，得到高斯分布颜色模型输出特征，归一化处理的公式为：
其中，μc表示基于点云数据划分结果的对应像素点在光照不变空间下的道路像素点的均值，σc表示基于点云数据粗划分结果的对应像素点在光照不变空间下的道路像素点的标准差，Iii(i，j)表示光照不变空间图像的(i，j)位置处的像素值，ii表示光照不变空间图像；
基于数据级融合后的图像数据提取密集高度特征，具体提取方式如下：
密集高度特征：结合数据级融合后的点云数据的高度信息和图像数据间的映射关系，赋予各帧图像上点云数据投影点高度信息，基于联合双边滤波器，对数据级融合后的图像数据中各帧图像上的高度信息进行上采样，并进行归一化处理，得到密集高度特征，归一化处理的公式为：
其中，Jp表示密集高度特征，表示输入数据级融合后的图像数据中各帧图像在位置p处的像素值，表示融合后图像数据位置p处邻域内点q处的像素值，Iq表示引导图像在位置q处像素值，此处的引导图像指将数据级融合后的点云数据投影到与图像尺寸大小一致的空白像平面，平面上点云数据投影点位置处的像素值就是对应点云数据的高度信息，f、g表示权重分布函数，kp表示权重之和；
点云道路特征的提取方式具体如下：
基于数据级融合后各帧图像对应的点云数据提取点云数据位置、惯性张量矩阵、三维协方差矩阵、三维协方差矩阵特征梯度值和投影点坐标，具体如下：
点云数据位置：根据数据级融合后各帧图像对应的点云数据，获取点云数据在三维空间中的x、y、z坐标，得到点云数据位置；
惯性张量矩阵：获取数据级融合后各帧图像对应的点云数据坐标的惯性张量矩阵的6个独立项作为特征，并进行归一化处理，惯性张量矩阵为：
其中，M为计算每个点云数据最近邻几个点云数据共同产生的惯性张量矩阵，x、y、z分别表示点云数据的三维坐标，i表示当前点云数据最近邻的第i个点云数据；
三维协方差矩阵：获取数据级融合后各帧图像对应的点云数据的三维协方差矩阵的6个独立项作为特征，并进行归一化处理，三维协方差矩阵为：
其中，cov表示计算每个点云数据与其最近邻几个点的协方差，C表示三维协方差矩阵；x、y、z分别表示点云数据的三维坐标；i表示当前点云数据最近邻的第i个点云数据；
三维协方差矩阵特征梯度值：计算点云数据的三维协方差矩阵特征值d1、d2、d3，d1＞d2＞d3，对特征进行归一化处理，并分别计算三个特征值对应的梯度值，三维协方差矩阵特征值和其对应的梯度值的计算公式如下：
其中，d1、d2、d3分别表示协方差矩阵的三个特征值；L1、L2、L3分别表示协方差矩阵特征归一化后的梯度值；
投影坐标：根据点云数据和图像数据间的空间关系，获取旋转校准矩阵以及点云数据到图像数据的转换矩阵，得到各图像上点云数据投影点，再根据点云数据投影点获得投影坐标。
6.根据权利要求5所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤5的具体步骤为：
对各帧图像提取到的图像道路特征进行行列十倍的降采样，得到降采样后的图像道路特征，同时，设置随机森林的参数，通过分析外包错误率获取决策树棵树，设置随机属性选择，得到设置好参数的图像数据随机森林，将降采样后的图像道路特征输入图像数据随机进行训练，得到训练好的图像数据随机森林，训练好的图像数据随机森林输出各帧图像中每一个像素点的概率输出，其中设置随机森林的参数、通过分析外包估计获取决策树棵树和设置随机属性选择的公式为：
k＝log2d (13)
其中，Hoob(x)表示对降采样后的图像道路特征x的外包预测；Dt表示第t个基分类器ht实际使用的训练样本集；T表示基分类器总数；y表示降采样后的图像道路特征x的标签；I(·)表示指示函数，为真时取值为1，否则为0；εoob表示外包估计，oob为out of bag三个单词首字母，无具体含义；k表示随机属性选择；d表示特征维数；
设置决策树棵树和随机属性选择得到设置好参数后的点云数据随机森林，将点云道路特征输入到点云数据随机森林中进行训练，得到训练好的点云数据随机森林，训练好的点云数据随机森林输出各帧图像对应的点云数据中每一个点云数据的概率输出。
7.根据权利要求6所述的一种结合激光点云数据的道路视觉检测方法，其特征在于：所述步骤6的具体步骤为：
(1)将各帧对应的所有像素点的概率输出和所有点云数据的概率输出分别用于构造各点云-图像混合条件随机场，即构造点云-图像无向图模型，点云-图像混合条件随机场包括图像子模型和点云子模型，在图像子模型中，每个像素点的4邻域相互邻接；点云子模型中，每一个点云数据与最近邻的5个点邻接，同时每一个点云数据与其在对应帧图像上的投影点进行邻接，进而建立点云数据与对应各帧图像像素点间的邻接关系，使得图像子模型与点云子模型相互关联；
(2)基于构造的各点云-图像混合条件随机场，通过各帧图像中所有像素点的概率输出和对应各帧图像的所有点云数据的概率输出构造图像数据及点云数据的一元势，具体公式为：
其中，表示各帧图像一元势；pimg(xi)表示每一个像素点的概率输出；表示对应各帧图像的点云数据一元势；ppoint(xi)表示每一个点云数据的一元势；
(3)基于构造的各点云-图像混合条件随机场，进行图像成对势及点云成对势构建：
图像成对势的构建为：当各帧图像中的各像素点与其邻域内像素点标签相同时，势函数值为0；当像素点与其邻域内的像素点标签不相同时，使用颜色距离度量势函数的值；
点云成对势的构建为：当各帧图像对应的点云数据中各点云数据与其邻域内的点云数据标签一致时，势函数的值为0；当各点云数据与其邻域内的点云数据标签不一致时，用点云数据在三维空间的距离度量势函数的值进行表示，具体公式为：
其中，表示各帧图像成对势；Ii表示第i个像素点，Ij表示第j个像素点的4邻域点；β表示相邻像素点的颜色间距在整个图像上的均值；表示对应各帧图像的点云成对势；pi表示当前点云数据，pj表示当前点云数据的最近邻的5个点；xi(lable)表示第i个像素点或第i个点云数据的标签，xj(lable)表示第j个像素点或第j个点云邻域内的像素点或点云的标签，lable即标签；λ和ζ用于控制成对势的强度；
(4)基于构造的各点云-图像混合条件随机场，得到点云-图像间一元势：当点云数据与其对应的帧图像上的投影点标签一致时，势函数的值为0；当点云数据与其图像面上的投影点标签不一致时，用参数η度量势函数的值，其中，点云-图像间一元势为：
其中，表示点云-图像成对势，即点云-图像间一元势；C表示存在对应关系的图像像素点-点云对；xi表示第i个像素点；xj表示第j个像素点对应的点云数据；xi(lable)表示第i个像素点的标签，xj(lable)表示第j个像素点对应点云的标签，lable即标签。
(5)基于步骤(2)-(4)得到的结果，将道路标签标注问题转换为吉布斯能量最小化问题，并使用最大流算法进行求解，获取道路区域，求解公式为：
其中，表示各帧图像成对势；表示对应各帧图像的点云数据成对势；表示各帧图像一元势；表示对应各帧图像的点云数据一元势；表示点云-图像成对势，参数r用于控制点云势函数强度。
CN201910455352.9A 2019-05-29 2019-05-29 一种结合激光点云数据的道路视觉检测方法 Active CN110378196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455352.9A CN110378196B (zh) 2019-05-29 2019-05-29 一种结合激光点云数据的道路视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455352.9A CN110378196B (zh) 2019-05-29 2019-05-29 一种结合激光点云数据的道路视觉检测方法

Publications (2)

Publication Number Publication Date
CN110378196A true CN110378196A (zh) 2019-10-25
CN110378196B CN110378196B (zh) 2022-08-02

Family

ID=68248858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455352.9A Active CN110378196B (zh) 2019-05-29 2019-05-29 一种结合激光点云数据的道路视觉检测方法

Country Status (1)

Country Link
CN (1) CN110378196B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111007531A (zh) * 2019-12-24 2020-04-14 电子科技大学 一种基于激光点云数据的道路边沿检测方法
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111353441A (zh) * 2020-03-03 2020-06-30 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和系统
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法
CN111753698A (zh) * 2020-06-17 2020-10-09 东南大学 一种多模态三维点云分割系统和方法
CN111814836A (zh) * 2020-06-12 2020-10-23 武汉理工大学 基于类不平衡算法的车辆行驶行为检测方法及装置
CN111951306A (zh) * 2020-08-31 2020-11-17 华通科技有限公司 一种激光雷达与图像视频融合的目标检测方法
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
CN112731436A (zh) * 2020-12-17 2021-04-30 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113435465A (zh) * 2020-03-20 2021-09-24 阿里巴巴集团控股有限公司 图像处理、智能控制方法及设备
CN113569782A (zh) * 2021-08-04 2021-10-29 沭阳协润电子有限公司 基于人工智能与激光雷达的自由流速度估计方法及系统
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113705582A (zh) * 2021-08-04 2021-11-26 南京林业大学 一种建筑立面边缘特征关键点提取方法
CN113838030A (zh) * 2021-09-24 2021-12-24 北京杰迈科技股份有限公司 一种道岔状态检测方法
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114475650A (zh) * 2021-12-01 2022-05-13 中铁十九局集团矿业投资有限公司北京信息技术分公司 一种车辆行驶行为确定方法、装置、设备及介质
TWI790858B (zh) * 2021-12-15 2023-01-21 財團法人工業技術研究院 路面資料萃取方法及系統與自駕車控制方法及系統
CN116721081A (zh) * 2023-06-12 2023-09-08 南京林业大学 基于三维点云和模态转换的动车侧墙板缺陷提取方法
CN116757964A (zh) * 2023-08-16 2023-09-15 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于地理信息展示的图像校正方法
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
EP3444693A1 (en) * 2017-08-18 2019-02-20 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
EP3444693A1 (en) * 2017-08-18 2019-02-20 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEI YANG: "a fusion model for road detection based on deep learning and fully connected CRF", 《2018 13TH ANNUAL CONFERENCE ON SYSTEM OF SYSTEMS ENGINEERING (SOSE)》 *
X HAN: "road detection based on the fusion of lidar and image data", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》 *
何曼芸等: "融合光谱特征和几何特征的建筑物提取算法", 《激光与光电子学进展》 *
杨飞等: "基于融合分层条件随机场的道路分割模型", 《机器人》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111027401B (zh) * 2019-11-15 2022-05-03 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111007531A (zh) * 2019-12-24 2020-04-14 电子科技大学 一种基于激光点云数据的道路边沿检测方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
US10929694B1 (en) 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111353441A (zh) * 2020-03-03 2020-06-30 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和系统
CN113435465A (zh) * 2020-03-20 2021-09-24 阿里巴巴集团控股有限公司 图像处理、智能控制方法及设备
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法
CN111814836A (zh) * 2020-06-12 2020-10-23 武汉理工大学 基于类不平衡算法的车辆行驶行为检测方法及装置
CN111753698A (zh) * 2020-06-17 2020-10-09 东南大学 一种多模态三维点云分割系统和方法
CN111951306A (zh) * 2020-08-31 2020-11-17 华通科技有限公司 一种激光雷达与图像视频融合的目标检测方法
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112346073B (zh) * 2020-09-25 2023-07-11 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
US11210801B1 (en) 2020-10-26 2021-12-28 Tsinghua University Adaptive multi-sensor data fusion method and system based on mutual information
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN112258618B (zh) * 2020-11-04 2021-05-14 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112731436A (zh) * 2020-12-17 2021-04-30 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112731436B (zh) * 2020-12-17 2024-03-19 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113580134B (zh) * 2021-08-03 2022-11-04 亿咖通(湖北)技术有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113705582A (zh) * 2021-08-04 2021-11-26 南京林业大学 一种建筑立面边缘特征关键点提取方法
CN113569782A (zh) * 2021-08-04 2021-10-29 沭阳协润电子有限公司 基于人工智能与激光雷达的自由流速度估计方法及系统
CN113569782B (zh) * 2021-08-04 2022-06-14 沭阳协润电子有限公司 基于人工智能与激光雷达的自由流速度估计方法及系统
CN113838030A (zh) * 2021-09-24 2021-12-24 北京杰迈科技股份有限公司 一种道岔状态检测方法
CN114475650A (zh) * 2021-12-01 2022-05-13 中铁十九局集团矿业投资有限公司北京信息技术分公司 一种车辆行驶行为确定方法、装置、设备及介质
TWI790858B (zh) * 2021-12-15 2023-01-21 財團法人工業技術研究院 路面資料萃取方法及系統與自駕車控制方法及系統
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN116721081A (zh) * 2023-06-12 2023-09-08 南京林业大学 基于三维点云和模态转换的动车侧墙板缺陷提取方法
CN116721081B (zh) * 2023-06-12 2024-01-26 南京林业大学 基于三维点云和模态转换的动车侧墙板缺陷提取方法
CN116757964A (zh) * 2023-08-16 2023-09-15 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于地理信息展示的图像校正方法
CN116757964B (zh) * 2023-08-16 2023-11-03 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于地理信息展示的图像校正方法

Also Published As

Publication number Publication date
CN110378196B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN110378196A (zh) 一种结合激光点云数据的道路视觉检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
Li et al. A three-step approach for TLS point cloud classification
CN102799901B (zh) 一种多角度人脸检测方法
Kühnl et al. Monocular road segmentation using slow feature analysis
CN103258203B (zh) 遥感影像的道路中线自动提取方法
CN106326893A (zh) 一种基于区域辨别的车辆颜色识别方法
CN105894502A (zh) 基于超图模型的rgbd图像显著性检测方法
CN103632363A (zh) 基于多尺度融合的对象级高分辨率遥感影像变化检测方法
JPWO2020181685A5 (zh)
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN103198302A (zh) 一种基于双模态数据融合的道路检测方法
CN102509098A (zh) 一种鱼眼图像车辆识别方法
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN106934386A (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
CN105138975B (zh) 一种基于深度信念网络的人体肤色区域分割方法
CN112287838B (zh) 基于静止气象卫星影像序列的云雾自动判识方法及系统
Huertas et al. Stereo-based tree traversability analysis for autonomous off-road navigation
CN104102904A (zh) 一种静态手势识别方法
CN107992856A (zh) 城市场景下的高分遥感建筑物阴影检测方法
CN106529391B (zh) 一种鲁棒的限速交通标志检测与识别方法
CN112966736A (zh) 一种基于多视角匹配与局部特征融合的车辆再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant