CN110569704A - 一种基于立体视觉的多策略自适应车道线检测方法 - Google Patents

一种基于立体视觉的多策略自适应车道线检测方法 Download PDF

Info

Publication number
CN110569704A
CN110569704A CN201910391161.0A CN201910391161A CN110569704A CN 110569704 A CN110569704 A CN 110569704A CN 201910391161 A CN201910391161 A CN 201910391161A CN 110569704 A CN110569704 A CN 110569704A
Authority
CN
China
Prior art keywords
point
pixel
lane line
data
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910391161.0A
Other languages
English (en)
Other versions
CN110569704B (zh
Inventor
段建民
管越
庄博阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910391161.0A priority Critical patent/CN110569704B/zh
Publication of CN110569704A publication Critical patent/CN110569704A/zh
Application granted granted Critical
Publication of CN110569704B publication Critical patent/CN110569704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于立体视觉的多策略自适应车道线检测方法，该方法建立在立体视觉基础上，通过融合视差图的三维深度信息与二维图像的RGB语义信息来提高车道线检测任务的鲁棒性。检测阶段以三维环境信息的先验知识来自适应的分割道路路面区域作为车道线估计区域，滤除与检测非相关的障碍物，解决干扰问题。车道线提取阶段，使用二维图像的RGB语义信息，采用图像时域内多策略融合机制和滑动窗口技术进一步排除与检测相关的树木阴影、道路标识、局部污损等同区域的干扰。车道线拟合过程采用三阶贝塞尔曲线模型，能够更好的表达不同车道线的阶数特性。以上方法极大提高了基于视觉的车道线检测任务的鲁棒性，提高了数据点搜索速度和准确性。

Description

一种基于立体视觉的多策略自适应车道线检测方法
技术领域
本发明涉及自动驾驶或辅助驾驶应用场景下的一种基于立体视觉的多策略自适应车道线 检测方法，属于计算机视觉相关领域。
背景技术
伴随机器学习、深度学习、计算机视觉等理论的完善，计算机硬件水平的提高以及GPU 的应用普及，传统的汽车工业迎来新的发展契机，以人工智能技术(ArtificialIntelligence,简 称AI)为基础，以环境感知、定位导航、高精地图构建、决策规划和先进控制技术为核心的 自动驾驶汽车成为新的研究热点。同时应用部分自动驾驶技术的先进辅助驾驶系统(Advanced Driver Assistance System,ADAS)开始逐步应用于道路行车和其他功能的辅助驾驶中。根据数 据统计，70％以上的行车碰撞事故和60％以上的准碰撞事故，均由驾驶者注意力不集中导致, 因此相关研究主要以实现将驾驶员从“人-车-路”闭环系统中解放出来为目标。自动驾驶和先进 辅助驾驶旨在为汽车驾驶员和乘客提供更高的安全性和舒适性，提高交通通行效率，减少人 为事故发生机率。
环境感知是智能车辆的核心技术之一，其中实时的车道线检测和跟踪是车辆行驶过程中 车道状态保持的关键技术。现阶段感知系统已不再局限于单一传感器信息，不同类别的多传 感器融合或同类别的多传感器融合成为研究热点。传统的车道线检测手段主要有以下几种： 以单线或多线激光雷达作为数据源传感器的道路边界(类车道线)检测方法。该方法数据来 源于激光雷达，由于激光雷达对颜色和共面标识的纹理、梯度等信息表达能力弱，其多应用 于道路区域平面内的障碍物检测，因此只能用于单车道且包含凸起路沿场景下的行车道检测。 传统的单目视觉方法在人为指定的感兴趣区域(region ofinterest,ROI)内根据不同颜色空间使 用不同的梯度和颜色阈值进行处理，通过融合的方法对ROI进行二值化。采用曲线拟合方式 求解车道线模型。由于该方法无自适应的指定ROI以及融合过程的固定权，在检测过程中受 到路面上与车道线相同颜色或相同纹理的车辆、行人等特殊障碍物干扰情况下，该类算法往 往误检率变高，甚至无法工作。基于机器学习或深度学习的车道线检测方法较传统视觉方法 一定程度上降低了误检率提高了鲁棒性，但是深度神经网络计算复杂、能观性差，对硬件计 算能力依赖性强，实时性很差。基于激光雷达和视觉融合的方法改善了单一传感器的劣势， 但两种不同类别传感器在开发使用难度和部署成本上存在不足，并且多源传感器标定过程复 杂，难度大。
基于立体视觉的多策略自适应车道线检测方法的核心是融合立体视觉计算得到的视差图 所包含的深度信息和RGB图像像素信息，二者的融合交互既能够表达二维空间的纹理、颜色、 梯度等信息又能够对三维空间尺度进行模糊表达。此方法能够分割出道路区域，在道路区域 内检测车道线排除了任何性质障碍物的影响，从根本上解决了干扰问题。同时在决策层融合 多策略信息进一步提高了车道线检测的鲁棒性。
发明内容
针对自动驾驶或先进辅助驾驶背景下，传统视觉车道线检测算法容易受到驾驶环境中与 车道线相同颜色或相同纹理等特殊障碍物的干扰，本发明提出一种基于立体视觉的多策略自 适应车道线检测方法。该方法通过融合视差图的三维深度信息与二维RGB像素信息，自适应 的分割出道路区域作为车道线感兴趣区域，从根本上解决了障碍物的干扰问题。另外车道线 数据点提取过程采用多策略融合机制和滑动窗口技术进一步排除了道路平面上树木阴影、道 路标识、局部污损区域的干扰。车道线拟合过程采用的三阶贝塞尔曲线模型能够更好的表达 不同车道线的阶数特性。以上方法极大提高了基于视觉的车道线检测任务的鲁棒性。
本发明采用的技术方案为一种基于立体视觉的多策略自适应车道线检测方法，包含以下 5个步骤：
步骤1，离线状态下双目摄像机的时间、空间对准。
步骤1.1：双目相机捕获帧序列的时间对准。
立体匹配计算视差图的核心是搜索、配对左右相机图像的像素点。为了降低误匹配率， 提高车辆动态场景下立体匹配的鲁棒性需要对左右相机捕获的左、右帧进行时间对准，实现 左、右帧捕获的同步性。
步骤1.2：双目相机左右图像对的空间对准。
同步骤1.1，为了提高立体匹配过程的效率，降低误匹配率，需要对左右相机拍摄的左右 图像进行行对齐即空间对准。空间对准采用的是图像棋盘标定法，通过拍摄一组不同位置的 标定图像，识别图像中的角点位置，通过角点数据解算出两个相机在空间中的旋转关系和平 移关系进而实现空间标定。
步骤2，双目图像对立体匹配计算视差图。
步骤2.1：左右图像的像素匹配代价度量准则。
像素对的匹配代价计算过程决定了立体匹配算法的优劣。通过融合匹配窗口内像素点的 绝对梯度幅值、像素灰度、Census变换码流来构建匹配代价计算函数，能够更好的适应驾驶 场景下的立体匹配过程。
步骤2.2：匹配代价聚合和后处理过程。
代价计算步骤得到的像素点的视差是离散的，代价聚合过程本质上就是一个滤波过程， 将离散的视差平滑聚合。后处理过程是对视差计算结果进行最后的精化处理，包括：亚像素 插值计算、左右一致性检测、误匹配点处理等，经过精化后便可得到最终的视差图。
步骤3，车道线感兴趣区域的最优化分割。
步骤3.1：路面映射点集的最优化估计。
对视差图进行V方向差异映射变换，设计评价道路映射点集强度的能量函数，采用动态 规划算法在V差异映射视图中全局最优化估计道路路面映射点集合。
步骤3.2：路面剖面模型参数求解和道路区域分割。
使用上一步骤中提取出的路面映射点集合，求解道路路面映射模型参数。确定模型参数 后，使用计算的模型分割道路区域作为车道线检测的感兴趣区域。
步骤4，多策略的图像时域特征融合。
步骤5，车道数据点搜索，车道线拟合。
步骤5.1：滑动窗口基点定位；
步骤5.2：基于窗口搜索车道线数据点；
步骤5.3：三阶贝塞尔曲线模型拟合。
与现有方法相比，本发明具有以下优点：
(1)在传统双目半全局立体匹配算法框架下提出一种改进的左右图像像素点匹配代价评 价方法，通过融合像素窗口内绝对梯度幅值、像素灰度、Census变换码流，构建匹配代价计 算函数。该方法能够更好的适应驾驶场景下的立体匹配过程；
(2)区别于传统固定设置ROI的方法，提出一种自适应设置ROI方法。通过立体视觉对道路区域剖面建模，设计路面映射点描述的抛物线模型和评价路面映射点强度的能量函数， 采用优化方法来估计最优路面映射点集合，以数据拟合手段求解路面映射模型参数，从而自 适应分割出道路路面作为车道线检测的ROI；
(3)提出了采用多策略融合机制和滑动窗口技术的车道线有效数据点提取方法，提高了 数据点搜索速度和准确性。
(4)车道线拟合过程采用的三阶贝塞尔曲线模型能够更好的表达不同车道线的阶数特性。
附图说明
图1为本发明所涉及的方法流程图；
图2为左右相机空间对准流程示意图；
图3为左右图像时空对准后拼接结果图；
图4原始视图、视差图、道路区域标记图；
图5 V差异映射的坐标系定义；
图6道路区域剖面模型拟合对比；
图7车道线响应图的二值化效果；
图8滑动窗口基点定位；
图9滑动窗口轨迹规划；
图10三阶贝塞尔曲线定义；
图11车道线识别效果图；
具体实施方式
以下结合说明书附图和实验实例对具体实施方式进行描述，图1为基于立体视觉的多策 略自适应车道线检测方法流程图，具体实施步骤如下：
步骤1，离线状态下双目摄像机的时间、空间对准。
步骤1.1：双目摄像机捕获帧序列的时间对准。
受工业相机的自动曝光、自动白平衡机制，以及相机制造过程中工艺误差等因素影响， 工业相机的图像帧序列捕获多以异步捕获方式为主，因此双目左右图像无法实现捕获同步。 为了提高立体匹配过程的动态精度需要对左、右相机进行时间对准。时间对准方法采用逐帧 时间戳标记和容器缓存方式。当左相机采集一帧数据时，标记数据时间戳为t1，同理，右相 机采集一帧数据时，标记数据时间戳为t2。则左右数据帧的同步时间差为：ΔT＝|t1-t2|。在 左右相机捕获数据后，分别定义两个长度为5帧的缓存容器保存异步采集的图像数据，并对 数据进行逐帧时间戳标记。当左相机缓存容器触发捕获中断时，设置右相机同步标志位，比 较捕获的左相机数据时间戳与右相机的当前帧、上一帧、下一帧的同步时间差ΔT，取ΔT最 小的右相机数据帧与左相机数据帧捆绑作为一帧双目数据传递到下一处理单元。
步骤1.2：双目相机左右图像对的空间对准。
在立体匹配过程中，匹配算法需要在自定义窗口内逐像素计算左图像和右图像相似性度 量，为了减小匹配窗口尺寸加快算法运行速度并提高匹配精度，需要将左右图像进行极线约 束。即对于图像上的某一特征像素点其在对应的另一视图的匹配点必处于对应的对极线上， 称为极线约束。标定过程需要求解得到左相机的内部参数矩阵Ml、右相机的内部参数矩阵Mr和右相机相对于左相机的三维旋转向量三维平移向量T[Tx,Ty,Tz]z。三维旋转向量 R中ψ表示偏航角，表示横滚角，θ表示俯仰角。三维平移向量T中Tx表示三维笛卡尔坐 标系下x轴的偏移量。同理，Ty和Tz分别表示y和z方向的偏移量。整个离线标定过程如图2 所示。首先需要拍摄一组标定棋盘图片并检测棋盘图片的角点，然后将检测到的角点数据导 入Opencv提供的标定函数，分别求解得到两个相机的内参矩阵[fx,cx,fy,cy]、畸变系数[k1,k2,p1,p2,p3]、旋转向量平移向量T[Tx,Ty,Tz]。完成单相机标定后，进行双目 联合立体校正，将两个相机的单目标定参数导入Opencv提供的双目标定函数，求解得到两相 机之间的旋转矩阵R、平移矩阵T、本征矩阵E、基础矩阵F。下一步进行双目图像的立体 矫正，将上步骤参数导入Opencv立体矫正函数，求解得到公共成像平面旋转矩阵[Rl,Rr]、 左右相机的投影矩阵[Pl,Pr]、重投影矩阵Q，最后分别求出两相机图像的矫正映射便可对左 右图像进行投影变换，变换后的图像对严格的行对齐，结果图如图3所示。
步骤2，双目图像对立体匹配计算视差图。
立体匹配过程即寻找左右图像像素的最优匹配点并计算最优匹配点之间的视差。步骤1 实现了左右图像的时间对准和空间对准，接下来需要对左右像素点的匹配程度进行定量度量， 计算各个像素点的匹配代价地图。然后基于动态规划算法对像素点匹配代价进行滤波，以全 局最优匹配序列所对应的视差集合来构建视差图。
步骤2.1：左右图像的像素匹配代价度量准则。
匹配代价是计算左图像素点pl(x,y)在右图中对应视差为d的像素点pr(x,y)的相似性度 量。用一个r×c×d的三维矩阵表示，其中r、c表示图像的行和列，d表示左右像素点视差 计算范围。采用一种多特征融合的方式来定义匹配代价。度量函数的第一个组成部分是相对 梯度代价，式(1)定义相对梯度计算方法：
式中，R▽(x,y)表示像素p(x,y)的相对梯度，▽(x,y)表示像素p(x,y)的绝对梯度， ▽max(x,y)表示以像素p(x,y)为中心的n×n匹配窗口内像素梯度最大值。基于相对梯度模型， 以左图像素p(x,y)和对应右图中视差为d的像素分别求得其相对梯度，以左右相对梯度绝对 值之差构造匹配代价如下：
CRG(p,d)＝|R▽L(x,y)-R▽R((x-d),y)| (2)
式中，CRG(p,d)为相对梯度代价，R▽L(x,y)为左图像素点p的相对梯度，R▽R((x-d),y) 为右图与p点视差为d的像素相对梯度值。
AD代价是左右图像的像素灰度绝对值之差,计算公式如式(3)所示：
CAD(p,d)＝|IL(x,y)-IR((x-d),y)| (3)
式中，CAD(p,d)为左图像素点p与对应右图视差为d像素点之间的AD代价，IL(x,y)为 左图像素点灰度值，IR((x-d),y)为右图对应视差为d的像素点灰度值。
Census变换是将匹配窗口中心像素灰度值与其邻域内像素点比较，将比较结果进行二值 化运算后得到二进制码流的过程。利用Hamming距离计算两个像素点的相似性测度。
Ccensus(p,d)＝Hamming(CTgL(x,y),CTgR((x-d),y)) (5)
其中，式(4)表示的是Census变换过程，p是窗口中心像素，q属于p的邻域Np，ξ()函数是一个二值化函数，I(p)表示像素p的灰度值，I(q)表示像素q的灰度值。式(5)中CTgL和CTgR函数分别是计算左图像素点p与其对应视差为d的右图像素点Census变换值。使用Hamming距离来计算两个二进制码流的相似程度。
以上分别定义了相对梯度代价、AD代价和Census代价，最终的对应右图视差为d的左 图像素点p的匹配总代价为三者加权和，表示为：
式中λ1、λ2、λ3分别为三个像素点匹配代价计算部分的正则化参数，用来控制求解代价 的取值权重和范围。定义了像素点匹配代价函数后，需要遍历左右图像，逐像素计算每个像 素点在[0,d]视差范围内的匹配代价，得到一个尺寸为r×c×d的三维代价地图。
步骤2.2：匹配代价聚合和后处理过程。
代价计算步骤得到的像素点视差是离散的，代价聚合过程本质上就是一个滤波过程，将 离散的视差平滑聚合。通过代价聚合可以减少异常点的影响，提高信噪比(SNR:Signal Noise Ratio)进而提高匹配精度。代价聚合的思路是建立一个全局能量函数E(d),将视差计算转换为 全局能量函数优化求解问题。定义全局能量函数如下：
式中，E(d)表示所有像素匹配代价总和；C(p,d)表示视差为d的像素点p(x,y)的匹配代 价，由式(6)计算得到；p1、p2为惩罚系数；p、q为像素点，且点q包含于点p的邻域Np中(匹配窗口)；函数T是一个判断真值函数。由于在一个二维图像内最优化求解能量函数E(d)是 一个NP(Non-deterministicPolynomial)完全问题，复杂度极高。为了实现复杂度降维，在n条(取 n＝3)一维扫描线上采用动态规划算法累加匹配代价，将各方向匹配代价求和得到某像素点匹 配总代价。如式(8)所示，定义Lr(p,d)为沿r方向的一条聚合路径上点p对应视差为d的匹配 代价，S(p,d)为最小成本的一维路径代价之和。
通过匹配代价计算和代价聚合过程得到总的匹配代价后，利用WTA(Winner-Take-All)策 略选择最小代价对应视差值为该像素最终视差。经过代价计算和聚合后，对视差计算结果进 行最后的精化处理：亚像素插值计算、左右一致性检测、误匹配点处理等得到最终的视差图。 左右图像经过立体匹配计算得到视差结果图如图4的(b)所示。
步骤3，车道线感兴趣区域的最优化分割。
立体匹配过程将左、右摄相机采集的仅包含二维RGB像素信息的视频序列帧转换为能够 表达空间三维深度信息的视差图。对视差图进行二次处理，经过统计各行列像素视差分布变 换得到”U-Vdisparity”(水平-垂直方向差异映射)。其中V差异映射的具体计算方法是：通过 累加计算视差图的每个水平行直方图来创建V差异映射。V差异映射可以用一个二维笛卡尔 坐标系表示，其坐标系定义如图5所示。其横轴d是左右相机视差范围，纵轴v是视差图的行 坐标。值L(v,d)表示在视差图中，索引(v,d)位置的像素点个数累加。
步骤3.1：路面映射点集的最优化估计。
通过分析三维重建后的环境点云数据可以得到：路面区域(道路区域)的点云数量远大 于其他环境要素的点云数量，在V差异映射中可以描述为地面点在V视图中具有更大的灰度 值。假设道路剖面非平坦，平面道路在V差异映射图上的投影可以用一个抛物线模型 d＝f(v)＝ω0v2+ω1v+ω2来描述。对于假设的道路区域映射模型，只需要求解参数 ω＝[ω0,ω1,ω2]T确定模型的解。
非平坦道路模型是通过对V差异映射进行曲线拟合的方式求解。但未处理过的V差异映 射数据包含大量的噪声点、错误匹配点、障碍物点，因此无法直接拟合得到最优的模型参数。 本发明提出的数据优化方法是，建立路径点能量函数，以动态规划方法在V差异映射数据集 合中最小化能量函数E，通过此方法能够求得模型拟合的全局最优路径点集合。
定义能量函数如式(10)、式(11)所示，能量函数包含数据项Edata和平滑项Esmooth。
E＝Edata+Esmooth (10)
式(11)求解过程从d＝dmax开始，迭代到d＝0。在初始迭代中Esmooth＝0，每次迭代过程， Edata＝-L(v,dmax)的值来源于前一个周期的最优路径值之和。迭代初始化过程中需建立一个与 V差异映射同尺寸的缓存集合，用以回溯求解规划的最优路径索引。在回溯求解的每一个步 进阶段，选择此阶段能量最小的点作为最优路径点，最优路径点索引保存在中。其中v＝[v0,v1,...,vk-1]T为行索引向量，d＝[d0,d1,...,dk-1]T为列索引向 量。优化后的结果如图6(a)中绘制的绿色轨迹所示。
步骤3.2：路面剖面模型参数求解和道路区域分割。
模型求解过程需要对上一个步骤优化得到的最优路径点集合进行曲线拟合，求解抛物线 模型参数ω＝[ω0,ω1,ω2]T。采用随机抽样一致性算法对最小二乘求得的参数解进行随机优化迭 代。整个过程描述为迭代求解式(12)的过程。
式中ω＝[ω0,ω1,ω2]T为抛物线参数，RANSAC计算过程伪代码如下：
经过数据拟合求解得到抛物线参数ω＝[ω0,ω1,ω2]T，如图6所示，图6的(b)绘制的轨迹 是最小二乘拟合得到的抛物线，图6的(c)绘制的轨迹是经过优化后的抛物线。确定道路区域 映射模型后，便可根据式(13)在左相机视图上进行道路区域分割。
式中ε是道路区域分割阈值(取ε＝10)，f-1(0)是抛物线模型f(v)的反函数，Ileft(G)表 示左相机图像的G通道值，Idisp(u,v)表示视差图像素值。分割结果如图4的(c)所示。
步骤4，多策略的图像时域特征融合。
以上步骤实现了驾驶场景内包含车道线的道路区域检测，步骤4将道路区域设置为感兴 趣区域并在感兴趣区域内进行车道线数据点的二值化过程。本发明通过大量车道线样本分析， 分别选择RGB色彩空间的R通道、HSV色彩空间的V通道、图像x方向导数幅值三个时域 特征融合得到最终的车道线描述特征。通过融合的方式能够克服地面阴影，图像亮度不均匀， 地面类车道线痕迹，路面障碍物等常见干扰。使用式(14)来计算像素p(x,y)的车道线特征响 应。
p(x,y)r＝η1×IG(x,y)+η2×IV(x,y)+η3×Gx(x,y)
式中p(x,y)r表示左视图像素点经过计算得到的车道线强度响应，参数η为不同特征的权 值控制参数，IG(x,y)表示RGB色彩空间的R通道强度值，IV(x,y)表示HSV色彩空间的V 通道强度值，Gx(x,y)表示x方向导数幅值。μ表示响应图中像素点的二值化判断阈值。遍历 感兴趣区域像素点便可计算得到车道线响应图的二值化结果，如图7所示。
步骤5，车道数据点提取，车道线位置标注。
步骤5.1：滑动窗口基点定位
滑动窗口基点定位是为了找到左右车道线的初始位置，基点定位的准确性决定了后续搜 索过程的准确性。将步骤4处理得到的车道线响应图进行逆透视变换，将倾斜视角拍摄的道 路图像转换成鸟瞰图，通用的变换公式如下：
式(15)中u，v是变换前像素索引，对应变换后的坐标x＝x'/w'，y＝y'/w'，其中w和w' 是尺度因子，式(16)M被称为变换矩阵，矩阵内元素aij表示变换矩阵的控制参数。按照式(15) 重写变换公式得到：
由式(17)可知只需要在原始视图中标定四个像素点p0(u0,v0)、p1(u1,v0)、p2(u2,v2)、 p3(u3,v2)，同时确定变换后视图的四个顶点p'0(x0,y0)、p'1(x1,y0)、p'2(x0,y1)、p'2(x1,y1)便 可求解出变换矩阵M及其所有控制参数aij，然后对原始图像按照式(15)进行变换，实例中的 变换结果如图8所示。
本发明通过统计鸟瞰视图的车道线数据点特性来判断滑动窗口基点。描述过程的示意图 如图8所示。将整个视图按照行值划分近端视场和远端视场，远端视场确定为1/3行值，近端 视场确定为2/3行值。在近端视场中按照纵向划分10个统计窗口，每个统计窗口的尺寸为 (1/3r×1/10c)。编号#0-#5的统计窗口作为左车道数据，编号#6-#10的统计窗口作为右车道数 据。然后对各编号的窗口内数据点分别统计像素点密度、垂直方向的离散程度。其中像素点 密度通过不均匀求和方式得到，即加和过程中视场越近的像素点拥有更大的置信度。定义数 学表达式如下：
式中ρi定义为各窗口的像素密度，kc是窗口列数，kr是窗口行数，λ控制不同行像素点 置信度，p(x,y)r为车道线响应图的像素点灰度值；σi为窗口内值为1的像素的行索引标准差， 以此定义窗口的垂直方向离散程度。N为窗口内值为1的像素数目，μ为窗口内值为1的像 素行索引期望。
通过以上方法求得各窗口的ρi和σi后，分别比较左、右车道数据的ρi和σi，选择ρi+σi值最大的窗口作为基点，则可求得左右滑动窗口基点坐标为：其中k0，kc是选定窗口起点、终点的列索引，row是鸟瞰变换后响应图的行值。
步骤5.2：基于窗口搜索车道线数据点
上一步骤分别求取了左右车道线的基点坐标，车道线数据点提取是从基点坐标开始，采 用滑动窗口按一定的步进阶段，自底向上搜索保存车道线数据点。定义滑动窗口尺寸为： (h×w)＝(row/24,col/10)，其中row是鸟瞰变换后响应图的行值，同理，col为列值。初始化过 程，以基点作为滑动窗口底边中心点si。提取窗口内第一个像素值为1的像素点x索引标记 为xi1，提取最后一个像素值为1的像素点x索引标记为xi2，由以上条件可以确定下一滑动窗 口的底边中心点坐标为式(19)所示，图9为滑动窗口的四种路径规划形式。
式中表示下一窗口底边中心点的行坐标，表示当前窗口底边中心点的行坐标，h表 示窗口高度，表示下一窗口底边中心点的列坐标，表示当前窗口底边中心点的列坐标， 若当前窗口无有效数据点时，下一窗口列坐标保持不变。若当前窗口存在有效数据，按照车 道线斜率分为三种形式，下一窗口底边中心点的列坐标等于xi2加上偏移量按照规 定的滑动窗口中心点的定位规则，分别从左右基点开始，滑动搜索像素值为1的点并保存在 数据点集合Lpoint和Rpoint中。至此，左右车道线数据点提取完成。
步骤5.3：三阶贝塞尔曲线模型拟合
上一步骤分别得到了左右车道线的数据点集合Lpoint和Rpoint，由于车道线可能存在直线段 和高阶曲线段，为了更好的描绘车道线，本发明采用三阶贝塞尔曲线模型来拟合左右车道线 数据点，并引入采用随机采样一致性方法来提高拟合过程的鲁棒性。
三阶贝塞尔曲线可以通过四个点来定义，示意图如图10所示。
B(t)＝P0(1-t)3+P1(1-t)2t+P2(1-t)t2+P3t4,t∈[0,1] (20)
式中P0、P3为贝塞尔曲线的起点和终点，通过点P1、P2控制曲线形状。下面以拟合左车 道线数据集合Lpoint为例详细描述贝塞尔曲线的拟合过程：
(1)在车道线数据集合Lpoint中随机选择四个数据点作为初始拟合过程的控制点，估计一条 初始三阶贝塞尔曲线L0。
(2)建立有效数据点集合Q。分别计算Lpoint中剩余点P(xi,yi)与初始估计曲线的距离di， 若存在某点距离di＜δ则将该点存入集合Q中。记在曲线L0上与点P(xi,yi)具有相 同的行值，定义
(3)循环计算(2)，直到集合Q长度大于有效点数量N或循环次数超过设定值C。
(4)在随机优化后的集合Q中重新拟合贝塞尔曲线并计算曲线得分，返回执行(1)以当前拟 合得到的曲线Li代替L0，直到达到迭代次数结束。最后取得分最高的曲线作为最终拟合结果。
利用集合Q中重新拟合贝塞尔曲线的方法如下：
式(15)的矩阵形式表示为式(16)，式中P0＝Q(0)，P3＝Q(t)。令Q1,Q2,···,Qn为n个待修 正点，假设每个点Qi对应的ti为式(17)所示。
定义
根据式(21)则有：
Q＝TMP (24)
式(24)中，已知矩阵Q，根据式(21)可求得矩阵T，矩阵M已知，便可求解矩阵P得到贝 塞尔曲线的四个控制点参数，实现曲线拟合。
计算每条曲线得分方法是，以集合Q中所有数据点到曲线距离di的期望值的倒数作为评 分准则。如式(25)所示。
最后，将拟合的左右车道线绘制到鸟瞰视图中，再次进行透视变换，将车道线位置标注 到原始视图中，统计左右车道线中间像素点，并在RGB色彩空间中设置G通道强度绘制出 绿色车道位置，最终结果如图11所示。

Claims (10)

1.一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，包含以下5个步骤：
步骤1，离线状态下双目摄像机的时间、空间对准；
步骤1.1：双目相机捕获帧序列的时间对准；
立体匹配计算视差图的核心是搜索、配对左右相机图像的像素点；为了降低误匹配率，提高车辆动态场景下立体匹配的鲁棒性需要对左右相机捕获的左、右帧进行时间对准，实现左、右帧捕获的同步性；
步骤1.2：双目相机左右图像对的空间对准；
同步骤1.1，为了提高立体匹配过程的效率，降低误匹配率，需要对左右相机拍摄的左右图像进行行对齐即空间对准；空间对准采用的是图像棋盘标定法，通过拍摄一组不同位置的标定图像，识别图像中的角点位置，通过角点数据解算出两个相机在空间中的旋转关系和平移关系进而实现空间标定；
步骤2，双目图像对立体匹配计算视差图；
步骤2.1：左右图像的像素匹配代价度量准则；
像素对的匹配代价计算过程决定了立体匹配算法的优劣；通过融合匹配窗口内像素点的绝对梯度幅值、像素灰度、Census变换码流来构建匹配代价计算函数，能够更好的适应驾驶场景下的立体匹配过程；
步骤2.2：匹配代价聚合和后处理过程；
代价计算步骤得到的像素点的视差是离散的，代价聚合过程本质上就是一个滤波过程，将离散的视差平滑聚合；后处理过程是对视差计算结果进行最后的精化处理，包括：亚像素插值计算、左右一致性检测、误匹配点处理，经过精化后便可得到最终的视差图；
步骤3，车道线感兴趣区域的最优化分割；
步骤3.1：路面映射点集的最优化估计；
对视差图进行V方向差异映射变换，设计评价道路映射点集强度的能量函数，采用动态规划算法在V差异映射视图中全局最优化估计道路路面映射点集合；
步骤3.2：路面剖面模型参数求解和道路区域分割；
使用上一步骤中提取出的路面映射点集合，求解道路路面映射模型参数；确定模型参数后，使用计算的模型分割道路区域作为车道线检测的感兴趣区域；
步骤4，多策略的图像时域特征融合；
步骤5，车道数据点搜索，车道线拟合；
步骤5.1：滑动窗口基点定位；
步骤5.2：基于窗口搜索车道线数据点；
步骤5.3：三阶贝塞尔曲线模型拟合。
2.根据权利要求1所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤1.1中，时间对准方法采用逐帧时间戳标记和容器缓存方式；当左相机采集一帧数据时，标记数据时间戳为t1，同理，右相机采集一帧数据时，标记数据时间戳为t2；则左右数据帧的同步时间差为：ΔT＝|t1-t2|；在左右相机捕获数据后，分别定义两个长度为5帧的缓存容器保存异步采集的图像数据，并对数据进行逐帧时间戳标记；当左相机缓存容器触发捕获中断时，设置右相机同步标志位，比较捕获的左相机数据时间戳与右相机的当前帧、上一帧、下一帧的同步时间差ΔT，取ΔT最小的右相机数据帧与左相机数据帧捆绑作为一帧双目数据传递到下一处理单元。
3.根据权利要求2所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤1.2：在立体匹配过程中，匹配算法需要在自定义窗口内逐像素计算左图像和右图像相似性度量；对于图像上的某一特征像素点其在对应的另一视图的匹配点必处于对应的对极线上，称为极线约束；标定过程需要求解得到左相机的内部参数矩阵Ml、右相机的内部参数矩阵Mr和右相机相对于左相机的三维旋转向量三维平移向量T[Tx,Ty,Tz]z；三维旋转向量R中ψ表示偏航角，表示横滚角，θ表示俯仰角；三维平移向量T中Tx表示三维笛卡尔坐标系下x轴的偏移量；同理，Ty和Tz分别表示y和z方向的偏移量；首先需要拍摄一组标定棋盘图片并检测棋盘图片的角点，然后将检测到的角点数据导入Opencv提供的标定函数，分别求解得到两个相机的内参矩阵[fx,cx,fy,cy]、畸变系数[k1,k2,p1,p2,p3]、旋转向量平移向量T[Tx,Ty,Tz]；完成单相机标定后，进行双目联合立体校正，将两个相机的单目标定参数导入Opencv提供的双目标定函数，求解得到两相机之间的旋转矩阵R、平移矩阵T、本征矩阵E、基础矩阵F；下一步进行双目图像的立体矫正，将参数导入Opencv立体矫正函数，求解得到公共成像平面旋转矩阵[Rl,Rr]、左右相机的投影矩阵[Pl,Pr]、重投影矩阵Q，最后分别求出两相机图像的矫正映射便可对左右图像进行投影变换，变换后的图像对严格的行对齐。
4.根据权利要求3所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤2.1中，匹配代价是计算左图像素点pl(x,y)在右图中对应视差为d的像素点pr(x,y)的相似性度量；用一个r×c×d的三维矩阵表示，其中r、c表示图像的行和列，d表示左右像素点视差计算范围；采用一种多特征融合的方式来定义匹配代价；度量函数的第一个组成部分是相对梯度代价，式(1)定义相对梯度计算方法：
式中，表示像素p(x,y)的相对梯度，表示像素p(x,y)的绝对梯度，表示以像素p(x,y)为中心的n×n匹配窗口内像素梯度最大值；基于相对梯度模型，以左图像素p(x,y)和对应右图中视差为d的像素分别求得其相对梯度，以左右相对梯度绝对值之差构造匹配代价如下：
式中，CRG(p,d)为相对梯度代价，为左图像素点p的相对梯度，为右图与p点视差为d的像素相对梯度值；
AD代价是左右图像的像素灰度绝对值之差,计算公式如式(3)所示：
CAD(p,d)＝|IL(x,y)-IR((x-d),y)| (3)
式中，CAD(p,d)为左图像素点p与对应右图视差为d像素点之间的AD代价，IL(x,y)为左图像素点灰度值，IR((x-d),y)为右图对应视差为d的像素点灰度值；
Census变换是将匹配窗口中心像素灰度值与其邻域内像素点比较，将比较结果进行二值化运算后得到二进制码流的过程；利用Hamming距离计算两个像素点的相似性测度；
Ccensus(p,d)＝Hamming(CTgL(x,y),CTgR((x-d),y)) (5)
其中，式(4)表示的是Census变换过程，p是窗口中心像素，q属于p的邻域Np，ξ()函数是一个二值化函数，I(p)表示像素p的灰度值，I(q)表示像素q的灰度值；式(5)中CTgL和CTgR函数分别是计算左图像素点p与其对应视差为d的右图像素点Census变换值；使用Hamming距离来计算两个二进制码流的相似程度；
以上分别定义了相对梯度代价、AD代价和Census代价，最终的对应右图视差为d的左图像素点p的匹配总代价为三者加权和，表示为：
式中λ1、λ2、λ3分别为三个像素点匹配代价计算部分的正则化参数，用来控制求解代价的取值权重和范围；定义了像素点匹配代价函数后，需要遍历左右图像，逐像素计算每个像素点在[0,d]视差范围内的匹配代价，得到一个尺寸为r×c×d的三维代价地图。
5.根据权利要求4所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤2.2中，
代价计算步骤得到的像素点视差是离散的，代价聚合过程本质上就是一个滤波过程，将离散的视差平滑聚合；通过代价聚合可以减少异常点的影响，提高信噪比进而提高匹配精度；代价聚合的思路是建立一个全局能量函数E(d),将视差计算转换为全局能量函数优化求解问题；定义全局能量函数如下：
式中，E(d)表示所有像素匹配代价总和；C(p,d)表示视差为d的像素点p(x,y)的匹配代价，由式(6)计算得到；p1、p2为惩罚系数；p、q为像素点，且点q包含于点p的邻域Np中即匹配窗口；函数T是一个判断真值函数；由于在一个二维图像内最优化求解能量函数E(d)是一个NP完全问题，复杂度极高；为了实现复杂度降维，在n条(取n＝3)一维扫描线上采用动态规划算法累加匹配代价，将各方向匹配代价求和得到某像素点匹配总代价；如式(8)所示，定义Lr(p,d)为沿r方向的一条聚合路径上点p对应视差为d的匹配代价，S(p,d)为最小成本的一维路径代价之和；
通过匹配代价计算和代价聚合过程得到总的匹配代价后，利用WTA策略选择最小代价对应视差值为该像素最终视差；经过代价计算和聚合后，对视差计算结果进行最后的精化处理：亚像素插值计算、左右一致性检测、误匹配点处理得到最终的视差图。
6.根据权利要求5所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，车道线感兴趣区域的最优化分割；
立体匹配过程将左、右摄相机采集的仅包含二维RGB像素信息的视频序列帧转换为能够表达空间三维深度信息的视差图；对视差图进行二次处理，经过统计各行列像素视差分布变换得到”U-V disparity”即水平-垂直方向差异映射；其中V差异映射的具体计算方法是：通过累加计算视差图的每个水平行直方图来创建V差异映射；V差异映射用一个二维笛卡尔坐标系表示；其横轴d是左右相机视差范围，纵轴v是视差图的行坐标；值L(v,d)表示在视差图中，索引(v,d)位置的像素点个数累加；
步骤3.1：路面映射点集的最优化估计；
通过分析三维重建后的环境点云数据可以得到：路面区域的点云数量远大于其他环境要素的点云数量，在V差异映射中可以描述为地面点在V视图中具有更大的灰度值；假设道路剖面非平坦，平面道路在V差异映射图上的投影用一个抛物线模型d＝f(v)＝ω0v2+ω1v+ω2来描述；对于假设的道路区域映射模型，只需要求解参数ω＝[ω0,ω1,ω2]T确定模型的解；
非平坦道路模型是通过对V差异映射进行曲线拟合的方式求解；但未处理过的V差异映射数据包含大量的噪声点、错误匹配点、障碍物点，因此无法直接拟合得到最优的模型参数；数据优化方法是，建立路径点能量函数，以动态规划方法在V差异映射数据集合中最小化能量函数E，通过此方法能够求得模型拟合的全局最优路径点集合；
定义能量函数如式(10)、式(11)所示，能量函数包含数据项Edata和平滑项Esmooth；
E＝Edata+Esmooth (10)
式(11)求解过程从d＝dmax开始，迭代到d＝0；在初始迭代中Esmooth＝0，每次迭代过程，Edata＝-L(v,dmax)的值来源于前一个周期的最优路径值之和；迭代初始化过程中需建立一个与V差异映射同尺寸的缓存集合，用以回溯求解规划的最优路径索引；在回溯求解的每一个步进阶段，选择此阶段能量最小的点作为最优路径点，最优路径点索引保存在中；其中v＝[v0,v1,...,vk-1]T为行索引向量，d＝[d0,d1,...,dk-1]T为列索引向量。
7.根据权利要求6所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤3.2：路面剖面模型参数求解和道路区域分割；
模型求解过程需要对上一个步骤优化得到的最优路径点集合进行曲线拟合，求解抛物线模型参数ω＝[ω0,ω1,ω2]T；采用随机抽样一致性算法对最小二乘求得的参数解进行随机优化迭代；整个过程描述为迭代求解式(12)的过程；
式中ω＝[ω0,ω1,ω2]T为抛物线参数；
经过数据拟合求解得到抛物线参数ω＝[ω0,ω1,ω2]T；确定道路区域映射模型后，便可根据式(13)在左相机视图上进行道路区域分割；
式中ε是道路区域分割阈值(取ε＝10)，f-1(0)是抛物线模型f(v)的反函数，Ileft(G)表示左相机图像的G通道值，Idisp(u,v)表示视差图像素值。
8.根据权利要求7所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，分别选择RGB色彩空间的R通道、HSV色彩空间的V通道、图像x方向导数幅值三个时域特征融合得到最终的车道线描述特征；通过融合的方式能够克服地面阴影，图像亮度不均匀，地面类车道线痕迹，路面障碍物；使用式(14)来计算像素p(x,y)的车道线特征响应；
式中p(x,y)r表示左视图像素点经过计算得到的车道线强度响应，参数η为不同特征的权值控制参数，IG(x,y)表示RGB色彩空间的R通道强度值，IV(x,y)表示HSV色彩空间的V通道强度值，Gx(x,y)表示x方向导数幅值；μ表示响应图中像素点的二值化判断阈值；遍历感兴趣区域像素点便算得到车道线响应图的二值化结果。
9.根据权利要求8所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，步骤5.1中，滑动窗口基点定位是为了找到左右车道线的初始位置，基点定位的准确性决定了后续搜索过程的准确性；将步骤4处理得到的车道线响应图进行逆透视变换，将倾斜视角拍摄的道路图像转换成鸟瞰图，通用的变换公式如下：
式(15)中u，v是变换前像素索引，对应变换后的坐标x＝x'/w'，y＝y'/w'，其中w和w'是尺度因子，式(16)M被称为变换矩阵，矩阵内元素aij表示变换矩阵的控制参数；按照式(15)重写变换公式得到：
由式(17)可知只需要在原始视图中标定四个像素点p0(u0,v0)、p1(u1,v0)、p2(u2,v2)、p3(u3,v2)，同时确定变换后视图的四个顶点p'0(x0,y0)、p'1(x1,y0)、p'2(x0,y1)、p'2(x1,y1)便可求解出变换矩阵M及其所有控制参数aij，然后对原始图像按照式(15)进行变换；
将整个视图按照行值划分近端视场和远端视场，远端视场确定为1/3行值，近端视场确定为2/3行值；在近端视场中按照纵向划分10个统计窗口，每个统计窗口的尺寸为(1/3r×1/10c)；编号#0-#5的统计窗口作为左车道数据，编号#6-#10的统计窗口作为右车道数据；然后对各编号的窗口内数据点分别统计像素点密度、垂直方向的离散程度；其中像素点密度通过不均匀求和方式得到，即加和过程中视场越近的像素点拥有更大的置信度；定义数学表达式如下：
式中ρi定义为各窗口的像素密度，kc是窗口列数，kr是窗口行数，λ控制不同行像素点置信度，p(x,y)r为车道线响应图的像素点灰度值；σi为窗口内值为1的像素的行索引标准差，以此定义窗口的垂直方向离散程度；N为窗口内值为1的像素数目，μ为窗口内值为1的像素行索引期望；
通过以上方法求得各窗口的ρi和σi后，分别比较左、右车道数据的ρi和σi，选择ρi+σi值最大的窗口作为基点，则可求得左右滑动窗口基点坐标为：其中k0，kc是选定窗口起点、终点的列索引，row是鸟瞰变换后响应图的行值；
步骤5.2：基于窗口搜索车道线数据点
上一步骤分别求取了左右车道线的基点坐标，车道线数据点提取是从基点坐标开始，采用滑动窗口按一定的步进阶段，自底向上搜索保存车道线数据点；定义滑动窗口尺寸为：(h×w)＝(row/24,col/10)，其中row是鸟瞰变换后响应图的行值，同理，col为列值；初始化过程，以基点作为滑动窗口底边中心点si；提取窗口内第一个像素值为1的像素点x索引标记为xi1，提取最后一个像素值为1的像素点x索引标记为xi2，由以上条件确定下一滑动窗口的底边中心点坐标为式(19)所示；
式中表示下一窗口底边中心点的行坐标，表示当前窗口底边中心点的行坐标，h表示窗口高度，表示下一窗口底边中心点的列坐标，表示当前窗口底边中心点的列坐标，若当前窗口无有效数据点时，下一窗口列坐标保持不变；若当前窗口存在有效数据，按照车道线斜率分为三种形式，下一窗口底边中心点的列坐标等于xi2加上偏移量按照规定的滑动窗口中心点的定位规则，分别从左右基点开始，滑动搜索像素值为1的点并保存在数据点集合Lpoint和Rpoint中；至此，左右车道线数据点提取完成；
步骤5.3：三阶贝塞尔曲线模型拟合
分别得到了左右车道线的数据点集合Lpoint和Rpoint，由于车道线可能存在直线段和高阶曲线段，为了更好的描绘车道线，采用三阶贝塞尔曲线模型来拟合左右车道线数据点，并引入采用随机采样一致性方法来提高拟合过程的鲁棒性。
10.根据权利要求9所述的一种基于立体视觉的多策略自适应车道线检测方法，其特征在于，三阶贝塞尔曲线可以通过四个点来定义；
B(t)＝P0(1-t)3+P1(1-t)2t+P2(1-t)t2+P3t4,t∈[0,1] (20)
式中P0、P3为贝塞尔曲线的起点和终点，通过点P1、P2控制曲线形状；
拟合左车道线数据集合Lpoint细描述贝塞尔曲线的拟合过程：
(1)在车道线数据集合Lpoint中随机选择四个数据点作为初始拟合过程的控制点，估计一条初始三阶贝塞尔曲线L0；
(2)建立有效数据点集合Q；分别计算Lpoint中剩余点P(xi,yi)与初始估计曲线的距离di，若存在某点距离di＜δ则将该点存入集合Q中；记在曲线L0上与点P(xi,yi)具有相同的行值，定义
(3)循环计算(2)，直到集合Q长度大于有效点数量N或循环次数超过设定值C；
(4)在随机优化后的集合Q中重新拟合贝塞尔曲线并计算曲线得分，返回执行(1)以当前拟合得到的曲线Li代替L0，直到达到迭代次数结束；最后取得分最高的曲线作为最终拟合结果；
利用集合Q中重新拟合贝塞尔曲线的方法如下：
式(15)的矩阵形式表示为式(16)，式中P0＝Q(0)，P3＝Q(t)；令Q1,Q2,···,Qn为n个待修正点，假设每个点Qi对应的ti为式(17)所示；
定义
根据式(21)则有：
Q＝TMP (24)
式(24)中，已知矩阵Q，根据式(21)可求得矩阵T，矩阵M已知，便可求解矩阵P得到贝塞尔曲线的四个控制点参数，实现曲线拟合；
计算每条曲线得分方法是，以集合Q中所有数据点到曲线距离di的期望值的倒数作为评分准则；如式(25)所示；
最后，将拟合的左右车道线绘制到鸟瞰视图中，再次进行透视变换，将车道线位置标注到原始视图中，统计左右车道线中间像素点，并在RGB色彩空间中设置G通道强度绘制出绿色车道位置。
CN201910391161.0A 2019-05-11 2019-05-11 一种基于立体视觉的多策略自适应车道线检测方法 Active CN110569704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910391161.0A CN110569704B (zh) 2019-05-11 2019-05-11 一种基于立体视觉的多策略自适应车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391161.0A CN110569704B (zh) 2019-05-11 2019-05-11 一种基于立体视觉的多策略自适应车道线检测方法

Publications (2)

Publication Number Publication Date
CN110569704A true CN110569704A (zh) 2019-12-13
CN110569704B CN110569704B (zh) 2022-11-22

Family

ID=68773447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391161.0A Active CN110569704B (zh) 2019-05-11 2019-05-11 一种基于立体视觉的多策略自适应车道线检测方法

Country Status (1)

Country Link
CN (1) CN110569704B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222418A (zh) * 2019-12-24 2020-06-02 武汉中海庭数据技术有限公司 一种车道线的多道路片段的众包数据快速融合优化方法
CN111242847A (zh) * 2020-01-10 2020-06-05 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质
CN111291676A (zh) * 2020-02-05 2020-06-16 清华大学 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN111443704A (zh) * 2019-12-19 2020-07-24 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
CN111444778A (zh) * 2020-03-04 2020-07-24 武汉理工大学 一种车道线检测方法
CN111508068A (zh) * 2020-04-20 2020-08-07 华中科技大学 一种应用于双目内窥镜图像的三维重建方法及系统
CN112002016A (zh) * 2020-08-28 2020-11-27 中国科学院自动化研究所 基于双目视觉的连续曲面重建方法、系统和装置
CN112270690A (zh) * 2020-10-12 2021-01-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112416604A (zh) * 2020-12-10 2021-02-26 武汉光庭信息技术股份有限公司 基于ADASISV2协议的节省PathIndex资源的方法及系统
CN112434707A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种交通路口rpp点自动提取方法及装置
CN112800913A (zh) * 2021-01-20 2021-05-14 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN112964264A (zh) * 2021-02-07 2021-06-15 上海商汤临港智能科技有限公司 道路边沿检测方法、装置、高精度地图、车辆及存储介质
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
CN113255459A (zh) * 2021-04-29 2021-08-13 浙江工业大学 一种基于图像序列的车道线检测方法
US20210264175A1 (en) * 2020-02-26 2021-08-26 Nvidia Corporation Object Detection Using Image Alignment for Autonomous Machine Applications
CN113343742A (zh) * 2020-12-31 2021-09-03 浙江合众新能源汽车有限公司 一种车道线检测方法、一种车道线检测系统
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN113850929A (zh) * 2021-09-18 2021-12-28 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN113888618A (zh) * 2021-09-30 2022-01-04 北京工业大学 一种物体单件分离方法与系统
CN113902830A (zh) * 2021-12-08 2022-01-07 腾讯科技（深圳）有限公司 轨迹路网生成方法
CN113963163A (zh) * 2021-12-21 2022-01-21 北京中科慧眼科技有限公司 一种基于图像分割的障碍物提取方法、系统和智能终端
CN114612767A (zh) * 2022-03-11 2022-06-10 电子科技大学 一种基于场景图的图像理解与表达方法、系统与存储介质
CN114777797A (zh) * 2022-06-13 2022-07-22 长沙金维信息技术有限公司 用于自动驾驶的高精度地图视觉定位方法及自动驾驶方法
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统
CN115778554A (zh) * 2023-01-09 2023-03-14 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法、可读存储介质
CN116503570A (zh) * 2023-06-29 2023-07-28 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置
TWI823721B (zh) * 2022-12-20 2023-11-21 鴻海精密工業股份有限公司 車道線識別方法及相關設備
CN117970039A (zh) * 2024-04-01 2024-05-03 山东大学 一种配电线路故障时刻检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN109190483A (zh) * 2018-08-06 2019-01-11 武汉大学 一种基于视觉的车道线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN109190483A (zh) * 2018-08-06 2019-01-11 武汉大学 一种基于视觉的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐智威: ""基于视觉的无人驾驶汽车研究综述"", 《制造业自动机》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443704A (zh) * 2019-12-19 2020-07-24 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
CN111443704B (zh) * 2019-12-19 2021-07-06 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
CN111222418B (zh) * 2019-12-24 2022-04-29 武汉中海庭数据技术有限公司 一种车道线的多道路片段的众包数据快速融合优化方法
CN111222418A (zh) * 2019-12-24 2020-06-02 武汉中海庭数据技术有限公司 一种车道线的多道路片段的众包数据快速融合优化方法
CN111242847B (zh) * 2020-01-10 2021-03-30 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质
CN111242847A (zh) * 2020-01-10 2020-06-05 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质
CN111291676A (zh) * 2020-02-05 2020-06-16 清华大学 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
US20210264175A1 (en) * 2020-02-26 2021-08-26 Nvidia Corporation Object Detection Using Image Alignment for Autonomous Machine Applications
US11961243B2 (en) * 2020-02-26 2024-04-16 Nvidia Corporation Object detection using image alignment for autonomous machine applications
CN111444778B (zh) * 2020-03-04 2023-10-17 武汉理工大学 一种车道线检测方法
CN111444778A (zh) * 2020-03-04 2020-07-24 武汉理工大学 一种车道线检测方法
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
CN111508068A (zh) * 2020-04-20 2020-08-07 华中科技大学 一种应用于双目内窥镜图像的三维重建方法及系统
CN112002016A (zh) * 2020-08-28 2020-11-27 中国科学院自动化研究所 基于双目视觉的连续曲面重建方法、系统和装置
CN112002016B (zh) * 2020-08-28 2024-01-26 中国科学院自动化研究所 基于双目视觉的连续曲面重建方法、系统和装置
CN112270690A (zh) * 2020-10-12 2021-01-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112270690B (zh) * 2020-10-12 2022-04-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112434707A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种交通路口rpp点自动提取方法及装置
CN112416604A (zh) * 2020-12-10 2021-02-26 武汉光庭信息技术股份有限公司 基于ADASISV2协议的节省PathIndex资源的方法及系统
CN113343742A (zh) * 2020-12-31 2021-09-03 浙江合众新能源汽车有限公司 一种车道线检测方法、一种车道线检测系统
CN112800913A (zh) * 2021-01-20 2021-05-14 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN112800913B (zh) * 2021-01-20 2022-06-28 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN112964264A (zh) * 2021-02-07 2021-06-15 上海商汤临港智能科技有限公司 道路边沿检测方法、装置、高精度地图、车辆及存储介质
CN112964264B (zh) * 2021-02-07 2024-03-26 上海商汤临港智能科技有限公司 道路边沿检测方法、装置、高精度地图、车辆及存储介质
CN113255459B (zh) * 2021-04-29 2024-03-22 浙江工业大学 一种基于图像序列的车道线检测方法
CN113255459A (zh) * 2021-04-29 2021-08-13 浙江工业大学 一种基于图像序列的车道线检测方法
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
CN113850929B (zh) * 2021-09-18 2023-05-26 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN113850929A (zh) * 2021-09-18 2021-12-28 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN113763451B (zh) * 2021-09-23 2024-01-02 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN113888618A (zh) * 2021-09-30 2022-01-04 北京工业大学 一种物体单件分离方法与系统
CN113888618B (zh) * 2021-09-30 2024-05-10 北京工业大学 一种物体单件分离方法与系统
CN113902830A (zh) * 2021-12-08 2022-01-07 腾讯科技（深圳）有限公司 轨迹路网生成方法
CN113963163A (zh) * 2021-12-21 2022-01-21 北京中科慧眼科技有限公司 一种基于图像分割的障碍物提取方法、系统和智能终端
CN114612767A (zh) * 2022-03-11 2022-06-10 电子科技大学 一种基于场景图的图像理解与表达方法、系统与存储介质
CN114777797A (zh) * 2022-06-13 2022-07-22 长沙金维信息技术有限公司 用于自动驾驶的高精度地图视觉定位方法及自动驾驶方法
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统
TWI823721B (zh) * 2022-12-20 2023-11-21 鴻海精密工業股份有限公司 車道線識別方法及相關設備
CN115778554A (zh) * 2023-01-09 2023-03-14 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法、可读存储介质
CN116503570B (zh) * 2023-06-29 2023-11-24 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置
CN116503570A (zh) * 2023-06-29 2023-07-28 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置
CN117970039A (zh) * 2024-04-01 2024-05-03 山东大学 一种配电线路故障时刻检测方法
CN117970039B (zh) * 2024-04-01 2024-06-04 山东大学 一种配电线路故障时刻检测方法

Also Published As

Publication number Publication date
CN110569704B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN109034047B (zh) 一种车道线检测方法及装置
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测系统及方法
WO2022088982A1 (zh) 三维场景构建方法、装置、系统和存储介质
CN111553252B (zh) 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN112785643A (zh) 一种基于机器人平台的室内墙角二维语义地图构建方法
EP3735675A1 (en) Image annotation
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
EP2757524A1 (en) Depth sensing method and system for autonomous vehicles
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN108416798A (zh) 一种基于光流的车辆距离估计方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant