CN112926365A - 一种车道线检测方法及其系统 - Google Patents

一种车道线检测方法及其系统 Download PDF

Info

Publication number
CN112926365A
CN112926365A CN201911239409.8A CN201911239409A CN112926365A CN 112926365 A CN112926365 A CN 112926365A CN 201911239409 A CN201911239409 A CN 201911239409A CN 112926365 A CN112926365 A CN 112926365A
Authority
CN
China
Prior art keywords
image
lane line
information
position point
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239409.8A
Other languages
English (en)
Other versions
CN112926365B (zh
Inventor
刘前飞
陈振鹏
连陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201911239409.8A priority Critical patent/CN112926365B/zh
Publication of CN112926365A publication Critical patent/CN112926365A/zh
Application granted granted Critical
Publication of CN112926365B publication Critical patent/CN112926365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种车道线检测方法及其系统，所述方法包括如下步骤：获取车辆前方道路图像；对所述车辆前方道路图像进行预处理得到预处理图像；利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线；对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定车道线颜色信息；对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定车道线虚实信息。实施本发明，能够减少耗费计算资源，提高特殊道路场景下车道线检测性能，以及满足实时性要求。

Description

一种车道线检测方法及其系统
技术领域
本发明涉及汽车自动驾驶技术领域，具体涉及一种车道线检测方法及其系统。
背景技术
近年来，关于自动驾驶技术的研究已经变得越来越活跃。特别是基于视觉的环境感知技术，获得了学术界及工业界的广泛关注。然而，对自动驾驶车辆，如何充分地理解所有的周围的环境场景，仍然是一个巨大的挑战。在这些环境感知任务中，基于相机的车道线检测在交通场景识别中扮演着重要的角色。通过提供基础的道路信息，比如车道线结构和车辆相对车道线的位置，车道线检测功能可以保证自动驾驶车辆安全地在主车道上定位。
目前，利用深度学习网络检测车道线具有较好的鲁棒性，对阴影以及破损路面等特殊道路场景都有较好的适应性。但是深度学习的方法缺陷也很明显，需要较大的消耗处理器中的GPU(Graphic Processing Unit,图形处理器)计算资源，不满足实时性要求。利用传统的图像处理方法检测车道线的优势在于硬件资源消耗少，实时性高，满足一般良好条件下的车道线检测需求，但是对于特殊道路场景下车道线检测性能一般。
发明内容
本发明的目的在于提出一种车道线检测方法及其系统，以解决目前深度学习网络检测车道线因需耗费较大计算资源而不满足实时性要求以及传统的图像处理方法检测车道线对于特殊道路场景下车道线检测性能一般的技术问题。
为了实现本发明目的，根据本发明第一方面，本发明实施例提供获取车辆前方道路图像；
获取车辆前方道路图像；
对所述车辆前方道路图像进行预处理得到预处理图像；
利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息；
对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息。
优选地，所述方法还包括以下步骤：
对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息。
优选地，所述对所述车辆前方道路图像进行预处理得到预处理图像包括：
对所述车辆前方道路图像进行图像畸变校正；
对进行图像畸变校正后的图像进行尺寸变换得到预处理图像。
优选地，所述利用训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息包括：
对所述预处理图像进行灰度化得到第一灰度图像；
利用预先训练好的深度学习CNN网络对所述第一灰度图像进行处理得到车道线位置点信息；其中，所述深度学习CNN网络包括两个输出分支，一输出分支为各车道线位置点在图像中坐标，另一输出分支为每条车道线的存在概率，所述车道线位置点信息为存在概率大于预设阈值T的车道线位置点坐标。
优选地，所述根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标。
优选地，所述根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息包括：
对所述二值化图像进行ROI区域裁切得到第一ROI区域图像；
对所述第一ROI区域图像进行高斯滤波得到第一滤波图像；
对所述第一滤波图像进行图像闭运算得到闭运算图像；
根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息。
优选地，所述根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息包括：
获取与各车道线位置点对应的闭运算图像中像素点的像素值；
根据公式
Figure RE-GDA0002455568990000031
计算各车道线像素均值；其中，Fk为第k条车道线像素均值，n为第k条车道线的位置点总数，fi为与第k条车道线第i个位置点对应的闭运算图像中像素点的像素值；
根据各车道线像素均值与预设阈值S的比较结果确定各车道线颜色信息。
优选地，所述对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像包括：
对所述预处理图像进行灰度化得到第二灰度图像；
对所述第二灰度图像进行ROI区域裁切得到第二ROI区域图像；
对所述第二ROI区域图像进行高斯滤波得到第二滤波图像；
对所述第二滤波图像进行图像阈值分割得到阈值分割图像，其中，所述图像阈值分割包括依次执行边缘检测、图像区域填充以及图像膨胀。
优选地，所述根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息包括：
统计各车道线位置点中能映射到所述阈值分割图像中车道线区域内的坐标点数量；
根据公式
Figure RE-GDA0002455568990000041
计算第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点占比；其中，Ek为第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点数量，n为第k条车道线的位置点总数；
根据占比Pk与预设阈值M的比较结果确定各车道线虚实信息；其中，若Pk大于M，则第k条车道线为实线；若Pk小于等于M，则第k条车道线为虚线。
根据本发明第二方面，本发明实施例提供一种车道线检测系统，所述系统包括：
图像获取单元，用于获取车辆前方道路图像；
图像预处理单元，用于对所述车辆前方道路图像进行预处理得到预处理图像；
第一图像处理单元，用于利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道几何线；
第二图像处理单元，用于对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息；
第三图像处理单元，用于对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息。
以上技术方案具有如下有益效果：
采用多线程的任务处理方式进行车道线检测，利用深度学习CNN检测道路中的车道线位置点，与此同时根据所述车道线位置点以及硬件资源消耗小的图像处理方法检测车道线的颜色、虚实线型等车道线属性。相对于传统车道线检测方法而言，提高了检测精度，能够满足特殊道路场景下车道线检测要求，而且相对于仅仅依赖深度学习CNN的车道线检测方法，对硬件资源消耗更少，更能满足车道线检测的实时性要求，从而有效地解决了目前深度学习网络检测车道线因需耗费较大计算资源而不满足实时性要求以及传统的图像处理方法检测车道线对于特殊道路场景下车道线检测性能一般的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一中一种车道线检测方法流程图。
图2为本发明实施例一中二值化图像示意图。
图3为本发明实施例二中一种车道线检测方法流程图。
图4为本发明实施例二中深度学习CNN网络示意图。
图5为本发明实施例三中一种车道线检测系统示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
如图1所示，本发明实施例一提供一种车道线检测方法，所述方法包括如下步骤：
S1、获取车辆前方道路图像；其中，可以根据车辆前视摄像头采集车辆前方道路图像，图像分辨率优选但不限于为1280×1080。
S2、对所述车辆前方道路图像进行预处理得到预处理图像；其中，预处理后的图像便于后续对图像进行处理分析提取相应的车道线特征信息。
S3、利用预先训练好的深度学习CNN网络(Convolutional Neural Networks,卷积神经网络)对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息。
S4、对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息。
其中，目前国内车道线颜色分为白色和黄色，因此本实施例中按照HSV (Hue,Saturation,Value，即色调、饱和度、明度)颜色空间对白色区域进行分割，主要目的是为了提取图像内白色像素点信息。如图2所示为白色区域分割后的二值图像，其中白色区域像素值为255,非白色区域像素点值为0。具体地，本实施例中对白色空间分割采用的HSV分别为：色调H取值范围＝20-140，饱和度S取值范围＝5-30，亮度V取值范围＝221-255；
具体而言，本实施例方法利用深度学习CNN检测道路中的车道线位置点，与此同时根据所述车道线位置点以及对硬件资源消耗小的图像处理方法能够准确确定车道线的颜色信息，最终输出车道线几何信息和车道线颜色信息。相对于传统车道线检测方法而言，本实施例方法提高了车道线检测精度，能够满足特殊道路场景下车道线检测要求，而且相对于仅仅依赖深度学习CNN的车道线检测方法，对硬件资源消耗更少，更能满足车道线检测的实时性要求。
如图3所示，基于实施例一所述车道线检测方法，本发明实施例二提供另一种车道线检测方法，除包括实施例一所述方法中的步骤S1至S4外，本实施例二所述方法还包括如下步骤：
S5、对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息。
具体而言，本实施例方法利用深度学习CNN检测道路中的车道线位置点，与此同时根据所述车道线位置点以及对硬件资源消耗小的图像处理方法能够准确确定车道线虚实信息，最终输出车道线几何信息和车道线颜色信息以及车道线虚实信息。
在一些实施例中，所述步骤S2具体包括如下子步骤：
S21、对所述车辆前方道路图像进行图像畸变校正；
具体而言，本实施例中采用张正友相机标定原理，利用棋盘格标定板计算得到相机的标定参数，再根据标定后的参数，对所述车辆前方道路图像进行畸变校正。
S22、对进行图像畸变校正后的图像进行尺寸变换得到预处理图像。
具体而言，步骤S22将步骤S21畸变校正后的图像通过双线性插值的方法，将图像的分辨率降采样(尺寸变换)为512×288，其中，512为图像宽度W， 288为图像高度H。
在一些实施例中，所述步骤S3中利用训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息具体包括：
对所述预处理图像进行灰度化得到第一灰度图像；具体地，将预处理后的 RGB(Red Green Blue)彩色三通道图像转换为单通道的灰度图像。
利用预先训练好的深度学习CNN网络对所述第一灰度图像进行处理得到车道线位置点信息；其中，所述深度学习CNN网络包括两个输出分支，一输出分支为各车道线位置点在图像中坐标，另一输出分支为每条车道线的存在概率，所述车道线位置点信息为存在概率大于预设阈值T的车道线位置点坐标。
如图4所示，本实施例中深度学习CNN网络只有两个输出分支，以4条车道线为例，其中，一输出分支为4条车道线位置点在图像中坐标，另一输出分支为每条车道线存在的概率，没有对车道线颜色以及虚实类型判断等其他网络分支输出。因而本实施例中的深度学习CNN网络参数相比于传统端到端的 CNN网络会大幅减少，有利于检测效率的提高。本实施例深度学习CNN网络综合输出的每条车道线存在的概率信息，仅保留概率大于阈值T的车道线。图 4中，4*60表示可以输出4条车道线的30个位置点的坐标(x,y)；2*4表示可以输出4条车道线存在的概率Pn和不存在的概率1-Pn。
在一些实施例中，所述步骤S3中根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息具体包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标。所述车道线几何信息包括车道线几何轮廓参数a、b、c和d。
在一些实施例中，所述步骤S4中根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息具体包括：
对所述二值化图像进行ROI区域(region of interest，感兴趣区域)裁切得到第一ROI区域图像；
对所述第一ROI区域图像进行高斯滤波得到第一滤波图像；
对所述第一滤波图像进行图像闭运算得到闭运算图像；
根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息。
具体而言，考虑到图像道路区域远端容易被其他车辆遮挡，因此仅考虑对道路近端的区域作为第一ROI区域(本车前方20米内区域)，便于后续对该区域数据进行分析。裁切后，第一ROI区域图像高度为H，宽度保持不变，其中高度为H＝58时，ROI区域对应本车前方20米内区域。
其中，采用3×3的滤波器对图像进行过滤，消除噪声点干扰。
其中，图像闭运算属于图像形态学操作中的一种，即先对图像进行膨胀，再对图像进行腐蚀。这样可以显著减少图像中车道线由于实际磨损而造成滤波后的图像出现黑色孔洞现象。
在一些实施例中，所述根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息具体包括：
获取与各车道线位置点对应的闭运算图像中像素点的像素值；例如，将各车道线位置点叠加至所述闭运算图像中，或根据各车道线位置点的坐标，可以找到与各车道线位置点对应的闭运算图像中像素点，然后确定这些像素点的像素值；
根据公式
Figure RE-GDA0002455568990000091
计算各车道线像素均值；其中，Fk为第k条车道线像素均值，n为第k条车道线的位置点总数，fi为与第k条车道线第i个位置点对应的闭运算图像中像素点的像素值；
根据各车道线像素均值与预设阈值S的比较结果确定各车道线颜色信息。
具体而言，如果该均值F超过阈值S，则被认为该车道线为白色，否则被认为是黄色。所述预设阈值S优选但不限于为78。
在一些实施例中，所述步骤S5中对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像包括：
对所述预处理图像进行灰度化得到第二灰度图像；具体而言，将预处理后的RGB彩色三通道图像转换为单通道的灰度图像。
对所述第二灰度图像进行ROI区域裁切得到第二ROI区域图像；具体地，考虑到图像道路区域远端容易被其他车辆遮挡，因此仅考虑对道路近端的区域作为第二ROI区域(本车前方20米内区域)，便于后续对该区域数据进行分析。裁切后，第一ROI区域图像高度为H，宽度保持不变，其中高度H优选但不限于为64时，ROI区域对应本车前方20米内区域。
对所述第二ROI区域图像进行高斯滤波得到第二滤波图像；具体地，采用 3×3的滤波器对图像进行过滤，消除噪声点干扰。
对所述第二滤波图像进行图像阈值分割得到阈值分割图像，其中，所述图像阈值分割包括依次执行边缘检测、图像区域填充以及图像膨胀。
具体而言，图像阈值分割依次按边缘检测、图像区域填充、图像膨胀三个步骤对图像进行分割得到车道线区域。本实施例中先采用Sobel算子对灰度 ROI区域图像进行横纵两个方向的梯度检测得到车道线目标边缘检测示意图像，其中当像素点方向梯度值超过某个阈值，则该像素点被赋值为255，否则被赋值为0。然后采取图像填充的方法来进一步得到车道线区域。最后采取图像膨胀的操作，将车道线区域横向扩宽2-3个像素，有利于CNN检测得到的车道线点完全与经过阈值分割后的车道线区域重合，便于后续车道线虚实属性分类。具体地，Sobel算子尺寸宽度优选但不限于为5，边缘检测图像像素阈值优选但不限于为41。
在一些实施例中，所述步骤S5中根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息包括：
统计各车道线位置点中能映射到所述阈值分割图像中车道线区域内的坐标点数量；
根据公式
Figure RE-GDA0002455568990000101
计算第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点占比；其中，Ek为第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点数量，n为第k条车道线的位置点总数；
根据占比Pk与预设阈值M的比较结果确定各车道线虚实信息；其中，若Pk大于M，则第k条车道线为实线；若Pk小于等于M，则第k条车道线为虚线。
其中，本实施例中M优选但不限于为0.7.
具体而言，如下公式
Figure RE-GDA0002455568990000102
所示，n1为车道线区域中的点个数，N为所有有效车道线点的个数，国内一般道路车道线规定虚线段内线长4米，间隔2米，而高速公路车道线虚线内线长9米，间隔6米。本发明实施例选择车前20米范围内的道路区域进行虚实属性判断，在高速公路和一般道路内，根据公式
Figure RE-GDA0002455568990000103
计算得到的占比参数M最高都为0.7。
具体而言，本发明实施例方法采用多线程的任务处理方式，可以利用GPU 进行车道线位置点检测，并利用CPU(central processing unit，中央处理器)进行车道线颜色类型和虚实类型判别，对控制器中的GPU和CPU资源可以做到合理分配利用。这不仅避免了端到端车道线方检测法几乎完全依赖GPU进行数据运算处理而浪费CPU资源的现象，同时也避免了传统车道线检测方法完全依赖CPU进行数据处理而浪费GPU资源的现象。合理利用控制器硬件资源，有利于降低控制器功耗，减少散热，降低控制器成本。
如图5所示，本发明实施例三提供一种车道线检测系统，所述系统包括：
图像获取单元1，用于获取车辆前方道路图像；
图像预处理单元2，用于对所述车辆前方道路图像进行预处理得到预处理图像；
第一图像处理单元3，用于利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线；
第二图像处理单元4，用于对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定车道线颜色信息；
第三图像处理单元5，用于对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定车道线虚实信息。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的系统实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需说明的是，本实施例三所述系统用于实现所述实施例一或二所述方法，因此，关于本实施例三所述系统未详述的有关部分可以参阅实施例一或二所述方法置得到，此处不再赘述。
并且，实施例三所述车道线检测系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
通过以上实施例的描述可知，本发明采用多线程的任务处理方式进行车道线检测，利用深度学习CNN检测道路中的车道线位置点，与此同时按照对硬件资源消耗小的图像处理方法检测车道线的颜色、虚实线型等车道线属性。相对于传统车道线检测方法而言，提高了检测精度，泛化性能好，可以满足车道线磨损、道路阻塞、隧道等各种复杂道路场景下的车道线检测精度要求。而且相对于仅仅依赖深度学习CNN的车道线检测方法，对硬件资源消耗更少，更能满足车道线检测的实时性要求，从而有效地解决了目前深度学习网络检测车道线因需耗费较大计算资源而不满足实时性要求以及传统的图像处理方法检测车道线对于特殊道路场景下车道线检测性能一般的技术问题。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种车道线检测方法，其特征在于，包括如下步骤：
获取车辆前方道路图像；
对所述车辆前方道路图像进行预处理得到预处理图像；
利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息；
对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息。
2.如权利要求1所述的车道线检测方法，其特征在于，所述方法还包括以下步骤：
对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息。
3.如权利要求1或2所述的车道线检测方法，其特征在于，所述对所述车辆前方道路图像进行预处理得到预处理图像包括：
对所述车辆前方道路图像进行图像畸变校正；
对进行图像畸变校正后的图像进行尺寸变换得到预处理图像。
4.如权利要求1或2所述的车道线检测方法，其特征在于，所述利用训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息包括：
对所述预处理图像进行灰度化得到第一灰度图像；
利用预先训练好的深度学习CNN网络对所述第一灰度图像进行处理得到车道线位置点信息；其中，所述深度学习CNN网络包括两个输出分支，一输出分支为各车道线位置点在图像中坐标，另一输出分支为每条车道线的存在概率，所述车道线位置点信息为存在概率大于预设阈值T的车道线位置点坐标。
5.如权利要求1或2所述的车道线检测方法，其特征在于，所述根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标。
6.如权利要求1或2所述的车道线检测方法，其特征在于，所述根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息包括：
对所述二值化图像进行ROI区域裁切得到第一ROI区域图像；
对所述第一ROI区域图像进行高斯滤波得到第一滤波图像；
对所述第一滤波图像进行图像闭运算得到闭运算图像；
根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息。
7.如权利要求6所述的车道线检测方法，其特征在于，所述根据所述闭运算图像以及所述各车道线位置点信息确定各车道线颜色信息包括：
获取与各车道线位置点对应的闭运算图像中像素点的像素值；
根据公式
Figure FDA0002305792040000021
计算各车道线像素均值；其中，Fk为第k条车道线像素均值，n为第k条车道线的位置点总数，fi为与第k条车道线第i个位置点对应的闭运算图像中像素点的像素值；
根据各车道线像素均值与预设阈值S的比较结果确定各车道线颜色信息。
8.如权利要求2所述的车道线检测方法，其特征在于，所述对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像包括：
对所述预处理图像进行灰度化得到第二灰度图像；
对所述第二灰度图像进行ROI区域裁切得到第二ROI区域图像；
对所述第二ROI区域图像进行高斯滤波得到第二滤波图像；
对所述第二滤波图像进行图像阈值分割得到阈值分割图像，其中，所述图像阈值分割包括依次执行边缘检测、图像区域填充以及图像膨胀。
9.如权利要求8所述的车道线检测方法，其特征在于，所述根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息包括：
统计各车道线位置点中能映射到所述阈值分割图像中车道线区域内的坐标点数量；
根据公式
Figure FDA0002305792040000031
计算第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点占比；其中，Ek为第k条车道线中能映射到所述阈值分割图像中车道线区域内的位置点数量，n为第k条车道线的位置点总数；
根据占比Pk与预设阈值M的比较结果确定各车道线虚实信息；其中，若Pk大于M，则第k条车道线为实线；若Pk小于等于M，则第k条车道线为虚线。
10.一种车道线检测系统，其用于实现权利要求1-9任一项所述的方法，其特征在于，包括：
图像获取单元，用于获取车辆前方道路图像；
图像预处理单元，用于对所述车辆前方道路图像进行预处理得到预处理图像；
第一图像处理单元，用于利用预先训练好的深度学习CNN网络对所述预处理图像进行处理得到各车道线位置点信息，并根据所述各车道线位置点信息拟合各车道线得到各车道线几何信息；
第二图像处理单元，用于对所述预处理图像进行二值化得到二值化图像，并根据所述二值化图像以及所述各车道线位置点信息确定各车道线颜色信息；
第三图像处理单元，用于对所述预处理图像灰度化后进行图像阈值分割得到阈值分割图像，并根据所述阈值分割图像以及所述各车道线位置点信息确定各车道线虚实信息。
CN201911239409.8A 2019-12-06 2019-12-06 一种车道线检测方法及其系统 Active CN112926365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239409.8A CN112926365B (zh) 2019-12-06 2019-12-06 一种车道线检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239409.8A CN112926365B (zh) 2019-12-06 2019-12-06 一种车道线检测方法及其系统

Publications (2)

Publication Number Publication Date
CN112926365A true CN112926365A (zh) 2021-06-08
CN112926365B CN112926365B (zh) 2024-07-12

Family

ID=76162370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239409.8A Active CN112926365B (zh) 2019-12-06 2019-12-06 一种车道线检测方法及其系统

Country Status (1)

Country Link
CN (1) CN112926365B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485716A (zh) * 2021-12-28 2022-05-13 北京百度网讯科技有限公司 车道渲染方法、装置、电子设备及存储介质
CN114581890A (zh) * 2022-03-24 2022-06-03 北京百度网讯科技有限公司 确定车道线的方法、装置、电子设备和存储介质
CN114758310A (zh) * 2022-06-13 2022-07-15 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245582A1 (en) * 2008-03-26 2009-10-01 Honda Motor Co., Ltd. Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
KR20140022197A (ko) * 2012-08-13 2014-02-24 주식회사 만도 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
WO2015043510A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN105354553A (zh) * 2015-11-10 2016-02-24 厦门雅迅网络股份有限公司 一种鲁棒的车道线特征检测方法和装置
CN105426861A (zh) * 2015-12-02 2016-03-23 百度在线网络技术（北京）有限公司 车道线确定方法及装置
CN105574470A (zh) * 2014-10-10 2016-05-11 广州汽车集团股份有限公司 一种侧后方车辆识别方法及装置
CN105809149A (zh) * 2016-03-31 2016-07-27 电子科技大学 基于最大长度直线的车道线检测方法
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN107590470A (zh) * 2017-09-18 2018-01-16 浙江大华技术股份有限公司 一种车道线检测方法及装置
CN107978165A (zh) * 2017-12-12 2018-05-01 南京理工大学 基于计算机视觉的交叉口标志标线与信号灯智能感知方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108021891A (zh) * 2017-12-05 2018-05-11 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
US20180181817A1 (en) * 2015-09-10 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicular lane line data processing method, apparatus, storage medium, and device
US20180211117A1 (en) * 2016-12-20 2018-07-26 Jayant Ratti On-demand artificial intelligence and roadway stewardship system
CN109325389A (zh) * 2017-07-31 2019-02-12 比亚迪股份有限公司 车道线识别方法、装置及车辆
CN109624976A (zh) * 2018-12-25 2019-04-16 广州小鹏汽车科技有限公司 一种车辆的车道保持控制方法及系统
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109657632A (zh) * 2018-12-25 2019-04-19 重庆邮电大学 一种车道线检测识别方法
CN109902758A (zh) * 2019-03-11 2019-06-18 重庆邮电大学 基于深度学习的车道区域识别的数据集标定方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN110088766A (zh) * 2019-01-14 2019-08-02 京东方科技集团股份有限公司 车道线识别方法、车道线识别装置以及非易失性存储介质
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245582A1 (en) * 2008-03-26 2009-10-01 Honda Motor Co., Ltd. Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
KR20140022197A (ko) * 2012-08-13 2014-02-24 주식회사 만도 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
WO2015043510A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN105574470A (zh) * 2014-10-10 2016-05-11 广州汽车集团股份有限公司 一种侧后方车辆识别方法及装置
US20180181817A1 (en) * 2015-09-10 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicular lane line data processing method, apparatus, storage medium, and device
CN105354553A (zh) * 2015-11-10 2016-02-24 厦门雅迅网络股份有限公司 一种鲁棒的车道线特征检测方法和装置
CN105426861A (zh) * 2015-12-02 2016-03-23 百度在线网络技术（北京）有限公司 车道线确定方法及装置
CN105809149A (zh) * 2016-03-31 2016-07-27 电子科技大学 基于最大长度直线的车道线检测方法
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
US20180211117A1 (en) * 2016-12-20 2018-07-26 Jayant Ratti On-demand artificial intelligence and roadway stewardship system
CN109325389A (zh) * 2017-07-31 2019-02-12 比亚迪股份有限公司 车道线识别方法、装置及车辆
CN107590470A (zh) * 2017-09-18 2018-01-16 浙江大华技术股份有限公司 一种车道线检测方法及装置
CN108021891A (zh) * 2017-12-05 2018-05-11 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
CN107978165A (zh) * 2017-12-12 2018-05-01 南京理工大学 基于计算机视觉的交叉口标志标线与信号灯智能感知方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109624976A (zh) * 2018-12-25 2019-04-16 广州小鹏汽车科技有限公司 一种车辆的车道保持控制方法及系统
CN109657632A (zh) * 2018-12-25 2019-04-19 重庆邮电大学 一种车道线检测识别方法
CN110088766A (zh) * 2019-01-14 2019-08-02 京东方科技集团股份有限公司 车道线识别方法、车道线识别装置以及非易失性存储介质
CN109902758A (zh) * 2019-03-11 2019-06-18 重庆邮电大学 基于深度学习的车道区域识别的数据集标定方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JUNG-HWAN KIM等: ""Lane recognition algorithm using lane shape and color features for vehicle black box"", 《2018 INTERNATIONAL CONFERENCE ON ELECTRONICS, INFORMATION, AND COMMUNICATION (ICEIC)》, 5 April 2018 (2018-04-05), pages 1 - 12 *
SHRIYASH CHOUGULE等: ""Reliable Multilane Detection and Classification by Utilizing CNN as a Regression Network"", 《EUROPEAN CONFERENCE ON COMPUTER VISION》, 23 January 2019 (2019-01-23), pages 740 - 752 *
ZHENPENG CHEN等: ""PointLaneNet: Efficient end-to-end CNNs for Accurate Real-Time Lane Detection"", 《2019 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》, 29 August 2019 (2019-08-29), pages 2563 - 2568 *
罗康等: ""全景鸟瞰图像中车道线颜色识别方法"", 《电子测量技术》, vol. 42, no. 13, 31 July 2019 (2019-07-31), pages 80 - 85 *
虞伟民: ""基于阴影自适应门限的车辆检测"", 《信息通信》, no. 5, 31 December 2016 (2016-12-31), pages 57 - 59 *
赵文明等: ""基于机器视觉的车道保持辅助系统研究"", 《数字技术与应用》, 31 December 2017 (2017-12-31), pages 63 - 64 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485716A (zh) * 2021-12-28 2022-05-13 北京百度网讯科技有限公司 车道渲染方法、装置、电子设备及存储介质
CN114581890A (zh) * 2022-03-24 2022-06-03 北京百度网讯科技有限公司 确定车道线的方法、装置、电子设备和存储介质
CN114581890B (zh) * 2022-03-24 2023-03-10 北京百度网讯科技有限公司 确定车道线的方法、装置、电子设备和存储介质
CN114758310A (zh) * 2022-06-13 2022-07-15 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置
CN114758310B (zh) * 2022-06-13 2022-10-28 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置

Also Published As

Publication number Publication date
CN112926365B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN107045629B (zh) 一种多车道线检测方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN112926365B (zh) 一种车道线检测方法及其系统
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
CN109726717B (zh) 一种车辆综合信息检测系统
US20060015252A1 (en) Lane recognition image processing apparatus
CN105488492B (zh) 一种彩色图像预处理方法、道路识别方法及相关装置
CN110321933B (zh) 一种基于深度学习的故障识别方法和装置
CN108647664B (zh) 一种基于环视图像的车道线检测方法
CN107563331B (zh) 一种基于几何关系的道路标志线检测方法及系统
CN105809149A (zh) 基于最大长度直线的车道线检测方法
CN110175556B (zh) 基于Sobel算子的遥感图像云检测方法
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
CN103577828B (zh) 一种基于边缘特征的道路检测方法
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN116311132A (zh) 一种减速带识别方法、装置、设备及存储介质
WO2022142827A1 (zh) 占道信息确定方法和装置
CN102610104A (zh) 一种车载的前方车辆检测方法
CN116524196A (zh) 一种基于图像识别技术的输电线智能检测系统
CN107194342A (zh) 基于逆透视变换的车道线检测方法
US11354794B2 (en) Deposit detection device and deposit detection method
US20210090260A1 (en) Deposit detection device and deposit detection method
CN111382718A (zh) 一种夜间行人检测系统及基于该系统的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant