CN114241436A - 一种改进色彩空间和搜索窗口的车道线检测方法及系统 - Google Patents
一种改进色彩空间和搜索窗口的车道线检测方法及系统 Download PDFInfo
- Publication number
- CN114241436A CN114241436A CN202111179596.2A CN202111179596A CN114241436A CN 114241436 A CN114241436 A CN 114241436A CN 202111179596 A CN202111179596 A CN 202111179596A CN 114241436 A CN114241436 A CN 114241436A
- Authority
- CN
- China
- Prior art keywords
- lane line
- picture frame
- line area
- aerial view
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 230000009466 transformation Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 35
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 101150013335 img1 gene Proteins 0.000 description 19
- 101150071665 img2 gene Proteins 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种改进色彩空间和搜索窗口的车道线检测方法及系统，基于对车道线区域图像的透视变换，获得车道线区域鸟瞰图，并采用不同色彩空间的不同颜色分量对车道线区域鸟瞰图进行重新融合，再结合窗口滑动方式进行车道线搜索、以及车道线拟合，实现最终车道线的检测；方案采用多种颜色空间中最优通道进行融合，有效克服了光照、阴影，以及黄色车道线检测困难的问题；并且应用窗口搜索方法可以忽略掉重复的计算步骤，有效降低计算量，提高速度；此外，基于透视变换和逆透视变换间相互转化的应用，在透视变换后数据量较少的图像上应用车道线检测所涉及的大量计算，可以有效减少计算量，提高单帧图像的检测速度，满足实时检测的要求。
Description
技术领域
本发明涉及一种改进色彩空间和搜索窗口的车道线检测方法及系统，属于计算机视觉技术领域。
背景技术
目前，车道线检测方法有很多种，Jamel Baili等人提出了一种基于特征的车道检测方法，利用水平差分滤波器简化了边缘检测过程，通过改进的霍夫变换将检测到的边缘点分组成直线；钱基德等人采用Soberx边缘检测算子检测车道线边缘信息，然后在感兴趣区域的基础上，使用改进的霍夫变换检测出可能的车道线。Raja Muthalagu提出对于检测存在车道线的后续连续帧中一定存在车道线，可以跳过下一帧的检测。以上车道线检测方法容易受到光照，路面阴影和车道线缺损的影响，无法对弯曲的车道线进行检测，难以应对复杂的城市道路，易受到其他边缘噪声的影响，且检测速度较慢。
发明内容
本发明所要解决的技术问题是提供一种改进色彩空间和搜索窗口的车道线检测方法，采用全新设计逻辑，基于对车辆行驶前方道路的视频捕获，能够高效实现对图片帧中车道线的检测。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种改进色彩空间和搜索窗口的车道线检测方法，基于对车辆行驶前方道路的视频捕获，针对所捕获视频中的图片帧，执行如下步骤A至步骤H，实现对图片帧中车道线的检测；
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B.获得一级图片帧中位于车辆行驶前方的车道线区域图像，并应用透视变换，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，然后进入步骤C；
步骤C.将车道线区域鸟瞰图分别转换为对应预设三种色彩空间的车道线区域辅助色彩鸟瞰图，然后由各车道线区域辅助色彩鸟瞰图中分别选择其中一通道的图像数据进行融合，获得融合后的三通道的车道线区域融合鸟瞰图，然后进入步骤D；
步骤D.按车道线区域像素值为非0、其它区域像素值为0，针对车道线区域融合鸟瞰图进行二值化处理，获得车道线区域融合二值化鸟瞰图，并统计车道线区域融合二值化鸟瞰图中的像素分布，按横坐标为图像水平宽度上各位置、纵坐标为像素值，获得车道线区域融合二值化鸟瞰图所对应的图像分布直方图，然后进入步骤E；
步骤E.根据车道线区域融合二值化鸟瞰图所对应的图像分布直方图，获得车道线区域融合二值化鸟瞰图中两条车道线沿图像水平宽度方向上分别所在像素区域位置，然后进入步骤F；
步骤F.基于车道线区域融合二值化鸟瞰图所在二维坐标系，分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上的两个像素区域位置，应用水平方向长度大于像素区域位置的宽度、竖直方向宽度小于车道线区域融合二值化鸟瞰图中沿竖直方向上相邻非0像素值区域之间最小距离的窗口，由车道线区域融合二值化鸟瞰图中底边该像素区域位置起沿竖直向上方向，按预设小于车道线区域融合二值化鸟瞰图中各非0像素值区域沿竖直方向长度最小值的数值为间隔依次移动至各位置，并获取窗口在各位置分别所包含非0像素值的各像素点坐标位置，并将该各像素点坐标位置加入该像素区域位置所对应的数组中；进而获得车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置分别所对应的数组，然后进入步骤G；
步骤G.分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置，获得像素区域位置所对应数组中各纵坐标值分别所对应各像素点坐标位置中沿横坐标轴方向中点位置的像素点坐标位置，作为该数组中各纵坐标值分别所对应的待拟合像素点坐标位置；进而获得两个像素区域位置分别所对应的各个待拟合像素点坐标位置，然后进入步骤H；
步骤H.分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置，针对像素区域位置所对应各个待拟合像素点坐标位置进行拟合，获得该像素区域位置所对应的拟合方程，并获得该拟合方程对应车道线区域融合二值化鸟瞰图中的轨迹线；进而获得两个像素区域位置分别对应车道线区域融合二值化鸟瞰图中的轨迹线，并标记于车道线区域融合二值化鸟瞰图中，然后按步骤B中的透视变换操作，针对车道线区域融合二值化鸟瞰图执行逆透视变换，将车道线区域融合二值化鸟瞰图中的两条轨迹线显示于一级图片帧上，即实现对图片帧中车道线的检测。
作为本发明的一种优选技术方案：所述步骤A中，首先应用图像捕获装置拍摄获取预设数量张不同角度的棋盘图像；然后应用Opencv库对棋盘图像进行失真校正，其中，先获得各棋盘图像分别对应的灰度图，通过findChessboardCorners()函数找到棋盘角点，再通过calibrateCamera()函数进行图像捕获装置标定，计算图像捕获装置矩阵和畸变系数；最后根据图像捕获装置矩阵和畸变系数对原始图片帧进行失真校准，获得为一级图片帧。
作为本发明的一种优选技术方案：所述步骤B包括如下步骤B1-1至步骤B1-2；
步骤B1-1.基于一级图片帧所在平面区域，以一级图片帧底边中点位置为起点、沿底边所在直线分别向两侧延伸预设大于一级图片帧底边长度一半的距离，获得位于一级图片帧外侧的两个底边定位点，并获得底边定位点沿底边所在直线突出底边同侧端点的距离，作为突出距离；
同时以一级图片帧底边中点位置为起点、沿垂直底边向上方向延伸预设小于一级图片帧底边与一级图片帧中地平线之间距离的距离，获得顶边起点，再以顶边起点、沿平行于底边的所在直线分别向两侧延伸预设距离，获得位于一级图片帧中的两个顶边定位点；
即以一级图片帧中位于以两个底边定位点、两个顶边定位点所围成四边形中的区域图像，构成一级图片帧中位于车辆行驶前方的车道线区域图像，然后进入步骤B1-2；
步骤B1-2.基于原始图片帧尺寸，针对车道线区域图像，将车道线区域图像的两个顶边定位点分别移动至原始图片帧顶边的同侧端点上，以及将车道线区域图像的两个底边定位点分别移动至原始图片帧底边上相距同侧底边端点满足突出距离的位置上，完成针对车道线区域图像的拉伸，实现应用透视变换，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图。
作为本发明的一种优选技术方案：基于对车辆行驶前方道路的视频捕获，第一次所选来自捕获视频中的图片帧在执行所述步骤A至步骤H的过程中：
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B.以一级图片帧中指定四边形区域作为车道线区域图像，并按指定位于原始图片帧顶边、底边上的顶点位置，针对车道线区域图像的各顶点进行移动，实现对车道线区域图像的拉伸，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，并获得车道线区域图像与车道线区域鸟瞰图之间的透视转换矩阵，然后进入步骤C；
第二次、以及之后各次所选来自捕获视频中的各图片帧分别在执行所述步骤A至步骤H的过程中：
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B.针对一级图片帧应用透视转换矩阵进行透视变换，获得一级图片帧中车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，然后进入步骤C。
作为本发明的一种优选技术方案：所述步骤C中，由各车道线区域辅助色彩鸟瞰图中分别选择彼此不同顺序位置的一通道的图像数据进行融合，获得融合后的三通道的车道线区域融合鸟瞰图。
作为本发明的一种优选技术方案：所述步骤C中，首先将车道线区域鸟瞰图分别转换为对应HSV色彩空间的车道线区域辅助色彩鸟瞰图、对应LAB色彩空间的车道线区域辅助色彩鸟瞰图、对应YUV色彩空间的车道线区域辅助色彩鸟瞰图；
然后由对应HSV色彩空间的车道线区域辅助色彩鸟瞰图中选择V通道的图像数据、由对应LAB色彩空间的车道线区域辅助色彩鸟瞰图中选择A通道的图像数据、由对应YUV色彩空间的车道线区域辅助色彩鸟瞰图中选择Y通道的图像数据；
最后按V通道作为第一通道、A通道作为第二通道、Y通道作为第三通道，针对V通道图像数据、A通道图像数据、Y通道图像数据进行融合，获得融合后的VAY通道的车道线区域融合鸟瞰图，然后进入步骤D。
作为本发明的一种优选技术方案：所述步骤D中，基于对车道线区域融合鸟瞰图依次执行灰度化处理、滤波处理后，再对车道线区域融合鸟瞰图进行二值化处理，获得车道线区域融合二值化鸟瞰图。
作为本发明的一种优选技术方案：所述步骤H中，针对像素区域位置所对应各个待拟合像素点坐标位置，进行二次多项式拟合，获得该像素区域位置所对应的二次多项式拟合方程，并获得该二次多项式拟合方程对应车道线区域融合二值化鸟瞰图中的轨迹线。
本发明所要解决的技术问题是提供一种改进色彩空间和搜索窗口的车道线检测方法的系统，采用全新设计逻辑，基于对车辆行驶前方道路的视频捕获，能够高效实现对图片帧中车道线的检测。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种改进色彩空间和搜索窗口的车道线检测方法的系统，基于对车辆行驶前方道路的视频捕获，针对所捕获视频，按预设间隔图片帧数，依次选择各个图片帧，依次分别执行所述步骤A至步骤H，实现对图片帧中车道线的检测。
本发明所述一种改进色彩空间和搜索窗口的车道线检测方法及系统，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计一种改进色彩空间和搜索窗口的车道线检测方法及系统，基于对所获图片帧中车道线区域图像的透视变换，获得车道线区域鸟瞰图，并采用不同色彩空间的不同颜色分量对车道线区域鸟瞰图进行重新融合，突出车道线信息，再应用所设计窗口滑动方式进行车道线搜索，以及通过车道线拟合的应用，实现最终车道线的检测；方案设计中，采用多种颜色空间中最优通道进行融合，有效克服了光照、阴影，以及黄色车道线检测困难的问题；并且应用窗口搜索方法可以忽略掉重复的计算步骤，有效降低计算量，提高速度；此外，基于透视变换和逆透视变换间相互转化的应用，在透视变换后数据量较少的图像上应用车道线检测所涉及的大量计算，可以有效减少计算量，提高单帧图像的检测速度，满足实时检测的要求。
附图说明
图1为本发明设计改进色彩空间和搜索窗口的车道线检测方法的整体流程图；
图2为本发明实施例提供的进行失真校正效果图；
图3为本发明实施例提供的选择ROI区域范围效果图；
图4位本发明实施例提供的经过透视变换后的效果图；
图5为本发明实施例提供的VAY色彩空间效果图；
图6为本发明实施例提供的VAY二值化图像效果图；
图7为本发明实施例提供的VAY图像的直方图统计效果图；
图8为本发明实施例提供的滑动窗口搜索示意图；
图9为本发明实施例提供的鸟瞰图中对车道线拟合及颜色标记效果图；
图10为本发明实施例提供的车道线检测效果可视化。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种改进色彩空间和搜索窗口的车道线检测方法即系统，基于行车记录仪对车辆行驶前方道路的视频捕获，针对所捕获视频，按预设间隔图片帧数，依次选择各个图片帧，如图1所示，依次分别执行所述步骤A至步骤H，实现对图片帧中车道线的检测。
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧IMG1，然后进入步骤B。
实际应用中，上述步骤A中，首先应用图像捕获装置拍摄获取预设数量张不同角度的棋盘图像；然后应用Opencv库对棋盘图像进行失真校正，其中，先获得各棋盘图像分别对应的灰度图，通过findChessboardCorners()函数找到棋盘角点，再通过calibrateCamera()函数进行图像捕获装置标定，计算图像捕获装置矩阵和畸变系数；最后根据图像捕获装置矩阵和畸变系数对原始图片帧进行失真校准，获得为一级图片帧IMG1，如图2所示。
步骤B.获得一级图片帧IMG1中位于车辆行驶前方的车道线区域图像IMG2，并应用透视变换，获得车道线区域图像IMG2对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图IMG3，然后进入步骤C。
步骤C.将车道线区域鸟瞰图IMG3分别转换为对应预设三种色彩空间的车道线区域辅助色彩鸟瞰图，然后由各车道线区域辅助色彩鸟瞰图中分别选择彼此不同顺序位置的一通道的图像数据进行融合，获得融合后的三通道的车道线区域融合鸟瞰图IMG4，然后进入步骤D。
具体实施应用中，上述步骤C具体设计首先将车道线区域鸟瞰图IMG3分别转换为对应HSV色彩空间的车道线区域辅助色彩鸟瞰图、对应LAB色彩空间的车道线区域辅助色彩鸟瞰图、对应YUV色彩空间的车道线区域辅助色彩鸟瞰图；
然后由对应HSV色彩空间的车道线区域辅助色彩鸟瞰图中选择V通道的图像数据、由对应LAB色彩空间的车道线区域辅助色彩鸟瞰图中选择A通道的图像数据、由对应YUV色彩空间的车道线区域辅助色彩鸟瞰图中选择Y通道的图像数据；
最后按V通道作为第一通道、A通道作为第二通道、Y通道作为第三通道，针对V通道图像数据、A通道图像数据、Y通道图像数据进行融合，获得融合后的VAY通道的车道线区域融合鸟瞰图IMG4，然后进入步骤D。
实验发现其中HSV色彩空间中的V通道、LAB色彩空间中的A通道和YUV色彩空间中的Y通道所包括的原始数据量最为完整。因此将上述三个通道进行融合，重新获得车道线区域融合鸟瞰图IMG4，其包含的车道线数据最多，如图5所示。
具体在实际操作过程中，可以利用RGB色彩空间和HSV、LAB、YUV三个色彩空间的转换，快速获得对应的色彩空间图像，其色彩转换过程是实时的，其不同颜色空间的转换公式如下所示：
RGB色彩空间转换到HSV色彩空间公式：
Cmax＝max(R，G，B)
Cmin＝min(R，C，B)
V＝(max+min)/2
其中H(Hue)表示色调，S(Saturation)表示饱和度，V(Value)表示明度。
同理，根据RGB与YUV、RGB与LAB色彩空间的转换公式可以计算得到相应的Y分量和L分量的值。其实现过程为先利用opencv库中的cvtColor()将RGB图像进行色彩空间的转换，然后利用opencv库中的split()函数对转换后的色彩空间进行分离，再通过opencv库中merge()函数将上述分离后得到的V、A、Y分量重新组成车道线区域融合鸟瞰图IMG4。
步骤D.基于对车道线区域融合鸟瞰图IMG4依次执行灰度化处理、滤波处理后，按车道线区域像素值为非0、其它区域像素值为0，针对车道线区域融合鸟瞰图IMG4进行二值化处理，获得车道线区域融合二值化鸟瞰图IMG5，如图6所示，并统计车道线区域融合二值化鸟瞰图IMG5中的像素分布，按横坐标为图像水平宽度上各位置、纵坐标为像素值，获得车道线区域融合二值化鸟瞰图IMG5所对应的图像分布直方图，如图7所示，然后进入步骤E。
具体实施中，使用Sobel滤波器进行滤波，并进行二值化操作，得到IMG5，并统计相应的像素分布直方图。其中，使用Sobel滤波器计算梯度幅值和方向，其滤波器卷积阵列如下所示，Sx和Sy分别作用在x和y方向上的横向和纵向滤波算子；
然后通过阈值化操作得到二值图像IMG5，其公式如下所示：
其中，Sxy为计算得到的阈值，max()是求最大的像素值。
步骤E.根据车道线区域融合二值化鸟瞰图IMG5所对应的图像分布直方图，获得车道线区域融合二值化鸟瞰图IMG5中两条车道线沿图像水平宽度方向上分别所在像素区域位置，然后进入步骤F。
步骤F.基于车道线区域融合二值化鸟瞰图IMG5所在二维坐标系，分别针对车道线区域融合二值化鸟瞰图IMG5中沿图像水平宽度方向上的两个像素区域位置，应用水平方向长度大于像素区域位置的宽度、竖直方向宽度小于车道线区域融合二值化鸟瞰图IMG5中沿竖直方向上相邻非0像素值区域之间最小距离的窗口，由车道线区域融合二值化鸟瞰图IMG5中底边该像素区域位置起沿竖直向上方向，按预设小于车道线区域融合二值化鸟瞰图IMG5中各非0像素值区域沿竖直方向长度最小值的数值为间隔依次移动至各位置，如图8所示，并获取窗口在各位置分别所包含非0像素值的各像素点坐标位置，并将该各像素点坐标位置加入该像素区域位置所对应的数组中；进而获得车道线区域融合二值化鸟瞰图IMG5中沿图像水平宽度方向上两个像素区域位置分别所对应的数组，然后进入步骤G。
步骤G.分别针对车道线区域融合二值化鸟瞰图IMG5中沿图像水平宽度方向上两个像素区域位置，获得像素区域位置所对应数组中各纵坐标值分别所对应各像素点坐标位置中沿横坐标轴方向中点位置的像素点坐标位置，作为该数组中各纵坐标值分别所对应的待拟合像素点坐标位置；进而获得两个像素区域位置分别所对应的各个待拟合像素点坐标位置，然后进入步骤H。
步骤H.分别针对车道线区域融合二值化鸟瞰图IMG5中沿图像水平宽度方向上两个像素区域位置，针对像素区域位置所对应各个待拟合像素点坐标位置，进行二次多项式拟合，获得该像素区域位置所对应的二次多项式拟合方程，并获得该二次多项式拟合方程对应车道线区域融合二值化鸟瞰图IMG5中的轨迹线；进而获得两个像素区域位置分别对应车道线区域融合二值化鸟瞰图IMG5中的轨迹线，并标记于车道线区域融合二值化鸟瞰图IMG5中，构成IMG6，如图9所示，然后按步骤B中的透视变换操作，针对IMG6执行逆透视变换，将车道线区域融合二值化鸟瞰图IMG5中的两条轨迹线显示于一级图片帧IMG1上，获得IMG7，如图10所示，即实现对图片帧中车道线的检测。
具体实施中，上述二次多项式诸如：
y＝ax2+bx+c
其中，x为车道线的横坐标，y为横坐标对应的纵坐标，a,b,c分别为对应多项式系数。记IMG5的宽高为(w，h)，则x的取值范围为(0，w)，y的取值范围为(0，h)。
关于上述步骤B中车道线区域鸟瞰图IMG3的获得，实际应用中，具体设计两种实施例方式进行获得，第一种实施例在应用中，上述步骤B包括如下步骤B1-1至步骤B1-2。
步骤B1-1.基于一级图片帧IMG1所在平面区域，以一级图片帧IMG1底边中点位置为起点、沿底边所在直线分别向两侧延伸预设大于一级图片帧IMG1底边长度一半的距离，获得位于一级图片帧IMG1外侧的两个底边定位点，并获得底边定位点沿底边所在直线突出底边同侧端点的距离，作为突出距离；
同时以一级图片帧IMG1底边中点位置为起点、沿垂直底边向上方向延伸预设小于一级图片帧IMG1底边与一级图片帧IMG1中地平线之间距离的距离，获得顶边起点，再以顶边起点、沿平行于底边的所在直线分别向两侧延伸预设距离，获得位于一级图片帧IMG1中的两个顶边定位点；
即以一级图片帧IMG1中位于以两个底边定位点、两个顶边定位点所围成四边形中的区域图像，构成一级图片帧IMG1中位于车辆行驶前方的车道线区域图像IMG2，然后进入步骤B1-2。
步骤B1-2.基于原始图片帧尺寸，针对车道线区域图像IMG2，将车道线区域图像IMG2的两个顶边定位点分别移动至原始图片帧顶边的同侧端点上，以及将车道线区域图像IMG2的两个底边定位点分别移动至原始图片帧底边上相距同侧底边端点满足突出距离的位置上，完成针对车道线区域图像IMG2的拉伸，实现应用透视变换，获得车道线区域图像IMG2对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图IMG3。
第二种实施例基于对车辆行驶前方道路的视频捕获，第一次所选来自捕获视频中的图片帧在执行所述步骤A至步骤H的过程中，如下所示：
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧IMG1，然后进入步骤B；
步骤B.以一级图片帧IMG1中指定四边形区域作为车道线区域图像IMG2，并按指定位于原始图片帧顶边、底边上的顶点位置，针对车道线区域图像IMG2的各顶点进行移动，实现对车道线区域图像IMG2的拉伸，获得车道线区域图像IMG2对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图IMG3，并获得车道线区域图像IMG2与车道线区域鸟瞰图IMG3之间的透视转换矩阵，然后进入步骤C。
第二次、以及之后各次所选来自捕获视频中的各图片帧分别在执行所述步骤A至步骤H的过程中，如下所示：
步骤A.将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧IMG1，然后进入步骤B；
步骤B.针对一级图片帧IMG1应用透视转换矩阵进行透视变换，获得一级图片帧IMG1中车道线区域图像IMG2对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图IMG3，然后进入步骤C。
上述步骤B的实施应用例中，如图3所示车道线区域图像IMG2对应的四个坐标点分别为：r1(554,186)，r2(721,186)，r3(-89,img_h)，r4(1394,img_h)；如图4所示，四个顶点分别对应透视变换后的顶点坐标为：r1’(0,0)，r2’(img_w,0)，r3’(0,img_h)，r4’(img_w,img_h)，其中img_w，img_h分别为图像IMG1的宽和高；如图3所示，坐标点的设置可以在图像上，也可以在图像外，本实例中设置的顶点r1和r2在图像上、顶点r3和r4在图像外。将车道线区域图像IMG2进行透视变换，将其转化为鸟瞰图，得到透视后的车道线区域鸟瞰图IMG3，如图4所示。并保存在转换中得到的透视变换矩阵M以及根据逆透视变换得到的逆透视变换矩阵Minv。
上述技术方案所设计一种改进色彩空间和搜索窗口的车道线检测方法及系统，基于对所获图片帧中车道线区域图像IMG2的透视变换，获得车道线区域鸟瞰图IMG3，并采用不同色彩空间的不同颜色分量对车道线区域鸟瞰图IMG3进行重新融合，突出车道线信息，再应用所设计窗口滑动方式进行车道线搜索，以及通过车道线拟合的应用，实现最终车道线的检测；方案设计中，采用多种颜色空间中最优通道进行融合，有效克服了光照、阴影，以及黄色车道线检测困难的问题；并且应用窗口搜索方法可以忽略掉重复的计算步骤，有效降低计算量，提高速度；此外，基于透视变换和逆透视变换间相互转化的应用，在透视变换后数据量较少的图像上应用车道线检测所涉及的大量计算，可以有效减少计算量，提高单帧图像的检测速度，满足实时检测的要求。
通过实验，本发明对车道线具有良好的检测效果，对光照、车道线缺损和路面阴影都能够准确检测，具有较好的鲁棒性，本算法中单帧图像车道线边界耗时0.0315秒，可以保证本算法的实时性，证明本发明的具有较好的应用价值。
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (9)
1.一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：基于对车辆行驶前方道路的视频捕获，针对所捕获视频中的图片帧，执行如下步骤A至步骤H，实现对图片帧中车道线的检测；
步骤A. 将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B. 获得一级图片帧中位于车辆行驶前方的车道线区域图像，并应用透视变换，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，然后进入步骤C；
步骤C. 将车道线区域鸟瞰图分别转换为对应预设三种色彩空间的车道线区域辅助色彩鸟瞰图，然后由各车道线区域辅助色彩鸟瞰图中分别选择其中一通道的图像数据进行融合，获得融合后的三通道的车道线区域融合鸟瞰图，然后进入步骤D；
步骤D. 按车道线区域像素值为非0、其它区域像素值为0，针对车道线区域融合鸟瞰图进行二值化处理，获得车道线区域融合二值化鸟瞰图，并统计车道线区域融合二值化鸟瞰图中的像素分布，按横坐标为图像水平宽度上各位置、纵坐标为像素值，获得车道线区域融合二值化鸟瞰图所对应的图像分布直方图，然后进入步骤E；
步骤E. 根据车道线区域融合二值化鸟瞰图所对应的图像分布直方图，获得车道线区域融合二值化鸟瞰图中两条车道线沿图像水平宽度方向上分别所在像素区域位置，然后进入步骤F；
步骤F. 基于车道线区域融合二值化鸟瞰图所在二维坐标系，分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上的两个像素区域位置，应用水平方向长度大于像素区域位置的宽度、竖直方向宽度小于车道线区域融合二值化鸟瞰图中沿竖直方向上相邻非0像素值区域之间最小距离的窗口，由车道线区域融合二值化鸟瞰图中底边该像素区域位置起沿竖直向上方向，按预设小于车道线区域融合二值化鸟瞰图中各非0像素值区域沿竖直方向长度最小值的数值为间隔依次移动至各位置，并获取窗口在各位置分别所包含非0像素值的各像素点坐标位置，并将该各像素点坐标位置加入该像素区域位置所对应的数组中；进而获得车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置分别所对应的数组，然后进入步骤G；
步骤G. 分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置，获得像素区域位置所对应数组中各纵坐标值分别所对应各像素点坐标位置中沿横坐标轴方向中点位置的像素点坐标位置，作为该数组中各纵坐标值分别所对应的待拟合像素点坐标位置；进而获得两个像素区域位置分别所对应的各个待拟合像素点坐标位置，然后进入步骤H；
步骤H. 分别针对车道线区域融合二值化鸟瞰图中沿图像水平宽度方向上两个像素区域位置，针对像素区域位置所对应各个待拟合像素点坐标位置进行拟合，获得该像素区域位置所对应的拟合方程，并获得该拟合方程对应车道线区域融合二值化鸟瞰图中的轨迹线；进而获得两个像素区域位置分别对应车道线区域融合二值化鸟瞰图中的轨迹线，并标记于车道线区域融合二值化鸟瞰图中，然后按步骤B中的透视变换操作，针对车道线区域融合二值化鸟瞰图执行逆透视变换，将车道线区域融合二值化鸟瞰图中的两条轨迹线显示于一级图片帧上，即实现对图片帧中车道线的检测。
2.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤A中，首先应用图像捕获装置拍摄获取预设数量张不同角度的棋盘图像；然后应用Opencv库对棋盘图像进行失真校正，其中，先获得各棋盘图像分别对应的灰度图，通过findChessboardCorners()函数找到棋盘角点，再通过calibrateCamera()函数进行图像捕获装置标定，计算图像捕获装置矩阵和畸变系数；最后根据图像捕获装置矩阵和畸变系数对原始图片帧进行失真校准，获得为一级图片帧。
3.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤B包括如下步骤B1-1至步骤B1-2；
步骤B1-1. 基于一级图片帧所在平面区域，以一级图片帧底边中点位置为起点、沿底边所在直线分别向两侧延伸预设大于一级图片帧底边长度一半的距离，获得位于一级图片帧外侧的两个底边定位点，并获得底边定位点沿底边所在直线突出底边同侧端点的距离，作为突出距离；
同时以一级图片帧底边中点位置为起点、沿垂直底边向上方向延伸预设小于一级图片帧底边与一级图片帧中地平线之间距离的距离，获得顶边起点，再以顶边起点、沿平行于底边的所在直线分别向两侧延伸预设距离，获得位于一级图片帧中的两个顶边定位点；
即以一级图片帧中位于以两个底边定位点、两个顶边定位点所围成四边形中的区域图像，构成一级图片帧中位于车辆行驶前方的车道线区域图像，然后进入步骤B1-2；
步骤B1-2. 基于原始图片帧尺寸，针对车道线区域图像，将车道线区域图像的两个顶边定位点分别移动至原始图片帧顶边的同侧端点上，以及将车道线区域图像的两个底边定位点分别移动至原始图片帧底边上相距同侧底边端点满足突出距离的位置上，完成针对车道线区域图像的拉伸，实现应用透视变换，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图。
4.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：基于对车辆行驶前方道路的视频捕获，第一次所选来自捕获视频中的图片帧在执行所述步骤A至步骤H的过程中：
步骤A. 将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B. 以一级图片帧中指定四边形区域作为车道线区域图像，并按指定位于原始图片帧顶边、底边上的顶点位置，针对车道线区域图像的各顶点进行移动，实现对车道线区域图像的拉伸，获得车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，并获得车道线区域图像与车道线区域鸟瞰图之间的透视转换矩阵，然后进入步骤C；
第二次、以及之后各次所选来自捕获视频中的各图片帧分别在执行所述步骤A至步骤H的过程中：
步骤A. 将图片帧作为原始图片帧，针对原始图片帧进行失真校准，获得为一级图片帧，然后进入步骤B；
步骤B. 针对一级图片帧应用透视转换矩阵进行透视变换，获得一级图片帧中车道线区域图像对应原始图片帧尺寸的鸟瞰图，作为车道线区域鸟瞰图，然后进入步骤C。
5.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤C中，由各车道线区域辅助色彩鸟瞰图中分别选择彼此不同顺序位置的一通道的图像数据进行融合，获得融合后的三通道的车道线区域融合鸟瞰图。
6.根据权利要求5所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤C中，首先将车道线区域鸟瞰图分别转换为对应HSV色彩空间的车道线区域辅助色彩鸟瞰图、对应LAB色彩空间的车道线区域辅助色彩鸟瞰图、对应YUV色彩空间的车道线区域辅助色彩鸟瞰图；
然后由对应HSV色彩空间的车道线区域辅助色彩鸟瞰图中选择V通道的图像数据、由对应LAB色彩空间的车道线区域辅助色彩鸟瞰图中选择A通道的图像数据、由对应YUV色彩空间的车道线区域辅助色彩鸟瞰图中选择Y通道的图像数据；
最后按V通道作为第一通道、A通道作为第二通道、Y通道作为第三通道，针对V通道图像数据、A通道图像数据、Y通道图像数据进行融合，获得融合后的VAY通道的车道线区域融合鸟瞰图，然后进入步骤D。
7.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤D中，基于对车道线区域融合鸟瞰图依次执行灰度化处理、滤波处理后，再对车道线区域融合鸟瞰图进行二值化处理，获得车道线区域融合二值化鸟瞰图。
8.根据权利要求1所述一种改进色彩空间和搜索窗口的车道线检测方法，其特征在于：所述步骤H中，针对像素区域位置所对应各个待拟合像素点坐标位置，进行二次多项式拟合，获得该像素区域位置所对应的二次多项式拟合方程，并获得该二次多项式拟合方程对应车道线区域融合二值化鸟瞰图中的轨迹线。
9.一种实现权利要求1至8中任意一项所述一种改进色彩空间和搜索窗口的车道线检测方法的系统，其特征在于：基于对车辆行驶前方道路的视频捕获，针对所捕获视频，按预设间隔图片帧数，依次选择各个图片帧，依次分别执行所述步骤A至步骤H，实现对图片帧中车道线的检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111179596.2A CN114241436A (zh) | 2021-10-09 | 2021-10-09 | 一种改进色彩空间和搜索窗口的车道线检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111179596.2A CN114241436A (zh) | 2021-10-09 | 2021-10-09 | 一种改进色彩空间和搜索窗口的车道线检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114241436A true CN114241436A (zh) | 2022-03-25 |
Family
ID=80743096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111179596.2A Pending CN114241436A (zh) | 2021-10-09 | 2021-10-09 | 一种改进色彩空间和搜索窗口的车道线检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241436A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882127A (zh) * | 2022-05-19 | 2022-08-09 | 北京奥乘智能技术有限公司 | 图像处理方法、装置、存储介质和计算设备 |
| CN115984806A (zh) * | 2023-03-20 | 2023-04-18 | 四川京炜数字科技有限公司 | 道路标线破损动态检测系统 |
-
2021
- 2021-10-09 CN CN202111179596.2A patent/CN114241436A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882127A (zh) * | 2022-05-19 | 2022-08-09 | 北京奥乘智能技术有限公司 | 图像处理方法、装置、存储介质和计算设备 |
| CN115984806A (zh) * | 2023-03-20 | 2023-04-18 | 四川京炜数字科技有限公司 | 道路标线破损动态检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784344B (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN109886896B (zh) | 一种蓝色车牌分割与矫正方法 | |
| US10592754B2 (en) | Shadow removing method for color image and application | |
| KR101403876B1 (ko) | 차량 번호판 인식 방법과 그 장치 | |
| CN107679520B (zh) | 一种适用于复杂条件下的车道线视觉检测方法 | |
| CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及系统 | |
| CN103927526B (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
| CN102883175B (zh) | 深度图提取、判断视频场景切换及深度图边缘优化方法 | |
| US8401333B2 (en) | Image processing method and apparatus for multi-resolution feature based image registration | |
| CN110516550B (zh) | 一种基于fpga的车道线实时检测方法 | |
| CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
| CN110276267A (zh) | 基于Spatial-LargeFOV深度学习网络的车道线检测方法 | |
| CN109215053B (zh) | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 | |
| CN109583365B (zh) | 基于成像模型约束非均匀b样条曲线拟合车道线检测方法 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN114241436A (zh) | 一种改进色彩空间和搜索窗口的车道线检测方法及系统 | |
| CN101802842A (zh) | 用于识别图像中的复杂特征点的系统和方法 | |
| CN107895375A (zh) | 基于视觉多特征的复杂道路线提取方法 | |
| CN113673541B (zh) | 一种用于目标检测的图像样本生成方法及应用 | |
| CN112200742A (zh) | 一种应用于边缘检测的滤波去噪方法 | |
| CN104463138A (zh) | 基于视觉结构属性的文本定位方法及系统 | |
| CN111354047A (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN112861654A (zh) | 一种基于机器视觉的名优茶采摘点位置信息获取方法 | |
| CN108038458B (zh) | 基于特征摘要图的视频中的户外场景文本自动获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |