CN112364869B - 一种车道线识别方法及装置 - Google Patents
一种车道线识别方法及装置 Download PDFInfo
- Publication number
- CN112364869B CN112364869B CN202110046314.5A CN202110046314A CN112364869B CN 112364869 B CN112364869 B CN 112364869B CN 202110046314 A CN202110046314 A CN 202110046314A CN 112364869 B CN112364869 B CN 112364869B
- Authority
- CN
- China
- Prior art keywords
- image
- road
- interest
- position information
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000003708 edge detection Methods 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000012535 impurity Substances 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开一种车道线识别方法及装置,该方法包括:基于所获得的道路图像以及预设图像处理操作,确定道路图像对应的感兴趣区域图像;基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定道路图像对应的消失点的图像位置信息;基于感兴趣区域图像以及预设直线拟合算法,拟合出感兴趣区域图像中的直线;基于感兴趣区域图像中的直线以及消失点的图像位置信息,确定出道路图像中的目标车道线,以实现对车道线的准确检测。
Description
技术领域
本发明涉及智能交通技术领域,具体而言,涉及一种车道线识别方法及装置。
背景技术
随着车辆的普及,利用传感器提高车辆对路面对象的辨识能力,给驾驶人更多的安全警示及辅助,从而提高车辆的主动安全性,已成为智能交通系统领域发展的重要方向。其中,车道线识别检测任务则是其中的重要一环,车道线的准确识别检测在一定程度上可以有效提高车辆的定位结果的准确,进而保证车辆的安全行驶,降低交通事故的发生率。
相关技术中,车道线识别检测任务中车道线的识别检测过程,一般为:对所获得的道路图像进行灰度变换以及高斯滤波处理,得到道路灰度图像;对道路灰度图像进行边缘检测,得到道路灰度图像对应的道路边缘图像,对道路边缘图像进行感兴趣区域检测,确定出感兴趣区域,其中,感兴趣区域包括道路边缘图像中边缘所在区域;利用感兴趣区域以及霍夫变换算法,确定出道路灰度图像中的车道线。以实现对道路灰度图像中的车道线的识别检测。
可见,上述过程中,针对车道线比较清晰的路面,其检测结果比较准确,而对于包含有如导向箭头、车道杂痕以及减速带等干扰线的复杂路面,由于干扰线的干扰,其检测结果准确性不高。
发明内容
本发明提供了一种车道线识别方法及装置,以实现对车道线的准确检测。具体的技术方案如下:
第一方面,本发明实施例提供了一种车道线识别方法,所述方法包括:
基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像;
基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息;
基于所述感兴趣区域图像以及预设直线拟合算法,拟合出所述感兴趣区域图像中的直线;
基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线。
可选的,所述基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像的步骤,包括:
对所述道路图像进行灰度处理,得到所述道路图像对应的道路灰度图像;
对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像;
对所述第一灰度图像进行边缘检测,得到所述道路灰度图像对应的道路边缘图像;
对所述道路边缘图像进行感兴趣区域提取,得到所述道路图像对应的感兴趣区域图像。
可选的,所述对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像的步骤,包括:
在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及所述道路灰度图像中各像素点的灰度值,确定所述道路灰度图像对应的第一灰度图像。
可选的,所述基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息的步骤,包括:
基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相较于一点的几何特性,构建目标二元函数,其中,所述目标二元函数的表达式为:
其中,表示目标二元函数的函数值, 表示消失点的图像位置信息, 表示第个目标兴趣点的图像位置信息,表示第 个目标兴趣点在预设极坐标系下的极坐标,表示目标兴趣点的个数,所述预设极坐标系为:以所述消失点的图像位置信息为极点,以所述道路图像的横轴所在方向为极轴方向的坐标系;
基于所述目标二元函数以及图像中平行线相较于一点的几何特性,确定所述道路图像对应的消失点的图像位置信息。
可选的,所述基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线的步骤,包括:
针对所述感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及所述消失点的图像位置信息,判断所述消失点是否在该直线上;
若判断所述消失点在直线上,将该直线确定为所述道路图像中的车道线;
若判断所述消失点不在直线上,将该直线确定为所述道路图像中的非车道线;
基于所确定出的车道线,确定所述道路灰度图像中的目标车道线。
可选的,所述基于所确定出的车道线,确定所述道路图像中的目标车道线的步骤,包括:
若所确定出的车道线的个数超过两条,基于各车道线与所述感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离;
基于所述车道线距离以及图像缩放比例,从所确定出的车道线中,确定出道路图像中的目标车道线。
第二方面,本发明实施例提供了一种车道线识别装置,所述装置包括:
第一确定模块,被配置为基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像;
第二确定模块,被配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息;
拟合模块,被配置为基于所述感兴趣区域图像以及预设直线拟合算法,拟合出所述感兴趣区域图像中的直线;
第三确定模块,被配置为基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线。
可选的,所述第一确定模块,包括:
灰度处理单元,被配置为对所述道路图像进行灰度处理,得到所述道路图像对应的道路灰度图像;
颜色处理单元,被配置为对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像;
边缘检测单元,被配置为对所述第一灰度图像进行边缘检测,得到所述道路灰度图像对应的道路边缘图像;
区域提取单元,被配置为对所述道路边缘图像进行感兴趣区域提取,得到所述道路图像对应的感兴趣区域图像。
可选的,所述颜色处理单元,被具体配置为在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及所述道路灰度图像中各像素点的灰度值,确定所述道路灰度图像对应的第一灰度图像。
可选的,所述第二确定模块,被具体配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相较于一点的几何特性,构建目标二元函数,其中,所述目标二元函数的表达式为:
其中, 表示目标二元函数的函数值, 表示消失点的图像位置信息, 表示第 个目标兴趣点的图像位置信息, 表示第 个目标兴趣点在预设极坐标系下的极坐标,表示目标兴趣点的个数,所述预设极坐标系为:以所述消失点的图像位置信息为极点,以所述道路图像的横轴所在方向为极轴方向的坐标系;
基于所述目标二元函数以及图像中平行线相较于一点的几何特性,确定所述道路图像对应的消失点的图像位置信息。
可选的,所述第三确定模块,包括:
判断单元,被配置为针对所述感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及所述消失点的图像位置信息,判断所述消失点是否在该直线上;
第一确定单元,被配置为若判断所述消失点在直线上,将该直线确定为所述道路图像中的车道线;
第二确定单元,被配置为若判断所述消失点不在直线上,将该直线确定为所述道路图像中的非车道线;
第三确定单元,被配置为基于所确定出的车道线,确定所述道路灰度图像中的目标车道线。
可选的,所述第三确定单元,被具体配置为若所确定出的车道线的个数超过两条,基于各车道线与所述感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离;
基于所述车道线距离以及图像缩放比例,从所确定出的车道线中,确定出道路图像中的目标车道线。
由上述内容可知,本发明实施例提供的一种车道线识别方法及装置,基于所获得的道路图像以及预设图像处理操作,确定道路图像对应的感兴趣区域图像;基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定道路图像对应的消失点的图像位置信息;基于感兴趣区域图像以及预设直线拟合算法,拟合出感兴趣区域图像中的直线;基于感兴趣区域图像中的直线以及消失点的图像位置信息,确定出道路图像中的目标车道线。
应用本发明实施例,可以基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定出图像中的消失点的图像位置信息,进而基于消失点的图像位置信息以及图像中拟合出的直线,从直线中确定出目标车道线,在一定程度上可以实现对图像中非车道线的直线的滤除,在一定程度上提高车道线的检测结果的准确性。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、可以基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定出图像中的消失点的图像位置信息,进而基于消失点的图像位置信息以及图像中拟合出的直线,从直线中确定出目标车道线,在一定程度上可以实现对图像中非车道线的直线的滤除,在一定程度上提高车道线的检测结果的准确性。
2、考虑到车道线杂痕的颜色与车道线颜色存在较大区别,在对道路图像进行图像处理的过程中,对图像进行预设颜色阈值处理,以将图像中出现的车道线杂痕滤除,在一定程度上降低后续的车道线识别的难度,并在一定程度上为提高车道线的检测结果的准确性提供基础。
3、参考车道线的直线特性,利用感兴趣区域图像中各目标兴趣点的图像位置信息,以及图像中平行线相较于一点的几何特性,即消失点到平行线的距离为0的特性,构建目标二元函数,进而利用图像中平行线相较于一点的几何特性,以将消失点的检测问题转换为一个求目标二元函数的最小值的问题,求解该目标二元函数,确定道路图像对应的消失点的图像位置信息,以确定出消失点的图像位置信息,为后续的车道线识别过程提供基础。
4、在所确定出的车道线的个数超过两条的情况下,考虑到道路图像为车辆行驶过程中所采集的图像,为了保证车辆定位的准确,进而保证车辆安全,需要确定出车辆所在车道对应的两条车道线,相应的,可以基于每相邻两条车道线之间的车道线距离以及图像缩放比例,从所确定出的车道线中,确定出道路图像中的目标车道线,以保证车辆的定位的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车道线识别方法的一种流程示意图;
图2为图1中S101的具体实现过程的一种示意图;
图3A为道路灰度图像的一种示意图;
图3B为道路灰度图像对应的道路边缘图像的一种示意图;
图4为各车道线与图像的第一图像边的交点的一种示意图;
图5为本发明实施例提供的车道线识别装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种车道线识别方法及装置,以实现对车道线的准确检测。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的车道线识别方法的一种流程示意图。该方法可以包括如下步骤:
S101:基于所获得的道路图像以及预设图像处理操作,确定道路图像对应的感兴趣区域图像。
其中,该预设图像处理操作至少包括:滤除该道路图像中车道线杂痕的操作。
本发明实施例所提供的车道线识别方法,可以应用于任一具有计算能力的电子设备,该电子设备可以为终端或者服务器。在一种实现中,实现该方法的功能软件可以以单独的客户端软件的形式存在,也可以以目前相关的客户端软件的插件的形式存在,这都是可以的。
在一种实现中,电子设备可以首先获得道路图像,其中,该道路图像可以是车辆行驶过程中通过其所设置的图像采集设备所采集的图像,该道路图像包括车辆所在区域的路面情况。该图像采集设备可以被设置于车辆的前方,针对车辆行驶情况的路面情况采集图像。
后续的,电子设备基于预设图像处理操作,对道路图像进行处理,得到道路图像对应的感兴趣区域图像。
相应的,电子设备可以为车载设备,设置于该车辆内部,另一方面,该电子设备可以为非车载设备,该电子设备可以与该车辆设置的车载设备进行通信,获得该车辆的图像采集设备所采集的图像,作为道路图像。
在一种实现方式中,该电子设备可以设置于车道保持辅助系统,车道保持辅助系统为ADAS(Advanced Driving Assistant System,高级驾驶辅助系统)中的一种。其中,车道保持辅助系统是:在ADAS中的车道偏离预警系统(LDWS)的基础上,对其所服务车辆刹车的控制协调装置进行控制的系统。该ADAS是利用安装于车辆上的各式各样的传感器所收集的车辆内部和外部的环境数据,进行静、动态物体的辨识、侦测与追踪等技术上的处理,从而能够让车辆驾驶者或车辆在最快的时间察觉可能发生的危险,以引起注意和提高安全性的主动安全技术。车道保持辅助系统包括ADAS摄像头即上述的图像采集设备,电子控制单元ECU 以及执行元件三部分组成,执行元件可以包括车辆的刹车以及方向盘等控制部件。其中,该电子设备所实现功能即为ECU 所需实现功能。
其中,上述的图像采集设备可以为ADAS摄像头。ADAS 摄像头同时具备广角拍摄和红外夜视能力,既可以实现对马路复杂路况的大角度拍摄,又可以在夜晚或者道路有阴影时能排出比较清晰的图像,更好的应用于车道线的识别流程。
在本发明的一种实现方式中,该预设图像处理操作至少包括:滤除该道路图像中车道线杂痕的操作,还包括灰度处理、边缘检测以及感兴趣区域提取等。如图2所示,所述S101,可以包括如下步骤S201-S204:
S201:对道路图像进行灰度处理,得到道路图像对应的道路灰度图像。
S202:对道路灰度图像进行预设颜色阈值处理,得到道路灰度图像对应的第一灰度图像。
S203:对第一灰度图像进行边缘检测,得到道路灰度图像对应的道路边缘图像。
S204:对道路边缘图像进行感兴趣区域提取,得到道路图像对应的感兴趣区域图像。
本实现方式中,电子设备获得道路图像之后,对道路图像进行灰度处理,得到道路图像对应的道路灰度图像,如图3A所示。对道路灰度图像进行预设颜色阈值处理,即滤除掉该道路图像中车道线杂痕,得到道路灰度图像对应的第一灰度图像。利用预设边缘检测算法,对第一灰度图像进行边缘检测,得到道路灰度图像对应的道路边缘图像,其中,该道路边缘图像包括图像中各边缘位置,该边缘位置为图像中明暗交替明显的位置,如图3B所示,为道路灰度图像对应的道路边缘图像的一种示意图。通过边缘检测可以更加清晰的凸显出图像中车道线等线条的特征。对道路边缘图像进行感兴趣区域提取,即对道路边缘图像中的边缘位置所在区域进行提取,得到道路图像对应的感兴趣区域图像。该预设边缘检测算法可以为Sobel边缘检测算法。
在一种情况中,上述得到道路图像对应的感兴趣区域图像的过程可以是:基于预设的感兴趣区域掩膜,与道路边缘图像进行与门操作,以得到道路图像对应的感兴趣区域图像,其中,该感兴趣区域掩膜可以为梯形掩膜。
可以理解的,上述道路灰度图像、第一灰度图像、道路边缘图像以及感兴趣区域图像的尺寸与道路图像的尺寸相同。
在一种情况中,上述对道路图像的处理过程中所使用的处理算法为基于python语言的处理算法。
在本发明的一种实现方式中,所述S202,可以包括如下步骤011:
011:在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及道路灰度图像中各像素点的灰度值,确定道路灰度图像对应的第一灰度图像。
本实现方式中,电子设备得到道路灰度图像之后,对道路灰度图像进行预设颜色阈值处理,即在预设颜色空间的指定通道下,将该道路灰度图像中各像素点的灰度值,与该指定通道对应的颜色阈值范围比较,若像素点的灰度值落入该指定通道对应的颜色阈值范围内,则保留该像素点的灰度值;若像素点的灰度值未落入该指定通道对应的颜色阈值范围内,则将该像素点的灰度值设置为预设值,其中,该预设值不属于该指定通道对应的颜色阈值范围。
其中,该预设颜色空间可以为RGB(Red Green Blue,红绿蓝)颜色空间,该指定通道可以为一个或多个通道。一种情况中,在指定通道为多个时,需要将道路灰度图像中各像素点的灰度值,分别于每一通道对应的颜色阈值范围进行比较,若像素点的灰度值均落入每一通道对应的颜色阈值范围,保留该像素点的灰度值;若像素点的灰度值未落入至少一通道对应的颜色阈值范围,则将该像素点的灰度值设置为预设值。
S102:基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定道路图像对应的消失点的图像位置信息。
感兴趣区域图像中包括各兴趣点,及其图像位置信息,该目标兴趣点可以是全部或部分满足预设条件的兴趣点,这都是可以的,其中,该满足预设条件的兴趣点可以是:处于各线段区域的中心的兴趣点或指定位置的兴趣点。
可以理解的是,车道线一般为平行线,在有限范围内,可以将车道线认为为直线,图像中平行线的几何特性一般包括图像中的平行线都相较于消失点,即消失点到各平行线的距离为0。相应的,电子设备可以基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定道路图像对应的消失点的图像位置信息。
S103:基于感兴趣区域图像以及预设直线拟合算法,拟合出感兴趣区域图像中的直线。
本步骤中,电子设备可以首先基于霍夫变换算法以及感兴趣区域图像中各兴趣点的图像位置信息,从感兴趣区域图像中检测出直线线段,进而基于所检测出的直线线段的走向趋势,对各直线线段进行连接,以拟合出感兴趣区域图像中的直线。在一种情况中,难免出现由于地势情况,导致直线线段出现扭曲的情况即感兴趣区域图像中存在曲线的情况,针对该类情况,可以预先基于最小二乘法将曲线拟合成直线,基于霍夫变换算法以及感兴趣区域图像中拟合之后的各兴趣点的图像位置信息,从感兴趣区域图像中检测出直线线段,这也是可以的。
其中,感兴趣区域图像中的各直线可以通过直线对应的直线表达式表示。
S104:基于感兴趣区域图像中的直线以及消失点的图像位置信息,确定出道路图像中的目标车道线。
本步骤中,电子设备可以基于感兴趣区域图像中的直线对应的直线表达式,确定出各直线对应的图像位置信息;参照理论上各车道线为平行线,且图像中各平行线均相较于消失点的几何特性,基于各直线对应的图像位置信息以及消失点的图像位置信息,判断各直线是否经过消失点;进而,基于各直线是否经过消失点的判断结果,确定出道路图像中的车道线;基于所确定的车道线确定出目标车道线。
一种情况,可以将所确定出的各车道线均确定为目标车道线。另一种情况,该道路图像为车辆在行驶过程中,通过车辆所设置的图像采集设备所采集的图像,为了保证车辆定位结果的准确,相应的保证车辆的安全,一般需要准确确定出车辆所在车道对应的两条车道线。鉴于此,在所确定出的车道线的条数多于两个的情况下,电子设备需要从所确定出的车道线中筛选出满足车道线筛选条件的车道线,作为目标车道线。在所确定出的车道线的条数为两个的情况下,电子设备直接将确定出的车道线确定为目标车道线。
应用本发明实施例,可以基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定出图像中的消失点的图像位置信息,进而基于消失点的图像位置信息以及图像中拟合出的直线,从直线中确定出目标车道线,在一定程度上可以实现对图像中非车道线的直线的滤除,在一定程度上提高车道线的检测结果的准确性。
本发明实施例所提供的车道线识别流程可以针对复杂路面中的车道线进行准确识别,是的车道线识别过程更加完善,可以适用于更多的车道线识别的场景。
在本发明的另一实施例中,所述S102,可以包括如下步骤021-022:
021:基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相较于一点的几何特性,构建目标二元函数,其中,目标二元函数的表达式为:
其中, 表示目标二元函数的函数值, 表示消失点的图像位置信息, 表示第 个目标兴趣点的图像位置信息, 表示第 个目标兴趣点在预设极坐标系下的极坐标,表示目标兴趣点的个数,预设极坐标系为:以消失点的图像位置信息为极点,以道路图像的横轴所在方向为极轴方向的坐标系。
022:基于目标二元函数以及图像中平行线相较于一点的几何特性,确定道路图像对应的消失点的图像位置信息。
本实现方式中,在有限范围内,认为车道线为直线,相应的,车道线对应的含极坐标参数的表达式为:
鉴于图像中平行线相较于一点即消失点的几何特性,基于感兴趣区域图像中各目标兴趣点的图像位置信息以及该几何特性,构建目标二元函数,具体的,目标二元函数的表达式为:
其中, 表示目标二元函数的函数值, 表示消失点的图像位置信息, 表示第 个目标兴趣点的图像位置信息, 表示第 个目标兴趣点在预设极坐标系下的极坐标, 表示目标兴趣点的个数,预设极坐标系为:以消失点的图像位置信息为极点,以道路图像的横轴所在方向为极轴方向的坐标系。
基于图像中平行线相较于一点即消失点的几何特性,将消失点的检测问题即确定消失点的图像位置信息的问题转换为求目标二元函数的函数值的最小值的问题,对目标二元函数中x和y求偏导数,且偏导数等于0,在上述目标二元函数的函数值达到最小值的情况下,此时所得的x和y即为消失点的图像位置信息。
具体的,可以表示为:
在本发明的另一实施例中,所述S104,可以包括如下步骤031-034:
031:针对感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及消失点的图像位置信息,判断消失点是否在该直线上。
032:若判断消失点在直线上,将该直线确定为道路图像中的车道线。
033:若判断消失点不在直线上,将该直线确定为道路图像中的非车道线。
034:基于所确定出的车道线,确定道路灰度图像中的目标车道线。
本实现方式中,在确定道路图像中的目标车道线的过程中,鉴于车道线为平行线,且图像中平行线相较于一点即消失点的几何特征,电子设备可以针对感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及消失点的图像位置信息,计算消失点到直线的距离,以通过该消失点到直线的距离,判断消失点是否在该直线上。其中,可以是:在消失点到直线的距离不大于预设距离阈值的情况下,可以判断消失点在直线上,相应的,将该直线确定为道路图像中的车道线。反之,在消失点到直线的距离大于预设距离阈值的情况下,可以判断消失点不在直线上,相应的,将该直线确定为道路图像中的非车道线。
在一种情况中,为了保证所确定出的车道线的准确性,避免出现车道线的误检的情况,上述预设距离阈值可以设置为0,或者,鉴于在图像识别过程中难免出现存在识别误差的情况,为了避免车道线的漏检,可以设置预设距离阈值稍微大于零,例如预设距离阈值设置为0.1,这也是可以的。
在本发明的另一实施例中,所述034,可以包括如下步骤0341-0342:
0341:若所确定出的车道线的个数超过两条,基于各车道线与感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离。
0342:基于车道线距离以及图像缩放比例,从所确定出的车道线中,确定出道路图像中的目标车道线。
在一种情况中,道路图像为车辆在行驶过程中所采集的图像,为了保证车辆定位
的准确,需要确定出车辆所在车道对应的两个车道线,即目标车道线。相应的,电子设备若
所确定出的车道线的个数超过两条,可以依次基于各车道线对应的直线表达式,确定出各
车道线与道路图像的第一图像边的交点的坐标,即各车道线与道路图像的第一图像边的交
点图像位置信息。基于各车道线与感兴趣区域图像的第一图像边的交点的图像位置信息,
确定位置相邻的每两个车道线之间的距离,作为车道线距离。如图4所示,其中, 、 和 分别表示所确定出的车道线 、 和 分别表示 和第一图像边的交点, 和
第一图像边的交点,以及 和第一图像边的交点。 表示 和 之间的距离, 表
示 和 之间的距离,即车道线距离。
基于车道线距离以及图像缩放比例,从所确定出的车道线中,确定出所对应车道线距离符合车道线距离阈值的两条车道线,作为目标车道线,即道路图像中的目标车道线。
其中,感兴趣区域图像的第一图像边即为道路图像的第一图像边,道路图像的第一图像边为:道路图像的底边,该底边所对应的场景区域为与车辆距离最近的场景区域,且为道路图像中消失点所在边的对立边。
相应于上述方法实施例,本发明实施例提供了一种车道线识别装置,如图5所示,所述装置可以包括:
第一确定模块510,被配置为基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像;
第二确定模块520,被配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息;
拟合模块530,被配置为基于所述感兴趣区域图像以及预设直线拟合算法,拟合出所述感兴趣区域图像中的直线;
第三确定模块540,被配置为基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线。
应用本发明实施例,可以基于感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定出图像中的消失点的图像位置信息,进而基于消失点的图像位置信息以及图像中拟合出的直线,从直线中确定出目标车道线,在一定程度上可以实现对图像中非车道线的直线的滤除,在一定程度上提高车道线的检测结果的准确性。
在本发明的另一实施例中,所述第一确定模块510,包括:
灰度处理单元(图中未示出),被配置为对所述道路图像进行灰度处理,得到所述道路图像对应的道路灰度图像;
颜色处理单元(图中未示出),被配置为对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像;
边缘检测单元(图中未示出),被配置为对所述第一灰度图像进行边缘检测,得到所述道路灰度图像对应的道路边缘图像;
区域提取单元(图中未示出),被配置为对所述道路边缘图像进行感兴趣区域提取,得到所述道路图像对应的感兴趣区域图像。
在本发明的另一实施例中,所述颜色处理单元,被具体配置为在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及所述道路灰度图像中各像素点的灰度值,确定所述道路灰度图像对应的第一灰度图像。
在本发明的另一实施例中,所述第二确定模块520,被具体配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相较于一点的几何特性,构建目标二元函数,其中,所述目标二元函数的表达式为:
其中, 表示目标二元函数的函数值,表示消失点的图像位置信息, 表示第 个目标兴趣点的图像位置信息, 表示第 个目标兴趣点在预设极坐标系下的极坐标, 表示目标兴趣点的个数,所述预设极坐标系为:以所述消失点的图像位置信息为极点,以所述道路图像的横轴所在方向为极轴方向的坐标系;
基于所述目标二元函数以及图像中平行线相较于一点的几何特性,确定所述道路图像对应的消失点的图像位置信息。
在本发明的另一实施例中,所述第三确定模块540,包括:
判断单元(图中未示出),被配置为针对所述感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及所述消失点的图像位置信息,判断所述消失点是否在该直线上;
第一确定单元(图中未示出),被配置为若判断所述消失点在直线上,将该直线确定为所述道路图像中的车道线;
第二确定单元(图中未示出),被配置为若判断所述消失点不在直线上,将该直线确定为所述道路图像中的非车道线;
第三确定单元(图中未示出),被配置为基于所确定出的车道线,确定所述道路灰度图像中的目标车道线。
在本发明的另一实施例中,所述第三确定单元,被具体配置为若所确定出的车道线的个数超过两条,基于各车道线与所述感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离;
基于所述车道线距离以及图像缩放比例,从所确定出的车道线中,确定出道路图像中的目标车道线。
上述系统、装置实施例与系统实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (6)
1.一种车道线识别方法,其特征在于,所述方法包括:
基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像,其中,所述预设图像处理操作至少包括:滤除该道路图像中车道线杂痕的操作;
基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息;
基于所述感兴趣区域图像以及预设直线拟合算法,拟合出所述感兴趣区域图像中的直线;
基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线;
其中,所述基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线的步骤,包括:
针对所述感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及所述消失点的图像位置信息,判断所述消失点是否在该直线上;
若判断所述消失点在直线上,将该直线确定为所述道路图像中的车道线;
若判断所述消失点不在直线上,将该直线确定为所述道路图像中的非车道线;
基于所确定出的车道线,确定道路灰度图像中的目标车道线;
其中,所述基于所确定出的车道线,确定所述道路灰度图像中的目标车道线的步骤,包括:
若所确定出的车道线的个数超过两条,则依次基于各车道线对应的直线表达式,确定出各车道线与道路图像的第一图像边的交点的坐标,作为各车道线与道路图像的第一图像边的交点图像位置信息;基于各车道线与感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离;基于所述车道线距离以及图像缩放比例,从所确定出的车道线中,确定出所对应车道线距离符合车道线距离阈值的两条车道线,作为道路图像中的目标车道线;
其中,感兴趣区域图像的第一图像边即为道路图像的第一图像边,道路图像的第一图像边为:道路图像的底边,该底边所对应的场景区域为与车辆距离最近的场景区域,且为道路图像中消失点所在边的对立边;
其中,所述基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息的步骤,包括:
基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相交于一点的几何特性,构建目标二元函数,其中,所述目标二元函数的表达式为:
其中,表示目标二元函数的函数值,表示消失点的图像位置信息,表示第个目标兴趣点的图像位置信息,表示第个目标兴趣点在预设极坐标系下的极坐标,表示目标兴趣点的个数,所述预设极坐标系为:以所述消失点的图像位置信息为极点,以所述道路图像的横轴所在方向为极轴方向的坐标系;
基于所述目标二元函数以及图像中平行线相交于一点的几何特性,确定所述道路图像对应的消失点的图像位置信息。
2.如权利要求1所述的方法,其特征在于,所述基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像的步骤,包括:
对所述道路图像进行灰度处理,得到所述道路图像对应的道路灰度图像;
对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像;
对所述第一灰度图像进行边缘检测,得到所述道路灰度图像对应的道路边缘图像;
对所述道路边缘图像进行感兴趣区域提取,得到所述道路图像对应的感兴趣区域图像。
3.如权利要求2所述的方法,其特征在于,所述对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像的步骤,包括:
在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及所述道路灰度图像中各像素点的灰度值,确定所述道路灰度图像对应的第一灰度图像。
4.一种车道线识别装置,其特征在于,所述装置包括:
第一确定模块,被配置为基于所获得的道路图像以及预设图像处理操作,确定所述道路图像对应的感兴趣区域图像,其中,所述预设图像处理操作至少包括:滤除该道路图像中车道线杂痕的操作;
第二确定模块,被配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线的几何特性,确定所述道路图像对应的消失点的图像位置信息;
拟合模块,被配置为基于所述感兴趣区域图像以及预设直线拟合算法,拟合出所述感兴趣区域图像中的直线;
第三确定模块,被配置为基于所述感兴趣区域图像中的直线以及所述消失点的图像位置信息,确定出所述道路图像中的目标车道线;
其中,所述第三确定模块,包括:
判断单元,被配置为针对所述感兴趣区域图像中的每一直线,基于该直线对应的图像位置信息以及所述消失点的图像位置信息,判断所述消失点是否在该直线上;
第一确定单元,被配置为若判断所述消失点在直线上,将该直线确定为所述道路图像中的车道线;
第二确定单元,被配置为若判断所述消失点不在直线上,将该直线确定为所述道路图像中的非车道线;
第三确定单元,被配置为基于所确定出的车道线,确定道路灰度图像中的目标车道线;
其中,所述第三确定单元,被具体配置为:
若所确定出的车道线的个数超过两条,则依次基于各车道线对应的直线表达式,确定出各车道线与道路图像的第一图像边的交点的坐标,作为各车道线与道路图像的第一图像边的交点图像位置信息;基于各车道线与感兴趣区域图像的第一图像边的交点的图像位置信息,确定位置相邻的每两个车道线之间的距离,作为车道线距离;基于所述车道线距离以及图像缩放比例,从所确定出的车道线中,确定出所对应车道线距离符合车道线距离阈值的两条车道线,作为道路图像中的目标车道线;
其中,感兴趣区域图像的第一图像边即为道路图像的第一图像边,道路图像的第一图像边为:道路图像的底边,该底边所对应的场景区域为与车辆距离最近的场景区域,且为道路图像中消失点所在边的对立边;
其中,所述第二确定模块,被具体配置为基于所述感兴趣区域图像中各目标兴趣点的图像位置信息以及图像中平行线相交于一点的几何特性,构建目标二元函数,其中,所述目标二元函数的表达式为:
其中,表示目标二元函数的函数值,表示消失点的图像位置信息,表示第个目标兴趣点的图像位置信息,表示第个目标兴趣点在预设极坐标系下的极坐标,表示目标兴趣点的个数,所述预设极坐标系为:以所述消失点的图像位置信息为极点,以所述道路图像的横轴所在方向为极轴方向的坐标系;
基于所述目标二元函数以及图像中平行线相交于一点的几何特性,确定所述道路图像对应的消失点的图像位置信息。
5.如权利要求4所述的装置,其特征在于,所述第一确定模块,包括:
灰度处理单元,被配置为对所述道路图像进行灰度处理,得到所述道路图像对应的道路灰度图像;
颜色处理单元,被配置为对所述道路灰度图像进行预设颜色阈值处理,得到所述道路灰度图像对应的第一灰度图像;
边缘检测单元,被配置为对所述第一灰度图像进行边缘检测,得到所述道路灰度图像对应的道路边缘图像;
区域提取单元,被配置为对所述道路边缘图像进行感兴趣区域提取,得到所述道路图像对应的感兴趣区域图像。
6.如权利要求5所述的装置,其特征在于,所述颜色处理单元,被具体配置为在预设颜色空间的指定通道下,基于该指定通道对应的颜色阈值范围以及所述道路灰度图像中各像素点的灰度值,确定所述道路灰度图像对应的第一灰度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110046314.5A CN112364869B (zh) | 2021-01-14 | 2021-01-14 | 一种车道线识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110046314.5A CN112364869B (zh) | 2021-01-14 | 2021-01-14 | 一种车道线识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112364869A CN112364869A (zh) | 2021-02-12 |
CN112364869B true CN112364869B (zh) | 2021-09-28 |
Family
ID=74534978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110046314.5A Active CN112364869B (zh) | 2021-01-14 | 2021-01-14 | 一种车道线识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112364869B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989956A (zh) * | 2021-02-20 | 2021-06-18 | 潍柴动力股份有限公司 | 基于感兴趣区域的红绿灯识别方法、系统及存储介质 |
CN118470687A (zh) * | 2024-05-30 | 2024-08-09 | 北京瞰天科技有限公司 | 一种基于大模型的目标体系数据智能分析系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105893949B (zh) * | 2016-03-29 | 2019-07-12 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
JP6889005B2 (ja) * | 2017-04-05 | 2021-06-18 | 株式会社Soken | 道路パラメータ推定装置 |
CN111291601B (zh) * | 2018-12-07 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 车道线识别方法和装置以及电子设备 |
CN110930459B (zh) * | 2019-10-29 | 2023-02-17 | 北京经纬恒润科技股份有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
CN111563412B (zh) * | 2020-03-31 | 2022-05-17 | 武汉大学 | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 |
-
2021
- 2021-01-14 CN CN202110046314.5A patent/CN112364869B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112364869A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bilal et al. | Real-time lane detection and tracking for advanced driver assistance systems | |
US10255509B2 (en) | Adaptive lane marker detection for a vehicular vision system | |
US8391555B2 (en) | Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle | |
US10078789B2 (en) | Vehicle parking assist system with vision-based parking space detection | |
US8750567B2 (en) | Road structure detection and tracking | |
KR101392850B1 (ko) | 영상인식 기반의 차선 이탈 감지 방법 및 시스템 | |
CN107392139B (zh) | 一种基于霍夫变换的车道线检测方法及终端设备 | |
CN103714538B (zh) | 道路边缘检测方法、装置及车辆 | |
CN109299674B (zh) | 一种基于车灯的隧道违章变道检测方法 | |
EP2477139A2 (en) | Lane departure warning system and method | |
CN112364869B (zh) | 一种车道线识别方法及装置 | |
CN110388928B (zh) | 导航系统和导航地图的更新方法、装置 | |
US20160034769A1 (en) | Vehicle vision system with traffic sign recognition | |
JP2011175468A (ja) | 区画線検出装置 | |
KR101922852B1 (ko) | 영상 기반 색상정보를 이용한 초지 경계 검출 방법 | |
WO2020182691A1 (en) | Method for training and using a neural network to detect ego part position | |
CN106650730A (zh) | 汽车变道过程中的转向灯检测方法和系统 | |
JP2012190258A (ja) | エッジ点抽出装置、車線検出装置、およびプログラム | |
Devane et al. | Lane detection techniques using image processing | |
CN106803073B (zh) | 基于立体视觉目标的辅助驾驶系统及方法 | |
KR101651061B1 (ko) | 차선인식 방법 및 장치 | |
CN108389177B (zh) | 一种车辆保险杠破损检测方法及交通安全预警方法 | |
CN106803064B (zh) | 一种交通灯快速识别方法 | |
US10417518B2 (en) | Vehicle camera system | |
CN105740806B (zh) | 一种基于多视角的透视变换目标特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |