CN117058636A - 车道线检测方法、装置、电子设备及存储介质 - Google Patents

车道线检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117058636A
CN117058636A CN202310909911.5A CN202310909911A CN117058636A CN 117058636 A CN117058636 A CN 117058636A CN 202310909911 A CN202310909911 A CN 202310909911A CN 117058636 A CN117058636 A CN 117058636A
Authority
CN
China
Prior art keywords
edge
feature point
edge feature
vehicle
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310909911.5A
Other languages
English (en)
Inventor
刘帅
崔诗雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ofilm Intelligent Vehicle Co ltd
Original Assignee
Shanghai Ofilm Intelligent Vehicle Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ofilm Intelligent Vehicle Co ltd filed Critical Shanghai Ofilm Intelligent Vehicle Co ltd
Priority to CN202310909911.5A priority Critical patent/CN117058636A/zh
Publication of CN117058636A publication Critical patent/CN117058636A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种车道线检测方法、装置、电子设备及存储介质,该方法应用于车载终端,该方法包括:获取车辆的环境图像;对环境图像进行边缘特征点识别,以得到环境图像中包含的各个车道标识的边缘特征点,边缘特征点包括多个第一边缘特征点和多个第二边缘特征点;将多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组;根据各个车道标识对应的多个目标特征点配对组,筛选得到距离车辆最近的车道标识,作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果。实施本申请实施例,能够提高车道线检测的准确率。

Description

车道线检测方法、装置、电子设备及存储介质
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种车道线检测方法、装置、电子设备及存储介质。
背景技术
对于智能车辆来说,车道线检测是自动驾驶技术中的重要环节,可以帮助车辆识别道路上的车道线,实现自动驾驶,车道偏离预警、车道变换、车道保持、自动泊车等自动驾驶功能都需要建立在车道线检测的基础上。在实际驾驶场景中,车道线可能因路面磨损、遮挡、以及光照变化等原因变得难以检测。因此,如何准确地检测车道线成了亟需解决的问题。
发明内容
本申请实施例公开了一种车道线检测方法、装置、电子设备及存储介质,能够提高车道线检测的准确率。
本申请实施例公开了一种车道线检测方法,应用于车载终端;所述方法包括:
获取车辆的环境图像;
对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,所述边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与所述车辆之间的距离,大于第二边缘特征点与所述车辆之间的距离;
将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组;
根据所述各个车道标识对应的多个目标特征点配对组,筛选得到距离所述车辆最近的车道标识,作为目标车道线,并根据所述目标车道线对应的多个目标特征点配对组对所述目标车道线进行拟合,以得到所述目标车道线对应的拟合结果。
本申请实施例通过对环境图像进行边缘特征点识别得到各个车道标识的边缘特征点,从而能够从车辆的周围环境中准确提取出属于车道标识的边缘特征点,并且将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且能够从中筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,并且避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
在一个实施例中,所述对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,包括:
通过边缘检测算子对所述环境图像做卷积处理,得到所述环境图像中各个像素点的梯度值,所述边缘检测算子包括核大小为1*N的卷积核,N为大于1的奇数,所述卷积核包括N个元素,所述卷积核中,排列在第Y个的元素,与排列在第N-Y+1个的元素互为相反数,Y为小于或等于N的正整数,且Y不等于(N+1)/2;
根据所述各个像素点的梯度值以及梯度阈值,从所述各个像素点中确定所述环境图像中包含的各个车道标识的边缘特征点。
本申请实施例基于车道线等车道标识的形状特征,只需考虑环境图像中X方向的灰度变化,通过核大小为1*N的卷积核对环境图像做卷积处理,使得对车道标识的边缘特征点的提取更加有效和准确。
在一个实施例中,所述根据所述各个像素点的梯度值以及梯度阈值,从所述各个像素点中确定所述环境图像中包含的各个车道标识的边缘特征点,包括:
将所述各个像素点中梯度值大于第一梯度阈值的像素点确定为所述各个车道标识的第一边缘特征点,以及,将梯度值小于第二梯度阈值的像素点确定为所述各个车道标识的第二边缘特征点,所述第一梯度阈值和所述第二梯度阈值互为相反数,且所述第一梯度阈值大于所述第二梯度阈值。
本申请实施例通过互为相反数的第一梯度阈值和第二梯度阈值,能够从环境图像的各个像素点中更有效、准确地提取出各个车道标识上的第一边缘特征点和第二边缘特征点。
在一个实施例中,所述将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组,包括:
根据第一距离阈值,将属于所述车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到与所述车辆同侧对应的多个第一特征点配对组;
根据第二距离阈值,将所述车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于所述车辆同侧的各个所述车道标识对应的多个目标特征点配对组。
本申请实施例根据第一距离阈值将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且进一步根据第二距离阈值对位于车辆同侧的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对和精细的合并处理之后,得到了多个更为有效、准确的目标特征点配对组,并根据各个车道标识对应的目标特征点配对组筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,并且避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
在一个实施例中,所述根据第一距离阈值,将属于所述车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,包括:
从属于所述车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与所述目标第一边缘特征点之间的距离小于所述第一距离阈值的第二边缘特征点,作为与所述目标第一边缘特征点配对的第二边缘特征点,所述目标第一边缘特征点为属于所述车辆同侧的多个第一边缘特征点中的任意一个第一边缘特征点。
本申请实施例从属于车辆同侧的多个第二边缘特征点中确定与目标第一边缘特征点配对的第二边缘特征点,不仅根据第一距离阈值筛选出距离符合第一距离阈值的第二边缘特征点,并且从距离符合第一距离阈值的第二边缘特征点中,将与目标第一边缘特征点距离最近的第二边缘特征点作为与目标第一边缘特征点配对的第二边缘特征点,有利于提高特征点配对的准确度和效率。
在一个实施例中,所述从属于所述车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与所述目标第一边缘特征点之间的距离小于所述第一距离阈值的第二边缘特征点,作为与所述目标第一边缘特征点配对的第二边缘特征点,包括:
按照第一边缘特征点距离所述车辆由远到近的顺序,逐一对属于所述车辆同侧的各个第一边缘特征点进行配对;
针对每个第一边缘特征点,按照第二边缘特征点距离所述车辆由远到近的顺序,确定属于所述车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离,判断所述第一距离是否小于所述第一距离阈值,若是,则确定所述当前的第二边缘特征点为与所述当前的第一边缘特征点配对的第二边缘特征点,若否,则将下一未配对的第二边缘特征点作为新的当前第二边缘特征点,并重新执行所述确定属于所述车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离的步骤。
本申请实施例基于第一距离阈值,以及基于第一边缘特征点距离车辆由远到近的顺序和第二边缘特征点距离车辆由远到近的顺序对第一边缘特征点和第二边缘特征点进行配对,可以进一步筛除无效的第一边缘特征点和第二边缘特征点,从而高效、准确地得到位于车辆同侧对应的多个第一特征点配对组,提高车道线检测的效率和准确率。
在一个实施例中,所述根据第二距离阈值,将所述车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于所述车辆同侧的各个所述车道标识对应的多个目标特征点配对组,包括:
按照第二边缘特征点距离所述车辆由远到近的顺序,以及按照第一边缘特征点距离所述车辆由近到远的顺序,确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离,判断所述第二距离是否小于所述第二距离阈值;
若是,则确定所述当前的第一边缘特征点为与所述当前的第二边缘特征点重新配对的第一边缘特征点,并将所述当前的第二边缘特征点、所述当前的第二边缘特征点在所述多个第一特征点配对组中配对的第一边缘特征点、所述当前的第一边缘特征点以及所述当前的第一边缘特征点在所述多个第一特征点配对组中配对的第二边缘特征点进行合并,得到目标特征点配对组,并且,将下一未合并的第二边缘特征点作为新的当前的第二边缘特征点,并重新执行所述确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤;
若否,则将下一第一边缘特征点作为新的当前的第一边缘特征点,并重新执行所述确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤。
本申请实施例基于第二距离阈值,按照第二边缘特征点距离车辆由远到近的顺序,以及按照第一边缘特征点距离车辆由近到远的顺序,对位于车辆同侧对应的多个第一特征点配对组包含的多个第一边缘特征点以及多个第二边缘特征点进行重新配对,以及精细的合并处理,得到了多个更为有效、准确的目标特征点配对组,有助于提高车道线检测的准确率和效率。
本申请实施例公开了一种车道线检测装置,应用于车载终端;所述装置包括:
获取模块,用于获取车辆的环境图像;
识别模块,用于对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,所述边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与所述车辆之间的距离,大于第二边缘特征点与所述车辆之间的距离;
配对模块,用于将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组;
拟合模块,用于根据所述各个车道标识对应的多个目标特征点配对组,筛选得到距离所述车辆最近的车道标识,作为目标车道线,并根据所述目标车道线对应的多个目标特征点配对组对所述目标车道线进行拟合,以得到所述目标车道线对应的拟合结果。
本申请实施例公开了一种电子设备,包括:
存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,执行上述任一实施例所述的方法。
本申请实施例公开了一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序在被处理器执行时,使得所述处理器执行上述任一实施例所述的方法。
通过本申请实施例公开的车道线检测方法、装置、电子设备及存储介质,对车辆的环境图像进行特征点识别,以得到环境图像中包含的各个车道标识的多个第一边缘特征点和多个第二边缘特征点;对属于同一车道标识的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个特征点配对组,并将距离车辆最近的车道标识作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对所述目标车道线进行拟合,以得到目标车道线对应的拟合结果。
因此,本申请实施例对环境图像进行边缘特征点识别得到各个车道标识的边缘特征点,从而能够从车辆的周围环境中准确提取出属于车道标识的边缘特征点,并且将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且能够从中筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,并且避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图进行简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种车道线检测方法的应用场景示意图;
图2是本申请实施例公开的一种车道线检测方法的流程示意图;
图3a是本申请实施例公开的一种车身坐标系的示意图;
图3b是本申请实施例公开的一种车辆的前部相机检测到的感兴趣区域的示意图;
图3c是本申请实施例公开的一种车辆的后部相机检测到的感兴趣区域的示意图;
图3d是本申请实施例公开的一种车辆的左侧相机检测到的感兴趣区域的示意图;
图3e是本申请实施例公开的一种车辆的右侧相机检测到的感兴趣区域的示意图;
图3f是本申请实施例公开的一种鸟瞰图像中映射得到的感兴趣区域的示意图;
图4是本申请实施例公开的一种环境图像中包含的各个车道标识的边缘特征点的示意图;
图5是本申请实施例公开的另一种车道线检测方法的流程示意图;
图6a是本申请实施例公开的一种卷积核扫描方式及卷积处理结果示意图;
图6b是本申请实施例公开的一种1*5的卷积核的示意图;
图7是本申请实施例公开的另一种车道线检测方法的流程示意图;
图8a是本申请实施例公开的一种将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对的方法示意图;
图8b是本申请实施例公开的一种将车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对和合并的方法示意图;
图9是本申请实施例公开的一种车道线检测装置的结构示意图;
图10是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中,车道线检测方法可以是根据直方图思想来筛选属于车道线的候选特征点,并进行最小二乘拟合的方法,但是在道路中出现多条车道线时很难准确选择需要的车道线数据;或者,车道线检测方法可以是基于投票思想的霍夫变换(Hough)变换直线检测算法,但是该方法实时性差,而且在复杂环境下检测出来的直线存在一定的斜率误差,准确率不高,难以运用于在线标定等场景中;或者,车道线检测方法可以是基于深度学习的语义分割的车道线检测算法,由于是逐像素预测的,所以耗时会大,并不高效;或者,车道线检测方法可以是基于深度学习的基于锚框(anchor box)机制的目标检测方法,但是在车辆变道,或者在弯曲道路驾驶时,效果会差。
对于智能汽车来说,车载摄像头是实现众多预警、识别类高级辅助驾驶功能的基础,比如自动紧急刹车、车道偏离预警、车道保持、自动泊车等都需要建立在图像识别的基础上,进而实现车道线、障碍物以及行人检测。由于相机标定在辅助驾驶系统中扮演着至关重要的角色,相机标定可以通过计算相机的内参和外参,将图像中的像素坐标转换为实际世界中的物理坐标,并且可以确保相机能够准确地识别和定位车辆周围的物体和场景。
目前相机标定的方法大多数是在汽车出厂前,基于标定板对静止状态下的汽车进行标定,该方法利用标定板在图像平面的成像位置,计算出相机的内外参数,对于标定的环境要求较高,并且在车辆使用过程中,标定数据会因为镜头维修、胎压降低、物理碰撞等各种原因发生改变,此时让车辆重新做标定会带来极大的不便。因此,在线标定方法显得尤为便利和重要,在线标定可以解决车辆出厂后对任意一个相机进行标定修复的问题,实现车辆在出厂后的行驶过程中完成相机标定,降低了对标定场地的要求。但是,考虑到车辆在运行一段时间或者在颠簸过程中摄像头位置的偏移,为了有效地实现在线标定,需要对车辆行驶过程中周围环境的车道线等路面数据进行检测。
本申请实施例公开了一种车道线检测方法、装置、电子设备及存储介质,能够提高车道线检测的准确率。以下将结合附图进行详细描述。
请参阅图1,图1是本申请实施例公开的一种车道线检测方法的应用场景示意图。车辆10包括车载终端20和摄像头30。
车载终端20可以包括车载控制器等车载电子设备,本申请实施例不做限定。车载终端20可设置于车辆10的内部。
摄像头30可以包括但不限于广角摄像头、鱼眼摄像机等,具体不作限定。
在车辆10的行驶过程中,摄像头30可以采集车辆10的环境图像;环境图像可包含车辆10的周围环境的车道标识40,车道标识40可包括但不限于车道线、路面箭头、库位线、停止线等交通标线。车载终端20可通过摄像头30采集车辆10的环境图像,以根据环境图像对车道线进行检测。
请进一步参阅图2,图2是本申请实施例公开的一种车道线检测方法的流程示意图。其中,图2所描述的车道线检测方法适用于车载终端。如图2所示,该车道线检测方法可以包括以下步骤:
201、获取车辆的环境图像。
车载终端可通过摄像头获取车辆的环境图像。
在一些实施例中,摄像头的数量可以为多个,多个摄像头可以环绕车辆的车身进行设置,使得车载终端可以获取到各个摄像头在不同角度采集的车辆的环境图像。如图1所示,4个摄像头可分别设置于车辆的前部、后部、左侧和右侧。可选的,车辆的左侧和右侧的摄像头可以是设置于车辆的翼镜或者侧门上。
由于车道线等车道标识在广角摄像头或者鱼眼摄像头直接采集到的图像中具有很大的畸变,呈现弯曲状,不利于车道线检测。在一些实施例中,车载终端可以对各个摄像头采集的图像进行拼接,得到鸟瞰(Bird-Eye View,BEV)图像,作为车辆的环境图像。鸟瞰图像可以生成一个虚拟的位于车辆上方的相机视角向下进行观察的效果,从而提供车辆周围环境的完整的360度的视图。因此,车载终端将拼接得到的鸟瞰图像作为车辆的环境图像,可以减少车道线等车道标识的畸变,提高车道检测的准确度。
202、对环境图像进行边缘特征点识别,以得到环境图像中包含的各个车道标识的边缘特征点。
由于车载终端在完整的环境图像(比如完整的鸟瞰图像)中提取特征点会十分耗时,无法达到实时性的要求;并且,提取出的特征点的数量会非常巨大,不利于进一步对特征点进行筛选。因此,在一些实施例中,车载终端在对环境图像进行边缘特征点识别,以得到环境图像中包含的各个车道标识的边缘特征点之前,可以在环境图像中确定感兴趣区域(Region of Interest,ROI),从而在环境图像的感兴趣区域中进行特征点识别,以得到感兴趣区域中包含的各个车道标识的边缘特征点。
如图3a所示,图3a是本申请实施例公开的一种车身坐标系的示意图。车辆的车身坐标系以车的后轮轴心的中心作为原点,X轴和车身前后方向平行,Y轴和后轮轴线平行,Z轴垂直地面向下。根据实际应用场景的需求,车载终端可在车身坐标系下确定距离车辆的车身一定距离的区域作为感兴趣区域。如图3b~图3e所示,图3b示出了在车身坐标系下,车辆的前部相机检测到的感兴趣区域301;图3c示出了在车身坐标系下,车辆的后部相机检测到的感兴趣区域302;图3d示出了在车身坐标系下,车辆的左侧相机检测到的感兴趣区域303;图3e示出了在车身坐标系下,车辆的右侧相机检测到的感兴趣区域304。
作为一种可选的实施方式,车载终端在车身坐标系下确定感兴趣区域之后,可基于相机的成像原理,利用相机外参(平移、旋转)和相机内参(焦距、偏心距、畸变)等参数,实现将感兴趣区域从车身坐标系下映射到环境图像中,从而在环境图像中确定感兴趣区域。比如,车载终端可以将感兴趣区域从车身坐标系映射到鸟瞰图像中,如图3f所示,图3f为本申请实施例公开的一种鸟瞰图像中映射得到的感兴趣区域的示意图,图3f的鸟瞰图像中包括车辆10的前部相机检测到的感兴趣区域301、车辆10的后部相机检测到的感兴趣区域302、车辆10的左侧相机检测到的感兴趣区域303和车辆10的右侧相机检测到的感兴趣区域304。可见,通过划分感兴趣区域,不仅大大减少处理的特征点数量,提高检测速度,从而满足实时检测的要求,非常有利于后续对特征点进行筛选的操作。
在一些实施例中,车载终端对环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,可以包括如下步骤:通过边缘检测算子对环境图像做卷积处理,得到环境图像中各个像素值的梯度值;根据各个像素点的梯度值以及梯度阈值,从各个像素点中确定环境图像中包含的各个车道标识的边缘特征点,边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与车辆之间的距离,大于第二边缘特征点与车辆之间的距离。
边缘检测算子可以将卷积核作为一个窗口在环境图像中滑动,通过卷积操作计算环境图像中每个像素点的梯度值;卷积核用于对图像中的每个像素点进行卷积操作来提取图像中的特征点,卷积核可以是一个二维矩阵或者数组。卷积操作可以是将卷积核与环境图像在窗口中对应的像素点进行逐元素相乘,并将相乘得到的结果求和,得到卷积操作的结果。边缘检测算子可包括但不限于Sobel算子、Roberts算子和Prewitt算子等一阶差分算子,以及拉普拉斯算子等二阶差分算子。
在计算得到各个像素点对应的梯度值之后,可选取合适的梯度阈值从各个像素点中确定环境图像中包含的各个车道标识的边缘特征点。在一些实施例中,车载终端根据各个像素点的梯度值以及梯度阈值,从各个像素点中确定环境图像中包含的各个车道标识的边缘特征点,可以包括如下步骤:
将各个像素点中梯度值大于第一梯度阈值的像素点确定为各个车道标识的第一边缘特征点,以及,将梯度值小于第二梯度阈值的像素点确定为各个车道标识的第二边缘特征点,第一梯度阈值和第二梯度阈值之间的符号相反。
第一梯度阈值和第二梯度阈值的绝对值可以是相近或者相等的数值,比如,第一梯度阈值可以是60,第二梯度阈值可以是-50;或者,第一梯度阈值可以是60,第二梯度阈值可以是-60。
需要说明的是,在同一个车道标识中,第一边缘特征点和第二边缘特征点的梯度值符号是不同的,因为边缘检测算子对于边缘的响应是根据灰度变化的方向来确定的,第一边缘特征点是一个车道标识中距离车辆较远的一侧,第二边缘特征点是一个车道标识中距离车辆较近的一侧,因此,两者是在同一车道标识的两侧,卷积核在环境图像中滑动时,由于第一边缘特征点和第二边缘特征点的灰度变化的方向相反,因此对应的梯度方向相反,梯度值符号也相反。因此,第一梯度阈值和第二梯度阈值之间的符号是相反的,具体哪个为正数,哪个为负数,是根据定义的正方向确定的,在此不作限定。
请参阅图4,图4是本申请实施例公开的一种环境图像中包含的各个车道标识的边缘特征点的示意图。如图4所示,边缘特征点包括多个第一边缘特征点401和多个第二边缘特征点402,属于同一车道标识的第一边缘特征401点与车辆10之间的距离,大于第二边缘特征点402与车辆10之间的距离。
需要说明的是,本申请实施例中第一边缘特征点、第二边缘特征点分别与车辆之间的距离,可以指在图像中的像素距离。比如,第一边缘特征点与车辆之间的距离,可以是在环境图像中第一边缘特征点与车辆对应的中心像素点之间的距离。
203、将多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组。
在一些实施例中,车载终端可以根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组。
需要说明的是,车辆同侧可以是是车辆的左侧、右侧、前方和后方等,比如,车辆同侧可以是指图3d所示的车辆左侧的感兴趣区域,也可以是指图3e所示的车辆右侧的感兴趣区域。车辆同侧对应的感兴趣区域可以包括车道线、停止线、库位线、路面箭头等多种车道标识。将多个第一边缘特征点和多个第二边缘特征点之间的配对在车辆的同一侧中进行,可有效提高边缘特征点配对的效率和准确率。
由于在真实的道路上,车道线的实际宽度一般在15厘米~30厘米之间,假设在环境图像中每一个像素点在水平方向上的宽度对应真实世界是约为2.5厘米的实际宽度,在一些实施例中,第一距离阈值可以为5~15个像素点的宽度,从而对应真实世界中的实际宽度为5*2.5厘米~15*2.5厘米。基于该第一距离阈值,车载终端可将属于车辆同侧的第一边缘特征点和第二边缘特征点在满足该第一距离阈值的条件下进行匹配,由此可以将无效的边缘特征点进行筛除。比如,车载终端可以将属于车辆同侧的、彼此之间距离小于第一距离阈值的第一边缘特征点和第二边缘特征点进行配对,得到各个车道标识对应的多个目标特征点配对组。
这样不仅可以筛除不属于车道标识的边缘特征点,而且按照车道线在真实道路上的实际宽度确定第一距离阈值,也可以筛除一部分不符合车道线的实际宽度的车道标识的边缘特征点。在将无效的边缘特征点筛除之后,更有利于提高车道线检测的效率和准确率。
204、根据各个车道标识对应的多个目标特征点配对组,筛选得到距离车辆最近的车道标识,作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果。
由于在实际的道路场景中,通常是会有多个车道标识同时出现,但是很多时候并不需要将所有的车道标识都检测出来,比如在进行对相机在线标定的过程中如果检测到太多的车道线,反而会造成在线标定的效率下降。因此,在多个车道标识同时出现时,可保留距离车辆最近的车道标识,作为目标车道线,并且仅根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果,避免对多余的车道线进行拟合,提高了车道线检测的效率和准确率。
需要说明的是,车载终端计算车辆与车道标识之间的距离,可以指在图像中的像素距离。比如,车载终端可以计算车道标识对应的各个第一边缘特征点和各个第二边缘特征点与车辆对应的中心像素点之间的平均距离,作为车道标识与车辆之间的距离。
在一些实施例中,对目标车道线进行拟合的方式,可以包括但不限于随机采样一致性(Random Sample Consensus,RANSAC)算法、最小二乘法等。
本申请实施例的方法可适用于对车辆的相机等传感器进行在线标定的应用场景,在线标定由于特殊的标定环境在道路上存在光线明暗,反光等各种原因影响,使用传统的车道线检测方法无法准确有效地检测出车道线信息,通过本申请实施例提出的车道线检测方法可以大大提高检测车道线的准确性以及检测效率。
本申请实施例通过对环境图像进行边缘特征点识别得到各个车道标识的边缘特征点,从而能够从车辆的周围环境中准确提取出属于车道标识的边缘特征点,并且将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且能够从中筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,并且避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
请进一步参阅图5,图5是本申请实施例公开的另一种车道线检测方法的流程示意图,该车道线检测方法可以应用于车载终端,该车道线检测方法可以包括如下步骤:
501、获取车辆的环境图像。
502、通过边缘检测算子对环境图像做卷积处理,得到环境图像中各个像素点的梯度值。
在本申请实施例中,边缘检测算子包括核大小为1*N的卷积核,N为大于1的奇数,卷积核包括N个元素;卷积核中,排列在第Y个的元素,与排列在第N-Y+1个的元素互为相反数,Y为小于或等于N的正整数,且Y不等于(N+1)/2。
由于传统的边缘检测算子(比如Robert算子和Sobel算子)都是利用核大小为3*3的卷积核进行边缘提取和检测,这些传统的边缘检测算子适用于图像的X、Y方向的灰度变化都较为平缓的情况,在复杂的道路环境中,这些传统的边缘检测算子难以准确地提取车道线的边缘特征点,从而为进一步边缘特征点的筛选工作带来麻烦。
因此,本申请实施例提出了核大小为1*N的卷积核,更适用于车道线等车道标识的形状特征,只需考虑环境图像中X方向的灰度变化,使得对车道标识的边缘特征点的提取更加有效和准确,有助于后续更加便利地筛选边缘特征点。举例来说,如图4所示,车道标识40包括车道线,车道线在环境图像中是沿着竖直方向(Y方向)延伸的,车道线中水平两侧的灰度与周围的像素点的灰度是存在明显差异,基于该差异,可以只需要考虑在水平方向(即X方向)的灰度变化,就可以有效地提取出边缘特征点,并且基于灰度变化的方向还可将边缘特征点确定为第一边缘特征点401和第二边缘特征点402。
具体地,可以通过1*N的卷积核对环境图像进行逐行、逐像素进行扫描,如图6a所示,图6a是本申请实施例公开的一种卷积核扫描方式及卷积处理结果示意图。可见,卷积核对环境图像进行逐行扫描,并且在每行像素点中按照从左至右的顺序对该行的像素点进行逐像素扫描,在对各个像素点进行卷积处理之后,在车道标识中远离车辆的一侧会出现梯度值的峰值,在车道标识中靠近车辆的一侧会出现梯度值的谷值。
在一些实施例中,边缘检测算子可以是核大小为1*5的卷积核,该卷积核包括的5个元素分别为-1、-1、0、1、1。如图6b所示,图6b是本申请实施例公开的一种1*5的卷积核的示意图。可见,该卷积核中,排列在第1个的元素,与排列在第5个的元素互为相反数;排列在第2个的元素,与排列在第4个的元素互为相反数;排列在第3个的元素,位于5个元素的中心,不存在与之对应的元素。
由于卷积核的长度对应的真实世界中的距离值,一般为车道线的实际宽度的0.5~1倍比较合适。假设环境图像(比如鸟瞰图像)的尺寸,宽度为230毫米,而该环境图像的230毫米宽度实际对应真实世界的实际距离为5米,因此,可知该环境图像沿着行方向(水平方向)上的每个像素点对应真实世界的宽度为:5000/230=21.7毫米,约等于2.2厘米。卷积核中的元素的尺寸与环境图像中的像素点的尺寸一致,因此卷积核中的元素对应真实世界的宽度也为2.2厘米。在真实的道路上,车道线的实际宽度一般为10厘米~25厘米之间,车道线的实际宽度的0.5~1倍大致为5厘米~25厘米之间。
因此,将卷积核的核大小为1*5,即卷积核的长度为5*2.2=11厘米,卷积核的长度符合对应真实世界的车道线的实际宽度的0.5~1倍。可见,卷积核的核大小为1*N,N的数值可以根据环境图像沿着行方向上的每个像素点对应真实世界的宽度确定。
在上述例子的基础上,假设环境图像(比如鸟瞰图像)的尺寸宽度变为k倍,即(230*k)毫米,环境图像变化后的宽度实际对应真实世界的实际距离仍然为5米,则卷积核中N的数值变为(5-1)*k+1。因此,卷积核的长度可以根据环境图像沿着行方向上的每个像素点对应真实世界的宽度进行调整,提高了卷积核对环境图像进行卷积操作的灵活性。
上述实施例考虑到车道线等车道标识在真实世界的实际宽度,并且根据环境图像沿着行方向上的每个像素点对应真实世界的宽度,创造性地提出了核大小为1*5的卷积核,更好地适用于车道线等车道标识的形状特征,使得该卷积核能够非常高效、准确地对车道标识的边缘特征点进行提取,为后续对边缘特征点的筛选工作带来便利。
503、根据各个像素点的梯度值以及梯度阈值,从各个像素点中确定环境图像中包含的各个车道标识的边缘特征点。
边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与车辆之间的距离,大于第二边缘特征点与车辆之间的距离。
在一些实施例中,车载终端将各个像素点中梯度值大于第一梯度阈值的像素点确定为各个车道标识的第一边缘特征点,以及,将梯度值小于第二梯度阈值的像素点确定为各个车道标识的第二边缘特征点,第一梯度阈值和第二梯度阈值互为相反数,第一梯度阈值大于第二梯度阈值。
比如,第一梯度阈值可以是60,第二梯度阈值可以是-60,在边缘检测算子通过1*N的卷积核对环境图像进行逐行、逐像素进行扫描之后,可以将梯度值大于60的像素点作为车道标识的第一边缘特征点,将梯度值小于-60的像素点作为车道标识的第二边缘特征点。
上述实施例第一梯度阈值和第二梯度阈值的绝对值相同,但是互为相反数,能够更有效、准确地提取出各个车道标识上的第一边缘特征点和第二边缘特征点。
504、将多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组。
505、根据各个车道标识对应的多个目标特征点配对组,筛选得到距离车辆最近的车道标识,作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果。
本申请实施例基于车道线等车道标识的形状特征,只需考虑环境图像中X方向的灰度变化,通过核大小为1*N的卷积核对环境图像做卷积处理,使得对车道标识的边缘特征点的提取更加有效和准确;并且将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且能够从中筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,并且避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
请进一步参阅图7,图7是本申请实施例公开的另一种车道线检测方法的流程示意图,该车道线检测方法可以应用于车载终端,该车道线检测方法可以包括如下步骤:
701、获取车辆的环境图像。
702、对环境图像进行边缘特征点识别,以得到环境图像中包含的各个车道标识的边缘特征点。
边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与车辆之间的距离,大于第二边缘特征点与车辆之间的距离。
703、根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到与车辆同侧对应的多个第一特征点配对组。
在一些实施例中,车载终端根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,可以包括如下步骤:
从属于车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与目标第一边缘特征点之间的距离小于第一距离阈值的第二边缘特征点,作为与目标第一边缘特征点配对的第二边缘特征点,目标第一边缘特征点为属于车辆同侧的多个第一边缘特征点中的任意一个第一边缘特征点。
需要说明的是,可以对环境图像中的每一行边缘特征点都执行上述的配对过程。环境图像一般包括多行多列的像素点,其中有些像素点在通过边缘特征点识别之后被确定为边缘特征点(第一边缘特征点或第二边缘特征点)。车载终端可以是对环境图像中每一行的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组。一般来说,车道线的方向一般是与环境图像中每一行边缘特征点的行方向是垂直的。
比如,属于车辆同侧的多个第一边缘特征点为A0、B0、C0、D0,属于车辆同侧的多个第二边缘特征点为E0、F0、G0、H0,目标第一边缘特征点为属于车辆同侧的多个第一边缘特征点中的任意一个第一边缘特征点,假设目标第一边缘特征点为B0;若与B0之间的距离小于第一距离阈值的第二边缘特征点为G0和H0,这样与B0之间符合第一距离阈值的条件的第二边缘特征点有两个,因此要再从中筛选出与B0进行配对的第二边缘特征点,因此可以将G0和H0中距离B0最近的第二边缘特征点,作为与B0配对的第二边缘特征点。上述实施例从属于车辆同侧的多个第二边缘特征点中确定与目标第一边缘特征点配对的第二边缘特征点,不仅根据第一距离阈值筛选出距离符合第一距离阈值的第二边缘特征点,并且从距离符合第一距离阈值的第二边缘特征点中,将与目标第一边缘特征点距离最近的第二边缘特征点作为与目标第一边缘特征点配对的第二边缘特征点,有利于提高特征点配对的准确度和效率。
由于在真实的道路上,车道线的实际宽度一般在15厘米~30厘米之间,第一距离阈值可根据车道线的实际宽度确定,比如,第一距离阈值可以是30厘米或者40厘米。
进一步地,在一些实施例中,车载终端从属于车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与目标第一边缘特征点之间的距离小于第一距离阈值的第二边缘特征点,作为与目标第一边缘特征点配对的第二边缘特征点,可以包括如下步骤:
按照第一边缘特征点距离所述车辆由远到近的顺序,逐一对属于车辆同侧的各个第一边缘特征点进行配对;针对每个第一边缘特征点,按照第二边缘特征点距离车辆由远到近的顺序,确定属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离,判断第一距离是否小于第一距离阈值,若是,则确定当前的第二边缘特征点为与当前的第一边缘特征点配对的第二边缘特征点,若否,则将下一未配对的第二边缘特征点作为新的当前第二边缘特征点,并重新执行确定属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离的步骤。其中,第一距离为属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的距离。
上述实施例基于第一距离阈值,以及基于第一边缘特征点距离车辆由远到近的顺序和第二边缘特征点距离车辆由远到近的顺序对第一边缘特征点和第二边缘特征点进行配对,可以进一步筛除无效的第一边缘特征点和第二边缘特征点,从而高效、准确地得到位于车辆同侧对应的多个第一特征点配对组,提高车道线检测的效率和准确率。
下面结合图8a对上述实施例进行说明,图8a是本申请实施例公开的一种将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对的方法示意图。图8a包括车辆左侧的边缘特征点,车辆左侧的边缘特征点包括多个第一边缘特征点401和多个第二边缘特征点402,多个第一边缘特征点401包括特征点X、特征点Y和特征点Z,多个第二边缘特征点402包括特征点M和特征点N。特征点X、特征点Y、特征点Z、特征点M和特征点N都位于环境图像中的同一行。
因此,按照第一边缘特征点距离车辆由远到近的顺序,逐一对属于车辆同侧的各个第一边缘特征点进行配对,由于车辆位于图8a中的边缘特征点的右侧,因此按照第一边缘特征点距离车辆由远到近的顺序分别是特征点X、特征点Y和特征点Z,因此首先对特征点X进行配对。
首先将特征点X作为当前的第一边缘特征点,按照第二边缘特征点距离车辆由远到近的顺序,即将特征点M作为当前的第二边缘特征点,确定特征点M与特征点X之间的第一距离,若第一距离小于第一距离阈值,则确定特征点M与特征点X配对;若第一距离大于第一距离阈值,则确定下一未配对的第二边缘特征点为特征点N,作为新的当前第二边缘特征点,并重新执行确定属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离的步骤。
若特征点M与特征点X配对成功,则按照第一边缘特征点距离车辆由远到近的顺序,将特征点Y作为当前的第一边缘特征点,并将下一未配对的第二边缘特征点(特征点N)作为当前的第二边缘特征点,若特征点Y与特征点N之间的第一距离小于第一距离阈值,则确定特征点Y与特征点N配对成功。此时,对于剩下的一个第一边缘特征点(特征点Z),无法找到用于匹配的第二边缘特征点,因此特征点Z配对失败。
在一些实施例中,车载终端还可以执行如下步骤:若存在配对失败的第一边缘特征点和/或配对失败的第二边缘特征点,则将配对失败的第一边缘特征点和/或配对失败的第二边缘特征点从属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点中剔除。
上述实施例通过将配对失败的第一边缘特征点和/或配对失败的第二边缘特征点剔除,可以提高对第一边缘特征点和第二边缘特征点进行配对的效率,同时避免无效的边缘特征点的干扰,从而高效、准确地得到位于车辆同侧对应的多个第一特征点配对组,提高车道线检测的效率和准确率。
第一边缘特征点配对失败的情况可包括:对于当前的第一边缘特征点,找不到下一未配对的第二边缘特征点;或者,当前的第一边缘特征点,与任何一个第二边缘特征点均无法满足彼此之间的第一距离小于第一距离阈值的要求。第二边缘特征点配对失败的情况可包括:在各个第一边缘特征点均已配对成功的情况下,存在第二边缘特征点尚未配对;与任意一个第一边缘特征点均无法满足彼此之间的第一距离小于第一距离阈值的要求。
需要说明的是,图8a所示的配对过程可以是环境图像中任意一行中的边缘特征点之间进行配对的过程,对于环境图像中每一行的边缘特征点都可以进行如图8a所示的配对过程。
704、根据第二距离阈值,将车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于车辆同侧的各个车道标识对应的多个目标特征点配对组。
在一些实施例中,车载终端可以将位于车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,可以是将彼此之间距离小于第二距离阈值的第一边缘特征点和第二边缘特征点进行配对,第二距离阈值可以小于第一距离阈值。通过设置不同的距离阈值进行重新配对,可以对上次配对的结果进行验证以及纠正,从而得到多个目标特征点配对组,提高了边缘特征点配对的准确性;并且重新配对过程也是车辆的同一侧内进行,提高了边缘特征点配对的效率。
由于在根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对之后,会得到车辆同侧对应的多个第一特征点配对组,第一特征点配对组的数量过多,也不利于车道线检测的效率和准确率,因此,需要对多个第一特征点配对组进行更精细地配对以及合并处理。在另一些实施例中,车载终端根据第二距离阈值,将车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于车辆同侧的各个车道标识对应的多个目标特征点配对组,可以包括如下步骤:
按照第二边缘特征点距离车辆由远到近的顺序,以及按照第一边缘特征点距离车辆由近到远的顺序,确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离,判断第二距离是否小于第二距离阈值;
若是,则确定当前的第一边缘特征点为与当前的第二边缘特征点重新配对的第一边缘特征点,并将当前的第二边缘特征点、当前的第二边缘特征点在多个第一特征点配对组中配对的第一边缘特征点、当前的第一边缘特征点以及当前的第一边缘特征点在多个第一特征点配对组中配对的第二边缘特征点进行合并,得到目标特征点配对组;并且,将下一未合并的第二边缘特征点作为新的当前的第二边缘特征点,并重新执行确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤;
若否,则将下一第一边缘特征点作为新的当前的第一边缘特征点,并重新执行确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤。其中,第二距离为车辆同侧对应的各个第一特征点配对组中当前的第一边缘特征点与当前的第二边缘特征点之间的距离。
下面结合图8b对上述实施例进行说明,图8b是本申请实施例公开的一种将车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对和合并的方法示意图。图8b包括了位于车辆右侧的多个第一边缘特征点和多个第二边缘特征点,图8b所示的各个第一边缘特征点和各个第二边缘特征点可以为环境图像中某一行的边缘特征点,假设图8b包括的各个边缘特征点位于环境图像的第149行。
其中,多个第二边缘特征点分别为特征点A1、特征点B1、特征点C1、特征点D1、特征点E1,假设上述多个第二边缘特征点分别位于环境图像的第149行中的425列、449列、469列、493列、525列。多个第一边缘特征点分别为特征点A2、特征点B2、特征点C2、特征点D2和特征点E2,假设上述多个第一边缘特征点分别位于环境图像的第149行中的444列、462列、477列、498列、530列。
在根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对之后,特征点A1和特征点A2为同一第一特征点配对组,特征点B1和特征点B2为同一第一特征点配对组,特征点C1和特征点C2为同一第一特征点配对组,特征点D1和特征点D2为同一第一特征点配对组,特征点E1和特征点E2为同一第一特征点配对组。
因此,要将位于车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,可以按照第二边缘特征点距离车辆由远到近的顺序,以及按照第一边缘特征点距离车辆由近到远的顺序,如图8b所示,首先从图8b中最左侧的第二边缘特征点(特征点A1)开始计算,将特征点A1作为当前的第二边缘特征点,依次将最右侧的第一边缘特征点(特征点E2)、次最右侧的第一边缘特征点(特征点D2),……,直至遍历到距离特征点A1最近的第一边缘特征点(特征点A2)作为当前的第一边缘特征点,计算当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离,可在上述的遍历计算过程中将第一次出现的彼此之间第二距离小于第二距离阈值的当前的第二边缘特征点和当前的第一边缘特征点进行重新配对。
比如,若第二距离阈值为40,特征点E2和特征点A1之间的距离为105,特征点D2和特征点A1之间的距离为73,特征点C2和特征点A1之间的距离为52,特征点B2和特征点A1之间的距离为37,因此,特征点B2为第一次出现的与特征点A1之间的第二距离小于第二距离阈值40的第一边缘特征点,因此,将特征点B2与特征点A1重新配对,并将特征点A1、与特征点A1原先在第一特征点配对组配对的特征点A2、以及特征点B2、与特征点B2原先在第一特征点配对组配对的特征点B1进行合并,得到一个目标特征点配对组。
并且,将下一未合并的第二边缘特征点(特征点C1)作为新的当前的第二边缘特征点,重新执行上述确定位于车辆同侧对应的多个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤,若特征点E2与特征点C1之间的第二距离为61,特征点D2与特征点C1之间的第二距离为20,小于第二距离阈值40,因此,将特征点D2和特征点C1重新配对,并且将特征点D2、特征点C2、特征点D1和特征点C1进行合并,得到一个目标特征点配对组。
最后剩下的特征点E1和特征点E2之间的第二距离小于第二距离阈值,因此将特征点E1和特征点E2进行重新配对和合并,得到一个目标特征点配对组。
上述实施例基于第二距离阈值,按照第二边缘特征点距离车辆由远到近的顺序,以及按照第一边缘特征点距离车辆由近到远的顺序,对位于车辆同侧对应的多个第一特征点配对组包含的多个第一边缘特征点以及多个第二边缘特征点进行重新配对,以及精细的合并处理,得到了多个更为有效、准确的目标特征点配对组,有助于提高车道线检测的准确率和效率。
传统的车道线检测方法由于图像的噪声以及其他光线等因素的干扰,一般存在诸多干扰点并产生误检的情况,大大影响标定结果的准确性,本专利中采用特征点的配对、合并、筛选的策略,有效地过滤掉无效的边缘特征点,提高车道线检测的准确性和效率,非常适用于对车辆的相机等传感器进行在线标定的场景。
705、根据各个车道标识对应的多个目标特征点配对组,筛选得到距离车辆最近的车道标识,作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果。
本申请实施例对环境图像进行边缘特征点识别得到各个车道标识的边缘特征点,从而能够从车辆的周围环境中准确提取出属于车道标识的边缘特征点,并且将根据第一距离阈值将多个第一边缘特征点和多个第二边缘特征点之间进行配对,从而可以有效过滤无效的边缘特征点,从而准确地确定出各个车道标识对应的多个目标特征点配对组,并且进一步根据第二距离阈值对位于车辆同侧的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对和精细的合并处理之后,得到了多个更为有效、准确的目标特征点配对组,并根据各个车道标识对应的目标特征点配对组筛选得到距离车辆最近的车道标识作为目标车道线,提高了对车道线检测的准确率,避免了在检测到多条车道线时无法确定目标车道线,从而对多余的车道线进行拟合的问题。
如图9所示,图9是本申请实施例公开的一种车道线检测装置的结构示意图,该车道线检测装置900包括:获取模块910、识别模块920、配对模块930和拟合模块940;
获取模块910,用于获取车辆的环境图像;
识别模块920,用于对环境图像进行边缘特征点识别,以得到环境图像中包含的各个车道标识的边缘特征点,边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与车辆之间的距离,大于第二边缘特征点与车辆之间的距离;
配对模块930,用于将多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到各个车道标识对应的多个目标特征点配对组;
拟合模块940,用于根据各个车道标识对应的多个目标特征点配对组,筛选得到距离车辆最近的车道标识,作为目标车道线,并根据目标车道线对应的多个目标特征点配对组对目标车道线进行拟合,以得到目标车道线对应的拟合结果。
在一个实施例中,识别模块920还用于通过边缘检测算子对环境图像做卷积处理,得到环境图像中各个像素点的梯度值,边缘检测算子包括核大小为1*N的卷积核,N为大于1的奇数,卷积核包括N个元素,卷积核中,排列在第Y个的元素,与排列在第N-Y+1个的元素互为相反数,Y为小于或等于N的正整数,且Y不等于(N+1)/2;根据各个像素点的梯度值以及梯度阈值,从各个像素点中确定环境图像中包含的各个车道标识的边缘特征点。
在一个实施例中,识别模块920还用于将各个像素点中梯度值大于第一梯度阈值的像素点确定为各个车道标识的第一边缘特征点,以及,将梯度值小于第二梯度阈值的像素点确定为各个车道标识的第二边缘特征点;第一梯度阈值和第二梯度阈值互为相反数,第一梯度阈值大于第二梯度阈值。
在一个实施例中,配对模块930还用于根据第一距离阈值,将属于车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到与车辆同侧对应的多个第一特征点配对组;根据第二距离阈值,将车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于车辆同侧的各个车道标识对应的多个目标特征点配对组。
在一个实施例中,配对模块930还用于从属于车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与目标第一边缘特征点之间的距离小于第一距离阈值的第二边缘特征点,作为与目标第一边缘特征点配对的第二边缘特征点;目标第一边缘特征点为属于车辆同侧的多个第一边缘特征点中的任意一个第一边缘特征点。
在一个实施例中,配对模块930还用于按照第一边缘特征点距离车辆由远到近的顺序,逐一对属于车辆同侧的各个第一边缘特征点进行配对;针对每个第一边缘特征点,按照第二边缘特征点距离车辆由远到近的顺序,确定属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离,判断第一距离是否小于第一距离阈值,若是,则确定当前的第二边缘特征点为与当前的第一边缘特征点配对的第二边缘特征点,若否,则将下一未配对的第二边缘特征点作为新的当前第二边缘特征点,并重新执行确定属于车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离的步骤。
在一个实施例中,配对模块930还用于按照第二边缘特征点距离车辆由远到近的顺序,以及按照第一边缘特征点距离车辆由近到远的顺序,确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离,判断第二距离是否小于第二距离阈值;
若是,则确定当前的第一边缘特征点为与当前的第二边缘特征点重新配对的第一边缘特征点,并将当前的第二边缘特征点、当前的第二边缘特征点在多个第一特征点配对组中配对的第一边缘特征点、当前的第一边缘特征点以及当前的第一边缘特征点在多个第一特征点配对组中配对的第二边缘特征点进行合并,得到目标特征点配对组;并且,将下一未合并的第二边缘特征点作为新的当前的第二边缘特征点,并重新执行确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤;若否,则将下一第一边缘特征点作为新的当前的第一边缘特征点,并重新执行确定车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤。
如图10所示,在一个实施例中,提供一种电子设备,该电子设备可以包括:存储有可执行程序代码的存储器1010;与存储器1010耦合的处理器1020;处理器1020调用存储器1010中存储的可执行程序代码,可实现如上述各实施例中提供的车道线检测方法。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行上述各实施例中所描述的方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种车道线检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车道线检测方法,其特征在于,应用于车载终端;所述方法包括:
获取车辆的环境图像;
对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,所述边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与所述车辆之间的距离,大于第二边缘特征点与所述车辆之间的距离;
将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组;
根据所述各个车道标识对应的多个目标特征点配对组,筛选得到距离所述车辆最近的车道标识,作为目标车道线,并根据所述目标车道线对应的多个目标特征点配对组对所述目标车道线进行拟合,以得到所述目标车道线对应的拟合结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,包括:
通过边缘检测算子对所述环境图像做卷积处理,得到所述环境图像中各个像素点的梯度值,所述边缘检测算子包括核大小为1*N的卷积核,N为大于1的奇数,所述卷积核包括N个元素,所述卷积核中,排列在第Y个的元素,与排列在第N-Y+1个的元素互为相反数,Y为小于或等于N的正整数,且Y不等于(N+1)/2;
根据所述各个像素点的梯度值以及梯度阈值,从所述各个像素点中确定所述环境图像中包含的各个车道标识的边缘特征点。
3.根据权利要求2所述的方法,其特征在于,所述根据所述各个像素点的梯度值以及梯度阈值,从所述各个像素点中确定所述环境图像中包含的各个车道标识的边缘特征点,包括:
将所述各个像素点中梯度值大于第一梯度阈值的像素点确定为所述第一边缘特征点,以及,将梯度值小于第二梯度阈值的像素点确定为所述第二边缘特征点,所述第一梯度阈值和所述第二梯度阈值互为相反数,且所述第一梯度阈值大于所述第二梯度阈值。
4.根据权利要求1所述的方法,其特征在于,所述将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组,包括:
根据第一距离阈值,将属于所述车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,得到与所述车辆同侧对应的多个第一特征点配对组;
根据第二距离阈值,将所述车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于所述车辆同侧的各个所述车道标识对应的多个目标特征点配对组。
5.根据权利要求4所述的方法,其特征在于,所述根据第一距离阈值,将属于所述车辆同侧的多个第一边缘特征点和多个第二边缘特征点之间进行配对,包括:
从属于所述车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与所述目标第一边缘特征点之间的距离小于所述第一距离阈值的第二边缘特征点,作为与所述目标第一边缘特征点配对的第二边缘特征点,所述目标第一边缘特征点为属于所述车辆同侧的多个第一边缘特征点中的任意一个第一边缘特征点。
6.根据权利要求5所述的方法,其特征在于,所述从属于所述车辆同侧的多个第二边缘特征点中,确定与目标第一边缘特征点之间的距离最小,且与所述目标第一边缘特征点之间的距离小于所述第一距离阈值的第二边缘特征点,作为与所述目标第一边缘特征点配对的第二边缘特征点,包括:
按照第一边缘特征点距离所述车辆由远到近的顺序,逐一对属于所述车辆同侧的各个第一边缘特征点进行配对;
针对每个第一边缘特征点,按照第二边缘特征点距离所述车辆由远到近的顺序,确定属于所述车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离,判断所述第一距离是否小于所述第一距离阈值,若是,则确定所述当前的第二边缘特征点为与所述当前的第一边缘特征点配对的第二边缘特征点,若否,则将下一未配对的第二边缘特征点作为新的当前第二边缘特征点,并重新执行所述确定属于所述车辆同侧的当前的第一边缘特征点与当前的第二边缘特征点之间的第一距离的步骤。
7.根据权利要求4所述的方法,其特征在于,所述根据第二距离阈值,将所述车辆同侧对应的多个第一特征点配对组包含的各个第一边缘特征点和各个第二边缘特征点之间进行重新配对,并将部分第一边缘特征点和部分第二边缘特征点进行合并,以得到位于所述车辆同侧的各个所述车道标识对应的多个目标特征点配对组,包括:
按照第二边缘特征点距离所述车辆由远到近的顺序,以及按照第一边缘特征点距离所述车辆由近到远的顺序,确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离,判断所述第二距离是否小于所述第二距离阈值;
若是,则确定所述当前的第一边缘特征点为与所述当前的第二边缘特征点重新配对的第一边缘特征点,并将所述当前的第二边缘特征点、所述当前的第二边缘特征点在所述多个第一特征点配对组中配对的第一边缘特征点、所述当前的第一边缘特征点以及所述当前的第一边缘特征点在所述多个第一特征点配对组中配对的第二边缘特征点进行合并,得到目标特征点配对组,并且,将下一未合并的第二边缘特征点作为新的当前的第二边缘特征点,并重新执行所述确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤;
若否,则将下一第一边缘特征点作为新的当前的第一边缘特征点,并重新执行所述确定所述车辆同侧对应的各个第一特征点配对组中当前的第二边缘特征点与当前的第一边缘特征点之间的第二距离的步骤。
8.一种车道线检测装置,其特征在于,应用于车载终端;所述装置包括:
获取模块,用于获取车辆的环境图像;
识别模块,用于对所述环境图像进行边缘特征点识别,以得到所述环境图像中包含的各个车道标识的边缘特征点,所述边缘特征点包括多个第一边缘特征点和多个第二边缘特征点,属于同一车道标识的第一边缘特征点与所述车辆之间的距离,大于第二边缘特征点与所述车辆之间的距离;
配对模块,用于将所述多个第一边缘特征点和所述多个第二边缘特征点之间进行配对,得到所述各个车道标识对应的多个目标特征点配对组;
拟合模块,用于根据所述各个车道标识对应的多个目标特征点配对组,筛选得到距离所述车辆最近的车道标识,作为目标车道线,并根据所述目标车道线对应的多个目标特征点配对组对所述目标车道线进行拟合,以得到所述目标车道线对应的拟合结果。
9.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序在被处理器执行时,使得所述处理器执行权利要求1至7任一项所述的方法。
CN202310909911.5A 2023-07-21 2023-07-21 车道线检测方法、装置、电子设备及存储介质 Pending CN117058636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310909911.5A CN117058636A (zh) 2023-07-21 2023-07-21 车道线检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310909911.5A CN117058636A (zh) 2023-07-21 2023-07-21 车道线检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117058636A true CN117058636A (zh) 2023-11-14

Family

ID=88658044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310909911.5A Pending CN117058636A (zh) 2023-07-21 2023-07-21 车道线检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117058636A (zh)

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
Marzougui et al. A lane tracking method based on progressive probabilistic Hough transform
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
López et al. Robust lane markings detection and road geometry computation
EP2237988B1 (en) Object detection and recognition system
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
CN109389064B (zh) 一种车辆特征获取方法及装置
Haloi et al. A robust lane detection and departure warning system
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
US10108866B2 (en) Method and system for robust curb and bump detection from front or rear monocular cameras
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
Ponsa et al. On-board image-based vehicle detection and tracking
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN110780287A (zh) 基于单目相机的测距方法及测距系统
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
Gao et al. A practical method of road detection for intelligent vehicle
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
US20190180122A1 (en) Detection and Tracking of Objects from Images of a Camera
CN114724119B (zh) 车道线提取方法、检测设备及存储介质
CN110539748A (zh) 基于环视的拥堵跟车系统和终端
CN117058636A (zh) 车道线检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination