CN111126109A - 一种车道线识别方法、装置和电子设备 - Google Patents
一种车道线识别方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111126109A CN111126109A CN201811287494.0A CN201811287494A CN111126109A CN 111126109 A CN111126109 A CN 111126109A CN 201811287494 A CN201811287494 A CN 201811287494A CN 111126109 A CN111126109 A CN 111126109A
- Authority
- CN
- China
- Prior art keywords
- candidate
- pixel
- lane line
- line
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本发明提供了一种车道线识别方法、装置和电子设备,该方法包括:获取车道线图像的图像数据;基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;对至少一条候选线进行关联,得到车道线区域。本发明的方法通过在车道线图像中直接确定用于识别车道线区域的候选点,进而基于车道线区域的候选点确定用于识别车道线区域的至少一条候选线的方式,能够使得最终得到的车道线区域准确,精度高,缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
Description
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种车道线识别方法、装置和电子设备。
背景技术
随着智能化系统被应用到车辆驾驶领域中,越来越多的车辆上配置了能够实现自动驾驶功能或辅助驾驶功能的智能系统。为了实现自动驾驶功能或辅助驾驶功能,车辆上的智能系统通常需要从车辆周围的道路图像中识别出车道线,以确定车辆附近的行驶车道,从而指导车辆的驾驶。
对于车道线识别,其中的相机是非常重要的硬件设备之一,包括鱼眼相机。目前,车道线识别通常基于畸变较小的镜头实现。在使用鱼眼相机进行车道线的识别时,通常需要先对鱼眼相机拍摄的车道线图像进行畸变校正,然而,进行畸变校正之后的图像,由于采样率不够等原因,经常会出现某些区域过度拉伸的现象,进而引起车道线的误识别。
综上,现有的车道线识别得到的车道线存在准确性差的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种车道线识别方法、装置和电子设备,以缓解通过现有车道线识别技术识别到的车道线准确性差的技术问题。
第一方面,本发明实施例提供了一种车道线识别方法,包括:获取车道线图像的图像数据;其中,所述图像数据包含像素亮度值;基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点;基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线;对所述至少一条候选线进行关联,得到所述车道线区域。
进一步地,所述图像数据为像素点矩阵;基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点包括:基于所述图像数据中包含的像素亮度值,在所述像素点矩阵的每个目标像素行中确定所述候选点,其中,所述目标像素行为所述像素点矩阵中包含车道线区域的像素行;基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线包括:基于从每个目标像素行中确定出的所述候选点确定所述至少一条候选线。
进一步地,基于所述图像数据中包含的像素亮度值,在所述像素点矩阵的每个目标像素行中确定所述候选点包括:依次读取所述像素点矩阵的目标像素行中的待处理像素点;计算第一组像素点的像素亮度均值和第二组像素点的像素亮度均值,其中,所述第一组像素点和所述第二组像素点为所述待处理像素点所在像素行上位于所述待处理像素点两侧预设范围内的像素点,所述预设范围大于车道线宽度映射到所述车道线图像中的像素距离;基于所述第一组像素点的像素亮度均值和所述第二组像素点的像素亮度均值确定所述待处理像素点是否为候选点。
进一步地,基于所述第一组像素点的像素亮度均值和所述第二组像素点的像素亮度均值确定所述待处理像素点是否为候选点包括:计算所述待处理像素点的像素亮度值与所述第一组像素点的像素亮度均值之间的差值,得到第一差值,并计算所述待处理像素点的像素亮度值与所述第二组像素点的亮度均值之间的差值,得到第二差值;若所述第一差值大于预设阈值,且所述第二差值大于所述预设阈值,则确定所述待处理像素点为所述候选点。
进一步地,所述候选点的数量为多个,且一个候选点为目标像素行中的一个候选像素点;基于从每个目标像素行中确定出的所述候选点确定所述至少一条候选线包括:在多个所述候选点中确定所有相邻的候选点;确定所述所有相邻的候选点的宽度;若所述宽度大于预设宽度,则对从每个目标像素行中识别出的所述车道线区域的候选点进行直线拟合,并基于直线拟合结果确定所述车道线区域的至少一条候选线。
进一步地,基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点包括:确定所述车道线图像中车道线区域的消失位置和所述车道线图像中车道线区域的起始位置;基于所述图像数据中位于所述车道线区域的消失位置和所述车道线区域的起始位置之间的图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别所述车道线区域的候选点。
进一步地,对所述至少一条候选线进行关联,得到所述车道线区域包括:计算所述至少一条候选线中第j-1条候选线与第j条候选线之间的像素距离,其中,所述第j-1条候选线和所述第j条候选线为所述至少一条候选线中的两条相邻候选线,j依次取2至J,J为所述至少一条候选线的数量;计算所述第j-1条候选线与所述第j条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角;若所述像素距离小于预设像素距离,且所述夹角小于预设夹角,则确定所述第j-1条候选线与所述第j条候选线相关联。
进一步地,所述方法还包括:当j的取值大于或者等于预设数值M时,对所述第j条候选线之前的j-1条相关联的候选线的中心点坐标进行直线拟合,得到目标拟合直线,M大于2;计算所述第j条候选线的中心点与所述目标拟合直线之间的横向偏差;若所述横向偏差小于预设差值,则确定所述第j条候选线与其之前的j-1条候选线相关联;若所述横向偏差大于预设差值,则基于前j-1条相关联的候选线确定所述车道线区域。
第二方面,本发明实施例还提供了一种车道线识别装置,设置于终端设备,包括:获取单元,用于获取车道线图像的图像数据;其中,所述图像数据包含像素亮度值;识别单元,用于基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点;确定单元,用于基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线;关联单元,用于对所述至少一条候选线进行关联,得到所述车道线区域。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。
在本实施例中,首先获取车道线图像的图像数据;进而基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;然后基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;最后对至少一条候选线进行关联,得到车道线区域。通过上述描述可知,在本发明实施例中,通过在车道线图像中直接确定用于识别车道线区域的候选点,进而基于车道线区域的候选点确定用于识别车道线区域的至少一条候选线的方式,能够使得最终得到的车道线区域准确,精度高,缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车道线识别方法的流程图;
图2为本发明实施例提供的一种候选点和候选线的示意图;
图3为本发明实施例提供的一种基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点的流程图;
图4为本发明实施例提供的另一种基于图像数据中包含的像素亮度值,在像素点矩阵的每个目标像素行中确定候选点的流程图;
图5为本发明实施例提供的一种基于第一组像素点的像素亮度均值和第二组像素点的像素亮度均值确定候选点的流程图;
图6为本发明实施例提供的一种基于从每个目标像素行中确定出的候选点确定至少一条候选线的流程图;
图7为本发明实施例提供的一种对至少一条候选线进行关联,得到车道线区域的流程图;
图8为本发明实施例提供的一种计算像素距离的示意图;
图9为本发明实施例提供的一种计算夹角的示意图;
图10为本发明实施例提供的一种验证车道线区域的流程图;
图11为本发明实施例提供的一种计算横向偏差的示意图;
图12a为本发明实施例提供的一种原始的车道线图像;
图12b为本发明实施例提供的一种识别之后得到的车道线区域的图像的示意图;
图13为本发明实施例提供的一种车道线识别装置的示意图;
图14为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
根据本发明实施例,提供了一种车道线识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种车道线识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取车道线图像的图像数据;其中,图像数据包含像素亮度值;
在本发明实施例中,具体可以通过摄像头获取车道线图像。该摄像头可设置于终端设备上,或者该摄像头与终端设备无线通信连接,或者该摄像头与服务器相连接。摄像头安装在车辆的前端,用于拍摄车辆在行驶过程中的车道线图像。其中,该终端设备与车辆的自动驾驶系统通信连接。
在摄像头拍摄到车道线图像后,进一步将车道线图像发送至终端设备,以使终端设备对车道线图像进行处理,得到车道线区域;还可以是,摄像头在拍摄到车道线图像后,将车道线图像发送至服务器,以使服务器对车道线图像进行处理,得到车道线区域。在服务器识别到车道线区域之后,还可以将该车道线区域发送至用户的终端设备上。在终端设备获取到识别出的车道线区域之后,就可以结合车辆的自动驾驶系统实现车辆的自动驾驶功能。也就是说,本实施例所提供的识别方法可以应用于终端设备,当然也可应用于服务器,本发明实施例对其具体的应用场景不进行具体限制。
步骤S104,基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;
在得到车道线的图像数据之后,就可以基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点,具体的,候选点是指有极大可能落入车道线区域内的点,下文中再对该过程进行详细介绍。
步骤S106,基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;
在得到车道线区域的候选点后,进一步基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线,具体的,候选线是指多个候选点拟合得到的线,下文中再对该过程进行详细介绍。图2中示出了候选点和候选线的示意图。
步骤S108,对至少一条候选线进行关联,得到车道线区域。
在得到至少一条候选线后,对得到的至少一条候选线进行关联,当然,候选线之间在进行关联时,还要满足一定的关联条件,下文中再对关联的过程进行详细介绍。
在本实施例中,首先获取车道线图像的图像数据;进而基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;然后基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;最后对至少一条候选线进行关联,得到车道线区域。通过上述描述可知,在本发明实施例中,通过在车道线图像中直接确定用于识别车道线区域的候选点,进而基于车道线区域的候选点确定用于识别车道线区域的至少一条候选线的方式,能够使得最终得到的车道线区域准确,精度高,缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
上述内容对本发明的车道线识别方法进行了简要介绍,下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施方式中,参考图3,基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点包括如下步骤:
步骤S301,确定车道线图像中车道线区域的消失位置和车道线图像中车道线区域的起始位置;
在本发明实施例中,车道线图像中车道线区域的消失位置一般位于车道线图像的最后一行像素行,可以直接将车道线图像的最后一行像素行作为车道线区域的消失位置。而在确定车道线图像中车道线区域的起始位置时,可以结合摄像机的参数、摄像机的安装位置、摄像机的朝向来确定该起始位置,其中,摄像机的参数包括相机的内参,相机在x,y两个轴上的焦距,相机的光圈中心等参数。
步骤S302,基于图像数据中位于车道线区域的消失位置和车道线区域的起始位置之间的图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点。
在得到车道线区域的消失位置和车道线区域的起始位置之后,就能根据消失位置和起始位置之间的图像数据中包含的像素亮度值确定用于识别车道线区域的候选点。
通过上述描述可知,在本实施例中,在车道线图像的图像数据中去掉不包含车道线的图像数据,保留包含车道线的图像数据的方式,能够简化数据处理过程,避免不必要的数据处理和计算,从而提高数据处理效率。
上述内容介绍了确定车道线区域的消失位置和车道线区域的起始位置(这两个位置之间的图像区域才是包含有车道线区域的图像)的具体过程,下面对确定候选点的过程进行详细介绍。
实际上,图像数据为像素点矩阵,基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点包括:基于图像数据中包含的像素亮度值,在像素点矩阵的每个目标像素行中确定候选点,其中,目标像素行为像素点矩阵中包含车道线区域的像素行。
基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线包括:基于从每个目标像素行中确定出的候选点确定至少一条候选线。
需要说明的是,在本实施例中,目标像素行可以为图像数据中的每个像素行,还可以为车道线区域的消失位置和车道线区域的起始位置之间的图像数据中的每个像素行。
具体的,若目标像素行为图像数据中的每个像素行,那么在本实施例中,可以对图像数据中的每个像素行进行逐行扫描,从而在每个目标像素行中确定候选点,并基于从每个像素行中确定出的候选点确定至少一条候选线。
若目标像素行为车道线区域的消失位置和车道线区域的起始位置之间的图像数据中的每个像素行,那么在本实施例中,就可以只对两个位置之间的图像数据中的像素行进行逐行扫描,进一步减少扫描的工作量,且简化了数据处理过程,避免不必要的数据处理和计算,从而提高数据处理效率。
在本发明的一个可选实施方式中,参考图4,基于图像数据中包含的像素亮度值,在像素点矩阵的每个目标像素行中确定候选点包括如下步骤:
步骤S401,依次读取像素点矩阵的目标像素行中的待处理像素点;
步骤S402,计算第一组像素点的像素亮度均值和第二组像素点的像素亮度均值,其中,第一组像素点和第二组像素点为待处理像素点所在像素行上位于待处理像素点两侧预设范围内的像素点,预设范围大于车道线宽度映射到车道线图像中的像素距离。
步骤S403,基于第一组像素点的像素亮度均值和第二组像素点的像素亮度均值确定待处理像素点是否为候选点。
具体地,在本实施例中,首先,依次读取每个目标像素行中的待处理像素点。在读取得到一个待处理像素点后,计算位于该待处理像素点左侧预设范围内的像素点的像素亮度均值,并将其作为第一组像素点的像素亮度均值;同时计算位于该待处理像素点右侧预设范围内的像素点(该右侧预设范围内的像素点的数量可以与左侧预设范围内的像素点的数量相等,也可以不相等,本发明实施例对其不进行具体限制)的像素亮度均值,并将其作为第二组像素点的像素亮度均值。
在得到第一组像素点的像素亮度均值和第二组像素点的像素亮度均值之后,就可以基于上述两个均值确定待处理像素点是否为候选点。
需要说明的是,预设范围大于车道线宽度映射到车道线图像中的像素距离。若预设范围小于车道线宽度映射到车道线图像中的像素距离,会导致车道线区域内部某些候选点的两侧像素亮度均值与候选点亮度值相等,以致漏选。
参考图5,基于所述第一组像素点的像素亮度均值和所述第二组像素点的像素亮度均值确定所述待处理像素点是否为候选点的具体过程如下:
步骤S501,计算待处理像素点的像素亮度值与第一组像素点的像素亮度均值之间的差值,得到第一差值,并计算待处理像素点的像素亮度值与第二组像素点的亮度均值之间的差值,得到第二差值;
步骤S502,判断第一差值是否大于预设阈值,并判断第二差值是否大于预设阈值;
步骤S503,若第一差值大于预设阈值,且第二差值大于预设阈值,则确定待处理像素点为候选点;
步骤S504,若第一差值不大于预设阈值,或第二差值不大于预设阈值,则确定待处理像素点不是候选点。
具体的,预设阈值可根据实际需要而设定,本发明实施例对其不进行具体限制。
也就是说,在本实施例中,当待处理像素点的像素亮度值与第一组像素点的像素亮度均值之间的差值大于预设阈值,且待处理像素点的像素亮度值与第二组像素点的像素亮度均值之间的差值大于预设阈值时,确定该待处理像素点为候选点。而当待处理像素点的像素亮度值与第一组像素点的像素亮度均值之间的差值不大于预设阈值,和/或,待处理像素点的像素亮度值与第二组像素点的像素亮度均值之间的差值不大于预设阈值时,则确定该待处理像素点不是候选点,其中,候选点可以理解为候选像素点,该候选像素点所属于车道线区域内的概率较大。
通过计算第一差值和第二差值的方式能够更加准确的确定待处理像素点是否为候选点,从而避免错误的选择候选点,进而提高了候选点的选择精度。通过提高候选点的选择精度能够提高候选线的识别精度,进一步提高车道线区域的识别精度。
上述内容对确定候选点的过程进行了详细介绍,下面对确定候选线的过程进行具体描述。
通过上述描述可知,在本发明中,可以基于从每个目标像素行中确定出的候选点确定至少一条候选线。
参考图6,基于从每个目标像素行中确定出的候选点确定至少一条候选线包括如下步骤:
步骤S601,在多个候选点中确定所有相邻的候选点;
具体的,候选点的数量为多个,且一个候选点为目标像素行中的一个候选像素点。在得到多个候选点之后,就可以在该多个候选点中确定所有相邻的候选点,这里的相邻是指两个候选点在目标像素行是相邻的像素点。
步骤S602,确定所有相邻的候选点的宽度;
在确定得到所有相邻的候选点后,确定所有相邻的候选点的宽度。
步骤S603,判断宽度是否大于预设宽度;
步骤S604,若宽度大于预设宽度,则对从每个目标像素行中识别出的车道线区域的候选点进行直线拟合,并基于直线拟合结果确定车道线区域的至少一条候选线;
如果所有相邻的候选点的宽度大于预设宽度,那么对所有相邻的候选点进行直线拟合,直线拟合结果即为车道线区域的一条候选线。
步骤S605,若宽度不大于预设宽度,则丢弃所有相邻的候选点。
之所以要求大于预设宽度是因为如果相邻的候选点的宽度很小,其就无法构成一条候选线,只有在相邻的候选点的宽度大于预设宽度时,才能构成一条候选线。
上述内容对确定候选点和候选线的过程进行了详细介绍,下面对至少一条候选线关联的过程进行详细介绍。
在本发明的一个可选实施方式中,参考图7,对至少一条候选线进行关联,得到车道线区域包括如下步骤:
步骤S701,计算至少一条候选线中第j-1条候选线与第j条候选线之间的像素距离,其中,第j-1条候选线和第j条候选线为至少一条候选线中的两条相邻候选线,j依次取2至J,J为至少一条候选线的数量。
当然,像素距离也可以根据两条相邻候选线的左端点坐标进行计算,或者通过其它点坐标进行计算,本发明实施例对其不进行具体限制。
步骤S702,计算第j-1条候选线与第j条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角。
在计算得到像素距离后,进一步计算第j-1条候选线与第j条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角,如图9所示。图9中的θ角即为上述夹角。设备终端可以为安装在车辆的设备,该设备与车辆自动驾驶系统通信连接,该终端设备用于识别车道线区域,车辆自动驾驶用于基于该识别出的车道线实现车辆的自动驾驶。
步骤S703,判断像素距离是否小于预设像素距离,并判断夹角是否小于预设夹角;
步骤S704,若像素距离小于预设像素距离,且夹角小于预设夹角,则确定第j-1条候选线与第j条候选线相关联;
若像素距离小于预设像素距离,且夹角小于预设夹角,那么第j-1条候选线与第j条候选线相关联,并将两条候选线进行关联,进而得到车道线候选区域。
步骤S705,若像素距离不小于预设像素距离,或夹角不小于预设夹角,则确定第j-1条候选线与第j条候选线不关联。
若像素距离不小于预设像素距离,或夹角小于预设夹角,那么第j-1条候选线与第j条候选线不关联,若前j-1条候选线关联,则前j-1条候选线构成车道线候选区域。
在一个可选地实施方式中,参考图10,该方法还包括如下步骤:
步骤S1001,判断j的取值是否大于或者等于预设数值M,M大于2,如果是,则执行步骤S1002,如果否,则对j的取值执行加1的操作之后返回执行步骤S701;
返回步骤S701;
步骤S1002,对第j条候选线之前的j-1条相关联的候选线的中心点坐标进行直线拟合,得到目标拟合直线;
步骤S1003,计算第j条候选线的中心点与目标拟合直线之间的横向偏差;
步骤S1004,判断横向偏差是否小于预设差值;
步骤S1005,若横向偏差小于预设差值,则确定第j条候选线与其之前的j-1条候选线相关联,并基于前j条候选线确定车道线区域;
步骤S1006,若横向偏差大于预设差值,则基于前j-1条相关联的候选线确定车道线区域。
需要说明的是,在本实施例中,M的取值可以为2。除此之外,还可以选择其他的数值,例如,3、4和5等,本实施例不做具体限定。当j的取值大于2时,例如,在将第3条候选线与前两条候选线进行关联时,需要计算第3条候选线与第2条候选线之间的像素距离,并计算第3条候选线与所述第2条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角。若该像素距离小于预设像素距离,且该夹角小于预设夹角,则可以初步确定第3条候选线与第2条候选线相关联。
除此之外,还需要对前2条候选线的中心点坐标进行直线拟合,得到目标拟合直线。然后,计算第3条候选线的中线点与目标拟合直线的横向偏差。若该横向偏差小于预设差值,则确定第3条候选线与其之前的前2条候选线相关联;若该横向偏差大于预设差值,则确定第3条候选线与其之前的前2条候选线不关联,此时,基于前2条候选线确定车道线区域。
具体的,计算横向偏差时,第j条候选线的中心点坐标可以得到,第j条候选线与目标拟合直线的交点坐标也可以得到,这样就能计算得到横向偏差diff,如图11所示。
如图12a和图12b所示,图12a和图12b示出了原始的车道线图像和识别之后得到的车道线区域的图像的对比示意图。由图12a和图12b可知,通过本发明的车道线识别方法识别得到的车道线区域准确无误,精确度高,进而基于该准确的车道线区域的图像进行自动驾驶或辅助驾驶时,性能好,应用价值高。
实施例二:
本发明实施例还提供了一种车道线识别装置,该车道线识别装置主要用于执行本发明实施例上述内容所提供的车道线识别方法,以下对本发明实施例提供的车道线识别装置做具体介绍。
图13是根据本发明实施例的一种车道线识别装置的示意图,如图13所示,该车道线识别装置主要包括获取单元10,识别单元20,确定单元30和关联单元40,其中:
获取单元,用于获取车道线图像的图像数据;其中,图像数据包含像素亮度值;
识别单元,用于基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;
确定单元,用于基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;
关联单元,用于对至少一条候选线进行关联,得到车道线区域。
在本实施例中,首先获取车道线图像的图像数据;进而基于图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点;然后基于车道线区域的候选点在车道线图像中确定用于识别车道线区域的至少一条候选线;最后对至少一条候选线进行关联,得到车道线区域。通过上述描述可知,在本发明实施例中,通过在车道线图像中直接确定用于识别车道线区域的候选点,进而基于车道线区域的候选点确定用于识别车道线区域的至少一条候选线的方式,能够使得最终得到的车道线区域准确,精度高,缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
可选地,识别单元还用于:基于图像数据中包含的像素亮度值,在像素点矩阵的每个目标像素行中确定候选点,其中,目标像素行为像素点矩阵中包含车道线区域的像素行,图像数据为像素点矩阵;
可选地,确定单元还用于:基于从每个目标像素行中确定出的候选点确定至少一条候选线。
可选地,识别单元还用于:依次读取像素点矩阵的目标像素行中的待处理像素点;计算第一组像素点的像素亮度均值和第二组像素点的像素亮度均值,其中,第一组像素点和第二组像素点为待处理像素点所在像素行上位于待处理像素点两侧预设范围内的像素点,预设范围大于车道线宽度映射到车道线图像中的像素距离;基于第一组像素点的像素亮度均值和第二组像素点的像素亮度均值确定待处理像素点是否为候选点。
可选地,识别单元还用于:计算待处理像素点的像素亮度值与第一组像素点的像素亮度均值之间的差值,得到第一差值,并计算待处理像素点的像素亮度值与第二组像素点的亮度均值之间的差值,得到第二差值;若第一差值大于预设阈值,且第二差值大于预设阈值,则确定待处理像素点为候选点。
可选地,确定单元还用于:在多个候选点中确定所有相邻的候选点,其中,候选点的数量为多个,且一个候选点为目标像素行中的一个候选像素点;在多个候选点中确定所有相邻的候选点;确定所有相邻的候选点的宽度;若宽度大于预设宽度,则对从每个目标像素行中识别出的车道线区域的候选点进行直线拟合,并基于直线拟合结果确定车道线区域的至少一条候选线。
可选地,识别单元还用于:确定车道线图像中车道线区域的消失位置和车道线图像中车道线区域的起始位置;基于图像数据中位于车道线区域的消失位置和车道线区域的起始位置之间的图像数据中包含的像素亮度值,在车道线图像中确定用于识别车道线区域的候选点。
可选地,关联单元还用于:计算至少一条候选线中第j-1条候选线与第j条候选线之间的像素距离,其中,第j-1条候选线和第j条候选线为至少一条候选线中的两条相邻候选线,j依次取2至J,J为至少一条候选线的数量;计算第j-1条候选线与第j条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角;若像素距离小于预设像素距离,且夹角小于预设夹角,则确定第j-1条候选线与第j条候选线相关联。
可选地,关联单元还用于:当j的取值大于或者等于预设数值M时,对第j条候选线之前的j-1条相关联的候选线的中心点坐标进行直线拟合,得到目标拟合直线,M大于2;计算第j条候选线的中心点与目标拟合直线之间的横向偏差;若横向偏差小于预设差值,则确定第j条候选线与其之前的j-1条候选线相关联;若横向偏差大于预设差值,则基于前j-1条相关联的候选线确定车道线区域。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例三:
本发明实施例提供了一种电子设备,参考图14,该电子设备包括:处理器50,存储器51,总线52和通信接口53,处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。处理器执行极端及程序时实现如方法实施例中描述的方法的步骤。
其中,存储器51可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,处理器50在接收到执行指令后,执行程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的车道线识别方法、装置和电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种车道线识别方法,其特征在于,包括:
获取车道线图像的图像数据;其中,所述图像数据包含像素亮度值;
基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点;
基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线;
对所述至少一条候选线进行关联,得到所述车道线区域。
2.根据权利要求1所述的方法,其特征在于,所述图像数据为像素点矩阵;
基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点包括:基于所述图像数据中包含的像素亮度值,在所述像素点矩阵的每个目标像素行中确定所述候选点,其中,所述目标像素行为所述像素点矩阵中包含车道线区域的像素行;
基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线包括:基于从每个目标像素行中确定出的所述候选点确定所述至少一条候选线。
3.根据权利要求2所述的方法,其特征在于,基于所述图像数据中包含的像素亮度值,在所述像素点矩阵的每个目标像素行中确定所述候选点包括:
依次读取所述像素点矩阵的目标像素行中的待处理像素点;
计算第一组像素点的像素亮度均值和第二组像素点的像素亮度均值,其中,所述第一组像素点和所述第二组像素点为所述待处理像素点所在像素行上位于所述待处理像素点两侧预设范围内的像素点,所述预设范围大于车道线宽度映射到所述车道线图像中的像素距离;
基于所述第一组像素点的像素亮度均值和所述第二组像素点的像素亮度均值确定所述待处理像素点是否为候选点。
4.根据权利要求3所述的方法,其特征在于,基于所述第一组像素点的像素亮度均值和所述第二组像素点的像素亮度均值确定所述待处理像素点是否为候选点包括:
计算所述待处理像素点的像素亮度值与所述第一组像素点的像素亮度均值之间的差值,得到第一差值,并计算所述待处理像素点的像素亮度值与所述第二组像素点的亮度均值之间的差值,得到第二差值;
若所述第一差值大于预设阈值,且所述第二差值大于所述预设阈值,则确定所述待处理像素点为所述候选点。
5.根据权利要求2所述的方法,其特征在于,所述候选点的数量为多个,且一个候选点为目标像素行中的一个候选像素点;
基于从每个目标像素行中确定出的所述候选点确定所述至少一条候选线包括:
在多个所述候选点中确定所有相邻的候选点;
确定所述所有相邻的候选点的宽度;
若所述宽度大于预设宽度,则对从每个目标像素行中识别出的所述车道线区域的候选点进行直线拟合,并基于直线拟合结果确定所述车道线区域的至少一条候选线。
6.根据权利要求1至5中任一项所述的方法,其特征在于,基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点包括:
确定所述车道线图像中车道线区域的消失位置和所述车道线图像中车道线区域的起始位置;
基于所述图像数据中位于所述车道线区域的消失位置和所述车道线区域的起始位置之间的图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别所述车道线区域的候选点。
7.根据权利要求1所述的方法,其特征在于,对所述至少一条候选线进行关联,得到所述车道线区域包括:
计算所述至少一条候选线中第j-1条候选线与第j条候选线之间的像素距离,其中,所述第j-1条候选线和所述第j条候选线为所述至少一条候选线中的两条相邻候选线,j依次取2至J,J为所述至少一条候选线的数量;
计算所述第j-1条候选线与所述第j条候选线之间的中心点连线映射到世界坐标系的直线与设备终端的前进方向之间的夹角;
若所述像素距离小于预设像素距离,且所述夹角小于预设夹角,则确定所述第j-1条候选线与所述第j条候选线相关联。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当j的取值大于或者等于预设数值M时,对所述第j条候选线之前的j-1条相关联的候选线的中心点坐标进行直线拟合,得到目标拟合直线,M大于2;
计算所述第j条候选线的中心点与所述目标拟合直线之间的横向偏差;
若所述横向偏差小于预设差值,则确定所述第j条候选线与其之前的j-1条候选线相关联;
若所述横向偏差大于预设差值,则基于前j-1条相关联的候选线确定所述车道线区域。
9.一种车道线识别装置,其特征在于,设置于终端设备,包括:
获取单元,用于获取车道线图像的图像数据;其中,所述图像数据包含像素亮度值;
识别单元,用于基于所述图像数据中包含的像素亮度值,在所述车道线图像中确定用于识别车道线区域的候选点;
确定单元,用于基于所述车道线区域的候选点在所述车道线图像中确定用于识别所述车道线区域的至少一条候选线;
关联单元,用于对所述至少一条候选线进行关联,得到所述车道线区域。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287494.0A CN111126109B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287494.0A CN111126109B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126109A true CN111126109A (zh) | 2020-05-08 |
CN111126109B CN111126109B (zh) | 2023-09-05 |
Family
ID=70485632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811287494.0A Active CN111126109B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126109B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112836587A (zh) * | 2021-01-08 | 2021-05-25 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 跑道识别方法、装置、计算机设备及存储介质 |
CN113139399A (zh) * | 2021-05-13 | 2021-07-20 | 阳光电源股份有限公司 | 一种图像线框识别方法及服务器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271969A (ja) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | 車線検出装置 |
CN102592114A (zh) * | 2011-12-26 | 2012-07-18 | 河南工业大学 | 复杂路况的车道线特征提取、识别方法 |
US20140192195A1 (en) * | 2013-01-08 | 2014-07-10 | Pixart Imaging Inc. | Lane departure warning system, lane identification apparatus and related method thereof |
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
CN105320927A (zh) * | 2015-03-25 | 2016-02-10 | 中科院微电子研究所昆山分所 | 车道线检测方法及系统 |
CN106682586A (zh) * | 2016-12-03 | 2017-05-17 | 北京联合大学 | 一种复杂光照条件下基于视觉的实时车道线检测的方法 |
-
2018
- 2018-10-31 CN CN201811287494.0A patent/CN111126109B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271969A (ja) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | 車線検出装置 |
CN102592114A (zh) * | 2011-12-26 | 2012-07-18 | 河南工业大学 | 复杂路况的车道线特征提取、识别方法 |
US20140192195A1 (en) * | 2013-01-08 | 2014-07-10 | Pixart Imaging Inc. | Lane departure warning system, lane identification apparatus and related method thereof |
CN105320927A (zh) * | 2015-03-25 | 2016-02-10 | 中科院微电子研究所昆山分所 | 车道线检测方法及系统 |
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
CN106682586A (zh) * | 2016-12-03 | 2017-05-17 | 北京联合大学 | 一种复杂光照条件下基于视觉的实时车道线检测的方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112836587A (zh) * | 2021-01-08 | 2021-05-25 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 跑道识别方法、装置、计算机设备及存储介质 |
CN113139399A (zh) * | 2021-05-13 | 2021-07-20 | 阳光电源股份有限公司 | 一种图像线框识别方法及服务器 |
CN113139399B (zh) * | 2021-05-13 | 2024-04-12 | 阳光电源股份有限公司 | 一种图像线框识别方法及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN111126109B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108734105B (zh) | 车道线检测方法、装置、存储介质和电子设备 | |
US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
US7813553B2 (en) | Image region detection method, recording medium, and device therefor | |
US9846823B2 (en) | Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line | |
CN111382704B (zh) | 基于深度学习的车辆压线违章判断方法、装置及存储介质 | |
CN110647882A (zh) | 图像校正方法、装置、设备及存储介质 | |
CN112257698B (zh) | 环视图车位检测结果的处理方法、装置、设备和存储介质 | |
CN110619333A (zh) | 一种文本行分割方法、文本行分割装置及电子设备 | |
US20200320332A1 (en) | System and method for object detection | |
CN110770741B (zh) | 一种车道线识别方法和装置、车辆 | |
CN112084822A (zh) | 车道检测装置及方法、电子设备 | |
CN110796201A (zh) | 一种标注框的修正方法、电子设备及存储介质 | |
CN111126109B (zh) | 一种车道线识别方法、装置和电子设备 | |
WO2024002396A2 (zh) | 一种车辆充电口识别方法及相关设备 | |
CN111104826A (zh) | 一种车牌字符识别方法、装置及电子设备 | |
CN113014876A (zh) | 视频监控方法、装置、电子设备及可读存储介质 | |
CN110059695B (zh) | 一种基于垂直投影的字符分割方法及终端 | |
JP4224328B2 (ja) | 車番認識装置 | |
CN114417906B (zh) | 微观图像标识的识别方法、装置、设备及存储介质 | |
CN113994391B (zh) | 车辆通行提醒方法、装置及车载终端 | |
CN113139399B (zh) | 一种图像线框识别方法及服务器 | |
CN115830049A (zh) | 角点检测的方法和装置 | |
CN112597832B (zh) | 矩形件安装偏位判定方法和装置 | |
CN110706263B (zh) | 一种图像处理方法、装置、设备和计算机可读存储介质 | |
CN111126106B (zh) | 一种车道线识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 110000 No. 861-6, shangshengou village, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Meihang Technology Co.,Ltd. Address before: 110000 12th and 13th floors, No.1 Jinhui street, Hunnan New District, Shenyang City, Liaoning Province Applicant before: SHENYANG MXNAVI Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |