CN111126106A - 一种车道线识别方法和装置 - Google Patents
一种车道线识别方法和装置 Download PDFInfo
- Publication number
- CN111126106A CN111126106A CN201811284239.0A CN201811284239A CN111126106A CN 111126106 A CN111126106 A CN 111126106A CN 201811284239 A CN201811284239 A CN 201811284239A CN 111126106 A CN111126106 A CN 111126106A
- Authority
- CN
- China
- Prior art keywords
- target
- lane line
- target pixel
- pixel
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种车道线识别方法和装置,涉及图像处理的技术领域,包括获取待识别的车道线图像,并生成车道线图像的置信度图谱;其中,置信度图谱包含车道线图像中各个像素点的置信度值;在置信度图谱中确定包含车道线区域的目标像素行;对于确定出的每个目标像素行,根据目标像素行中像素点的置信度值确定目标像素行的目标像素点;基于目标像素行的目标像素点,确定目标像素行所含车道线区域的中心点;基于各个目标像素行所含车道线区域的中心点,确定待识别车道线的区域。本发明缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
Description
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种车道线识别方法和装置。
背景技术
随着汽车数量的逐渐增加,交通事故的发生率也逐渐增加。且随着近年来智能技术的快速发展,智能车辆也受到广泛关注。智能车辆携带驾驶辅助系统,通过该驾驶辅助系统能够帮助驾驶人实现自动驾驶功能。在自动驾驶的过程中,需要进行车道线检测与识别。
对于车道线识别,其中的相机是非常重要的硬件设备之一,包括鱼眼相机。目前,车道线识别通常基于畸变较小的镜头实现。在使用鱼眼相机进行车道线的识别时,通常需要先对鱼眼相机拍摄的车道线图像进行畸变校正,然而,进行畸变校正之后的图像,由于采样率不够等原因,经常会出现某些区域过度拉伸的现象,进而引起车道线的误识别。
综上,现有的车道线识别得到的车道线存在准确性差的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种车道线识别方法和装置,以缓解通过现有车道线识别技术识别到的车道线准确性差的技术问题。
第一方面,本发明实施例提供了一种车道线识别方法,包括:获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;在所述置信度图谱中确定包含车道线区域的目标像素行;对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
进一步地,对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点包括:在每个目标像素行上依次确定至少一个目标滑动窗口,其中,所述目标滑动窗口的窗口宽度大于或者等于第一目标像素宽度,所述第一目标像素宽度为第一预设倍数的车道线宽度映射到所述车道线图像中的目标像素行之后的像素宽度;在各个所述目标滑动窗口中选择大于预设置信度阈值的置信度值最大的像素点作为所述目标像素行的一个目标像素点。
进一步地,在每个目标像素行上依次确定至少一个目标滑动窗口包括:确定待确定的目标滑动窗口的初始滑动窗口,其中,所述初始滑动窗口的宽度为所述第一目标像素宽度;对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口。
进一步地,确定所述待确定的目标滑动窗口的初始滑动窗口包括:确定起始像素点,其中,所述起始像素点为所述目标像素行中所述待确定的目标滑动窗口的上一个目标滑动窗口的结束像素点的下一个像素点,或者,所述起始像素点为所述目标像素行的第一个像素点;在所述目标像素行中确定以所述起始像素点为起点,宽度为所述第一目标像素宽度的窗口为所述初始滑动窗口。
进一步地,对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口包括:若所述初始滑动窗口之后存在多个连续置信度值大于所述预设置信度阈值的像素点,则扩大所述初始滑动窗口,得到所述待确定的目标滑动窗口,其中,所述待确定的目标滑动窗口中包括所述多个连续置信度大于所述预设置信度阈值的像素点。
进一步地,生成所述车道线图像的置信度图谱包括:确定所述车道线图像中各个像素点在预设范围内的像素加权值,其中,所述预设范围包括第一预设范围和第二预设范围,所述第一预设范围为所述像素点所在像素行中左侧预设宽度的像素范围,所述第二预设范围为所述像素点所在像素行中右侧预设宽度的像素范围,所述预设宽度为预设像素宽度阈值与第二目标像素宽度之和,所述第二目标像素宽度为车道线宽度映射到所述车道线图像中所述像素点所在像素行之后像素宽度的一半;计算各个所述像素点在预设范围内像素加权值的平均值,得到各个所述像素点的置信度值,并基于各个所述像素点的置信度值生成所述车道线图像的置信度图谱。
进一步地,所述方法还包括:计算第i个目标像素行中全部像素点的置信度的平均值,其中,i依次取1至I,I为所述目标像素行的数量;将所述平均值作为所述第i个目标像素行的预设置信度阈值。
进一步地,基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点包括:将所述车道线图像中最后一行目标像素行的目标像素点作为目标坐标点,执行以下步骤,直到满足迭代停止条件:将目标坐标点作为待构建的三角形区域的一个顶点坐标,按照预设步长和第二预设倍数的车道线宽度在世界坐标系中构建三角形区域,其中,所述预设步长为所述三角形区域的中线长度,所述第二预设倍数的车道线宽度为所述三角形区域的底边宽度,所述中线为所述目标坐标点与所述底边中点之间的连线;将所述三角形区域映射到所述车道线图像中,得到目标搜索区域;若所述目标搜索区域中包含目标像素点,则基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心,并基于所述目标搜索区域的重心重新确定目标坐标点;若所述目标搜索区域中不包含目标像素点,则确定满足所述迭代停止条件,并将已确定出的重心作为所述车道线区域的中心点。
进一步地,基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心包括:计算所述目标搜索区域中包含的各个目标像素点的坐标与其置信度值的乘积,得到多个乘积结果;对所述多个乘积结果进行求和运算,得到第一运算结果;对所述目标搜索区域中包含的各个目标像素点的置信度值进行求和运算,得到第二运算结果;结合所述第一运算结果和所述第二运算结果确定所述目标搜索区域的重心。
第二方面,本发明实施例还提供了一种车道线识别装置,包括:图像获取和图谱生成单元,用于获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;第一确定单元,用于在所述置信度图谱中确定包含车道线区域的目标像素行;第二确定单元,用于对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;第三确定单元,用于基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;第四确定单元,用于基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
在本发明实施例中,首先获取待识别的车道线图像,并生成车道线图像的置信度图谱,然后,在置信度图谱中确定包含车道线区域的目标像素行。对于目标像素行中的每个像素行,根据目标像素行中像素点的置信度值确定目标像素行的目标像素点,并基于目标像素点,确定目标像素行所含车道线区域的中心点,最后,基于各个目标像素行所含车道线区域的中心点,确定待识别车道线的区域。相对于现有技术,在本实施例中,利用目标像素行中像素点的置信度值来识别车道线区域的方式,能够提高车道线区域的识别精度,进而缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种车道线识别方法的流程图;
图2是根据本发明实施例的一种预设范围的示意图;
图3(a)是根据本发明实施例的一种车道线图像的灰度图像的示意图;
图3(b)是根据本发明实施例的一种车道线图像的置信度图谱的示意图;
图4是根据本发明实施例的一种确定目标像素行所含车道线区域的中心点的流程图;
图5是根据本发明实施例的一种目标搜索区域的示意图;
图6(a)是根据本发明实施例的一种车道线图像的灰度图像;
图6(b)是根据本发明实施例的一种车道线图像处理之后的包含各个车道线区域的中心点的示意图;
图7是根据本发明实施例的一种车道线识别装置的示意图;
图8是根据本发明实施例的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
根据本发明实施例,提供了一种车道线识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种车道线识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;
步骤S104,在所述置信度图谱中确定包含车道线区域的目标像素行;
步骤S106,对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;
步骤S108,基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;
步骤S110,基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
在本发明实施例中,首先获取待识别的车道线图像,并生成车道线图像的置信度图谱,然后,在置信度图谱中确定包含车道线区域的目标像素行。对于目标像素行中的每个像素行,根据目标像素行中像素点的置信度值确定目标像素行的目标像素点,并基于目标像素点,确定目标像素行所含车道线区域的中心点,最后,基于各个目标像素行所含车道线区域的中心点,确定待识别车道线的区域。相对于现有技术,在本实施例中,利用目标像素行中像素点的置信度值来识别车道线区域的方式,能够提高车道线区域的识别精度,进而缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
通过上述描述可知,在本实施例中,可以通过预先安装在车辆前端的摄像装置获取待识别的车道线图像,并将该车道线图像发送至终端设备上进行识别,或者发送到服务器中进行识别,本实施例中不做具体限定。在本下述实施例中,终端设备或者服务器均以车道线识别装置为例来进行说明。
车道线识别装置在获取到待识别的车道线图像之后,就可以生成该车道线图像的置信度图谱。
在一个可选的实施方式中,步骤S102,生成所述车道线图像的置信度图谱包括如下步骤:
步骤S1021,确定所述车道线图像中各个像素点在预设范围内的像素加权值,其中,所述预设范围包括第一预设范围和第二预设范围,所述第一预设范围为所述像素点所在像素行中左侧预设宽度的像素范围,所述第二预设范围为所述像素点所在像素行中右侧预设宽度的像素范围,所述预设宽度为预设像素宽度阈值与第二目标像素宽度之和,所述第二目标像素宽度为车道线宽度映射到所述车道线图像中所述像素点所在像素行之后像素宽度的一半;
步骤S1022,计算各个所述像素点在预设范围内像素加权值的平均值,得到各个所述像素点的置信度值,并基于各个所述像素点的置信度值生成所述车道线图像的置信度图谱。
在本实施例中,可以对车道线图像中的各个像素点进行轮询,以计算得到各个像素点的置信度值。下面以车道线图像中的像素点(u,v)为例来进行说明。
在如图2所示波形图中,将像素点(u,v)作为方波的中心。然后,确定像素点(u,v)为中心的预设范围内的像素加权值,其中,该预设范围包括:第一预设范围和第二预设范围。第一预设范围为像素点(u,v)所在像素行中左侧预设宽度的像素范围,第二预设范围为像素点(u,v)所在像素行中右侧预设宽度的像素范围。如图2所示,第一预设范围为像素点(u,v)左侧(s+lanewidth/2)的范围,第二预设范围为像素点(u,v)右侧(s+lanewidth/2)的范围。其中,(s+lanewidth/2)即为上述预设宽度,s为上述预设像素宽度阈值,lanewidth/2为第二目标像素宽度。
在确定出上述预设范围之后,就可以计算预设范围内像素加权值的平均值,得到像素点(u,v)的置信度值。
在计算预设范围内像素加权值的平均值时,首先,需要通过公式计算像素点(u,v)所在像素行上左右各(s+lanewidth/2)范围内的各个像素点的para值(也即像素加权值)。通过该公式可知,针对预设范围内的每个像素点,若该像素点的横坐标u满足s+lanewidth<u≤2*s+lanewidth,则将该像素点的para值(也即像素加权值)设定为α;若该像素点的横坐标u满足s≤u≤s+lanewidth,则将该像素点的para值(也即像素加权值)设定为β。
在按照上述计算方式得到各个像素点的置信度值之后,就可以基于各个像素点的置信度值生成车道线图像的置信度图谱。如图3(a)为车道线图像的灰度图像,如图3(b)为车道线图像的置信度图谱。
之后,就可以在置信度图谱中确定包含车道线区域的目标像素行。
可选地,步骤S104,在所述置信度图谱中确定包含车道线区域的目标像素行包括如下步骤:
步骤S1041,确定所述车道线图像中车道线区域的起始点和消失点;
步骤S1042,将所述置信度图谱中位于所述车道线区域的消失点和所述起始点之间的像素行确定为所述目标像素行。
在本发明实施例中,车道线图像中车道线区域的消失点一般位于车道线图像的最后一行像素行,可以直接将车道线图像的最后一行像素行作为车道线区域的消失点。而在确定车道线图像中车道线区域的起始点时,可以结合摄像机的参数、摄像机的安装位置、摄像机的朝向来确定该起始点,其中,摄像机的参数包括相机的内参,相机在x,y两个轴上的焦距,相机的光圈中心等参数。
在得到车道线区域的消失点和车道线区域的起始点之后,就能将起始点和起始点之间的像素行确定为目标像素行,进而根据目标像素行中像素点的置信度值确定目标像素行的目标像素点。
通过上述描述可知,在本实施例中,在车道线图像的图像数据中去掉不包含车道线的图像数据,保留包含车道线的图像数据的方式,能够简化数据处理过程,避免不必要的数据处理和计算,从而提高数据处理效率。
在确定出包含车道线区域的目标像素行之后,对于每个目标像素行,就可以根据目标像素行中像素点的置信度值确定所述目标像素行的目标像素点。
可选地,步骤S106,对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点包括如下步骤:
步骤S1061,在每个目标像素行上依次确定至少一个目标滑动窗口,其中,所述目标滑动窗口的窗口宽度大于或者等于第一目标像素宽度,所述第一目标像素宽度为第一预设倍数的车道线宽度映射到所述车道线图像中的目标像素行之后的像素宽度;
步骤S1062,在各个所述目标滑动窗口中选择大于预设置信度阈值的置信度值最大的像素点作为所述目标像素行的一个目标像素点。
在本实施例中,针对多个目标像素行中的每个目标像素行,依次确定至少一个目标滑动窗口,其中,任意两个目标滑动窗口之间的宽度相同或者不同,具体确定过程将在下述实施例中进行介绍。
需要说明的是,在本实施例中,每个目标滑动窗口的窗口宽度大于或者等于第一预设倍数的车道线宽度映射到车道线图像中的目标像素行之后的像素宽度。可选地,第一预设倍数可以选择为2。此时,每个目标滑动窗口的窗口宽度大于或者等于2倍的车道线宽度映射到车道线图像中的目标像素行之后的像素宽度。
在确定至少一个目标滑动窗口之后,就可以从各个目标滑动窗口中选择大于预设置信度阈值的置信度值最大的像素点作为当前目标像素行的一个目标像素点。
需要说明的是,在本实施例中,预设置信度阈值可以通过下述方式来确定:
计算第i个目标像素行中全部像素点的置信度的平均值,其中,i依次取1至I,I为所述目标像素行的数量;然后,将所述平均值作为所述第i个目标像素行的预设置信度阈值。
在一个可选的实施方式中,步骤S1061,在每个目标像素行上依次确定至少一个目标滑动窗口包括如下步骤:
步骤S11,确定待确定的目标滑动窗口的初始滑动窗口,其中,所述初始滑动窗口的宽度为所述第一目标像素宽度;
步骤S12,对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口。
具体地,在本实施例中,首先确定目标滑动窗口的初始滑动窗口。在确定初始滑动窗口时,首先,确定起始像素点,其中,该起始像素点为目标像素行中待确定的目标滑动窗口的上一个目标滑动窗口的结束像素点的下一个像素点,或者,起始像素点为目标像素行的第一个像素点;然后,在目标像素行中确定以起始像素点为起点,宽度为第一目标像素宽度的窗口为所述初始滑动窗口。
如果当前时刻待确定的目标滑动窗口为该目标像素行的第一个目标滑动窗口,那么在确定该目标滑动窗口的初始滑动窗口时,起始像素点就是该目标像素行的第一个像素点,然后,以该第一个像素点为起点,宽度为第一目标像素宽度的窗口为初始滑动窗口。之后,对该初始滑动窗口进行调整,得到待确定的目标滑动窗口。
如果当前时刻待确定的标滑动窗口不是该目标像素行的第一个目标滑动窗口,那么在确定该目标滑动窗口的初始滑动窗口时,起始像素点就是上一个目标滑动窗口的结束像素点的下一个像素点,然后,以该起始像素点为起点,宽度为第一目标像素宽度的窗口为初始滑动窗口。之后,对该初始滑动窗口进行调整,得到待确定的目标滑动窗口。
在本实施例中,可以通过下述方式对初始滑动窗口进行调整,得到所述待确定的目标滑动窗口,具体包括:
若所述初始滑动窗口之后存在多个连续置信度值大于所述预设置信度阈值的像素点,则扩大所述初始滑动窗口,得到所述待确定的目标滑动窗口,其中,所述待确定的目标滑动窗口中包括所述多个连续置信度大于所述预设置信度阈值的像素点。
具体地,假设,初始滑动窗口为目标像素行的第x个像素点至第x+y个像素点,若该目标像素行的第x+y+1个像素点的置信度值大于预设置信度阈值,则将该初始滑动窗口扩展至第x+y+1个像素点。若该目标像素行的第x+y+2个像素点的置信度值大于预设置信度阈值,则将该初始滑动窗口扩展至第x+y+2个像素点。若该目标像素行的第x+y+3个像素点的置信度值小于预设置信度阈值,则将该初始滑动窗口扩展至第x+y+2个像素点,从而得到目标滑动窗口。
在本实施例中,在按照上述方式确定出每个目标像素行的目标像素点之后,就可以基于目标像素行的目标像素点,确定目标像素行所含车道线区域的中心点,如图4所示,具体包括如下过程:
将所述车道线图像中最后一行目标像素行的目标像素点作为目标坐标点,执行以下步骤,直到满足迭代停止条件:
步骤S1081,将目标坐标点作为待构建的三角形区域的一个顶点坐标,并按照预设步长和第二预设倍数的车道线宽度在世界坐标系中构建三角形区域,其中,所述预设步长为所述三角形区域的中线长度,所述第二预设倍数的车道线宽度为所述三角形区域的底边宽度,所述中线为所述目标坐标点与所述底边中点之间的连线;
步骤S1082,将所述三角形区域映射到所述车道线图像中,得到目标搜索区域;
步骤S1083,判断目标搜索区域中是否包含目标像素点;若是,则执行步骤S1084;否则执行步骤S1085;
步骤S1084,基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心,并基于所述目标搜索区域的重心重新确定目标坐标点;并返回执行步骤S1081;
步骤S1085,确定满足所述迭代停止条件,并将已确定出的重心作为所述车道线区域的中心点。
在本实施例中,首先,以车道线图像中最后一行目标像素行的目标像素点作为目标坐标点,在世界坐标系中构建一个三角形区域,其中,该三角形区域为等腰三角形,该三角形区域的中线长度选择为预设步长,该三角形区域的底边宽度选择为第二预设倍数的车道线宽度,例如,2倍的车道线宽度。然后,将该三角形区域映射到车道线图像中,得到目标搜索区域。如果该目标搜索区域中包含目标像素点,那么基于该目标搜索区域中包含的目标像素点确定目标搜索区域的重心,并基于目标搜索区域的重心重新确定目标坐标点。具体地,可以将该重新确定出的目标坐标点映射到世界坐标系,得到另外一个坐标点,并将该坐标点作为目标坐标点。
之后,基于该重新确定出的目标坐标点,在世界坐标系中构建一个三角形区域,然后,将该三角形区域映射到车道线图像中,得到目标搜索区域,该目标搜索区域如图5所示。如果该目标搜索区域中包含目标像素点,那么基于该目标搜索区域中包含的目标像素点确定目标搜索区域的重心,并基于目标搜索区域的重心重新确定目标坐标点。如果目标搜索区域中不包含目标像素点,则确定满足迭代停止条件,此时并将已确定出的重心作为车道线区域的中心点。
通过上述描述可知,在本实施例中,针对每个目标像素行上的目标像素点,以最后一个目标像素行上的目标像素点开始,向上遍历每个目标像素点,并按照上述步骤S1081至步骤S1084所描述的步骤,确定目标搜索区域的重心,直至满足迭代条件。针对其他目标像素行上的目标像素点的处理过程,与上述过程相同,此处不再详细赘述。
在一个可选的实施方式中,基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心包括如下步骤:
首先,计算所述目标搜索区域中包含的各个目标像素点的坐标与其置信度值的乘积,得到多个乘积结果;
然后,对所述多个乘积结果进行求和运算,得到第一运算结果;
之后,对所述目标搜索区域中包含的各个目标像素点的置信度值进行求和运算,得到第二运算结果;
最后,结合所述第一运算结果和所述第二运算结果确定所述目标搜索区域的重心。
具体地,在本实施例中,针对每个目标搜索区域内的目标像素点,首先,计算目标搜索区域内的各个目标像素点的坐标与其置信度值之间的乘积,得到多个乘积结果。然后,计算多个乘积结果之间的和值,得到第一运算结果,记为A。然后,对目标搜索区域中包含的各个目标像素点的置信度值进行求和运算,得到第二运算结果,记为B。之后,利用第一运算结果和第二运算结果确定目标搜索区域的重心,例如,重心=A/B。
在本实施例中,在按照上述方式得到目标搜索区域的重心之后,就可以将确定出的重心作为车道线区域的中心点。如图6(a)所示的为车道线图像的灰度图像,如图6(b)所示的图像中包含各个车道线区域的中心点,且每个车道线区域包含多个中心点。
最后,就可以,基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域,具体包括:
首先,对各个所述目标像素行所含车道线区域的中心点进行直线拟合,得到直线拟合结果;然后,基于所述直线拟合结果确定待识别车道线的区域。
在本实施例中,在得到车道线区域的中心点之后,就可以对目标像素行所含车道线区域的中心点进行直线拟合,得到直线拟合结果,并基于直线拟合结果确定待识别车道线的区域。
通过上述描述可知,相对于现有技术,在本实施例中,利用目标像素行中像素点的置信度值来识别车道线区域的方式,能够提高车道线区域的识别精度,进而缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
实施例二:
本发明实施例还提供了一种车道线识别装置,该车道线识别装置主要用于执行本发明实施例上述内容所提供的车道线识别方法,以下对本发明实施例提供的车道线识别装置做具体介绍。
图7是根据本发明实施例的一种车道线识别装置的示意图,如图7所示,该车道线识别装置主要包括:图像获取和图谱生成单元10,第一确定单元20,第二确定单元30,第三确定单元40和第四确定单元50,其中:
图像获取和图谱生成单元10,用于获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;
第一确定单元20,用于在所述置信度图谱中确定包含车道线区域的目标像素行;
第二确定单元30,用于对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;
第三确定单元40,用于基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;
第四确定单元50,用于基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
在本发明实施例中,首先获取待识别的车道线图像,并生成车道线图像的置信度图谱,然后,在置信度图谱中确定包含车道线区域的目标像素行。对于目标像素行中的每个像素行,根据目标像素行中像素点的置信度值确定目标像素行的目标像素点,并基于目标像素点,确定目标像素行所含车道线区域的中心点,最后,基于各个目标像素行所含车道线区域的中心点,确定待识别车道线的区域。相对于现有技术,在本实施例中,利用目标像素行中像素点的置信度值来识别车道线区域的方式,能够提高车道线区域的识别精度,进而缓解了通过现有车道线识别技术识别到的车道线准确性差的技术问题。
可选地,第二确定单元30包括:第一确定模块,用于在每个目标像素行上依次确定至少一个目标滑动窗口,其中,所述目标滑动窗口的窗口宽度大于或者等于第一目标像素宽度,所述第一目标像素宽度为第一预设倍数的车道线宽度映射到所述车道线图像中的目标像素行之后的像素宽度;第二确定模块,用于在各个所述目标滑动窗口中选择大于预设置信度阈值的置信度值最大的像素点作为所述目标像素行的一个目标像素点。
可选地,第一确定模块用于:确定所述待确定的目标滑动窗口的初始滑动窗口,其中,所述初始滑动窗口的宽度为所述第一目标像素宽度;对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口。
可选地,第一确定模块还用于:确定起始像素点,其中,所述起始像素点为所述目标像素行中所述待确定的目标滑动窗口的上一个目标滑动窗口的结束像素点的下一个像素点,或者,所述起始像素点为所述目标像素行的第一个像素点;在所述目标像素行中确定以所述起始像素点为起点,宽度为所述第一目标像素宽度的窗口为所述初始滑动窗口。
可选地,第一确定模块用于:若所述初始滑动窗口之后存在多个连续置信度值大于所述预设置信度阈值的像素点,则扩大所述初始滑动窗口,得到所述待确定的目标滑动窗口,其中,所述待确定的目标滑动窗口中包括所述多个连续置信度大于所述预设置信度阈值的像素点。
可选地,图像获取和图谱生成单元10用于:确定所述车道线图像中各个像素点在预设范围内的像素加权值,其中,所述预设范围包括第一预设范围和第二预设范围,所述第一预设范围为所述像素点所在像素行中左侧预设宽度的像素范围,所述第二预设范围为所述像素点所在像素行中右侧预设宽度的像素范围,所述预设宽度为预设像素宽度阈值与第二目标像素宽度之和,所述第二目标像素宽度为车道线宽度映射到所述车道线图像中所述像素点所在像素行之后像素宽度的一半;计算各个所述像素点在预设范围内像素加权值的平均值,得到各个所述像素点的置信度值,并基于各个所述像素点的置信度值生成所述车道线图像的置信度图谱。
可选地,该装置还用于:计算第i个目标像素行中全部像素点的置信度的平均值,其中,i依次取1至I,I为所述目标像素行的数量;将所述平均值作为所述第i个目标像素行的预设置信度阈值。
可选地,第一确定模块还用于:将所述车道线图像中最后一行目标像素行的目标像素点作为目标坐标点,执行以下步骤,直到满足迭代停止条件:将目标坐标点作为待构建的三角形区域的一个顶点坐标,按照预设步长和第二预设倍数的车道线宽度在世界坐标系中构建三角形区域,其中,所述预设步长为所述三角形区域的中线长度,所述第二预设倍数的车道线宽度为所述三角形区域的底边宽度,所述中线为所述目标坐标点与所述底边中点之间的连线;将所述三角形区域映射到所述车道线图像中,得到目标搜索区域;若所述目标搜索区域中包含目标像素点,则基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心,并基于所述目标搜索区域的重心重新确定目标坐标点;若所述目标搜索区域中不包含目标像素点,则确定满足所述迭代停止条件,并将已确定出的重心作为所述车道线区域的中心点。
可选地,第一确定模块还用于:计算所述目标搜索区域中包含的各个目标像素点的坐标与其置信度值的乘积,得到多个乘积结果;对所述多个乘积结果进行求和运算,得到第一运算结果;对所述目标搜索区域中包含的各个目标像素点的置信度值进行求和运算,得到第二运算结果;结合所述第一运算结果和所述第二运算结果确定所述目标搜索区域的重心。
可选地,第四确定单元50还用于:对各个所述目标像素行所含车道线区域的中心点进行直线拟合,得到直线拟合结果;基于所述直线拟合结果确定所述待识别车道线的区域。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供的车道线识别装置,与上述实施例提供的车道线识别方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例三:
参见图8,本发明实施例还提供一种电子设备100,包括:处理器80,存储器81,总线82和通信接口83,所述处理器80、通信接口83和存储器81通过总线82连接;处理器80用于执行存储器81中存储的可执行模块,例如计算机程序。
其中,存储器81可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线82可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器81用于存储程序,所述处理器80在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中,或者由处理器80实现。
处理器80可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81,处理器80读取存储器81中的信息,结合其硬件完成上述方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心点”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种车道线识别方法,其特征在于,包括:
获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;
在所述置信度图谱中确定包含车道线区域的目标像素行;
对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;
基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;
基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
2.根据权利要求1所述的方法,其特征在于,对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点包括:
在每个目标像素行上依次确定至少一个目标滑动窗口,其中,所述目标滑动窗口的窗口宽度大于或者等于第一目标像素宽度,所述第一目标像素宽度为第一预设倍数的车道线宽度映射到所述车道线图像中的目标像素行之后的像素宽度;
在各个所述目标滑动窗口中选择大于预设置信度阈值的置信度值最大的像素点作为所述目标像素行的一个目标像素点。
3.根据权利要求2所述的方法,其特征在于,在每个目标像素行上依次确定至少一个目标滑动窗口包括:
确定待确定的目标滑动窗口的初始滑动窗口,其中,所述初始滑动窗口的宽度为所述第一目标像素宽度;
对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口。
4.根据权利要求3所述的方法,其特征在于,确定所述待确定的目标滑动窗口的初始滑动窗口包括:
确定起始像素点,其中,所述起始像素点为所述目标像素行中所述待确定的目标滑动窗口的上一个目标滑动窗口的结束像素点的下一个像素点,或者,所述起始像素点为所述目标像素行的第一个像素点;
在所述目标像素行中确定以所述起始像素点为起点,宽度为所述第一目标像素宽度的窗口为所述初始滑动窗口。
5.根据权利要求3所述的方法,其特征在于,对所述初始滑动窗口进行调整,得到所述待确定的目标滑动窗口包括:
若所述初始滑动窗口之后存在多个连续置信度值大于所述预设置信度阈值的像素点,则扩大所述初始滑动窗口,得到所述待确定的目标滑动窗口,其中,所述待确定的目标滑动窗口中包括所述多个连续置信度大于所述预设置信度阈值的像素点。
6.根据权利要求1至5中任一项所述的方法,其特征在于,生成所述车道线图像的置信度图谱包括:
确定所述车道线图像中各个像素点在预设范围内的像素加权值,其中,所述预设范围包括第一预设范围和第二预设范围,所述第一预设范围为所述像素点所在像素行中左侧预设宽度的像素范围,所述第二预设范围为所述像素点所在像素行中右侧预设宽度的像素范围,所述预设宽度为预设像素宽度阈值与第二目标像素宽度之和,所述第二目标像素宽度为车道线宽度映射到所述车道线图像中所述像素点所在像素行之后像素宽度的一半;
计算各个所述像素点在预设范围内像素加权值的平均值,得到各个所述像素点的置信度值,并基于各个所述像素点的置信度值生成所述车道线图像的置信度图谱。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
计算第i个目标像素行中全部像素点的置信度的平均值,其中,i依次取1至I,I为所述目标像素行的数量;
将所述平均值作为所述第i个目标像素行的预设置信度阈值。
8.根据权利要求1至5中任一项所述的方法,其特征在于,基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点包括:
将所述车道线图像中最后一行目标像素行的目标像素点作为目标坐标点,执行以下步骤,直到满足迭代停止条件:
将目标坐标点作为待构建的三角形区域的一个顶点坐标,按照预设步长和第二预设倍数的车道线宽度在世界坐标系中构建三角形区域,其中,所述预设步长为所述三角形区域的中线长度,所述第二预设倍数的车道线宽度为所述三角形区域的底边宽度,所述中线为所述目标坐标点与所述底边中点之间的连线;
将所述三角形区域映射到所述车道线图像中,得到目标搜索区域;
若所述目标搜索区域中包含目标像素点,则基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心,并基于所述目标搜索区域的重心重新确定目标坐标点;
若所述目标搜索区域中不包含目标像素点,则确定满足所述迭代停止条件,并将已确定出的重心作为所述车道线区域的中心点。
9.根据权利要求8所述的方法,其特征在于,基于所述目标搜索区域中包含的目标像素点确定所述目标搜索区域的重心包括:
计算所述目标搜索区域中包含的各个目标像素点的坐标与其置信度值的乘积,得到多个乘积结果;
对所述多个乘积结果进行求和运算,得到第一运算结果;
对所述目标搜索区域中包含的各个目标像素点的置信度值进行求和运算,得到第二运算结果;
结合所述第一运算结果和所述第二运算结果确定所述目标搜索区域的重心。
10.一种车道线识别装置,其特征在于,包括:
获取单元,用于获取待识别的车道线图像,并生成所述车道线图像的置信度图谱;其中,所述置信度图谱包含所述车道线图像中各个像素点的置信度值;
第一确定单元,用于在所述置信度图谱中确定包含车道线区域的目标像素行;
第二确定单元,用于对于确定出的每个目标像素行,根据所述目标像素行中像素点的置信度值确定所述目标像素行的目标像素点;
第三确定单元,用于基于所述目标像素行的目标像素点,确定所述目标像素行所含车道线区域的中心点;
第四确定单元,用于基于各个所述目标像素行所含车道线区域的中心点,确定待识别车道线的区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811284239.0A CN111126106B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811284239.0A CN111126106B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126106A true CN111126106A (zh) | 2020-05-08 |
CN111126106B CN111126106B (zh) | 2023-09-05 |
Family
ID=70485170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811284239.0A Active CN111126106B (zh) | 2018-10-31 | 2018-10-31 | 一种车道线识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126106B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022051951A1 (zh) * | 2020-09-09 | 2022-03-17 | 华为技术有限公司 | 车道线检测方法、相关设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
US20180060677A1 (en) * | 2016-08-29 | 2018-03-01 | Neusoft Corporation | Method, apparatus and device for detecting lane lines |
-
2018
- 2018-10-31 CN CN201811284239.0A patent/CN111126106B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
US20180060677A1 (en) * | 2016-08-29 | 2018-03-01 | Neusoft Corporation | Method, apparatus and device for detecting lane lines |
Non-Patent Citations (1)
Title |
---|
M. REVILLOUD ET AL.: "A new multi-agent approach for lane detection and tracking" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022051951A1 (zh) * | 2020-09-09 | 2022-03-17 | 华为技术有限公司 | 车道线检测方法、相关设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111126106B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109117825B (zh) | 车道线处理方法和装置 | |
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
EP3620981B1 (en) | Object detection method, device, apparatus and computer-readable storage medium | |
US20180157920A1 (en) | Method and apparatus for recognizing obstacle of vehicle | |
US10474935B2 (en) | Method and device for target detection | |
CN109977776A (zh) | 一种车道线检测方法、装置及车载设备 | |
US11430226B2 (en) | Lane line recognition method, lane line recognition device and non-volatile storage medium | |
CN112396122B (zh) | 基于顶点距离与交并比多重优化目标检测器的方法与系统 | |
CN108021863B (zh) | 电子装置、基于图像的年龄分类方法及存储介质 | |
CN112329881A (zh) | 车牌识别模型训练方法、车牌识别方法及装置 | |
CN110084232B (zh) | 车牌中汉字字符的识别方法、装置及终端设备 | |
CN110796201A (zh) | 一种标注框的修正方法、电子设备及存储介质 | |
EP2821935A2 (en) | Vehicle detection method and device | |
CN110349070B (zh) | 一种短视频水印检测方法 | |
CN111126106B (zh) | 一种车道线识别方法和装置 | |
CN112614074B (zh) | 一种基于响应图和聚类的鲁棒灭点检测方法及装置 | |
CN112837384A (zh) | 车辆标记方法、装置和电子设备 | |
CN111126109B (zh) | 一种车道线识别方法、装置和电子设备 | |
CN112001300A (zh) | 基于按位置交叉熵的楼宇监控方法、装置和电子设备 | |
CN111091068A (zh) | 一种密度估计模型训练方法、装置、存储介质及电子设备 | |
CN111177878A (zh) | 衍生仿真场景筛选方法、装置和终端 | |
CN111950501B (zh) | 障碍物检测方法、装置以及电子设备 | |
CN114495056A (zh) | 停车场柱子检测方法、检测装置、车辆及存储介质 | |
CN112990009A (zh) | 基于端到端的车道线检测方法、装置、设备及存储介质 | |
CN117253179B (zh) | 配电线路鸟巢检测方法、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 110000 No. 861-6, shangshengou village, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Meihang Technology Co.,Ltd. Address before: 110000 12th and 13th floors, No.1 Jinhui street, Hunnan New District, Shenyang City, Liaoning Province Applicant before: SHENYANG MXNAVI Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |