CN111738034A - 车道线的检测方法和装置 - Google Patents

车道线的检测方法和装置 Download PDF

Info

Publication number
CN111738034A
CN111738034A CN201910226600.2A CN201910226600A CN111738034A CN 111738034 A CN111738034 A CN 111738034A CN 201910226600 A CN201910226600 A CN 201910226600A CN 111738034 A CN111738034 A CN 111738034A
Authority
CN
China
Prior art keywords
road image
lane line
determining
clustering
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910226600.2A
Other languages
English (en)
Other versions
CN111738034B (zh
Inventor
傅剑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910226600.2A priority Critical patent/CN111738034B/zh
Publication of CN111738034A publication Critical patent/CN111738034A/zh
Application granted granted Critical
Publication of CN111738034B publication Critical patent/CN111738034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Abstract

本申请公开了一种车道线的检测方法和装置,属于智能辅助驾驶技术领域。该方法包括:获取包括至少一条车道线的道路图像,确定道路图像对应的语义分割图,以及道路图像中的每个像素点对应的特征向量,基于语义分割图和道路图像中的每个像素点对应的特征向量,从道路图像中确定属于每条车道线的像素点。本申请通过确定道路图像对应的语义分割图,以对道路图像中包括的车道线进行识别。之后确定道路图像中的每个像素点对应的特征向量,并基于语义分割图和每个像素点对应的特征向量,确定出道路图像中的每条车道线的像素点,实现了道路图像中属于不同车道线的像素点的区分。

Description

车道线的检测方法和装置
技术领域
本申请涉及智能辅助驾驶技术领域,特别涉及一种车道线的检测方法和装置。
背景技术
在车辆的智能辅助驾驶过程中,需要对车辆的周围环境进行实时检测,以避免车辆在行驶过程中发生交通事故。尤其是在车辆的行驶过程中,对车道线进行实时检测,以在车辆偏离车道线时,及时调整车辆的行驶方向。
相关技术中提供了一种车道线的检测方法,具体为:通过训练得到的全卷积车道线检测网络模型,对道路图像进行语义分割,以识别道路图像中的车道线。然而,由于语义分割不能区分道路图像中相同的目标,因此在通过全卷积车道线检测网络模型对道路图像上的车道线进行检测后,只能区分道路图像中哪些像素点属于车道线,并不能区分哪些像素点属于第一条车道线,哪些像素点属于第二条车道线。
发明内容
本申请提供了一种车道线的检测方法和装置,可以解决道路图像中属于不同车道线的像素点的区分的问题。所述技术方案如下:
第一方面,提供了一种车道线的检测方法,所述方法包括:
获取包括至少一条车道线的道路图像;
确定所述道路图像对应的语义分割图,以及所述道路图像中的每个像素点对应的特征向量;
基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点。
可选地,所述基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点,包括:
基于所述语义分割图,从所述道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点。
可选地,所述基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点,包括:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于所述筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从所述道路图像中确定属于一条车道线的像素点。
可选地,所述基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新,包括:
判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量;
如果存在,则确定所述至少一个特征向量的均值向量;
判断当前是否满足所述算法收敛条件;
如果当前不满足所述算法收敛条件,则将所述均值向量作为聚类中心,并返回判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量的步骤,直至满足所述算法收敛条件时为止。
可选地,所述判断当前是否满足所述算法收敛条件,包括:
确定所述聚类中心当前被迭代更新的次数,以及所述聚类中心与所述均值向量之间的欧式距离;
如果所述聚类中心当前被迭代更新的次数小于最大更新次数,且所述聚类中心与所述均值向量之间的欧式距离大于距离阈值,则确定当前不满足所述算法收敛条件;
如果所述聚类中心当前被迭代更新的次数大于或等于所述最大更新次数,和/或,所述聚类中心与所述均值向量之间的欧式距离小于或等于所述距离阈值,则确定当前满足所述算法收敛条件。
可选地,当所述道路图像中包括至少两条车道线时,对于所述至少两条车道线中任意两条车道线,属于所述任意两条车道线的像素点的聚类中心之间的距离大于或等于所述聚类带宽的二倍。
可选地,所述确定所述道路图像对应的语义分割图,以及所述道路图像中的每个像素点对应的特征向量,包括:
对所述道路图像中的每个像素点的RGB(Red Green Blue,红绿蓝)特征进行编码,得到所述道路图像的语义特征;
对所述道路图像的语义特征进行解码,得到所述道路图像的语义分割图;
对所述道路图像的语义特征进行映射,得到所述道路图像中每个像素点对应的特征向量。
第二方面,提供了一种车道线的检测装置,所述装置包括:
获取模块,用于获取包括至少一条车道线的道路图像;
第一确定模块,用于确定所述道路图像对应的语义分割图,以及所述道路图像中的每个像素点对应的特征向量;
第二确定模块,用于基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点。
可选地,所述第二确定模块包括:
筛选单元,用于基于所述语义分割图,从所述道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
确定单元,用于基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点。
可选地,所述确定单元主要用于:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于所述筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从所述道路图像中确定属于一条车道线的像素点。
可选地,所述确定单元还用于:
判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量;
如果存在,则确定所述至少一个特征向量的均值向量;
判断当前是否满足所述算法收敛条件;
如果当前不满足所述算法收敛条件,则将所述均值向量作为聚类中心,并返回判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量的步骤,直至满足所述算法收敛条件时为止。
可选地,所述确定单元还用于:
确定所述聚类中心当前被迭代更新的次数,以及所述聚类中心与所述均值向量之间的欧式距离;
如果所述聚类中心当前被迭代更新的次数小于最大更新次数,且所述聚类中心与所述均值向量之间的欧式距离大于距离阈值,则确定当前不满足所述算法收敛条件;
如果所述聚类中心当前被迭代更新的次数大于或等于所述最大更新次数,和/或,所述聚类中心与所述均值向量之间的欧式距离小于或等于所述距离阈值,则确定当前满足所述算法收敛条件。
可选地,当所述道路图像中包括至少两条车道线时,对于所述至少两条车道线中任意两条车道线,属于所述任意两条车道线的像素点的聚类中心之间的距离大于或等于所述聚类带宽的二倍。
可选地,所述第一确定模块包括:
编码单元,用于对所述道路图像中的每个像素点的红绿蓝RGB特征进行编码,得到所述道路图像的语义特征;
解码单元,用于对所述道路图像的语义特征进行解码,得到所述道路图像的语义分割图;
映射单元,用于对所述道路图像的语义特征进行映射,得到所述道路图像中每个像素点对应的特征向量。
本申请提供的技术方案带来的有益效果至少可以包括:
本申请通过获取包括至少一条车道线的道路图像,进而确定该道路图像对应的语义分割图,以实现对道路图像中包括的车道线的识别。之后确定道路图像中的每个像素点对应的特征向量,并基于语义分割图和每个像素点对应的特征向量,确定出道路图像中的每条车道线的像素点,进而实现了道路图像中属于不同车道线的像素点的区分,便于后续根据属于不同车道线的像素点对车道线的分别拟合。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车道线的检测方法的流程示意图;
图2是本申请实施例提供的另一种车道线的检测方法的流程示意图;
图3是本申请实施例提供的一种道路图像对应的语义分割图;
图4是本申请实施例提供的一种道路图像对应的实例分割图;
图5是本申请实施例提供的一种车道线的检测装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种车道线的检测方法的流程示意图。该方法应用于拍摄道路图像的摄像头中,也可以应用于除摄像头之外的其他电子设备。参见图1,该方法包括如下步骤。
步骤101:获取包括至少一条车道线的道路图像。
步骤102:确定道路图像对应的语义分割图,以及道路图像中的每个像素点对应的特征向量。
步骤103:基于该语义分割图和道路图像中的每个像素点对应的特征向量,从道路图像中确定属于每条车道线的像素点。
本申请实施例中,在获取到包括至少一条车道线的道路图像后,可以确定该道路图像对应的语义分割图,以实现对道路图像中包括的车道线的识别。之后确定道路图像中的每个像素点对应的特征向量,并基于语义分割图和每个像素点对应的特征向量,确定出道路图像中的每条车道线的像素点,进而实现了道路图像中属于不同车道线的像素点的区分,便于后续根据属于不同车道线的像素点对车道线的分别拟合。
可选地,基于该语义分割图和道路图像中的每个像素点对应的特征向量,从道路图像中确定属于每条车道线的像素点,包括:
基于该语义分割图,从道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
基于筛选出的特征向量,通过聚类算法从道路图像中确定属于每条车道线的像素点。
可选地,基于筛选出的特征向量,通过聚类算法从道路图像中确定属于每条车道线的像素点,包括:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于筛选出的且未被聚类的特征向量,对该聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从道路图像中确定属于一条车道线的像素点。
可选地,基于筛选出的且未被聚类的特征向量,对该聚类中心进行迭代更新,包括:
判断筛选出的且未被聚类的特征向量中,是否存在与该聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量;
如果存在,则确定至少一个特征向量中的均值向量;
判断当前是否满足算法收敛条件;
如果当前不满足算法收敛条件,则将该均值向量作为聚类中心,并返回判断筛选出的且未被聚类的特征向量中,是否存在与该聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量的步骤,直至满足算法收敛条件时为止。
可选地,判断当前是否满足算法收敛条件,包括:
确定该聚类中心当前被迭代更新的次数,以及该聚类中心与该均值向量之间的欧式距离;
如果该聚类中心当前被迭代更新的次数小于最大更新次数,且该聚类中心与该均值向量之间的欧式距离大于距离阈值,则确定当前不满足算法收敛条件;
如果该聚类中心当前被迭代更新的次数大于或等于最大更新次数,和/或,该聚类中心与该均值向量之间的欧式距离小于或等于距离阈值,则确定当前满足算法收敛条件。
可选地,当道路图像中包括至少两条车道线时,对于至少两条车道线中任意两条车道线,属于任意两条车道线的像素点的聚类中心之间的距离大于或等于聚类带宽的二倍。
可选地,确定道路图像对应的语义分割图,以及道路图像中的每个像素点对应的特征向量,包括:
对道路图像中的每个像素点的RGB特征进行编码,得到道路图像的语义特征;
对道路图像的语义特征进行解码,得到道路图像的语义分割图;
对道路图像的语义特征进行映射,得到道路图像中每个像素点对应的特征向量。
上述所有可选技术方案,均可按照任意结合形成本申请的可选实施例,本申请实施例对此不再一一赘述。
图2是本申请实施例提供的一种车道线的检测方法的流程示意图。该方法应用于拍摄道路图像的摄像头中,也可以应用于除摄像头之外的其他电子设备。参见图2,该方法包括如下步骤。
步骤201:获取包括至少一条车道线的道路图像。
在车辆处于行驶过程中,或者车辆处于停止状态时,可以通过车辆上安装的摄像头拍摄道路图像,从而获取得到包括至少一条车道线的道路图像。
其中,摄像头可以实时拍摄道路图像,也可以间隔时长阈值拍摄一张道路图像,当然也可以按照其他方式拍摄道路图像,具体拍摄方式可以按照实际需求进行设置。
对于摄像头拍摄到的一张道路图像而言,该道路图像中可能包括至少一条车道线,当然,该道路图像中也可能不包括车道线。当摄像头拍摄到的道路图像中不包括车道线时,可以适当提高道路图像的拍摄频率,以通过摄像头快速获取得到包括至少一条车道线的道路图像。
在摄像头获取到包括至少一条车道线的道路图像后,可以按照如下步骤202-步骤204从道路图像中确定属于每条车道线的像素点。也即是,本申请实施例提供的车道线的检测方法可以通过摄像头来实现。当然,本申请实施例提供的车道线的检测方法也可以通过除摄像头之外的其他电子设备来实现。在这种情况下,在摄像头拍摄道路图像之后,电子设备可以从摄像头中获取包括至少一条车道线的道路图像,再按照如下步骤202-步骤204从道路图像中确定属于每条车道线的像素点。
步骤202:确定道路图像对应的语义分割图,以及道路图像中的每个像素点对应的特征向量。
具体地,可以按照如下步骤(1)-(3)实现。
(1)、对道路图像中的每个像素点的RGB特征进行编码,得到道路图像的语义特征。
在一种可能的实现方式中,可以通过特征提取网络,对道路图像中的每个像素点的RGB特征进行编码,得到道路图像的语义特征。
其中,特征提取网络可以为VGGNet(Visual Geometry Group Network,视觉几何组网络)、ResNet(Residual Network,残差网络)、DenseNet(Dense Network,密集卷积网络)或SENet(Squeeze-and-Excitation Networks,挤压激励网络)等。当然,特征提取网络也可以为其他网络,只要能够实现道路图像中语义特征的提取即可。
其中,道路图像的语义特征可以为道路图像的颜色特征、纹理特征、边缘特征等。另外,通常情况下,语义特征可以通过图像的形式来表示,也可以通过矩阵的形式来标识。当通过图像的形式来表示时,可以称为语义特征图,此时,语义特征图的分辨率通常为道路图像分辨率的1/8、1/16或1/32。当通过矩阵的形式来表示时,也可以将道路图像以矩阵的形式来表示,此时,语义特征对应的矩阵的大小可以为道路图像对应的矩阵的1/8、1/16或1/32。换句话说,语义特征的数量是道路图像中包括的像素点的数量的1/8、1/16或1/32。但是,1/8、1/16或1/32只是一种示例,也可以为其他的数值。
(2)、对道路图像的语义特征进行解码,得到道路图像的语义分割图。
在一种可能的实现方式中,可以通过语义分割网络对道路图像的语义特征进行解码,以得到道路图像的语义分割图。
其中,语义分割网络可以为unpool(反池化)解码结构、双线性插值解码结构或转置卷积解码结构等,且通过语义分割网络得到的语义分割图中包括的像素点的个数与道路图像中的像素点的个数相同,以保证语义分割图的真实性,也即是,语义分割图的分辨率与道路图像的分辨率相同。
需要说明的是,在对道路图像的语义特征进行解码时,可以基于预先针对不同类别的实物设置不同的类别序号,对解码得到的语义分割图中不同类别的实物对应的像素点进行标记,尤其对于车道线对应的像素点进行标记,以明确语义分割图中哪些像素点用于指示车道线。
比如,假设道路图像中仅存在路面和车道线,则可以预先存储类别标签0和类别标签1。在对道路图像的语义特征进行解码后,得到如图3所示的包括路面和车道线的语义分割图,可以用类别标签0代表语义分割图中的路面对应的像素点,可以用类别标签1代表语义分割图中的车道线对应的像素点。
(3)、对道路图像的语义特征进行映射,得到道路图像中每个像素点对应的特征向量。
在一种可能的实现方式中,可以通过特征映射网络对道路图像的语义特征进行映射,以得到道路图像中的每个像素点对应的特征向量。
其中,特征映射网络与上述语义分割网络的结构一致,也即是特征映射网络可以为unpool(反池化)解码结构、双线性插值解码结构或转置卷积解码结构等。得到的道路图像中的每个像素点对应的特征向量可以为多维特征向量。
在确定了道路图像的语义分割图和道路图像中每个像素点对应的特征向量后,可以基于语义分割图和道路图像中的每个像素点对应的特征向量,从道路图像中确定属于每条车道线的像素点。具体地,可以按照如下步骤203-步骤204实现。
步骤203:基于该语义分割图,从道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量。
由上述论述可知,从道路图像的语义分割图中可以明确区分用于指示车道线的像素点,也即是道路图像中属于车道线的像素点,因此,可以基于语义分割图,在道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量。
步骤204:基于筛选出的特征向量,通过聚类算法从道路图像中确定属于每条车道线的像素点。
由于语义分割图只是用于对道路图像中属于不同类别的实物的像素点赋一个类别标签,以便于对不同类别的实物进行区分,并不能对属于同一类别的实物的像素点进行区分。这样,在得到道路图像对应的语义分割图后,如果获取到的道路图像中包括两条车道线,则从语义分割图中并不能区分哪些像素点属于第一条车道线,那些像素点属于第二条车道线。因此,为了便于对语义分割图中属于每条车道线的像素点进行区分,可以通过聚类算法对属于车道线的像素点进行聚类,以得到属于每条车道线的像素点。
具体地,从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心,基于筛选出的且未被聚类的特征向量,对该聚类中心进行迭代更新,在迭代更新的过程中,如果当前满足算法收敛条件,则基于筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从道路图像中确定属于一条车道线的像素点。
比如,假设获取的道路图像中包括两条车道线,通过上述方法可以确定得到属于这两条车道线的像素点,如图4所示,属于第一车道线的像素点可以为第一类像素点,属于第二车道线的像素点可以为第二类像素点。其中,第一类像素点可以为图4中的黑色圆点指示的像素点,第二类像素点可以为图4中的十字标识指示的像素点。
由于同一个像素点不可能同时属于两条车道线,因此,在对筛选出的特征向量聚类时,所针对的特征向量是指未被聚类过的特征向量,也即是,作为聚类中心的特征向量是筛选出的且未被聚类过的特征向量,且在对聚类中心进行迭代更新时,也是基于筛选出的且未被聚类过的特征向量进行的。在属于每条车道线的像素点对应的特征向量的聚类过程中,如果当前满足算法收敛条件,则表明聚类过程完成,此时可以基于与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从道路图像中确定属于一条车道线的像素点。
其中,聚类带宽的大小由训练特征映射网络时的类内距离(δv)和类间距离(δd)共同决定,聚类带宽大于或等于类内距离,且小于类间距离。特别的,聚类带宽可以为类内距离或者类内距离的二倍,类内距离是指属于一条车道线的像素点对应的特征向量中距离聚类中心的最大距离,类间距离是指属于两条车道线的像素点对应的特征向量的聚类中心之间的距离。
另外,实际情况中,属于不同的车道线的像素点所处的区域之间不存在公共区域。这样,当道路图像中包括至少两条车道线时,对于该道路图像中的任意两条车道线,属于任意两条车道线的像素点对应的特征向量的聚类中心之间的距离大于属于第一车道线的像素点对应的特征向量的聚类带宽与属于第二车道线的像素点对应的特征向量的聚类带宽之和,也即是类间距离大于或等于类内距离的二倍。
在一种可能的实现方式中,基于筛选出的且未被聚类的特征向量,对该聚类中心进行迭代更新的具体实现过程可以为:判断筛选出的且未被聚类的特征向量中,是否存在与该聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量,如果存在,则确定至少一个特征向量中的向量均值,判断当前是否满足算法收敛条件,如果当前不满足算法收敛条件,则将均值向量作为聚类中心,并返回判断筛选出的且未被聚类的特征向量中,是否存在与聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量的步骤,直至满足算法收敛条件时为止。
其中,当筛选出的且未被聚类的特征向量中存在与该聚类中心之间的欧式距离小于聚类带宽的特征向量的个数小于个数阈值时,则表明属于一条车道线的像素点的个数小于个数阈值。但是通常情况下,属于一条车道线的像素点的数量较多,因此,可以将筛选出的且未被聚类的特征向量中,与该聚类中心之间的欧式距离小于聚类带宽的特征向量对应的像素点认为是噪声点,此时,可以结束当前操作,对剩余未被聚类的特征向量进行聚类。
特别的,当筛选出的且未被聚类的特征向量中存在与该聚类中心之间的欧式距离小于聚类带宽的特征向量的个数为0时,则表明只有作为聚类中心的特征向量对应的像素点属于一条车道线,也即是这一条车道线只有一个像素点。显然,一条车道线不可能只有一个像素点,因此,当筛选出的且未被聚类的特征向量中与该聚类中心之间的欧式距离小于聚类带宽的特征向量的个数为0时,可以结束当前操作,对剩余未被聚类的像素点进行聚类。
其中,在一种可能的实现方式中,确定该至少一个特征向量的均值向量的具体过程可以为:将该至少一个特征向量中属于同一维度的元素进行平均运算,再将针对每个维度计算得到的平均值组成一个向量,该向量即可成为该至少一个特征向量的均值向量。也即是,对至少一个特征向量中第一维度的元素进行求平均值计算,并将计算得到的平均值作为均值向量中第一维度的元素,对至少一个特征向量中第二维度的元素进行求平均值计算,并将计算得到的平均值作为均值向量中第二维度的元素,直至对至少一个特征向量中最后一维度的元素进行求平均值计算,从而得到均值向量。
其中,在一种可能的实现方式中,判断当前是否满足算法收敛条件的具体实现方式可以为:确定该聚类中心当前被迭代更新的次数,以及该聚类中心与该均值向量之间的欧式距离,如果该聚类中心当前被迭代更新的次数小于最大更新次数,且该聚类中心与该均值向量之间的欧式距离大于距离阈值,则确定当前不满足算法收敛条件。如果该聚类中心当前被迭代更新的次数大于或等于最大更新次数,或,该聚类中心与该均值向量之间的欧式距离小于或等于距离阈值,则确定当前满足算法收敛条件。
其中,聚类中心与该均值向量之间的欧式距离小于或等于距离阈值时,表明聚类中心与该均值向量较接近,当距离阈值趋近于零时,聚类中心与该均值向量近似重合。因此,在聚类算法过程中如果聚类中心与该均值向量之间的欧式距离小于或等于距离阈值时,则可以确定当前聚类算法满足算法收敛条件。距离阈值可以基于算法收敛条件进行设置,当算法收敛条件要求的聚类中心的精度较高时,距离阈值越小,当算法收敛条件要求的聚类中心的精度较低时,距离阈值越大。
本申请实施例中,在获取到包括至少一条车道线的道路图像后,对道路图像的RGB特征进行编码,以得到道路图像的语义特征,之后对道路图像的语义特征进行解码得到道路图像对应的语义分割图,对道路图像的语义特征进行特征映射得到道路图像中的每个像素点对应的特征向量。为了便于对道路图像中属于车道线的像素点进行区分,可以基于语义分割图筛选出属于车道线的像素点对应的特征向量,进而基于筛选出的特征向量,通过聚类算法确定出道路图像中的每条车道线的像素点,进而实现了道路图像中属于不同车道线的像素点的区分,便于后续根据属于不同车道线的像素点对车道线的分别拟合。
图5是本申请实施例提供的一种车道线的检测装置的结构示意图。参见图5,该装置包括:
获取模块501,用于获取包括至少一条车道线的道路图像;
第一确定模块502,用于确定道路图像对应的语义分割图,以及道路图像中的每个像素点对应的特征向量;
第二确定模块503,用于基于该语义分割图和道路图像中的每个像素点对应的特征向量,从道路图像中确定属于每条车道线的像素点。
可选地,第二确定模块503包括:
筛选单元,用于基于该语义分割图,从道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
确定单元,用于基于筛选出的特征向量,通过聚类算法从道路图像中确定属于每条车道线的像素点。
可选地,确定单元主要用于:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于筛选出的且未被聚类的特征向量,对该聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从所述道路图像中确定属于一条车道线的像素点。
可选地,确定单元还用于:
判断筛选出的且未被聚类的特征向量中,是否存在与聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量;
如果存在,则确定至少一个特征向量的均值向量;
判断当前是否满足算法收敛条件;
如果当前不满足算法收敛条件,则将均值向量作为聚类中心,并返回判断筛选出的且未被聚类的特征向量中,是否存在与该聚类中心之间的欧式距离小于聚类带宽的至少一个特征向量的步骤,直至满足算法收敛条件时为止。
可选地,确定单元还用于:
确定该聚类中心当前被迭代更新的次数,以及该聚类中心与均值向量之间的欧式距离;
如果聚类中心当前被迭代更新的次数小于最大更新次数,且聚类中心与均值向量之间的欧式距离大于距离阈值,则确定当前不满足算法收敛条件;
如果该聚类中心当前被迭代更新的次数大于或等于最大更新次数,和/或,聚类中心与均值向量之间的欧式距离小于或等于距离阈值,则确定当前满足算法收敛条件。
可选地,当道路图像中包括至少两条车道线时,对于至少两条车道线中任意两条车道线,属于任意两条车道线的像素点的聚类中心之间的距离大于或等于聚类带宽的二倍。
可选地,第一确定模块502包括:
编码单元,用于对道路图像中的每个像素点的RGB特征进行编码,得到道路图像的语义特征;
解码单元,用于对道路图像的语义特征进行解码,得到道路图像的语义分割图;
映射单元,用于对道路图像的语义特征进行映射,得到道路图像中每个像素点对应的特征向量。
本申请实施例中,在获取到包括至少一条车道线的道路图像后,可以确定该道路图像对应的语义分割图,以实现对道路图像中包括的车道线的识别。之后在确定了道路图像中的每个像素点对应的特征向量后,基于语义分割图和每个像素点对应的特征向量,确定出道路图像中的每条车道线的像素点,进而实现了道路图像中属于不同车道线的像素点的区分,便于后续根据属于不同车道线的像素点对车道线的分别拟合。
需要说明的是:上述实施例提供的车道线的检测装置在确定道路图像中属于不同车道线的像素点时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的车道线的检测装置与车道线的检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6示例了本申请一个示例性实施例提供的电子设备600的结构示意图。参见图6,该电子设备600可以是:智能手机、平板电脑、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。参见图6,电子设备600可以包括处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的一种车道线的检测方法。
在一些实施例中,电子设备600还可选包括有:通信接口603和至少一个外围设备。处理器601、存储器602和通信接口603之间可以通过通信总线或通信信号线相连。各个外围设备可以通过通信总线、通信信号线或电路板与通信接口603相连。具体地,外围设备包括:射频电路604、显示屏605、定位组件606和电源607中的至少一种。
通信接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和通信接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和通信接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置电子设备600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在电子设备600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在电子设备600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
定位组件606用于定位电子设备600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件606可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源607用于为电子设备600中的各个组件进行供电。电源607可以是交流电、直流电、一次性电池或可充电电池。当电源607包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图6中示出的结构并不构成对电子设备600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在上述实施例中,还提供了一种计算机可读存储介质,该存储介质内存储由计算机程序,该计算机程序被处理器执行时实现上述图1和图2所示实施例提供的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种车道线的检测方法,其特征在于,所述方法包括:
获取包括至少一条车道线的道路图像;
确定所述道路图像对应的语义分割图,以及所述道路图像中的每个像素点对应的特征向量;
基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点。
2.如权利要求1所述的方法,其特征在于,所述基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点,包括:
基于所述语义分割图,从所述道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点。
3.如权利要求2所述的方法,其特征在于,所述基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点,包括:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于所述筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从所述道路图像中确定属于一条车道线的像素点。
4.如权利要求3所述的方法,其特征在于,所述基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新,包括:
判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量;
如果存在,则确定所述至少一个特征向量的均值向量;
判断当前是否满足所述算法收敛条件;
如果当前不满足所述算法收敛条件,则将所述均值向量作为聚类中心,并返回判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量的步骤,直至满足所述算法收敛条件时为止。
5.如权利要求3或4所述的方法,其特征在于,当所述道路图像中包括至少两条车道线时,对于所述至少两条车道线中任意两条车道线,属于所述任意两条车道线的像素点的聚类中心之间的距离大于或等于所述聚类带宽的二倍。
6.一种车道线的检测装置,其特征在于,所述装置包括:
获取模块,用于获取包括至少一条车道线的道路图像;
第一确定模块,用于确定所述道路图像对应的语义分割图,以及所述道路图像中的每个像素点对应的特征向量;
第二确定模块,用于基于所述语义分割图和所述道路图像中的每个像素点对应的特征向量,从所述道路图像中确定属于每条车道线的像素点。
7.如权利要求6所述的装置,其特征在于,所述第二确定模块包括:
筛选单元,用于基于所述语义分割图,从所述道路图像中的每个像素点对应的特征向量中筛选出属于车道线的像素点对应的特征向量;
确定单元,用于基于筛选出的特征向量,通过聚类算法从所述道路图像中确定属于每条车道线的像素点。
8.如权利要求7所述的装置,其特征在于,所述确定单元主要用于:
从筛选出的且未被聚类的特征向量中随机选择一个特征向量作为聚类中心;
基于所述筛选出的且未被聚类的特征向量,对所述聚类中心进行迭代更新;
在迭代更新的过程中,如果当前满足算法收敛条件,则基于所述筛选出的且未被聚类的特征向量中,与最后一次更新的聚类中心之间的欧式距离小于聚类带宽的特征向量,从所述道路图像中确定属于一条车道线的像素点。
9.如权利要求8所述的装置,其特征在于,所述确定单元还用于:
判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量;
如果存在,则确定所述至少一个特征向量的均值向量;
判断当前是否满足所述算法收敛条件;
如果当前不满足所述算法收敛条件,则将所述均值向量作为聚类中心,并返回判断所述筛选出的且未被聚类的特征向量中,是否存在与所述聚类中心之间的欧式距离小于所述聚类带宽的至少一个特征向量的步骤,直至满足所述算法收敛条件时为止。
10.如权利要求8或9所述的装置,其特征在于,当所述道路图像中包括至少两条车道线时,对于所述至少两条车道线中任意两条车道线,属于所述任意两条车道线的像素点的聚类中心之间的距离大于或等于所述聚类带宽的二倍。
CN201910226600.2A 2019-03-25 2019-03-25 车道线的检测方法和装置 Active CN111738034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910226600.2A CN111738034B (zh) 2019-03-25 2019-03-25 车道线的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910226600.2A CN111738034B (zh) 2019-03-25 2019-03-25 车道线的检测方法和装置

Publications (2)

Publication Number Publication Date
CN111738034A true CN111738034A (zh) 2020-10-02
CN111738034B CN111738034B (zh) 2024-02-23

Family

ID=72645994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910226600.2A Active CN111738034B (zh) 2019-03-25 2019-03-25 车道线的检测方法和装置

Country Status (1)

Country Link
CN (1) CN111738034B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169867A (zh) * 2007-12-04 2008-04-30 北京中星微电子有限公司 图像分割方法、图像处理设备及系统
CN107341813A (zh) * 2017-06-15 2017-11-10 西安电子科技大学 基于结构学习和素描特性推理网络的sar图像分割方法
CN108205667A (zh) * 2018-03-14 2018-06-26 海信集团有限公司 车道线检测方法及装置、车道线检测终端、存储介质
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技(北京)有限公司 车道线检测方法、装置和系统及存储介质
US20190034740A1 (en) * 2017-07-27 2019-01-31 Here Global B.V. Method, apparatus, and system for vanishing point/horizon estimation using lane models
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169867A (zh) * 2007-12-04 2008-04-30 北京中星微电子有限公司 图像分割方法、图像处理设备及系统
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles
CN107341813A (zh) * 2017-06-15 2017-11-10 西安电子科技大学 基于结构学习和素描特性推理网络的sar图像分割方法
US20190034740A1 (en) * 2017-07-27 2019-01-31 Here Global B.V. Method, apparatus, and system for vanishing point/horizon estimation using lane models
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN109426801A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种车道线实例检测方法和装置
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
CN108205667A (zh) * 2018-03-14 2018-06-26 海信集团有限公司 车道线检测方法及装置、车道线检测终端、存储介质
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技(北京)有限公司 车道线检测方法、装置和系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMOL B等: "An efficient method to generate ground truth for evaluating lane detection systems", INTERNATIONAL IEEE CONFERENCE ON ACOUSTIC SPEECH AND SIGNAL PROCESSING *
秦文虎;周悦;周宁宁;虞明;: "基于中介理论的车道线识别方法研究" *
秦文虎;周悦;周宁宁;虞明;: "基于中介理论的车道线识别方法研究", 汽车工程, no. 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置
CN112434591B (zh) * 2020-11-19 2022-06-17 腾讯科技(深圳)有限公司 车道线确定方法、装置

Also Published As

Publication number Publication date
CN111738034B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN111476780B (zh) 一种图像检测方法、装置、电子设备以及存储介质
CN105354838A (zh) 图像中弱纹理区域的深度信息获取方法及终端
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN105828068A (zh) 一种对摄像头进行遮挡检测的方法、装置及终端设备
CN106296617A (zh) 人脸图像的处理方法及装置
CN108875451A (zh) 一种定位图像的方法、装置、存储介质和程序产品
CN110796157A (zh) 一种图像差异识别方法、装置及存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN110865388A (zh) 摄像机与激光雷达的联合标定方法、装置及存储介质
CN106204552A (zh) 一种视频源的检测方法和装置
CN104463105A (zh) 路牌识别方法及装置
CN112733688B (zh) 房屋的属性值预测方法、装置、终端设备以及计算机可读存储介质
CN111603772A (zh) 区域检测方法、装置、设备及存储介质
CN112215227A (zh) 图像目标检测模型攻击方法、装置、终端设备及存储介质
CN116310745A (zh) 图像处理方法、数据处理方法、相关装置及存储介质
CN111325220A (zh) 图像生成方法、装置、设备及存储介质
CN112446845A (zh) 地图构建方法、装置、slam系统以及存储介质
CN111738034B (zh) 车道线的检测方法和装置
US11200437B2 (en) Method for iris-based living body detection and related products
CN113014830A (zh) 视频虚化方法、装置、设备及存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN116958582A (zh) 一种数据处理方法和相关装置
CN112700525A (zh) 一种图像处理方法及电子设备
CN112446846A (zh) 融合帧获得方法、装置、slam系统以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant