CN112001378B - 基于特征空间的车道线处理方法、装置、车载终端和介质 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，提供了一种基于特征空间的车道线处理方法、装置、车载终端和存储介质。本申请能够提高对车道线进行处理的鲁棒性和简化本车车道提取、车道偏离预警和车道跟踪及保持等处理逻辑。该方法包括：获取针对所采集的道路图像中各车道线的车道线分割结果和获取构成各车道线的点的特征向量。在特征空间中，确定这些点的特征向量所形成的聚类中心，根据这些聚类中心与特征空间中参考点的相对位置关系，从这些聚类中心中确定对应于目标车道线的聚类中心，根据对应于目标车道线的聚类中心所表征的特征向量聚类结果与车道线分割结果之间的对应关系，利用与特征向量聚类结果对应的车道线分割结果，处理道路图像中的目标车道线。

Description

基于特征空间的车道线处理方法、装置、车载终端和介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种基于特征空间的车道线处理方法、装置、车载终端和存储介质。

背景技术

随着自动驾驶技术的发展，出现了由车载终端通过车辆搭载的图像采集设备为车辆在道路上行驶过程中对车道线进行处理的技术，例如，其可以依赖于计算机视觉技术，设计相应算法从图像采集设备实时采集的道路图像中提取车道线信息从而识别车道线。

目前的技术所提供的车道线处理算法，一般是先利用车道线具有的例如边缘特征、颜色特征和结构特征等特征从道路图像中提取车道线上的点，然后通过反投影变换（Inverse Perspective Mapping，IPM）将所提取的这些车道线上的点投影到鸟瞰图中，接着利用霍夫变换或者直线段检测算法进行直线检测、滤除掉一些噪声点得到候选点，并对得到的候选点进行聚类得到车道线点。然而，这种技术中由于反投影变换非常容易受到路况的影响，使得基于反投影变换的直线检测和车道线点聚类的准确性较低，导致这种技术难以适应于复杂路况，不能在真实场景中稳定工作，对车道线进行处理的鲁棒性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种基于特征空间的车道线处理方法、装置、车载终端和存储介质。

一种基于特征空间的车道线处理方法，所述方法包括：

获取道路图像；

基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；

确定所述特征向量在特征空间中形成的聚类中心；

根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；

获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；

基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

一种基于特征空间的车道线处理装置，包括：

图像获取模块，用于获取道路图像；

图像处理模块，用于基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；

向量聚类模块，用于确定所述特征向量在特征空间中形成的聚类中心；

中心确定模块，用于根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；

结果获取模块，用于获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；

车道线处理模块，用于基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取道路图像；基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；确定所述特征向量在特征空间中形成的聚类中心；根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取道路图像；基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；确定所述特征向量在特征空间中形成的聚类中心；根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

上述基于特征空间的车道线处理方法、装置、车载终端和存储介质，基于采集的道路图像，获取针对该道路图像中各车道线的车道线分割结果以及获取构成各车道线的点的特征向量。然后，在特征空间中，确定这些点的特征向量所形成的聚类中心，接着根据这些聚类中心与特征空间中参考点的相对位置关系，从这些聚类中心中确定出对应于目标车道线的聚类中心，最后根据对应于目标车道线的聚类中心所表征的特征向量聚类结果与车道线分割结果之间的对应关系，即可利用与特征向量聚类结果对应的车道线分割结果，处理所采集的道路图像中的目标车道线。该方案能够根据构成车道线各点的特征向量在特征空间中的统计特性实现对目标车道线进行处理，提高处理车道线的鲁棒性。同时，该方案也能够利用特征空间中的统计特性将车道线实际应用中的例如本车车道提取、车道偏离预警和本车车道跟踪及保持等处理算法从原始图像空间转移到特征空间中完成，简化了车道线实际应用中的对车道线进行处理的算法逻辑。

附图说明

图1为一个实施例中基于特征空间的车道线处理方法的应用环境图；

图2为一个实施例中基于特征空间的车道线处理方法的流程示意图；

图3（a）为一个实施例中道路图像的示意图；

图3（b）为一个实施例中车道线分割结果的示意图；

图4（a）为一个实施例中道路图像中各车道线的示意图；

图4（b）为一个实施例中构成各车道线的点的特征向量在特征空间中的聚类结果的示意图；

图5（a）为一个实施例中车辆向右变道时道路图像中各车道线的示意图；

图5（b）为一个实施例中车辆向右变道时构成各车道线的点的特征向量在特征空间中的聚类结果的示意图；

图6为一个实施例中车道线检测网络的结构示意图；

图7为一个实施例中构建车道线检测网络的流程示意图；

图8（a）为一个实施例中道路图像中参考区域的示意图；

图8（b）为一个实施例中参考区域在特征空间所对应的聚类中心的示意图；

图9（a）为一个实施例中车道线分割结果的示意图；

图9（b）为另一个实施例中当前车道的车道线分割结果的示意图；

图9（c）为一个实施例中车道线上各点的特征向量在特征空间中的聚类中心的示意图；

图10为一个实施例中基于特征空间的车道线处理装置的结构框图；

图11为一个实施例中车载终端的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于特征空间的车道线处理方法，可以应用于如图1所示的应用环境中，该应用环境可以包括通信连接的图像采集设备和车载终端。其中，图像采集设备具体可以是车辆搭载的摄像头，该图像采集设备可以在车辆行驶过程中实时拍摄道路视频，道路视频是指针对该车辆所行驶的道路拍摄的视频，该道路视频所包含的各帧图像可称为道路图像。

图像采集设备可将实时采集道路视频传输至车载终端，车载终端可针对道路视频所包含道路图像进行关于车道线的相关处理。具体的，车载终端可从车载摄像头拍摄的道路视频中获取道路图像；基于该道路图像，车载终端获取针对道路图像中各车道线的车道线分割结果以及获取构成各车道线的点的特征向量；接着，车载终端确定这些构成各车道线的点的特征向量在特征空间中形成的聚类中心，并进一步根据各聚类中心与该特征空间中参考点的相对位置确定对应于目标车道线的聚类中心，从而得到对应于该聚类中心表征的针对目标车道线的特征向量聚类结果，最后车载终端基于该特征向量聚类结果与车道线分割结果之间的对应关系，即可利用与特征向量聚类结果对应的车道线分割结果，处理道路图像中的目标车道线。

下面结合实施例以及相应附图对本申请提供的基于特征空间的车道线处理方法作进一步说明。

在一个实施例中，如图2所示，提供了一种基于特征空间的车道线处理方法，以该方法应用于图1中的车载终端为例进行说明，包括以下步骤：

步骤S201，获取道路图像；

本步骤中，车载终端可以从车载摄像头在车辆行驶的过程中实时拍摄的道路视频中获取道路图像。其中，道路视频各帧图像均可作为道路图像，车载终端可通过对道路视频中包括前一帧、当前帧等多帧道路图像或者对例如当前帧等某一帧图像等道路图像进行车道线处理。具体的，车载终端可通过对例如道路视频中多帧道路图像进行车道线处理，检测某个车道线在各帧道路图像所在位置，车载终端还可以此进一步实施对车辆是否保持当前车道行驶的判断、将车辆控制在当前车道行驶等操作。

步骤S202，基于道路图像，获取针对道路图像中各车道线的车道线分割结果，以及获取构成各车道线的点的特征向量；

本步骤主要是车载终端需要获取针对道路图像中各车道线的车道线分割结果以及构成各车道线的各点的特征向量。

其中，车道线分割结果一般通过二进制图像表征，也即该车道线分割结果可以是车道线二进制分割结果，该车道线分割结果可以用图像尺寸为H×W的二维图像，其中，H和W分别表示图像的高度和宽度，该车道线分割结果的图像尺寸可与道路图像的图像尺寸保持一致，由此车道线分割结果上像素点与道路图像上像素点具有相互的对应关系。在该车道线二进制分割结果中，属于车道线上的点的像素值可以用1表示，除车道线以外的背景点的像素值则可以相应用0表示，具体的，参考图3（a）和图3（b），图3（a）所示为道路图像，图3（b）所示为该道路图像对应的车道线分割结果。

除车道线分割结果外，车载终端还需获取道路图像中构成各车道线的点的特征向量，该特征向量可以通过神经网络来获取，也即车载终端可将道路图像输入至神经网络，以使得该神经网络提取出道路图像中构成各车道线的点的特征向量，该构成各车道线的点的特征向量可以是多维度的特征向量，而车载终端所获取的构成各车道线的点的特征向量可以由n×H×W的矩阵来表示，其中，n表示特征向量的维度，H和W则分别对应于道路图像的高度和宽度，也即道路图像上构成各车道线的点与车载终端所获取的构成各车道线的点的特征向量具有相互的对应关系。

在得到上述两种对应关系后，车载终端还可以进一步获得构成各车道线的点的特征向量与车道线分割结果的对应关系，以为后续车道线提取做准备。

步骤S203，确定特征向量在特征空间中形成的聚类中心；

本步骤中，车载终端所获取的构成各车道线的点的特征向量可由n×H×W的矩阵来表示，由此，可在n维度的特征空间中将道路图像上构成各车道线的点的特征向量进行表示，每个特征向量可表示为该n维度的特征空间中的一个点。基于此，车载终端可在该特征空间中采用例如DBSCAN（Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法）、Mean-Shift（均值偏移）等聚类方法将这些点进行聚类，从而可得到这些点分别对应的聚类中心和聚类半径等信息。

参考图4（a）和图4（b）对特征向量在特征空间中形成的聚类中心进行说明。其中，图4（a）所示为道路图像中的各车道线示意图，具体的，L表示位于车辆左侧的车道线，L1至L3依次表示位于车辆左侧的第一条、第二条和第三条车道线，R则表示位于车辆右侧的车道线，R1至R3依次表示位于车辆右侧的第一条、第二条和第三条车道线，也即，位于车辆左侧的第一条车道线L1和位于车辆右侧的第一条车道线R1构成当前车道，该当前车道是指该车辆当前行驶的车道。

图4（a）所示的各车道线由相应的像素点构成，构成各车道线的点的特征向量被车载终端在特征空间中进行聚类，结合图4（b）在二维的特征空间中对这些构成各车道线的点的特征向量的聚类结果进行说明。具体的，在该图4（b）所示的特征空间中，包括第一维度和第二维度，每个构成车道线的点的特征向量在该第一、第二维度上均具有对应的特征值，依据特征值可确定每个特征向量在该二维特征空间中的位置，然后车载终端可采用例如DBSCAN、Mean-Shift等聚类方法进行聚类获取这些构成各车道线的点的特征向量在特征空间中的聚类结果，从而得到聚类中心。

其中，图4（b）示出了对应于图4（a）所示的各车道线上各点的聚类结果，具体的，图4（b）中411部分至413部分所指示的依次为对应于图4（a）所示的L1至L3车道线上各点的聚类结果，而图4（b）中421部分至423部分所指示的依次为对应于图4（a）所示的R1至R3车道线上各点的聚类结果。

根据对如图4（b）所示的聚类结果的统计特性进行分析得知，构成车道线的点的特征向量在特征空间中的分布并不是随机分布的，而是围绕着如图4（b）中430部分所指示的近似圆形的区域分布，而每个聚类结果对应的聚类中心近似均匀地分布在该430部分所指示的圆周上且符合一定的分布规律，该分布规律具体体现为：

聚类中心在特征空间中的位置与其所对应的车道线在道路图像上的实际位置相关，如图4（b）所示，位于车辆左侧的车道线在特征空间中所对应的聚类中心都分布在左侧象限，而位于车辆右侧的车道线在特征空间中所对应的聚类中心则都分布在右侧象限，同时，在该特征空间中，分布在特征空间的左侧象限的聚类中心从上到下依次对应于L1至L3车道线、分布在特征空间的右侧象限的聚类中心从上到下依次对应于R1至R3车道线。

值得一提的是，根据上述分布规律，当道路视频中当前帧图像上出现一条在前一帧图像中未出现过的新车道线时，该新车道线的聚类中心不会随意分布，而是按照上述分布规律插值在如图4（b）中的430部分所指示的圆周的相应位置上。

步骤S204，根据各聚类中心与特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；

基于如上述的每个聚类结果对应的聚类中心在特征空间中的分布规律，可以如图4（b）的特征空间所展示的各聚类中心中找到对应于所选的目标车道线的聚类中心。本步骤中，车载终端可在特征空间中选定参考点，根据每个聚类中心与该参考点的相对位置，结合不同车道线对应的聚类中心在特征空间中的分布规律，在特征空间所展示的聚类中心中确定对应于目标车道线的聚类中心，其中，该特征空间中选定的参考点440可以是该特征中间的原点（0，0）。示例性的，当所选的目标车道线为如图4（a）所示的L1车道线时，车载终端可根据各聚类中心分别与特征中间的原点（0，0）的位置关系从中确定411聚类中心为对应于该L1车道线的聚类中心。

步骤S205，获取对应于目标车道线的聚类中心表征的针对目标车道线的特征向量聚类结果；

本步骤中，车载终端确定了对应于目标车道线的聚类中心后，可在特征空间中进一步获取针对该目标车道线的特征向量聚类结果，该特征向量聚类结果可以包括在如图4（b）所示的特征空间中以对应于目标车道线的聚类中心为中心，按照相应聚类半径选取的特征向量，而所选取的这些特征向量就是在道路图像中构成目标车道线的部分或者全部像素点所对应的特征向量。

步骤S206，基于特征向量聚类结果与车道线分割结果之间的对应关系，利用与特征向量聚类结果对应的车道线分割结果，处理道路图像中的目标车道线。

如步骤S202中所述，车载终端可先获得构成各车道线的点的特征向量与车道线分割结果的对应关系，由此，本步骤中，车载终端可以得到特征向量聚类结果与车道线分割结果之间的对应关系，并且从对道路图像的各车道线的分割结果中进一步获得与针对目标车道线的特征向量聚类结果对应的车道线分割结果，然后车载终端可在该车道线分割结果的基础上对目标车道线进行曲线拟合得到目标车道线的曲线方程从而得到道路图像中的目标车道线而无需输出道路图像中所有的车道线。

而且，基于上述步骤，车载终端可以利用特征空间中的统计特性进一步将车道线实际应用中例如本车车道提取、车道偏离预警和本车车道跟踪及保持等处理任务从原始图像空间转移到特征空间中完成，也即在利用特征空间中的统计特性，在特征空间中完成本车车道提取、车道偏离预警和本车车道跟踪及保持，简化了车道线实际应用中对车道线进行处理的算法逻辑。

上述基于特征空间的车道线处理方法，基于采集的道路图像，获取针对该道路图像中各车道线的车道线分割结果以及获取构成各车道线的点的特征向量。然后，在特征空间中，确定这些点的特征向量所形成的聚类中心，接着根据这些聚类中心与特征空间中参考点的相对位置关系，从这些聚类中心中确定出对应于目标车道线的聚类中心，最后根据对应于目标车道线的聚类中心所表征的特征向量聚类结果与车道线分割结果之间的对应关系，即可利用与特征向量聚类结果对应的车道线分割结果，处理所采集的道路图像中的目标车道线。该方案能够根据构成车道线各点的特征向量在特征空间中的统计特性实现对目标车道线进行处理，提高处理车道线的鲁棒性。同时，该方案也能够利用特征空间中的统计特性将车道线实际应用中的例如本车车道提取、车道偏离预警和本车车道跟踪及保持等处理算法从原始图像空间转移到特征空间中完成，简化了车道线实际应用中的对车道线进行处理的算法逻辑。

在实际应用中，车载终端通常需要借助道路图像识别构成车辆当前行驶的车道即当前车道的车道线，以实现准确判断车辆是否偏离车道行驶以及精确控制车辆保持在当前车道行驶等目的。在一些实施例中，参考图4（a）和图4（b），目标车道线包括构成当前车道的第一车道线L1和第二车道线R1，聚类中心则相应包括对应于该第一车道线L1的第一聚类中心411以及对应于第二车道线R1的第二聚类中心421，参考点440为特征空间的原点，基于此，上述步骤S204中的根据各聚类中心与特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心，具体包括：

根据各聚类中心分别与参考点在特征空间的第一特征维度的相对位置，确定第一聚类中心集和第二聚类中心集；将第一聚类中心集中在特征空间的第二特征维度上具有最小特征值的聚类中心作为第一聚类中心，以及，将第二聚类中心集中在特征空间的第二特征维度具有最小特征值的聚类中心作为第二聚类中心。

如图4（b）所示，本实施例中，车载终端可根据各聚类中心分别与该特征空间的原点在第一特征维度的相对位置，将这些聚类中心划分为第一聚类中心集和第二聚类中心集，其中，原点在该特征空间的坐标为（0，0），则位于该特征空间的第一维度负半轴的聚类中心被划分为第一聚类中心集，位于第一维度正半轴的聚类中心被划分为第二聚类中心集，根据上述分布规律可知，第一聚类中心集包括与第一车道线L1所在侧（即当前车道左侧）的车道线相对应的聚类中心，而第二聚类中心集则包括与第二车道线R1所在侧（即当前车道右侧）的车道线相对应的聚类中心。接着，车载终端可进一步从第一聚类中心集中确定第一聚类中心411，以及从第二聚类中心中确定第二聚类中心421，具体的，根据上述分布规律，车载终端可将第一聚类中心集中在特征空间的第二特征维度上具有最小特征值的聚类中心作为第一聚类中心411，将第二聚类中心集中在特征空间的第二特征维度具有最小特征值的聚类中心作为第二聚类中心421，由此实现根据分布规律在特征空间中准确且可靠地识别出构成当前车道的第一、第二车道线。

依据准确且可靠识别得到的车辆当前车道的第一、第二车道线，车载终端还可以进行车道偏移分析和预警。参考图4（a）和图4（b），在一些实施例中，上述步骤S204中的根据各聚类中心与特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心之后，还可以通过如下步骤在特征空间中进行车道偏移分析，具体包括：

获取第一聚类中心与参考点在特征空间的第一特征维度的第一相对距离，以及获取第二聚类中心与参考点在第一特征维度的第二相对距离；根据第一相对距离和第二相对距离的相对大小，检测车辆是否偏向第一车道线或者第二车道线行驶。

本实施例中，第一聚类中心411对应于当前车道的第一车道线L1、第二聚类中心421对应于当前车道的第二车道线R1。车载终端可在特征空间中对车辆是否偏向第一车道线L1或者第二车道线R1行驶进行分析，具体的，车载终端获取第一聚类中心411与参考点440（即原点）在特征空间的第一特征维度的第一相对距离，获取第二聚类中心421与参考点440在特征空间的第一特征维度的第二相对距离，然后可以将第一相对距离和第二相对距离进行大小比较，根据第一相对距离和第二相对距离的相对大小判断该车辆是否偏向第一车道线或者第二车道线行驶。本实施例所提供的方案可使得车载终端在特征空间中比较第一、第二车道线对应的聚类中心分别与参考点440在第一特征维度的相对距离的相对大小，准确且可靠地分析出车辆是否有偏向当前车道的某条车道线行驶，有利于确保行车安全。

在一些实施例中，进一步的，上述根据第一相对距离和第二相对距离的相对大小，检测车辆是否偏向第一车道线或者第二车道线行驶，具体包括：

若第一相对距离小于第二相对距离，则判断车辆偏向第一车道线行驶，当第一相对距离小于车道偏离阈值时，提示第一车道线所在侧的车道偏离预警信息；若第二相对距离小于第一相对距离，则判断车辆偏向第二车道线行驶，当第二相对距离小于车道偏离阈值时，提示第二车道线所在侧的车道偏离预警信息。

本实施例中，参考图4（a）和图4（b），当车辆沿着当前车道行驶且基本未偏向于第一车道线L1或者第二车道线R1行驶时，第一聚类中心411与参考点440在特征空间的第一特征维度的第一相对距离与第二聚类中心421与参考点440在特征空间的第一特征维度的第二相对距离基本相同，当第一相对距离与第二相对距离不同，说明车辆在当前车道上正在偏向第一车道线L1或者第二车道线R1行驶。

具体的，车载终端检测到第一相对距离小于第二相对距离时，判断车辆偏向第一车道线L1行驶，车载终端检测到第二相对距离小于第一相对距离时，判断车辆偏向第二车道线R1行驶。

示例性的，以车辆偏向第二车道线R1行驶为例进行说明，如图5（a）和图5（b）所示，图5（a）中510部分指示了车辆在当前车道上偏向于第二车道线R1行驶，相应的，图5（b）中520部分示出了车辆在当前车道上偏向于第二车道线R1行驶时，在特征空间中各车道线对应的聚类中心的移动方向，车辆偏向第二车道线R1行驶时，在特征空间的第一特征维度上，第二聚类中心421相较于第一聚类中心411更靠近参考点440，也即第二相对距离小于第一相对距离，本实施例可通过在特征空间中分析聚类中心的相对位置关系准确、可靠且直观地识别车辆是否偏向当前车道的任一车道行驶。

进一步的，在车辆偏向于第一车道线L1行驶的情况下，如果在特征空间中，还检测到第一相对距离进一步小于车道偏离阈值时，则说明车辆已经非常靠近第一车道线L1，存在偏离车道行驶的风险，从而可以向驾驶员提示关于第一车道线L1所在侧的车道偏离预警信息，例如该第一车道线L1是当前车道的左车道线，则车载终端可以提示驾驶员车辆现在存在左侧车道偏离的驾驶风险；相应的，在车辆偏向于第二车道线R1行驶的情况下，如果在特征空间中，还检测到第二相对距离进一步小于车道偏离阈值时，说明车辆非常靠近第二车道线R1，同样存在偏离车道行驶的风险，可以向驾驶员提示关于第二车道线R1所在侧的车道偏离预警信息，例如该第二车道线R1是当前车道的右车道线，则车载终端可以提示驾驶员车辆现在存在右侧车道偏离的驾驶风险。本实施例的方案可在准确可靠且直观地在特征空间中判断车辆是否偏向当前车道的任一车道行驶的基础上，进一步在检测到相应车道线的聚类中心与参考点的相对距离满足相关阈值条件的情况下向驾驶员提示车道偏离的预警信息，进一步提高车辆行驶安全性。

在实际应用中，车载终端还可以借助道路视频所包含的连续的各帧道路图像判断对车辆当前车道的定位是否成功，也即是否在连续的各帧道路图像中均能跟踪到当前车道的车道线（即目标车道线），从而有助于在自动驾驶或者辅助驾驶应用中决策是否提醒驾驶员接管车辆，在一些实施例中，可利用连续的各帧道路图像上构成车道线各点的特征向量在特征空间中的统计特性的连续性，在特征空间中对当前车道的车道线实施跟踪，具体的，上述步骤S204中的根据各聚类中心与特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心之后，上述方法还可以通过如下步骤在特征空间中对当前车道的车道线实施跟踪，具体包括：

将基于当前帧图像确定的对应于目标车道线的聚类中心，作为目标车道线的当前帧聚类中心；将基于当前帧图像的前一帧图像确定的对应于目标车道线的聚类中心，作为目标车道线的前一帧聚类中心；根据当前帧聚类中心与前一帧聚类中心在特征空间中的相对距离，确定对目标车道线的跟踪结果。

本实施例中，正常驾驶场景下，车道线在真实世界中是连续变化的，不会存在突变，结合上述对构成车道线各点的特征向量在特征空间中的统计特性分析得知，相应的，连续变化的车道线上各点的特征向量在特征空间中的分布情况也是平滑连续变化的，不会发生突变。参考图5（a）和图5（b），当车辆沿着510部分所示的方向即向右变道时，各车道线对应的聚类中心会沿着520部分所示的方向旋转而不会发生突变。

基于此，考虑到道路视频中相邻帧道路图像中车道线的聚类中心在特征空间中的波动范围也符合一定的规律，也即只在其周边波动，从而可以确定相邻帧道路图像的车道线各点的特征向量所对应的聚类中心在特征空间中具有很强的位置相关性，由此可将这些特性应用于对目标车道线的跟踪当中。

具体的，车载终端可基于当前帧图像确定对应的目标车道线的聚类中心并作为目标车道线的当前帧聚类中心，还需要获取当前帧图像的前一帧图像确定的对应于目标车道线的聚类中心，并将其作为目标车道线的前一帧聚类中心。其中，该目标车道线可以包括构成当前车道的第一车道线和第二车道线。接着，车载终端进一步在特征空间中比较当前帧聚类中心与前一帧聚类中心相对距离，从而确定对目标车道线的跟踪结果。

在一些实施例中，上述根据当前帧聚类中心与前一帧聚类中心在特征空间中的相对距离，确定对目标车道线的跟踪结果，具体可以包括：

若车载终端检测到当前帧聚类中心与前一帧聚类中心在特征空间中的相对距离小于车道跟踪阈值，则车载终端可进一步确定跟踪结果为对该目标车道线的跟踪正常；若车载终端检测到当前帧聚类中心与前一帧聚类中心在特征空间中的相对距离大于或者等于车道跟踪阈值，则车载终端可进一步确定跟踪结果为对目标车道线的跟踪异常。

具体的，目标车道线可以是构成当前车道的第一车道线和第二车道线，当车载终端检测到第一车道线和第二车道线对应的上述相对距离均小于车道跟踪阈值，则说明车辆所行驶的当前车道没有发生大的变化，可以继续做车道线跟踪和车道保持，而如果车载终端检测到第一车道线或者第二车道线对应的上述相对距离，则说明至少一条车道线丢失或者发生误检。

由此，在一些实施例中，进一步的，在确定跟踪结果为对目标车道线的跟踪异常的情况下，车载终端还可以采用如下方式判断是由何种原因引起的跟踪异常，具体包括：

在特征空间中构建以前一帧聚类中心为区域中心且具有预设搜索范围的搜索区域；检测该搜索区域中是否存在与前一帧聚类中心的相对距离小于车道跟踪阈值的聚类中心；若存在，则确定跟踪结果为由车道线误检引起的跟踪异常，重新将搜索区域中存在的与前一帧聚类中心的相对距离小于车道跟踪阈值的聚类中心，确定为对应于目标车道线的聚类中心；若不存在，则确定跟踪结果为由车道线丢失引起的跟踪异常，当目标车道线为构成当前车道的车道线时，判断在当前帧图像中对当前车道的定位失败。

本实施例主要是在跟踪异常的情况下，再次尝试在特征空间中寻找目标车道线所对应的聚类中心，以避免由于例如道路上具有水泥痕等原因产生的一些对车道线存在误检的情况而影响实际的车道跟踪效果。

具体的，车载终端确定跟踪结果为对目标车道线的跟踪异常后，可在特征空间中构建以前一帧聚类中心为区域中心且具有预设搜索范围的搜索区域，该预设搜索范围可以根据车道跟踪阈值设定，例如可以直接设定为车道跟踪阈值。接着，车载终端检测该搜索区域中是否存在与前一帧聚类中心的相对距离小于车道跟踪阈值的聚类中心。

若存在，则车载终端确定上述跟踪结果为由车道线误检引起的跟踪异常，此时，车载终端需要将搜索到的聚类中心重新确定为对应于目标车道线的聚类中心，并且可以在目标车道线为构成当前车道的车道线的情况下进一步判断车辆所行驶的当前车道没有发生大的变化，可以继续做车道线跟踪并做车道保持。

若不存在，则车载终端确定跟踪结果为由车道线丢失引起的跟踪异常，并且在目标车道线为构成当前车道的车道线的情况下，确定对当前车道的定位失败，而在自动驾驶或者辅助驾驶应用中，还需要提醒驾驶员接管车辆，以确保行车安全。

在一些实施例中，可采用预先构建的车道线检测网络获取车道线分割结果和构成所述各车道线的点的特征向量，车道线检测网络的具体结构可以参考图6，上述步骤S202中的基于道路图像，获取针对道路图像中各车道线的车道线分割结果，以及获取构成各车道线的点的特征向量，具体包括：

车载终端将道路图像输入至预先构建的车道线检测网络，以使该车道线检测网络中的主干网络提取道路图像的图像特征并共享至车道线检测网络中的车道线分割分支网络和车道线向量分支网络，并经由车道线分割分支网络基于图像特征输出车道线分割结果，以及经由车道线向量分支网络基于图像特征输出构成各车道线的点的特征向量；然后，车载终端获取车道线分割分支网络输出的车道线分割结果，以及获取车道线向量分支网络输出的各车道线的点的特征向量。

本实施例中，车道线检测网络所包括的主干网络、车道线分割分支网络和车道线向量分支网络均可以采用深度神经网络构建。其中，深度神经网络（Deep NeuralNetworks，DNN）是深度学习的一种框架，它具备至少一个隐层的神经网络，与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力，深度神经网络属于判别模型，可以通过反向传播算法进行训练。具体的，车载终端将道路图像输入至预先构建的车道线检测网络后，主干网络负责道路图像的图像特征的提取，所提取的图像特征共享给车道线分割分支网络和车道线向量分支网络，车道线分割分支网络负责根据主干网络所共享的图像特征输出车道线分割结果，而车道线向量分支网络则根据主干网络所共享的图像特征输出构成各车道线的点的特征向量，车载终端可获取该两个分支网络输出的车道线分割结果和特征向量。

在一些实施例中，如图7所示，可以通过如下步骤构建上述车道线检测网络，而构建车道线检测网络的过程可以在后台服务器执行，后台服务器构建完车道线检测网络后可通过网络连接的方式与车载终端进行通信，将构建得到的车道线检测网络配置到车载终端进行使用，该构建车道线检测网络的具体步骤包括：

步骤S701，获取针对道路的样本图像集；

本步骤中，可先对车辆安装的摄像头进行标定，标定出相机的内外参数，采集不同路况、不同安装角度的针对道路的样本图像集，该样本图像集可以是视频图像。其中，样本图像集中可以包括晴天、雨天、白天、夜间、高速、城区、大车视角、小车视角等各种不同情况下针对道路的样本图像。

步骤S702，获取对样本图像集中各样本图像上各样本车道线进行标注得到的样本车道线标注结果，并确定设定在各样本图像上的参考区域；

本步骤中，后台服务器可获取对样本图像集中各样本图像上各样本车道线进行标注得到的标注结果，作为样本车道线标注结果，具体的标注方式可以采取例如多边形标注车道线的方式，其中，同一条车道线的多边形对应同一个标识，不同车道线的多边形对应不同的标识。而这些样本图像集还可以进一步细分为训练图像集、测试图像集和验证图像集，用于进一步构建出具有更高精度和可靠性的车道线检测网络。

除了对车道线进行标注以外，还需要确定设定在各样本图像上的参考区域。具体的，如图8（a）所示，该参考区域810可以被设定为位于各样本图像下方中心处，在原始图像空间中，该参考区域810的位置可以作为车道偏离预警的参考位置。

步骤S703，将样本图像集输入至待训练的车道线检测网络，得到车道线分割分支网络基于主干网络共享的样本图像特征输出的样本车道线分割预测结果，以及得到车道线向量分支网络基于样本图像特征输出的对各样本车道线的点的第一特征向量预测结果，以及对参考区域的点的第二特征向量预测结果；

本步骤主要是将样本图像集中的各样本图像输入至待训练的车道线检测网络，经由车道线分割分支网络输出对各样本车道线的样本车道线分割预测结果，经由车道线向量分支网络输出对各样本车道线的点的第一特征向量预测结果和对参考区域810的点的第二特征向量预测结果。

步骤S704，基于车道线分割预测结果和车道线标注结果，构建第一损失函数；

本步骤中，后台服务器可基于车道线分割预测结果和车道线标注结果，通过交叉熵函数构建第一损失函数，该第一损失函数L₁具体可以表示为：

其中，CrossEntropyLoss为交叉熵，l_pred是车道线分割预测结果，l_truth为车道线标注结果。

步骤S705，确定第一特征向量预测结果以及第二特征向量预测结果在特征空间中呈现的聚类预测结果，并基于同一车道线上各点对聚类预测结果在特征空间中的第一距离约束关系以及不同车道线上各点对聚类预测结果在特征空间中的第二距离约束关系，构建第二损失函数；

本步骤主要是后台服务器基于第一距离约束关系和第二距离约束关系，构建第二损失函数。参考图8（b），对于第一距离约束关系：即对于同一车道线上各点来说，在特征空间中所呈现的聚类结果应该是同一车道线上各点间的距离足够近；对于第二距离约束关系：即对于不同车道线上各点来说，在特征空间中所呈现的聚类结果应该是不同车道线上各点间的距离应该足够大，在此基础上，后台服务器可构建第二损失函数L₂。

具体的，第一距离约束关系可以通过第二损失函数L₂的第一子损失函数L₂₁表示：

；

第二距离约束关系可以通过第二损失函数L₂的第二子损失函数L₂₂表示：

；

上述子损失函数的公式表达中，C表示车道线的条数，N_c表示每条车道线上点的个数，x_i表示车道线向量分支网络输出的n维度的特征向量预测结果（n可以取2），可以包括第一特征向量预测结果和第二特征向量预测结果，μ_c表示聚类中心，||·||表示距离，[x]₊=max(0，x)为最大值截取函数，δ_v和δ_d分别表示类内的距离边缘和类间的距离边缘。

进一步的，还可以在第一、第二子损失函数的基础上增加对各聚类中心的范数的约束，具体可通过第二损失函数L₂的第三子损失函数L₂₃表示：

。

在第一、第二和第三子损失函数的基础上进行线性叠加，后台服务器可构建第二损失函数L₂：

其中，

、

和

分别表示线性叠加的系数。

步骤S706，基于第二特征向量预测结果对特征空间中参考点的回归约束关系，构建第三损失函数；

本步骤中，后台服务器还需要对第二特征向量预测结果对特征空间中参考点的回归约束关系，构建第三损失函数。具体的，如果只考虑车道线上的点，则车道线上各点的特征向量在特征空间中会缺少参考坐标，处于一种不可控的随机状态，而这种不可控的状态不利于车道偏离预警的定量化描述。为了约束这种状态，如图8（a）所示，上述步骤中已经在每个样本图像中确定参考区域810，需要进一步对该参考区域810进行两方面约束，第一方面约束是这片参考区域810中各点的特征向量对应的聚类结果与车道线上各点的特征向量对应的聚类结果一样，也需要满足第二损失函数L₂所表征的约束条件，也即在网络训练的过程中将参考区域也视为一条新的车道线；对于第二方面约束，如图8（b）所示，需要将参考区域810中各点对应的第二特征向量预测结果820（可对应为参考区域810在特征空间中的聚类中心）回归到特征空间的参考点，其中，为便于描述，将该参考点设为特征空间的原点（0，0）。

对于第二方面约束，可记为第二特征向量预测结果对特征空间中参考点的回归约束关系，具体可通过第三损失函数L₃表示：

其中，N_Y表示第二特征向量预测结果所包含的参考区域810中各点对应的特征向量的总数，y_i表示第二特征向量预测结果所包含的参考区域810中各点对应的特征向量。

步骤S707，利用由第一损失函数、第二损失函数和第三损失函数构建的联合损失函数对主干网络、车道线分割分支网络和车道线向量分支网络进行联合训练，构建车道线检测网络。

本步骤主要是综合上述得到的第一损失函数L₁、第二损失函数L₂和第三损失函数L₃，通过例如线性叠加的方式构建联合损失函数对主干网络、车道线分割分支网络和车道线向量分支网络进行联合训练从而构建出车道线检测网络。

具体的，联合损失函数L_final可以表示为：

其中，a、b和c分别表示线性叠加的系数。

本实施例提供的技术方案，提供了一种可行的车道线检测网络构建方式，通过对车道线检测网络在构建过程中所采用的损失函数的改进，在网络构建过程中提出参考区域的概念，并在损失函数的构建中并对其在特征空间中的多方面约束考虑在内构建出联合损失函数，通过约束条件将特征空间中的参考点对应于原始图像空间中的参考区域，从而基于联合损失函数所构建的车道线检测网络能够将构成各车道线的点的特征向量约束在参考点附近，为车道检测、偏离预警和保持提供参考点。

结合图9（a）至图9（c）以说明本申请提供的基于特征空间的车道线处理方法所能实现的技术效果。其中，图9（a）所示为针对图3（a）所示车道图像中各车道线的分割结果，不同的车道线用不同的标识（L1、L2和R1、R2）进行表示；图9（b）所示为包括检测的车辆当前车道对应的第一车道线L1和第二车道线R1，还包括检测到车辆当前正在偏向第一车道线L1行驶，其中，√所指示为车辆当前正在偏向的车道线，图9（c）则示出不同的车道线（L1、L2和R1、R2）对应的聚类中心在特征空间中的分布情况，而从该特征空间所呈现的聚类中心分布情况可以清楚地看到，第一车道线L1为车辆当前正在偏向的车道线，同时第一车道线L1的聚类中心在特征空间中与作为参考点的原点在横向坐标轴所对应的第一特征维度上的相对距离非常小，满足报警条件，车载终端可向驾驶员提示第一车道线L1所在侧的车道偏离预警信息。

本申请所提供的基于特征空间的车道线处理方法，提供了基于特征空间统计特性的车道线提取、偏离预警及保持的方案，通过对车道线检测网络在构建过程中所采用的损失函数的改进，在网络构建过程中提出参考区域的概念，通过约束条件将特征空间中的参考点对应于原始图像空间中的参考区域，从而基于联合损失函数所构建的车道线检测网络能够将构成各车道线的点的特征向量约束在参考点附近，为车道检测、偏离预警和保持提供参考点。在此基础上，本申请对车道线特征向量在特征空间的聚类结果进行大量统计和分析，得出并运用其在特征空间分布的统计规律，可在特征空间中实施对当前车道对应的车道线进行识别检测、提取当前车道、车道偏离预警判断和车道跟踪及保持。相比传统方案直接在原始图像空间处理问题，本申请可将问题转化至特征空间解决，利用构成各车道线的点的特征向量在特征空间中的统计特性，简化了解决问题的处理逻辑。

应该理解的是，虽然图2和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种基于特征空间的车道线处理装置，该装置1000包括：

图像获取模块1001，用于获取道路图像；

图像处理模块1002，用于基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；

向量聚类模块1003，用于确定所述特征向量在特征空间中形成的聚类中心；

中心确定模块1004，用于根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；

结果获取模块1005，用于获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；

车道线处理模块1006，用于基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

在一个实施例中，所述目标车道线包括构成当前车道的第一车道线和第二车道线；所述当前车道为车辆当前行驶的车道；所述聚类中心包括对应于所述第一车道线的第一聚类中心以及对应于所述第二车道线的第二聚类中心；所述参考点为所述特征空间的原点；

上述装置1000，还可以包括：偏离检测模块，用于：获取所述第一聚类中心与所述参考点在所述特征空间的第一特征维度的第一相对距离，以及获取所述第二聚类中心与所述参考点在所述第一特征维度的第二相对距离；根据所述第一相对距离和所述第二相对距离的相对大小，检测所述车辆是否偏向所述第一车道线或者所述第二车道线行驶。

在一个实施例中，偏离检测模块，进一步用于：若所述第一相对距离小于所述第二相对距离，则判断所述车辆偏向所述第一车道线行驶，当所述第一相对距离小于车道偏离阈值时，提示所述第一车道线所在侧的车道偏离预警信息；若所述第二相对距离小于所述第一相对距离，则判断所述车辆偏向所述第二车道线行驶，当所述第二相对距离小于车道偏离阈值时，提示所述第二车道线所在侧的车道偏离预警信息。

在一个实施例中，所述目标车道线包括构成当前车道的第一车道线和第二车道线；所述当前车道为车辆当前行驶的车道；所述聚类中心包括对应于所述第一车道线的第一聚类中心以及对应于所述第二车道线的第二聚类中心；所述参考点为所述特征空间的原点；中心确定模块1004，进一步用于根据所述各聚类中心分别与所述参考点在所述特征空间的第一特征维度的相对位置，确定第一聚类中心集和第二聚类中心集；所述第一聚类中心集包括与所述第一车道线所在侧的车道线相对应的聚类中心；所述第二聚类中心集包括与所述第二车道线所在侧的车道线相对应的聚类中心；将所述第一聚类中心集中在所述特征空间的第二特征维度上具有最小特征值的聚类中心作为所述第一聚类中心，以及，将所述第二聚类中心集中在所述特征空间的第二特征维度具有最小特征值的聚类中心作为所述第二聚类中心。

在一个实施例中，所述道路图像为道路视频中的当前帧图像；

上述装置1000，还可以包括：车道跟踪及保持模块，用于将基于所述当前帧图像确定的对应于所述目标车道线的聚类中心，作为所述目标车道线的当前帧聚类中心；将基于所述当前帧图像的前一帧图像确定的对应于所述目标车道线的聚类中心，作为所述目标车道线的前一帧聚类中心；根据所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离，确定对所述目标车道线的跟踪结果。

在一个实施例中，车道跟踪及保持模块，进一步用于若所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离小于车道跟踪阈值，则确定所述跟踪结果为对所述目标车道线的跟踪正常；若所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离大于或者等于车道跟踪阈值，则确定所述跟踪结果为对所述目标车道线的跟踪异常。

在一个实施例中，车道跟踪及保持模块，进一步还用于在所述特征空间中构建以所述前一帧聚类中心为区域中心且具有预设搜索范围的搜索区域；检测所述搜索区域中是否存在与所述前一帧聚类中心的相对距离小于所述车道跟踪阈值的聚类中心；若存在，则确定所述跟踪结果为由车道线误检引起的跟踪异常，重新将所述搜索区域中存在的所述与所述前一帧聚类中心的相对距离小于所述车道跟踪阈值的聚类中心，确定为所述对应于目标车道线的聚类中心；若不存在，则确定所述跟踪结果为由车道线丢失引起的跟踪异常，当所述目标车道线为构成当前车道的车道线时，判断在所述当前帧图像中对所述当前车道的定位失败。

在一个实施例中，图像处理模块1002，进一步用于将所述道路图像输入至预先构建的车道线检测网络，以使所述车道线检测网络中的主干网络提取所述道路图像的图像特征并共享至所述车道线检测网络中的车道线分割分支网络和车道线向量分支网络，并经由所述车道线分割分支网络基于所述图像特征输出所述车道线分割结果，以及经由所述车道线向量分支网络基于所述图像特征输出所述构成所述各车道线的点的特征向量；获取所述车道线分割分支网络输出的所述车道线分割结果，以及获取所述车道线向量分支网络输出的所述各车道线的点的特征向量。

在一个实施例中，上述装置1000，还可以包括：网络构建模块，用于获取针对道路的样本图像集；获取对所述样本图像集中各样本图像上各样本车道线进行标注得到的样本车道线标注结果，并确定设定在所述各样本图像上的参考区域；将所述样本图像集输入至待训练的车道线检测网络，得到所述车道线分割分支网络基于所述主干网络共享的样本图像特征输出的样本车道线分割预测结果，以及得到所述车道线向量分支网络基于所述样本图像特征输出的对所述各样本车道线的点的第一特征向量预测结果，以及对所述参考区域的点的第二特征向量预测结果；基于所述车道线分割预测结果和所述车道线标注结果，构建第一损失函数；确定所述第一特征向量预测结果以及所述第二特征向量预测结果在所述特征空间中呈现的聚类预测结果，并基于同一车道线上各点对所述聚类预测结果在所述特征空间中的第一距离约束关系以及不同车道线上各点对所述聚类预测结果在所述特征空间中的第二距离约束关系，构建第二损失函数；基于所述第二特征向量预测结果对所述特征空间中所述参考点的回归约束关系，构建第三损失函数；利用由所述第一损失函数、第二损失函数和第三损失函数构建的联合损失函数对所述主干网络、车道线分割分支网络和车道线向量分支网络进行联合训练，构建所述车道线检测网络。

关于基于特征空间的车道线处理装置的具体限定可以参见上文中对于基于特征空间的车道线处理方法的限定，在此不再赘述。上述基于特征空间的车道线处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是车载终端，其内部结构图可以如图11所示。该车载终端包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该车载终端的处理器用于提供计算和控制能力。该车载终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该车载终端的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于特征空间的车道线处理方法。该车载终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该车载终端的输入装置可以是显示屏上覆盖的触摸层，也可以是车载终端外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的车载终端的限定，具体的车载终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种车载终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种基于特征空间的车道线处理方法，其特征在于，所述方法包括：

获取道路图像；

基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；

确定所述特征向量在特征空间中形成的聚类中心；

根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；其中，所述目标车道线包括构成当前车道的第一车道线和第二车道线；所述当前车道为车辆当前行驶的车道；所述聚类中心包括对应于所述第一车道线的第一聚类中心以及对应于所述第二车道线的第二聚类中心；所述参考点为所述特征空间的原点；

获取所述第一聚类中心与所述参考点在所述特征空间的第一特征维度的第一相对距离，以及获取所述第二聚类中心与所述参考点在所述第一特征维度的第二相对距离；根据所述第一相对距离和所述第二相对距离的相对大小，检测所述车辆是否偏向所述第一车道线或者所述第二车道线行驶；

获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；

基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一相对距离和所述第二相对距离的相对大小，检测所述车辆是否偏向所述第一车道线或者所述第二车道线行驶，包括：

若所述第一相对距离小于所述第二相对距离，则判断所述车辆偏向所述第一车道线行驶，当所述第一相对距离小于车道偏离阈值时，提示所述第一车道线所在侧的车道偏离预警信息；

若所述第二相对距离小于所述第一相对距离，则判断所述车辆偏向所述第二车道线行驶，当所述第二相对距离小于所述车道偏离阈值时，提示所述第二车道线所在侧的车道偏离预警信息。

3.根据权利要求1所述的方法，其特征在于，所述根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心，包括：

根据所述各聚类中心分别与所述参考点在所述特征空间的第一特征维度的相对位置，确定第一聚类中心集和第二聚类中心集；所述第一聚类中心集包括与所述第一车道线所在侧的车道线相对应的聚类中心；所述第二聚类中心集包括与所述第二车道线所在侧的车道线相对应的聚类中心；

将所述第一聚类中心集中在所述特征空间的第二特征维度上具有最小特征值的聚类中心作为所述第一聚类中心，以及，将所述第二聚类中心集中在所述特征空间的第二特征维度上具有最小特征值的聚类中心作为所述第二聚类中心。

4.根据权利要求1所述的方法，其特征在于，所述道路图像为道路视频中的当前帧图像；所述根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心之后，所述方法还包括：

将基于所述当前帧图像确定的对应于所述目标车道线的聚类中心，作为所述目标车道线的当前帧聚类中心；

将基于所述当前帧图像的前一帧图像确定的对应于所述目标车道线的聚类中心，作为所述目标车道线的前一帧聚类中心；

根据所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离，确定对所述目标车道线的跟踪结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离，确定对所述目标车道线的跟踪结果，包括：

若所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离小于车道跟踪阈值，则确定所述跟踪结果为对所述目标车道线的跟踪正常；

若所述当前帧聚类中心与所述前一帧聚类中心在所述特征空间中的相对距离大于或者等于所述车道跟踪阈值，则确定所述跟踪结果为对所述目标车道线的跟踪异常。

6.根据权利要求5所述的方法，其特征在于，所述确定所述跟踪结果为对所述目标车道线的跟踪异常之后，所述方法还包括：

在所述特征空间中构建以所述前一帧聚类中心为区域中心且具有预设搜索范围的搜索区域；

检测所述搜索区域中是否存在与所述前一帧聚类中心的相对距离小于所述车道跟踪阈值的聚类中心；

若存在，则确定所述跟踪结果为由车道线误检引起的跟踪异常，重新将所述搜索区域中存在的所述与所述前一帧聚类中心的相对距离小于所述车道跟踪阈值的聚类中心，确定为所述对应于目标车道线的聚类中心；

若不存在，则确定所述跟踪结果为由车道线丢失引起的跟踪异常，当所述目标车道线为构成当前车道的车道线时，判断在所述当前帧图像中对所述当前车道的定位失败。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量，包括：

将所述道路图像输入至预先构建的车道线检测网络，以使所述车道线检测网络中的主干网络提取所述道路图像的图像特征并共享至所述车道线检测网络中的车道线分割分支网络和车道线向量分支网络，并经由所述车道线分割分支网络基于所述图像特征输出所述车道线分割结果，以及经由所述车道线向量分支网络基于所述图像特征输出所述构成所述各车道线的点的特征向量；

获取所述车道线分割分支网络输出的所述车道线分割结果，以及获取所述车道线向量分支网络输出的所述各车道线的点的特征向量。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取针对道路的样本图像集；

获取对所述样本图像集中各样本图像上各样本车道线进行标注得到的样本车道线标注结果，并确定设定在所述各样本图像上的参考区域；

将所述样本图像集输入至待训练的车道线检测网络，得到所述车道线分割分支网络基于所述主干网络共享的样本图像特征输出的样本车道线分割预测结果，以及得到所述车道线向量分支网络基于所述样本图像特征输出的对所述各样本车道线的点的第一特征向量预测结果，以及对所述参考区域的点的第二特征向量预测结果；

基于所述车道线分割预测结果和所述车道线标注结果，构建第一损失函数；

确定所述第一特征向量预测结果以及所述第二特征向量预测结果在所述特征空间中呈现的聚类预测结果，并基于同一车道线上各点对所述聚类预测结果在所述特征空间中的第一距离约束关系以及不同车道线上各点对所述聚类预测结果在所述特征空间中的第二距离约束关系，构建第二损失函数；

基于所述第二特征向量预测结果对所述特征空间中所述参考点的回归约束关系，构建第三损失函数；

利用由所述第一损失函数、第二损失函数和第三损失函数构建的联合损失函数对所述主干网络、车道线分割分支网络和车道线向量分支网络进行联合训练，构建所述车道线检测网络。

9.一种基于特征空间的车道线处理装置，其特征在于，包括：

图像获取模块，用于获取道路图像；

图像处理模块，用于基于所述道路图像，获取针对所述道路图像中各车道线的车道线分割结果，以及获取构成所述各车道线的点的特征向量；

向量聚类模块，用于确定所述特征向量在特征空间中形成的聚类中心；

中心确定模块，用于根据各聚类中心与所述特征空间中参考点的相对位置，确定对应于目标车道线的聚类中心；其中，所述目标车道线包括构成当前车道的第一车道线和第二车道线；所述当前车道为车辆当前行驶的车道；所述聚类中心包括对应于所述第一车道线的第一聚类中心以及对应于所述第二车道线的第二聚类中心；所述参考点为所述特征空间的原点；

偏离检测模块，用于获取所述第一聚类中心与所述参考点在所述特征空间的第一特征维度的第一相对距离，以及获取所述第二聚类中心与所述参考点在所述第一特征维度的第二相对距离；根据所述第一相对距离和所述第二相对距离的相对大小，检测所述车辆是否偏向所述第一车道线或者所述第二车道线行驶；

结果获取模块，用于获取所述对应于目标车道线的聚类中心表征的针对所述目标车道线的特征向量聚类结果；

车道线处理模块，用于基于所述特征向量聚类结果与所述车道线分割结果之间的对应关系，利用与所述特征向量聚类结果对应的车道线分割结果，处理所述道路图像中的所述目标车道线。

10.一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images