CN109961013A

CN109961013A - 车道线的识别方法、装置、设备及计算机可读存储介质

Info

Publication number: CN109961013A
Application number: CN201910130409.8A
Authority: CN
Inventors: 邓丹; 沈阳
Original assignee: Hangzhou Feibao Technology Co Ltd
Current assignee: Hangzhou Feibao Technology Co Ltd; Hangzhou Fabu Technology Co Ltd
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2019-07-02

Abstract

本公开提供一种车道线的识别方法、装置、设备及计算机可读存储介质，包括：获取车道图像，并对车道图像进行预处理得到处理图像；根据预设识别模型确定处理图像中的各个像素的车道线分数；根据车道线分数确定处理图像中的车道线。本公开提供的车道线识别方法、装置、设备及计算机可读存储介质，无需对采集的车道图像进行视角转换，只需要对其进行预处理，从而使其能够符合识别模型的输入要求即可。并且，通过识别模型的处理，能够确定处理图像中每个像素的车道线属性信息，从而能够准确的在处理图像中确定出车道线，能够提高车道线的识别精度。

Description

车道线的识别方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及车道线识别技术，尤其涉及一种车道线的识别方法、装置、设备及计算机可读存储介质。

背景技术

目前，无人驾驶是指在没有人操控汽车的情况下，能够使汽车正常行驶的技术，这项技术日趋成熟，由于无人驾驶车辆能够节约更多的人力资源，这项技术也越来越被人们重视。

无人驾驶车辆依靠GPS、雷达、摄像头等组件进行定位以及环境感知，从而确定当前位置以及周围的环境情况，由无人驾驶车辆内的处理器基于这些信息对车辆进行操控，从而使车辆能够正常、平稳的行驶。

在具体的环境感知过程中，无人驾驶车辆需要识别周围的车道线，从而控制车辆在车道中行驶。现有技术中，通过无人驾驶车辆的摄像头获取周围的道路图片，再将图片进行视角转换，然后检测图片中的车道要素，从而确定车道。

但是，现有技术中识别车道线的方式需要提前确定获取图片的摄像头参数，而且在对图片进行视角转换时，容易出现误差，因此，现有技术中的车道线识别方式存在对于多样场景，尤其是上下坡时车道线检测不鲁棒的问题，具有一定的局限性。

发明内容

本公开提供一种车道线的识别方法、装置、设备及计算机可读存储介质，以解决现有技术中车道线识别方式存在对于多样场景，尤其是上下坡时车道线检测不鲁棒的问题。

本公开的第一个方面是提供一种车道线的识别方法，包括：

获取车道图像，并对所述车道图像进行预处理得到处理图像；

根据预设识别模型确定所述处理图像中的各个像素的车道线分数；

根据所述车道线分数确定所述处理图像中的车道线。

本公开的另一个方面是提供一种车道线的识别装置，包括：

处理模块，用于获取车道图像，并对所述车道图像进行预处理得到处理图像；

分数确定模块，用于根据预设识别模型确定所述处理图像中的各个像素的车道线分数；

车道线确定模块，用于根据所述车道线分数确定所述处理图像中的车道线。

本公开的又一个方面是提供一种车道线的识别设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的车道线的识别方法。

本公开的又一个方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述第一方面所述的车道线的识别方法。

本公开提供的车道线的识别方法、装置、设备及计算机可读存储介质的技术效果是：

本公开提供的车道线的识别方法、装置、设备及计算机可读存储介质，包括：获取车道图像，并对车道图像进行预处理得到处理图像；根据预设识别模型确定处理图像中的各个像素的车道线分数；根据车道线分数确定处理图像中的车道线。本公开提供的车道线识别方法、装置、设备及计算机可读存储介质，无需对采集的车道图像进行视角转换，只需要对其进行预处理，从而使其能够符合识别模型的输入要求即可。并且，通过识别模型的处理，能够确定处理图像中每个像素的车道线属性信息，从而能够准确的在处理图像中确定出车道线，能够提高车道线的识别精度。

附图说明

图1为本发明一示例性实施例示出的车道线的识别方法的流程图；

图2为本发明另一示例性实施例示出的车道线的识别方法的流程图；

图2A为本发明一示例性实施例示出的确定车道线分数的流程图；

图3为本发明一示例性实施例示出的车道线的识别装置的结构图；

图4为本发明另一示例性实施例示出的车道线的识别装置的结构图；

图5为本发明一示例性实施例示出的车道线的识别设备的结构图。

具体实施方式

无人驾驶车辆在行驶过程中，需要准确的对周围环境进行感知，其中，包括对路面中的车道线进行感知，从而基于规划的路线调整行驶方向。目前采用的方法中，在无人驾驶车辆上设置摄像头，基于摄像头采集车辆行驶前方的照片，在照片中具有摄像头拍摄到道路上绘制的车道线。再对照片进行视角转换，得到鸟瞰图，然后利用边缘检测技术检测鸟瞰图中的车道线。但是，若将照片转换为鸟瞰图，则需要预先确定拍摄照片的摄像头参数，这就导致设置有不同摄像头的无人驾驶车辆需要分别配置识别车道线的方法。并且转换鸟瞰图的路面需要是水平的，若存在上下坡的情况，转换结果误差会较大。因此，现有技术中的车道线识别方法存在一定的局限性。

本发明的各实施例中，先对无人驾驶车辆获取的车道图像进行处理，使其符合预先训练得到的识别模型的输入数据条件，然后将处理后的图像输入识别模型，识别模型能够输出处理图像中每个像素对应的车道线分数，再基于每个像素的车道线分数，确定车道图像中的车道线。本实施例提供的方法，不需要对车道图像进行视角转换的处理，能够在多种道路中识别车道线。并且，基于识别模型对处理图像中的每个像素都进行识别，使得识别结果更加准确。

图1为本发明一示例性实施例示出的车道线的识别方法的流程图。

如图1所示，本实施例提供的车道线的识别方法包括：

步骤101，获取车道图像，并对车道图像进行预处理得到处理图像。

其中，本实施例提供的方法由具备计算能力的电子设备执行，例如处理器。该电子设备可以设置在无人驾驶车辆中，用于对道路上的车道线进行识别。

具体的，在无人驾驶车辆上设置有用于拍摄车道图像的摄像头，摄像头数量可以根据需求进行设置。例如，为了获得信息更丰富的车道信息，可以在车辆前部两侧各设置一个摄像头，还可以在车辆后部两侧各设置一个摄像头，从而能够得到多个角度拍摄的车道图像。还可以在车辆前部中间位置设置一个摄像头。这些摄像头的拍摄方向可以是朝向车头方向的，从而通过这些车道图像确定车辆前方的道路信息。

进一步的，执行本实施例的电子设备可以控制摄像头采集图像，再获取摄像头采集的图像。还可以预先为摄像头设置采集图像的规则，例如，可以按照预设频率拍摄照片，再将采集的图像发送给电子设备，以使电子设备获取车道图像。另外，摄像头拍摄的可以是照片，还可以是录像。

可选的，若摄像头拍摄的是录像，那么电子设备可以获取这一录像，并基于录像中的帧图像，识别车道线。例如，可以对录像中每隔几帧的图像进行识别。

实际应用时，本实施例提供的方法基于预先训练得到的识别模块对车道图像进行识别，因此，可以在获取车道图像后，对其进行预处理，使其符合识别模型的输入图像要求。

其中，为了提高车道图像中各个像素的个性化特点，可以对车道图像进行去均值化的处理。具体可以分别计算车道图像中R、G、B三个通道的平均值，例如，可以将各个像素的R通道值进行相加，再除以像素个数，得到R的平均值。再使用每个像素中的R、G、B值减去相应的均值，得到处理后的R、G、B结果。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

具体的，在去均值化处理后，还可以对图像进行缩小处理得到处理图像。一般来说，为了获取更加清晰的图像，摄像头的分辨率会比较高，拍摄的图像可能超出识别模型的输入图片尺寸，因此，可以对去均值化处理的图像进行缩小直到符合模型输入标准。

实际应用时，还可以仅对车道图像进行缩小处理得到处理图像。

步骤102，根据预设识别模型确定处理图像中的各个像素的车道线分数。

进一步的，将通过预处理得到的图像输入预设模型。该预设模型可以是预先通过训练得到的。可以预先准备带有标签的训练集，这些训练集可以是图片形式，每个图片具有相应的车道线标签，车道线标签可以是在图中标记出车道线位置。

实际应用时，可以先搭建模型，在模型中设置有多个权重值，这些权重值用于对输入的数据进行计算，训练初始时，这些权重值可以是随机值。可以将训练集的数据输入模型，以使模型输出结果，并且，基于已有的标签以及模型输出结果，修正模型中的权重值。经过大量的训练，能够使模型中的权重值归一化。

可选的，还可以准备具有标签的验证集数据，将验证集数据输入训练好的模型中，使模型输出结果。并且，比对模型输出的结果以及预先确定的标签，从而确定模型计算的准确率，若准确率满足要求，则可以认为模型训练完毕，将其确定为最终的识别模型。

其中，可以基于训练的识别模型对处理图像进行处理，从而使识别模型输出每个像素的车道线分数。车道线分数是用于描述像素的车道属性信息，例如该像素是否属于车道线，是属于哪条车道线的，是属于什么类型车道线的。

该车道线分数中可以包括，像素是否是车道线的分数，例如，若像素分数较高，则可以认为其是车道线的一部分，若较低，则可以认为其不是车道线的一部分。

该车道线分数还可以包括像素对应的车道线位置分数，例如，像素点P对应“左一”车道的分数，像素点P对应“右一”车道的分数等。针对每个车道线位置，都可以得到一副得分图，该得分图中包括每个像素属于该位置的车道的分数。

具体的，车道线分数还可以包括像素对应的车道线类型分数，例如，像素点P对应虚线车道的分数，像素点P对应实线车道的分数。相应的，在这种实施方式中，在对模型训练时，训练集的标签也应当包括车道线类型的信息。

进一步的，在搭建识别模型时，可以使用现有技术中的深度学习网络进行搭建，例如，搭建的模型中可以包括网络部分，用于提取处理图像中的特征，具体可以通过卷积计算的方式得到特征，还可以设置多个卷积层和池化层，池化层能够缩小卷积层提取的特征的尺寸，从而提取多个维度的特征。还可以包括全连接层，用于对卷积层提取的特征进行综合处理，还可以包括上采样层，用于对提取的特征图进行放大处理，还可以包括融合层，用于将一个或多个卷积层提取的特征和另一个或多个放大处理的特征进行融合。还可以包括预测层，用于根据融合结果输出车道线分数。

本实施例提供的方法，可以不对获取的车道图像进行视角转换，只是对其进行图像画质方面的预处理，使其能够输入识别模型，从而不存在现有技术中由于对图像进行视角转换带来的各种问题。

步骤103，根据车道线分数确定处理图像中的车道线。

实际应用时，可以通过车道线分数体现各个像素是否是车道线，具体可以根据车道线分数中包括的分数类型进行确定。

若车道线分数中包括像素是否属于车道线的分数，则可以基于该分数确定每个像素是否属于车道线的一部分。一般来说，不相连的车道线之间是具有一定的距离的，因此，可以在处理图像中将属于车道线的像素挑选出来，再将其中距离小于预设阈值的像素进行连接，从而形成完整的车道线。

若车道线分数中包括像素对应的车道线位置分数，则可以基于这一分数将属于同一车道线的像素挑选出来，将这些像素进行连接，得到车道线。例如，对于每个像素点来说，都具有“左一”车道线分数、“左二”车道线分数、“右一”车道线分数、“右二”车道线分数，若分数越高，则说明该像素属于相应位置的车道线的概率越大，则可以在图像中，挑选出“左一”车道线分数大于一定数值的所有像素点，并将这些像素点所在区域范围确定为“左一”车道线。

若车道线分数中包括像素对应的车道线类型分数，则可以根据车道线类型分数确定处理图像中每个像素对应的车道线类型，并且，在确定出车道线后，遍历属于车道线的像素对应的车道线类型，再基于车道线包括的像素的车道线类型，确定该车道线的类型。

本实施例提供的方法中，根据像素对应的车道线分数，能够精确到每个像素的车道属性，从而能够更准确的在处理图像中识别出车道线。

本实施例提供的方法用于识别车道线，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

本实施例提供的车道线的识别方法，包括：获取车道图像，并对车道图像进行预处理得到处理图像；根据预设识别模型确定处理图像中的各个像素的车道线分数；根据车道线分数确定处理图像中的车道线。本实施例提供的车道线识别方法，无需对采集的车道图像进行视角转换，只需要对其进行预处理，从而使其能够符合识别模型的输入要求即可。并且，通过识别模型的处理，能够确定处理图像中每个像素的车道线属性信息，从而能够准确的在处理图像中确定出车道线，能够提高车道线的识别精度。

图2为本发明另一示例性实施例示出的车道线的识别方法的流程图。

如图2所示，本实施例提供的车道线的识别方法，包括：

步骤201，获取车道图像。

步骤201与步骤101中获取车道图像的具体原理和实现方式类似，此处不再赘述。

步骤202，对车道图像进行去均值化处理以及缩小处理，得到处理图像。

其中，为了使车道图像中每个像素的特点更加突出，可以对车道图像进行去均值化处理。具体可以先计算车道图像中对应的R、G、B三个通道的平均值。

具体的，获取车道图像中每个像素的R、G、B值，将每个像素的R值都进行叠加得到R_all，将每个像素的G值进行叠加得到G_all，将每个像素的B值进行叠加得到B_all。再用R_all、G_all、B_all分别除以车道图像中包括的像素点数量，得到三个颜色通道的均值

进一步的，将每个像素中包括的R、G、B值分别减去相应的均值得到去均值化后的图像。

实际应用时，为了获得更加清晰的车道图像，摄像头拍摄的车道图像分辨率可能较高，此时，该图像有可能不适合输入识别模型。因此，还可以对去均值化后的图像进行缩小处理，使得到的处理图像符合目标尺寸。

其中，可以通过减少图像中的像素数量，从而缩小图像，例如，可以通过现有技术中基于等间隔采样的方式，缩小图像。还可以采用其他方法缩小图像，本实施例不对此进行限制。

目标尺寸是指符合识别模型的输入要求。可以预先确定目标尺寸，当无人驾驶车辆的摄像头参数不同时，采集到的图像尺寸也会不同，但是只要将这些图像转换到目标尺寸，就不会影响最终的识别结果。可以在本实施例提供的方法中嵌入图像大小调整方法，用于将车道图像转换为目标尺寸的处理图像。

得到处理图像后，将处理图像输入预设识别模型中，从而使预设识别模型输出该处理图像对应的车道线分数。

步骤203，根据预设识别模型中的提取层提取处理图像的多个特征。

具体的，预设识别模型是预先通过训练得到的，与图1所示实施例中提到的预设识别模型类似，不再赘述。

进一步的，在预设识别模型中设置有提取层，用于提取处理图像中包括的特征。该提取层中可以包括卷积层、池化层，还可以包括全连接层。该提取层中可以包括多个卷积层、池化层的组合，从而提取多层图像特征。例如，可以由第一个组合提取处理图像中的特征，将提取后的特征输入第二个组合，由第二个组合继续提取特征，从而能够提取到多层次的图像特征。

实际应用时，在卷积层设置有卷积核，不同大小的卷积核以及在提取特征时的步长不同，会导致提取信息时的感受野不同，从而使不同的卷积核提取不同类别的特征再对处理图像进行卷积计算时，可以对图像的每个像素进行卷积处理，例如，一个3*3的卷积核，可以同时对3*3个像素进行卷积计算。

每卷积层和池化层组合确定出的特征可以被输入到全连接层，从而综合已经提取的特征。可以将全连接层输出的特征输入到上采样层。

步骤204，根据预设识别模型中的上采样层、融合层对提取的特征进行处理，得到融合后的特征。

具体的，在预设识别模型中，还可以设置上采样层。在处理图像中提取特征时，基于不同的卷积层、池化层提取到的特征维度大小可能不同，例如，由于网络深度的输出经过浅层的池化后，特征尺寸比原输入小，因此，可以通过上采样层扩大特征的尺寸。

进一步的，可以采用双线性插值的方法，扩大特征尺寸。通过双线性插值的方法，可以在原有的特征中插入新的特征值，从而使特征尺寸扩大。

实际应用时，可以认为提取的特征也是一张图片，该图片中的每个像素值就是对应的特征值。可以对该特征图片进行处理，使其尺寸满足希望的尺寸。例如，可以在特征图片的像素中间插入无意义的像素点，还可以设置预设规则，从而在特征图片中选取需要插入新的像素点的位置。还可以在特征图片中选取几个像素点，再基于这些像素点确定需要出入的新像素点位置。

其中，可以获取插入像素周围的像素及其对应的像素值，该周围的像素可以紧邻新插入的像素点，也可以与新插入的像素点具有一定的距离。再基于周围的像素值确定新插入的像素值，具体可以通过下式进行确定：

具体的，P，Q_i,j对应了图片上的像素点。P为新插入的像素点，Q_i,j为P周围的像素值。本实施方式中，共设置有四个Q_i,j，P可以是四个Qij构成的矩形中任意一点。x,y表示像素点在特征图片中的坐标。其中P点的像素值(f(P))未知，Q_i,j点的像素值(f(Q_i,j))可以从特征图片中获取。

进一步的，可以在特征图片中插入多个P，从而扩大特征图片的尺寸。并且，基于P点周边其他像素点的像素值确定P点的像素值，能够使插入点与周边点的像素值相关联，从而使插入的像素点具有特征图片原本的特点。

实际应用时，提取层中可以提取多个层次的特征，随着提取层次的增加，特征的维度变小，导致各个层间的特征不一致。因此，可以通过上采样层使各个层间的维度一致。

其中，还可以为了综合各个层次的特征评价处理图像中的每个像素，可以对各个层次的特征进行融合处理。在预设识别模型中设置融合层，用于进行融合处理。此时，可以通过上采样层调整提取的特征的维度。

具体的，可以先调整维度最小的特征，使其维度与维度次小的特征相同，就可以先融合这两个特征。再对融合后的特征进行维度处理，使其与当前维度最小的提取特征的维度相同，进而再次融合。例如，基于提取层可以提取三个层次的特征，特征1、特征2、特征3，由于提取层中逐层对特征进行处理，会导致后得到的特征3维度小于特征2，因此，可以对特征3进行上采样处理，扩大其维度。再将特征3与特征2进行融合处理，得到融合特征1。相似的，融合特征1的维度小于特征1的维度，因此还可以对融合特征进行上采样处理，进一步的扩大其维度，再将处理后的特征与特征1进行融合处理。

进一步的，预设识别模型中的上采样层、融合层可以是预先搭建并通过训练权重参数得到的。

本实施例提供的方法中，可以通过上采样层、融合层将提取的具有不同纬度的特征进行融合，从而综合提取层提取的多个不同层次的特征识别车道线，能够更准确的对车道线进行识别。

步骤205，根据预设识别模型中的预测层基于融合后的结果确定每个像素的车道线分数。

进一步的，在预设识别模型中还设置有预测层，用于基于融合后的特征确定像素的车道线分数。

本实施例提供的方法中，车道线分数包括：车道线位置分数以及车道线类型分数。即对于一个像素来说，对于不同预设车道线都具有一个车道线位置分数，例如像素A，包括四个分数：左1车道线分数，左2车道线分数，右1车道线分数，右2车道线分数。车道线位置分数是用于衡量像素点属于相应车道线的分数。对于一个像素来说，其还具有属于不同类型车道线的车道线类型分数，例如像素A，包括虚线分数、实线分数，分别用于衡量该像素A属于虚线车道线的分数，以及该像素A属于实线车道线的分数。本实施例提供的方法中，预设车道线是相对于车辆当前视角的位置而变化的，左1车道线是指在车辆当前位置左边的第一条车道线，左2车道线是指在车辆当前位置左边的第二条车道线，右1、右2与此相似。

特殊的是，在车辆变道的应用场景中，还可以包括中间车道线，中间车道线是指车辆正在跨越的车道线。此时，车道线位置分数中，还可以包括中间车道线分数。

实际应用时，根据预测层确定处理图像中各个像素对于不同预设车道的车道线位置分数；根据预测层确定处理图像中各个像素对于不同预设类型车道线的车道线类型分数。不对具体的确定顺序进行限制，可以先确定车道线位置分数，也可以先确定车道线类型分数，还可以同时进行。

图2A为本发明一示例性实施例示出的确定车道线分数的流程图。

如图2A所示，可以输入处理图像，通过提取层21提取出特征，并将提取的特征输入上采样层或融合层，通过上采样层和融合层22对其进行处理，从而得到最终融合的特征，再由预测层23并基于这些特征确定每个像素的车道线位置分数和车道线类型分数。

步骤206，根据第一预设阈值、处理图像中的各个像素的车道线位置分数，确定与预设车道线对应的车道掩膜。

其中，可以基于每个像素的车道线位置分数，确定出处理图像中的车道曲线。

具体的，可以设置第一预设阈值，当像素的车道线位置分数大于第一预设阈值，则可以认为该像素属于车道线位置分数对应的预设车道，可以基于这样的原理确定出每个预设车道先对应的车道掩膜。

进一步的，当包括多个预设车道线位置时，可以确定出处理图像中，每个像素对应的每个预设车道线的车道线位置分数，因此，可以针对每条预设车道线，都确定出处理图像对应的车道线位置分数图。即，对于左1车道线来说，可以确定一幅分数图，该分数图中的数值，是每个像素对应的左1车道线分数。此时，可以得到多个分数图，具体的数量与预设车道线数量相同，不对该数量以及预设车道线种类、数量等进行限制。

实际应用时，对于一个车道线位置分数图来说，可以比对其中包括的分数和第一预设阈值，车道线位置分数小于第一预设阈值，则像素的车道线位置值为0，否则，车道线位置值为1，经过这样的处理，能够得到该分数图对应的预设车道线掩膜。可以认为，在掩膜中，车道线位置值是1的部分，是车道线所在位置。

步骤207，对车道掩膜进行拟合处理，得到与预设车道线对应的车道曲线。

在得到车道线掩膜后，可以对其进行拟合处理。在处理图像中，有可能存在与车道线包括的像素点特征相似的其他像素点，若存在，则在车道掩膜中，有可能不属于车道线的像素点对应的车道线位置值也是1，因此，对其进行拟合处理，能够得到准确的车道线位置。

其中，可以获取车道线位置值为1的目标像素点；确定目标像素点对应的纵向坐标范围，并确定每个纵向坐标对应的多个横向坐标；计算每个纵向坐标对应的横向坐标的均值，并根据均值、均值对应的纵向坐标确定多个目标点；连接多个目标点，得到车道曲线。这里的坐标方向可以相对于车辆行驶方向来确定，可以认为车辆行驶方向是纵向(Y)，垂直于车辆行驶方向为横向(X)。一般来说，为了使车辆准确的感知周围环境，用于采集图像的摄像头的拍摄方向与车里行驶方向一致，并且可以采用司机视角拍摄。例如，车辆向北行驶，则摄像头应当拍摄北面的图像。

具体的，可以在车道掩膜中获取车道线位置值为1的目标像素点，也就是属于某一条预设车道线的像素点。可以获取这些像素点的横、纵坐标值。车辆在行驶过程中，是平行于车道线方向行驶的，因此，在纵向上，可以认为车道线是一条没有宽度的线。此时，可以获取每个纵坐标值对应的多个横坐标值，可以理解为，在车道掩膜中绘制多条横线，这些横线经过的像素点纵坐标相同，而经过的目标像素点的横坐标值，即与该相同纵坐标值对应。

进一步的，可以计算每个纵坐标对应的所有的横坐标的均值，并根据均值、均值对应的纵坐标确定多个目标点，也就是找到具有一定宽度的车道线的中心点。可以认为该均值是车道线的中心点的横坐标，均值对应的纵坐标就是车道线中心点的纵坐标。再将多个车道线的中心点连接，即得到车道曲线。

实际应用时，若在处理图片中存在与车道线相似的像素点，通过拟合的方式，能够过滤掉这些点。可选的，在确定车道曲线后，还可以根据一般的车道线宽度，在车道曲线的基础上确定出完整的具有一定宽度的车道线。

步骤208，根据不同预设类型车道线的车道线类型分数，确定处理图像中每个像素对应的车道线类型。

在确定了车道曲线后，也就是确定出车道线所在位置后，本实施例提供的方法，还可确定该车道线的类别。

其中，可以基于获取的车道线类型分数，确定处理图像中每个像素对应的车道线类型。可以获取每个像素，对于不同预设车道线类型的车道线类型分数，再基于该像素的多个车道线类型分数，确定该像素对应的车道线类型。例如，若像素点的车道线类型分数包括两个，一个是虚线分数，一个是实线分数，则可以根据这两个分数，确定出该像素对应的车道线类型，具体可以比对车道线类型分数，哪个分数大，就认为像素属于相应类型的车道线。比如，(0,0)位置的点具有两个车道线类型分数0.6、0.2，则该点的车道线类型为0.6对应的预设车道线类型。

具体的，针对处理图像中的每个像素，都可以基于车道线类型分数确定其相应的车道线类型。

需要说明的是，上述例子中仅以虚线车道线和实线车道线为例进行说明，实际应用时，还可以包括其他的车道线类型，例如，混合线、双黄线、无实线路沿、实线路沿。

步骤209，根据每个像素对应的车道线类型、车道掩膜，确定车道曲线的类别。

进一步的，车道线分数中包括的车道线位置分数、车道线类型分数，均是指处理图像中每个像素对应的分数，因此，车道线位置分数组成的分数图，与车道线类型分数组成的分数图大小是相同的。相应的，基于车道线位置分数得到的掩膜，与车道线类型分数图的大小也是相同的。

其中，可以确定预设车道对应的车道掩膜中，车道线位置值为1的像素点对应的车道线类型(在步骤208中已经确定了各个像素点对应的车道线类型)，例如，确定左1对应的车道掩膜中，车道线位置值为1的像素点对应的车道线类型。可以仅根据车道线位置为1的像素点的车道线类型，来确定车道曲线对应的类型，由于车道线位置值为0的像素点，不属于车道线的一部分，因此，可以忽略这部分像素点的车道线类型。

具体的，可以可以基于不同车道线类型的占比，确定出与车道掩膜对应的车道曲线具体的类别，例如，车道线位置值为1的像素点共有100个，其中大部分像素点属于虚线车道线，则认为对应的车道曲线是虚线车道线。

进一步的，还可以对车道掩膜进行切割，再确定每个子掩膜中车道线位置值为1的像素点对应的车道线类型。由于在道路中，存在虚线车道和实线车道交接的情况，例如，当前车辆所在位置旁是虚线车道线，但是再向前行驶，这条车道线就变为实线了，因此，还可以对车道掩膜进行分割，再确定每个子掩膜包括的车道位置值是1的像素点对应的车道线类型，同样可以基于不同车道线类型的占比，确定该子掩膜对应的车道曲线的车道线类型。

此外，还可以先根据预设车道曲线对应的车道掩膜，获取其中车道位置值是1的目标像素点，并根据预设车道线类型分数，确定这些目标像素点属于的车道线类型，对于一个像素点来说，可以将其确定为最大分数对应的车道线类型。对于一条预设车道曲线来说，可以确定出其对应的每个目标像素点的车道线类型，进而，可以根据这些目标像素点中，各个车道线类型的占比，最终确定车道曲线的类别。

其中，基于上述实施例，无人驾驶车辆即能够确定道路中车道线所在的位置，还可以确定车道线所属类别，能够为车辆稳定驾驶提供准确的道路信息。

图3为本发明一示例性实施例示出的车道线的识别装置的结构图。

如图3所示，本实施例提供的车道线的识别装置，包括：

处理模块31，用于获取车道图像，并对所述车道图像进行预处理得到处理图像；

分数确定模块32，用于根据预设识别模型确定所述处理图像中的各个像素的车道线分数；

车道线确定模块33，用于根据所述车道线分数确定所述处理图像中的车道线。

其中，处理模块31、分数确定模块32、车道线确定模块33依次连接。

本实施例提供的车道线的识别装置，包括：处理模块，用于获取车道图像，并对车道图像进行预处理得到处理图像；分数确定模块，用于根据预设识别模型确定处理图像中的各个像素的车道线分数；车道线确定模块，用于根据车道线分数确定处理图像中的车道线。本实施例提供的车道线识别装置，无需对采集的车道图像进行视角转换，只需要对其进行预处理，从而使其能够符合识别模型的输入要求即可。并且，通过识别模型的处理，能够确定处理图像中每个像素的车道线属性信息，从而能够准确的在处理图像中确定出车道线，能够提高车道线的识别精度。

本实施例提供的车道线的识别装置的具体原理和实现方式均与图1所示的实施例类似，此处不再赘述。

图4为本发明另一示例性实施例示出的车道线的识别装置的结构图。

如图4所示，在上述实施例的基础上，本实施例提供的车道线的识别装置，可选的，所述处理模块31具体用于：

对所述车道图像进行去均值化处理以及缩小处理，得到所述处理图像。

可选的，所述分数确定模块32，包括：

提取单元321，用于根据所述预设识别模型中的提取层提取所述处理图像的多个特征；

处理单元322，用于根据所述预设识别模型中的上采样层、融合层对提取的所述特征进行处理，得到融合后的特征；

确定单元323，用于根据所述预设识别模型中的预测层基于融合后的特征确定每个所述像素的车道线分数。

所述确定单元323具体用于：

根据所述预测层确定所述处理图像中各个像素对于不同预设车道线的车道线位置分数；

根据所述预测层确定所述处理图像中各个像素对于不同预设类型车道线的车道线类型分数。

所述车道线确定模块33，包括：

掩膜生成单元331，用于根据第一预设阈值、所述处理图像中的各个像素的车道线位置分数，确定与所述预设车道线对应的车道掩膜；

拟合单元332，用于对所述车道掩膜进行拟合处理，得到与所述预设车道线对应的车道曲线。

所述掩膜生成单元331具体用于：

比对所述像素的车道线位置分数和所述第一预设阈值，若所述车道线位置分数小于所述第一预设阈值，则所述像素的车道线位置值为0，否则，所述车道线位置值为1。

所述拟合单元332具体用于：

获取所述车道线位置值为1的目标像素点；

确定所述目标像素点对应的纵向坐标范围，并确定每个所述纵向坐标对应的多个横向坐标；

计算每个所述纵向坐标对应的所述横向坐标的均值，并根据所述均值、所述均值对应的所述纵向坐标确定多个目标点；

连接多个所述目标点，得到所述车道曲线。

所述车道线确定模块33还用于：

根据不同预设类型车道线的车道线类型分数，确定所述处理图像中每个像素对应的车道线类型；

根据每个像素对应的所述车道线类型、所述车道掩膜，确定所述车道曲线的类别。

本实施例提供的车道线的识别装置的具体原理和实现方式均与图2所示的实施例类似，此处不再赘述。

如图5所示，本实施例提供的车道线的识别设备包括：

存储器51；

处理器52；以及

计算机程序；

其中，所述计算机程序存储在所述存储器51中，并配置为由所述处理器52执行以实现如上所述的任一种车道线的识别方法。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如上所述的任一种车道线的识别方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种车道线的识别方法，其特征在于，包括：

根据所述车道线分数确定所述处理图像中的车道线。

2.根据权利要求1所述的方法，其特征在于，所述对所述车道图像进行预处理得到处理图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据预设识别模型确定所述处理图像中的各个像素的车道线分数，包括：

根据所述预设识别模型中的提取层提取所述处理图像的多个特征；

根据所述预设识别模型中的上采样层、融合层对提取的所述特征进行处理，得到融合后的特征；

根据所述预设识别模型中的预测层基于融合后的特征确定每个所述像素的车道线分数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述预设识别模型中的预测层基于融合后的结果确定每个所述像素的车道线分数，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述车道线分数确定所述处理图像中的车道线，包括：

根据第一预设阈值、所述处理图像中的各个像素的车道线位置分数，确定与所述预设车道线对应的车道掩膜；

对所述车道掩膜进行拟合处理，得到与所述预设车道线对应的车道曲线。

6.根据权利要求5所述的方法，其特征在于，所述根据第一预设阈值、所述处理图像中的各个像素的车道线位置分数，确定与所述预设车道线对应的车道线掩膜，包括：

7.根据权利要求6所述的方法，其特征在于，所述对所述车道掩膜进行拟合处理，得到与所述预设车道对应的车道曲线，包括：

获取所述车道线位置值为1的目标像素点；

连接多个所述目标点，得到所述车道曲线。

8.根据权利要求5所述的方法，其特征在于，所述根据所述车道线分数确定所述处理图像中的车道线，还包括：

9.一种车道线的识别装置，其特征在于，包括：

10.一种车道线的识别设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-8任一种所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-8任一种所述的方法。