CN112241646A - 车道线识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种车道线识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别道路图像；对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；对高层图像特征进行特征增强处理，得到增强高层图像特征；融合增强高层图像特征和低层图像特征，得到融合图像特征；根据融合图像特征，得到车道线识别结果。采用本方法能够提高车道线识别的准确度。

Description

车道线识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种车道线识别方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，人工智能在各行各业得到的快速发展，包括机器视觉、指纹识别、人脸识别、专家系统、智能控制、机器人学和语言和图像理解等，其中智能控制的重要具体应用之一为车辆智能驾驶。智能驾驶指的是机器帮助人进行驾驶，以及在特殊情况下完全取代人驾驶的技术。智能驾驶技术的基础，包括识别出车辆周围道路中的车道线，以实现在道路中对车辆的智能控制。

目前，常用的车道线识别基于视觉方法进行，即基于道路图像的进行图像识别处理，从中识别出车道线。然而，视觉方法在识别车道线时，容易受到遮挡、模糊和天气等多因素的影响，导致车道线识别结果的准确性有限。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高车道线识别准确度的车道线识别方法、装置、计算机设备和存储介质。

一种车道线识别方法，所述方法包括：

获取待识别道路图像；

对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

对高层图像特征进行特征增强处理，得到增强高层图像特征；

融合增强高层图像特征和低层图像特征，得到融合图像特征；

根据融合图像特征，得到车道线识别结果。

在其中一个实施例中，对高层图像特征进行特征增强处理，得到增强高层图像特征包括：

将高层图像特征切分，得到切分子特征图；

将高层图像特征对应的特征提取因子拆分，得到与切分子特征图对应的切分子因子；

通过切分子因子对切分子特征图进行特征处理，得到图像子特征；

融合各图像子特征，得到增强高层图像特征。

在其中一个实施例中，通过切分子因子对切分子特征图进行特征处理，得到图像子特征包括：

获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图；

结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图；

通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。

在其中一个实施例中，在融合增强高层图像特征和低层图像特征，得到融合图像特征之后，还包括：

对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。

在其中一个实施例中，根据融合图像特征，得到车道线识别结果包括：

对融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。

在其中一个实施例中，车道线识别方法基于预训练的生成器网络实现，生成器网络通过以下处理得到：

通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据；

基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤；

在生成器和判别器满足预设的均衡条件时结束训练，并将生成器作为生成器网络。

在其中一个实施例中，在生成器和判别器满足预设的均衡条件时结束训练包括：

根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；

根据分布概率距离确定生成器的代价函数，和判别器的代价函数；

当生成器的代价函数和判别器的代价函数满足预设的均衡条件时，结束训练。

一种车道线识别装置，所述装置包括：

待识别图像获取模块，用于获取待识别道路图像；

特征提取模块，用于对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

特征增强模块，用于对高层图像特征进行特征增强处理，得到增强高层图像特征；

特征融合模块，用于融合增强高层图像特征和低层图像特征，得到融合图像特征；

识别结果获取模块，用于根据融合图像特征，得到车道线识别结果。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取待识别道路图像；

对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

对高层图像特征进行特征增强处理，得到增强高层图像特征；

融合增强高层图像特征和低层图像特征，得到融合图像特征；

根据融合图像特征，得到车道线识别结果。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待识别道路图像；

对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

对高层图像特征进行特征增强处理，得到增强高层图像特征；

融合增强高层图像特征和低层图像特征，得到融合图像特征；

根据融合图像特征，得到车道线识别结果。

上述车道线识别方法、装置、计算机设备和存储介质，将待识别道路图像中进行特征提取得到的高层图像特征进行特征增强处理，融合特征增强处理后得到的增强高层图像特征和低层图像特征，并根据融合得到的融合图像特征得到车道线识别结果。通过将特征增强处理后得到的增强高层图像特征和低层图像特征融合，可以有效提取图像中的车道线特征，同时加强图像分割像素的关联性，使图像分割更连续，有效预测图像中的遮挡模糊部分，从而提高了车道线识别的准确度。

附图说明

图1为一个实施例中车道线识别方法的应用环境图；

图2为一个实施例中车道线识别方法的流程示意图；

图3为一个实施例中对高层图像特征进行特征增强处理的流程示意图；

图4为一个实施例中生成器网络训练过程的流程示意图；

图5为一个实施例中判别器的结构示意图；

图6为一个实施例中车道线识别装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的车道线识别方法，可以应用于如图1所示的应用环境中。其中，车辆在道路上行驶，车辆通过车载摄像头(图未示)拍摄道路，得到待识别道路图像，并通过车载终端(图未示)，如可以为车载单元，将待识别道路图像发送至路侧或云端设置的服务器104，如可以为路侧单元，由服务器104对接收到的待识别道路图像中进行特征提取得到的高层图像特征进行特征增强处理，融合特征增强处理后得到的增强高层图像特征和低层图像特征，并根据融合得到的融合图像特征得到车道线识别结果。此外，也可以由车载终端单独进行车道线识别的处理。其中，车载终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载单元和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种车道线识别方法，以该方法应用于图1中的服务器或车载终端为例进行说明，包括以下步骤：

步骤S201：获取待识别道路图像。

其中，待识别道路图像为需要进行车道线检测识别的图像，其可以由车辆的车载摄像头拍摄得到，也可以由道路路侧设置的摄像头拍摄得到。

步骤S203：对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征。

得到待识别道路图像后，对该图像进行特征提取，得到待识别道路图像的低层图像特征和高层图像特征。具体实现时，可以通过人工神经网络，如VGG(Visual GeometryGroup Network，视觉几何组网络)、ResNet101、Xception等对待识别道路图像进行特征提取，从网络隐藏层中提取得到低层图像特征和高层图像特征。一般地，高层图像特征可以有效反映图像的强语义信息，而低层图像特征可以有效反映图像的细粒度特征。例如，在通过残差网络ResNet50对待识别道路图像进行特征提取时，可以将conv3层输出的低层级细粒度特征作为低层图像特征，将conv5层输出的高层级语义特征作为高层图像特征。

步骤S205：对高层图像特征进行特征增强处理，得到增强高层图像特征。

提取得到高层图像特征后，进行特征增强处理，如可以通过预设的空间卷积结构对高层图像特征进行空间结构化处理，以获取空间结合信息，通过空间卷积结构可以加强车道线分割像素的关联性，使得车道线分割更加连续，从而更好地预测车道线被障碍物遮挡部分和虚线等模糊部分。通过特征增强处理，如引入空间卷积结构的方法架构网络，传递空间信息，学习空间关系，可以获取强先验的车道线结构信息，从而可以增强对车道线的适应性。具体地，可以对高层图像特征进行转置和切分，然后对每个切分的切分子特征图，利用对应切分子因子进行特征处理，得到增强高层图像特征。

步骤S207：融合增强高层图像特征和低层图像特征，得到融合图像特征。

得到增强高层图像特征后，将其与低层图像特征融合，得到融合图像特征。融合图像特征反映了待识别道路图像中车道线的图像特征，通过融合图像特征可以从待识别道路图像中识别出车道线。具体实现时，考虑到增强高层图像特征和低层图像特征的大小可能不同，则可以先对增强高层图像特征进行处理，如利用多级上采样，以双线性插值方式，使其大小与低层图像特征的大小相同，再进行融合，得到融合图像特征。通过融合多级的空间特征，使得到的融合图像特征结合了高层的强语义信息和低层的细粒度特征，从而确保了车道线识别的准确度。

步骤S209：根据融合图像特征，得到车道线识别结果。

得到融合图像特征后，根据该融合图像特征得到车道线识别结果。具体地，可以将得到的融合图像特征通过多个上采样层进行放大还原处理，得到车道线识别结果。

上述车道线识别方法中，将待识别道路图像中进行特征提取得到的高层图像特征进行特征增强处理，融合特征增强处理后得到的增强高层图像特征和低层图像特征，并根据融合得到的融合图像特征得到车道线识别结果。通过将特征增强处理后得到的增强高层图像特征和低层图像特征融合，可以有效提取图像中的车道线特征，同时加强图像分割像素的关联性，使图像分割更连续，有效预测图像中的遮挡模糊部分，从而提高了车道线识别的准确度。

在其中一个实施例中，对高层图像特征进行特征增强处理，得到增强高层图像特征包括：将高层图像特征切分，得到切分子特征图；将高层图像特征对应的特征提取因子拆分，得到与切分子特征图对应的切分子因子；通过切分子因子对切分子特征图进行特征处理，得到图像子特征；融合各图像子特征，得到增强高层图像特征。

本实施例中，通过具有强结构信息的空间卷积结构对高层图像特征进行特征增强处理。具体地，进行特征增强处理时，将高层图像特征切分，得到切分子特征图。具体实现时，高层图像特征可以为特征矩阵，则可以将特征矩阵先进行转置，再将转置后的特征矩阵进行切分，得到切分子特征图，此时切分子特征图为特征子矩阵。再查询高层图像特征对应的特征提取因子，并将特征提取因子拆分，得到与切分子特征图对应的切分子因子。其中，特征提取因子为对待识别道路图像进行特征提取，提取得到高层图像特征时对应的特征提取因子。具体实现中，若通过残差网络，如ResNet50对待识别道路图像进行特征提取，则特征提取因子可以为对应卷积层的卷积核，通过将该卷积核拆分，得到卷积子核，即切分子因子。切分子因子与切分子特征图对应，具体可以与切分子特征图在高层图像特征中的位置对应，即切分子特征图相在高层图像特征中的位置，与切分子因子在特征提取因子中的位置相同。

分别对高层图像特征和特征提取因子进行拆分，得到切分子特征图和切分子因子后，通过切分子因子对切分子特征图进行特征处理，得到图像子特征。具体地，在切分子因子为卷积子核时，通过切分子因子对切分子特征图进行卷积处理，得到图像子特征。得到各切分子特征图对应的图像子特征后，融合各图像子特征，得到增强高层图像特征。具体地，可以将各图像子特征进行依次切分和转置的逆处理，即将各图像子特征进行结合，并进行转置逆处理，从而实现对高层图像特征的特征增强处理，得到增强高层图像特征。

在其中一个实施例中，通过切分子因子对切分子特征图进行特征处理，得到图像子特征包括：获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图；结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图；通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。

本实施例中，对每个切分的切分子特征图和切分的切分子因子进行特征处理，特征处理之后与下一层切分子特征图进行求和作为下一层特征处理的切分子特征图。具体地，通过切分子因子对切分子特征图进行特征处理时，获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图。再结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图。具体可以将上一层切分子特征图对应的图像子特征和切分子特征图进行求和处理，将求和结果作为更新后的切分子特征图。再通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。例如，通过切分子因子对更新后的切分子特征图进行卷积处理，得到图像子特征。具体实现时，对于第一层的切分子特征图，则可以将上一层切分子特征图对应的图像子特征设为空矩阵。

在一个实施例中，如图3所示，为对高层图像特征进行特征增强处理的示意图。一般地，在卷积神经网络中，由于车道线比较长，普通的卷积只能感受图像的局部，为了增强卷积结构对车道线适应性，引入具有强结构信息的空间卷积结构。如图3示，高层图像特征为卷积神经网络中隐藏层输出，即为特征矩阵，对高层图像特征进行转置和切分，然后对每个切分的切分子特征图和切分的切分子因子进行卷积，卷积之后与下一层切分子特征图进行求和作为下一层卷积的切分子特征图，最后将所有进行空间卷积的输出特征，即将各图像子特征进行结合，形成一个整体的增强特征矩阵，得到增强高层图像特征。其中，圆圈加号表示卷积相加，C表示特征的通道数，H表示特征矩阵的高度，W表示特征矩阵的宽度。

在其中一个实施例中，在融合增强高层图像特征和低层图像特征，得到融合图像特征之后，还包括：对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。

本实施例中，在融合增强高层图像特征和低层图像特征后，进一步对得到的融合图像特征进行特征增强处理，进一步提高特征提取效果。具体地，在得到融合图像特征之后，对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。具体实现时，特征增强处理也可以通过空间卷积结构进行实现。

在其中一个实施例中，根据融合图像特征，得到车道线识别结果包括：对融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。

本实施例中，考虑到融合图像特征与待识别道路图像的大小差异，通过将融合图像特征进行放大还原处理，得到与待识别道路图像的大小相同的车道线识别结果。具体地，对融合图像特征进行放大还原处理，具体可以采用多级上采样，以双线性插值方式进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。此外，也可以通过结合反卷积层信息，实现对融合图像特征进行放大还原处理，得到语义分割图像。

在其中一个实施例中，车道线识别方法基于预训练的生成器网络实现。其中，生成器网络可以为生成对抗网络中的生成器部分。生成对抗网络简称GAN(GenerativeAdversarial Networks)，是由两个网络组成的，一个生成器网络和一个判别器网络，这两个网络可以是神经网络(从卷积神经网络、循环神经网络到自编码器)。生成器网络将一个随机噪声向量从一个潜在空间(不是所有的GAN样本都来自一个潜在空间)转换为一个真实数据集的样本。训练一个GAN是一个非常直观的过程。通过同时训练这两个网络，随着时间的推移，它们都会变得更好。

本实施例中，利用生成对抗网络的生成器网络生成语义分割图像，该语义分割图像将车道线和非车道线进行分割，例如可以将车道线的像素设为A，将其他非车道线的像素设为B，从而识别出车道线。训练时，利用生成对抗模式对生成器和判别器进行训练，将真实的原始道路图像输入生成器中，由生成器输出语义分割图像，然后通过判别器去甄别分类生成图像和原始标签的真假。在训练完成后，将待识别道路图像输入至生成器网络中，则可由生成器网络输出对应的语义分割图像，该语义分割图像与待识别道路图像的大小相同，且对待识别道路图像中的车道线像素点和非车道线像素点进行了分割，从而实现了对待识别道路图像的车道线准确识别。

具体地，如图4所示，生成器网络训练过程，生成器网络即通过以下处理得到：

步骤S401：通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据。

本实施例中，首先构建作为生成对抗网络组成部分的生成器和判别器。在具体实现时，生成器的基础网络可以为ResNet50，而判别器可以通过多级卷积层构建得到。如图5所示，为一个具体应用中，判别器的结构示意图。如图5示，判别器的输入经过5层卷积层处理，最后输出真或假的判定结果，并得到对应的代价函数Loss。判别器的网络层数较少，多次训练判别器有利于网络快速拟合。在训练生成对抗网络时，采用交叠训练的方式，即训练一次生成器，训练多次判别器。具体地，先固定判别器的参数，训练生成器，并进行梯度更新。然后固定生成器参数，训练判别器，更新判定器的参数。训练n次判别器，训练1次生成器.判别器模型较小，有利于整体网络快速收敛。

具体地，通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据。其中，生成图像数据为语义分割图像。通过将生成器输出的语义分割图像和真实图像样本数据结结合，可以得到作为判别器网络训练集的假样本数据，判别器网络训练集还包括真实图像样本数据。

步骤S403：基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤。

训练生成器和判别器时，基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤。从而实现对生成器和判别器的交叠训练，直至满足训练结束条件，即生成器和判别器均足够好时结束训练。

具体实现时，训练判别器时，假样本数据的输入标签为0，即为假，而真实图像样本数据的输入标签为1，即为真。假样本数据和真实图像样本数据输出对应的代价函数之和，作为判别器的代价函数。将判别器在输入假样本数据而示出为真时对应的代价函数，以及真实图像样本数据输出对应的代价函数之和，作为生成器的代价函数。

步骤S405：在生成器和判别器满足预设的均衡条件时结束训练，并将生成器作为生成器网络。

在判定训练是否终止时，判断生成器和判别器是否满足预设的均衡条件，即判别器的输出结果接近0.5时，结束训练，将生成器作为生成器网络。

在一个具体应用中，生成器基于ResNet50改进得到。具体地，ResNet50最后几层用的空间卷积的方式，并通过多个上采样层还原到原图大小，然后输出。具体地，采用ResNet50中conv3和conv5的特征进行融合，通过多级的空间特征融合的方式，可以获取更加细粒度的特征。

在其中一个实施例中，在生成器和判别器满足预设的均衡条件时结束训练包括：根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；根据分布概率距离确定生成器的代价函数，和判别器的代价函数；当生成器的代价函数和判别器的代价函数满足预设的均衡条件时，结束训练。

本实施例中，通过生成器代价函数和判别器代价函数来判定是否满足预设的均衡条件，即是否满足训练结束条件。具体地，根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离，分布概率距离可以为Wasssertein距离。可以理解，若判别器输入的真实数据分布概率和生成数据分布概率边缘分布没有重叠，即KL散度或者JS散度较大的情况下，在原始生成对抗网络在(近似)最优判别器下，会导致生成器代价函数面临梯度消失问题，或者导致优化混乱、梯度不稳定、对多样性与准确性惩罚不平衡导致模型崩溃。为了生成对抗网络训练稳定，可以应用Wasssertein距离，Wasssertein距离可以反映两个分布的远近或者重叠交叉的比例。如果分布没有重叠，通过Wasssertein拉近两个数据的分布。通过引入Wasssertein距离，使得原始的数据信息在空间产生交叠部分，同时可以解决生成对抗网络难以收敛的难点。Wasssertein距离可以通过下式(1)得到，

其中，inf表示对该期望取下界；P_r,P_g分别表示判别器输入的真实数据分布概率和生成数据分布概率；x～∏(P_r,P_g)表示x属于P_r,P_g联合概率分布；||x-y||表示真实样本和生成样本的距离。

得到判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离后，根据该分布概率距离确定生成器的代价函数和判别器的代价函数。一般地，在模型满足拉普拉斯分布||f_w(x₁)]-f_w(x₂)||≤C(w)g||x₁-x₂||，模型对输入的扰动不敏感。由于

不能直接求解，定义：

其中sup表示取上界，|f|L表示满足特定的拉普拉斯约束。其中，N表示常数。

即

满足Lipschitz连续。因此，

定义

其中，N是常数，因此L可以作为判别器的代价函数。对于生成器，

式子与生成器没有关系，因此可以将生成代价函数定义为

在设计判别器的代价函数时利用局部感受野的像素块判定真实图像和生成对抗网络生成的图像的真假，可以确保分割的高精度。

在一个具体应用中，生成器的代价函数G_loss如下式(2)，

其中，f_w(x)表示生成器的输出；x表示真实的RGB图像作为网络输入；

表示输入x属于生成概率分布的期望值；

表示输入x属于真实数据分布概率的期望值；min{}表示最小化分布。

判别器的代价函数D_loss可以取下式(3)，

其中，f_w(x)表示判别器的网络输出，x表示RGB图像结合生成器的输出和RGB图像结合标签作为网络输入。

应该理解的是，虽然图2、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种车道线识别装置，包括：待识别图像获取模块601、特征提取模块603、特征增强模块605、特征融合模块607和识别结果获取模块609，其中：

待识别图像获取模块601，用于获取待识别道路图像；

特征提取模块603，用于对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

特征增强模块605，用于对高层图像特征进行特征增强处理，得到增强高层图像特征；

特征融合模块607，用于融合增强高层图像特征和低层图像特征，得到融合图像特征；

识别结果获取模块609，用于根据融合图像特征，得到车道线识别结果。

在其中一个实施例中，特征增强模块605包括特征切分单元、因子拆分单元、子特征获得单元和子特征融合单元；其中：特征切分单元，用于将高层图像特征切分，得到切分子特征图；因子拆分单元，用于将高层图像特征对应的特征提取因子拆分，得到与切分子特征图对应的切分子因子；子特征获得单元，用于通过切分子因子对切分子特征图进行特征处理，得到图像子特征；子特征融合单元，用于融合各图像子特征，得到增强高层图像特征。

在其中一个实施例中，子特征获得单元包括上层子特征单元、子特征更新单元和子特征处理单元；其中：上层子特征单元，用于获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图；子特征更新单元，用于结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图；子特征处理单元，用于通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。

在其中一个实施例中，还包括融合增强模块，用于对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。

在其中一个实施例中，识别结果获取模块609包括放大还原模块，用于对融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。

在其中一个实施例中，还包括假样本模块、对抗训练模块和生成器确定模块；其中：假样本模块，用于通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据；对抗训练模块，用于基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤；生成器确定模块，用于在生成器和判别器满足预设的均衡条件时结束训练，并将生成器作为生成器网络。

在其中一个实施例中，生成器确定模块包括概率距离确定单元、代价函数确定单元和均衡条件单元；其中：概率距离确定单元，用于根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；代价函数确定单元，用于根据分布概率距离确定生成器的代价函数，和判别器的代价函数；均衡条件单元，用于当生成器的代价函数和判别器的代价函数满足预设的均衡条件时，结束训练。

关于车道线识别装置的具体限定可以参见上文中对于车道线识别方法的限定，在此不再赘述。上述车道线识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线识别方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取待识别道路图像；

对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

对高层图像特征进行特征增强处理，得到增强高层图像特征；

融合增强高层图像特征和低层图像特征，得到融合图像特征；

根据融合图像特征，得到车道线识别结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将高层图像特征切分，得到切分子特征图；将高层图像特征对应的特征提取因子拆分，得到与切分子特征图对应的切分子因子；通过切分子因子对切分子特征图进行特征处理，得到图像子特征；融合各图像子特征，得到增强高层图像特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图；结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图；通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。

在一个实施例中，车道线识别方法基于预训练的生成器网络实现，处理器执行计算机程序时还实现以下步骤：通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据；基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤；在生成器和判别器满足预设的均衡条件时结束训练，并将生成器作为生成器网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；根据分布概率距离确定生成器的代价函数，和判别器的代价函数；当生成器的代价函数和判别器的代价函数满足预设的均衡条件时，结束训练。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待识别道路图像；

对待识别道路图像进行特征提取，获得待识别道路图像的低层图像特征和高层图像特征；

对高层图像特征进行特征增强处理，得到增强高层图像特征；

融合增强高层图像特征和低层图像特征，得到融合图像特征；

根据融合图像特征，得到车道线识别结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将高层图像特征切分，得到切分子特征图；将高层图像特征对应的特征提取因子拆分，得到与切分子特征图对应的切分子因子；通过切分子因子对切分子特征图进行特征处理，得到图像子特征；融合各图像子特征，得到增强高层图像特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取上一层切分子特征图对应的图像子特征，上一层切分子特征图为与切分子特征图相邻、且在切分子特征图上一层的切分子特征图；结合上一层切分子特征图对应的图像子特征，和切分子特征图，得到更新后的切分子特征图；通过切分子因子对更新后的切分子特征图进行特征处理，得到图像子特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为融合图像特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括语义分割图像。

在一个实施例中，车道线识别方法基于预训练的生成器网络实现，计算机程序被处理器执行时还实现以下步骤：通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将生成图像数据与真实图像样本数据结合得到假样本数据；基于生成对抗模式，通过假样本数据和真实图像样本数据训练判别器，并根据判别器的输出更新生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤；在生成器和判别器满足预设的均衡条件时结束训练，并将生成器作为生成器网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据判别器的训练输出，确定判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；根据分布概率距离确定生成器的代价函数，和判别器的代价函数；当生成器的代价函数和判别器的代价函数满足预设的均衡条件时，结束训练。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车道线识别方法，所述方法包括：

获取待识别道路图像；

对所述待识别道路图像进行特征提取，获得所述待识别道路图像的低层图像特征和高层图像特征；

对所述高层图像特征进行特征增强处理，得到增强高层图像特征；

融合所述增强高层图像特征和所述低层图像特征，得到融合图像特征；

根据所述融合图像特征，得到车道线识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述高层图像特征进行特征增强处理，得到增强高层图像特征包括：

将所述高层图像特征切分，得到切分子特征图；

将所述高层图像特征对应的特征提取因子拆分，得到与所述切分子特征图对应的切分子因子；

通过所述切分子因子对所述切分子特征图进行特征处理，得到图像子特征；

融合各所述图像子特征，得到增强高层图像特征。

3.根据权利要求2所述的方法，其特征在于，通过所述切分子因子对所述切分子特征图进行特征处理，得到图像子特征包括：

获取上一层切分子特征图对应的图像子特征，所述上一层切分子特征图为与所述切分子特征图相邻、且在所述切分子特征图上一层的切分子特征图；

结合所述上一层切分子特征图对应的图像子特征，和所述切分子特征图，得到更新后的切分子特征图；

通过所述切分子因子对所述更新后的切分子特征图进行特征处理，得到图像子特征。

4.根据权利要求1所述的方法，其特征在于，在所述融合所述增强高层图像特征和所述低层图像特征，得到融合图像特征之后，还包括：

对所述融合图像特征进行特征增强处理，将特征增强处理后的融合图像特征作为所述融合图像特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述融合图像特征，得到车道线识别结果包括：

对所述融合图像特征进行放大还原处理，得到语义分割图像，车道线识别结果包括所述语义分割图像。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法基于预训练的生成器网络实现，所述生成器网络通过以下处理得到：

通过生成器对真实图像样本数据进行处理，得到生成图像数据，并将所述生成图像数据与所述真实图像样本数据结合得到假样本数据；

基于生成对抗模式，通过所述假样本数据和所述真实图像样本数据训练判别器，并根据所述判别器的输出更新所述生成器，返回通过生成器对真实图像样本数据进行处理，得到生成图像数据的步骤；

在所述生成器和所述判别器满足预设的均衡条件时结束训练，并将所述生成器作为所述生成器网络。

7.根据权利要求6所述的方法，其特征在于，所述在所述生成器和所述判别器满足预设的均衡条件时结束训练包括：

根据所述判别器的训练输出，确定所述判别器输入的真实数据分布概率和生成数据分布概率之间分布概率距离；

根据所述分布概率距离确定所述生成器的代价函数，和所述判别器的代价函数；

当所述生成器的代价函数和所述判别器的代价函数满足预设的均衡条件时，结束训练。

8.一种车道线识别装置，其特征在于，所述装置包括：

待识别图像获取模块，用于获取待识别道路图像；

特征提取模块，用于对所述待识别道路图像进行特征提取，获得所述待识别道路图像的低层图像特征和高层图像特征；

特征空间结构化模块，用于对所述高层图像特征进行特征增强处理，得到增强高层图像特征；

特征融合模块，用于融合所述增强高层图像特征和所述低层图像特征，得到融合图像特征；

识别结果获取模块，用于根据所述融合图像特征，得到车道线识别结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images