CN110796003B - 车道线检测方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了车道线检测方法、装置及电子设备，该方法包括：将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

Description

车道线检测方法、装置及电子设备

技术领域

本申请涉及神经网络领域，具体涉及车道线检测方法、装置及电子设备。

背景技术

车道线检测技术应用于生成自动驾驶地图数据、在驾驶期间定位车辆等多个方面。基于车辆上的相机采集到的图像进行车道检测是被广泛应用的车道线检测手段。

目前，通常采用的利用神经网络检测车道线的方式为：神经网络从车辆上的相机采集到的前视图图像中提取出特征，根据从前视图图像提取的特征，生成车道线检测结果。

发明内容

本申请提供一种车道线检测方法、装置、电子设备。

根据本申请实施例的第一方面，提供一种车道线检测方法，包括：

获取前视图图像和俯视图图像；

将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，所述车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，其中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像；

其中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；

所有编码器包括：第一编码网络中的每一个编码器、第二编码网络中的每一个编码器，编码器与编码器的关联编码器属于不同的编码网络，用于与编码器输出的特征图进行特征融合的特征图基于对编码器的关联编码器输出的特征图进行透视变换或逆透视变换而得到；

解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

根据本申请实施例的第二方面，提供一种车道线检测装置，包括：

获取单元，被配置为获取前视图图像和俯视图图像；

检测单元，被配置为将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，所述车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，其中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像；

其中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；

所有编码器包括：第一编码网络中的每一个编码器、第二编码网络中的每一个编码器，编码器与编码器的关联编码器属于不同的编码网络，用于与编码器输出的特征图进行特征融合的特征图基于对编码器的关联编码器输出的特征图进行透视变换或逆透视变换而得到；

解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

本申请实施例提供的车道线检测方法、装置，实现了通过车道线检测网络中的第一编码网络从前视图图像中提取全面的上下文特征信息，通过车道线检测网络中的第二编码网络从俯视图图像中提取准确的语义特征信息，增加了在进行车道线检测时所利用的特征的丰富度，可以更加精确地对车道线进行检测，提升车道线检测的准确率。并且通过在车道线检测网络中的特征图转换单元将从前视图图像中提取的特征与从俯视图中提取的特征相互进行特征融合，提升了对图像的特征的利用率，进一步提升车道线检测的准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的车道线检测方法的流程图；

图2示出了车道线检测网络的一个结构示意图；

图3示出了本申请实施例提供的车道线检测装置的结构框图；

图4示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的车道线检测方法的流程图，该方法包括：

步骤101，获取前视图图像和俯视图图像。

在本申请中，前视图图像可以通过设置在车辆中的摄像头例如朝向车辆行驶方向的摄像头采集到。俯视图图像可以由设置在车辆中的以俯视视角拍摄图像的摄像头例如设置于车辆顶部的摄像头采集到。

在一些实施例中，获取前视图图像和俯视图图像包括：获取前视图图像；对前视图图像进行逆透视变换，得到俯视图图像。换言之，在获取到前视图图像之后，俯视图图像可以通过对前视图图像进行逆透视变换得到。

步骤102，将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测结果。

在本申请中，在对车辆行驶在道路上的车道线进行检测时，可以将将前视图图像和俯视图图像输入到车道线检测网络，由车道线检测网络提取前视图图像的特征以及提取俯视图图像的特征，根据提取的特征，得到车道线检测结果。

在本申请中，车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络。

在本申请中，第一编码网络可以从前视图图像中提取较为全面的上下文特征信息，第二编码网络可以从俯视图图像中提取较为准确的语义特征信息。

在本申请中，第一编码网络可以为卷积神经网络，第二编码网络可以为卷积神经网络。第一编码网络与第二编码网络的结构可以相同。

在本申请中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像。

在本申请中，第一编码网络包括多个编码器，第一编码网络中的每一个编码器包括一个或多个卷积层。对于第一编码网络中的每一个编码器，编码器利用一个或多个卷积层对编码器的输入进行特征提取，得到编码器输出的特征图，编码器输出的特征图的数量可以为一个或多个。

在本申请中，第二编码网络包括多个编码器，第二编码网络中的每一个编码器包括一个或多个卷积层。对于第二编码网络中的每一个编码器，编码器利用一个或多个卷积层对编码器的输入进行特征提取，得到编码器输出的特征图，编码器输出的特征图的数量可以为一个或多个。

在本申请中，第一编码网络中的第一个编码器的输入为前视图图像。对于第一编码网络中的每一个编码器，该编码器的输入为该编码器的上一个编码器输出的特征图，该编码器可以对该编码器的上一个编码器输出的特征图进行下采样，得到该编码器输出的特征图。

在本申请中，在将前视图图像输入到第一编码网络之后，由第一编码网络中的第一个编码器对前视图图像进行特征提取，得到第一编码网络中的第一个编码器输出的特征图，第一编码网络中的第二个编码器对第一编码网络中的第一个编码器输出的特征图进行下采样，得到第一编码网络中的第二个编码器输出的特征图，依次类推。

在本申请中，第二编码网络中的第一个编码器的输入为俯视图图像。对于第二编码网络中的每一个编码器，该编码器的输入为该编码器的上一个编码器输出的特征图，该编码器对该编码器的上一个编码器输出的特征图进行下采样，得到该编码器输出的特征图。

在本申请中，在将俯视图图像输入到第二编码网络之后，由第二神经网络中的第一个编码器对俯视图图像进行特征提取，得到第二编码网络中的第一个编码器输出的特征图，第二编码网络中的第二个编码器对第二编码网络中的第一个编码器的输出的特征图进行下采样，得到第二编码网络中的第二个编码器输出的特征图，依次类推。

在本申请中，第一编码网络中的每一个编码器分别对应第二编码网络中的一个编码器。对于第一编码网络中的每一个编码器，该编码器对应的第二编码网络中的一个编码器为该编码器的关联编码器。同理，对于第二编码网络中的每一个编码器，对应于该编码器的第一编码网络中的一个编码器为该编码器的关联编码器。

在本申请中，对于第一编码网络或第二编码网络中的一个编码器，编码器在编码器所属的编码网络中的位置与编码器的关联编码器在关联编码器所属的编码网络中的位置相同。

例如，第一编码网络中的第一个编码器的关联编码器为第二编码网络中的第一个编码器。同理，第二编码网络中的第一个编码器的关联编码器为第一编码网络中的第一个编码器。第一编码网络中的第二个编码器的关联编码器为第二编码网络中的第二个编码器。同理，第二编码网络中的第二个编码器的关联编码器为第一编码网络中的第二个编码器，以此类推。

在本申请中，第一编码网络中的每一个编码器和第二编码网络中的每一个编码器组成所有编码器。

在本申请中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入。

在本申请中，对于每一个编码器，用于与该编码器输出的特征图进行特征融合的特征图基于对该编码器的关联编码器输出的特征图进行透视变换(perspective mapping)或逆透视变换(inverse perspective mapping)而得到。对特征图进行透视变换也可称之为对特征图进行透视映射。对特征图进行逆透视变换也可称之为对特征图进行逆透视映射。

当一个编码器为第一编码网络中的除了最后一个编码器之外的所有编码器中的一个编码器时，特征图转换单元基于该编码器输出的特征图和用于与该编码器输出的特征图进行特征融合的特征图，生成第一编码网络中的该编码器的下一个编码器的输入。特征图转换单元对第二编码网络中的该编码器的关联编码器输出的特征图进行透视变换，得到用于与该编码器输出的特征图进行特征融合的特征图。当第二编码网络中的该编码器的关联编码器输出的特征图的数量为多个时，对第二编码网络中的该编码器的关联编码器输出的特征图进行透视变换包括对每一个该编码器的关联编码器输出的特征图分别进行透视变换，得到所有用于与该编码器输出的特征图进行特征融合的特征图。

当一个编码器为第二编码网络中的除了最后一个编码器之外的所有编码器中的一个编码器时，特征图转换单元基于该编码器输出的特征图和用于与该编码器输出的特征图进行特征融合的特征图，生成第二编码网络中的该编码器的下一个编码器的输入。特征图转换单元对于第一编码网络中的该编码器的关联编码器输出的特征图进行逆透视变换，得到用于与该编码器输出的特征图进行特征融合的特征图。当第一编码网络中的该编码器的关联编码器输出的特征图的数量为多个时，对第一编码网络中的该编码器的关联编码器输出的特征图进行逆透视变换包括对每一个该编码器的关联编码器输出的特征图分别进行逆透视变换，得到所有用于与该编码器输出的特征图进行特征融合的特征图。

在本申请中，当基于一个编码器输出的特征图和用于与该编码器输出的特征图进行特征融合的特征图，生成该编码器的下一个编码器的输入时，可以从该编码器输出的所有特征图中随机选取出用于生成该编码器的下一个编码器的输入的特征图，同时，从所有用于与该编码器输出的特征图进行特征融合的特征图中随机选取出用于生成该编码器的下一个编码器的输入的特征图。从该编码器输出的所有特征图中选取出的特征图的数量与从所有用于与该编码器输出的特征图进行特征融合的特征图中选取出的特征图的数量相同。然后，可以将从该编码器输出的所有特征图中选取出的特征图和从所有用于与该编码器输出的特征图进行特征融合的特征图中选取出的特征图一起作为该编码器的下一个编码器的输入。

在一些实施例中，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入包括：将编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图输入到压缩卷积层，得到压缩卷积层输出的特征图，其中，压缩卷积层的输出通道的数量小于编码器输出的特征图的数量与用于与编码器输出的特征图进行特征融合的特征图的数量之和；将压缩卷积层输出的特征图作为编码器的下一个编码器的输入。

例如，对于除了最后一个编码器之外的每一个编码器，该编码器与该编码器的上一个编码器之间具有一个压缩卷积层，压缩卷积层的每一个输出通道分别输出一个特征图。卷积层的输出通道的数量可以为该编码器输出的特征图的数量与用于与该编码器输出的特征图进行特征融合的特征图的数量之和的一半。假设该编码器输出的特征图的数量与用于与该编码器输出的特征图进行特征融合的特征图的数量之和为2K，则压缩卷积层的输出通道的数量的为K，压缩卷积层包括K个尺寸为1x1卷积核。压缩卷积层中的每一个卷积核的输入为该编码器输出的所有特征图和所有用于与该编码器输出的特征图进行特征融合的特征图。在将编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图输入到压缩卷积层之后，压缩卷积层输出K个特征图，压缩卷积层输出的K个特征图作为该编码器的下一个编码器的输入。

在本申请中，特征图转换单元被配置为：基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入。第一编码网络输出的特征图可以为第一编码网络的最后一个编码器输出的特征图。第二编码网络输出的特征图可以为第二编码网络的最后一个编码器输出的特征图。

例如，对第二编码网络的最后一个编码器输出的特征图进行透视变换，得到经过透视变换的特征图，将经过透视变换的特征图与第一编码网络的最后一个编码器输出的特征图一起作为解码网络的输入。

在一些实施例中，基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入包括：对第二编码网络输出的特征图进行透视变换，得到用于与第一编码网络输出的特征图进行特征融合的特征图；将第一编码网络输出的特征图与用于与第一编码网络输出的特征图进行特征融合的特征图进行特征融合，得到融合特征图；将融合特征图作为解码网络的输入。

在本申请中，第一编码网络输出的特征图可以为第一编码网络的最后一个编码器输出的特征图。第二编码网络输出的特征图可以为第二编码网络的最后一个编码器输出的特征图。

在本申请中，当基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入时，可以对第二编码网络输出的特征图进行透视变换，得到用于与第一编码网络输出的特征图进行特征融合的特征图；将第一编码网络输出的特征图与用于与第一编码网络输出的特征图进行特征融合的特征图进行特征融合，得到融合特征图；将融合特征图作为解码网络的输入。

在本申请中，解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

在本申请中，解码网络包括多个解码器，对于每一个解码器，可以对作为该解码器的输入的特征图进行上采样，得到该解码器输出的特征图。解码网络中的第一个解码器的输入为解码网络的输入，解码网络中的除了第一个解码器之外的每一个解码器，解码器的输入为解码器的上一个解码器输出的特征图。

在本申请中，解码网络中包括车道线检测结果生成单元。解码网络中的最后一个解码器输出的特征图可以作为车道线检测结果生成单元的输入。车道线检测结果生成单元可以基于最后一个解码器对应的融合特征图，生成车道线检测结果。

例如，车道线检测结果生成单元为一个用于对像素的类型进行分类的分类器。将解码网络中的最后一个解码器输出的特征图输入到用于对像素的类型进行分类的分类器。用于对像素的类型进行分类的分类器基于解码器输出的特征图，对于前视图图像中的每个像素分别进行分类，得到作为车道线检测结果的车道线分割图像，车道线分割图像中的属于车道线的像素点的像素值为1，不属于车道线的像素点的像素值为0。

请参考图2，其示出了车道线检测网络的一个结构示意图。

在图2中，示出了车道线检测网络中的第一编码网络、第二编码网络、特征图转换单元、解码网络。第一编码网络的结构和第二编码网络的结构可以相同。例如，第一编码网络的结构和第二编码网络均为VGG16。第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像。

第一编码网络包括front1编码器、front2...frontN等N个编码器。front1编码器为第一编码网络中的第一个编码器，frontN编码器为第一编码网络中的最后一个编码器。

第二编码网络包括bird1编码器、bird2编码器...bird N等N个编码器。bird1编码器为第二编码网络中的第一个编码器，bird2编码器为第二编码网络中的最后一个编码器。

第一编码网络中的第一个编码器front1编码器的关联编码器为第二编码网络中的第一个编码器bird1编码器，同理，第二编码网络中的第一个编码器bird1编码器的关联编码器为第一编码网络中的第一个编码器front1编码器，依次类推。第一编码网络中的第N个编码器的关联编码器为第二编码网络中的第N个编码器，第二编码网络中的第N个编码器的关联编码器为第一编码网络中的第N个编码器。

对于第一编码网络或第二编码网络中的任意一个编码器，特征图转换单元对编码器的关联编码器输出的特征图进行透视变换或逆透视变换，得到用于与编码器输出的特征图进行特征融合的特征图。

对于第一编码网络中的除了最后一个编码器之外的任意一个编码器或第二编码网络中的除了最后一个编码器之外的任意一个编码器，基于编码器输出的特征图和用于与该编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器输出的特征图。

对于front1编码器，基于front1编码器输出的特征图与用于与front1编码器输出的特征图进行特征融合的特征图，生成front2编码器的输入。用于与front1编码器输出的特征图进行特征融合的特征图通过对bird1编码器输出的特征图进行透视变换得到。

对于bird1编码器，基于bird1编码器输出的特征图与用于与bird1编码器输出的特征图进行特征融合的特征图，生成bird2编码器的输入。用于与bird1编码器输出的特征图进行特征融合的特征图通过对front1编码器输出的特征图进行逆透视变换得到。

对于frontN-1编码器，基于frontN-1编码器输出的特征图与用于与frontN-1编码器输出的特征图进行特征融合的特征图，生成frontN编码器的输入。用于与frontN-1编码器输出的特征图进行特征融合的特征图通过对bird N-1编码器输出的特征图进行透视变换得到。

对于birdN-1编码器，基于birdN-1编码器输出的特征图与用于与birdN-1编码器输出的特征图进行特征融合的特征图，生成birdN编码器的输入。用于与birdN-1编码器输出的特征图进行特征融合的特征图通过对front N-1编码器输出的特征图进行逆透视变换得到。

对于birdN编码器，将birdN编码器输出的特征图进行透视变换，得到用于与frontN编码器输出的特征图进行特征融合的特征图，将用于与frontN编码器输出的特征图进行特征融合的特征图与frontN编码器输出的特征图进行特征融合，得到融合特征图；将融合特征图作为解码网络的输入。

解码网络包括：解码器1、解码器2...解码器N等N个解码器和车道线检测结果生成单元。解码器1为解码网络中的第一个解码器，解码器N为解码网络中的最后一个解码器。解码器1的输入为解码网络的输入，除了第一个解码器解码器1之外的每一个解码器，解码器的输入为解码器的上一个解码器输出的特征图。

解码网络中的最后一个解码器解码器N输出的特征图作为车道线检测结果生成单元的输入。车道线检测结果生成单元解码器N输出的特征图，输出车道线检测结果。车道线检测结果可以为一个车道线分割图像。

在一些实施例中，基于解码网络的输入，生成车道线检测结果包括：对于解码网络中的除了最后一个解码器之外的每一个解码器，将解码器输出的特征图和解码器对应的编码器输出的特征图进行特征融合，得到解码器对应的融合特征图，将解码器对应的融合特征图作为解码器的下一个解码器的输入，其中，每一个解码器分别对应第一编码网络中的一个编码器；将解码网络中的最后一个解码器输出的特征图与解码网络中的最后一个解码器对应的编码器输出的特征图进行特征融合，得到最后一个解码器对应的融合特征图；基于最后一个解码器对应的融合特征图，生成车道线检测结果。

在本申请中，解码网络中的解码器的数量可以等于第一编码网络中的编码器的数量。解码网络中的每一个解码器可以分别对应第一编码网络中的一个编码器。例如，解码器输出的特征图的尺寸与解码器对应的第一编码网络中的编码器输出的特征图尺寸可以相同。解码器的数量和第一编码网络中的编码器的数量均为N。第一个解码器对应第一编码网络中的第N个编码器，第二个解码器对应的第一编码网络中的第N-1个编码器，以此类推，最后一个解码器对应第一编码网络中的第一个编码器。

解码网络可以包括跳跃连接结构。对于除了最后一个解码器之外的每一个解码器，可以通过跳跃连接结构将该解码器输出的特征图和该解码器对应的编码器输出的特征图进行特征融合，得到该解码器对应的融合特征图，该将解码器对应的融合特征图作为该解码器的下一个解码器的输入。

通过跳跃连接结构将最后一个解码器输出的特征图和最后一个解码器对应的编码器输出的特征图进行特征融合，得到最后一个解码器对应的融合特征图。最后一个解码器对应的融合特征图可以作为车道线检测结果生成单元的输入。车道线检测结果生成单元可以基于最后一个解码器对应的融合特征图，输出车道线检测结果。

在一些实施例中，在利用车道线检测网络生成车道线检测结果之前，可以利用车道线检测网络的训练样本和加权的交叉熵损失函数(Weighted cross entropy loss)对车道线检测网络进行训练。车道线检测网络的每一个训练样本包括：用于训练的前视图图像和用于训练的俯视图图像。每一次对车道线检测网络进行训练，将用于训练的前视图图像和用于训练的俯视图图像输入到车道线检测网络；利用加权的交叉熵损失函数计算出损失函数值；基于计算出的损失函数值，更新车道线检测网络的网络参数。

每一次对车道线检测网络进行训练，将用于训练的前视图图像和用于训练的俯视图图像输入到车道线检测网络，得到车道线检测网络输出的预测结果。检测网络输出的预测结果可以为预测出的车道线分割图像。训练样本标注信息可以为通过对训练样本中的前视图图像中的车道线占据的区域进行标注得到的车道线分割图像。通过反向传播算法，根据计算损失函数值对车道线检测网络的网络参数进行更新。当在多次训练之后计算出的损失函数值小于预设值时，可以完成对车道线检测网络的训练。

请参考图3，其示出了本申请实施例提供的车道线检测装置的结构框图。车道线检测装置包括：获取单元301，检测单元302。

获取单元301被配置为获取前视图图像和俯视图图像；

检测单元302被配置为将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，所述车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，其中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像；

其中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；

所有编码器包括：第一编码网络中的每一个编码器、第二编码网络中的每一个编码器，编码器与编码器的关联编码器属于不同的编码网络，用于与编码器输出的特征图进行特征融合的特征图基于对编码器的关联编码器输出的特征图进行透视变换或逆透视变换而得到；

解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

在一些实施例中，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入包括：

将编码器输出的所有特征图与所有用于与编码器输出的特征图进行特征融合的特征图输入到压缩卷积层，得到压缩卷积层输出的特征图，其中，压缩卷积层的输出通道的数量小于编码器输出的特征图的数量与用于与编码器输出的特征图进行特征融合的特征图的数量之和；将压缩卷积层输出的特征图作为编码器的下一个编码器的输入。

在一些实施例中，所述基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入包括：对第二编码网络输出的特征图进行透视变换，得到用于与第一编码网络输出的特征图进行特征融合的特征图；将第一编码网络输出的特征图与所述用于与第一编码网络输出的特征图进行特征融合的特征图进行特征融合，得到融合特征图；将所述融合特征图作为解码网络的输入。

在一些实施例中，基于解码网络的输入，生成车道线检测结果包括：

对于解码网络中的除了最后一个解码器之外的每一个解码器，将解码器输出的特征图和解码器对应的编码器输出的特征图进行特征融合，得到解码器对应的融合特征图，将解码器对应的融合特征图作为解码器的下一个解码器的输入，其中，每一个解码器分别对应第一编码网络中的一个编码器；将解码网络中的最后一个解码器输出的特征图与解码网络中的最后一个解码器对应的编码器输出的特征图进行特征融合，得到所述最后一个解码器对应的融合特征图；基于所述最后一个解码器对应的融合特征图，生成车道线检测结果。

在一些实施例中，车道线检测装置还包括：

网络训练单元，被配置为在获取前视图图像和俯视图图像之前，将车道线检测网络的训练样本输入到车道线检测网络，所述训练样本包括：用于训练的前视图图像和用于训练的俯视图图像；利用加权的交叉熵损失函数计算出损失函数值，损失函数值指示车道线检测网络的预测结果与训练样本的标注信息的差异；基于计算出的损失函数值，更新车道线检测网络的网络参数。

在一些实施例中，获取单元301进一步被配置为：获取前视图图像；对所述前视图图像进行逆透视变换，得到所述俯视图图像。

图4是本实施例提供的一种电子设备的结构框图。电子设备400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

电子设备400还可以包括一个电源组件426被配置为执行电子设备400的电源管理，一个有线或无线网络接口450被配置为将电子设备400连接到网络，和一个输入输出(I/O)接口458。电子设备400可以操作基于存储在存储器432的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种车道线检测方法，其特征在于，所述方法包括：

获取前视图图像和俯视图图像；

将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，所述车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，其中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像；

其中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；所有编码器包括：第一编码网络中的每一个编码器、第二编码网络中的每一个编码器，用于与编码器输出的特征图进行特征融合的特征图基于对编码器的关联编码器输出的特征图进行透视变换或逆透视变换而得到，编码器与编码器的关联编码器属于不同的编码网络；

解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

2.根据权利要求1所述的方法，其特征在于，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入包括：

将编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图输入到压缩卷积层，得到压缩卷积层输出的特征图，其中，压缩卷积层的输出通道的数量小于编码器输出的特征图的数量与用于与编码器输出的特征图进行特征融合的特征图的数量之和；将压缩卷积层输出的特征图作为编码器的下一个编码器的输入。

3.根据权利要求2所述的方法，其特征在于，所述基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入包括：

对第二编码网络输出的特征图进行透视变换，得到用于与第一编码网络输出的特征图进行特征融合的特征图；

将第一编码网络输出的特征图与所述用于与第一编码网络输出的特征图进行特征融合的特征图进行特征融合，得到融合特征图；

将所述融合特征图作为解码网络的输入。

4.根据权利要求3所述的方法，其特征在于，所述基于解码网络的输入，生成车道线检测结果包括：

对于解码网络中的除了最后一个解码器之外的每一个解码器，将解码器输出的特征图和解码器对应的编码器输出的特征图进行特征融合，得到解码器对应的融合特征图，将解码器对应的融合特征图作为解码器的下一个解码器的输入，其中，每一个解码器分别对应第一编码网络中的一个编码器；

将解码网络中的最后一个解码器输出的特征图与解码网络中的最后一个解码器对应的编码器输出的特征图进行特征融合，得到所述最后一个解码器对应的融合特征图；

基于所述最后一个解码器对应的融合特征图，生成车道线检测结果。

5.根据权利要求1-4之一所述的方法，其特征在于，在获取前视图图像和俯视图图像之前，所述方法还包括：

将车道线检测网络的训练样本输入到车道线检测网络，所述训练样本包括：用于训练的前视图图像和用于训练的俯视图图像；

利用加权的交叉熵损失函数计算出损失函数值，所述损失函数值指示车道线检测网络的预测结果与训练样本的标注信息的差异；

基于计算出的损失函数值，更新车道线检测网络的网络参数。

6.根据权利要求5所述的方法，其特征在于，获取前视图图像和俯视图图像包括：

获取前视图图像；

对所述前视图图像进行逆透视变换，得到所述俯视图图像。

7.一种车道线检测装置，其特征在于，所述装置包括：

获取单元，被配置为获取前视图图像和俯视图图像；

检测单元，被配置为将前视图图像和俯视图图像输入到车道线检测网络，得到车道线检测网络输出的车道线检测结果，所述车道线检测网络包括：第一编码网络、第二编码网络、特征图转换单元、解码网络，其中，第一编码网络的输入为前视图图像，第二编码网络的输入为俯视图图像；

其中，特征图转换单元被配置为：对于所有编码器中的除了第一编码网络中的最后一个编码器和第二编码网络中的最后一个编码器之外的每一个编码器，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入，以及基于第一编码网络输出的特征图和第二编码网络输出的特征图，生成解码网络的输入；

所有编码器包括：第一编码网络中的每一个编码器、第二编码网络中的每一个编码器，编码器与编码器的关联编码器属于不同的编码网络，用于与编码器输出的特征图进行特征融合的特征图基于对编码器的关联编码器输出的特征图进行透视变换或逆透视变换而得到；

解码网络被配置为：基于解码网络的输入，生成车道线检测结果。

8.根据权利要求7所述的装置，其特征在于，基于编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图，生成编码器的下一个编码器的输入包括：

将编码器输出的特征图和用于与编码器输出的特征图进行特征融合的特征图输入到压缩卷积层，得到压缩卷积层输出的特征图，其中，压缩卷积层的输出通道的数量小于编码器输出的特征图的数量与用于与编码器输出的特征图进行特征融合的特征图的数量之和；将压缩卷积层输出的特征图作为编码器的下一个编码器的输入。

9.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的方法。

Images