CN111222522A - 神经网络训练、路面检测、智能驾驶控制方法和装置 - Google Patents

Abstract

本发明实施例提供一种神经网络训练、路面检测、智能驾驶控制方法和装置，神经网络训练方法包括：将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失；根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；根据共享损失调整神经网络的网络参数。通过在多任务神经网络的训练中，根据多任务的检测损失确定共享损失，并回传神经网络进行神经网络参数的调整，提高了神经网络对多任务的训练效果。

Description

神经网络训练、路面检测、智能驾驶控制方法和装置

技术领域

本发明计算机视觉技术，尤其涉及一种神经网络训练、路面检测、智能驾驶控制方法和装置。

背景技术

可行驶区域检测技术、车道线检测技术以及车道线类型检测技术是辅助驾驶系统和自动驾驶系统的关键技术，基于视觉的可行驶区域检测系统由于信息丰富，成本低廉等优势成为科研人员的研究重点。

目前的可行驶区域检测技术、车道线检测技术以及车道线类型检测技术主要是基于模式识别和相机几何，即对图像中的主要特征，包括颜色、纹理、形状模型、消失点等，进行识别，从而检测出可行驶区域、车道线以及车道线类型。

发明内容

本发明实施例提供一种神经网络训练、路面检测、智能驾驶控制方法和装置。

第一方面，本发明实施例提供一种神经网络训练方法，包括：

将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

根据所述共享损失调整所述神经网络的网络参数。

在第一方面的一种可行的实施方式中，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：

根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第一方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第一方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数之后，神经网络训练方法还包括：

确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第一方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

所述将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果，包括：

将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第一方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数，包括：

根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第一方面的一种可行的实施方式中，神经网络训练方法还包括：

根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第一方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第一方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第一方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第一方面的一种可行的实施方式中，所述训练图像集包括：在至少二个不同场景下采集的图像。

第二方面，本发明实施例提供一种路面检测方法，包括：

经车辆上设置的摄像头采集所述车辆所在路面的道路图；

将所述道路图输入神经网络，所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

经所述神经网络的共享网络层提取所述道路图的特征图；

经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。

在第二方面的一种可行的实施方式中，所述神经网络为由训练图像集预先训练而得，所述训练图像集包括多个训练图像以及各所述训练图像与所述至少二个检测任务分支相应的标注信息。

在第二方面的一种可行的实施方式中，所述神经网络的训练方法，包括：

将所述训练图像集包括的第一训练图像子集输入所述神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

根据所述共享损失调整所述神经网络的网络参数。

在第二方面的一种可行的实施方式中，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：

根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第二方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第二方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数之后，路面检测方法还包括：

确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第二方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

所述将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果，包括：

将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第二方面的一种可行的实施方式中，所述根据所述共享损失调整所述神经网络的网络参数，包括：

根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第二方面的一种可行的实施方式中，路面检测方法还包括：

根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第二方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第二方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第二方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第二方面的一种可行的实施方式中，所述训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。

第三方面，本发明实施例还提供一种智能驾驶控制方法，包括：

获取经车辆上设置的摄像头采集所述车辆所在路面的道路图的检测结果，所述道路图的检测结果采用如上述第二方面以及第二方面中任一可行的实施方式中的路面检测方法得到；

根据所述道路图的检测结果输出提示信息和/或对车辆进行智能驾驶控制。

第四方面，本发明实施例提供一种神经网络训练装置，用于执行上述第一方面以及第一方面中任一可行的实施方式中的神经网络训练方法。

在第四方面的一种可行的实施方式中，神经网络训练装置包括：

任务预设结果获取模块，用于将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

损失获取模块，用于分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

共享损失获取模块，用于根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

调整模块，用于根据所述共享损失调整所述神经网络的网络参数。

在第四方面的一种可行的实施方式中，所述共享损失获取模块包括：

权重获取单元，用于根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

共享损失获取单元，用于根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第四方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第四方面的一种可行的实施方式中，所述神经网络训练装置还包括：

训练图像子集获取模块，用于确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

任务预设结果获取模块，还用于将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第四方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

所述任务预测结果获取模块，具体用于将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第四方面的一种可行的实施方式中，所述调整模块具体用于，根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第四方面的一种可行的实施方式中，所述调整模块还用于，根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第四方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第四方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第四方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第四方面的一种可行的实施方式中，所述训练图像集包括：在至少二个不同场景下采集的图像。

第五方面，本发明实施例提供一种路面检测装置，用于执行上述第二方面以及第二方面中任一可行的实施方式中的路面检测方法。

在第五方面的一种可行的实施方式中，路面检测装置包括：

道路图获取模块，用于经车辆上设置的摄像头采集所述车辆所在路面的道路图；

特征图获取模块，用于将所述道路图输入神经网络，经所述神经网络的共享网络层提取所述道路图的特征图；所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

检测结果获取模块，用于经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。

在第五方面的一种可行的实施方式中，所述神经网络为由训练图像集预先训练而得，所述训练图像集包括多个训练图像以及各所述训练图像与所述至少二个检测任务分支相应的标注信息。

在第五方面的一种可行的实施方式中，所述路面检测装置还包括：神经网络训练模块；所述神经网络训练模块包括：

任务预设结果获取单元，用于将所述训练图像集包括的第一训练图像子集输入所述神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

损失获取单元，用于分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

共享损失获取单元，用于根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

调整单元，用于根据所述共享损失调整所述神经网络的网络参数。

在第五方面的一种可行的实施方式中，共享损失获取单元包括：

权重获取子单元，根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

共享损失获取子单元，根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第五方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第五方面的一种可行的实施方式中，所述神经网络训练模块还包括：

训练图像子集获取单元，用于确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

任务预设结果获取单元还用于，将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第五方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

所述任务预测结果获取单元，具体用于将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第五方面的一种可行的实施方式中，所述调整单元具体用于，根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第五方面的一种可行的实施方式中，所述调整单元还用于，根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第五方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第五方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第五方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第五方面的一种可行的实施方式中，所述训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。

第六方面，本发明实施例提供一种神经网络训练设备，用于执行上述第一方面以及第一方面中任一可行的实施方式中的神经网络训练方法。

在第六方面的一种可行的实施方式中，神经网络训练设备包括：

处理器，用于将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

根据所述共享损失调整所述神经网络的网络参数。

在第六方面的一种可行的实施方式中，处理器具体用于，根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第六方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第六方面的一种可行的实施方式中，处理器还用于，确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第六方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

处理器具体用于，将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第六方面的一种可行的实施方式中，处理器具体用于，根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第六方面的一种可行的实施方式中，处理器还用于，根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第六方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第六方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第六方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第六方面的一种可行的实施方式中，所述训练图像集包括：在至少二个不同场景下采集的图像。

第七方面，本发明实施例提供一种路面检测设备，用于执行上述第二方面以及第二方面中任一可行的实施方式中的路面检测方法。

在第七方面的一种可行的实施方式中，路面检测设备包括：

处理器，用于经车辆上设置的摄像头采集所述车辆所在路面的道路图；

将所述道路图输入神经网络，所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

经所述神经网络的共享网络层提取所述道路图的特征图；

经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。

在第七方面的一种可行的实施方式中，所述神经网络为由训练图像集预先训练而得，所述训练图像集包括多个训练图像以及各所述训练图像与所述至少二个检测任务分支相应的标注信息。

在第七方面的一种可行的实施方式中，处理器还用于，将所述训练图像集包括的第一训练图像子集输入所述神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

根据所述共享损失调整所述神经网络的网络参数。

在第七方面的一种可行的实施方式中，处理器具体用于，根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

在第七方面的一种可行的实施方式中，在所述确定的损失越大时，所述确定的损失的权重越大；在所述确定的损失越小时，所述确定的损失的权重越小。

在第七方面的一种可行的实施方式中，处理器还用于，确定所述训练图像集包括的第二训练图像子集，其中，所述第二训练图像子集包括的训练图像和所述第一训练图像子集包括的训练图像至少部分不同；

将所述第二训练图像子集作为第一训练子集输入所述神经网络，以调整所述神经网络的网络参数。

在第七方面的一种可行的实施方式中，所述神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支；

处理器具体用于，将所述第一训练图像子集输入所述神经网络，以经所述神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

在第七方面的一种可行的实施方式中，处理器具体用于，根据所述共享损失调整所述神经网络的共享网络层的网络参数。

在第七方面的一种可行的实施方式中，处理器还用于，根据确定的各损失分别调整所述神经网络相应任务检测分支的网络参数。

在第七方面的一种可行的实施方式中，所述共享网络层包括：至少一个卷积层和至少一个残差网络单元。

在第七方面的一种可行的实施方式中，所述共享网络层中至少一个卷积层包括连接的N个卷积层，所述至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

在第七方面的一种可行的实施方式中，所述至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

在第七方面的一种可行的实施方式中，所述训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。

第八方面，本发明实施例提供一种智能驾驶控制系统，包括如上述第五方面以及第五方面中任一可行的实施方式中的路面检测装置和智能驾驶控制装置；

所述智能驾驶控制装置，用于根据所述路面检测装置获取的道路图的检测结果，输出提示信息和/或对车辆进行智能驾驶控制。

第九方面，本发明实施例提供一种路面检测系统，应用于车辆，包括安装在所述车辆上的摄像头以及与所述摄像头通信连接的如上述第五方面以及第五方面中任一可行的实施方式中的路面检测装置。

第十方面，本发明实施例提供一电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行上述第一、二、三方面以及第一、二、三方面中任一可行的实施方式中的方法。

第十一方面，本发明实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一、二、三方面以及第一、二、三方面中任一可行的实施方式中的方法。

本发明实施例提供一种神经网络训练、路面检测、智能驾驶控制方法和装置。神经网络训练方法包括：将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；根据共享损失调整神经网络的网络参数。本实施例提供的神经网络训练、路面检测、智能驾驶控制方法和装置，在多任务神经网络的训练中，根据多任务的检测损失确定共享损失，并回传神经网络进行神经网络参数的调整，提高了神经网络对多任务的训练效果。

本发明的在上述各方面提供的实现的基础上，还可以进行进一步组合以提供更多实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的神经网络训练方法的流程示意图；

图2为本发明实施例适用的一种可能场景示意图；

图3为本发明实施例一提供的路面检测方法的流程示意图；

图4为本发明实施例二提供的神经网络训练方法的流程示意图；

图5为本发明实施例一提供的智能驾驶控制方法的流程示意图；

图6为本发明实施例一提供的神经网络训练装置的结构示意图；

图7为本发明实施例二提供的神经网络训练装置的结构示意图；

图8为本发明实施例一提供的路面检测装置的结构示意图；

图9为本发明实施例二提供的路面检测装置的结构示意图；

图10为本发明实施例提供的神经网络训练设备的结构示意图；

图11为本发明实施例提供的路面检测设备的结构示意图；

图12为本发明实施例提供的智能驾驶控制系统的结构示意图；

图13为本发明实施例提供的路面检测系统的架构示意图；

图14为本发明实施例提供的电子设备的实体框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合具体实施例对本发明提供的技术方案进行示例性说明。下面这几个具体的实施例中，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例一提供的神经网络训练方法的流程示意图。本实施例提供的神经网络训练方法的执行主体可以为神经网络训练装置。如图1所示，神经网络训练方法包括：

S101、将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果。

示例性的，本发明实施例中的神经网络可以为未经过训练的神经网络。神经网络的类型不受限制，示例性的，可以但不限于是FCN(Fully Convolutional Networks，全卷积网络)、Res Net(Residual Network，残差网络)或卷积神经网络等。在对神经网络进行训练时，将训练图像输入至神经网络。示例性的，输入至神经网络的训练图像可以为一张图像或者多张图像。本实施例中在训练图像中选择第一训练图像子集，并将第一训练图像子集输入神经网络。

示例性的，本发明实施例中的神经网络用于对每一张训练图像执行至少二个检测任务，得到每一张训练图像相对至少二个检测任务的任务预测结果。可以理解的是，当神经网络包括4个检测任务时，输入神经网络的每一张训练图像将会得到相对4检测任务的任务预测结果。

S102、分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失。

其中，任务检测真值(Groundtruth)根据训练图像与检测任务相应的标注信息确定。

示例性的，任务检测真值结果的取值通常为0或者1，用于指示结果是否为真。例如，当任务检测为可行驶区域(FreeSpace)检测，则0表示不属于可行驶区域，1表示属于可行驶区域。

示例性的，采用损失函数，计算任务预测结果与任务检测真值之间的损失。

示例性的，当神经网络对于任一训练图像存在两个检测任务，则可得到该训练图像相对两个检测任务的损失，可分别记为L1和L2。

示例性的，损失越小则表示该损失对应的检测任务训练的越好。

S103、根据确定的各损失确定神经网络相对至少二个检测任务的共享损失。

示例性的，在多任务神经网络的训练中，需综合考虑每个任务的训练效果。本实施例中根据多任务的检测损失确定共享损失，以方便将共享损失回传神经网络进行神经网络参数的调整。

示例性的，一种可能的确定共享损失的方法包括：

S11、根据确定的各损失调整至少二个检测任务对应的损失的权重。

示例性的，可根据神经网络中各卷积层的参数，获取至少两种检测任务对应的损失的权重。例如，对于损失L1，确定损失L1对应的权重W1；对于损失L2，确定损失L2对应的权重W2。示例性的，神经网络在进行网络参数调整时，更着重优化权重越大的检测任务。

可选的，损失权重的调整可根据任务优选的需求实际确定。

可选的，在损失越大时，损失的权重越大；在损失越小时，损失的权重越小。

例如，对于当前损失较小的检测任务，说明当前检测任务的训练效果的比较好，可以降低该检测任务的权重，使得损失梯度回传的时候能指导神经网络更关注当前学习比较不好的其他检测任务；反之亦然。

示例性的，当神经网络包括至少二个检测任务时，可比较训练图像对应两个检测任务的损失，损失较大的检测任务对应较大的权重。可选的，可具体根据多个损失之间的相对差值或绝对差值确定各损失对应的权重。示例性的，权重的取值可以为[0，1]范围内的小数。

S12、根据确定的各损失和各损失分别对应的权重，确定共享损失。

示例性的，在获取了损失以及损失对应的权重后，可获取整个神经网络的共享损失。例如，根据损失L1、L1对应的权重W1、损失L2以及损失L2对应的权重W2，可确定神经网络的共享损失＝L1xW1+L2xW2。

示例性的，可根据一次批次输入多张训练图像对应多个检测任务的损失，来确定共享损失中各损失权重，从而提高神经网络中的每个任务的训练效果。

S104、根据共享损失调整神经网络的网络参数。

可选的，网络参数可以为卷积核大小、权重矩阵参数等。

示例性的，根据获取到的神经网络的共享损失对神经网络进行调整，神经网络的调整用于避免神经网络对于执行不同检测任务的优化程度不同。示例性的，在对神经网络进行调整时，可利用反向传播算法对神经网络中的参数进行更新。可选的，可根据神经网络的共享损失对神经网络的参数求导，利用随机梯度下降法更新神经网络的参数。

本发明实施例提供的神经网络训练方法包括：将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；根据共享损失调整神经网络的网络参数。本实施例提供的神经网络训练方法，在多任务神经网络的训练中，根据多任务的检测损失确定共享损失，并回传神经网络进行神经网络参数的调整，提高了神经网络对多任务的训练效果。

示例性的，本发明实施例提供的神经网络训练方法可以应用在路面检测应用场景中，还可以应用交通标志物检测、人脸检测、属性检测等场景的多任务神经网络训练中。

图2为本发明实施例适用的一种可能场景示意图。如图2所示，本发明实施例提供的神经网络训练方法适用于安装有车载摄像头的驾驶车辆。车载摄像头朝向车辆的行驶方向进行拍摄得到图像，将图像输入至本发明实施例提供的神经网络训练方法所训练出的神经网络，从而可实现可行驶区域、车道线或车道线类型的检测，为辅助驾驶或自动驾驶提供帮助。其中车载摄像头可以为行车记录仪或者专用的车载单目或多目摄像头。示例性的，神经网络训练装置可以为车辆上的高级驾驶辅助系统(Advanced Driver AssistantSystem，ADAS)和/或自动驾驶系统。

本发明实施例另一方面还提供一种路面检测方法。图3为本发明实施例一提供的路面检测方法的流程示意图，如图3所示，路面检测方法包括：

S301、经车辆上设置的摄像头采集车辆所在路面的道路图。

示例性的，摄像头可设置在车辆的迎风面上，用于采集车辆行驶方向上的路面。可选的，车辆上可设置有一个或多个摄像头。当车辆上设置有至少两个摄像头时，可将其中一个摄像头设置在车辆后侧，用于采集车辆倒车时的路面。

S302、将道路图输入神经网络。

其中，神经网络包括共享网络层和至少二个检测任务分支，至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测。

示例性的，神经网络为由训练图像集预先训练而得，训练图像集包括多个训练图像以及各训练图像与至少二个检测任务分支相应的标注信息。

可选的，本实施例中的神经网络可以为采用如图1所示实施例中的神经网络训练方法训练过的神经网络。

示例性的，训练图像集包括：在至少二个不同场景下采集的图像。可选的，场景包括：室内、室外、白天、黑夜、强光、遮挡等。

示例性的，训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。可选的，训练图像集可以包括多场景下针对相同路面或不同路面采集得到的图像。

示例性的，通过采用上述在多场景下采集得到的训练图像集对神经网络进行训练，能够满足多场景或复杂场景的路面检测的要求，检测结果鲁棒性较好。

示例性的，神经网络的共享网络层用于提取道路图的特征图。检测任务分支用于对特征图进行任务检测，得到检测结果。

S303、经神经网络的共享网络层提取道路图的特征图。

具体的，神经网络的共享网络层用于对输入神经网络的道路图进行卷积，提取路面图像的特征图。特征图中包含道路图的特征信息。示例性的，特征可以为图像中的边缘、曲线等特征，还可以为图像中的图形、文字等特征。

可选的，共享网络层包括：至少一个卷积层和至少一个残差网络单元。

示例性的，残差网络单元能够将神经网络不同深度的特征信息进行结合考虑并作为更深网络层的输入，使得神经网络可以学习到更多的有利于进行可行驶区域图像分割的特征。本实施例中的神经网络结构精简，性能较好。

可选的，共享网络层中至少一个卷积层包括连接的N个卷积层，至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

本实施例中的神经网络结构小，具有较好的实时性和准确性，满足可行驶区域检测的车载应用的检测需求，在进行路面检测中能够满足多场景或复杂场景路面检测的要求，检测结果鲁棒性好。

可选的，至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

S304、经至少二个检测任务分支，基于特征图，分别执行至少二个检测任务，得到至少二个检测任务的检测结果。

本发明实施例提供的路面检测方法包括：经车辆上设置的摄像头采集车辆所在路面的道路图，将道路图输入神经网络，经神经网络的共享网络层提取道路图的特征图，经至少二个检测任务分支，基于特征图，分别执行至少二个检测任务，得到至少二个检测任务的检测结果。通过采用包含多检测任务分支的神经网络进行道路图的路面检测，可同时获取多个路面检测结果，提高路面检测效率。

示例性的，对于上述任一实施例中的神经网络，本发明实施例还提供一种神经网络训练方法。本实施例中在执行完图1所示实施例中的神经网络训练方法之后，采用新的训练图像子集对神经网络进行训练。图4为本发明实施例二提供的神经网络训练方法的流程示意图，如图4所示，神经网络训练方法包括：

S401、将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果。

S402、分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失。

S403、根据确定的各损失确定神经网络相对至少二个检测任务的共享损失。

S404、根据共享损失调整神经网络的网络参数。

示例性的，本实施例中的S401至S404与图1所示实施例的S101至S104相同或相似，本发明对此不再赘述。

S405、确定训练图像集包括的第二训练图像子集，将第二训练图像子集作为第一训练子集输入神经网络；执行S401。

其中，第二训练图像子集包括的训练图像和第一训练图像子集包括的训练图像至少部分不同。

示例性的，第二训练图像子集包括的训练图像的数目和第一训练图像子集包括的训练图像的数目可以相同，也可以不同。

示例性的，在对神经网络进行训练时，可将训练图像集的训练图像分不同批次(Batch)对神经网络进行训练。训练图像的损失权重是根据各自批次损失的检测结果动态调整的，以在支持多任务检测的神经网络中平衡各任务检测性能的训练要求。

本实施例中的采用第二训练图像子集对神经网络进行训练相对于图1所示实施例中的采用第一训练图像子集神经网路训练是另一次迭代训练。

示例性的，在采用第二训练图像子集对神经网络进行训练后，还可再在训练图像集中确定第三训练图像子集、第四训练图像子集对神经网络进行训练。可以理解的是，神经网络的训练过程的次数根据实际情况确定，有时可达到几万次、几十万次。

本发明实施例提供的神经网络训练方法，在采用第一训练图像子集对神经网络进行训练之后，还确定训练图像集包括的第二训练图像子集，将第二训练图像子集作为第一训练子集输入神经网络，以调整神经网络的网络参数。通过对神经网络进行多次训练，使得训练图像的损失权重根据各自批次损失的检测结果动态调整，实现在支持多任务检测的神经网络中平衡各任务检测性能的训练要求。

示例性的，在上述任一实施例的基础上，一种可能的神经网络结构为：神经网络包括：共享网络层以及分别与所述共享网络层连接的至少二个任务检测分支。

示例性的，在这种神经网络结构下，上述任一实施例中的将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果具体可以为：

将第一训练图像子集输入神经网络，以经神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

示例性的，在这种神经网络结构下，上述任一实施例中的根据共享损失调整神经网络的网络参数，包括：

根据共享损失调整神经网络的共享网络层的网络参数。

示例性的，通过在将共享损失回传至共享网络层之前，根据动态调整的各损失的权重获取了新的共享损失，因此可以更好的指导神经网络平衡学习各任务检测所需的能力。

示例性的，在这种神经网络结构下，在根据共享损失调整神经网络的网络参数之外，神经网络训练方法还包括：

根据确定的各损失分别调整神经网络相应任务检测分支的网络参数。

示例性的，通过将各检测任务的损失单独回传到各自任务检测分支，可提高各自任务检测分支的检测性能。

示例性的，本发明实施例另一方面还提供一种智能驾驶控制方法，该方法。图5为本发明实施例一提供的智能驾驶控制方法的流程示意图。如图5所示，智能驾驶控制方法包括：

S501、获取经车辆上设置的摄像头采集车辆所在路面的道路图的检测结果。

其中，道路图的检测结果采用如上述任一实施例中的路面检测方法得到。

S502、根据道路图的检测结果输出提示信息和/或对车辆进行智能驾驶控制。

示例性的，本发明实施例提供的智能驾驶控制方法中，获取道路图的检测结果的路面检测方法与上述任一实施例相同，并能达到相同的技术效果，在此不再一一赘述。

示例性的，智能驾驶控制包括辅助驾驶和自动驾驶以及从辅助驾驶到自动驾驶的切换等多种情形。示例性的，智能驾驶控制可以但不限于包括：报警提示、制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、驾驶模式切换等，其中，驾驶模式切换可以是辅助驾驶与自动驾驶之间的切换，例如，将辅助驾驶切换为自动驾驶。

本发明实施例另一方面还提供一种神经网络训练装置，用以执行上述实施例中的神经网络训练方法，具有相同或相似的技术特征。

图6为本发明实施例一提供的神经网络训练装置的结构示意图。如图6所示，神经网络训练装置包括：

任务预设结果获取模块601，用于将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

损失获取模块602，用于分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；

共享损失获取模块603，用于根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；

调整模块604，用于根据共享损失调整神经网络的网络参数。

示例性的，在图6所示实施例的基础上，图7为本发明实施例二提供的神经网络训练装置的结构示意图。如图7所示，共享损失获取模块603包括：

权重获取单元701，用于根据确定的各损失调整至少二个检测任务对应的损失的权重；

共享损失获取单元702，用于根据确定的各损失和各损失分别对应的权重，确定共享损失。

可选的，确定的损失与确定的损失的权重成反比。

可选的，如图6所示，神经网络训练装置还包括：训练图像子集获取模块605，用于确定训练图像集包括的第二训练图像子集，其中，第二训练图像子集包括的训练图像和第一训练图像子集包括的训练图像至少部分不同；

任务预设结果获取模块601，还用于将第二训练图像子集作为第一训练子集输入神经网络，以调整神经网络的网络参数。

可选的，神经网络包括：共享网络层以及分别与共享网络层连接的至少二个任务检测分支；

任务预测结果获取模块601，具体用于将第一训练图像子集输入神经网络，以经神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

可选的，调整模块604具体用于，根据共享损失调整神经网络的共享网络层的网络参数。

可选的，调整模块604还用于，根据确定的各损失分别调整神经网络相应任务检测分支的网络参数。

可选的，共享网络层包括：至少一个卷积层和至少一个残差网络单元。

可选的，共享网络层中至少一个卷积层包括连接的N个卷积层，至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

可选的，至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

可选的，训练图像集包括：在至少二个不同场景下采集的图像。

本发明实施例另一方面还提供一种路面检测装置，用以执行上述实施例中的路面检测方法，具有相同或相似的技术特征。

图8为本发明实施例一提供的路面检测装置的结构示意图。如图8所示，路面检测装置包括：

道路图获取模块801，用于经车辆上设置的摄像头采集车辆所在路面的道路图；

特征图获取模块802，用于将道路图输入神经网络，经神经网络的共享网络层提取道路图的特征图；神经网络包括共享网络层和至少二个检测任务分支，至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

检测结果获取模块803，用于经至少二个检测任务分支，基于特征图，分别执行至少二个检测任务，得到至少二个检测任务的检测结果。

可选的，神经网络为由训练图像集预先训练而得，训练图像集包括多个训练图像以及各训练图像与至少二个检测任务分支相应的标注信息。

可选的，如图8所示，路面检测装置还包括：神经网络训练模块804；神经网络训练模块804包括：

任务预设结果获取单元8041，用于将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

损失获取单元8042，用于分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；

共享损失获取单元8043，用于根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；

调整单元8044，用于根据共享损失调整神经网络的网络参数。

示例性的，在图8所示实施例的基础上，图9为本发明实施例二提供的路面检测装置的结构示意图。如图9所示，共享损失获取单元8043包括：

权重获取子单元901，根据确定的各损失调整至少二个检测任务对应的损失的权重；

共享损失获取子单元902，根据确定的各损失和各损失分别对应的权重，确定共享损失。

可选的，确定的损失与确定的损失的权重成反比。

可选的，如图8所示，神经网络训练模块804还包括：

训练图像子集获取单元8045，用于确定训练图像集包括的第二训练图像子集，其中，第二训练图像子集包括的训练图像和第一训练图像子集包括的训练图像至少部分不同；

任务预设结果获取单元8041还用于，将第二训练图像子集作为第一训练子集输入神经网络，以调整神经网络的网络参数。

可选的，神经网络包括：共享网络层以及分别与共享网络层连接的至少二个任务检测分支；

任务预测结果获取单元8041，具体用于将第一训练图像子集输入神经网络，以经神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

可选的，调整单元8044具体用于，根据共享损失调整神经网络的共享网络层的网络参数。

在第五方面的一种可行的实施方式中，调整单元8044还用于，根据确定的各损失分别调整神经网络相应任务检测分支的网络参数。

可选的，共享网络层包括：至少一个卷积层和至少一个残差网络单元。

可选的，共享网络层中至少一个卷积层包括连接的N个卷积层，至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

可选的，至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

可选的，训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。

本发明实施例还提供一种神经网络训练设备，用以执行上述实施例中的神经网络训练方法，具有相同或相似的技术特征。

图10为本发明实施例提供的神经网络训练设备的结构示意图。如图10所示，神经网络训练设备包括：收发器1001、存储器1002、处理器1003和至少一个通信总线1004。通信总线1004用于实现元件之间的通信连接。存储器1002可能包含高速随机存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器，存储器1002中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。处理器1003用于执行存储器1002中存储的程序。本实施例中，收发器1001可以用于接收车载摄像头采集到的图像，收发器1001耦合至处理器1003。

其中，处理器1003，用于将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；

根据共享损失调整神经网络的网络参数。

可选的，处理器1003具体用于，根据确定的各损失调整至少二个检测任务对应的损失的权重；

根据确定的各损失和各损失分别对应的权重，确定共享损失。

可选的，确定的损失与确定的损失的权重成反比。

可选的，处理器1003还用于，确定训练图像集包括的第二训练图像子集，其中，第二训练图像子集包括的训练图像和第一训练图像子集包括的训练图像至少部分不同；

将第二训练图像子集作为第一训练子集输入神经网络，以调整神经网络的网络参数。

可选的，神经网络包括：共享网络层以及分别与共享网络层连接的至少二个任务检测分支；

处理器1003具体用于，将第一训练图像子集输入神经网络，以经神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

可选的，处理器1003具体用于，根据共享损失调整神经网络的共享网络层的网络参数。

可选的，处理器1003还用于，根据确定的各损失分别调整神经网络相应任务检测分支的网络参数。

可选的，共享网络层包括：至少一个卷积层和至少一个残差网络单元。

可选的，共享网络层中至少一个卷积层包括连接的N个卷积层，至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

可选的，至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

可选的，训练图像集包括：在至少二个不同场景下采集的图像。

本发明实施例还提供一种路面检测设备，用以执行上述实施例中的路面检测方法，具有相同或相似的技术特征。

图11为本发明实施例提供的路面检测设备的结构示意图。如图11所示，路面检测设备包括：收发器1101、存储器1102、处理器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。存储器1102可能包含高速随机存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器，存储器1102中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。处理器1103用于执行存储器1102中存储的程序。本实施例中，收发器1101可以用于接收车载摄像头采集到的图像，收发器1101耦合至处理器1103。

其中，处理器1103，用于经车辆上设置的摄像头采集车辆所在路面的道路图；

将道路图输入神经网络，神经网络包括共享网络层和至少二个检测任务分支，至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

经神经网络的共享网络层提取道路图的特征图；

经至少二个检测任务分支，基于特征图，分别执行至少二个检测任务，得到至少二个检测任务的检测结果。

可选的，神经网络为由训练图像集预先训练而得，训练图像集包括多个训练图像以及各训练图像与至少二个检测任务分支相应的标注信息。

可选的，处理器1103还用于，将训练图像集包括的第一训练图像子集输入神经网络，以经神经网络输出第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定各训练图像的任务预测结果与各训练图像相对至少二个检测任务的任务检测真值之间的损失，其中，任务检测真值根据训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定神经网络相对至少二个检测任务的共享损失；

根据共享损失调整神经网络的网络参数。

可选的，处理器1103具体用于，根据确定的各损失调整至少二个检测任务对应的损失的权重；

根据确定的各损失和各损失分别对应的权重，确定共享损失。

可选的，确定的损失与确定的损失的权重成反比。

可选的，处理器1103还用于，确定训练图像集包括的第二训练图像子集，其中，第二训练图像子集包括的训练图像和第一训练图像子集包括的训练图像至少部分不同；

将第二训练图像子集作为第一训练子集输入神经网络，以调整神经网络的网络参数。

可选的，神经网络包括：共享网络层以及分别与共享网络层连接的至少二个任务检测分支；

处理器1103具体用于，将第一训练图像子集输入神经网络，以经神经网络的共享网络层以及至少二个任务检测分支中的相应任务检测分支输出相应检测任务的任务预测结果。

可选的，处理器1103具体用于，根据共享损失调整神经网络的共享网络层的网络参数。

可选的，处理器1103还用于，根据确定的各损失分别调整神经网络相应任务检测分支的网络参数。

可选的，共享网络层包括：至少一个卷积层和至少一个残差网络单元。

可选的，共享网络层中至少一个卷积层包括连接的N个卷积层，至少一个残差网络单元包括连接的M个残差网络单元，N为取值区间位于[6,10]之间的整数，M为取值区间位于[7,12]之间的整数。

可选的，至少二个任务检测分支中任一任务检测分支包括：至少一卷积层和至少一个上采样层。

可选的，训练图像集包括：在白天场景、雨天场景、雾天场景、直道场景、弯道场景、隧道场景、强光照场景以及夜晚场景中的至少两个场景下采集的路面图像。

本发明实施例还提供一种智能驾驶控制系统，图12为本发明实施例提供的智能驾驶控制系统的结构示意图。如图12所示：

智能驾驶控制系统包括：如图8或图9所示实施例的路面检测装置1201和智能驾驶控制装置1202；

智能驾驶控制装置1202，用于根据路面检测装置获取的道路图的检测结果，输出提示信息和/或对车辆进行智能驾驶控制。

图13为本发明实施例提供的路面检测系统的架构示意图，该系统应用于车辆，如图13所示，路面检测系统包括安装在车辆上的摄像头1301以及与摄像头通信连接的如上述图11所示的实施方式中的路面检测设备1302。

图14为本发明实施例提供的电子设备的实体框图，如图14所示，该电子设备包括：

存储器1401，用于存储程序指令；

处理器1402，用于调用并执行所述存储器中的程序指令，执行上述方法实施例中所述的方法步骤。

本发明实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序用于执行上述方法实施例中所述的方法步骤。

应当理解，本发明实施例所提供的任一神经网络训练装置、电子设备中各部件、模块或单元的工作过程和设置方式，可以参见本公开上述方法实施例的相应记载，限于篇幅，不再赘述。

本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种神经网络训练方法，其特征在于，包括：

将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

根据所述共享损失调整所述神经网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失，包括：

根据确定的各损失调整所述至少二个检测任务对应的损失的权重；

根据确定的各损失和所述各损失分别对应的权重，确定所述共享损失。

3.一种路面检测方法，其特征在于，包括：

经车辆上设置的摄像头采集所述车辆所在路面的道路图；

将所述道路图输入神经网络，所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

经所述神经网络的共享网络层提取所述道路图的特征图；

经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。

4.一种智能驾驶控制方法，其特征在于，包括：

获取经车辆上设置的摄像头采集所述车辆所在路面的道路图的检测结果，所述道路图的检测结果采用如权利要求3所述的路面检测方法得到；

根据所述道路图的检测结果输出提示信息和/或对车辆进行智能驾驶控制。

5.一种神经网络训练装置，其特征在于，包括：

任务预设结果获取模块，用于将训练图像集包括的第一训练图像子集输入神经网络，以经所述神经网络输出所述第一训练图像子集包括的各训练图像相对至少二个检测任务的任务预测结果；

损失获取模块，用于分别确定所述各训练图像的任务预测结果与所述各训练图像相对所述至少二个检测任务的任务检测真值之间的损失，其中，所述任务检测真值根据所述训练图像与检测任务相应的标注信息确定；

共享损失获取模块，用于根据确定的各损失确定所述神经网络相对所述至少二个检测任务的共享损失；

调整模块，用于根据所述共享损失调整所述神经网络的网络参数。

6.一种路面检测装置，其特征在于，包括：

道路图获取模块，用于经车辆上设置的摄像头采集所述车辆所在路面的道路图；

特征图获取模块，用于将所述道路图输入神经网络，经所述神经网络的共享网络层提取所述道路图的特征图；所述神经网络包括共享网络层和至少二个检测任务分支，所述至少二个检测任务分支对应以下检测任务中的至少二个检测任务：车道线检测、车道线属性检测、可行驶区域检测；

检测结果获取模块，用于经所述至少二个检测任务分支，基于所述特征图，分别执行所述至少二个检测任务，得到所述至少二个检测任务的检测结果。

7.一种智能驾驶控制系统，其特征在于，包括：如权利要求6所述的路面检测装置和智能驾驶控制装置；

所述智能驾驶控制装置，用于根据所述路面检测装置获取的道路图的检测结果，输出提示信息和/或对车辆进行智能驾驶控制。

8.一种路面检测系统，应用于车辆，其特征在于，包括安装在所述车辆上的摄像头以及与所述摄像头通信连接的如权利要求6所述的路面检测装置。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-4中任一项所述的方法步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行如权利要求1-4中任一项所述的方法步骤。

Images