CN110348273B - 神经网络模型训练方法、系统及车道线识别方法、系统 - Google Patents

Abstract

本申请公开了神经网络模型训练方法、系统及车道线识别方法、系统。该神经网络模型训练方法，包括：将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。本申请提供的技术方案可以对神经网络模型进行训练，使得其根据训练集学习到车道线的特征而进行提取，可以适用于处理多种形状、路况的车道线；无需滤波，从而使得处理结果能够快速准确地响应；此外，能够实现将虚车道线处理的效果与实车道线处理的效果相同。本申请的技术方案还可以实现根据得到的车道线结构化数据或车道线曲线参数进行自动驾驶。

Description

神经网络模型训练方法、系统及车道线识别方法、系统

技术领域

本申请涉及神经网络领域，尤其涉及神经网络模型训练方法、系统及车道线识别方法、系统。

背景技术

车道线识别对于自动驾驶而言非常重要，因为车道线是自动驾驶的重要参考指标。为了在车辆前进过程中识别车道线，现有技术中一般采用车载摄像头采集包含车道线的图像，然后提取出图像中的边缘信息，并利用车道线的特征，例如平行、直线、交于灭点等特征，提取出车道线的像素点。对车道线像素点进行去抖动和平滑，然后利用卡尔曼滤波器之类的滤波器对处理后的车道线进行滤波，得到车道线。直线的灭点是过摄影中心且平行于该直线的直线与像平面的交点。

车道线是由公路管理部门在道路上施划，一般是由管理部门预先设定，何种类型的车道线应当是何种形状，例如车道线是平行线，分为实线和虚线，还有双实线和双虚线，单实线和单虚线等。由于道路情况复杂多变，在真实路况中所遇到的车道线与理论上设置的车道线不一致的时候，车道线处理程序可能无法应对。

现有技术中使用滤波器对车道线进行滤波处理，会带来处理延时，即无法给出实时的处理结果，在突然变道的时候，车道线识别结果需要一定的延迟时间才能给出，存在安全隐患。

此外，车道线中的虚线在通过现有技术处理之后，会变成一段段很短的像素点，在噪声较大的情况下，车道线可能会被当做噪声被滤除，因此会发生在车辆行驶过程中，无法识别出车道线的情况，也不利于车辆在自动驾驶模式线沿着预定车道前进。

发明内容

有鉴于此，本申请提供神经网络模型训练方法、系统及车道线识别方法、系统，以提供全部逻辑化的车道线，并用来进行自动驾驶。

本申请提供了一种神经网络模型训练方法，用于车道线的识别，包括：

将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；

根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。

本申请提供了一种车道线识别方法，该方法包括：

将基于单目视觉的车道线图像输入神经网络模型；

所述神经网络模型输出车道线像素点；

对所述车道线像素点进行逆透视变换；

对逆透视变换后的车道线像素点进行聚类；

将聚类后的车道线像素点进行采样得到车道线采样点，实现对车道线的识别；

其中，所述神经网络模型为根据权利要求1所述的训练方法训练得到的神经网络模型。

可选地，该方法还包括：

根据基于单目视觉的标定带图像样本计算单应矩阵。

可选地，所述对所述车道像素点进行逆透视变换包括：

根据所述单应矩阵对所述神经网络模型输出的车道线像素点进行逆透视变换。

可选地，该方法还包括：

根据采样后的车道线像素点进行拟合得到拟合车道线的曲线参数。

本申请提供了一种神经网络模型训练系统，用于车道线识别，该系统包括：

存储设备，用于存储程序、车道线图像样本和车道线训练集，所述车道训练集为实线；

处理器，用于执行所述程序处理所述车道线图像样本和所述车道线训练集以训练神经网络模型。

本申请提供了一种存储设备，该存储设备存储有程序、车道线图像样本和车道线训练集，所述车道训练集为实线；

所述程序，用于被处理器执行时处理所述车道线图像样本和所述车道线训练集以训练神经网络模型。

本申请提供了一种车道线识别系统，该系统包括：

存储设备，用于存储程序；

处理器，用于执行所述程序以实现所述的车道线识别方法。

本申请提供了一种存储设备，该存储设备存储有程序；

所述程序，用于被处理器执行时实现所述的车道线识别方法。

本申请提供了一种自动驾驶系统，根据所述的系统输出的车道线采样点或者车道线采样点对应的曲线参数进行自动驾驶。

本申请提供的技术方案可以对神经网络模型进行训练，使得其根据训练集学习到车道线的特征而进行提取，可以适用于处理多种形状、路况的车道线；无需滤波，从而使得处理结果能够快速准确地响应；此外，能够实现将虚车道线处理的效果与实车道线处理的效果相同，避免因为车辆遮挡或者车道线本身的间断带来车道线完整识别的困难。本申请的技术方案还可以实现根据得到的车道线结构化数据或车道线曲线参数进行自动驾驶。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请提供的神经网络模型训练方法示意图；

图2是本申请提供的单目视觉的车道线图像样本示意图；

图3是本申请逻辑化后的车道线示意图；

图4是本申请提供的车道线采样点实现流程示意图；

图5是本申请提供的输入神经网络模型的车道线图像示意图；

图6是本申请提供的神经网络模型输出车道线像素点示意图；

图7是本申请提供的逆透视转换并聚类后的车道线像素点示意图；

图8是本申请提供的采样后的车道线点示意图；

图9是本申请提供的车道线采样点拟合曲线示意图；

图10是本申请提供的单应矩阵标定带示意图；

图11是本申请提供的车道线识别系统示意图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

图1是本发明提供的神经网络模型训练方法，用于车道线的识别，其采用了基于单目视觉的车道线图像样本进行训练，训练之后的神经网络模型可以对一个摄像机采集车道线图片进行识别，并可以将所识别的车道线用于自动驾驶。

如图1所示，本发明提供的神经网络模型训练方法包括：

步骤105，将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；

具体而言，可以将单个摄像头拍摄的车道线图像样本中的虚车道线或者被遮挡的车道线通过计算机自动处理成实车道线，或者通过人工处理，将单个摄像头拍摄的车道线图像样本中的虚车道线或者被遮挡的车道线变成实线。逻辑化，是指将车道线变成实线，例如对于虚车道线，按照车辆行驶的方向，将相邻虚车道线首端和末端依次连接，形成实车道线，或者将被遮挡的实车道线或虚车道线部分，根据车道线走势，补齐相应的实车道线。单个摄像头拍摄的车道线图像样本如图2所示，逻辑化后的车道线如图3所示。需要说明的是，摄像机尽量安装在车辆居中的位置，在采集车道线图像样本时，车身平行车道线，在车道中间线行驶。

步骤110，根据车道线图像样本以及车道线训练集训练神经网络模型。

具体而言，在训练神经网络模型时，可以将摄像机拍摄的车道线图像样本以及逻辑化后的车道线作为样本数据进行训练，从而使得神经网络模型可以输出车道线像素点。在训练神经网络模型时，将原始图像(即如图2车道线图像样本)输入神经网络，神经网络前向传播输出预测的结果，计算预测的结果和标注(即如图3所示的逻辑化车道线)之间的差距(即损失值)，神经网络网络反向传播，优化网络各层参数，缩小差距。不断迭代以上过程，直到差距满足要求，即神经网络输出的车道线与逻辑化车道线之间的差距符合要求。

上述提供的技术方案通过将虚线车道线或会标成实车道线，即使车道线被阻挡也标注成是车道线，通过训练使得神经网络直接输出逻辑车道线，避免了车道线间断造成的误认为噪声而无法识别的结果，并且能够使得虚车道线处理的效果与实车道线处理的效果相同。

本申请中，神经网络可以是卷积神经网络模型、循环神经网络模型、或者深度神经网络模型。卷积神经网络模型可以包括多层卷积层、激活层、池化层、反卷积层，通过最终训练，可以实现像素级分割逻辑车道线的神经网络模型。卷积层用于图像特征提取获得特征图，激活层用于对池化层的输出进行非线性处理，池化层用于对非线性化后的特征图进行压缩并提取主要特征，反卷积层用于重建图像，输出处理结果。

对神经网络模型进行训练可以在实验室内进行，训练完成以后可以将训练好的神经网络模型安装到车辆上，通过对车辆上安装的单目摄像机采集的车道线图片进行实时处理，得到车道线像素点。进一步地，通过对车道线像素点进行聚类、采样，可以得到车道线采样点阵列，该阵列可以用于自动驾驶。此外，可以先进行逆透视变换，然后再进行聚类。图4示出了本申请提供的车道线采样点阵实现流程示意图。

如图4所示，该车道线采样点实现流程包括：

步骤405，单个摄像机实时拍摄车道线图像；摄像机可以安装于车辆中间位置，更有利于神经网络模型正确处理车道线图像；

步骤410，将车道线图像(如图5所示)输入神经网络模型，神经网络模型输出车道线像素点，如图6所示；神经网络模型之前已经训练完成，这里输出的车道线像素点能构成逻辑车道线，车道线为实线；

步骤415，对车道线像素点进行逆透视变换，将车道线像素点从平视视角转换为俯视视角；逆透视变换需要用到单应矩阵，该单应矩阵可以标定带的图像样本进行计算。

针对单应矩阵，本申请通过在相机前方铺设标定带来进行计算，如图10所示。标定带上各个标定点(方格的顶点)距离相机的距离经过了测量，也就是这些标定点在俯视图上的位置可以确定，有了这些对应关系，就可以依据平面之间的单应性计算单应矩阵。本申请通过铺设标定带来实现单应矩阵的计算，简单方便。

步骤420，对车道线像素点进行聚类，得到聚类后的车道线像素点，如图7所示；图7中示出了在逆透视变换之后，进行聚类得到结果，可以用不同的颜色表征不同车道线；聚类的目的是将不同的像素点进行分类，具体到本申请是将不同的车道线进行分类，也就是分成一条一条的，这样后续自动驾驶的控制和决策才能处理。例如可以使用dbscan算法进行车道线聚类。本申请中识别的是逻辑车道线，不会出现间断的情况，所以同一条车道线的像素点距离很近，可以通过dbscan算法进行车道线的分类。相对于现有技术，如果识别实际的车道线，在虚线车道线或者车道线被部分遮挡的时候，同一条车道线会断开，而车道线特征点很少，实际场景又很复杂，这时要把自动驾驶所需要的分好类的完整的车道线识别出来是非常困难的，识别的效果不如本发明优异。

步骤425，对聚类后的车道线像素点进行采样，输出车道线采样点，如图8所示。在采样的过程中，针对每条车道线，在车辆前方距离本车每隔0.5米的位置的前后0.1米取一段；因为车道线有一定宽度，所以取出来的是一段段的高为0.2米的近似矩形或者梯形的区域；每个区域把所有的像素点的横纵坐标取平均值，结果近似的认为是这段区域的中心点；每个中心点即为采样点，这样车道线就可以输出为用一个个采样点代表的结构化的数据，方便后续控制层或者决策层的处理。

可选地，该方法还包括步骤430，对每条车道线的采样点进行拟合，例如使用最小二乘法拟合，输出三次曲线的四个系数。通过输出结构化数据，方便后续控制层或者决策层的处理，比采样点的优势是每条车道线只用输出四个系数，传输的数据量大大减小，并且能够实现去噪和平滑车道线的目的。

通过上述的处理，可以将神经网络模型输出的车道线像素点进行聚类后形成具有相对自车距离信息的车道线的采样点或者曲线方程，在采样之后可以供自动驾驶控制模块进行自动驾驶的依据。有一定规律的采样点即为结构化数据，目前的规律是按照车道线间从左到右，车道线内从近到远，单位为厘米，以自车为原点，车辆正前为y轴正、正右为x轴正。

依据本申请提供的方法所得到的车道线像素点或者车道线采样点，自动驾驶系统可以根据车道线像素点或者车道线采样点对车辆行进方向进行调整，使得车辆能够依据车道线做相应的决策和控制。自动驾驶系统目前已经实际的应用，例如自动驾驶的公交车或者自动驾驶的小轿车，本申请得到的车道线像素点可以提供给这些自动驾驶的交通工具使用。可选地，也可以将本申请的技术方案集成到现有的自动驾驶方案中。

相应地，本发明可以提供一种自动驾驶方法，该方法可以根据本申请提供的车道线像素点或者车道线采样点进行自动驾驶。

本申请还提供了一种车道线识别神经网络模型训练系统，如图11所示，该系统包括：处理器1105和存储设备1110，处理器1105可以为通用处理器，也可以为专用处理器，存储设备1110可以包括随机接入存储器、只读随机存取存储器、闪存、硬盘等计算机可读介质。存储设备1110可以存储有程序、车道线样本和车道线训练集，该程序被处理器执行时处理所述车道线图像样本和所述车道线训练集以训练所述神经网络模型，可以得到符合期望的神经网络模型，该神经网络模型可以用来处理在车辆行进过程中拍摄的车道线。

通过上述的技术方案，可以实现能够输出全部实车道线的神经网络模型。

相应地，本申请还提供了一种车道线识别系统，其系统结构可以参考图11，包括存储设备，用于存储程序；处理器，用于执行程序以实现本申请提供的方法。

上述的方案可以进一步地对车道线像素点进行视角变换、聚类、采样以及拟合，得到可以供自动驾驶使用的车道线结构化数据。

此外，本申请还提供了一种自动驾驶系统，该自动驾驶系统可以根据车道线识别系统输出的车道线采样点或者车道线采样点对应的曲线参数进行自动驾驶。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干具体实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种神经网络模型训练方法，用于车道线的识别，其特征在于，包括：

将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；所述车道线图像样本包括通过单个摄像头拍摄的车道线图像样本；所述车道线逻辑化将所述车道线图像样本中的车道线变为实线；所述车道线图像样本中的车道线中含有虚车道线时，按照车辆行驶方向，将相邻虚车道线首端和末端依次连接，得到实线；

根据所述车道线图像样本以及所述车道线训练集训练神经网络模型；所述神经网络模型的输出为车道线像素点，所述车道线像素点组成实线车道线。

2.一种车道线识别方法，其特征在于，该方法包括：

将基于单目视觉的车道线图像输入神经网络模型；

所述神经网络模型输出车道线像素点；

对所述车道线像素点进行逆透视变换；

对逆透视变换后的车道线像素点进行聚类；

将聚类后的车道线像素点进行采样得到车道线采样点，实现对车道线的识别；

其中，所述神经网络模型为根据权利要求1所述的训练方法训练得到的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

根据基于单目视觉的标定带图像样本计算单应矩阵。

4.根据权利要求3所述的方法，其特征在于，所述对所述车道像素点进行逆透视变换包括：

根据所述单应矩阵对所述神经网络模型输出的车道线像素点进行逆透视变换。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

根据采样后的车道线像素点进行拟合得到拟合车道线的曲线参数。

6.一种神经网络模型训练系统，用于车道线识别，其特征在于，该系统包括：

存储设备，用于存储程序、车道线图像样本和车道线训练集，所述车道训练集为实线；所述车道线图像样本包括通过单个摄像头拍摄的车道线图像样本；所述车道线图像样本中的车道线中含有虚车道线时，按照车辆行驶方向，将相邻虚车道线首端和末端依次连接，得到实线；

处理器，用于执行所述程序处理所述车道线图像样本和所述车道线训练集以训练神经网络模型；所述神经网络模型的输出为车道线像素点，所述车道线像素点组成实线车道线。

7.一种存储设备，其特征在于，该存储设备存储有程序、车道线图像样本和车道线训练集，所述车道训练集为实线；所述车道线图像样本包括通过单个摄像头拍摄的车道线图像样本；所述车道线图像样本中的车道线中含有虚车道线时，按照车辆行驶方向，将相邻虚车道线首端和末端依次连接，得到实线；

所述程序，用于被处理器执行时处理所述车道线图像样本和所述车道线训练集以训练神经网络模型；所述神经网络模型的输出为车道线像素点，所述车道线像素点组成实线车道线。

8.一种车道线识别系统，其特征在于，该系统包括：

存储设备，用于存储程序；

处理器，用于执行所述程序以实现权利要求2-5任意一项所述的车道线识别方法。

9.一种存储设备，其特征在于，该存储设备存储有程序；

所述程序，用于被处理器执行时实现权利要求2-5任意一项所述的车道线识别方法。

10.一种自动驾驶系统，其特征在于，根据权利要求8所述的系统输出的车道线采样点或者车道线采样点对应的曲线参数进行自动驾驶。

Images