CN113343817A - 一种面向目标区域的无人车路径检测方法、装置及介质 - Google Patents

Abstract

本发明公开了一种面向目标区域的无人车路径检测方法、装置及介质，方法包括以下步骤：通过超清车载摄像头同步采集目标区域内各种场景下的道路图像数据；将采集来的图片进行人工筛选和车道线标注，并制作成训练集、验证集和测试集；通过知识蒸馏等方法设计紧凑高效的网络，使用采集到的样本库对网络进行训练，从而得到网络模型的训练参数；利用训练好的网络模型，对测试集中的图像进行测试，输出道路检测结果。针对当前目标区域内道路标识线缺失和道路边界模糊等问题，本发明在有限的计算资源下提出了一种紧凑型网络模型并在检测时引入了空间分割概念，在确保目标区域师生安全的前提下，可以快速精准的对目标区域路况进行检测，本发明可用于目标区域内无人车的自动驾驶。

Description

一种面向目标区域的无人车路径检测方法、装置及介质

技术领域

本发明涉及一种面向目标区域的无人车路径检测方法、装置及介质，属于无人驾驶技术领域。

背景技术

车道路况作为影响车辆行驶的重要条件，车道和障碍物的检测在智能无人驾驶系统中起着至关重要的作用。但由于存在照明条件差、行人车辆等障碍物造成的遮挡、车道边界模糊缺失等恶劣因素影响，在无人驾驶环境中对车道、行人以及车辆的检测具有一定的挑战性。

传统车道检测算法通常需要手工设置特征滤波器来提取车道特征，并对这些特征进一步分组以获得最终结果来对车道检测。这些方法存在诸多缺点，例如，特征滤波器需要手工设置，过程繁琐缺乏鲁棒性，仅适用于相对容易的驾驶场景。对于无人驾驶领域，我们需要一种检测结果更加精准、速度更快的网络模型。

随着时间的推移，计算机的硬件和软件基础设施得到了质的飞跃，深度学习已经广泛应用于计算机视觉任务。卷积神经网络中，提取特征时常采用端到端的方式，并通过反向传递对权重参数进行更新，提高了网络模型的鲁棒性。人类驾驶汽车时可以很容易地识别无标记、标志的车道，但这对于无人驾驶系统来说就是一个挑战，因此，检测和识别网络需要具有更好的泛化性。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种面向目标区域的无人车路径检测方法、装置及介质，

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了，一种面向目标区域的无人车路径检测方法，包括以下步骤：

获取行驶场景下无人车的车载摄像头的道路图像数据；

将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别网络模型，获取行驶场景下道路检测结果。

进一步的，所述目标区域路径识别网络模型的构建方法包括以下步骤：

步骤1：获取目标区域各种场景下的车载摄像头的道路图像数据；

步骤2：获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息和车道线标注信息，生成训练集、验证集和测试集；

步骤3：通过知识蒸馏的方法构建紧凑型网络，使用训练集和验证集对网络进行训练，得到网络模型的训练参数，从而得到训练好的目标区域路径识别网络模型。

进一步的，获取目标区域各种场景下的车载摄像头的道路图像数据的方法包括：

通过安装在车上的摄像机拍摄目标区域内各种场景下的道路图像；目标区域的场景包括白天情景、雨天情景、黑夜情景、直道情景、弯道情景以及行人拥挤路段情景。

进一步的，获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息和车道线标注信息，生成训练集、验证集和测试集的方法包括：

获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息，根据所述人工筛选信息将道路图像数据分类；

通过灰度化提取出道路图像数据的道路边界和车道线的特征进行边缘提取，获得边缘提取后的图像；

对边缘提取后的图像通过二进制图进行转化，在灰度图中进行车道位置标记过滤和特征提取，经过分割、裁剪和合并扩充生成样本库；

按照预先设置的比例，把样本库制作成训练集、验证集和测试集。

进一步的，通过知识蒸馏的方法构建紧凑型网络的方法包括：

采用蒸馏方法，通过提取教师网络的知识来指导学生型进行学习；

将卷积神经网络第n层网络的输出特征映射

用

表示：

其中，C表示输出特征映射的长，H表示输出特征映射的宽，W表示输出特征映射的通道数，Z_ni表示第n层特征映射Z_n第i个通道的数值。

进一步的，通过知识蒸馏的方法构建紧凑型网络的方法还包括：

利用卷积网络中的冗余，使用了共享编码器，减少了网络参数量计算；所述共享特征编码器是基于Inception-v2架构组成的，整个模块由5个不同的block构成；

本网络基于单个解码器——多个解码器结构，在编码器后输出并行的分支网络；

通过公用编码器提取特征，分支网络分别对应一个分割解码器和一个车道边界检测解码器；

通过线性方程组，建立2D边界框和3D边界框之间的联系；将每个深度Z按其归一化概率加权求和，得到三维盒中心的深度

其中，N为深度级别数，P(i)为归一化概率。

进一步的，使用训练集和验证集对网络进行训练，得到网络模型的训练参数，从而得到训练好的目标区域路径识别网络模型的方法包括：

在训练过程中加入了学习率衰减策略：

其中，ψ是教师衰减，λ为蒸馏损失的初始权重，n是一个经验值，K_n表示在整个训练过程中第n次迭代，η是一个常量，0＜η＜1；

在编码器和解码器几个模块后提取特征映射并传递给学生网络，ξ是蒸馏损失函数，AT-T_m是教师网络特征，AT-S_m是学生网络特征，

为Softmax操作，蒸馏损失函数为：

学生网络训练阶段总损失L为：

L₁＝ψ(λ)ξ(AT-T_m,AT-S_m)

L＝L₁+L₂

其中，

是学生网络的道路场景分割图，y是学生网络道路的真实标签，

为网络对车道边界线的检测值，b是车道边界真实值，L_s是标准交叉熵损失函数。L_u为检测车道对比真实地面像素矢量的损失值，N_P为网络预测车道像素，N_g为真实地面像素，N_O为预测区域与实际区域重叠像素区域，L_e为逐像素叉熵损失函数。

第二方面，本发明提供一种面向目标区域的无人车路径检测装置，所述装置包括：

获取模块：用于获取行驶场景下无人车的车载摄像头的道路图像数据；

识别模块：用于将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别；

网络模型，获取行驶场景下道路检测结果。

第三方面，本发明提供了一种面向目标区域的无人车路径检测装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

针对复杂场景下车道检测模型高计算成本的问题，利用卷积网络中的冗余，使用了共享编码器，减少了网络参数量计算。共享特征编码器是基于Inception-v2架构组成的，整个模块由5个不同的block构成，这种结构相比于传统网络计算更加高效精度也有所提高。在编码器后输出并行的分支网络。先通过公用编码器提取特征，然后分支分别对应一个分割解码器和一个车道边界检测解码器，这里我们采用1×1的卷积调整通道数，3×3的卷积来生成多尺度的特征图。通过线性方程组，建立2D边界框和3D边界框之间的联系。采用蒸馏方法，通过提取高性能复杂教师网络的知识来指导学生网络模型进行学习。通过提高紧凑型小网络模型的性能，在保证准确率的同时减少了卷积神经网络模型参数，大大降低模型复杂度和计算时间。

附图说明

图1为本发明工作流程图；

图2为本发明生成的特征映射图；

图3为本发明编码器——解码器结构图；

图4为本发明算法的整体框架图；

图5为本发明提供的车道图像；

图6为本发明车道检测结果。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明针对当前传统车道检测算法准确度不高、参数量过大、人工依赖程度高等问题，提出一种面向目标区域场景的无人车路径检测方法。将收集到的车道图像作为输入，通过蒸馏等方法对车道进行检测和分割，下面将实施的方案进行详细描述。

实施例一：

如图1所示，一种面向目标区域场景的无人车行驶路径方法，包括以下步骤：

获取行驶场景下无人车的车载摄像头的道路图像数据；

将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别网络模型，获取行驶场景下道路检测结果。

目标区域路径识别网络模型的构建方法包括以下步骤：

步骤1：通过安装在车上的摄像机拍摄目标区域内各种场景下的道路图像，由于目标区域内的道路标准不同，有些小道行车线缺失，道路边缘模糊以及行人障碍物干扰等复杂的场景，我们需要对采集的图片进行人工筛选和处理，通过灰度化可以提取出道路边界和车道线的特征。进行边缘提取后的图像通过二进制图进行转化，在灰度图中进行车道位置标记过滤和特征提取，经过分割、裁剪和合并等一系列操作扩充有限的数据集。

步骤2：采集到的目标区域道路图像包含很多场景，除了白天正常路段还有雨天，黑夜，弯道以及行人拥挤路段等恶劣情景。首先，新建一个文件夹，在该文件夹下新建多个子文件夹和对应的txt文件。通过人工分类的方法，将采集到的图片按照不同场景分到不同的新建文件夹中，将同一个文件夹下图片的名称格式进行统一，同时按照不同的类别标号在文字名称后加上数字后缀用以区分。然后把每个子文件夹的内容(图像的名字)和标签写到txt文件中，将所有的训练集文件复制到一个总的txt文件并命名，这个txt文件包括了所有训练图片的名字和对应的标签。最后按照预先设置的比例，把样本库制作成训练集、验证集和测试集。

步骤3：基于激活的提取方式得到的特征映射图如图2所示：采用蒸馏方法，通过提取教师网络的知识来指导学生型进行学习。将卷积神经网络第n层网络的输出特征映射用

表示，其中C表示输出特征映射的长，H表示输出特征映射的宽，W表示输出特征映射的通道数，Z_ni表示第n层特征映射Z_n第i个通道的数值：

利用卷积网络中的冗余，使用了共享编码器，减少了网络参数量计算。共享特征编码器是基于Inception-v2架构组成的，整个模块由5个不同的block构成，这种结构相比于传统网络计算更加高效精度也有所提高。本网络基于单个编码器——多个解码器结构，在编码器后输出并行的分支网络，如图3所示。先通过公用编码器提取特征，然后分支分别对应一个分割解码器和一个车道边界检测解码器，这里我们采用1×1的卷积调整通道数，3×3的卷积来生成多尺度的特征图。通过线性方程组，建立2D边界框和3D边界框之间的联系。将每个深度z按其归一化概率加权求和，得到三维盒中心的深度，其中N为深度级别数，P(i)为归一化概率。

在蒸馏过程中，为了得到效果更好的紧凑型网络，在训练过程中加入了学习率衰减策略，使得网络更好的收敛到最优解。λ为蒸馏损失在总损失中的初始比例，K_n表示在训练过程中第n次迭代，n是训练的总迭代次数，η是一个常量，0＜η＜1。

为Softmax操作，蒸馏损失函数为：

算法的整体框架如图4所示，在编码器和解码器几个模块后提取特征映射并传递给学生网络，

是学生网络输出的道路场景分割图，

为网络对车道边界线的检测，L_s是标准交叉熵损失函数。L_u为检测车道像素与真实地面像素之间的损失，N_P为网络预测车道像素数量，N_g为真实地面像素数量，N_O为预测区域与实际区域重叠像素的数量，L_e为二元交叉熵损失函数,学生网络训练阶段总损失为：

步骤4：将测试集中图片输入步骤3所搭建的紧凑型网络，对车道图像进行分割和检测输出结果(如图5，图6所示)。

与现有技术相比，本发明的有益效果在于：在资源空间有限的环境下，本发明可应用于算力有限的嵌入式设备，在确保师生安全的前提下，获得较高的计算效率。针对复杂场景下车道检测模型高计算成本问题，利用卷积网络中的冗余，使用了共享编码器，减少了网络参数量计算。共享特征编码器是基于Inception-v2架构组成的，整个模块由5个不同的block构成，这种结构相比于传统网络计算更加高效精度也有所提高。在编码器后输出并行的分支网络。先通过公用编码器提取特征，然后分支分别对应一个分割解码器和一个车道边界检测解码器，这里我们采用1×1的卷积调整通道数，3×3的卷积来生成多尺度的特征图。通过线性方程组，建立2D边界框和3D边界框之间的联系。采用蒸馏方法，通过提取高性能复杂教师网络的知识来指导学生网络模型进行学习。通过提高紧凑型小网络模型的性能，在保证准确率的同时减少卷积神经网络模型参数，大大降低模型复杂度和计算时间。

实施例二：

本实施例提供一种面向目标区域的无人车路径检测装置，所述装置包括：

获取模块：用于获取行驶场景下无人车的车载摄像头的道路图像数据；

识别模块：用于将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别；

网络模型，获取行驶场景下道路检测结果。

实施例三：

本发明实施例还提供了一种一种面向目标区域的无人车路径检测装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。

实施例四：

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种面向目标区域的无人车路径检测方法，其特征在于，包括以下步骤：

获取行驶场景下无人车的车载摄像头的道路图像数据；

将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别网络模型，获取行驶场景下道路检测结果。

2.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，所述目标区域路径识别网络模型的构建方法包括以下步骤：

步骤1：获取目标区域各种场景下的车载摄像头的道路图像数据；

步骤2：获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息和车道线标注信息，生成训练集、验证集和测试集；

步骤3：通过知识蒸馏的方法构建紧凑型网络，使用训练集和验证集对网络进行训练，得到网络模型的训练参数，从而得到训练好的目标区域路径识别网络模型。

3.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，获取目标区域各种场景下的车载摄像头的道路图像数据的方法包括：

通过安装在车上的摄像机拍摄目标区域内各种场景下的道路图像；目标区域的场景包括白天情景、雨天情景、黑夜情景、直道情景、弯道情景以及行人拥挤路段情景。

4.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息和车道线标注信息，生成训练集、验证集和测试集的方法包括：

获取所述目标区域各种场景下的车载摄像头的道路图像数据的人工筛选信息，根据所述人工筛选信息将道路图像数据分类；

通过灰度化提取出道路图像数据的道路边界和车道线的特征进行边缘提取，获得边缘提取后的图像；

对边缘提取后的图像通过二进制图进行转化，在灰度图中进行车道位置标记过滤和特征提取，经过分割、裁剪和合并扩充生成样本库；

按照预先设置的比例，把样本库制作成训练集、验证集和测试集。

5.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，通过知识蒸馏的方法构建紧凑型网络的方法包括：

采用蒸馏方法，通过提取教师网络的知识来指导学生型进行学习；

将卷积神经网络第n层网络的输出特征映射

用

表示：

其中，C表示输出特征映射的长，H表示输出特征映射的宽，W表示输出特征映射的通道数，Z_ni表示第n层特征映射Z_n第i个通道的数值。

6.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，通过知识蒸馏的方法构建紧凑型网络的方法还包括：

利用卷积网络中的冗余，使用了共享编码器，减少了网络参数量计算；所述共享特征编码器是基于Inception-v2架构组成的，整个模块由5个不同的block构成；

基于单个解码器——多个解码器结构，在编码器后输出并行的分支网络；

通过公用编码器提取特征，分支网络分别对应一个分割解码器和一个车道边界检测解码器；

通过线性方程组，建立2D边界框和3D边界框之间的联系；将每个深度Z按其归一化概率加权求和，得到三维盒中心的深度

其中，N为深度级别数，P(i)为归一化概率。

7.根据权利要求1所述的面向目标区域的无人车路径检测方法，其特征在于，使用训练集和验证集对网络进行训练，得到网络模型的训练参数，从而得到训练好的目标区域路径识别网络模型的方法包括：

在训练过程中加入了学习率衰减策略：

其中，ψ是教师衰减，λ为蒸馏损失的初始权重，n是一个经验值，K_n表示在整个训练过程中第n次迭代，η是一个常量，0＜η＜1；

在编码器和解码器几个模块后提取特征映射并传递给学生网络，ξ是蒸馏损失函数，AT-T_m是教师网络特征，AT-S_m是学生网络特征，

为Softmax操作，蒸馏损失函数为：

学生网络训练阶段总损失L为：

L₁＝ψ(λ)ξ(AT-T_m,AT-S_m)

L＝L₁+L₂

其中，

是学生网络的道路场景分割图，y是学生网络的道路真实标签，

为网络对车道边界线的检测值，b是车道边界真实值，L_s是标准交叉熵损失函数，L_u为检测车道对比真实地面像素矢量的损失值，N_P为网络预测车道像素，N_g为真实地面像素，N_O为预测区域与实际区域重叠像素区域，L_e为逐像素叉熵损失函数。

8.一种面向目标区域的无人车路径检测装置，其特征在于，所述装置包括：

获取模块：用于获取行驶场景下无人车的车载摄像头的道路图像数据；

识别模块：用于将所述行驶场景下无人车的车载摄像头的道路图像数据输入目标区域路径识别网络模型，获取行驶场景下道路检测结果。

9.一种面向目标区域的无人车路径检测装置，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。

Images