CN112215073A - 高速运动场景下的交通标线快速识别与循迹方法 - Google Patents

Abstract

本发明涉及高速运动场景下的交通标线快速识别与循迹方法，所述标线识别与循迹方法包括输入数据预处理步骤、特征提取网络和特征融合网络构建步骤以及目标实时追踪步骤；所述特征融合网络构建包括：通过自底向上的连接、自顶向下的连接以及横向连接的网络结构将不同层的特征图融合到一起，构建网络内的特征金字塔，得到能够获取目标位置信息即准确语义信息又多的特征图的网络。本发明通过车载专用摄像头获取车前道路环境，面对高速情况下反馈时间短、车道特征模糊等问题，通过对于图像的语义分割，对标线位置进行定义，利用高速的目标检测追踪算法进行卷积神经网络训练。

Description

高速运动场景下的交通标线快速识别与循迹方法

技术领域

本发明涉及自动驾驶中的高级驾驶辅助系统领域，尤其涉及高速运动场景下的交通标线快速识别与循迹方法。

背景技术

近年来，交通新基础建设正在兴旺发展，以数据为核心、5G通讯网络为基础、结合高精度传感器的车路协同模式逐渐成熟，构成快捷方便安全的车联网络，而新能源驱动下的高级辅助驾驶车辆乃至自动驾驶车辆正逐步投产应用，成为未来发展的新趋势。

在确保车辆行驶安全的辅助驾驶系统方面，标线检测与提示已较为成熟，但目前较为常见的标线检测常用于低速情况下的车辆导航或自动驾驶，现有的技术暂时无法应用于100km/h左右的高速场景下，一方面高速行驶状态下的视频拍摄需要更高的帧数保证图像的清晰；另一方面现有的算法无法达到较低延迟的反馈速度，造成高速状态下的标线检测依旧存在相当多的问题，不存在工程实践价值。

面对这样的问题，本发明采用新型语义分割方法重新定义标线检测方法，采用快速目标追踪模型，完成了高速情况下的标线追踪检测技术，能够快速检测道路上的标线位置并防止车辆偏移可以有效提高驾驶者的安全，实时监控车辆在道路中的位置，在自动驾驶领域更是机器决策不可或缺的前置技术之一。

发明内容

本发明的目的在于克服现有技术的缺点，提供了高速运动场景下的交通标线快速识别与循迹方法，通过重新定义标线的语义以及对图像进行新语义分割，减少了目标检测的时间，再借助检测速度快的目标追踪检测模型，可以有效提升高速场景下车辆的实时检测追踪速度，可以保证驾驶员的道路安全，降低道路交通事故的概率，并方便未来的自动驾驶技术的研发与应用。

本发明的目的通过以下技术方案来实现：高速运动场景下的交通标线快速识别与循迹方法，所述标线识别与循迹方法包括输入数据预处理步骤、特征提取网络和特征融合网络构建步骤以及目标实时追踪步骤；所述特征融合网络构建包括：通过自底向上的连接、自顶向下的连接以及横向连接的网络结构将不同层的特征图融合到一起，构建网络内的特征金字塔，得到能够获取目标位置信息即准确语义信息又多的特征图的网络。

进一步地，所述通过自底向上的连接、自顶向下的连接以及横向连接的网络结构将不同层的特征图融合到一起，构建网络内的特征金字塔具体包括：

取C2、C3、C4层作为特征融合的层数，分别下采样至原图大小的1/16、1/64和1/256，然后经过特征融合网络生成特征金字塔结构；

利用卷积核为3×3，步长为1的卷积操作对C4层特征图进行处理后得到特征金字塔的P4层；

将卷积核为1×1，步长为1的卷积操作对C3层进行处理后的结果与所述特征金字塔的P4层上采样结果相加，并在此基础上使用卷积核为3×3，步长为1的卷积运算进行处理得到特征金字塔的P3层；然后以次类推得到特征金字塔的P2层。

进一步地，所述特征提取网络构建包括：

用θ_i＝F(θ_i-1)描述第i层的特征图，并对两个特征图进行卷积、池化和归一化操作得到N层特征图的集合θ＝{θ₁，θ₂，θ₃，…，θ_N}；并选取ResNet网络模型作为特征提取网络模型；

在特征提取网络模型中输入重新定义车道语义的训练数据集；

设置模型训练所需的超参数并对其进行初始化，在初始化过程中通过归一化输入数据加快模型的训练速度；

设置激活函数，对网络模型的卷积层进行训练；

进行结果预测，计算信息熵反向传递误差。

进一步地，所述目标实时追踪步骤包括：

通过固定区域采样位置和预测区域的转化公式τ＝{(m_x,m_y)+β}-{(d_x,d_y)+G}、β＝{(-m_w/2,-m_h/2),…,(m_w/2,m_h/2)}和

从相应候选区域M＝(m_x,m_y,m_w,m_h)中采样特征来估计分类图中每个位置(d_x,d_y)的分类置信度，其中，β表示新采样位置相对于方框中心的坐标，G为核大小为k×k的标准二维卷积样本特征使用固定的网格；对每一个位置(d_x,d_y)，都有对应的候选区域M来采集特征确认该位置的分类置信度，通过β确认位置的左边点，以置信度确认是否为选择目标；

确定损失函数L＝-∑_iln(IoU(p_reg,T))-α[∑_jp₁log(p₂)-(1-p₁)log(1-p₂)]-β[∑_jp₃log(p₄)-(1-p₃)log(1-p₄)]，以确保在预测过程中通过目标标注获取的目标位置不会因为预测产生的偏移而导致预测失效，其中，p_reg为预测量，T为训练样本的标签，p₂和p₄分别是在目标感知特征和规则区域特征上计算的分类分数图，i为训练样本，j为分类的训练样本，α与β是协调超参数，p₁为是一个概率标签，其中每个值表示预测的边界框和基本真实之间的IoU，p₃是二进制标签，其中靠近目标中心的像素被标记为1。

通过第一步在首帧图像中获取目标的位置，并通过预测转化公式对后帧图像中的目标位置进行预测，损失函数约束预测位置保证预测的准确率。

进一步地，所述输入数据预处理步骤包括：

将采集的视频转换为图像，通过预先设定好的水平行将位置分为不同的单元，并逐像素的在channel维度上对图像进行分割，得到图像上车道的选择公式P_i,j＝f^ij(X)，s.t.i∈[1,C],j∈[1,h]；

设定约束函数

损失函数

得到整体的约束函数

本发明具有以下优点：本发明通过车载专用摄像头获取车前道路环境，面对高速情况下反馈时间短、车道特征模糊等问题，通过对于图像的语义分割，对标线位置进行定义，利用高速的目标检测追踪算法进行卷积神经网络训练。克服了现有技术只能在低速状态下使用的缺陷，提高了高速行驶状态下的车辆安全，可以有效的预防由于驾驶员的无意识动作造成的车道偏移隐患，未来在自动驾驶普及阶段可以有效提高车辆运行的安全性和规范性。

附图说明

图1为标线检测方法训练流程图；

图2为标线语义分类示意图；

图3为特征提取网络残差模块图；

图4为特征融合金字塔结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明涉及高速运动场景下的交通标线快速识别与循迹方法，用于减少在高速行驶环境下道路线跟踪丢失的问题，提高检测精度；具体包括如下内容：

S1、输入数据预处理；

S11、行车视频收集：在车头特定部位安装摄像头，获取车前固定视野行车视频；

S12、图像处理：将视频转换为图像，并对检测的标线进行重新定义；

具体地，如图2所示，通过预先设定好的水平行将位置分为不同单元，在确认了单元的位置后可以逐像素的在channel维度上对图像进行分割，这样图像上车道的选择公式如下所示：

P_i,j＝f^ij(X)，s.t.i∈[1,C],j∈[1,h]

其中，假设最大车道数为C，行锚数量为h，网格单元数为w，f^ij(X)为全局图像特征X，用于选择第i条车道，第j行锚定的选择分类器，P_ij表示第i条车道、第j行锚点选择(w+1)个网格单元的概率。

其中，以驾驶员的视角水平横向为水平行，位置为视频中的道路图像按水平分为有限的行所分割，由于车道为靠近竖行的斜线，因此在水平选择了车道的位置之后，便可以利用channel维度向竖行方向检索分割图像以获取整条车道的位置。

考虑到车道缺失的可能，该公式由(w+1)组成。由于预先定义的行数目和网格大小远远小于图像的大小，该公式的计算成本大大降低。

由于相邻的车道点应该彼此靠近，设定约束函数如下所示：

其中，P_i,j为对第i行锚点的预测。

考虑到直线情况下，位置轨迹可以更加简单，因此设定损失函数如下所示：

其中，k为位置索引，Loc_i,j为第i条车道，第j行锚定点的位置。

特别的，在遮挡情况下，曲线也可以近似的看作由多段小直线构成，并不会对整体精度造成太大影响。

那么，整体的约束函数应为：

其中，α为损失系数。该步的约束函数为对水平行方向上的车道位置点进行选择后，在竖直的方向选择衍生的车道所进行的约束。

S2、道路标线检测模型构建；

S21、特征提取网络构建；

特征提取网络可以描述为:

θ_i＝F(θ_i-1)

其中，θ_i表示i层的特征图，F表示两个特征图之间的卷积、池化、归一化等操作，那么N层特征图的集合为：

θ＝{θ₁，θ₂，θ₃，…，θ_N}

在常见的特征提取网络模型中，选取ResNet网络模型作为特征提取网络模型使用，训练步骤包括：

A1、输入重新定义车道语义的训练数据集；

A2、设置模型训练所需的超参数，并对其进行初始化,初始化超参数如下：

初始化过程中通过归一化输入数据加快模型的训练速度，由于ResNet网络模型利用多个小的卷积核代替了一个大的卷积核，在特征图变为原来的一半的时候，需要加倍过滤器的数量，并将降采样的步长设置为2。

如图3所示，A3、设置激活函数，对网络模型的卷积层进行训练，得到卷积残差模块；

A4、进行结果预测，计算信息熵并反向传递误差。

S22、特征融合网络构建；

如图4所示，低层的特征图具有目标位置准确但语义信息少的特点，而高层的特征图虽然具有更多的语义信息，但目标位置信息不准确。通过自底向上的连接、自顶向下的连接以及横向连接的网络结构，将不同层的特征图融合到一起，构建网络内的特征金字塔(FPN)。

B1、取C2，C3，C4层作为特征融合的层数，分别下采样至原图大小的1/16，1/64和1/256，然后经过特征融合网络生成特征金字塔结构。训练时使用640×1280大小的图像，将其下采样至160×320，80×160，40×80这三种大小，利用该特征图集合构筑的特征融合模块，如下所示：

B2、利用卷积核为3×3，步长为1的卷积操作对C4层特征图进行处理后得到FPN的P4层。把上采样的结果和卷积神经网络前向传播过程生成的特征图相加，即将卷积核为1×1，步长为1的卷积操作对C3层进行处理后的结果与P4层上采样结果相加，然后在此基础上使用卷积核为3×3，步长为1的卷积运算进行处理，得到FPN的P3层。以此类推获得P2层。

S3、目标实时追踪；

S31、追踪目标标注：对于分类图中的每个位置(d_x,d_y)，都有一个回归网络预测的对应的对象包围框M＝(m_x,m_y,m_w,m_h)，其中m_x和m_y表示特征候选框中心，m_w和m_h表示候选框的宽度和高度。我们的目标是通过从相应候选区域M中采样特征来估计每个位置(d_x,d_y)的分类置信度。因此，固定区域采样位置和预测区域的转化公式如下：

τ＝{(m_x,m_y)+β}-{(d_x,d_y)+G}

β＝{(-m_w/2,-m_h/2),…,(m_w/2,m_h/2)}

其中，β表示新采样位置相对于方框中心的坐标。G为核大小为k×k的标准二维卷积样本特征使用固定的网格。

S32、损失函数确定：

通过确定损失函数以确保在预测过程中通过目标标注获取的目标位置不会因为预测产生的偏移而导致预测失效，其中，p_reg为预测量，T为训练样本的标签，p₂和p₄分别是在目标感知特征和规则区域特征上计算的分类分数图，i为训练样本，j为分类的训练样本，α与β是协调超参数，p₁为是一个概率标签，其中每个值表示预测的边界框和基本真实之间的IoU，p₃是二进制标签，其中靠近目标中心的像素被标记为1，具体公式如下：

车载高速场景下的标线检测方法结果分析如下：

该倍率以最慢的SCNN为1，模型训练结果表明检测准确率为95.38％，检测速度为2.8ms，按100km/h计算车辆速度，则检测反馈时间满足高速行车要求，在针对多帧情况下的车道目标追踪表现良好。

通过第一步在首帧图像中获取目标的位置，并通过预测转化公式对后帧图像中的目标位置进行预测，损失函数约束预测位置保证预测的准确率。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.高速运动场景下的交通标线快速识别与循迹方法，其特征在于：所述标线识别与循迹方法包括输入数据预处理步骤、特征提取网络和特征融合网络构建步骤以及目标实时追踪步骤；所述特征融合网络构建包括：通过自底向上的连接、自顶向下的连接以及横向连接的网络结构将不同层的特征图融合到一起，构建网络内的特征金字塔，得到能够获取目标位置信息即准确语义信息又多的特征图的网络。

2.根据权利要求1所述的高速运动场景下的交通标线快速识别与循迹方法，其特征在于：所述通过自底向上的连接、自顶向下的连接以及横向连接的网络结构将不同层的特征图融合到一起，构建网络内的特征金字塔具体包括：

取C2、C3、C4层作为特征融合的层数，分别下采样至原图大小的1/16、1/64和1/256，然后经过特征融合网络生成特征金字塔结构；

利用卷积核为3×3，步长为1的卷积操作对C4层特征图进行处理后得到特征金字塔的P4层；

将卷积核为1×1，步长为1的卷积操作对C3层进行处理后的结果与所述特征金字塔的P4层上采样结果相加，并在此基础上使用卷积核为3×3，步长为1的卷积运算进行处理得到特征金字塔的P3层；然后以次类推得到特征金字塔的P2层。

3.根据权利要求1所述的高速运动场景下的交通标线快速识别与循迹方法，其特征在于：所述特征提取网络构建包括：

用θ_i＝F(θ_i-1)描述第i层的特征图，并对两个特征图进行卷积、池化和归一化操作得到N层特征图的集合θ＝{θ₁，θ₂，θ₃，…，θ_N}；并选取ResNet网络模型作为特征提取网络模型；

在特征提取网络模型中输入重新定义车道语义的训练数据集；

设置模型训练所需的超参数并对其进行初始化，在初始化过程中通过归一化输入数据加快模型的训练速度；

设置激活函数，对网络模型的卷积层进行训练；

进行结果预测，计算信息熵反向传递误差。

4.根据权利要求1所述的高速运动场景下的交通标线快速识别与循迹方法，其特征在于：所述目标实时追踪步骤包括：

通过固定区域采样位置和预测区域的转化公式τ＝{(m_x,m_y)+β}-{(d_x,d_y)+G}、β＝{(-m_w/2,-m_h/2),…,(m_w/2,m_h/2)}和

从相应候选区域M＝(m_x,m_y,m_w,m_h)中采样特征来估计分类图中每个位置(d_x,d_y)的分类置信度，其中，β表示新采样位置相对于方框中心的坐标，G为核大小为k×k的标准二维卷积样本特征使用固定的网格；对每一个位置(d_x,d_y)，都有对应的候选区域M来采集特征确认该位置的分类置信度，通过β确认位置的左边点，以置信度确认是否为选择目标；

确定损失函数L＝-∑_iln(IoU(p_reg,T))-α[∑_jp₁log(p₂)-(1-p₁)log(1-p₂)]-β[∑_jp₃log(p₄)-(1-p₃)log(1-p₄)]，以确保在预测过程中通过目标标注获取的目标位置不会因为预测产生的偏移而导致预测失效，其中，p_reg为预测量，T为训练样本的标签，p₂和p₄分别是在目标感知特征和规则区域特征上计算的分类分数图，i为训练样本，j为分类的训练样本，α与β是协调超参数，p₁为是一个概率标签，其中每个值表示预测的边界框和基本真实之间的IoU，p₃是二进制标签，其中靠近目标中心的像素被标记为1。

5.根据权利要求1所述的高速运动场景下的交通标线快速识别与循迹方法，其特征在于：所述输入数据预处理步骤包括：

将采集的视频转换为图像，通过预先设定好的水平行将位置分为不同的单元，并逐像素的在channel维度上对图像进行分割，得到图像上车道的选择公式P_i,j＝f^ij(X)，s.t.i∈[1,C],j∈[1,h]；

设定约束函数

损失函数

得到整体的约束函数

Images