CN109389095A - 一种路面标线图像识别方法和训练方法 - Google Patents

Abstract

本发明提供了一种安全可靠的，低成本的，基于图像识别的路面标线识别方法及训练方法。该方法能够为车辆巡线控制提供路面标线信息，为车辆驾驶提供道路位置辅助信息，为车辆自动驾驶提供横向导航信息，为车辆定位、测算车辆与站点之间的距离数据、以及车辆进站路线规划与速度控制提供依据。

Description

一种路面标线图像识别方法和训练方法

技术领域

本发明涉及图像识别及曲线拟合技术，尤其涉及一种路面标线的识别拟合技术。

背景技术

车辆驾驶正朝着智能化，自动化的方向发展。为了实现车辆的智能/自动驾驶，或是为驾驶员提供辅助驾驶功能，例如：车道保持功能，或是跟踪路面标线驾驶功能， 都需要在道路图像中识别路面标线，为智能/自动驾驶或是辅助驾驶提供车辆位于道路 上的空间位置信息，以便控制系统对车辆进行辅助控制。

现有车道线检测技术通常基于传动的计算机图像处理技术，需要人为的设计用于图像识别的几何特征，然后利用边缘提取技术对图像进行边缘提取，再进行特征比对。 这种方法对于图像成像质量要求较高，从而对光线环境适应性交差，并且图形被部分 遮挡或是污染，变形的时候，识别率较低，鲁棒性交叉。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种安全可靠的，低成本的，基于图像识别的路面标线识别方法及训练方法。该方法能够为车辆巡线控制 提供路面标线信息，为车辆驾驶提供道路位置辅助信息，为车辆自动驾驶提供横向导 航信息，为车辆定位、测算车辆与站点之间的距离数据、以及车辆进站路线规划与速 度控制提供依据。

为了解决以上问题，根据本发明的第一个方面，提供了一种路面标线图像识别的训练方法，包括：

通过车辆前视摄像机拍摄所述车辆前进方向道路区域的图像，所述道路区域设有n条路面标线(n≥1)；

通过所述摄像机内部参数和外部参数对所述图像进行畸变矫正和透视变换，获得的道路俯视图；

在所述道路俯视图上建立平面坐标系，提取图像中车辆行驶方向同向道路区域的所述路面标线，采用深度神经网络模型输出识别参数，制作训练数据集；

训练所述深度神经网络模型识别路面标线输出的所有识别参数；

所述识别参数包括A₁、A₂……A_k共k个拟合数学方程参数和A_k+1,A_k+2……A_k+i共i个路面标线参数，所述路面标线条数和所述路面标线参数个数的关系为2ⁱ>n>2^i-1， 所述深度神经网络模型包括全连接层和连接在所述全连接层后的输出层，所述全连接 层的每层节点数为1024个，所述输出层的节点数为n*(k+i)个，所述训练数据集为 n*(k+i)维向量label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂…… Aⁿ _k+i]。

优选地，采用分阶段训练，包括如下步骤：

S1：剪裁所述深度神经网络模型，仅输出数学方程参数A₁，剪裁所述输出层，仅 保留所述数学方程参数A¹ ₁，A² ₁，……，Aⁿ ₁所对应的节点，剪裁所述训练数据集，保 留label＝[A¹ ₁，A² ₁，……，Aⁿ ₁]；

S2：训练所述深度神经网络模型；

S3：修改所述深度神经网络模型，所述数学方程参数增加1个，所述输出层保留 的节点增加n个，所述训练数据集的向量维度增加n个；

S4：重复步骤S2-S3。

优选地，所述图像拍摄于晴天的正午及夜晚。

优选地，所述图像拍摄于阴天的正午及夜晚。

优选地，所述图像拍摄于雨天的正午及夜晚。

优选地，所述训练数据集label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……， Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i]的参数A¹ ₁，A¹ ₂……A¹ _k+i至Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i依次对应从左到右排 列的n条所述路面标线。

优选地，所述路面标线参数使用0和1的不同组合，代表不同的路面标线。

优选地，所述道路区域设有2条路面标线时，所述路面标线参数个数为1个，所 述训练数据集中A¹ _k+1代表左侧第一条路面标线，A² _k+1代表左侧第二条路面标线，所 述A¹ _k+1和A² _k+1的值可取0或1，所述A¹ _k+1和A² _k+1的值不同。

优选地，所述道路区域设有3条路面标线时，所述路面标线参数个数为2个，所 述训练数据集中A¹ _k+1和A¹ _k+2的组合代表左侧第一条路面标线，A² _k+1和A² _k+2的组合 代表左侧第二条路面标线，A³ _k+1和A³ _k+2的组合代表左侧第三条路面标线，所述A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值可取0和1的不同组 合，所述A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值互不相 同。

根据本发明的第二个方面，提供了一种路面标线图像识别方法，所述方法采用上述的一种路面标线图像识别的训练方法所训练的深度神经网络模型，其特征在于，所 述路面标线图像识别方法包括：

通过车辆前视摄像机拍摄所述车辆前进方向道路区域的图像，将所述图像输入所述深度神经网络模型；

所述深度神经网络模型对所述图像中的车道线进行识别；

所述深度神经网络模型输出所述车道线对应的拟合数学方程参数。

根据本发明的第三个方面，提供了一种能够识别路面标线图像的车辆，采用上述的一种路面标线图像识别方法识别路面标线。

与现有技术相比，本发明包括以下优点：

1.本发明提出一种基于深度神经网络模型的路面标线识别方法，该识别方法，无需人为设计几何特征，可以让模型在训练过程中自动学习并记录路面标线的几何特征 以及表面色彩和纹理特征，能够适应不同光线环境，并且在图形被部分遮挡或是污染、 变形的时候依然能够正确识别，具有较强的鲁棒性。

2.本发明在获取路面标线拟合方程参数时，无需再经过畸变矫正和透视变换再拟合，可以直接获得透视变换后的方程参数。

3.本发明不仅能够识别车辆两侧的路面标线，也可以识别车道中间的路面标线，不但能够识别现行普通车道线，还可以是车辆前进方向上路面任意位置的任意图形标 线，例如可以但不限于是：车辆道路中间白色双虚线标线，从而实现为车辆巡线控制 提供路面标线信息。

附图说明

本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的 理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图 标记代表相同或类似的元素。

图1是根据本发明一实施例的深度神经网络模型输出层示意图；

图2是根据本发明一实施例的深度神经网络模型第一阶段训练示意图；

图3是根据本发明一实施例的深度神经网络模型第二阶段训练示意图；以及

图4是根据本发明一实施例的路面标线场景示意图。

具体实施方式

以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、 权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

作为本发明的第一方面，本发明提供了一种路面标线图像识别的训练方法，包括：

通过车辆前视摄像机拍摄车辆前进方向道路区域的图像，道路区域设有n(n≥1)条路面标线,需要识别的路面标线的数量可根据实际需求调整，拍摄可分别选择在晴 天，阴天，雨天的正午以及夜晚进行；

通过摄像机内部参数和外部参数对图像进行畸变矫正和透视变换，获得没有畸变的道路俯视图；

在没有畸变的道路俯视图上建立平面坐标系，提取图像中车辆行驶方向同向道路区域的每条路面标线，采用深度神经网络模型拟合获得数学方程参数，制作训练数据 集，数学方程可以采用2次、3次曲线或其他方程，可根据实际需求调整，数据集是 以与图像路面标线对应的数学方程参数作为标签；

训练深度神经网络模型识别路面标线输出方程所有识别参数；

其中，识别参数包括A₁、A₂……A_k共k个拟合数学方程参数和A_k+1、A_k+2……A_k+i共i(i≥1)个路面标线参数，路面标线条数和路面标线参数个数的关系为2ⁱ>n>2^i-1。 参见图1，深度神经网络模型可以采用Resnet或其他用于图像分类的深度神经网络模 型，将图像分类深度神经网络模型输出层替换为全连接层和连接在全连接层后的一层 输出层，全连接层的每层节点数为1024个，输出层的节点数为n*(k+i)个，训练数 据集即标签为n*(k+i)维向量label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……， Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i]。全连接层的层数及每层的节点个数也可根据实际需求调整，1024 个节点的全连接层可以根据网络的识别效果进行调整，可以增加全连接层的层数，以 及改变全连接层的节点数量，例如：可以将上述的一个具有1024个节点的全连接层， 修改成两个具有2048个节点的全连接层。。

进一步的，训练深度神经网络模型时，采用分阶段训练方法，对模型进行裁剪， 使模型只输出方程参数中的第一个参数，并训练模型识别路面标线输出方程参数中的 第一个参数，然后在修改模型，使模型输出方程参数中的第一个和第二个参数，并训 练模型识别路面标线输出方程参数中的第一个和第二个参数，以此类推，直到模型输 出方程所有参数，并训练模型识别路面标线输出方程所有参数。

方法具体包括如下步骤：

S1：参见图2，剪裁深度神经网络模型，仅输出数学方程参数A₁，将深度神经网 络模型最后输出层进行裁剪，将A¹ ₂……A¹ _k+i，A² ₂……A² _k+i，……，Aⁿ ₂……Aⁿ _k+i参数 对应的节点删除，只留下A¹ ₁，A² ₁，……，Aⁿ ₁，剪裁训练数据集，将对应的训练样本 标签label进行裁剪，保留label＝[A¹ ₁，A² ₁，……，Aⁿ ₁]；

S2：训练所述深度神经网络模型；

S3：参见图3，待上述深度神经网络模型训练稳定后，再次修改上述深度神经网 络模型，将最后输出层节点增加n个，修改为对应参数A¹ ₁，A¹ ₂，A² ₁，A² ₂，……， Aⁿ ₁，Aⁿ ₂，的输出层，训练数据集也相应修改为：label＝[A¹ ₁，A¹ ₂，A² ₁，A² ₂，……， Aⁿ ₁，Aⁿ ₂]。

以S1-S3方法类推，直到深度神经网络模型增加到输出层节点数达到n*(k+i)个，参见图1，即对应参数A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i， 用完整的训练数据集label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂…… Aⁿ _k+i]对最初定义的深度神经网络模型进行训练。

进一步的，训练数据集label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i]的参数与路面标线的对应关系为，从左到右，依次对应A¹ ₁，A¹ ₂……A¹ _k+i， A² ₁，A² ₂……A² _k+i，依次类推，即A¹ ₁，A¹ ₂……A¹ _k+i至Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i依次对应从 左到右排列的n条所述路面标线。

进一步的，为了适应车辆换道场景，路面标线参数用于区分路面标线，路面标线参数使用0和1的不同组合，代表不同的路面标线，并且路面标线参数A_k+1……A_k+i的个数i根据行驶路段需要识别的路面标线数量确定，具体地，路面标线条数和路面 标线参数个数的关系为2ⁱ>n>2^i-1。

例如：当车辆行驶路段只有两条路面标线时，可以只使用A_k+1一个参数，当A_k+1为0时代表一条路面标线，当A_k+1为1时代表另一条路面标线，当车辆行驶路段有3 种或4种路面标线时，则可以是用A_k+1，A_k+2两个参数区分，A_k+1和A_k+2使用0和1 的不同组合，代表不同的路面标线，依次类推。

参见图4，当车辆在只有2条路面标线的路段行驶时，即道路区域设有2条路面 标线时，所述路面标线参数个数为1个，深度神经网络模型输出层节点为：

label＝[A¹ ₁，A¹ ₂……A¹ _k，A¹ _k+1，A² ₁，A² ₂……A² _k，A² _k+1]，训练数据集中A¹ _k+1代表左侧第一条路面标线，A² _k+1代表左侧第二条路面标线，A¹ _k+1和A² _k+1的值可取0 或1，但A¹ _k+1和A² _k+1的值不同。例如：可以设A¹ _k+1＝0代表左边第一条线(单实线)， A² _k+1＝1代表左边第二条线(单虚线)。

参见图4，当车辆在存在3条路面标线的路段行驶时，即道路区域设有3条路面 标线时，所述路面标线参数个数为2个，深度神经网络模型输出层节点为：

label＝[A¹ ₁，A¹ ₂……A¹ _k，A¹ _k+1，A¹ _k+2，A² ₁，A² ₂……A² _k，A² _k+1，A² _k+2，A³ ₁， A³ ₂……A³ _k，A³ _k+1，A³ _k+2]，训练数据集中A¹ _k+1和A¹ _k+2的组合代表左侧第一条路面标 线，A² _k+1和A² _k+2的组合代表左侧第二条路面标线，A³ _k+1和A³ _k+2的组合代表左侧第三 条路面标线，A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值可 取0和1的不同组合，但A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值互不相同。例如：可以设A¹ _k+1，A¹ _k+2为00组合，代表最左边第一条线(单 实线)，A² _k+1，A² _k+2为01组合，代表左边第二条线(双虚线)，A³ _k+1，A³ _k+2为10组 合，代表左边第三条线(单虚线)。

根据本发明的第二个方面，提供了一种路面标线图像识别方法，方法采用上述的一种路面标线图像识别的训练方法所训练的深度神经网络模型，深度神经网络模型训 练稳定后，即可使用训练好的深度神经网络模型对道路图像中的路面标线进行识别并 输出对应的拟合方程参数，具体包括：

通过车辆前视摄像机拍摄车辆前进方向道路区域的图像，将图像输入深度神经网络模型；

深度神经网络模型对图像中的车道线进行识别；

深度神经网络模型输出车道线对应的拟合数学方程参数。

采用训练完成后的深度神经网络模型，能够直接输出建立在路面俯视图像上的平面坐标系的拟合方程参数，不需要再进行畸变矫正和透视变换。

根据本发明的第三个方面，提供了一种能够识别路面标线图像的车辆，采用上述的一种路面标线图像识别方法识别路面标线。

这里采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。 使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换，例如 不同规格的元器件的替换，也可能存在。相应的，权利要求应视为覆盖所有这些等效 物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离 本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精 神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (11)

1.一种路面标线图像识别的训练方法，包括：

通过车辆前视摄像机拍摄所述车辆前进方向道路区域的图像，所述道路区域设有n条路面标线(n≥1)；

通过所述摄像机内部参数和外部参数对所述图像进行畸变矫正和透视变换，获得的道路俯视图；

在所述道路俯视图上建立平面坐标系，提取图像中车辆行驶方向同向道路区域的所述路面标线，采用深度神经网络模型输出识别参数，制作训练数据集；

训练所述深度神经网络模型识别路面标线输出的所有识别参数；

其特征在于，所述识别参数包括A₁、A₂……A_k共k个拟合数学方程参数和A_k+1,A_k+2……A_k+i共i个路面标线参数，所述路面标线条数和所述路面标线参数个数的关系为2ⁱ>n>2^i-1，所述深度神经网络模型包括全连接层和连接在所述全连接层后的输出层，所述输出层的节点数为n*(k+i)个，所述训练数据集为n*(k+i)维向量label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i]。

2.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，采用分阶段训练，包括如下步骤：

S1：剪裁所述深度神经网络模型，仅输出数学方程参数A₁，剪裁所述输出层，仅保留所述数学方程参数A¹ ₁，A² ₁，……，Aⁿ ₁所对应的节点，剪裁所述训练数据集，保留label＝[A¹ ₁，A² ₁，……，Aⁿ ₁]；

S2：训练所述深度神经网络模型；

S3：修改所述深度神经网络模型，所述数学方程参数增加1个，所述输出层保留的节点增加n个，所述训练数据集的向量维度增加n个；

S4：重复步骤S2-S3。

3.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，所述图像拍摄于晴天的正午及夜晚。

4.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，所述图像拍摄于阴天的正午及夜晚。

5.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，所述图像拍摄于雨天的正午及夜晚。

6.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，所述训练数据集label＝[A¹ ₁，A¹ ₂……A¹ _k+i，A² ₁，A² ₂……A² _k+i，……，Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i]的参数A¹ ₁，A¹ ₂……A¹ _k+i至Aⁿ ₁，Aⁿ ₂……Aⁿ _k+i依次对应从左到右排列的n条所述路面标线。

7.根据权利要求1所述的一种路面标线图像识别的训练方法，其特征在于，所述路面标线参数使用0和1的不同组合，代表不同的路面标线。

8.根据权利要求7所述的一种路面标线图像识别的训练方法，其特征在于，所述道路区域设有2条路面标线时，所述路面标线参数个数为1个，所述训练数据集中A¹ _k+1代表左侧第一条路面标线，A² _k+1代表左侧第二条路面标线，所述A¹ _k+1和A² _k+1的值可取0或1，所述A¹ _k+1和A² _k+1的值不同。

9.根据权利要求7所述的一种路面标线图像识别的训练方法，其特征在于，所述道路区域设有3条路面标线时，所述路面标线参数个数为2个，所述训练数据集中A¹ _k+1和A¹ _k+2的组合代表左侧第一条路面标线，A² _k+1和A² _k+2的组合代表左侧第二条路面标线，A³ _k+1和A³ _k+2的组合代表左侧第三条路面标线，所述A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值可取0和1的不同组合，所述A¹ _k+1和A¹ _k+2的组合、A² _k+1和A² _k+2的组合、A³ _k+1和A³ _k+2的组合的值互不相同。

10.一种路面标线图像识别方法，所述方法采用由权利要求1-9所述的一种路面标线图像识别的训练方法所训练的深度神经网络模型，其特征在于，所述路面标线图像识别方法包括：

通过车辆前视摄像机拍摄所述车辆前进方向道路区域的图像，将所述图像输入所述深度神经网络模型；

所述深度神经网络模型对所述图像中的车道线进行识别；

所述深度神经网络模型输出所述车道线对应的拟合数学方程参数。

11.一种能够识别路面标线图像的车辆，采用如权利要求10所述的一种路面标线图像识别方法识别路面标线。