CN108090456B - 识别车道线模型的训练方法、车道线识别方法及装置 - Google Patents
识别车道线模型的训练方法、车道线识别方法及装置 Download PDFInfo
- Publication number
- CN108090456B CN108090456B CN201711444708.6A CN201711444708A CN108090456B CN 108090456 B CN108090456 B CN 108090456B CN 201711444708 A CN201711444708 A CN 201711444708A CN 108090456 B CN108090456 B CN 108090456B
- Authority
- CN
- China
- Prior art keywords
- lane line
- line
- model
- feature map
- suggested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000001629 suppression Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 abstract description 38
- 238000001514 detection method Methods 0.000 abstract description 26
- 230000001788 irregular Effects 0.000 abstract description 8
- 238000013136 deep learning model Methods 0.000 abstract description 5
- 238000000926 separation method Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种识别车道线模型的训练方法，通过获取标注有目标线的道路图像样本，将道路样本图像输入识别车道线模型，获得特征图，道路图像样本中的目标线与特征图在左边缘、右边缘以及下边缘方向的建议线分别进行比较，根据比较结果调整识别车道线模型中的参数，最小化识别车道线模型的损失函数。由于该识别车道线模型为深度学习模型，通过权值共享可以学习目标线的图像特征，大幅度提升了车道线线检测功能，即使车道线被遮挡、光照或车道线为曲线、不规整线，或者存在合并分离等情况，也可以进行检测，具有较好的鲁棒性。本申请还公开了一种基于上述模型的车道线识别方法。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种车道线识别方法和装置。
背景技术
随着智能化系统被应用到车辆驾驶领域中，越来越多的车辆上配置了能够实现自动驾驶功能或辅助驾驶功能的智能系统。为了实现自动驾驶功能或辅助驾驶功能，车辆上的智能系统通常需要从车辆周围的道路图像中识别出车道线，以确定车辆附近的行驶车道，从而指导车辆的驾驶。
现有车道线检测技术通常基于传统的图像处理，利用人为设计的特征提取边缘，然后对边缘进行霍夫变换等操作后处理得到车道线，但是该种方式无法有效处理车道线遮挡、模糊、弯道、曲线、雨天等复杂路况。另外，现有技术中深度学习检测算法都是基于局部的物体进行检测，而车道线是一个全局的物体，由于线的细长结构，一个刚好包含车道线的外切框包含线的信息极少，对于竖直的线无法找到一个外切框，因此现有的基于深度学习的物体检测算法不适用于车道线检测，无法对车道线进行准确识别。
发明内容
有鉴于此，本申请提供一种车道线识别和装置，以解决现有技术中无法对车道线进行准确识别的技术问题。
为解决上述问题，本申请实施例提供的技术方案如下：
第一方面，本申请实施例提供了一种识别车道线模型的训练方法，该方法包括：
获取道路样本图像，所述道路样本图像中包括目标线，所述目标线为标注了的车道线；
将所述道路样本图像输入识别车道线模型，获得特征图，所述特征图包括多个网格，在所述特征图的左边缘、下边缘以及右边缘的网格上分别设置有不同斜率的建议线，所述识别车道线模型为深度神经网络模型；
从所述特征图中提取所述目标线，将所述目标线与各个所述建议线相比较，获得比较结果；
根据所述比较结果调整所述识别车道线模型中的参数，使得所述识别车道线模型的损失函数最小。
可选的，所述将所述目标线与各个所述建议线相比较，获得比较结果包括：
比较各个所述建议线与所述目标线的距离；
若所述距离小于或等于正样本阈值，将所述建议线确定为正样本；
若所述距离大于或等于负样本阈值，将所述建议线确定为负样本。
可选的，所述损失函数为：
所述pi表示第i个建议线被预测为车道线的概率，所述
表示第i个建议线的分类标签，当所述建议线为正样本时，所述
赋值为1，当所述建议线为负样本时，所述
赋值为0；所述ri表示第i个建议线被预测为车道线的回归结果，所述ri *表示第i个建议线的回归标签；所述λ为平衡权重；
所述Loss(pi，ri)为包括分类损失和回归损失的多任务损失目标函数，所述Lcls表示分类损失，所述Lreg表示回归损失。
可选的，所述建议线与所述目标线的距离为所述建议线与所述目标线在纵坐标方向公共部分误差的绝对值的平均值。
可选的，所述特征图在纵坐标方向均分为S行，所述建议线和/或所述目标线采用S+2个数值表示，所述S+2个数值具体为各条线在S行对应的横坐标以及所述各条线的起始位置对应的索引和终止位置对应的索引，其中，所述S为正整数。
可选的，将所述道路样本图像输入识别车道线模型，获得特征图包括：
对所述道路样本图像进行全卷积，获得所述道路样本图像的特征图。
第二方面，本申请实施例提供了一种车道线识别方法，该方法包括：
获取车辆周围的当前道路图像；
将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线；所述识别车道线模型是根据识别车道线模型的训练方法训练生成的识别车道线模型。
可选的，所述将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线包括：
对所述当前道路图像进行全卷积，得到所述当前道路图像的特征图；所述特征图包括多个网格；所述特征图的左边缘、下边缘以及右边缘的各个网格上分别设置有k条建议线，所述k为正整数；
针对所述特征图的左边缘、右边缘、下边缘分别采用不同的参数进行卷积和池化，得到车道线特征；
对应于每个所述特征图的左边缘、下边缘以及右边缘的各个网格，根据车道线特征分别输出k组预测结果，分别对应所述k个建议线的分类结果和回归结果；所述分类结果采用所述建议线被预测为车道线的概率表示，所述回归结果采用建议线在S行的横坐标相对所述建议线的偏移值和相对终止位置表示，其中，所述S为正整数；
针对所述概率大于或等于预设阈值的所述建议线，进行非极大值抑制处理，将处理后的结果作为最终预测结果；
根据所述最终预测结果确定所述当前道路图像中的车道线。
第三方面，本申请实施例提供了一种识别车道线模型的训练装置，所述装置包括：
第一获取单元，用于获取道路样本图像，所述道路样本图像中包括目标线，所述目标线为标注了的车道线；
第二获取单元，用于将所述道路样本图像输入识别车道线模型，获得特征图，所述特征图包括多个网格，在所述特征图的左边缘、下边缘以及右边缘的网格上设置有不同斜率的建议线，所述识别车道线模型为深度神经网络模型；
提取单元，用于从所述特征图中提取所述目标线；
比较单元，用于将所述目标线与各个所述建议线相比较，获得比较结果；
调整单元，用于根据所述比较结果调整所述识别车道线模型中的参数，使得所述识别车道线模型的损失函数最小。
第四方面，本申请实施例提供了一种车道线识别装置，所述装置包括：
当前道路图像获取单元，用于获取车辆周围的当前道路图像；
车道线确定单元，用于将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线；所述识别车道线模型是根据本申请实施例第一方面提供的识别车道线模型的训练方法训练生成的识别车道线模型。
由此可见，本申请实施例具有如下有益效果：
通过获取标注有目标线的道路图像样本，将道路样本图像输入识别车道线模型，获得特征图，道路图像样本中的目标线与特征图在左边缘、右边缘以及下边缘方向的建议线分别进行比较，根据比较结果调整识别车道线模型中的参数，最小化识别车道线模型的损失函数。由于该识别车道线模型为深度学习模型，通过深度神经网络可以学习目标线的图像特征，大幅度提升了车道线线检测功能，即使车道线被遮挡、光照或车道线为曲线、不规整线，或者存在合并分离等情况，也可以进行检测，具有较好的鲁棒性。与传统的基于深度学习的分割聚类拟合方案，本申请实施例提供的识别车道线模型训练方法训练出的模型具有更好的检测精度，平均误差也大幅降低，避免了扭曲线型的技术问题，而且由于处理速度有大幅提高，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
附图说明
图1所示为本申请实施例提供的一种识别车道线模型的训练方法的流程图；
图2所示为本申请实施例提供的一种特征图的左、右、下边缘分别设置不同斜率建议线的示意图；
图3所示为本申请实施例提供的一种车道线识别方法的流程图；
图4所示为本申请实施例提供的一种识别车道线模型确定当前道路图像中的车道线的方法的流程图；
图5所示为本申请实施例提供的一种识别车道线模型的训练方法的流程图；
图6所示为本申请实施例提供的一种车道线识别方法的流程图；
图7所示为本申请实施例提供的一种识别车道线模型的训练装置的结构示意图；
图8所示为本申请实施例提供的一种车道线识别装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
传统技术中深度学习物体检测都是基于局部的物体进行检测，而车道线是一个全局的物体，由于线的细长结构，一个刚好包含车道线的外切框包含线的信息极少，对于竖直的线无法找到一个外切框，因此现有的基于深度学习的物体检测算法不适用于车道线检测，无法对车道线进行准确识别。
有鉴于此，本申请实施例提供了一种识别车道线模型的训练方法，以及一种基于识别车道线模型的车道线识别方法。通过获取标注了车道线的道路样本图像，将道路样本图像输入识别车道线模型，获得特征图，在特征图的左边缘、下边缘以及右边缘的网格上分别设置有不同斜率的建议线，将各个建议线分别与道路样本图像中标注的车道线进行比较，根据比较结果调整识别车道线模型中的参数，使得识别车道线模型的损失函数最小，从而实现识别车道线模型的训练。
基于该识别车道线模型，可以获取车辆周围的当前道路图像，将当前道路图像输入到识别车道线模型中，并基于识别车道线模型的输出结果，确定当前道路图像中的车道线。
在上述实施例中，由于待识别的对象为车道线，基于车道线的线条结构，并不需要通过建议框等类似的矩形框标识被识别的对象，可以采用建议线代替建议框，使得识别车道线模型通过深度学习，输出各个建议线被预测为车道线的概率，以及相应的表征位置的回归结果，根据上述概率以及回归结果输出最终的预测结果，也就是哪条线为车道线以及车道线的位置。
上述识别车道线模型的训练方法以及车道线识别方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。还需要注意的是，本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个示例。本申请的实施方式在此方面不受任何限制。
以下结合附图对本申请实施例提供的识别车道线模型的训练方法进行详细说明。
图1所示为本申请实施例提供的一种识别车道线模型的训练方法的流程图，请参照图1，该方法包括：
S101：获取道路样本图像，道路样本图像中包括目标线，目标线为标注了的车道线。
道路样本图像可以视为用于训练识别车道线模型的样本图像。本申请实施例中的训练是一种有监督的训练，因而，道路样本图像中包括标注了的车道线，可以将标注的车道线作为目标线，通过目标线对识别车道线模型进行训练。道路样本图像可以是历史图像也可以是实时拍摄的图像。作为一种可能的实现方式，可以获取车辆的前视摄像头采集的图像，对图像中的车道线进行标注，将标注后的图像作为道路样本图像。
S102：将道路样本图像输入识别车道线模型，获得特征图。
识别车道线模型可以为深度神经网络模型。将道路样本图像输入识别车道线模型，可以根据识别车道线模型中的卷积层，对道路样本图像进行卷积计算，学习道路样本图像中的特征，从而获得道路样本图像的特征图。可以理解，采用不同的卷积参数，例如不同的卷积核，可以提取到不同的特征，例如，可以提取到道路样本图像的边缘轮廓特征。在一种可能的实现方式中，可以对道路样本图像进行全卷积，从而获得道路样本图像的特征图。需要说明的是，在对道路样本图像进行卷积计算后，还可以通过识别车道线模型中的池化层对卷积后的图像进行池化，从而得到特征图。
特征图可以包括多个网格，在特征图的左边缘、下边缘以及右边缘的网格上分别设置有不同斜率的建议线。图2所示为在特征图左边缘、下边缘以及右边缘的网格上分别设置不同斜率的建议线的示意图。其中，左边缘、下边缘以及右边缘的网格的建议线的数量和斜率可以分别进行设置。可以理解，下边缘的网格的建议线的斜率可以和左边缘、右边缘的特征网络上的建议线的斜率相同，也可以不同。本申请实施例对建议线的斜率和数量不做限定，可以根据需求进行设置。
为了便于模型训练和预测，本申请实施例定义了一种车道线的表示方法。该车道线包括目标线和针对车道线的预测线也即建议线。在本申请实施例中，将特征图在Y方向(纵坐标方向)均分为S行，S为正整数，针对目标线和/或建议线中的任意一条线，在特征图的每行均对应一个横坐标，该横坐标可以用X_i进行表示。其中，i可以是1至S的任意正整数。例如，第一行的横坐标为X_1，第2行的横坐标为X_2，依此类推，第i行的横坐标为X_i。上述S个横坐标可以体现车道线的位置，为了对车道线进行更精准的表示，还可以增加起始位置对应的索引和终止位置对应的索引。
S103：从特征图中提取目标线，将目标线与各个建议线相比较，获得比较结果。
本申请实施例提供的识别车道线模型的训练方法可以是一种有监督的训练方法。具体而言，通过对识别车道线模型的参数进行优化，使得对于每一个道路样本图像，识别车道线模型的输出均接近目标线，或者说，与目标线相似，从而实现在使用该识别车道线模型进行预测时，可以较为准确地预测出当前道路图像的车道线。
为了使识别车道线模型的输出接近目标线，可以从特征图中提取目标线，将目标线与各个建议线比较，获得比较结果。由于目标线是与各个建议线分别进行比较，因而可以获得目标线与各个建议线的比较结果，该比较结果在一定程度上能够表征各个建议线与目标线的相似程度。基于各个建议线与目标线的相似程度，可以对识别车道线模型进行训练，使得识别车道线模型输出与目标线最相似或者相似程度达到一定阈值的建议线。
可以理解，目标线为道路图像样本中已进行标注的车道线，具有边缘轮廓特征，可以从道路图像样本的特征图中提取出该目标线。从特征图提取目标线可以有多种实现方式。在一种可能的实现方式中，可以根据标注数据，例如标注的车道线位置、标注的车道线上点的坐标等，从特征图中提取出目标线。
在提取目标线后，将目标线与各个建议线比较的目的在于，衡量各个建议线与目标线的相似程度。衡量线的相似程度可以有多种实现方式。针对任意一条建议线和目标线，可以分别对线的斜率以及在水平方向或垂直方向上的截距进行比较，当该建议线的斜率与目标线斜率相近，且该建议线在水平方向或垂直方向上的截距与目标线在相应方向上的截距相同时，该建议线可以视为与目标线重合。对于建议线和目标线的相似程度，还可以采用线的距离进行衡量。
本申请实施例提供了一种建议线和目标线的距离的表示方法，具体为采用该建议线与目标线在纵坐标方向公共部分误差绝对值的平均值进行表示。由于目标线为真实的车道线，在道路样本图像中具有起始位置和终止位置，因而目标线实际上可以视为一条线段，在比较一条线段与一条线的距离时，可以仅对该线段与该线在对应的区间内的距离进行比较。针对建议线和目标线，可以对其在起始位置和终止位置的公共部分进行比较，将建议线与目标线在纵坐标方向公共部分误差的绝对值的平均值作为建议线和目标线的距离。由于采用公共部分进行比较，使得这种表示建议线和目标线的距离的方式能够更准确地衡量建议线和目标线的相似程度。本申请实施例对线的距离的表示方式不作限定，在本申请实施例其他可能的实现方式中，也可以采用其他方式表示建议线和目标线的距离。
在获得建议线和目标线的距离之后可以将其与预设阈值进行比较，以确定建议线是否与目标线相似。在一种可能的实现方式中，若建议线与目标线的距离小于或等于正样本阈值，可以将该建议线确定为正样本，若建议线与目标线的距离大于或等于负样本阈值，可以将建议线确定为负样本。其中，正样本阈值可以视为评价两条线是否相似的标准，负样本阈值可以视为评价两条线为不同的线的标准，当两条线的距离小于或等于正样本阈值时，可以视为这两条线相似，当两条线的距离大于或等于负样本阈值时，可以视为这两条线不相似，属于两条不同的线。其中，正样本阈值和负样本阈值可以根据经验设置。例如，正样本阈值可以设置为15，负样本阈值可以设置为20。
针对任意一个道路样本图像，在其特征图的左边缘、右边缘以及下边缘均存在建议线，将其中的每一个建议线分别与目标线进行比较，可以得到每一个建议线的比较结果，即该建议线为正样本或负样本，或者两者都不是。由于识别车道线模型识别过程实际是从多个建议线中识别出与真实车道线相似的建议线作为识别结果，为了使训练出的识别车道线模型更贴合真实场景，识别准确率更高，可以在训练过程中将正样本和负样本的比例控制在预设比例。例如，可以将正样本和负样本的比例控制在1：15。
S104：根据比较结果调整识别车道线模型中的参数，使得识别车道线模型的损失函数最小。
识别车道线模型主要用于对图像中的车道线进行预测，为此，需要预测出建议线是否为车道线，以及车道线的位置。其中，预测建议线是否为车道线可以通过对建议线进行分类实现，而车道线的位置可以通过回归的方式确定，也就是说识别车道线模型至少具有两个输出目标，分别为预测的分类结果以及预测的回归结果。为了对训练的识别车道线模型的预测结果进行验证，可以采用损失函数，也即目标函数，对识别车道线模型进行训练。其中，损失函数可以包括分类损失以及回归损失的函数。
由于损失函数既包括分类损失，也包括回归损失，因此，可以在预测的分类结果以及预测的回归结果之间取得均衡，在保证预测分类结果的准确性的同时，也保证对回归结果的预测准确性。由于损失函数既要体现分类损失，也要体现回归损失，可以将分类损失函数和回归损失函数进行加和，得到损失函数，也可以通过其他方式体现分类损失和回归损失。在本申请实施例一些可能的实现方式中，损失函数可以为如下公式所示：
其中，pi表示第i个建议线被预测为车道线的概率，
表示第i个建议线的分类标签，当建议线为正样本时，
赋值为1，当建议线为负样本时，
赋值为0；ri表示第i个建议线被预测为车道线的回归结果，ri *表示第i个建议线的回归标签；λ为平衡权重；Loss(pi，ri)为包括分类损失和回归损失的多任务损失目标函数，Lcls表示分类损失，Lreg表示回归损失。
由于损失函数表征了分类损失和回归损失，损失函数越小，可以视为模型在识别过程中损失越小，识别越准确，因此，可以对识别车道线模型的参数进行调整，以使识别车道线模型的损失函数最小。
对识别车道线模型的参数进行调整可以有多种方式，为了提高识别车道线模型的训练效率，可以结合S103中的比较结果进行针对性地调整。具体可以为，调整识别车道线模型中的参数，增加正样本被预测为分类线的概率，降低负样本被预测为分类线的概率。
以上为本申请实施例提供的一种识别车道线模型的训练方法的具体实现方式，通过获取标注有目标线的道路图像样本，将道路样本图像输入识别车道线模型，获得特征图，道路图像样本中的目标线与特征图在左边缘、右边缘以及下边缘方向的建议线分别进行比较，根据比较结果调整识别车道线模型中的参数，最小化识别车道线模型的损失函数。由于该识别车道线模型为深度学习模型，通过权值共享可以学习目标线的图像特征，大幅度提升了车道线线检测功能，即使车道线被遮挡、光照或车道线为曲线、不规整线，或者存在合并分离等情况，也可以进行检测，具有较好的鲁棒性。与传统的基于深度学习的分割识别方案，本申请实施例提供的识别车道线模型训练方法训练出的模型具有更好的检测精度，平均误差也大幅降低，避免了扭曲线型的技术问题，而且由于处理速度有大幅提高，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
基于上述实施例提供的一种识别车道线模型的训练方法，本申请实施例还提供了一种车道线识别方法，下面结合附图对该车道线识别方法的具体实施方式进行介绍。
图3示出了本申请实施例提供的一种车道线识别方法的流程图，请参照图3，该方法包括：
S301:获取车辆周围的当前道路图像。
当前道路图像可以理解为当前车辆所能获取的道路的图像。当前道路图像中可以包括车道线，该车道线可以被识别出来，从而可以给驾驶员驾驶车辆提供帮助。
当前道路图像可以从车辆的存储设备中获取，也可以通过摄像头等实时采集得到。在一种可能的实现方式中，可以通过车辆的前视摄像头采集获取。本申请实施例对获取当前道路图像的获取方式不做限定，任意有效获取当前道路图像的方法均可以应用于本申请实施例。
S302:将当前道路图像输入到识别车道线模型中，并基于识别车道线模型的输出结果，确定当前道路图像中的车道线。
在将当前道路图像输入到识别车道线模型之前，还可以将当前道路图像缩放至预设尺寸。预设尺寸可以根据经验预先设置。例如，预设尺寸可以为288*512。将当前道路图像缩放至预设尺寸，可以在保证准确度的前提下，降低图像规模，从而减少识别车道线模型的计算量，提高识别车道线模型的识别效率。
本步骤中的识别车道线模型是根据上述具体实施方式提供的识别车道线模型的训练方法训练生成的识别车道线模型。该识别车道线模型是一种基于建议线的深度神经网络模型，在训练过程中，可以学习道路图像样本的特征，当输入当前道路图像到识别车道线模型中后，该识别车道线模型可以利用学习到的道路图像样本中的特征对当前道路图像中的车道线进行预测，从当前道路图像的特征图中包括的多个建议线中识别出与车道线相似的建议线，可以将该建议线作为当前道路图像中的车道线。
以上为本申请实施例提供的一种车道线识别方法的具体实施方式，通过获取车辆周围的当前道路图像，将当前道路图像输入到识别车道线模型中，该识别车道线模型可以基于训练过程中学习到的道路图像样本的特征，对当前道路图像中的车道线进行预测，从当前道路图像的特征图中包括的多个建议线，识别出与车道线相似的建议线，基于识别车道线模型的输出结果，可以确定当前道路图像中的车道线。由于采用了基于建议线的端到端深度神经网络模型对车道线进行预测，即使存在车道线遮挡、模糊或者弯道等复杂路况，也可以利用该模型对车道线进行预测，并且具有较高的准确率。
在上述实施例中，识别车道线的关键在于，识别车道线模型对当前道路图像的处理。下面结合图4，对识别车道线模型识别当前道路图像中的车道线过程进行介绍。
图4所示为本申请实施例提供的一种识别车道线模型确定当前道路图像中的车道线的方法的流程图。请参照图4，该方法包括：
S401：对当前道路图像进行全卷积，得到当前道路图像的特征图。
由于卷积计算可以提取图像特征，因而可以对当前图像进行卷积计算，得到当前道路图像的特征图。在一种可能的实现方式中，可以对当前道路图像进行全卷积，得到当前道路图像的特征图。除了可以进行全卷积之外，还可以采用其他方式获得当前道路图像的特征图，本申请实施例对此不做限定。
特征图在水平方向和垂直方向具有多个网格。特征图的左边缘、下边缘以及右边缘的各个网格上分别设置有k条建议线，k为正整数。需要说明的是，针对特征图的各个边缘，网格上的建议线的数量可以是不同的。例如，可以在左边缘、右边缘的各个网格上各设置6条建议线，而下边缘的出线方向可以向左，也可以向右，可以在下边缘的各个特征网络各设置15条建议线。
S402:针对特征图的左边缘、右边缘、下边缘分别采用不同的参数进行卷积和池化，得到车道线特征。
可以理解，本申请实施例提供的识别车道线模型可以视为基于建议线的卷积神经网络实现的。该识别车道线模型可以包括多层卷积层和多层池化层，通过卷积和池化可以学习当前道路图像中的特征，而车道线一般是从图像的左边缘、右边缘、下边缘出现的，因此可以分别采用不同的参数对特征图的左边缘、右边缘、下边缘进行卷积和池化，实现特征提取，从而得到对应于左边缘、右边缘和下边缘的车道线特征。
在一种可能的实现方式中，池化的方式可以为横向池化或纵向池化。具体为，将最后一层的特征图进行横向池化或纵向池化，即针对每一张特征图，采用池化窗口进行池化得到一个特征点，将各个特征点组合可以得到特征向量，该特征向量可以用于表示车道线特征。
为了便于理解，举例说明。例如，在本步骤中进行卷积之后，输出1024个256*256的特征图，对每一个特征图，采用256*1的池化窗口进行横向池化后，可以得到对应于每一个特征图的特征点，将这1024个特征点组合，可以得到1*256*1024维的特征向量，该特征向量可以用于分类。作为本申请的一个具体示例，也可以采用1*256的池化窗口进行纵向池化，得到256*1*1024维的特征向量。
由于仅在识别车道线模型的最后分别采用不同的参数进行卷积和池化，而在此之前的卷积、池化等参数是共享的，因此可以大大减少参数的数量，节省了参数优化时间，提高了识别车道线模型的训练效率。
S403：对应于每个特征图的左边缘、下边缘以及右边缘的各个网格，根据车道线特征分别输出k组预测结果，分别对应k个建议线的分类结果和回归结果。
基于训练过程中学习到的道路图像样本特征，识别车道线模型可以从当前道路图像的特征图中提取车道线特征，基于提取到的车道线特征，可以对当前道路图像中的车道线进行预测，具体可以预测当前道路图像的特征图中的各个建议线为车道线的概率，以及车道线的位置。由于在特征图的左边缘、下边缘以及右边缘的各个网格上均设置有k条建议线，针对每一条建议线，均可以输出一组预测结果，包括该建议线的分类结果以及回归结果，因此，针对每个网格，可以分别输出k组预测结果。
其中，分类结果可以采用建议线被预测为车道线的概率表示，回归结果采用预测的建议线在S行的S个横坐标相对建议线的偏移值和相对终止位置表示，其中，S为正整数。在获取到相对建议线的偏移值后，可以根据预设建议线的位置信息得到车道线在S行分别对应的绝对横坐标。由于车道线是从当前道路图像特征图的左边缘、右边缘或下边缘出线的，因而车道线的起始位置位于特征图的左边缘、右边缘或下边缘，可以通过特征图上的点得到绝对起始位置。根据该起始位置以及预测的相对终止位置，可以得到绝对终止位置。
S404：针对概率大于或等于预设阈值的建议线，进行非极大值抑制处理，将处理后的结果作为最终预测结果。
在S403中，获得各个建议线被预测为车道线的概率后，可以根据概率对建议线进行排序，当概率大于或等于预设阈值时，可以将该建议线视为与车道线相似的建议线。可以理解，概率大于或等于预设阈值的建议线的数量可以为多个，这多个建议线可以存在大量重叠的建议线，为了减少冗余，可以基于建议线的概率进行非极大值抑制处理，可以将处理后的结构作为最终预测结果。由于非极大值抑制是去除冗余的建议线，因此，并不影像最终的检测准确率，并且能够提高识别车道线模型的识别效率。
S405：根据最终预测结果确定当前道路图像中的车道线。
最终预测结果是根据各个网格的k组预测结果得到，由于k组预测结果中包括各个网格的k个建议线被预测为车道线的概率以及车道线的回归结果，因此，最终预测结果也包括建议线被预测为车道线的概率以及车道线的回归结果，根据该最终预测结果，可以得到预测的车道线以及该车道线的具体表示方式。
以上为本申请实施例提供的一种识别车道线模型确定当前道路图像中的车道线的方法的具体实施方式，通过对输入的当前道路图像进行全卷积，可以得到当前道路图像的特征图，特征图中具有多个网格，在左边缘、右边缘以及下边缘的各个网格上设置有k个建议线，识别车道线模型基于已学习的道路图像样本中的特征，可以提取当前道路图像的车道线特征，根据提取到的车道线特征预测在左边缘、右边缘以及下边缘的各个网格的k个建议线分别被预测为车道线的概率，针对概率大于或等于预设阈值的建议线，进行非极大值抑制处理，可以减少冗余建议线的数量，加快处理效率，根据非极大值抑制处理后得到的最终预测结果，可以得到预测的车道线以及该车道线的具体表示。
由上可知，本申请实施例提供的车道线识别方法，采用基于建议线的深度神经网络模型，可以检测遮挡、光照、弯道、不规则线等不同路况的车道线，具有较好的鲁棒性。而且，与基于局部的深度学习检测算法相比，本申请实施例提供的车道线识别方法的精度提高了10％，平均误差也大幅降低，避免了扭曲线型的问题。此外，由于本申请实施例提供的识别方法具有较高的处理速度，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
为了便于更清楚地理解本申请实施例提供的识别车道线模型的训练方法和车道线识别方法，下面结合具体应用场景对本申请实施例提供的识别车道线模型的训练方法以及车道线识别方法进行介绍。
图5所示为本申请实施例提供的一种识别车道线模型的训练方法的流程图，请参照图5，该方法包括：
S501：获取约100万个标注有目标线的道路图像样本。
上述道路图像样本可以从已有的道路图像样本集中获取，也可以通过车辆的前视摄像头采集，并进行标注得到。还可以通过对图像进行旋转、平移、缩放等方式得到新的道路图像样本。
S502：将道路图像样本缩放至288*512。
为了便于训练，可以将道路图像样本缩放至预设尺寸。288*512为一种常用的、用于训练的图像尺寸，在本申请实施例其他可能的实现方式中，也可以缩放至其他尺寸，本申请实施例对此不做限定。
S503：将缩放后的道路图像样本输入到步长为16的122层ResNet深度神经网络模型，获得各个道路图像样本的特征图。
3级122层的ResNet深度神经网络模型仅为本申请实施例中识别车道线模型的一个具体示例，在本申请实施例其他可能的实现方式中，也可以采集其他深度神经网络模型进行训练，深度神经网络模型的级数与层数可以根据需求进行设置，本申请实施例对此不做限定。
S504：从各个道路图像样本的特征图中提取出目标线，将目标线与特征图在左边缘、右边缘以及下边缘的网格上的建议线分别进行比较，得到目标线与建议线的距离。
其中，特征图的左边缘和右边缘的各个网格上分别设置有6条建议线，左边缘的各个网格上的建议线的斜率分别为，0.364,0.577,0.839,1.192,1.732,2.747，右边缘的各个网格上的建议线的斜率分别为-0.364,-0.577,-0.839,-1.192,-1.732,-2.747，下边缘的各个网格上的建议线的斜率分别为-3.732,-1.732,-1.192,-0.839,-0.577,-0.364,-0.176,0.000,0.176,0.364,0.577,0.839,1.192,1.732,3.732。在本实施其他可能的实现方式中，也可以设置其他斜率，本申请实施例对此不做限定。
S505：将与目标线的距离小于或等于15的建议线确定为正样本，将与目标线的距离大于或等于20的建议线确定为负样本。
在本步骤中，正样本阈值为15，负样本阈值为20。通过将建议线与目标的距离和正样本阈值、负样本阈值进行比较，可以确定正样本或负样本。在训练过程中，为了尽可能地贴合实际应用场景，可以将正负样本比例控制在1：15。
S506：根据正样本和负样本对ResNet深度神经网络模型进行训练，使得ResNet深度神经网络模型的损失函数最小。
在本申请实施例中，可以对标注的道路图像样本共训练20轮epoch，即对全部道路图像样本进行训练，共训练20轮。作为一个示例，可以将道路图像样本的数据集分为尺寸为100的批，得到10000个批，每次从数据集中抽取一个批的道路图像样本进行训练，迭代训练10000次，相当于训练1轮epoch。训练20轮epoch，也就是以100的批尺寸训练200000轮。其中，前10轮epoch的学习率可以为0.001，后10轮epoch的学习率可以为0.0001。学习率决定了参数移动到最优值的速度快慢。如果学习率过大，很可能会发散；反而如果学习率过小，优化的效率可能过低，模型长时间无法收敛。
经过上述训练后，可以得到ResNet深度神经网络模型的参数最优值，该训练后的模型可以作为识别车道线模型，用于识别车道线。
以上为本申请实施例提供的一种识别车道线模型的训练方法的具体实现方式，通过获取标注有目标线的道路图像样本，将道路样本图像输入识别车道线模型，获得特征图，道路图像样本中的目标线与特征图在左边缘、右边缘以及下边缘方向的建议线分别进行比较，根据比较结果调整识别车道线模型中的参数，最小化识别车道线模型的损失函数。由于该识别车道线模型为深度学习模型，通过权值共享可以学习目标线的图像特征，大幅度提升了车道线线检测功能，即使车道线被遮挡、光照或车道线为曲线、不规整线，或者存在合并分离等情况，也可以进行检测，具有较好的鲁棒性。
基于上述识别车道线模型的训练方法所训练出的识别车道线模型，本申请实施例还提供了一种车道线识别方法。
图6所示为本申请实施例提供的一种车道线识别方法的流程图，请参照图6，该方法包括：
S601：获取当前道路图像。
S602：将当前道路图像输入到训练后的识别车道线模型。
S603：识别车道线模型对当前道路图像进行全卷积，得到当前道路图像的特征图。
S604：针对特征图的左边缘、右边缘、下边缘分别采用不同的参数进行卷积和池化，得到车道线特征。
S605：多应于特征图的左边缘、右边缘和下边缘的各个网格，识别车道线模型根据车道线特征，分别输出k组预测结果。
具体为，对应于特征图的左边缘的各个网格，分别输出对应于斜率为0.364,0.577,0.839,1.192,1.732,2.747的6条建议线的预测结果，表征这6条建议线被预测为车道线的概率，以及车道线分别相对于这6条建议线的回归结果。对应于特征图的右边缘的各个网格，分别输出对应于斜率为-0.364,-0.577,-0.839,-1.192,-1.732,-2.747这6条建议线被预测为车道线的概率，以及车道线分别相对于这6条建议线的回归结果。对应于特征图的下边缘的各个网格，分别输出对应于斜率为-3.732,-1.732,-1.192,-0.839,-0.577,-0.364,-0.176,0.000,0.176,0.364,0.577,0.839,1.192,1.732,3.732的15条建议线被预测为车道线的概率，以及车道线相对于这15条建议线的回归结果。
S606：根据上述预测结果，将概率大于或等于0.7的建议线，进行非极大值抑制处理，得到最终预测结果。
在本申请实施例中，预设阈值为0.7，将预测概率大于或等于0.7的建议线进行极大值抑制处理，可以减少冗余建议线的数量，提高识别车道线模型的识别效率。
S607：根据最终预测结果，确定当前道路图像中的车道线。
由于最终预测结果中包括分类结果和回归结果，根据分类结果可以确定哪条线为车道线，根据回归结果可以确定车道线的具体位置。
以上为本申请实施例提供的一种车道线识别方法，采用基于建议线的深度神经网络模型，可以检测遮挡、光照、弯道、不规则线等不同路况的车道线，具有较好的鲁棒性。而且，与基于局部的深度学习检测算法相比，本申请实施例提供的车道线识别方法的精度提高了10％，平均误差也大幅降低，避免了扭曲线型的问题。此外，由于本申请实施例提供的识别方法具有较高的处理速度，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
基于上述实施例提供的一种识别车道线模型的训练方法和一种车道线识别方法的具体实现方式，本申请实施例还提供了一种识别车道线模型的训练装置和一种车道线识别装置，下面结合附图从功能化模块的角度对本申请实施例提供的一种识别车道线模型的训练装置和一种车道线识别装置进行介绍。
图7所示为本申请实施例提供的一种识别车道线模型的训练装置，该装置包括：
第一获取单元701，用于获取道路样本图像，道路样本图像中包括目标线，目标线为标注了的车道线；
第二获取单元702，用于将道路样本图像输入识别车道线模型，获得特征图，特征图包括多个网格，在特征图的左边缘、下边缘以及右边缘的网格上分别设置有不同斜率的建议线，识别车道线模型为深度神经网络模型；
提取单元703，用于从特征图中提取目标线；
比较单元704，用于将目标线与各个建议线相比较，获得比较结果；
调整单元705，用于根据比较结果调整识别车道线模型中的参数，使得识别车道线模型的损失函数最小。
可选的，比较单元704包括：
比较子单元，用于比较各个建议线与目标线的距离；
正样本确定子单元，用于若距离小于或等于正样本阈值，将建议线确定为正样本；
负样本确定子单元，用于若距离大于或等于负样本阈值，将建议线确定为负样本。
可选的，损失函数为：
pi表示第i个建议线被预测为车道线的概率，
表示第i个建议线的分类标签，当建议线为正样本时，
赋值为1，当建议线为负样本时，
赋值为0；ri表示第i个建议线被预测为车道线的回归结果，ri *表示第i个建议线的回归标签；λ为平衡权重；
Loss(pi，ri)为包括分类损失和回归损失的多任务损失目标函数，Lcls表示分类损失，Lreg表示回归损失。
可选的，建议线与目标线的距离为建议线与目标线在纵坐标方向公共部分误差的绝对值的平均值。
可选的，特征图在纵坐标方向均分为S行，建议线和/或目标线采用S+2个数值表示，S+2个数值具体为各条线在S行对应的横坐标以及各条线的起始位置对应的索引和终止位置对应的索引，其中，S为正整数。
可选的，第二获取单元702具体用于：
对道路样本图像进行全卷积，获得道路样本图像的特征图。
以上为本申请实施例提供的一种识别车道线模型的训练装置，通过获取标注有目标线的道路图像样本，将道路样本图像输入识别车道线模型，获得特征图，道路图像样本中的目标线与特征图在左边缘、右边缘以及下边缘方向的建议线分别进行比较，根据比较结果调整识别车道线模型中的参数，最小化识别车道线模型的损失函数。由于该识别车道线模型为深度学习模型，通过权值共享可以学习目标线的图像特征，大幅度提升了车道线线检测功能，即使车道线被遮挡、光照或车道线为曲线、不规整线，或者存在合并分离等情况，也可以进行检测，具有较好的鲁棒性。与传统的基于深度学习的分割识别方案，本申请实施例提供的识别车道线模型训练方法训练出的模型具有更好的检测精度，平均误差也大幅降低，避免了扭曲线型的技术问题，而且由于处理速度有大幅提高，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
接下来结合图8对本申请实施例提供的一种车道线识别装置进行介绍。图8所示为本申请实施例提供的一种车道线识别装置的结构示意图，请参照图8，该装置包括：
当前道路图像获取单元801，用于获取车辆周围的当前道路图像；
车道线确定单元802，用于将当前道路图像输入到识别车道线模型中，并基于识别车道线模型的输出结果，确定所述当前道路图像中的车道线；其中，识别车道线模型是根据上述实施例提供的识别车道线模型的训练方法训练生成的识别车道线模型。
以上为本申请实施例提供的一种车道线识别方法，采用基于建议线的深度神经网络模型，可以检测遮挡、光照、弯道、不规则线等不同路况的车道线，具有较好的鲁棒性。而且，与基于局部的深度学习检测算法相比，本申请实施例提供的车道线识别方法的精度提高了10％，平均误差也大幅降低，避免了扭曲线型的问题。此外，由于本申请实施例提供的识别方法具有较高的处理速度，对辅助驾驶、无人驾驶的实现具有很大的促进作用。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种识别车道线模型的训练方法，其特征在于，所述方法包括：
获取道路样本图像，所述道路样本图像中包括目标线，所述目标线为标注了的车道线；
将所述道路样本图像输入识别车道线模型，获得特征图，所述特征图包括多个网格，在所述特征图的左边缘、下边缘以及右边缘的网格上分别设置有不同斜率的建议线，所述识别车道线模型为深度神经网络模型；
从所述特征图中提取所述目标线，将所述目标线与各个所述建议线相比较，获得比较结果；
根据所述比较结果调整所述识别车道线模型中的参数，使得所述识别车道线模型的损失函数最小。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标线与各个所述建议线相比较，获得比较结果包括：
比较各个所述建议线与所述目标线的距离；
若所述距离小于或等于正样本阈值，将所述建议线确定为正样本；
若所述距离大于或等于负样本阈值，将所述建议线确定为负样本。
3.根据权利要求2所述的方法，其特征在于，所述损失函数为：
所述pi表示第i个建议线被预测为车道线的概率，所述
表示第i个建议线的分类标签，当所述建议线为正样本时，所述
赋值为1，当所述建议线为负样本时，所述
赋值为0；所述ri表示第i个建议线被预测为车道线的回归结果，所述ri *表示第i个建议线的回归标签；所述λ为平衡权重；
所述Loss(pi，ri)为包括分类损失和回归损失的多任务损失目标函数，所述Lcls表示分类损失，所述Lreg表示回归损失。
4.根据权利要求2所述的方法，其特征在于，所述建议线与所述目标线的距离为所述建议线与所述目标线在纵坐标方向公共部分误差的绝对值的平均值。
5.根据权利要求1所述的方法，其特征在于，所述特征图在纵坐标方向均分为S行，所述建议线和/或所述目标线采用S+2个数值表示，所述S+2个数值具体为各条线在S行对应的横坐标以及所述各条线的起始位置对应的索引和终止位置对应的索引，其中，所述S为正整数。
6.根据权利要求1所述的方法，其特征在于，将所述道路样本图像输入识别车道线模型，获得特征图包括：
对所述道路样本图像进行全卷积，获得所述道路样本图像的特征图。
7.一种车道线识别方法，其特征在于，所述方法包括：
获取车辆周围的当前道路图像；
将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线；所述识别车道线模型是根据权利要求1-6任一项所述的识别车道线模型的训练方法训练生成的识别车道线模型。
8.根据权利要求7所述的方法，其特征在于，所述将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线包括：
对所述当前道路图像进行全卷积，得到所述当前道路图像的特征图；所述特征图包括多个网格；所述特征图的左边缘、下边缘以及右边缘的各个网格上分别设置有k条建议线，所述k为正整数；
针对所述特征图的左边缘、右边缘、下边缘分别采用不同的参数进行卷积和池化，得到车道线特征；
对应于每个所述特征图的左边缘、下边缘以及右边缘的各个网格，根据车道线特征分别输出k组预测结果，分别对应所述k个建议线的分类结果和回归结果；所述分类结果采用所述建议线被预测为车道线的概率表示，所述回归结果采用建议线在S行的横坐标相对所述建议线的偏移值和相对终止位置表示，其中，所述S为正整数；
针对所述概率大于或等于预设阈值的所述建议线，进行非极大值抑制处理，将处理后的结果作为最终预测结果；
根据所述最终预测结果确定所述当前道路图像中的车道线。
9.一种识别车道线模型的训练装置，其特征在于，所述装置包括：
第一获取单元，用于获取道路样本图像，所述道路样本图像中包括目标线，所述目标线为标注了的车道线；
第二获取单元，用于将所述道路样本图像输入识别车道线模型，获得特征图，所述特征图包括多个网格，在所述特征图的左边缘、下边缘以及右边缘的网格上设置有不同斜率的建议线，所述识别车道线模型为深度神经网络模型；
提取单元，用于从所述特征图中提取所述目标线；
比较单元，用于将所述目标线与各个所述建议线相比较，获得比较结果；
调整单元，用于根据所述比较结果调整所述识别车道线模型中的参数，使得所述识别车道线模型的损失函数最小。
10.一种车道线识别装置，其特征在于，所述装置包括：
当前道路图像获取单元，用于获取车辆周围的当前道路图像；
车道线确定单元，用于将所述当前道路图像输入到识别车道线模型中，并基于所述识别车道线模型的输出结果，确定所述当前道路图像中的车道线；所述识别车道线模型是根据权利要求1-6任一项所述的识别车道线模型的训练方法训练生成的识别车道线模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711444708.6A CN108090456B (zh) | 2017-12-27 | 2017-12-27 | 识别车道线模型的训练方法、车道线识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711444708.6A CN108090456B (zh) | 2017-12-27 | 2017-12-27 | 识别车道线模型的训练方法、车道线识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090456A CN108090456A (zh) | 2018-05-29 |
| CN108090456B true CN108090456B (zh) | 2020-06-19 |
Family
ID=62179686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711444708.6A Active CN108090456B (zh) | 2017-12-27 | 2017-12-27 | 识别车道线模型的训练方法、车道线识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090456B (zh) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986127B (zh) * | 2018-06-27 | 2021-08-31 | 北京市商汤科技开发有限公司 | 图像分割神经网络的训练方法及图像分割方法、装置 |
| CN110659539B (zh) * | 2018-06-28 | 2022-11-25 | 杭州海康威视数字技术股份有限公司 | 一种信息处理方法、装置及机器可读存储介质 |
| CN108921089A (zh) * | 2018-06-29 | 2018-11-30 | 驭势科技（北京）有限公司 | 车道线检测方法、装置和系统及存储介质 |
| CN109345589A (zh) | 2018-09-11 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
| CN109389046B (zh) * | 2018-09-11 | 2022-03-29 | 昆山星际舟智能科技有限公司 | 用于自动驾驶的全天候物体识别与车道线检测方法 |
| CN109271946B (zh) * | 2018-09-28 | 2021-07-06 | 清华大学深圳研究生院 | 一种在手机端实现感兴趣物体实时检测的方法 |
| CN110969664B (zh) * | 2018-09-30 | 2023-10-24 | 北京魔门塔科技有限公司 | 一种相机外部参数的动态标定方法 |
| CN111199647B (zh) * | 2018-11-16 | 2021-10-01 | 中电科新型智慧城市研究院有限公司 | 一种道路车辆连续变道和违规掉头的监控视频检测方法 |
| CN110363054B (zh) * | 2018-11-16 | 2021-10-01 | 北京京东叁佰陆拾度电子商务有限公司 | 道路标识线识别方法、装置和系统 |
| CN111212260B (zh) * | 2018-11-21 | 2021-08-20 | 杭州海康威视数字技术股份有限公司 | 一种基于监控视频绘制车道线的方法及装置 |
| CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的系统 |
| CN111259705B (zh) * | 2018-12-03 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种特殊线型车道线检测方法及系统 |
| CN111259707B (zh) * | 2018-12-03 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种特殊线型车道线检测模型的训练方法 |
| CN109583393B (zh) * | 2018-12-05 | 2023-08-11 | 宽凳（北京）科技有限公司 | 一种车道线端点识别方法及装置、设备、介质 |
| CN111291601B (zh) * | 2018-12-07 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 车道线识别方法和装置以及电子设备 |
| CN109711341B (zh) * | 2018-12-27 | 2021-03-09 | 宽凳（北京）科技有限公司 | 一种虚拟车道线识别方法及装置、设备、介质 |
| CN109489680B (zh) * | 2018-12-29 | 2020-12-22 | 百度在线网络技术（北京）有限公司 | 一种螺旋车道的参考轨迹线生成方法及车载设备 |
| WO2020133369A1 (en) | 2018-12-29 | 2020-07-02 | Beijing Didi Infinity Technology And Development Co., Ltd. | Identifying a curb based on 3-d sensor data |
| CN109740554A (zh) * | 2019-01-09 | 2019-05-10 | 宽凳（北京）科技有限公司 | 一种道路边缘线识别方法及系统 |
| WO2020146980A1 (zh) * | 2019-01-14 | 2020-07-23 | 京东方科技集团股份有限公司 | 车道线识别方法、车道线识别装置以及非易失性存储介质 |
| CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
| CN111695389B (zh) * | 2019-03-15 | 2023-06-20 | 北京四维图新科技股份有限公司 | 一种车道线聚类方法及装置 |
| CN111721309B (zh) * | 2019-03-19 | 2023-01-03 | 上海汽车集团股份有限公司 | 路径规划方法及装置 |
| CN111750850B (zh) * | 2019-03-27 | 2021-12-14 | 杭州海康威视数字技术股份有限公司 | 角度信息获取方法、装置和系统 |
| CN111750878B (zh) * | 2019-03-28 | 2022-06-24 | 北京魔门塔科技有限公司 | 一种车辆位姿的修正方法和装置 |
| CN111750881B (zh) * | 2019-03-29 | 2022-05-13 | 北京魔门塔科技有限公司 | 一种基于路灯杆的车辆位姿的修正方法和装置 |
| CN111750882B (zh) * | 2019-03-29 | 2022-05-27 | 北京魔门塔科技有限公司 | 一种导航地图在初始化时车辆位姿的修正方法和装置 |
| CN110136222B (zh) * | 2019-04-17 | 2023-05-26 | 阿波罗智能技术(北京)有限公司 | 虚拟车道线生成方法、装置及系统 |
| CN111856963B (zh) * | 2019-04-30 | 2024-02-20 | 北京魔门塔科技有限公司 | 一种基于车载环视系统的泊车仿真方法及装置 |
| CN112017238A (zh) * | 2019-05-30 | 2020-12-01 | 北京初速度科技有限公司 | 一种线状物体的空间位置信息确定方法及装置 |
| CN110458023B (zh) * | 2019-07-11 | 2022-08-02 | 浙江吉利汽车研究院有限公司 | 一种道路线检测模型的训练方法、道路线检测方法及装置 |
| CN112215041A (zh) * | 2019-07-11 | 2021-01-12 | 广州汽车集团股份有限公司 | 一种端到端车道线检测方法及其系统 |
| CN110363160B (zh) * | 2019-07-17 | 2022-09-23 | 河南工业大学 | 一种多车道线识别方法及装置 |
| CN112241016A (zh) * | 2019-07-19 | 2021-01-19 | 北京初速度科技有限公司 | 一种泊车地图地理坐标的确定方法和装置 |
| CN112446230B (zh) * | 2019-08-27 | 2024-04-09 | 中车株洲电力机车研究所有限公司 | 车道线图像的识别方法及装置 |
| CN111310593B (zh) * | 2020-01-20 | 2022-04-19 | 浙江大学 | 一种基于结构感知的超快速车道线检测方法 |
| CN111091164A (zh) * | 2020-03-25 | 2020-05-01 | 魔视智能科技(上海)有限公司 | 基于ohem的语义分割模型训练方法及其系统 |
| CN111310737B (zh) * | 2020-03-26 | 2023-10-13 | 山东极视角科技股份有限公司 | 一种车道线检测方法及装置 |
| CN111460984B (zh) * | 2020-03-30 | 2023-05-23 | 华南理工大学 | 一种基于关键点与梯度均衡损失的全局车道线检测方法 |
| CN111539402B (zh) * | 2020-07-13 | 2020-10-20 | 平安国际智慧城市科技股份有限公司 | 基于深度学习的车道线检测方法、装置、终端及存储介质 |
| CN112434591B (zh) * | 2020-11-19 | 2022-06-17 | 腾讯科技（深圳）有限公司 | 车道线确定方法、装置 |
| CN112926548A (zh) * | 2021-04-14 | 2021-06-08 | 北京车和家信息技术有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
| CN113160209A (zh) * | 2021-05-10 | 2021-07-23 | 上海市建筑科学研究院有限公司 | 用于建筑外立面损伤检测的目标标注方法及目标识别方法 |
| CN113298050B (zh) * | 2021-07-21 | 2021-11-19 | 智道网联科技(北京)有限公司 | 车道线识别模型训练方法、装置及车道线识别方法、装置 |
| CN113837313A (zh) * | 2021-09-30 | 2021-12-24 | 广州文远知行科技有限公司 | 车道线标注模型的训练方法、装置、设备及可读存储介质 |
| CN113903014B (zh) * | 2021-12-07 | 2022-05-17 | 智道网联科技(北京)有限公司 | 车道线预测方法、装置及电子设备、计算机可读存储介质 |
| CN115393595B (zh) * | 2022-10-27 | 2023-02-03 | 福思(杭州)智能科技有限公司 | 分割网络模型训练方法、车道线检测方法、装置和介质 |
| CN115631479B (zh) * | 2022-12-22 | 2023-03-14 | 北京钢铁侠科技有限公司 | 深度学习智能车车道巡线优化方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335704A (zh) * | 2015-10-16 | 2016-02-17 | 河南工业大学 | 一种基于双线性插值的车道线识别方法与装置 |
| CN106570446A (zh) * | 2015-10-12 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 车道线提取的方法和装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001143084A (ja) * | 1999-11-15 | 2001-05-25 | Denso Corp | レーンマーク認識装置、レーン種別判定装置、車両走行制御装置及び記録媒体 |
| JP3521860B2 (ja) * | 2000-10-02 | 2004-04-26 | 日産自動車株式会社 | 車両の走行路認識装置 |
| JP3780848B2 (ja) * | 2000-12-27 | 2006-05-31 | 日産自動車株式会社 | 車両の走行路認識装置 |
| KR101075615B1 (ko) * | 2006-07-06 | 2011-10-21 | 포항공과대학교 산학협력단 | 주행 차량의 운전자 보조 정보 생성 장치 및 방법 |
| US8996197B2 (en) * | 2013-06-20 | 2015-03-31 | Ford Global Technologies, Llc | Lane monitoring with electronic horizon |
| JP6285347B2 (ja) * | 2014-12-10 | 2018-02-28 | 株式会社Ｓｏｋｅｎ | 車線境界線認識装置 |
| CN105069415B (zh) * | 2015-07-24 | 2018-09-11 | 深圳市佳信捷技术股份有限公司 | 车道线检测方法和装置 |
| CN105046235B (zh) * | 2015-08-03 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
| CN105260699B (zh) * | 2015-09-10 | 2018-06-26 | 百度在线网络技术（北京）有限公司 | 一种车道线数据的处理方法及装置 |
-
2017
- 2017-12-27 CN CN201711444708.6A patent/CN108090456B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570446A (zh) * | 2015-10-12 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 车道线提取的方法和装置 |
| CN105335704A (zh) * | 2015-10-16 | 2016-02-17 | 河南工业大学 | 一种基于双线性插值的车道线识别方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090456A (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090456B (zh) | 识别车道线模型的训练方法、车道线识别方法及装置 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| CN111950394B (zh) | 一种车辆变道的预测方法、装置及计算机存储介质 | |
| CN109977895B (zh) | 一种基于多特征图融合的野生动物视频目标检测方法 | |
| CN112989962B (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
| CN110580499B (zh) | 基于众包重复标签的深度学习目标检测方法及系统 | |
| CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN110781785A (zh) | 基于Faster RCNN算法改进的交通场景下行人检测方法 | |
| CN111898491A (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| CN107563370A (zh) | 一种基于视觉注意机制的海上红外目标检测方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN112906685A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| JP2001148019A (ja) | 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置 | |
| CN110766075A (zh) | 轮胎区域图像比对方法、装置、计算机设备和存储介质 | |
| CN111950498A (zh) | 一种基于端到端实例分割的车道线检测方法及装置 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
| CN112163521A (zh) | 一种车辆行驶行为的识别方法、装置及设备 | |
| CN114445716B (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN112446428B (zh) | 一种图像数据处理方法及装置 | |
| CN115457044A (zh) | 基于类激活映射的路面裂缝分割方法 | |
| CN113591839A (zh) | 一种特征提取模型构建方法、目标检测方法及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220309 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Patentee after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing Patentee before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |