CN112381034A - 一种车道线检测方法、装置、设备及存储介质 - Google Patents

一种车道线检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112381034A
CN112381034A CN202011337773.0A CN202011337773A CN112381034A CN 112381034 A CN112381034 A CN 112381034A CN 202011337773 A CN202011337773 A CN 202011337773A CN 112381034 A CN112381034 A CN 112381034A
Authority
CN
China
Prior art keywords
lane line
lane
identification point
points
line identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011337773.0A
Other languages
English (en)
Inventor
胡翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202011337773.0A priority Critical patent/CN112381034A/zh
Publication of CN112381034A publication Critical patent/CN112381034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车道线检测方法、装置、设备及存储介质。该方法包括：将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。本发明解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。

Description

一种车道线检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及智能交通技术，尤其涉及一种车道线检测方法、装置、设备及存储介质。
背景技术
在无人驾驶车辆的自主导航以及车辆的智能辅助驾驶系统中，准确提供道路信息至关重要，其中，对车道线的准确检测是不可或缺的关键步骤。
传统的车道线检测方法依赖于高度专业化、手工制作的特征来检测车道线，这些特征选择包括基于形状、颜色的特征。一般采用基于梯度的车道线边缘检测方法，提取到车道线的边缘轮廓信息，再采用霍夫变换计算，但是该变换的离散化计算方式，会使得到的车道线结果与道路线并不一一对应，而是分解、零散或重复的，甚至包含不相关的线段，因此不得不将霍夫变换的检测结果变换回原图像空间中进一步筛选。这个处理流程使得车道线检测算法变得复杂，且检测结果不准确。另一方面，由于受到光照、阴影、遮挡、路面破损等干扰，加大了检测的难度。
发明内容
本发明提供一种车道线检测方法、装置、设备及存储介质，以实现对车道线的快速准确识别。
第一方面，本发明实施例提供了一种车道线检测方法，包括：
将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；
确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；
对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；
根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
可选的，所输出车道线标识点序列的数量小于等于所述目标车道线识别模型所包括车道线识别通道的数量；
且所述目标车道线识别模型中的一个车道线识别通道从所述待检测图像中识别出一个车道线标识点序列。
可选的，对所述目标车道线识别模型的训练步骤包括：
对识别训练图像中包括的至少一条标准识别车道线进行标注，对应各条标准车道线形成相应的标准车道线标识点序列；
将所述识别训练图像输入初始车道线识别模型，获得输出的至少一个训练车道线标识点序列；
基于各所述标准车道线标识点序列及训练车道线标识点序列，结合给定的识别模型损失函数，对所述初始车道线识别模型进行反向传播，得到所述目标车道线识别模型。
可选的，所述确定各所述车道线标识点序列对应的车道线区域，包括：
针对每个车道线标识点序列，取水平方向上与各车道线标注点间隔预设扩充像素点的像素点为区域轮廓像素点；
连接各所述区域轮廓像素点，构成多边形区域轮廓；
将所述多边形区域轮廓内的像素点组成的像素块确定为车道线区域。
可选的，所述目标车道线分类模型的训练步骤包括：
对分类训练图像中的至少一条标准分类车道线进行区域划分得到标准车道线区域，标注各所述标准车道线区域相应的标准车道线类型；
将所述标准车道线区域输入初始车道线分类模型，获得输出的训练车道线类型；
基于各所述标准车道线类型及训练车道线类型，结合给定的分类模型损失函数，对所述初始车道线分类模型进行反向传播，得到所述目标车道线分类模型。
可选的，所述对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线，包括：
针对每个车道线标识点序列，确定各所述车道线标识点对应的拟合指数；
根据各所述拟合指数从各所述车道线标识点中筛选出预设拟合比例的车道线拟合点；
根据各所述车道线拟合点结合预设的拟合多项式，确定车道位置线。
可选的，所述确定各所述车道线标识点对应的拟合指数，包括：
选取任意两个所述车道线标识点为车道线基准点，并将其它各所述车道线标识点确定为车道线候选点；
基于所述车道线基准点形成车道线基准线，并确定各所述车道线候选点与所述车道线基准线的点线距离值；
返回执行车道线基准点选取操作，直至所有车道线标识点均被选中进行车道点基准点的组合；
针对每个车道线标识点，获取所述车道线标识点具备的所有点线距离值，将各所述点线距离值的平均值确定为所述车道线标识点的拟合指数。
第二方面，本发明实施例还提供了一种车道线检测装置，该装置包括：
车道线识别模块，用于将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；
车道线分类模块，用于确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；
车道线拟合模块，用于对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；
车道线确定模块，用于根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的车道线检测方法的步骤。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的车道线检测方法的步骤。
本发明通过将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列，确定各车道线标识点序列对应的车道线区域，根据各车道线区域结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型，同时，对各车道线标识点序列分别进行拟合，形成对应的车道位置线，最后根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。本发明解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。
附图说明
图1是本发明实施例一提供的一种车道线检测方法的流程图；
图2是本发明实施例一提供的一种车道线检测方法中对车道线识别的效果图；
图3是本发明实施例一提供的一种车道线检测方法的原理示意图；
图4是本发明实施例二提供的一种车道线检测方法的流程图；
图5是本发明实施例二提供的一种车道线检测方法中目标车道线识别模型训练步骤的流程图；
图6是本发明实施例二提供的一种车道线检测方法中目标车道线分类模型训练步骤的流程图；
图7是本发明实施例二提供的一种车道线检测方法中确定车道线标识点对应的拟合指数的步骤流程图；
图8是本发明实施例三提供的一种车道线检测装置的结构框图；
图9是本发明实施例四提供的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种车道线检测方法的流程图，本实施例可适用于对视频图像中的车道线进行检测的情况，该方法可以由车道线检测装置来执行，该装置可以通过软件和/或硬件实现。
如图1所示，该方法具体包括如下步骤：
步骤110、将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列。
其中，待检测图像可以理解为要实现车道线检测的目标图像。目标车道线识别模型可以通过预先训练得到，用于识别待检测图像中的车道线。车道线标识点序列可以理解为识别出的车道线所在像素点的位置数据的集合。
具体的，在对待检测图像进行车道线检测之前，可以通过大量训练数据集对给定的深度学习网络模型进行训练，给定的深度学习网络模型可以构建多个车道线识别通道，每个车道线识别通道对应识别一条车道线，通过对深度学习网络模型的训练得到目标车道线识别模型。在获取待检测图像后，可以将待检测图像输入训练好的目标车道线识别模型中，通过对待检测图像进行车道线识别，由目标车道线识别模型中的各个通道输出至少一个车道线标识点序列，每个车道线标识点序列可以表示一条车道线的所在位置。在本实施例中，对车道线进行识别主要是依据对待检测图像中每个像素点为车道线的概率值进行分析，为了提高计算效率，可以对每间隔预设行的一行像素点进行概率分析，例如，每10行检测一行像素点，也就是说对每间隔9行的一行像素点进行概率分析，取其中最可能是车道线的一个像素点进行标识，确定该像素点的位置数据，每个车道线识别通道可以将识别出的多个像素点的位置数据形成一个车道线标识点序列进行输出。
进一步的，所输出车道线标识点序列的数量小于等于目标车道线识别模型所包括车道线识别通道的数量；且目标车道线识别模型中的一个车道线识别通道从待检测图像中识别出一个车道线标识点序列。
在本实施例中，目标车道线识别模型所包括的车道线识别通道的数量是可以在模型训练时选取构建的，可以是4个车道线识别通道，也可以是6个或是7个车道线识别通道。目标车道线识别模型中每个车道线识别通道用于识别一条车道线，也就是每个车道线识别通道只能输出一个车道线标识点序列，并且不同的车道线识别通道是对不同的车道线进行识别输出不同的车道线标识点序列，因此，车道线标识点序列的数量只能小于等于车道线识别通道的数量。例如，目标车道线识别模型包括4个车道线识别通道，那么目标车道线识别模型最多只能输出4个不同的车道线标识点序列。
示例性的，图2是本发明实施例二提供的一种车道线检测方法中对车道线识别的效果图。如图2所示，对车道线的识别结果可以是对待检测图像进行标注的形式输出。本示例中的目标车道线识别模型包括4个车道线识别通道，图中显示出3个不同的车道线标识点序列，分别是图像中中间靠左的红色车道线标识点序列，图像中中间靠右的绿色车道线标识点序列，以及图像右侧的黄色车道线标识点序列。其中，红色车道线标识点序列由多个红色车道线标识点10组成，绿色车道线标识点序列由多个绿色车道线标识点20组成，黄色车道线标识点序列由多个黄色车道线标识点30组成。
步骤120、确定各车道线标识点序列对应的车道线区域，根据各车道线区域结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型。
其中，车道线区域可以理解为图像中车道线的所在区域范围。众所周知，车道线在线段类型上可分为实线和虚线等，颜色上可以分为白线和黄线等，车道线类型就是指车道线的线段类型和颜色类型，如白色实线、白色虚线、黄色实线和黄色虚线等。目标车道线分类模型可以通过预先训练得到，用于对识别出的车道线进行类型区分。
具体的，在得到车道线标识点序列后，可以针对每个车道线标识点序列确定一个车道线区域，对车道线区域内的图像信息进行分类检测，可以避免图像中其他物体信息对分类检测的准确性造成干扰，由此提高车道线分类模型的准确性。在本实施例中，可以以车道线标识点序列中的每个车道线标识点为中心向左右各扩充若干个像素点，形成车道线区域。根据实际拍摄情况，一般越远处车道线越细，越近处车道线越宽，所以在左右外扩的时候，可以将近处车道线标识点外扩较多的像素点，远处车道线标识点外扩较少的像素点，一般在图像中，图像上方可以认为是距离拍摄地点的较远处，图像下方可以认为是距离拍摄地点的较近处。在得到车道线区域后，可以利用预先训练好的目标车道线分类模型对车道线区域进行分类检测。在分类检测时，可以将包含车道线区域的图像输入目标车道线分类模型中，为了避免图像中其他物体信息的干扰，可以确定出车道线区域所在的最小外接矩形区域，并将该最小外接矩形区域中除车道线区域内的像素点的像素值置零，该最小外接矩形区域即为包含车道线区域的图像，将最小外接矩形区域输入训练好的目标车道线分类模型中，得到对应的车道线类型。
步骤130、对各车道线标识点序列分别进行拟合，形成对应的车道位置线。
其中，车道位置线可以理解为图像中车道线的具体位置走向。
具体的，步骤110对待检测图像识别时，输出的是离散的车道线标识点组成的车道线标识点序列，且车道线标识点可能存在一些误差，或其中部分车道线标识点存在检测错误的情况，各车道线标识点并不全都共线，或不全在一条光滑的曲线上，因此对检测出的车道线进行显示前，还需要对各车道线标识点序列分别进行拟合，输出平滑的车道线。在对各车道线标识点序列进行拟合时，可以检测出误差值较大的车道线标识点并进行剔除，将其余的车道线标识点结合预设的拟合方程进行拟合，得到较为准确的车道位置线。
步骤140、根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。
具体的，上述步骤中，步骤120和步骤130可以在步骤110后同时进行，在步骤120和步骤130都处理完成后，可以进行步骤140，可以在拟合出的车道位置线上，根据检测出的车道线类型对车道线进行显示，得到待检测图像中的各车道线。
示例性的，图3是本发明实施例一提供的一种车道线检测方法的原理示意图。如图3所示，可以将待检测图像输入预先训练的目标车道线识别模型中，输出一个车道线标识点序列，图像40中的黑色圆点41表示车道线标识点，所有车道线标识点组成一个车道线标识点序列，之后可以同时根据车道线标识点序列识别车道线类型以及拟合车道位置线。对于识别车道线类型，可以确定车道线标识点序列对应的车道线区域51，结合预先训练的目标车道线分类模型，得到车道线区域51对应的车道线类型，如车道线区域51对应的车道线类型为白色虚线；对于拟合车道位置线，可以根据预先给定的拟合公式对车道线标识点序列进行拟合，得到车道位置线61。在确定好车道线类型和车道位置线后，就可以根据车道线类型在车道位置线上显示车道线了，图像70中的车道线71就是在车道位置线61上显示的白色虚线车道线，为了清楚的显示，示意图中用黑色虚线表示最终得到的车道线。
本实施例的技术方案，通过将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列，确定各车道线标识点序列对应的车道线区域，根据各车道线区域结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型，同时，对各车道线标识点序列分别进行拟合，形成对应的车道位置线，最后根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。本发明实施例解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。
实施例二
图4为本发明实施例二提供的一种车道线检测方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述车道线检测方法。
如图4所示，该方法具体包括：
步骤210、将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列。
具体的，在获取待检测图像后，可以将待检测图像输入预先训练的目标车道线识别模型中，通过对待检测图像进行车道线识别，由目标车道线识别模型中的各个通道输出至少一个车道线标识点序列，每个车道线标识点序列可以表示一条车道线的所在位置。在得到车道线标识点序列之后，可以分别进行步骤220和步骤260。
进一步的，图5是本发明实施例二提供的一种车道线检测方法中目标车道线识别模型训练步骤的流程图，对目标车道线识别模型的训练可以包括以下步骤：
步骤2110、对识别训练图像中包括的至少一条标准识别车道线进行标注，对应各条标准车道线形成相应的标准车道线标识点序列。
其中，识别训练图像可以理解为用于训练车道线识别模型的一个样本的原始图像。标准识别车道线可以理解为识别训练图像中实际存在的车道线。标准车道线标识点序列可以理解为用于标识标准识别车道线的标识点的集合。
具体的，可以预先获取大量的道路图像，各个图像中都可以有车道线，将这些道路图像作为识别训练图像，即深度学习模型的训练数据。可以对识别训练图像中每条标准识别车道线都进行标注，每一条标准识别车道线都对应形成一个标准车道线标识点序列。
步骤2120、将识别训练图像输入初始车道线识别模型，获得输出的至少一个训练车道线标识点序列。
其中，初始车道线识别模型可以理解为初始构建的用于识别图像中的车道线的深度学习模型。训练车道线标识点序列可以理解为初始车道线识别模型识别出的用于标识车道线的标识点的集合。
具体的，可以采用搭建好的初始车道线识别模型对识别训练图像中的车道线进行识别，输出识别训练图像中各条车道线对应的训练车道线标识点序列。
步骤2130、基于各标准车道线标识点序列及训练车道线标识点序列，结合给定的识别模型损失函数，对初始车道线识别模型进行反向传播，得到目标车道线识别模型。
具体的，在初始车道线识别模型输出训练车道线标识点序列后，可以将训练车道线标识点序列和对应的预先标注好的标准车道线标识点序列进行对比分析，反复多次调整识别模型的损失函数，最终得到目标车道线识别模型。
步骤220、针对每个车道线标识点序列，取水平方向上与各车道线标注点间隔预设扩充像素点的像素点为区域轮廓像素点。
具体的，可以分别以车道线标识点序列为单位，对车道线类型进行分类。对于车道线标识点序列中的每个车道线标识点，可以分别选择水平方向左右两侧各一个像素点作为区域轮廓像素点，区域轮廓像素点与车道线标识点之间间隔预设扩充像素点，该预设扩充像素点的取值可以预先设置，可以根据拍摄道路的远近距离进行调整，例如，区域轮廓像素点与车道线标识点之间可以间隔20个像素点，也可以间隔30个像素点。
步骤230、连接各区域轮廓像素点，构成多边形区域轮廓。
具体的，可以将各车道线标识点对应的区域轮廓像素点连接起来，形成一个封闭的多边形，连接各区域轮廓像素点的所有线段就构成了多边形区域轮廓。
步骤240、将多边形区域轮廓内的像素点组成的像素块确定为车道线区域。
具体的，由于车道线标识点是目标车道线识别模型识别出的车道线所在位置的标识点，在车道线标识点附近预设范围内的区域就可以认为是包括了车道线全部或大部分图像信息的区域，而在多边形区域轮廓内的像素点组成的像素块就可以认为是该区域内的图像，就包括了基本的车道线图像信息，因此可以将该像素块确定为车道线区域。划分车道线区域的好处在于可以减少待检测图像中其他图像信息对检测车道线类型的影响，以提高检测的准确性。
步骤250、根据各车道线区域结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型。
具体的，在得到车道线区域后，可以利用预先训练好的目标车道线分类模型对车道线区域进行分类检测。在分类检测时，为了输入图像信息的格式统一化，可以确定出车道线区域所在的最小外接矩形区域，保留车道线区域内像素点的像素值，将其他像素点的像素值置零，将该最小外接矩形区域输入训练好的目标车道线分类模型中，得到对应的车道线类型。
进一步的，图6是本发明实施例二提供的一种车道线检测方法中目标车道线分类模型训练步骤的流程图，对目标车道线分类模型的训练可以包括以下步骤：
步骤2510、对分类训练图像中的至少一条标准分类车道线进行区域划分得到标准车道线区域，标注各标准车道线区域相应的标准车道线类型。
其中，分类训练图像可以理解为用于训练车道线分类模型的一个样本的原始图像。标准车道线区域可以理解为分类训练图像中实际存在的车道线所在的区域。标准车道线类型可以理解为分类训练图像中车道线的实际类型属性。
具体的，可以预先获取大量的道路图像，每个图像中都可以有车道线，将这些道路图像中每条车道线所在的区域都划分出来，得到对应的标准车道线区域，即深度学习模型的训练数据。可以根据每个标准车道线区域的实际类型对其进行标注，用于训练分类模型时调整模型参数。
步骤2520、将标准车道线区域输入初始车道线分类模型，获得输出的训练车道线类型。
其中，初始车道线分类模型可以理解为初始构建的用于识别图像中车道线类型的深度学习模型。训练车道线类型可以理解为初始车道线分类模型识别出的车道线类型。
具体的，可以采用搭建好的初始车道线分类模型对划分好的标准车道线区域进行识别，输出标准车道线区域中车道线对应的训练车道线类型。
步骤2530、基于各标准车道线类型及训练车道线类型，结合给定的分类模型损失函数，对初始车道线分类模型进行反向传播，得到目标车道线分类模型。
具体的，在初始车道线分类模型输出训练车道线类型后，可以将训练车道线类型和对应的预先标注好的标准车道线类型进行对比分析，反复多次调整分类模型的损失函数，最终得到目标车道线分类模型。
步骤260、针对每个车道线标识点序列，确定各车道线标识点对应的拟合指数。
可以理解的，对车道线进行识别时，检测出的车道线标识点可能出现偏差，如果使用检测出的全部车道线标识点进行车道线的拟合，就可能会导致车道线拟合结果出现偏差，因此需要对车道线标识点中的离群点进行筛选过滤，在本实施例中，拟合指数可以理解为衡量车道线标识点是否出现偏差的参数值。
具体的，对于每个车道线标识点序列，可以根据预设的计算规则，确定其中每个车道线标识点对应的拟合指数，可以用该拟合指数代表该车道线标识点相对于整个车道线标识点序列的离散程度。
进一步的，图7是本发明实施例二提供的一种车道线检测方法中确定车道线标识点对应的拟合指数的步骤流程图，针对每个车道线标识点序列，确定车道线标识点对应的拟合指数可以包括以下步骤：
步骤2610、选取任意两个车道线标识点为车道线基准点，并将其它各车道线标识点确定为车道线候选点。
具体的，可以在一个车道线标识点序列中任意选取两个车道线标识点，将这两个车道线标识点作为车道线基准点，将车道线标识点序列中除了这两个车道线标识点之外的其它车道线标识点作为车道线候选点。
步骤2620、基于车道线基准点形成车道线基准线，并确定各车道线候选点与车道线基准线的点线距离值。
具体的，可以连接两个车道线基准点，形成这两个车道线基准点对应的车道线基准线，分别计算各车道线候选点到该车道线基准线的距离值，并将计算出的距离值作为车道线候选点的点线距离值。
步骤2630、返回执行车道线基准点选取操作，直至所有车道线标识点均被选中进行车道点基准点的组合。
具体的，在确定出一组车道线候选点的点线距离值后，可以重新选择不同的两个车道线基准点，再次进行步骤2610和2620，确定出另一组点线距离值，一直反复重新确定不同的两个车道线基准点，直至车道线标识点序列中任意两个车道线标识点都进行过组合，形成过车道线基准点为止。
步骤2640、针对每个车道线标识点，获取车道线标识点具备的所有点线距离值，将各点线距离值的平均值确定为车道线标识点的拟合指数。
具体的，在进行一次步骤2610和2620后，除了本次被选中作为车道线基准点的两个车道线标识点，其余车道线标识点都有一个对应的点线距离值，在步骤2610～2630全部进行完后，每个车道线标识点都有对应的多个点线距离值，可以将车道线标识点对应的所有点线距离值的平均值作为该车道线标识点的拟合指数。
示例性的，假设一个车道线标识点序列中的车道线标识点数量为N，车道线标识点序列记为P＝{p1，p2，p3，...，pn}，可以从P中随机选择两个车道线标识点pk,pj作为车道线基准点，由这两个车道线基准点连接得到一条直线Lkj，分别计算车道线标识点序列中其它N-2个车道线标识点到直线Lkj的距离，得到N-2个距离的集合{d1，d2，d3，...，dn-2}，然后继续按照同样的方法迭代，即再随机取不同的两个车道线标识点作为车道线基准点，再计算其它N-2个车道线标识点到该车道线基准点的点线距离值。在车道线标识点序列中任意两个车道线标识点都进行过组合，形成过车道线基准点之后，每个车道线标识点都会对应若干个点线距离值，即每个车道线标识点都会对应一个距离的集合，假设车道线标识点p1的距离集合为D1，D1中点线距离值的数量为m，我们对这m个点线距离值求平均值，得到d1，d1就可以作为车道线标识点p1的拟合指数。可以以同样的方法计算车道线标识点p2的点线距离值平均值d2，d2就可以作为车道线标识点p2的拟合指数，以此类推可以计算得到每个车道线标识点的点线距离值平均值，也就是每个车道线标识点的拟合指数。
步骤270、根据各拟合指数从各车道线标识点中筛选出预设拟合比例的车道线拟合点。
具体的，在确定出各车道线标识点的拟合指数后，可以按拟合指数的数值大小排序，将拟合指数数值高的一定数量的车道线标识点剔除，保留预设拟合比例的车道线标识点作为车道线拟合点。例如，根据拟合指数从大到小对各车道线标识点进行排序后，剔除前10％的车道线拟合点，保留90％的车道线标识点作为车道线拟合点。
步骤280、根据各车道线拟合点结合预设的拟合多项式，确定车道位置线。
在本实施例中，可以选择三次多项式对各车道线拟合点进行拟合，将拟合出的线段作为车道位置线，其中，表达式可以是：
y＝a×x3+b×x2+c×x+d。
步骤290、根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。
具体的，可以在拟合出的车道位置线上，根据检测出的车道线类型对车道线进行显示，得到待检测图像中的各车道线。
本实施例的技术方案，可以在对车道线进行检测前，对初始车道线识别模型和初始车道线分类模型进行训练，得到目标车道线识别模型和目标车道线分类模型，通过将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列，根据车道线标识点序列中的各车道线标识点划分对应的车道线区域，结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型，同时，对各车道线标识点序列进行筛选得到车道线拟合点，对车道线拟合点进行拟合形成对应的车道位置线，最后根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。本发明实施例解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。
实施例三
本发明实施例所提供的车道线检测装置可执行本发明任意实施例所提供的车道线检测方法，具备执行方法相应的功能模块和有益效果。图8是本发明实施例三提供的一种车道线检测装置的结构框图，如图8所示，该装置包括：车道线识别模块310、车道线分类模块320、车道线拟合模块330和车道线确定模块340。
车道线识别模块310，用于将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列。
车道线分类模块320，用于确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型。
车道线拟合模块330，用于对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线。
车道线确定模块340，用于根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
本实施例的技术方案，通过将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列，确定各车道线标识点序列对应的车道线区域，根据各车道线区域结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型，同时，对各车道线标识点序列分别进行拟合，形成对应的车道位置线，最后根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。本发明实施例解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。
可选的，所输出车道线标识点序列的数量小于等于所述目标车道线识别模型所包括车道线识别通道的数量；
且所述目标车道线识别模型中的一个车道线识别通道从所述待检测图像中识别出一个车道线标识点序列。
可选的，对所述目标车道线识别模型的训练步骤包括：
对识别训练图像中包括的至少一条标准识别车道线进行标注，对应各条标准车道线形成相应的标准车道线标识点序列；
将所述识别训练图像输入初始车道线识别模型，获得输出的至少一个训练车道线标识点序列；
基于各所述标准车道线标识点序列及训练车道线标识点序列，结合给定的识别模型损失函数，对所述初始车道线识别模型进行反向传播，得到所述目标车道线识别模型。
可选的，所述确定各所述车道线标识点序列对应的车道线区域，包括：
针对每个车道线标识点序列，取水平方向上与各车道线标注点间隔预设扩充像素点的像素点为区域轮廓像素点；
连接各所述区域轮廓像素点，构成多边形区域轮廓；
将所述多边形区域轮廓内的像素点组成的像素块确定为车道线区域。
可选的，所述目标车道线分类模型的训练步骤包括：
对分类训练图像中的至少一条标准分类车道线进行区域划分得到标准车道线区域，标注各所述标准车道线区域相应的标准车道线类型；
将所述标准车道线区域输入初始车道线分类模型，获得输出的训练车道线类型；
基于各所述标准车道线类型及训练车道线类型，结合给定的分类模型损失函数，对所述初始车道线分类模型进行反向传播，得到所述目标车道线分类模型。
可选的，所述车道线拟合模块330，包括：
拟合指数确定单元，用于针对每个车道线标识点序列，确定各所述车道线标识点对应的拟合指数；
拟合点筛选单元，用于根据各所述拟合指数从各所述车道线标识点中筛选出预设拟合比例的车道线拟合点；
车道位置线确定单元，用于根据各所述车道线拟合点结合预设的拟合多项式，确定车道位置线。
可选的，所述拟合指数确定单元具体用于：
针对每个车道线标识点序列，选取任意两个所述车道线标识点为车道线基准点，并将其它各所述车道线标识点确定为车道线候选点；
基于所述车道线基准点形成车道线基准线，并确定各所述车道线候选点与所述车道线基准线的点线距离值；
返回执行车道线基准点选取操作，直至所有车道线标识点均被选中进行车道点基准点的组合；
针对每个车道线标识点，获取所述车道线标识点具备的所有点线距离值，将各所述点线距离值的平均值确定为所述车道线标识点的拟合指数。
本实施例的技术方案，可以在对车道线进行检测前，对初始车道线识别模型和初始车道线分类模型进行训练，得到目标车道线识别模型和目标车道线分类模型，通过将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列，根据车道线标识点序列中的各车道线标识点划分对应的车道线区域，结合预先训练的目标车道线分类模型，得到各车道线区域对应的车道线类型，同时，对各车道线标识点序列进行筛选得到车道线拟合点，对车道线拟合点进行拟合形成对应的车道位置线，最后根据各车道线类型以及对应的车道位置线，确定待检测图像中的各车道线。本发明实施例解决了对车道线检测结果不准确的问题，通过使用不同的深度学习模型实现对车道线识别和分类，并对识别到的车道线标识点序列进行拟合，更加精确的定位车道线，提高了识别速度和检测准确率。
实施例四
图9为本发明实施例四提供的一种电子设备的结构框图，如图9所示，该电子设备包括处理器410、存储器420、输入装置430和输出装置440；电子设备中处理器410的数量可以是一个或多个，图9中以一个处理器410为例；电子设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的车道线检测方法对应的程序指令/模块(例如，车道线检测装置中的车道线识别模块310、车道线分类模块320、车道线拟合模块330和车道线确定模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的车道线检测方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种车道线检测方法，该方法包括：
将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；
确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；
对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；
根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的车道线检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述车道线检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：
将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；
确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；
对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；
根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
2.根据权利要求1所述的车道线检测方法，其特征在于，
所输出车道线标识点序列的数量小于等于所述目标车道线识别模型所包括车道线识别通道的数量；
且所述目标车道线识别模型中的一个车道线识别通道从所述待检测图像中识别出一个车道线标识点序列。
3.根据权利要求2所述的车道线检测方法，其特征在于，对所述目标车道线识别模型的训练步骤包括：
对识别训练图像中包括的至少一条标准识别车道线进行标注，对应各条标准车道线形成相应的标准车道线标识点序列；
将所述识别训练图像输入初始车道线识别模型，获得输出的至少一个训练车道线标识点序列；
基于各所述标准车道线标识点序列及训练车道线标识点序列，结合给定的识别模型损失函数，对所述初始车道线识别模型进行反向传播，得到所述目标车道线识别模型。
4.根据权利要求1所述的车道线检测方法，其特征在于，所述确定各所述车道线标识点序列对应的车道线区域，包括：
针对每个车道线标识点序列，取水平方向上与各车道线标注点间隔预设扩充像素点的像素点为区域轮廓像素点；
连接各所述区域轮廓像素点，构成多边形区域轮廓；
将所述多边形区域轮廓内的像素点组成的像素块确定为车道线区域。
5.根据权利要求1所述的车道线检测方法，其特征在于，所述目标车道线分类模型的训练步骤包括：
对分类训练图像中的至少一条标准分类车道线进行区域划分得到标准车道线区域，标注各所述标准车道线区域相应的标准车道线类型；
将所述标准车道线区域输入初始车道线分类模型，获得输出的训练车道线类型；
基于各所述标准车道线类型及训练车道线类型，结合给定的分类模型损失函数，对所述初始车道线分类模型进行反向传播，得到所述目标车道线分类模型。
6.根据权利要求1所述的车道线检测方法，其特征在于，所述对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线，包括：
针对每个车道线标识点序列，确定各所述车道线标识点对应的拟合指数；
根据各所述拟合指数从各所述车道线标识点中筛选出预设拟合比例的车道线拟合点；
根据各所述车道线拟合点结合预设的拟合多项式，确定车道位置线。
7.根据权利要求6所述的车道线检测方法，其特征在于，所述确定各所述车道线标识点对应的拟合指数，包括：
选取任意两个所述车道线标识点为车道线基准点，并将其它各所述车道线标识点确定为车道线候选点；
基于所述车道线基准点形成车道线基准线，并确定各所述车道线候选点与所述车道线基准线的点线距离值；
返回执行车道线基准点选取操作，直至所有车道线标识点均被选中进行车道点基准点的组合；
针对每个车道线标识点，获取所述车道线标识点具备的所有点线距离值，将各所述点线距离值的平均值确定为所述车道线标识点的拟合指数。
8.一种车道线检测装置，其特征在于，包括：
车道线识别模块，用于将采集到的待检测图像输入预先训练的目标车道线识别模型，输出至少一个车道线标识点序列；
车道线分类模块，用于确定各所述车道线标识点序列对应的车道线区域，根据各所述车道线区域结合预先训练的目标车道线分类模型，得到各所述车道线区域对应的车道线类型；
车道线拟合模块，用于对各所述车道线标识点序列分别进行拟合，形成对应的车道位置线；
车道线确定模块，用于根据各所述车道线类型以及对应的车道位置线，确定所述待检测图像中的各车道线。
9.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的车道线检测方法的步骤。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的车道线检测方法的步骤。
CN202011337773.0A 2020-11-25 2020-11-25 一种车道线检测方法、装置、设备及存储介质 Pending CN112381034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011337773.0A CN112381034A (zh) 2020-11-25 2020-11-25 一种车道线检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011337773.0A CN112381034A (zh) 2020-11-25 2020-11-25 一种车道线检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112381034A true CN112381034A (zh) 2021-02-19

Family

ID=74588065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011337773.0A Pending CN112381034A (zh) 2020-11-25 2020-11-25 一种车道线检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112381034A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758310A (zh) * 2022-06-13 2022-07-15 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930800A (zh) * 2016-04-21 2016-09-07 北京智芯原动科技有限公司 一种车道线检测方法及装置
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质
US20200074189A1 (en) * 2018-09-04 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line processing method and device
CN111353466A (zh) * 2020-03-12 2020-06-30 北京百度网讯科技有限公司 车道线识别处理方法、设备、存储介质
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930800A (zh) * 2016-04-21 2016-09-07 北京智芯原动科技有限公司 一种车道线检测方法及装置
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
US20200074189A1 (en) * 2018-09-04 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line processing method and device
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质
CN111353466A (zh) * 2020-03-12 2020-06-30 北京百度网讯科技有限公司 车道线识别处理方法、设备、存储介质
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758310A (zh) * 2022-06-13 2022-07-15 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置

Similar Documents

Publication Publication Date Title
CN109426801B (zh) 一种车道线实例检测方法和装置
CN109740469B (zh) 车道线检测方法、装置、计算机设备和存储介质
US10229332B2 (en) Method and apparatus for recognizing obstacle of vehicle
US10769487B2 (en) Method and device for extracting information from pie chart
CN110503074B (zh) 视频帧的信息标注方法、装置、设备及存储介质
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN112200884B (zh) 一种车道线的生成方法及装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN112016605A (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN109858327B (zh) 一种基于深度学习的字符分割方法
CN103810473A (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN113449725B (zh) 对象分类方法、装置、设备及存储介质
CN109740609A (zh) 一种轨距检测方法及装置
CN110969200A (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
CN114913386A (zh) 一种多目标跟踪模型的训练方法以及多目标跟踪方法
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN111914845A (zh) 一种车牌中字符分层方法、装置及电子设备
CN112381034A (zh) 一种车道线检测方法、装置、设备及存储介质
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
US11587330B2 (en) Visual analytics platform for updating object detection models in autonomous driving applications
CN109141457B (zh) 导航评估方法、装置、计算机设备和存储介质
CN113807315B (zh) 一种构建待识别对象识别模型的方法、装置、设备及介质
CN111104965A (zh) 车辆目标识别的方法及装置
CN116645612A (zh) 一种森林资源资产确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination