CN115049994A - 一种车道线检测方法及系统、计算机可读存储介质 - Google Patents

一种车道线检测方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN115049994A
CN115049994A CN202110210267.3A CN202110210267A CN115049994A CN 115049994 A CN115049994 A CN 115049994A CN 202110210267 A CN202110210267 A CN 202110210267A CN 115049994 A CN115049994 A CN 115049994A
Authority
CN
China
Prior art keywords
lane line
parameters
current real
vertex position
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110210267.3A
Other languages
English (en)
Inventor
覃小艺
邓胜
李景俊
李雄
谢鹏鹤
张剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202110210267.3A priority Critical patent/CN115049994A/zh
Publication of CN115049994A publication Critical patent/CN115049994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车道线检测方法及系统、计算机可读存储介质，包括：将当前时刻车辆前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并进一步确定当前真实车道线的形态参数和顶点位置参数；根据当前真实车道线与上一时刻车道线集合中的历史真实车道线的匹配结果对上一时刻车道线集合中的历史真实车道线进行更新。本发明车道线检测效率较低、能够适用复杂场景。

Description

一种车道线检测方法及系统、计算机可读存储介质
技术领域
本发明涉及车辆驾驶技术领域，具体涉及一种车道线检测方法及系统、计算机可读存储介质。
背景技术
车道线检测是无人驾驶与辅助驾驶技术中不可或缺的一部分，其检测精度直接关乎智能驾驶的安全。传统的车道线检测方法有以下两种：
一，获取车辆前方图像，对车辆前方图像进行边缘增强或二值化，然后提取车辆前方图像中的边缘特征，再根据边缘特征识别图像中车道线，该方法效率较低，准确率低下，无法适用于复杂场景；
二，利用深度卷积神经网络模型对已标注车道线的图像样本进行学习，实现可预测图像中的车道线点位置的功能，直接预测点的方式通常包含大量的冗余信息，后处理较为复杂，导致效率较低，方法适用的场景有限；
综上，传统的车道线检测方法存在检测效率较低、适用场景有限的缺陷。
发明内容
本发明的目的在于提出一种车道线检测方法及系统、计算机可读存储介质，以克服传统的车道线检测方法存在检测效率较低、适用场景有限的缺陷。
为实现上述目的，本发明第一方面提出一种车道线检测方法，包括：
获取当前时刻车辆前方图像；
将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；
根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出。
可选地，所述将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，包括：
所述深度卷积神经网络模型将所述前方图像平均分割为n个网格图像，获取每一网格图像所对应的s条预设虚拟车道线，并检测所述当前图像中的当前真实车道线；若当前真实车道线的顶点位于一网格图像中，则所述深度卷积神经网络模型选择该网格图像的s条预设虚拟车道线中与预设虚拟车道线距离最近的一条预设虚拟车道线作为参考线；未被选择作为参考线的其他预设虚拟车道线均作为非参考线；
所述深度卷积神经网络模型识别当前真实车道线相对于所述参考线和所述非参考线的形态偏移量、顶点位置偏移量和检测置信度，获得所述多维特征量。
可选地，所述将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，还包括：
所述深度卷积神经网络模型根据参考线的形态参数确定是否存在重复的参考线，若存在，则保留重复的至少两条参考线中顶点位置最高的一条参考线，其余参考线重新确定为非参考线。
可选地，所述根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，包括：
若存在与当前真实车道线匹配的历史真实车道线，则根据当前真实车道线更新所述匹配的历史真实车道线；若不存在与当前真实车道线匹配的历史真实车道线，则将当前真实车道线加入上一时刻车道线集合。
可选地，所述顶点位置偏移量为当前真实车道线的顶点与预设虚拟车道线的顶点之间的位置偏移量；所述当前真实车道线、预设虚拟车道线、历史真实车道线的形态采用三次多项式方程表示，所述形态参数为所述三次多项式方程的三次多项式系数。
可选地，所述根据当前真实车道线更新所述匹配的历史真实车道线，包括：
将当前真实车道线的三次多项式系数以及与其匹配的历史真实车道线的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线；
可选地，根据所述匹配的历史真实车道线以及车辆运动状态进行预测获得历史真实车道线所对应的预测的三次多项式系数；并将当前真实车道线的三次多项式系数与所述预测的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线。
可选地，所述深度卷积神经网络模型训练过程中的损失函数包括：
Figure BDA0002952021370000041
Figure BDA0002952021370000042
Figure BDA0002952021370000043
其中，
Figure BDA0002952021370000044
依次分别为对样本图像进行训练时，深度卷积神经网络模型输出的第i组特征参数中的第j个多维特征量的顶点位置的横纵坐标、三次多项式系数、检测置信度，{xij,yij}、{c0ij,c1ij,c2ij,c3ij}、pij依次分别为样本图像所对应的第i组特征参数中的第j个多维特征量的顶点位置坐标、三次多项式系数、检测置信度的真实标定值；α1、α2、α3、α4为预设系数，且α1＜α2＜α3＜α4。
本发明第二方面提出一种车道线检测系统，可以用于实现第一方面所述的车道线检测方法，包括：
图像获取单元，用于获取当前时刻车辆前方图像；
车道线检测单元，用于将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
车道线参数确定单元，用于确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；以及
车道线更新单元，用于根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出。
本发明第三方面提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现初始方面所述车道线检测方法的步骤。
综上，本发明的各个方面分别提出了车道线检测方法及系统、计算机可读存储介质，在本发明的各个方面中，相对于传统车道线检测模型而言，将当前时刻车辆前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；也即，不需要根据车道线特征点来生成车道线参数，而是直接获得当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度，由于预设虚拟车道线的顶点以及形态参数是已知的，因此可以根据偏移量推算出当前真实车道线的顶点和形态参数，这个计算过程相对于传统车道线检测时的运算能够减少运算量，简化检测算法/模型，提高检测效率，进一步地，还结合上一时刻的历史真实车道线进行微调/修正，大大提高了检测精度，从而克服了传统的车道线检测方法存在检测效率较低、适用场景有限的缺陷。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种车道线检测方法流程图。
图2为本发明一实施例中车道线检测原理示意图。
图3为本发明一实施例中车道线修正原理示意图。
图4为本发明另一实施例中一种车道线检测系统结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1，本发明一实施例提出一种车道线检测方法，包括如下步骤S1～S4：
步骤S1、获取当前时刻车辆前方图像；
具体而言，可以在车辆的正前方安装摄像头，获取所述摄像头所拍摄的当前时刻车辆前方图像；
步骤S2、将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
具体而言，本实施例中所述深度卷积神经网络模型具体为深度卷积神经网络，可以理解的是，基于设定的输入层和输出层以及设定的损失函数，通过根据样本图像进行预先训练获得的深度卷积神经网络可以实现执行上述步骤S2的功能；
具体地，步骤S2中所述检测所述当前图像中的当前真实车道线可以采用任一种图像处理方式，只要能够确定当前图像中的所有当前真实车道线即可，本实施例中不进行限定；
步骤S3、确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；
具体而言，根据检测置信度进行筛选，若输出的一个特征量的检测置信度大于预设置信度，则该一个特征量所对应的预设虚拟车道线为与当前真实车道线匹配，当然，多条真实车道线会存在与其匹配的多条预设虚拟车道线，匹配的多条预设虚拟车道线分别为不同网格图像的预设虚拟车道线；预设虚拟车道线的形态参数和顶点位置参数为已知参数，因此，结合当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量，可以计算得到当前真实车道线的形态参数和顶点位置参数；
步骤S4、根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出；
具体而言，在初始时刻，车道线集合中的历史真实车道线数量为0，则将初始时刻获得的所有真实车道线的形态参数存储至车道线集合中获得初始时刻的车道线集合；在初始时刻之后的第一个时刻开始，则可以根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新；该匹配指的是当前真实车道线与历史真实车道线是否为同一车道线；在每一时刻，都输出当前时刻车道线集合。
在一具体的实施例子中，所述将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，包括如下步骤S21～S23：
步骤S21、所述深度卷积神经网络模型将所述前方图像平均分割为n个网格图像，获取每一网格图像所对应的s条预设虚拟车道线，并检测所述当前图像中的当前真实车道线；若当前真实车道线的顶点位于一网格图像中，则所述深度卷积神经网络模型选择该网格图像的s条预设虚拟车道线中与预设虚拟车道线距离最近的一条预设虚拟车道线作为参考线；进一步地，所述深度卷积神经网络模型根据参考线的形态参数确定是否存在重复的参考线，若存在，则所述深度卷积神经网络模型保留重复的至少两条参考线中顶点位置最高的一条参考线，其余参考线重新确定为非参考线；
此外，未被选择作为参考线的其他预设虚拟车道线均作为非参考线；
具体而言，深度卷积神经网络模型是一种用于对图像进行卷积处理提取其图像特征的模型，本实施例所述深度卷积神经网络模型参考yolo模型的基本思想，所述深度卷积神经网络模型的主体结构可以采用darknet模型的网络结构，darknet模型会将所述前方图像平均分割为n个网格，即对应所述n个网格图像；并且，每一个网格图像都会具有对应的s条预设虚拟车道线，该s条预设虚拟车道线用来与对应网格图像中的当前真实车道线进行对比，获得与n个网格图像一一对应的n组特征参数；
具体地，根据车道线的特点，一般车道线为直线、向左弯曲倾斜或向右弯曲倾斜，因此，本实施例中优选s条预设虚拟车道线具体为3条预设虚拟车道线，分别对应直线、向左弯曲倾斜或向右弯曲倾斜的车道线状态，例如图2所示，图2中示出了其中一个网格图像(即当前真实车道线顶点所位于的网格图像)的3条预设虚拟车道线(图2中用标号1、2、3进行示意)；3条预设虚拟车道线的起始点(底部)默认延伸到图片底部、左边缘或右边缘；同一个网格图像的3条预设虚拟车道线的顶点均为该网格图像的中心位置，由于预设的3条预设虚拟车道线的形态是已知的，也即当深度卷积神经网络模型在对前方图像进行网格划分之后，对于每一个网格图像，确定其网格中心位置，便可以确定网格所对应的3条预设虚拟车道线。可以理解的是，由于输入深度卷积神经网络模型的图像尺寸是固定的，分割的网格数量n也是设定的，n＝W*H，网格图像是对原始图像按行列进行分割的，H为行数，W为列数；其中，对于不同帧图像而言，每一网格图像所对应的s条预设虚拟车道线在图像中的位置参数及其形态参数是固定不变的；
需说明的是，所述当前真实车道线可以是多条，一般路况中，一个车道包括左右车道线，两个车道则包括左中右车道线，以此类推；
具体而言，在实际驾驶工况中，车道线可能是虚线，在深度卷积神经网络模型处理图像时可以理解为被划分为多条小的车道线，因此会出现与同一真实车道线匹配的多个参考线，所以步骤S21中需要进一步地进行筛选，优选地，本实施例中选择重复的至少两条参考线中顶点位置最高的一条参考线作为最终与真实车道线匹配的参考线，以用于后续的计算；
步骤S22、所述深度卷积神经网络模型识别当前真实车道线相对于所述参考线和所述非参考线的形态偏移量、顶点位置偏移量和检测置信度，获得所述多维特征量；其中所述参考线对应的检测置信度大于所述非参考线对应的检测置信度；
具体而言，可以理解为所述深度卷积神经网络模型是将所述前方图像处理为一个n*s*m的特征图，m为所述多维特征量的维数；根据该特征图，对特征图中的每一个小网格图像进行识别，对每一个网格图像进行识别后获得s个m维特征量；最终，所述深度卷积神经网络模型对前方图像进行处理后输出W*H*s*m的特征量；
其中，步骤S22为通过深度卷积神经网络模型预先训练得到的智能识别功能；可以理解的是，本实施例中在计算当前真实车道线的特征参数，即形态参数和顶点位置参数时，仅利用检测置信度大于预设置信度的参考线进行计算，因此，当前真实车道线相对于所述非参考线的形态偏移量、顶点位置偏移量和检测置信度实际上并没有应用到，因此，对于当前真实车道线相对于所述非参考线的形态偏移量、顶点位置偏移量和检测置信度也可以简单设置为默认值，以减少计算量；并且，所述参考线对应的检测置信度大于所述非参考线对应的检测置信度，检测置信度采用0～1的数值进行表示。
在一具体的实施例子中，所述步骤S4中根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，包括：
若存在与当前真实车道线匹配的历史真实车道线，则根据当前真实车道线更新所述匹配的历史真实车道线；若不存在与当前真实车道线匹配的历史真实车道线，则将当前真实车道线加入上一时刻车道线集合；
优选地，本实施例中可以采用匈牙利匹配算法，根据车道线形态参数进行当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配。
在一具体的实施例子中，所述顶点位置偏移量为当前真实车道线的顶点与预设虚拟车道线的顶点之间的位置偏移量；
所述当前真实车道线、预设虚拟车道线、历史真实车道线的形态采用三次多项式方程表示，所述形态参数为所述三次多项式方程y＝c0*x3+c1*x2+c2*x+c3的三次多项式系数，即6个参数(x0,y0,c0,c1,c2,c3)可确定图像中的一条车道线，(x0,y0)为顶点在图像中的横纵坐标,c0,c1,c2,c3为多项式系数。
在一例子中，参阅图3，所述根据当前真实车道线更新所述匹配的历史真实车道线，包括：
将当前真实车道线的三次多项式系数以及与其匹配的历史真实车道线的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线；
具体而言，也即将当前真实车道线的三次多项式系数(当前检测结果)xk-1和历史真实车道线的三次多项式系数(历史结果)xk-2和进行加权求和计算得到新的三次多项式系数(修正结果)xk，具体如下公式所示：
xk＝b1*xk-1+b2*xk-2
b1+b2＝1
本例子中b1远大于b2，优选为0.9。
在另一例子中，参阅图3，所述根据当前真实车道线更新所述匹配的历史真实车道线，包括：
根据所述匹配的历史真实车道线以及车辆运动状态进行预测获得历史真实车道线所对应的预测的三次多项式系数；并将当前真实车道线的三次多项式系数与所述预测的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线；
具体而言，所述根据所述匹配的历史真实车道线以及车辆运动状态进行预测，可以采用卡尔曼滤波跟踪模型进行预测；即，根据上一时刻的历史真实车道线进行当前时刻的真实车道线预测，得到预测的三次多项式系数；也即，将预测的三次多项式系数(预测结果)xk-3和当前真实车道线的三次多项式系数(检测结果)xk-1进行加权求和计算得到新的三次多项式系数(修正结果)xk，具体如下公式所示：
xk＝b1*xk-1+b3*xk-3
b1+b3＝1
本例子中b1远大于b2，优选为0.9。
在一具体的实施例子中，所述深度卷积神经网络模型训练过程中的损失函数包括：
Figure BDA0002952021370000121
该损失函数表示深度卷积神经网络模型检测出来的车道线与真实车道线顶点距离越小越好；
Figure BDA0002952021370000122
Figure BDA0002952021370000123
该损失函数表示深度卷积神经网络模型检测出来的车道线系数与真实车道线系数越接近越好；
Figure BDA0002952021370000124
该损失函数表示已匹配上的参考线对应的置信度越接近1越好；
其中，
Figure BDA0002952021370000125
依次分别为对样本图像进行训练时，深度卷积神经网络模型输出的第i组特征参数中的第j个多维特征量的顶点位置的横纵坐标、三次多项式系数、检测置信度，{xij,yij}、{c0ij,c1ij,c2ij,c3ij}、pij依次分别为样本图像所对应的第i组特征参数中的第j个多维特征量的顶点位置坐标、三次多项式系数、检测置信度的真实标定值；α1、α2、α3、α4为预设系数，且α1＜α2＜α3＜α4；
具体而言，在深度卷积神经网络模型训练时，训练目标为使得上述3个损失函数的值L1、L2、L3最小，当L1、L2、L3取得最小值时，即深度卷积神经网络模型的模型参数为最优。
综上，相对于传统车道线检测模型而言，将当前时刻车辆前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；也即，不需要根据车道线特征点来生成车道线参数，而是直接获得当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度，由于预设虚拟车道线的顶点以及形态参数是已知的，因此可以根据偏移量推算出当前真实车道线的顶点和形态参数，这个计算过程相对于传统车道线检测时的运算能够减少运算量，简化检测算法/模型，提高检测效率，进一步地，还结合上一时刻的历史真实车道线进行微调/修正，大大提高了检测精度，从而克服了传统的车道线检测方法存在检测效率较低、适用场景有限的缺陷。
参阅图4，本发明另一实施例提出一种车道线检测系统，可以用于实现上述实施例所述的车道线检测方法，本实施例系统包括：
图像获取单元1，用于获取当前时刻车辆前方图像；
车道线检测单元2，用于将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
车道线参数确定单元3，用于确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；以及
车道线更新单元4，用于根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，即上述实施例方法记载的具体步骤内容可以理解为本实施例系统的所能够实现的功能，此处不再赘述。
并且，上述实施例所述车道线检测系统若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述车道线检测方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：
获取当前时刻车辆前方图像；
将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；
根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出。
2.根据权利要求1所述的车道线检测方法，其特征在于，所述将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，包括：
所述深度卷积神经网络模型将所述前方图像平均分割为n个网格图像，获取每一网格图像所对应的s条预设虚拟车道线，并检测所述当前图像中的当前真实车道线；若当前真实车道线的顶点位于一网格图像中，则所述深度卷积神经网络模型选择该网格图像的s条预设虚拟车道线中与预设虚拟车道线距离最近的一条预设虚拟车道线作为参考线；未被选择作为参考线的其他预设虚拟车道线均作为非参考线；
所述深度卷积神经网络模型识别当前真实车道线相对于所述参考线和所述非参考线的形态偏移量、顶点位置偏移量和检测置信度，获得所述每一组特征参数的多维特征量。
3.根据权利要求2所述的车道线检测方法，其特征在于，所述将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，还包括：
所述深度卷积神经网络模型根据参考线的形态参数确定是否存在重复的参考线，若存在，则保留重复的至少两条参考线中顶点位置最高的一条参考线，其余参考线重新确定为非参考线。
4.根据权利要求1所述的车道线检测方法，其特征在于，所述根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，包括：
若存在与当前真实车道线匹配的历史真实车道线，则根据当前真实车道线更新所述匹配的历史真实车道线；若不存在与当前真实车道线匹配的历史真实车道线，则将当前真实车道线加入上一时刻车道线集合。
5.根据权利要求4所述的车道线检测方法，其特征在于，所述顶点位置偏移量为当前真实车道线的顶点与预设虚拟车道线的顶点之间的位置偏移量；所述当前真实车道线、预设虚拟车道线、历史真实车道线的形态采用三次多项式方程表示，所述形态参数为所述三次多项式方程的三次多项式系数。
6.根据权利要求5所述的车道线检测方法，其特征在于，所述根据当前真实车道线更新所述匹配的历史真实车道线，包括：
将当前真实车道线的三次多项式系数以及与其匹配的历史真实车道线的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线。
7.根据权利要求5所述的车道线检测方法，其特征在于，根据所述匹配的历史真实车道线以及车辆运动状态进行预测获得历史真实车道线所对应的预测的三次多项式系数；并将当前真实车道线的三次多项式系数与所述预测的三次多项式系数进行加权求和计算得到新的三次多项式系数，并根据所述新的三次多项式系数更新车道线集合中与当前真实车道线匹配的历史真实车道线。
8.根据权利要求5所述的车道线检测方法，其特征在于，所述深度卷积神经网络模型训练过程中的损失函数包括：
Figure FDA0002952021360000031
Figure FDA0002952021360000032
Figure FDA0002952021360000033
其中，
Figure FDA0002952021360000034
Figure FDA0002952021360000035
依次分别为对样本图像进行训练时，深度卷积神经网络模型输出的第i组特征参数中的第j个多维特征量的顶点位置的横纵坐标、三次多项式系数、检测置信度，{xij,yij}、{c0ij,c1ij,c2ij,c3ij}、pij依次分别为样本图像所对应的第i组特征参数中的第j个多维特征量的顶点位置坐标、三次多项式系数、检测置信度的真实标定值；α1、α2、α3、α4为预设系数，且α1＜α2＜α3＜α4。
9.一种车道线检测系统，其特征在于，用于实现权利要求1～8任一项所述的车道线检测方法，包括：
图像获取单元，用于获取当前时刻车辆前方图像；
车道线检测单元，用于将所述前方图像输入预先训练好的深度卷积神经网络模型进行处理输出n组特征参数，每一组特征参数包括s个多维特征量，每个多维特征量包括当前真实车道线相对于预设虚拟车道线的形态偏移量、顶点位置偏移量和检测置信度；s和n均为大于0的正整数；
车道线参数确定单元，用于确定检测置信度大于预设置信度的预设虚拟车道线的形态参数和顶点位置参数以及当前真实车道线相对于其的形态偏移量、顶点位置偏移量，并根据该形态偏移量、顶点位置偏移量、形态参数和顶点位置参数确定当前真实车道线的形态参数和顶点位置参数；以及
车道线更新单元，用于根据车道线形态参数，将当前真实车道线与上一时刻车道线集合中的历史真实车道线进行匹配，并根据匹配结果对上一时刻车道线集合中的历史真实车道线进行更新，获得当前时刻车道线集合并输出。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任一项所述车道线检测方法的步骤。
CN202110210267.3A 2021-02-25 2021-02-25 一种车道线检测方法及系统、计算机可读存储介质 Pending CN115049994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210267.3A CN115049994A (zh) 2021-02-25 2021-02-25 一种车道线检测方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210267.3A CN115049994A (zh) 2021-02-25 2021-02-25 一种车道线检测方法及系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115049994A true CN115049994A (zh) 2022-09-13

Family

ID=83156135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210267.3A Pending CN115049994A (zh) 2021-02-25 2021-02-25 一种车道线检测方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115049994A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057757A1 (en) * 2010-09-08 2012-03-08 Fuji Jukogyo Kabushiki Kaisha Lane line estimating apparatus
CN108052880A (zh) * 2017-11-29 2018-05-18 南京大学 交通监控场景虚实车道线检测方法
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN109878508A (zh) * 2019-02-28 2019-06-14 东软睿驰汽车技术（沈阳）有限公司 一种端到端自动驾驶的方法及装置
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
WO2019228211A1 (zh) * 2018-05-31 2019-12-05 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
US20200026282A1 (en) * 2018-07-23 2020-01-23 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
CN111310593A (zh) * 2020-01-20 2020-06-19 浙江大学 一种基于结构感知的超快速车道线检测方法
WO2020164010A1 (zh) * 2019-02-13 2020-08-20 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057757A1 (en) * 2010-09-08 2012-03-08 Fuji Jukogyo Kabushiki Kaisha Lane line estimating apparatus
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN108052880A (zh) * 2017-11-29 2018-05-18 南京大学 交通监控场景虚实车道线检测方法
WO2019228211A1 (zh) * 2018-05-31 2019-12-05 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
US20200026282A1 (en) * 2018-07-23 2020-01-23 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
WO2020164010A1 (zh) * 2019-02-13 2020-08-20 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN109878508A (zh) * 2019-02-28 2019-06-14 东软睿驰汽车技术（沈阳）有限公司 一种端到端自动驾驶的方法及装置
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN111310593A (zh) * 2020-01-20 2020-06-19 浙江大学 一种基于结构感知的超快速车道线检测方法

Similar Documents

Publication Publication Date Title
CN111723860B (zh) 一种目标检测方法及装置
CN112506342B (zh) 基于动态手势识别的人机交互方法及系统
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN108830196A (zh) 基于特征金字塔网络的行人检测方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN111931686B (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN108932455B (zh) 遥感图像场景识别方法及装置
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN114037640A (zh) 图像生成方法及装置
CN104978738A (zh) 检测数字图像中的兴趣点的方法
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN115578615A (zh) 基于深度学习的夜间交通标志图像检测模型建立方法
CN114332633B (zh) 雷达图像目标检测识别方法、设备和存储介质
CN115019181A (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN112132753B (zh) 多尺度结构引导图像的红外图像超分辨率方法及系统
CN111275616B (zh) 低空航拍图像拼接方法和装置
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN114494441B (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115049994A (zh) 一种车道线检测方法及系统、计算机可读存储介质
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质
CN112802175B (zh) 大规模场景遮挡剔除方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination