CN112699711B - 车道线检测方法、装置、存储介质及电子设备 - Google Patents

车道线检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112699711B
CN112699711B CN201911007682.8A CN201911007682A CN112699711B CN 112699711 B CN112699711 B CN 112699711B CN 201911007682 A CN201911007682 A CN 201911007682A CN 112699711 B CN112699711 B CN 112699711B
Authority
CN
China
Prior art keywords
image
lane
network model
detected
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911007682.8A
Other languages
English (en)
Other versions
CN112699711A (zh
Inventor
刘白皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911007682.8A priority Critical patent/CN112699711B/zh
Publication of CN112699711A publication Critical patent/CN112699711A/zh
Application granted granted Critical
Publication of CN112699711B publication Critical patent/CN112699711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能交通技术领域，具体涉及一种车道线检测方法、装置、存储介质及电子设备。该方法包括：获取待检测图像；利用训练后的实例分割网络模型对待检测图像中的车道线进行实例分割，得到包含有车道线的图像像素集合；从图像像素集合和待检测图像中提取描述符；利用训练后的目标检测网络模型对描述符进行分类，得到待检测图像中的车道线的位置信息和类型信息。本技术方案能够有效地解决传统的车道线检测方法在车道线遮挡时，车道线位置信息提取不准确的问题。

Description

车道线检测方法、装置、存储介质及电子设备
技术领域
本申请涉及智能交通技术领域，特别地涉及一种车道线检测方法、装置、存储介质及电子设备。
背景技术
随着科技的发展与人们生活水平的提高，汽车已经成为人们生活中越来越重要的交通工具，而智能驾驶技术也得到了飞快的发展。
其中车道线检测是智能驾驶技术的研究热点之一，可服务于自动驾驶、自动标定、基于视频的交通监控领域。快速有效地识别车道线，能够保证车道偏离预警系统的实时性与稳定性。
然而，传统的车道线检测方法在车道线遮挡时，车道线位置信息提取不准确。
申请内容
针对现有技术的不足，本申请提供一种车道线检测方法、装置、存储介质及电子设备，以解决传统的车道线检测方法在车道线遮挡时，车道线位置信息提取不准确的问题。
第一方面，本申请提供了一种车道线检测方法，所述方法包括：
获取待检测图像；
利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；
从所述图像像素集合和所述待检测图像中提取描述符，其中，所述描述符记录了车道线的位置信息和该车道对应位置的图像像素值；
利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息。
根据本申请的实施例，可选的，上述车道线检测方法中，所述训练后的实例分割网络模型通过以下步骤获得：获取多个训练图像，所述训练图像包含车道线，其中，不同的训练图像对应的场景或包括的公路不同；根据所述训练图像，训练实例分割网络模型。
根据本申请的实施例，可选的，上述车道线检测方法中，所述实例分割网络模型为采用二元交叉熵函数的FastNet网络模型。
根据本申请的实施例，可选的，上述车道线检测方法中，所述目标检测网络模型为采用K-means算法的FastLaneClass网络模型。
根据本申请的实施例，可选的，上述车道线检测方法中，利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息之后，还包括：去除所述待检测图像中的背景；对所述位置信息和所述类型信息进行标识，得到标识了所述车道线的位置信息和类型信息的待检测图像。
根据本申请的实施例，可选的，上述车道线检测方法中，利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息之后，还包括：对所述待检测图像中车道线的位置信息和类型信息进行标识，得到标识了所述车道线的位置信息和类型信息的待检测图像。
根据本申请的实施例，可选的，上述车道线检测方法中，所述描述符通过以下步骤构建：从所述图像像素集合中获取所述车道线的位置信息，从所述待检测图像中获取与所述车道线位置信息对应的图像像素值，根据所述车道线位置信息与所述图像像素值得到所述描述符。
第二方面，本申请提供一种车道线检测装置，包括：
获取模块，被配置成获取待检测图像；
分割模块，被配置成利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；
提取模块，被配置成从所述图像像素集合和所述待检测图像中提取描述符，其中，所述描述符记录了车道线的位置信息和该车道线对应位置的图像像素值；
分类模块，被配置成利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息。
第三方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述的车道线检测方法。
第四方面，本申请提供了一种该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现上述车道线检测方法。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本申请提供的一种车道线检测方法，获取待检测图像，利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合，不需要对图像进行边缘检测处理，减小了环境对实例分割的干扰；从所述图像像素集合和所述待检测图像中提取描述符，所述描述符记录了车道线的位置信息和该车道线对应位置的图像像素值，便于后续对车道线的跟踪；利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线位置信息和车道线类型，实现了对车道线的实时检测。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述：
图1为本申请实施例提供的一种车道线检测方法的流程示意图；
图2为本申请实施例提供的深度神经网络的结构示意图；
图3为本申请实施例提供的FastNet网络模型的结构示意图；
图4为本申请实施例提供的FastLaneClass网络模型的结构示意图；
图5为本申请实施例提供的一种车道线检测方法中FastNet网络模型对待检测图像处理的流程示意图；
图6为本申请实施例提供的一种车道线检测方法中FastNet网络模型对待检测图像处理的示意图；
图7为本申请实施例提供的一种车道线检测方法中FastLaneClass网络模型对描述符处理的流程示意图；
图8为本申请实施例提供的一种车道线检测方法中FastLaneClass网络模型对描述符处理的示意图；
图9为利用本申请实施例提供的车道线检测方法对图像进行处理的流程示意图；
图10为本申请实施例提供的一种车道线检测方法对图像进行处理的示意图；
图11为本实施例提供的一种车道线检测装置的结构示意图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。
本申请发明人经研究发现，随着智能驾驶技术的飞快发展，服务于自动驾驶的车道线检测技术成为智能驾驶技术的研究热点之一，然而传统的车道线检测方法准确度容易受环境的影响，使得基于车道线检测技术的自动驾驶极不安全。
实施例一
图1为本申请实施例提供的一种车道线检测方法的流程示意图。如图1所示，该方法，包括以下步骤：
S110，获取待检测图像；
S120，利用训练后的实例分割网络模型对待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；
S130，从图像像素集合和待检测图像中提取描述符，其中，描述符中记录了车道线的位置信息和该车道对应位置信息的图像像素值；
S140，利用训练后的目标检测网络模型对描述符进行分类，得到待检测图像中的车道线的位置信息和类型信息。
其中，S110，获取待检测图像，具体包括，超大广角高清摄像头采集大量道路周围图像，该图像包含尽可能多的不同地形的道路和场景。以便于后续实例分割网络模型对待检测图像进行实例分割，提升图像像素集合的代表性和包容性。
S120，利用训练后的实例分割网络模型对待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合，具体包括，采用二元交叉熵函数的实例分割网络模型对图像进行实例分割，得到包含有车道线的图像像素集合，不需要对图像进行边缘检测处理，能够有效解决现有技术中，在多车道场景下对车道线左右边缘划分时，受环境的干扰以及划分过程中图像对比度的限制，不需要对图像的畸变进行矫正，降低CPU的负载，提升了本方法的实时性。
实例分割网络模型训练包括：获取多个训练图像，训练图像包含车道线，其中，不同的训练图像对应的场景或包括的公路不同；根据训练图像对实例分割网络模型进行训练，使得本方法在任何外界环境能准确、快速的对车道线进行检测和对预测，增强了本方法涉及到的算法的鲁棒性。
其中实例分割网络模型通过二元交叉熵损失函数不断的训练优化参数，区分车道和背景，识别车道线边界，在车道线边界上执行实例分割，这样可以避免在车道边界对多车道线进行分组，节约了处理时间，输出图像中每条车道线像素集合；其中二元交叉熵函数为：
其中x是上一层网络的输出，维度为N，fi为预测对象属于第N类的概率，e为自然常数。
S130，从图像像素集合和待检测图像中提取描述符，其中，描述符中记录了车道线的位置信息和该车道对应位置的图像像素值，以便于后续目标检测网络模型的对其进行分类，解决了在多车道场景下，车道遮挡过程中的车道线跟踪不稳定，经常跟踪丢失或者漂移的问题。
其中，描述符通过以下步骤构建包括：从图像像素集合中获取车道线的位置信息，从待检测图像中获取与车道线的位置信息对应的图像像素值，将车道线的位置信息和图像像素值存储在空白文档中，描述符从空白文档中提取存储的车道线位置信息和车道边界像素值。
S140，利用训练后的目标检测网络模型对所述描述符进行分类，得到待检测图像中的车道线的信息和类型信息，实现对车道线的实时检测。
在自动安全驾驶中，需要避免与其它车辆碰撞，并将车辆定位在车道内，对实时准确定位车道和周围环境的深入了解至关重要，因此许多方法使用机器视觉或GPS来在道路定位车辆。然而，传统的方法检测车道的边界的位置可能不足以进行实时可靠的定位，如路径规划可能还需要有关车道类型的本地化信息。在本实施例中，由多个级联深度神经网络分别对车道线位置进行定位和分类，实时检测，提高了车道线定位的可靠性，有效地解决了在车道线遮挡时，车道线位置信息提取不准确。
其中，在训练目标检测网络模型阶段，候选窗anchor窗口选择采用K-means算法，选择好特征数据：单线连续、双线连续、虚线、双虚线、斑点和非车道线信息的图像像素值和坐标点(x,y)。分成6类，然后随机初始化6个点作为中心点，对于每一个数据点，选取与之距离最近的中心点作为自己的类别，当所有数据点都归类完毕后，调整中心点，把中心点重新设置为该类别中所有数据点的中心位置，每一轴都设置为平均值。重复以上步骤直到数据点的类别不再发生变化，直到将所有的车道线像素分配给对应的车道，得到车道线的位置信息和车道线的类型，有效地解决了像素聚类的问题。
其中车道线的类型按照道路交通标线的功能划分为：指示标线、警告标线和禁止标线；按标划方法可分为：白色虚线、白色实线、黄色虚线、黄色实线、双白虚线、双白实线、双黄虚线和双黄实线等；按作用又可分为：车行道中心线、车道分界线、停止线、减速让行线、人行横道线、导流线、导向箭头和左转弯导线等，在本实施例中车道线的类型按照道路交通标线的功能进行划分，具体为：单线连续、双线连续、虚线、双虚线、斑点和非车道线。
其中，采用欧式距离计算公式对聚类距离进行计算，计算公式为：
其中x，y为描述符中车道边界像素点的坐标位置。
本申请提供的车道线检测方法是基于深度神经网络实现的，如图2所示，深度神经网络首先建立n(1,2,…,n)个隐藏层，按顺序建立输入层与隐藏层的联结，最后建立隐藏层与输出层的联结；然后为每个隐藏层的每个节点选择激活函数，求解每个联结的权重和每个节点自带的bias值。举简单例子说明,假设layer1网络为y＝ReLU(wx+bias)。则在训练阶段，给出已知输入x和输出y。不断求解权重w和偏置bias的过程。对神经网络模型进行训练的目的是获取神经网络的W权重和偏置bias，在预测阶段则使用训练得到的W权重和偏置bias。
神经网络模型包括实例分割网络模型和目标检测网络模型。其中，实例分割网络模型为采用二元交叉熵函数的FastNet网络模型；如图3所示，FastNet网络模型由五个阶段组成，包含10个Conv卷积层、5个Maxpool最大池化层、10个BN批标准化层、2个upsample上采样层、1个route连接层。
目标检测网络模型为采用K-means算法的FastLaneClass网络模型；如图4所示，FastLaneClass网络模型由6个Conv2D二维卷积层、6个BN层、6个LeakReLU激活层、3个Maxpool2D二维最大池化层和1个linear激活层组成。
如图5所示，S210，采集图像；S220，利用采用二元交叉熵函数的FastNet网络模型对图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；S230，从图像像素集合和图像中提取描述符。
举例说明，如图6所示，大广角超清摄像头采集大量的道路图像传输给FastNet网络模型，FastNet网络模型对图像进行实例分割，得到包含有车道线的图像像素集合，然后从图像像素集合和道路图像中提取描述符。
如图7所示，S240，利用采用K-mean算法的FastLaneClass网络模型对描述符进行分类，得到图像中的车道线的位置信息和类型信息；S250，去除图像中车道线以外的背景，对车道线的位置信息和类型信息进行标识，得到标识了车道线的位置信息和类型信息的图像。
举例说明，如图8所示，FastLaneClass网络模型对描述符进行分类，得到图像中的车道线的位置信息和类型信息；然后去除图像中车道线以外的背景，对识别出的单连续线和双连续线填充黄色，对虚线、双虚线填充白色，斑点不进行填充得到标识了车道线的位置信息和类型信息的图像。
本实施例还包括，如图9所示，S310，采集图像；S320，利用采用二元交叉熵函数的FastNet网络模型对图像中的车道线进行实例分割，得到包含有车道线的图像像素集合；S330，从图像像素集合和图像中提取描述符；S340，利用采用K-mean算法的FastLaneClass网络模型对描述符进行分类，得到图像中的车道线的位置信息和类型信息；S350，对位置信息和类型信息进行标识，得到标识了位置信息和类型信息的图像。
举例说明，如图10所示，大广角超清摄像头采集图像，将图像发送给FastNet网络模型；FastNet网络模型对接收到的图像中的车道线进行实例分割，得到包含有车道线的图像像素集合；然后从图像像素集合中获取车道线的位置信息，从待图像中获取与车道线的位置信息对应的图像像素值，将车道线的位置信息和图像像素值存储在空白文档中，描述符从空白文档中提取存储的车道线位置信息和车道边界像素值，然后将描述符发送给FastLaneClass网络模型；FastLaneClass网络模型对描述符进行分类，得到图像中的车道线的位置信息和类型信息；保留车道线的原始图像背景，对识别出的单连续线和双连续线填充黄色，对虚线、双虚线填充白色，斑点不进行填充。
在训练神经网络模型过程中采用Adam优化器，使得参数的更新不受梯度的伸缩变换影响，FastNet网络模型和FastLaneClass网络模型能够自动调整学习率。在训练阶段使用Adam优化器，只是实现实时性的一部分，实时性的实现与CPU计算量相关，在保证效果的前提下，计算量越少，实时性越好。采用段到端的方式，设计FastNet网络模型和FastLaneClass网络模型可有效减少计算量，提高计算速度。其中Adam算法伪代码如下：
其中
α＝1，m0＝0，v0＝0，t＝0，β1,β1∈[0,1)；
whileθt not conerged do；
t＝t+1；
gt＝Δθft(θt-1)//计算梯度；
mt＝β1mt-1+(1-β1).gt//计算均值；
vt＝β2vt-1+(1-β2).gt 2//计算方差；
//对均值进行校正；
//对方差进行校正；
//梯度下降；
α＝α+1；
end while；
returnθt。
在本实施例中，通过采用二元交叉熵函数的FastNet网络模型对待检测图像中的车道线进行实例分割，得到包含有车道线的图像像素集合，不需要对图像进行边缘检测处理，能够有效解决现有技术中，在多车道场景下对车道线左右边缘划分时受环境的干扰以及划分过程中图像对比度的限制，不需要对图像的畸变进行矫正，降低CPU的负载，提升车道线检测的实时性；从图像像素集合中获取车道线的位置信息，从待检测图像中的获取与车道线位置信息对应的车道边界像素点，将车道线位置信息与所述车道边界像素点记录在描述符中，以便于后续FastLaneClass网络模型的处理，解决了在多车道场景下，车道遮挡过程中的车道线跟踪不稳定，经常跟踪丢失或者漂移的问题；采用K-means算法的FastLaneClass网络模型，根据预设的特征数据将所述描述符分成6类，得到车道线位置信息和车道线类型，实现对车道线的实时检测。本申请有效地解决了传统车道线检测方法在多车道场景下车道线遮挡过程中车道线相关信息跟踪丢失，车道线的边缘划分前需进行图像校正以及在车道线信息提取过程中需进行边缘检测处理的问题。
实施例二
图11为本实施例提供的一种车道线检测装置的结构示意图，如图11所示，本申请还提供一种车道线检测装置40，包括：
获取模块401，被配置成获取待检测图像；
分割模块402，被配置成利用训练后的实例分割网络模型对待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；
提取模块403，被配置成从图像像素集合和待检测图像中提取描述符，其中，描述符记录了车道线的位置信息和该车道线对应位置的图像像素值；
分类模块404，被配置成利用训练后的目标检测网络模型对描述符进行分类，得到待检测图像中的车道线的位置信息和类型信息。
在本实施例中，获取模块401用于获取待检测图像；分割模块402用于对待检测图像中的车道线进行实例分割，得到包含车道线的图像像素集合；提取模块403用于从图像像素集合和待检测图像中提取描述符；分类模块404可以是本实施例一中的FastLaneClass网络模型，用于对描述符进行分类，得到待检测图像中的车道线的位置信息和类型信息。
举例说明，超广角高清摄像头获取包含不同公路地形的待检测图像，对FastNet网络模型进行训练；训练后的FastNet网络模型对待检测图像中的车道线进行实例分割，得到包含车道线的图像像素集合；然后从图像像素集合中获取车道线的位置信息，从待检测图像中获取对应车道线位置信息的图像像素值，将车道线的位置信息和图像像素值记录在描述符中，使用描述符训练FastLaneClass网络模型；FastLaneClass网络模型对描述符进行分类，得到待检测图像中的车道线的位置信息和类型信息。
上述装置的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例三
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现如下方法步骤：
获取待检测图像；
利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合；
从所述图像像素集合和所述待检测图像中提取描述符，其中，所述描述符记录了车道线的位置信息和该车道线对应位置的图像像素值；
利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例四
本申请实施例提供了一种电子设备，该电子设备可以是手机、电脑或平板电脑等，包括存储器和处理器，所述存储器上存储有计算器程序，该计算机程序被处理器执行时实现如实施例一中车道线检测方法。可以理解，电子设备还可以包括，多媒体组件，输入/输出(I/O)接口，以及通信组件。
其中，处理器用于执行如实施例一中的车道线检测方法中的全部或部分步骤。存储器用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable LogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一中的车道线检测方法。
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
综上，本申请提供的一种车道线检测方法、设备、存储介质及电子设备，该方法使用大量包含不同地形公路和场景的待检测图像对所述实例分割网络模型进行训练，使得车道线检测算法在任何外界环境能准确、快速的对车道线检测与对预测，增强了本方法涉及到的算法的鲁棒性。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本申请所揭露的实施方式如上，但所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种车道线检测方法，其特征在于，所述方法包括：
获取待检测图像；
利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合，所述实例分割网络模型为采用二元交叉熵函数的FastNet网络模型；
从所述图像像素集合和所述待检测图像中提取描述符，其中，所述描述符包括车道线的位置信息和该车道线对应位置的图像像素值；
利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息，其中，所述目标检测网络模型为采用K-means算法的FastLaneClass网络模型，所述FastLaneClass网络模型用于对每个数据点，将与数据点之间聚类距离最近的中心点对应车道线类别作为所述数据点的车道线类别，调整中心点并重复归类，直至所述数据点对应的车道线类别不再发生变化后，得到所述待检测图像中的车道线的位置信息和类型信息，所述聚类距离的计算式包括：
，
其中x，y为所述描述符中车道边界像素点的坐标位置。
2.根据权利要求1所述的方法，其特征在于，所述训练后的实例分割网络模型通过以下步骤获得：
获取多个训练图像，所述训练图像包含有车道线，其中，不同的训练图像对应的场景或包括的公路不同；
根据所述训练图像对未训练实例分割网络模型进行训练，得到训练后的实例分割网络模型。
3.根据权利要求1所述的方法，其特征在于，利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息之后，还包括：
去除所述待检测图像中车道线以外的背景；
对所述位置信息和所述类型信息进行标识，得到标识了车道线的位置信息和类型信息的待检测图像。
4.根据权利要求1所述的方法，其特征在于，利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息之后，还包括：
对所述待检测图像中车道线的位置信息和类型信息进行标识，得到标识了车道线的位置信息和类型信息的待检测图像。
5.根据权利要求1所述的方法，其特征在于，所述描述符的构建步骤包括：
从所述图像像素集合中获取所述车道线的位置信息；
从所述待检测图像中获取与所述车道线的位置信息对应的图像像素值；
根据所述车道线的位置信息与所述图像像素值得到所述描述符。
6.一种车道线检测装置，其特征在于，包括：
获取模块，被配置成获取待检测图像；
分割模块，被配置成利用训练后的实例分割网络模型对所述待检测图像中的车道线进行实例分割，以得到包含有车道线的图像像素集合，所述实例分割网络模型为采用二元交叉熵函数的FastNet网络模型；
提取模块，被配置成从所述图像像素集合和所述待检测图像中提取描述符，其中，所述描述符记录了车道线的位置信息和该车道线对应位置的图像像素值；
分类模块，被配置成利用训练后的目标检测网络模型对所述描述符进行分类，得到所述待检测图像中的车道线的位置信息和类型信息，其中，所述目标检测网络模型为采用K-means算法的FastLaneClass网络模型，所述FastLaneClass网络模型用于对每个数据点，将与数据点之间聚类距离最近的中心点对应车道线类别作为所述数据点的车道线类别，调整中心点并重复归类，直至所述数据点对应的车道线类别不再发生变化后，得到所述待检测图像中的车道线的位置信息和类型信息，所述聚类距离的计算式包括：
，
其中x，y为所述描述符中车道边界像素点的坐标位置。
7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1-5任意一项所述的车道线检测方法。
8.一种存储介质，其特征在于，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现如权利要求1-5中任意一项所述的车道线检测方法。
CN201911007682.8A 2019-10-22 2019-10-22 车道线检测方法、装置、存储介质及电子设备 Active CN112699711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007682.8A CN112699711B (zh) 2019-10-22 2019-10-22 车道线检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007682.8A CN112699711B (zh) 2019-10-22 2019-10-22 车道线检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112699711A CN112699711A (zh) 2021-04-23
CN112699711B true CN112699711B (zh) 2024-05-31

Family

ID=75504718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007682.8A Active CN112699711B (zh) 2019-10-22 2019-10-22 车道线检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112699711B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705436A (zh) * 2021-08-27 2021-11-26 一汽解放青岛汽车有限公司 一种车道信息确定方法、装置、电子设备及介质
CN114022863B (zh) * 2021-10-28 2022-10-11 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN113903015B (zh) * 2021-12-09 2022-04-05 深圳佑驾创新科技有限公司 车道线识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109886081A (zh) * 2018-12-31 2019-06-14 武汉中海庭数据技术有限公司 一种车道线形点串提取方法和装置
CN110084095A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109886081A (zh) * 2018-12-31 2019-06-14 武汉中海庭数据技术有限公司 一种车道线形点串提取方法和装置
CN110084095A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质

Also Published As

Publication number Publication date
CN112699711A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
EP4152204A1 (en) Lane line detection method, and related apparatus
US9396548B2 (en) Multi-cue object detection and analysis
JP6897335B2 (ja) 学習プログラム、学習方法および物体検知装置
US11380104B2 (en) Method and device for detecting illegal parking, and electronic device
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
Han et al. Road detection based on the fusion of Lidar and image data
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
CN109087510A (zh) 交通监测方法及装置
WO2023124133A1 (zh) 交通行为检测方法及装置、电子设备、存储介质和计算机程序产品
CN111814593B (zh) 交通场景解析方法和设备、存储介质
WO2021036243A1 (zh) 识别车道的方法、装置及计算设备
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
Liu et al. Vehicle detection and ranging using two different focal length cameras
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN113221750A (zh) 车辆追踪方法、装置、设备及存储介质
EP4287137A1 (en) Method, device, equipment, storage media and system for detecting drivable space of road
CN109583393A (zh) 一种车道线端点识别方法及装置、设备、介质
WO2021088504A1 (zh) 路口检测、神经网络训练及智能行驶方法、装置和设备
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN108509826B (zh) 一种遥感影像的道路识别方法及其系统
CN117218622A (zh) 路况检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant