CN113723216A - 一种车道线检测方法、装置、车辆及存储介质 - Google Patents

一种车道线检测方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN113723216A
CN113723216A CN202110904490.8A CN202110904490A CN113723216A CN 113723216 A CN113723216 A CN 113723216A CN 202110904490 A CN202110904490 A CN 202110904490A CN 113723216 A CN113723216 A CN 113723216A
Authority
CN
China
Prior art keywords
image
lane line
sample
determining
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110904490.8A
Other languages
English (en)
Inventor
聂泳忠
赵银妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiren Ma Diyan Beijing Technology Co ltd
Original Assignee
Xiren Ma Diyan Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiren Ma Diyan Beijing Technology Co ltd filed Critical Xiren Ma Diyan Beijing Technology Co ltd
Priority to CN202110904490.8A priority Critical patent/CN113723216A/zh
Publication of CN113723216A publication Critical patent/CN113723216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种车道线检测方法、装置、车辆及存储介质。该方法包括获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像；确定第一图像的第一图像特征以及第二图像的第二图像特征；根据第一图像特征和第二图像特征，确定当前驾驶环境中车道线的三维信息。上述方案从不同的视角下获取当前驾驶环境的图像，增加了图像的细节信息，从而在基于该图像的图像特征检测当前驾驶环境中的车道线时，增加了特征的多样性，提高了检测结果的准确性，同时，相对于传统的二维信息，本申请实施例可以确定车道线的三维信息，增加了车道线信息的完整性，进一步提高了检测结果的准确性。

Description

一种车道线检测方法、装置、车辆及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种车道线检测方法、装置、车辆及存储介质。
背景技术
随着车辆的普及以及自动化技术的发展，提高智能驾驶的安全性和可靠性成为人们的共识。车道线检测是保证智能驾驶安全性和可靠性的重要因素之一。
目前对车道线的检测主要是采用二维检测方法，当遇到丘陵或者崎岖不平的道路时，采用二维检测方法检测车道线的准确性较差。
申请内容
本申请实施例提供一种车道线检测方法、装置、车辆及存储介质，可以提高车道线检测结果的准确性。
第一方面，本申请实施例提供了一种车道线检测方法，包括：
获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像；
确定第一图像的第一图像特征以及第二图像的第二图像特征；
根据第一图像特征和第二图像特征，确定当前驾驶环境中车道线的三维信息。
第二方面，本申请实施例提供了一种车道线检测装置，包括：
图像获取模块，用于获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像；
图像特征确定模块，用于确定第一图像的第一图像特征以及第二图像的第二图像特征；
车道线确定模块，用于根据第一图像特征和第二图像特征，确定当前驾驶环境中车道线的三维信息。
第三方面，本申请实施例提供了一种车辆，包括：
摄像头，用于采集车辆当前驾驶环境的图像；
处理器；
存储器，用于存储计算机程序指令；
当所述计算机程序指令被所述处理器执行时，实现如第一方面所述的车道线检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时，实现如第一方面所述的车道线检测方法。
本申请实施例提供的车道线检测方法、装置、车辆及存储介质，从不同的视角下获取当前驾驶环境的图像，增加了图像的细节信息，从而在基于该图像的图像特征检测当前驾驶环境中的车道线时，增加了特征的多样性，提高了检测结果的准确性，同时，相对于传统的二维信息，本申请实施例可以确定车道线的三维信息，增加了车道线信息的完整性，进一步提高了检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车道线检测方法的流程图；
图2为本申请实施例提供的一种改进的U-Net模型的结构示意图；
图3为本申请实施例提供的另一种车道线检测方法的流程图；
图4为本申请实施例提供的一种上下坡道路的场景中车道线的示意图；
图5为本申请实施例提供的一种车道线检测装置的结构图；
图6为本申请实施例提供的一种车辆的结构图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供的车道线检测方法，可以应用于对车辆当前驾驶环境中的车道线进行检测的场景中。当前驾驶环境包含的车道可以是常规的平坦车道，即车道线平行、不交叉；也可以是崎岖车道、交叉车道或上下坡车道等特殊车道；还可以是多种车道的混合，例如可以同时包含平坦车道和崎岖车道。相应的，本申请实施例提供的车道线检测方法既可以检测平坦车道中的车道线，也可以检测崎岖车道等特殊车道的车道线。
另外，本申请实施例提供的车道线检测方法，执行主体可以是车道线检测装置，或者该车道线检测装置中的用于执行车道线检测方法的模块，该车道线检测装置一般可以集成在具备数据处理功能的智能设备中，该智能设备例如可以是具备自动驾驶功能的车辆。
下面结合附图，通过具体的实施例对本申请实施例提供的车道线检测方法、装置、车辆及存储介质进行详细地说明。
本申请实施例以车道线检测装置执行车道线检测方法为例，说明本申请实施例提供的车道线检测方法。
图1为本申请实施例提供的一种车道线检测方法的流程图。
如图1所示，该车道线检测方法可以包括步骤S110-S130。
S110、获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像。
当前驾驶环境为车辆当前所在的驾驶环境，该驾驶环境中可以包括但不限于车道线、车道的数量和类型、其他车辆等。本申请实施例中车道的类型可以包括平坦车道、崎岖车道、上下坡车道和交叉车道中的至少一种类型。应当理解，车道线的形态与车道的类型有关。例如当当前车道的类型为崎岖车道时，车道线相对水平地面的高度也会不同；当当前车道的类型为交叉车道时，对应的车道线也会交叉。
第一图像可以是图像采集设备采集当前驾驶环境得到的图像，该图像采集设备可以是独立的、具备图像采集功能的设备，也可以是集成在智能设备中、用于采集图像的摄像头或拍摄模块。
相应的，获取第一图像的方式可以是通过独立的图像采集设备采集获取，也可以是通过集成在智能设备中的摄像头或拍摄模块获取。
以通过车辆上的摄像头获取第一图像为例，当车辆行驶时，可以通过该摄像头实时获取驾驶环境中的图像。这里的摄像头可以是单目摄像头。
该摄像头可以安装在车辆的前方，由此可以采集车辆前方的图像，为车辆实现自动驾驶提供依据，此时第一图像也可以称为前视图。
第二图像可以是当前驾驶环境在不同视角下的图像，即第二图像的视角与第一图像的视角不同。第二图像可以由图像采集设备在不同于第一图像的视角下拍摄得到，也可以通过图像处理的方法对第一图像进行处理得到。考虑到有些视角下的图像需要通过特定的设备获取，在不增加成本的基础上，本申请实施例以通过后者的方式获取第二图像为例，即通过图像处理的方式对第一图像进行处理，得到第二图像。
在一个实施例中，可以通过透视变换的方式将第一图像转换为第二图像。透视变换(Perspective Transformation，PT)是一种利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。通过透视变换，可以将图像从一种视角转换到另一种视角。
以第二图像的视角为俯视视角为例，在一个实施例中，可以通过透视变换(Inverse Perspective Mapping，IMP)算法对第一图像进行转换，得到第二图像，相应的，第二图像也可以称为鸟瞰图。由此，可以在不增加其他硬件结构的基础上，得到当前驾驶环境在俯视视角下的图像，节省了成本。本申请实施例对具体的变换过程不进行限定。
应当理解，俯视视角下的图像，在一定程度上可以减少障碍物的影响，即本申请实施例中的第二图像相对于第一图像，减少了其他车辆、建筑物等障碍物，从而减少了其他车辆、建筑物等障碍物对车道线的影响，但同时也会增加第一图像中不存在的特征。本申请实施例从不同的视角获取相同驾驶环境下的图像，可以增加图像特征，进而在后续检测车道线时，可以提高检测结果的准确性。
S120、确定第一图像的第一图像特征以及第二图像的第二图像特征。
第一图像特征可以是反映第一图像的图像信息的特征，该图像信息可以是第一图像包含的对象，该对象可以包含但不限于车道线、车道、其他车辆等。
在一个实施例中，可以通过图像识别算法提取第一图像包含的全部对象的特征，得到第一图像特征；也可以通过显著性检测算法对第一图像进行显著性检测，得到与车道线相关的特征，作为第一图像特征。其中，与车道线相关的特征可以包括位于车道上的其他车辆或障碍物，位于车道之外的对象可以视为是与车道线无关的特征，可以忽略。
与第一图像特征类似，第二图像特征可以是反映第二图像的图像信息的特征，该图像信息可以是第二图像包含的对象，该对象可以包括但不限于车道线、车道等。第二图像特征的确定过程与第一图像特征的过程类似，此处不再赘述。
需要注意的是，本申请实施例不限定第一图像特征和第二图像特征的确定顺序，即可以先确定第一图像特征，再确定第二图像特征；也可以先确定第二图像特征，再确定第一图像特征；还可以同时确定第一图像特征和第二图像特征。
S130、根据第一图像特征和第二图像特征，确定当前驾驶环境中车道线的三维信息。
车道线的三维信息可以是车道线在三维空间中的信息，例如可以包括车道线相对于水平地面的高度以及曲率，该水平地面为当前车道对应的水平地面。
考虑到两个图像特征存在一定的差别，在一个实施例中，可以融合第一图像特征和第二图像特征，然后基于融合后的图像特征确定车道线的三维信息。相对于单一的第一图像特征或第二图像特征，融合后的图像特征增加了特征的多样性，可以提高检测结果的准确性。当然，也可以采用其他方式对第一图像特征和第二图像特征进行特征运算，然后基于特征运算后的图像特征，确定车道线的三维信息，实施例不做具体限定。
由此，通过从不同的视角下获取当前驾驶环境的图像，增加了图像的细节信息，从而在基于该图像的图像特征检测当前驾驶环境中的车道线时，增加了特征的多样性，提高了检测结果的准确性；同时，相对于传统的二维信息，本申请实施例可以确定车道线的三维信息，增加了车道线信息的完整性，进一步提高了检测结果的准确性。
以自动驾驶车辆为例，考虑到自动驾驶对实时性的需求，在一个实施例中，可以通过深度学习的方式确定车道线的三维信息，例如可以通过车道线检测模型确定车道线的三维信息，车道线检测模型的结构可以根据实际需要设定，例如可以采用改进的U-Net。
示例性的，参考图2，本申请实施例提供的一种改进的U-Net可以包括第一输入模块11、第二输入模块21、第一特征确定模块12、第二特征确定模块22、特征融合模块31、编码模块41、解码模块51和输出模块61。
其中，第一输入模块11用于输入一个视角下的图像，第一特征确定模块12用于确定第一输入模块11所输入图像的图像特征。类似的，第二输入模块21用于输入另一个视角下的图像，第二特征确定模块22用于确定第二输入模块21所输入图像的图像特征。特征融合模块31用于融合第一特征确定模块12和第二特征确定模块22确定的图像特征，得到融合特征。编码模块41用于对融合特征进行编码处理，提取细节特征。解码模块51用于对细节特征进行处理和放大，得到最终的结果。输出模块61用于输出最终的结果。
上述第一特征确定模块12和第二特征确定模块22可以采用神经网络，也可以采用其他可以确定图像特征的结构。编码模块41和解码模块51的结构可以参考传统的U-Net的结构，此处不再详细说明。
基于上述改进的U-Net确定车道线的三维信息之前，需要对改进的U-Net进行训练。如图3所示，本申请实施例提供的车道线检测方法还可以包括步骤S210-S270。
S210、获取训练样本。
其中，训练样本包括目标车道线的三维信息。训练样本可以是用于训练改进的U-Net的历史图像，其数量可以根据实际需要确定，例如可以选取20000个训练样本。历史图像可以从车辆的存储器中获取，也可以通过车联网从后台服务器获取。
在一个实施例中，可以通过如下方式获取训练样本：
获取车辆行驶时所对应驾驶环境的初始图像；
根据预先训练的对抗生成网络模型，确定第一样本图像，第一样本图像与初始图像的相似度大于预设相似度阈值；
分别对初始图像和第一样本图像进行透视变换，得到第二样本图像；
确定初始图像、第一样本图像和第二样本图像为训练样本。
这里的初始图像为车辆行驶时通过摄像头实际采集的图像。应当理解，受光照、天气以及其他障碍物等因素的影响，摄像头实际采集的图像可能存在曝光或阴影等问题，从而影响后续模型的训练效果。基于此，可以对获取到的图像进行预处理，例如可以对获取到的图像进行矫正曝光和消除阴影等处理，保证后续模型的训练效果。
考虑到实际采集的图像数量有限，为了增加训练样本的多样性，提高模型训练结果的准确性，可以对摄像头实际采集的图像进行处理。
例如可以通过预先训练的对抗生成网络(Generative Adversarial Networks，GAN)模型增加训练样本的多样性。具体地，可以将初始图像输入预先训练的GAN模型，由预先训练的GAN模型输出与初始图像的相似度大于预设相似度阈值的图像，本实施例将该图像称为第一样本图像。应当理解，第一样本图像的视角与初始图像的视角相同。
第二样本图像的确定过程可以参考上述实施例，此处不再赘述。对初始图像和第一样本图像进行透视变换，可以在不增加成本的基础上，得到不同视角下的图像，增加图像的多样性，进而增加特征的多样性。
通过上述方式可以增加训练样本的数量和多样性，使得在后续训练初始车道线检测模型时，可以提高模型的准确性，进而可以提高车道线检测结果的准确性。
目标车道线可以是训练样本实际包含的车道线。在一个实施例中，可以通过人工的方式对训练样本进行标注，得到目标车道线；也可以通过机器学习的方式对训练样本进行标注，得到目标车道线，当训练样本的数量较多时，通过机器学习的方式可以节省人力，提高效率。
目标车道线的三维信息可以是目标车道线在三维空间中的信息。以目标车道线的三维信息包括车道线的高度和曲率为例，在一个实施例中，可以获取目标车道线的3D位置信息，即目标车道线在空间的三维坐标，根据目标车道线的3D位置信息，通过几何运算得到目标车道线的高度和曲率，也即目标车道线的三维信息。其中，训练样本中目标车道线的3D位置信息是已知的。
S220、根据训练样本训练初始车道线检测模型，得到目标车道线检测模型。
初始车道线检测模型可以是改进的U-Net训练之前对应的模型。
在一个实施例中，可以将训练样本输入初始车道线检测模型，由初始车道线检测模型输出车道线的检测结果，当检测结果满足迭代终止条件时，将迭代终止的初始车道线检测模型作为目标车道线检测模型。
迭代终止条件可以是检测结果与标准结果的损失值满足设定损失值，或者检测结果对应的迭代次数达到设定次数。
以迭代终止条件为检测结果与标准结果的损失值满足设定阈值为例，初始车道线检测模型的训练过程可以如下：
确定训练样本中样本像素点的样本掩膜信息，样本掩膜信息用于表示样本像素点是否属于训练样本中的样本车道线；
根据样本掩膜信息，确定样本车道线的高度和曲率，得到样本车道线的样本三维信息；
确定样本三维信息与目标车道线的三维信息的损失值；
当损失值满足设定阈值时，训练过程结束，并确定训练过程结束时对应的初始车道线检测模型为目标车道线检测模型。
应当理解，图像是由多个像素点组成。基于此，本申请实施例的样本像素点为训练样本包含的像素点。
在一个实施例中，可以对训练样本进行二值化处理，得到各个样本像素点的二值化值，0或1，其中，1可以表示该样本像素点属于车道线，0表示该样本像素点不属于车道线。样本掩膜信息可以理解为样本像素点对应的二值化值。
在一个实施例中，可以对样本掩膜信息进行几何运算，得到样本车道线的高度和曲率，也即样本三维信息，本申请实施例对几何运算的具体过程不做限定。
样本三维信息确定之后，可以确定样本三维信息与目标三维信息的损失值。如果损失值小于或等于设定阈值，训练过程结束，从而得到目标车道线检测模型。其中，目标三维信息为目标车道线对应的三维信息。
在一个实施例中，样本三维信息和目标三维信息的损失值可以通过预先设定的损失函数，如二值交叉熵(Binary Cross-Entropy，BCE)函数确定。其中，BCE函数可以如下所示：
Figure BDA0003201038140000111
其中，N为样本数量，i为样本序号，yi为第i个样本对应的二值化值，p(yi)为上述初始车道线检测模型输出的第i个样本的二值化值为真值的概率，真值表示初始车道线检测模型输出的第i个样本的二值化值与该样本实际对应的二值化值相同。
实际训练初始车道线检测模型时，例如可以引入随机梯度下降(StochasticGradient Method，SGD)算法，以加快训练速度。训练过程中还可以同时引入BN(BatchNormalization，批标准化)，既可以避免梯度消失，也可以提升目标车道线检测模型的泛化能力。后续可以直接利用目标车道线检测模型对车道线进行检测，得到检测结果。
与传统的通过融合图像数据和点云数据，得到车道线三维信息的方式相比，本申请实施例利用上述训练样本对改进的U-Net进行训练，可以减小计算量，缩短训练时间，同时在后续利用目标车道线检测模型时，可以提高车道线的检测效率，满足自动驾驶车辆对实时性的需求。
S230、获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像。
S240、根据目标车道线检测模型中的第一特征确定模块，确定第一图像的第一图像特征，以及根据目标车道线检测模型中的第二特征确定模块，确定第二图像的第二图像特征。
在一个实施例中，可以同时确定第一图像特征和第二图像特征，从而可以节省时间，提高效率。示例性的，可以通过上述实施例得到的目标车道线检测模型确定第一图像的第一图像特征以及第二图像的第二图像特征。
具体的，可以将第一图像输入图2中的第一特征确定模块12，由第一特征确定模块12输出第一图像特征；同时，将第二图像输入图2中的第二特征确定模块22，由第二特征确定模块22输出第二图像特征。
S250、根据目标车道线检测模型中的特征融合模块，对第一图像特征和第二图像特征融合，得到第三图像特征。
在一个实施例中，可以将第一图像特征和第二图像特征输入图2中的特征融合模块31，由特征融合模块31对第一图像特征和第二图像特征融合，得到第三图像特征。
这里的融合例如可以是拼接，即可以将第一图像特征和第二图像特征进行拼接，得到第三图像特征。示例性的，第一图像特征为[Ut]，第二图像特征为[Vt]，则第三图像特征可以是[Ut:Nt]。
为了保证上述特征拼接成功，可以选取相同尺寸的第一图像和第二图像，具体的尺寸可以根据实际需要设定，例如可以是512*512。
由此，可以保存不同视角下的图像信息，增加了特征的多样性。
S260、根据第三图像特征，确定当前驾驶环境中对应像素点的掩膜信息。
其中，掩膜信息用于表示像素点是否属于当前驾驶环境中的车道线。具体的，可以将第三图像特征依次输入图2中的编码模块41和解码模块51，由输出模块61输出当前驾驶环境中对应像素点的掩膜信息。
S270、根据掩膜信息确定车道线的高度和曲率，得到车道线的三维信息。
应当理解，通过上述模型输出的结果可能因为障碍物的存在而导致车道线比较分散，为了保持车道线的连续性，在一个实施例中，可以对目标车道线检测模型输出的掩膜信息进行聚类，消除其中的噪声，保证车道线的连续性和完整性，进而在基于掩膜信息确定车道线的高度和曲率时，可以提高结果的准确性。
示例性的，可以采用基于密度的聚类算法(Density-Based Spatial Clusteringof Applications with Noise，DBSCAN)对目标车道线检测模型输出的掩膜信息进行聚类。当然还可以采用其他的聚类算法，此处不进行限定。
由此，利用不同角度图像组成的训练样本对改进的U-Net进行训练，尤其是针对崎岖道路、上下坡道路或交叉道路等特殊场景，提高了模型的准确性，进而在利用训练后的U-Net对车道线检测时，提高了检测结果的效率和准确性，满足了自动驾驶车辆对实时性的需求；同时以较低的成本实现了对车道线三维信息的检测，增加了车道线信息的完整性。
以上下坡道路为例，利用上述实施例提供的车道线检测方法进行处理，可以得到图4所示的示意图，图4是将车道线的高度和曲率反映在三维空间中。可以看出，本申请实施例提供的车道线检测方法可以准确的识别出上下坡道路、崎岖道路等特殊场景中的车道线，降低了自动驾驶的安全隐患。
基于相同的构思，本申请实施例还提供了一种车道线检测装置。
图5为本申请实施例提供的一种车道线检测装置的结构图。
如图5所示，该车道线检测装置，包括：
图像获取模块310，用于获取车辆当前驾驶环境的第一图像，并对第一图像进行透视变换，得到第二图像；
图像特征确定模块320，用于确定第一图像的第一图像特征以及第二图像的第二图像特征；
车道线确定模块330，用于根据第一图像特征和第二图像特征，确定当前驾驶环境中车道线的三维信息。
下面对上述车道线检测装置进行详细说明，具体如下：
在一个实施例中，图像特征确定模块320，具体用于：
根据目标车道线检测模型中的第一特征确定模块，确定第一图像的第一图像特征，以及根据目标车道线检测模型中的第二特征确定模块，确定第二图像的第二图像特征。
在一个实施例中，车道线确定模块330，具体用于：
根据目标车道线检测模型中的特征融合模块，对第一图像特征和第二图像特征融合，得到第三图像特征；
根据第三图像特征，确定当前驾驶环境中对应像素点的掩膜信息，掩膜信息用于表示像素点是否属于当前驾驶环境中的车道线；
根据掩膜信息确定车道线的高度和曲率，得到车道线的三维信息。
在一个实施例中，该装置还可以包括：
训练样本获取模块，用于获取车辆当前驾驶环境的第一图像之前，获取训练样本，训练样本包括目标车道线的三维信息；
训练模块，用于根据训练样本训练初始车道线检测模型，得到目标车道线检测模型。
在一个实施例中，训练模块，具体用于：
确定训练样本中样本像素点的样本掩膜信息，样本掩膜信息用于表示样本像素点是否属于训练样本中的样本车道线；
根据样本掩膜信息，确定样本车道线的高度和曲率，得到样本车道线的样本三维信息；
确定样本三维信息与目标车道线的三维信息的损失值；
当损失值满足设定阈值时，训练过程结束，并确定训练过程结束时对应的初始车道线检测模型为目标车道线检测模型。
在一个实施例中，训练样本获取模块，具体用于：
获取车辆行驶时所对应驾驶环境的初始图像；
根据预先训练的对抗生成网络模型，确定第一样本图像，第一样本图像与初始图像的相似度大于预设相似度阈值；
分别对初始图像和第一样本图像进行透视变换，得到第二样本图像；
确定初始图像、第一样本图像和第二样本图像为训练样本。
在一个实施例中，当前驾驶环境对应的道路包括平坦道路、崎岖道路、上下坡道路和交叉道路中的至少之一种道路。
由此，通过从不同的视角下获取当前驾驶环境的图像，增加了图像的细节信息，从而在基于该图像的图像特征检测当前驾驶环境中的车道线时，增加了特征的多样性，提高了检测结果的准确性；同时，相对于传统的二维信息，本申请实施例可以确定车道线的三维信息，增加了车道线信息的完整性，进一步提高了检测结果的准确性。
图5所示装置中的各个模块具有实现图1和图3中各个步骤的功能并能达到相应的技术效果，为简洁描述，在此不再赘述。
基于相同的构思，本申请实施例还提供了一种车辆的结构图。
图6为本申请实施例提供的一种车辆的结构图，该车辆可以是具备自动驾驶功能的车辆。
如图6所示，该车辆可以包括摄像头410、处理器420以及用于存储计算机程序指令的存储器430。
具体的，摄像头410可以是单目摄像头。摄像头410可以安装在车辆的前方，用于采集车辆前方的图像，为车辆的自动驾驶提供依据。
处理器420可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器430可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器430可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器430可以包括可移除或不可移除(或固定)的介质，或者存储器430是非易失性固态存储器。在一个实例中，存储器430可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器420通过读取并执行存储器430中存储的计算机程序指令，以实现图1和图3所示实施例中的方法，并达到图1和图3所示实施例执行其方法达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，该车辆还可包括通信接口440和总线450。其中，如图6所示，摄像头410、处理器420、存储器430、通信接口440通过总线450连接并完成相互间的通信。
通信接口440，主要用于实现本申请实施例中各模块、装置和/或设备之间的通信。
总线450包括硬件、软件或两者，将车辆的各部件彼此耦接在一起。举例来说而非限制，总线450可包括加速图形端(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线450可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该车辆可以基于当前接收到的第一图像执行本申请实施例中的车道线检测方法，从而实现结合图1-图5描述的车道线检测方法和装置。
另外，结合上述实施例中的车道线检测方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种车道线检测方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请实施例的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：
获取车辆当前驾驶环境的第一图像，并对所述第一图像进行透视变换，得到第二图像；
确定所述第一图像的第一图像特征以及所述第二图像的第二图像特征；
根据所述第一图像特征和第二图像特征，确定所述当前驾驶环境中车道线的三维信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像的第一图像特征以及所述第二图像的第二图像特征，包括：
根据目标车道线检测模型中的第一特征确定模块，确定所述第一图像的第一图像特征，以及根据所述目标车道线检测模型中的第二特征确定模块，确定所述第二图像的第二图像特征。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一图像特征和第二图像特征，确定所述当前驾驶环境中车道线的三维信息，包括：
根据目标车道线检测模型中的特征融合模块，对所述第一图像特征和第二图像特征融合，得到第三图像特征；
根据所述第三图像特征，确定所述当前驾驶环境中对应像素点的掩膜信息，所述掩膜信息用于表示所述像素点是否属于所述当前驾驶环境中的车道线；
根据所述掩膜信息确定所述车道线的高度和曲率，得到所述车道线的三维信息。
4.根据权利要求3所述的方法，其特征在于，在获取车辆当前驾驶环境的第一图像之前，还包括：
获取训练样本，所述训练样本包括目标车道线的三维信息；
根据所述训练样本训练初始车道线检测模型，得到目标车道线检测模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述训练样本训练初始车道线检测模型，得到目标车道线检测模型，包括：
确定所述训练样本中样本像素点的样本掩膜信息，所述样本掩膜信息用于表示所述样本像素点是否属于所述训练样本中的样本车道线；
根据所述样本掩膜信息，确定所述样本车道线的高度和曲率，得到所述样本车道线的样本三维信息；
确定所述样本三维信息与所述目标车道线的三维信息的损失值；
当所述损失值满足设定阈值时，训练过程结束，并确定训练过程结束时对应的初始车道线检测模型为目标车道线检测模型。
6.根据权利要求4所述的方法，其特征在于，所述获取训练样本，包括：
获取所述车辆行驶时所对应驾驶环境的初始图像；
根据预先训练的对抗生成网络模型，确定第一样本图像，所述第一样本图像与所述初始图像的相似度大于预设相似度阈值；
分别对所述初始图像和第一样本图像进行透视变换，得到第二样本图像；
确定所述初始图像、第一样本图像和第二样本图像为训练样本。
7.根据权利要求1所述的方法，其特征在于，所述当前驾驶环境对应的道路包括平坦道路、崎岖道路、上下坡道路和交叉道路中的至少之一种道路。
8.一种车道线检测装置，其特征在于，包括：
图像获取模块，用于获取车辆当前驾驶环境的第一图像，并对所述第一图像进行透视变换，得到第二图像；
图像特征确定模块，用于确定所述第一图像的第一图像特征以及所述第二图像的第二图像特征；
车道线确定模块，用于根据所述第一图像特征和第二图像特征，确定所述当前驾驶环境中车道线的三维信息。
9.一种车辆，其特征在于，包括：
摄像头，用于采集车辆当前驾驶环境的图像；
处理器；
存储器，用于存储计算机程序指令；
当所述计算机程序指令被所述处理器执行时，实现如权利要求1-7中任一项所述的车道线检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时，实现如权利要求1-7中任一项所述的车道线检测方法。
CN202110904490.8A 2021-08-06 2021-08-06 一种车道线检测方法、装置、车辆及存储介质 Pending CN113723216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110904490.8A CN113723216A (zh) 2021-08-06 2021-08-06 一种车道线检测方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110904490.8A CN113723216A (zh) 2021-08-06 2021-08-06 一种车道线检测方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN113723216A true CN113723216A (zh) 2021-11-30

Family

ID=78675089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110904490.8A Pending CN113723216A (zh) 2021-08-06 2021-08-06 一种车道线检测方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN113723216A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114894205A (zh) * 2022-05-18 2022-08-12 禾多科技（北京）有限公司 三维车道线信息生成方法、装置、设备和计算机可读介质
CN115731525A (zh) * 2022-11-21 2023-03-03 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN116343158A (zh) * 2023-05-12 2023-06-27 九识(苏州)智能科技有限公司 车道线检测模型的训练方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114894205A (zh) * 2022-05-18 2022-08-12 禾多科技（北京）有限公司 三维车道线信息生成方法、装置、设备和计算机可读介质
CN115731525A (zh) * 2022-11-21 2023-03-03 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN115731525B (zh) * 2022-11-21 2023-07-25 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN116343158A (zh) * 2023-05-12 2023-06-27 九识(苏州)智能科技有限公司 车道线检测模型的训练方法、装置、设备及存储介质
CN116343158B (zh) * 2023-05-12 2023-08-15 九识(苏州)智能科技有限公司 车道线检测模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113723216A (zh) 一种车道线检测方法、装置、车辆及存储介质
CN112541396A (zh) 一种车道线检测方法、装置、设备及计算机存储介质
CN111274942A (zh) 一种基于级联网络的交通锥识别方法及装置
CN109034086B (zh) 车辆重识别方法、装置及系统
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
CN113052159B (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN112200884B (zh) 一种车道线的生成方法及装置
CN112580460A (zh) 一种交通信号灯的识别方法、装置、设备及存储介质
CN112149713B (zh) 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN115937571A (zh) 车用玻璃球面度检测装置及其检测方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN112654998A (zh) 一种车道线检测方法和装置
CN115187945A (zh) 车道线识别方法、装置、电子设备、存储介质
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN110634120B (zh) 一种车辆损伤判别方法及装置
CN115861659A (zh) 对象匹配方法、装置、设备及计算机存储介质
CN112572471B (zh) 自动驾驶方法、装置、电子设备及计算机存储介质
CN112465822B (zh) 团雾检测方法、装置、设备及计算机可读存储介质
CN115527187A (zh) 一种障碍物的分类方法以及装置
CN112906495B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN113793295A (zh) 一种数据处理方法、装置、设备及可读存储介质
Karavaev et al. LIGHT INVARIANT LANE DETECTION METHOD USINGADVANCED CLUSTERING TECHNIQUES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination