CN115035488A - 一种车道线角点检测方法、装置、电子设备及存储介质 - Google Patents

一种车道线角点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115035488A
CN115035488A CN202110202957.4A CN202110202957A CN115035488A CN 115035488 A CN115035488 A CN 115035488A CN 202110202957 A CN202110202957 A CN 202110202957A CN 115035488 A CN115035488 A CN 115035488A
Authority
CN
China
Prior art keywords
corner
category
thermodynamic diagram
pixel
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110202957.4A
Other languages
English (en)
Inventor
沈振伟
黄泽昊
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202110202957.4A priority Critical patent/CN115035488A/zh
Priority to JP2022024631A priority patent/JP2022128593A/ja
Priority to EP22157714.1A priority patent/EP4047520A1/en
Priority to AU2022201178A priority patent/AU2022201178A1/en
Priority to US17/652,256 priority patent/US20220270377A1/en
Publication of CN115035488A publication Critical patent/CN115035488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车道线角点检测方法、装置、电子设备及存储介质，属于自动驾驶技术领域。该方法包括：获取待检测的道路图像；将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率；根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点；以及按照预定规则对多个不同类别的角点进行分组，得到多个角点组。通过利用神经网络模型来预测道路图像中车道线对应的热力图，从而可以快速获得热力图预测结果中各像素属于特定角点类别的概率，进而便可快速得到多个角点组，解决了无法准确快速检测出车道线角点的问题。

Description

一种车道线角点检测方法、装置、电子设备及存储介质
技术领域
本申请属于自动驾驶技术领域，具体涉及一种车道线角点检测方法、装置、电子设备及存储介质。
背景技术
随着汽车的发展，越来越多的人工智能技术被应用到自动驾驶技术中，车道线检测作为自动驾驶技术中一个重要的环节。
目前的车道线检测算法可采用Canny边缘检测算法检测出车道线的边缘，然后利用霍夫(Hough)直线变换把图像中潜在的直线检测出来，再通过车道的一些几何限制查找到车道线。另外，还有基于深度学习的车道线检测方法，如采用语义分割方法识别车道线。但目前这些方法都只能识别出来图像中的车道线像素，而无法准确快速检测出来车道线角点。
发明内容
鉴于此，本申请的目的在于提供一种车道线角点检测方法、装置、电子设备及存储介质，以改善现有车道线检测方法无法准确快速检测出车道线角点的问题。
本申请的实施例是这样实现的：
第一方面，本申请实施例提供了一种车道线角点检测方法，包括：获取待检测的道路图像；将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率；根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点；以及按照预定规则对多个不同类别的角点进行分组，得到多个角点组。本申请实施例中，通过利用神经网络模型来预测道路图像中车道线对应的热力图，从而可以快速获得热力图预测结果中各像素属于特定角点类别的概率，然后再根据热力图预测结果中各像素属于特定角点类别的概率，确定出道路图像中的多个不同类别的角点，然后对多个不同类别的角点进行分组，从而便可快速得到多个角点组，从而解决了现有的车道线检测方法无法准确快速检测出车道线角点的问题。
结合第一方面实施例的一种可能的实施方式，神经网络模型包括第一网络分支和第二网络分支，第一网络分支用于输出道路图像中各像素是否属于车道线的语义分割结果，第二网络分支用于输出道路图像的热力图预测结果。本申请实施例中，采用包括两个网络分支的神经网络模型，使得仅有一个网络便可同时输出道路图像中各像素是否属于车道线的语义分割结果，以及道路图像的热力图预测结果，以便于基于语义分割结果剔除热力图中无车道线区域的角点，提高了角点检测的准确性，此外由于仅涉及一个神经网络模型，节约了使用成本。
结合第一方面实施例的一种可能的实施方式，语义分割结果中各像素的预测值为0或1，或者语义分割结果中各像素的预测值为[0,1]区间内的概率值；热力图预测结果中各像素的预测值为[0,1]区间内的概率值。
结合第一方面实施例的一种可能的实施方式，还包括：将热力图预测结果与语义分割结果中各像素的预测值进行相乘，以降低热力图中无车道线区域的角点的预测概率值，得到更新后的热力图。采用该方式可提高性角点检测的准确性。
结合第一方面实施例的一种可能的实施方式，将热力图预测结果与语义分割结果中各像素的预测值进行相乘，包括：将语义分割结果中表征有车道线的像素范围进行扩大；将热力图预测结果与范围扩大后的语义分割结果中各像素的预测值进行相乘。本申请实施例中，通过将语义分割结果中表征有车道线的像素范围进行扩大，然后在将热力图预测结果与范围扩大后的语义分割结果中各像素的预测值进行相乘，以防止在角点筛选过程漏掉那些距离车道线较近但语义分割结果预测值较小的角点。
结合第一方面实施例的一种可能的实施方式，热力图预测结果包含四张热力图，每张热力图对应一种角点类别，且包括该热力图中各像素属于对应角点类别的概率。本申请实施例中，在利用神经网络模型预测热力图中各像素属于的角点类别时，通过模型将各个角点类型进行归类，直接输出归类后的对应4种角点类别的四张热力图，从而提高了后续的角点匹配精度。
结合第一方面实施例的一种可能的实施方式，根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像的多个不同类别的角点，包括：根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，进而得到四张热力图中所包含的四类角点。本申请实施例中，根据每张热力图中各像素属于特定角点类别的概率，来确定该张力图对应类别的角点，从而可以快速确定四张热力图中所包含的四类角点。
结合第一方面实施例的一种可能的实施方式，根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，包括：采用预设滑窗区域在热力图中作滑窗操作，若滑窗区域的中心点的概率值满足预定条件，则将滑窗区域的中心点标记为一个对应类别的角点。本申请实施例中，采用预设滑窗区域在热力图中作滑窗操作，将概率值满足预定条件的滑窗区域的中心点标记为一个对应类别的角点，通过滑窗操作，不仅可以加快角点的确认速度，同时由于是将概率值满足预定条件的位于滑窗区域的中心点标记为角点，还可以提高角点的检测准确性。
结合第一方面实施例的一种可能的实施方式，预定条件为：滑窗区域的中心点的概率值大于等于预设的概率阈值且为滑窗区域的局部极大值。本申请实例中，只有当滑窗区域的中心点的概率值大于等于预设的概率阈值且为滑窗区域的局部极大值时，才将其标记为角点，保证了角点的检测准确性。
结合第一方面实施例的一种可能的实施方式，角点类别包括左上类别、右上类别、左下类别、右下类别中的至少一种。
结合第一方面实施例的一种可能的实施方式，按照预定规则对多个不同类别的角点进行分组，得到多个角点组，包括：将距离最近的左上类别和右上类别的角点进行匹配，得到上角点对；将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对；将距离最近的上角点对和下角点对进行匹配，得到多个角点组。本申请实施例中，在对不同类别的角点进行分组时，通过距离最近的左上类别和右上类别的角点进行匹配，得到上角点对，将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对，最后将距离最近的上角点对和下角点对进行匹配，便可快速获得多个角点组，且由于是基于距离最近进行匹配，一定程度上保证了每个角点组均包含属于同一个车道线的4类角点。
结合第一方面实施例的一种可能的实施方式，按照预定规则对多个不同类别的角点进行分组，得到多个角点组，包括：将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对；将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对；将距离最近的左角点对和右角点对进行匹配，得到多个角点组。本申请实施例中，在对不同类别的角点进行分组时，通过将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对，将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对，然后将距离最近的左角点对和右角点对进行匹配，便可快速获得多个角点组，且由于是基于距离最近进行匹配，一定程度上保证了每个角点组均包含属于同一个车道线的4类角点。
结合第一方面实施例的一种可能的实施方式，在得到多个角点组之后，方法还包括：剔除多个角点组中异常的角点组。本申请实施例中，通过剔除多个角点组中异常的角点组，仅保留正常的角点组，从而提供了提高角点检测的准确性。
结合第一方面实施例的一种可能的实施方式，剔除多个角点组中异常的角点组，包括：剔除多个角点组中两个角点对的边长差大于预定阈值的角点组。本申请实施例中，通过将角点组中两个角点对的边长差与预定阈值进行比较，从而可以快速剔除异常角点组。
结合第一方面实施例的一种可能的实施方式，还包括：获取多张包含虚线车道线的训练图像，训练图像中标注有虚线车道线的角点以及角点附近各像素属于特定角点类别的概率；利用训练图像对初始神经网络模型进行训练，得到训练好的神经网络模型。本申请实施例中，利用标注有虚线车道线的角点以及角点附近各像素属于特定角点类别的概率的训练图像对初始神经网络模型进行训练，从而可以获得能预测车道线中各个像素点属于特定角点类别的概率的热力图，为后续角点检测提供了支撑。
结合第一方面实施例的一种可能的实施方式，角点附近各像素属于特定角点类别的概率呈现高斯分布，每个角点组构成一个车道线实例。本申请实施例中，在标注时，按照角点附近各像素属于特定角点类别的概率呈现高斯分布的特征进行标注，从而保证了后续检测角点时的精度。
第二方面，本申请实施例还提供了一种车道线角点检测装置，包括：图像获取模块、模型预测模块、角点确定模块以及角点组确定模块；图像获取模块，用于获取待检测的道路图像；模型预测模块，用于将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率；角点确定模块，用于根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点；以及角点组确定模块，用于按照预定规则对多个不同类别的角点进行分组。
第三方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，处理器与存储器连接；存储器，用于存储程序；处理器，用于调用存储于存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器运行时，执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种车辆的架构示意图。
图2示出了本申请实施例提供的一种车道线角点检测方法的流程示意图。
图3示出了本申请实施例提供的一种车道线角点检测方法的原理示意图。
图4示出了本申请实施例提供的一种车道线角点检测装置的模块框图。
图5示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
鉴于现有的车道线检测方法无法准确快速检测出车道线角点的问题，本申请实施例提供了一种车道线角点检测方法，通过利用神经网络模型来预测道路图像中车道线对应的热力图，从而可以快速获得热力图预测结果中各像素属于特定角点类别的概率，然后再根据热力图预测结果中各像素属于特定角点类别的概率，确定出道路图像中的多个不同类别的角点，然后对多个不同类别的角点进行分组，从而便可得到多个角点组，从而解决了现有的车道线检测方法无法准确快速检测出车道线角点的问题。
本申请实施例提供的车道线角点检测方法可以应用于车辆，下面将结合图1对本申请涉及的车辆进行说明。其中，图1是可以在其中实现本文公开的各种技术的车辆100的示意图。车辆100可以是轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车，或其它车辆。车辆100可以完全地或部分地以自动驾驶模式进行运行。车辆100在自动驾驶模式下可以控制其自身，例如车辆100可以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的至少一个其它车辆的预测行为，确定该至少一个其它车辆执行所预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆100自身。在处于自动驾驶模式时，车辆100可以在无人交互的情况下运行。
车辆100可以包括各种车辆系统，例如驱动系统142、传感器系统144、控制系统146、用户接口系统148、计算系统150以及通信系统152。车辆100可以包括更多或更少的系统，每个系统可以包括多个单元。进一步地，车辆100的每个系统和单元之间可以是互联的。例如，计算系统150能够与驱动系统142、传感器系统144、控制系统146、用户接口系统148、和通信系统152中的一个或多个进行数据通信。从而，车辆100的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图1所示的示例中。驱动系统142可以包括为车辆100提供动能的多个可操作部件(或单元)。在一个实施例中，驱动系统142可以包括发动机或电动机、车轮、变速器、电子系统、以及动力(或动力源)。发动机或者电动机可以是如下装置的任意组合：内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中，发动机可以将一种动力源转换为机械能。在一些实施例中，驱动系统142可以包括多种发动机或电动机。例如，油电混合车辆可以包括汽油发动机和电动机，也可以包括其它的情况。
车辆100的车轮可以是标准车轮。车辆100的车轮可以是多种形式的车轮，包括独轮、双轮、三轮、或者四轮形式，例如轿车或卡车上的四轮。其它数量的车轮也是可以的，例如六轮或者更多的车轮。车辆100的一个或多个车轮可被操作为与其他车轮的旋转方向不同。车轮可以是至少一个与变速器固定连接的车轮。车轮可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可操作来将发动机的机械动力传送到车轮的单元。出于这个目的，变速器可以包括齿轮箱、离合器、差动齿轮和传动轴。变速器也可以包括其它单元。传动轴可以包括与车轮相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆100的电子信号的单元。这些电子信号可用于启动车辆100中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆100的其它系统提供能量。
传感器系统144可以包括多个传感器，这些传感器用于感测车辆100的环境和条件的信息。例如，传感器系统144可以包括惯性测量单元(IMU)、GNSS(全球导航卫星系统)收发器(例如全球定位系统(GPS)收发器)、雷达(RADAR)、激光测距仪/LIDAR(或其它距离测量装置)、声学传感器、超声波传感器以及相机或图像捕捉装置。传感器系统144可以包括用于监控车辆100的多个感应器(例如，氧气(O2)监控器、油量表传感器、发动机油压传感器，以及温度、湿度、压力传感器等等)。还可以配置其它传感器。包括在传感器系统144中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆100的位置变化和方向变化。GPS收发器可以是任何用于估计车辆100的地理位置的传感器。出于该目的，GPS收发器可以包括接收器/发送器以提供车辆100相对于地球的位置信息。需要说明的是，GPS是全球导航卫星系统的一个示例，因此，在一些实施例中，GPS收发器可以替换为北斗卫星导航系统收发器或者伽利略卫星导航系统收发器。雷达单元可以使用无线电信号来感应车辆100所在环境中的对象。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆100的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆100所在环境中的物体的传感器。在一个实施例中，激光测距仪/LIDAR单元可以包括激光源、激光扫描仪、以及探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。相机可以包括用于捕捉车辆100所在环境的多个图像的装置。相机可以是静态图像相机或者动态视频相机。
控制系统146用于控制对车辆100及其部件(或单元)的操作。相应地，控制系统146可以包括各种单元，例如转向单元、动力控制单元、制动单元和导航单元。
转向单元可以是调整车辆100前进方向的机械的组合。动力控制单元(例如可以为油门)，例如可以被用于控制发动机的运转速度，进而控制车辆100的速度。制动单元可以包括用于对车辆100进行减速的机械的组合。制动单元可以以标准方式利用摩擦力来使车辆减速。在其他实施例中，制动单元可以将车轮的动能转化为电流。制动单元也可以采用其它形式。导航单元可以是任何为车辆100确定驾驶路径或路线的系统。导航单元还可以在车辆100行进的过程中动态的更新驾驶路径。控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件(或单元)。
用户接口系统148可以用于允许车辆100与外部传感器、其它车辆、其它计算机系统和/或车辆100的用户之间的互动。例如，用户接口系统148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCD)、触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置。例如，用户接口系统148还可以包括导航接口以及控制车辆100的内部环境(例如温度、风扇，等等)的接口。
通信系统152可以为车辆100提供与一个或多个设备或者周围其它车辆进行通信的方式。在一个示例性的实施例中，通信系统152可以直接或者通过通信网络与一个或多个设备进行通信。通信系统152例如可以是无线通信系统。例如，通信系统可以使用3G蜂窝通信(例如CDMA、EVDO、GSM/GPRS)或者4G蜂窝通信(例如WiMAX或LTE)，还可以使用5G蜂窝通信。可选地，通信系统可以与无线本地局域网(WLAN)进行通信(例如，使用
Figure BDA0002948572230000111
)。在一些实施例中，通信系统152可以直接与一个或多个设备或者周围其它车辆进行通信，例如，使用红外线，
Figure BDA0002948572230000112
或者ZIGBEE。其它无线协议，例如各种车载通信系统，也在本申请公开的范围之内。例如，通信系统可以包括一个或多个专用短程通信(DSRC)装置、V2V装置或者V2X装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统150能控制车辆100的部分或者全部功能。计算系统150中的自动驾驶控制单元可以用于识别、评估、以及避免或越过车辆100所在环境中的潜在障碍。通常，自动驾驶控制单元可以用于在没有驾驶员的情况下控制车辆100，或者为驾驶员控制车辆提供辅助。在一些实施例中，自动驾驶控制单元用于将来自GPS收发器的数据、雷达数据、LIDAR数据、相机数据、以及来自其它车辆系统的数据结合起来，来确定车辆100的行驶路径或轨迹。自动驾驶控制单元可以被激活以使车辆100能够以自动驾驶模式被驾驶。
计算系统150可以包括至少一个处理器(其可以包括至少一个微处理器)，处理器执行存储在非易失性计算机可读介质(例如数据存储装置或存储器)中的处理指令(即机器可执行指令)。计算系统150也可以是多个计算装置，这些计算装置分布式地控制车辆100的部件或者系统。在一些实施例中，存储器中可以包含被处理器执行来实现车辆100的各种功能的处理指令(例如，程序逻辑)。在一个实施例中，计算系统150能够与驱动系统142、传感器系统144、控制系统146、用户接口系统148、和/或通信系统152进行数据通信。计算系统中的接口用于促进计算系统150和驱动系统142、传感器系统144、控制系统146、用户接口系统148、以及通信系统152之间的数据通信。
存储器还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制驱动系统142、传感器系统144、或控制系统146或用户接口系统148的指令。
除存储处理指令之外，存储器可以存储多种信息或数据，例如图像处理参数、道路地图、和路径信息。在车辆100以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆100和计算系统150所使用。
尽管自动驾驶控制单元被示为与处理器和存储器分离，但是应当理解，在一些实施方式中，自动驾驶控制单元的某些或全部功能可以利用驻留在一个或多个存储器(或数据存储装置)中的程序代码指令来实现并由一个或多个处理器执行，并且自动驾驶控制单元在某些情况下可以使用相同的处理器和/或存储器(或数据存储装置)来实现。在一些实施方式中，自动驾驶控制单元可以至少部分地使用各种专用电路逻辑，各种处理器，各种现场可编程门阵列(“FPGA”)，各种专用集成电路(“ASIC”)，各种实时控制器和硬件来实现。
计算系统150可以根据从各种车辆系统(例如，驱动系统142，传感器系统144，以及控制系统146)接收到的输入，或者从用户接口系统148接收到的输入，来控制车辆100的功能。例如，计算系统150可以使用来自控制系统146的输入来控制转向单元，来避开由传感器系统144检测到的障碍物。在一个实施例中，计算系统150可以用来控制车辆100及其系统的多个方面。
虽然图1中显示了集成到车辆100中的各种部件(或单元)，这些部件(或单元)中的一个或多个可以搭载到车辆100上或单独关联到车辆100上。例如，计算系统可以部分或者全部地独立于车辆100存在。从而，车辆100能够以分离的或者集成的设备单元的形式而存在。构成车辆100的设备单元之间可以以有线通信或者无线通信的方式实现相互通信。在一些实施例中，可以将附加部件或单元添加到各个系统或从系统中移除一个或多个以上的部件或单元(例如，图1所示的LiDAR或雷达)。
在介绍完本申请涉及的车辆架构后，下面将结合图2，对本申请实施例提供的车道线角点检测方法进行说明。
步骤S101：获取待检测的道路图像。
可通过安装于车辆上的相机实时采集车辆在自动驾驶的过程中的道路图形，从而获得待检测的道路图像。该相机可以是安装在车辆前方的前向相机，也可以是安装在车辆侧方的侧向相机，也可以是前向相机+侧向相机的混合模式。
其中，前向相机采集的道路图像中的虚线车道线中的小方块呈竖向长方形状，侧向相机采集的道路图像中的虚线车道线中的小方块呈横向长方形状。
步骤S102：将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率。
将待检测的道路图像输入到预先训练的神经网络模型中进行处理，便可得到道路图像所对应的热力图预测结果，其中，该热力图预测结果中包括各像素点属于特定角点类别(可以为左上类别、右上类别、左下类别或右下类别)的概率，不同的像素点属于的特定角点类别可以不同。
其中，该神经网络模型为事先训练好的神经网络模型，其训练过程可以是：首先获取多张(大于等于2)包含虚线车道线的训练图像，然后利用训练图像对初始神经网络模型进行训练，便可得到训练好的神经网络模型。其中，该训练图像中标注有虚线车道线的角点以及角点附近各像素属于特定角点类别的概率，也即在获取到包含虚线车道线的道路图像后，利用标注算法对道路图像中的虚线车道线的角点以及角点附近各像素属于特定角点类别的概率进行标注，位于角点处的像素的概率为1，角点附近各像素属于特定角点类别的概率呈现规律分布，即该些概率值符合特定函数分布，例如符合高斯分布等，当然不限于此。一般地，距离角点距离越远的像素点的概率值相对较小。不同的角点类别对应的标签不同，该角点类别包括左上类别、右上类别、左下类别、右下类别。属于同一个虚线车道线的4类角点构成一个角点组，每个角点组构成一个车道线实例。其中，该神经网络模型可以是卷积神经网络(Convolutional Neural Networks，CNN)。
一种可选实施方式下，神经网络模型可以包括第一网络分支和第二网络分支，第一网络分支用于输出道路图像中各像素是否属于车道线的语义分割结果，第二网络分支用于输出道路图像的热力图预测结果。在该种实施方式下，将道路图像输入到该神经网络模型中，输出道路图像中各像素是否属于车道线的语义分割结果，以及输出道路图像的热力图预测结果，其原理示意图如图3所示。其中，语义分割结果中各像素的预测值为0或1，或者语义分割结果中各像素的预测值为[0,1]区间内的概率值。热力图预测结果中各像素的预测值为[0,1]区间内的概率值。当然，本领域技术人员也可以根据需要设定为其他数值范围，只要能表征出各像素之间的概率差异即可，本申请对此不作限制。
其中，训练时，可以采用常用的神经网络优化算法，如随机梯度下降(StochasticGradient Descen，SGD)、Adam等算法进行优化训练，在选择损失函数时，对于第一网络分支可以使用归一化(Softmax)、交叉熵(Cross Entropy)等常用的分割Loss函数。对于第二网络分支可以使用聚焦损失Focal Loss、MSE(Mean Square Error的简称)等常用于训练Heatmap(热力图)的Loss函数。其中，上述示例的优化算法以及损失函数已经为本领域技术人员所熟知，在此不再介绍。
应当理解的是，在车道线检测方法可在实车运行过程中执行，此时拍摄的图像可能含有道路，也可能不含有道路。因此，采用模型对图像处理时，可以先识别图像中是否有车道线(例如语义分割结果显示各像素点均为背景点)，如果有，再执行后续步骤，如进行热力图预测结果的预测；反之，则停止对当前图像的车道线角点检测，而继续检测下一张图像的车道线检测。这里，还可以根据一些先验知识(例如根据先前帧的目标追踪结果)来判断当前图像是否有车道线。为了提高车道线角点检测的准确性，一种实施方式下，可以将热力图预测结果与语义分割结果中各像素的预测值进行相乘，以降低热力图中无车道线区域的角点的预测值，得到更新后的热力图(参阅图3)。其中，语义分割结果中各像素的预测值为0或1，或者语义分割结果中各像素的预测值为[0,1]区间内的概率值。热力图预测结果中各像素的预测值为[0,1]区间内的概率值。语义分割结果中表征前景(车道线)的像素点的概率值为1，表征背景(不为车道线)的像素点的概率值为0，通过将热力图预测结果与语义分割结果中各像素的预测值进行相乘，这样可以有效的降低热力图中无车道线区域的角点的预测概率值，提高角点检测的准确性。比如在某个位置有车道线，那么就在Heatmap上乘以1，如果没有就乘以0。
在将热力图预测结果与语义分割结果中各像素的预测值进行相乘时，一种实施方式下，可以是直接将热力图预测结果与语义分割结果中各像素的预测值进行相乘，又一种可选实施方式，可以是先将语义分割结果中表征有车道线的像素范围进行扩大(例如扩大三个像素，当然不限于此)，然后再将热力图预测结果与范围扩大后的语义分割结果中各像素的预测值进行相乘，这样能确保在过滤热力图中无车道线区域的角点时，不会将部分有车道线区域的角点过滤掉。
本申请将语义分割结果中表征有车道线的像素范围进行扩大，主要是为了防止在角点筛选过程漏掉那些距离车道线较近但语意分割预测结果较小的角点(预测的角点结果位于边缘之外)。需要说明的是，当语义分割结果以二分类(0或者1)表示时，可直接将语义分割结果中表征有车道线的像素范围进行扩大；而当语义分割结果以[0,1]区间的概率值表示时，则可以不对语义分割结果进行扩大，或者可设定一定阈值(如0.5)，将该[0,1]区间的概率值变为二分类结果之后，再将表征有车道线的像素范围进行扩大。
一种可选实施方式下，该热力图预测结果包含四张热力图，每张热力图对应一种角点类别，且包括该热力图中各像素属于对应角点类别的概率。在该种实施方式下，该热力图预测结果包括表征角点类别属于左上类别的热力图、表征角点类别属于右上类别的热力图、表征角点类别属于左下类别的热力图、表征角点类别属于右下类别的热力图。此时，同一张热力图中各像素点属于同一种角点类别。每个角点附近区域的概率值符合高斯分布，角点所在位置的概率值最大为1，随着距离角点的距离变远，概率值也相应变小。
本申请实施例中，在利用神经网络模型预测热力图中各像素属于的角点类别时，通过模型将各个角点类型进行归类，直接输出归类后的对应4种角点类别的四张热力图，从而提高了后续的角点匹配精度。这里，将角点进行分类后可减少错误匹配，如左上角点只会匹配右上角点，若其中右上角点漏检，则无合适的右上角点而无法匹配，因此不会产生错误匹配。
在一种可选方式中，上述的四张热力图可以是集成在同一张图上。
步骤S103：根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点。
在得到热力图预测结果后，便可根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点，也即确定道路图像中的属于左上类别、右上类别、左下类别、右下类别的角点。
一种可选实施方式下，热力图预测结果包含四张热力图，每张热力图对应一种角点类别，且包括该热力图中各像素属于对应角点类别的概率，此时，根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像的多个不同类别的角点的过程可以是：根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，进而得到四张热力图中所包含的四类角点。例如，对于属于左上类别的热力图中各像素的概率值，确定属于左上类别的角点，如选取每个滑窗区域内概率值最大的像素点作为角点。
其中，根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点的过程可以是：采用预设滑窗区域在该热力图中作滑窗操作，若滑窗区域的中心点的概率值满足预定条件，则将滑窗区域的中心点标记为一个对应类别的角点。其中，预定条件可以为：滑窗区域的中心点的概率值大于等于预设的概率阈值(如0.7)且为滑窗区域的局部极大值。其中，滑窗区域的大小可以根据实际需要进行选择，该预设的概率阈值也可以是根据实际情况来决定，并不限于上述示例的0.7，因此不能将其理解成是对本申请的限制。例如，在表征左上类别的角点热力图中作滑窗操作，则可以将概率值满足预定条件的滑窗区域的中心点标记为一个左上类别的角点。
步骤S104：按照预定规则对多个不同类别的角点进行分组，得到多个角点组。
在确定出道路图像中的多个不同类别的角点后，便可按照预定规则对多个不同类别的角点进行分组，得到多个角点组，其中，每一个角点组均包括属于同一个车道线的4类(左上类别、右上类别、左下类别、右下类别)角点。
其中，在按照预定规则对多个不同类别的角点进行分组时，一种可选实施方式下，可以是将距离最近的左上类别和右上类别的角点进行匹配，得到上角点对，将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对，然后将距离最近的上角点对和下角点对进行匹配，这样便可得到多个角点组。在匹配时，可以是将左上类别的角点与距离最近的右上类别的角点进行匹配，也可以是将右上类别的角点与距离最近的左上类别的角点进行匹配；同理，在将距离最近的左下类别和右下类别的角点进行匹配时，也可以是将左下类别的角点与距离最近的右下类别的角点进行匹配，也可以是将右下类别的角点与距离最近的左下类别的角点进行匹配；同理，在将距离最近的上角点对和下角点对进行匹配时，可以是将上角点对与距离最近的下角点对进行匹配，也可以是将下角点对与距离最近的上角点对进行匹配。
又一种可选实施方式下，可以是将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对，将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对，然后将距离最近的左角点对和右角点对进行匹配，这样便可得到多个角点组。在匹配时，可以是将左上类别的角点与距离最近的左下类别的角点进行匹配，也可以是将左下类别的角点与距离最近的左上类别的角点进行匹配；同理，在将距离最近的右上类别和右下类别的角点进行匹配时，也可以是将右上类别的角点与距离最近的右下类别的角点进行匹配，也可以是将右下类别的角点与距离最近的右上类别的角点进行匹配；同理，在将距离最近的左角点对和右角点对进行匹配时，可以是将左角点对与距离最近的右角点对进行匹配，也可以是将右角点对与距离最近的左角点对进行匹配。
其中，可以基于短边匹配原则进行匹配，也即对于前向相机采集的道路图像(虚线车道线中的小方块呈竖向长方形状)，则在进行匹配时，优选将距离最近的左上类别和右上类别的角点进行匹配，得到上角点对，将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对；然后将距离最近的上角点对和下角点对进行匹配的方式。而对于侧向相机采集的道路图像(虚线车道线中的小方块呈横向长方形状)，则在进行匹配时，优选将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对，将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对，然后将距离最近的左角点对和右角点对进行匹配的方式。
为了提高角点检测的准确性，作为一种可选实施方式，在得到多个角点组之后，方法还包括：剔除多个角点组中异常的角点组。通过将得到的多个角点组中明显存在异常的角点组剔除掉，以提高角点检测的准确性。
本申请在进行角点匹配时，基于距离最近的方式进行匹配，一定程度上保证了每个角点组均包含属于同一个车道线的4类角点。而通过之后的异常角点组剔除，进一步保证每个角点组均包含属于同一个车道线的4类角点，且每个角点组构成一个车道线实例。
其中，在剔除多个角点组中异常的角点组时，可以是剔除多个角点组中两个角点对的边长差大于预定阈值的角点组。也即针对每一个角点组(包括左上、左下、右上、右下4个角点)来说，若左上/右上角点对的边长与左下/右下角点对的边长的差大于预定阈值，或者右上/右下角点对的边长与左上/左下角点对的边长的差于预定阈值，则该角点组即为异常角点组。其中，该预定阈值可以是根据需要来设定。
此外，还可以剔除多个四角点组中对角线所在区域对应的语义分割结果中无车道线的角点组。也即针对每一个角点组(包括左上、左下、右上、右下4个角点)来说，若左上和右下的连线与左下和右上的连线的交点处对应的语义分割结果中无车道线，则可以将其剔除。
本申请实施例还提供了一种车道线角点检测装置200，如图4所示。该车道线角点检测装置200包括：图像获取模块210、模型预测模块220、角点确定模块230、角点组确定模块240。
图像获取模块210，用于获取待检测的道路图像。
模型预测模块220，用于将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率。
角点确定模块230，用于根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点。
角点组确定模块240，用于按照预定规则对多个不同类别的角点进行分组。
可选地，神经网络模型包括第一网络分支和第二网络分支，第一网络分支用于输出道路图像中各像素是否属于车道线的语义分割结果，第二网络分支用于输出道路图像的热力图预测结果。语义分割结果中各像素的预测值为0或1，或者语义分割结果中各像素的预测值为[0,1]区间内的概率值；热力图预测结果中各像素的预测值为[0,1]区间内的概率值。相应地，车道线角点检测装置200还包括：热力图更新模块，用于将热力图预测结果与语义分割结果中各像素的预测值进行相乘，以降低热力图中无车道线区域的角点的预测值，得到更新后的热力图。可选地，热力图更新模块，具体用于将语义分割结果中表征有车道线的像素范围进行扩大；将热力图预测结果与范围扩大后的语义分割结果中各像素的预测值进行相乘。
可选地，热力图预测结果包含四张热力图，每张热力图对应一种角点类别，且包括该热力图中各像素属于对应角点类别的概率。角点确定模块230，具体用于：根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，进而得到四张热力图中所包含的四类角点。角点确定模块230，具体用于：采用预设滑窗区域在热力图中作滑窗操作，若滑窗区域的中心点的概率值满足预定条件，则将滑窗区域的中心点标记为一个对应类别的角点。可选地，预定条件为：滑窗区域的中心点的概率值大于等于预设的概率阈值且为滑窗区域的局部极大值。
其中，角点类别包括左上类别、右上类别、左下类别、右下类别中的至少一种。
可选地，角点组确定模块240，具体用于：将距离最近的左上类别和右上类别的角点进行匹配，得到上角点对；将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对；将距离最近的上角点对和下角点对进行匹配，得到多个角点组。
角点组确定模块240，具体用于：将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对；将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对；将距离最近的左角点对和右角点对进行匹配，得到多个角点组。
可选地，该车道线角点检测装置200，还包括角点组剔除模块，用于剔除多个角点组中异常的角点组。可选地，角点组剔除模块，具体用于剔除多个角点组中两个角点对的边长差大于预定阈值的角点组，还用于剔除多个四角点组中对角线所在区域对应的语义分割结果中无车道线的角点组。
该车道线角点检测装置200，还包括训练模块，用于：获取多张包含虚线车道线的训练图像，训练图像中标注有虚线车道线的角点以及角点附近各像素属于特定角点类别的概率；利用训练图像对初始神经网络模型进行训练，得到训练好的神经网络模型。可选地，角点附近各像素属于特定角点类别的概率呈现高斯分布，每个角点组构成一个车道线实例。
本申请实施例所提供的车道线角点检测装置200，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图5所示，图5示出了本申请实施例提供的一种电子设备300的结构框图。电子设备300包括：通信接口310、存储器320、通讯总线330以及处理器340。
通信接口310、存储器320、处理器340各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线330或信号线实现电性连接。其中，通信接口310用于实施一个或多个通信协议(LTE、Wi-Fi，等等)。存储器320用于存储计算机程序，如存储有图4中所示的软件功能模块，即车道线角点检测装置200。其中，车道线角点检测装置200包括至少一个可以软件或固件(firmware)的形式存储于存储器320中或固化在电子设备300的操作系统(operating system，OS)中的软件功能模块。处理器340，用于执行存储器320中存储的可执行模块，例如车道线角点检测装置200包括的软件功能模块或计算机程序。例如，处理器340，用于获取待检测的道路图像；将道路图像输入到预先训练的神经网络模型中进行处理，得到道路图像所对应的热力图预测结果，热力图预测结果中包括各像素点属于特定角点类别的概率；根据热力图预测结果中各像素属于特定角点类别的概率，确定道路图像中的多个不同类别的角点；以及按照预定规则对多个不同类别的角点进行分组，得到多个角点组。
其中，存储器320可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器340可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器340也可以是任何常规的处理器等。
其中，上述的电子设备300，包括但不限于计算机、服务器以及车辆中的车载电脑等。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备300运行时，执行上述所示的车道线角点检测方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
本申请如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者电子设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (19)

1.一种车道线角点检测方法，其特征在于，包括：
获取待检测的道路图像；
将所述道路图像输入到预先训练的神经网络模型中进行处理，得到所述道路图像所对应的热力图预测结果，所述热力图预测结果中包括各像素点属于特定角点类别的概率；
根据所述热力图预测结果中各像素属于特定角点类别的概率，确定所述道路图像中的多个不同类别的角点；以及
按照预定规则对所述多个不同类别的角点进行分组，得到多个角点组。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括第一网络分支和第二网络分支，所述第一网络分支用于输出所述道路图像中各像素是否属于车道线的语义分割结果，所述第二网络分支用于输出所述道路图像的热力图预测结果。
3.根据权利要求2所述的方法，其特征在于，
所述语义分割结果中各像素的预测值为0或1，或者所述语义分割结果中各像素的预测值为[0,1]区间内的概率值；
所述热力图预测结果中各像素的预测值为[0,1]区间内的概率值。
4.根据权利要求2所述的方法，还包括：
将所述热力图预测结果与所述语义分割结果中各像素的预测值进行相乘，以剔除所述热力图中无车道线区域的点，得到更新后的热力图。
5.根据权利要求4所述的方法，其特征在于，将所述热力图预测结果与所述语义分割结果中各像素的预测值进行相乘，包括：
将所述语义分割结果中表征有车道线的像素范围进行扩大；
将所述热力图预测结果与范围扩大后的语义分割结果中各像素的预测值进行相乘。
6.根据权利要求1所述的方法，其特征在于，所述热力图预测结果包含四张热力图，每张热力图对应一种角点类别，且包括该热力图中各像素属于对应角点类别的概率。
7.根据权利要求6所述的方法，其特征在于，根据所述热力图预测结果中各像素属于特定角点类别的概率，确定所述道路图像的多个不同类别的角点，包括：
根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，进而得到四张热力图中所包含的四类角点。
8.根据权利要求7所述的方法，其特征在于，根据每张热力图中各像素属于特定角点类别的概率，确定该张热力图对应类别的角点，包括：
采用预设滑窗区域在所述热力图中作滑窗操作，若所述滑窗区域的中心点的概率值满足预定条件，则将所述滑窗区域的中心点标记为一个对应类别的角点。
9.根据权利要求8所述的方法，其特征在于，所述预定条件为：
所述滑窗区域的中心点的概率值大于等于预设的概率阈值且为所述滑窗区域的局部极大值。
10.根据权利要求1所述的方法，其特征在于，角点类别包括左上类别、右上类别、左下类别、右下类别中的至少一种。
11.根据权利要求10所述的方法，其特征在于，按照预定规则对所述多个不同类别的角点进行分组，得到多个角点组，包括：
将距离最近的左上类别和右上类别的角点进行匹配，得到上角点对；
将距离最近的左下类别和右下类别的角点进行匹配，得到下角点对；
将距离最近的上角点对和下角点对进行匹配，得到多个角点组。
12.根据权利要求10所述的方法，其特征在于，按照预定规则对所述多个不同类别的角点进行分组，得到多个角点组，包括：
将距离最近的左上类别和左下类别的角点进行匹配，得到左角点对；
将距离最近的右上类别和右下类别的角点进行匹配，得到右角点对；
将距离最近的左角点对和右角点对进行匹配，得到多个角点组。
13.根据权利要求1-12中任一项所述的方法，其特征在于，在得到多个角点组之后，所述方法还包括：
剔除所述多个角点组中异常的角点组。
14.根据权利要求13所述的方法，其特征在于，剔除所述多个角点组中异常的角点组，包括：
剔除所述多个角点组中两个角点对的边长差大于预定阈值的角点组。
15.根据权利要求1所述的方法，其特征在于，还包括：
获取多张包含虚线车道线的训练图像，所述训练图像中标注有虚线车道线的角点以及角点附近各像素属于特定角点类别的概率；
利用所述训练图像对初始神经网络模型进行训练，得到训练好的神经网络模型。
16.根据权利要求15所述的方法，其特征在于，所述角点附近各像素属于特定角点类别的概率呈现高斯分布，每个角点组构成一个车道线实例。
17.一种车道线角点检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的道路图像；
模型预测模块，用于将所述道路图像输入到预先训练的神经网络模型中进行处理，得到所述道路图像所对应的热力图预测结果，所述热力图预测结果中包括各像素点属于特定角点类别的概率；
角点确定模块，用于根据所述热力图预测结果中各像素属于特定角点类别的概率，确定所述道路图像中的多个不同类别的角点；以及
角点组确定模块，用于按照预定规则对所述多个不同类别的角点进行分组。
18.一种电子设备，其特征在于，包括：
存储器和处理器，所述处理器与所述存储器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-16中任一项所述的方法。
19.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-16中任一项所述的方法。
CN202110202957.4A 2021-02-23 2021-02-23 一种车道线角点检测方法、装置、电子设备及存储介质 Pending CN115035488A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110202957.4A CN115035488A (zh) 2021-02-23 2021-02-23 一种车道线角点检测方法、装置、电子设备及存储介质
JP2022024631A JP2022128593A (ja) 2021-02-23 2022-02-21 車線コーナー検出方法と装置、電子機器及び記憶媒体
EP22157714.1A EP4047520A1 (en) 2021-02-23 2022-02-21 Method and apparatus for detecting corner points of lane lines, electronic device and storage medium
AU2022201178A AU2022201178A1 (en) 2021-02-23 2022-02-22 Method and apparatus for detecting corner points of lane lines, electronic device and storage medium
US17/652,256 US20220270377A1 (en) 2021-02-23 2022-02-23 Method and apparatus for detecting corner points of lane lines, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110202957.4A CN115035488A (zh) 2021-02-23 2021-02-23 一种车道线角点检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115035488A true CN115035488A (zh) 2022-09-09

Family

ID=80445952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110202957.4A Pending CN115035488A (zh) 2021-02-23 2021-02-23 一种车道线角点检测方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220270377A1 (zh)
EP (1) EP4047520A1 (zh)
JP (1) JP2022128593A (zh)
CN (1) CN115035488A (zh)
AU (1) AU2022201178A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583393B (zh) * 2018-12-05 2023-08-11 宽凳（北京）科技有限公司 一种车道线端点识别方法及装置、设备、介质
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
CN112053407B (zh) * 2020-08-03 2024-04-09 杭州电子科技大学 一种交通执法影像中基于ai技术的车道线自动检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质

Also Published As

Publication number Publication date
EP4047520A1 (en) 2022-08-24
AU2022201178A1 (en) 2022-09-08
JP2022128593A (ja) 2022-09-02
US20220270377A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
CN112050792B (zh) 一种图像定位方法和装置
CN107816976B (zh) 一种接近物体的位置确定方法和装置
US11915492B2 (en) Traffic light recognition method and apparatus
US11227500B2 (en) System and method for determining car to lane distance
EP4071661A1 (en) Automatic driving method, related device and computer-readable storage medium
US20220319196A1 (en) Method and apparatus for detecting lane lines, electronic device and storage medium
CN112512887B (zh) 一种行驶决策选择方法以及装置
EP4047520A1 (en) Method and apparatus for detecting corner points of lane lines, electronic device and storage medium
CN115690146A (zh) 一种多目标跟踪方法、装置、计算设备和存储介质
CN112654547A (zh) 驾驶提醒的方法、装置及系统
CN114771539B (zh) 车辆变道决策方法、装置、存储介质及车辆
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115675504A (zh) 一种车辆告警方法以及相关设备
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115042814A (zh) 交通灯状态识别方法、装置、车辆及存储介质
CN115035357A (zh) 目标检测模型构建方法、目标检测方法、装置和计算设备
CN115407344B (zh) 栅格地图创建方法、装置、车辆及可读存储介质
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质
CN114802258A (zh) 车辆控制方法、装置、存储介质及车辆
CN115115822A (zh) 车端图像处理方法、装置、车辆、存储介质及芯片
CN114771514A (zh) 车辆行驶控制方法、装置、设备、介质、芯片及车辆
CN117953435A (zh) 车辆动静识别方法、装置、芯片及自动驾驶车辆
CN115214629A (zh) 自动泊车方法、装置、存储介质、车辆及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination