CN108564874B - 地面标志提取的方法、模型训练的方法、设备及存储介质 - Google Patents

地面标志提取的方法、模型训练的方法、设备及存储介质 Download PDF

Info

Publication number
CN108564874B
CN108564874B CN201810427093.4A CN201810427093A CN108564874B CN 108564874 B CN108564874 B CN 108564874B CN 201810427093 A CN201810427093 A CN 201810427093A CN 108564874 B CN108564874 B CN 108564874B
Authority
CN
China
Prior art keywords
ground
map
mark
marks
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810427093.4A
Other languages
English (en)
Other versions
CN108564874A (zh
Inventor
舒茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Dadi Tongtu Beijing Technology Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810427093.4A priority Critical patent/CN108564874B/zh
Publication of CN108564874A publication Critical patent/CN108564874A/zh
Priority to EP19799124.3A priority patent/EP3792901B1/en
Priority to PCT/CN2019/081208 priority patent/WO2019214372A1/zh
Priority to US16/997,439 priority patent/US11410435B2/en
Application granted granted Critical
Publication of CN108564874B publication Critical patent/CN108564874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请公开了一种地面标志确定的方法，包括：获取点云灰度图，点云灰度图包含路段地图；运行标志提取网络模型，从路段地图中获取地面标志信息，标志提取网络模型用于提取路段地图中所包含的地面标志，地面标志信息包括标志提取模型提取到的每个地面标志的信息，地面标志为在路段地面上标记的行车指示信息；根据地面标志信息，从每个地面标志中确定目标地面标志。本申请实施例采用标志提取网络模型获取路段地图中的地面标志信息，并根据地面标志信息确定路段地图中的地面标志，从而提高了路段地图中地面标志的效率和准确度。

Description

地面标志提取的方法、模型训练的方法、设备及存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种地面标志提取的方法、模型训练的方法、设备及计算机可读存储介质。
背景技术
高精度地图是自动驾驶的核心内容，它为自动驾驶提供丰富准确的道路信息。地面标志是高精度地图的核心要素，地面标志包括箭头、文字和图形等，地面标志可辅助汽车进行精准定位，进而帮助汽车做出合适的规划和决策。
目前，高精度地图中的地面标志提取主要依赖人工编辑，具体地就是在高精度地图的编辑工具中，通过人工查看点云数据或者点云灰度图数据，找出含有地面标志的地段，然后手工绘制每个地面标志的矩形包围框，并编辑地面标志的种类、形状和颜色等属性。
由于高精度地图中的地面标志分布比较稀疏，大部分路段不含有地面标志。人工提取的方法需要遍历所有路段，找出含有地面标志的路段进行编辑，工作量大，效率低，而且人工遍历容易出现遗漏，准确率低。
发明内容
本申请实施例提供一种地面标志确定的方法，可以高效准确的确定地图中的地面标志。本申请实施例还提供了相应的装置、计算机设备及计算机可读存储介质。
本申请实施例第一方面提供一种地面标志确定的方法，包括：
获取点云灰度图，所述点云灰度图包含路段地图；
运行标志提取网络模型，从所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息；
根据所述地面标志信息，从所述每个地面标志中确定目标地面标志。
本申请第二方面提供一种标志提取网络模型训练的方法，包括：
获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志；
针对所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
本申请第三方面提供一种地面标志确定的装置，包括：
第一获取单元，用于获取点云灰度图，所述点云灰度图包含路段地图；
第二获取单元，用于运行标志提取网络模型，从所述第一获取单元获取的所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息；
确定单元，用于根据所述第二获取单元获取的所述地面标志信息，从所述每个地面标志中确定目标地面标志。
本申请第四方面提供一种标志提取网络模型训练的装置，包括：
获取单元，用于获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志；
处理单元，用于针对所述获取单元获取的所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
模型训练单元，用于根据所述处理单元处理得到的所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
本申请第五方面提供一种计算机设备，所述计算机设备包括：输入/输出 (I/O)接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行第一方面所述的方法。
本申请第六方面提供一种计算机设备，所述计算机设备包括：输入/输出 (I/O)接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行第二方面所述的方法。
本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请实施例采用标志提取网络模型获取路段地图中的地面标志信息，并根据地面标志信息确定路段地图中的地面标志，从而提高了路段地图中地面标志的效率和准确度。
附图说明
图1是自动驾驶的场景示意图；
图2A-2D为地面标志的示例示意图；
图3是本申请实施例中标志提取网络模型的训练的一场景示例示意图；
图4是本申请实施例中的标志提取网络模型训练的方法的一实施例示意图；
图5是本申请实施例中点云灰度图的一示例示意图；
图6是本申请实施例中标志提取网络模型的一结构示意图；
图7是本申请实施例中地面标志确定的方法的一实施例示意图；
图8是本申请实施例灰度图中标志提取结果的一示例示意图；
图9是本申请实施例中地面标志确定的方法的另一实施例示意图；
图10是本申请实施例中标志提取网络模型训练的装置的一实施例示意图；
图11是本申请实施例中地面标志确定的装置的一实施例示意图；
图12是本申请实施例中计算机设备的一实施例示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着计算机的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请实施例提供一种地面标志确定的方法，可以高效准确的确定地图中的地面标志。本申请实施例还提供了相应的装置、计算机设备及计算机可读存储介质。以下分别进行详细说明。
图1为自动驾驶场景示意图。
自动驾驶也可以称为无人驾驶，是指车辆可以在无人的情况下或者驾驶员不操控车辆的情况下实现在路面上行驶。
如图1所示，在自动驾驶过程中，具备自动驾驶能力的车辆10通过网络20 从计算机设备30下载用于自动驾驶的地图，自动驾驶场景中的地图通常也称为高精度地图。具备自动驾驶能力的车辆10在自动驾驶过程中依据下载的高精度地图进行行驶规划和决策，从而实现自动驾驶。
自动驾驶过程需要依赖高精度地图，尤其是需要依赖高精度地图中的地面标志，地面标志为在车辆行驶过程中起指示作用的标志。参阅图2A至2D进行理解，如图2A至2D所示，地面标志可以包括文字、数字、箭头和图形等，当然不限于图2A至2D所列举的图形，只要是在地面上对驾驶起指示作用的标志都可以理解为是地面标志。
为了高精度地图能用于自动驾驶，需要在高精度地图中标记出地面标志，本申请实施例提供的方案应用于在高精度地图制作过程中确定地面标志。本申请实施例提供的地面标志确定的方案主要依赖标志提取网络模型，该标志提取网络模型属于深度神经网络模型，用于标志提取的深度神经网络模型需要预先训练，下面先介绍本申请实施例中标志提取网络模型的训练过程，再介绍本申请实施例中的地面标志的确定过程。
标志提取网络模型的训练过程可以参阅图3进行理解。如图3所示，数据库设备40中存储有用于标志提取网络模型训练的样本数据，这些样本数据为大量的路段地图，而且，每个路段地图上的地面标志都已被标记。计算机设备50 从数据库设备40获取多个样本数据对初始网络模型进行训练，直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
下面结合图4介绍本申请实施例中的标志提取网络模型训练的方法。如图4 所示，本申请实施例提供的标志提取网络模型训练的方法的一实施例包括：
101、获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志。
样本灰度图为二维的灰度图。
实际上，计算机设备50可以从数据库设备40中直接获取样本灰度图，也可以是从数据库设备40中获取三维的激光点云地图，然后再将该三维的激光点云地图转换为二维的灰度图。
激光点云也称为点云，是利用激光在同一空间参考系下获取物体表面每个采样点的空间坐标，得到的是一系列表达目标空间分布和目标表面特性的海量点的集合，这个点集合就称之为“点云”(Point Cloud)。点云的属性包括：空间分辨率，点位精度，表面法向量等。
根据激光丈量原理得到的点云包括三维坐标(XYZ)和激光反射强度 (Itensity)。
根据摄影丈量原理得到的点云包括三维坐标(XYZ)和颜色信息(RGB)。
结合激光丈量和摄影丈量原理得到点云，包括三维坐标(XYZ)、激光反射强度(Itensity)和颜色信息(RGB)。
激光点云数据的获取方式主要有车载激光、机载激光以及地面激光扫描等。
本申请实施例中的灰度图为点云灰度图，点云灰度图可参阅图5进行理解，如图5所示，点云灰度图上包括路段地图，路段地图上包括箭头和文字。若该图5为样本灰度图，则图5上的箭头和文字都会预先被标记好。路段地图的都属于点云灰度图。
102、针对所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图。
针对所述每个路段地图，将所述每个路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图。
103、根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
根据所述每个子路段地图所对应的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
本申请实施例中，考虑到点云灰度图的尺寸较大，在模型训练过程中为了便于初始网络模型对其进行处理，可以将点云灰度图进行划分，划分为多个子图，例如将点云灰度图划分为多个大小为512x512的子图。初始网络模型的结构可以参阅图6进行理解。
如图6所示，针对每个大小为512x512的点云灰度图像，经过两个卷积层得到64个512x512的特征图，并且经过一个池化层进行降采样，得到64个大小为 256x256的特征图。然后继续通过两个卷积层得到128个256x256的特征图，池化得到128个128x128的特征图。接着通过三个卷积层得到256个128x128的特征图，池化得到256个64x64的特征图。然后继续通过三个卷积层得到512个64x64 的特征图，池化得到512个32x32的特征图。接着通过三个卷积层得到512个 32x32的特征图，并且使用步长为1的池化层，不改变特征图大小，得到512个 32x32的特征图。然后通过两个带孔卷积层，孔洞大小为6，得到1024个32x32 的特征图。再通过两个卷积层分别得到512个16x16的特征图和256个8x8的特征图。
然后如图6中所示，使用特定的4路卷积层的特征图来进行地面标志的提取，首先对选定的每一路特征图确定图像中与地面标志的位置、类型、形状和置信度等相关的未知量参数，再根据样本中针对地面标志的已标记信息对未知量参数进行求解，从而确定初始网络模型中的未知量，得到用于地面标志提取的标志提取网络模型。
本申请实施例提供的模型训练方案，可以训练出用于地面标志提取的深度神经网络模型，从而实现了对地面标志的高效及准确提取。
以上对标志提取网络模型的训练过程进行了说明，下面再结合附图介绍本申请实施例中的地面标志确定的方案。
如图7所示，本申请实施例提供的地面标志确定的方法的一实施例包括：
201、获取点云灰度图，所述点云灰度图包含路段地图。
本申请实施例中的点云灰度图可以参阅前述实施例对点云灰度图的描述进行理解，本处不再重复赘述。
202、运行标志提取网络模型，从所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息。
本申请实施例中的标志提取网络模型的结构和原理在上述模型训练的实施例中已经做过相应介绍，可以参阅前述实施例理解标志提取网络模型。
关于地面标志也都可以参阅前述实施例的描述进行理解。
本申请实施例中，地面标志信息可以包括所述每个地面标志的属性信息和置信度；其中，地面标志的属性信息可以包括地面标志的类型，例如：文字、数字、箭头和图形等，地面标志的属性信息还可以包括地面标志的形状和位置等信息。
地面标志的置信度指的是该地面标志的可信程度。
因为在地面标志提取的过程中可能会受图像清晰度等多种因素的影响，可能会将非地面标志也提取出来，但非地面标志的置信度基本不会高，所以这时就可以根据置信度进行过滤。
203、根据所述地面标志信息，从所述每个地面标志中确定目标地面标志。
标志提取网络模型所提取的地面标志中可能存在错误的或重复的地面标志，因此，需要对标志提取网络模型所提取的地面标志进行后续处理才能得到要确定的目标地面标志。
本申请实施例采用标志提取网络模型获取路段地图中的地面标志信息，并根据地面标志信息确定路段地图中的地面标志，从而提高了路段地图中地面标志的效率和准确度。
其中，可选地，所述根据所述地面标志信息，从所述每个地面标志中确定目标地面标志，可以包括：
根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的所述目标地面标志；
将所述二维形式的所述目标地面标志转换为三维形式的所述目标地面标志。
本申请实施例中，不符合条件的地面标志可以包括标志提取网络模型提取的错误的地面标志或重复的地面标志。
基于二维图像的地面标志检测结果是二维的，需要将其转换为三维形式，才能在高精度地图中表示。
可选地，所述属性信息包括位置信息和形状信息；
所述根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的所述目标地面标志，可以包括：
根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；
对于置信度高于所述置信度阈值的地面标志，针对包含相同位置信息的至少两个地面标志，根据所述至少两个地面标志的置信度和形状信息进行去重处理，以得到二维形式的所述目标地面标志。
本申请实施例中，置信度低于置信度阈值则表明该地面标志可能属于提取错误的情况，置信度高于置信度阈值的情况可以理解为属于提取正确的情况。
地面标志提取完毕后，需要对误检结果进行过滤。每个检测到的地面标志都有一个对应的置信度，过滤置信度小置信度阈值的检测结果，保留置信度高于置信度阈值的检测结果。然后还可以根据类别与检测框的形状来过滤其他误检结果，比如箭头的长宽有几种固定的比例，若检测结果与这几种固定比例相差较大，那么过滤掉该检测结果。
置信度高于所述置信度阈值的地面标志中，可能还包括重复的地面标志，需要进行出重处理。
可选地，所述针对包含相同位置信息的至少两个地面标志，根据所述至少两个地面标志的置信度和形状信息进行去重处理，可以包括：
针对包含相同位置信息的至少两个地面标志，分别计算所述至少两个地面标志中每两个地面标志的置信度差值；
针对置信度差值大于预设值的两个地面标志，删除其中置信度小的地面标志；
针对置信度差值小于所述预设值的两个地面标志，根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；
若所述两个地面标志的形状与所述标准形状的相似度都大于所述预置阈值，则对所述两个地面标志进行合并处理。
本申请实施例中，对于相同位置信息的地面标志，也可以理解为是同一空间位置的地面标志，可能会得到多个检测结果，那么我们需要对检测结果去重，保证一个地面标志只保留一个，也可以理解为一个地面标志只保留一个对应的检测框。在去重时，首先比较两者的置信度，若置信度差值超过预设值，则保留高置信度的地面标志；若差值小于预设值，则比较两者的形状，保留与标准形状相符的形状，若两者形状相近，则合并两个检测框，取一个能包含这两个检测框的最小矩形框作为最终的检测出的地面标志。
可选地，所述运行标志提取网络模型，从所述路段地图中获取地面标志信息，可以包括：
运行标志提取网络模型，将所述路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
从所述每个子路段地图所对应的特征图中提取所述特征图中所包含的地面标志的信息，所述地面标志信息包含所述每个子路段地图所对应的特征图中所提取的地面标志的信息。
本申请实施例中，考虑到路段地图可能比较大，所以在做地面标志提取时需要将路段地图划分为多个子路段地图，关于卷积、池化和地面标志信息提取的过程可以参阅图6部分的相应描述进行理解，只是在标志提取网络模型提取地面标志的过程中，标志提取网络模型中作为变量系数的未知量在模型训练阶段已经通过样本数据训练得到，所以在标志提取网络模型提取地面标志的过程，可以确定出其中的变量，也就是地面标志信息。
地面标志的提取结果可以参阅图8进行理解，如图8所示，通过标志提取网络模型可以通过检测框框定所检测到的地面标志，并标记出该地面标志的类型、颜色和形状等。如图8中针对地面标志“车”做出的标记是“文*车*白”，表示这个地面标志是文字，文字内容是车，地面标志的颜色是白色。针对箭头的地面标志做出的标记是“箭*直*白”，表示这个地面标志是箭头，箭头形状是直的，箭头颜色是白色。
可选地，所述获取点云灰度图，可以包括：
获取三维激光点云地图；
根据获取所述三维激光点云地图时车辆的航向角进行坐标转换，并对转换后的所述三维激光点云地图进行正交投影，将所述三维激光点云地图中的激光点的反射率值归一化为灰度值，以得到二维的所述点云灰度图。
本申请实施例中，为了更好地确定进行地面标志，需要将点云灰度图中的地面标志转正。首先将三维激光点云根据行车轨迹方向进行坐标转换得到转正的点云灰度图，转换的公式为：
Figure BDA0001652377070000101
其中，θ表示汽车的航向角，
Figure BDA0001652377070000102
表示二维的横坐标，
Figure BDA0001652377070000103
表示二维的纵坐标， X表示三维的横坐标，Y表示三维的纵坐标。然后将转换后的三维激光点云进行正交投影，并且将点云的反射率值归一化为0～255的灰度值，得到二维点云灰度图。
以上过程还可以参阅图9进行理解，如图9所示，本申请实施例提供的地面标志确定的方法的另一实施例包括：
301、获取点云灰度图，所述点云灰度图包含路段地图。
该步骤301可以包括获取三维激光点云地图，然后根据上述坐标
Figure BDA0001652377070000104
X、Y和角度θ之间的转换公式，将三维激光点云地图转换为二维的灰度图。
302、运行标志提取网络模型，从所述路段地图中获取地面标志信息。
通过标志提取网络模型提取地面标志，获取地面标志信息的过程可以参阅图6部分对灰度图进行卷积和池化的过程进行理解，不同的只是标志提取网络模型已经通过前述训练确定了作为变量系数的未知量，因此，在地面标志提取的过程中可以根据对要确定地面标志的灰度图中路段地图的检测，有效的检测出地面标志，获取地面标志信息，检测结果可以参阅图8的示例进行理解。
303、根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志。
地面标志提取完毕后，需要对误检结果进行过滤。每个检测到的地面标志都有一个对应的置信度，过滤置信度小置信度阈值的检测结果，保留置信度高于置信度阈值的检测结果。然后还可以根据类别与检测框的形状来过滤其他误检结果，比如箭头的长宽有几种固定的比例，若检测结果与这几种固定比例相差较大，那么过滤掉该检测结果。
304、对于置信度高于所述置信度阈值的地面标志，针对包含相同位置信息的至少两个地面标志，根据所述至少两个地面标志的置信度和形状信息进行去重处理，以得到二维形式的所述目标地面标志。
对于相同位置信息的地面标志，也可以理解为是同一空间位置的地面标志，可能会得到多个检测结果，那么我们需要对检测结果去重，保证一个地面标志只保留一个，也可以理解为一个地面标志只保留一个对应的检测框。在去重时，首先比较两者的置信度，若置信度差值超过预设值，则保留高置信度的地面标志；若差值小于预设值，则比较两者的形状，保留与标准形状相符的形状，若两者形状相近，则合并两个检测框，取一个能包含这两个检测框的最小矩形框作为最终的检测出的地面标志。
305、将所述二维形式的所述目标地面标志转换为三维形式的所述目标地面标志。
基于二维图像的地面标志检测结果是二维的，需要将其转换为三维形式，才能在高精度地图中表示。可以根据二维图像数据和三维激光点云数据的空间映射关系，将二维地标检测框转换为三维数据。该映射关系可以通过对上述坐标
Figure BDA0001652377070000121
X、Y和角度θ之间关系进行逆向转换得到。
基于以上步骤，可以实现基于点云灰度图的地面标志的自动提取，得到高精度的地面标志数据。
本发明充分考虑到当前地面标志提取方法所存在的不足，实现了一种高效、鲁棒的地面标志提取方法。该方法能够快速准确地从激光点云灰度图中自动化地提取出地面标志数据及其类别属性，为自动驾驶提供高精度的数据。本发明能够大大提高地面标志的自动化提取效率和提取精度，降低高精度地图的生产成本，提高了高精度地图的产量。
以上多个实施例中介绍了本申请实施例中标志提取网络模型训练的方法以及地面标志确定的方法，下面结合附图介绍本申请实施例的标志提取网络模型训练的装置以及地面标志确定的装置。
如图10所示，本申请实施例提供的标志提取网络模型训练的装置40的一实施例包括：
获取单元401，用于获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志；
处理单元402，用于针对所述获取单元401获取的所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
模型训练单元403，用于根据所述处理单元402处理得到的所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
本申请实施例提供的模型训练方案，可以训练出用于地面标志提取的深度神经网络模型，从而实现了对地面标志的高效及准确提取。
可选地，处理单元402，用于针对所述每个路段地图，将所述每个路段地图划分为多个子路段地图；对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
模型训练单元403，用于根据所述每个子路段地图所对应的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
如图11所示，本申请实施例提供的地面标志确定的装置50的一实施例包括：
第一获取单元501，用于获取点云灰度图，所述点云灰度图包含路段地图；
第二获取单元502，用于运行标志提取网络模型，从所述第一获取单元501 获取的所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息；
确定单元503，用于根据所述第二获取单元502获取的所述地面标志信息，从所述每个地面标志中确定目标地面标志。
本申请实施例采用标志提取网络模型获取路段地图中的地面标志信息，并根据地面标志信息确定路段地图中的地面标志，从而提高了路段地图中地面标志的效率和准确度。
可选地，确定单元503，用于在所述地面标志信息包括所述每个地面标志的属性信息和置信度时，根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的所述目标地面标志；将所述二维形式的所述目标地面标志转换为三维形式的所述目标地面标志。
可选地，确定单元503用于：
在属性信息包括位置信息和形状信息时，根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；
对于置信度高于所述置信度阈值的地面标志，针对包含相同位置信息的至少两个地面标志，根据所述至少两个地面标志的置信度和形状信息进行去重处理，以得到二维形式的所述目标地面标志。
可选地，确定单元503用于：
针对包含相同位置信息的至少两个地面标志，分别计算所述至少两个地面标志中每两个地面标志的置信度差值；
针对置信度差值大于预设值的两个地面标志，删除其中置信度小的地面标志；
针对置信度差值小于所述预设值的两个地面标志，根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；
若所述两个地面标志的形状与所述标准形状的相似度都大于所述预置阈值，则对所述两个地面标志进行合并处理。
可选地，第二获取单元502用于：
运行标志提取网络模型，将所述路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
从所述每个子路段地图所对应的特征图中提取所述特征图中所包含的地面标志的信息，所述地面标志信息包含所述每个子路段地图所对应的特征图中所提取的地面标志的信息。
可选地，第一获取单元501用于：
获取三维激光点云地图；
根据获取所述三维激光点云地图时车辆的航向角进行坐标转换，并对转换后的所述三维激光点云地图进行正交投影，将所述三维激光点云地图中的激光点的反射率值归一化为灰度值，以得到二维的所述点云灰度图。
本申请实施例中，关于标志提取网络模型训练的装置40以及地面标志确定的装置50的功能可以参阅上述方法实施例部分的相应描述进行理解，本处不再重复赘述。
以上标志提取网络模型训练的装置40以及地面标志确定的装置50的物理机形态可以为计算机设备，下面结合图12对与本申请实施例方案在计算机设备中的实现过程进行介绍。
图12是本申请实施例提供的计算机设备60的结构示意图。所述计算机设备 60包括处理器610、存储器640和输入输出(I/O)接口630，存储器640可以包括只读存储器和随机存取存储器，并向处理器610提供操作指令和数据。存储器640的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器640存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
在本申请实施例中，在地面标志确定的过程中，通过调用存储器640存储的操作指令(该操作指令可存储在操作系统中)，
获取点云灰度图，所述点云灰度图包含路段地图；
运行标志提取网络模型，从所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息；
根据所述地面标志信息，从所述每个地面标志中确定目标地面标志。
本申请实施例采用标志提取网络模型获取路段地图中的地面标志信息，并根据地面标志信息确定路段地图中的地面标志，从而提高了路段地图中地面标志的效率和准确度。
处理器610控制计算机设备60的操作，处理器610还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器640可以包括只读存储器和随机存取存储器，并向处理器610提供指令和数据。存储器640的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中计算机设备60的各个组件通过总线系统620耦合在一起，其中总线系统620除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统620。
上述本申请实施例揭示的方法可以应用于处理器610中，或者由处理器610 实现。处理器610可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器610可以是通用处理器、数字信号处理器 (DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器640，处理器610读取存储器640中的信息，结合其硬件完成上述方法的步骤。
可选地，处理器610用于：
在所述地面标志信息包括所述每个地面标志的属性信息和置信度时，根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的所述目标地面标志；将所述二维形式的所述目标地面标志转换为三维形式的所述目标地面标志。
可选地，处理器610用于：
在所述属性信息包括位置信息和形状信息时，根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；
对于置信度高于所述置信度阈值的地面标志，针对包含相同位置信息的至少两个地面标志，根据所述至少两个地面标志的置信度和形状信息进行去重处理，以得到二维形式的所述目标地面标志。
可选地，处理器610用于：
针对包含相同位置信息的至少两个地面标志，分别计算所述至少两个地面标志中每两个地面标志的置信度差值；
针对置信度差值大于预设值的两个地面标志，删除其中置信度小的地面标志；
针对置信度差值小于所述预设值的两个地面标志，根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；
若所述两个地面标志的形状与所述标准形状的相似度都大于所述预置阈值，则对所述两个地面标志进行合并处理。
可选地，处理器610用于：
运行标志提取网络模型，将所述路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
从所述每个子路段地图所对应的特征图中提取所述特征图中所包含的地面标志的信息，所述地面标志信息包含所述每个子路段地图所对应的特征图中所提取的地面标志的信息。
可选地，处理器610用于：
获取三维激光点云地图；
根据获取所述三维激光点云地图时车辆的航向角进行坐标转换，并对转换后的所述三维激光点云地图进行正交投影，将所述三维激光点云地图中的激光点的反射率值归一化为灰度值，以得到二维的所述点云灰度图。
在标志提取网络模型训练的过程中，处理器610用于：
获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志；
针对所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
可选地，处理器610用于：
针对所述每个路段地图，将所述每个路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
根据所述每个子路段地图所对应的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
上对计算机设备60的描述可以参阅图1至图9部分的描述进行理解，本处不再重复赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本申请实施例所提供的地面标志确定的方法、标志提取网络模型训练的方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种地面标志确定的方法，其特征在于，包括：
获取点云灰度图，所述点云灰度图包含路段地图；
运行标志提取网络模型，从所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取网络模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息，所述地面标志是用于对驾驶起指示作用的标志，所述地面标志包括文字、数字、箭头和图形中的至少一种；
根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的目标地面标志，所述不符合条件的地面标志包括标志提取网络模型提取的错误的地面标志或重复的地面标志，所述属性信息包括位置信息和形状信息；
其中，根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的目标地面标志包括：根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；根据地面标志的类别与检测框的形状过滤误检结果得到过滤后的地面标志；对于过滤后置信度高于所述置信度阈值的地面标志，若包含相同位置信息的至少两个地面标志，则分别计算所述至少两个地面标志中每两个地面标志的置信度差值；若置信度差值大于预设值的两个地面标志，则删除其中置信度小的地面标志；若置信度差值小于所述预设值的两个地面标志，则根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；若所述两个地面标志的形状与标准形状的相似度都大于所述预置阈值，则合并两个地面标志的检测框，将能包含两个地面标志的检测框的最小矩形框作为最终检测出的地面标志；
将所述二维形式的目标地面标志转换为三维形式的目标地面标志，所述三维形式的目标地面标志用于在高精度地图中标记，以使得具备自动驾驶能力的车辆基于所述高精度地图进行行驶规划和决策；
其中，所述获取点云灰度图，包括：
获取三维激光点云地图；
根据获取所述三维激光点云地图时车辆的航向角进行坐标转换，并对转换后的所述三维激光点云地图进行正交投影，将所述三维激光点云地图中的激光点的反射率值归一化为灰度值，以得到二维的所述点云灰度图；
其中，所述运行标志提取网络模型，从所述路段地图中获取地面标志信息，包括：
运行标志提取网络模型，将所述路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
从所述每个子路段地图所对应的特征图中提取所述特征图中所包含的地面标志信息，所述地面标志信息包含所述每个子路段地图所对应的特征图中所提取的地面标志的信息。
2.一种标志提取网络模型训练的方法，其特征在于，包括：
获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志，所述地面标志为在路段地面上标记的行车指示信息，所述地面标志是用于对驾驶起指示作用的标志，所述地面标志包括文字、数字、箭头和图形中的至少一种；
针对所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型，所述标志提取网络模型用于对于路段地图进行处理得到三维形式的地面标志，所述三维形式的地面标志用于在高精度地图中标记，以使得具备自动驾驶能力的车辆基于所述高精度地图进行行驶规划和决策，所述三维形式的地面标志为通过二维形式的地面标志转换得到的，所述二维形式的地面标志为标志提取网络模型从路段地图中获取地面标志信息后根据每个地面标志的置信度以及属性信息去除每个地面标志中不符合条件的地面标志后得到的，所述属性信息包括位置信息和形状信息，其中根据每个地面标志的置信度以及属性信息去除每个地面标志中不符合条件的地面标志后得到二维形式的地面标志具体包括：根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；根据地面标志的类别与检测框的形状过滤误检结果得到过滤后的地面标志；对于过滤后置信度高于所述置信度阈值的地面标志，若包含相同位置信息的至少两个地面标志，则分别计算所述至少两个地面标志中每两个地面标志的置信度差值；若置信度差值大于预设值的两个地面标志，则删除其中置信度小的地面标志；若置信度差值小于所述预设值的两个地面标志，则根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；若所述两个地面标志的形状与标准形状的相似度都大于所述预置阈值，则合并两个地面标志的检测框，将能包含两个地面标志的检测框的最小矩形框作为最终检测出的地面标志；
其中，所述针对所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图，包括：
针对所述每个路段地图，将所述每个路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
所述根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型，包括：
根据所述每个子路段地图所对应的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
3.一种地面标志确定的装置，其特征在于，包括：
第一获取单元，用于获取点云灰度图，所述点云灰度图包含路段地图；
第二获取单元，用于运行标志提取网络模型，从所述第一获取单元获取的所述路段地图中获取地面标志信息，所述标志提取网络模型用于提取所述路段地图中所包含的地面标志，所述地面标志信息包括所述标志提取网络模型提取到的每个地面标志的信息，所述地面标志为在路段地面上标记的行车指示信息，所述地面标志是用于对驾驶起指示作用的标志，所述地面标志包括文字、数字、箭头和图形中的至少一种；
确定单元，用于在所述地面标志信息包括所述每个地面标志的属性信息和置信度时，根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的目标地面标志，所述属性信息包括位置信息和形状信息，其中根据所述每个地面标志的置信度以及属性信息，去除所述每个地面标志中不符合条件的地面标志，以得到二维形式的目标地面标志具体包括：根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；根据地面标志的类别与检测框的形状过滤误检结果得到过滤后的地面标志；对于过滤后置信度高于所述置信度阈值的地面标志，若包含相同位置信息的至少两个地面标志，则分别计算所述至少两个地面标志中每两个地面标志的置信度差值；若置信度差值大于预设值的两个地面标志，则删除其中置信度小的地面标志；若置信度差值小于所述预设值的两个地面标志，则根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；若所述两个地面标志的形状与标准形状的相似度都大于所述预置阈值，则合并两个地面标志的检测框，将能包含两个地面标志的检测框的最小矩形框作为最终检测出的地面标志；将所述二维形式的所述目标地面标志转换为三维形式的目标地面标志，所述三维形式的目标地面标志用于在高精度地图中标记，以使得具备自动驾驶能力的车辆基于所述高精度地图进行行驶规划和决策；
其中，所述第一获取单元，具体用于：
获取三维激光点云地图；
根据获取所述三维激光点云地图时车辆的航向角进行坐标转换，并对转换后的所述三维激光点云地图进行正交投影，将所述三维激光点云地图中的激光点的反射率值归一化为灰度值，以得到二维的所述点云灰度图；
其中，所述第二获取单元，具体用于：
运行标志提取网络模型，将所述路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
从所述每个子路段地图所对应的特征图中提取所述特征图中所包含的地面标志信息，所述地面标志信息包含所述每个子路段地图所对应的特征图中所提取的地面标志的信息。
4.一种标志提取网络模型训练的装置，其特征在于，包括：
获取单元，用于获取多个样本灰度图，所述多个样本灰度图中每个样本灰度图都包括路段地图，每个路段地图中包含已被标记的地面标志，所述地面标志为在路段地面上标记的行车指示信息，所述地面标志是用于对驾驶起指示作用的标志，所述地面标志包括文字、数字、箭头和图形中的至少一种；
处理单元，用于针对所述获取单元获取的所述每个路段地图，进行卷积和池化处理，以得到每个路段地图的特征图；
模型训练单元，用于根据所述处理单元处理得到的所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型，所述标志提取网络模型用于对于路段地图进行处理得到三维形式的地面标志，所述三维形式的地面标志用于在高精度地图中标记，以使得具备自动驾驶能力的车辆基于所述高精度地图进行行驶规划和决策，所述三维形式的地面标志为通过二维形式的地面标志转换得到的，所述二维形式的地面标志为标志提取网络模型从路段地图中获取地面标志信息后根据每个地面标志的置信度以及属性信息去除每个地面标志中不符合条件的地面标志后得到的，所述属性信息包括位置信息和形状信息，其中根据每个地面标志的置信度以及属性信息去除每个地面标志中不符合条件的地面标志后得到二维形式的地面标志具体包括：根据所述每个地面标志的置信度，去除置信度低于置信度阈值的地面标志；根据地面标志的类别与检测框的形状过滤误检结果得到过滤后的地面标志；对于过滤后置信度高于所述置信度阈值的地面标志，若包含相同位置信息的至少两个地面标志，则分别计算所述至少两个地面标志中每两个地面标志的置信度差值；若置信度差值大于预设值的两个地面标志，则删除其中置信度小的地面标志；若置信度差值小于所述预设值的两个地面标志，则根据所述两个地面标志的形状信息，删除与标准形状相似度小于预置阈值的地面标志；若所述两个地面标志的形状与标准形状的相似度都大于所述预置阈值，则合并两个地面标志的检测框，将能包含两个地面标志的检测框的最小矩形框作为最终检测出的地面标志；
其中，所述处理单元具体用于：
针对所述每个路段地图，将所述每个路段地图划分为多个子路段地图；
对所述多个子路段地图中的每个子路段地图通过卷积和池化处理，以得到所述每个子路段地图所对应的特征图；
根据所述每个路段地图的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型，包括：
根据所述每个子路段地图所对应的特征图中已被标记的地面标志，对初始网络模型进行训练直到所述初始网络模型收敛，以得到用于识别地面标志的所述标志提取网络模型。
5.一种计算机设备，其特征在于，所述计算机设备包括：输入/输出（I/O）接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求1所述的方法。
6.一种计算机设备，其特征在于，所述计算机设备包括：输入/输出（I/O）接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求2所述的方法。
7.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1所述的方法或权利要求2所述的方法。
CN201810427093.4A 2018-05-07 2018-05-07 地面标志提取的方法、模型训练的方法、设备及存储介质 Active CN108564874B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810427093.4A CN108564874B (zh) 2018-05-07 2018-05-07 地面标志提取的方法、模型训练的方法、设备及存储介质
EP19799124.3A EP3792901B1 (en) 2018-05-07 2019-04-03 Ground mark extraction method, model training method, device and storage medium
PCT/CN2019/081208 WO2019214372A1 (zh) 2018-05-07 2019-04-03 地面标志提取的方法、模型训练的方法、设备及存储介质
US16/997,439 US11410435B2 (en) 2018-05-07 2020-08-19 Ground mark extraction method, model training METHOD, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810427093.4A CN108564874B (zh) 2018-05-07 2018-05-07 地面标志提取的方法、模型训练的方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108564874A CN108564874A (zh) 2018-09-21
CN108564874B true CN108564874B (zh) 2021-04-30

Family

ID=63538161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810427093.4A Active CN108564874B (zh) 2018-05-07 2018-05-07 地面标志提取的方法、模型训练的方法、设备及存储介质

Country Status (4)

Country Link
US (1) US11410435B2 (zh)
EP (1) EP3792901B1 (zh)
CN (1) CN108564874B (zh)
WO (1) WO2019214372A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564874B (zh) * 2018-05-07 2021-04-30 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质
WO2020103110A1 (zh) * 2018-11-22 2020-05-28 深圳市大疆创新科技有限公司 一种基于点云地图的图像边界获取方法、设备及飞行器
WO2020103108A1 (zh) * 2018-11-22 2020-05-28 深圳市大疆创新科技有限公司 一种语义生成方法、设备、飞行器及存储介质
CN110799983A (zh) * 2018-11-22 2020-02-14 深圳市大疆创新科技有限公司 一种地图生成方法、设备、飞行器及存储介质
CN109711336A (zh) * 2018-12-26 2019-05-03 深圳高速工程顾问有限公司 道路标线确定方法、装置、存储介质及计算机设备
CN111380529B (zh) * 2018-12-28 2023-10-03 浙江菜鸟供应链管理有限公司 移动设备定位方法、装置、系统及移动设备
CN109858374B (zh) * 2018-12-31 2021-08-17 武汉中海庭数据技术有限公司 高精度地图制作中箭头类标线自动提取方法和装置
CN112116549A (zh) * 2019-06-03 2020-12-22 北京京东叁佰陆拾度电子商务有限公司 用于评估点云地图精度的方法和装置
CN110276801B (zh) * 2019-06-24 2021-09-28 达闼机器人有限公司 一种物体定位方法、装置及存储介质
CN110568451B (zh) * 2019-08-02 2021-06-18 北京三快在线科技有限公司 一种高精度地图中道路交通标线的生成方法和装置
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
CN111275816B (zh) * 2020-02-25 2022-05-10 华为技术有限公司 获取点云数据的方法及相关设备
CN111881790B (zh) * 2020-07-14 2023-04-28 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN112561808B (zh) * 2020-11-27 2023-07-18 中央财经大学 一种基于车载激光点云和卫星影像的道路边界线复原方法
CN112380313B (zh) * 2020-12-01 2023-07-28 北京罗克维尔斯科技有限公司 更新高精地图置信度的方法及装置
CN116745820A (zh) * 2022-01-05 2023-09-12 华为技术有限公司 路面标志识别方法及装置、设备、存储介质、车辆
CN114973910B (zh) * 2022-07-27 2022-11-11 禾多科技（北京）有限公司 地图生成方法、装置、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207634A (zh) * 2013-03-20 2013-07-17 北京工业大学 一种智能车辆中差分gps与惯性导航数据融合的系统和方法
CN106683530A (zh) * 2017-02-21 2017-05-17 南京多伦科技股份有限公司 一种基于三维激光视觉和高精度车道模型的计算机评判系统和方法
CN106842269A (zh) * 2017-01-25 2017-06-13 北京经纬恒润科技有限公司 定位方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
CN101871775B (zh) * 2009-04-21 2012-09-19 鸿富锦精密工业（深圳）有限公司 三坐标测量机编程系统及方法
JP5716671B2 (ja) * 2009-11-25 2015-05-13 日本電気株式会社 走路認識装置、車両、走路認識方法及び走路認識プログラム
CN102592114B (zh) * 2011-12-26 2013-07-31 河南工业大学 复杂路况的车道线特征提取、识别方法
CN104166861B (zh) * 2014-08-11 2017-09-29 成都六活科技有限责任公司 一种行人检测方法
US9803985B2 (en) * 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US10472086B2 (en) * 2016-03-31 2019-11-12 Sikorsky Aircraft Corporation Sensor-based detection of landing zones
CN106951847B (zh) * 2017-03-13 2020-09-29 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN107194957B (zh) * 2017-04-17 2019-11-22 武汉光庭科技有限公司 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN107403163B (zh) * 2017-07-31 2019-11-08 武汉大学 一种基于深度学习的激光slam闭环自动检测方法
CN108564874B (zh) * 2018-05-07 2021-04-30 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207634A (zh) * 2013-03-20 2013-07-17 北京工业大学 一种智能车辆中差分gps与惯性导航数据融合的系统和方法
CN106842269A (zh) * 2017-01-25 2017-06-13 北京经纬恒润科技有限公司 定位方法及系统
CN106683530A (zh) * 2017-02-21 2017-05-17 南京多伦科技股份有限公司 一种基于三维激光视觉和高精度车道模型的计算机评判系统和方法

Also Published As

Publication number Publication date
EP3792901B1 (en) 2023-05-03
US20200380272A1 (en) 2020-12-03
WO2019214372A1 (zh) 2019-11-14
US11410435B2 (en) 2022-08-09
EP3792901A1 (en) 2021-03-17
EP3792901A4 (en) 2021-04-07
CN108564874A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108564874B (zh) 地面标志提取的方法、模型训练的方法、设备及存储介质
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
US10984659B2 (en) Vehicle parking availability map systems and methods
WO2019170012A1 (zh) 车道线数据处理方法、装置、计算机设备和存储介质
CN109165549B (zh) 基于三维点云数据的道路标识获取方法、终端设备及装置
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
WO2017041396A1 (zh) 一种车道线数据的处理方法、装置、存储介质及设备
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN111160328A (zh) 一种基于语义分割技术的交通标线自动提取的方法
KR20210082518A (ko) 교차로 검출, 신경망 훈련 및 스마트 주행 방법, 장치 및 기기
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN115131363A (zh) 基于语义信息的定位方法、装置和终端设备
CN114820679A (zh) 图像标注方法、装置、电子设备和存储介质
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质
JP2020095668A (ja) 道路画像再構成及び車両測位のための方法及びシステム
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
EP3764335A1 (en) Vehicle parking availability map systems and methods
CN112435336B (zh) 一种弯道类型识别方法、装置、电子设备及存储介质
CN115599119A (zh) 一种无人机的避障系统
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
JP7427569B2 (ja) 状態判定装置、状態判定システム及び状態判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant