CN112528918A - 道路元素识别方法、地图标注方法及装置、车辆 - Google Patents

道路元素识别方法、地图标注方法及装置、车辆 Download PDF

Info

Publication number
CN112528918A
CN112528918A CN202011511361.4A CN202011511361A CN112528918A CN 112528918 A CN112528918 A CN 112528918A CN 202011511361 A CN202011511361 A CN 202011511361A CN 112528918 A CN112528918 A CN 112528918A
Authority
CN
China
Prior art keywords
lane
road element
target
point cloud
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011511361.4A
Other languages
English (en)
Inventor
陆潇
宋佳昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202011511361.4A priority Critical patent/CN112528918A/zh
Publication of CN112528918A publication Critical patent/CN112528918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种道路元素识别方法、地图标注方法及装置、车辆，其中，所述方法包括：获取包括前方路面至少一条车道的车道图像；在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；确定所述目标图像区域对应的目标扫描数据；将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。

Description

道路元素识别方法、地图标注方法及装置、车辆
技术领域
本公开涉及图像处理领域，尤其涉及道路元素识别方法、地图标注方法及装置、车辆。
背景技术
随着车辆智能化的快速发展，高精度地图的重要性日益凸显，已成为智能交通不可缺少的一环。高精度地图通常是面向智能化车辆使用的地图，不仅有高精度的坐标，同时还有准确的道路形状表达，包括了车道实线、虚线以及转向箭头和斑马线等。
针对于车道实线与虚线等几何形状较为简单的道路元素，目前已经有许多相关的高精度地图构建方法，在大部分场景下都能够满足精度要求。但是目前的高精度地图中不包含几何形状较为复杂的道路元素。
发明内容
本公开提供了一种道路元素识别方法、地图标注方法及装置、车辆。
根据本公开实施例的第一方面，提供一种道路元素识别方法，所述方法包括：获取包括前方路面至少一条车道的车道图像；在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；确定所述目标图像区域对应的目标扫描数据；将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述确定所述目标图像区域对应的目标扫描数据，包括：确定所述目标图像区域对应的目标三维点云；所述将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息，包括：将所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，根据点云配准结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述道路元素包括车道箭头，所述道路元素信息包括所述车道箭头指示的车道方向信息。
在一些可选实施例中，所述在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域，包括：将所述车道图像输入预先训练好的语义分割模型，获得所述语义分割模型输出的车道图像上的多个像素点分别对应的类型标签；将所述类型标签指示属于同一条车道上的同一个道路元素的多个像素点组成的图像区域作为目标图像区域。
在一些可选实施例中，所述确定所述目标图像区域对应的目标三维点云，包括：将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云。
在一些可选实施例中，所述将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云，包括：将三维点云投影到所述车道图像上，取出所述目标图像区域对应的三维点云；在取出的三维点云中确定多个离群点；在取出的三维点云中去除所述多个离群点，得到所述目标三维点云。
在一些可选实施例中，采用预设算法对所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，包括：针对所述目标三维点云中每个点，在所述参考三维点云中确定与该点距离最近的点；对所述目标三维点云进行旋转和平移变换，使得所述目标三维点云中每个点与确定的最近的点都尽量重合；重复执行为所述目标三维点云中每个点确定最近点以及对所述目标三维点云进行旋转和平移变换的步骤，直到所述预设算法收敛，得到点云配准结果。
在一些可选实施例中，所述点云配准结果包括配准率分值；所述根据点云配准结果确定所述至少一条车道上的道路元素信息，包括：将所述配准率分值最高的参考三维点云所对应的道路元素模板，确定为与所述目标三维点云对应的目标道路元素模板；将所述目标道路元素模板指示的道路元素信息，确定为对应车道上道路元素信息。
在一些可选实施例中，所述方法还包括：获取多个道路元素对应的国家标准尺寸；根据所述国家标准尺寸绘制所述多个道路元素模板。
根据本公开实施例的第二方面，提供一种地图标注方法，所述方法包括：采用第一方面任一项所述的道路元素识别方法识别前方路面的至少一条车道上的道路元素信息；在高精度地图上标注出所述前方路面的所述至少一条车道上的道路元素信息。
根据本公开实施例的第三方面，提供一种道路元素识别装置，所述装置包括：第一获取模块，用于获取包括前方路面至少一条车道的车道图像；第一确定模块，用于在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；第二确定模块，用于确定所述目标图像区域对应的目标扫描数据；第三确定模块，用于将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述第二确定模块包括：第一确定子模块，用于确定所述目标图像区域对应的目标三维点云；所述第三确定模块包括：第二确定子模块，用于将所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，根据点云配准结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述道路元素包括车道箭头，所述道路元素信息包括所述车道箭头指示的车道方向信息。
在一些可选实施例中，所述第一确定模块包括：获取子模块，用于将所述车道图像输入预先训练好的语义分割模型，获得所述语义分割模型输出的车道图像上的多个像素点分别对应的类型标签；第三确定子模块，用于将所述类型标签指示属于同一条车道上的同一个道路元素的多个像素点组成的图像区域作为目标图像区域。
在一些可选实施例中，所述第一确定子模块包括：第一确定单元，用于将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云。
在一些可选实施例中，所述第一确定单元包括：第一获取子单元，用于将三维点云投影到所述车道图像上，取出所述目标图像区域对应的三维点云；第一确定子单元，用于在取出的三维点云中确定多个离群点；第二获取子单元，用于在取出的三维点云中去除所述多个离群点，得到所述目标三维点云。
在一些可选实施例中，所述第二确定子模块包括：第二确定单元，用于针对所述目标三维点云中每个点，在所述参考三维点云中确定与该点距离最近的点；转换单元，用于对所述目标三维点云进行旋转和平移变换，使得所述目标三维点云中每个点与确定的最近的点都尽量重合；第三确定单元，用于重复执行为所述目标三维点云中每个点确定最近点以及对所述目标三维点云进行旋转和平移变换的步骤，直到所述预设算法收敛，得到点云配准结果。
在一些可选实施例中，所述点云配准结果包括配准率分值；所述第二确定子模块包括：第四确定单元，用于将所述配准率分值最高的参考三维点云所对应的道路元素模板，确定为与所述目标三维点云对应的目标道路元素模板；第五确定单元，用于将所述目标道路元素模板指示的道路元素信息，确定为对应车道上道路元素信息。
在一些可选实施例中，所述装置还包括：第二获取模块，用于获取多个道路元素对应的国家标准尺寸；绘制模块，用于根据所述国家标准尺寸绘制所述多个道路元素模板。
根据本公开实施例的第四方面，提供一种地图标注装置，所述装置包括：信息识别模块，用于采用第一方面任一项所述的道路元素识别方法识别前方路面的至少一条车道上的道路元素信息；标注模块，用于在高精度地图上标注识别的道路元素信息。根据本公开实施例的第五方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的道路元素识别方法，或者上述第二方面所述的地图标注方法。
根据本公开实施例的第六方面，提供一种道路元素识别装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的道路元素识别方法，或者上述第二方面所述的地图标注方法。
根据本公开实施例的第七方面，提供一种车辆，包括：图像采集设备和计算设备；所述图像采集设备被配置为获取包括前方路面至少一条车道的车道图像；所述计算设备，包括：处理器，和用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现如下步骤：在所述图像采集设备采集的车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；确定所述目标图像区域对应的目标扫描数据；将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，获取包括前方路面至少一条车道的车道图像后，在车道图像上确定至少一条车道上出现的道路元素对应的目标图像区域。将目标图像区域对应的目标扫描数据与道路元素模板数据进行比对，从而根据比对结果可以确定出至少一条车道上的道路元素信息。本公开中，即使车道上的道路元素的几何形状较为复杂，也可以通过数据比对，确定出车道上的道路元素信息，可用性高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种道路元素识别方法流程图；
图2是本公开根据一示例性实施例示出的车道图像示意图；
图3是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图4是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图5是本公开根据一示例性实施例示出的目标三维点云示意图；
图6是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图7是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图8是本公开根据一示例性实施例示出的点云配准示意图；
图9是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图10是本公开根据一示例性实施例示出的道路元素模板示意图；
图11是本公开根据一示例性实施例示出的另一种道路元素识别方法流程图；
图12是本公开根据一示例性实施例示出的一种道路元素识别装置框图；
图13是本公开根据一示例性实施例示出的一种地图标注装置框图；
图14是本公开根据一示例性实施例示出的一种用于道路元素识别装置的一结构示意图；
图15是本公开根据一示例性实施例示出的一种用于地图标注装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供了一种道路元素识别方法，例如图1所示，图1是根据一示例性实施例示出的一种道路元素识别方法，包括以下步骤：
在步骤101中，获取包括前方路面至少一条车道的车道图像。
在本公开实施例中，可以通过装载在车辆上的摄像头，例如行车记录仪获取车道图像。车道图像可以是摄像头拍摄的一张图像，也可以包括摄像头拍摄的前方路面至少一条车道的视频中的至少一帧图像，车道图像可以例如图2所示。
在步骤102中，在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域。
在本公开实施例中，可以通过对车道图像进行语义分割，从而得到道路元素对应的目标图像区域，其中，道路元素可以是几何形状较为复杂的道路元素，包括但不限于车道箭头，这些车道箭头用于指示所在车道的车道方向，例如直行、左拐、右拐、左拐与掉头、右拐与掉头、直行与左拐、直行与右拐等等。目标图像区域是由属于同一条车道上的同一个道路元素的多个像素点组成的图像区域。
在本公开实施例中，如果车道图像中包括多个道路元素，那么每个道路元素可以对应一个目标图像区域。例如图2中包括了3个道路元素，那么可以从该车道图像中确定3个目标图像区域。
在步骤103中，确定所述目标图像区域对应的目标扫描数据。
本步骤中目标扫描数据可以为二维扫描数据或者三维扫描数据，在一种实施例中，可以确定所述目标图像区域对应的目标三维点云。
将激光雷达产生的三维点云投影到所述车道图像上，取出目标图像区域的三维点云，基于取出的三维点云，可以得到目标三维点云。同样地，如果目标图像区域的数目为多个，那么可以针对每个目标图像区域确定一组目标三维点云。例如图2所示的车道图像中确定了3个目标图像区域，那么可以得到3组目标三维点云。
在步骤104中，将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
本步骤中，可以基于目标扫描数据的扫描方式，预先确定不同的道路元素分别对应的道路元素模板，以便将得到的目标扫描数据与道路元素模板数据进行比对，来确定至少一条车道上的道路元素信息。
在一种实施例中，针对三维点云的扫描方式，可以将所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，根据点云配准结果确定所述至少一条车道上的道路元素信息。
在本公开实施例中，可以采用点云配准算法，例如最近点搜索法(IterativeClosest Point，ICP)，将目标三维点云和道路元素模板对应的参考三维点云之间分别进行配准，根据配准结果将配准率最高的道路元素模板作为与目标三维点云对应的目标道路元素模板，从而根据目标道路元素模板对应的道路元素信息，得到至少一条车道上的道路元素信息。其中，道路元素信息包括所述车道箭头指示的车道方向信息。
上述实施例中，即使车道中的道路元素的几何形状较为复杂，也可以通过目标扫描数据和道路元素模板数据进行比对，确定出车道上的道路元素信息，可用性高。
在一些可选实施例中，例如图3所示，步骤102可以包括：
在步骤201中，将所述车道图像输入预先训练好的语义分割模型，获得所述语义分割模型输出的车道图像上的多个像素点分别对应的类型标签。
在本公开实施例中，可以预先训练好一个语义分割模型，该语义分割模型可以采用视觉几何组(Visual Geometry Group，VGG)模型、残差(ResNet)模型等作为骨干网(backbone)，该语义分割模型可以由多个网络层组成，包括但不限于输入层、卷积层、池化层、全连接层、输出层等。
在将车道图像输入预先训练好的语义分割模型后，可以得到该语义分割模型输出的车道图像包括的多个像素点分别对应的类型标签，该类型标签用于指示像素点所属目标对象，所属目标对象包括但不限于行人、机动车、建筑物、道路元素中的车道箭头、道路元素中的车道线等等。
在步骤202中，将所述类型标签指示属于同一条车道上的同一个道路元素的多个像素点组成的图像区域作为目标图像区域。
在本公开实施例中，根据语义分割模型输出的类型标签，可以确定类型标签指示属于同一条车道上的同一个道路元素的多个像素点，例如属于同一个车道箭头的多个像素点。进一步地，可以由上述多个像素点组成的图像区域得到目标图像区域。
上述实施例中，可以通过对获取到的包括前方路面至少一条车道的车道图像进行语义分割，从而确定出目标图像区域，可用性高。
在一些可选实施例中，步骤103可以包括：
将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云。
在本公开实施例中，通过激光雷达发射激光得到三维点云后，将三维点云投影到车道图像上，可以取出之前确定的目标图像区域对应的三维点云，最终得到目标图像区域对应的目标三维点云。
在一些可选实施例中，例如图4所示，步骤103可以包括：
在步骤301中，将三维点云投影到所述车道图像上，取出所述目标图像区域对应的三维点云。
在步骤302中，在取出的三维点云中确定多个离群点。在本公开实施例中，在取出的三维点云中，可能包括一些离群点噪声，可以在三维点云中确定多个离群点。离群点是指在三维点云中与其他三维点的距离都很远的三维点。
在一个示例中，可以计算取出的三维点云中任一个三维点与其他多个三维点之间的距离方差，如果距离方差的最小值超过预设阈值，说明该三维点属于离群点。
在另一个示例中，可以通过半径滤波的方式去除离群点。以取出三维点云中任一个三维点为圆心，预设半径大小的三维球体内的三维点的数目，若三维点的数目小于预设数目，同样可以认为该三维点属于离群点。
在步骤303中，在取出的三维点云中去除所述多个离群点，得到所述目标三维点云。
在本公开实施例中，由于噪声影响、雷达外参估计不准确等原因，会造成去除的目标图像区域对应的三维点云中存在多个离群点噪声，为了提高道路元素识别的准确性，需要去除这些离群点，以减少数据噪声的影响。在取出的去除这些离群点后，可以得到稠密三维点云，将得到的稠密三维点云作为目标三维点云，例如图5所示。
上述实施例中，可以从去除的目标图像区域对应的三维点云中去除所包括的离群点，提高后续道路元素识别的准确性。
在一些可选实施例中，针对步骤103，可以采用预设算法，将所述每组目标三维点云和多个道路元素模板对应的参考三维点云进行点云配准。
在一个示例中，预设算法可以包括但不限于ICP算法，点云配准的过程例如图6所示，可以包括以下步骤：
在步骤401中，针对所述目标三维点云中每个点，在所述参考三维点云中确定与该点距离最近的点。
在本公开实施例中，目标三维点云可以记为P，道路元素模板对应的点云记为Q，对于P中的每个三维点p，在Q中都存在一个对应的三维点q，且p与q之间的距离最小。
在步骤402中，对所述目标三维点云进行旋转和平移变换，使得所述目标三维点云中每个点与确定的最近的点都尽量重合。
在本公开实施例中，计算使上述多组对应点(p，q)之间的均方根最小的刚体变换，得到旋转参数和平移参数。其中，旋转参数可以包括旋转矩阵R，平移参数可以包括平移矩阵T。根据平移参数和旋转参数对目标三维点云P进行旋转和平移，使得每组对应点(p，q)尽可能重合。
其中，刚体变换是指变换前后两点间的距离依旧保持不变。
在步骤403中，重复执行为所述目标三维点云中每个点确定最近点以及对所述目标三维点云进行旋转和平移变换的步骤，直到所述预设算法收敛，得到点云配准结果。
在本公开实施例中，可以重复上述步骤401和步骤402，直到预设算法收敛，得到点云配准结果。
上述实施例中，可以采用预设算法将目标三维点云与道路元素模板对应的参考三维点云进行点云配准，得到对应的配准结果，确保后续确定道路元素信息的准确性。
在一些可选实施例中，可以通过配准率分值来衡量点云配准结果，目标三维点云与参考三维点云之间重合度越高，配准率分值也越高。
进一步地，例如图7所示，根据点云配准结果确定所述至少一条车道上的道路元素信息的过程可以包括：
在步骤501中，将所述配准率分值最高的参考三维点云所对应的道路元素模板，确定为与所述目标三维点云对应的目标道路元素模板。
在步骤502中，将所述目标道路元素模板指示的道路元素信息，确定为对应车道上的道路元素信息。
在本公开实施例中，预先绘制的多个道路元素模板与道路元素信息之间存在一一对应的关系，就可以将目标道路元素模板指示的道路元素信息，作为对应车道上的道路元素信息。
例如，前方路边包括3条车道，每条车道包括一个道路元素，该道路元素为车道箭头。每个车道箭头对应一个目标图像区域，每个目标图像区域又对应一组目标三维点云，每组目标三维点云与多个道路元素模板对应的参数三维点云进行点云配准后，配准结果指示参考三维点云与目标三维点云之间的配准率分值最高的点云配准例如图8所示，将这些参考三维点云对应的道路元素模板作为目标道路元素模板，则可以确定前方路面三条车道上的道路元素信息分别为直行、直行、右拐。
上述实施例中，可以基于配准率分值确定车道上的道路元素信息，实现了准确得到车道上的道路元素信息的目的，可用性高。
在一些可选实施例中，例如图9所示，上述方法还可以包括：
在步骤100-1中，获取多个道路元素对应的国家标准尺寸。
在本公开实施例中，在同一个国家内，每条车道所包括的道路元素的国家标准尺寸不变，例如直行箭头的长度、宽度、箭头大小、箭身大小都有标准尺寸，可以通过查询国家标准，得到道路元素的国家标准尺寸。
在步骤100-2中，根据所述国家标准尺寸绘制所述多个道路元素模板。
在本公开实施例中，可以按照上述国家标准尺寸，通过绘图软件，例如CAD软件绘制出多个道路元素模板。
在一个可能地示例中，道路元素模板为二维模板。
在另一个可能地示例中，考虑到目标三维点云可能会有缺失，如果道路元素模板采用二维模板，将目标三维点云与二维道路元素模板对应的参考三维点云进行匹配时，误判率较高。为了降低误判，本公开实施例中，道路元素模板可以采用三维模板，例如图10所示。
进一步地，通过激光雷达产生的点云映射到该三维模板上，与三维模板重合的点云构成道路元素模板对应的参考三维点云。
这样即使目标三维点云有缺失，例如由于获取到的车道图像中存在遮挡物、车辆颠簸造成的车道图像不清晰等原因，基于车道图像得到的目标图像区域对应的目标三维点云可能无法构成一个完整的道路元素。通过上述点云匹配的方式，在确定存在缺失的目标三维点云与某个参考三维点云匹配后，可以通过匹配的参考三维点云，将目标三维点云中缺失的点云部分补充完整，后续可以提高例如高精度地图绘制的准确性。
上述实施例中，在绘制了多个道路元素模板后，可以将目标图像区域对应的目标扫描数据与多个道路元素模板数据进行比对，不需要每次都进行道路元素模板的绘制，且由于道路元素模板都是根据国家标准尺寸绘制的，可以确保比对过程的准确性。
本公开实施例还提供了一种地图标注方法例如图11所示，图11是根据一示例性实施例示出的一种地图标注方法，包括以下步骤：在步骤601中，识别前方路面的至少一条车道上的道路元素信息。
在本公开实施例中，可以采用上述任一实施例提供的道路元素识别方法，识别出前方路面的至少一条车道上的道路元素信息。
在步骤602中，在高精度地图上标注识别的道路元素信息。
在本公开实施例中，可以通过装备有激光雷达、相机、全球定位系统(GlobalPositioning System，GPS)、惯性测量单元(Inertial Measurement Unit，IMU)等传感器的数据采集车采集用于构建高精度地图的原始数据，基于原始数据，通过激光雷达扫描整个街道，以建立整个地图的三维模型，在得到的三维模型上需要标注车道线信息、交通标志信息、红绿灯信息等。
在本公开实施例中，可以采用上述道路元素识别方法得到的前方路面的所述至少一条车道上的道路元素信息，进而在高精度地图上标注出来。
在上述实施例中，可以在高精度地图上标注出所述前方路面的所述至少一条车道所包括的道路元素信息，丰富了高精度地图的道路信息，可用性高。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图12所示，图12是本公开根据一示例性实施例示出的一种道路元素识别装置框图，装置包括：
第一获取模块710，用于获取包括前方路面至少一条车道的车道图像；
第一确定模块720，用于在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；
第二确定模块730，用于确定所述目标图像区域对应的目标扫描数据；
第三确定模块740，用于将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述第二确定模块包括：第一确定子模块，用于确定所述目标图像区域对应的目标三维点云；所述第三确定模块包括：第二确定子模块，用于将所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，根据点云配准结果确定所述至少一条车道上的道路元素信息。
在一些可选实施例中，所述道路元素包括车道箭头，所述道路元素信息包括所述车道箭头指示的车道方向信息。
在一些可选实施例中，所述第一确定模块包括：获取子模块，用于将所述车道图像输入预先训练好的语义分割模型，获得所述语义分割模型输出的车道图像上的多个像素点分别对应的类型标签；第三确定子模块，用于将所述类型标签指示属于同一条车道上的同一个道路元素的多个像素点组成的图像区域作为目标图像区域。
在一些可选实施例中，所述第一确定子模块包括：第一确定单元，用于将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云。
在一些可选实施例中，所述第一确定单元包括：第一获取子单元，用于将三维点云投影到所述车道图像上，取出所述目标图像区域对应的三维点云；第一确定子单元，用于在取出的三维点云中确定多个离群点；第二获取子单元，用于在取出的三维点云中去除所述多个离群点，得到所述目标三维点云。
在一些可选实施例中，所述第二确定子模块包括：第二确定单元，用于针对所述目标三维点云中每个点，在所述参考三维点云中确定与该点距离最近的点；转换单元，用于对所述目标三维点云进行旋转和平移变换，使得所述目标三维点云中每个点与确定的最近的点都尽量重合；第三确定单元，用于重复执行为所述目标三维点云中每个点确定最近点以及对所述目标三维点云进行旋转和平移变换的步骤，直到所述预设算法收敛，得到点云配准结果。
在一些可选实施例中，所述点云配准结果包括配准率分值；所述第二确定子模块包括：第四确定单元，用于将所述配准率分值最高的参考三维点云所对应的道路元素模板，确定为与所述目标三维点云对应的目标道路元素模板；第五确定单元，用于将所述目标道路元素模板指示的道路元素信息，确定为对应车道上道路元素信息。
在一些可选实施例中，所述装置还包括：第二获取模块，用于获取多个道路元素对应的国家标准尺寸；绘制模块，用于通过绘图软件，根据所述国家标准尺寸预先绘制所述多个道路元素模板。
如图13所示，图13是本公开根据一示例性实施例示出的一种地图标注装置，所述装置包括：
信息识别模块810，用于采用上述任一项所述的道路元素识别方法识别前方路面的至少一条车道上的道路元素信息；
标注模块820，用于在高精度地图上标注识别的道路元素信息。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的道路元素识别方法，或者上述所述的地图标注方法。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的道路元素识别方法的指令，或者上述实施例提供的地图标注方法的指令。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开实施例还提供了一种道路元素识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的道路元素识别方法。
本公开实施例还提供了一种道路元素识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的道路元素识别方法。
图14为本公开实施例提供的一种道路元素识别装置的硬件结构示意图。该道路元素识别装置910包括处理器911，还可以包括输入装置912、输出装置913和存储器914。该输入装置912、输出装置913、存储器914和处理器911之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图14仅仅示出了一种道路元素识别装置的简化设计。在实际应用中，道路元素识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的道路元素识别装置都在本公开的保护范围之内。
本公开实施例还提供了一种地图标注装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的地图标注方法。
图15为本公开实施例提供的一种地图标注装置的硬件结构示意图。该地图标注装置1010包括处理器1011，还可以包括输入装置1012、输出装置1013和存储器1014。该输入装置1012、输出装置1013、存储器1014和处理器1011之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图15仅仅示出了一种地图标注装置的简化设计。在实际应用中，地图标注装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的地图标注装置都在本公开的保护范围之内。
本公开实施例还提供了一种车辆，包括：图像采集设备和计算设备；所述图像采集设备被配置为获取包括前方路面至少一条车道的车道图像；所述计算设备，包括：处理器，和用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现如下步骤：在所述图像采集设备采集的车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；确定所述目标图像区域对应的目标扫描数据；将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
本公开实施例提供的车辆可以包括自动驾驶车辆，也可以包括具有部分自动识别功能的车辆，例如，能够采用本公开提供的识别道理元素方法自动识别道路元素信息的普通车辆。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (15)

1.一种道路元素识别方法，其特征在于，包括：
获取包括前方路面至少一条车道的车道图像；
在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；
确定所述目标图像区域对应的目标扫描数据；
将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像区域对应的目标扫描数据，包括：
确定所述目标图像区域对应的目标三维点云；
所述将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息，包括：
将所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，根据点云配准结果确定所述至少一条车道上的道路元素信息。
3.根据权利要求1或2所述的方法，其特征在于，所述道路元素包括车道箭头，所述道路元素信息包括所述车道箭头指示的车道方向信息。
4.根据权利要求1或2所述的方法，其特征在于，所述在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域，包括：
将所述车道图像输入预先训练好的语义分割模型，获得所述语义分割模型输出的车道图像上的多个像素点分别对应的类型标签；
将所述类型标签指示属于同一条车道上的同一个道路元素的多个像素点组成的图像区域作为目标图像区域。
5.根据权利要求2所述的方法，其特征在于，所述确定所述目标图像区域对应的目标三维点云，包括：
将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云。
6.根据权利要求5所述的方法，其特征在于，所述将三维点云投影到所述车道图像上，确定所述目标图像区域对应的目标三维点云，包括：
将三维点云投影到所述车道图像上，取出所述目标图像区域对应的三维点云；
在取出的三维点云中确定多个离群点；
在取出的三维点云中去除所述多个离群点，得到所述目标三维点云。
7.根据权利要求2所述的方法，其特征在于，采用预设算法对所述目标三维点云和道路元素模板对应的参考三维点云进行点云配准，包括：
针对所述目标三维点云中每个点，在所述参考三维点云中确定与该点距离最近的点；
对所述目标三维点云进行旋转和平移变换，使得所述目标三维点云中每个点与确定的最近的点都尽量重合；
重复执行为所述目标三维点云中每个点确定最近点以及对所述目标三维点云进行旋转和平移变换的步骤，直到所述预设算法收敛，得到点云配准结果。
8.根据权利要求2所述的方法，其特征在于，所述点云配准结果包括配准率分值；
所述根据点云配准结果确定所述至少一条车道上的道路元素信息，包括：
将所述配准率分值最高的参考三维点云所对应的道路元素模板，确定为与所述目标三维点云对应的目标道路元素模板；
将所述目标道路元素模板指示的道路元素信息，确定为对应车道上道路元素信息。
9.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取多个道路元素对应的国家标准尺寸；
根据所述国家标准尺寸绘制所述多个道路元素模板。
10.一种地图标注方法，其特征在于，所述方法包括：
采用权利要求1-9任一项所述的道路元素识别方法识别前方路面的至少一条车道上的道路元素信息；
在高精度地图上标注识别的道路元素信息。
11.一种道路元素识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取包括前方路面至少一条车道的车道图像；
第一确定模块，用于在所述车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；
第二确定模块，用于确定所述目标图像区域对应的目标扫描数据；
第三确定模块，用于将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
12.一种地图标注装置，其特征在于，所述装置包括：
信息识别模块，用于采用权利要求1-9任一项所述的道路元素识别方法识别前方路面的至少一条车道上的道路元素信息；
标注模块，用于在高精度地图上标注识别的道路元素信息。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的道路元素识别方法，或者上述权利要求10所述的地图标注方法。
14.一种道路元素识别装置，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-9中任一项所述的道路元素识别方法，或者上述权利要求10所述的地图标注方法。
15.一种车辆，其特征在于，包括：图像采集设备和计算设备；
所述图像采集设备被配置为获取包括前方路面至少一条车道的车道图像；
所述计算设备，包括：处理器，和用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现如下步骤：
在所述图像采集设备采集的车道图像上，确定在所述至少一条车道上出现的道路元素对应的目标图像区域；
确定所述目标图像区域对应的目标扫描数据；
将所述目标扫描数据与道路元素模板数据进行比对，根据比对结果确定所述至少一条车道上的道路元素信息。
CN202011511361.4A 2020-12-18 2020-12-18 道路元素识别方法、地图标注方法及装置、车辆 Pending CN112528918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011511361.4A CN112528918A (zh) 2020-12-18 2020-12-18 道路元素识别方法、地图标注方法及装置、车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011511361.4A CN112528918A (zh) 2020-12-18 2020-12-18 道路元素识别方法、地图标注方法及装置、车辆

Publications (1)

Publication Number Publication Date
CN112528918A true CN112528918A (zh) 2021-03-19

Family

ID=75001707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011511361.4A Pending CN112528918A (zh) 2020-12-18 2020-12-18 道路元素识别方法、地图标注方法及装置、车辆

Country Status (1)

Country Link
CN (1) CN112528918A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
CN110263652B (zh) 激光点云数据识别方法及装置
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN111694903A (zh) 地图构建方法、装置、设备以及可读存储介质
CN112949366B (zh) 障碍物识别方法和装置
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN115147328A (zh) 三维目标检测方法及装置
CN109523570B (zh) 运动参数计算方法及装置
CN112528918A (zh) 道路元素识别方法、地图标注方法及装置、车辆
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN112507891A (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN114627438A (zh) 目标检测模型生成方法、目标检测方法、设备及介质
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN114005110B (zh) 3d检测模型训练方法与装置、3d检测方法与装置
CN112348876B (zh) 一种标志牌的空间坐标获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination