CN116563477A - 道路标识点云的生成方法及装置 - Google Patents

道路标识点云的生成方法及装置 Download PDF

Info

Publication number
CN116563477A
CN116563477A CN202210101459.5A CN202210101459A CN116563477A CN 116563477 A CN116563477 A CN 116563477A CN 202210101459 A CN202210101459 A CN 202210101459A CN 116563477 A CN116563477 A CN 116563477A
Authority
CN
China
Prior art keywords
road
image
point cloud
plane
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210101459.5A
Other languages
English (en)
Inventor
黄治凡
何俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengtu Technology Shenzhen Co Ltd
Original Assignee
Fengtu Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengtu Technology Shenzhen Co Ltd filed Critical Fengtu Technology Shenzhen Co Ltd
Priority to CN202210101459.5A priority Critical patent/CN116563477A/zh
Publication of CN116563477A publication Critical patent/CN116563477A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种道路标识点云的生成方法及装置，该道路标识点云的生成方法包括：获取目标道路上的多个第一道路图像；获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。本申请可以提高道路标识点云生成的准确率。

Description

道路标识点云的生成方法及装置
技术领域
本申请主要涉及地图处理技术领域，具体涉及一种道路标识点云的生成方法及装置。
背景技术
随着智能车辆的自动化进程的加快，高精地图也需要不断扩大覆盖范围。而目前的高精地图采集方案大多数成本较高，并且激光雷达生成的激光点云会消耗大量内存，这在普通的消费级汽车上是负担不起的。而成本低廉的方案会导致道路标识点云生成的准确率较低。
也即，现有技术中道路标识点云生成的准确率较低。
发明内容
本申请提供一种道路标识点云的生成方法及装置，旨在解决道路标识点云生成的准确率较低的问题。
第一方面，本申请提供一种道路标识点云的生成方法，所述道路标识点云的生成方法包括：
获取目标道路上的多个第一道路图像；
获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；
基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；
将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云。
可选地，所述获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，包括：
对所述各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点；
基于所述多个第一道路图像进行三维重建，得到多个特征点的三维点云坐标；
基于所述多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面；
基于所述多个第一三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述基于所述多个第一三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面，包括：
获取拍摄所述多个第一道路图像的相机拍摄所述第一道路图像时的相机运动方向；
获取各个第一三角形平面的法向量；
将所述各个第一三角形平面中法向量与所述相机运动方向不垂直的第一三角形平面剔除，得到多个第二三角形平面；
基于所述多个第二三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述基于所述多个第二三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面，包括：
获取各个第二三角形平面与点云坐标系中水平面之间的平面夹角；
将所述各个第二三角形平面中平面夹角大于预设角度的第二三角形平面剔除，得到多个第三三角形平面；
基于所述多个第三三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述获取拍摄所述多个第一道路图像的相机拍摄所述第一道路图像时的相机运动方向，包括：
获取所述第一道路图像和所述第一道路图像前后的至少一张关联图像；
获取所述第一道路图像的相机三维点云坐标和所述至少一张关联图像中的相机三维点云坐标，得到至少两个相机三维点云坐标；
基于所述至少两个相机三维点云坐标进行直线拟合，得到所述相机拍摄所述第一道路图像时的相机运动方向。
可选地，所述获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，包括：
对所述第一道路图像进行图像分割，得到所述第一道路图像上各个道路标识像素点的道路标识类别。
可选地，所述将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云，包括：
将所述拟合道路平面分成多个网格区域；
将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量；
将所述网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别，其中，所述目标道路标识类别为所述网格区域中道路标识像素点数量最多的道路标识类别。
第二方面，本申请提供一种道路标识点云的生成装置，所述道路标识点云的生成装置包括：
第一获取单元，用于获取目标道路上的多个第一道路图像；
第二获取单元，用于获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；
拟合单元，用于基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；
投影单元，用于将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云。
可选地，所述获第二获取单元，用于：
对所述各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点；
基于所述多个第一道路图像进行三维重建，得到多个特征点的三维点云坐标；
基于所述多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面；
基于所述多个第一三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述第二获取单元，用于：
获取拍摄所述多个第一道路图像的相机拍摄所述第一道路图像时的相机运动方向；
获取各个第一三角形平面的法向量；
将所述各个第一三角形平面中法向量与所述相机运动方向不垂直的第一三角形平面剔除，得到多个第二三角形平面；
基于所述多个第二三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述第二获取单元，用于：
获取各个第二三角形平面与点云坐标系中水平面之间的平面夹角；
将所述各个第二三角形平面中平面夹角大于预设角度的第二三角形平面剔除，得到多个第三三角形平面；
基于所述多个第三三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
可选地，所述第二获取单元，用于：
获取所述第一道路图像和所述第一道路图像前后的至少一张关联图像；
获取所述第一道路图像的相机三维点云坐标和所述至少一张关联图像中的相机三维点云坐标，得到至少两个相机三维点云坐标；
基于所述至少两个相机三维点云坐标进行直线拟合，得到所述相机拍摄所述第一道路图像时的相机运动方向。
可选地，所述第二获取单元，用于：
对所述第一道路图像进行图像分割，得到所述第一道路图像上各个道路标识像素点的道路标识类别。
可选地，所述投影单元，用于：
将所述拟合道路平面分成多个网格区域；
将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量；
将所述网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别，其中，所述目标道路标识类别为所述网格区域中道路标识像素点数量最多的道路标识类别。
第三方面，本申请提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的道路标识点云的生成方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的道路标识点云的生成方法中的步骤。
本申请提供一种道路标识点云的生成方法及装置，该道路标识点云的生成方法包括：获取目标道路上的多个第一道路图像；获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。本申请在现有技术中道路标识点云的生成方法的准确率较低的情况下，创造性地提出一种道路标识点云的生成方法，通过拟合多个第一道路图像上的图像道路平面来确定拟合道路平面，拟合道路平面能够准确反映出目标道路的真实路面，然后将各个第一道路图像上的道路标识像素点投影在拟合道路平面，得到点云坐标系下的道路标识点云，由于目标道路的路面计算准确，得到的道路标识点云也更准确，从而可以提高道路标识点云生成的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的道路标识点云的生成系统的场景示意图；
图2是本申请实施例中提供的道路标识点云的生成方法的一个实施例流程示意图；
图3是本申请实施例中提供的道路标识点云的生成方法的一个实施例中基于多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面的流程示意图；
图4是本申请实施例中提供的道路标识点云的生成装置的一个实施例结构示意图；
图5是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种道路标识点云的生成方法及装置，以下分别进行详细说明。
请参阅图1，图1是本申请实施例提供的道路标识点云的生成系统的场景示意图，该道路标识点云的生成系统可以包括计算机设备100，计算机设备100中集成有道路标识点云的生成装置。
本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该道路标识点云的生成系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
另外，如图1所示，该道路标识点云的生成系统还可以包括存储器200，用于存储数据。
需要说明的是，图1所示的道路标识点云的生成系统的场景示意图仅仅是一个示例，本申请实施例描述的道路标识点云的生成系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着道路标识点云的生成系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例中提供一种道路标识点云的生成方法，该道路标识点云的生成方法包括：获取目标道路上的多个第一道路图像；获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。
如图2所示，图2是本申请实施例中提供的道路标识点云的生成方法的一个实施例流程示意图，该道路标识点云的生成方法包括如下步骤S201～S204：
S201、获取目标道路上的多个第一道路图像。
本申请实施例中，获取相机在目标时间段对目标道路拍摄得到的多个第一道路图像。具体的，相机固定在车辆上，车辆在目标道路上行驶时，相机按预设频率对目标道路进行拍照，得到多个第一道路图像。其中，目标道路可以为任意一个路段。目标时间段可以为5:00至18:00，根据具体情况设定即可。
在一个具体的实施例中，获取目标道路的多个第二道路图像，对多个第二道路图像去重，得到多个第一道路图像。进一步的，获取目标道路的多个第二道路图像，对多个第二道路图像去重，得到去重后的多个第二道路图像，判断去重后的多个第二道路图像的数量是否超过预设图片数量，若去重后的多个第二道路图像的数量超过预设图片数量，则将去重后的多个第二道路图像确定为多个第一道路图像。其中，预设图片数量可以为60，根据具体情况设定即可，在此不作限定。
S202、获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点。
本申请实施例中，道路标识可以包括指示牌、路灯、红绿灯等各种类型的标识。点云信息是在获取物体表面每个数据点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。点云信息可以包括各个数据点在点云坐标系上的三维坐标(X轴坐标、Y轴坐标以及Z轴坐标)、激光反射强度(Intensity)和颜色信息(RGB)。其中，XOY平面为水平面。点云坐标系是指在拍摄第一道路图像的相机视角下建立的坐标系。
在一个具体的实施例中，获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，可以包括：
(1)对各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点。
具体的，使用尺度不变特征转换(SIFT，Scale-invariant feature transform)算法对各个第一道路图像进行特征匹配，得到匹配特征点对，并得到各个第一道路图像上的特征点。匹配特征点对为各个第一道路图像上配对的特征点组成的集合。当然，在其他实施例中，还可以使用SURF算法、ORB算法等对各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点。SIFT算法是一种计算机视觉的算法。它用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。SIFT特征点的信息量大，适合在海量数据库中快速准确匹配。SIFT算法主要包含以下步骤：构建高斯金字塔尺度空间，在高斯金字塔尺度空间计算极值点，二次曲线插值获得亚像素精度的特征点，去除低对比度点，通过计算Hessian矩阵去除边缘响应点。
(2)基于多个第一道路图像进行三维重建，得到多个特征点的三维点云坐标。
三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建一般包括：图像获取，摄像机标定，特征提取，立体匹配，三维重建。具体的，使用SFM算法对多个第一道路图片进行三维重建，得到目标路段上待核实道路标识的第一点云信息。SFM(Structure from motion)是一种三维重建的方法，用于从motion中实现3D重建。也就是从时间系列的2D图像中推算3D信息。SFM的输入是一段motion或者一时间系列的2D图群。当然，在其他实施例中，也可以使用REMODE(REgularizedMOnocular Depth Estimation)或者其他算法进行三维重建，在此不作限定。
在一个具体的实施例中，根据多个匹配特征点对计算本质矩阵和基础矩阵。其中，基础矩阵(Fundamental Matrix)主要反映空间一点P的像素点在不同视角摄像机(如相机a和相机b)下处于二维坐标系(u，v)中的表示之间的关系。本质矩阵(Essential Matrix)主要反映空间一点P的像点在不同视角相机(如相机a和相机b)下处于坐标系(x，y，z)中的表示之间的关系。具体的，首先，由抽样的匹配特征点计算出单次本质矩阵和基础矩阵，例如通过四对点计算单次本质矩阵，通过八点法计算单次基础矩阵。通过若干次RANSAC抽样，计算出最优的本质矩阵和基础矩阵。基于本质矩阵或基础矩阵，得到相邻两个第一道路图像的帧间位姿。基于相邻两帧的帧间位姿和预设三角化策略，建立单目视觉坐标系。具体的，得到相邻两帧的帧间位姿后，则基于相邻两帧的帧间位姿和预设三角化策略，求解相邻两帧的匹配特征点对的深度。根据相邻两帧的匹配特征点对的深度建立单目视觉坐标系。预设三角化测量可以是线性三角形法中的齐次方法。通过三角化，得到匹配特征点对应的三维点云坐标。进一步的，使用最小化重投影误差的方式优化匹配特征点对应的三维点云坐标，得到多个特征点的三维点云坐标。
(3)基于多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面。
三角剖分是代数拓扑学里最基本的研究方法。以曲面为例，我们把曲面剖开成一块块碎片，要求满足下面条件：每块碎片都是曲边三角形；曲面上任何两个这样的曲边三角形，要么不相交，要么恰好相交于一条公共边(不能同时交两条或两条以上的边)。
基于多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面。每个第一三角形平面的顶点均为特征点。
(4)基于多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在一个具体的实施例中，基于RANSAC算法对多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。RANSAC为Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC基本思想描述如下：考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P，集合P的样本数(P)>n，从P中随机抽取包含n个样本的P的子集S初始化模型M；余集SC中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(Consensus Set)；③若S*≥N，认为得到正确的模型参数，并利用集S*(内点inliers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。RANSAC算法就是根据给定的点求一个拟合函数的未知参数，使得给定的点和拟合得到的函数的误差平方和最小。在其他实施例中，也可以使用最小二乘法或者卡方分布对多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在另一个具体的实施例中，获取各个第一三角形平面的法向量和各个第一三角形平面的平面高度，其中，第一三角形平面的平面高度为第一三角形平面的顶点高度坐标的平均值。对多个第一三角形平面的法向量进行拟合，得到拟合法向量；对多个第一三角形平面的平面高度进行拟合，得到拟合平面高度；将拟合法向量和拟合法平面高度确定的平面确定为图像道路平面。可以将多个第一三角形平面的法向量的平均值确定为拟合法向量，多个第一三角形平面的平面高度确定为拟合平面高度。
其中，根据第一三角形平面的三个顶点的三维点云坐标确定各个第一三角形平面的法向量ni和平面高度hi。具体的，可根据公式(1)确定第一三角形平面的法向量ni，
其中，ni为第i个第一三角形平面的法向量，分别为第i个第一三角形平面的三个顶点的三维点云坐标。
在又一个具体的实施例中，基于多个特征点的三维点云坐标进行平面拟合，得到图像道路平面。例如，根据多个特征点的三维点云坐标直接进行平面拟合，得到图像道路平面。当然，也可以将多个特征点中的离群点剔除，根据剔除离群点后的特征点的三维点云坐标直接进行平面拟合，得到图像道路平面。
本申请实施例中，获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，可以包括：对第一道路图像进行图像分割，得到第一道路图像上各个道路标识像素点的道路标识类别。道路标识类别可以包括白实线车道线类别、白虚线车道线类别等。
在一个具体的实施例中，对第一道路图像进行语义分割，得到第一道路图像上各个道路标识像素点的道路标识类别。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类。比如以下照片，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。例如，将第一道路图像输入训练好的UNET模型、DeepLab模型等语义分割模型进行语义分割，得到第一道路图像上各个道路标识像素点的道路标识类别。
在另一个具体的实施例中，对第一道路图像进行实例分割，得到第一道路图像上各个道路标识像素点的道路标识类别。目标检测(Object detection)不仅需要提供图像中物体的类别，还需要提供物体的位置(bounding box)。语义分割(Semantic segmentation)需要预测出输入图像的每一个像素点属于哪一类的标签。实例分割(instancesegmentation)在语义分割的基础上，还需要区分出同一类不同的个体。例如，将第一道路图像输入训练好的YOLACT模型、Mask R-CNN模型等实例分割模型进行实例分割，得到第一道路图像上各个道路标识像素点的道路标识类别。
当然，在其他实施例中，也可以人工标注各个道路标识像素点的道路标识类别。存储在计算机设备里，此时读取即可。
S203、基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面。
在一个具体的实施例中，基于RANSAC算法对多个图像道路平面进行平面拟合，得到第一道路图像在点云坐标系下的拟合道路平面。在其他实施例中，也可以使用最小二乘法或者卡方分布对多个图像道路平面进行平面拟合，得到第一道路图像在点云坐标系下的拟合道路平面。
在另一个具体的实施例中，获取各个图像道路平面的法向量和各个图像道路平面的平面高度，其中，图像道路平面的平面高度为图像道路平面高度坐标的平均值。对多个图像道路平面的法向量进行拟合，得到拟合法向量；对多个图像道路平面的平面高度进行拟合，得到拟合平面高度；将拟合法向量和拟合法平面高度确定的平面确定为拟合道路平面。
S204、将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。
在一个具体的实施例中，将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云，包括：
(1)将拟合道路平面分成多个网格区域。
(2)将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量。
可以对网格区域中落入的道路标识像素点进行统计，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量。
(3)将网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别。
其中，目标道路标识类别为网格区域中道路标识像素点数量最多的道路标识类别。
具体的，在各个网格区域中，对属于各个道路标识类别的道路标识像素点的数量进行比较，得到道路标识像素点的数量最多的道路标识类别，将道路标识像素点的数量最多的道路标识类别确定为网格区域的目标道路标识类别，将网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别。
例如，网格区域A中白实线车道线类别的道路标识像素点为10个、白虚线车道线类别的道路标识像素点为40个。网格区域中道路标识像素点数量最多的道路标识类别为白虚线车道线类别，则目标道路标识类别为白虚线车道线类别，网格区域A中的道路标识像素点的道路标识类别全部为白虚线车道线。即，通过投票方式将网格区域内的道路标识像素点统一为一类，这能有效地解决因为分割模型的不稳定及分割边缘的毛刺带来的误差。
进一步的，参阅图3，图3是本申请实施例中提供的道路标识点云的生成方法的一个实施例中基于多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面的流程示意图。
在一个具体的实施例中，基于多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面，可以包括如下步骤S301～S304：
S301、获取拍摄多个第一道路图像的相机拍摄第一道路图像时的相机运动方向。
本申请实施例中，获取第一道路图像和第一道路图像前后的至少一张关联图像；获取第一道路图像的相机三维点云坐标和至少一张关联图像中的相机三维点云坐标，得到至少两个相机三维点云坐标；基于至少两个相机三维点云坐标进行直线拟合，得到相机拍摄第一道路图像时的相机运动方向。例如，至少一张关联图像为第一道路图像前后的两帧第一道路图像或者是第一道路图像前的一个第一道路图像，根据具体情况选定即可。
S302、获取各个第一三角形平面的法向量。
本申请实施例中，根据第一三角形平面的三个顶点的三维点云坐标确定各个第一三角形平面的法向量ni。
S303、将各个第一三角形平面中法向量与相机运动方向不垂直的第一三角形平面剔除，得到多个第二三角形平面。
相机运动方向是相机运动时的运动方向。
若是相机为车辆的相机，则车辆的相机运动方向与道路平面的法线垂直，通过此约束条件可以直接将部分明显错误的第一三角形平面剔除，可以提高计算准确度。
S304、基于多个第二三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在一个具体的实施例中，基于RANSAC算法对多个第二三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。在其他实施例中，也可以使用最小二乘法或者卡方分布对多个第二三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在另一个具体的实施例中，获取各个第二三角形平面的法向量和各个第二三角形平面的平面高度，其中，第二三角形平面的平面高度为第二三角形平面的顶点高度坐标的平均值。对多个第二三角形平面的法向量进行拟合，得到拟合法向量；对多个第二三角形平面的平面高度进行拟合，得到拟合平面高度；将拟合法向量和拟合法平面高度确定的平面确定为图像道路平面。
在又一个具体的实施例中，基于多个第二三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面，可以包括：
(1)获取各个第二三角形平面与点云坐标系中水平面之间的平面夹角。
其中，点云坐标系中的水平面为点云坐标系中的XOY平面。
(2)将各个第二三角形平面中平面夹角大于预设角度的第二三角形平面剔除，得到多个第三三角形平面。
其中，预设角度可以根据具体情况设定，例如预设角度为5度。第二三角形平面与点云坐标系中水平面之间的平面夹角表示目标道路与水平面的夹角。由于目标道路与水平面之间的平面夹角一般不会超过该预定角度，当第二三角形平面的平面夹角大于预设角度，说明这个第二三角形平面不是目标道路平面，将其剔除，可以提高后续计算准确性。
(3)基于多个第三三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在一个具体的实施例中，基于RANSAC算法对多个第三三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。在其他实施例中，也可以使用最小二乘法或者卡方分布对多个第三三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。在其他实施例中，也可以使用最小二乘法或者卡方分布对多个第三三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
在另一个具体的实施例中，获取各个第三三角形平面的法向量和各个第三三角形平面的平面高度，其中，第三三角形平面的平面高度为第三三角形平面的顶点高度坐标的平均值。对多个第三三角形平面的法向量进行拟合，得到拟合法向量；对多个第三三角形平面的平面高度进行拟合，得到拟合平面高度；将拟合法向量和拟合法平面高度确定的平面确定为图像道路平面。
为了更好实施本申请实施例中道路标识点云的生成方法，在道路标识点云的生成方法基础之上，本申请实施例中还提供一种道路标识点云的生成装置，如图4所示，道路标识点云的生成装置500包括：
第一获取单元501，用于获取目标道路上的多个第一道路图像；
第二获取单元502，用于获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；
拟合单元503，用于基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；
投影单元504，用于将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。
可选地，获第二获取单元502，用于：
对各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点；
基于多个第一道路图像进行三维重建，得到多个特征点的三维点云坐标；
基于多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面；
基于多个第一三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
可选地，第二获取单元502，用于：
获取相机拍摄第一道路图像时的相机运动方向；
获取各个第一三角形平面的法向量；
将各个第一三角形平面中法向量与相机运动方向不垂直的第一三角形平面剔除，得到多个第二三角形平面；
基于多个第二三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
可选地，第二获取单元502，用于：
获取各个第二三角形平面与点云坐标系中水平面之间的平面夹角；
将各个第二三角形平面中平面夹角大于预设角度的第二三角形平面剔除，得到多个第三三角形平面；
基于多个第三三角形平面进行平面拟合，得到第一道路图像在点云坐标系下的图像道路平面。
可选地，第二获取单元502，用于：
获取第一道路图像和第一道路图像前后的至少一张关联图像；
获取第一道路图像的相机三维点云坐标和至少一张关联图像中的相机三维点云坐标，得到至少两个相机三维点云坐标；
基于至少两个相机三维点云坐标进行直线拟合，得到相机拍摄第一道路图像时的相机运动方向。
可选地，第二获取单元502，用于：
对第一道路图像进行图像分割，得到第一道路图像上各个道路标识像素点的道路标识类别。
可选地，投影单元504，用于：
将拟合道路平面分成多个网格区域；
将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量；
将网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别，其中，目标道路标识类别为网格区域中道路标识像素点数量最多的道路标识类别。
本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种道路标识点云的生成装置，计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述道路标识点云的生成方法实施例中任一实施例中的道路标识点云的生成方法中的步骤。
如图5所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取目标道路上的多个第一道路图像；获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种道路标识点云的生成方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取目标道路上的多个第一道路图像；获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；将各个第一道路图像上的道路标识像素点投影至拟合道路平面，得到点云坐标系下的道路标识点云。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种道路标识点云的生成方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种道路标识点云的生成方法，其特征在于，包括：
获取目标道路上的多个第一道路图像；
获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；
基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；
将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云。
2.根据权利要求1所述的道路标识点云的生成方法，其特征在于，所述获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，包括：
对所述各个第一道路图像进行特征匹配，得到各个第一道路图像上的特征点；
基于所述多个第一道路图像进行三维重建，得到多个特征点的三维点云坐标；
基于所述多个特征点的三维点云坐标进行三角剖分，得到多个第一三角形平面；
基于所述多个第一三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
3.根据权利要求2所述的道路标识点云的生成方法，其特征在于，所述基于所述多个第一三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面，包括：
获取拍摄所述多个第一道路图像的相机拍摄所述第一道路图像时的相机运动方向；
获取各个第一三角形平面的法向量；
将所述各个第一三角形平面中法向量与所述相机运动方向不垂直的第一三角形平面剔除，得到多个第二三角形平面；
基于所述多个第二三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
4.根据权利要求3所述的道路标识点云的生成方法，其特征在于，所述基于所述多个第二三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面，包括：
获取各个第二三角形平面与点云坐标系中水平面之间的平面夹角；
将所述各个第二三角形平面中平面夹角大于预设角度的第二三角形平面剔除，得到多个第三三角形平面；
基于所述多个第三三角形平面进行平面拟合，得到所述第一道路图像在点云坐标系下的图像道路平面。
5.根据权利要求3所述的道路标识点云的生成方法，其特征在于，所述获取拍摄所述多个第一道路图像的相机拍摄所述第一道路图像时的相机运动方向，包括：
获取所述第一道路图像和所述第一道路图像前后的至少一张关联图像；
获取所述第一道路图像的相机三维点云坐标和所述至少一张关联图像中的相机三维点云坐标，得到至少两个相机三维点云坐标；
基于所述至少两个相机三维点云坐标进行直线拟合，得到所述相机拍摄所述第一道路图像时的相机运动方向。
6.根据权利要求1所述的道路标识点云的生成方法，其特征在于，所述获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点，包括：
对所述第一道路图像进行图像分割，得到所述第一道路图像上各个道路标识像素点的道路标识类别。
7.根据权利要求6所述的道路标识点云的生成方法，其特征在于，所述将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云，包括：
将所述拟合道路平面分成多个网格区域；
将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到各个网格区域中属于各个道路标识类别的道路标识像素点的数量；
将所述网格区域中的道路标识像素点的道路标识类别替换为目标道路标识类别，其中，所述目标道路标识类别为所述网格区域中道路标识像素点数量最多的道路标识类别。
8.一种道路标识点云的生成装置，其特征在于，所述道路标识点云的生成装置包括：
第一获取单元，用于获取目标道路上的多个第一道路图像；
第二获取单元，用于获取各个第一道路图像在点云坐标系下的图像道路平面和各个第一道路图像上的道路标识像素点；
拟合单元，用于基于多个第一道路图像的图像道路平面进行拟合，得到拟合道路平面；
投影单元，用于将所述各个第一道路图像上的道路标识像素点投影至所述拟合道路平面，得到所述点云坐标系下的道路标识点云。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的道路标识点云的生成方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的道路标识点云的生成方法中的步骤。
CN202210101459.5A 2022-01-27 2022-01-27 道路标识点云的生成方法及装置 Pending CN116563477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210101459.5A CN116563477A (zh) 2022-01-27 2022-01-27 道路标识点云的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210101459.5A CN116563477A (zh) 2022-01-27 2022-01-27 道路标识点云的生成方法及装置

Publications (1)

Publication Number Publication Date
CN116563477A true CN116563477A (zh) 2023-08-08

Family

ID=87490293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210101459.5A Pending CN116563477A (zh) 2022-01-27 2022-01-27 道路标识点云的生成方法及装置

Country Status (1)

Country Link
CN (1) CN116563477A (zh)

Similar Documents

Publication Publication Date Title
CA2826534C (en) Backfilling points in a point cloud
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
CN111415420B (zh) 空间信息确定方法、装置及电子设备
JP2009129189A (ja) 物体認識方法
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
Han et al. Line-based initialization method for mobile augmented reality in aircraft assembly
Drost et al. Local hough transform for 3d primitive detection
CN112509126B (zh) 三维物体检测的方法、装置、设备及存储介质
CN113989376B (zh) 室内深度信息的获取方法、装置和可读存储介质
US20210350165A1 (en) Methods and apparatus for generating point cloud histograms
Wu et al. A survey on monocular 3D object detection algorithms based on deep learning
CN113705669A (zh) 一种数据匹配方法、装置、电子设备以及存储介质
CN116229007A (zh) 利用bim建模的四维数字图像构建方法、装置、设备及介质
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
CN117635875B (zh) 一种三维重建方法、装置及终端
Boulanger et al. ATIP: A Tool for 3D Navigation inside a Single Image with Automatic Camera Calibration.
CN115031635A (zh) 测量方法及装置、电子设备及存储介质
CN113379826A (zh) 物流件的体积测量方法以及装置
KR102129060B1 (ko) 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체
US10861174B2 (en) Selective 3D registration
CN107464257B (zh) 宽基线匹配方法及装置
CN111915666A (zh) 基于移动终端的体积测量方法及装置
CN115861403A (zh) 一种非接触式物体体积测量方法、装置、电子设备及介质
CN116563477A (zh) 道路标识点云的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination