CN109461211B - 基于视觉点云的语义矢量地图构建方法、装置和电子设备 - Google Patents

基于视觉点云的语义矢量地图构建方法、装置和电子设备 Download PDF

Info

Publication number
CN109461211B
CN109461211B CN201811339972.8A CN201811339972A CN109461211B CN 109461211 B CN109461211 B CN 109461211B CN 201811339972 A CN201811339972 A CN 201811339972A CN 109461211 B CN109461211 B CN 109461211B
Authority
CN
China
Prior art keywords
point cloud
image
target
pixel
semantic vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811339972.8A
Other languages
English (en)
Other versions
CN109461211A (zh
Inventor
颜沁睿
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Original Assignee
Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Advanced Research Institute Co ltd filed Critical Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Priority to CN201811339972.8A priority Critical patent/CN109461211B/zh
Publication of CN109461211A publication Critical patent/CN109461211A/zh
Priority to PCT/CN2019/099205 priority patent/WO2020098316A1/zh
Application granted granted Critical
Publication of CN109461211B publication Critical patent/CN109461211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本申请公开了一种基于视觉点云的语义矢量地图构建方法、基于视觉点云的语义矢量地图构建装置和电子设备。根据一实施例,一种基于视觉点云的语义地图构建方法包括对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;确定所述图像中每个像素目标的位置信息;结合每个像素目标的属性信息和位置信息,生成带语义的点云;以及基于带语义的点云,构建语义矢量地图。本申请的语义矢量地图构建方法可以仅仅通过图像和少量的外部传感器先验信息,以极低的成本完成高清地图构建。

Description

基于视觉点云的语义矢量地图构建方法、装置和电子设备
技术领域
本申请涉及地图构建领域,且更具体地,涉及一种基于视觉点云的语义矢量地图构建方法和构建装置及电子设备。
背景技术
地图是机器人导航定位的基础,是无人载具的核心依赖模块。而长期以来,地图构建都制约着移动机器人的发展。目前,通过激光雷达及高精度组合导航(RTK+高精度IMU)获得点云在世界坐标系下的绝对坐标,然后通过人工选取出感兴趣的物体(例如,栅栏、红绿灯、标志牌、车道线等),逐个进行矢量化计算,最后转换成标准地图格式,生成高精度地图。
通过高成本的精密传感器,可以对特定区域进行高精度地图构建。但是,由于激光雷达成本高昂,人工干预过多,全国范围超大规模的高精度地图构建与维度成了一个无比艰难的问题。
因此,需要改进的地图构建方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于视觉点云的语义矢量地图构建方法、基于视觉点云的语义矢量地图构建装置、电子设备及计算机可读的存储介质。
根据本申请的一个方面,提供了一种基于视觉点云的语义矢量地图构建方法,包括对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;确定所述图像中每个像素目标的位置信息;结合每个像素目标的属性信息和位置信息,生成带语义的点云;以及基于所述带语义的点云构建语义矢量地图。
根据本申请的另一方面,提供了一种基于视觉点云的语义矢量地图构建装置,包括目标检测单元,用于对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;位置信息确定单元,用于确定所述图像中每个像素目标的位置信息;点云生成单元,用于结合每个像素目标的属性信息和位置信息,生成带语义的点云;和地图构建单元,用于根据所述带语义的点云,构建语义矢量地图。
根据本申请的又一方面,提供了一种电子设备,包括处理器和存储器,其中所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行本申请提出的语义矢量地图构建方法。
根据本申请的又一方面,提供了一种计算机可读的存储介质,其上存储有用于执行本申请提出的语义矢量地图构建方法的指令。
与现有技术相比,采用根据本申请实施例的基于视觉点云的语义矢量地图构建方法、装置、电子设备和计算机可读的存储介质,可以对图像获取设备获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;确定所述图像中的每个像素目标的位置信息;结合每个像素目标的属性信息和位置信息,生成带语义的点云;和基于带语义的点云,构建语义矢量地图。因此,可以仅仅通过图像,以极低的成本,结合语义分割的结果与视觉点云输出,全自动地完成高清地图构建。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于视觉点云的语义矢量地图构建方法的应用场景的示意图。
图2图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建方法的流程图。
图3图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建装置的框图。
图4图示了根据本申请一实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,现有的高精度地图构建方法存在以下问题:
1)传感器成本高昂:当前一般通过激光雷达及高精度组合导航来获得点云在世界坐标系下的绝对坐标,3D信息的采集成本高昂;
2)人工干预多:需要人工选择出感兴趣的物体,例如栅栏、红绿灯、标志牌、车道线等,需要耗费大量的人力来进行选择。
因此,现有的高精度地图制作成本高昂,自动化水平低。
针对现有技术中存在的问题,本申请的基本构思是提出一种基于视觉点云的语义矢量地图构建方法、语义矢量地图构建装置、电子设备和计算机可读的存储介质,其仅仅通过图像和少量的外部传感器先验信息来构建地图,极大地降低了地图制作成本。具体地,根据本申请的基于视觉点云的语义矢量地图构建方法和构建装置基于普通传感器提供的初始信息计算图像中像素点的位置信息,并针对所获取的图像进行语义分割,得到图像中的语义实体或像素目标及其属性信息,结合像素点的位置信息和属性信息,得到带语义的点云,进而得到带语义的点云的点云实例,构建语义矢量地图。
换言之,通过本申请的基于视觉点云的语义矢量地图构建方法和构建装置,不需要使用高精度的传感器,也不需要人工过多干预,就能够完成高精度地图的构建,因而高精度地图的制作成本更低。
需要说明的是,本申请的上述基本构思不但可以应用于地图制作,也可以应用于其它领域,例如机器人及无人交通工具导航领域等。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1图示了根据本申请实施例的基于视觉点云的语义矢量地图构建方法的应用场景的示意图。如图1所示,车辆10可包括图像获取设备,例如车载相机12,其可以是常用的单目相机、双目相机、或者更多目相机。虽然图1示出了车载相机12安装于车辆10的顶部,但是应理解,车载相机亦可安装于车辆10的其他位置处,例如车头部分处、前挡风玻璃处,等等。
这里,车辆10包括语义矢量地图构建装置14,其可与图像获取设备通信,并用来执行本申请提供的基于视觉点云的语义矢量地图构建方法。顾名思义,语义矢量地图构建装置14是利用车载相机12拍摄的视频图像,通过视频处理技术来确定车载相机12的运动轨迹和周围环境,形成地图并存储在存储器中。
在一实施例中,车载相机12在车辆10的行驶过程中,连续拍摄视频图像,语义矢量地图构建装置14获得车载相机12拍摄的图像,对所述图像进行目标检测,获取所述图像中的像素目标及属性信息;确定所述图像中每个像素目标的位置信息;结合每个像素目标的属性信息和位置信息,生成带语义的点云;以及基于所述带语义的点云,构建语义矢量地图。
通过语义矢量地图构建装置14执行本申请提出的语义矢量地图构建方法,可以生成带语义的点云,构建语义矢量地图。
示例性方法
图2是本申请一示例性实施例提供的基于视觉点云的语义矢量地图构建方法的流程示意图。如图2所示,根据本申请一示例性实施例的基于视觉点云的语义地图构建方法100包括如下步骤:
步骤S110,对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息。
当图像获取设备在环境例如道路中移动时,图像获取设备可以同时捕捉当前环境的图像数据。图像获取设备可以是任何类型的摄像头,该摄像头可以是相机,例如单目相机、两目相机、多目相机等。例如,该摄像头所采集到的图像数据可以是连续图像帧序列(即,视频流)或离散图像帧序列(即,在预定采样时间点采样到的图像数据组)等。当然,本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请,本申请对其捕捉图像的方式没有特别限制,只要能够获得清晰的图像即可。
在这里,对图像进行目标检测是指对图像进行检测,以确定图像中是否存在感兴趣的像素目标;若图像中存在感兴趣的像素目标,将获取所述像素目标及其属性信息。像素目标是指图像中的语义实体,即环境中存在的物体实体。属性信息表明了语义实体的物理特性。属性信息也可以是各个语义实体的形状、尺寸、朝向等空间属性信息。此外,属性信息可以是各个语义实体的类别属性信息,例如,每个语义实体究竟是可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木或柱子等中的哪一种。
在一实施例中,所述像素目标可遵循一定规范并具有特定的语义。例如,它可能是车道及车道线、路面标识、交通标识、红绿灯、人行横道等;它也可能具有特定的几何形状,例如圆形、正方形、三角形、长条形等。在一实施例中,所述像素目标可通过自身的线条来体现出它的含义,例如,标识牌上可能画有表示停止标记、慢行标记、前方落石标记等的线条,用这些线条相应地体现它的含义:停止标记、慢行标记、前方落石标记等。
例如,在步骤S110中,根据所述图像来确定所述像素目标或者说语义实体及像素目标的类别信息。
例如,在步骤S110中,根据所述图像来确定所述像素目标及像素目标的空间属性信息。
步骤S120,确定所述图像中每个像素目标的位置信息。在这里,每个像素目标的位置信息可以是每个像素目标的三维坐标,例如世界坐标系下的三维坐标。每个像素目标的位置信息也可以是每个像素目标相对于图像获取设备的相对坐标等。
在一个示例中,图像获取设备是单目相机,此时,确定图像获取设备所获取的图像中每个像素目标的三维坐标包括基于单目相机的位姿信息,利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。采用本示例,利用单目相机获取图像,并确定图像中每个像素目标世界坐标系下的三维坐标,得到每个像素目标的位置信息并得到带语义的点云,构建语义矢量地图,这样,因使用单目相机,容易安装和维护,使语义矢量地图的构建成本更低。
在这里,位姿信息包括旋转矩阵R和平移矩阵t,其中,平移矩阵t是3*1矩阵,表示轨迹点相对于原点的位置,旋转矩阵R是3*3矩阵,表示位于该轨迹点处时的姿态,旋转矩阵R也可以表示成欧拉角(ψ,θ,
Figure BDA0001862287500000051
)的形式,其中ψ表示绕Y轴旋转的航向角(yaw),θ表示沿X轴旋转的俯仰角(pitch),
Figure BDA0001862287500000061
表示沿Z轴旋转的滚转角(roll)。
还可理解,图1中所示的坐标系是车载相机局部坐标系(Xc,Yc,Zc),其中Zc轴的方向为车载相机的光轴方向,Yc轴方向为垂直于Zc轴向下的方向,Xc轴方向为垂直于Yc轴和Zc轴的方向。
在一个示例中,图像获取设备是双目相机,此时,基于双目相机的视差图来计算所述图像中每个像素目标的位置信息。采用本示例,利用双目相机获取图像,并基于双目相机的视差图计算图像中每个像素目标的位置信息,使每个像素目标的位置信息的计算更精准,使构建的语义矢量地图更精准。
步骤S130,结合每个像素目标的属性信息和位置信息,生成带语义的点云。
在确定了当前环境中包含的各个语义实体及其属性信息和位置信息后,就可以进行综合,得到带语义的点云。即将语义分割结果进行重建并加入位置信息等属性,得到带语义的点云。
步骤S140,基于所述带语义的点云,构建语义矢量地图。
在获得带语义的点云的基础上,对带语义的点云进行矢量化,并进一步得到语义矢量地图。
在步骤S110之前、之后或与之同时,可以获取事先生成的地图,以根据先验信息来确定当前环境中存在哪些语义实体和语义实体的位置信息等。
例如,先验的高清地图可以存储在图像获取设备的存储器中等,也可以存储在别处,随时可以调用。
采用本实施例,不需要使用高精度的传感器,也不需要人工过多干预,就能够完成高精度地图的构建,因而高精度地图的制作成本更低。
在一个示例中,所述对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息,包括:对所获取的图像进行语义分割,获取所述图像中的像素目标及其属性信息。在进一步的示例中,所述对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息,还包括根据属性信息从获取的像素目标中筛除动态目标,例如行人,汽车等。动态目标不是高精度地图的构成要素,需要从所获得的像素目标中去除。
在一个示例中,使用随机森林分类器来进行语义分割,获取图像中的像素目标及其属性信息。关于像素目标的属性信息的提取,可以采用例如opencv中的findcontour和drawcontour来提取当前帧图像中标识物的轮廓,或者采用GDI+中的函数GetPropertyItem获取图像中像素目标的属性信息;还可利用Python读取图像属性信息等等。
在一个示例中,根据本申请的基于视觉点云的语义矢量地图构建方法还包括对所述带语义的点云进行点云实例分割,获得分割的带语义的点云实例。语义分割得到的图像是所有相同的物体归为一类,并没有把每一个物体逐一区分出来。例如,当图像中有两个标识牌时,语义分割会将两个标识牌的所有像素预测为“标识牌”这个类别,无法直接进行矢量化。与此不同的是,实例分割需要区分出哪些像素属于第一标识牌、哪些像素属于第二标识牌,然后可以对每个标识牌单独进行量化。
在进一步的示例中,在对带语义的点云进行点云实例分割时,将所述带语义的点云分别投影到世界坐标系的XY平面、XZ平面和YZ平面上,然后做点云实例分割,将三个平面点云实例分割的结果相互融合,获得分割的点云实例。在该示例中,通过将带语义的点云在三个坐标面上投影,并对三个投影进行分割,能够在三个坐标面上获得分割的点云实例以及其对应的置信度,再根据各个投影面的权重来对点云实例及其对应的置信度加权融合,获得分割的点云实例。当然,关于点云实例分割也可以采用例如KNN算法等方法。采用本示例,通过将带语义的点云分别投影到世界坐标系的三个坐标平面做点云实例分割并融合,能够获得准确的点云实例,进而获得准确的语义矢量地图。
在一个示例中,根据本申请的基于视觉点云的语义矢量地图构建方法还包括对所述像素目标直接进行实例分割;计算分割实例每个像素目标的位置信息,结合每个像素目标的属性信息和位置信息,生成带语义的点云;以及基于所述带语义的点云,构建语义矢量地图。
因此,采用根据本申请的基于视觉点云的语义矢量地图构建方法,可以利用廉价的设备实现高清地图构建,地图制作成本低,于是,本申请的方案具有更好的适应性。
示例性装置
图3图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建装置的框图。
如图3所示,根据本申请一实施例的基于视觉点云的语义矢量地图构建装置200包括目标检测单元210、位置信息确定单元220、点云生成单元230和地图构建单元240。
目标检测单元210用于对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息。
位置信息确定单元220用于计算所述图像中每个像素目标的位置信息。
点云生成单元230用于结合每个像素目标的属性信息和位置信息,生成带语义的点云。
地图构建单元240用于根据所述带语义的点云,构建语义矢量地图。
在一个示例中,目标检测单元210用于对所获取的图像进行语义分割,获取所述图像中的像素目标及其属性信息,并根据属性信息从获取的像素目标中筛除动态目标。
在一个示例中,图像获取设备为单目相机,此时,位置信息确定单元220用于基于所述单目相机的位姿信息,利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。
在一个示例中,图像获取设备为双目相机,此时,位置信息确定单元220基于双目相机的视差图来计算图像中每个像素目标的位置信息的。
在一个示例中,基于视觉点云的语义矢量地图构建装置200还包括点云实例分割单元,用于对带语义的点云或者像素目标进行点云实例分割,分别获得分割的带语义的点云实例或带语义的像素目标。
在一个示例中,点云实例分割单元在对带语义的点云进行点云实例分割时,将所述带语义的点云分别投影到坐标系的XY平面、XZ平面和YZ平面做点云实例分割,将三个平面点云实例分割的结果相互融合,获得分割的点云实例。
上述基于视觉点云的语义矢量地图构建装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图3描述的基于视觉点云的语义矢量地图构建方法中详细介绍,并因此,将省略其重复描述。
示例性电子设备
下面,参考图4来描述根据本申请一实施例的电子设备300,该电子设备300可以实现为图1所示的车辆10中的语义矢量地图构建装置14,其可以与车载相机12进行通信,以接收它们的输出信号。图4图示了根据本申请实施例的电子设备300的结构框图。
如图4所示,电子设备300可包括处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器310可以运行所述程序指令,以实现上文所述的本申请的各个实施例的基于视觉点云的语义矢量地图构建方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、传感器的相关信息以及驱动程序等各种内容。
在一个示例中,电子设备300还可以包括接口330、输入装置340和输出装置350,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
接口330可用于连接到摄像头,例如摄像机。例如,接口330可以是摄像头常用的USB接口,当然也可以是其他接口例如Type-C接口等。电子设备300可包括一个或多个接口330,以连接到相应的摄像机,并且从摄像机接收其所拍摄的图像以用于执行上面描述的基于视觉点云的语义矢量地图构建方法。
输入装置340可用于接收外界输入,例如接收用户输入的物理点坐标值等。在一些实施例中,输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。
输出装置350可以输出所计算的摄像机外参。例如,输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中,输入装置340和输出装置350可以是集成一体的触摸显示屏。
为了简化,图4中仅示出了电子设备300中与本申请有关的一些组件,而省略了一些相关外围或辅助组件。除此之外,根据具体应用情况,电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于视觉点云的语义矢量地图构建方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于视觉点云的语义矢量地图构建方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于视觉点云的语义矢量地图构建方法,包括:
对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;
确定所述图像中每个像素目标的位置信息;
结合每个像素目标的属性信息和位置信息,生成带语义的点云;以及
基于所述带语义的点云,构建语义矢量地图。
2.如权利要求1所述的方法,还包括:对所述带语义的点云进行点云实例分割,获得分割的带语义的点云实例。
3.如权利要求2所述的方法,其中,所述对带语义的点云进行点云实例分割包括:
将所述带语义的点云分别投影到世界坐标系的XY平面、XZ平面和YZ平面做点云实例分割;
基于三个平面点云实例分割的结果,确定分割的点云实例。
4.如权利要求1所述的方法,还包括:
对所述像素目标进行实例分割,获得分割的带语义的像素目标。
5.如权利要求1所述的方法,其中,所述对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息,包括:
对所获取的图像进行语义分割,获取所述图像中的像素目标及其属性信息。
6.如权利要求1所述的方法,其中,所述图像获取设备为单目相机;所述确定所述图像中每个像素目标的位置信息包括:
基于所述单目相机的位姿信息,利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。
7.如权利要求1所述的方法,其中,所述图像获取设备为双目相机;所述确定图像中每个像素目标的位置信息包括:
基于所述双目相机的视差图计算所述图像中每个像素目标的位置信息。
8.一种基于视觉点云的语义矢量地图构建装置,包括:
目标检测单元,用于对图像获取设备所获取的图像进行目标检测,获取所述图像中的像素目标及其属性信息;
位置信息确定单元,用于确定所述图像中每个像素目标的位置信息;
点云生成单元,用于结合每个像素目标的属性信息和位置信息,生成带语义的点云;和
地图构建单元,用于根据所述带语义的点云,构建语义矢量地图。
9.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的语义矢量地图构建方法。
10.一种计算机可读的存储介质,其上存储有用于执行权利要求1-7中任一项所述的方法的指令。
CN201811339972.8A 2018-11-12 2018-11-12 基于视觉点云的语义矢量地图构建方法、装置和电子设备 Active CN109461211B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811339972.8A CN109461211B (zh) 2018-11-12 2018-11-12 基于视觉点云的语义矢量地图构建方法、装置和电子设备
PCT/CN2019/099205 WO2020098316A1 (zh) 2018-11-12 2019-08-05 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811339972.8A CN109461211B (zh) 2018-11-12 2018-11-12 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109461211A CN109461211A (zh) 2019-03-12
CN109461211B true CN109461211B (zh) 2021-01-26

Family

ID=65609991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811339972.8A Active CN109461211B (zh) 2018-11-12 2018-11-12 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN109461211B (zh)
WO (1) WO2020098316A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461211B (zh) * 2018-11-12 2021-01-26 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN110097620A (zh) * 2019-04-15 2019-08-06 西安交通大学 基于图像和三维激光的高精度地图创建系统
CN110068824B (zh) * 2019-04-17 2021-07-23 北京地平线机器人技术研发有限公司 一种传感器位姿确定方法和装置
CN110057373B (zh) * 2019-04-22 2023-11-03 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN110287964B (zh) * 2019-06-13 2021-08-03 浙江大华技术股份有限公司 一种立体匹配方法及装置
CN112149471B (zh) * 2019-06-28 2024-04-16 北京初速度科技有限公司 一种基于语义点云的回环检测方法及装置
CN110298320B (zh) * 2019-07-01 2021-06-22 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN112444242B (zh) * 2019-08-31 2023-11-10 北京地平线机器人技术研发有限公司 一种位姿优化方法及装置
CN110705574B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110766793B (zh) * 2019-10-08 2023-06-30 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN112699713A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 一种语义线段信息的检测方法及装置
CN110838178B (zh) * 2019-11-26 2024-01-26 北京世纪高通科技有限公司 道路场景模型的确定方法及装置
CN112862917A (zh) * 2019-11-28 2021-05-28 西安四维图新信息技术有限公司 地图采集方法及装置
CN111008660A (zh) * 2019-12-03 2020-04-14 北京京东乾石科技有限公司 语义地图的生成方法、装置、系统、存储介质及电子设备
CN111125283B (zh) * 2019-12-23 2022-11-15 苏州智加科技有限公司 电子地图构建方法、装置、计算机设备和存储介质
CN111210490B (zh) * 2020-01-06 2023-09-19 北京百度网讯科技有限公司 电子地图构建方法、装置、设备和介质
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111275026B (zh) * 2020-03-23 2022-09-13 复旦大学 一种三维点云联合语义和实例分割的方法
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN113570052B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111784836A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 高精地图生成方法、装置、设备及可读存储介质
CN111914715B (zh) * 2020-07-24 2021-07-16 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN111897332B (zh) * 2020-07-30 2022-10-11 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958593B (zh) * 2020-07-30 2021-11-30 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN111968262B (zh) * 2020-07-30 2022-05-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人导航系统及方法
CN113112597A (zh) * 2021-04-13 2021-07-13 上海商汤临港智能科技有限公司 交通元素的显示方法、装置、电子设备及存储介质
CN113191323A (zh) * 2021-05-24 2021-07-30 上海商汤临港智能科技有限公司 一种语义元素处理的方法、装置、电子设备及存储介质
CN113836445A (zh) * 2021-09-16 2021-12-24 北京百度网讯科技有限公司 语义化方法、装置、电子设备及可读存储介质
CN113836251A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 一种认知地图构建方法、装置、设备及介质
CN114187357A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 一种高精地图的生产方法、装置、电子设备及存储介质
CN114356078B (zh) * 2021-12-15 2024-03-19 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
CN114020934A (zh) * 2022-01-05 2022-02-08 深圳市其域创新科技有限公司 基于知识图谱的空间语义信息的整合方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794019B2 (ja) * 2007-07-04 2011-10-12 サーブ アクティエボラーグ 領域の3次元マップ表現を提供するための装置及び方法
US10539676B2 (en) * 2017-03-22 2020-01-21 Here Global B.V. Method, apparatus and computer program product for mapping and modeling a three dimensional structure
CN107145578B (zh) * 2017-05-08 2020-04-10 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN108124489B (zh) * 2017-12-27 2023-05-12 达闼机器人股份有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108230337B (zh) * 2017-12-31 2020-07-03 厦门大学 一种基于移动端的语义slam系统实现的方法
CN108416808B (zh) * 2018-02-24 2022-03-08 斑马网络技术有限公司 车辆重定位的方法及装置
CN109461211B (zh) * 2018-11-12 2021-01-26 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Also Published As

Publication number Publication date
WO2020098316A1 (zh) 2020-05-22
CN109461211A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN111694903B (zh) 地图构建方法、装置、设备以及可读存储介质
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN112444242B (zh) 一种位姿优化方法及装置
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN111145248B (zh) 位姿信息确定方法、确定装置和电子设备
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN112183241A (zh) 基于单目图像的目标检测方法和装置
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
CN114913290A (zh) 多视角融合的场景重建方法、感知网络训练方法及装置
CN112258519A (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN115147328A (zh) 三维目标检测方法及装置
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
CN112639822B (zh) 一种数据处理方法及装置
CN114140533A (zh) 摄像头外参标定的方法与装置
CN111062233A (zh) 标识物表示的获取方法、标识物表示的获取装置和电子设备
WO2022133986A1 (en) Accuracy estimation method and system
CN113011212B (zh) 图像识别方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant