CN112258568A - 一种高精度地图要素的提取方法及装置 - Google Patents
一种高精度地图要素的提取方法及装置 Download PDFInfo
- Publication number
- CN112258568A CN112258568A CN202011087090.4A CN202011087090A CN112258568A CN 112258568 A CN112258568 A CN 112258568A CN 202011087090 A CN202011087090 A CN 202011087090A CN 112258568 A CN112258568 A CN 112258568A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser point
- binocular
- image
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims 3
- 238000003379 elimination reaction Methods 0.000 claims 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种高精度地图要素的提取方法及装置，其方法包括：获取一一对应的双目图像与激光点云；对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；根据所述3D包围框和其框内的激光点云信息提取独立要素。本发明融合了基于深度学习的激光点云与双目的要素提取方法，通过多尺度特征融合提高提取的精度，通过过滤非要素点云降低计算复杂度，提高提取速度。
Description
技术领域
本发明涉及高精度地图制作领域，尤其涉及一种基于双目估计与点云的高精度地图提取方法及装置。
背景技术
在高精度地图要素提取中，基于半自动要素制作方法耗时长、人工交互多且效率低下。传统的纯激光点云方法提取可提供的信息较少且计算复杂度高。
发明内容
本发明针对传统利用激光点云制作高精度地图的方法人工成本高、计算复杂度高、准确率低的问题，在本发明的第一方面提供了一种高精度地图要素的提取方法，包括如下步骤：获取一一对应的双目图像与激光点云；对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；根据所述3D包围框和其框内的激光点云信息提取独立要素。
在本发明的一些实施例中，所述对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图包括如下步骤：提取双目图像的图像特征，将所述图像特征将其划分为左特征图、右特征图；根据左特征图与其对应的右特征图的相关性，计算并存储对应的匹配代价值；根据所述匹配代价值对所述双目图像在视差维度和空间维度聚合特征上进行全局优化；计算并优化所述双目图像的视差，得到所述双目图像的深度估计。
在本发明的一些实施例中，所述根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征包括如下步骤：根据所述深度图确定所述激光点云的三维特征的重要程度并对其进行筛选；将双目图像的图像特征与激光点云的三维特征串联并进行多尺度的特征金字塔融合，构建骨架网络特征层。
在本发明的一些实施例中，所述根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息包括如下步骤：通过二阶段提取方法自底而上地生成第一3D提案；将3D点云转换为规范坐标；利用语义特征、局部空间特征和所述规范坐标对3D提案进行优化，得到第二3D提案；根据所述第二3D提案获得高精度地图激光点云中独立要素的3D包围框信息。
在本发明的一些实施例中，所述根据所述3D包围框和其框内的激光点云信息提取独立要素包括如下步骤：对同一路段的激光点云中的重复提取的要素进行去重操作；依据非极大值抑制方法对所述3D包围框进行去重；对提取的错误目标要素或者非完整目标要素进行过滤；根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
进一步的，所述点云的物理属性包括几何域、强度域。
在本发明的第二方面，提供了一种高精度地图要素的提取装置，其特征在于，包括第一获取模块、估计模块、第二获取模块、确定模块、第一提取模块，所述第一获取模块，用于获取一一对应的双目图像与激光点云；所述估计模块，用于对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；所述第二获取模块，根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；所述确定模块，根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；所述第一提取模块，根据所述3D包围框和其框内的激光点云信息提取独立要素。
进一步的，所述第一提取模块包括去重模块、过滤模块、第二提取模块，所述去重模块，用于对同一路段的激光点云中的重复提取的要素进行去重操作以及依据非极大值抑制方法对所述3D包围框进行去重；所述过滤模块，用于对提取的错误目标要素或者非完整目标要素进行过滤；所述第二提取模块，用于根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面提供的高精度地图制作中道路的让行线自动化提取方法。
本发明的第四方面提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明第一方面提供的高精度地图制作中道路的让行线自动化提取方法。
本发明的有益效果是：
1.将激光点云与双目图像进行融合，能够获取更全面的独立要素的要素特征信息，有效地提取要素的几何信息。同时，将激光点云特征和图像深度估计特征进行多个尺度的特征融合，能够丰富独立要素的特征，使目标提取的更准确。
2.将道路采集的大块点云根据左右目图像切成多个一一对应的小块点云，并对图像可视范围外的点云进行检测，有效的排除了道路外的建筑树木等非地图要素的点云，能够有效的降低点云的计算量，加快提取的速度。
3.提取3D包围框后通过后续的传统方法操作，能够有效的过滤错误的目标要素并提高独立要素提取的几何精度。
附图说明
图1为本发明的一些实施例中的高精度地图要素的提取方法的基本流程图；
图2为本发明的一些实施例中的高精度地图要素的提取方法的具体流程图；
图3为本发明的一些实施例中的高精度地图要素提取的地面箭头轮廓信息结果图；
图4为本发明的一些实施例中的高精度地图要素的提取装置的结构框图；
图5为本发明的一些实施例中的电子设备结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图3，在本发明的第一方面提供了一种高精度地图要素的提取方法，其特征在于，包括如下步骤：S101.获取一一对应的双目图像与激光点云；S102.对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；S103.根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；S104.根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；S105.根据所述3D包围框和其框内的激光点云信息提取独立要素。具体地，在步骤S101中，将道路扫描的激光点云沿着道路方向以一定的横向纵向距离切成图像对应的3D点云块，使得点云块包含当前车道。
参考图2，在本发明的一些实施例中的步骤S102中，所述对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图包括如下步骤：提取双目图像的图像特征，将所述图像特征将其划分为左特征图、右特征图；根据左特征图与其对应的右特征图的相关性，计算并存储对应的匹配代价值；根据所述匹配代价值对所述双目图像在视差维度和空间维度聚合特征上进行全局优化；计算并优化所述双目图像的视差，得到所述双目图像的深度估计。具体地：(1)通过权重共享的神经网络提取高精度地图采集车采集到的左右目图像的特征；(2)匹配代价计算，使用距离测定方法构建左特征图与其对应的右特征图的相关性，存储对应的匹配代价值；(3)代价聚合，在视差维度和空间维度聚合特征上进行全局优化，保持视差图的相邻区域的连续性和空间上的连续性；(4)视差计算以及视差优化，优化每个像素的视差值，通过适当的平滑、去除错误点等提高差图的质量。
在本发明的一些实施例中的步骤S103中，所述根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征包括如下步骤：根据所述深度图确定所述激光点云的三维特征的重要程度并对其进行筛选；例如，道路两旁的树木、市政设施以及可能出现的行人；将双目图像的图像特征与激光点云的三维特征串联并或并联进行多尺度的特征金字塔融合，构建骨架网络特征层。通过深度估计图和双目图像对激光点云进行过滤，保留在双目图像可视范围内的点云，过滤道路旁的较远范围外的建筑树木等点云。
为了减少3D点云的计算量，参考图2，在本发明的一些实施例的步骤S104中，所述根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息包括如下步骤：通过二阶段提取方法自底而上地生成第一3D提案；将3D点云转换为规范坐标；利用语义特征、局部空间特征和所述规范坐标对3D提案进行优化，得到第二3D提案；根据所述第二3D提案获得高精度地图激光点云中独立要素的3D包围框信息。
需要说明的是，二阶段提取方法包括两个阶段：第一阶段使用自下而上(自底而上)的3D提案(3D包围框)产生，第二阶段用于在规范坐标中修改提案获得最终的检测结果。第一阶段的子网络不是从RGB图像或者将点云投影到鸟类视图或者体素中，而是通过将整个场景的点云分割为前景点和背景点，以自下而上的方式直接从点云生成少量高质量的3D提案。第二阶段的子网络将每个提案的池化的点转换为规范坐标，更好地学习局部空间特征，这个过程与第一阶段中学习每个点的全局语义特征相结合，用于Box优化和置信度预测。
参考图2，在本发明的一些实施例的步骤S105中，所述根据所述3D包围框和其框内的激光点云信息提取独立要素包括如下步骤：对同一路段的激光点云中的重复提取的要素进行去重操作；依据非极大值抑制方法对所述3D包围框进行去重；对提取的错误目标要素或者非完整目标要素进行过滤；根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
进一步的，所述点云的物理属性包括几何域、强度域。可以理解，由于点云采集的原始数据包含回波强度，基于强度域的物理属性包括平均强度、最大强度、强度方差、均方差，强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关，因此可以结合双目图像的语义分析对非高精度地图要素进行进一步过滤。局部特征常见的有各种几何特征描述子：PFH(Point Feature Histograms，点特征直方图)，FPFH(FastPoint Feature Histograms,快速点特征直方图)，SHOT(Signature of Histogram ofOrientation，方向直方图特征)，C-SHOT，RSD(Radius-Based Surface Descriptor，半径表面描述符)，3D形状描述子、ESF描述子、Lalonde特征(谱特征)等。
参考图4，在本发明的第二方面，提供了一种高精度地图要素的提取装置1，包括第一获取模块11、估计模块12、第二获取模块13、确定模块14、第一提取模块15，所述第一获取模块11，用于获取一一对应的双目图像与激光点云；所述估计模块12，用于对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；所述第二获取模块13，根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；所述确定模块14，根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；所述第一提取模块15，根据所述3D包围框和其框内的激光点云信息提取独立要素。
进一步的，所述第一提取模块15包括去重模块、过滤模块、第二提取模块，所述去重模块，用于对同一路段的激光点云中的重复提取的要素进行去重操作以及依据非极大值抑制方法对所述3D包围框进行去重；所述过滤模块，用于对提取的错误目标要素或者非完整目标要素进行过滤；所述第二提取模块，用于根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
本发明的一些实施例中，公开了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面提供的高精度地图制作中道路的让行线自动化提取方法。
参考图5，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种高精度地图要素的提取方法，其特征在于，包括如下步骤：
获取一一对应的双目图像与激光点云；
对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；
根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；
根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；
根据所述3D包围框和其框内的激光点云信息提取独立要素。
2.根据权利要求1所述的高精度地图要素的提取方法，其特征在于，所述对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图包括如下步骤：
提取双目图像的图像特征，将所述图像特征将其划分为左特征图、右特征图；
根据左特征图与其对应的右特征图的相关性，计算并存储对应的匹配代价值；
根据所述匹配代价值对所述双目图像在视差维度和空间维度聚合特征上进行全局优化；
计算并优化所述双目图像的视差，得到所述双目图像的深度估计。
3.根据权利要求1所述的高精度地图要素的提取方法，其特征在于，所述根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征包括如下步骤：
根据所述深度图确定所述激光点云的三维特征的重要程度并对其进行筛选；
将双目图像的图像特征与激光点云的三维特征串联并进行多尺度的特征金字塔融合，构建骨架网络特征层。
4.根据权利要求1所述的高精度地图要素的提取方法，其特征在于，所述根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息包括如下步骤：
通过二阶段提取方法自底而上地生成第一3D提案；
将3D点云转换为规范坐标；
利用语义特征、局部空间特征和所述规范坐标对3D提案进行优化，得到第二3D提案；
根据所述第二3D提案获得高精度地图激光点云中独立要素的3D包围框信息。
5.根据权利要求1所述的高精度地图要素的提取方法，其特征在于，所述根据所述3D包围框和其框内的激光点云信息提取独立要素包括如下步骤：
对同一路段的激光点云中的重复提取的要素进行去重操作；
依据非极大值抑制方法对所述3D包围框进行去重；
对提取的错误目标要素或者非完整目标要素进行过滤；
根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
6.根据权利要求5所述的高精度地图要素的提取方法，其特征在于，
所述点云的物理属性包括几何域、强度域。
7.一种高精度地图要素的提取装置，其特征在于，包括第一获取模块、估计模块、第二获取模块、确定模块、第一提取模块，
所述第一获取模块，用于获取一一对应的双目图像与激光点云；
所述估计模块，用于对所述双目图像进行匹配和深度估计，得到双目图像对应的深度图；
所述第二获取模块，根据双目图像及其对应的深度图和激光点云，获取所述双目图像的图像特征以及对应的激光点云三维特征；
所述确定模块，根据所述激光点云三维特征确定激光点云中独立要素的3D包围框信息；
所述第一提取模块，根据所述3D包围框和其框内的激光点云信息提取独立要素。
8.根据权利要求7所述的高精度地图要素的提取装置，其特征在于，所述第一提取模块包括去重模块、过滤模块、第二提取模块，
所述去重模块，用于对同一路段的激光点云中的重复提取的要素进行去重操作以及依据非极大值抑制方法对所述3D包围框进行去重；
所述过滤模块，用于对提取的错误目标要素或者非完整目标要素进行过滤；
所述第二提取模块，用于根据点云的物理属性和空间尺度对3D包围框内的点云进行边缘、特征点提取。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011087090.4A CN112258568B (zh) | 2020-10-12 | 2020-10-12 | 一种高精度地图要素的提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011087090.4A CN112258568B (zh) | 2020-10-12 | 2020-10-12 | 一种高精度地图要素的提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258568A true CN112258568A (zh) | 2021-01-22 |
| CN112258568B CN112258568B (zh) | 2022-07-01 |
Family
ID=74242278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011087090.4A Active CN112258568B (zh) | 2020-10-12 | 2020-10-12 | 一种高精度地图要素的提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258568B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673603A (zh) * | 2021-08-23 | 2021-11-19 | 北京搜狗科技发展有限公司 | 一种要素点匹配的方法及相关装置 |
| CN114663612A (zh) * | 2022-03-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种高精度地图构建方法、装置及电子设备 |
| WO2024093641A1 (zh) * | 2022-11-01 | 2024-05-10 | 北京百度网讯科技有限公司 | 多模态融合的高精地图要素识别方法、装置、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2879090A1 (en) * | 2013-11-27 | 2015-06-03 | Google, Inc. | Aligning ground based images and aerial imagery |
| WO2017023210A1 (en) * | 2015-08-06 | 2017-02-09 | Heptagon Micro Optics Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
| CN108052103A (zh) * | 2017-12-13 | 2018-05-18 | 中国矿业大学 | 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法 |
| KR20180087947A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 |
| CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 地图要素提取方法、装置及服务器 |
| EP3547704A1 (en) * | 2018-03-30 | 2019-10-02 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
| CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
-
2020
- 2020-10-12 CN CN202011087090.4A patent/CN112258568B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2879090A1 (en) * | 2013-11-27 | 2015-06-03 | Google, Inc. | Aligning ground based images and aerial imagery |
| WO2017023210A1 (en) * | 2015-08-06 | 2017-02-09 | Heptagon Micro Optics Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
| KR20180087947A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 |
| CN108052103A (zh) * | 2017-12-13 | 2018-05-18 | 中国矿业大学 | 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法 |
| EP3547704A1 (en) * | 2018-03-30 | 2019-10-02 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
| CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 地图要素提取方法、装置及服务器 |
| CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| XUDONG LAI 等: "A Building Extraction Approach Based on the Fusion of LiDAR Point Cloud and Elevation Map Texture Features", 《REMOTE SENSING》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673603A (zh) * | 2021-08-23 | 2021-11-19 | 北京搜狗科技发展有限公司 | 一种要素点匹配的方法及相关装置 |
| CN114663612A (zh) * | 2022-03-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种高精度地图构建方法、装置及电子设备 |
| WO2024093641A1 (zh) * | 2022-11-01 | 2024-05-10 | 北京百度网讯科技有限公司 | 多模态融合的高精地图要素识别方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258568B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462275B (zh) | 一种基于激光点云的地图生产方法和装置 | |
| CN109285220B (zh) | 一种三维场景地图的生成方法、装置、设备及存储介质 | |
| CN112258568B (zh) | 一种高精度地图要素的提取方法及装置 | |
| CN113362444B (zh) | 点云数据的生成方法、装置、电子设备及存储介质 | |
| CN110866449A (zh) | 识别道路中目标对象的方法和装置 | |
| CN111461981B (zh) | 点云拼接算法的误差估计方法和装置 | |
| WO2022067647A1 (zh) | 一种路面要素确定方法及装置 | |
| CN111339876B (zh) | 用于识别场景中各区域类型的方法和装置 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN110163900B (zh) | 用于调整点云数据方法和装置 | |
| CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
| WO2024088445A1 (zh) | 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质 | |
| CN114295139A (zh) | 一种协同感知定位方法及系统 | |
| CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
| CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
| CN116052097A (zh) | 一种地图要素检测方法、装置、电子设备和存储介质 | |
| CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
| CN115588047A (zh) | 一种基于场景编码的三维目标检测方法 | |
| CN116612059B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN114004740B (zh) | 基于无人机激光雷达点云的建筑物墙线提取方法 | |
| CN110377776B (zh) | 生成点云数据的方法和装置 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN115115597A (zh) | 一种目标检测方法、装置、设备及介质 | |
| CN115077539A (zh) | 一种地图生成方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |