CN110223298A - 基于点云局部结构的语义分割改进算法 - Google Patents

基于点云局部结构的语义分割改进算法 Download PDF

Info

Publication number
CN110223298A
CN110223298A CN201910446651.6A CN201910446651A CN110223298A CN 110223298 A CN110223298 A CN 110223298A CN 201910446651 A CN201910446651 A CN 201910446651A CN 110223298 A CN110223298 A CN 110223298A
Authority
CN
China
Prior art keywords
point
local
orb
point cloud
slam2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910446651.6A
Other languages
English (en)
Inventor
李春国
宋涣
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910446651.6A priority Critical patent/CN110223298A/zh
Publication of CN110223298A publication Critical patent/CN110223298A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于点云局部结构的语义分割改进算法，用于辅助稠密建图。1.学习局部几何结构：2.学习局部特征结构：3.融合ORB‑SLAM2系统：本发明公开了一种基于点云局部结构的语义分割改进算法，用于辅助稠密建图，属于多媒体信号处理领域。本发明首次提出一种基于内核关联网络执行语义分割业务的算法，在S3DIS数据集下提升准确率至80.6％，并辅助具备稠密点云建图功能的ORB‑SLAM2，使该SLAM系统具备了语义建图的功能。

Description

基于点云局部结构的语义分割改进算法
技术领域
本发明涉及多媒体信号处理领域，特别是涉及基于点云局部结构的语义分割改进算法。
背景技术
所谓点云，就是由一组离散的点表示的地图。最基本的点包含XYZ三维坐标，也可以带有RGB的彩色信息。点云本身只是一些没有逻辑相互独立的点，可以有成百上千个，具有稀疏性和无序性。当人们看到一簇点云，根据多年来的生活经验，加以鉴别，便可以识别出点云所代表的物体。然而，对于计算机而言，这并非易事。
点云对象分类、语义分割应用便应运而生，希望通过深度学习，训练模型可以有效的识别点云所代表的物体。
众所周知，点云在分类或分割时存在空间关系不规则的特点，因此不能直接将已有的图像分类分割框架套用到点云上，也因此在点云领域产生了许多基于将点云体素化(格网化)的深度学习框架，取得了很好的效果。但是将点云体素化势必会改变点云数据的原始特征，造成不必要的数据损失，并且额外增加了工作量，而点网络(Point Network,PointNet)采用了原始点云的输入方式，最大限度地保留了点云的空间特征，并在最终的测试中取得了很好的效果。因此本发明在做语义分割任务时，选择PointNet作为首选的基础网络。
PointNet是一个统一的体系结构，它直接将点云作为输入，并为输入的每个点输出整体分类标签或点标签。输入点云是简单而统一的结构，可以避免网格点云的组合不规则性和复杂性，因此更容易学习。该网络结构十分简单，在初始阶段，每个点都被相似独立的处理。在基本设置中，每个点仅由其三个坐标(x,y,z)表示。可以通过计算法线和其他本地或全局特征来添加其他维度。这个特征保证了网络的灵活性与轻便性。同时利用卷积网络的强大，取得了不弱于传统方法的高准确率。
然而，它没有充分利用包含细粒度结构信息的点的局部邻域，这有助于更好的语义学习。在这方面，内核关联网络(Kernel Correlation Network，KCNet)提出了两项新的改进，以更有效地利用局部结构来改进PointNet网络。
发明内容
为了解决以上问题，本发明提供基于点云局部结构的语义分割改进算法，在S3DIS数据集下提升准确率至80.6％，并辅助具备稠密点云建图功能的ORB-SLAM2，使该SLAM系统具备了语义建图的功能，为达此目的，本发明提供基于点云局部结构的语义分割改进算法，其特征在于，所述的检测方法具体步骤如下：
(1)学习局部几何结构：在内核关联网络网络的前端，从基于内核相关性的点云注册中获取灵感，并将点的本地邻域视为源，并将一组可学习的点即内核，作为表征某些类型的参考局部几何结构/形状，通过允许参考通过向后传播自由调整其形状，即核点位置来修改原始核相关计算；
(2)学习局部特征结构：KCNet仅在网络前端执行内核关联以提取局部几何结构，为了计算KC，为了有效地存储点的本地邻域，通过将每个点视为顶点来构建K最近邻图，边缘仅连接附近的点；
(3)融合ORB-SLAM2系统：ORB-SLAM2是在单目ORB-SLAM的基础上提出的改进系统，它是首个基于单目、双目和RGB-D相机的开源SLAM方案，这个方案包括，回环检测，地图重用和重定位，基于RGB-D相机，该系统可以构建稀疏的点云地图。
作为本发明进一步改进，所述步骤(1)中学习局部几何结构具体如下：在KCNet网络的前端，从基于内核相关性的点云注册中获取灵感，并将点的本地邻域视为源，并将一组可学习的点即内核，作为表征某些类型的参考局部几何结构/形状，通过允许参考通过向后传播自由调整其形状，即核点位置，来修改原始核相关计算，通过这种方式，一组可学习的内核点类似于卷积核，它仅激活到其关节相邻区域中的点，并捕获以该核函数及其内核宽度为特征的该感知域内的局部几何结构。
作为本发明进一步改进，所述步骤(2)中学习局部特征结构具体如下：KCNet仅在网络前端执行KC以提取局部几何结构，为了计算KC，为了有效地存储点的本地邻域，通过将每个点视为顶点来构建KNNG，边缘仅连接附近的点，受卷积网局部聚合特征并通过多个池层逐渐增加接收场的能力的启发，算法使用递归特征传播和沿着KC的相同3D邻域图的边缘聚合，以利用当地特征结构顶层，该算法的主要观点是邻居点往往具有相似的几何结构，因此通过邻域图传播特征有助于学习更强大的本地模式。
作为本发明进一步改进，所述步骤(3)中融合ORB-SLAM2系统具体如下：ORB-SLAM2是在单目ORB-SLAM的基础上提出的改进系统，是首个基于单目、双目和RGB-D相机的开源SLAM方案，这个方案包括，回环检测，地图重用和重定位，基于RGB-D相机，该系统可以构建稀疏的点云地图。
作为本发明进一步改进，所述ORB-SLAM2系统的单目、近处双目和远处双目特征点如下：ORB-SLAM2作为一种基于特征提取的方法，在一些关键的位置上的提取进行预处理，系统的所有运行都是基于输入图像的特征展开，而不依赖于双目或者RGB-D的相机，ORB-SALM2系统处理单目或者双目的特征点，分成远处特征点和近处特征点两类。
作为本发明进一步改进，所述ORB-SLAM2系统使用单目或者双目光束优化法，该系统采用光束法平差，优化在跟踪过程，即纯运动BA中相机的位姿，优化本地窗口的关键帧和局部地图的特征点即局部BA，并且在回环检测之后优化所有的关键帧和特征点即全局BA，算法在g2o当中使用Levenberg-Marquadt方法。
作为本发明进一步改进，所述ORB-SLAM2系统中回环检测具体步骤如下：首先，一个回环信息被确定检测到，然后利用这个回环纠正和优化位姿图，相比于单目的ORB-SLAM中可能出现尺度漂移的地方，这个双目或者深度的信息将会使得尺度信息可观测，并且，几何校验和位姿图优化将不再需要处理尺度漂移，而且是基于刚体变换的，而不是基于相似性。
作为本发明进一步改进，所述ORB-SLAM2系统中遵循在单目ORB-SLAM中提的法则，即经常插入关键帧并且剔除上一帧的冗余。
本发明提供基于点云局部结构的语义分割改进算法，其KCNet网络用于语义分割辅助ORB-SALM2有以下几个显著的优点。
(1)提出一种基于KCNet执行语义分割业务的算法，在S3DIS数据及上提升准确率至80.6％；
(2)辅助具备稠密点云建图功能的ORB-SLAM2，使该SLAM系统具备了语义建图的功能；
(3)该算法具有良好的鲁棒性。
附图说明
图1为本发明KCNet分割网络体系结构；
图2为本发明KCNet网络辅助SLAM语义建图；
图3为使用S3DIS数据集的准确率与IoU结果表格；
图4为S3DIS数据集定性结果；
图5为鲁棒性测试结果；
图6为超参数的影响。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供基于点云局部结构的语义分割改进算法，在S3DIS数据集下提升准确率至80.6％，并辅助具备稠密点云建图功能的ORB-SLAM2，使该SLAM系统具备了语义建图的功能。
本发明提供基于点云局部结构的语义分割改进算法，具体实施步骤如下；
步骤一：学习局部几何结构
在KCNet网络的前端，从基于内核相关性的点云注册中获取灵感，并将点的本地邻域视为源，并将一组可学习的点(即内核)作为表征某些类型的参考局部几何结构/形状。通过允许参考通过向后传播自由调整其形状(核点位置)来修改原始核相关计算。注意这里与点集注册相比的透视变化：算法希望通过自由的每点变换来学习模板/参考形状，而不是使用固定模板来找到源点和参考点集之间的最佳变换。通过这种方式，一组可学习的内核点类似于卷积核，它仅激活到其关节相邻区域中的点，并捕获以该核函数及其内核宽度为特征的该感知域内的局部几何结构。在此设置下，学习过程可视为查找一组参考/模板点，这些点编码最有效和最有用的局部几何结构，从而与网络中的其他参数一起产生最佳学习性能。
定义点集内核k与M个可学习点之间的核相关(Kernel Correlation，KC)和N点的点云中的当前锚点xi：
其中κm是内核中第m个可学习点，是锚点xi的邻域索引集
xn是xi的邻点。是任何有效的核函数(对于2D或3D点云，D＝2或3)。为了有效地存储点的局部邻域，通过将每个点视为顶点来预先计算K最近邻图(KNearnest Neighbor Graphs，KNNG)，其中边缘仅连接附近的顶点。
在不失一般性的情况下，在本算法中选择了高斯核：
||·||是两点之间的欧几里德距离，σ是控制点之间距离影响的核心宽度。高斯核的一个很好的特性是它作为两点之间距离的函数呈指数衰减，提供从每个核点到锚点的相邻点的软分配，从不可微分配的硬分配中放松或-二元ICP。KC编码内核点和相邻数据点之间的成对距离，并随着两个点集在形状上变得相似而增加，因此它可以被清楚地解释为几何相似性度量，并且在翻译下是不变的。注意在此选择内核宽度的重要性，因为太大或太小的σ都会导致不希望的性能(见表6)，类似于核密度估计中的相同问题。幸运的是，对于情况下的2D或3D空间，可以根据经验选择此参数作为所有训练点云上的邻居图中的平均相邻距离。
为了完成所提出的新学习层的描述，给定(1)作为网络损失函数，(2)其导数w.r.t.每个点xi的KC响应从顶层传播回来，提供每个核点Km的反向传播方程如下：
其中点xi的归一化常数局部差矢量vm，i，n＝κm+xi-xn。该算法KC操作：(1)与LOO-KC不同，它是点集与其元素点之间的紧致度测量，KC计算数据之间的相似性点的邻居和可学习点的核心；(2)与涉及固定模板变换参数的多重关联成本函数不同，KC允许内核中的所有点自由移动和调整(即没有κ的权重衰减)，从而替换模板和转型参数作为点集内核。
步骤二：学习局部特征结构
KCNet仅在网络前端执行KC以提取局部几何结构，如图1所示。为了计算KC，为了有效地存储点的本地邻域，通过将每个点视为顶点来构建KNNG，边缘仅连接附近的点。此图对于利用较深层中的局部特征结构也很有用。受卷积网局部聚合特征并通过多个池层逐渐增加接收场的能力的启发，算法使用递归特征传播和沿着KC的相同3D邻域图的边缘聚合，以利用当地特征结构顶层。
该算法的主要观点是邻居点往往具有相似的几何结构，因此通过邻域图传播特征有助于学习更强大的本地模式。请注意，该算法特别避免在顶层更改此邻域图形结构，这也类似于图像上的卷积：即使输入图像的特征通道在顶部卷积层中大大扩展，每个像素的空间排序和邻域也保持不变。
具体地，令表示对图池化层的输入，并且KNNG具有邻接矩阵其中如果在顶点i和j之间存在边缘，则W(i，j)＝1。否则W(i，j)＝0。直观的是，形成局部表面的相邻点通常共享相似的特征图案。因此，该算法通过图形池操作聚合其邻域内每个点的特征：
Y＝PX (4)
可以实现为平均或最大池。
图表平均合并通过使用式(4)中的作为归一化邻接矩阵来平均其邻域上的点的特征：
P＝D-1W (5)
其中是度矩阵，第(i，j)个条目di，j定义为
其中deg(i)是顶点的度数，它计算连接到顶点i的顶点数。
图形最大池(Graph max pooling,GM)在每个顶点的邻域上获取最大特征，在每个K维度上独立地操作。这可以通过将式(4)中矩阵乘法中的“+”运算符替换为“max”运算符来简单计算。因此，输出Y的第(i，k)项是：
其中表示从W计算的点Xi的邻域索引集。
然后通过图表最大或平均合并获得点的本地签名。此签名可以表示本地表面的聚合特征信息。注意此操作与PointNet++的连接：每个点i的本地邻域类似于PointNet++中的簇/段。此图形操作可在原始PointNet体系结构上实现本地功能集成。
步骤三：融合ORB-SLAM2系统
ORB-SLAM2是在单目ORB-SLAM的基础上提出的改进系统，它是首个基于单目、双目和RGB-D相机的开源SLAM方案，这个方案包括，回环检测，地图重用和重定位。基于RGB-D相机，该系统可以构建稀疏的点云地图。经过高翔博士的改进，该系统具备了稠密点云地图构建的功能，本发明使用该系统。
内核关联网络基于PointNet网络，提出了利用点云局部结构的改进算法。它是一种直接将点云用作输入，可以直接对点云进行学习的端到端网络。本发明将ORB-SLAM2的点云地图以n*3的矩阵格式作为输入，对朴素的点进行学习，输出每个点的语义标签。结构如图2所示。具体的测试数据将在实验分析中阐述。
步骤四：ORB-SLAM2系统内部处理步骤
(1)单目、近处双目和远处双目特征点
ORB-SLAM2作为一种基于特征提取的方法，在一些关键的位置上的提取进行预处理，系统的所有运行都是基于输入图像的特征展开，而不依赖于双目或者RGB-D的相机。ORB-SALM2系统处理单目或者双目的特征点，分成远处特征点和近处特征点两类。
双目特征点通过三个坐标xs＝(uL，vL，uR)定义,其中(uL，vL)是左图像上的坐标，uR是右图像中的水平坐标。对于双目相机而言，提取两幅图像当中的ORB特征，对于每个左边的ORB特征对其匹配到右边的图像中。这对于建设双目图像校正十分有效，因此极线是水平的。之后算法会在左边的图像产生双目的ORB特征点，和一条水平的线向右边的图像进行匹配，通过修补相关性来重新定义亚像素。对于RGB-D相机，正如Strasdat等人所言，对于每一个特征的坐标(uL，vL)，将其深度值d转换为虚拟右坐标：
其中fx是水平焦距，b是结构光投影仪和红外摄像机之间的基线，对于Kinect和Asus Xtion，精度接近8cm。
(2)系统引导
使用双目和RGB-D相机的主要优势在于可以直接获得深度信息，这里不需要像单目情况中那样做一个特定的SFM初始化。在系统初始化的时候，算法就创造了一个关键帧(也就是第一帧)，将他的位姿进行初始化，从所有的立体点中创造一个初始化地图。
(3)使用单目或者双目光束优化法
该系统采用光束法平差，优化在跟踪过程(纯运动BA)中相机的位姿，优化本地窗口的关键帧和局部地图的特征点(局部BA)，并且在回环检测之后优化所有的关键帧和特征点(全局BA)。算法在g2o当中使用Levenberg-Marquadt方法。
纯运动BA优化相机旋转矩阵R∈SO(3)和位置最小化世界坐标系下匹配3D点云和特征点(单目的或双目的其中)的重投影误差：
在式(9)当中，ρ是强健的Huber的cost函数，∑是协方差矩阵，关联对于特征点的尺度。这个投影函数π(·)，单目的时候使用πm，修正双目的时候用πs，他们的定义如下：
在式(10)当中(fx，fy)是焦距，(cx，cy)是主要点(象点)，b是基线，所有的这些参数都是通过标定获得。
局部BA采用一系列可用的关键帧和所有在关键帧可观点所有的其他关键帧是KF，而不是观察当中所有的特征点用于代价函数，但是在优化中是固定的。定义为中关键帧k的一系列匹配特征点，这个优化问题如下：
全局BA是局部光束法的一个特例，这个方法除了初始帧所有的关键帧和点在地图当中都会被优化.初始帧是固定的，用来消除随机化。
(4)闭环检测和全局BA
回环检测有两步：首先，一个回环信息被确定检测到，然后利用这个回环纠正和优化位姿图。相比于单目的ORB-SLAM中可能出现尺度漂移的地方，这个双目或者深度的信息将会使得尺度信息可观测。并且，几何校验和位姿图优化将不再需要处理尺度漂移，而且是基于刚体变换的，而不是基于相似性。
在ORB-SLAM2的位姿优化后，包含一个全局的BA优化，为了实现一个优化方案，必须采用一个独立的线程，允许系统能够持续的建图，并且检测到回环信息。但是这将会再次触发全局BA优化与当前地图的合成。如果在优化运行时检测到新的循环，将中止优化并继续关闭循环，这将再次启动完整的BA优化。当完整的BA结束时，需要将更新的关键帧子集和由完整BA优化的点与未更新的关键帧和在优化运行时插入的点合并。最后通过更新关键帧校正(例如，这个变换从未优化到已优化)到一个未更新关键帧通过生成树当中。根据校正参考帧来改造那些未更新的特征点。
(5)关键帧的插入
ORB-SLAM2遵循在单目ORB-SLAM中提的法则，即经常插入关键帧并且剔除上一帧的冗余。在远近特征点的差异为插入一个新的关键帧提供了条件，这在大场景的条件下是至关重要的。
(6)定位模式
ORB-SLAM2包括一个定位模式，该模式适用于轻量级以及在地图已知情况下长期运行，只要那个环境没有发生剧烈变化。在该模式中，局部建图和回环检测的线程中是停用的，并且这个相机始终都是在通过追踪进行重定位。在这个模式下，追踪模块使用视觉里程计进行匹配图像的点云。视觉里程计匹配在当前帧的ORB算子和由双目或者深度相机收集的3D点云。这些匹配使得在没有地图的区域也能够精确重新定位，但是漂移将会被累加，地图点云匹配要确保在一个已经存在的地图当中零漂移定位。
本发明在S3DIS数据集上定性结果如图4所示，鲁棒性测试结果如图5所示，超参数的影响如图6所示。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (8)

1.基于点云局部结构的语义分割改进算法，其特征在于，所述的检测方法具体步骤如下：
(1)学习局部几何结构：在内核关联网络网络的前端，从基于内核相关性的点云注册中获取灵感，并将点的本地邻域视为源，并将一组可学习的点即内核，作为表征某些类型的参考局部几何结构/形状，通过允许参考通过向后传播自由调整其形状，即核点位置来修改原始核相关计算；
(2)学习局部特征结构：KCNet仅在网络前端执行内核关联以提取局部几何结构，为了计算KC，为了有效地存储点的本地邻域，通过将每个点视为顶点来构建K最近邻图，边缘仅连接附近的点；
(3)融合ORB-SLAM2系统：ORB-SLAM2是在单目ORB-SLAM的基础上提出的改进系统，它是首个基于单目、双目和RGB-D相机的开源SLAM方案，这个方案包括，回环检测，地图重用和重定位，基于RGB-D相机，该系统可以构建稀疏的点云地图。
2.根据权利要求1所述的基于点云局部结构的语义分割改进算法，其特征在于：所述步骤(1)中学习局部几何结构具体如下：在KCNet网络的前端，从基于内核相关性的点云注册中获取灵感，并将点的本地邻域视为源，并将一组可学习的点即内核，作为表征某些类型的参考局部几何结构/形状，通过允许参考通过向后传播自由调整其形状，即核点位置，来修改原始核相关计算，通过这种方式，一组可学习的内核点类似于卷积核，它仅激活到其关节相邻区域中的点，并捕获以该核函数及其内核宽度为特征的该感知域内的局部几何结构。
3.根据权利要求1所述的基于点云局部结构的语义分割改进算法，其特征在于：所述步骤(2)中学习局部特征结构具体如下：KCNet仅在网络前端执行KC以提取局部几何结构，为了计算KC，为了有效地存储点的本地邻域，通过将每个点视为顶点来构建KNNG，边缘仅连接附近的点，受卷积网局部聚合特征并通过多个池层逐渐增加接收场的能力的启发，算法使用递归特征传播和沿着KC的相同3D邻域图的边缘聚合，以利用当地特征结构顶层，该算法的主要观点是邻居点往往具有相似的几何结构，因此通过邻域图传播特征有助于学习更强大的本地模式。
4.根据权利要求1所述的基于点云局部结构的语义分割改进算法，其特征在于：所述步骤(3)中融合ORB-SLAM2系统具体如下：ORB-SLAM2是在单目ORB-SLAM的基础上提出的改进系统，是首个基于单目、双目和RGB-D相机的开源SLAM方案，这个方案包括，回环检测，地图重用和重定位，基于RGB-D相机，该系统可以构建稀疏的点云地图。
5.根据权利要求4所述的基于点云局部结构的语义分割改进算法，其特征在于：所述ORB-SLAM2系统的单目、近处双目和远处双目特征点如下：ORB-SLAM2作为一种基于特征提取的方法，在一些关键的位置上的提取进行预处理，系统的所有运行都是基于输入图像的特征展开，而不依赖于双目或者RGB-D的相机，ORB-SALM2系统处理单目或者双目的特征点，分成远处特征点和近处特征点两类。
6.根据权利要求4所述的基于点云局部结构的语义分割改进算法，其特征在于：所述ORB-SLAM2系统使用单目或者双目光束优化法，该系统采用光束法平差，优化在跟踪过程，即纯运动BA中相机的位姿，优化本地窗口的关键帧和局部地图的特征点即局部BA，并且在回环检测之后优化所有的关键帧和特征点即全局BA，算法在g2o当中使用Levenberg-Marquadt方法。
7.根据权利要求4所述的基于点云局部结构的语义分割改进算法，其特征在于：所述ORB-SLAM2系统中回环检测具体步骤如下：首先，一个回环信息被确定检测到，然后利用这个回环纠正和优化位姿图，相比于单目的ORB-SLAM中可能出现尺度漂移的地方，这个双目或者深度的信息将会使得尺度信息可观测，并且，几何校验和位姿图优化将不再需要处理尺度漂移，而且是基于刚体变换的，而不是基于相似性。
8.根据权利要求4所述的基于点云局部结构的语义分割改进算法，其特征在于：所述ORB-SLAM2系统中遵循在单目ORB-SLAM中提的法则，即经常插入关键帧并且剔除上一帧的冗余。
CN201910446651.6A 2019-05-27 2019-05-27 基于点云局部结构的语义分割改进算法 Pending CN110223298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910446651.6A CN110223298A (zh) 2019-05-27 2019-05-27 基于点云局部结构的语义分割改进算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910446651.6A CN110223298A (zh) 2019-05-27 2019-05-27 基于点云局部结构的语义分割改进算法

Publications (1)

Publication Number Publication Date
CN110223298A true CN110223298A (zh) 2019-09-10

Family

ID=67818486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910446651.6A Pending CN110223298A (zh) 2019-05-27 2019-05-27 基于点云局部结构的语义分割改进算法

Country Status (1)

Country Link
CN (1) CN110223298A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837811A (zh) * 2019-11-12 2020-02-25 腾讯科技（深圳）有限公司 语义分割网络结构的生成方法、装置、设备及存储介质
CN111223136A (zh) * 2020-01-03 2020-06-02 三星（中国）半导体有限公司 稀疏2d点集的深度特征提取方法及装置
CN111462137A (zh) * 2020-04-02 2020-07-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于知识蒸馏和语义融合的点云场景分割方法
CN111539439A (zh) * 2020-04-30 2020-08-14 宜宾电子科技大学研究院 一种图像语义分割方法
CN111738086A (zh) * 2020-05-22 2020-10-02 上海交通大学 用于点云分割的构图方法、系统及点云分割系统、装置
CN112017188A (zh) * 2020-09-09 2020-12-01 上海航天控制技术研究所 一种空间非合作目标语义识别与重构方法
CN112233805A (zh) * 2020-10-14 2021-01-15 河北工业大学 基于多图谱神经影像学数据进行生物标志物的挖掘方法
CN112418235A (zh) * 2020-11-20 2021-02-26 中南大学 一种基于膨胀最近邻特征增强的点云语义分割方法
CN112749616A (zh) * 2019-10-31 2021-05-04 安波福技术有限公司 点云数据的多域邻域嵌入和加权
CN113269197A (zh) * 2021-04-25 2021-08-17 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归系统和识别方法
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN115049731A (zh) * 2022-06-17 2022-09-13 感知信息科技(浙江)有限责任公司 一种基于双目摄像头的视觉建图和定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAÚL MUR-ARTAL等: "ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras", 《IEEE TRANSACTIONS ON ROBOTICS》 *
YIRU SHEN等: "Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749616B (zh) * 2019-10-31 2024-02-27 安波福技术有限公司 点云数据的多域邻域嵌入和加权
CN112749616A (zh) * 2019-10-31 2021-05-04 安波福技术有限公司 点云数据的多域邻域嵌入和加权
CN110837811A (zh) * 2019-11-12 2020-02-25 腾讯科技（深圳）有限公司 语义分割网络结构的生成方法、装置、设备及存储介质
CN110837811B (zh) * 2019-11-12 2021-01-05 腾讯科技（深圳）有限公司 语义分割网络结构的生成方法、装置、设备及存储介质
CN111223136A (zh) * 2020-01-03 2020-06-02 三星（中国）半导体有限公司 稀疏2d点集的深度特征提取方法及装置
CN111223136B (zh) * 2020-01-03 2024-04-23 三星（中国）半导体有限公司 稀疏2d点集的深度特征提取方法及装置
CN111462137B (zh) * 2020-04-02 2023-08-08 中科人工智能创新技术研究院(青岛)有限公司 一种基于知识蒸馏和语义融合的点云场景分割方法
CN111462137A (zh) * 2020-04-02 2020-07-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于知识蒸馏和语义融合的点云场景分割方法
CN111539439A (zh) * 2020-04-30 2020-08-14 宜宾电子科技大学研究院 一种图像语义分割方法
CN111539439B (zh) * 2020-04-30 2021-01-05 宜宾电子科技大学研究院 一种图像语义分割方法
CN111738086A (zh) * 2020-05-22 2020-10-02 上海交通大学 用于点云分割的构图方法、系统及点云分割系统、装置
CN112017188A (zh) * 2020-09-09 2020-12-01 上海航天控制技术研究所 一种空间非合作目标语义识别与重构方法
CN112017188B (zh) * 2020-09-09 2024-04-09 上海航天控制技术研究所 一种空间非合作目标语义识别与重构方法
CN112233805B (zh) * 2020-10-14 2022-03-01 河北工业大学 基于多图谱神经影像学数据进行生物标志物的挖掘方法
CN112233805A (zh) * 2020-10-14 2021-01-15 河北工业大学 基于多图谱神经影像学数据进行生物标志物的挖掘方法
CN112418235A (zh) * 2020-11-20 2021-02-26 中南大学 一种基于膨胀最近邻特征增强的点云语义分割方法
CN113269197A (zh) * 2021-04-25 2021-08-17 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归系统和识别方法
CN113269197B (zh) * 2021-04-25 2024-03-08 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归系统和识别方法
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113392841B (zh) * 2021-06-03 2022-11-18 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN115049731A (zh) * 2022-06-17 2022-09-13 感知信息科技(浙江)有限责任公司 一种基于双目摄像头的视觉建图和定位方法
CN115049731B (zh) * 2022-06-17 2023-04-21 感知信息科技(浙江)有限责任公司 一种基于双目摄像头的视觉建图和定位方法

Similar Documents

Publication Publication Date Title
CN110223298A (zh) 基于点云局部结构的语义分割改进算法
Brachmann et al. Visual camera re-localization from RGB and RGB-D images using DSAC
Dai et al. Shape completion using 3d-encoder-predictor cnns and shape synthesis
Wang et al. Mvster: Epipolar transformer for efficient multi-view stereo
CN108369741B (zh) 用于配准数据的方法和系统
US20220358334A1 (en) Assembly body change detection method, device and medium based on attention mechanism
WO2015139574A1 (zh) 一种静态物体重建方法和系统
CN113012212A (zh) 一种基于深度信息融合的室内场景三维点云重建方法和系统
Li et al. A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges
CN104778688A (zh) 点云数据的配准方法及装置
CN108257154B (zh) 基于区域信息和cnn的极化sar图像变化检测方法
CN107481279A (zh) 一种单目视频深度图计算方法
US11568601B2 (en) Real-time hand modeling and tracking using convolution models
CN110070578B (zh) 一种回环检测方法
KR20200063368A (ko) 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법
Marton et al. Probabilistic categorization of kitchen objects in table settings with a composite sensor
Kataria et al. Improving structure from motion with reliable resectioning
KR20140143310A (ko) 깊이 영상을 이용하는 추정기 학습 방법 및 자세 추정 방법
Chen et al. 3D reconstruction of unstructured objects using information from multiple sensors
CN113327271A (zh) 基于双光孪生网络决策级目标跟踪方法、系统及存储介质
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN110490973B (zh) 一种模型驱动的多视图鞋模型三维重建方法
Liao SLAMORE: SLAM with object recognition for 3D radio environment reconstruction
CN116485697A (zh) 基于图像块匹配和视差优化的立体匹配方法
SANDOVAL et al. Robust sphere detection in unorganized 3D point clouds using an efficient Hough voting scheme based on sliding voxels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination