CN115496900A - 一种基于稀疏融合的在线碳语义地图构建方法 - Google Patents
一种基于稀疏融合的在线碳语义地图构建方法 Download PDFInfo
- Publication number
- CN115496900A CN115496900A CN202211064767.1A CN202211064767A CN115496900A CN 115496900 A CN115496900 A CN 115496900A CN 202211064767 A CN202211064767 A CN 202211064767A CN 115496900 A CN115496900 A CN 115496900A
- Authority
- CN
- China
- Prior art keywords
- semantic
- plane
- points
- carbon
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
一种基于稀疏融合的在线碳语义地图构建方法,所述方法包括以下步骤:1)基于目标检测神经网络获取城市图像语义标签;2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;4)结合碳排放监测点云信息,构建碳语义地图。本发明的优点是:在稀疏的深度地图基础之上,提出一种快速碳语义地图重建方法,实现了碳语义场景的重建和感知,确保了无人机执行复杂碳监测任务时的安全导航。通过大量室外场景重建实验证明,本发明方法相比同类方法可以提升80.5%的语义平面重建精度,同时计算速度提升81倍。相较于其他基于稠密深度地图的场景感知算法,本发明方法的计算复杂度更低,尺度误差更低,适合用于搭载复杂无人机飞行任务的机载处理平台。
Description
技术领域
本发明涉及环境地图构建技术领域,尤其涉及基于碳语义信息的地图构建方法。
背景技术
语义地图构建是进行场景理解和场景交互的重要手段,一些系统已经成功证明了单目相机进行语义建图感知的可行性。Tateno等人提出了一个神经网络模型来同步地进行深度估计和语义分割,融合来自LSD-SLAM的高梯度区域的深度估计结果和来自神经网络的低梯度区域的结果来提升整体深度估计的准确性。稠密的语义地图可以通过一个全局分割模型融合像素级别的语义分割结果和稠密深度图获得。相似地,一种成为SemanticFusion的方法,使用CNN来进行语义分割,RGB-DSLAM来进行深度建图,然后使用增量式语义融合方法和全连接随机条件场方法结合了语义标签和深度地图,生成了稠密的语义地图。还有许多语义SLAM系统是针对不同的应用场景开发的,这些应用场景可以分为室内增强现实交互、单目SLAM系统增强、室内和室外导航。
图像语义信息提取与分类是计算机视觉领域的关键课题。随着数字媒体应用的不断发展,从复杂的多媒体数据中获取语义信息,实现图像内容的有效理解变得日趋重要。在过去数年中,众多研究工作在视觉特征描述、对象模型构建及强监督学习等核心方面取得了一定进步。
在碳环境监测领域,众多监测技术的发展为环境数据提取带来了极大的便利,而本次发明目标进入的碳环境监测领域依然存在以下痛点:
1)环境监测信息模糊,无法清晰地划定出各区域、各建筑的周围碳排放量;
2)算法计算复杂度很高,无法适应手持快速移动的场景和大规模监测的场景。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于稀疏融合的在线碳语义地图构建方法。
一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签;
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;
3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;
4)结合碳排放监测点云信息,构建碳语义地图;
发明流程图如图1所示。
进一步,所述步骤1)中,目标检测网络首先将图像重新缩放为统一分辨率的输入图像,然后将图像送入神经网络中,预测目标的位置以及包含目标的选框置信度和分类的条件概率,最后对结果进行非极大值抑制,获得最佳概率的分类结果。目标检测网络的工作流程如图2所示。
网络具体实现过程如下:将输入图像分割为S×S个网格,每一个网格都有独立预测B个目标框和每一个目标框的置信度,置信度包含了预测目标框存在物体的概率以及目标框的位置准确度。此外,每一个网格还需要预测一个条件概率C,即在这个网格存在物体的条件下属于某一类物体的概率。因此网络的输出就是一个S×S×(B*5+C)维度的向量。在预测的时候,每个网格的分类信息和网格置信度相乘就获得了网格的分类-空间置信度。在算法的最后,采用非极大值抑制方法,求每一个网格包含最准确目标位置信息的目标框以及类别。
基于目标检测神经网络获取城市图像语义标签,具体网络如图2所示:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别。其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值。本网络借鉴了GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化。网络最后一层使用线性激活函数,并且对其他层使用式(1)中的线性修正单元(RELU)作为激活函数,
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的 S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
进一步,所述步骤2)中,通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,对场景中频繁出现且较为稳定的目标进行语义标记,在图像中,将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签。
相应地,将三维的语义地图点表示为式(4),
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签。为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X。
通过语义标注将每张图像中的语义点投影到三维空间中。对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建。
使用超体素方法来减少三维区域的数量。超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性。以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割。
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题。我们将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,…,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,…,xN}表示在超体素内的所有三维坐标点。
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面。RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数。这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),…(Ln,π′n)} (6)
其中n是语义平面的数量。
更进一步,所述步骤3)中,在稀疏特征的语义平面重建中,语义平面的方向是最难准确恢复的参数之一,特别是包含少量特征点的小目标。然而随着空间中积累的语义平面的增多,可以借助额外的信息对空间的语义平面进行局部优化。因此,建立了一种语义平面的质量损失函数并围绕该损失函数提出了一种语义地图的局部优化方法。
然后,将生成的平面加入全局语义地图。本章节将此步骤分为两个子步骤:插入和更新。插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8) 所示,
其中t是最接近新增平面的平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πk,则使用πk代替πt。相应地,也将更新步骤的平面质量损失函数定义为式(9),
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10) 所示,以获得最佳的平面参数,
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动。检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向。模式移动是将显著点移动为新的参考点。这两个步骤交替重复,逐渐将函数移动到最小值。
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L1,π1),(L2,π2),…(Ln,πn)} (11)
更进一步,所述步骤4)中,采用一种微分光学深度DOD (differentialopticaldepth)的方法去得到碳排放在空间中的浓度。量化指标DOD 符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(- 2)):
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计。无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
本发明提供了一种基于稀疏融合的在线碳语义地图构建方法,通过传感器预积分和紧耦合的传感器观测优化方法,将惯性传感器的尺度观测加入单目视觉里程计中,提供高精度的姿态估计和稀疏深度地图的构建。使用目标级的语义检测方法提取场景中的关键语义目标,通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,最后通过基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知。
本发明的优点是:在稀疏的深度地图基础之上,提出一种快速碳语义地图重建方法,实现了碳语义场景的重建和感知,确保了无人机执行复杂碳监测任务时的安全导航。通过大量室外场景重建实验证明,本发明方法相比同类方法可以提升80.5%的语义平面重建精度,同时计算速度提升81倍。相较于其他基于稠密深度地图的场景感知算法,本发明方法的计算复杂度更低,尺度误差更低,适合用于搭载复杂无人机飞行任务的机载处理平台。
附图说明
图1是本发明的流程图。
图2是本发明中目标检测网络的工作流程图。
图3是本发明中语义平面及法向量,相机轨迹,相机方向向量,语义平面法向量的球型子空间图。
具体实施方式
下面结合附图说明本发明的具体实施过程。
一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签,具体网络如图2所示:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别。其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值。本网络借鉴了GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化。网络最后一层使用线性激活函数,并且对其他层使用式(4)中的线性修正单元(RELU)作为激活函数,
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的 S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,对场景中频繁出现且较为稳定的目标进行语义标记,在图像中,将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签。
相应地,将三维的语义地图点表示为式(4),
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签。为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X。
通过语义标注将每张图像中的语义点投影到三维空间中。对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建。
使用超体素方法来减少三维区域的数量。超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性。以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割。
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题。我们将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,…,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,…,xN}表示在超体素内的所有三维坐标点。
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面。RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数。这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),…(Ln,π′n)} (6)
其中n是语义平面的数量。
然后,将生成的平面加入全局语义地图。本章节将此步骤分为两个子步骤:插入和更新。插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8) 所示,
其中t是最接近新增平面的平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πt,则使用πk代替πt。相应地,也将更新步骤的平面质量损失函数定义为式(9),
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10) 所示,以获得最佳的平面参数,
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动。检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向。模式移动是将显著点移动为新的参考点。这两个步骤交替重复,逐渐将函数移动到最小值。
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L1,π1),(L2,π2),…(Ln,πn)} (11)
4)结合碳排放监测点云信息,构建碳语义地图。采用一种微分光学深度DOD(differentialopticaldepth)的方法去得到碳排放在空间中的浓度。量化指标DOD 符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(- 2)):
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计。无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
Claims (5)
1.一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签;
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;
3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;
4)结合碳排放监测点云信息,构建碳语义地图。
2.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤1)具体包括:目标检测网络首先将图像重新缩放为统一分辨率的输入图像,然后将图像送入神经网络中,预测目标的位置以及包含目标的选框置信度和分类的条件概率,最后对结果进行非极大值抑制,获得最佳概率的分类结果;
网络具体实现过程如下:将输入图像分割为S×S个网格,每一个网格都有独立预测B个目标框和每一个目标框的置信度,置信度包含了预测目标框存在物体的概率以及目标框的位置准确度;此外,每一个网格还需要预测一个条件概率C,即在这个网格存在物体的条件下属于某一类物体的概率;因此网络的输出就是一个S×S×(B*5+C)维度的向量;在预测的时候,每个网格的分类信息和网格置信度相乘就获得了网格的分类-空间置信度;在算法的最后,采用非极大值抑制方法,求每一个网格包含最准确目标位置信息的目标框以及类别;
基于目标检测神经网络获取城市图像语义标签,具体网络是:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别;其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值;本网络借鉴GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化;网络最后一层使用线性激活函数,并且对其他层使用式(1)中的线性修正单元(RELU)作为激活函数,
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
3.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:所述步骤2)具体包括:对场景中频繁出现且较为稳定的目标进行语义标记,在图像中将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签;
相应地,将三维的语义地图点表示为式(4):
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签;为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X;
通过语义标注将每张图像中的语义点投影到三维空间中;对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建;
使用超体素方法来减少三维区域的数量,超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性;以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割;
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题,将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,···,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,···,xN}表示在超体素内的所有三维坐标点;
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面,RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数;这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),···(Ln,π′n)} (6)
其中n是语义平面的数量。
4.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:所述步骤3)具体包括:建立一种语义平面的质量损失函数并围绕该损失函数提出了一种语义地图的局部优化方法:
然后,将生成的平面加入全局语义地图;分为两个子步骤:插入和更新;插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8)所示,
其中t是最接近新增平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πt,则使用πk代替πt;相应地,也将更新步骤的平面质量损失函数定义为式(9),
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10)所示,以获得最佳的平面参数,
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动;检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向;模式移动是将显著点移动为新的参考点;这两个步骤交替重复,逐渐将函数移动到最小值;
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L1,π1),(L2,π2),···(Ln,πn)} (11) 。
5.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤4)具体包括:采用一种微分光学深度DOD(differentialopticaldepth)的方法去得到碳排放在空间中的浓度;量化指标DOD符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(-2)):
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计;无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211064767.1A CN115496900A (zh) | 2022-08-31 | 2022-08-31 | 一种基于稀疏融合的在线碳语义地图构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211064767.1A CN115496900A (zh) | 2022-08-31 | 2022-08-31 | 一种基于稀疏融合的在线碳语义地图构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115496900A true CN115496900A (zh) | 2022-12-20 |
Family
ID=84467778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211064767.1A Pending CN115496900A (zh) | 2022-08-31 | 2022-08-31 | 一种基于稀疏融合的在线碳语义地图构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496900A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861571A (zh) * | 2023-01-18 | 2023-03-28 | 武汉大学 | 语义感知的三角网模型建筑物实体重建方法 |
CN117194737A (zh) * | 2023-09-14 | 2023-12-08 | 上海交通大学 | 基于距离阈值的近似近邻搜索方法、系统、介质及设备 |
-
2022
- 2022-08-31 CN CN202211064767.1A patent/CN115496900A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861571A (zh) * | 2023-01-18 | 2023-03-28 | 武汉大学 | 语义感知的三角网模型建筑物实体重建方法 |
CN115861571B (zh) * | 2023-01-18 | 2023-04-28 | 武汉大学 | 语义感知的三角网模型建筑物实体重建方法 |
CN117194737A (zh) * | 2023-09-14 | 2023-12-08 | 上海交通大学 | 基于距离阈值的近似近邻搜索方法、系统、介质及设备 |
CN117194737B (zh) * | 2023-09-14 | 2024-06-07 | 上海交通大学 | 基于距离阈值的近似近邻搜索方法、系统、介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
CN110335337B (zh) | 一种基于端到端半监督生成对抗网络的视觉里程计的方法 | |
CN113168717B (zh) | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 | |
Li et al. | Efficient laser-based 3D SLAM for coal mine rescue robots | |
CN112258618A (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
Ding et al. | Vehicle pose and shape estimation through multiple monocular vision | |
CN115496900A (zh) | 一种基于稀疏融合的在线碳语义地图构建方法 | |
CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN114424250A (zh) | 结构建模 | |
Jeong et al. | Multimodal sensor-based semantic 3D mapping for a large-scale environment | |
CN110487286B (zh) | 基于点特征投影与激光点云融合的机器人位姿判断方法 | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
CN111739066B (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
Wang et al. | Quantification of uncertainty and its applications to complex domain for autonomous vehicles perception system | |
CN114047766B (zh) | 面向室内外场景长期应用的移动机器人数据采集系统及方法 | |
CN114943870A (zh) | 线特征提取模型的训练方法及装置、点云匹配方法及装置 | |
CN117058474B (zh) | 一种基于多传感器融合的深度估计方法及系统 | |
Li et al. | BA-LIOM: tightly coupled laser-inertial odometry and mapping with bundle adjustment | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 | |
Florea et al. | Survey on monocular depth estimation for unmanned aerial vehicles using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |