CN115496900A - 一种基于稀疏融合的在线碳语义地图构建方法 - Google Patents

一种基于稀疏融合的在线碳语义地图构建方法 Download PDF

Info

Publication number
CN115496900A
CN115496900A CN202211064767.1A CN202211064767A CN115496900A CN 115496900 A CN115496900 A CN 115496900A CN 202211064767 A CN202211064767 A CN 202211064767A CN 115496900 A CN115496900 A CN 115496900A
Authority
CN
China
Prior art keywords
semantic
plane
points
carbon
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211064767.1A
Other languages
English (en)
Inventor
党源杰
杨正一
丁小飞
胡雨曈
张斌
陈朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211064767.1A priority Critical patent/CN115496900A/zh
Publication of CN115496900A publication Critical patent/CN115496900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于稀疏融合的在线碳语义地图构建方法,所述方法包括以下步骤:1)基于目标检测神经网络获取城市图像语义标签;2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;4)结合碳排放监测点云信息,构建碳语义地图。本发明的优点是:在稀疏的深度地图基础之上,提出一种快速碳语义地图重建方法,实现了碳语义场景的重建和感知,确保了无人机执行复杂碳监测任务时的安全导航。通过大量室外场景重建实验证明,本发明方法相比同类方法可以提升80.5%的语义平面重建精度,同时计算速度提升81倍。相较于其他基于稠密深度地图的场景感知算法,本发明方法的计算复杂度更低,尺度误差更低,适合用于搭载复杂无人机飞行任务的机载处理平台。

Description

一种基于稀疏融合的在线碳语义地图构建方法
技术领域
本发明涉及环境地图构建技术领域,尤其涉及基于碳语义信息的地图构建方法。
背景技术
语义地图构建是进行场景理解和场景交互的重要手段,一些系统已经成功证明了单目相机进行语义建图感知的可行性。Tateno等人提出了一个神经网络模型来同步地进行深度估计和语义分割,融合来自LSD-SLAM的高梯度区域的深度估计结果和来自神经网络的低梯度区域的结果来提升整体深度估计的准确性。稠密的语义地图可以通过一个全局分割模型融合像素级别的语义分割结果和稠密深度图获得。相似地,一种成为SemanticFusion的方法,使用CNN来进行语义分割,RGB-DSLAM来进行深度建图,然后使用增量式语义融合方法和全连接随机条件场方法结合了语义标签和深度地图,生成了稠密的语义地图。还有许多语义SLAM系统是针对不同的应用场景开发的,这些应用场景可以分为室内增强现实交互、单目SLAM系统增强、室内和室外导航。
图像语义信息提取与分类是计算机视觉领域的关键课题。随着数字媒体应用的不断发展,从复杂的多媒体数据中获取语义信息,实现图像内容的有效理解变得日趋重要。在过去数年中,众多研究工作在视觉特征描述、对象模型构建及强监督学习等核心方面取得了一定进步。
在碳环境监测领域,众多监测技术的发展为环境数据提取带来了极大的便利,而本次发明目标进入的碳环境监测领域依然存在以下痛点:
1)环境监测信息模糊,无法清晰地划定出各区域、各建筑的周围碳排放量;
2)算法计算复杂度很高,无法适应手持快速移动的场景和大规模监测的场景。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于稀疏融合的在线碳语义地图构建方法。
一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签;
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;
3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;
4)结合碳排放监测点云信息,构建碳语义地图;
发明流程图如图1所示。
进一步,所述步骤1)中,目标检测网络首先将图像重新缩放为统一分辨率的输入图像,然后将图像送入神经网络中,预测目标的位置以及包含目标的选框置信度和分类的条件概率,最后对结果进行非极大值抑制,获得最佳概率的分类结果。目标检测网络的工作流程如图2所示。
网络具体实现过程如下:将输入图像分割为S×S个网格,每一个网格都有独立预测B个目标框和每一个目标框的置信度,置信度包含了预测目标框存在物体的概率以及目标框的位置准确度。此外,每一个网格还需要预测一个条件概率C,即在这个网格存在物体的条件下属于某一类物体的概率。因此网络的输出就是一个S×S×(B*5+C)维度的向量。在预测的时候,每个网格的分类信息和网格置信度相乘就获得了网格的分类-空间置信度。在算法的最后,采用非极大值抑制方法,求每一个网格包含最准确目标位置信息的目标框以及类别。
基于目标检测神经网络获取城市图像语义标签,具体网络如图2所示:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别。其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值。本网络借鉴了GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化。网络最后一层使用线性激活函数,并且对其他层使用式(1)中的线性修正单元(RELU)作为激活函数,
Figure BDA0003827212570000031
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的 S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
Figure BDA0003827212570000032
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
进一步,所述步骤2)中,通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,对场景中频繁出现且较为稳定的目标进行语义标记,在图像中,将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签。
相应地,将三维的语义地图点表示为式(4),
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签。为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X。
通过语义标注将每张图像中的语义点投影到三维空间中。对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建。
使用超体素方法来减少三维区域的数量。超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性。以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割。
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题。我们将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,…,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,…,xN}表示在超体素内的所有三维坐标点。
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面。RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数。这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),…(Ln,π′n)} (6)
其中n是语义平面的数量。
更进一步,所述步骤3)中,在稀疏特征的语义平面重建中,语义平面的方向是最难准确恢复的参数之一,特别是包含少量特征点的小目标。然而随着空间中积累的语义平面的增多,可以借助额外的信息对空间的语义平面进行局部优化。因此,建立了一种语义平面的质量损失函数并围绕该损失函数提出了一种语义地图的局部优化方法。
基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知:如图2所示,定义输入的语义平面为πk,落在平面内的点的数量为
Figure BDA0003827212570000051
平面的中心坐标为
Figure BDA0003827212570000052
平面的法向量为
Figure BDA0003827212570000053
平面的系数为 (A,B,C,D)。
然后,将生成的平面加入全局语义地图。本章节将此步骤分为两个子步骤:插入和更新。插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
Figure BDA0003827212570000061
其中
Figure BDA0003827212570000062
是所有其他局部平面的法向量,
Figure BDA0003827212570000063
是局部平面的索引,
Figure BDA0003827212570000064
是由滑动窗内相机首尾坐标构成的航向向量:
Figure BDA0003827212570000065
(如图3所示)。
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8) 所示,
Figure BDA0003827212570000066
其中t是最接近新增平面的平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πk,则使用πk代替πt。相应地,也将更新步骤的平面质量损失函数定义为式(9),
Figure BDA0003827212570000067
其中
Figure BDA0003827212570000068
表示额外内点的比例,
Figure BDA0003827212570000069
表示成功更新平面的概率。
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10) 所示,以获得最佳的平面参数,
Figure BDA00038272125700000610
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动。检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向。模式移动是将显著点移动为新的参考点。这两个步骤交替重复,逐渐将函数移动到最小值。
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L1,π1),(L2,π2),…(Ln,πn)} (11)
更进一步,所述步骤4)中,采用一种微分光学深度DOD (differentialopticaldepth)的方法去得到碳排放在空间中的浓度。量化指标DOD 符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(- 2)):
Figure BDA0003827212570000071
或者转换为路径平均混合比
Figure BDA0003827212570000074
单位:(ppm),其中r为测距仪测得的目标距离,Δσ是二氧化碳的微分吸收截面,Nair是空气密度:
Figure BDA0003827212570000072
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计。无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
Figure BDA0003827212570000073
本发明提供了一种基于稀疏融合的在线碳语义地图构建方法,通过传感器预积分和紧耦合的传感器观测优化方法,将惯性传感器的尺度观测加入单目视觉里程计中,提供高精度的姿态估计和稀疏深度地图的构建。使用目标级的语义检测方法提取场景中的关键语义目标,通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,最后通过基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知。
本发明的优点是:在稀疏的深度地图基础之上,提出一种快速碳语义地图重建方法,实现了碳语义场景的重建和感知,确保了无人机执行复杂碳监测任务时的安全导航。通过大量室外场景重建实验证明,本发明方法相比同类方法可以提升80.5%的语义平面重建精度,同时计算速度提升81倍。相较于其他基于稠密深度地图的场景感知算法,本发明方法的计算复杂度更低,尺度误差更低,适合用于搭载复杂无人机飞行任务的机载处理平台。
附图说明
图1是本发明的流程图。
图2是本发明中目标检测网络的工作流程图。
图3是本发明中语义平面及法向量,相机轨迹,相机方向向量,语义平面法向量的球型子空间图。
具体实施方式
下面结合附图说明本发明的具体实施过程。
一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签,具体网络如图2所示:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别。其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值。本网络借鉴了GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化。网络最后一层使用线性激活函数,并且对其他层使用式(4)中的线性修正单元(RELU)作为激活函数,
Figure BDA0003827212570000081
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的 S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
Figure BDA0003827212570000091
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建,对场景中频繁出现且较为稳定的目标进行语义标记,在图像中,将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签。
相应地,将三维的语义地图点表示为式(4),
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签。为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X。
通过语义标注将每张图像中的语义点投影到三维空间中。对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建。
使用超体素方法来减少三维区域的数量。超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性。以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割。
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题。我们将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,…,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,…,xN}表示在超体素内的所有三维坐标点。
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面。RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数。这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),…(Ln,π′n)} (6)
其中n是语义平面的数量。
3)基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知:如图2所示,定义输入的语义平面为πk,落在平面内的点的数量为
Figure BDA0003827212570000101
平面的中心坐标为
Figure BDA0003827212570000102
平面的法向量为
Figure BDA0003827212570000103
平面的系数为 (A,B,C,D)。
然后,将生成的平面加入全局语义地图。本章节将此步骤分为两个子步骤:插入和更新。插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
Figure BDA0003827212570000111
其中
Figure BDA0003827212570000112
是所有其他局部平面的法向量,
Figure BDA0003827212570000113
是局部平面的索引,
Figure BDA0003827212570000114
是由滑动窗内相机首尾坐标构成的航向向量:
Figure BDA0003827212570000115
(如图3所示)。
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8) 所示,
Figure BDA0003827212570000116
其中t是最接近新增平面的平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πt,则使用πk代替πt。相应地,也将更新步骤的平面质量损失函数定义为式(9),
Figure BDA0003827212570000117
其中
Figure BDA0003827212570000118
表示额外内点的比例,
Figure BDA0003827212570000119
表示成功更新平面的概率。
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10) 所示,以获得最佳的平面参数,
Figure BDA00038272125700001110
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动。检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向。模式移动是将显著点移动为新的参考点。这两个步骤交替重复,逐渐将函数移动到最小值。
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L1,π1),(L2,π2),…(Ln,πn)} (11)
4)结合碳排放监测点云信息,构建碳语义地图。采用一种微分光学深度DOD(differentialopticaldepth)的方法去得到碳排放在空间中的浓度。量化指标DOD 符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(- 2)):
Figure BDA0003827212570000121
或者转换为路径平均混合比
Figure BDA0003827212570000124
单位:(ppm),其中r为测距仪测得的目标距离,Δσ是二氧化碳的微分吸收截面,Nair是空气密度:
Figure BDA0003827212570000122
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计。无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
Figure BDA0003827212570000123

Claims (5)

1.一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签;
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;
3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;
4)结合碳排放监测点云信息,构建碳语义地图。
2.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤1)具体包括:目标检测网络首先将图像重新缩放为统一分辨率的输入图像,然后将图像送入神经网络中,预测目标的位置以及包含目标的选框置信度和分类的条件概率,最后对结果进行非极大值抑制,获得最佳概率的分类结果;
网络具体实现过程如下:将输入图像分割为S×S个网格,每一个网格都有独立预测B个目标框和每一个目标框的置信度,置信度包含了预测目标框存在物体的概率以及目标框的位置准确度;此外,每一个网格还需要预测一个条件概率C,即在这个网格存在物体的条件下属于某一类物体的概率;因此网络的输出就是一个S×S×(B*5+C)维度的向量;在预测的时候,每个网格的分类信息和网格置信度相乘就获得了网格的分类-空间置信度;在算法的最后,采用非极大值抑制方法,求每一个网格包含最准确目标位置信息的目标框以及类别;
基于目标检测神经网络获取城市图像语义标签,具体网络是:采用了24个卷积层和2个全连接层,不需要区域建议网络(regionproposal)来寻找目标,直接回归便可完成目标检测识别;其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值;本网络借鉴GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化;网络最后一层使用线性激活函数,并且对其他层使用式(1)中的线性修正单元(RELU)作为激活函数,
Figure FDA0003827212560000021
此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的S×S×(B*5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,
Figure FDA0003827212560000022
其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比(IntersectionOverUnion)误差和分类误差。
3.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:所述步骤2)具体包括:对场景中频繁出现且较为稳定的目标进行语义标记,在图像中将被识别出的区域表示为式(3),
Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签;
相应地,将三维的语义地图点表示为式(4):
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签;为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X;
通过语义标注将每张图像中的语义点投影到三维空间中;对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建;
使用超体素方法来减少三维区域的数量,超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性;以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割;
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题,将在聚类中获得的超体素表示为式(5),
Regionw={L,N,Pcenter,{x0,x1,···,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,···,xN}表示在超体素内的所有三维坐标点;
随后,采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面,RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数;这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,
W′={(L1,π′1),(L2,π′2),···(Ln,π′n)} (6)
其中n是语义平面的数量。
4.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:所述步骤3)具体包括:建立一种语义平面的质量损失函数并围绕该损失函数提出了一种语义地图的局部优化方法:
基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知:定义输入的语义平面为πk,落在平面内的点的数量为
Figure FDA0003827212560000041
平面的中心坐标为
Figure FDA0003827212560000042
平面的法向量为
Figure FDA0003827212560000043
平面的系数为(A,B,C,D);
然后,将生成的平面加入全局语义地图;分为两个子步骤:插入和更新;插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,
Figure FDA0003827212560000044
其中
Figure FDA0003827212560000045
是所有其他局部平面的法向量,
Figure FDA0003827212560000046
是局部平面的索引,
Figure FDA0003827212560000047
是由滑动窗内相机首尾坐标构成的航向向量:
Figure FDA0003827212560000048
更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8)所示,
Figure FDA0003827212560000049
其中t是最接近新增平面的索引号。如果新增平面πk中包含的内点数量大于历史平面πt,则使用πk代替πt;相应地,也将更新步骤的平面质量损失函数定义为式(9),
Figure FDA00038272125600000410
其中
Figure FDA00038272125600000411
表示额外内点的比例,
Figure FDA00038272125600000412
表示成功更新平面的概率;
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10)所示,以获得最佳的平面参数,
Figure FDA0003827212560000051
上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题。优化主要包括两个步骤:检测搜索和模式移动;检测搜索的目的是在起始搜索点(参考点)周围找到一个显著点来确定一个有利的方向;模式移动是将显著点移动为新的参考点;这两个步骤交替重复,逐渐将函数移动到最小值;
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),
W={(L11),(L22),···(Lnn)} (11) 。
5.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤4)具体包括:采用一种微分光学深度DOD(differentialopticaldepth)的方法去得到碳排放在空间中的浓度;量化指标DOD符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度(单位:m^(-2)):
Figure FDA0003827212560000052
或者转换为路径平均混合比
Figure FDA0003827212560000053
单位:(ppm),其中r为测距仪测得的目标距离,Δσ是二氧化碳的微分吸收截面,Nair是空气密度:
Figure FDA0003827212560000054
对于每个DOD值,模型协方差矩阵与拟合的剩余标准差(均方根误差)进行了比例变换,提供了一个有意义的置信度估计;无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图。最后根据DOD与下式得出相关碳含量气体的浓度:
Figure FDA0003827212560000055
Figure FDA0003827212560000061
CN202211064767.1A 2022-08-31 2022-08-31 一种基于稀疏融合的在线碳语义地图构建方法 Pending CN115496900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211064767.1A CN115496900A (zh) 2022-08-31 2022-08-31 一种基于稀疏融合的在线碳语义地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211064767.1A CN115496900A (zh) 2022-08-31 2022-08-31 一种基于稀疏融合的在线碳语义地图构建方法

Publications (1)

Publication Number Publication Date
CN115496900A true CN115496900A (zh) 2022-12-20

Family

ID=84467778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211064767.1A Pending CN115496900A (zh) 2022-08-31 2022-08-31 一种基于稀疏融合的在线碳语义地图构建方法

Country Status (1)

Country Link
CN (1) CN115496900A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861571A (zh) * 2023-01-18 2023-03-28 武汉大学 语义感知的三角网模型建筑物实体重建方法
CN117194737A (zh) * 2023-09-14 2023-12-08 上海交通大学 基于距离阈值的近似近邻搜索方法、系统、介质及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861571A (zh) * 2023-01-18 2023-03-28 武汉大学 语义感知的三角网模型建筑物实体重建方法
CN115861571B (zh) * 2023-01-18 2023-04-28 武汉大学 语义感知的三角网模型建筑物实体重建方法
CN117194737A (zh) * 2023-09-14 2023-12-08 上海交通大学 基于距离阈值的近似近邻搜索方法、系统、介质及设备
CN117194737B (zh) * 2023-09-14 2024-06-07 上海交通大学 基于距离阈值的近似近邻搜索方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
CN113168717B (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
Li et al. Efficient laser-based 3D SLAM for coal mine rescue robots
CN112258618A (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
CN115496900A (zh) 一种基于稀疏融合的在线碳语义地图构建方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN114424250A (zh) 结构建模
Jeong et al. Multimodal sensor-based semantic 3D mapping for a large-scale environment
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
CN114708293A (zh) 基于深度学习点线特征和imu紧耦合的机器人运动估计方法
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN111739066B (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
Wang et al. Quantification of uncertainty and its applications to complex domain for autonomous vehicles perception system
CN114047766B (zh) 面向室内外场景长期应用的移动机器人数据采集系统及方法
CN114943870A (zh) 线特征提取模型的训练方法及装置、点云匹配方法及装置
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统
Li et al. BA-LIOM: tightly coupled laser-inertial odometry and mapping with bundle adjustment
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
Florea et al. Survey on monocular depth estimation for unmanned aerial vehicles using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination