CN117422764A - 空地视角图像协同的车载系统定位方法、终端及存储介质 - Google Patents
空地视角图像协同的车载系统定位方法、终端及存储介质 Download PDFInfo
- Publication number
- CN117422764A CN117422764A CN202311746880.2A CN202311746880A CN117422764A CN 117422764 A CN117422764 A CN 117422764A CN 202311746880 A CN202311746880 A CN 202311746880A CN 117422764 A CN117422764 A CN 117422764A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- ground
- pose
- air
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 153
- 230000000007 visual effect Effects 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000005855 radiation Effects 0.000 claims abstract description 47
- 210000005036 nerve Anatomy 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000000750 progressive effect Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种空地视角图像协同的车载系统定位方法、终端及存储介质，方法包括：获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息；本发明提出新的大视角差异下的视觉图像匹配的方法，提高空中影像与地面影像跨视角匹配和信息融合能力和精度。
Description
技术领域
本发明涉及车载系统定位技术领域，尤其涉及的是空地视角图像协同的车载系统定位方法、终端及存储介质。
背景技术
近年来，基于空地跨视角匹配方法成为地面车载系统高精度定位过程中重要的辅助手段，它是通过地面车载系统采集的数据与空中数据进行相似性检索，并通过图像或几何匹配恢复观测地点的准确位姿。基于空地跨视角匹配的定位方法可为地面车载系统提供重要的全局位姿约束，有助于降低车辆在长距离、长时间行走过程中的轨迹漂移问题。不同定位方法在对长距离行驶过程中的轨迹漂移进行定位时都存在一定的局限性，其中，基于全球导航卫星系统（Global Navigation Satellite System，GNSS）的定位方法在建筑密集区域容易产生巨大的位置偏差，基于车辆自身感知数据的位置估计方法容易随车辆的行驶距离逐渐增加，这些方法都无法实现地面车载系统的高精度定位。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种空地视角图像协同的车载系统定位方法、终端及存储介质，以解决传统的空地影像视角差异大的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种空地视角图像协同的车载系统定位方法，包括：
获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；
通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；
采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息。
在一种实现方式中，所述获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演，包括：
获取所述空中影像，采用基于空中影像神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型；
采用空中影像姿态引导地面多视角位姿生成方法，将所述空中影像投影到地面，并将所述空中影像的角度信息赋予地面影像，生成所述地面影像的位姿；
根据所述车载平台的实时位置和感知图像选取匹配的空中影像，并建立所述地面影像与反演影像的匹配关系。
在一种实现方式中，所述获取所述空中影像，采用基于空中影像神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型，包括：
采用深度学习点特征计算方法计算得到空中影像特征，并根据所述空中影像特征计算词袋模型，构建空中影像特征库；
针对目标区域进行规则化区域划分，根据所述空中影像的位姿信息独立训练对应区域的空中神经辐射场模型。
在一种实现方式中，所述通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿，包括：
采用融合视觉自注意力与卷积神经网络的特征编码方法对所述空中影像进行编码，从所述空中影像中提取全局特征和局部特征；
采用跨层连接的多级图像特征解码方法融合不同尺度特征图中的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建；
采用由粗到细的渐进式迭代优化与位置计算方法，恢复地面影像的多个自由度相机位姿。
在一种实现方式中，所述采用跨层连接的多级图像特征解码方法融合不同尺度特征图中低级与高级的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建，包括：
将解码得到的各个层级的特征图进行跳跃连接；
采用所述运动结构恢复方法对所述空中影像进行稀疏重建。
在一种实现方式中，所述采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息，包括：
综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准；
基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，输出所述优化后的车载系统定位信息。
在一种实现方式中，所述综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准，包括：
根据所述车载平台的位姿与感知信息，在几何和感知信息特征层面进行相似性检索，判断车辆是否存在回环；
若车辆存在回环，则根据全球导航卫星系统获取的位姿信息判断所述车载平台是否存在回环；
若所述车载平台存在回环，则通过场景相似性检索对回环车载平台进行筛选；
将跨视角匹配计算得到的位姿加入场景回环中，计算经过跨视角匹配帧的位姿与其他帧位姿之间的旋转角度和平移距离，并基于所述旋转角度和所述平移距离构建图优化损失函数。
在一种实现方式中，所述基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，包括：
根据局部场景回环检测数量以及跨视角匹配获取的位姿个数判断是否需要进行局部回环优化；
若需要进行局部回环优化，则将车辆行驶过程拆解为子图进行管理，并根据间断式全局位置计算结果对所述子图进行轨迹优化；
在所述局部回环优化的基础上，根据所述车载平台所记录的行驶距离与时间调用全局优化模块，构建所述车载平台在不同帧之间的全局损失，通过图优化方法对所述车载平台的轨迹进行全局优化。
第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被所述处理器执行时用于实现如第一方面所述的空地视角图像协同的车载系统定位方法的操作。
第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被处理器执行时用于实现如第一方面所述的空地视角图像协同的车载系统定位方法的操作。
本发明采用上述技术方案具有以下效果：
本发明通过获取空中影像，根据空中影像构建空中神经辐射场模型，并基于空中神经辐射场模型进行地面多视角影像反演；再通过融合卷积神经网络与视觉自注意力模型对空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；之后采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对车载平台的轨迹进行优化，输出优化后的车载系统定位信息，从而实现空地视角图像协同的车载系统定位，提高了车载移动平台的定位精度；本发明提出新的大视角差异下的视觉图像匹配的方法，提高空中影像与地面影像跨视角匹配和信息融合能力和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中空地视角图像协同的车载系统定位方法的流程图。
图2是本发明的一种实现方式中空地视角图像协同的车载系统定位方法的示意图。
图3是本发明的一种实现方式中空中影像神经辐射场场景构建与地面多视角影像反演示意图。
图4是本发明的一种实现方式中全局与局部特征一致性保持的影像特征提取与姿态优化示意图。
图5是本发明的一种实现方式中多模态信息耦合的移动车载平台鲁棒回环检测与全局优化示意图。
图6是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明提供空地视角图像协同的车载系统定位方法、终端及存储介质。为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
由于现有的地面车载系统定位方法都有其局限性，针对长距离行驶过程当中的轨迹漂移，基于全球导航卫星系统（GNSS）的定位方法在建筑密集区域容易产生巨大的位置偏差，基于车辆自身感知数据的位置估计方法容易随车辆的行驶距离逐渐增加。而基于空地跨视角匹配方法的定位精度与建筑物分布以及地形关系不大，能够长时间维持相对稳定的定位精度。
针对上述技术问题，本发明实施例提供一种空地视角图像协同的车载系统定位方法，目的是提出新的大视角差异下的视觉图像匹配的方法，可极大程度提高车载移动平台的定位精度，克服空地跨视角融合感知和协同优化中大视角差异特征一致性保持、跨视图鲁棒特征匹配与精准位置计算以及空地跨视图回环检测与全局优化等挑战性难题，为面向城市大范围区域空地协同定位与协同制图提供技术支撑。
本发明的目的在于充分集成城市空中高分辨率空中影像数据与移动车载平台自感知图像，利用城市倾斜摄影得到的空中影像序列数据，构建城市高层建筑密集区域、城中村区域以及地面遮挡严重区域的神经辐射场场景，并结合车载系统自身感知信息、全球导航卫星系统（GNSS）定位信息对车载系统进行位姿估计和协同优化。
如图1所示，本发明实施例提供一种空地视角图像协同的车载系统定位方法，包括以下步骤：
步骤S100，获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演。
在本实施例中，所述空地视角图像协同的车载系统定位方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备；所述终端设置有空地视角图像协同的车载系统定位模型的训练迁移平台。
在本实施例中，创新性引入神经辐射场场景渲染技术，研究基于空中神经辐射场模型的地面多视角影像真实反演方法，通过任意地面位置和角度的影像反演，极大程度消除空地影像视角差异，该方法将有望大幅提升空中影像与地面影像跨视角匹配的信息融合能力和精度；本实施例中，提出一种全局和局部特征一致性保持的影像特征提取与姿态计算方法，通过融合卷积神经网络与视觉自注意力的特征编码方法，使网络能够从图像中更好的提取全局和局部特征，并基于跨层连接的多级图像特征解码思路，通过交叉层连接对多级图像特征进行解码，同时计算每个像素的特征权重图，最终通过由粗到细的渐进式迭代优化与位置计算方法准确恢复地面影像多个自由度相机位姿。
如图2所示，本实施例包括以下步骤：1、空中影像神经辐射场场景构建与地面多视角影像反演；2、特征一致性保持的影响特征提取与姿态优化；3、多模态信息耦合的移动车载平台鲁棒回环检测与全局优化。本实施例从效率与成本上来说，可极大程度提高车载移动平台的定位精度；克服空地跨视角融合感知和协同优化中大视角差异特征一致性保持、跨视图鲁棒特征匹配与精准位置计算以及空地跨视图回环检测与全局优化等挑战性难题，为面向城市大范围区域空地协同定位与协同制图提供技术支撑。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，获取所述空中影像，采用基于空中影像神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型；
步骤S102，采用空中影像姿态引导地面多视角位姿生成方法，将所述空中影像投影到地面，并将所述空中影像的角度信息赋予地面影像，生成所述地面影像的位姿；
步骤S103，根据所述车载平台的实时位置和感知图像选取匹配的空中影像，并建立所述地面影像与反演影像的匹配关系。
如图3所示，在本实施例中，首先通过倾斜摄影数据构建城市大规模神经辐射场模型，根据车载系统实时感知的图像进行场景检索；随后，采用空中影像姿态引导地面多视角位姿生成；将空中影像位置投影到地面，并将空中影像角度信息赋予地面影像，进而生成地面图像的位姿；该位姿将进一步用于地面影像的神经辐射场反演。进而，针对城市目标区域进行带有一定重叠度的规则化区域划分，进而根据空中影像的位姿信息独立训练不同地理空间上的城市区域神经辐射场模型。随后，根据移动车载平台的实时位置和感知图像来自动选取最优匹配的空中影像，并根据空中影像的姿态来引导生成地面多视角位姿。
具体地，在本实施例的一种实现方式中，步骤S101包括以下步骤：
步骤S101a，采用深度学习点特征计算方法计算得到空中影像特征，并根据所述空中影像特征计算词袋模型，构建空中影像特征库；
步骤S101b，针对目标区域进行规则化区域划分，根据所述空中影像的位姿信息独立训练对应区域的空中神经辐射场模型。
在本实施例中，首先采用深度学习特征点计算方法实现所有空中影像特征计算，基于深度学习特征点计算方法从rgb三通道信息中学习图像特征，最终通过特征图进行表达。并根据影像特征信息计算词袋（Bow，Bag of Words），完成空中影像特征库的构建。进而，针对城市目标区域进行带有一定重叠度的规则化区域划分，例如：将目标区域均匀划分为60*60米区域大小。进而根据空中影像的位姿信息独立训练不同地理空间上的城市区域神经辐射场模型。
在本实施例中，基于空中神经辐射场模型的地面多视角影像真实反演技术。采用大范围空中影像神经辐射场模型加速训练与渲染方法，实现空中神经辐射场场景的高效建模；随后基于场景检索的地面多视角图像计算与影像反演方法，实现从空中神经辐射场模型到地面任意视角影像的计算和渲染；最终，通过多视角反演图像与地面影像最优检索方法，建立地面影像与反演影像最优匹配关系。
如图1所示，在本发明实施例的一种实现方式中，空地视角图像协同的车载系统定位方法还包括以下步骤：
步骤S200，通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿。
在本实施例中，设计了一种全局和局部特征一致性保持的影像特征提取与姿态计算方法。通过融合卷积神经网络与视觉自注意力的特征编码方法，使网络能够从图像中更好的提取全局和局部特征，并基于跨层连接的多级图像特征解码思路，通过交叉层连接对多级图像特征进行解码，同时计算每个像素的特征权重图，最终通过由粗到细的渐进式迭代优化与位置计算方法准确恢复地面影像多个自由度相机位姿。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，采用融合视觉自注意力与卷积神经网络的特征编码方法对所述空中影像进行编码，从所述空中影像中提取全局特征和局部特征；
步骤S202，采用跨层连接的多级图像特征解码方法融合不同尺度特征图中的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建；
步骤S203，采用由粗到细的渐进式迭代优化与位置计算方法，恢复地面影像的多个自由度相机位姿。
如图4所示，在本实施例中，采用了一种融合视觉自注意力模型（Swin-Transformer）与卷积神经网络（CNN）的特征编码方法，该方法有助于在特征学习过程中有效地捕捉全局信息，同时保留传统卷积神经网络的局部感知能力。为了解码高维特征，提出采用综合各个尺度的交叉跳跃连接方法实现不同尺度特征图低级与高级语义信息融合。编码器的每一层都融合来自同一尺度的特征图和更小尺度的特征图以及解码器中更大尺度的特征图。针对一个特定的场景，将使用运动结构恢复（Structure from Motion，SFM）方法对其空中影像进行稀疏重建。给定一个地面查询图像，使用图像检索算法（Netvlad）获取相似度最高且重叠度最大的参考图像。随后，为地面查询图像和参考图像这两个图像在三个不同尺度下计算特征图和置信度图。通过将三维点重新投影到二维图像平面上计算残差，并通过采用不同层级的特征图迭代优化得到的特征图，从粗到细逐步优化相机姿态来最小化残差。
具体地，可以通过计算投影之后的图像特征匹配点之间的像素距离，进而累加得到残差。
具体地，在本实施例的一种实现方式中，步骤S202包括以下步骤：
步骤S202a，将解码得到的各个层级的特征图进行跳跃连接；
步骤S202b，采用所述运动结构恢复方法对所述空中影像进行稀疏重建。
在本实施例中，将解码得到的各个层级的特征图进行跳跃连接，其中，特征图总共分为5个尺度，编码器的每一层都融合来自同一尺度的特征图和更小尺度的特征图以及解码器中更大尺度的特征图。例如将第五层级与第四层级特征连接解码得到第四层级特征，将第三、四、五层级特征连接得到第三层级特征，以此类推得到第一层级特征。
在本实施例中，采用一种全局和局部特征一致性保持的影像特征提取与姿态计算方法。构建融合卷积神经网络与视觉自注意力模型的特征编码方法，使网络能够从图像中更好的提取全局和局部特征，并采用由粗到细地渐进式迭代优化与位置计算方法，准确恢复地面影像多个自由度相机位姿。
如图1所示，在本发明实施例的一种实现方式中，空地视角图像协同的车载系统定位方法还包括以下步骤：
步骤S300，采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息。
在本实施例中，通过多模态信息耦合的方式对移动车载平台在运行过程中的局部和全局回环进行检测。通过三种数据来源分别判断移动车载平台是否产生回环约束。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准；
步骤S302，基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，输出所述优化后的车载系统定位信息。
如图5所示，在本实施例中，采用空地影像融合的间断式回环检测与姿态校准方法，根据车载系统行驶的距离与时间，采用空地跨视角匹配方法动态计算车载系统全局位姿信息，并与车辆自身感知信息与全球导航卫星系统（GNSS）定位信息集成用于场景的回环检测，回环即当车辆回到同一个位置。基于局部场景车载平台轨迹图优化方法，将根据局部场景回环检测数量以及跨视角匹配获取的位姿个数来判断是否需要进行局部场景回环检测。最终在局部回环优化的基础上，根据移动车载平台行驶的距离与时间调用全局优化模块，构建移动车载平台不同帧之间构建的全局损失，通过图优化方法对整体轨迹进行全局优化。
具体地，在本实施例的一种实现方式中，步骤S301包括以下步骤：
步骤S301a，根据所述车载平台的位姿与感知信息，在几何和感知信息特征层面进行相似性检索，判断车辆是否存在回环；
步骤S301b，若车辆存在回环，则根据全球导航卫星系统获取的位姿信息判断所述车载平台是否存在回环；
步骤S301c，若所述车载平台存在回环，则通过场景相似性检索对回环车载平台进行筛选；
步骤S301d，将跨视角匹配计算得到的位姿加入场景回环中，计算经过跨视角匹配帧的位姿与其他帧位姿之间的旋转角度和平移距离，并基于所述旋转角度和所述平移距离构建图优化损失函数。
在本实施例中，根据移动车载平台位姿与感知信息，在几何和感知信息特征层面可进行相似性检索，判断车辆是否存在回环，所述感知信息为车辆获取的实时图像。
在本实施例中，根据全球导航卫星系统（GNSS）获取的位姿信息初步判断移动车载平台是否回环，在此基础上通过场景相似性检索对回环进行筛选，通过将车辆获取的图像与之前的图像进行对比检索，找到最优匹配，从而得到筛选的结果。
在本实施例中，将跨视角匹配计算得到的位姿加入场景回环中，计算经过跨视角匹配帧的位姿与其他帧位姿之间的旋转和平移，并将其加入图优化损失函数的构建。具体地，假设两个位姿之间存在旋转和平移T，则T*T1=T2，T可通过T2乘T1的逆得到。
具体地，在本实施例的一种实现方式中，步骤S302包括以下步骤：
步骤S302a，根据局部场景回环检测数量以及跨视角匹配获取的位姿个数判断是否需要进行局部回环优化；
步骤S302b，若需要进行局部回环优化，则将车辆行驶过程拆解为子图进行管理，并根据间断式全局位置计算结果对所述子图进行轨迹优化；
步骤S302c，在所述局部回环优化的基础上，根据所述车载平台所记录的行驶距离与时间调用全局优化模块，构建所述车载平台在不同帧之间的全局损失，通过图优化方法对所述车载平台的轨迹进行全局优化。
在本实施例中，基于局部场景车载平台轨迹图优化方法，将车辆行驶过程拆解为子图进行管理，根据间断式全局位置计算结果对子图进行轨迹优化；在局部图优化的基础上，结合车辆自身感知数据，进行回环检测，并进行全局的轨迹优化。
具体地，将根据局部场景回环检测数量以及跨视角匹配获取的位姿个数来判断是否需要进行局部场景回环检测，其中，局部场景回环检测数量为车辆在行进过程中通过空地匹配得到的约束个数，当个数大于一定阈值时，判断车辆需要进行局部场景回环检测，该阈值可以设定为3。
在本实施例中，最终在局部回环优化的基础上，根据移动车载平台行驶的距离与时间调用全局优化模块，构建移动车载平台不同帧之间构建的全局损失，通过图优化方法对整体轨迹进行全局优化。图优化损失函数是用来进行整体位姿优化的，它的损失计算是经过旋转和平移传递之后，回到同一个点的位姿漂移结果。
在本实施中，采用空地影像融合的间断式回环检测与姿态校准方法，根据车载系统行驶的距离与时间，采用空地跨视角匹配方法动态计算车载系统全局位姿信息，并将车辆自身感知信息与全球导航卫星系统（GNSS）定位信息集成用于场景的回环检测；基于局部场景车载平台轨迹图优化方法，将车辆行驶过程拆解为子图进行管理，根据间断式全局位置计算结果对子图进行轨迹优化；在局部图优化的基础上，结合车辆自身感知数据，进行回环检测，并进行全局的轨迹优化。
本实施例通过上述技术方案达到以下技术效果：
本实施例通过倾斜摄影数据构建城市大规模神经辐射场模型，根据车载系统实时感知的图像进行场景检索；融合卷积神经网络与视觉自注意力模型对图像进行特征编码并根据特征图的层级顺序进行渐进式迭代优化并计算位姿；综合车载平台感知位姿、全球导航卫星系统（GNSS）位姿与跨视角匹配位姿等多模态信息，对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法实现车载平台的轨迹优化，输出优化后的车载系统定位信息；本实施例提出新的大视角差异下的视觉图像匹配的方法，提高车载移动平台的定位精度，克服空地跨视角融合感知和协同优化中大视角差异特征一致性保持、跨视图鲁棒特征匹配与精准位置计算以及空地跨视图回环检测与全局优化等挑战性难题，形成面向城市大范围区域空地协同定位与协同制图整体解决方案。
示例性设备
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
所述计算机程序被所述处理器执行时用以实现一种空地视角图像协同的车载系统定位方法的操作。
本领域技术人员可以理解的是，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被所述处理器执行时用于实现如上所述的空地视角图像协同的车载系统定位方法的操作。
在一个实施例中，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被所述处理器执行时用于实现如上所述的空地视角图像协同的车载系统定位方法的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种空地视角图像协同的车载系统定位方法、终端及存储介质，方法包括：获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息；本发明提出新的大视角差异下的视觉图像匹配的方法，提高空中影像与地面影像跨视角匹配和信息融合能力和精度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种空地视角图像协同的车载系统定位方法，其特征在于，包括：
获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；
通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；
采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息。
2.根据权利要求1所述的空地视角图像协同的车载系统定位方法，其特征在于，所述获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演，包括：
获取所述空中影像，采用基于空中影像神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型；
采用空中影像姿态引导地面多视角位姿生成方法，将所述空中影像投影到地面，并将所述空中影像的角度信息赋予地面影像，生成所述地面影像的位姿；
根据所述车载平台的实时位置和感知图像选取匹配的空中影像，并建立所述地面影像与反演影像的匹配关系。
3.根据权利要求2所述的空地视角图像协同的车载系统定位方法，其特征在于，所述获取所述空中影像，采用基于空中影像神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型，包括：
采用深度学习点特征计算方法得到空中影像特征，并根据所述空中影像特征计算词袋模型，构建空中影像特征库；
针对目标区域进行规则化区域划分，根据所述空中影像的位姿信息独立训练对应区域的空中神经辐射场模型。
4.根据权利要求1所述的空地视角图像协同的车载系统定位方法，其特征在于，所述通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿，包括：
采用融合视觉自注意力与卷积神经网络的特征编码方法对所述空中影像进行编码，从所述空中影像中提取全局特征和局部特征；
采用跨层连接的多级图像特征解码方法融合不同尺度特征图中的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建；
采用由粗到细的渐进式迭代优化与位置计算方法，恢复地面影像的多个自由度相机位姿。
5.根据权利要求4所述的空地视角图像协同的车载系统定位方法，其特征在于，所述采用跨层连接的多级图像特征解码方法融合不同尺度特征图中低级与高级的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建，包括：
将解码得到的各个层级的特征图进行跳跃连接；
采用所述运动结构恢复方法对所述空中影像进行稀疏重建。
6.根据权利要求1所述的空地视角图像协同的车载系统定位方法，其特征在于，所述采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息，包括：
综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准；
基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，输出所述优化后的车载系统定位信息。
7.根据权利要求6所述的空地视角图像协同的车载系统定位方法，其特征在于，所述综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准，包括：
根据所述车载平台的位姿与感知信息，在几何和感知信息特征层面进行相似性检索，判断车辆是否存在回环；
若车辆存在回环，则根据全球导航卫星系统获取的位姿信息判断所述车载平台是否存在回环；
若所述车载平台存在回环，则通过场景相似性检索对回环车载平台进行筛选；
将跨视角匹配计算得到的位姿加入场景回环中，计算经过跨视角匹配帧的位姿与其他帧位姿之间的旋转角度和平移距离，并基于所述旋转角度和所述平移距离构建图优化损失函数。
8.根据权利要求6所述的空地视角图像协同的车载系统定位方法，其特征在于，所述基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，包括：
根据局部场景回环检测数量以及跨视角匹配获取的位姿个数判断是否需要进行局部回环优化；
若需要进行局部回环优化，则将车辆行驶过程拆解为子图进行管理，并根据间断式全局位置计算结果对所述子图进行轨迹优化；
在所述局部回环优化的基础上，根据所述车载平台所记录的行驶距离与时间调用全局优化模块，构建所述车载平台在不同帧之间的全局损失，通过图优化方法对所述车载平台的轨迹进行全局优化。
9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的空地视角图像协同的车载系统定位方法的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有空地视角图像协同的车载系统定位程序，所述空地视角图像协同的车载系统定位程序被处理器执行时用于实现如权利要求1-8中任意一项所述的空地视角图像协同的车载系统定位方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746880.2A CN117422764B (zh) | 2023-12-19 | 2023-12-19 | 空地视角图像协同的车载系统定位方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746880.2A CN117422764B (zh) | 2023-12-19 | 2023-12-19 | 空地视角图像协同的车载系统定位方法、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422764A true CN117422764A (zh) | 2024-01-19 |
| CN117422764B CN117422764B (zh) | 2024-04-16 |
Family
ID=89532942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746880.2A Active CN117422764B (zh) | 2023-12-19 | 2023-12-19 | 空地视角图像协同的车载系统定位方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422764B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200029013A1 (en) * | 2018-04-16 | 2020-01-23 | Government Of The United States, As Represented By The Secretary Of The Air Force | Human-Automation Collaborative Tracker of Fused Object |
| CN112883850A (zh) * | 2021-02-03 | 2021-06-01 | 湖北工业大学 | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 |
| CN113899363A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 车辆的定位方法、装置及自动驾驶车辆 |
| CN114241464A (zh) * | 2021-11-30 | 2022-03-25 | 武汉大学 | 基于深度学习的跨视角影像实时匹配地理定位方法及系统 |
| CN114485619A (zh) * | 2022-01-26 | 2022-05-13 | 清华大学 | 基于空地协同的多机器人定位和导航方法及装置 |
| CN115936029A (zh) * | 2022-12-13 | 2023-04-07 | 湖南大学无锡智能控制研究院 | 一种基于二维码的slam定位方法及装置 |
| CN116483094A (zh) * | 2023-06-07 | 2023-07-25 | 中国人民解放军陆军装甲兵学院 | 一种融合空地视角和多维信息的无人车路径规划方法 |
-
2023
- 2023-12-19 CN CN202311746880.2A patent/CN117422764B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200029013A1 (en) * | 2018-04-16 | 2020-01-23 | Government Of The United States, As Represented By The Secretary Of The Air Force | Human-Automation Collaborative Tracker of Fused Object |
| CN112883850A (zh) * | 2021-02-03 | 2021-06-01 | 湖北工业大学 | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 |
| CN113899363A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 车辆的定位方法、装置及自动驾驶车辆 |
| US20220229193A1 (en) * | 2021-09-29 | 2022-07-21 | Beijing Baidu Netcom Science Technology Co., Ltd. | Vehicle positioning method, apparatus and autonomous driving vehicle |
| CN114241464A (zh) * | 2021-11-30 | 2022-03-25 | 武汉大学 | 基于深度学习的跨视角影像实时匹配地理定位方法及系统 |
| CN114485619A (zh) * | 2022-01-26 | 2022-05-13 | 清华大学 | 基于空地协同的多机器人定位和导航方法及装置 |
| CN115936029A (zh) * | 2022-12-13 | 2023-04-07 | 湖南大学无锡智能控制研究院 | 一种基于二维码的slam定位方法及装置 |
| CN116483094A (zh) * | 2023-06-07 | 2023-07-25 | 中国人民解放军陆军装甲兵学院 | 一种融合空地视角和多维信息的无人车路径规划方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周宝定 等: "环境语义信息辅助的室内停车场车辆定位方法", 《测绘通报》, no. 6, 30 June 2022 (2022-06-30), pages 6 - 11 * |
| 朱家松 等: "基于互补滤波融合WiFi和PDR的行人室内定位", 《测绘通报》, no. 5, 31 May 2019 (2019-05-31), pages 12 - 15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422764B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10991156B2 (en) | Multi-modal data fusion for enhanced 3D perception for platforms | |
| Sun et al. | Leveraging crowdsourced GPS data for road extraction from aerial imagery | |
| US20220262115A1 (en) | Visual-Inertial Positional Awareness for Autonomous and Non-Autonomous Tracking | |
| US11030525B2 (en) | Systems and methods for deep localization and segmentation with a 3D semantic map | |
| US20220292701A1 (en) | Unsupervised learning of image depth and ego-motion prediction neural networks | |
| US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
| CN103703758B (zh) | 移动增强现实系统 | |
| KR20210043518A (ko) | 고정밀도 맵 작성 방법 및 장치 | |
| AU2012314085B2 (en) | Localising a vehicle along a route | |
| CN113129439A (zh) | 实现协同3d地图数据融合平台的系统和方法及其虚拟世界系统 | |
| CN113989451B (zh) | 高精地图构建方法、装置及电子设备 | |
| CN112750203A (zh) | 模型重建方法、装置、设备及存储介质 | |
| US20210383544A1 (en) | Semantic segmentation ground truth correction with spatial transformer networks | |
| Dimitrievski et al. | Robust matching of occupancy maps for odometry in autonomous vehicles | |
| CN116433845A (zh) | 一种基于多无人机协同的陌生环境快速建模方法及系统 | |
| Buyukdemircioglu et al. | Deep learning for 3D building reconstruction: A review | |
| Lentsch et al. | Slicematch: Geometry-guided aggregation for cross-view pose estimation | |
| CN113932796A (zh) | 高精地图车道线生成方法、装置和电子设备 | |
| EP4001965A1 (en) | Lidar localization using optical flow | |
| Li et al. | Map-based localization for intelligent vehicles from bi-sensor data fusion | |
| CN117422764B (zh) | 空地视角图像协同的车载系统定位方法、终端及存储介质 | |
| Wang et al. | Swin-T-NFC CRFs: An encoder–decoder neural model for high-precision UAV positioning via point cloud super resolution and image semantic segmentation | |
| Spiegel et al. | Using Simulation Data From Gaming Environments For Training A Deep Learning Algorithm On 3D Point Clouds | |
| CN115062445A (zh) | 基于自然驾驶数据的仿真场景构建方法及系统 | |
| CN113505834A (zh) | 训练检测模型、确定图像更新信息和更新高精地图的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |