CN116630556A - 基于空中地图数据重构地图的方法、系统及存储介质 - Google Patents

基于空中地图数据重构地图的方法、系统及存储介质 Download PDF

Info

Publication number
CN116630556A
CN116630556A CN202310498680.3A CN202310498680A CN116630556A CN 116630556 A CN116630556 A CN 116630556A CN 202310498680 A CN202310498680 A CN 202310498680A CN 116630556 A CN116630556 A CN 116630556A
Authority
CN
China
Prior art keywords
ground
dimensional
image
aerial
map data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310498680.3A
Other languages
English (en)
Inventor
曾灿灿
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionstar Information Technology Shanghai Co ltd
Original Assignee
Visionstar Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionstar Information Technology Shanghai Co ltd filed Critical Visionstar Information Technology Shanghai Co ltd
Priority to CN202310498680.3A priority Critical patent/CN116630556A/zh
Publication of CN116630556A publication Critical patent/CN116630556A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于空中地图数据重构地图的方法、系统及存储介质。所述方法包括：基于空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；基于地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图；将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据。本发明能够实现地面地图数据的校准。

Description

基于空中地图数据重构地图的方法、系统及存储介质
技术领域
本发明涉及计算机三维重建技术领域，特别涉及一种基于空中地图数据重构三维地图数据的方法、重建三维地图的方法及相应系统、存储介质。
背景技术
计算机三维重建技术在机器人学和计算机视觉以及计算机图形学领域被广泛研究，目前广泛应用于增强现实(AR)、虚拟现实(VR)、移动机器人和自动驾驶等领域。基于地面图像的三维重建在各种三维重建方法中由于成本低精度高而占有十分重要的地位。
在自动驾驶或AR/VR等领域，地面图像的获取主要是通过手持设备或者固定在机器人、车辆上的相机拍摄完成的。这些从地面端获取的地面图像，往往视野较窄而且缺乏高精度的全局定位(例如GPS)。基于地面图像重建的地图模型缺乏顶部，并且容易产生漂移，全局定位精度较差。
公开号为CN114923477A的中国专利文件公开了一种基于视觉与激光SLAM技术的多维度空地协同建图系统和方法，如图1所示。该现有技术的系统包括：地面站、无人机和无人车。无人机包括整体物理架构、机载嵌入式电脑和图像传感器；整体物理架构包括机架、四旋翼和电机；机载嵌入式电脑包括通信模块与嵌入式处理器，图像传感器包括双目相机与RGB-D相机。无人车包括嵌入式处理器、激光雷达传感器和通信模块。地面站包括显示控件、控制控件和通信控件。该现有技术利用地面站输出控制和建图指令，将无人机构建的3D点云地图和无人机构建的2D平面栅格地图通过SLAM技术进行融合。该现有技术通过无人机或者卫星拍摄的图像克服了地面图像的缺陷，消除了GPS信号弱等因素造成的定位误差，提高了建图的精准度。
但是，现有技术缺乏地面图像定位与空中图像定位的校准与对齐，虽然空中图像具备良好的定位精确度，但无法改善地面图像本身带来的地面地图数据的定位缺陷。
发明内容
本发明技术方案解决的技术问题为，如何将地面图像定位数据与空中图像定位数据对齐，从而实现地面地图数据的校准。
为了解决上述技术问题，本发明技术方案提供了一种基于空中地图数据重构三维地图数据的方法，包括：
实景获取目标场景的多张空中图像及地面图像；
基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；
基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；
基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：
基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；
对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图，所述N为预设的自然数值；
将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；
所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
可选的，所述空中图像为无人机拍摄的正射或者倾斜拍摄的图片集合，所述地面图像为由人或地面运动的机器人、车辆用手机或者相机拍摄的图片集合。
可选的，所述基于所述空中图像进行三维重建并与全局坐标系对齐包括：
获取空中图像特征点集；
基于所述空中图像构建空中三维视觉地图，并获得所述空中图像特征点集相对于所述空中三维视觉地图的空中三维点云坐标集；
将所述空中三维点云坐标集对齐于所述全局坐标系以获得全局坐标系下的空中三维点云坐标集；
所述空中三维图像数据包括：所述空中图像特征点集及全局坐标系下的空中三维点云坐标集。
可选的，所述空中图像特征点集基于纹理特征获取。
可选的，所述基于所述地面图像计算设备位姿并与所述全局坐标系对齐包括：
获取地面图像特征点集；
基于所述地面图像构建地面三维视觉地图，并获得所述地面图像特征点集相对于所述地面三维视觉地图的地面三维点云坐标集；
将所述地面三维点云坐标集的初始位姿信息对齐于所述全局坐标系，以获得全局坐标系下地面三维点云坐标集的全局位姿信息；
所述地面三维图像数据包括：所述地面图像特征点集、地面三维点云坐标集及全局位姿信息。
可选的，所述将所述地面三维点云坐标集的位姿信息对齐于所述全局坐标系包括：
为所述地面三维点云坐标集的初始位姿信息添加随机偏移量，以得到地面三维点云坐标集的偏移位姿信息；
基于所述空中三维图像数据及偏移位姿信息渲染得到新的地面三维视觉地图；
基于所述新的地面三维视觉地图，获得相对于所述地面图像特征点集的新的地面三维点云坐标集；
将所述新的地面三维点云坐标集的初始位姿信息作为所述全局坐标系下地面三维点云坐标集的相对位姿信息。
可选的，所述基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据，包括：
基于所述地面三维图像数据获取所述全局坐标系下地面视角图像的位姿信息，并确定渲染图像所采用的相机模型，包括渲染图像的位姿与成像模型；
利用所述空中三维图像数据，采用所述相机模型，在所述地面视角图像的位姿信息所确定的位置渲染地面视角图像；
所述地面视角三维图像数据包括：所述地面视角图像的地面视角图像特征集及全局坐标系下的地面视角三维点云坐标集。
可选的，所述将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据，包括：
提取所述渲染图的渲染特征点集并与指定地面图像的地面图像特征点集进行匹配，以获得相互匹配的匹配渲染特征点集及匹配地面图像特征集；
基于所述匹配渲染特征点集从对应的地面视角三维图像数据找到全局坐标系下的匹配渲染三维点云坐标集；
将所述匹配地面图像特征集与所述全局坐标系下的匹配渲染三维点云坐标集相关联以得到所述地面视角匹配三维图像数据。
可选的，所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据还包括：
根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整；
所述基于空中地图数据重构三维地图数据的方法还包括：
重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据；
当捆绑结果符合阈值，输出所述重构三维地图数据。
可选的，所述根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整包括：
计算全局坐标系下的匹配渲染三维点云坐标及地面三维点云坐标相对于地面图像特征点坐标的重投影误差总和，所述捆绑结果为该重投影误差总和。
可选的，所述基于空中地图数据重构三维地图数据的方法，其特征在于，如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，还包括：
重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据直到符合预设次数；
输出所述重构三维地图数据。
为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的方法，包括：
基于如上所述的基于空中地图数据重构三维地图数据的方法输出所述三维地图数据；
基于所述三维地图数据对地图图像进行三维重建。
为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重构三维地图数据的系统，包括：
获取模块，适于实景获取目标场景的多张空中图像及地面图像；
第一计算模块，适于基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；
第二计算模块，适于基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；
优化模块，适于基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；
所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：
基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；
对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图，所述N为预设的自然数值；
将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；
所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的系统，包括：
输出模块，适于与如上所述的基于空中地图数据重构三维地图数据的系统连接，以输出所述三维地图数据；
重建模块，适于基于所述三维地图数据对地图图像进行三维重建。
为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如上所述的基于空中地图数据重构三维地图数据的方法之步骤。
为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重构三维地图数据的系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如上所述的基于空中地图数据重建三维地图的方法之步骤。
为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于空中地图数据重构三维地图数据的方法之步骤。
为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于空中地图数据重建三维地图的方法之步骤。
本发明技术方案的有益效果至少包括：
本发明技术方案通过分别将空中图像与地面图像在全局坐标系中对齐，以获得空中三维图像数据及地面三维图像数据，并基于空中三维图像数据对地面三维图像数据进行优化，使空中三维图像数据及地面三维图像数据进行重叠，获得对应的地面视角匹配三维图像数据，并据此重构三维地图数据，使天空三维图像数据及地面三维图像数据以地面视角匹配三维图像数据为中心建立数据之间的关联性，实现地面地图数据的校准。
本发明技术方案基于天空三维地图数据渲染地面视角图像，然后用渲染的地面视角图像作为中介与地面图像进行特征匹配，从而建立地面三维地图数据和天空三维地图数据之间的关联性。渲染得到的地面视角图像在视角方向、分辨率方面与地面图像类似，本发明技术方案因此克服了现有技术中缺乏地面图像定位与空中图像定位的校准与对齐的问题，解决了地面三维地图数据和空中三维地图数据差异太大无法直接匹配的难题。
本发明技术方案还利用了地面三维数据的位姿信息，在地面三维数据所确认的位姿信息附近渲染地面视角图像，使渲染图像接近于真实拍摄的地面图像，从而在图像特征匹配时可以匹配到更多的特征点，产生的约束也就越强，从而提高全局捆绑调整(BA)后的位姿精度。本发明技术方案下获得的渲染图像和对应的真实拍摄的地面图像更为相似，因此优化后的地面三维图像数据也能具备更加接近真实全局姿态的位姿信息。
本发明技术方案考虑到预期地面三维地图数据的全局精度不高，可选方案中，在渲染前基于地面图像计算设备位姿时对渲染相机的位姿加上随机偏移量，可增强算法的稳健型性，得到更高的全局位姿精度。在本发明技术方案的可选方案中，可以采用空中三维模型，按照设备位姿渲染出来一个视角，这个位姿非常接近于真实拍摄的地面图像位姿。因此，通过渲染出来的图像数据与真实地面图像非常相似，可以提高地面三维地图数据的全局精度。
本发明技术方案使获取的地面三维地图数据和空中三维地图数据达到了非常紧密的耦合，其二者的三维点云数据会很好的融合在一起。因此本发明技术方案能够单独基于校准后的地面三维地图数据、或者校准后的地面三维地图数据和空中三维地图数据，生成新的三维地图模型。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明技术方案提供的一种现有技术的基于视觉与激光SLAM技术的多维度空地协同建图系统结构示意图；
图2为本发明技术方案提供的一种将地面三维地图数据与空中三维图像数据进行关联与融合以获得重构三维地图数据的数据关系示意图；
图3为本发明技术方案提供的一种基于空中地图数据重构三维地图数据的方法之步骤流程示意图；
图4为本发明技术方案提供的一种基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据之过程的步骤流程示意图；
图5为本发明技术方案提供的另一种基于空中地图数据重构三维地图数据的方法之步骤流程示意图；
图6为本发明技术方案提供的另一种基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据之过程的步骤流程示意图；
图7为本发明技术方案提供的又一种基于空中地图数据重构三维地图数据的方法之步骤流程示意图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。
由于现有技术的地图三维重建技术基于地面图像及地面三维地图数据，地面图像缺乏地图顶部数据，在全局定位(例如GPS)存在精度缺陷。虽然空中拍摄图像具有建图精度，但是无法改善地面图像及地面三维地图数据的定位缺陷。
本发明技术方案通过将空中图像的三维地图数据与地面图像的三维地图数据融合，使空中地图数据与地面地图数据的坐标系统一，从而使两者产生的三维点云数据能够很好的重叠，从而构建新的三维地图数据，并辅助构建高精度的三维地图模型。
本发明技术方案适用于空中三维数据是无人机拍摄的正射或者倾斜摄影图片集合。在现有技术中，地面图像可以是由人或地面运动的机器人、车辆用手机或者相机拍摄的图片集合。空中图像则为从空中拍摄的场景俯视图，空中图像的内容很大一部分都是屋顶、树冠等地面数据覆盖的内容，并且从空中拍摄的图像一般覆盖面积非常大。相较于空中图像，从地面图像的内容覆盖范围很小，一张地面图像所摄内容可能只占一张空中图像很小的拍摄区域。以上视角差异和分辨率差异导致现有技术的空中图像与地面图像难以融合。
但是从空中拍摄图像数据时，由于没有遮挡，一般具有非常好的GPS信号，甚至可以达到毫米级的全局精度。而从地面拍摄的图像数据由于遮挡问题，GPS信号一般很差甚至完全没有，因此全局约束较差。
地面拍摄的图像视野还较为狭窄，导致地面图像三维重建的位姿恢复阶段产生明显的漂移，无法精确定位。
本发明技术方案结合空中图像数据及地面图像数据两者在视角上、分辨率上以及全局精度上的互补性，提供了本发明技术方案将两种图像数据进行融合，并对地图数据进行了重构。本发明技术方案获取的重构三维地图数据具备完整性、精细度和全局精度，能够改善地面图像带来的地面地图数据的定位缺陷，从而实现三维地图数据校准。
如图2所示，本发明技术方案的基本思路为：
本发明技术方案开创地通过现有技术中地面三维地图数据的粗略位姿，改善粗略位姿得到经过偏移的位姿信息，并根据位姿信息及空中三维图像数据渲染得到对地视角图像及对地视角三维地图数据，进一步将地面图像与对地视角图像特征匹配，从而确定地面三维地图数据与对地视角图像数据的对应关系，最终将地面三维地图数据与空中三维图像数据进行关联与融合，获得重构三维地图数据。
上述技术方案可以通过预设次数的有限次迭代或者预设损失函数以控制损失函数的改变量(当前后次损失函数的改变量差值或损失函数的改变量数值小于或等于预设数值时则满足控制条件)以提高所重构三维地图数据的精度。
实施例一
基于上述发明思路，结合图3，本发明技术方案的实施例提供了一种基于空中地图数据重构三维地图数据的方法，包括如下步骤：
步骤S100，实景获取目标场景的多张空中图像及地面图像。
在步骤S100中，所述空中图像为无人机拍摄的正射或者倾斜拍摄的图片集合，所述地面图像为由人或地面运动的机器人、车辆用手机或者相机拍摄的图片集合。
具体的，可以通过如下方式利用无人机获取实景目标场景的多张空中图像：可以通过局域网向无人机输出控制与建图指令，无人机可以选用RGB-D相机与双目相机搭载，RGB-D相机可用于在室外获取单目图像与深度信息，双目相机可用于在室内获取左右目图像。无人机获取到这些空中图像后可将空中图像信息传递给操控电脑，以提取空中图像的特征点并获取深度值。也可以通过如下方式利用无人车获取实景目标场景的多张地面图像：利用搭载激光雷达的无人车获取所处实景目标场景的地面图像。
在生成目标场景的空中地图及地面地图时，除了本实施例提供的由无人机、机器人、车辆(无人车)、相机等拍摄设备可以进行目标场景的拍摄，以用于形成对应视觉地图外，也可以用其他图像采集设备去采集实景现实环境通过上述方案需要首先对目标场景进行多次拍摄，获取多张拍摄图片，用于生成视觉地图。上述拍摄图片可以是由图像采集设备抓取获得，例如，所述拍摄图片可以是利用所述图像采集设备采集的现实环境图片。图像采集设备可以随机或按照预设的标准抓取虚拟环境图片或经过压缩、优化、渲染等处理的现实拍摄图片。本实施例对这些图像采集设备不作限制。
基于步骤S100，通过无人机、机器人、车辆(无人车)、相机等拍摄设备进行目标场景的拍摄，可以获得多张空中图像K1、K2、K3、…、KF，F为所拍摄的空中图像总数量；可以获得多张地面图像G1、G2、G3、…、GM，M为所拍摄的空中图像总数量。F及M的取值一般为大于或等于1的自然数。理论上空中图像及地面图像总数量的数目可以为1，但是在实际应用时空中图像及地面图像总数量F及M取大于1的自然数为佳，当空中图像及地面图像总数量取值为预设拍摄数量级时(比如上万数量级)，目标场景的地图数据生成精度会更好。
通过步骤S100对目标场景的空中图像及地面图像进行采集拍摄，可以获取到多张拍摄的空中图像K1、K2、K3、…、KF，以及G1、G2、G3、…、GM。这里，K为空中拍摄的目标场景图像(空中图像)，P为地面拍摄的目标场景图像(地面图像)，1、2、3、…、F为空中图像的序列，1、2、3、…、M为地面图像的序列。
继续参考图3，本实施例基于空中地图数据重构三维地图数据的方法还包括：
步骤S101，基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据。
步骤S101中，需要对步骤S100中拍摄得到的空中图像进行三维重建，以得到带纹理贴图的地图模型，并将重建得到的地图模型与全局坐标系(如GPS坐标系)对齐。
具体的，基于所述空中图像进行三维重建并与全局坐标系对齐的过程具体包括：获取空中图像特征点集；基于所述空中图像构建空中三维视觉地图，并获得所述空中图像特征点集相对于所述空中三维视觉地图的空中三维点云坐标集；将所述空中三维点云坐标集对齐于所述全局坐标系以获得全局坐标系下的空中三维点云坐标集；所述空中三维图像数据包括：所述空中图像特征点集及全局坐标系下的空中三维点云坐标集。
更为具体的，对每一幅空中图像K1、K2、K3、…、KF获取空中图像特征集T1、T2、T3、…、TF，即得到空中图像特征集T1{t11、t12、…、t1H}、T2{t21、t22、…、t2H}、T3{t31、t32、…、t3H}、…、TF{tF1、tF2、…、tFH}。其中：t11、t12、…、t1H是对空中图像K1至少H个局部区域中第1个局部区域至第H个局部区域的局部图像特征，T1代表空中图像K1的空中图像特征集；t21、t22、…、t2H是对空中图像K2至少H个局部区域中第1个局部区域至第H个局部区域的局部图像特征，T2代表空中图像K2的空中图像特征集；t31、t32、…、t3H是对空中图像K3至少H个局部区域中第1个局部区域至第H个局部区域的局部图像特征，T3代表空中图像K3的空中图像特征集；以此类推，tF1、tF2、…、tFH是对空中图像KF至少H个局部区域中第1个局部区域至第H个局部区域的局部图像特征，TF代表空中图像KF的空中图像特征集。H为对每一幅空中图像提取图像特征区域的总数量，每个图像特征集至少包括H个从对应空中图像特征区域中抽取的图像特征，图像特征区域提取数量H为大于1的自然数，可按预设提取数量级(比如上千数量级)进行提取。
从对应空中图像特征区域(至少包括第1个特征区域至第H个特征区域)中抽取的图像特征至少包括如下图像特征中的一种或多种：边缘、角点、线、曲线和其他特别属性的区域等。
在其他实施例中，步骤S102中，空中图像特征提取的区域还可以包括该空中图像的纹理特征，可以采用LBP方法(Local binarypatterns)或者灰度共生矩阵方法等方法提取图像的纹理特征。当本实施例对空中图像特征采取纹理特征提取时，可以得到对每一幅空中图像K1、K2、K3、…、KF获取空中图像特征集T1’、T2’、T3’、…、TF’，即得到含纹理特征的空中图像特征集T1’{t10、t11、t12、…、t1H}、T2’{t20、t21、t22、…、t2H}、T3’{t30、t31、t32、…、t3H}、…、TF’{tF0、tF1、tF2、…、tFH}。其中，T1’、T2’、T3’、…、TF’为含纹理特征的空中图像特征集，t10、t20、t30、…、tF0为对应空中图像K1、K2、K3、…、KF的纹理特征数据。
在其他实施例中，也可以进一步提取空中图像的其他可供三维重建的图像特征，如空中图像的颜色特征、场景特征、形状特征等，此处不再赘述。
提取图像特征的算法在计算机视觉中被广泛使用，图像特征提取算法可以采用FAST角点检测算法(Features from Accelerated Segment Test，FAST)、SIFT特征检测算法(Scale-Invariant FeatureTransform，SIFT)、Harris算法、ORB特征检测算法(OrientedFAST and Rotated BRIEF，ORB)等，在本发明技术方案中都可以使用，此处不再赘述。
基于上述空中图像K1、K2、K3、…、KF的空中图像特征集T1、T2、T3、…、TF，或者空中图像特征集T1’、T2’、T3’、…、TF’，可以通过运动恢复结构(Structure From Motion，SFM)算法，恢复图像K1、K2、K3、…、KF的采集设备参数及目标场景空中三维结构，得到空中三维点云坐标集S1、S2、S3、…、SF。S1、S2、S3、…、SF为对应空中图像特征集T1、T2、T3、…、TF或者空中图像特征集T1’、T2’、T3’、…、TF’中图像特征点放置于预设三维坐标系下的坐标值的对应集合。
以到空中图像特征集T1{t11、t12、…、t1H}、T2{t21、t22、…、t2H}、T3{t31、t32、…、t3H}、…、TF{tF1、tF2、…、tFH}为例：S1为空中图像特征集T1{t11、t12、…、t1H}中特征点t11、t12、…、t1H对应三维坐标点的集合；S2为空中图像特征集T2{t21、t22、…、t2H}中特征点t21、t22、…、t2H对应三维坐标点的集合；S3为空中图像特征集T3{t31、t32、…、t3H}中特征点t31、t32、…、t3H对应三维坐标点的集合；以此类推，SF为空中图像特征集TF{tF1、tF2、…、tFH}中特征点tF1、tF2、…、tFH对应三维坐标点的集合。
运动恢复结构(Structure From Motion，SFM)算法是从一系列二维图像恢复出场景三维稀疏点云的技术的统称，其主要步骤包括特征匹配、三角化点云，BA优化等。采用现有技术中使用运动恢复结构算法对一系列二维图像恢复出三维场景数据点云技术方案都可以实现本实施例的空中图像三维地图数据重构，因此本发明实施例不在此对如何使用运动恢复结构算法重构三维场景做限制。
在本实施例中，可以将预设三维坐标系设置为全局坐标系(即GPS坐标系)，以完成空中图像三维地图数据的三维点云坐标集S1、S2、S3、…、SF以获得全局坐标系下的空中三维点云坐标集。
通过步骤S101，获得的空中三维图像数据包括：空中图像特征点集及全局坐标系下的空中三维点云坐标集，即空中图像特征点集T1、T2、T3、…、TF(或者空中图像特征集T1’、T2’、T3’、…、TF’)及全局坐标系下的空中三维点云坐标集S1、S2、S3、…、SF。
继续参考图3，本实施例基于空中地图数据重构三维地图数据的方法还包括：
步骤S102，基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据。
在步骤S102中，所述基于所述地面图像计算设备位姿并与所述全局坐标系对齐包括如下过程：
获取地面图像特征点集；基于所述地面图像构建地面三维视觉地图，并获得所述地面图像特征点集相对于所述地面三维视觉地图的地面三维点云坐标集；将所述地面三维点云坐标集的初始位姿信息对齐于所述全局坐标系，以获得全局坐标系下地面三维点云坐标集的全局位姿信息；所述地面三维图像数据包括：所述地面图像特征点集、地面三维点云坐标集及全局位姿信息。
基于与步骤S101类似的方案，基于每一幅地面图像G1、G2、G3、…、GM获取地面图像特征集P1、P2、P3、…、PM，即得到地面图像特征集P1{p11、p12、…、p1Y}、P2{p21、p22、…、p2Y}、P3{p31、p32、…、p3Y}、…、PM{pM1、pM2、…、pMY}。其中：p11、p12、…、p1Y是对地面图像G1至少Y个局部区域中第1个局部区域至第Y个局部区域的局部图像特征，P1代表地面图像G1的地面图像特征集；p21、p22、…、p2Y是对地面图像G2至少Y个局部区域中第1个局部区域至第Y个局部区域的局部图像特征，P2代表地面图像G2的地面图像特征集；p31、p32、…、p3Y是对地面图像G3至少Y个局部区域中第1个局部区域至第Y个局部区域的局部图像特征，P3代表地面图像G3的地面图像特征集；以此类推，pM1、pM2、…、pMY是对地面图像GM至少Y个局部区域中第1个局部区域至第Y个局部区域的局部图像特征，PM代表地面图像GM的地面图像特征集。
Y为对每一幅地面图像提取图像特征区域的总数量，每个图像特征集至少包括Y个从对应空中图像特征区域中抽取的图像特征，图像特征区域提取数量Y为大于1的自然数，可按预设提取数量级(比如上千数量级)进行提取。从对应地面图像特征区域中抽取的图像特征至少包括如下图像特征中的一种或多种：边缘、角点、线、曲线和其他特别属性的区域等。提取图像特征的算法在计算机视觉中被广泛使用，本步骤图像特征提取算法也可以采用FAST角点检测算法、SIFT特征检测算法、Harris算法、ORB特征检测算法等，此处不再赘述。
基于上述地面图像G1、G2、G3、…、GM的地面图像特征集P1、P2、P3、…、PM，可以通过运动恢复结构算法，恢复图像G1、G2、G3、…、GM的采集设备参数及目标场景地面三维结构，得到地面三维点云坐标集J1、J2、J3、…、JM。地面三维点云坐标集J1、J2、J3、…、JM为对应地面图像特征集P1、P2、P3、…、PM中图像特征点放置于预设三维坐标系下的坐标值的对应集合。采用现有技术中使用运动恢复结构算法对一系列二维图像恢复出三维场景数据点云技术方案都可以实现本实施例的地面图像三维地图数据重构，因此本发明实施例也不在此对如何使用运动恢复结构算法重构地面三维场景做限制。在本实施例中，可以将预设三维坐标系设置为全局坐标系(即GPS坐标系)，以完成获得全局坐标系下的地面三维点云坐标集J1、J2、J3、…、JM。
由于在上述过程中，基于拍摄地面图像G1、G2、G3、…、GM的设备信息可以粗略得到对应上述地面图像的设备位姿X1、X2、X3、…、XM，但是在地面GPS下，因轨迹漂移，造成全局坐标系的对齐结果粗略、精度低。
为了解决这些问题，本实施例提供了一则可选方案，可进一步优化全局坐标系下的设备位姿，即在拍摄地面图像G1、G2、G3、…、GM的设备位姿X1、X2、X3、…、XM的基础上，为设备位姿添加随机偏移量，并得到添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’(也即偏移位姿信息)。
例如，设随机偏移量为Δx，添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’依次为X1+Δx、X2+Δx、X3+Δx、…、XM+Δx。
在其他实例中，也可以设上述随机偏移量为添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’依次为/>
因此，在本实施例中，基于步骤S102得到的地面三维图像数据包括：地面图像G1、G2、G3、…、GM的地面图像特征集P1{p11、p12、…、p1Y}、P2{p21、p22、…、p2Y}、P3{p31、p32、…、p3Y}、…、PM{pM1、pM2、…、pMY}；对应地面图像特征集P1、P2、P3、…、PM中图像特征点放置于预设三维坐标系下的坐标值的地面三维点云坐标集J1、J2、J3、…、JM；地面图像G1、G2、G3、…、GM的设备位姿X1、X2、X3、…、XM。在其他实施例中，为了校准地面图像G1、G2、G3、…、GM的设备位姿精度，基于步骤S102得到的地面三维图像数据还可以包括：为设备位姿添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’。
当然，如果在其他实施例中，由于地面图像的拍摄及基于地面图像生成目标场景的三维地图数据已经预设，即系统已经预先存储有目标场景的上述三维地图数据，那么可以按如下过程实现步骤S102。
在其他实施例中，步骤S102的基于所述地面图像计算设备位姿并与所述全局坐标系对齐则可以包括如下过程：获取地面图像特征点集；将地面图像特征点集与目标场景预存三维地图数据中的地面图像特征点集进行匹配，以得到匹配的地面图像特征点集；输出与所述匹配的地面图像特征点集对应地面三维点云坐标集，并通过PNP算法求得地面图像设备位姿。
设已经系统预存的目标场景的地面图像特征集为Pt1、Pt2、Pt3、…、PtV中图像特征点放置于预设三维坐标系下的坐标值的地面三维点云坐标集Jt1、Jt2、Jt3、…、JtV。其中V为大于1的自然数。
具体的，在该实施例中，首先需要提取地面图像G1、G2、G3、…、GM的地面图像特征集P1、P2、P3、…、PM，然后需要与预先存储的地图数据，即目标场景的地面图像特征集Pt1、Pt2、Pt3、…、PtV进行匹配，得到匹配后的地面图像特征集P1’、P2’、P3’、…、PM’。其次，从地面三维点云坐标集Jt1、Jt2、Jt3、…、JtV提取与地面图像特征集P1’、P2’、P3’、…、PM’对应的地面三维点云坐标集J1’、J2’、J3’、…、JM’。最后，通过PNP算法求得地面图像G1、G2、G3、…、GM的设备位姿Xt1’、Xt2’、Xt3’、…、XtM’。
PNP(Perspective-n-Point)算法是在给定坐标系上的若干3D点及其在图像中的相应2D投影的情况下估计校准相机的位姿的问题。可以使用该PNP算法，基于图像特征P1’、P2’、P3’、…、PM’(相对应2D投影)与所对应的三维点云坐标集合J1’、J2’、J3’、…、JM’(相对于3D点)求得拍摄设备的位姿。由于PNP算法广泛应用于相机位姿跟踪、物体位姿跟踪、AR/VR、机器人操作、SLAM中位姿初值求解等现有技术方案中，常用解法包括DLT算法、P3P算法、EPnP算法及UPnP算法等，属于所有三维视觉领域内非常基础的算法方案，本发明技术方案不再赘述。
基于该实施例，最终输出的地面三维数据包括：地面图像特征点集图像特征P1’、P2’、P3’、…、PM’、地面三维点云坐标集J1’、J2’、J3’、…、JM’及地面图像的全局位姿信息Xt1’、Xt2’、Xt3’、…、XtM’。
从上述实施例可以看到，步骤S102输出的地面三维数据可以是根据本发明技术方案的目的即时生成的，也可以基于预先存储的目标场景地面三维数据再生成的。
当目标场景的地面三维数据是即时生成时，可以基于目标场景拍摄的多张地面图像，重构三维地图数据，以得到地面图像的图像特征集合及对应三维点云坐标，并根据地面图像设备初始位姿信息，得到全局坐标系下的设备位姿。可以通过设置随机偏移量，调整地面图像设备全局位姿信息。
当目标场景的地面三维数据预先存储时，根据实时拍摄的地面图像，可以提取图像特征集与预先存储的地面三维数据进行图像特征匹配，得到匹配图像特征对应的三维点云坐标集，并基于PNP算法得到全局坐标系下的设备位姿。
无论是哪些实例，最终输出的地面三维数据包括：地面图像特征点集、地面三维点云坐标集及地面图像的全局位姿信息。
继续参考图3，实施例基于空中地图数据重构三维地图数据的方法还包括：
步骤S103，基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据。
在本步骤中，通过将步骤S101输出的空中三维图像数据与步骤S102输出的地面三维图像数据进行融合，并基于空中三维图像数据在地面图像的设备位姿处渲染得到目标场景的渲染图，以得到地面视角图像。从这些渲染得到的地面视角图像可以进一步提取地面视角图像特征集合，并与地面图像的图像特征集合进行图像特征匹配，并得到地面视角匹配图像特征集合对应的地面视角三维点云坐标集合。基于本步骤输出的地面视角图像的三维图像数据(包括：地面视角图像特征集合、地面视角图像三维点云数据、与地面图像数据匹配得到的匹配图像特征集合及对应三维点云坐标集合)，为地面图像数据提供全局约束，以实现地图数据优化。
具体的，结合图4，步骤S103的基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据的过程具体可以包括如下步骤：
步骤S1030，基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据。
步骤S1030中，所述基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据，包括如下过程：基于所述地面三维图像数据获取所述全局坐标系下地面视角图像的位姿信息，并确定渲染图像所采用的相机模型；利用所述空中三维图像数据，采用所述相机模型，在所述地面视角图像的位姿信息所确定的位置渲染地面视角图像；所述地面视角三维图像数据包括：所述地面视角图像的地面视角图像特征集及全局坐标系下的地面视角三维点云坐标集。
上述相机模型包括：渲染图像的位姿和成像模型，位姿就是渲染图像的位置，成像模型就是渲染图像的使用的比如小孔，鱼眼，全景等模式。
具体的，因步骤S102输出地面三维图像数据包括：设备位姿X1、X2、X3、…、XM(也可以是添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’或者地面图像的全局位姿信息Xt1’、Xt2’、Xt3’、…、XtM’，本实施例了以设备位姿X1、X2、X3、…、XM为例)。
根据该设备位姿X1、X2、X3、…、XM，可以采用预设的相机模型(该相机模型可以与拍摄目标场景的相机设备模型一致，也可以采用全景相机模型)，基于空中三维图像数据进行三维重建模型，以渲染得到与位姿X1、X2、X3、…、XM对应的地面视角图像R1、R2、R3、…、RM。
由于空中三维图像数据包括：空中图像特征点集及全局坐标系下的空中三维点云坐标集，即空中图像特征点集T1’、T2’、T3’、…、TF’(或者空中图像特征集T1、T2、T3、…、TF，本实施例以带纹理图像特征的空中图像特征点集T1’、T2’、T3’、…、TF’为例)及全局坐标系下的空中三维点云坐标集S1、S2、S3、…、SF。通过本实施例的设备位姿信息X1、X2、X3、…、XM及预设相机模型确定地面视角的图像全局姿态，基于空中图像特征点集T1’、T2’、T3’、…、TF’以及全局坐标系下的空中三维点云坐标集S1、S2、S3、…、SF重建目标场景的三维地图模型以得到带纹理贴图的场景模型，并基于设备位姿信息X1、X2、X3、…、XM及预设相机模型在X1、X2、X3、…、XM姿态视角渲染得到带纹理贴图场景模型的地面视角图像R1、R2、R3、…、RM。
基于渲染得到的地面视角图像R1、R2、R3、…、RM，可以对这些地面视角图像提取图像特征以得到地面视角图像特征集Tr1、Tr2、Tr3、…、TrM，并通过运动恢复结构算法对地面视角图像的地面视角图像特征进行处理，得到地面视角图像特征集Tr1、Tr2、Tr3、…、TrM对应的全局坐标系下的地面视角图像三维点云坐标集Sr1、Sr2、Sr3、…、SrM。提取图像特征及运动恢复结构算法处理的流程可参考本实施例的上述内容，此处不再赘述。
因此，本实施例基于步骤S1030输出的地面视角三维图像数据包括：地面视角图像特征集Tr1、Tr2、Tr3、…、TrM、全局坐标系下的地面视角图像三维点云坐标集Sr1、Sr2、Sr3、…、SrM以及设备位姿信息X1、X2、X3、…、XM。
继续参考图4，步骤S103的基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据的过程具体还可以包括如下步骤：
步骤S1031，对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图，所述N为预设的自然数值。
具体的，对每一张地面图像，都要从地面视角图像检索到N个与该地面图像最相似的渲染图。计算两个图像之间相似度的算法有很多，比如：余弦相似度算法、哈希算法、直方图算法、SSIM(结构相似度度量)算法、互信息(Mutual Information)算法等，可以根据所选定相似度算法，计算地面图像与每个地面视角图像相似度输出值，选定与该地面图像相似度高的N个渲染图像作为上述最相似的渲染图。
更为具体的，通过步骤S1031，地面图像G1、G2、G3、…、GM可以从地面视角图像R1、R2、R3、…、RM中获得与这些地面图像G1、G2、G3、…、GM的最相似的渲染图集g1{r11、r12、…、r1N}、g2{r21、r22、…、r2N}、g3{r31、r32、…、r3N}、…、gM{rM1、rM2、…、rMN}。
其中，渲染图集g1{r11、r12、…、r1N}为地面视角图像R1、R2、R3、…、RM中与地面图像G1相似度高的N个渲染图像集合，r11、r12、…、r1N为渲染图集g1内的N个渲染图像；渲染图集g2{r21、r22、…、r2N}为地面视角图像R1、R2、R3、…、RM中与地面图像G2相似度高的N个渲染图像集合，r21、r22、…、r2N为渲染图集g2内的N个渲染图像；以此类推，渲染图集gM{rM1、rM2、…、rMN}地面视角图像R1、R2、R3、…、RM中与地面图像GM相似度高的N个渲染图像集合，rM1、rM2、…、rMN为渲染图集gM内的N个渲染图像。
继续参考图4，步骤S103的基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据的过程具体还包括如下步骤：
步骤S1032，将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据。
本步骤中，所述将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据，包括如下过程：
提取所述渲染图的渲染特征点集并与指定地面图像的地面图像特征点集进行匹配，以获得相互匹配的匹配渲染特征点集及匹配地面图像特征集；
基于所述匹配渲染特征点集从对应的地面视角三维图像数据找到全局坐标系下的匹配渲染三维点云坐标集；
将所述匹配地面图像特征集与所述全局坐标系下的匹配渲染三维点云坐标集相关联以得到所述地面视角匹配三维图像数据。
具体的，通过步骤S1031已经获取到地面图像G1、G2、G3、…、GM最相似的渲染图集g1{r11、r12、…、r1N}、g2{r21、r22、…、r2N}、g3{r31、r32、…、r3N}、…、gM{rM1、rM2、…、rMN}，在步骤S1032中进一步将地面图像G1、G2、G3、…、GM分别与对应的渲染图集g1、g2、g3、…、gM中的渲染图进行特征匹配，以获取渲染图集g1、g2、g3、…、gM中与地面图像G1、G2、G3、…、GM特征匹配的渲染图匹配特征集Pg1、Pg2、Pg3、…、PgM。
基于这些地面图像与最相似渲染图的匹配特征集Pg1、Pg2、Pg3、…、PgM，可以基于地面视角图像特征集Tr1、Tr2、Tr3、…、TrM以及对应的全局坐标系下的地面视角图像三维点云坐标集Sr1、Sr2、Sr3、…、SrM，获得这些渲染图的匹配特征集Pg1、Pg2、Pg3、…、PgM所对应的三维点云坐标集Sg1、Sg2、Sg3、…、SgM。
更为具体的，基于步骤S1032：将地面图像G1的地面图像特征集P1{p11、p12、…、p1Y}与对应最相似的N个渲染图集g1{r11、r12、…、r1N}的图像特征集合(N个渲染图集g1{r11、r12、…、r1N}是基于地面视角图像特征集Tr1、Tr2、Tr3、…、TrM得到的)进行匹配，从N个渲染图集g1{r11、r12、…、r1N}的图像特征集合中匹配到与地面图像G1的地面图像特征集P1匹配的图像特征集合Pg1{pr11、pr12、…、pr1N1}，其中N1为大于1的自然数。基于这些图像特征集合Pg1{pr11、pr12、…、pr1N1}，从地面视角的三维地图数据(具体为全局坐标系下的地面视角图像三维点云坐标集Sr1、Sr2、Sr3、…、SrM)中获得与地面图像G1对应的三维点云坐标集Sg1{sr11、sr12、…、sr1N1}。
将地面图像G2的地面图像特征集P2{p21、p22、…、p2Y}与对应最相似的N个渲染图集g2{r21、r22、…、r2N}的图像特征集合进行匹配，从N个渲染图集g2{r21、r22、…、r2N}的图像特征集合中匹配到与地面图像G2的地面图像特征集P2匹配的图像特征集合Pg2{pr21、pr22、…、pr2N2}，其中N2为大于1的自然数。基于这些图像特征集合Pg2{pr21、pr22、…、pr2N2}，从地面视角的三维地图数据中获得与地面图像G2对应的三维点云坐标集Sg2{sr21、sr22、…、sr2N2}。
将地面图像G3的地面图像特征集P3{p31、p32、…、p3Y}与对应最相似的N个渲染图集g3{r31、r32、…、r3N}的图像特征集合进行匹配，从N个渲染图集g3{r31、r32、…、r3N}的图像特征集合中匹配到与地面图像G3的地面图像特征集P3匹配的图像特征集合Pg3{pr31、pr32、…、pr3N3}，其中N3为大于1的自然数。基于这些图像特征集合Pg3{pr31、pr32、…、pr3N3}，从地面视角的三维地图数据中获得与地面图像G3对应的三维点云坐标集Sg3{sr31、sr32、…、sr3N3}。
以此类推：
将地面图像GM的地面图像特征集PM{pM1、pM2、…、pMY}与对应最相似的N个渲染图集gM{rM1、rM2、…、rMN}的图像特征集合进行匹配，从N个渲染图集gM{rM1、rM2、…、rMN}的图像特征集合中匹配到与地面图像GM的地面图像特征集PM匹配的图像特征集合PgM{prM1、prM2、…、prMNM}，其中NM为大于1的自然数。基于这些图像特征集合PgM{prM1、prM2、…、prMNM}，从地面视角的三维地图数据中获得与地面图像GM对应的三维点云坐标集SgM{srM1、srM2、…、srMNM}。
本实施例中，基于空中图像K1、K2、K3、…、KF获得空中三维图像数据，即空中图像特征点集T1’、T2’、T3’、…、TF’及全局坐标系下的空中三维点云坐标集S1、S2、S3、…、SF。基于地面图像G1、G2、G3、…、GM获得地面三维图像数据，即地面图像特征集P1{p11、p12、…、p1Y}、P2{p21、p22、…、p2Y}、P3{p31、p32、…、p3Y}、…、PM{pM1、pM2、…、pMY}以及全局坐标系下地面三维点云坐标集J1、J2、J3、…、JM，地面图像G1、G2、G3、…、GM的设备位姿X1、X2、X3、…、XM。通过本实施例的设备位姿信息X1、X2、X3、…、XM及预设相机模型确定地面视角的图像全局姿态，基于空中图像特征点集T1’、T2’、T3’、…、TF’以及全局坐标系下的空中三维点云坐标集S1、S2、S3、…、SF重建目标场景的三维地图模型以得到带纹理贴图的场景模型，并基于设备位姿信息X1、X2、X3、…、XM及预设相机模型在X1、X2、X3、…、XM姿态视角渲染得到带纹理贴图场景模型的地面视角图像R1、R2、R3、…、RM。
通过本实施例上述步骤的方法流程，可以将地面图像G1、G2、G3、…、GM的地面图像特征集P1、P2、P3、…、PM与地面视角图像R1、R2、R3、…、RM的地面视角图像特征集Tr1、Tr2、Tr3、…、TrM相关联，针对地面图像G1、G2、G3、…、GM分别基于全局特征检索从地面视角图像R1、R2、R3、…、RM找到与每个地面图像G1、G2、G3、…、GM的最相似渲染图集，即：
地面图像G1、G2、G3、…、GM的最相似渲染图集依次为g1{r11、r12、…、r1N}、g2{r21、r22、…、r2N}、g3{r31、r32、…、r3N}、…、gM{rM1、rM2、…、rMN}。
通过每个地面图像G1、G2、G3、…、GM与对应最相似渲染图集g1{r11、r12、…、r1N}、g2{r21、r22、…、r2N}、g3{r31、r32、…、r3N}、…、gM{rM1、rM2、…、rMN}特征匹配，获得每个地面图像G1、G2、G3、…、GM对应最相似渲染图集的匹配图像特征集Pg1{pr11、pr12、…、pr1N1}、Pg2{pr21、pr22、…、pr2N2}、Pg3{pr31、pr32、…、pr3N3}、…、PgM{prM1、prM2、…、prMNM}，以及这些匹配图像特征集所对应的三维点云坐标集Sg1{sr11、sr12、…、sr1N1}、Sg2{sr21、sr22、…、sr2N2}、Sg3{sr31、sr32、…、sr3N3}、…、SgM{srM1、srM2、…、srMNM}。
本实施例技术方案利用三维点云坐标集Sg1{sr11、sr12、…、sr1N1}、Sg2{sr21、sr22、…、sr2N2}、Sg3{sr31、sr32、…、sr3N3}、…、SgM{srM1、srM2、…、srMNM}对每个地面图像G1、G2、G3、…、GM添加了全局约束，可优化重构的三维地图数据。全局坐标系下渲染图的三维点云坐标集Sg1、Sg2、Sg3、…、SgM与地面图像G1、G2、G3、…、GM相关地图数据进行关联以得到所述地面视角匹配三维图像数据。
上述内容中：
K表示空中图像，T表示空中图像特征点集，S表示空中三维点云坐标集，下标1、2、3、…F表示对应空中图像的序列，F为大于1的自然数。
G表示地面图像，P表示地面图像特征点集，p1、p2、p3、…pM为对应地面图像特征点集的特征数据，J表示地面三维点云坐标集，X表示地面图像设备位姿，下标1、2、3、…M表示对应地面图像的序列，M为大于1的自然数，下标1、2、3、…Y表示对应地面图像特征数据的序列，Y为大于1的自然数。
R表示地面视角图像，Tr为地面视角特征集。g表示与地面图像最相似渲染图集，r1、r2、r3、…rM为对应地面图像的最相似渲染图集图像数据，下标1、2、3、…N表示对应最相似渲染图集图像数据的序列。
Pg表示地面图像对应匹配图像集的匹配图像特征集，pr1、pr2、pr3、…prM为匹配图像特征集中的图像特征数据，Sg表示匹配图像集Pg对应三维点云坐标集，sr1、sr2、sr3、…srM为匹配图像特征集对应三维点云坐标集中的三维点云坐标数据，1、2、3、…N1为pr1、sr1的数据序列，N1为大于1的自然数，1、2、3、…N2为pr2、sr2的数据序列，N2为大于1的自然数，1、2、3、…N3为pr3、sr3的数据序列，N3为大于1的自然数，以此类推，1、2、3、…NM为prM、srM的数据序列，NM为大于1的自然数。
最终，本实施例技术方案所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
通过本实施例的技术方案，使空中地图数据与地面地图数据能够相互注册，在全局坐标系下得到统一；基于地面视角的图像数据，使空中地图数据与地面地图数据的三维点云坐标进行重叠，为地面地图数据添加全局约束，提高地面地图数据的全局位姿精度。
实施例二
在实施例一的基础上，结合图5，本实施例提供了一种基于空中地图数据重构三维地图数据的方法，包括如下步骤：
步骤S100，实景获取目标场景的多张空中图像及地面图像。
步骤S101，基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据。
步骤S102，基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据。
步骤S103’，基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据。
不同于实施例一的步骤S103，本实施例对步骤S103的优化过程进行了改进，如图6所示，步骤S103’除了包括步骤S1030至S1032，还包括如下步骤：
步骤S1033，根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整。
本实施例通过全局捆绑调整(Bundle Adjustment，可简写成BA)算法控制调整前后的地图三维图像数据中全局图像位姿的校准改变量，从而进一步提高地面三维地图数据的全局位姿精度。
本实施例在步骤S1033中，将原步骤S1032输出的可对地面三维地图数据进行约束的地面视角匹配三维图像数据，以及所述地面三维图像数据进行全局捆绑调整。具体的，计算全局坐标系下的匹配渲染三维点云坐标Sg1、Sg2、Sg3、…、SgM及地面三维点云坐标J1、J2、J3、…、JM(或者J1’、J2’、J3’、…、JM’，本实施例以地面三维点云坐标J1、J2、J3、…、JM为例)相对于地面图像特征点坐标的重投影误差总和，所述捆绑结果为该重投影误差总和。
可以使用损失函数模型f(X)对上述全局捆绑调整算法：
设损失函数为f(X)，Elocal为地面三维点云坐标J1、J2、J3、…、JM的重投影误差总和，Eglobal为全局坐标系下的匹配渲染三维点云坐标Sg1、Sg2、Sg3、…、SgM在地面图像的重投影误差总和。
其中，i是相应地面图像的序号，j是地面图像特征点的序号，n为地面图像总数。X是地面图像之间匹配三角化得到的局部点云集合，Xj是X中第j个特征点；Y是全局点云集合，Yj是Y中第j个3D点；m是第i张图像观测到的局部点云总数，/是第i张地面图像观测到的全局点云的总数；w代表权重，wij是第i张图的第j个特征点的权重；C是图像内参，Ci是第i张图像的内参；P(Ci，Yj)表示将全局点云Yj投影到第i张地面图像时的投影点坐标，P(Ci，Xj)表示将局部点云Xj投影到第i张地面图像时的投影点坐标；q代表图像上特征点的位置，上述公式第一项的qij是与Xj对应的第i张地面图像的特征点坐标，公式第二项中的qij是Yj对应的第i张地面图像的特征点坐标。
使用损失函数为f(X)可以进一步监测步骤S103’中优化过程的全局捆绑调整结果。
继续参考图5，本实施例提供的基于空中地图数据重构三维地图数据的方法，还包括：
步骤S104，重复执行步骤S103’，并监测优化过程中全局捆绑调整结果。
对损失函数为f(X)的数值结果进行监控，可以对地面图像的全局位姿精度进一步提升。
步骤S105，当全局捆绑调整结果符合阈值，输出重构三维地图数据。
可以具体采样如下方式对全局捆绑调整结果，即损失函数为f(X)的数值结果进行监控：
监控前一次及当前次全局捆绑调整结果的改变量，即当上一次损失函数为f(X)的数值结果与当前次损失函数为f(X)的数值结果之间的改变量小于预设的改变量阈值时，可以认为全局捆绑调整结果符合阈值，输出重构三维地图数据，即包括：当前次的全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
或者，在其他实施例中，也可以采用如下方式：
监控当前次全局捆绑调整结果数值，即当前次损失函数为f(X)的数值结果数值小于预设阈值时，可以认为全局捆绑调整结果符合阈值，输出当前的重构三维地图数据，即包括：当前输出空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
实施例三
在实施例一及实施例二的基础上，结合图7，本实施例提供了另一种基于空中地图数据重构三维地图数据的方法，包括如下步骤：
步骤S100，实景获取目标场景的多张空中图像及地面图像。
步骤S101，基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据。
步骤S102，基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据。
步骤S103，基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据。
步骤S104’，重复执行步骤S103，直到符合预设次数。
步骤S105，输出重构三维地图数据。
本实施例通过优化步骤S103的迭代次数，当重复执行步骤S103满足固定的迭代次数时，就可以输出最终的重构三维地图数据了。
应用例
基于上述实施例一至实施例三，通过如下应用例将空中三维地图数据与地面三维地图数据关联并形成数据融合。
首先，将这两种数据相互注册，使坐标系进行统一。
对空中拍摄的图片集合进行正常的三维重建得到带纹理贴图的模型，重建的模型应该与全局坐标系(GPS)对齐；
对地面拍摄的图片集合进行位姿估计，并与全局坐标系(GPS)对齐，得到全局位姿X1、X2、X3、…、XM；
将全局位姿X1、X2、X3、…、XM上添加一个随机偏移量Δx；在添加随机偏移量后的全局位姿X1’、X2’、X3’、…、XM’处渲染出与地面数据同相机内参的图片；每个像素都可以找到对应的模型中的一个3D点(三维点云坐标)。
其次，使这两种数据产生的三维点云数据重叠。通过如下几点实现两种数据的三维点云数据重叠：
第一，先基于空中图像数据得到地面视角的地图模型，从地图模型中渲染出来若干地面视角的图片。
这些地面视角的图片位姿是基于粗略得到的地面图片的全局姿态，加上一定的随机偏移，计算得到的全局位姿X1’、X2’、X3’、…、XM’；渲染图片时采用的相机模型可以是跟地面拍摄图片时的相机模型一致，或者直接用全景相机模型渲染全景图。
对每一张地面图片，对地面拍摄的图片集合进行位姿估计已经得到了它的粗略的全局位姿X1’、X2’、X3’、…、XM’，对空中拍摄的图片集合进行正常的三维重建得到带纹理贴图的模型，即得到了目标区域的三维模型。可以在全局位姿X1’、X2’、X3’、…、XM’处分别渲染出来对地视角的渲染图。这些渲染图理论上与真实拍摄的地面图片非常接近。
需要注意的是，渲染地面视角图片时，需要先确定每张图片的相机位姿。本应用例提供的策略是：
(1)GPS先验，在真实拍摄的地面图片的全局位姿附近渲染图片，这是为了精度和速度的考量。
(2)也可以在渲染时不用在全局位姿附近渲染，只要在所有高度适宜的位置等间隔渲染地面视角图像，也可以实现针对重构地图的渲染。
(3)还可以基于地图中的道路，由系统自动识别场景中的可行道路，只在道路区域等间隔渲染，这也可以实现地面视角图片的渲染。
第二，对每一张地面图片，从渲染图中检索其中的top N个最相似的图片，之后进行特征提取和匹配。记录下渲染图中特征点对应的3D点。
对每一张地面图片，从渲染图片中进行检索出最相似的N张图片，做特征匹配。记地面图片为G，渲染图片为R，是G中的一个特征点(像素)与其匹配的R中的特征点为而特征点/>对应的全局坐标系下的3D点记为/>则可以得到/>在全局坐标系中的一个对应3D点为/>这为图像G添加了一个全局约束。
第三，对地面数据进行全局捆绑调整(bundle adjustment，简称：BA)，参与全局捆绑调整的除了涉及地面视角图片自身产生的2D点、3D点、相机内参、图片位姿等元素，还有第二点中的从天空数据生成的3D点(渲染图中特征点对应的3D点)。经过本过程，地面数据可以得到更高的全局位姿精度。
需要说明的是，对地面图像得到的重建结果做global bundle adjust(GBA)，参与GBA的除了地面数据相互之间生成的约束，还有上一步骤得到的对地面图像的全局约束。其损失函数的计算方法如下：
其中Elocal是地面图像自身的三角化的点的重投影误差总和，Eglobal是地面图像与渲染图像匹配，得到的全局点云在地面图像上的重投影误差总和。其中：i是图片的序号，j是特征点的序号，n为地面图像总数。X是地面图像之间匹配三角化得到的局部点云集合，Xj是X中第j个特征点；Y是全局点云集合，Yj是Y中第j个3D点；m是第i张图像观测到的局部点云总数，/是第i张地面图像观测到的全局点云的总数；w代表权重，wij是第i张图的第j个特征点的权重；C是图像内参，Ci是第i张图像的内参；P(Ci，Yj)表示将全局点云Yj投影到第i张地面图像时的投影点坐标，P(Ci，Xj)表示将局部点云Xj投影到第i张地面图像时的投影点坐标；q代表图像上特征点的位置，公式第一项的qij是与Xj对应的第i张地面图像的特征点坐标，公式第二项中的qij是Yj对应的第i张地面图像的特征点坐标。
第四，重复上述第一至第三点的过程，直到达到一定的条件。条件可以设置为固定的迭代次数，或者优化前后位姿的改变量或者总的损失函数的改变量小于一定阈值。
经过上述过程的优化，地面图像的全局位姿精度得到了提升。
基于上述实施例一至实施例三、以及应用例，本发明技术方案可以通过空中三维地图数据重建目标场景的对地图像，然后基于地面视角的设备位姿，渲染目标场景的对地图像以获得各位姿对应的地面视角图像，从而约束地面三维地图数据，使地面图像的全局位姿精度得到了提升。作为上述方案的替换方案：也可以反过来基于地面三维地图数据进行目标场景图像的重建，然后基于空中三维地图数据渲染出天空视角的图像，以约束地面三维地图数据及空中三维地图数据，并将二者进行融合及关联，只不过这样互补性并不强，地面图像的全局位姿精度的提升可能不及实施例一至实施例三、以及应用例提供的技术效果。
实施例四
基于上述实施例一至实施例三、以及应用例，本发明技术方案还提供了一种基于空中地图数据重建三维地图的方法，其可以在上述实施例一至实施例三、以及应用例的基础上，进一步基于输出所述三维地图数据，实现地图三维重建。本实施例提供的一种基于空中地图数据重建三维地图的方法包括：
基于地面三维图像数据生成三维地图模型；或者，
基于地面三维图像数据及空中三维图像数据生成三维地图模型。
在本实施例中，通过实施例一至实施例三、以及应用例的步骤，地面图像与空中图像的坐标系已经完全统一到GPS坐标系下，实现了两者的融合。因此，在本实施例的三维地图重建时，可以单独对地面图像执行正常的三维重建步骤，或者将地面图像与空中图像合并一起执行multi-view stereo，创建mesh等正常三维重建的步骤。
更为具体的，本实施例的三维重建过程可以依据现有技术中的三维重建方式进行图像重构三维重建，得到的是带纹理的网格模型。而地面图像只做了稀疏重建，之后要将得到的稀疏模型对齐到空中模型，然后再进行后续的稠密重建等步骤。
在本实施例中，所述三维重建指的是基于空中图像及其图像数据、地面图像及其数据，将这些图像及通过实施例一至实施例三、以及应用例获得的图像数据，通过图像对齐(Assoc.)、稀疏重建(Structure from Motion,SFM)、稠密重建(Multiple View Stereo,MVS)、表面重建(Mesh，Model Fitting)、纹理重建(Texture Mapping)以及可视化渲染等过程恢复所需的三维地图模型。这些重建三维地图的方案是将二维图像(空中图像和/或地面图像)中恢复目标场景的三维结构，并进行渲染，最终在计算机中进行客观世界的虚拟现实的表达。因此，可以使用现有技术基于图像的三维重建算法，此处不再赘述。
实施例五
基于上述实施例一，本实施例还提供一种基于空中地图数据重构三维地图数据的系统，包括：适用于执行步骤S100的获取模块、适用于执行步骤S101的计算模块、以及适用于执行步骤S102的计算模块、以及适用于执行步骤S103的优化模块。
实施例六
基于上述实施例二，本实施例还提供一种基于空中地图数据重构三维地图数据的系统，包括：适用于执行步骤S100的获取模块、适用于执行步骤S101的计算模块、以及适用于执行步骤S102的计算模块、以以及适用于执行步骤S103’的优化模块，其中优化模块还适用于判断步骤S103’的全局捆绑调整结构是否符合阈值：当全局捆绑调整结果不符合阈值时重复执行步骤S103’，当全局捆绑调整结果符合阈值时输出重构的三维地图数据。
实施例七
基于上述实施例三，本实施例还提供一种基于空中地图数据重构三维地图数据的系统，包括：适用于执行步骤S100的获取模块、适用于执行步骤S101的计算模块、以及适用于执行步骤S102的计算模块、以以及适用于执行步骤S103的优化模块，其中优化模块还适用于判断步骤S103的执行次数是否符合预设次数：当步骤S103的执行次数不符合预设次数时重复执行步骤S103，当步骤S103的执行次数符合预设次数时输出重构的三维地图数据。
实施例八
基于上述实施例四，基于空中地图数据重建三维地图的系统，其特征在于，包括：
上述实施例五至七任一项所述的基于空中地图数据重构三维地图数据的系统，适于输出重构的三维地图数据；
输出模块，适于与该基于空中地图数据重构三维地图数据的系统连接，以输出所述三维地图数据；
重建模块，适于基于所述三维地图数据对地图图像进行三维重建。
重建模块中基于所述三维地图数据对地图图像进行三维重建的流程步骤可参考实施例四，此处不再赘述。
实施例九
本实施例提供了一种基于空中地图数据重建三维地图的系统，包括：处理器和存储器。该存储器中存储有计算机程序，处理器适于在执行所述计算机程序时执行实施例一至三任一项实施例所述的基于空中地图数据重构三维地图数据的方法之步骤。
实施例十
本实施例相应的也可单独实现一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现实施例一至三任一项实施例所述的基于空中地图数据重构三维地图数据的方法之步骤。
实施例十一
本实施例相应的也可单独实现一种基于空中地图数据重构三维地图数据的系统，包括：处理器和存储器。存储器中存储有计算机程序，处理器适于在执行所述计算机程序时执行如实施例四记载的基于空中地图数据重建三维地图的方法之步骤。
实施例十二
本实施例相应的也可单独实现一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如实施例四所述的基于空中地图数据重建三维地图的方法之步骤。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (19)

1.一种基于空中地图数据重构三维地图数据的方法，其特征在于，包括：
实景获取目标场景的多张空中图像及地面图像；
基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；
基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；
基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：
基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；
对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图，所述N为预设的自然数值；
将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；
所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
2.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述空中图像为无人机拍摄的正射或者倾斜拍摄的图片集合，所述地面图像为由人或地面运动的机器人、车辆用手机或者相机拍摄的图片集合。
3.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述基于所述空中图像进行三维重建并与全局坐标系对齐包括：
获取空中图像特征点集；
基于所述空中图像构建空中三维视觉地图，并获得所述空中图像特征点集相对于所述空中三维视觉地图的空中三维点云坐标集；
将所述空中三维点云坐标集对齐于所述全局坐标系以获得全局坐标系下的空中三维点云坐标集；
所述空中三维图像数据包括：所述空中图像特征点集及全局坐标系下的空中三维点云坐标集。
4.如权利要求3所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述空中图像特征点集基于纹理特征获取。
5.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述基于所述地面图像计算设备位姿并与所述全局坐标系对齐包括：
获取地面图像特征点集；
基于所述地面图像构建地面三维视觉地图，并获得所述地面图像特征点集相对于所述地面三维视觉地图的地面三维点云坐标集；
将所述地面三维点云坐标集的初始位姿信息对齐于所述全局坐标系，以获得全局坐标系下地面三维点云坐标集的全局位姿信息；
所述地面三维图像数据包括：所述地面图像特征点集、地面三维点云坐标集及全局位姿信息。
6.如权利要求5所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述将所述地面三维点云坐标集的位姿信息对齐于所述全局坐标系包括：
为所述地面三维点云坐标集的初始位姿信息添加随机偏移量，以得到地面三维点云坐标集的偏移位姿信息；
基于所述空中三维图像数据及偏移位姿信息渲染得到新的地面三维视觉地图；
基于所述新的地面三维视觉地图，获得相对于所述地面图像特征点集的新的地面三维点云坐标集；
将所述新的地面三维点云坐标集的初始位姿信息作为所述全局坐标系下地面三维点云坐标集的相对位姿信息。
7.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据，包括：
基于所述地面三维图像数据获取所述全局坐标系下地面视角图像的位姿信息，并确定渲染图像所采用的相机模型，包括渲染图像的位姿与成像模型；
利用所述空中三维图像数据，采用所述相机模型，在所述地面视角图像的位姿信息所确定的位置渲染地面视角图像；
所述地面视角三维图像数据包括：所述地面视角图像的地面视角图像特征集及全局坐标系下的地面视角三维点云坐标集。
8.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据，包括：
提取所述渲染图的渲染特征点集并与指定地面图像的地面图像特征点集进行匹配，以获得相互匹配的匹配渲染特征点集及匹配地面图像特征集；
基于所述匹配渲染特征点集从对应的地面视角三维图像数据找到全局坐标系下的匹配渲染三维点云坐标集；
将所述匹配地面图像特征集与所述全局坐标系下的匹配渲染三维点云坐标集相关联以得到所述地面视角匹配三维图像数据。
9.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据还包括：
根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整；
所述基于空中地图数据重构三维地图数据的方法还包括：
重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据；
当捆绑结果符合阈值，输出所述重构三维地图数据。
10.如权利要求9所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整包括：
计算全局坐标系下的匹配渲染三维点云坐标及地面三维点云坐标相对于地面图像特征点坐标的重投影误差总和，所述捆绑结果为该重投影误差总和。
11.如权利要求9所述的基于空中地图数据重构三维地图数据的方法，其特征在于，所述根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整包括：通过使用损失函数模型f(X)对上述全局捆绑调整算法：
设损失函数为f(X)，Elocal为地面三维点云坐标的重投影误差总和，Eglobal为全局坐标系下的匹配渲染三维点云坐标在地面图像的重投影误差总和：
其中，i是相应地面图像的序号，j是地面图像特征点的序号，n为地面图像总数；X是地面图像之间匹配三角化得到的局部点云集合，Xj是X中第j个特征点；Y是全局点云集合，Yj是Y中第j个3D点；m是第i张图像观测到的局部点云总数，l是第i张地面图像观测到的全局点云的总数；w代表权重，wij是第i张图的第j个特征点的权重；C是图像内参，Ci是第i张图像的内参；P(Ci，Yj)表示将全局点云Yj投影到第i张地面图像时的投影点坐标，P(Ci,Xj)表示将局部点云Xj投影到第i张地面图像时的投影点坐标；q代表图像上特征点的位置，上述公式第一项的qij是与Xj对应的第i张地面图像的特征点坐标，公式第二项中的qij是Yj对应的第i张地面图像的特征点坐标。
12.如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，还包括：
重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据直到符合预设次数；
输出所述重构三维地图数据。
13.一种基于空中地图数据重建三维地图的方法，其特征在于，包括：
基于如权利要求1至12任一项所述的基于空中地图数据重构三维地图数据的方法输出所述三维地图数据；
基于所述三维地图数据对地图图像进行三维重建。
14.一种基于空中地图数据重构三维地图数据的系统，其特征在于，包括：
获取模块，适于实景获取目标场景的多张空中图像及地面图像；
第一计算模块，适于基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；
第二计算模块，适于基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；
优化模块，适于基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；
所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：
基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；
对指定地面图像从所述地面视角图像检索到N个与所述地面图像最相似的渲染图，所述N为预设的自然数值；
将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；
所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。
15.一种基于空中地图数据重建三维地图的系统，其特征在于，包括：
输出模块，适于与如权利要求14所述的基于空中地图数据重构三维地图数据的系统连接，以输出所述三维地图数据；
重建模块，适于基于所述三维地图数据对地图图像进行三维重建。
16.一种基于空中地图数据重建三维地图的系统，其特征在于，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如权利要求1至12任一项所述的基于空中地图数据重构三维地图数据的方法之步骤。
17.一种基于空中地图数据重构三维地图数据的系统，其特征在于，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如权利要求13所述的基于空中地图数据重建三维地图的方法之步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的基于空中地图数据重构三维地图数据的方法之步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求13所述的基于空中地图数据重建三维地图的方法之步骤。
CN202310498680.3A 2023-05-05 2023-05-05 基于空中地图数据重构地图的方法、系统及存储介质 Pending CN116630556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310498680.3A CN116630556A (zh) 2023-05-05 2023-05-05 基于空中地图数据重构地图的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310498680.3A CN116630556A (zh) 2023-05-05 2023-05-05 基于空中地图数据重构地图的方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116630556A true CN116630556A (zh) 2023-08-22

Family

ID=87635614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310498680.3A Pending CN116630556A (zh) 2023-05-05 2023-05-05 基于空中地图数据重构地图的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116630556A (zh)

Similar Documents

Publication Publication Date Title
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
Teller et al. Calibrated, registered images of an extended urban area
Park et al. High-precision depth estimation using uncalibrated LiDAR and stereo fusion
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
CN112085845A (zh) 基于无人机影像的室外场景快速三维重建装置
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN110176032B (zh) 一种三维重建方法及装置
CN107843251B (zh) 移动机器人的位姿估计方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN115035235A (zh) 三维重建方法及装置
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN113012084A (zh) 无人机影像实时拼接方法、装置及终端设备
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN117274514A (zh) 基于地空视角几何变换的遥感图像生成方法及装置
CN113048985B (zh) 已知相对旋转角度条件下的像机相对运动估计方法
CN116630556A (zh) 基于空中地图数据重构地图的方法、系统及存储介质
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
CN113240749A (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
Yang et al. A fast and effective panorama stitching algorithm on UAV aerial images
CN115100535B (zh) 基于仿射相机模型的卫星遥感图像快速重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination