CN112700546A - 一种室外大规模三维地图的构建系统与方法 - Google Patents

一种室外大规模三维地图的构建系统与方法 Download PDF

Info

Publication number
CN112700546A
CN112700546A CN202110032959.3A CN202110032959A CN112700546A CN 112700546 A CN112700546 A CN 112700546A CN 202110032959 A CN202110032959 A CN 202110032959A CN 112700546 A CN112700546 A CN 112700546A
Authority
CN
China
Prior art keywords
local
image
dimensional map
global
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110032959.3A
Other languages
English (en)
Inventor
王强
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shichen Information Technology Shanghai Co ltd
Original Assignee
Shichen Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shichen Information Technology Shanghai Co ltd filed Critical Shichen Information Technology Shanghai Co ltd
Priority to CN202110032959.3A priority Critical patent/CN112700546A/zh
Publication of CN112700546A publication Critical patent/CN112700546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

一种室外大规模三维地图的构建系统与方法，包括规划采集路线，对采集路线进行分块并采集分块的原始信息；对分块的原始信息进行处理，生成局部的相机轨迹位置和姿态；将局部的相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像信息；在局部对全局坐标下的图像信息进行特征提取、特征匹配和三角化操作，构建图像信息的三维结构信息，生成局部三维地图；根据选定范围对局部三维地图进行优化，生成优化更新后的三维地图。本发明的室外大规模三维地图的构建系统与方法时间、成本可控，精度能满足常规的增强现实应用，具有较高的应用价值。

Description

一种室外大规模三维地图的构建系统与方法
技术领域
本发明属于增强现实、计算机视觉、三维视觉领域，具体涉及一种室外大规模三维地图的构建系统和方法。
背景技术
三维视觉地图是增强现实、机器人、无人驾驶等领域的关键技术之一，是自动辨识周围环境、视觉定位等技术的核心。随着各种传感器的普及、处理能力的增强以及各种应用需求的推动，每天都在采集越来越多的图像数据，同时生成并更新三维地图。
目前无人驾驶、增强现实领域对三维地图的精度要求高，一方面需要高精度的采集设备，另一方面需要高精度的计算中心来支撑大规模数据的处理，因此目前三维地图的构建大都依赖于高精度的激光雷达、或者高精度的GPS如RTK-GPS系统，，采用高精度的系统成本高、门槛高、难以大规模覆盖。
目前智能手机(如最新的苹果iphone或者安卓高端手机)和消费级的运动相机、全景相机(例如gopro，insta360等厂商的产品)除了常规的拍照和视频功能，还配备了GPS和IMU等数据，可以用来采集视频、IMU和GPS等信息，但是利用此类消费级设备在普通桌面级环境种构建三维地图，虽然成本低，但难以满足三维地图的高精度，同时也难以大规模覆盖。
综上所述，如何在降低成本和门槛的同时，满足三维地图的高精度和大规模覆盖的要求是业界亟待解决的问题。
发明内容
为了克服现有技术缺陷，本发明的目的是提供一种室外大规模三维地图的构建系统和方法。为了实现上述目的，本发明采用的技术方案如下：
本发明的一个方面提供了一种室外大规模三维地图的构建系统，包括数据采集模块、局部姿态生成模块、GIS对齐模块、局部三维地图生成模块和局部三维地图优化模块，其中：
所述数据采集模块对所述三维地图的采集路线进行分块，采集所述分块内的图像的视频、IMU和GPS信息；
所述局部姿态生成模块利用视觉惯性里程计融合所述图像的视频和IMU信息，生成所述三维地图的局部相机轨迹位置和姿态；
所述GIS对齐模块利用所述图像的GPS信息将所述局部的相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像信息；
所述局部三维地图生成模块利用所述全局坐标下的图像信息构建所述图像的三维结构信息，生成局部三维地图，并提取所述局部三维地图图像的全局特征；
所述局部地图优化模块利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图。
优选地，所述数据采集模块采用消费级全景相机或智能手机采集所述图像的视频、IMU和GPS信息，并将所述图像的视频、IMU和GPS信息输出至所述局部姿态生成模块。
优选地，所述局部姿态生成模块利用所述消费级全景相机或智能手机的视觉惯性里程计融合所述图像的视频和IMU信息，生成所述局部的相机轨迹位置和姿态，并将所述局部相机轨迹位置和姿态输出至所述GIS对齐模块。
优选地，所述局部的相机轨迹的位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
优选地，所述GIS对齐模块将所述局部相机轨迹和姿态以及所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息至所述局部三维地图生成模块，所述全局坐标下的图像信息为所述分块内图像在全局坐标系下的位置和姿态。
优选地，所述局部三维地图生成模块将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征以及所述图像的全局特征至所述局部三维地图优化模块。
优选地，所述局部三维地图生成模块利用卷积神经网络提取所述图像的全局特征，输入为单帧图像信息，输出为全局特征向量。
优选地，所述局部三维地图优化模块将所述选定范围内的真实物理空间附近的图像以及相似度比较高的图像的全局坐标系的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云。
优选地，所述局部三维地图优化模块通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化；或者所述局部三维地图优化模块通过多时间段、多个季节的数据联合优化对所述选定范围内的局部三维地图进行优化。
本发明的另外一个方面提供了一种室外大规模三维地图的构建方法，包括：
1)规划三维地图的采集路线，对所述采集路线进行分块，采集所述分块内图像的视频、IMU和GPS信息；
2)利用视觉惯性里程计融合所述图像的视频和IMU信息，生成局部相机轨迹位置和姿态；
3)利用所述图像的GPS信息将所述局部的相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像的位置和姿态；
4)利用全局坐标下的图像信息构建所述图像的三维结构信息，生成局部三维地图，并提取所述局部三维地图图像的全局特征；
5)利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图。
优选地，采用消费级全景相机或智能手机采集所述分块内图像的视频、IMU和GPS信息。
优选地，利用所述消费级全景相机或智能手机的视觉惯性里程计融合所述图像的视频和IMU信息，生成所述局部相机轨迹位置和姿态，所述局部的相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
优选地，所述将局部相机轨迹位置和姿态对齐到地理信息坐标下，包括：将所述局部相机轨迹位置和姿态以及所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息，所述全局坐标下的图像信息为所述分块内图像在全局坐标系下的位置和姿态。
优选地，所述利用全局坐标下的图像信息构建所述图像信息的三维结构信息，包括：
将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征。
优选地，利用卷积神经网络提取所述局部三维地图图像对应的全局特征，输入为单帧图像信息，输出为全局特征向量。
优选地，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
将所述选定范围内真实物理空间附近的图像以及相似度比较高的图像的全局坐标系的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云。
优选地，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化；或者通过多时间段、多个季节的数据联合优化对所述选定范围内的局部三维地图进行优化。
优选地，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
1)从服务器读取所述选定范围内的所有局部三维地图；
2)根据所述局部三维地图中图像的GPS信息获取所述图像在绝对位置空间上的候选匹配对；
3)计算所述图像的全局特征向量，利用所述全局特征向量获取所述图像在特征空间上的最接近的候选匹配对；
4)对于所述选定范围内的图像以及所述图像的所述绝对位置空间上的候选匹配对和所述在特征空间上的最接近的候选匹配对，分别提取局部特征和描述子，根据所述局部特征和描述子进行最近邻匹配，获得局部的匹配；
5)根据观测到的图像的位置和姿态以及所述局部的匹配的特征点在所述图像中的位置，通过三角化算法，得到所述特征点对应的三维点的位置；
6)对所述图像、所述局部特征和所述局部的匹配构建局部优化问题，通过Levenberg-Marquartdt方法进行全局捆绑调整，得到优化后的图像的位置和姿态，以及所述三维点的位置。
本发明的室外大规模三维地图的构建系统和方法，利用消费级的智能手机、运动相机、全景相机等低成本的设备，在普通桌面级环境中即可构建室外场景下的大规模、较高精度的三维视觉地图；本发明对采集路线进行分块，避免随着规模变大造成计算时间不可控的问题；本发明利用视觉惯性里程计生成局部的相机轨迹位置和姿态，保证分块内部的精度比较高；本发明利用GPS轨迹将局部相机轨迹对齐到地理信息坐标系下，生成全局坐标；本发明在局部进行三角化操作，构建三维结构信息，由于在局部进行，因此速度很快；本发明根据需要进行局部优化，同样规模可控，时间可控，也比较灵活。本发明的室外大规模三维地图的构建系统和方法时间、成本可控，规模更大，精度能满足常规的增强现实应用，具有较高的应用价值。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后，将会更加清楚地了解本发明的各个方面。其中，
图1为本发明的一个实施例的室外大规模三维地图的构建系统的功能模块图；
图2为本发明的另一个实施例的室外大规模三维地图的构建方法的工作流程图。
附图标记说明：
10：室外大规模三维地图的构建系统；
11：数据采集模块；12：局部姿态生成模块；13：GIS对齐模块；14：局部三维地图生成模块；15：局部三维地图优化模块。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述具体实施例。然而，本技术领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。
请配合参阅图1所示为本发明的一个实施例的室外大规模三维地图的构建系统的功能模块图。
本发明的一个方面提供了一种室外大规模三维地图的构建系统10，包括数据采集模块11、局部姿态生成模块12、GIS对齐模块13、局部三维地图生成模块14和局部三维地图优化模块15，其中：
所述数据采集模块11规划所述三维地图的采集路线，对所述采集路线进行分块，具体地，根据预先设定的划分规则，将所述采集路线划分为不同的扫描区域；对所述分块进行扫描并采集所述分块内图像的视频、IMU(加速度计和陀螺仪)和GPS信息，具体地，所述数据采集模块11通过对所述采集路线进行分块，避免随着扫描区域规模变大造成计算时间不可控的问题，提高了系统的运行效率；
所述局部姿态生成模块12利用视觉惯性里程计方法(Visual InertialOdometry，VIO)融合所述图像的视频和IMU信息，生成所述三维地图的局部相机轨迹位置和姿态，具体地，所述局部相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态；具体地，所述视觉惯性里程计的输入为所述数据采集模块采集的所述图像的视频信息和IMU信息，通过对所述视频信息、IMU信息数据进行预处理、初始化、局部非线性优化、回环检测和全局优化，输出所述分块内图像在局部坐标系下的六自由度位置和姿态；具体地，通过所述视觉惯性里程计方法保证所述分块内部的轨迹和地图精度比较高，比其他方法更能充分利用视频的序列信息，而且能直接恢复场景的真实尺度；
所述GIS对齐模块13利用所述图像的GPS信息将所述局部的相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像信息，具体地，所述GIS对齐模块13通过RANSAC算法估计所述局部相机轨迹和GPS轨迹的刚体变换关系，将所述局部的相机轨迹转换到UTM映射下；
所述局部三维地图生成模块14利用所述全局坐标下的图像信息构建所述图像的三维结构信息，生成局部三维地图，具体地，所述图像信息的匹配在局部进行，对于不是同一地理位置附近的图像，减少无用的匹配的操作，因此匹配速度很快；同时为了后续多个地图融合和优化，提取所述局部三维地图图像的全局特征；
所述局部三维地图优化模块15利用所述局部三维地图图像的全局特征，融合多次的采集结果，对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图。具体地，所述局部三维地图优化模块15将附近的所有图像和三维点做捆绑约束调整，提高了所述局部姿态生成模块12输出的所述局部相机轨迹位置和姿态的精度，同时进一步消除所述GIS对齐模块13中所述局部相机轨迹和GPS轨迹对齐的误差，同样规模可控，时间可控，也比较灵活。
在本实施例中，所述数据采集模块11采用消费级全景相机(如GoPro Max,insta360 one X)或智能手机(iPhone或安卓手机)采集所述图像的视频、IMU和GPS信息，并将所述图像的视频、IMU和GPS信息输出至所述局部姿态生成模块12，具体地，所述消费级全景相机(如GoPro Max,insta360 one X)或智能手机(iPhone或安卓手机)不仅具备常规的拍照和视频功能，还配备GPS和IMU，因此采用所述消费级全景相机(如GoPro Max,insta360one X)或智能手机(iPhone或安卓手机)能同时采集所述视频、IMU(加速度计和陀螺仪)和GPS信息；具体地，采用全景相机和智能手机作为采集设备，相比现有采集设备RTK-GPS或者激光雷达，成本更低，使用更方便。
在本实施例中，所述局部姿态生成模块12利用所述消费级全景相机或智能手机的视觉惯性里程计融合所述图像的视频和IMU信息，生成所述局部的相机轨迹位置和姿态，并将所述局部的相机轨迹位置和姿态输出至所述GIS对齐模块13。
在本实施例中，所述局部的相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
在本实施例中，所述GIS对齐模块13将所述局部相机轨迹位置和姿态与所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息至所述局部三维地图生成模块14，具体地，所述GIS对齐模块13将所述分块内图像在局部坐标系下的六自由度位置和姿态Tlocal与所述图像的GPS信息进行计算，输出所述分块内图像在全局坐标系下的位置和姿态Tglobal。
在本实施例中，所述局部三维地图生成模块14将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征以及所述图像对应的全局特征至所述局部三维地图优化模块15，具体地，所述全局坐标下的图像信息为图像和所述图像在全局坐标系下的位置和姿态Tglobal。
在本实施例中，所述局部三维地图生成模块14利用卷积神经网络提取所述图像的全局特征，输入为单帧图像信息，输出为全局特征向量，具体地，所述全局特征向量为Ddesc维的向量。
在本实施例中，所述局部三维地图优化模块15将所述选定范围内真实物理空间附近的图像以及相似度比较高的图像的全局坐标系的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云。具体地，所述局部三维地图优化模块15通过所述图像的GPS信息计算所述真实物理空间附近的图像，所述局部三维地图优化模块15通过所述图像的全局特征向量的欧式距离计算所述相似度比较高的图像。
在本实施例中，同一用户单次采集的精度不够，无法达到亚米级甚至厘米级的高精度地图，所述局部三维地图优化模块15通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化，提高所述三维地图的精度；单次采集无法覆盖不同的时间、天气、气候、光线的变化，所述局部三维地图优化模块15通过多时间段、多个季节的数据联合优化，对所述选定范围内的局部三维地图进行优化，提升所述三维地图的完整性，具体地，通过同一地点在早上、中午、晚上不同的地图片段合成更准确、覆盖度更完整的三维地图，或者通过同一条马路不同侧拍摄的地图片段得到更准确的三维地图，或者通过不同用户使用不同设备在同一区域不同路径下的地图片段得到更精确的三维地图。
请配合参阅图2所示为本发明的另一个实施例的室外大规模三维地图的构建方法的工作流程图。
本发明的另外一个方面提供了一种室外大规模三维地图的构建方法，包括：
S1：规划所述三维地图的采集路线，对所述采集路线进行分块，具体地，根据预先设定的划分规则，将所述采集路线划分为不同的扫描区域；对所述分块进行扫描并采集所述分块内图像的视频、IMU和GPS信息，通过分块避免随着扫描区域规模变大造成计算时间不可控的问题，提高了系统的运行效率；
S2：利用视觉惯性里程计(Visual Inertial Odometry，VIO)方法融合所述图像的视频和IMU信息，生成局部相机轨迹位置和姿态，具体地，所述局部相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态；具体地，所述视觉惯性里程计的输入为所述采集的所述图像的视频信息和IMU信息，通过对所述视频信息、IMU信息数据进行预处理、初始化、局部非线性优化、回环检测和全局优化，输出所述分块内图像在局部坐标系下的六自由度位置和姿态；具体地，通过所述视觉惯性里程计方法保证所述分块内部的轨迹和地图精度比较高，比其他方法更能充分利用视频的序列信息，而且能直接恢复场景的真实尺度；
S3：利用所述图像的GPS信息将所述局部的相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像信息，具体地，通过RANSAC算法估计所述局部相机轨迹和GPS轨迹的刚体变换关系，将所述局部的相机轨迹转换到UTM映射下；
S4：利用所述全局坐标下的图像信息构建所述图像信息的三维结构信息，生成局部三维地图，具体地，所述图像信息的匹配在局部进行，对于不是同一地理位置附近的图像，减少无用的匹配的操作，因此匹配速度很快；同时为了后续多个地图融合和地图优化，提取所述局部三维地图图像的全局特征；
S5：利用所述局部三维地图图像的全局特征，融合多次的采集结果，对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图，具体地，将附近的所有图像帧和三维点做捆绑约束调整，提高了所述局部相机轨迹位置和姿态的精度，同时进一步消除所述局部相机轨迹和GPS轨迹对齐的误差，同样规模可控，时间可控，也比较灵活。
在本实施例中，所述对分块进行扫描并采集所述分块内图像的视频、IMU和GPS信息S1，包括：
采用消费级全景相机(如GoPro Max,insta360 one X)或智能手机(iPhone或安卓手机)采集所述图像的视频、IMU(加速度计和陀螺仪)和GPS信息，具体地，所述消费级全景相机(如GoPro Max,insta360 one X)或智能手机(iPhone或安卓手机)不仅具备常规的拍照和视频功能，还配备GPS和IMU，因此采用所述消费级全景相机(如GoPro Max,insta360one X)或智能手机(iPhone或安卓手机)能同时采集所述视频、IMU(加速度计和陀螺仪)和GPS信息；具体地，采用全景相机和智能手机作为采集设备，相比现有采集设备RTK-GPS或者激光雷达，成本更低，使用更方便。
在本实施例中，所述利用视觉惯性里程计方法融合所述图像的视频和IMU信息S2，包括：
利用所述消费级全景相机或智能手机的视觉惯性里程计(Visual InertialOdometry，VIO)融合所述图像的视频和IMU信息，生成所述局部的相机轨迹位置和姿态，具体地，所述局部的相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
在本实施例中，所述将局部相机轨迹位置和姿态对齐到地理信息坐标下S3，包括：
将所述局部相机轨迹位置和姿态与所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息，具体地，将所述分块内图像在局部坐标系下的六自由度位置和姿态Tlocal与所述图像的GPS信息进行计算，输出所述图像在全局坐标系下的位置和姿态Tolobal。
在本实施例中，所述构建所述图像信息的三维结构信息S4，包括：
将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征。
在本实施例中，利用卷积神经网络提取所述局部三维地图图像的全局特征，输入为单帧图像信息，输出为全局特征向量，具体地，所述全局特征向量为Ddesc维的向量。
在本实施例中，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化S5，包括：
将所述选定范围内真实物理空间附近的图像以及相似度比较高的图像的全局坐标系的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云，具体地，通过所述图像的GPS信息计算所述真实物理空间附近的图像，通过图像的全局特征向量的欧式距离计算相似度比较高的图像。
在本实施例中，同一用户单次采集的精度不够，无法达到亚米级甚至厘米级的高精度地图，通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化，提高所述三维地图的精度；或者单次采集无法覆盖不同的时间、天气、气候、光线的变化，通过多时间段、多个季节的数据联合优化，对所述选定范围内的局部三维地图进行优化，提升所述三维地图的完整性。具体地，通过同一地点在早上、中午、晚上不同的地图片段合成更准确、覆盖度更完整的三维地图；或者通过同一条马路不同侧拍摄的地图片段得到更准确的三维地图；或者通过不同用户使用不同设备在同一区域不同路径下的地图片段得到更精确的三维地图。
在本实施例中，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化S5，包括：
1)选定需要优化的范围，具体地，给定所述选定范围的GPS范围，从服务器读取在所述选定范围内的所有局部三维地图，记录为M1……Mn；
2)对所述M1……Mn中的所有的图像关键帧，根据每一帧图像的GPS信息获取所述图像在绝对位置空间上的候选匹配对，具体地，所述绝对空间上的候选匹配对的获取方法如下：
(1)设定阈值ThresholdDist；
(2)计算两个图像GPS位置的直线距离dist(Ii，Ij)，Ii和Ij为获取对应i，j序号的图像；
(3)将所有dist(Ii，Ij)小于预先设定阈值ThresholdDist的图像对作为绝对空间上的候选匹配对，具体算法如下：
candidate1(Ii)＝pair{i,j}if dist(get_GPS(Ii)-get_GPS(Ij)＜ThresholdDist)；
3)对于每一帧图像计算全局特征向量global_featurei，具体地，利用卷积神经网络计算所述全局特征向量，利用所述全局特征向量获取所有在特征空间上的最接近的候选匹配对candidate2(Ii)，具体地，所述在特征空间上的最接近的候选匹配对为和图像Ii的全局特征向量fi欧式距离最小的top-N个图像，其中N为预先选定的特征空间的最近邻的候选数量；
4)对于所述选定范围内的每一帧图像Ii以及与之对应的所述绝对位置空间上的候选匹配对和所述在特征空间上的最接近的候选匹配对的并集candidate1(Ii)∪candidate2(Ii)，分别提取局部特征localfeature和描述子localdesc，具体地，所述局部特征可以为SIFT特征，或者为SURF特征，或者为superpoint特征等其他特征，根据所述局部特征和描述子进行最近邻匹配(nearest neighboring matching)，获得局部的匹配match：
match(m，n)＝{localdesc(m)，localdesc(n),localfeature(m)，localfeature(n)}；
5)根据观测到的每一帧图像的位置和姿态以及所述局部的匹配的特征点在所述图像中的位置，通过三角化算法，得到所述特征点对应的三维点的位置；
6)对每一帧图像、所述局部特征和所述局部的匹配构建局部优化问题，通过Levenberg-Marquartdt方法进行全局捆绑调整，得到优化后的图像的位置和姿态，以及所述三维点的位置，具体地，优化的目标函数为：
CostTotal＝λ0*Costglobal_GPS+λ1*Costvisual_matching+λ2*Costprior_relative_pose
所述优化问题包括不同时间段的图像之间的视觉约束信息Costvisual_matching，单次采集的连续帧之间相对的位置和姿态约束信息Costprior_relative_pose，单次采集图像在全局坐标系下(如GPS坐标系下)的约束信息Costglobal_GPS，从而实现融合优化之后精度更高，覆盖更完整的地图。
本发明的室外大规模三维地图的构建系统和方法，利用消费级的智能手机、运动相机、全景相机等低成本的设备，在普通桌面级环境中即可构建室外场景下的大规模、较高精度的三维视觉地图；本发明对采集路线进行分块，避免随着规模变大造成计算时间不可控的问题；本发明利用视觉惯性里程计生成局部的相机轨迹位置和姿态，保证分块内部的精度比较高；本发明利用GPS轨迹将局部相机轨迹对齐到地理信息坐标系下，生成全局坐标；本发明对于和GIS对齐的图像信息，在局部进行三角化操作，构建三维结构信息，由于在局部进行，因此速度很快；本发明还可以根据需要进行局部优化，同样规模可控，时间可控，也比较灵活。本发明的室外大规模三维地图的构建系统和方法时间、成本可控，规模更大，精度能满足常规的增强现实应用，具有较高的应用价值。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所做的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员而言，在上述说明的基础上还可以做出其他不同形式的变化或变动，本发明所例举的实施例无法对所有的实施方式予以穷尽，凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。在本发明中提及的所有文献都在本申请中引用作为参考，就如同一篇文献被单独引用为参考那样。

Claims (18)

1.一种室外大规模三维地图构建系统，其特征在于，包括数据采集模块、局部姿态生成模块、GIS对齐模块、局部三维地图生成模块和局部三维地图优化模块，其中：
所述数据采集模块对所述三维地图的采集路线进行分块，采集所述分块内图像的视频、IMU和GPS信息；
所述局部姿态生成模块利用视觉惯性里程计融合所述图像的视频和IMU信息，生成局部相机轨迹位置和姿态；
所述GIS对齐模块利用所述图像的GPS信息将所述局部相机轨迹位置和姿态对齐到地理信息坐标系下，得到全局坐标下的图像信息；
所述局部三维地图生成模块利用所述全局坐标下的图像信息构建所述图像的三维结构信息，生成局部三维地图，并提取所述局部三维地图图像的全局特征；
所述局部三维地图优化模块利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图。
2.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述数据采集模块采用消费级全景相机或智能手机采集所述图像的视频、IMU和GPS信息，并将所述图像的视频、IMU和GPS信息输出至所述局部姿态生成模块。
3.根据权利要求2所述的室外大规模三维地图的构建系统，其特征在于，所述局部姿态生成模块利用所述消费级全景相机或智能手机的视觉惯性里程计融合所述图像的视频和IMU信息，生成所述局部相机轨迹位置和姿态，并将所述局部相机轨迹位置和姿态输出至所述GIS对齐模块。
4.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述局部相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
5.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述GIS对齐模块将所述局部相机轨迹位置和姿态以及所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息至所述局部三维地图生成模块，所述全局坐标下的图像信息为所述分块内图像在全局坐标系下的位置和姿态。
6.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述局部三维地图生成模块将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征以及所述图像的全局特征至所述局部三维地图优化模块。
7.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述局部三维地图生成模块利用卷积神经网络提取所述图像的全局特征，输入为单帧图像信息，输出为全局特征向量。
8.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述局部三维地图优化模块将所述选定范围内真实物理空间附近的图像以及相似度比较高的图像的全局坐标系下的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云的位置。
9.根据权利要求1所述的室外大规模三维地图的构建系统，其特征在于，所述局部三维地图优化模块通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化；或者所述局部三维地图优化模块通过多时间段、多个季节的数据联合优化对所述选定范围内的局部三维地图进行优化。
10.一种室外大规模三维地图的构建方法，其特征在于，包括：
1)规划三维地图的采集路线，对所述采集路线进行分块，采集所述分块内图像的视频、IMU和GPS信息；
2)利用视觉惯性里程计融合所述图像的视频和IMU信息，生成局部相机轨迹位置和姿态；
3)利用所述图像的GPS信息将所述局部相机轨迹位置和姿态对齐到地理信息坐标下，得到全局坐标下的图像信息；
4)利用所述全局坐标下的图像信息构建所述图像的三维结构信息，生成局部三维地图，并提取所述局部三维地图图像的全局特征；
5)利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，生成优化更新后的三维地图。
11.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，采用消费级全景相机或智能手机采集所述分块内图像的视频、IMU和GPS信息。
12.根据权利要求11所述的室外大规模三维地图的构建方法，其特征在于，利用所述消费级全景相机或智能手机的视觉惯性里程计融合所述图像的视频和IMU信息，生成所述局部相机轨迹位置和姿态，所述局部相机轨迹位置和姿态为所述分块内图像在局部坐标系下的六自由度位置和姿态。
13.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述将局部相机轨迹位置和姿态对齐到地理信息坐标下，包括：
将所述局部相机轨迹位置和姿态以及所述图像的GPS信息进行计算，输出所述全局坐标下的图像信息，所述全局坐标下的图像信息为所述分块内图像在全局坐标系下的位置和姿态。
14.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述利用全局坐标下的图像信息构建所述图像信息的三维结构信息，包括：
将所述全局坐标下的图像信息在局部进行特征提取、特征匹配和三角化操作，输出三维点云、所述三维点云的位置和局部特征。
15.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述提取所述局部三维地图图像的全局特征，包括：
利用卷积神经网络提取所述局部三维地图图像的全局特征，输入为单帧图像信息，输出为全局特征向量。
16.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
将所述选定范围内真实物理空间附近的图像以及相似度比较高的图像的全局坐标系的位置和姿态以及所述图像可以观测到的三维点云的位置和局部特征进行联合优化，输出优化更新后的图像的位置和姿态，以及更新后的三维点云。
17.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
通过同一位置多次采集和/或多个用户的数据联合优化，对所述选定范围内的局部三维地图进行优化；或者通过多时间段、多个季节的数据联合优化对所述选定范围内的局部三维地图进行优化。
18.根据权利要求10所述的室外大规模三维地图的构建方法，其特征在于，所述利用所述局部三维地图图像的全局特征对选定范围内的局部三维地图进行优化，包括：
1)从服务器读取所述选定范围内的所有局部三维地图；
2)根据所述局部三维地图中图像的GPS信息获取所述图像在绝对位置空间上的候选匹配对；
3)计算所述局部三维地图中图像的全局特征向量，利用所述全局特征向量获取所述图像在特征空间上的最接近的候选匹配对；
4)对于所述选定范围内的图像以及所述图像的所述绝对位置空间上的候选匹配对和所述在特征空间上的最接近的候选匹配对，分别提取局部特征和描述子，根据所述局部特征和描述子进行最近邻匹配，获得局部的匹配；
5)根据观测到的图像的位置和姿态以及所述局部的匹配的特征点在所述图像中的位置，通过三角化算法，得到所述特征点对应的三维点的位置；
6)对所述图像、所述局部特征和所述局部的匹配构建局部优化问题，通过Levenberg-Marquartdt方法进行全局捆绑调整，得到优化后的图像的位置和姿态，以及所述三维点的位置。
CN202110032959.3A 2021-01-14 2021-01-14 一种室外大规模三维地图的构建系统与方法 Pending CN112700546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110032959.3A CN112700546A (zh) 2021-01-14 2021-01-14 一种室外大规模三维地图的构建系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110032959.3A CN112700546A (zh) 2021-01-14 2021-01-14 一种室外大规模三维地图的构建系统与方法

Publications (1)

Publication Number Publication Date
CN112700546A true CN112700546A (zh) 2021-04-23

Family

ID=75513913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110032959.3A Pending CN112700546A (zh) 2021-01-14 2021-01-14 一种室外大规模三维地图的构建系统与方法

Country Status (1)

Country Link
CN (1) CN112700546A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1208526A2 (en) * 1999-06-28 2002-05-29 Cognitens, Ltd Aligning a locally-reconstructed three-dimensional object to a global coordinate system
KR100822814B1 (ko) * 2007-07-18 2008-04-18 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
US20120299920A1 (en) * 2010-11-24 2012-11-29 Google Inc. Rendering and Navigating Photographic Panoramas with Depth Information in a Geographic Information System
KR20130002663A (ko) * 2011-06-29 2013-01-08 제주대학교 산학협력단 증강 현실 제공 시스템 및 방법
KR20140072763A (ko) * 2012-12-31 2014-06-13 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN110610540A (zh) * 2019-09-05 2019-12-24 广州图测智能科技有限公司 一种基于bim和gis的城市实景三维模型的快速渲染出图方法
CN111383282A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN112200911A (zh) * 2020-11-06 2021-01-08 北京易达恩能科技有限公司 结合标志物的区域重叠式三维地图构建方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1208526A2 (en) * 1999-06-28 2002-05-29 Cognitens, Ltd Aligning a locally-reconstructed three-dimensional object to a global coordinate system
KR100822814B1 (ko) * 2007-07-18 2008-04-18 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
US20120299920A1 (en) * 2010-11-24 2012-11-29 Google Inc. Rendering and Navigating Photographic Panoramas with Depth Information in a Geographic Information System
KR20130002663A (ko) * 2011-06-29 2013-01-08 제주대학교 산학협력단 증강 현실 제공 시스템 및 방법
KR20140072763A (ko) * 2012-12-31 2014-06-13 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN111383282A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN110610540A (zh) * 2019-09-05 2019-12-24 广州图测智能科技有限公司 一种基于bim和gis的城市实景三维模型的快速渲染出图方法
CN112200911A (zh) * 2020-11-06 2021-01-08 北京易达恩能科技有限公司 结合标志物的区域重叠式三维地图构建方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘振东 等: "三维GIS场景与多路视频融合的对象快速确定法", 测绘学报, vol. 49, no. 5, 15 May 2020 (2020-05-15), pages 1 - 12 *
郭欣桐: "基于激光视觉数据融合的室外同时定位与地图构建", CNKI 优秀硕士学位论文全文库，信息科技, 10 May 2020 (2020-05-10), pages 1 - 68 *

Similar Documents

Publication Publication Date Title
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN106840148B (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
JP6897668B2 (ja) 情報処理方法および情報処理装置
Zhao et al. A vehicle-borne urban 3-D acquisition system using single-row laser range scanners
Courbon et al. Autonomous navigation of vehicles from a visual memory using a generic camera model
CN112815923B (zh) 视觉定位方法和装置
CN112833892B (zh) 一种基于轨迹对齐的语义建图方法
CN110032965A (zh) 基于遥感图像的视觉定位方法
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN111665512A (zh) 基于3d激光雷达和惯性测量单元的融合的测距和绘图
CN112419501A (zh) 一种地空异构协同地图构建方法
Ramezani et al. Omnidirectional visual-inertial odometry using multi-state constraint Kalman filter
Yu et al. Monocular urban localization using street view
Antigny et al. Pedestrian track estimation with handheld monocular camera and inertial-magnetic sensor for urban augmented reality
Zhang et al. Online ground multitarget geolocation based on 3-D map construction using a UAV platform
Guo et al. Research on DSO vision positioning technology based on binocular stereo panoramic vision system
Yan et al. Long-term visual localization with mobile sensors
Zhou et al. Visual mapping and localization system based on compact instance-level road markings with spatial uncertainty
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN111612829B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
Lu et al. Vision-based localization methods under GPS-denied conditions
CN112700546A (zh) 一种室外大规模三维地图的构建系统与方法
Yan et al. Vision-based global localization of unmanned aerial vehicles with street view images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination