CN107452037B - 一种基于gps辅助信息加速的从运动中恢复结构方法 - Google Patents

一种基于gps辅助信息加速的从运动中恢复结构方法 Download PDF

Info

Publication number
CN107452037B
CN107452037B CN201710650059.9A CN201710650059A CN107452037B CN 107452037 B CN107452037 B CN 107452037B CN 201710650059 A CN201710650059 A CN 201710650059A CN 107452037 B CN107452037 B CN 107452037B
Authority
CN
China
Prior art keywords
image
matching
calculating
point cloud
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710650059.9A
Other languages
English (en)
Other versions
CN107452037A (zh
Inventor
齐越
杜文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics, Beihang University filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201710650059.9A priority Critical patent/CN107452037B/zh
Publication of CN107452037A publication Critical patent/CN107452037A/zh
Application granted granted Critical
Publication of CN107452037B publication Critical patent/CN107452037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种基于GPS辅助信息加速的从运动中恢复结构方法，包括：第1步骤，对输入的图像进行编号处理，同时提取输入图像中的GPS位置信息，并计算出待匹配的图像对；第2步骤，对图像进行特征提取，并在第1步骤确定的待匹配的图像对之间进行特征匹配，匹配的结果将被分别用于第4步骤的三维点云计算和第3步骤的相机位姿估计；第3步骤，对第2步骤特征匹配结果进行进一步的滤波处理，然后用以计算相机位姿；第4步骤，利用第2步骤的匹配结果和第3步骤的相机位姿计算出目标场景的三维点云。本发明利用GPS位置信息去确定待匹配的图像对，能够避免图像匹配阶段多余的计算来加速整个重建过程，在图像数量多时，加速效果更明显。

Description

一种基于GPS辅助信息加速的从运动中恢复结构方法
技术领域
本发明属于基于图像建模、虚拟现实技术、计算机视觉和计算机图形图像处理领域，具体说是用目标场景的图像的二维像素信息，通过多视点几何、图像匹配等理论，恢复出场景的三维结构，包括优化出相机的拍摄位置和朝向，特征点追踪，以及场景三维点云的计算与优化，主要用于室外大场景的自动重建。
背景技术
计算机视觉中，多视点几何的三维重建理论已经有比较成熟的发展，相关的基础理论和算法在文献Multiple View Geometry in Computer Vision 2nd中有详细的介绍。从运动中恢复结构(Structure from Motion，SFM)已经有几十年的研究历史，并且得到了成功的应用，根据处理过程的不同，该方法可以分为全局的SFM方法和增量的SFM方法。
对于增量的SFM方法，首先确定两个或者三个视点的图像为初始进行重建，然后渐进的增加新的图像来逐渐的重建整个场景。该方法在处理比较大的图像集时，可能会因误差累积的因素造成重建场景的偏移，而且初始视点的选择和图像增加的顺序严重影响最后重建场景的成功与否和质量的好坏，在重建的过程中，为了保证精度需要进行多次的光束平差法调整(bundle adjustment，BA)，计算过程比较慢。对于大场景的三维重建，这种增量的SfM方法在可行性上有一定的困难。
对于全局的SFM方法，通常都是通过先计算全局的旋转矩阵R，然后计算相机的位置T的方式。文献Global Fusion of Relative Motions for Robust Accurate andScalable Structure from Motion在计算相机姿态时分为四个步骤：相对旋转估的计、全局旋转的估计、相对位移方向的估计和全局位移的估计，最后计算场景的三维点云。该方法中，相对旋转的估计和相对位移方向的估计是分离的，采用先估计相对旋转和全局旋转，然后采用估计出来的全局旋转结合三焦点张量估计出相对的位移方向，能精确的估计相机位姿，但是在图像的特征提取和特征匹配的过程很慢，没有采用一个好的图像匹配方式，因此当图像集比较大时，该方法的重建速度比较慢。文献Efficient Large-Scale StructureFrom Motion by Fusing Auxiliary Imaging Information在全局的SFM基础上，增加了GPS和IMU等辅助信息进行重建，辅助信息对图像集的预处理，和相机姿态估计起到了帮助。整个重建的过程对相机姿态估计的精度要求比较高，而准确的特征对应对于相机姿态的估计至关重要，因此，在进行相机姿态估计之前，往往需要对初始的特征对应进行很多额外处理来使得特征对应更加精确。因为误差的原因，这些额外的处理往往会剔除掉一些正确的特征对应，一些重叠度低的图像对连同特征对应关系也会被移除掉，从而使最终计算得到的三维点云中点的数量变少。滤波的过程会错误的剔除一下特征对应，为了精确的估计相机姿态，这些滤波的过程都是不可或缺的，而且太多的特征对应也会使得相机姿态估计的速度变慢。因为技术的进不使得拍摄的图像的分辨率都很高，图像间的特征点数量和特征匹配数量也会很大，但是一定数量的特征对应往往就能快速、精确的估计出相机姿态；但是，从另一方面来看，最终的三维点云中点的数量是由图像间的特征对应计算得到的，因此要想计算出丰富的三维点云必须有充足的特征对应，这与相机姿态估计的过程是矛盾的。
不管是增量式的SfM方法还是全局式的SfM方法，特征匹配的过程是不可或缺的，而且特征提取和特征匹配的过程在整个重建过程的耗时方面占了很大的比重。因为很难预先知道哪些图像之间存在匹配关系，所以对于一些原本不存在匹配关系的图像对仍要进行图像匹配的计算，因此很多匹配的计算是冗余的。减少这种冗余能在很大程度上加快三维重建过程。一些学者提出了基于图的图像匹配方式和基于词汇树的图像匹配方式，虽然能引导图像匹配过程，当时整个处理过程也是比较复杂和耗时的。
发明内容
为了解决上述问题，本发明立足全局的SFM方法，采用图像匹配，相机姿态估计和三维点云计算及优化的过程来重建目标场景。(1)在图像匹配方面，通过从图像的EXIF信息中提取出GPS位置信息(输入的图像必须包含该信息项)，然后计算出阈值d，通过|Gi-Gj|≤Nd来确定待匹配的图像对(图像之间都存在两两的匹配关系)。通过这种方式，GPS位置距离较远的视点会被直接舍弃，能大大减少待匹配的图像对数量，而且需要计算匹配关系的待匹配图像对往往存在匹配的特征对应，从而加速整个重建过程。而且输入图像集的图像数量越大，这种加速效果越明显。(2)在相机姿态估计和点云计算方法，采用分离的方式来解决两者在特征匹配方面的矛盾。对图像匹配过程得到的初始的匹配结果将分别做两个方面的处理：一方面直接用于三维点云的计算；另一方面用以进一步的滤波处理和相机姿态估计。用这种处理方式能够保证在点云计算的时候有足够的特征匹配，同时相机姿态估计前的滤波处理不会造成最终计算的三维点云中点的数量的减少。除此之外，相机姿态估计前的滤波处理过程可以采用限制图像对之间兴趣点数量的方法，以及用更严的阈值来得到更加精确的特征对应，这些处理都有助于更加快速和精确的估计出相机外参。(3)在全局相机姿态估计时采用同时优化局部误差和全局误差的方式：Minγ1+γ2，使得在全局误差最优的同时能控制局部误差不至于太大。
本发明采用的技术方案为：一种基于GPS辅助信息加速的从运动中恢复结构方法，输入无人机拍摄的图像，从图像的EXIF中可以提取到GPS数据信息，然后自动重建出目标场景的三维点云，输入的图像需包含拍摄该图像时的GPS位置信息，该方法包括如下步骤：
第1步骤，对输入的图像进行编号处理，同时提取输入图像中的GPS位置信息，首先计算一个阈值d，然后计算出待匹配的图像对；
第2步骤，对图像进行特征提取，并在第1步骤确定的待匹配的图像对之间进行特征匹配，匹配的结果将被分别用于第4步骤的三维点云计算和第3步骤的相机位姿估计；
第3步骤，对第2步骤特征匹配结果进行进一步的滤波处理，然后用以计算相机位姿；
第4步骤，利用第2步骤的匹配结果和第3步骤的相机位姿计算出目标场景的三维点云。
进一步地，所述第1步骤，采用各自图像的GPS位置数据来确定待匹配的图像对，首先计算一个阈值d，然后满足|Gi-Gj|≤Nd的图像i和j为待匹配的图像对(i,j)，其中Gi为图像i的GPS位置数据，Gj为图像j的GPS位置数据，N的值被设为5。
进一步地，所述的第1步骤，阈值d的是通过每张图像的GPS位置信息计算最大最小距离得到，采用公式如下：
Figure BDA0001367819840000031
进一步地，所述第3步骤，在相机位姿估计是采用同时优化局部误差和全局误差的方式：Minγ1+γ2，其中γ1为全局残差控制项，γ2为局部残差控制项。
进一步地，所述的重建方法采用相机位姿估计和点云计算相分离的方式，这种分离的方式主要体现在对第2步骤得到的匹配结果的处理上：一个是直接用于第4步骤的三维点云计算；另一个则是要做进一步的滤波处理，然后进行相机姿态估计，滤波处理能得到更精确的，数量相对较少的特征对应，以更快速、更精确的进行相机位姿的估计。
本发明与现有技术相比的在于：
(1)本发明在重建过程中采用全局相机姿态估计方法，能够在全局范围平均误差，在对大场景进行三维重建时，不会出现因相机姿态估计偏移而造成整个重建过程失败的问题。
(2)利用GPS位置信息计算待匹配的图像对，阈值d也是基于图像集的GPS位置信息计算得到，距离较远的图像对将不会计算特征匹配，而且这种方式简单、直接，易于计算，能大大加快图像匹配的速度，从而使这个重建的速度更快。
(3)采用分离的方式处理特征匹配结束后的特征对应，因此，在相机姿态估计前可以对匹配结果进行进一步的滤波，且这个过程不会影响到点云计算过程中计算出的点云模型中点的数量。在相机姿态估计前，可以用更严的阈值和滤波方法来得到更精确的特征匹配，使得最终估计除了的相机姿态有更高的精度，同时可以采用限制图像对之间对应特征点数量的方式来减少图像对之间的特征对应数量，从而加速相机姿态估计的过程。
附图说明
图1为本发明一种基于GPS辅助信息加速的从运动中恢复结构方法流程图；
图2为本发明实施例输入数据；
图3为本发明实施例图像中的GPS位置数据；
图4(a)为本发明实施例输出结果；
图4(b)为本发明实施例输出结果。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
图1是本发明一种基于GPS辅助信息加速的从运动中恢复结构方法的流程图；本发明的事实过程主要分为以下几个步骤：
第1步骤：对输入的图像进行编号处理，同时提取输入图像中的GPS位置信息，
(1.1)首先计算一个阈值d，
Figure BDA0001367819840000041
(1.2)然后计算出待匹配的图像对；
满足如下条件的图像i,j为待匹配图像对pair(i,j)；
Figure BDA0001367819840000042
(其中，N的值取为5)；
第2步骤：图像的特征提取和特征匹配
提取所以图像的SIFT特征，对上述待匹配的图像对利用级联哈希的方法计算特征匹配，得到两幅图像之间特征点的对应关系；
第3步骤：相机位姿估计
(3.1)由第2步骤的匹配关系计算几何误差，过滤掉几何误差大于4pixel的特征匹配，几何误差的计算公式如下：
Figure BDA0001367819840000051
其中，F为基本矩阵，xi和xi'为两幅图像匹配特征点的像素坐标。
(3.2)设某一个图像对之间几何滤波前的匹配数量为a，几何滤波后的匹配数量为b；如果对于该图像对满足：b<50或者ratio＝b/a<0.3；则该图像对不存在匹配关系，剔除该图像对；
(3.3)结合5点的相对位姿估计算法得到本质矩阵Eij，对本质矩阵进行分解得到相机姿态的4组可能的解，对4组解进行正向深度约束，保存4组解中正确的那一组相对相机位姿Rij。
(3.4)根据相对相机位姿计算全局的相机位姿Ri；
全局的相机旋转R＝{R1,R2,…,Rn}对应于每张图像的相机旋转，采用如下的优化方程，求得每张图像对应的相机位姿Ri；
Minγ1+γ2
Figure BDA0001367819840000052
(3.5)根据上述的全局相机旋转R通过三焦张量计算相对相机位移方向tij；
(3.6)根据上述过程计算的相对相机位姿Rij来计算全局的相机位移Ti；采用最小二乘的方式，计算以下优化方程：
Figure BDA0001367819840000053
第4步骤，三维点云计算及优化
根据第2步骤的匹配结果和第3阶段计算的全局相机姿态(Ri,Ti)，结合多视点几何和从运动中恢复结构的方法三角化出目标场景三维点云。过滤掉投影误差大于4pixel的三维点，最后使用光束平差法调整(bundle adjustment，BA)进行优化，得到更精确的目标场景的三维点云。
图2为本发明实施例输入数据，共1768张校园教学楼图像；图3展示了图像中的GPS位置数据；图4(a)、图4(b)是用图2输入数据得到的三维点云结果。本发明适用于室外大场景的三维重建，利用图像的GPS位置信息引导图像匹配过程，能够正确快速的重建出室外大场景的三维点云模型，相机姿态估计没有偏移，整个场景也没有扭曲变形。

Claims (1)

1.一种基于GPS辅助信息加速的从运动中恢复结构方法，输入无人机拍摄的图像，从图像的EXIF中可以提取到GPS数据信息，然后自动重建出目标场景的三维点云，输入的图像需包含拍摄该图像时的GPS位置信息，其特征在于：该方法包括如下步骤：
第1步骤，对输入的图像进行编号处理，同时提取输入图像中的GPS位置信息，首先计算一个阈值d，然后计算出待匹配的图像对；
第2步骤，对图像进行特征提取，并在第1步骤确定的待匹配的图像对之间进行特征匹配，匹配的结果将被分别用于第4步骤的三维点云计算和第3步骤的相机位姿估计；
第3步骤，对第2步骤特征匹配结果进行进一步的滤波处理，然后用以计算相机位姿；
第4步骤，利用第2步骤的匹配结果和第3步骤的相机位姿计算出目标场景的三维点云；
所述第1步骤，采用各自图像的GPS位置数据来确定待匹配的图像对，首先计算一个阈值d，然后满足|Gi-Gj|≤Nd的图像i和j为待匹配的图像对(i,j)，其中Gi为图像i的GPS位置数据，Gj为图像j的GPS位置数据，N的值被设为5；
所述的第1步骤，阈值d的是通过每张图像的GPS位置信息计算最大最小距离得到，采用公式如下：
Figure FDA0002810840880000011
所述第3步骤，在相机位姿估计是采用同时优化局部误差和全局误差的方式：Minγ1+γ2，γ1为全局残差控制项，γ2为局部残差控制项；
所述的基于GPS辅助信息加速的从运动中恢复结构方法采用相机位姿估计和点云计算相分离的方式，这种分离的方式主要体现在对第2步骤得到的匹配结果的处理上：一个是直接用于第4步骤的三维点云计算；另一个则是要做进一步的滤波处理，然后进行相机姿态估计，滤波处理能得到更精确的，数量相对较少的特征对应，以更快速、更精确的进行相机位姿的估计。
CN201710650059.9A 2017-08-02 2017-08-02 一种基于gps辅助信息加速的从运动中恢复结构方法 Active CN107452037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710650059.9A CN107452037B (zh) 2017-08-02 2017-08-02 一种基于gps辅助信息加速的从运动中恢复结构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710650059.9A CN107452037B (zh) 2017-08-02 2017-08-02 一种基于gps辅助信息加速的从运动中恢复结构方法

Publications (2)

Publication Number Publication Date
CN107452037A CN107452037A (zh) 2017-12-08
CN107452037B true CN107452037B (zh) 2021-05-14

Family

ID=60489350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710650059.9A Active CN107452037B (zh) 2017-08-02 2017-08-02 一种基于gps辅助信息加速的从运动中恢复结构方法

Country Status (1)

Country Link
CN (1) CN107452037B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754420B (zh) * 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
CN111383354B (zh) * 2020-04-02 2024-02-20 西安因诺航空科技有限公司 一种基于sfm的三维点云朝向修正方法
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN117557636A (zh) * 2023-11-01 2024-02-13 广西壮族自治区自然资源遥感院 一种匹配关系自适应感知的增量式SfM系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
WO2014054958A2 (en) * 2012-10-05 2014-04-10 Universidade De Coimbra Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom
CN103021017B (zh) * 2012-12-04 2015-05-20 上海交通大学 基于gpu加速的三维场景重建方法
CN103116891B (zh) * 2013-03-12 2015-08-12 上海海事大学 一种基于双向邻域过滤策略的遥感图像配准方法
CN103198524B (zh) * 2013-04-27 2015-08-12 清华大学 一种大规模室外场景三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Efficient Large-Scale Structure From Motion by Fusing Auxiliary Imaging Information;Hainan Cui 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151130;第24卷(第11期);第2562页左栏第2段、3563页图2、第III节第1段、A部分第1-2段、3564页C部分第1段 *
Global Fusion of Relative Motions for Robust, Accurate and Scalable Structure from Motion;Pierre Moulon 等;《HAL archives-ouveres.fr》;20131015;第1-8页 *
Hainan Cui 等.Efficient Large-Scale Structure From Motion by Fusing Auxiliary Imaging Information.《IEEE TRANSACTIONS ON IMAGE PROCESSING》.2015,第24卷(第11期), *
Rotation Averaging;Richard Hartley 等;《Int J Comput Vis》;20130130;第289页第7节第1段 *
稳健李代数旋转平均用于GPS辅助无人机影像三维重建;李劲澎 等;《光学精密工程》;20170630;第25卷(第6期);第1607-1618页 *
融合低精度 GPS/IMU参数的无人机影像批处理三维重建方法;曹雪峰 等;《系统仿真学报》;20151031;第27卷(第10期);第2409-2415、2421页 *

Also Published As

Publication number Publication date
CN107452037A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
Yang et al. Hierarchical deep stereo matching on high-resolution images
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN107452037B (zh) 一种基于gps辅助信息加速的从运动中恢复结构方法
CN108171791B (zh) 基于多深度摄像机的动态场景实时三维重建方法及装置
Kim et al. Deep learning based vehicle position and orientation estimation via inverse perspective mapping image
US20210049371A1 (en) Localisation, mapping and network training
CN108010081B (zh) 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN103236082A (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN104200523A (zh) 一种融合附加信息的大场景三维重建方法
CN103002309B (zh) 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
WO2017002637A1 (en) Method for determining a motion between a first coordinate system and a second coordinate system
CN112541973B (zh) 虚实叠合方法与系统
EP3185212B1 (en) Dynamic particle filter parameterization
CN103927787A (zh) 一种基于矩阵恢复的提高三维重建精度的方法及其装置
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
Wang et al. Relative pose estimation for stereo rolling shutter cameras
CN116977596A (zh) 一种基于多视角图像的三维建模系统及方法
CN101945299A (zh) 一种基于拍摄设备阵列的动态场景深度恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant