CN111383333B - 一种分段式sfm三维重建方法 - Google Patents
一种分段式sfm三维重建方法 Download PDFInfo
- Publication number
- CN111383333B CN111383333B CN202010256537.XA CN202010256537A CN111383333B CN 111383333 B CN111383333 B CN 111383333B CN 202010256537 A CN202010256537 A CN 202010256537A CN 111383333 B CN111383333 B CN 111383333B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- sub
- sfm
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000013519 translation Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种分段式SFM三维重建方法,包括以下步骤:步骤1,对每幅图像提取特征点,并进行特征点匹配;步骤2,判断图像序列是否需要分段处理;步骤3,将图像序列划分为多个子图像集;步骤4,使用全局SFM方法,对每个子图像集分别估算相机姿态和场景点云;步骤5,根据GPS信息,将所有子图像集进行拼接合并。本发明解决了大数据量单航带长直线飞行的三维场景重建错误、无法重建的问题。
Description
技术领域
本发明属于无人机航拍数据应用领域,特别涉及一种分段式SFM三维重建方法。
背景技术
随着大范围场景时空信息获取的需求逐渐增加,无人机(Unmanned AerialVehicle,UAV)航拍逐渐受到关注。相对于传统航拍方式,无人机航拍操作简单,价格低廉,作业周期短,可在低空获得高分辨率图像,具有传统航拍和遥感测绘不具有的优势。
运动恢复结构(Structure From Motion,SFM),即通过相机的移动来确定目标的空间和几何关系,是三维重建的一种常用方法。它与传统三维重建方法最大的不同在于,它只需要普通的RGB摄像头采集一系列无序图像即可,因此成本更低廉,且受环境约束较小,在室内和室外均能使用。基于SFM的三维重建具有自动、低廉、高效的优点,因此将SFM方法应用于无人机图像三维重建,具有重要的应用价值。
在无人机大范围场景应用中,不可避免存在单航带长直线飞行的情况,由于图片噪声影响,漂移误差将随着图像数量增加不断累加,影响重建质量,导致三维场景重建错误、无法重建等问题。
发明内容
本发明的目的在于提供一种分段式SFM三维重建方法,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
一种分段式SFM三维重建方法,包括以下步骤:
步骤1,对每幅图像,使用尺度不变特征变换方法提取特征点,并进行特征点匹配;
步骤2,根据GPS信息,判断图像序列是否需要分段处理;分段处理满足两个条件:1)图像总数超过单次处理的最大数据量;2)当前场景为单航带直线飞行;
步骤3,按照拍摄顺序将图像序列划分为多个子图像集,子图像集之间存在相同图像,直到所有的图像完成分段处理;
步骤4,使用全局SFM方法,对每个子图像集分别估算相机姿态和场景点云;
步骤5,根据GPS信息,将所有子图像集进行拼接合并,使用光束法平差进行全局优化,提高重建结果精度。
进一步的,步骤1中,根据GPS坐标建立图像和其邻近图像的相邻图像对,对相邻图像对进行特征点匹配,得到初始匹配结果,最后使用RANSAC算法进行滤波,剔除错误匹配结果,得到最终的正确匹配结果。
进一步的,步骤2具体为:判断图像总数是否超过单次处理的最大数据量,如果没有超过则不做分段处理,直接使用全局SFM计算;如果超过则判断当前场景是否为单航带直线飞行;
根据步骤1中得到的图像匹配对信息,结合GPS信息,判断每幅图像与相邻图像之间的索引距离,如果索引距离大于阈值,则认为该图像与相邻图像之间存在旁向重叠,且标记该图像;统计标记图像的个数,如果个数小于阈值,则认为飞行轨迹为单航带飞行;根据GPS信息,以头尾图像的GPS三维坐标连线的法线方向为基准方向,迭代判断前后相邻两张图像GPS连线法线与基准方向的夹角,如果所有的夹角均小于阈值夹角,则认为飞行轨迹为直线飞行;满足以上两个判断条件,则认为当前场景为单航带直线飞行;
如果判断图像总数超过单次处理的最大数据量,则判断当前场景为单航带直线飞行,则图像序列需要做分段处理。
进一步的,步骤3具体为:如果通过步骤2判断场景需要分段处理,则需要将图像序列分成多个子图像集,根据步骤2中得到的图像匹配对信息,结合GPS信息,将图像序列进行排序,沿着飞行轨迹,按照拍摄先后顺序排序,按照此顺序,当图像数目满足最大处理图像数时,则将这些图像单独提取出来组成新的子图像集,另外在子图像集沿着图像顺序向后新增重复图像,以保证子图像集之间存在相同图像集,这样循环迭代,直到所有的图像完成分段处理。
进一步的,步骤4中,全局SFM优化具体包括以下四个步骤:
步骤4.1根据图像Exif信息,获得相机焦距和主点,计算相机的内参矩阵;
步骤4.2根据步骤1中计算的匹配关系,计算两两图像之间的本质矩阵;
步骤4.3利用本质矩阵,计算图像的全局旋转矩阵和平移矩阵;
步骤4.4完成上述全局旋转和平移矩阵的计算后,需要依次对相机姿态和场景点云进行光束法平差BA优化,其中包括四次优化:1)只优化全局平移矩阵和场景点云;2)优化全局旋转矩阵、平移矩阵和场景点云;3)优化相机内参、全局旋转矩阵、平移矩阵和场景点云;4)剔除误差过大的三维点,优化相机内参、全局旋转矩阵、平移矩阵和场景点云。
进一步的,步骤5中,首先根据GPS信息,计算相邻子图像集中相同图像的相机姿态均值,将其做为合并后的该区域图像的相机姿态,然后经过旋转、平移、尺度变换处理将所有子图像集转换到同一坐标系,最后使用全局BA优化合并后的相机姿态和场景点云,得到更精准的相机姿态和场景三维点云。
与现有技术相比,本发明有以下技术效果:
本发明公开了一种分段式SFM三维重建方法,该方法首先根据GPS坐标,判断场景是否需要分段处理,将图像序列划分为多个子图像集,然后使用全局SFM方法分别估算每个子图像集的相机姿态和场景点云,最后合并每个子图像集的重建结果。分段式SFM三维重建方法,采用分治思想,分段处理大数据量图像序列,解决了大数据量单航带长直线飞行的三维场景重建错误、无法重建的问题。验证发现,通过本发明的方法对图像序列进行分段SFM处理,最后生成的三维重建结果能够满足设定要求。
附图说明
图1是本发明分段式SFM三维重建方法的流程图;
图2是利用常规全局SFM生成的三维点云结果图;
图3是本发明分段式SFM三维重建的三维点云结果图;
具体实施方式
以下结合附图对本发明进一步说明:
请参阅图1至图3,该方法首先提取每幅图像的SIFT特征,进行特征匹配。其次根据GPS坐标,判断场景是否需要分段处理。然后将整个图像序列分为多个子图像集,分别使用全局SFM方法,估算子图像集的相机姿态和场景点云。最后合并子图像集的重建结果,得到整个场景的相机姿态和场景点云。
本发明具体包括以下步骤:
步骤1:首先提取每幅图像的SIFT特征点,然后根据GPS坐标建立图像i和其邻近图像j的相邻图像对ij,对ij进行特征点匹配,得到初始匹配结果,最后使用RANSAC算法进行滤波,剔除错误匹配结果,得到最终的正确匹配结果。
步骤2:判断图像总数nimage是否超过单次处理的最大数据量nthr,如果nimage<=nthr,则不做分段处理,直接使用全局SFM计算。如果nimage>nthr,则还需要判断当前场景是否为单航带直线飞行。
根据步骤1中得到的图像匹配对信息,结合GPS信息,判断每幅图像与相邻图像之间的索引距离dij,如果dij大于阈值dthr,则认为该图像与相邻图像之间存在旁向重叠,标记该图像为Overlapi。统计Overlapi个数noverlap,如果noverlap小于阈值nthr,则认为飞行轨迹为单航带飞行。根据GPS信息,以头尾图像的GPS三维坐标连线的法线方向为基准方向normalbase,迭代判断前后相邻两张图像GPS连线法线normalcheck与normalbase的夹角angleij,如果所有的angleij均小于阈值anglethr,则认为飞行轨迹为直线飞行。满足以上两个判断条件,则认为当前场景为单航带直线飞行。
如果nimage>nthr且当前场景为单航带直线飞行,则图像序列需要做分段处理。
步骤3:如果通过步骤2判断场景需要分段处理,则需要将图像序列分成多个子图像集。根据步骤2中得到的图像匹配对信息,结合GPS信息,可将图像序列进行排序,沿着飞行轨迹,按照拍摄先后顺序排序。按照此顺序,当图像数目ncurrent满足最大处理图像数nthr时,则将这些图像单独提取出来组成新的子图像集Ii,另外在子图像集Ii沿着图像顺序向后新增ncoverage图像,以保证子图像集之间存在相同图像集Icoverage。这样循环迭代,直到所有的图像完成分段处理。
步骤4:对于步骤3分段得到的多个子图像集分别进行全局SFM优化,得到子图像集的相机姿态和场景点云。全局SFM优化具体包括以下四个步骤:
步骤4.1根据图像Exif信息,获得相机焦距和主点,计算相机的内参矩阵Mi;
步骤4.2根据步骤1中计算的匹配关系,计算两两图像之间的本质矩阵Ei;
步骤4.3利用本质矩阵Ei,计算图像的全局旋转矩阵Ri和平移矩阵ti;
步骤4.4完成上述全局旋转Ri和平移矩阵ti的计算后,需要依次对相机姿态和场景点云进行BA优化,其中包括四次优化:1)只优化全局平移矩阵ti和场景点云Xi;2)优化全局旋转矩阵Ri、平移矩阵ti和场景点云Xi;3)优化相机内参Mi、全局旋转矩阵Ri、平移矩阵ti和场景点云Xi;4)剔除误差过大的三维点,优化相机内参Mi、全局旋转矩阵Ri、平移矩阵ti和场景点云Xi。
步骤5:步骤4得到多个子图像集的相机姿态和场景点云后,还需要将多个SFM结果合并,得到完整的相机姿态和场景点云。首先根据GPS信息,计算相邻子图像集中相同图像的相机姿态均值,将其做为合并后的该区域图像的相机姿态,然后经过旋转、平移、尺度变换等处理将所有子图像集转换到同一坐标系,最后使用全局BA优化合并后的相机姿态和场景点云,得到更精准的相机姿态和场景三维点云。
Claims (5)
1.一种分段式SFM三维重建方法,其特征在于,包括以下步骤:
步骤1,对每幅图像,使用尺度不变特征变换方法提取特征点,并进行特征点匹配;
步骤2,根据GPS信息,判断图像序列是否需要分段处理;分段处理满足两个条件:1)图像总数超过单次处理的最大数据量;2)当前场景为单航带直线飞行;
步骤3,按照拍摄顺序将图像序列划分为多个子图像集,子图像集之间存在相同图像,直到所有的图像完成分段处理;
步骤4,使用全局SFM方法,对每个子图像集分别估算相机姿态和场景点云;
步骤5,根据GPS信息,将所有子图像集进行拼接合并,使用光束法平差进行全局优化,提高重建结果精度;
步骤4中,全局SFM优化具体包括以下四个步骤:
步骤4.1根据图像Exif信息,获得相机焦距和主点,计算相机的内参矩阵;
步骤4.2根据步骤1中计算的匹配关系,计算两两图像之间的本质矩阵;
步骤4.3利用本质矩阵,计算图像的全局旋转矩阵和平移矩阵;
步骤4.4完成上述全局旋转和平移矩阵的计算后,需要依次对相机姿态和场景点云进行光束法平差BA优化,其中包括四次优化:1)只优化全局平移矩阵和场景点云;2)优化全局旋转矩阵、平移矩阵和场景点云;3)优化相机内参、全局旋转矩阵、平移矩阵和场景点云;4)剔除误差过大的三维点,优化相机内参、全局旋转矩阵、平移矩阵和场景点云。
2.根据权利要求1所述的一种分段式SFM三维重建方法,其特征在于,步骤1中,根据GPS坐标建立图像和其邻近图像的相邻图像对,对相邻图像对进行特征点匹配,得到初始匹配结果,最后使用RANSAC算法进行滤波,剔除错误匹配结果,得到最终的正确匹配结果。
3.根据权利要求1所述的一种分段式SFM三维重建方法,其特征在于,步骤2具体为:判断图像总数是否超过单次处理的最大数据量,如果没有超过则不做分段处理,直接使用全局SFM计算;如果超过则判断当前场景是否为单航带直线飞行;
根据步骤1中得到的图像匹配对信息,结合GPS信息,判断每幅图像与相邻图像之间的索引距离,如果索引距离大于阈值,则认为该图像与相邻图像之间存在旁向重叠,且标记该图像;统计标记图像的个数,如果个数小于阈值,则认为飞行轨迹为单航带飞行;根据GPS信息,以头尾图像的GPS三维坐标连线的法线方向为基准方向,迭代判断前后相邻两张图像GPS连线法线与基准方向的夹角,如果所有的夹角均小于阈值夹角,则认为飞行轨迹为直线飞行;满足以上两个判断条件,则认为当前场景为单航带直线飞行;
如果判断图像总数超过单次处理的最大数据量,则判断当前场景为单航带直线飞行,则图像序列需要做分段处理。
4.根据权利要求1所述的一种分段式SFM三维重建方法,其特征在于,步骤3具体为:如果通过步骤2判断场景需要分段处理,则需要将图像序列分成多个子图像集,根据步骤2中得到的图像匹配对信息,结合GPS信息,将图像序列进行排序,沿着飞行轨迹,按照拍摄先后顺序排序,按照此顺序,当图像数目满足最大处理图像数时,则将这些图像单独提取出来组成新的子图像集,另外在子图像集沿着图像顺序向后新增重复图像,以保证子图像集之间存在相同图像集,这样循环迭代,直到所有的图像完成分段处理。
5.根据权利要求1所述的一种分段式SFM三维重建方法,其特征在于,步骤5中,首先根据GPS信息,计算相邻子图像集中相同图像的相机姿态均值,将其做为合并后的该区域图像的相机姿态,然后经过旋转、平移、尺度变换处理将所有子图像集转换到同一坐标系,最后使用全局BA优化合并后的相机姿态和场景点云,得到更精准的相机姿态和场景三维点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010256537.XA CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010256537.XA CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111383333A CN111383333A (zh) | 2020-07-07 |
CN111383333B true CN111383333B (zh) | 2024-02-20 |
Family
ID=71217477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010256537.XA Active CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111383333B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111833447A (zh) * | 2020-07-13 | 2020-10-27 | Oppo广东移动通信有限公司 | 三维地图构建方法、三维地图构建装置及终端设备 |
CN111815765B (zh) * | 2020-07-21 | 2022-07-05 | 西北工业大学 | 一种基于异构数据融合的图像三维重建方法 |
CN112308972A (zh) * | 2020-10-20 | 2021-02-02 | 北京卓越电力建设有限公司 | 一种大规模电缆隧道环境模型重构方法 |
CN112633293B (zh) * | 2020-11-24 | 2022-05-20 | 北京航空航天大学青岛研究院 | 一种基于图分割的三维稀疏点云重建图像集分类方法 |
CN112365541B (zh) * | 2020-11-24 | 2022-09-02 | 北京航空航天大学青岛研究院 | 一种基于相似变换的大场景相机姿态注册方法 |
CN113160418A (zh) * | 2021-05-10 | 2021-07-23 | 上海商汤智能科技有限公司 | 三维重建方法、装置和系统、介质及计算机设备 |
CN113284227B (zh) * | 2021-05-14 | 2022-11-22 | 安徽大学 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
CN113888695A (zh) * | 2021-09-21 | 2022-01-04 | 西北工业大学 | 基于分支重构配准的非合作目标三维重建方法 |
CN115908482B (zh) * | 2022-10-14 | 2023-10-20 | 荣耀终端有限公司 | 建模错误数据的定位方法和装置 |
CN116704152B (zh) * | 2022-12-09 | 2024-04-19 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
-
2020
- 2020-04-02 CN CN202010256537.XA patent/CN111383333B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
Non-Patent Citations (1)
Title |
---|
凌寒羽 ; 王培元 ; 彭彬彬 ; .基于增量式SFM的特定目标加速定位方法.计算机仿真.2020,(03),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111383333A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111383333B (zh) | 一种分段式sfm三维重建方法 | |
CN109785379B (zh) | 一种对称物体尺寸及重量的测量方法及测量系统 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN110108258B (zh) | 一种单目视觉里程计定位方法 | |
CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
CN104299244B (zh) | 基于单目相机的障碍物检测方法及装置 | |
US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
CN110631554A (zh) | 机器人位姿的确定方法、装置、机器人和可读存储介质 | |
CN106886748B (zh) | 一种基于tld的适用于无人机的变尺度目标跟踪方法 | |
CN110853075A (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN107862735B (zh) | 一种基于结构信息的rgbd三维场景重建方法 | |
CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
US11651581B2 (en) | System and method for correspondence map determination | |
CN112883850B (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
CN106875437A (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
CN114581887B (zh) | 车道线的检测方法、装置、设备和计算机可读存储介质 | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
CN113450457B (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
CN116105721B (zh) | 地图构建的回环优化方法、装置、设备及存储介质 | |
CN105339981B (zh) | 用于使用一组基元配准数据的方法 | |
CN115346016A (zh) | 点云模型处理方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |