CN111815765A - 一种基于异构数据融合的图像三维重建方法 - Google Patents

一种基于异构数据融合的图像三维重建方法 Download PDF

Info

Publication number
CN111815765A
CN111815765A CN202010707631.2A CN202010707631A CN111815765A CN 111815765 A CN111815765 A CN 111815765A CN 202010707631 A CN202010707631 A CN 202010707631A CN 111815765 A CN111815765 A CN 111815765A
Authority
CN
China
Prior art keywords
camera
image
points
images
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010707631.2A
Other languages
English (en)
Other versions
CN111815765B (zh
Inventor
黄攀峰
王翔
董刚奇
张帆
孟中杰
张夷斋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010707631.2A priority Critical patent/CN111815765B/zh
Publication of CN111815765A publication Critical patent/CN111815765A/zh
Application granted granted Critical
Publication of CN111815765B publication Critical patent/CN111815765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于异构数据融合的图像三维重建方法，在进行特征点检测及匹配之前进行图像连接图预构建，避免暴力匹配；在初始化阶段根据相机地理位置信息选取相机对，避免随机选取出现误差很大的问题；在BA(捆绑调整)非线性优化阶段，将相机位置分布与根据图像信息恢复出的相机位置分布进行拟合，实现误差最小化。方法的有益效果是：针对通过航拍获取区域正射影像的任务需求，在传统的基于图像序列的三维重建流程中增加相机地理坐标信息作为额外约束，进行图像连接图预构建、初始相机对有效选取和BA非线性优化三个步骤。这种方法降低了算法时间复杂度，且根据地理坐标信息进行了两次必要的优化，明显改善了正射影像的精度。

Description

一种基于异构数据融合的图像三维重建方法
技术领域
本发明属于计算机视觉与摄影测量学领域，涉及一种基于异构数据融合的图像三维重建方法。具体涉及一种基于图像序列和相机地理位置信息的三维重建方法，解决数字正射影像生成的瓶颈问题。
背景技术
近年来，基于卫星遥感影像的商业导航地图应用广泛，如谷歌地图、高德地图和百度地图。但其中仍然存在很多缺陷，如更新周期跟不上地形地貌的发展变化速度，特别是快速发展的城市区域；地图精度仍然无法较好满足自主导航与定位的需求，尤其是在偏远地区，卫星图像的分辨率往往很低。因此，实时构建高精度的区域地图的需求很大。随着无人机的发展，尤其是小型低价值无人机的商业化，以及计算机视觉相关算法的成熟，基于无人机航拍的正射影像生成技术是解决区域正射地图生成的途径之一。
最常用的航拍建图方法是图像拼接技术，该方法的核心步骤是图像配准和图像融合。文献“大区域无人机航拍图像拼接算法研究”中提出迭代全局配准算法，并利用最小割最大流原理得到了较好的图像拼接结果。但该方法适用的双视点几何模型为Homography矩阵，为了获得更高的精度而进行超低空航拍时，这种图像拼接的方法会出现严重的拼接缝和“鬼影”现象。与基础矩阵或本质矩阵对应的技术为三维模型重建，该方法通过无人机采集的2D图像生成场景的3D纹理模型，进而得到目标区域的正射影像。基于图像序列的三维重建技术是很多领域的核心技术，方法相对成熟且应用广泛。但该方法的算法复杂度高，信息损失大(如其他传感器数据、部分图像信息等)，导致该方法运行时间长且效果不尽如人意。
近年来为了解决这些问题，该领域的很多研究成果集中于将图像数据与其他传感器数据进行融合，常用的传感器数据有IMU和GPS。针对航拍建图任务，在不增加算法复杂性的前提下，可引入相机位置信息，目的是在三维重建流程中增加额外约束以提高算法运行效率及运行效果。EXIF(可交换图像文件格式)可以附加于JPEG、TIFF、RIFF等文件中，为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息。在三维重建过程中EXIF中的数据精度已足够作为迭代初值，包括相机分辨率、焦距、相机地理坐标等信息可以直接从EXIF中读取，而不必通过相机标定等工序获得，可有效简化工作流程。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于异构数据融合的图像三维重建方法，避免通过超低空航拍生成正射影像任务中现有技术的不足，本发明基于传统的三维重建流程，针对如何降低算法复杂度和改善效果两个问题，在技术环节中引入相机地理位置信息增加约束，最终提高运行速度和地图的精度。这些技术环节包括：在进行特征点检测及匹配之前进行图像连接图预构建，避免暴力匹配；在初始化阶段根据相机地理位置信息选取相机对，避免随机选取出现误差很大的问题；在BA(捆绑调整)非线性优化阶段，将相机位置分布与根据图像信息恢复出的相机位置分布进行拟合，实现误差最小化。
技术方案
一种基于异构数据融合的图像三维重建方法，其特征在于步骤如下：
步骤1：采用获取目标区域图像，航拍高度低于100米；
步骤2、进行图像连接图预构建：
将一对图像对应的相机距离相反数与图像重叠率之间看作正比例关系：
l＝2h·tanα(1-c)；
上式中l为图像对应的相机的欧式距离，通过相机地理坐标信息得到，两图像的经纬度相差表示为(Δa,Δb)，纬度一度对应lb＝1.11×105，经度一度对应la＝lbcosλ，其中λ为作业区域所在纬度；那么两图像的欧式距离l2＝(Δa·la)2+(Δb·lb)2；α为相机视场角的一半，计算为：
Figure BDA0002594901820000031
ｈ为相对地面的飞行高度，ｃ为对应两个图像的重叠率；
步骤3、特征提取与匹配，并进行图像连接图构建：
1、随机采样n对匹配点
Figure BDA0002594901820000032
x1,x2为像素坐标；
2、直接线性变换法求解基础矩阵得到F*；
3、由奇异值约束重构基础矩阵得到F；
4、计算误差并统计内点个数，内点的判断标准为：E(x1,x2,F)<τ，其中E(x1,x2,F)＝d(x1,Fx2)2+d(x2,Fx1)2；
5、重复1-4，选择内点个数最多的结果；
6、对所有内点执行2-3，得到基础矩阵F；
由对极约束得本征矩阵E＝K-TFK，其中K为相机的内参数；
之后把E进行SUV分解得到相机的外参数R,t，作为步骤5中相机位姿的初值，完成图像连接图的构建工作；
步骤4、增量式SFM算法即从运动恢复结构的初始化：
在相机的图像匹配范围内，分别将图像根据匹配点个数及欧氏距离l进行排序，选择同时处于前列的图像作为初始图像对；之后进行三角量测，得到匹配点对应的三维点；当同一个三维点在多幅图像中出现，将该三维点看作一条轨迹；再之后进行轨迹滤波，最后做一次全局BA，同时对三维点及相机参数进行优化，完成初始化；
步骤5、增量式SFM算法流程，并进行局部和全局的BA优化：
选择看见的轨迹最多的视角，根据3D-2D对应点进行相机位姿估计，即求解PnP问题，然后对最新引入的单个图像位姿进行优化，进行三角量测，计算所有匹配点对应的三维点，并进行轨迹滤波；每重建完成若干几个视角之后进行一次全局BA，对所有重建过的三维点及图像对应的相机参数进行非线性优化，根据对运行时间及效果的要求取3到10次；
所有图像重建完成之后再进行两次优化：
第一次是将由图像信息得到的整体相机位置与由相机地理坐标信息确定的所有相机相对位置进行匹配，给定微调空间，使得误差和在范围内最小化，得到优化之后的相机平移向量：
min∑||t-tg||,Δt<ε
其中：t为由图像信息计算的匹配对间的平移向量，tg由经纬度经过简单的坐标变换得到，ε为微调空间；
第二次再进行一次全局BA,优化函数为：
Figure BDA0002594901820000041
式中：χij＝1表示第i个三维点在第j个相机中可见，uij为投影点，
Figure BDA0002594901820000042
为观测点，f,k1,k2分别为相机焦距及畸变系数，三维点坐标Xi＝(Xi,Yi,Zi)T，相机外参数Cj＝(Rj,tj)；待优化变量为θ＝(f,k1,k2,C1,…,Cm,X1,…,Xn)；
步骤6：稠密重建、表面重建及纹理映射，最后调整视角获取正射影像步骤5得到了准确的稀疏点云及相机参数，在此基础上使用基于空间Patch扩散的方法得到稠密点云，之后通过隐函数拟合、Marching Cube、网格参数化、视角选择及纹理图像创建与编辑几个环节得到表面模型和纹理模型；最后设置相机朝向及位置，将相机垂直于飞行平面朝向地面，拉到无穷远处对目标区域成像，就能得到拍摄区域的正射影像地图。
在步骤1中当图像EXIF信息中不存在相机地理坐标信息时，若是定点拍摄则从无人机飞控系统中读取拍摄时刻的相机地理坐标；若是从视频中提取的图像序列，则从保存的数据中提取与图像对应的相机地理坐标；之后，将与图像对应的相机地理坐标添加到图像的EXIF信息中。
在步骤2中，若图像EXIF中不存在相机内参数初值，需要进行相机标定；通过标定获取相机的内参数及镜头畸变系数，并在开始重建之前对所有图像进行畸变矫正。
所述两个图像的重叠率为c>50％，l<h·tanα。
有益效果
本发明提出的一种基于异构数据融合的图像三维重建方法，在进行特征点检测及匹配之前进行图像连接图预构建，避免暴力匹配；在初始化阶段根据相机地理位置信息选取相机对，避免随机选取出现误差很大的问题；在BA(捆绑调整)非线性优化阶段，将相机位置分布与根据图像信息恢复出的相机位置分布进行拟合，实现误差最小化。方法的有益效果是：针对通过航拍获取区域正射影像的任务需求，在传统的基于图像序列的三维重建流程中增加相机地理坐标信息作为额外约束，进行图像连接图预构建、初始相机对有效选取和BA非线性优化三个步骤。这种方法降低了算法时间复杂度，且根据地理坐标信息进行了两次必要的优化，明显改善了正射影像的精度。
附图说明
图1：针对航拍建图任务，基于异构数据融合的三维重建方法的算法流程图
图2：基于SIFT算法的图像特征提取与匹配
图3：稠密点云模型(左)及纹理模型(右)
图4：数字正射地图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出一种基于图像三维重建的正射影像生成方法，适用场景是飞行高度不超过100米，直径两公里以内的任何无人机非禁飞区域，本方法的流程图如图一所示，它包括以下步骤：
步骤1：获取目标区域航拍图像，并将相机地理坐标信息添加到图像EXIF；
通过无人机超低空(<100米)飞行航拍，采集场景的图像信息及相机地理坐标信息，可通过定点拍摄或从视频中提取图像序列。当图像EXIF信息中不存在相机地理坐标信息时，若是定点拍摄则从无人机飞控系统中读取拍摄时刻的相机地理坐标；若是从视频中提取的图像序列，则从保存的数据中提取与图像对应的相机地理坐标。之后，将与图像对应的相机地理坐标添加到图像的EXIF信息中，以备后续读取和使用。
为了方法的适用性，不局限于获取有序图像。本实例中使用的设备包括大疆M100无人机、普通单目相机、TX2开发板及个人笔记本电脑。从拍摄的视频中提取了287幅图像作为关键帧，使用TX2开发板读取无人机飞控中的GPS信息(即发明内容中反复提到的相机地理坐标信息)，并在视频的每一帧记录一次并存储。根据关键帧在视频中的位置，从TX2保存的数据中提取对应的GPS数据。之后使用python库gpsphoto将GPS写入图像的EXIF中。
步骤2：获取相机参数。
三维重建流程需要得到相机内参数较好的初值，该信息可以从图像EXIF信息中获取，若图像EXIF中不存在此信息，则需要进行相机标定。通过标定获取相机的内参数及镜头畸变系数，并在开始重建之前对所有图像进行畸变矫正。
查看图像的EXIF信息得到相机分辨率为m×n＝640×480，水平及垂直分辨率均为c＝72dpi，相机焦距为f＝35mm。一般情况下要对所有图像进行畸变校正，这时需要有畸变参数的初值。若缺少什么参数，需要额外进行相机标定获得。
对任一相机，其图像匹配范围由l<h·tanθ确定。具体地，两相机的经纬度相差可表示为(Δa,Δb)，纬度一度对应lb＝1.11×106m，经度一度对应la＝lbcosλm，其中λ为作业区域所在纬度。那么两相机的欧式距离l2＝(Δa·la)2+(Δb·lb)2。相机视场角可近似计算为：
Figure BDA0002594901820000071
本步骤将图像匹配的算法复杂度从O(n2)降到了O(n)，可有效提高工作效率。
步骤3：对任意一幅图像进行SIFT特征点提取，并在其图像匹配范围内与其他每一幅图像进行特征匹配，如图2所示。之后使用基于RANSAC的鲁棒方法计算基础矩阵，然后计算本征矩阵E，把E进行SUV分解得到相机的外参数。得到的R,t有四种可能的情况，通过判断三维点在两相机中的深度均为正唯一确定。
在所有的特征提取与匹配方法中，SIFT算法包括特征检测子及描述子，具有尺度和旋转不变性，具有很好的鲁棒性，本发明也采用该方法。对所有图像进行特征提取之后，在图像匹配范围内进行特征匹配。对完成特征匹配的两两图像对，基于RANSAC的鲁棒方法计算基础矩阵。然后根据相机内参数求解本征矩阵，进而通过矩阵分解得到相机相对位姿，完成图像连接图的构建。具体计算流程如下。
1、随机采样n对匹配点
Figure BDA0002594901820000072
2、直接线性变换法求解基础矩阵得到F*；
3、由奇异值约束重构基础矩阵得到F；
4、计算误差并统计内点个数，内点的判断标准为：E(x1,x2,F)<τ，其中E(x1,x2,F)＝d(x1,Fx2)2+d(x2,Fx1)2；
5、重复1-4，选择内点个数最多的结果；6、对所有内点执行2-3，得到基础矩阵F。
由对极约束可知，本征矩阵E＝K-TFK，其中K为相机的内参数。之后把E进行SUV分解得到相机的外参数R,t，作为步骤5中相机位姿的初值，就完成了图像连接图的构建工作。
步骤4：为保证初始化的精度，在相机的图像匹配范围内，分别将图像根据匹配点个数及欧氏距离进行排序，选择同时处于前30％的相机作为初始相机对。之后进行三角量测计算所有匹配点对应的三维点，剔除无穷远处的点及重投影误差太大的点，并对三维点及相机外参数做一次非线性优化。
算法的初始化首先需要选取一对图像，要求两图像的匹配点足够多、基线足够长且满足Homography的匹配尽量少。基线足够长通常不容易选择，本专利中根据相机地理坐标信息选取相机对，具体方式为：为保证初始化的精度，在相机的图像匹配范围内，分别将图像根据匹配点个数及欧氏距离l进行排序，选择同时处于前列的图像作为初始图像对。之后进行三角量测，得到匹配点对应的三维点；同一个三维点在多幅图像中出现，可将该三维点看作一条轨迹。再之后进行轨迹滤波，目的是去除无穷远处的点及重投影误差太大的点。最后做一次全局BA，同时对三维点及相机参数进行优化，完成初始化。
步骤5：
增量式SFM算法流程，并进行局部和全局的BA优化
首先是选择新的视角，选取原则是可看见的轨迹最多的视角。之后根据3D-2D对应点进行相机位姿估计，即求解PnP问题，然后对最新引入的单个图像位姿进行优化，进行三角量测，计算所有匹配点对应的三维点，并进行轨迹滤波。每重建完成若干几个视角之后进行一次全局BA，对所有重建过的三维点及图像对应的相机参数进行非线性优化，一般根据对运行时间及效果的要求取3到10次。
所有图像重建完成之后再进行两次优化，第一次是将由图像信息得到的整体相机位置与由相机地理坐标信息确定的所有相机相对位置进行匹配，给定微调空间，使得误差和在范围内最小化，得到优化之后的相机平移向量。即min∑||t-tg||,Δt<ε，其中t为由图像信息计算的匹配对间的平移向量，tg由经纬度经过简单的坐标变换得到，ε为微调空间。第二次是再进行一次全局BA,优化函数为：
Figure BDA0002594901820000091
上式中χij＝1表示第i个三维点在第j个相机中可见，uij为投影点，
Figure BDA0002594901820000092
为观测点，f,k1,k2分别为相机焦距及畸变系数，三维点坐标Xi＝(Xi,Yi,Zi)T，相机外参数Cj＝(Rj,tj)。待优化变量为θ＝(f,k1,k2,C1,…,Cm,X1,…,Xn)。
SFM方法的核心是BA优化，本发明中采用Levenberg-Marquardt迭代算法进行求解，该算法的核心是推导优化函数的雅克比矩阵，下面列出推导的核心步骤及结果。
相机模型可以由四个公式表示：
1、
Figure BDA0002594901820000093
2、
Figure BDA0002594901820000094
3、
Figure BDA0002594901820000095
4、
Figure BDA0002594901820000096
对焦距的导数
Figure BDA0002594901820000097
对径向畸变系数的导数：
Figure BDA0002594901820000098
Figure BDA0002594901820000099
对平移向量的导数：
Figure BDA00025949018200000910
Figure BDA00025949018200000911
对旋转矩阵的导数：
Figure BDA00025949018200000912
Figure BDA00025949018200000913
其中ω为旋转矩阵R的李代数；对三维点的导数：
Figure BDA00025949018200000914
步骤6：稠密重建、表面重建及纹理映射，最后调整视角获取正射影像步骤5得到了准确的稀疏点云及相机参数，在此基础上使用基于空间Patch扩散的方法得到稠密点云，之后通过隐函数拟合、Marching Cube、网格参数化、视角选择及纹理图像创建与编辑几个环节得到表面模型和纹理模型。最后设置相机朝向及位置，将相机垂直于飞行平面朝向地面，拉到无穷远处对目标区域成像，就能得到拍摄区域的正射影像地图。
稠密重建、表面重建和纹理映射这三部分的内容工作难度及工作量都非常大。好在现今有很多优秀的开源软件帮助完成这部分工作，如CMVS可以完成稠密重建；在Meshlab可以进行表面网格重建及纹理贴图；MVE可以完成稠密重建及表面重建；OpenMVS可以完成表面重建及纹理映射。这些技术不是本发明的重点故不进行详细叙述，但航拍建图任务中这三个步骤不可或缺，故在此列出。得到纹理信息后设置相机朝向及位置，将相机垂直于飞行平面朝向地面，拉到无穷远对区域成像，就得到了拍摄区域的正射影像地图。可以在Meshlab中完成这些操作。

Claims (4)

1.一种基于异构数据融合的图像三维重建方法，其特征在于步骤如下：
步骤1：采用获取目标区域图像，航拍高度低于100米；
步骤2、进行图像连接图预构建：
将一对图像对应的相机距离相反数与图像重叠率之间看作正比例关系：
l＝2h·tanα(1-c)；
上式中l为图像对应的相机的欧式距离，通过相机地理坐标信息得到，两图像的经纬度相差表示为(Δa,Δb)，纬度一度对应lb＝1.11×105，经度一度对应la＝lbcosλ，其中λ为作业区域所在纬度；那么两图像的欧式距离l2＝(Δa·la)2+(Δb·lb)2；α为相机视场角的一半，计算为：
Figure FDA0002594901810000011
h为相对地面的飞行高度，c为对应两个图像的重叠率；
步骤3、特征提取与匹配，并进行图像连接图构建：
1、随机采样n对匹配点
Figure FDA0002594901810000012
x1,x2为像素坐标；
2、直接线性变换法求解基础矩阵得到F*；
3、由奇异值约束重构基础矩阵得到F；
4、计算误差并统计内点个数，内点的判断标准为：E(x1,x2,F)<τ，其中E(x1,x2,F)＝d(x1,Fx2)2+d(x2,Fx1)2；
5、重复1-4，选择内点个数最多的结果；
6、对所有内点执行2-3，得到基础矩阵F；
由对极约束得本征矩阵E＝K-TFK，其中K为相机的内参数；
之后把E进行SUV分解得到相机的外参数R,t，作为步骤5中相机位姿的初值，完成图像连接图的构建工作；
步骤4、增量式SFM算法即从运动恢复结构的初始化：
在相机的图像匹配范围内，分别将图像根据匹配点个数及欧氏距离l进行排序，选择同时处于前列的图像作为初始图像对；之后进行三角量测，得到匹配点对应的三维点；当同一个三维点在多幅图像中出现，将该三维点看作一条轨迹；再之后进行轨迹滤波，最后做一次全局BA，同时对三维点及相机参数进行优化，完成初始化；
步骤5、增量式SFM算法流程，并进行局部和全局的BA优化：
选择看见的轨迹最多的视角，根据3D-2D对应点进行相机位姿估计，即求解PnP问题，然后对最新引入的单个图像位姿进行优化，进行三角量测，计算所有匹配点对应的三维点，并进行轨迹滤波；每重建完成若干几个视角之后进行一次全局BA，对所有重建过的三维点及图像对应的相机参数进行非线性优化，根据对运行时间及效果的要求取3到10次；
所有图像重建完成之后再进行两次优化：
第一次是将由图像信息得到的整体相机位置与由相机地理坐标信息确定的所有相机相对位置进行匹配，给定微调空间，使得误差和在范围内最小化，得到优化之后的相机平移向量：
min∑||t-tg||,Δt<ε
其中：t为由图像信息计算的匹配对间的平移向量，tg由经纬度经过简单的坐标变换得到，ε为微调空间；
第二次再进行一次全局BA,优化函数为：
Figure FDA0002594901810000021
式中：χij＝1表示第i个三维点在第j个相机中可见，uij为投影点，
Figure FDA0002594901810000022
为观测点，f,k1,k2分别为相机焦距及畸变系数，三维点坐标Xi＝(Xi,Yi,Zi)T，相机外参数Cj＝(Rj,tj)；待优化变量为θ＝(f,k1,k2,C1,…,Cm,X1,…,Xn)；
步骤6：稠密重建、表面重建及纹理映射，最后调整视角获取正射影像步骤5得到了准确的稀疏点云及相机参数，在此基础上使用基于空间Patch扩散的方法得到稠密点云，之后通过隐函数拟合、Marching Cube、网格参数化、视角选择及纹理图像创建与编辑几个环节得到表面模型和纹理模型；最后设置相机朝向及位置，将相机垂直于飞行平面朝向地面，拉到无穷远处对目标区域成像，就能得到拍摄区域的正射影像地图。
2.根据权利要求1所述基于异构数据融合的图像三维重建方法，其特征在于：在步骤1中当图像EXIF信息中不存在相机地理坐标信息时，若是定点拍摄则从无人机飞控系统中读取拍摄时刻的相机地理坐标；若是从视频中提取的图像序列，则从保存的数据中提取与图像对应的相机地理坐标；之后，将与图像对应的相机地理坐标添加到图像的EXIF信息中。
3.根据权利要求1所述基于异构数据融合的图像三维重建方法，其特征在于：在步骤2中，若图像EXIF中不存在相机内参数初值，需要进行相机标定；通过标定获取相机的内参数及镜头畸变系数，并在开始重建之前对所有图像进行畸变矫正。
4.根据权利要求1所述基于异构数据融合的图像三维重建方法，其特征在于：所述两个图像的重叠率为c>50％，l<h·tanα。
CN202010707631.2A 2020-07-21 2020-07-21 一种基于异构数据融合的图像三维重建方法 Active CN111815765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010707631.2A CN111815765B (zh) 2020-07-21 2020-07-21 一种基于异构数据融合的图像三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010707631.2A CN111815765B (zh) 2020-07-21 2020-07-21 一种基于异构数据融合的图像三维重建方法

Publications (2)

Publication Number Publication Date
CN111815765A true CN111815765A (zh) 2020-10-23
CN111815765B CN111815765B (zh) 2022-07-05

Family

ID=72861595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010707631.2A Active CN111815765B (zh) 2020-07-21 2020-07-21 一种基于异构数据融合的图像三维重建方法

Country Status (1)

Country Link
CN (1) CN111815765B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950781A (zh) * 2021-03-19 2021-06-11 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN113191946A (zh) * 2021-03-02 2021-07-30 中国人民解放军空军航空大学 航空三步进面阵图像拼接方法
CN115375772A (zh) * 2022-08-10 2022-11-22 北京英智数联科技有限公司 相机标定方法、装置、设备及存储介质
CN115442584A (zh) * 2022-08-30 2022-12-06 中国传媒大学 一种多传感器融合的异形面动态投影方法
CN115830246A (zh) * 2023-01-09 2023-03-21 中国地质大学（武汉） 一种基于增量式sfm的球面全景影像三维重建方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129154A1 (en) * 2011-11-18 2013-05-23 Hailin Jin Methods and Apparatus for Detecting Poorly Conditioned Points in Bundle Adjustment
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
US20170186164A1 (en) * 2015-12-29 2017-06-29 Government Of The United States As Represetned By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
US20200186773A1 (en) * 2018-12-07 2020-06-11 Xyken, LLC Method and System of Discriminative Recovery of Three-Dimensional Digital Data of a Target of Interest in a Cluttered or Controlled Environment
CN111383333A (zh) * 2020-04-02 2020-07-07 西安因诺航空科技有限公司 一种分段式sfm三维重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129154A1 (en) * 2011-11-18 2013-05-23 Hailin Jin Methods and Apparatus for Detecting Poorly Conditioned Points in Bundle Adjustment
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
US20170186164A1 (en) * 2015-12-29 2017-06-29 Government Of The United States As Represetned By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
US20200186773A1 (en) * 2018-12-07 2020-06-11 Xyken, LLC Method and System of Discriminative Recovery of Three-Dimensional Digital Data of a Target of Interest in a Cluttered or Controlled Environment
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN111383333A (zh) * 2020-04-02 2020-07-07 西安因诺航空科技有限公司 一种分段式sfm三维重建方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
CHAO YANG 等: "3D Reconstruction through Measure Based Image Selection", 《2013 NINTH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
CHAO YANG 等: "3D Reconstruction through Measure Based Image Selection", 《2013 NINTH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》, 31 December 2013 (2013-12-31), pages 377 - 381, XP032570639, DOI: 10.1109/CIS.2013.86 *
YAKAR, MURAT 等: "3D Reconstruction of Residential Areas with SfM Photogrammetry", 《ADVANCES IN REMOTE SENSING AND GEO INFORMATICS APPLICATIONS》 *
YAKAR, MURAT 等: "3D Reconstruction of Residential Areas with SfM Photogrammetry", 《ADVANCES IN REMOTE SENSING AND GEO INFORMATICS APPLICATIONS》, 31 December 2019 (2019-12-31), pages 73 - 75 *
张明远 等: "无人机影像三维重建在沙丘形态监测中的应用", 《干旱区地理》 *
张明远 等: "无人机影像三维重建在沙丘形态监测中的应用", 《干旱区地理》, vol. 41, no. 6, 30 November 2018 (2018-11-30), pages 1341 - 1350 *
李聪 等: "基于独立三视图的图像序列三维重建", 《计算机应用研究》 *
李聪 等: "基于独立三视图的图像序列三维重建", 《计算机应用研究》, vol. 32, no. 6, 30 June 2015 (2015-06-30), pages 1869 - 1873 *
蔡佳 等: "基于梯度的区域生长和距离直方图的快速圆检测方法", 《光学学报》 *
蔡佳 等: "基于梯度的区域生长和距离直方图的快速圆检测方法", 《光学学报》, vol. 35, no. 3, 31 March 2015 (2015-03-31), pages 193 - 202 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191946A (zh) * 2021-03-02 2021-07-30 中国人民解放军空军航空大学 航空三步进面阵图像拼接方法
CN113191946B (zh) * 2021-03-02 2022-12-27 中国人民解放军空军航空大学 航空三步进面阵图像拼接方法
CN112950781A (zh) * 2021-03-19 2021-06-11 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN112950781B (zh) * 2021-03-19 2023-04-25 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN115375772A (zh) * 2022-08-10 2022-11-22 北京英智数联科技有限公司 相机标定方法、装置、设备及存储介质
CN115375772B (zh) * 2022-08-10 2024-01-19 北京英智数联科技有限公司 相机标定方法、装置、设备及存储介质
CN115442584A (zh) * 2022-08-30 2022-12-06 中国传媒大学 一种多传感器融合的异形面动态投影方法
CN115442584B (zh) * 2022-08-30 2023-08-18 中国传媒大学 一种多传感器融合的异形面动态投影方法
CN115830246A (zh) * 2023-01-09 2023-03-21 中国地质大学（武汉） 一种基于增量式sfm的球面全景影像三维重建方法

Also Published As

Publication number Publication date
CN111815765B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
Teller et al. Calibrated, registered images of an extended urban area
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112434709A (zh) 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN107560603B (zh) 一种无人机倾斜摄影测量系统及测量方法
KR20090064679A (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
Wang et al. Accurate georegistration of point clouds using geographic data
KR102127679B1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN110986888A (zh) 一种航空摄影一体化方法
Wendel et al. Automatic alignment of 3D reconstructions using a digital surface model
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
Chibunichev et al. Photogrammetry for archaeology: Collecting pieces together
Sørensen et al. Analytical procedures for 3D mapping at the Photogeological Laboratory of the Geological Survey of Denmark and Greenland
CN116758234A (zh) 一种基于多点云数据融合的山地地形建模方法
Gao et al. Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备
CN116664621A (zh) 一种基于车载多目摄像头和深度神经网络的slam系统
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN113362265B (zh) 一种低成本的无人机正射影像快速地理拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant