CN113284227B - 一种面向大规模航拍图像的分布式运动推断结构方法 - Google Patents
一种面向大规模航拍图像的分布式运动推断结构方法 Download PDFInfo
- Publication number
- CN113284227B CN113284227B CN202110528870.6A CN202110528870A CN113284227B CN 113284227 B CN113284227 B CN 113284227B CN 202110528870 A CN202110528870 A CN 202110528870A CN 113284227 B CN113284227 B CN 113284227B
- Authority
- CN
- China
- Prior art keywords
- model
- images
- scale
- image
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开本发明的目的在于解决现有技术中存在的不足,先将大规模的航拍图像数据划分具有一定重叠度的子集,避免图像数据量过大导致单机版本的运动推断结构方法和系统出现内存溢出问题;其次,在分布式计算环境下不同节点上同时计算每个子集图像所对应的稀疏点云模型和摄像机参数,使得能够在有限的时间内计算出大规模场景的三维模型。本发明能够在在分布式环境下快速地计算出大规模航拍图像对应的稀疏点云模型和摄像机参数,使得基于航拍图像的高精度及快速的大规模室外场景三维重建变成可能。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种面向大规模航拍图像的分布式运动推断结构方法。
背景技术
基于航拍图像的大规模室外场景三维重建在国防安全、军事仿真、大型影视制作、虚拟现实、增强现实、数字孪生和数字中国建设等领域具有重要的作用。随着消费级无人机设备的普及,采集航拍图像变得非常容易,大量的航拍图像数据增加了三维重建的难度,具体困难如下:(1)非常耗时,运动推断结构的计算流程非常复杂,当处理大规模的航拍图像数据时,现有运动推断结构方法的计算效率很低,无法在有限的时间内输出结果;(2)内存溢出,单机版本的三维重建方法对内存空间消耗较大,甚至导致三维重建过程失败。
上述问题严重阻碍了基于航拍图像的三维重建技术的发展和应用。人们迫切希望寻找一种面向大规模航拍图像的分布式运动推断结构方法和系统,以便快速地从大规模的航拍图像中计算出高质量的稀疏点云模型和高精度的摄像机参数。
相关的研究论文有《Large Scale SfM with the Distributed Camera Model》,该论文于2016发表在国际会议3D Vision上。此方法仅提出一种分布式的摄像机模型,不是一种具体的分布式三维重建方法,无法解决大规模三维重建的时间效率和内存溢出问题。
虽然现有的运动推断结构方法在基于航拍图像的大规模三维重建中距离实际应用还有很大的差距:(1)现有算法的时间效率较低,无法满足实时应用程序需求;(2)现有算法的精度题,不能保证重建出来的三维模型与真实场景具有较高的几何一致性;(3)现有算法非常消耗内存,不能处理大规模的航拍图像数据。
发明内容
发明目的:本发明的目的在于解决现有技术中存在的不足,提供一种面向大规模航拍图像的分布式运动推断结构方法,本发明能够在在分布式环境下快速地计算出大规模航拍图像对应的稀疏点云模型和摄像机参数,使得基于航拍图像的高精度及快速的大规模室外场景三维重建变成可能。
技术方案:本发明的一种面向大规模航拍图像的分布式运动推断结构方法,包括以下步骤:
进一步地,所述步骤S1中采用社区检测法(Community detection)将大规模航拍图像数据集合划分为具有一定重叠区域的子集,首先计算输入图像中包含的局部特征点,然后对特征进行聚类(例如Affinity Propagation方法),每一类表示一个不同的社区区域,即为重叠的子集。
进一步地,所述步骤S2中采用采用局部运动推断结构(Local structurefrommotion)法计算每一个子集图像对应的稀疏点云模型和摄像机参数,包括GPU(Graphics Processor Units)加速的运动推断结构法或非GPU加速的运动推断结构法。具体计算过程为:首先计算输入图像之间的特征匹配关系;其次,根据特征匹配关系计算出摄像机的相对姿态信息和初始的稀疏点云模型;最后,对初始的稀疏点云模型进行优化,即可获得最终的稀疏点云模型和摄像机参数。
进一步地,所述步骤S3中采用基于“Fisher Vector”的图像匹配法计算任意两个子区域之间的重叠图像:首先根据输入的局部特征计算出词袋模型,然后根据词袋模型为每一幅输入图像查询匹配的图像,这些匹配的图像为重叠图像。
进一步地,所述步骤S4中采用间接方法计算出两个子模型之间的旋转矩阵和平移向量:具体步骤为:首先根据两个子模型之间的重叠图像间的特征匹配关系来计算出基本矩阵,然后根据基本矩阵和摄像机参数计算出本质矩阵,最后对本质矩阵进行分解即可获得对应旋转矩阵和平移向量。
进一步地,所述步骤S5中采用最小代价生成树方法将多个子模型合并为一个完整的模型。
有益效果:本发明先将大规模的航拍图像数据划分具有一定重叠度的子集,避免图像数据量过大导致单机版本的运动推断结构方法和系统出现内存溢出问题;其次,在分布式计算环境下不同节点上同时计算每个子集图像所对应的稀疏点云模型和摄像机参数,使得能够在有限的时间内计算出大规模场景的三维模型。
综上,本发明既能够提高三维重建的时间效率,又能够避免单机版本的运动推断结构方法和系统在处理大规模航拍图像数据时出现的内存溢出问题。
附图说明
图1为本发明的整体流程示意图;
图2为实施例中的航拍图;
图3为实施例中子区域的稀疏点云模型示意图;
图4为实施例中的查询图像;
图5为实施例中的重叠图像;
图6为实施例中完整的点云模型。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
本发明的一种面向大规模航拍图像的分布式运动推断结构方法,将大规模航拍图像划分为具有一定重叠度的子集,分别在分布式计算环境的不同节点上计算出每个子集图像对应的稀疏点云模型和摄像机参数,最后将所有子节点的稀疏点云模型和摄像机参数合并为一个整体,即可获得完整场景的稀疏点云模型和摄像机参数。
本发明的应用场景包括:数字孪生、数字中国建设、影视制作、场景监控、文化遗产的数字化保护、军事仿真、无人驾驶、地图导航、虚拟现实和增强现实等。
如图1所示,本实施例的一种面向大规模航拍图像的分布式运动推断结构方法步骤包括:
步骤一
对于给定的大规模航拍图像数据I={I1,…,In}采用文献《General optimizationtechnique for high-quality community detection in complex networks》中的社区检测方法将其划分为具有一定重叠度的子集,即为
步骤二
步骤三
对于给定的两个子区域的三维模型,即Ma和Mb,假设模型Ma和Mb对应着两个不同的物理区域Regiona和Regionb,Ii和Ij分别表示区域Regiona和Regionb中的图像,构造出一个基于全局旋转误差的线性系统,
和误差ρe,
记Rab表示图像Ii从Ma和Mb的旋转矩阵,则获得如下等式。
由于IE是单位矩阵,因此,式(3)等价于式(4)。
RjRab=Ri,jRi (4)
假设模型Ma和模型Mb之间存在m个重叠的“图像对”,根据这些重叠的“图像对”所对应的三维模型,则构造如下所示的非线性系统;
其中,Am×3和bm×3分表示An和bn对应的堆叠矩阵,且An=Rj,bn=Ri,jRi。一旦获得旋转矩阵后,完整模型的极线几何图则表示为一个加权的图结构,图的节点表述子区域的模型,边表示连接子模型之间的重叠图像。
记tab和θab分别表示模型Ma和模型Mb之间的平移向量和尺度因子,存在如下的等式关系:
λijtij=Rj(ci-(θabcj+tab)) (6)
假设x=[θab,tx,ty,tz,λ1,…,λs]T表示任意一对图像之间的尺度因子、平移向量和局部特征之间的尺度因子;yc=[c1,…,cs]T表示参考模型中的图像,则平移向量和尺度变换可以建模为:
Aijx=yc (8)
其中,Aij=[cj,I3×3,…P…]是一个具有3列和4+n行的矩阵。因此,平移向量和尺度因子的求解问题可以建模为最小化问题。
至此求解出平移向量和尺度因子,结合旋转矩阵,可以使用最小代价生成树方法将多个区域的模型合并为一个完整的场景模型。
实施例:
如图2所示为本实施的大规模航拍图像数据集合I中的图像,本实施例所采用的局部运动推断结构包括有Local SFM1等,所得子区域的稀疏点云模型示如图3所示。然后以图4为查询图像,计算这两个子区域之间的重叠图像如图5所示,接着计算子区域模型之间的旋转矩阵和平移向量(R3×3、T3×1);然后根据旋转矩阵和平移向量来合并子模型,合并摄像机姿态和稀疏点云等,最终输出图像图6。
Claims (6)
1.一种面向大规模航拍图像的分布式运动推断结构方法,其特征在于:包括以下步骤:
对于给定的两个子区域的三维模型,即Ma和Mb,假设模型Ma和Mb对应着两个不同的物理区区域Regiona和Regionb,Ii和Ij分别表示区域Regiona和Regionb中的图像,构造出一个基于全局旋转误差的线性系统,
和误差ρe,
记Rab表示图像Ii从Ma和Mb的旋转矩阵,则获得如下等式;
由于IE是单位矩阵,因此,式(3)等价于式(4);
RjRab=Ri,jRi (4)
假设模型Ma和模型Mb之间存在m个重叠的“图像对”,根据这些重叠的“图像对”所对应的三维模型,则构造如下所示的非线性系统;
其中,Am×3和bm×3分表示An和bn对应的堆叠矩阵,且An=Rj,bn=Ri,jRi;一旦获得旋转矩阵后,完整模型的极线几何图则表示为一个加权的图结构,图的节点表述子区域的模型,边表示连接子模型之间的重叠图像;
记tab和θab分别表示模型Ma和模型Mb之间的平移向量和尺度因子,存在如下的等式关系:
λijtij=Rj(ci-(θabcj+tab)) (6)
假设x=[θab,tx,ty,tz,λ1,…,λs]T表示任意一对图像之间的尺度因子、平移向量和局部特征之间的尺度因子;yc=[c1,…,cs]T表示参考模型中的图像,则平移向量和尺度变换可以建模为:
Aijx=yc (8)
其中,Aij=[cj,I3×3,…P…]是一个具有3列和4+n行的矩阵;因此,平移向量和尺度因子的求解问题可以建模为最小化问题;
至此求解出平移向量和尺度因子,结合旋转矩阵,可以使用最小代价生成树方法将多个区域的模型合并为一个完整的场景模型。
2.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法,其特征在于:所述步骤S1中采用社区检测法将大规模航拍图像数据集合划分为具有一定重叠区域的子集;首先计算输入图像中包含的局部特征点,然后对特征进行聚类,每一类表示一个不同的社区区域,即为重叠的子集。
3.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法,其特征在于:所述步骤S2中采用采用局部运动推断结构法计算每一个子集图像对应的稀疏点云模型和摄像机参数,计算过程为:首先计算输入图像之间的特征匹配关系;其次,根据特征匹配关系计算出摄像机的相对姿态信息和初始的稀疏点云模型;最后,对初始的稀疏点云模型进行优化,即可获得最终的稀疏点云模型和摄像机参数。
4.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法,其特征在于:所述步骤S3中采用计算任意两个子区域之间的重叠图像的方法为:首先根据输入的局部特征计算出词袋模型,然后根据词袋模型为每一幅输入图像查询匹配的图像,这些匹配的图像为重叠图像。
5.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法,其特征在于:所述步骤S4中采用间接方法计算出两个子模型之间的旋转矩阵和平移向量;具体步骤为:首先根据两个子模型之间的重叠图像间的特征匹配关系来计算出基本矩阵,然后根据基本矩阵和摄像机参数计算出本质矩阵,最后对本质矩阵进行分解即可获得对应旋转矩阵和平移向量。
6.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法,其特征在于:所述步骤S5中采用最小代价生成树方法将多个子模型合并为一个完整的模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110528870.6A CN113284227B (zh) | 2021-05-14 | 2021-05-14 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110528870.6A CN113284227B (zh) | 2021-05-14 | 2021-05-14 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284227A CN113284227A (zh) | 2021-08-20 |
CN113284227B true CN113284227B (zh) | 2022-11-22 |
Family
ID=77279170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110528870.6A Active CN113284227B (zh) | 2021-05-14 | 2021-05-14 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284227B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115719407B (zh) * | 2023-01-05 | 2023-06-27 | 安徽大学 | 一种面向大规模航拍图像的分布式多视图立体重建方法 |
CN116071504B (zh) * | 2023-03-06 | 2023-06-09 | 安徽大学 | 一种面向高分辨率图像的多视图立体重建方法 |
CN116993925B (zh) * | 2023-09-25 | 2023-12-01 | 安徽大学 | 面向大规模三维重建的分布式集束调整方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009096893A1 (en) * | 2008-02-01 | 2009-08-06 | Imint Image Intelligence Ab | Generation of aerial images |
CN106204727A (zh) * | 2016-07-11 | 2016-12-07 | 北京大学深圳研究生院 | 一种足部三维扫描重建的方法及装置 |
CN110889901A (zh) * | 2019-11-19 | 2020-03-17 | 北京航空航天大学青岛研究院 | 基于分布式系统的大场景稀疏点云ba优化方法 |
CN111383333A (zh) * | 2020-04-02 | 2020-07-07 | 西安因诺航空科技有限公司 | 一种分段式sfm三维重建方法 |
CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际(重庆)智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
CN112233231A (zh) * | 2020-09-11 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种基于云计算的城市三维实景漫游方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10008123B2 (en) * | 2015-10-20 | 2018-06-26 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
US10593108B2 (en) * | 2017-10-31 | 2020-03-17 | Skycatch, Inc. | Converting digital aerial images into a three-dimensional representation utilizing processing clusters |
CN110009667B (zh) * | 2018-12-19 | 2022-09-06 | 南京理工大学 | 基于罗德里格斯变换的多视点云全局配准方法 |
-
2021
- 2021-05-14 CN CN202110528870.6A patent/CN113284227B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009096893A1 (en) * | 2008-02-01 | 2009-08-06 | Imint Image Intelligence Ab | Generation of aerial images |
CN106204727A (zh) * | 2016-07-11 | 2016-12-07 | 北京大学深圳研究生院 | 一种足部三维扫描重建的方法及装置 |
CN110889901A (zh) * | 2019-11-19 | 2020-03-17 | 北京航空航天大学青岛研究院 | 基于分布式系统的大场景稀疏点云ba优化方法 |
CN111383333A (zh) * | 2020-04-02 | 2020-07-07 | 西安因诺航空科技有限公司 | 一种分段式sfm三维重建方法 |
CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际(重庆)智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
CN112233231A (zh) * | 2020-09-11 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种基于云计算的城市三维实景漫游方法及系统 |
Non-Patent Citations (2)
Title |
---|
Towards Internet-scale multi-view stereo;Yasutaka Furukawa等;《IEEE》;20100805;1434-1441 * |
基于分块Harris特征的航拍视频拼接方法;杨宇博等;《北京大学学报(自然科学版)》;20130531;第49卷(第04期);657-661 * |
Also Published As
Publication number | Publication date |
---|---|
CN113284227A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284227B (zh) | 一种面向大规模航拍图像的分布式运动推断结构方法 | |
Sun et al. | Deep RGB-D saliency detection with depth-sensitive attention and automatic multi-modal fusion | |
CN113674403B (zh) | 一种三维点云上采样方法、系统、设备及介质 | |
CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
CN111462137A (zh) | 一种基于知识蒸馏和语义融合的点云场景分割方法 | |
CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
CN112767468A (zh) | 基于协同分割与数据增强的自监督三维重建方法及系统 | |
CN115719407B (zh) | 一种面向大规模航拍图像的分布式多视图立体重建方法 | |
CN112232134A (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
CN113326851A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
Lee et al. | Connectivity-based convolutional neural network for classifying point clouds | |
CN114612902A (zh) | 图像语义分割方法、装置、设备、存储介质及程序产品 | |
Gao et al. | Research on multi-view 3D reconstruction technology based on SFM | |
CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
Wang et al. | PACCDU: Pyramid attention cross-convolutional dual UNet for infrared and visible image fusion | |
Kan et al. | Target localization based on cross-view matching between UAV and satellite | |
CN112017159B (zh) | 一种遥感场景下的地面目标真实感仿真方法 | |
CN112069412A (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
CN116758219A (zh) | 基于神经网络的区域感知多视角立体匹配三维重建方法 | |
Zhou et al. | Stn-homography: estimate homography parameters directly | |
CN112633293B (zh) | 一种基于图分割的三维稀疏点云重建图像集分类方法 | |
CN114638867A (zh) | 基于特征提取模块和对偶四元数的点云配准方法及系统 | |
CN114723973A (zh) | 大尺度变化鲁棒的图像特征匹配方法及装置 | |
CN114638953A (zh) | 点云数据的分割方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210812 Address after: 230601 No.111, Jiulong Road, Jingkai District, Shushan District, Hefei City, Anhui Province Applicant after: ANHUI University Applicant after: ELECTRIC POWER Research Institute ANHUI ELECTRIC POWER COMPANY OF STATE GRID Address before: 230601 No.111, Jiulong Road, Jingkai District, Shushan District, Hefei City, Anhui Province Applicant before: ANHUI University |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |