CN114782525A - 基于全局几何约束的无人机影像定位定向方法及设备 - Google Patents

基于全局几何约束的无人机影像定位定向方法及设备 Download PDF

Info

Publication number
CN114782525A
CN114782525A CN202210710673.0A CN202210710673A CN114782525A CN 114782525 A CN114782525 A CN 114782525A CN 202210710673 A CN202210710673 A CN 202210710673A CN 114782525 A CN114782525 A CN 114782525A
Authority
CN
China
Prior art keywords
image
global
sub
positioning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210710673.0A
Other languages
English (en)
Other versions
CN114782525B (zh
Inventor
姜三
马一尘
和旭
王力哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202210710673.0A priority Critical patent/CN114782525B/zh
Publication of CN114782525A publication Critical patent/CN114782525A/zh
Application granted granted Critical
Publication of CN114782525B publication Critical patent/CN114782525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于全局几何约束的无人机影像定位定向方法及设备。所述方法包括：采用词汇树检索影像匹配对，根据影像匹配对构建影像拓扑连接图；采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型；将多个子场景定位定向模型与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型。本发明可以缩短无人机影像定位定向的时长，提高无人机影像定位定向的精度，增强了无人机摄影测量的实际应用效果。

Description

基于全局几何约束的无人机影像定位定向方法及设备
技术领域
本发明实施例涉及无人机成像技术领域，尤其涉及一种基于全局几何约束的无人机影像定位定向方法及设备。
背景技术
当前，无人机倾斜摄影在工程监测、城市管理、灾害应急等领域得到了广泛应用，但是无人机影像的后续处理是保证成功应用的关键。由于有限的载荷能力和高昂的设备成本，UAV（Unmanned Aerial Vehicle, 即无人机）平台没有搭载高精度的专业定位和定向传感器。影像定向是数据处理环节必不可少的步骤。随着影像数量的增加，由于迭代局部和全局的高计算代价，导致影像定位定向时长变得非常大，严重影响了其应用效果。因此，开发一种基于全局几何约束的无人机影像定位定向方法及设备，可以有效克服上述相关技术中的缺陷。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种基于全局几何约束的无人机影像定位定向方法及设备。
第一方面，本发明的实施例提供了一种基于全局几何约束的无人机影像定位定向方法，包括：采用词汇树检索影像匹配对，根据影像匹配对构建影像拓扑连接图；采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型；将多个子场景定位定向模型与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述采用词汇树检索影像匹配对，包括：采用KDTree算法建立单词集合的查找索引；对于无人机影像的每个特征，从查找索引中搜索最近邻单词，在最邻近单词对应的倒排文件列表中增加一条记录，得到无人机影像索引；从无人机影像索引中，得到第一影像的第一加权词频向量和第二影像的第二加权词频向量，采用第一加权词频向量和第二加权词频向量的夹角余弦值表示第一影像和第二影像的相似性值，则与任一影像相似性值高于预设阈值的多个影像，构成一影像匹配对。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述根据影像匹配对构建影像拓扑连接图，包括：采用影像匹配对引导特征匹配，得到重叠影像的匹配点，根据重叠影像的匹配点采用无向加权图构建影像拓扑连接图。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，包括：将拓扑连接图中的所有顶点标为白色，统计每一白色顶点连接的其余白色顶点的数量，将连接白色顶点最多的白色顶点记为当前顶点；将当前顶点标为黑色，并将与黑色顶点相连的白色顶点标为灰色；更新与全部灰色顶点连接的白色顶点的数量，并计算全部灰色顶点的重要值，将重要值最大的灰色顶点确定为另一当前顶点；采用相同方法反复确定多个当前顶点，直至无白色顶点存在，则所有黑色顶点构成全局连接图，对全局连接图进行三维重建得到全局连接模型。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型，包括：采用最小边权值，将所述影像拓扑连接图划分为预定影像数量的子场景，得到聚类子图，每一聚类子图为一待处理的子场景，对多个所述子场景同时进行定位定向，得到所有子场景的定位定向模型。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述将多个子场景定位定向模型与全局模型进行合并得到合并模型，包括：根据影像匹配对构建On-demand匹配图，根据On-demand匹配图获取多个子场景定位定向模型与全局模型的公共三维点集，采用公共三维点集计算多个子场景定位定向模型与全局模型之间的相似变换参数，采用相似变换参数将每个子场景定位定向模型转换至全局模型，得到合并模型。
在上述方法实施例内容的基础上，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述对合并模型进行全局平差得到最终合并模型，包括：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE006
分别为三维点坐标和相机参数；
Figure DEST_PATH_IMAGE008
是三维点
Figure 969036DEST_PATH_IMAGE004
在相机
Figure 151756DEST_PATH_IMAGE006
上的投影点；
Figure DEST_PATH_IMAGE010
是对应的影像点；
Figure DEST_PATH_IMAGE012
为L2-范数；
Figure DEST_PATH_IMAGE014
是指示函数：当三维点
Figure 728231DEST_PATH_IMAGE004
在相机
Figure 389019DEST_PATH_IMAGE006
中可见时，
Figure DEST_PATH_IMAGE016
；否则，
Figure DEST_PATH_IMAGE018
。
第二方面，本发明的实施例提供了一种基于全局几何约束的无人机影像定位定向装置，包括：第一主模块，用于采用词汇树检索影像匹配对，根据影像匹配对构建影像拓扑连接图；第二主模块，用于采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；第三主模块，用于对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型；第四主模块，用于将多个子场景定位定向模型与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于全局几何约束的无人机影像定位定向方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于全局几何约束的无人机影像定位定向方法。
本发明实施例提供的基于全局几何约束的无人机影像定位定向方法及设备，通过构建影像拓扑连接图，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；得到多个子场景定位定向模型后将其与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型，可以缩短无人机影像定位定向的时长，提高无人机影像定位定向的精度，增强了无人机成像的实际应用效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于全局几何约束的无人机影像定位定向方法流程图；
图2为本发明实施例提供的基于全局几何约束的无人机影像定位定向装置结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图；
图4为本发明实施例提供的采用“单词-文档”的结构建立单词与文档之间的索引关系结构示意图；
图5为本发明实施例提供的WCDS算法原理示意图；
图6为本发明实施例提供的搜索公共三维点原理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
通过采用分块-合并，将大场景影像的定位定向问题分割为多个个小场景影像的定向定位问题，通过并行计算每个小场景，然后通过模型合并得到最终所需要的大场景，实现无人机影像分布式并行化定位定向。基于这种思想，本发明实施例提供了一种基于全局几何约束的无人机影像定位定向方法，参见图1，该方法包括：采用词汇树检索影像匹配对，根据影像匹配对构建影像拓扑连接图；采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型；将多个子场景定位定向模型与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型。
具体地，基于SIFT算法的影像特征提取，成像角度、飞行高度、光照条件等变化，无人机影像可能存在较大的几何变形和辐射畸变，使得所提取特征的可重复性和可区分性等特性降低。由于SIFT（Scale Invariant Feature Transform）算法具备旋转、尺度、光照和一定程度的仿射不变性，在摄影测量与计算机视觉等领域得到了广泛应用。实施例中将利用SIFT算法进行UAV影像的特征提取。具体地，利用SIFT算法的GPU(Graphic ProcessingUnit)版本SIFTGPU进行无人机影像特征提取。该技术是数字摄影测量和计算机视觉领域的常用手段，此处不再赘述。
UAV影像索引建立，在基于内容的图像检索技术中，词汇树构成了用于影像描述的单词集合。词汇树检索可以从海量影像中快速查找视觉上相似的影像集合，用于无人机影像匹配对选择。本发明采用预先训练的词汇树，假设包含V个单词，即
Figure DEST_PATH_IMAGE020
。那么，UAV影像索引的本质就是利用词汇树单词对影像进行描述，得到每张影像对应的词频向量。利用预先训练的词汇树
Figure 265708DEST_PATH_IMAGE020
，UAV影像可以采用一个V维向量
Figure DEST_PATH_IMAGE022
进行描述。向量
Figure DEST_PATH_IMAGE024
中的元素
Figure DEST_PATH_IMAGE026
为单词
Figure DEST_PATH_IMAGE028
在影像d中出现的加权频率，即
Figure DEST_PATH_IMAGE030
（1）
其中，
Figure DEST_PATH_IMAGE032
为单词
Figure DEST_PATH_IMAGE034
在索引影像d中的频数；
Figure DEST_PATH_IMAGE036
为UAV影像d包含的总词汇数；
Figure DEST_PATH_IMAGE038
是包含单词
Figure 212805DEST_PATH_IMAGE034
的影像数；N为UAV影像的总数。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述采用词汇树检索影像匹配对，包括：采用KDTree算法建立单词集合的查找索引；对于无人机影像的每个特征，从查找索引中搜索最近邻单词，在最邻近单词对应的倒排文件列表中增加一条记录，得到无人机影像索引；从无人机影像索引中，得到第一影像的第一加权词频向量和第二影像的第二加权词频向量，采用第一加权词频向量和第二加权词频向量的夹角余弦值表示第一影像和第二影像的相似性值，则与任一影像相似性值高于预设阈值的多个影像，构成一影像匹配对。
具体地，在实际计算过程中，UAV影像采用倒排索引（Inverted Index）结构构建索引。倒排索引采用“单词-文档”的结构建立单词与文档之间的索引关系，其结构如图4所示。对于每个单词
Figure 745417DEST_PATH_IMAGE034
，倒排索引维护一个倒排文件（Inverted File）列表，包含所有与单词
Figure 209897DEST_PATH_IMAGE034
关联的影像索引和特征索引。UAV影像索引的构建过程：1）利用KDTree算法建立单词集合W的快速最近邻查找索引
Figure DEST_PATH_IMAGE040
；2）对于影像d的每个特征
Figure DEST_PATH_IMAGE042
，从
Figure 675513DEST_PATH_IMAGE040
中搜索其最近邻单词
Figure DEST_PATH_IMAGE044
，并将该查询记录到倒排索引结构，即在单词
Figure 200035DEST_PATH_IMAGE044
对应的倒排文件列表中增加一条记录
Figure DEST_PATH_IMAGE046
；3）按照步骤2）处理所有影像，实现基于词汇树的UAV影像索引的构建。影像匹配对选择的目的就是选择具有空间重叠的影像对，避免无重叠影像对匹配导致的时长消耗和错误匹配。本发明采用影像检索技术进行影像匹配对选择，其基本思路是具有空间重叠的影像对相似性高；反之，其相似性就较低。基于上述步骤建立的UAV影像索引结构，可以得到任意两张影像
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE050
的加权词频向量
Figure DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE054
。那么，影像
Figure 282261DEST_PATH_IMAGE048
和
Figure 284852DEST_PATH_IMAGE050
的相似性就可以采用词频向量
Figure 73816DEST_PATH_IMAGE052
和
Figure 769240DEST_PATH_IMAGE054
的夹角余弦值进行量化，即得到影像
Figure 276444DEST_PATH_IMAGE048
和
Figure 817147DEST_PATH_IMAGE050
的相似性值。依此步骤，可以得到影像
Figure 726197DEST_PATH_IMAGE048
与其他所有影像的相似性值。那么，影像
Figure 326943DEST_PATH_IMAGE048
的匹配对选择就是选择与其相似性值最高的T个影像，构成影像匹配对
Figure DEST_PATH_IMAGE056
。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述根据影像匹配对构建影像拓扑连接图，包括：采用影像匹配对引导特征匹配，得到重叠影像的匹配点，根据重叠影像的匹配点采用无向加权图构建影像拓扑连接图。
具体地，利用影像匹配对引导特征匹配，得到重叠影像的匹配点。然后，根据重叠影像的匹配点采用无向加权图构建影像拓扑连接图TCN。假设影像集合为
Figure DEST_PATH_IMAGE058
；匹配对集合为
Figure 587023DEST_PATH_IMAGE056
；无向加权图为
Figure DEST_PATH_IMAGE060
。那么，为每张影像
Figure 462575DEST_PATH_IMAGE048
添加一个顶点
Figure DEST_PATH_IMAGE062
，组成顶点集合
Figure DEST_PATH_IMAGE064
；为每个匹配对
Figure DEST_PATH_IMAGE066
添加一条边
Figure DEST_PATH_IMAGE068
，组成边集合
Figure DEST_PATH_IMAGE070
。同时，为边
Figure 554028DEST_PATH_IMAGE068
赋权值
Figure DEST_PATH_IMAGE072
。其中，边权值
Figure 856833DEST_PATH_IMAGE072
为两张重叠影像的连接强弱。对于影像定位定向而言，连接边强弱最直接的为方式为匹配点数量。同时，考虑到匹配点分布也同样影响影像定位定向，利用匹配点数据及其分布特征计算边权值
Figure 73051DEST_PATH_IMAGE072
。具体计算公式为：
Figure DEST_PATH_IMAGE074
（2）
其中，
Figure DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE078
是根据匹配点数量和匹配点分布计算的加权项；
Figure DEST_PATH_IMAGE080
是加权项比例，本发明中取值为0.5。因此，边权值
Figure 283453DEST_PATH_IMAGE072
是匹配点数量和匹配分布的线性组合，其具体计算方式为
Figure DEST_PATH_IMAGE082
（3）
Figure DEST_PATH_IMAGE084
（4）
其中，
Figure DEST_PATH_IMAGE086
和
Figure DEST_PATH_IMAGE088
分别是当前匹配对
Figure DEST_PATH_IMAGE090
的匹配点数量和所有匹配对P的最大匹配点数量；
Figure DEST_PATH_IMAGE092
和
Figure DEST_PATH_IMAGE094
分别是影像
Figure 512569DEST_PATH_IMAGE048
和
Figure 455117DEST_PATH_IMAGE050
匹配点外接矩形的面积；
Figure DEST_PATH_IMAGE096
和
Figure DEST_PATH_IMAGE098
分别是影像
Figure 689790DEST_PATH_IMAGE048
和
Figure 375986DEST_PATH_IMAGE050
的面积。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，包括：将拓扑连接图中的所有顶点标为白色，统计每一白色顶点连接的其余白色顶点的数量，将连接白色顶点最多的白色顶点记为当前顶点；将当前顶点标为黑色，并将与黑色顶点相连的白色顶点标为灰色；更新与全部灰色顶点连接的白色顶点的数量，并计算全部灰色顶点的重要值，将重要值最大的灰色顶点确定为另一当前顶点；采用相同方法反复确定多个当前顶点，直至无白色顶点存在，则所有黑色顶点构成全局连接图，对全局连接图进行三维重建得到全局连接模型。
具体地，从TCN中提取能够覆盖整个区域的影像子集，构建全局连接图，用于辅助后续子场景模型合并。最小连通支配集（minimal connected dominating set，MCDS）算法可以实现影像拓扑连接图简化，并用于地标数据集的简化。但是，其并没有考虑到无人机影像本身的特征，导致提取的MCDS影像子集并不能完全重建出来或者直接重建失败。针对上述问题，提出加权连通支配集（weighted connected dominating set，WCDS）算法。假设影像拓扑连接图为
Figure DEST_PATH_IMAGE100
，WCDS提取的顶点集合为
Figure DEST_PATH_IMAGE102
。WCDS算法原理如图4所示，具体步骤：
初始化，将G中的所有顶点
Figure DEST_PATH_IMAGE104
颜色标为白色，并统计每个顶点
Figure DEST_PATH_IMAGE106
连接的白色顶点数量
Figure DEST_PATH_IMAGE108
，得到集合
Figure DEST_PATH_IMAGE110
；然后，从集合C中找出最大取值所对应的顶点，即白色连接顶点最多的顶点，并将其记为当前顶点
Figure DEST_PATH_IMAGE112
。如图5左一中红色顶点（带十字的点）所示。
扫描与标记当前顶点。扫描当前顶点
Figure 707610DEST_PATH_IMAGE112
，即将当前顶点
Figure 86639DEST_PATH_IMAGE112
标为黑色，并将
Figure 277449DEST_PATH_IMAGE112
加入
Figure 767336DEST_PATH_IMAGE102
。同时，标记当前顶点
Figure 828833DEST_PATH_IMAGE112
的所有连接顶点
Figure DEST_PATH_IMAGE114
，即将集合N中所有顶点标为灰色。如图5中左二黑色顶点和灰色顶点所示（带十字的为红色顶点）。
查找下一个当前顶点。更新所有灰色标记顶点的白色连接顶点数量，并根据下列公式（6）计算灰色顶点的重要值
Figure DEST_PATH_IMAGE116
。其中，
Figure DEST_PATH_IMAGE118
是白色连接顶点数量计算的加权项；
Figure 175501DEST_PATH_IMAGE072
是连接边
Figure 853607DEST_PATH_IMAGE068
的权值，在构建影像拓扑连接图时根据公式（3）计算得到；
Figure DEST_PATH_IMAGE120
是控制
Figure DEST_PATH_IMAGE122
和
Figure 678343DEST_PATH_IMAGE072
贡献值的加权比值，其取值范围为[0,1]。另外，加权项
Figure 125505DEST_PATH_IMAGE122
根据公式（7）进行归一化。其中，
Figure DEST_PATH_IMAGE124
是所有灰色顶点的白色连接顶点数量的最大值。待计算所有灰色顶点的重要值后，找出取值最大的灰色顶点为当前顶点
Figure 580757DEST_PATH_IMAGE112
。如图5左二和图5左三所示（带十字为红色顶点）。
Figure DEST_PATH_IMAGE126
（5）
Figure DEST_PATH_IMAGE128
（6）
重复上述步骤，直到没有白色顶点存在。那么，所有黑色顶点组成
Figure 277318DEST_PATH_IMAGE102
。如图5左四所示。
执行上述WCDS算法后，得到WCDS顶点集合
Figure 109007DEST_PATH_IMAGE102
，该集合组成全局约束的影像集合，通过SfM重建后得到全局模型
Figure DEST_PATH_IMAGE130
。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型，包括：采用最小边权值，将所述影像拓扑连接图划分为预定影像数量的子场景，得到聚类子图，每一聚类子图为一待处理的子场景，对多个所述子场景同时进行定位定向，得到所有子场景的定位定向模型。
具体地，场景聚类的目标是将整个影像拓扑连接图TCN划分为多个个尺寸更小、连接紧密的小场景，以便能够更高效、更精确地实现小场景的定位定向。对于影像拓扑连图TCN聚类，本发明采用归一化割（normalized cut,NC）算法实现。假设影像拓扑连接图为
Figure DEST_PATH_IMAGE132
，NC算法通过利用最小的边权值，将场景划分为指定数量n的子场景，得到聚类子图
Figure DEST_PATH_IMAGE134
。那么，每个聚类子图
Figure DEST_PATH_IMAGE136
就代表一个待处理的子场景。经过上述影像拓扑连接图聚类后，采用并行处理技术,同时进行多个子场景影像的定位定向，最终得到所有子场景的定位定向模型
Figure DEST_PATH_IMAGE138
。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述将多个子场景定位定向模型与全局模型进行合并得到合并模型，包括：根据影像匹配对构建On-demand匹配图，根据On-demand匹配图获取多个子场景定位定向模型与全局模型的公共三维点集，采用公共三维点集计算多个子场景定位定向模型与全局模型之间的相似变换参数，采用相似变换参数将每个子场景定位定向模型转换至全局模型，得到合并模型。
具体地，由于子模型采用各自的坐标系进行重建，因此需要进行模型合并，得到坐标系统一的整体模型。本发明利用生成的全局模型
Figure 738572DEST_PATH_IMAGE130
，约束各个子模型
Figure DEST_PATH_IMAGE140
的合并。假定子模型
Figure 630304DEST_PATH_IMAGE140
与全局模型
Figure 17423DEST_PATH_IMAGE130
之间的变换关系T为相似变换，即
Figure DEST_PATH_IMAGE142
。其中，R为旋转矩阵；t为平移向量；
Figure DEST_PATH_IMAGE144
为尺度变换。那么子模型
Figure 183963DEST_PATH_IMAGE140
与全局模型
Figure 340137DEST_PATH_IMAGE130
合并步骤为：
步骤4.1，搜索公共三维点，如图6所示。公共三维点的搜索效率十分重要。采用On-demand匹配图构建方法，用于快速构建模型之间的匹配连接关系，进而加速公共三维点搜索。On-demand匹配图包含了影像的连接关系和匹配点的对应关系。On-demand匹配图的核心思想是：随着模型合并，子模型包含的影像数量将越来越小于全局模型包含的影像数量，且模型合并仅需要建立子模型到全局模型之间的变换关系。因此，可以仅利用子模型影像包含的匹配对关系构建匹配图。
假定子模型包含的影像集合为
Figure DEST_PATH_IMAGE146
，全局模型包含的影像集合为
Figure DEST_PATH_IMAGE148
。On-demand匹配图构建方法为：（1）对于子模型中的任一影像
Figure 933930DEST_PATH_IMAGE048
，通过生成的影像匹配对
Figure DEST_PATH_IMAGE150
，查找影像
Figure 808345DEST_PATH_IMAGE048
的所有关联影像匹配对，并将其加入匹配对集合
Figure DEST_PATH_IMAGE152
。（2）利用匹配对集合
Figure 512996DEST_PATH_IMAGE152
，构建On-demand匹配图。如图6所示，黄色连线（即曲线）构建了影像连接关系和匹配点对应关系，且仅利用
Figure DEST_PATH_IMAGE154
，
Figure DEST_PATH_IMAGE156
，
Figure DEST_PATH_IMAGE158
和
Figure DEST_PATH_IMAGE160
四张影像就可以构建子模型与全局模型的完整匹配图关系，影像
Figure DEST_PATH_IMAGE162
则不需要参与。
在建立了On-demand匹配图后，就可以搜索子模型与全局模型的公共三维点集C。具体步骤为：（1）对于子模型中的某一个三维点
Figure DEST_PATH_IMAGE164
，根据三维重建结果查找其对应的观测点集合
Figure DEST_PATH_IMAGE166
；（2）对于观测点集合O的每个元素，利用On-demand匹配图建立的连接关系，查找其在全局模型中的匹配点集合
Figure DEST_PATH_IMAGE168
；（3）对于集合M中的每个匹配点，根据全局模型三维重建结果查找其对应的三维点
Figure DEST_PATH_IMAGE170
；（4）如果三维点对
Figure DEST_PATH_IMAGE172
不在集合C，则将其加入C；（5）重复上述步骤，得到子模型与全局模型的公共三维点集C。
步骤4.2，基于RANSAC的变换参数估计
在获取公共三维点集合C后，可以计算子模型与全局模型之间的相似变换参数
Figure DEST_PATH_IMAGE174
。假设子模型与全局模型之间的存在n个公共三维点，分别为
Figure DEST_PATH_IMAGE176
和
Figure DEST_PATH_IMAGE178
。那么，相似变换参数估计可以通过最小化下述目标函数（7）得到。其中，
Figure DEST_PATH_IMAGE180
为在变换参数T下，集合
Figure 976207DEST_PATH_IMAGE176
到
Figure 209742DEST_PATH_IMAGE178
的变换误差。采用奇异值分解（Singular Value Decomposition，SVD）算法求解相似变换参数。
Figure DEST_PATH_IMAGE182
（7）
由于公共三维点不可避免地包含错误点，本发明基于RANSAC的采样-验证框架进行相似变换稳健估计。其中，样本残差
Figure DEST_PATH_IMAGE184
采用下述公式（8）所示的双向重投影误差计算得到。本发明设定最大投影误差为1.8像素，即在相似变换T下，残差
Figure 837033DEST_PATH_IMAGE184
大于1.8像素的点为粗差。
Figure DEST_PATH_IMAGE186
（8）
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向方法，所述对合并模型进行全局平差得到最终合并模型，包括：
Figure DEST_PATH_IMAGE187
（9）
其中，
Figure 351234DEST_PATH_IMAGE004
和
Figure 482001DEST_PATH_IMAGE006
分别为三维点坐标和相机参数；
Figure 620858DEST_PATH_IMAGE008
是三维点
Figure 469865DEST_PATH_IMAGE004
在相机
Figure 985160DEST_PATH_IMAGE006
上的投影点；
Figure 236013DEST_PATH_IMAGE010
是对应的影像点；
Figure 811351DEST_PATH_IMAGE012
为L2-范数；
Figure 147654DEST_PATH_IMAGE014
是指示函数：当三维点
Figure 466640DEST_PATH_IMAGE004
在相机
Figure 571999DEST_PATH_IMAGE006
中可见时，
Figure 318239DEST_PATH_IMAGE016
；否则，
Figure 876259DEST_PATH_IMAGE018
。
具体地，在获取子模型与全局模型之间的相似变换参数
Figure DEST_PATH_IMAGE189
后，可以将子模型重建结果转换到全局模型。按照上述步骤处理所有子模型后，得到模型合并结果。为了进一步消除误差累计，最后执行如（9）式的光束法全局平差，提升模型合并精度。
本发明实施例提供的基于全局几何约束的无人机影像定位定向方法，通过构建影像拓扑连接图，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；得到多个子场景定位定向模型后将其与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型，可以缩短无人机影像定位定向的时长，提高无人机影像定位定向的精度，增强了无人机成像的实际应用效果。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于全局几何约束的无人机影像定位定向装置，该装置用于执行上述方法实施例中的基于全局几何约束的无人机影像定位定向方法。参见图2，该装置包括：第一主模块，用于采用词汇树检索影像匹配对，根据影像匹配对构建影像拓扑连接图；第二主模块，用于采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；第三主模块，用于对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型；第四主模块，用于将多个子场景定位定向模型与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型，采用最终合并模型对无人机影像进行定位定向。
本发明实施例提供的基于全局几何约束的无人机影像定位定向装置，采用图2中的多个模块，通过构建影像拓扑连接图，从影像拓扑连接图中提取影像子集构建全局连接图，采用全局连接图构建全局模型；得到多个子场景定位定向模型后将其与全局模型进行合并得到合并模型，对合并模型进行全局平差得到最终合并模型，可以缩短无人机影像定位定向的时长，提高无人机影像定位定向的精度，增强了无人机成像的实际应用效果。
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第一子模块，用于实现所述采用词汇树检索影像匹配对，包括：采用KDTree算法建立单词集合的查找索引；对于无人机影像的每个特征，从查找索引中搜索最近邻单词，在最邻近单词对应的倒排文件列表中增加一条记录，得到无人机影像索引；从无人机影像索引中，得到第一影像的第一加权词频向量和第二影像的第二加权词频向量，采用第一加权词频向量和第二加权词频向量的夹角余弦值表示第一影像和第二影像的相似性值，则与任一影像相似性值高于预设阈值的多个影像，构成一影像匹配对。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第二子模块，用于实现所述根据影像匹配对构建影像拓扑连接图，包括：采用影像匹配对引导特征匹配，得到重叠影像的匹配点，根据重叠影像的匹配点采用无向加权图构建影像拓扑连接图。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第三子模块，用于实现所述采用加权连通支配集算法，从影像拓扑连接图中提取影像子集构建全局连接图，包括：将拓扑连接图中的所有顶点标为白色，统计每一白色顶点连接的其余白色顶点的数量，将连接白色顶点最多的白色顶点记为当前顶点；将当前顶点标为黑色，并将与黑色顶点相连的白色顶点标为灰色；更新与全部灰色顶点连接的白色顶点的数量，并计算全部灰色顶点的重要值，将重要值最大的灰色顶点确定为另一当前顶点；采用相同方法反复确定多个当前顶点，直至无白色顶点存在，则所有黑色顶点构成全局连接图，对全局连接图进行三维重建得到全局连接模型。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第四子模块，用于实现所述对影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型，包括：采用最小边权值，将所述影像拓扑连接图划分为预定影像数量的子场景，得到聚类子图，每一聚类子图为一待处理的子场景，对多个所述子场景同时进行定位定向，得到所有子场景的定位定向模型。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第五子模块，用于实现所述将多个子场景定位定向模型与全局模型进行合并得到合并模型，包括：根据影像匹配对构建On-demand匹配图，根据On-demand匹配图获取多个子场景定位定向模型与全局模型的公共三维点集，采用公共三维点集计算多个子场景定位定向模型与全局模型之间的相似变换参数，采用相似变换参数将每个子场景定位定向模型转换至全局模型，得到合并模型。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于全局几何约束的无人机影像定位定向装置，还包括：第六子模块，用于实现所述对合并模型进行全局平差得到最终合并模型，包括：
Figure 998936DEST_PATH_IMAGE002
其中，
Figure 958801DEST_PATH_IMAGE004
和
Figure 875942DEST_PATH_IMAGE006
分别为三维点坐标和相机参数；
Figure 186837DEST_PATH_IMAGE008
是三维点
Figure 847626DEST_PATH_IMAGE004
在相机
Figure 661998DEST_PATH_IMAGE006
上的投影点；
Figure 750040DEST_PATH_IMAGE010
是对应的影像点；
Figure 282652DEST_PATH_IMAGE012
为L2-范数；
Figure 747132DEST_PATH_IMAGE014
是指示函数：当三维点
Figure 416011DEST_PATH_IMAGE004
在相机
Figure 940533DEST_PATH_IMAGE006
中可见时，
Figure 960441DEST_PATH_IMAGE016
；否则，
Figure 963032DEST_PATH_IMAGE018
。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括多个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的一些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于全局几何约束的无人机影像定位定向方法，其特征在于，包括：采用词汇树检索影像匹配对，根据所述影像匹配对构建影像拓扑连接图；采用加权连通支配集算法，从所述影像拓扑连接图中提取影像子集构建全局连接图，采用所述全局连接图构建全局模型；对所述影像拓扑连接图进行聚类重建得到多个子场景，将所述多个子场景并行处理，得到多个子场景定位定向模型；将所述多个子场景定位定向模型与全局模型进行合并得到合并模型，对所述合并模型进行全局平差得到最终合并模型。
2.根据权利要求1所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述采用词汇树检索影像匹配对，包括：采用KDTree算法建立单词集合的查找索引；对于无人机影像的每个特征，从所述查找索引中搜索最近邻单词，在所述最邻近单词对应的倒排文件列表中增加一条记录，得到无人机影像索引；从所述无人机影像索引中，得到第一影像的第一加权词频向量和第二影像的第二加权词频向量，采用所述第一加权词频向量和所述第二加权词频向量的夹角余弦值表示第一影像和第二影像的相似性值，则与任一影像相似性值高于预设阈值的多个影像，构成一影像匹配对。
3.根据权利要求2所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述根据所述影像匹配对构建影像拓扑连接图，包括：采用所述影像匹配对引导特征匹配，得到重叠影像的匹配点，根据重叠影像的匹配点采用无向加权图构建影像拓扑连接图。
4.根据权利要求3所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述采用加权连通支配集算法，从所述影像拓扑连接图中提取影像子集构建全局连接图，包括：将所述影像拓扑连接图中的所有顶点标为白色，统计每一白色顶点连接的其余白色顶点的数量，将连接白色顶点最多的白色顶点记为当前顶点；将当前顶点标为黑色，并将与黑色顶点相连的白色顶点标为灰色；更新与全部灰色顶点连接的白色顶点的数量，并计算全部灰色顶点的重要值，将重要值最大的灰色顶点确定为另一当前顶点；采用相同方法反复确定多个当前顶点，直至无白色顶点存在，则所有黑色顶点构成全局连接图，对所述全局连接图进行三维重建得到全局模型。
5.根据权利要求4所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述对所述影像拓扑连接图进行聚类重建得到多个子场景，将多个子场景并行处理，得到多个子场景定位定向模型，包括：采用最小边权值，将所述影像拓扑连接图划分为预定影像数量的子场景，得到聚类子图，每一所述聚类子图为一待处理的子场景，对多个所述子场景同时进行定位定向，得到所有子场景的定位定向模型。
6.根据权利要求5所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述将所述多个子场景定位定向模型与全局模型进行合并得到合并模型，包括：根据所述影像匹配对构建On-demand匹配图，根据所述On-demand匹配图获取多个子场景定位定向模型与全局模型的公共三维点集，采用所述公共三维点集计算多个子场景定位定向模型与全局模型之间的相似变换参数，采用所述相似变换参数将每个子场景定位定向模型转换至所述全局模型，得到所述合并模型。
7.根据权利要求6所述的基于全局几何约束的无人机影像定位定向方法，其特征在于，所述对所述合并模型进行全局平差得到最终合并模型，包括：
Figure DEST_PATH_IMAGE001
其中，
Figure 639366DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
分别为三维点坐标和相机参数；
Figure 992987DEST_PATH_IMAGE004
是三维点
Figure 400965DEST_PATH_IMAGE002
在相机
Figure 865445DEST_PATH_IMAGE003
上的投影点；
Figure DEST_PATH_IMAGE005
是对应的影像点；
Figure 65482DEST_PATH_IMAGE006
为L2-范数；
Figure DEST_PATH_IMAGE007
是指示函数：当三维点
Figure 980217DEST_PATH_IMAGE002
在相机
Figure 126DEST_PATH_IMAGE003
中可见时，
Figure 878083DEST_PATH_IMAGE008
；否则，
Figure DEST_PATH_IMAGE009
。
8.一种基于全局几何约束的无人机影像定位定向装置，其特征在于，包括：第一主模块，用于采用词汇树检索影像匹配对，根据所述影像匹配对构建影像拓扑连接图；第二主模块，用于采用加权连通支配集算法，从所述影像拓扑连接图中提取影像子集构建全局连接图，采用所述全局连接图构建全局模型；第三主模块，用于对所述影像拓扑连接图进行聚类重建得到多个子场景，将所述多个子场景并行处理，得到多个子场景定位定向模型；第四主模块，用于将所述多个子场景定位定向模型与全局模型进行合并得到合并模型，对所述合并模型进行全局平差得到最终合并模型。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至7任一项权利要求所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至7中任一项权利要求所述的方法。
CN202210710673.0A 2022-06-22 2022-06-22 基于全局几何约束的无人机影像定位定向方法及设备 Active CN114782525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210710673.0A CN114782525B (zh) 2022-06-22 2022-06-22 基于全局几何约束的无人机影像定位定向方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210710673.0A CN114782525B (zh) 2022-06-22 2022-06-22 基于全局几何约束的无人机影像定位定向方法及设备

Publications (2)

Publication Number Publication Date
CN114782525A true CN114782525A (zh) 2022-07-22
CN114782525B CN114782525B (zh) 2022-09-20

Family

ID=82422496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210710673.0A Active CN114782525B (zh) 2022-06-22 2022-06-22 基于全局几何约束的无人机影像定位定向方法及设备

Country Status (1)

Country Link
CN (1) CN114782525B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050279A1 (zh) * 2015-09-25 2017-03-30 广州极飞科技有限公司 无人机深度图像的获取方法、装置及无人机
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN107705329A (zh) * 2017-10-24 2018-02-16 武汉大学 基于几何约束的高分辨率光学卫星凝视影像配准方法
CN108759788A (zh) * 2018-03-19 2018-11-06 深圳飞马机器人科技有限公司 无人机影像定位定姿方法及无人机
US20180373269A1 (en) * 2017-06-26 2018-12-27 Walmart Apollo, Llc Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise
CN111144239A (zh) * 2019-12-12 2020-05-12 中国地质大学（武汉） 一种利用词汇树引导的无人机倾斜影像特征匹配方法
CN111754603A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种无人机影像连接图构建方法及系统
CN212797347U (zh) * 2020-08-10 2021-03-26 四川方正测量有限公司 一种无人机定向导航装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050279A1 (zh) * 2015-09-25 2017-03-30 广州极飞科技有限公司 无人机深度图像的获取方法、装置及无人机
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
US20180373269A1 (en) * 2017-06-26 2018-12-27 Walmart Apollo, Llc Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise
CN107705329A (zh) * 2017-10-24 2018-02-16 武汉大学 基于几何约束的高分辨率光学卫星凝视影像配准方法
CN108759788A (zh) * 2018-03-19 2018-11-06 深圳飞马机器人科技有限公司 无人机影像定位定姿方法及无人机
CN111144239A (zh) * 2019-12-12 2020-05-12 中国地质大学（武汉） 一种利用词汇树引导的无人机倾斜影像特征匹配方法
CN111754603A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种无人机影像连接图构建方法及系统
CN212797347U (zh) * 2020-08-10 2021-03-26 四川方正测量有限公司 一种无人机定向导航装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
JIANG S ET AL: "Efficient Match Pair Selection for Oblique UAV Images based on Adaptive Vocabulary Tree", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
LUO L ET AL: "UAV Image Mosaic Based on Non-Rigid Matching and Bundle Adjustmen", 《2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
乔国臻等: "倾斜摄影辅助BIM+GIS在智慧警务系统中的应用", 《测绘技术装备》 *
仝红菊等: "无人机航摄影像的RANSAC自动定向方法研究", 《测绘与空间地理信息》 *
姜三等: "无人机影像增量式运动恢复结构研究进展", 《武汉大学学报(信息科学版)》 *
张卡等: "基于数字视差模型和改进SIFT特征的数字近景立体影像匹配", 《测绘学报》 *
张祖勋等: "谈大数据时代的"云控制"摄影测量", 《测绘学报》 *
邓非等: "地面摄影RTK辅助SFM算法的影像定向", 《测绘地理信息》 *
郭复胜等: "基于辅助信息的无人机图像批处理三维重建方法", 《自动化学报》 *

Also Published As

Publication number Publication date
CN114782525B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
Sun et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112001931A (zh) 图像分割方法、装置、设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN108537235B (zh) 一种低复杂度尺度金字塔提取图像特征的方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
CN111310690A (zh) 基于cn和三通道胶囊网络的森林火灾识别方法及装置
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN114782525B (zh) 基于全局几何约束的无人机影像定位定向方法及设备
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN113129329A (zh) 基于基站目标分割构建稠密点云的方法及装置
CN110135474A (zh) 一种基于深度学习的倾斜航空影像匹配方法和系统
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
Amirkolaee et al. Convolutional neural network architecture for digital surface model estimation from single remote sensing image
Zhang et al. Weakly paired multi-domain image translation
CN115311418A (zh) 一种多细节层次树木模型单体化重建方法及装置
CN114723973A (zh) 大尺度变化鲁棒的图像特征匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant