CN108171731A - 一种顾及拓扑几何多要素约束的最小影像集自动优选方法 - Google Patents

Abstract

本发明公开了一种顾及拓扑几何多要素约束的最小影像集自动优选方法：首先，利用移动遥感平台拍照瞬间的辅助数据(包括位置、姿态等)及相机的成像尺寸确定每张影像的覆盖范围，建立影像邻接矩阵；其次，基于影像邻接矩阵，提取与立体影像匹配稳定性相关的拓扑几何要素，如基高比、重叠度、像交会角等，并建立各拓扑几何要素与立体影像匹配稳定性的函数关系；再次，提取能反映影像质量的图像因子，如模糊度、纹理复杂度等，并建立各图像因子与特征提取数目及其空间分布的函数关系；继而，结合上述研究成果，建立顾及多拓扑几何要素、图像因子和邻接影像数之间的综合函数关系，判断影像的重要性权重；最后，以最小N目视觉为约束条件，依次判断各影像参与匹配的必要性，剔除冗余影像，优选出满足多视影像匹配稳定性需求的最小影像集。

Description

一种顾及拓扑几何多要素约束的最小影像集自动优选方法

技术领域

本发明属于影像匹配领域，特别是涉及到一种顾及拓扑几何多要素约束的最小影像集自适应优选方法。

背景技术

移动遥感平台的飞速发展，使人们获取遥感影像的方式变得简单、廉价。将数码相机、摄像机和倾斜相机等传感器搭载于无人机、车辆等移动平台，通过多视影像匹配间接地恢复测区地物的三维结构，在4D产品制作、数字城市建模、灾害应急服务等领域有着非常广泛的应用前景，极大地推动了地理国情监测技术的发展。但是，考虑到移动遥感平台的POS系统误差、相机抖动等误差的存在，为获取范围完整、细节全面的地物信息，影像采集常采用短基线、多角度、大重叠的摄影模式，获取影像数目巨大，导致影像匹配效率低、模型精度差，无法满足准实时、高精度的应用需求。因此，若能在过大的数量集中优选出少量质量最好且能满足影像匹配稳定性需求的影像集，可有效解决上述问题。

影像自动优选是一个立足于保证多视影像匹配效果的综合影像位置、角度、数量、质量等多要素的复杂决策过程，一直是视觉匹配领域研究的重点和难点。随着多视匹配算法的成熟和自动化水平的提高，如何智能、自动地获取高质量的序列影像越来越受到计算机视觉和摄影测量领域的重视。该研究最早开始于对影像采集线路规划，即通过获取新影像→测试模型精度→调整相机位置和姿态的策略优化影像采集方案，模型简单、准确性高；但需获取测区较准确的三维数学模型，如CAD模型等，普适性差。该类方法在计算机视觉领域研究较多，比较经典的算法有VIO^[1]、HEAVEN^[2]和ICE^[3]等，较适用于单镜头相机，用于目标检测、识别和三维可视化等研究，但对模型精度考虑较少。后来该研究发展为由粗到精的数据采集优化问题，即在获取少量有效影像的基础上，逐渐增加新的影像来增强测区重建点云的完整性和精度。该类方法一般不依赖于测区的先验知识，灵活性强，较适合小范围或复杂目标的三维重建，多用于近景摄影测量研究，典型的有实验法^[4]和人工智能算法，如遗传算法^[5-6]和模糊逻辑推理^[7]等。前者操作复杂，专业性强，实用性差，而后者可靠性高但优化模型的构建存在困难。近年来，随着人们获取高分辨率影像的手段越来越丰富，如互联网众源影像、视频和倾斜摄影等，使得获取海量的短基线、多角度、高重叠影像集成为常态，因此由繁到精的影像优选方法引起了人们的高度重视^[8-10]。该类方法是基于多种要素，如基高比、重叠度、模糊度等，通过设置合理的约束条件，在一系列过重叠的影像序列中优选出满足三维重建需求的数目最少但质量最优的最小影像集，主观性强，智能化水平低。虽然遗传算法^[6]、模糊集^[9]等智能算法可有效解决多要素合理融合的问题，但由于对影响多视匹配稳定性的重要因素及其变化规律的认识尚不清楚，难以支撑构建合理的影像优选目标函数，成为目前限制其广泛应用而亟待解决的瓶颈问题。

本发明针对移动平台获取大数据量、短基线、多角度影像的特点，设计了顾及拓扑几何多要素约束的最小影像集自适应优选方法。该方法在多视影像拓扑结构的基础上，分析了邻接影像对之间的不同拓扑几何要素与影像匹配稳定性的关系，构建了拓扑几何多要素之间的初始关联模型，自动、智能地剔除了冗余影像，可大幅精简参与匹配的影像数量。同时，该方法以影像邻接矩阵为索引可为后续多视影像匹配构建约束规则，提高多视匹配效率，可实现大场景、大数据量、多视影像集的快速匹配。

参考文献

[1]Sakane S,Niepold R,Sato T,Shirai Y.Illumination setup planning fora hand-eye system based on an environmental model[J].Advanced Robotics,1991,6(4):461-482.

[2]Sakane S,Sato T.Automatic planning of light source and cameraplacement for an active photometric stereo system[C]//IEEE InternationalConference on Robotics and Automation.1991, 1080-1087.

[3]Yi S K,Haralick R M,Shapiro L G.Optimal sensor and light sourcepositioning for machine vision[J].Computer Vision and Image Understanding,1995,61(1):122-137.

[4]Fritsch D,Crosilla F.First-order design strategies for industrialphotogrammetry[C]//Close-Range Photogrammetry Meets Machine Vision.1990,1395:432.

[5]Mason S.Expert system-based design of close-range photogrammetricnetworks[J].ISPRS Journal of Photogrammetry and Remote Sensing,1995,50(5):13-24.

[6]Olague G.Automated photogrammetric network design using geneticalgorithms[J]. Photogrammetric engineering and remote sensing,2002,68(5):423-431.

[7]Saadatseresht M,Samadzadegan F,Azizi A.Automatic camera placementin vision metrology based on a fuzzy inference system[J].PhotogrammetricEngineering&Remote Sensing,2005, 71(12):1375-1385.

[8]Alsadik B S,Gerke M,Vosselman G.Optimal camera network design for3D modeling of cultural heritage[J].ISPRS Annals of the Photogrammetry,RemoteSensing and Spatial Information Sciences,2012,7-12.

[9]Alsadik B,Gerke M,Vosselman G,et al.Minimal camera networks for 3Dimage based modeling of cultural heritage objects[J].Sensors,2014,14(4):5785-5804.

[10]Xu Z,Wu P,Shen Y,et al.Three Dimentional Reconstruction of LargeCultural Heritage Objects Based on UAV Video and TLS Data[J].ISPRS-International Archives of the Photogrammetry,Remote Sensing and SpatialInformation Sciences,2016:985-988.

三、发明内容

(一)解决的技术方案

本发明的目的是针对移动遥感平台获取的海量短基线、高重叠、多角度影像集中存在大量的数据冗余导致影像匹配效率低的问题，设计一种顾及拓扑几何多要素约束的最小影像集自适应优选方法，优化数据结构。本发明以影像拓扑为基础，提取邻接影像对的拓扑几何要素，构建拓扑几何要素与立体影像匹配稳定性的关系模型，进而构建拓扑几何多要素的加权模型，再者通过构建影像重要性与拓扑几何要素、图像因子及邻接影像数的综合函数模型对影像进行权重排序，最后通过最小邻接影像数的约束规则迭代剔除冗余影像集，自动优选出满足多视影像匹配稳定性需求的最小影像集自动采用神经网络自动判断影像的必要性，通过迭代调整实现满足多视影像匹配稳定性需求的最小影像集。

(二)技术方案

为实现上述目的，本发明公开了一种顾及拓扑几何多要素约束的最小影像集自动优选方法，具体包括以下步骤：

步骤1：利用移动遥感平台拍照瞬间的辅助数据(包括位置、姿态)及相机的成像尺寸确定每张影像的投影面覆盖范围，并建立影像邻接矩阵G＝(V,E)：V＝{1，2，3,…,n}表示影像集，n为总数，E＝{{i,j}(T_ij＝1，1≤i≤n，1≤j≤n)}，T_ij＝1表示影像V_i和影像V_j为邻接关系；

步骤2：基于影像邻接矩阵G＝(V,E)提取与立体影像匹配稳定性相关的拓扑几何要素集 TP，包括基高比B、重叠度O、像交会角A等：给定一对邻接影像(V_i,V_j)，则其拓扑几何要素集TP_i,j可公式化为：TP_i,j＝{B_i,j,O_i,j,A_i,j,…}；

步骤3：采用控制变量的策略，依次构建TP_i,j中各拓扑几何要素与立体影像匹配稳定性F 的变化函数关系：令为TP_i,j中第k个变量，则与立体影像匹配稳定性的函数可表达为：

步骤4：依据步骤3中的结果，按照式(1)构建立体影像匹配稳定性与多个拓扑几何要素间的综合函数关系F_i,j，

其中，t1>1表示拓扑几何要素的总个数，w_k为函数F_k的权重，且有

步骤5：提取反映影像质量的图像因子集IF，包括模糊度M和纹理复杂度W等：给定一张影像V_i，则其图像因子集IF_i可公式化为：IF_i＝{M_i,W_i,…}。

步骤6：采用控制变量的策略，依次构建IF中各图像因子与影像中提取特征的数目fn及其空间分散度fd的函数关系；

步骤7：依据步骤6中的结果分别构建提取的特征点数目fn与影像因子IF，以及特征点空间分散度fd与影像因子IF的综合函数关系；

步骤8：按照式(2)计算每张影像v_i对于立体匹配稳定性的贡献总权重O_i，

O_i＝∑F_i,j(T_i,j＝1，1≤i≤n，1≤j≤n) (2)

步骤9：结合步骤7-8中构建的各类函数模型O，fn，fd，并顾及各影像的邻接影像数计算反映每张影像V_i重要性的归一化权重W_i；

步骤10：以W_i作为判断影像重要性的指标对影像进行降序排序，以最小N目视觉为约束条件(如N＝3)，剔除冗余度最高的影像；

步骤11：重复步骤9-10，直到每张影像的邻接影像数达到最小视觉约束阈值(如N＝3), 实现满足多视影像匹配稳定性需求的最小影像集自动优选。

(三)有益效果

1、利用本发明，能同时顾及影像质量、邻接影像对的匹配稳定性以及最小视觉需求，最大限度的精简影像数并保证多视影像匹配的稳定性，解决冗余影像匹配的高耗时问题。

2、本发明可利用单机硬件平台，实现对大场景海量序列影像集的快速匹配，为全景影像拼接、三维点云获取奠定基础。

四、附图说明

图1顾及拓扑几何多要素约束的最小影像集自动优选流程图。

图2a影像邻接矩阵示意图。

图2b以归一化基高比赋权后的邻接矩阵示意图。

图2c以重叠度赋权后的邻接矩阵示意图。

图2d以归一化像平面交会角赋权后的邻接矩阵示意图。

图3邻接影像重叠情况示意图。

图4邻接影像间的像平面交会角示意图。

图5各图像因子及邻接影像数的关系矩阵示意图。

五、具体实施方式

以图2a～d、图3、图4和图5为例，详细说明本发明的实现过程。其具体实施方式如下：

步骤1：利用移动遥感平台拍照瞬间的辅助数据(包括位置、姿态)及相机的成像尺寸确定每张影像的投影面覆盖范围，通过分析影像的重叠关系构建影像邻接矩阵G＝(V,E)： V＝{1，2，3,…,n}表示影像集，n为总数，E＝{{i,j}(T_ij＝1，1≤i≤n，1≤j≤n)}，T_ij＝1表示影像V_i和影像V_j为邻接关系。图2(a)表示总数n＝11的无人机序列影像间的邻接矩阵G＝(V,E)。其中，V＝{1，2，3，4，…，11}，矩阵中[1行，2列]＝1表示影像V₁和影像V₂为邻接关系，矩阵中[1行，3列]＝0表示影像V₁与影像V₃为非邻接关系，依次类推。

步骤2：针对任意邻接影像对(V_i,V_j)，提取与立体影像匹配稳定性相关的拓扑几何要素集 TP_i,j＝{B_i,j,O_i,j,A_i,j,…}，B_i,j,O_i,j,A_i,j分别表示基高比、重叠度和像交会角。上述拓扑几何要素的估算方法如下：

其中，(X_i,Y_i,Z_i)和(X_j,Y_j,Z_j)分别表示影像V_i和V_j的相机坐标，由移动设备搭载的控制系统获取；D_i和D_j表示影像V_i和V_j的相机位置到投影面的距离。

对邻接影像间的基高比进行归一化处理，并以此为权重对影像邻接边赋权。如图2b所示，为案例无人机影像集以归一化基高比赋权后的邻接矩阵示意图。

图3为邻接影像可能出现的主要重叠情况示意图，基于计算机图形学原理，按式(7)(8) 计算重叠面积O_i,j，

对邻接影像间的重叠面积进行归一化处理，得到邻接影像间的重叠度，并以此为权重对影像邻接边赋权。如图2c所示为案例无人机影像集以重叠度赋权后的邻接矩阵示意图。

图4为邻接影像间的像平面交会角的示意图。图中A、B表示一对邻接影像V_i和V_j的相机坐标，利用共线方程计算上述邻接影像的中心像点在投影面上的坐标，记为A′和B′，进而则可按式(9)计算其像平面交会角A_i,j，

对邻接影像间的像平面交会角进行归一化处理，并以此为权重对影像邻接边赋权。如图 2d所示为案例无人机影像集以归一化像平面交会角赋权后的邻接矩阵示意图。

步骤3：采用控制变量的策略，依次构建中各拓扑几何要素{B_i,j,O_i,j,A_i,j}与立体影像匹配稳定性F的变化函数关系：

步骤4：依据步骤3中的结果，按照式(10)构建立体影像匹配稳定性与上述拓扑几何要素{B_i,j,O_i,j,A_i,j}间的综合函数关系F_i,j，

其中，w₁、w₂和w₃分别为函数和的权重，且有w₁+w₂+w₃＝1。

步骤5：针对每张影像V_i，提取反映影像质量的图像因子集IF_i＝{M_i,W_i,…}，M_i和W_i分别代表影像的模糊度、纹理复杂度。上述图像因子的估算方法如下：

1)估算影像模糊度因子

主要包括以下四个步骤：

(1)估计模糊度对影像的影响程度

令F＝[W×L]表示影像的尺寸(单位：像素)，设计垂直h_v和水平h_h滤波模板分别为：

采用低通滤波算法，估计影像模糊度在垂直和水平方向上的影响程度，分别为：

M_Ver＝h_v*F；M_Hor＝h_h*F (12)

(2)计算影像梯度

令和分别为影像光谱在垂直和水平方向的梯度，和分别为影像模糊度在垂直和水平方向的梯度，计算方法如式13。

(3)估计影像模糊度

获取原始影像梯度和模糊化影像梯度的差分影像，则令V_Ver和V_Hor分别为该差分影像的垂直和水平分量，如式14；和分别为V_Ver和V_Hor的梯度影像，如式15。

令s_F_Ver和s_F_Hor为原始影像梯度在垂直和水平方向上的系数总和；s_V_Ver和s_V_Hor为上述差分影像梯度在垂直和水平方向上的系数总和，按式16计算为：

对上述结果进行归一化(式17)，得到原始影像在垂直方向和水平方向上的模糊度值为 b_F_Ver和b_F_Hor。

最后，选取影像在垂直和水平方向上模糊度最大值作为影像的模糊度因子。

M＝max(b_F_Ver,b_F_Hor) (18)

2)估算影像纹理复杂度因子

影像纹理表示的是图像局部范围内的灰度变化程度，可按式19计算；进而，以影像纹理的均值量化纹理复杂度因子T，如式20：

式中，Z为邻域像素点个数，I_j为像素j的灰度值，为邻域像素灰度均值。

步骤6：采用控制变量的策略，依次构建IF中各图像因子与影像中提取特征的数目fn及其空间分散度fd的函数关系：给定影像V_i，为IF中的第m个变量，则与该影像中提取特征的数目fn_m及其空间分散度fd_m的函数式可表达为：

步骤7：依据步骤6中的结果分别构建提取的特征点数目fn与影像因子IF，以及特征点空间分散度fd的综合函数关系式，即：

式中，t2>1表示影像因子的总个数，w_m和w′_m分别为函数fn_m和fd_m的初始权重，且有

步骤8：给定影像V_i，按照式23计算每张影像v_i对于立体匹配稳定性的贡献总权重O_i，如图5所示，为案例无人机影像的各图像因子及邻接影像数的关系矩阵示意图。

O_i＝∑F_i,j(T_i,j＝1，1≤i≤n，1≤j≤n) (23)

步骤9：结合步骤7-8中构建的各类函数模型O_i，fn_i，fd_i，并统计各影像的邻接拓扑数 D_i，按照式24计算反映每张影像V_i重要性的归一化权重W_i，

步骤10：以W_i作为判断影像重要性的指标对影像进行降序排序，以最小N目视觉为约束条件(如N＝3)，剔除W_i权值最小的影像。该步骤删除影像后需满足各剩余影像的邻接影像数≥N，否则，不能删除该影像，执行删除W_i权值次小的影像，依次类推；

步骤11：重复步骤9-10，直到每张影像的邻接影像数达到最小视觉约束阈值(如N＝3), 实现满足多视影像匹配稳定性需求的最小影像集自动优选。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种顾及拓扑几何多要素约束的最小影像集自动优选方法，其特征在于，该方法包括：

步骤1：利用移动遥感平台拍照瞬间的辅助数据(包括位置、姿态)及相机的成像尺寸确定每张影像的投影面覆盖范围，并建立影像邻接矩阵G＝(V，E)：V＝{1，2，3，…，n}表示影像集，n为总数，E＝{{i,j}(T_ij＝1，1≤i≤n，1≤j≤n)}，T_ij＝1表示影像V_i和影像V_j为邻接关系；

步骤2：基于影像邻接矩阵G＝(V，E)提取与立体影像匹配稳定性相关的拓扑几何要素集TP，包括基高比B、重叠度O、像交会角A等：给定一对邻接影像(V_i，V_j)，则其拓扑几何要素集TP_i，j可公式化为：TP_i，j＝{B_i，j，O_i，j，A_i，j，…}；

步骤3：采用控制变量的策略，依次构建TP_i，j中各拓扑几何要素与立体影像匹配稳定性F的变化函数关系：令为TP_i，j中第k个变量，则与立体影像匹配稳定性的函数可表达为：

步骤4：依据步骤3中的结果，构建立体影像匹配稳定性与多个拓扑几何要素间的综合函数关系F_i，j；

步骤5：按照下式计算每张影像v_i对于立体匹配稳定性的贡献总权重O_i，

O_i＝∑F_i，j，(Tij＝1，1≤i≤n，1≤j≤n)

步骤6：提取反映影像质量的图像因子集IF，包括模糊度M、纹理复杂度W和几何畸变J等：给定一张影像V_i，则其图像因子集IF_i可公式化为：IF_i＝{M_i，W_i，J_i，…}。

步骤7：采用控制变量的策略，依次构建IF中各图像因子与影像中提取特征的数目fn及其空间分散度fd的函数关系：给定影像V_i，为IF中的第m个变量，则与该影像中提取特征的数目fn_m及其空间分散度fd_m的函数式可表达为：

步骤8：依据步骤7中的结果分别构建提取的特征点数目fn与影像因子IF，以及特征点空间分散度fd与图像因子IF的综合函数关系式；

步骤9：结合步骤7-8中构建的各类函数模型O，fn，fd，并顾及各影像的邻接影像数计算反映每张影像V_i重要性的归一化权重W_i；

步骤10：以W_i作为判断影像重要性的指标对影像进行降序排序，以最小N目视觉为约束条件(如N＝3)，剔除W_i权值最小的影像；

步骤11：重复步骤9-10，直到每张影像的邻接影像数达到最小视觉约束阈值(如N＝3),实现满足多视影像匹配稳定性需求的最小影像集自动优选。

2.根据权利要求1所述的一种顾及拓扑几何多要素约束的最小影像集自动优选方法，其特征在于：步骤4中采用加权的方法构建立体影像匹配稳定性综合函数关系F_i，j，

其中，t1＞1表示拓扑几何要素的总个数，w_k为函数的权重，且有。

3.根据权利要求1所述的一种顾及拓扑几何多要素约束的最小影像集自动优选方法，其特征在于：步骤8中构建综合函数关系过程需采用加权策略，即

式中，t2＞1表示影像因子的总个数，w_m和w′_m分别为函数fn_m和fd_m的初始权重，且有。

4.根据权利要求1所述的一种顾及拓扑几何多要素约束的最小影像集自动优选方法，其特征在于：步骤9中构建的影像重要性权重仅需考虑邻接影像间的拓扑要素、影像因子及其邻接影像数，即

。

5.根据权利要求1所述的一种顾及拓扑几何多要素约束的最小影像集自动优选方法，其特征在于：步骤10删除W_i权值最小的影像后需满足各剩余影像的邻接影像数≥N，否则，不能删除该影像，执行删除W_i权值次小的影像，依次类推。