CN112598740B - 一种大范围多视倾斜影像连接点快速精确匹配方法 - Google Patents

Abstract

本发明公开了一种大范围多视倾斜影像连接点快速精确匹配方法，包括利用小范围局部区域下视影像计算下视相机安置角误差，进行下视影像外方位角元素改正；融合利用金字塔影像匹配、分块提取特征点、松弛迭代法匹配等策略，进行下视影像连接点匹配，通过区域网平差，获取精确的下视影像外方位元素和连接点物方坐标；在此基础上，充分利用下视影像和斜视影像之间的空间几何约束关系，实现下视影像连接点向斜视影像的转点匹配；利用多视物方匹配对连接点像点坐标进行精化，实现倾斜影像连接点的快速精确匹配。本发明充分利用下视影像和斜视影像之间的几何约束，仅在下视影像提取特征点进行匹配，有效保证大范围倾斜影像连接点匹配的速度与质量。

Description

一种大范围多视倾斜影像连接点快速精确匹配方法

技术领域

本发明属于测绘科学与技术领域，涉及一种大范围多视倾斜影像连接点快速精确匹配方法。该方法适用于大范围多视倾斜影像快速自动空中三角测量，有利于提高多视倾斜影像自动空中三角测量中连接点的匹配速度、精度与重叠度，为倾斜影像区域网平差解算提供更优的像点观测数据。

背景技术

多视航空摄影，改变了传统航空摄影仅垂直拍摄的作业方式，可以同时从下视和不同斜视方向获取多视角影像，获取更加丰富的多视角影像信息，已经在大比例尺成图、地籍测量、三维场景重建以及BIM应用等方面广泛应用。面向大范围多视倾斜影像的快速自动空中三角测量，是当今摄影测量领域的热门研究问题。

倾斜航空摄影系统，主要包括多视角相机系统、以及IMU(惯性导航单元)和DGNSS(差分全球定位系统)组成的POS系统等，可以同时获取不同视角影像和拍摄瞬间的影像外方位元素。目前，国内外主流的倾斜摄影相机有美国的Pictometry相机、德国的AOS相机和中国的SWDC5相机等，其一般包含5个镜头，斜视视角大致为45度。

相比于传统垂直摄影，倾斜摄影在地面信息采集、场景重建等方面具有诸多优势，但倾斜摄影由于不同视角、光线等因素的影响，会存在地物遮挡、纹理几何变形、亮度不同、不同区域分辨率差异等问题，使得倾斜影像的特征点在提取和匹配过程中更为困难。此外，由于5个镜头采集，影像数据急剧增加，如何快速实现倾斜影像的高精度自动空中三角测量处理尤为关键。

目前，国内外相关学者针对倾斜影像自动空中三角测量已经开展了大量的研究，但是主要存在如下几点问题：

(1)直接利用仿射尺寸不变特征提取算子(ASIFT)提取特征点并进行匹配，虽然ASIFT特征对图像仿射变化、亮度变化、分辨率差异等因素影响具有更强的鲁棒性，但计算复杂度高，效率极低，不满足大范围倾斜影像空中三角测量数据处理的实际需求。

(2)利用初始影像外方位元素对整幅倾斜影像进行仿射变换纠正，采用传统垂直影像空三加密的方法进行处理，最后将像点坐标反算至原始倾斜影像。但是由于倾斜影像数据量大，将需要巨大的影像存储空间存放纠正影像这一中间数据，且未充分考虑多视影像的冗余。

(3)自动空中三角测量影像匹配算法的常用匹配算法为单点匹配，由于多视倾斜影像最高可达到几十张影像重叠，匹配易受重复纹理等因素干扰。在多视影像处理上，一方面如何快速高效的利用多视影像提供的冗余信息，另一方面如何保证多视重叠信息的一致相容性，现有算法均鲜有考虑。

本专利提出了一种大范围多视倾斜影像连接点快速精确匹配方法，遵循先局部再整体的原则，逐步精化影像匹配结果和影像的外方位元素，最终实现多视倾斜影像的快速处理。

发明内容

本发明的目的是在于提供了一种大范围多视倾斜影像连接点快速精确匹配方法，主要解决多视倾斜影像自动空中三角测量中连接点匹配效率低、匹配质量不高、多视影像信息利用不充分、空三分层等问题。

为了实现上述的目的，本发明采用以下技术方案：一种大范围多视倾斜影像连接点快速精确匹配方法，包括下述步骤：

步骤1、下视影像外方位角元素精化：

选取下视影像进行自由网平差处理，利用影像间同名光线对相交的几何约束条件，恢复影像间准确的相对位置关系，从而计算下视相机的安置角系统误差；利用解算出的安置角系统误差，对整个测区下视影像的外方位角元素进行改正；

步骤2、下视影像连接点匹配：

下视影像连接点匹配包括数据准备、基于分块策略和松弛迭代法的特征点匹配；

步骤2.1、数据准备：首先，对所有下视影像构造影像金字塔，对每张下视影像，根据影像外方位元素和测区平均高程，计算影像四个角点投影到测区平均高程面上的物方坐标，确定影像覆盖范围，根据影像覆盖范围，构建下视影像重叠关系列表；

(1)下视影像金字塔生成：

用3×3像元平均法，对每一张下视影像生成金字塔影像，原始影像层作为第0层金字塔影像，影像金字塔层数一共4层；

(2)下视影像重叠关系列表建立：

利用下视影像外方位元素和测区平均高程，根据共线条件方程计算影像四个角点在测区平均高程面上投影的物方坐标：

式中，(X,Y,Z)表示下视影像某角点的物方坐标；(x,y)表示下视影像某角点的像点坐标；f表示下视影像对应的焦距；X_s,Y_s,Z_s,

ω,κ表示下视影像的外方位元素；R表示由下视影像外方位元素计算的旋转矩阵；a_i,b_i,c_i(i＝1,2,3)表示3×3旋转矩阵R的各个参数值；根据下视影像角点的物方坐标，计算下视影像间的重叠度，当重叠度大于20％时，建立其重叠关联关系；

步骤2.2、基于分块策略和松弛迭代法的特征点匹配：

基于分块策略和松弛迭代法的特征点匹配包括基于分块策略的特征点提取、基于相关系数法的同名点候选点匹配和基于子区的松弛迭代法特征点匹配；

(1)基于分块策略的特征点提取：

采用特征点分块提取策略，在影像重叠区域内按特定型式均匀分布一定大小的影像特征提取块，在每个影像特征提取块中划分格网，在每个格网单元中用Harris算子提取特征点，每个影像特征提取块视为子区；

(2)基于相关系数法的同名点候选点匹配：

对子区中每个特征点，利用下视影像外方位元素以及下视影像重叠关系列表，计算待匹配特征点在重叠影像上对应同名点的初始位置，并利用相关系数法寻找匹配候选点，具体如下：

利用所建立的核线几何约束方程，对搜索窗口影像的每个像素遍历，首先计算该像素到核线方程的距离，当小于给定的阈值时，以其为中心开辟匹配窗口；当几何变形超过指定阈值时，利用匹配窗口角点的投影物方坐标计算仿射变形系数，进行匹配窗口影像的几何粗纠正；然后，利用归一化相关系数测度，计算待匹配特征点与搜索窗口中各像素的相似度，对搜索窗口各像素的归一化相关系数测度值，采用非极大抑制算法提取局部最大值，归一化相关系数测度局部最大值大于指定阈值所对应的像素即为匹配候选点；当有多个匹配候选点时，对匹配候选点按归一化相关系数测度值进行大小排序，并计算次大相关系数与最大相关系数的比值，如果小于指定阈值，则直接选择最大相关系数对应的候选点为唯一候选点；否则，取全部候选点，且候选点个数大于5个时，取前5个；最后，将特征点匹配候选点的结果按照子区为单元进行数据组织；

(3)基于子区的松弛迭代法特征点匹配：

以子区为单位，逐一进行松弛迭代法匹配，设I_i是某待匹配影像上的一个特征点，假设在某搜索影像上利用相关系数法匹配共找到m个候选点I_j(j＝1,2,…,m)，对应的相关系数为ρ_j(j＝1,2,…,m)，则I_i←I_j的匹配概率P(i,j)计算公式为：

式(2)中，ρ_q表示特征点I_i和其候选点I_q的相关系数，在每个特征点的匹配候选生成后，按8邻域进行松弛迭代，设I_k是I_i的一个邻域点，I_l(l＝1,2,…,t)是其对应的匹配候选点，则可定义如下的相容系数来描叙匹配I_i←I_j与邻域匹配I_k←I_l的相容性：

式(3)中，C表示相容系数，衡量两个事件之间的相容性，即C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度，Δp_x＝(x_j-x_l)-(x_l-x_k)为I_i与I_k的x向视差，Δp_y＝(y_j-y_l)-(y_l-y_k)为I_i与I_k的y向视差；T,β为常数，分别取1和25；

计算迭代过程中每个特征点的候选匹配点在对应8邻域获得的支持，Q⁽ⁿ⁾(i,j)表示第n次迭代过程中I_i←I_j匹配的邻域支持，其计算公式为：

式(4)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Ω(I_i)表示点I_i的8邻域，I_k是I_i的一个邻域点,c₀,c₁为松弛系数，C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度,p⁽ⁿ⁾(k,l)表示第n次迭代修正后I_k←I_l的匹配概率；结合领域支持，按下面的规则实现其概率的更新，第n+1次迭代修正后I_i←I_j的匹配概率P⁽ⁿ⁺¹⁾(i,j)计算公式为：

式(5)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Q⁽ⁿ⁾(i,j)表示在第n次迭代过程中I_i←I_j匹配从邻域获得的支持；I_s表示I_i的匹配候选点；p⁽ⁿ⁾(i,s)表示第n次迭代修正后I_i←I_s的匹配概率，Q⁽ⁿ⁾(i,s)表示在第n次迭代过程中I_i←I_s匹配从邻域获得的支持；当满足对所有特征点都存在一个匹配概率大于0.9的匹配候选或达到最大迭代次数时，终止迭代；此时，具有最大匹配概率的匹配候选点就被认为是该特征点真正的同名点；

对每个子区逐一处理，完成当前金字塔影像层特征点的匹配，基于五点法相对定向模型，使用RANSAC算法，剔除残差较大的同名像点，从最高层金字塔影像，利用上层匹配结果约束下层金字塔影像匹配，重复步骤2.2中的(2)和(3)，直到原始影像层，完成下视影像连接点匹配；

步骤3、下视影像区域网平差：

利用步骤2获取的下视影像连接点坐标，以及下视影像外方位线元素，进行区域网平差，计算精化后的下视影像外方位元素以及所有连接点对应的物方坐标；

步骤4、斜视影像外方位元素概略计算：

根据倾斜相机系统提供的斜视相机和下视相机的连接参数，结合步骤3中获取的下视影像精确外方位元素，计算出倾斜相机系统中前视、后视、左视、右视四个斜视相机的影像外方位元素；

步骤5、下视影像连接点在斜视影像上的转点匹配：

利用步骤3所获得的下视影像连接点对应的物方坐标，以及步骤4中所获得的倾斜影像外方位元素，直接利用共线条件方程，计算下视影像各连接点在与之重叠斜视影像上的像点坐标，获取下视影像连接点在斜视影像同名点的初始位置；然后，基于相关系数法的寻找同名点，与步骤2.2(2)所不同的是，不再寻找和保留多个候选点，而是取搜索窗口中具有最大相关系数测度且大于指定阈值的像素为匹配同名点，对每个下视影像连接点采用上述方法寻找同名点，从而获得其在斜视影像上的像点坐标；

步骤6、顾及倾斜影像几何约束的多视物方匹配：

步骤6.1、下视影像与斜视影像联合平差：

利用步骤2和步骤5所获得的下视影像连接点在下视影像和斜视影像的像点坐标，步骤3所获得的下视影像外方位元素和步骤4所获得斜视影像外方位元素，进行顾及倾斜影像几何约束的联合区域网平差，联合区域网平差对所有影像的外方位元素和特征点物方坐标进行优化，其误差方程为：

式中(6)中，X₁表示步骤3中各个下视影像的六个外方位元素改正数；X₂表示步骤4中四个斜视相机与下视相机间刚性连接参数的24个元素的改正数，即四个斜视相机相对下视相机外方位元素差值的改正数；X₃表示步骤5中所有存在同名点的下视影像连接点的物方坐标的改正数；E表示单位矩阵；V₁，V₂，V₃表示各误差方程对应的改正数；A₁,A₂,A₃分别表示对应系数矩阵；L₁,L₂,L₃表示相应误差方程的常数项；通过联合平差，进一步精化下视影像和斜视影像的外方位元素；

步骤6.2、基于多视物方匹配的连接点像点坐标精化：

利用带共线条件约束的多片最小二乘匹配算法对连接点坐标进行精化，在每张影像的标准点位附近提取一定数量的特征点，然后采用MPGC策略对这些特征点的匹配结果进行优化。

与现有技术相比，本发明具有如下有益效果：

1)大范围多视影像匹配中，仿射尺寸不变特征提取算子效率低，不适用于大范围斜视影像匹配；而斜视影像之间的连接点匹配，常规的特征提取算子容易受到形变、光照差异等因素的影响，特征点匹配误差较大；而将所有斜视影像仿射变换至下视视角，计算量大所需存储空间大，对硬件设备要求较高。本发明采用的安置角误差预处理、下视影像间重叠范围确定、下视影像与斜视影像的转点匹配、斜视影像外方位元素估算等方法可以有效提高连接点匹配效率，基于分块策略和松弛迭代法的连接点匹配方法可以保证特征点的均匀分布，避免迭代不收敛问题，保证匹配的精度。

2)本发明首先利用小范围区域下视影像对整个测区下视影像的外方位角元素进行精化，然后融合利用金字塔影像匹配、分块提取特征点、松弛迭代法匹配等策略完成下视影像连接点匹配和区域网平差，从而获取下视影像精确的外方位元素和连接点物方坐标；在此基础上，充分利用下视影像和斜视影像之间的空间几何约束关系，实现下视影像匹配出连接点在斜视影像上的精确转点，最终实现多视倾斜影像连接点快速精确匹配。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明大范围多视倾斜影像连接点快速精确匹配方法流程图。

具体实施方式

下面将结合附图和实施例对本发明进行详细说明，对本发明实施例中的技术方案进行完整、清晰地描述，显然，所介绍的实施例仅仅是本发明一部分实施例。除非另外具体说明，否则在这些实施例中阐述的部件的相对布置、数值等不限制本发明的范围。

如图1所示，一种大范围多视倾斜影像连接点快速精确匹配方法，包括下述步骤：

步骤1、下视影像外方位角元素精化：

选取一定范围(如4条航线，每条航线10张影像)区域的下视影像进行自由网平差处理，利用影像间同名光线对相交的几何约束条件，恢复影像间准确的相对位置关系，从而计算下视相机的安置角系统误差；利用解算出的安置角系统误差，对整个测区下视影像的外方位角元素进行改正。

步骤2、下视影像连接点匹配：

下视影像连接点匹配，主要包括：数据准备、基于分块策略和松弛迭代法的特征点匹配以及区域网平差。

步骤2.1、数据准备：首先，对所有下视影像构造影像金字塔；对每张下视影像，根据影像外方位元素和测区平均高程，计算影像四个角点投影到测区平均高程面上的物方坐标，确定影像覆盖范围；根据影像覆盖范围，构建下视影像重叠关系列表。

(1)下视影像金字塔生成：

用实用、简单的3×3像元平均法，对每一张下视影像生成金字塔影像，影像金字塔层数取决于影像大小和同名点初始位置预测精度，本发明中，原始影像层作为第0层金字塔影像，影像金字塔层数一共4层。

(2)下视影像重叠关系列表建立：

利用下视影像外方位元素和测区平均高程，根据共线条件方程计算影像四个角点在测区平均高程面上投影的物方坐标：

式中，(X,Y,Z)表示下视影像某角点的物方坐标；(x,y)表示下视影像某角点的像点坐标；f表示下视影像对应的焦距；X_s,Y_s,Z_s,

ω,κ表示下视影像的外方位元素；R表示由下视影像外方位元素计算的旋转矩阵。a_i,b_i,c_i(i＝1,2,3)表示3×3旋转矩阵R的各个参数值。

根据下视影像角点的物方坐标，计算下视影像间的重叠度，当重叠度大于20％时，建立其重叠关联关系。

步骤2.2、基于分块策略和松弛迭代法的特征点匹配：

基于分块策略和松弛迭代法的特征点匹配，主要包括：基于分块策略的特征点提取、基于相关系数法的同名点候选点匹配和基于子区的松弛迭代法特征点匹配。

(1)基于分块策略的特征点提取：

影像特征点的数量和分布，对影像区域网平差计算质量至关重要。为了保证特征点在影像上分布均匀，同时减少特征点之间的距离，从而能充分利用特征点之间的几何相容关系，本发明采用特征点分块提取策略。具体为，在影像重叠区域内按特定型式(如5行×3列)均匀分布一定大小的影像特征提取块(如1500×1500像素)，在每个影像特征提取块中划分格网(如10×10)，在每个格网单元中用Harris算子提取特征点。每个影像特征提取块视为子区。

(2)基于相关系数法的同名点候选点匹配：

对子区中每个特征点，利用下视影像外方位元素以及下视影像重叠关系列表，计算待匹配特征点在重叠影像上对应同名点的初始位置，并利用相关系数法寻找匹配候选点。具体如下：

利用所建立的核线几何约束方程，对搜索窗口影像的每个像素遍历。首先计算该像素到核线方程的距离，当小于给定的阈值(本专利取当前金字塔层影像像素2倍大小)时，以其为中心开辟匹配窗口。当几何变形超过指定阈值时，利用匹配窗口角点的投影物方坐标计算仿射变形系数，进行匹配窗口影像的几何粗纠正。然后，利用归一化相关系数测度，计算待匹配特征点与搜索窗口中各像素的相似度。对搜索窗口各像素的归一化相关系数测度值，采用非极大抑制算法提取局部最大值，归一化相关系数测度局部最大值大于指定阈值(本专利取0.5)所对应的像素即为匹配候选点。当有多个匹配候选点时，对匹配候选点按归一化相关系数测度值进行大小排序，并计算次大相关系数与最大相关系数的比值，如果小于指定阈值(本专利取0.7)，则直接选择最大相关系数对应的候选点为唯一候选点；否则，取全部候选点，且候选点个数大于5个时，取前5个。最后，将特征点匹配候选点的结果按照子区为单元进行数据组织。

(3)基于子区的松弛迭代法特征点匹配：

以子区为单位，逐一进行松弛迭代法匹配。松弛迭代法在密集匹配中使用较多，在传统自动空中三角测量中，由于特征点间距离较大，特征点间的约束性和一致性被弱化，松弛迭代法一般无法使用。本专利通过基于分块策略的特征点提取，一方面保证了空中三角测量连接点均匀分布的要求，同时大大减少子区内特征点间距离，从而为利用子区内特征点邻域上下文信息创造条件。在松弛迭代过程中，正确的同名点能获得较大的邻域支持，而错误候选点得到的邻域支持比较少，正确候选点的概率值在迭代过程中得到增加，错误候选点的概率值在迭代中不断减小，迭代收敛后得到正确的匹配点。

设I_i是某待匹配影像上的一个特征点，假设在某搜索影像上利用相关系数法匹配共找到m个候选点I_j(j＝1,2,…,m)，对应的相关系数为ρ_j(j＝1,2,…,m)，则I_i←I_j的匹配概率P(i,j)计算公式为：

式(2)中，ρ_q表示特征点I_i和其候选点I_q的相关系数。在每个特征点的匹配候选生成后，按8邻域进行松弛迭代，设I_k是I_i的一个邻域点，I_l(l＝1,2,…,t)是其对应的匹配候选点，则可定义如下的相容系数来描叙匹配I_i←I_j与邻域匹配I_k←I_l的相容性：

式(3)中，C表示相容系数，衡量两个事件之间的相容性，即C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度，Δp_x＝(x_j-x_l)-(x_l-x_k)为I_i与I_k的x向视差，Δp_y＝(y_j-y_l)-(y_l-y_k)为I_i与I_k的y向视差。Δp_x越大，所得的相容系数越小，这相当于对匹配结果加入了视差平滑约束；T,β为常数，本发明中分别取1和25。

计算迭代过程中每个特征点的候选匹配点在对应8邻域获得的支持，Q⁽ⁿ⁾(i,j)表示第n次迭代过程中I_i←I_j匹配的邻域支持，其计算公式为：

式(4)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Ω(I_i)表示点I_i的8邻域，I_k是I_i的一个邻域点,c₀,c₁为松弛系数，C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度,p⁽ⁿ⁾(k,l)表示第n次迭代修正后I_k←I_l的匹配概率。结合领域支持，按下面的规则实现其概率的更新，第n+1次迭代修正后I_i←I_j的匹配概率P⁽ⁿ⁺¹⁾(i,j)计算公式为：

式(5)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Q⁽ⁿ⁾(i,j)表示在第n次迭代过程中I_i←I_j匹配从邻域获得的支持；I_s表示I_i的匹配候选点；p⁽ⁿ⁾(i,s)表示第n次迭代修正后I_i←I_s的匹配概率，Q⁽ⁿ⁾(i,s)表示在第n次迭代过程中I_i←I_s匹配从邻域获得的支持。当满足对所有特征点都存在一个匹配概率大于0.9的匹配候选或达到最大迭代次数时，终止迭代。此时，具有最大匹配概率的匹配候选点就被认为是该特征点真正的同名点。

对每个子区逐一处理，完成当前金字塔影像层特征点的匹配。基于五点法相对定向模型，使用RANSAC算法，剔除残差较大的同名像点。从最高层金字塔影像，利用上层匹配结果约束下层金字塔影像匹配，重复步骤2.2中的(2)和(3)，直到原始影像层，完成下视影像连接点匹配。

步骤3、下视影像区域网平差：

利用步骤2获取的下视影像连接点坐标，以及下视影像外方位线元素，进行区域网平差，计算精化后的下视影像外方位元素以及所有连接点对应的物方坐标。

步骤4、斜视影像外方位元素概略计算：

倾斜相机系统通常为Maltese-cross相机配置，即下视相机和前视、后视、左视、右视四个斜视相机组成。下视相机与各斜视相机间的相对位置和角度属于刚性连接，根据倾斜相机系统提供的斜视相机和下视相机的连接参数，结合步骤3中获取的下视影像精确外方位元素，可计算出倾斜相机系统中前视、后视、左视、右视四个斜视相机的影像外方位元素。

步骤5、下视影像连接点在斜视影像上的转点匹配：

利用步骤3所获得的下视影像连接点对应的物方坐标，以及步骤4中所获得的倾斜影像外方位元素，直接利用共线条件方程，计算下视影像各连接点在与之重叠斜视影像上的像点坐标，获取下视影像连接点在斜视影像同名点的初始位置。然后，基于相关系数法的寻找同名点，与步骤2.2(2)所不同的是，不再寻找和保留多个候选点，而是取搜索窗口中具有最大相关系数测度且大于指定阈值(本发明取0.65)的像素为匹配同名点。对每个下视影像连接点采用上述方法寻找同名点，从而获得其在斜视影像上的像点坐标。

步骤6、顾及倾斜影像几何约束的多视物方匹配：

步骤6.1、下视影像与斜视影像联合平差：

利用步骤2和步骤5所获得的下视影像连接点在下视影像和斜视影像的像点坐标，步骤3所获得的下视影像外方位元素和步骤4所获得斜视影像外方位元素，进行顾及倾斜影像几何约束的联合区域网平差。联合区域网平差对所有影像的外方位元素和特征点物方坐标进行优化，其误差方程为：

式中(6)中，X₁表示步骤3中各个下视影像的六个外方位元素改正数；X₂表示步骤4中四个斜视相机与下视相机间刚性连接参数的24个元素的改正数，即四个斜视相机相对下视相机外方位元素差值的改正数；X₃表示步骤5中所有存在同名点的下视影像连接点的物方坐标的改正数；E表示单位矩阵；V₁，V₂，V₃表示各误差方程对应的改正数；A₁,A₂,A₃分别表示对应系数矩阵；L₁,L₂,L₃表示相应误差方程的常数项。通过联合平差，进一步精化下视影像和斜视影像的外方位元素。

步骤6.2、基于多视物方匹配的连接点像点坐标精化：

为了提高连接点坐标之间的相容性和匹配质量，进一步利用带共线条件约束的多片最小二乘匹配(MPGC)算法(可参考文献Baltasvias E.P..Multiphoto GeometricallyConstrained Matching[D].ETH Zurich,Switzerland.,1991)对连接点坐标进行精化。由于多视物方匹配存在计算量大、费时的缺点，如果对整个测区所有匹配结果都进行物方匹配将花费大量的时间，可以仅对指定标准点位附近的连接点进行多视物方匹配。在本发明中，在每张影像的标准点位附近提取一定数量的特征点(如5～10个点)，然后采用MPGC策略对这些特征点的匹配结果进行优化。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术分范围内，可轻易想到的变化或者替换，都应涵盖在范明的保护范围之内。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (1)

1.一种大范围多视倾斜影像连接点快速精确匹配方法，其特征在于，包括下述步骤：

步骤1、下视影像外方位角元素精化：

选取下视影像进行自由网平差处理，利用影像间同名光线对相交的几何约束条件，恢复影像间准确的相对位置关系，从而计算下视相机的安置角系统误差；利用解算出的安置角系统误差，对整个测区下视影像的外方位角元素进行改正；

步骤2、下视影像连接点匹配：

下视影像连接点匹配包括数据准备、基于分块策略和松弛迭代法的特征点匹配；

步骤2.1、数据准备：首先，对所有下视影像构造影像金字塔，对每张下视影像，根据影像外方位元素和测区平均高程，计算影像四个角点投影到测区平均高程面上的物方坐标，确定影像覆盖范围，根据影像覆盖范围，构建下视影像重叠关系列表；

(1)下视影像金字塔生成：

用3×3像元平均法，对每一张下视影像生成金字塔影像，原始影像层作为第0层金字塔影像，影像金字塔层数一共4层；

(2)下视影像重叠关系列表建立：

利用下视影像外方位元素和测区平均高程，根据共线条件方程计算影像四个角点在测区平均高程面上投影的物方坐标：

式中，(X,Y,Z)表示下视影像某角点的物方坐标；(x,y)表示下视影像某角点的像点坐标；f表示下视影像对应的焦距；X_s,Y_s,Z_s,

ω,κ表示下视影像的外方位元素；R表示由下视影像外方位元素计算的旋转矩阵；a_i,b_i,c_i， i＝1,2,3， 表示3×3旋转矩阵R的各个参数值；根据下视影像角点的物方坐标，计算下视影像间的重叠度，当重叠度大于20％时，建立其重叠关联关系；

步骤2.2、基于分块策略和松弛迭代法的特征点匹配：

基于分块策略和松弛迭代法的特征点匹配包括基于分块策略的特征点提取、基于相关系数法的同名点候选点匹配和基于子区的松弛迭代法特征点匹配；

(1)基于分块策略的特征点提取：

采用特征点分块提取策略，在影像重叠区域内按特定型式均匀分布一定大小的影像特征提取块，在每个影像特征提取块中划分格网，在每个格网单元中用Harris算子提取特征点，每个影像特征提取块视为子区；

(2)基于相关系数法的同名点候选点匹配：

对子区中每个特征点，利用下视影像外方位元素以及下视影像重叠关系列表，计算待匹配特征点在重叠影像上对应同名点的初始位置，并利用相关系数法寻找匹配候选点，具体如下：

利用所建立的核线几何约束方程，对搜索窗口影像的每个像素遍历，首先计算该像素到核线方程的距离，当小于给定的阈值时，以其为中心开辟匹配窗口；当几何变形超过指定阈值时，利用匹配窗口角点的投影物方坐标计算仿射变形系数，进行匹配窗口影像的几何粗纠正；然后，利用归一化相关系数测度，计算待匹配特征点与搜索窗口中各像素的相似度，对搜索窗口各像素的归一化相关系数测度值，采用非极大抑制算法提取局部最大值，归一化相关系数测度局部最大值大于指定阈值所对应的像素即为匹配候选点；当有多个匹配候选点时，对匹配候选点按归一化相关系数测度值进行大小排序，并计算次大相关系数与最大相关系数的比值，如果小于指定阈值，则直接选择最大相关系数对应的候选点为唯一候选点；否则，取全部候选点，且候选点个数大于5个时，取前5个；最后，将特征点匹配候选点的结果按照子区为单元进行数据组织；

(3)基于子区的松弛迭代法特征点匹配：

以子区为单位，逐一进行松弛迭代法匹配，设I_i是某待匹配影像上的一个特征点，假设在某搜索影像上利用相关系数法匹配共找到m个候选点I_j， j＝1,2,…,m，对应的相关系数为ρ_j， j＝1,2,…,m，则I_i←I_j的匹配概率P(i,j)计算公式为：

式(2)中，ρ_q表示特征点I_i和其候选点I_q的相关系数，在每个特征点的匹配候选生成后，按8邻域进行松弛迭代，设I_k是I_i的一个邻域点，I_l， l＝1,2,…,t， 是其对应的匹配候选点，则可定义如下的相容系数来描叙匹配I_i←I_j与邻域匹配I_k←I_l的相容性：

式(3)中，C表示相容系数，衡量两个事件之间的相容性，即C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度，Δp_x＝(x_j-x_l)-(x_l-x_k)为I_i与I_k的x向视差，Δp_y＝(y_j-y_l)-(y_l-y_k)为I_i与I_k的y向视差；T,β为常数，分别取1和25；

计算迭代过程中每个特征点的候选匹配点在对应8邻域获得的支持，Q⁽ⁿ⁾(i,j)表示第n次迭代过程中I_i←I_j匹配的邻域支持，其计算公式为：

式(4)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Ω(I_i)表示点I_i的8邻域，I_k是I_i的一个邻域点,c₀,c₁为松弛系数，C(i,j；k,l)表示匹配I_i←I_j与邻域匹配I_k←I_l的兼容尺度,p⁽ⁿ⁾(k,l)表示第n次迭代修正后I_k←I_l的匹配概率；结合领域支持，按下面的规则实现其概率的更新，第n+1次迭代修正后I_i←I_j的匹配概率P⁽ⁿ⁺¹⁾(i,j)计算公式为：

式(5)中，m表示I_i的匹配候选点数量；p⁽ⁿ⁾(i,j)表示第n次迭代修正后I_i←I_j的匹配概率；Q⁽ⁿ⁾(i,j)表示在第n次迭代过程中I_i←I_j匹配从邻域获得的支持；I_s表示I_i的匹配候选点；p⁽ⁿ⁾(i,s)表示第n次迭代修正后I_i←I_s的匹配概率，Q⁽ⁿ⁾(i,s)表示在第n次迭代过程中I_i←I_s匹配从邻域获得的支持；当满足对所有特征点都存在一个匹配概率大于0.9的匹配候选或达到最大迭代次数时，终止迭代；此时，具有最大匹配概率的匹配候选点就被认为是该特征点真正的同名点；

对每个子区逐一处理，完成当前金字塔影像层特征点的匹配，基于五点法相对定向模型，使用RANSAC算法，剔除残差较大的同名像点，从最高层金字塔影像，利用上层匹配结果约束下层金字塔影像匹配，重复步骤2.2中的(2)和(3)，直到原始影像层，完成下视影像连接点匹配；

步骤3、下视影像区域网平差：

利用步骤2获取的下视影像连接点坐标，以及下视影像外方位线元素，进行区域网平差，计算精化后的下视影像外方位元素以及所有连接点对应的物方坐标；

步骤4、斜视影像外方位元素概略计算：

根据倾斜相机系统提供的斜视相机和下视相机的连接参数，结合步骤3中获取的下视影像精确外方位元素，计算出倾斜相机系统中前视、后视、左视、右视四个斜视相机的影像外方位元素；

步骤5、下视影像连接点在斜视影像上的转点匹配：

利用步骤3所获得的下视影像连接点对应的物方坐标，以及步骤4中所获得的倾斜影像外方位元素，直接利用共线条件方程，计算下视影像各连接点在与之重叠斜视影像上的像点坐标，获取下视影像连接点在斜视影像同名点的初始位置；然后，基于相关系数法的寻找同名点，与步骤2.2(2)所不同的是，不再寻找和保留多个候选点，而是取搜索窗口中具有最大相关系数测度且大于指定阈值的像素为匹配同名点，对每个下视影像连接点采用上述方法寻找同名点，从而获得其在斜视影像上的像点坐标；

步骤6、顾及倾斜影像几何约束的多视物方匹配：

步骤6.1、下视影像与斜视影像联合平差：

利用步骤2和步骤5所获得的下视影像连接点在下视影像和斜视影像的像点坐标，步骤3所获得的下视影像外方位元素和步骤4所获得斜视影像外方位元素，进行顾及倾斜影像几何约束的联合区域网平差，联合区域网平差对所有影像的外方位元素和特征点物方坐标进行优化，其误差方程为：

式中(6)中，X₁表示步骤3中各个下视影像的六个外方位元素改正数；X₂表示步骤4中四个斜视相机与下视相机间刚性连接参数的24个元素的改正数，即四个斜视相机相对下视相机外方位元素差值的改正数；X₃表示步骤5中所有存在同名点的下视影像连接点的物方坐标的改正数；E表示单位矩阵；V₁，V₂，V₃表示各误差方程对应的改正数；A₁,A₂,A₃分别表示对应系数矩阵；L₁,L₂,L₃表示相应误差方程的常数项；通过联合平差，进一步精化下视影像和斜视影像的外方位元素；

步骤6.2、基于多视物方匹配的连接点像点坐标精化：

利用带共线条件约束的多片最小二乘匹配算法对连接点坐标进行精化，在每张影像的标准点位附近提取一定数量的特征点，然后采用MPGC策略对这些特征点的匹配结果进行优化。

Images