CN106875374A - 一种基于线特征的弱连接影像拼接方法 - Google Patents

Abstract

一种基于线特征的弱连接影像拼接方法，首先在左右两幅影像同名区域内量测分布均匀的N对同名点对的影像坐标，并在左右两幅影像中找到同名的相交直线对或平行直线；根据量测像点的影像坐标计算直线的方程，并计算得到直线交点的影像坐标；将对应的直线交点视作同名点，其影像坐标代入到影像上下视差的方程中，与普通同名点一起求解影像间的相对定向参数；依据求解得到的相对定向参数，对右影像进行几何变换，并得到新的影像重叠区域，以重叠区域的中线为拼接线，将两幅影像拼接起来。本发明充分不仅构造了更多的同名点观测值，并能够使点位分布更加理想，从而提高弱连接影像的拼接精度，可适用于各种弱连接条件影像的拼接处理。

Description

一种基于线特征的弱连接影像拼接方法

技术领域

本发明涉及求解影像间相对位置关系的方法，特别是针对弱连接影像的相对位置关系确定及拼接方法，属于测绘及计算机视觉领域。

背景技术

在利用航空影像进行地形图测绘，或者通过场景拍摄的影像构建全景影像时，需要将影像拼接构建整个拍摄区的全幅影像，为保证影像的拼接精度，核心步骤就是确定各影像间的相对位置关系。目前大多通过影像匹配获取两幅影像间N对(N>5)同名点对的影像坐标，通过影像相对定向来求解影像相对位置关系。一般来说，要获得较高的相对定向精度，影像间的重叠度应不低于60％，且量测得到的同名点应均匀分布在影像间的重叠区域内。但在某些特殊情况下，影像间的连接条件很弱，重叠度甚至不超过10％，采用传统同名点对应关系的相对定向方法很难得到较高精度的相对定向结果。因此，有必要研究一种能够提高弱连接条件影像相对定向及拼接精度的方法。

发明内容

本发明的技术解决问题是：克服现有方法的缺陷，提供了一种利用影像线特征的相对定向方法，通过影像直线特征的成像关系，计算出影像成像范围以外像点的影像坐标，以增加相对定向求解的多余观测量，并能够扩展同名点的分布范围，有效提高弱连接影像的相对定向精度。

本发明的技术解决方案是：一种基于线特征的弱连接影像拼接方法，步骤如下：

(1)在左右两幅影像的重叠区域上量测N对同名点的影像坐标，N对同名点应均匀分布在影像重叠区域，将重叠区域从上到下等分为3部分，分别为重叠区域上方、中部和下方，重叠区域上方、中部和下方应至少各量测2对同名点；

(2)在左右两幅影像中找到同名的相交直线对或平行直线对(是指两幅图像的成像物方相交或平行，而不是仅在影像中相交或平行而实际不相交或平行)，每条直线上各量测两个点的影像坐标(可以不必是同名点)，所选的直线对必须在两幅影像上都出现；

(3)利用步骤(2)获得在左影像上的某一直线上量测的两个点的影像坐标，计算该直线在影像上的方程，同理计算与其相交或平行直线的方程，并计算其对应的同名直线对在右影像上的方程；

(4)根据步骤(3)计算的相交直线对或平行直线对的方程，求解相交直线对的交点或平行直线对的灭点在左影像上的影像坐标，并对应地计算右影像上同名直线对的同名交点或同名灭点；

(5)把步骤(4)计算得到的同名交点或同名灭点的影像坐标与步骤(1)量测的N对同名点的影像坐标作为测量值，进行影像相对定向元素的解算；

(6)通过影像相对定向解算得到两幅影像间的相对定向元素，并基于该参数以左影像为基准校正右影像；

(7)计算校正后左右影像的重叠区域，以重叠区中心线为拼接线，将左影像和校正后的右影像拼接起来，实现影像拼接。

所述步骤(3)中计算直线方程，根据步骤(2)中量测得到的两个像点的影像坐标，计算其直线方程的具体步骤为：

假设所量测的直线上两个点的坐标分别是(x₁,y₁)和(x₂,y₂)，则直线的方程式形如：

Ax+By+C＝0

其中

A＝y₂-y₁，B＝x₂-x₁，

所述步骤(4)中利用两条相交或平行直线方程求解交点，其具体步骤为：

假设两条直线的方程分别为：

A₁x+B₁y+C₁＝0

A₂x+B₂y+C₂＝0

其交点或灭点的影像坐标(x_i,y_i)为：

所述步骤(5)的影像相对定向元素的解算步骤为：

(5-1)利用上下视差的为0的共面条件关系求解相对定向元素b_y,b_z,ω,κ，其中B_X,B_Y,B_Z为右影像投影中心在左影像的像空间辅助坐标系下的坐标分量，ω,κ为右影像相对于左影像的三个相互正交的旋转角，能够唯一确定左影像到右影像的旋转矩阵R，R具体为：

(5-2)构建影像上下视差Q的表达式，表示为：

Q＝NY-N′Y′-B_Y

式中，N、N′分别为左右影像上同名像点的点投影系数， (X,Y,Z)和(X′,Y′,Z′)分别为同名点在左右影像的像空间辅助坐标，计算方法为：

其中(x,y)为左影像上同名点的影像坐标，f为左影像的主距，(x′,y′)为该同名点在又影像上的影像坐标，f′为右影像上的主距；R为如(5-1)所述的旋转矩阵。

(5-3)相对定向计算后，影像上下视差为0，据此列出影像上下视差的误差方程，表示为：

v＝Ax-l

式中，

l＝-Q。

式中，v表示误差方程的残差；x为由相对定向元素的改正数组成的向量；l为经计算得到的误差方程观测值；

(5-4)步骤(5-3)列出的误差方程系数A矩阵中的各项偏导数为

其中T_YX＝YX′-XY′，T_ZY＝ZY′-YZ′，T_XZ＝XZ′-ZX′。

(5-5)当测量了N对同名像点时，N>5，将同名像点的影像坐标视为等精度不相关观测值，给定相对定向元素的初始值，采用最小二乘平差方法求解相对定向元素的改正数；

x＝(A^TA)^-1A^Tl

并通过迭代更新相对定向元素，最终得到相对定向元素的精确值。

步骤(6)所述的右影像校正步骤为：

(6-1)对每一个校正前影像坐标为(x,y)的像点，其校正后的影像坐标(x_c,y_c)为：

式中a_i,b_i,c_i为(5-1)中旋转矩阵R的元素。

本发明与现有技术相比的有益效果是：

(1)现有方法难以解决小重叠度影像相对定向过程中，由于同名点分布不均匀引起参数求解精度降低，而本方法充分利用了影像的线特征，不仅构造了更多的同名点观测值，并能够使点位分布更加理想，从而提高弱连接影像的拼接精度。

(2)本方法在处理拥有直线特征的影像拼接时，能有效提升影像拼接精度，能够广泛应用于城市航摄影像或室内近景影像等。

(3)本方法能很好应用于多探测器拼接式相机的整体检校，通过对三维检校场成像，利用检校场影像中丰富的直线特征，有效提高各探测器间相对位置关系的求解精度，从而提高影像的拼接精度。

(4)采用本方法进行拼接，对影像重叠度的要求降低，从而能够有效减少拼接影像的数量，在适用条件下使作业效率提高。

附图说明

图1为本发明的流程图。

图2为本发明影像重叠区域上部、中部、下部的划分的恩范围示意图；

图3为本发明左影像和校正后影像示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行进一步的详细描述。

本发明一种基于线特征的弱连接影像拼接方法，首先在左右两幅影像同名区域内量测分布均匀的N对同名点对的影像坐标(N>5)，并在左右两幅影像中找到同名的相交直线对或平行直线，每条直线上各量测两个像点的影像坐标；根据量测像点的影像坐标计算直线的方程，并计算得到直线交点的影像坐标；将对应的直线交点视作同名点，其影像坐标代入到影像上下视差的方程中，与普通同名点一起求解影像间的相对定向参数；依据求解得到的相对定向参数，对右影像进行几何变换，并得到新的影像重叠区域，以重叠区域的中线为拼接线，将两幅影像拼接起来。本发明中的方法充分利用了影像的线特征，不仅构造了更多的同名点观测值，并能够使点位分布更加理想，从而提高弱连接影像的拼接精度，可适用于各种弱连接条件影像的拼接处理。

本发明技术方案可采用计算机软件技术实现自动运行流程，以下结合附图和实施例详细说明本发明技术方案。如图1所示为本发明的流程图，从图1可知，本发明提出的一种基于线特征的弱连接影像拼接方法，具体步骤如下：

(1)在左右两幅影像的重叠区域上量测N对同名点的影像坐标，N对同名点应均匀分布在影像重叠区域，将重叠区域从上到下等分为3部分，分别为重叠区域上方、中部和下方，重叠区域上方、中部和下方应至少各量测2对同名点，且不同的像点间应保证足够的间距。同名像点的分布区域如图2所示。图2画出了影像重叠区域上部、中部、下部的划分的大致范围，理想情况下应在A-F六个区域的中心部位各量测一对同名点。

(2)在左右两幅影像中找到同名的相交直线对或平行直线对，一般选择建筑物的边缘线、道路标志线等，所选的直线对必须在两幅影像上都出现。每条直线上各量测至少2个像点的影像坐标(可以不必是同名点)；

(3)利用步骤(2)获得在左影像上的某一直线上量测的2个像点的影像坐标，计算该直线在影像上的方程，同理计算与其相交或平行直线的方程，并计算其对应的同名直线对在右影像上的方程，具体步骤为：

(3-1)假设所量测的直线上两个像点的影像坐标分别是(x₁,y₁)和(x₂,y₂)，则直线的方程式形如：

Ax+By+C＝0

其中

A＝y₂-y₁，B＝x₂-x₁，

(3-2)步骤(3)的一个优选方案是，当量测了2个以上像点的影像坐标时，采用最小二乘法求解最佳拟合的直线方程，能够提高直线方程的计算精度。

(4)根据步骤(3)计算的相交直线对或平行直线对的方程，求解相交直线对的交点或平行直线对的灭点在左影像上的影像坐标，并对应地计算右影像上同名直线对的同名交点或同名灭点，其具体步骤为：

(4-1)假设两条直线的方程分别为：

A₁x+B₁y+C₁＝0

A₂x+B₂y+C₂＝0

其交点的影像坐标(x_i,y_i)为：

(4-2)步骤(4)的一个优选方案是，当影像上存在多条直线相交于同一点的情况时，根据步骤(2)和(3)分别计算出各个直线的方程，并通过最小二乘方法解算交点的最佳影像坐标。

(5)把步骤(4)计算得到的同名交点或同名灭点的影像坐标与步骤(1)量测的N对同名点的影像坐标作为测量值，进行影像相对定向元素的解算，解算步骤为：

(5-1)利用上下视差的为0的共面条件关系求解相对定向元素b_y,b_z,ω,κ，其中B_X,B_Y,B_Z为右影像投影中心在左影像的像空间辅助坐标系下的坐标分量，ω,κ为右影像相对于左影像的三个相互正交的旋转角，能够唯一确定左影像到右影像的旋转矩阵R，R具体为：

(5-2)构建影像上下视差Q的表达式，表示为：

Q＝NY-N′Y′-B_Y

式中，N、N′分别为左右影像上同名像点的点投影系数， (X,Y,Z)和(X′,Y′,Z′)分别为同名点在左右影像的像空间辅助坐标，计算方法为：

其中(x,y)为左影像上同名点的影像坐标，f为左影像的主距，(x′,y′)为该同名点在又影像上的影像坐标，f′为右影像上的主距；R为如(5-1)所述的旋转矩阵。

(5-3)相对定向计算后，影像上下视差为0，据此列出影像上下视差的误差方程，表示为：

v＝Ax-l

式中，

l＝-Q。

式中，v表示误差方程的残差；x为由相对定向元素的改正数组成的向量；l为经计算得到的误差方程观测值；

(5-4)步骤(5-3)列出的误差方程系数A矩阵中的各项偏导数为

其中T_YX＝YX′-XY′，T_ZY＝ZY′-YZ′，T_XZ＝XZ′-ZX′。

(5-5)当测量了N对同名像点时，N>5，将同名像点的影像坐标视为等精度不相关观测值，给定相对定向元素的初始值，其初始值给定方法为：

b_y＝0b_z＝0ω＝0κ＝0

采用最小二乘平差方法求解相对定向元素的改正数，计算公式为：

x＝(A^TA)^-1A^Tl

并通过迭代更新相对定向元素，相对定向元素更新的公式为：

ω⁽ⁱ⁺¹⁾＝ω⁽ⁱ⁾+Δω

κ⁽ⁱ⁺¹⁾＝κ⁽ⁱ⁾+Δκ

式中，κ⁽ⁱ⁾表示第i次迭代计算前的相对定向元素值，ω⁽ⁱ⁺¹⁾,κ⁽ⁱ⁺¹⁾表示第i次迭代计算后更新的相对定向元素值。

当迭代收敛时，计算结束，得到相对定向元素的精确值。其中迭代收敛的判断条件是：

若迭代次数超过m次仍未达到收敛状态，则认为解算失败，结束计算。一般地，m≥10。

(6)通过影像相对定向解算得到两幅影像间的相对定向元素，并基于该参数以左影像为基准校正右影像，校正步骤为：

(6-1)对每一个校正前影像坐标为(x,y)的像点，其校正后的影像坐标(x_c,y_c)为：

式中a_i,b_i,c_i为(5-1)中旋转矩阵R的元素。

(6-2)校正后影像像素的灰度值采用双线性内插法获得。

(7)重新计算左右影像的重叠区域。

(7-1)如图3所示，以各对同名点像点的坐标的x坐标差的平均值作为B_X，计算公式为：

并计算B_Y和B_Z，B_Y＝b_y·B_X,B_Z＝b_z·B_Z。根据校正后的右影像四个角点的坐标围成四边形，与左影像的矩形区域求交，得到校正后影像的重叠区域。

(7-2)以两幅影像中心连线的中垂线作为拼接线，将左影像和校正后的右影像拼接起来，实现影像拼接。

本发明提出的一种基于线特征的弱连接影像拼接方法，可应用于涉及小重叠度航空测绘影像以及地面近景影像的拼接处理。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (5)

1.一种基于线特征的弱连接影像拼接方法，其特征在于步骤如下：

(1)在左右两幅影像的重叠区域上量测N对同名点的影像坐标，N对同名点应均匀分布在影像重叠区域，将重叠区域从上到下分为3部分，分别为重叠区域上方、中部和下方，重叠区域上方、中部和下方应至少各量测2对同名点；

(2)在左右两幅影像中找到同名的相交直线对或平行直线对，每条直线上各量测两个点的影像坐标，所选的直线对必须在两幅影像上都出现；

(3)利用步骤(2)获得在左影像上的某一直线上量测的两个点的影像坐标，计算该直线在影像上的方程，同理计算与其相交或平行直线的方程，并计算其对应的同名直线对在右影像上的方程；

(4)根据步骤(3)计算的相交直线对或平行直线对的方程，求解相交直线对的交点或平行直线对的灭点在左影像上的影像坐标，并对应地计算右影像上同名直线对的同名交点或同名灭点；

(5)把步骤(4)计算得到的同名交点或同名灭点的影像坐标与步骤(1)量测的N对同名点的影像坐标作为测量值，进行影像相对定向元素的解算；

(6)通过影像相对定向解算得到两幅影像间的相对定向元素，并基于该参数以左影像为基准校正右影像；

(7)计算校正后左右影像的重叠区域，以重叠区中心线为拼接线，将左影像和校正后的右影像拼接起来，实现影像拼接。

2.如权利要求1所述的一种基于线特征的弱连接影像拼接方法，其特征在于：所述步骤(3)中计算直线方程，根据步骤(2)中量测得到的两个像点的影像坐标，计算其直线方程的具体步骤为：

假设所量测的直线上两个点的坐标分别是(x₁,y₁)和(x₂,y₂)，则直线的方程式形如：

Ax+By+C＝0

其中

A＝y₂-y₁，B＝x₂-x₁，

3.根据权利要求1所述的一种基于线特征的弱连接影像拼接方法，其特征在于：所述步骤(4)中利用两条相交或平行直线方程求解交点，其具体步骤为：

假设两条直线的方程分别为：

A₁x+B₁y+C₁＝0

A₂x+B₂y+C₂＝0

其交点或灭点的影像坐标(x_i,y_i)为：

$x_i=\frac{\left|\begin{array}{cc}-C_1& B_1\\ -C_2& B_2\end{array}\right|}{\left|\begin{array}{cc}{A}_1& B_1\\ A_2& B_2\end{array}\right|},y_i=\frac{\left|\begin{array}{cc}{A}_1& -C_1\\ A_2& -C_2\end{array}\right|}{\left|\begin{array}{cc}{A}_1& B_1\\ A_2& B_2\end{array}\right|}$

4.根据权利要求1所述的一种基于线特征的弱连接影像拼接方法，其特征在于：所述步骤(5)的影像相对定向元素的解算步骤为：

(5-1)利用上下视差的为0的共面条件关系求解相对定向元素

其中B_X,B_Y,B_Z为右影像投影中心在左影像的像空间辅助坐标系下的坐标分量，为右影像相对于左影像的三个相互正交的旋转角，能够唯一确定左影像到右影像的旋转矩阵R，R具体为：

(5-2)构建影像上下视差Q的表达式，表示为：

Q＝NY-N′Y′-B_Y

式中，N、N′分别为左右影像上同名像点的点投影系数， (X,Y,Z)和(X′,Y′,Z′)分别为同名点在左右影像的像空间辅助坐标，计算方法为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}x\\ y\\ -f\end{array}\right],\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=R\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ -f^{\′}\end{array}\right]$

其中(x,y)为左影像上同名点的影像坐标，f为左影像的主距，(x′,y′)为该同名点在又影像上的影像坐标，f′为右影像上的主距；R为如(5-1)所述的旋转矩阵；

(5-3)相对定向计算后，影像上下视差为0，据此列出影像上下视差的误差方程，表示为：

v＝Ax-l

式中，

l＝-Q；

式中，v表示误差方程的残差；x为由相对定向元素的改正数组成的向量；l为经计算得到的误差方程观测值；

(5-4)步骤(5-3)列出的误差方程系数A矩阵中的各项偏导数为

$\frac{\∂Q}{\∂b_y}=-1;$

$\frac{\∂Q}{\∂b_z}=-\frac{T_{YX}}{T_{XZ}};$

其中T_YX＝YX′-XY′，T_ZY＝ZY′-YZ′，T_XZ＝XZ′-ZX′。

(5-5)当测量了N对同名像点时，N>5，将同名像点的影像坐标视为等精度不相关观测值，给定相对定向元素的初始值，采用最小二乘平差方法求解相对定向元素的改正数；

x＝(A^TA)^-1A^Tl

并通过迭代更新相对定向元素，最终得到相对定向元素的精确值。

5.根据权利要求1所述的一种基于线特征的弱连接影像拼接方法，其特征在于：所述左右两幅影像不完全不同，但是有一部分重叠区域，且至少包含两条相交的直线或平行的直线。