CN108830797A

CN108830797A - 一种基于仿射投影矩阵模型的直线匹配方法

Info

Publication number: CN108830797A
Application number: CN201810510039.6A
Authority: CN
Inventors: 赵海盟; 王强; 陈伟; 孙山林; 孙鹏
Original assignee: Guilin University of Aerospace Technology
Current assignee: Guilin University of Aerospace Technology
Priority date: 2018-05-24
Filing date: 2018-05-24
Publication date: 2018-11-16

Abstract

本发明公开了一种基于仿射投影矩阵模型的直线匹配方法，其步骤包括：1)根据POS系统提供的相机姿态信息求出仿射投影矩阵；2)根据所述仿射投影矩阵将相机拍摄的原始影像纠正为近似正形影像；3)对纠正后得到的近似正形影像进行直线提取匹配，得到匹配直线对；4)利用所述仿射投影矩阵对匹配直线对做逆变换，得出原始影像的匹配直线对。本发明充分利用POS传感器的信息，对倾斜影像数据直接进行仿射校正并进行直线匹配与三维重建，免去了复杂的相机位姿估计等流程，特别适合精度要求不高但是实时性要求高的场景。

Description

一种基于仿射投影矩阵模型的直线匹配方法

技术领域

本发明涉及一种基于仿射投影矩阵模型的直线匹配方法，特别是关于一种仿射投影矩阵模型下实现图像三维重建的直线匹配的方法。属于计算机图像处理、摄影测量与遥感应用领域。

背景技术

直线特征在自然环境和人造目标中都普遍存在，如地面的房屋建筑、主要的铁路公路、太空中人造卫星的太阳能电池板等。在图像三维重建等应用领域中，直线段的匹配是首先需要解决的问题。高效率、高精度的直线匹配算法对于场景匹配、序列分析等具有重要价值。

但是，目前常规的直线匹配方法在处理宽基线、大视角的立体影像方面效果欠佳。其中，MSLD(Mean-Standard Deviation Line Descriptor)利用线段邻域的灰度均方根误差实现相似度匹配；线段波段描述符LBD(LineBand Desriptor)和线段组标识LS(Linesignature)也可以来匹配直线。但是上述方法在尺度变化或纹理匮乏时容易失败。还有部分学者通过几何特征进行直线匹配，比如：通过建立点到直线的距离比值不变量来实现直线匹配；采用点特征获取全局性的对极几何和共面约束关系，再对局部进行匹配；以及在局部上建立线段的拓扑区域，进而实现大范围场景的匹配都被提出并被应用。然而，不管是哪类方法，大都只适合短基线、小视角，当面对倾斜影像这样的宽基线、大视角变化时，匹配效果急剧下降。其主要原因是大视角造成待匹配线段邻域信息的巨大反差，从而造成相似度匹配上的困难。

发明内容

针对上述问题，本发明的目的在于提供一种基于仿射投影矩阵模型的直线匹配方法，本发明在构建仿射投影模型对原始倾斜影像进行纠正的前提下，再对纠正影像进行直线匹配最终反投影至原始影像的方法。

本发明的步骤包括：1)根据POS系统(Positioning and Orientation System)提供的相机粗略姿态信息，求出仿射投影矩阵；2)将相机拍摄的原始影像纠正为近似正形影像，从而减小影像间的视角差异；3)对纠正后的影像进行直线提取匹配，得到匹配直线对；4)利用仿射投影矩阵对匹配直线对做逆变换，得出原始倾斜影像的匹配直线对。

所述步骤1)根据POS系统(Positioning and Orientation System)提供的相机粗略姿态信息，求出仿射投影矩阵，包括以下步骤：①根据POS系统为相机提供的三个姿态角求出相机的旋转矩阵；②根据Wolf提出的tilt-swing-azimuth(t-s-a)坐标系统与坐标系统的转化关系，可以得出相机的倾斜角、旋转角、方位角的表达；③根据步骤②中求得的相机的倾斜角、旋转角、方位角求得仿射投影矩阵。

所述步骤①根据POS系统为相机提供的三个姿态角求出相机的旋转矩阵，包括以下步骤：a)倾斜摄影平台使用五镜头相机，中间一个下视，两侧分为前视、后视、左视和右视四个倾斜相机并且倾斜摄影平台上携带装有POS系统的装置，可以得出每一张影像的姿态角度信息。b)选用Y-X-Z三维笛卡尔转角系统，即三个姿态角分别用omega(ω)、kappa(κ)表示，得到相机的旋转矩阵。

所述步骤2)将原始影像纠正为近似正形影像，从而减小影像间的视角差异。即根据所求的仿射投影矩阵，建立原始影像与纠正影像的转换关系，通过转换得到一种近似正形的纠正影像。

所述步骤3)对纠正后的两张不同相机拍摄的影像进行直线提取和匹配，得到匹配直线对，包括以下步骤：①用SIFT(Scale-invariant feature transform)进行两张影像的特征点提取与匹配；②用LSD(Line Segment Detector)分别对两张影像进行特征线的提取；③利用线-点距离比值不变量约束，利用距离比值的相似度大小确定两张影像的准匹配直线集合(一般多于一条)；④从准匹配直线集合中选择相似度最大的一对直线作为所选两张影像最终的最合适的匹配直线。

所述步骤③利用线-点距离比值不变量约束，利用距离比值的相似度大小确定准匹配直线集合(一般多于一条)，包括以下步骤：a)以左影像任选一条直线为基准，在其附近寻找到两个与之共面的同名点，计算出线-点不变量比值；b)从右影像上对应的两个同名点附近找到满足线-点距离比值与左影像的线-点距离比值的差值小于设定阈值的直线，作为左影像中所选直线的准匹配直线。右影像上的两个同名点与左影像中的两个同名点是一一对应的，当左影像中的两个同名点确定，则右影像的两个同名点就自动被选定。

所述步骤④求出准匹配集合中所有线-点的相似度测量值；在其中选取最大的相似度作为最佳匹配的评价标准即：哪对直线组成的线-点比值相似度测量值最大，则选择这对直线作为一对匹配直线。比如左影像中直线a对应的线-点比值与右影像中直线k对应的线-点比值相似度测量值最大，则直线a与直线k是一对匹配直线。

与现有技术相比，本发明的积极效果为：

1.相对于常规直线匹配和三维结构重建，本发明可以获得更多的匹配线段；

2.可以充分利用POS传感器的信息，对倾斜影像数据直接进行仿射校正并进行直线匹配与三维重建，免去了复杂的相机位姿估计等流程，特别适合精度要求不高但是实时性要求高的场景。

附图说明

图1为本发明的直线匹配流程；

图2为仿射相机运动模型；其中平面u代表物方投影平面，C代表观测相机，视角φ和θ分别代表相机光轴的经度角和纬度角，其中θ＝arccos(1/t)，ψ表示相机沿着光轴的旋转角。λ为缩放参数，代表相机距离物方平面的远近。

图3为五镜头相机，其中中间一个下视，两侧分为前视、后视、左视和右视四个倾斜相机。倾斜相机与下视相机之间的角度互成45°，对于一般的平稳摄影，下视相机C₀接近于垂直投影，即对应于2运动模型中的C′，倾斜相机C₄呈现一定的角度，即对应于运动模型中的C；

图4为LP算法直线匹配流程；

图5为线-点距离比值不变量示意图，物方三维空间的平面Π和Π₂的交线L为空间三维直线，p和q是待匹配的影像平面上的二维线段，X_i和Y_i(i＝1,2)是同名匹配点，Q_i(i＝1,2)是二维同名点在物方平面上的交点；

图6为线段邻域的定义，点P到直线段l的距离小于线段长度的α倍，且同时到l的垂直平分线的距离小于线段长度的β倍，则被视为落在l的邻域内；

图7为最大相似度寻找与匹配，假如从左影像直线组中选择l⁽¹⁾，点组中选取P₁ ⁽¹⁾和P₂ ⁽¹⁾，而右影像中选择l⁽²⁾、P₁ ⁽²⁾和P₂ ⁽²⁾作为比值不变量，则可以求出两条直线的相似度表达。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明的仿射投影矩阵模型下的倾斜摄影直线匹配的方法，包括以下步骤：

1、根据POS系统(Positioning and Orientation System)提供的相机粗略姿态信息，求出仿射投影矩阵，包括以下步骤：

1)根据POS系统为相机提供的三个姿态角求出相机的旋转矩阵，包括以下步骤：

a)倾斜摄影平台使用五镜头相机，中间一个下视，两侧分为前视、后视、左视和右视四个倾斜相机并且倾斜摄影平台上携带有POS装置，可以得出每一张影像的姿态角度信息；如图3所示五镜头相机，对于一般的平稳摄影，下视相机C₀接近于垂直投影，即对应于2运动模型中的C′，倾斜相机C₄呈现一定的角度，即对应于运动模型中的C。

b)选用Y-X-Z三维笛卡尔转角系统，即三个姿态角分别用omega(ω)、kappa(κ)表示，相机的旋转矩阵可以表达如下：

式中，

2)根据Wolf提出的tilt-swing-azimuth(t-s-a)坐标系统与坐标系统的转化关系，可以得出倾斜角、旋转角、方位角的表达，包括以下步骤：

a)转换坐标系后得出倾斜角、旋转角、方位角的表达；

式中，t∈[0,180]，s∈[-180,180]，a∈[-180,180]。

b)将相机模型中的三个角度参数分别表示为：

3)根据求得的相机的倾斜角、旋转角、方位角求得仿射投影矩阵。

在很多已公开的研究中，很多学者提出的关于点和线的匹配方法，都对尺度和旋转具有一定的不变性。故此处将λ设为1，ψ设为0。

将代入中，便可以得到仿射投影矩阵A。公式中，λ>0,R_i为旋转矩阵，θ∈[0,90)，φ∈[0,π)，T_t代表倾斜。

2、将原始影像纠正为近似正形影像，从而减小影像间的视角差异。根据所求的仿射投影矩阵，得到原始影像与纠正影像的转换关系；

原始影像与纠正影像的转换关系如下：

I'＝A^-1*I

式中，I为原始影像，I′为仿射纠正后影像。

3、对纠正后的影像进行直线提取匹配，得到匹配直线对，包括以下步骤：

1)特征点的提取与匹配；

2)特征线的提取；

3)确定待匹配直线，包括以下步骤：

a)在直线附近寻找到两个同名点与之共面；

b)运用线—点仿射不变量来判断两条直线是否匹配。

如图5所示，物方三维空间的平面Π和Π₂的交线L为空间三维直线，p和q是待匹配的影像平面上的二维直线，X_i和Y_i(i＝1,2)是同名匹配点，Q_i(i＝1,2)是二维同名点在物方平面上的交点。线-点仿射不变量是用两个点到一条直线的距离比值不变来表示的。由于两个匹配点与直线L相距特别近，三者共面，因此，可以通过一个单应变换矩阵将左右相机的二维点线关联起来。上面已经提及，局部小平面区域进而可以用更为特殊的仿射变换矩阵H_a关联起来，即：

式中，s为尺度因子。

左右相机平面上，二维点到直线的距离比值可以分别表示为：

将公式代入得到：

D(X₁,X₂,p)＝D(Y₁,Y₂,q)

上式表示，在左影像上两个点到参考直线的距离比值与右影像上两个同名点到待匹配直线的距离比值是相等的。此不变量作为两条直线匹配的依据。

4)计算两条直线的相似度；包括以下步骤：

a)确定待匹配直线的邻域；

两个直线段集合中的每一条线段都有其特定的长度和位置，这样每一条线段的邻域也就不一样。为了保持线段匹配的尺度不变性，线段的邻域根据线段的长度自动调整。如图6所示。

如果某个点P到直线段l的距离小于线段长度的α倍，且同时到l的垂直平分线的距离小于线段长度的β倍，则被视为落在l的邻域内；

b)利用点到直线距离比值不变量计算出两条直线的相似度。

以图7为例，假如从左影像直线组中选择l⁽¹⁾、点组中选取P₁ ⁽¹⁾和P₂ ⁽¹⁾，而右影像中选择l⁽²⁾和点P₁ ⁽²⁾、P₂ ⁽²⁾作为比值不变量，则两条直线的相似度表达如下：

sim(l⁽¹⁾,l⁽²⁾)＝exp{-||D(P₁ ⁽¹⁾,P₂ ⁽¹⁾,l⁽¹⁾)-D(P₁ ⁽²⁾，P₂ ⁽²⁾，l⁽²⁾||}

5)确定匹配线段；包括以下步骤：

a)求出所有点两两组合的相似度测量值。由于直线邻域内还有很多点，任意两个组合都可以构成测量相似度；假如邻域内有W个点，则有种组合。

b)将每一组合的相似度测量值取平均值；

c)在平均值中选取最大的相似度作为最佳匹配的评价标准。

4、利用仿射投影矩阵对匹配直线对做逆变换，得出原始倾斜影像的匹配直线对。

将线段反投影回原始影像上。以左纠正影像上某一线段l'为例，假设其两个端点分别(x₁',y₁')和(x₂',y₂')，则反投影得到的线段为：

l:[x_i,y_i]＝A*[x_i',y_i'],(i＝1,2)。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，本邻域的技术人员应可理解，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内，保护范围以权利要求书所界定者为准。

Claims

1.一种基于仿射投影矩阵模型的直线匹配方法，其步骤包括：

1)根据POS系统提供的相机姿态信息求出仿射投影矩阵；

2)根据所述仿射投影矩阵将相机拍摄的原始影像纠正为近似正形影像；

3)对纠正后得到的近似正形影像进行直线提取匹配，得到匹配直线对；

4)利用所述仿射投影矩阵对匹配直线对做逆变换，得出原始影像的匹配直线对。

2.如权利要求1所述的方法，其特征在于，求出所述仿射投影矩阵的方法为：21)根据POS系统为相机提供的姿态角求出相机的旋转矩阵；22)根据t-s-a坐标系统与坐标系统的转化关系，得出相机的倾斜角、旋转角、方位角；23)根据相机的倾斜角、旋转角、方位角求得所述仿射投影矩阵。

3.如权利要求1所述的方法，其特征在于，得到所述匹配直线对的方法为：任选两张近似正形影像A、B，从该两张近似正形影像A、B中提取SIFT特征点，并对近似正形影像A的SIFT特征点与近似正形影像B的SIFT特征点进行匹配，得到匹配特征点；用LSD方法分别对两张近似正形影像A、B进行特征线的提取；然后利用线-点距离比值不变量约束，利用距离比值的相似度大小确定准匹配直线集合；然后从该准匹配直线集合中选择相似度最大的直线作为两张近似正形影像A、B中的匹配直线；其中，近似正形影像A、B对应的原始影像为不同相机拍摄的原始影像。

4.如权利要求3所述的方法，其特征在于，确定出所述准匹配直线集合的方法为：a)以近似正形影像A中的一条直线a为基准，在该直线a附近寻找到与之共面的两个同名点，计算出线-点不变量比值；b)从近似正形影像B上选取一待匹配直线和两个对应的同名点，然后计算该待匹配直线到两同名点的线-点距离比值，如果该线-点距离比值与该直线a的所述线-点不变量比值差异小于设定阈值，则将该待匹配直线作为准匹配直线；将各对近似正形影像对应的准匹配直线构成所述准匹配直线集合。

5.如权利要求4所述的方法，其特征在于，从所述准匹配直线集合中选取线-点不变量比值相似度测量值最大的一对直线作为两张近似正形影像A、B中的一对匹配直线。

6.如权利要求1所述的方法，其特征在于，任选两张近似正形影像A、B，以近似正形影像A中的一条直线a为基准，在该直线a附近寻找到与之共面的两个同名点，计算出线-点不变量比值；从近似正形影像B上选取一待匹配直线，如果近似正形影像B中两个对应同名点到该待匹配直线的距离比值与所述出线-点不变量比值相等，则该待匹配直线与该直线a为一匹配直线对；其中，近似正形影像A、B对应的原始影像为不同相机拍摄的原始影像。