CN107025449A - 一种视角不变局部区域约束的倾斜影像直线特征匹配方法 - Google Patents

Abstract

本发明涉及一种视角不变局部区域约束的倾斜影像直线特征匹配方法。其依次包括以下步骤：对参考影像和待匹配影像分别提取直线特征，并计算每条直线特征的特征显著性；利用核线关系构造视角不变局部区域，基于视角不变局部区域计算每条直线特征的特征区域；对每条直线特征，在特征区域内计算相位一致性值和方向，为每条直线特征构造相位一致性特征描述符；根据每条直线特征的特征显著性，将显著性值最大的前t％的直线特征作为显著直线特征，其余直线特征作为非显著直线特征；进行显著直线特征匹配；将显著直线特征中未匹配成功的直线特征归入非显著直线特征中；分别在参考影像和待匹配影像上以匹配成功的显著直线特征为聚类中心，将非显著直线特征聚类到显著直线特征类别中；采用非穷举搜索的方式，进行非显著直线特征匹配。

Description

一种视角不变局部区域约束的倾斜影像直线特征匹配方法

技术领域

本发明涉及遥感影像处理中影像匹配相关技术领域，具体地说是涉及一种视角不变局部区域约束的倾斜影像直线特征匹配方法。

背景技术

倾斜摄影测量能够同时获取地物目标顶面和立面的高分辨率影像，目前已经广泛用于城市建筑物三维模型自动重建与纹理映射、城市规划与监测、应急响应、地籍资料验证与更新等领域中。影像匹配是倾斜摄影测量数据处理的关键科学问题之一，是影像配准、拼接、三维重建、目标检测与跟踪等的基础和核心，在军事和民用领域具有重要应用价值。与传统遥感影像相比，倾斜影像之间存在较大程度的视角变化，使得影像匹配的难度大、可靠性不高。因此，倾斜影像的可靠匹配是国际学术研究与工业应用的难点和热点前沿。

由于倾斜影像分辨率高，影像上绝大多数人工目标，如建筑物、道路等都可以用直线特征来描述。直线特征位于目标轮廓边缘，包含丰富的语义信息和几何意义，能够较好地表达目标结构，反映影像以及目标场景的高层信息。另外，在建筑物顶面、农田等难以获得同名点特征的影像弱纹理区域能够提取大量的直线特征。因此，直线特征适合作为倾斜影像的匹配基元。同时，直线特征匹配在许多应用中都是十分关键的步骤。例如，在三维重建中，尽管目前基于密集匹配生成点云的方法取得了长足的发展，但是当目标区域为城市地区等复杂场景时，由于目标场景的不连续性，在视差断裂处密集匹配同名点的数量较少，精度不高，需要引入直线特征，利用同名直线特征之间可靠的几何关系来实现高精度的三维重建；在影像定向、相机姿态估计和标定等过程中，由于直线特征具有较高的定位精度且能够克服遮挡和阴影等问题，通过匹配同名直线特征可以更好地实现目标对应，求解影像定向和相机姿态参数，获取可靠的影像定向和相机标定结果。因此，可靠的直线特征匹配方法在倾斜影像处理与分析方面具有重要的研究和应用价值。

近年来，研究人员对倾斜影像直线特征匹配进行研究，提出了多种直线特征匹配方法，但这些方法存在以下问题：

(1)一类方法试图仿照点特征匹配方法，先利用直线特征邻域像素灰度信息进行特征描述，然后基于特征描述符相似性进行匹配。但是，由于直线特征长短不一，且同名直线特征端点往往不对应，难以对同名直线特征确定一致性特征区域进行特征描述。此外，传统的规则矩形或圆形特征区域对倾斜影像之间的大视角变化不具备不变性，进一步加大了确定一致性同名特征区域的难度。同名直线特征区域不一致导致在特征区域内计算的特征描述符相似度低，难以匹配；

(2)一类方法利用直线特征与点特征之间的几何位置关系进行直线特征匹配。这类方法需要已知大量的同名点特征作为先验条件，而对于存在大视角变化的倾斜影像，获取同名点特征仍然是一个尚未解决的难点问题，因此此类方法难以用于倾斜影像直线特征匹配；

(3)另外一类方法通过构造直线特征对，利用直线特征对中两条直线交点以及直线之间的几何关系协助直线特征匹配。这类方法通常需要先匹配直线特征交点，得到同名直线特征对，再在对应的同名直线特征对中计算一一对应的直线特征。但是，对于存在大视角变化的倾斜影像，直线特征交点之间的匹配仍然是难点问题，进而限制了此类方法在倾斜影像直线特征匹配中的应用。

发明内容

针对现有技术之不足，本发明提供了一种视角不变局部区域约束的倾斜影像直线特征匹配方法。

本发明一种视角不变局部区域约束的倾斜影像直线特征匹配方法，依次包括以下步骤：

步骤一：对参考影像和待匹配影像分别提取直线特征，并计算每条直线特征的特征显著性；

步骤二：利用核线关系构造视角不变局部区域，基于视角不变局部区域计算所述步骤一得到的每条直线特征的特征区域；

步骤三：对每条直线特征，在所述步骤二所得的特征区域内计算相位一致性值和方向，为每条直线特征构造相位一致性特征描述符；

步骤四：根据所述步骤一计算的每条直线特征的特征显著性，将所有直线特征中显著性值最大的前t％的直线特征作为显著直线特征，其余直线特征作为非显著直线特征；

步骤五：基于所述步骤三得到的特征描述符计算特征相似性对所述步骤四得到的显著直线特征进行匹配；

步骤六：将所述步骤五显著直线特征匹配结果中未匹配成功的显著直线特征归入非显著直线特征中；

步骤七：分别在参考影像和待匹配影像上以所述步骤五得到的匹配成功的显著直线特征为聚类中心，将非显著直线特征聚类到显著直线特征类别中；

步骤八：基于所述步骤七的聚类结果，采用非穷举搜索的方式，进行非显著直线特征匹配。

根据一个优选的实施方式，在所述步骤一中，按公式(1)计算每条直线特征的特征显著性：

式(1)中，saliency表示直线特征显著性值，l表示直线特征的长度，表示直线特征上所有像素点的梯度幅值的均值，a和b表示权系数，用于控制直线特征长度和梯度幅值均值对计算特征显著性的相对重要性程度。

根据一个优选的实施方式，在所述步骤二中，根据如下方法计算每条直线特征的特征区域：

(a)对于参考影像上任意一条直线特征L_i，计算其首尾端点在待匹配影像上对应的两条核线，在待匹配影像上寻找位于两条核线所夹范围内或至少与其中一条核线相交的直线特征作为该参考直线特征的候选直线特征，得到式(2)所示的L_i的候选同名直线特征集合：

式(2)中，表示参考直线特征L_i在待匹配影像上的候选同名直线特征集合，q₁,…,q_m,…,q_n表示候选同名直线特征集合中的n条候选同名直线特征；

(b)对参考影像上直线特征L_i，从其两侧分别选择N条中点距离最近且与其夹角大于阈值T_θ的直线特征，这2N条直线特征分别与参考直线特征L_i构成直线特征对，得到式(3)所示的直线特征对集合：

式(3)中，L_i表示参考影像上正在处理的直线特征，l₁,…,l_j,…,l_2N表示参考直线特征L_i两侧选取的与其进行特征组对的2N条直线特征，表示基于参考直线特征L_i构建的直线特征对集合；

(c)对参考直线特征L_i对应的待匹配影像上的候选直线特征集合中的每条直线特征q₁,…,q_m,…,q_n，进行步骤(b)所述的同样操作构造直线特征对，在待匹配影像上得到式(4)所示的L_i对应的待匹配影像直线特征对集合：

式(4)中，q₁,…,q_m,…,q_n表示参考直线特征L_i的候选同名直线特征集合中的n条直线特征，l'_m,1,…,l'_m,o,…,l'_m,2N表示从L_i的第m条候选直线特征q_m两侧选取的2N条与q_m构造直线特征对的特征；

(d)对于参考直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，计算其直线交点以及交点在待匹配影像上的核线，计算步骤(c)所得的待匹配影像上候选直线特征对集合中每对直线特征的交点到该核线的垂直距离，如果距离小于阈值T_d，则将该直线特征对作为参考影像上直线特征对(L_i,l_j)的候选同名直线特征对，从而对参考影像上任一直线特征L_i构成的每个直线特征对(L_i,l_j)，在待匹配影像上都得到了一个候选同名直线特征对集合

(e)对于参考直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，利用其四个直线段端点在参考影像上构造一个四边形区域R_ij；同时，计算四个端点在待匹配影像上对应的核线，在待匹配影像上，这四条核线与(L_i,l_j)的候选直线特征对集合中的每个直线特征对(q_m,l'_m,k)相交形成一个与R_ij对应的四边形区域

(f)对于参考影像上直线特征L_i构建的所有四边形区域R_ij及其在待匹配影像上的候选同名直线特征构建的所有四边形区域按式(5)将四边形区域拟合为椭圆形区域：

式(5)中，w₁表示椭圆长轴长度，w₂表示椭圆短轴长度，α表示椭圆长轴方向，v表示四边形区域的零阶中心矩，μ₁₁,μ₀₂,μ₂₀表示四边形区域的二阶中心矩元素，λ₁和λ₂表示四边形区域二阶中心矩的特征值，其中λ₁≥λ₂；

(g)基于步骤(f)所得的四边形拟合后的椭圆区域，按如下方法确定直线特征对中每条直线特征的椭圆形特征区域：以直线特征所在的四边形边的中点为椭圆特征区域的中心，椭圆特征区域的长轴长度与短轴长度之比以及长轴方向与四边形拟合的椭圆区域的长轴与短轴长度之比以及长轴方向相同，并且椭圆特征区域的边缘需要经过该直线特征所在四边形边的两个端点；

(h)将直线特征的椭圆特征区域归一化为半径等于的圆形区域，并按直线特征方向对圆形区域进行旋转，归一化到水平方向，作为最终的特征区域；

(i)重复步骤(a)到步骤(h)直至参考影像上所有直线特征处理完毕。

根据一个优选的实施方式，在所述步骤三中，根据如下方法为每条直线特征构造相位一致性特征描述符：

(a)在特征区域内，对每个像素按式(6)计算相位一致性值：

式(6)中，(x,y)表示像素点坐标，W_κ(x,y)表示频率传播的权系数，A_sκ(x,y)表示小波变换在尺度s和方向κ上像素点(x,y)处的振幅，T表示噪声参数，ε表示一个避免分母为0的微小量，表示如果其内的值为正，则输出结果为内部计算值本身，否则输出结果为0，Δφ_sκ(x,y)为相位偏差；

按式(7)计算特征区域内每个像素的相位一致性方向：

式(7)中，β表示相位一致性方向值，κ_sκ(γ)表示在方向γ上的Log Gabor奇对称小波变换结果；

(b)将特征区域划分为4×4共16个等间隔子区域，统计每个子区域内像素的相位一致性值和方向，构建方向依次为[0°,45°,90°,135°,180°,225°,270°,315°]的8维相位一致性方向直方图；

(c)将所有16个子区域的8维相位一致性方向直方图按顺序连接构成一个完整的128维特征向量，并对该特征向量进行归一化处理得到特征描述符。

根据一个优选的实施方式，在所述步骤五中，根据如下方法进行显著直线特征匹配：

(a)对于参考影像上任一显著直线特征，按式(8)计算其特征描述符与其在待匹配影像上的所有候选同名显著直线特征的特征描述符的相似度：

式(8)中，Similarity表示特征描述符的相似度，和分别表示参考影像上直线特征L_i与待匹配影像上直线特征q_m的特征描述符，exp()表示以自然常数为底的指数函数，dist()表示计算两个向量欧氏距离的函数；

(b)在候选同名显著直线特征中找到与参考影像上显著直线特征的特征描述符相似度最大的直线特征，如果其对应的相似度大于阈值T_s，则将该参考直线特征和其对应的相似度最大的直线特征视为同名直线特征。

根据一个优选的实施方式，在所述步骤七中，根据以下方法将非显著直线特征聚类到显著直线特征类别中：

对于任一非显著直线特征G_i，计算其与所有匹配成功的显著直线特征的中点的距离，如果G_i上超过三分之二的点到某条显著直线特征S_j中点的距离最近，则将G_i聚类到以S_j为聚类中心的类别中，否则，将G_i视作两条非显著直线特征分别聚类到最相近的两个显著直线特征类别中。

根据一个优选的实施方式，在所述步骤八中，采用如同所述步骤五中显著直线特征匹配的方法，基于特征描述符相似度，以非穷举搜索的方式进行非显著直线特征匹配。

根据一个优选的实施方式，在所述步骤八中，按如下搜索策略进行同名直线特征搜索：

对于参考影像上任一非显著直线特征G_i，其聚类后所属的类别为以显著直线特征S_j为聚类中心的类别，假设在显著直线特征匹配结果中，显著直线特征S_j在待匹配影像上对应的同名显著直线特征为S'_j，则非显著直线特征G_i的同名特征搜索只在待匹配影像上以显著直线特征S'_j为聚类中心的类别中进行。

与现有技术相比，本发明提供的技术方案具有如下有益效果：

(1)本发明通过直线特征组对及核心约束，构建了对倾斜影像视角变化具有不变性的局部区域，并基于该视角不变局部区域计算直线特征的特征区域，使得计算的同名直线特征的特征区域在大视角变化情况下仍然具有很高的一致性，克服了现有其他方法因倾斜影像视角变化和直线特征长短不一难以获得影像内容一致的同名特征区域的瓶颈问题。同时，本发明方法在特征区域圆形归一化过程中基于局部不变区域的长短轴确定圆形特征区域的半径，并基于直线特征方向将圆形特征区域归一化到水平方向，使得本发明方法构造的直线特征区域同时具有视角不变性、尺度不变性和旋转不变性。因此对于同名直线特征，本发明能够获得相似度较高的特征描述符，进而提高同名直线特征的匹配正确率；

(2)本发明采用的相位一致性值和方向相对于灰度梯度或其他常用灰度统计信息能够更好地描述倾斜影像上建筑物顶面或立面等弱纹理区域，因此采用相位一致性值和方向代替现有其他方法中利用梯度或灰度统计信息构建特征描述符，得到的特征描述符显著性更强，不易混淆，进而降低了同名直线特征匹配的错误率；

(3)本发明将直线特征分为显著直线特征和非显著直线特征，并在此基础上设计了分层匹配策略，该策略避免了所有直线特征的穷举搜索，缩小了同名直线特征搜索范围，降低了其他非同名直线特征的干扰，同时提高了匹配时间效率和匹配正确率。

附图说明

图1是本发明中计算单条参考影像直线特征的候选同名直线特征示意图；

图2是本发明中参考影像直线特征组对示意图；

图3是本发明中直线对交点及核心位置关系约束示意图；

图4是本发明中构建视角不变性局部区域示意图；

图5是本发明中四边形区域椭圆拟合示意图；

图6是本发明中直线特征椭圆特征区域确定方法示意图；

图7是本发明一种视角不变局部区域约束的倾斜影像直线特征匹配方法的主要流程步骤示意图。

具体实施方式

下面结合附图对本发明进行详细的说明。

如图7所示，一种视角不变局部区域约束的倾斜影像直线特征匹配方法，该方法依次包括以下步骤：

步骤一：对参考影像和待匹配影像分别提取直线特征，并按公式(1)计算每条直线特征的特征显著性：

式(1)中，saliency表示直线特征显著性值，l表示直线特征的长度，表示直线特征上所有像素点的梯度幅值的均值，a和b表示权系数，用于控制直线特征长度和梯度幅值均值对计算特征显著性的相对重要性程度。具体实施时，参数a和b可取经验值，如a＝0.5，b＝0.5。

本发明对参考影像和待匹配影像分别提取直线特征，根据每条直线特征的特征显著性，将所有直线特征分为显著直线特征和非显著直线特征。在后续的直线特征匹配中，分别对显著直线特征和非显著直线特征进行匹配。

步骤二：利用核线关系构造视角不变局部区域，基于视角不变局部区域计算每条直线特征的特征区域。具体的是，利用核线关系构造视角不变局部区域，基于视角不变局部区域计算每条直线特征的视角、尺度和旋转不变的特征区域。

其中，计算每条直线特征的特征区域的具体方法如下：

(a)对于参考影像上任意一条直线特征L_i，计算其首尾端点在待匹配影像上对应的两条核线，在待匹配影像上寻找位于两条核线所夹范围内或至少与其中一条核线相交的直线特征作为该参考直线特征的候选直线特征，如图1所示，得到式(2)所示的L_i的候选同名直线特征集合：

式(2)中，表示参考直线特征L_i在待匹配影像上的候选同名直线特征集合，q₁,…,q_m,…,q_n表示候选同名直线特征集合中的n条候选同名直线特征。

(b)对参考直线特征L_i，如图2所示，从其两侧分别选择N条距离最近且与其夹角大于阈值T_θ的直线特征。具体实施时，参数N和T_θ可取经验值，如N＝5，T_θ＝20°。这2N条直线特征分别与参考直线特征L_i构成直线特征对，得到式(3)所示的直线特征对集合：

式(3)中，L_i表示参考影像上正在处理的直线特征，l₁,…,l_j,…,l_2N表示参考直线特征L_i两侧选取的与其进行特征组对的2N条直线特征，表示基于参考直线特征L_i构建的直线特征对集合。

(c)对参考直线特征L_i对应的待匹配影像上的候选直线特征集合中的每条直线特征q₁,…,q_m,…,q_n，进行上一步中的同样操作构造直线特征对，在待匹配影像上得到式(4)所示的L_i对应的待匹配影像直线特征对集合：

式(4)中，q₁,…,q_m,…,q_n表示参考直线特征L_i的候选同名直线特征集合中的n条直线特征，l'_m,1,…,l'_m,o,…,l'_m,2N表示从L_i的第m条候选直线特征q_m两侧选取的2N条与q_m构造直线特征对的特征。

(d)对于参考直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，如图3所示，计算其直线交点以及交点在待匹配影像上的核线，计算待匹配影像上候选直线特征对集合中每对直线特征的交点到该核线的垂直距离，如果距离小于阈值T_d，则将该直线特征对作为参考影像上直线特征对(L_i,l_j)的候选同名直线特征对。具体实施时，阈值T_d可取经验值，如T_d＝5。通过此操作，对于参考影像直线特征L_i构成的每个直线特征对(L_i,l_j)，在待匹配影像上都得到了一个候选同名直线特征对集合

(e)对于参考影像上直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，如图4所示，利用其四个直线段端点在参考影像上构造一个四边形区域R_ij。同时，计算四个端点在待匹配影像上对应的核线，在待匹配影像上，这四条核线与(L_i,l_j)的候选直线特征对集合中的每个直线特征对(q_m,l'_m,k)相交形成一个与R_ij对应的四边形区域如果(L_i,l_j)与(q_m,l'_m,k)是一对同名直线特征对，那么理论上R_ij与将是一对具有视角不变性的同名局部四边形区域。

(f)对于参考影像上直线特征L_i构建的所有四边形区域R_ij及其在待匹配影像上的候选同名直线特征构建的所有四边形区域按式(5)将四边形区域拟合为如图5所示的椭圆形区域：

式(5)中，w₁表示椭圆长轴长度，w₂表示椭圆短轴长度，α表示椭圆长轴方向，v表示四边形区域的零阶中心矩，μ₁₁,μ₀₂,μ₂₀表示四边形区域的二阶中心矩元素，λ₁和λ₂表示四边形区域二阶中心矩的特征值，其中λ₁≥λ₂。

(g)基于以上四边形拟合的椭圆区域，如图6所示，按如下方法确定直线特征对中每条直线特征的椭圆形特征区域：

以直线特征所在的四边形边的中点为椭圆特征区域的中心，椭圆特征区域的长轴长度与短轴长度之比以及长轴方向与四边形拟合的椭圆区域的长轴与短轴长度之比以及长轴方向相同，并且椭圆特征区域的边缘(椭圆形)需要经过该直线特征所在四边形边的两个端点。

(h)将直线特征的椭圆特征区域归一化为半径等于的圆形区域，并按直线特征方向对圆形区域进行旋转，归一化到水平方向，作为最终的特征区域。由于四边形局部区域具有视角不变性，同时基于视角不变区域的长短轴确定圆形特征区域半径并进行方向归一化处理，因此最终得到的圆形特征区域具有视角不变性、尺度不变性和旋转不变性。

(i)重复步骤(a)到步骤(i)直到参考影像上所有直线特征处理完毕。

步骤三：对每条直线特征，在步骤二所得的特征区域内计算相位一致性值和方向，为每条直线特征构造相位一致性特征描述符。即构建基于相位一致性值和相位一致性方向的直线特征描述符。其具体方法如下：

(a)在特征区域内，对每个像素按式(6)计算相位一致性值，按式(7)计算相位一致性方向：

式(6)中，(x,y)表示像素点坐标，W_κ(x,y)表示频率传播的权系数，A_sκ(x,y)表示小波变换在尺度s和方向κ上像素点(x,y)处的振幅，T表示噪声参数，ε表示一个避免分母为0的微小量，表示如果其内的值为正，则输出结果为内部计算值本身，否则输出结果为0，Δφ_sκ(x,y)为相位偏差。

式(7)中，β表示相位一致性方向值，κ_sκ(γ)表示在方向γ上的Log Gabor奇对称小波变换结果。

(b)将特征区域划分为4×4共16个等间隔子区域，统计每个子区域内像素的相位一致性值和方向，构建方向为[0°,45°,90°,135°,180°,225°,270°,315°]的8维相位一致性方向直方图。

(c)将所有16个子区域的8维相位一致性方向直方图按顺序连接构成一个完整的128维特征向量，并对该特征向量进行归一化处理得到特征描述符。

步骤四：根据每条直线特征的特征显著性，将显著性值最大的前t％的直线特征作为显著直线特征，其余直线特征作为非显著直线特征。具体实施时，参数t可取经验值，如t％＝20％。

步骤五：进行显著直线特征匹配。其具体方法如下：

(a)对于参考影像上任一显著直线特征，按式(8)计算其特征描述符与其在待匹配影像上的所有候选同名显著直线特征的特征描述符的相似度：

式(8)中，Similarity表示特征描述符的相似度，和分别表示参考影像上直线特征L_i与待匹配影像上直线特征q_m的特征描述符，exp()表示以自然常数为底的指数函数，dist()表示计算两个向量欧氏距离的函数。

(b)在候选同名显著直线特征中找到与参考影像上显著直线特征的特征描述符相似度最大的直线特征，如果其对应的相似度大于阈值T_s，则将该参考直线特征和其对应的相似度最大的直线特征视为同名直线特征。具体实施时，参数T_s可取经验值，如T_s＝0.9。

步骤六：将显著直线特征中未匹配成功的直线特征归入非显著直线特征中。

步骤七：(非显著直线特征聚类)分别在参考影像和待匹配影像上以匹配成功的显著直线特征为聚类中心，将非显著直线特征聚类到显著直线特征类别中。

聚类规则如下：对于任一非显著直线特征G_i，计算其与所有匹配成功的显著直线特征中点的距离，如果G_i上超过三分之二的点到某条显著直线特征S_j中点的距离最近，则将G_i聚类到以S_j为聚类中心的类别中，否则，将G_i视作两条非显著直线特征分别聚类到最相近的两个显著直线特征类别中。

步骤八：(非显著直线特征匹配)采用如同显著直线特征匹配的方法，基于特征描述符相似度进行非显著直线特征匹配，但是非显著直线特征匹配的搜索策略不是穷举搜索，而是按如下搜索策略进行同名直线特征搜索：

对于参考影像上任一非显著直线特征G_i，其聚类后所属的类别为以显著直线特征S_j为聚类中心的类别，假设在显著直线特征匹配结果中，显著直线特征S_j在待匹配影像上对应的同名显著直线特征为S'_j，则非显著直线特征G_i的同名特征搜索只在待匹配影像上以显著直线特征S'_j为聚类中心的类别中进行。

该非显著直线特征搜索策略相对于传统的穷举搜索策略，不但能减小同名特征搜索范围，提高搜索速度，同时能够排除其他特征的干扰，提高匹配正确率。

本发明通过直线特征组对及核心约束，构建了对倾斜影像视角变化具有不变性的局部区域，并基于该视角不变局部区域计算直线特征的特征区域，使得计算的同名直线特征的特征区域在大视角变化情况下仍然具有很高的一致性，克服了现有其他方法因倾斜影像视角变化和直线特征长短不一难以获得影像内容一致的同名特征区域的瓶颈问题。同时，本发明方法在特征区域圆形归一化过程中基于局部不变区域的长短轴确定圆形特征区域的半径，并基于直线特征方向将圆形特征区域归一化到水平方向，使得本发明方法构造的直线特征区域同时具有视角不变性、尺度不变性和旋转不变性。因此对于同名直线特征，本发明能够获得相似度较高的特征描述符，进而提高同名直线特征的匹配正确率；

另外，本发明采用的相位一致性值和方向相对于灰度梯度或其他常用灰度统计信息能够更好地描述倾斜影像上建筑物顶面或立面等弱纹理区域，因此采用相位一致性值和方向代替现有其他方法中利用梯度或灰度统计信息构建特征描述符，得到的特征描述符显著性更强，不易混淆，进而降低了同名直线特征匹配的错误率；

此外，本发明将直线特征分为显著直线特征和非显著直线特征，并在此基础上设计了分层匹配策略，该策略避免了所有直线特征的穷举搜索，缩小了同名直线特征搜索范围，降低了其他非同名直线特征的干扰，同时提高了匹配时间效率和匹配正确率。

需要注意的是，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

另外，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (8)

1.一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，所述方法依次包括以下步骤：

步骤一：对参考影像和待匹配影像分别提取直线特征，并计算每条直线特征的特征显著性；

步骤二：利用核线关系构造视角不变局部区域，基于视角不变局部区域计算所述步骤一得到的每条直线特征的特征区域；

步骤三：对每条直线特征，在所述步骤二所得的特征区域内计算相位一致性值和方向，为每条直线特征构造相位一致性特征描述符；

步骤四：根据所述步骤一计算的每条直线特征的特征显著性，将所有直线特征中显著性值最大的前t％的直线特征作为显著直线特征，其余直线特征作为非显著直线特征；

步骤五：基于所述步骤三得到的特征描述符计算特征相似性对所述步骤四得到的显著直线特征进行匹配；

步骤六：将所述步骤五显著直线特征匹配结果中未匹配成功的显著直线特征归入非显著直线特征中；

步骤七：分别在参考影像和待匹配影像上以所述步骤五得到的匹配成功的显著直线特征为聚类中心，将非显著直线特征聚类到显著直线特征类别中；

步骤八：基于所述步骤七的聚类结果，采用非穷举搜索的方式，进行非显著直线特征匹配。

2.根据权利要求1所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤一中，按公式(1)计算每条直线特征的特征显著性：

式(1)中，saliency表示直线特征显著性值，l表示直线特征的长度，表示直线特征上所有像素点的梯度幅值的均值，a和b表示权系数，用于控制直线特征长度和梯度幅值均值对计算特征显著性的相对重要性程度。

3.根据权利要求1所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤二中，根据如下方法计算每条直线特征的特征区域：

(a)对于参考影像上任意一条直线特征L_i，计算其首尾端点在待匹配影像上对应的两条核线，在待匹配影像上寻找位于两条核线所夹范围内或至少与其中一条核线相交的直线特征作为该参考直线特征的候选直线特征，得到式(2)所示的L_i的候选同名直线特征集合：

式(2)中，表示参考直线特征L_i在待匹配影像上的候选同名直线特征集合，q₁,…,q_m,…,q_n表示候选同名直线特征集合中的n条候选同名直线特征；

(b)对参考影像直线特征L_i，从其两侧分别选择N条距离最近且与其夹角大于阈值T_θ的直线特征，这2N条直线特征分别与参考直线特征L_i构成直线特征对，得到式(3)所示的直线特征对集合：

式(3)中，L_i表示参考影像上正在处理的直线特征，l₁,…,l_j,…,l_2N表示参考直线特征L_i两侧选取的与其进行特征组对的2N条直线特征，表示基于参考直线特征L_i构建的直线特征对集合；

(c)对参考直线特征L_i对应的待匹配影像上的候选直线特征集合中的每条直线特征q₁,…,q_m,…,q_n，进行步骤(b)中的同样操作构造直线特征对，在待匹配影像上得到式(4)所示的L_i对应的待匹配影像直线特征对集合：

式(4)中，q₁,…,q_m,…,q_n表示参考直线特征L_i的候选同名直线特征集合中的n条直线特征，l'_m,1,…,l'_m,o,…,l'_m,2N表示从L_i的第m条候选直线特征q_m两侧选取的2N条与q_m构造直线特征对的特征；

(d)对于参考直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，计算其直线交点以及交点在待匹配影像上的核线，计算待匹配影像上候选直线特征对集合中每对直线特征的交点到该核线的垂直距离，如果距离小于阈值T_d，则将该直线特征对作为参考影像上直线特征对(L_i,l_j)的候选同名直线特征对，从而对参考影像直线特征L_i构成的每个直线特征对(L_i,l_j)，在待匹配影像上都得到了一个候选同名直线特征对集合

(e)对于参考影像上直线特征L_i构建的直线特征对集合中的每个直线特征对(L_i,l_j)，利用其四个直线段端点在参考影像上构造一个四边形区域R_ij；同时，计算四个端点在待匹配影像上对应的核线，在待匹配影像上，这四条核线与(L_i,l_j)的候选直线特征对集合中的每个直线特征对(q_m,l'_m,k)相交形成一个与R_ij对应的四边形区域

(f)对于参考影像上直线特征L_i构建的所有四边形区域R_ij及其在待匹配影像上的候选同名直线特征构建的所有四边形区域按式(5)将四边形区域拟合为椭圆形区域：

式(5)中，w₁表示椭圆长轴长度，w₂表示椭圆短轴长度，α表示椭圆长轴方向，v表示四边形区域的零阶中心矩，μ₁₁,μ₀₂,μ₂₀表示四边形区域的二阶中心矩元素，λ₁和λ₂表示四边形区域二阶中心矩的特征值，其中λ₁≥λ₂；

(g)基于步骤(f)的四边形拟合的椭圆区域，按如下方法确定直线特征对中每条直线特征的椭圆形特征区域：以直线特征所在的四边形边的中点为椭圆特征区域的中心，椭圆特征区域的长轴长度与短轴长度之比以及长轴方向与四边形拟合的椭圆区域的长轴与短轴长度之比以及长轴方向相同，并且椭圆特征区域的边缘需要经过该直线特征所在四边形边的两个端点；

(h)将直线特征的椭圆特征区域归一化为半径等于的圆形区域，并按直线特征方向对圆形区域进行旋转，归一化到水平方向，作为最终的特征区域；

(i)重复步骤(a)到步骤(h)直至参考影像上所有直线特征处理完毕。

4.根据权利要求1所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤三中，根据如下方法为每条直线特征构造相位一致性特征描述符：

(a)在特征区域内，对每个像素按式(6)计算相位一致性值：

式(6)中，(x,y)表示像素点坐标，W_κ(x,y)表示频率传播的权系数，A_sκ(x,y)表示小波变换在尺度s和方向κ上像素点(x,y)处的振幅，T表示噪声参数，ε表示一个避免分母为0的微小量，表示如果其内的值为正，则输出结果为内部计算值本身，否则输出结果为0，Δφ_sκ(x,y)为相位偏差；

按式(7)计算相位一致性方向：

式(7)中，β表示相位一致性方向值，κ_sκ(γ)表示在方向γ上的Log Gabor奇对称小波变换结果；

(b)将特征区域划分为4×4共16个等间隔子区域，统计每个子区域内像素的相位一致性值和方向，构建方向依次为[0°,45°,90°,135°,180°,225°,270°,315°]的8维相位一致性方向直方图；

(c)将所有16个子区域的8维相位一致性方向直方图按顺序连接构成一个完整的128维特征向量，并对该特征向量进行归一化处理得到特征描述符。

5.根据权利要求1所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤五中，根据如下方法进行显著直线特征匹配：

(a)对于参考影像上任一显著直线特征，按式(8)计算其特征描述符与其在待匹配影像上的所有候选同名显著直线特征的特征描述符的相似度：

式(8)中，Similarity表示特征描述符的相似度，和分别表示参考影像上直线特征L_i与待匹配影像上直线特征q_m的特征描述符，exp()表示以自然常数为底的指数函数，dist()表示计算两个向量欧氏距离的函数；

(b)在候选同名显著直线特征中找到与参考影像上显著直线特征的特征描述符相似度最大的直线特征，如果其对应的相似度大于阈值T_s，则将该参考直线特征和其对应的相似度最大的直线特征视为同名直线特征。

6.根据权利要求1所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤七中，根据以下方法将非显著直线特征聚类到显著直线特征类别中：

对于任一非显著直线特征G_i，计算其与所有匹配成功的显著直线特征中点的距离，如果G_i上超过三分之二的点到某条显著直线特征S_j中点的距离最近，则将G_i聚类到以S_j为聚类中心的类别中，否则，将G_i视作两条非显著直线特征分别聚类到最相近的两个显著直线特征类别中。

7.根据权利要求5所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

在所述步骤八中，采用如同所述步骤五中显著直线特征匹配的方法，基于特征描述符相似度，以非穷举搜索的方式进行非显著直线特征匹配。

8.根据权利要求7所述的一种视角不变局部区域约束的倾斜影像直线特征匹配方法，其特征在于，

按如下搜索策略进行同名直线特征搜索：

对于参考影像上任一非显著直线特征G_i，其聚类后所属的类别为以显著直线特征S_j为聚类中心的类别，假设在显著直线特征匹配结果中，显著直线特征S_j在待匹配影像上对应的同名显著直线特征为S'_j，则非显著直线特征G_i的同名特征搜索只在待匹配影像上以显著直线特征S'_j为聚类中心的类别中进行。