CN113095384B - 一种基于直线段上下文特征的遥感图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于直线段上下文特征的遥感图像匹配方法，属于图像特征提取和匹配技术领域。本发明包括以下步骤：分别提取参考图像和待匹配图像中的显著直线结构，分解为直线段作为匹配基元；对于每一条直线段，分别构造直线段上下文特征描述符对其进行描述，通过对比参考图像和待匹配图像中各直线段描述符的相似度进行初步匹配；特征迭代匹配；根据迭代匹配结果计算图像间的转换矩阵，进行一致性检验消除异常匹配点对，得到最终匹配结果。本发明能够有效克服多源遥感图像间尺度变化导致的特征描述不准确的问题，在只考虑图像中显著直线结构进行匹配的情况下，对于存在较大背景信息变化的多源遥感图像也能取得较好的匹配效果。

Description

一种基于直线段上下文特征的遥感图像匹配方法

技术领域

本发明属于图像特征提取和匹配技术领域，具体涉及一种基于直线段上下文特征的遥感图像匹配方法。

背景技术

多源遥感图像匹配是遥感图像处理的重要研究内容。由于多源遥感图像是由不同的成像设备在不同成像条件获取，存在分辨率、时相、拍摄视角，甚至背景内容等差异，这些差异为多源遥感图像的匹配任务带来了严峻的挑战。

基于特征的匹配方法是目前常用的多源遥感图像匹配方法，该方法从两幅图像中提取图像特征作为匹配基元来确定参考图像和待匹配图像之间的对应关系。最具代表性的特征匹配算法是Lowe提出的SIFT算法(D.G.Lowe,Distinctive Image Features fromScale-Invariant Keypoints,International Journal ofComputerVision 60(2)(2004)91-110.)，该算法在自然图像匹配中得到了广泛的应用，但是多源遥感图像因成像条件的不同，图像对应区域之间往往存在明显的灰度和纹理差异，因此学者们结合多源遥感图像的特点，对经典的SIFT算法进行了诸多改进工作。

经典的SIFT算法及其改进算法大多使用点特征及其局部特征描述符实现图像匹配，对于具有显著灰度变化的多源遥感图像的匹配效果不佳。为了获得更加稳定的特征匹配效果，近年来，学者们提出采用轮廓特征或线特征实现多源遥感图像匹配。Wang等人(Z.Wang,F.Wu,Z.Hu,MSLD:Arobust descriptorfor line matching,PatternRecognition42(5)(2009)941-953.)构建了一种平均标准差直线描述符(mean-standard deviation line descriptor,MSLD)用于匹配图像中的直线特征。López等人(J.López,R.Santos，X.R.Fdez-Vidal，X.M.Pardo,Two-view line matching algorithmbased on context and appearance in low-textured images,Pattern Recognition48(7)(2015)2164-2184.)结合表观特征和上下文特征，提出了一种迭代式的直线匹配方法。Shi等人(X.Shi,J.Jiang,Automatic Registration Method for Optical RemoteSensing Images with Large BackgroundVariations Using Line Segments,RemoteSensing 8(5)(2016)426-447.)以多源遥感图像中的直线段为基元，利用线特征之间的几何位置关系构造了一种有效的直线段描述符。虽然上述方法提供了一些直线特征描述和匹配的策略，但是没有考虑多源遥感图像中直线特征检测本身的困难，其直线检测结果可能出现漏检或直线检测不完整的情况，导致直线特征描述不够准确。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服现有技术中的缺陷，提供一种基于直线段上下文特征的遥感图像匹配方法，适用于存在较大背景信息变化的多源遥感图像匹配。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于直线段上下文特征的遥感图像匹配方法，包括以下步骤：

步骤1、分别提取参考图像和待匹配图像中的显著直线结构，并将其分解为直线段作为匹配基元；

步骤2、对于两幅图像中的每一条直线段，分别构造一种直线段上下文特征描述符对其进行描述，通过对比参考图像和待匹配图像中各直线段描述符的相似度进行初步匹配；

步骤3、特征迭代匹配，根据上一次匹配结果计算图像间的尺度比，并依据尺度比重新提取待匹配图像中的直线段；对于待匹配图像中的每一条直线段，再次计算其直线段上下文描述符，并与参考图像中的直线段进行匹配，判断匹配结果是否满足给定要求，若不满足，则跳转到步骤3继续执行迭代匹配过程，若满足，则跳出迭代匹配过程；

步骤4、根据迭代匹配的结果计算图像间的转换矩阵，并进行一致性检验以消除异常匹配的直线段，得到最终匹配结果。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)鉴于多源遥感图像是由不同的成像设备在不同成像条件获取，存在分辨率、时相、拍摄视角，甚至背景内容等差异，会对多源遥感图像的匹配造成影响，而现有的匹配方法不能很好的解决这些问题，本发明提供的一种基于直线段上下文特征的遥感图像匹配方法，采用多源遥感图像中的直线段作为匹配基元，比点特征具有更好的稳定性，同时引入的直线段上下文特征描述符对多源遥感图像之间的旋转、尺度及背景信息变化具有较好的鲁棒性，能够对存在较大背景信息变化的多源遥感图像进行良好的匹配。

(2)本发明提供的一种基于直线段上下文特征的遥感图像匹配方法，在利用直线段作为匹配基元，并引入的直线段上下文特征描述符对多源遥感图像进行匹配的同时，引入迭代式的特征提取和匹配方法，能够有效克服多源遥感图像间尺度变化导致的特征描述不准确的问题，大大地提高了多源遥感图像匹配的精确度，使存在较大背景信息变化的多源遥感图像能够得到精确匹配。

附图说明

图1为本发明实施例的遥感图像匹配的流程示意图；

图2为本发明实施例的直线段上下文特征描述符的构造示意图。

具体实施方式

鉴于多源遥感图像是由不同的成像设备在不同成像条件获取，存在分辨率、时相、拍摄视角，甚至背景内容等差异，会对多源遥感图像的匹配造成影响，而现有的匹配方法不能很好的解决这些问题，本发明提供的一种基于直线段上下文特征的遥感图像匹配方法，采用多源遥感图像中的直线段作为匹配基元，比点特征具有更好的稳定性，同时引入的直线段上下文特征描述符对多源遥感图像之间的旋转、尺度及背景信息变化具有较好的鲁棒性。同时引入迭代式的特征提取和匹配方法，能够有效克服多源遥感图像间尺度变化导致的特征描述不准确的问题，大大地提高了多源遥感图像匹配的精确度，使存在较大背景信息变化的多源遥感图像能够得到精确匹配。

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例

结合图1，本实施例的一种基于直线段上下文特征的遥感图像匹配方法，包括以下步骤：

步骤1、分别提取参考图像和待匹配图像中的显著直线结构，并将其分解为直线段作为匹配基元。

提取图像中匹配基元的具体过程如下：

步骤1-1、对于参考图像和待匹配图像，采用EDLines算法分别提取两幅图像中的显著直线结构，并设定长度阈值L_th，去除其中较短的直线结构。其中阈值L_th范围为lm～1.2lm，lm为该图像中所有直线结构长度的中位值。

步骤1-2、对于步骤1-1中保留的直线结构，进一步以L_th为阈值将其分解为长度较短的直线段作为匹配基元。

步骤2、对于两幅图像中的每一条直线段，分别构造一种直线段上下文特征描述符对其进行描述，通过对比参考图像和待匹配图像中各直线段描述符的相似度进行初步匹配。

计算直线段上下文特征描述直方图的具体过程为：

步骤2-1、由步骤1-2可得图像中的直线段集合，记为L＝{l₁,l₂,…,l_m}。其中，m为提取的直线段的个数。如图2所示，对于集合中的一条直线段l_i，其相对于直线段l_j的位置和姿态可表示为

其中，θ_ji为两条直线段中点连线与l_j的夹角，

为两条直线段之间的夹角。

步骤2-2、对于所有的l_i(i＝1,2,…,m；i≠j)，计算描述向量v_ji，则直线段l_j与其它直线段的关系可描述为V_j＝{v_j1,v_j2,…,v_jm}。

步骤2-3、将θ的取值范围0,2π)均匀划分为8个角度区间，

的取值范围0,π)均匀划分为4个角度区间，计算V_j的直方图描述如下：

其中，

为直方图中第k个元素值，bin(k)为第k个角度区间，K为直方图维数。直方图

即为l_j的直线段上下文特征描述符。

直线段描述符的相似度定义如公式(2)，

其中，s_i1为参考图像集合中的一条直线段，s_j1为待匹配图像集合中的一条直线段；通过上式可计算出参考图像和待匹配图像中各对直线段之间的相似度，进一步采用双向匹配法可筛选出两幅图像中对应匹配的直线段；设从参考图像和待匹配图像中提取的直线段集合分别为

和

m1和n₁分别为两幅图像中检测到的直线段个数，只有当直线段s_j1在参考图像中与直线段s_i1的相似度最高，同时直线段s_i1在待匹配图像中与直线段s_j1的相似度也最高时，才将s_i1和s_j1选定为对应匹配的直线段。

步骤3、特征迭代匹配，根据上一次匹配结果计算图像间的尺度比，并依据尺度比重新提取待匹配图像中的直线段；对于待匹配图像中的每一条直线段，再次计算其直线段上下文描述符，并与参考图像中的直线段进行匹配，判断匹配结果是否满足给定要求，若不满足，则跳转到步骤3继续执行迭代匹配过程，若满足，则跳出迭代匹配过程。

特征迭代匹配的具体过程为：

步骤3-1、根据上一次匹配结果计算待匹配图像和参考图像之间的尺度比，记为r^{t 黌1}。

步骤3-2、根据尺度比r^t黌1重新设定待匹配图像的长度阈值如下：

其中，

为步骤1中参考图像的长度阈值，

为重新计算的待匹配图像的长度阈值。进一步以重新计算的

为阈值将待匹配图像中提取的直线结构分解为长度较短的直线段作为新的匹配基元。

步骤3-3、对于待匹配图像中的每一条直线段，再次计算其直线段上下文特征描述符，并与参考图像中的直线段进行匹配。

步骤3-4、根据步骤3-3的匹配结果计算待匹配图像和参考图像之间的尺度比，记为r^t。计算尺度比变化率如下：

步骤3-5、判断最新的匹配结果是否满足给定要求，当0.9＜T＜1.1或迭代次数大于5时，视为满足给定要求，跳出迭代匹配过程，否则跳转到步骤3-1继续执行迭代匹配过程。

步骤4、根据迭代匹配的结果计算图像间的转换矩阵，并进行一致性检验以消除异常匹配的直线段，得到最终匹配结果。

消除异常匹配的直线段的具体过程为：

步骤4-1、假设参考图像和待匹配图像之间的变换关系满足仿射变换模型，根据最后一次迭代匹配的结果计算图像之间的转换矩阵；

步骤4-2、进行一致性检验，从最后一次迭代匹配的结果中剔除与转换矩阵所描述的变换关系不符的匹配直线段，得到最终匹配结果。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.一种基于直线段上下文特征的遥感图像匹配方法，其特征在于，包括以下步骤：

步骤1、分别提取参考图像和待匹配图像中的显著直线结构，并将其分解为直线段作为匹配基元；

步骤2、对于两幅图像中的每一条直线段，分别构造直线段上下文特征描述符对其进行描述，通过对比参考图像和待匹配图像中各直线段上下文特征描述符的相似度进行初步匹配；

步骤3、特征迭代匹配，根据上一次匹配结果计算图像间的尺度比，并依据尺度比重新提取待匹配图像中的直线段；对于待匹配图像中的每一条直线段，再次计算其直线段上下文特征描述符，并与参考图像中的直线段进行匹配，判断匹配结果是否满足给定要求，若不满足，则跳转到步骤3继续执行迭代匹配过程，若满足，则跳出迭代匹配过程；

步骤4、根据迭代匹配的结果计算图像间的转换矩阵，并进行一致性检验以消除异常匹配的直线段，得到最终匹配结果；

所述的步骤1包括以下步骤：

步骤1-1、对于参考图像和待匹配图像，采用EDLines算法分别提取两幅图像中的显著直线结构，并设定长度阈值L_th，去除其中较短的直线结构，其中阈值L_th范围为lm～1.2lm，lm为该图像中所有直线结构长度的中位值；

步骤1-2、对于步骤1-1中保留的直线结构，进一步以L_th为阈值将其分解为长度较短的直线段作为匹配基元；

在所述步骤2中，计算直线段上下文特征描述符的具体过程为：

步骤2-1、由步骤1-2可得图像中的直线段集合，记为L＝{l₁,l₂,…,l_m}；其中，m为提取的直线段的个数；对于集合中的一条直线段l_i，其相对于直线段l_j的位置和姿态可表示为

其中，θ_ji为两条直线段中点连线与l_j的夹角，

为两条直线段之间的夹角；

步骤2-2、对于所有的l_i，计算描述向量v_ji，则直线段l_j与其它直线段的关系可描述为V_j＝{v_j1,v_j2,…,v_jm}；其中，i＝1,2,...m；i≠j；

步骤2-3、将θ的取值范围(0,2π)均匀划分为8个角度区间，

的取值范围(0,π)均匀划分为4个角度区间，计算V_j的直方图描述如公式(1)，

其中，

为直方图中第k个元素值，bin(k)为第k个角度区间，K为直方图维数；直方图h_lj即为l_j的直线段上下文特征描述符；

在所述步骤3中，特征迭代匹配的具体过程为：

步骤3-1、根据上一次匹配结果计算待匹配图像和参考图像之间的尺度比，记为r^t-1；

步骤3-2、根据尺度比r^t-1重新设定待匹配图像的长度阈值如公式(3)，

其中，

为步骤1中参考图像的长度阈值，

为重新计算的待匹配图像的长度阈值；进一步以重新计算的

为阈值将待匹配图像中提取的直线结构分解为长度较短的直线段作为新的匹配基元；

步骤3-3、对于待匹配图像中的每一条直线段，再次计算其直线段上下文特征描述符，并与参考图像中的直线段进行匹配；

步骤3-4、根据步骤3-3的匹配结果计算待匹配图像和参考图像之间的尺度比，记为r^t；计算尺度比变化率如公式(4)，

步骤3-5、判断最新的匹配结果是否满足给定要求，当0.9＜T＜1.1或迭代次数大于5时，视为满足给定要求，跳出迭代匹配过程，否则跳转到步骤3-1继续执行迭代匹配过程。

2.根据权利要求1所述的一种基于直线段上下文特征的遥感图像匹配方法，其特征在于，在所述步骤2中，直线段描述符的相似度定义如公式(2)，

其中，s_i1为参考图像集合中的一条直线段，s_j1为待匹配图像集合中的一条直线段；通过上式可计算出参考图像和待匹配图像中各对直线段之间的相似度，进一步采用双向匹配法可筛选出两幅图像中对应匹配的直线段；设从参考图像和待匹配图像中提取的直线段集合分别为

和

m1和n₁分别为两幅图像中检测到的直线段个数，只有当直线段s_j1在参考图像中与直线段s_i1的相似度最高，同时直线段s_i1在待匹配图像中与直线段s_j1的相似度也最高时，才将s_i1和s_j1选定为对应匹配的直线段。

3.根据权利要求2所述的一种基于直线段上下文特征的遥感图像匹配方法，其特征在于，所述步骤4包括以下步骤：

步骤4-1、假设参考图像和待匹配图像之间的变换关系满足仿射变换模型，根据最后一次迭代匹配的结果计算图像之间的转换矩阵；

步骤4-2、进行一致性检验，从最后一次迭代匹配的结果中剔除与转换矩阵所描述的变换关系不符的匹配直线段，得到最终匹配结果。

Images