CN112288784A - 一种描述子邻域自适应的弱纹理遥感影像配准方法 - Google Patents

Abstract

本发明公开了一种弱纹理遥感影像配准方法，分为混合空间生成与特征提取、描述子构建、匹配及融合等三部分。首先，实现双域混合影像空间构建，即采用双边滤波建立空间域尺度空间，通过加权最小二乘滤波融合相位一致性计算建立频率域尺度空间，最后将两个影像空间结果合并成双域混合影像空间，并在该混合空间中采用FAST算法提取特征点。其次，构建邻域自适应的对数极坐标描述子，先构建对数归一化强度指标，用于自适应确立描述子的邻域窗口，通过这些邻域窗口得到不同特征点的极坐标描述子。最后，采用欧氏距离进行最近邻特征点匹配并利用快速样本共识算法剔除误匹配，最终计算出的影像变换矩阵进行融合，完成影像配准。

Description

一种描述子邻域自适应的弱纹理遥感影像配准方法

技术领域

本发明属于遥感影像处理方法，具体涉及一种混合空间特征提取与描述子邻域自适应的弱纹理遥感影像配准方法。

背景技术

弱纹理遥感影像通常是指如水域、沙漠、森林和雪地等特征不显著区域所获取的影像，该区域一般具有反射率较低，相邻像素点相似度高，区域间差异不明显等特点。此类影像往往难以检测甚至不存在角点、边界以及局部极值点等显著的纹理特征，导致弱纹理遥感影像配准存在同名点提取较少，配准难度大，甚至一些情况下直接配准失败等问题。但弱纹理遥感影像在自然灾害评估、救灾搜索、变化检测、图像拼接、空中三角测量及三维重建等领域又发挥着重要作用。故对此展开研究十分必要。

随着计算机视觉、图像处理技术的不断发展，遥感影像配准方法大致可以分为三类，即基于区域的方法、基于特征的方法和基于深度学习的方法。基于区域的配准方法主要采用域变换后的原始像素强度或信息进行相似性度量来配准两幅影像。借助预定义的滑动窗口或整个影像来实现的，而不试图检测任何显著对象。基于特征的方法首先从两幅影像中检测出显著的特征，然后在局部影像描述符下建立可靠的对应关系。基于深度学习的方法则主要是将深度学习技术应用于图像信息表示、相似性度量和参数回归等领域，近年来得到了快速发展。因此，上述三类方法都有不同的适应场景。然而，当前基于弱纹理特征的研究主要集中在弱纹理目标检测、立体匹配及定位等方面。诸如：局部对称性特征点检测、边界匹配、特征描述子优化以及基于宽基线弱纹理匹配等方法。尽管在弱纹理影像配准中具有一定的效果，但受制于算法复杂度与鲁棒性的影响，在弱纹理遥感影像配准依然存在较大困难。

综上所述，弱纹理遥感影像仍然面临(弱纹理遥感像的特征点提取难度大，和描述子描述不稳健等)两方面的挑战。基于此，本发明提出了一种混合空间特征提取与描述子邻域自适应的弱纹理遥感影像配准方法，来实现弱纹理遥感影像的有效配准。

发明内容

本发明提出一种混合空间特征提取与描述子邻域自适应弱纹理遥感影像配准方法，用来解决弱纹理遥感影像的配准问题。

本发明所采用的技术方案是：混合空间特征提取与描述子邻域自适应的弱纹理遥感影像配准方法，包括以下步骤：

步骤1：初始化弱纹理遥感影像配准的计算参数，将双域混合影像空间构建过程分为影像双域解算和双域混合影像空间集成两部分。

步骤2：通过双边滤波计算影像的空间域特征，利用相位一致性计算获取影像的频率域特征，输出解算结果。

步骤3：利用加权最小二乘滤波计算双域特征信息，推导双域混合空间之间的关系。依次完成对应图层的双域混合影像空间的计算，输出最终弱纹理遥感影像双域混合空间结果。

步骤4：利用低通巴特沃斯滤波计算弱纹理遥感影像空间在梯度和方向上的变化，获取双域混合影像的梯度和幅度。

步骤5：利用FAST算法提取初始弱纹理遥感影像的特征点，通过设置特征点检测阈值确定最终特征点集。

步骤6：构建对数归一化影像强度值指标，计算特征描述子的自适应邻域。

步骤7：根据获取的自适应邻域，计算每个特征点的对数极坐标描述子，输出特征点的描述子向量集。

步骤8：采用欧氏距离进行最近邻匹配，通过快速样本共识算法剔除粗差，并利用剔除粗差后的影像转换矩阵完成弱纹理遥感影像的配准。

作为优选，步骤1中对于双域混合影像空间，在尺度空间构建过程中，主要涉有加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数以及描述子的初始邻域范围大小等参数需要完成初始化。根据大量的实验经验，将加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数以及描述子的初始邻域范围大小分别设置为0.8、0.8、3和12。

作为优选，步骤2中，影像空间域和频率域信息的提取。影像空间域特征通过双边滤波推导，频率域特征采用相位一致性测度推导。从而为构建混合影像空间提数据。其中，双边滤波和相位一致性测度的定义如公式(1)和(2)所示：

式(1)中，BLF(g)_p表示双边滤波处理后的结果；g是影像；下标p和q表示像素的空间位置；核函数Gσ_s和Gσ_r是高斯函数，其中σ_s确定空间支撑度，而σ_r控制对边缘的敏感度。式(2)中，PC(x,y)表示影像的相位一致性测度结果；w_O(x,y)表示加权函数；A_SO(x,y)表示振幅分量；S表示尺度；O表示卷积方向；ξ表示一个极小值；

表示封闭数量为负数时取零；ΔΦ_SO(x,y)表示相位偏差函数；T表示噪声补偿项。

作为优选，步骤3中双域混合空间之间的关系的推导，计算公式如(3)所示：

式(3)中，D_HS表示弱纹理遥感影像集合；PC_i表示第i层WLS的相位一致性测度结果；WLS表示加权最小二乘滤波函数；P表示图层数；max(PC_i)表示第i层的最大测度值；min(PC_i)表示第i层的最小测度值。其中WLS函数的公式如(4)所示。

式(4)中，WLS表示加权最小二乘滤波处理后的结果；PC_i表示第i层WLS的相位一致性测度结果；a_x,p(g)和a_y,p(g)分别表示影像在x和y方向上的平滑权重；l表示输入影像的对数亮度通道；指数α决定了影像梯度的敏感度；ε表示一个小常数(通常为0.0001)；A_x和A_y分别表示包含平滑权重和的对角矩阵，而矩阵D_x和D_y表示离散微分算子；λ表示影像的平滑因子。

作为优选，步骤4中低通巴特沃斯滤波的计算表达式如式(5)所示：

式(5)中，LPB_(rows,cols)表示低通巴特沃斯滤波计算结果；D(u,v)表示距离范围，u和v分别表示距离范围的行列大小，cutoff表示滤波器的截止频率，n表示滤波器的阶数。

作为优选，步骤6的具体实现包括，

首先，对特征点的强度值进行对数归一化操作，计算出每个特征点的对数归一化强度值，其公式如(6)所示：

式(5)中，P_intensity表示特征点P的强度值；V_max表示对数强度值的最大值；V_min表示对数强度值的最小值；

表示第i特征点的对数归一化强度值；

其次，根据对数归一化强度值计算每个描述子的邻域窗口大小，其数学表达式如(7)所示：

式(7)中，

表示第i特征点的邻域窗口大小；

表示第i特征点的对数归一化强度值；min(g_rowsn^-1,g_colsn^-1)表示影像行列方向取最小值；n表示一个正整数；σ表示邻域窗口的初始值，该值是非固定值，根据不同遥感影像纹理的强弱程度自行设置和调整。

作为优选，步骤7中，对数极坐标描述子的数学表达式如式(8)所示：

式(8)中，Der表示一个特征点的描述子；n表示邻域窗口划分的层数；Grid表示每层划分的格网数目；d表示每个子区域的维度数目；N表示特征点的数目；S_Der表示全部特征点的描述子集合。

作为优选，还包括步骤9，利用正确同名点评价弱纹理遥感影像的配准效果，步骤9中利用解算的同名点的均方根误差和同名点对数量定量地评价配准的精度。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出的弱纹理遥感影像配准方法分为影像空间构建、描述子生成和匹配融合三部分。首先，利用计算影像的空间域和频率域信息，设计构建了双域混合影像空间并通过优化后的影像梯度提取特征点。其次，通过提出一种对数归一化强度指标，来自适应计算描述子的邻域范围，最终建立了新的特征新描述符。最后，采用欧氏距离进行最近邻影像匹配，借助快速样本共识算法去除误匹配，将得到的正确影像对应关系来完成影像融合。提出的混合影像空间可以很好地完成弱纹理遥感影像的特征点提取。设计的对数归一化特征强度指标可以自适应计算特征点的最佳邻域范围，结果表明，本发明提出的方法可以较好地实现弱纹理遥感影像的配准，比传统方法更稳定。

附图说明

图1：本发明方法流程图；

图2：双域混合影像空间示意图；

图3：邻域自适应的对数极坐标描述子示意图；

图4：弱纹理遥感影像数据集；

图5：弱纹理遥感影像配准结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1流程图，本发明提供的一种弱纹理遥感影像配准方法，包括以下步骤：

步骤1：初始化弱纹理遥感影像配准的计算参数，将双域混合影像空间构建过程分为影像双域解算和双域混合影像空间集成两部分。

作为优选，步骤1中对于双域混合影像空间，在尺度空间构建过程中，主要涉有加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数以及描述子的初始邻域范围大小等参数需要完成初始化。根据大量的实验经验，将加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数以及描述子的初始邻域范围大小分别设置为0.8、0.8、3和12。

步骤2：通过双边滤波计算影像的空间域特征，利用相位一致性计算获取影像的频率域特征，输出解算结果。空间域是指影像平面所在的二维平面，对于空间域的影像处理主要是对像元灰度值的改变，其位置不变。双边滤波是一种非线性滤波，在保留影像的强边缘方面十分有效,不依赖于几次迭代的累积效果，只需一次计算即可获得令人满意的结果。这使得过滤器的参数相对直观。而增强影像边缘轮廓等区域的特征信息以便于弱纹理遥感影像的特征点提取。

因此，本发明通过双边滤波来计算影像的空间域信息。其中，双边滤波的定义如公式(1)所示：

式(1)中，BLF(g)_p表示双边滤波处理后的结果；g是影像；下标p和q表示像素的空间位置；核函数Gσ_s和Gσ_r是高斯函数，其中σ_s确定空间支撑度，而σ_r控制对边缘的敏感度。

频率域是指影像像元的灰度值随像元位置变化的空间频率，以频谱表示信息分布特征，二维离散傅里叶变换能把影像从空间域变换到只包含不同频率信息的频率域中。而相位一致性测量主要通过局部傅里叶变换计算得到。它能很好提取影像的频率域特征信息，本发明通过相位一致性测度来提取弱纹理影像的频率域特征信息，其公式如(2)所示：

式(2)中，PC(x,y)表示影像的相位一致性测度结果；w_O(x,y)表示加权函数；A_SO(x,y)表示振幅分量；S表示尺度；O表示卷积方向；ξ表示一个极小值；

表示封闭数量为负数时取零；ΔΦ_SO(x,y)表示相位偏差函数；T表示噪声补偿项。

步骤3：利用加权最小二乘滤波计算双域特征信息，推导双域混合空间之间的关系。依次完成对应图层的双域混合影像空间的计算，输出最终弱纹理遥感影像双域混合空间结果。通过双边滤波计算弱纹理遥感影像的空间域特征信息，由相关一致性测度计算弱纹理遥感影像的频率域特征信息。而影像的层级变换则引入了加权最小二乘滤波来得到。将其计算的结果依次作为双域混合空间的后续图层。它们的数学表达式如(3)所示：

式(3)中，D_HS表示弱纹理遥感影像集合；PC_i表示第i层WLS的相位一致性测度结果；WLS表示加权最小二乘滤波函数；P表示图层数；max(PC_i)表示第i层的最大测度值；min(PC_i)表示第i层的最小测度值。其中WLS函数的公式如(4)所示。

式(4)中，WLS表示加权最小二乘滤波处理后的结果；PC_i表示第i层WLS的相位一致性测度结果；a_x,p(g)和a_y,p(g)分别表示影像在x和y方向上的平滑权重；l表示输入影像的对数亮度通道；指数α决定了影像梯度的敏感度；ε表示一个小常数(通常为0.0001)；A_x和A_y分别表示包含平滑权重和的对角矩阵，而矩阵D_x和D_y表示离散微分算子；λ表示影像的平滑因子。根据大量的实验经验，将加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数分别设置为0.8、0.8和3(不限制于这些阈值，还可根据具体需求设置)。

步骤4：利用低通巴特沃斯滤波计算弱纹理遥感影像尺度空间结果的梯度和方向上的变化，构建影像梯度和幅度。因为它具有通带内具有最大平坦的特性，具有减弱影像高频部分能量，从而平滑影像降低噪声的作用，对弱纹理影像特征提取具有一定作用，其数学表达式如式(5)所示：

式(5)中，LPB_(rows,cols)表示低通巴特沃斯滤波计算结果；D(u,v)表示距离范围，u和v分别表示距离范围的行列大小。通过大量实验，u和v优选为15；cutoff表示滤波器的截止频率，取值在0～0.5之间；n表示滤波器的阶数。然后利用低通巴特沃斯滤波后的结果分别求得弱纹理影像的梯度和幅度。

步骤5：在完成弱纹理影像梯度计算以后采用FAST算法来提取特征点，但特征点会存在部分重复。因此，需要对提取的特征点进一步优化。首先，每一图层在进行FAST特征点提取时，特征点提取数目阈值设置为2000(不限定与此，也可根据实际需求调整)。其次，将特征点的X和Y坐标作为判别条件，当X坐标值和Y坐标值相等时，保留强度值较大的点。同时，为后续描述子构建的方便，需要保存影像特征点的位置信息、图层信息、梯度信息、主方向信息和强度信息。

步骤6：构建对数归一化影像强度值指标，计算特征描述子的自适应邻域。

由于弱纹理区域下，特征点的描述具有明显的不稳定性。为了更好地克服此类情况，本发明引入特征点的强度值来约束描述子的邻域窗口，到达自适应邻域窗口的目的，该方式能够增加特征点邻域范围内的描述子鲁棒性。

首先，对特征点的强度值进行对数归一化操作，计算出每个特征点的对数归一化强度值，其数学表达式如(6)所示：

式(6)中，P_intensity表示特征点P的强度值；V_max表示对数强度值的最大值；V_min表示对数强度值的最小值；

表示第i特征点的对数归一化后的强度值。

其次，根据对数归一化强度值计算每个描述子的邻域窗口大小，其数学表达式如(7)所示：

式(7)中，

表示第i特征点的邻域窗口大小；

表示第i特征点的对数归一化强度值；min(g_rowsn^-1,g_colsn^-1)表示影像行列方向取最小值；n表示一个正整数(通常为3)；σ表示邻域窗口的初始值，该值是非固定值，可根据不同遥感影像纹理的强弱程度自行设置和调整，本发明将初始邻域窗口设置为12。

步骤7：根据获取的自适应邻域，计算每个特征点的对数极坐标描述子，输出特征点的描述子向量集。

本发明考虑到描述子的稳定性和鲁棒性，将描述子邻域范围划分为4层并进行8等分。即划分为4个同心圆，对三个外围的同心圆进行8等分，最终将整个特点邻域范围划分成了(8×3+1)＝25个子区域格网的对极数坐标网格。该格网划分方式即弥补了较小区域所导致的描述子的不稳定性，使得对特征点邻域范围内的描述更加详细和准确。

各个极坐标子区域面积近似一致。其中每个格网中水平方向表示圆形邻域像素点所在位置的极角。计算出每个特征点的方向直方图后，每间隔45°划分一个维度，将0～360°方向划分为8个维度。因此，每个子区域格网的邻接点具有8个维度的梯度位置定向直方图，最后生成了200维的对数极坐标描述子。

多层对数极坐标描述子的数学表达式如下(8)所示：

式(8)中，Der表示一个特征点的描述子；n表示邻域窗口划分的层数；Grid表示每层划分的格网数目；d表示每个子区域的维度数目；N表示特征点的数目；S_Der表示全部特征点的描述子集合。

步骤8：采用欧氏距离进行最近邻匹配，通过快速样本共识算法剔除粗差，并利用剔除粗差后的影像转换矩阵完成弱纹理遥感影像的配准，结果如图5所示。

步骤9：利用正确同名点评价弱纹理遥感影像的配准效果。本发明利用5组弱纹理遥感影像测试算法的性能，数据集见图4。对于每个影像对，利用同名点的均方根误差(Root-Mean-Square Error，RMSE)和同名点对匹配数量来进行定量的检验，其中RMSE的单位为像素。本发明将提出的弱纹理遥感影像配准方法命名为WTS算法，并与最优的几种影像匹配方法(SIFT、PSO-SIFT和RIFT)进行对比，比较结果请见表1。

表1几种影像匹配方法比较

由表1可知，在弱纹理遥感影像数据中，WTS算法相比SIFT、PSO-SIFT和RIFT算法可以获取更多的同名点对。通过本发明提出的WTS算法可以达到一个相对最优的结果。其中，WTS算法的RMSE虽然略低于SIFT和PSO-SIFT方法，但这两种方法的同名点较少且不能满足匹配需求，又略优于RIFT的RMSE结果。本发明提出的WTS算法RMSE的值都小于1个像素。进一步证明WTS算法不仅极大增加了同名点的匹配数目，且保持了较好的匹配精度。同时，通过大量的实验发现，当弱纹理遥感影像提取难度较大时，可以增加加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数目来增加同名点的提取数目；反之，当弱纹理具有一定的纹理结构时，可以适当降低参数的值。其中，双域混合影像空间的图层数目参数值在2～8之间设置。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种描述子邻域自适应的弱纹理遥感影像配准方法，其特征在于，包括以下步骤：

步骤1，初始化弱纹理遥感影像配准的计算参数，将双域混合影像空间构建过程分为影像双域解算和双域混合影像空间集成两部分；

步骤2，通过双边滤波计算影像的空间域特征，利用相位一致性计算获取影像的频率域特征，输出解算结果；

步骤3，利用加权最小二乘滤波计算双域特征信息，推导双域混合空间之间的关系，依次完成对应图层的双域混合影像空间的计算，输出最终弱纹理遥感影像双域混合空间结果；

步骤4，利用低通巴特沃斯滤波计算弱纹理遥感影像空间在梯度和方向上的变化，获取双域混合影像的梯度和幅度；

步骤5，利用FAST算法提取初始弱纹理遥感影像的特征点，通过设置特征点检测阈值确定最终特征点集；

步骤6，构建对数归一化影像强度值指标，计算特征描述子的自适应邻域；

步骤7，根据获取的自适应邻域，计算每个特征点的对数极坐标描述子，输出特征点的描述子向量集；

步骤8，采用欧氏距离进行最近邻匹配，通过快速样本共识算法剔除粗差，并利用剔除粗差后的影像转换矩阵完成弱纹理遥感影像的配准。

2.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤1中对加权最小二乘滤波的影像平滑因子、影像敏感度因子、双域混合影像空间的图层数以及描述子的初始邻域范围大小参数完成初始化。

3.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤2中，通过双边滤波来计算影像的空间域信息，其中，双边滤波的定义如公式(1)所示：

式(1)中，BLF(g)_p表示双边滤波处理后的结果；g是影像；下标p和q表示像素的空间位置；核函数Gσ_s和Gσ_r是高斯函数，其中σ_s确定空间支撑度，而σ_r控制对边缘的敏感度；

通过相位一致性测度来提取弱纹理影像的频率域特征信息，其公式如(2)所示：

式(2)中，PC(x,y)表示影像的相位一致性测度结果；w_O(x,y)表示加权函数；A_SO(x,y)表示振幅分量；S表示尺度；O表示卷积方向；ξ表示一个极小值；

表示封闭数量为负数时取零；ΔΦ_SO(x,y)表示相位偏差函数；T表示噪声补偿项。

4.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤3中双域混合空间之间的关系的推导，计算公式如(3)所示：

式(3)中，D_HS表示弱纹理遥感影像集合；PC_i表示第i层WLS的相位一致性测度结果；WLS表示加权最小二乘滤波函数；P表示图层数；max(PC_i)表示第i层的最大测度值；min(PC_i)表示第i层的最小测度值，其中WLS函数的公式如(4)所示，

式(4)中，WLS表示加权最小二乘处理后的结果；PC_i表示第i层WLS的相位一致性测度结果；a_x,p(g)和a_y,p(g)分别表示影像在x和y方向上的平滑权重；l表示输入影像的对数亮度通道；指数α决定了影像梯度的敏感度；ε表示一个小常数；A_x和A_y分别表示包含平滑权重和的对角矩阵，而矩阵D_x和D_y表示离散微分算子；λ表示影像的平滑因子。

5.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤4中低通巴特沃斯滤波的计算表达式如式(5)所示：

式(5)中，LPB_(rows,cols)表示低通巴特沃斯滤波计算结果；D(u,v)表示距离范围，u和v分别表示距离范围的行列大小，cutoff表示滤波器的截止频率，n表示滤波器的阶数。

6.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤6的具体实现包括，

首先，对特征点的强度值进行对数归一化操作，计算出每个特征点的对数归一化强度值，其公式如(6)所示：

式(5)中，P_intensity表示特征点P的强度值；V_max表示对数强度值的最大值；V_min表示对数强度值的最小值；

表示第i特征点的对数归一化强度值；

其次，根据对数归一化强度值计算每个描述子的邻域窗口大小，其数学表达式如(7)所示：

式(7)中，

表示第i特征点的邻域窗口大小；

表示第i特征点的对数归一化强度值；min(g_rowsn^-1,g_colsn^-1)表示影像行列方向取最小值；n表示一个正整数；σ表示邻域窗口的初始值，该值是非固定值，根据不同遥感影像纹理的强弱程度自行设置和调整。

7.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤7中，对数极坐标描述子的数学表达式如式(8)所示：

式(8)中，Der表示一个特征点的描述子；n表示邻域窗口划分的层数；Grid表示每层划分的格网数目；d表示每个子区域的维度数目；N表示特征点的数目；S_Der表示全部特征点的描述子集合。

8.根据权利要求1所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：还包括步骤9，利用正确同名点评价弱纹理遥感影像的配准效果。

9.根据权利要求8所述的描述子邻域自适应的的弱纹理遥感影像配准，其特征在于：步骤9中利用解算的同名点的均方根误差和同名点对数量定量检验配准精度。

Images