CN117765272B - 一种辐射-几何不变的异源影像控制点提取方法 - Google Patents

Abstract

本发明的一种辐射‑几何不变的异源影像控制点提取方法，包括以下步骤：S1，构建影像显著特征图；S2，通过显著特征图计算影像对的主导旋转方向和尺度比例因子；S3，构件匹配的子图像对；S4，辐射灰度表达的局部线性化转换，使用引导滤波将异源影像间的非线性辐射灰度表达进行局部线性化转化；S5，使用基于区域的方法对影像进行改进的模板匹配，获得稳定的地面控制点对。本发明的辐射‑几何不变的异源影像控制点提取方法，同时处理了辐射和几何差异，实现精确匹配，能够抵抗辐射、旋转、尺度差异带来的影响，同时避免高维特征描述符的构建，提高算法效率。

Description

一种辐射-几何不变的异源影像控制点提取方法

技术领域

本发明属于影像特征提取和匹配技术领域，具体涉及一种辐射-几何不变的异源影像控制点提取方法。

背景技术

辐射-几何不变性是指在进行图像匹配时，能够抵抗辐射变化如成像波段变化和几何变化如平移、放缩、仿射变换的特性。辐射-几何不变是指在不同成像条件下，如不同的光照、成像波段、传感器特性等，影像之间的匹配和识别能力保持相对稳定的特性。异源影像控制点提取是通过算法实现不同来源影像之间的特征匹配，以便于进行图像融合、配准或目标识别等处理。

在现有的异源影像地面控制点提取方法中，基于区域的方法是使用最广泛的一种。基于区域的方法通过建立各种相似性度量法则来衡量感测图像和参考图像中空间域或频域内容的相似性，从而建立匹配关系。常见的相似性度量法则包括SSD，MI和NCC等。这些方法通过全局滑动窗口，直接通过统计方法对窗口内图像和模板图像中的灰度值相似度进行逐像素计算，当其相似度大于预设阈值时认为窗口图像与模板图像匹配，其中心点作为对应的地面控制点对。然而，此类方法存在两个问题。首先，不同成像波段之间存在非线性辐射差异，这使得异源影像间的相同地物在灰度值表达上具有非线性关系的灰度分布模式和强度差异，不再满足进行统计计算和比较所需要的条件，这使得上述直接计算灰度值相似度的方法不再适用。其次，当影像对之间存在旋转、尺度差异时，滑动窗口区域和目标区域图像代表的地物在逐像素进行比较计算时不再是像素层面一一对应的，因此无法进行逐像素比较，上述方法也不再适用。针对非线性辐射差异的问题，有计算影像区域直方图方法被提出用于抵抗辐射变化。这些方法计算影像内固定大小区域的多向梯度信息或相位信息直方图，再通过所设计的相似性度量法则评估相似性。然而，此类方法仍然需要进行逐像素计算比较，依赖于模板窗口和目标窗口内成像地物的像素对应关系，当窗口内地物存在旋转或尺度发生变化时，像素内容不再对应，方法不再适用。因此，当异源影像对之间存在尺度和旋转变化时，此类基于区域的方法无法提取到正确的地面控制点。此外，由于对影像比较相似度时需要进行逐像素计算，多向梯度或相位信息量大，此类方法也面临着较大的计算负担。总体而言，在现有的基于区域的异源影像地面控制点提取方法中，当同时面临非线性辐射差异、旋转差异、角度差异等问题时，还缺乏一种鲁棒高效的地面控制点提取方法。

综上所述，针对高精度的相机在轨定标、影像几何校正和匹配等应用，需要研究一种对于异源影像间的尺度、旋转、辐射变化都具有鲁棒性的地面控制点提取方法，以满足实际应用需求。

发明内容

本发明的目的在于，针对现有技术中的问题，提供一种辐射-几何不变的异源影像控制点提取方法。

为此，本发明的上述目的通过以下技术方案实现：

一种辐射-几何不变的异源影像控制点提取方法，包括以下步骤：

S1，构建影像显著特征图，获得感测影像和参考影像对应的二值显著特征图F₁和F₂；

S2，通过显著特征图计算影像对的主导旋转方向和尺度比例因子，获得影像对的几何差异信息；

S3，在旋转方向和尺度比例因子的约束下构建待匹配的子图像对；

S4，通过引导滤波建立并求解待匹配子图像对之间的灰度值线性转换模型，经过该线性模型的滤波处理后，影像间辐射特征的差异在影像灰度值上的表现由非线性关系转换为局部线性关系；

S5，使用基于区域的方法对影像进行改进的模板匹配，获得稳定的地面控制点对。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：步骤S1包括以下子步骤：

S1.1，对感测影像和参考影像进行引导滤波，通过引导滤波实现对影像边缘结构特征的突出和噪声、细节信息的平滑；

S1.2，对引导滤波后的感测影像和参考影像进行梯度计算和非极大值抑制；

S1.3，通过阈值处理进行边缘提取和连接，将非极大值抑制后的梯度图像使用Otsu算法计算获得高阈值TH，高阈值TH的一半为低阈值TL，对每个像素点P，使用梯度幅值来判断像素点是否属于边缘，检测出图像的s条边缘；

S1.4，设置一个长度阈值，对检测到的边缘进行筛选，删除不稳定边缘，提取出稳定且有代表性的边缘特征，经过以上步骤获得感测影像和参考影像对应的二值显著特征图F₁和F_2；

步骤S1.2中，使用Sobel算子对影像进行处理，计算出每个像素点的梯度幅值和方向，对梯度幅值图像进行非极大值抑制，以精确地定位边缘；每一个像素点比较其邻域内的梯度强度，并确定邻域大小，以获得梯度强度在特定方向上是极大值的像素点，提升边缘检测点的准确性。

作为本发明的优选技术方案：所述步骤S2中，具体包括如下步骤：

S2.1，对显著特征图F₁和F₂使用SIFT算子进行匹配，并使用RANSAC进行误匹配剔除，获得粗匹配点集E，E中每一个特征点都具有尺度信息σ和方向信息θ；

S2.2，对粗匹配点集E中的所有匹配点对，计算其角度差值Δθ=θ₁-θ₂，并生成Δθ直方图，其中θ₁和θ₂表示匹配点对中分别来自F₁和F₂的特征点的方向信息，直方图峰值对应的角度差Δθ_peak记为感测图像和参考图像之间的主导旋转方向，代表了大多数特征之间的方向差值；

S2.3，对粗匹配点集E中的所有关键点对，计算其尺度比例，其中σ₁和σ₂分别代表F₁和F₂中特征的尺度，并生成Δσ直方图，直方图峰值对应的尺度比Δσ_peak记为感测图像和参考图像之间的尺度比例因子，代表大多数特征之间的尺度比例。

作为本发明的优选技术方案：步骤S3中，以E₁和E₂中的特征点为中心，分别在感测图像和参考图像中构建子图像对和/>，

将粗匹配点集(E)中的点坐标直接作为原始感测影像和参考影像上的匹配点集坐标，对I_p上的特征点进行非极大值抑制，使得每128×128像素大小的图像块内只保留一个与其对应点之间SIFT特征描述符欧氏距离最小的点；I_p中完成非极大值抑制后剩余的特征点构成的点集记为E₁，在I_p中只保留E₁在粗匹配点集E中对应的特征点，记为E₂，其中：

，其中w₁×h₁和w₂×h₂分别是感测图像和参考图像的大小，p×p和q×q分别代表感测子图像和参考子图像大小，满足关系p=q×Δσ_peak，用尺度比例因子对子图像对大小进行限制，保证子图像对内的成像地物基本一致，避免对非重合区域特征的误匹配。

作为本发明的优选技术方案：步骤S4中，具体包括如下步骤：

S4.1，对步骤S3中的每个子图像进行重采样和旋转，将其重采样为原始图像块的Δσ_peak倍，Δσ_peak＞1时上采样，Δσ_peak＜1时下采样，再将其旋转Δθ_peak，记为I_G；

S4.2，将I_G作为引导图像，对进行引导滤波，获得滤波后图像I₀，其中，，其中/>表示以像素K为中心的局部窗口，I_G与I₀在该窗口内的灰度值差异最小；

S4.3， I₀是由I_G在局部窗口内线性变化获得的，两张图像之间的辐射差异在像素层面的表达由非线性关系转换成为局部线性关系，便于使用灰度统计值进行图像匹配处理。

作为本发明的优选技术方案：步骤S5具体包括以下步骤：

在引导滤波后的图像I₀及其对应的子图像块之间进行改进的模板匹配操作，使用归一化互相关值作为图像块相似度衡量准则，具体计算公式为：

其中，t是匹配时的模板图像块，m×n是模板图像块的大小，从步骤S4中所获得的处理后感测子图像块I₀内进行截取，代表参考子图像块中以像素点坐标（x，y）为左上角坐标的待匹配图像块，大小为k×l，满足关系m=k×Δσ，n=l×Δσ，通过对t进行图像采样将其变换至/>同样大小，/>是指图像/>的灰度均值，/>是模板图像块t的灰度值均值，/>和/>分别表示在模板图像和参考图像内的像素点坐标，两者之间存在一个映射关系，

F_i和F_j分别是i，j坐标的变换函数，

代表图像/>中像素点坐标为/>处的像素灰度值，/>代表图像t中像素点坐标为/>处的像素灰度值，当NCC大于预设阈值时认为匹配成功，阈值设为步骤S4.2中所有I₀与其对应子图像块之间的NCC均值，使用抛物线拟合实现控制点亚像素定位，从而获得最终地面控制点对。

与现有技术相比，本发明具有以下有益效果：本发明的一种辐射-几何不变的异源影像控制点提取方法，直接使用所计算的主导旋转方向和尺度比例因子对待匹配的区域大小和区域特征方向进行限制和纠正，使得图像对在空间上对齐，直接使用旋转和尺度信息来纠正待匹配区域，直接使用简单的影像信息例如像素值进行比较，无需构建复杂的高维特征描述符，降低了算法的复杂度和计算量，提高了算法的效率，同时解决了异源影像之间的辐射差异，在存在旋转和尺度差异的情况也可以实现稳定的特征匹配和控制点提取；同时组合利用异源影像之间的辐射差异在像素灰度层面表达出的非线性关系，通过引导滤波建立灰度值线性转换模型，转换成为局部线性关系，从而即使存在辐射差异，也能够在影像像素灰度值层面消除辐射差异，从而提高匹配方法对不同变化的稳定性；本发明中，通过上述步骤在异源影像匹配中，同时处理了辐射和几何差异，实现稳定、精确匹配。

本发明的一种辐射-几何不变的异源影像控制点提取方法能够抵抗辐射、旋转、尺度差异带来的影响，同时避免高维特征描述符的构建，提高算法效率。

本发明的一种辐射-几何不变的异源影像控制点提取方法，提出了一种对异源影像间辐射、尺度和旋转差异都具有不变性的基于区域的地面控制点提取方法，兼具基于区域的方法的稳定性和基于特征方法的辐射-几何差异不变性，同时省去了复杂的特征描述和匹配过程，控制了提取方法的空间和时间资源消耗、实现了鲁棒、高效的异源影像地面控制点提取，可以提高遥感影像的几何处理精度，为后续的影像分析和应用提供更为准确的位置信息，极具应用前景。

附图说明

图1为本发明的一种辐射-几何不变的异源影像控制点提取方法的流程示意图；

图2为本发明的异源影像匹配过程示意图。

具体实施方式

参照附图和具体实施例对本发明作进一步详细地描述。

实施例1

本发明的一种辐射-几何不变的异源影像控制点提取方法，提供了一种对辐射、旋转、尺度差异鲁棒的异源影像高精度地面控制点提取方法，首先构建影像显著特征图，通过显著特征图获得影像对的主导旋转方向和尺度比例因子；然后在旋转方向和尺度比例因子的约束下构造引导图像，使用引导滤波对异源影像间的非线性辐射灰度表达进行局部线性化转化；在此基础上使用基于区域的方法对影像进行改进的模板匹配，获得稳定的的地面控制点对。

主要包括如下步骤：

步骤S1，构造影像的显著特征图，包括如下子步骤：

步骤S1.1，对感测影像和参考影像进行引导滤波，其引导图均为自身。通过引导滤波实现对影像边缘结构特征的突出和噪声、细节信息的平滑，以提升后续的显著大尺度结构提取效果，避免提取到过多的影像细节。

步骤S1.2，对引导滤波后的感测影像和参考影像进行梯度计算和非极大值抑制。具体的，首先使用Sobel算子计算影像的梯度幅值s和方向θ，然后对梯度幅值图像进行非极大值抑制，以精确地定位边缘。在非极大值抑制过程中，首先将梯度θ近似为0，八个方向，然后对于每一个像素点P，比较在其周围d×d大小邻域内与其梯度相同和相反方向的像素点的梯度强度，若该像素点的梯度强度为邻域内梯度方向上的极大值，则保留，否则将该点置为0。n的取值可以为3，5，9……根据具体使用场景和需求确定。

步骤S1.3，通过阈值处理进行边缘提取和连接。将非极大值抑制后的梯度图像使用Otsu算法计算获得高阈值TH，高阈值的一半作为低阈值TL。对每个像素点P，若其梯度幅值高于TH则认为是强边缘进行保留，若梯度幅值低于TL则置为0。对梯度幅值介于TH和TL之间的像素点，若在其3×3邻域内存在强边缘点，即该点与一条强边缘连通，则对其进行保留，否则删除。

步骤S1.4，对于步骤1.3中获得的共计s条边缘，对每条边缘构成的总连通像素数目即边缘长度进行统计，记为L_i，i=1，2，…，n，若L_i＜0.05L_max，则将其删除，其目的是删除边缘提取过程中可能提取到的细节边缘和纹理等信息，这类信息会随着影像几何和辐射特征的变化而变化，不利于后期特征提取和匹配。经过以上步骤获得感测影像和参考影像对应的二值显著特征图F₁和F₂。

步骤S2，计算主导旋转方向和尺度比例因子

具体的，包括如下步骤：

步骤S2.1，对显著特征图F₁和F₂使用SIFT算子进行匹配，并使用RANSAC进行误匹配剔除，获得粗匹配点集E。E中每一个特征点都具有尺度信息σ和方向信息θ；

步骤S2.2，对粗匹配点集E中的所有匹配点对，计算其角度差值Δθ=θ₁-θ₂，并生成Δθ直方图，其中θ₁和θ₂表示匹配点对中分别来自F₁和F₂的特征点的方向信息，直方图峰值对应的角度差Δθ_peak记为感测图像和参考图像之间的主导旋转方向，代表了大多数特征之间的方向差值；

步骤S2.3，对粗匹配点集E中的所有关键点对，计算其尺度比例，其中σ₁和σ₂分别代表F₁和F₂中特征的尺度，并生成Δσ直方图，直方图峰值对应的尺度比Δσ_peak记为感测图像和参考图像之间的尺度比例因子，代表大多数特征之间的尺度比例。

步骤S3，匹配子图像对的构建

将E中的粗匹配点集坐标直接作为原始感测影像和参考影像上的匹配点集坐标。对匹配点集进行非极大值抑制。具体操作方法如下：对I_p上的特征点进行非极大值抑制，使得每128×128像素大小的图像块内只保留一个与其对应点之间SIFT特征描述符欧氏距离最小的点。I_p中完成非极大值抑制后剩余的特征点构成的点集记为E₁，在I_p中只保留E₁在粗匹配点集E中对应的特征点，记为E₂，其中：

以E₁和E₂中的特征点为中心，分别在感测图像和参考图像中构建子图像对和，/>，其中w₁×h₁和w₂×h₂分别是感测图像和参考图像的大小，p×p和q×q分别代表感测子图像和参考子图像大小，满足关系p=q×Δσ_peak。用尺度比例因子对子图像对大小进行限制，保证子图像对内的成像地物基本一致，避免对非重合区域特征的误匹配。后续操作将在步骤S3所构建的子图像对内进行改进的模板匹配操作。

步骤S4，辐射灰度表达的局部线性化转换

具体的，包括如下步骤：

步骤S4.1，对步骤S3中的每个子图像，将其重采样为原始图像块的Δσ_peak倍，（Δσ_peak＞1时上采样，Δσ_peak＜1时下采样），再将其旋转Δθ_peak，记为I_G；

此时I_G在尺度差异和旋转差异上与对应的子图像块趋于一致，相同成像范围内的地物可以大致重合。

步骤S4.2，将I_G作为引导图像，对进行引导滤波，获得滤波后图像I₀，由引导滤波的定义可知/>，其中/>表示以像素K为中心的局部窗口，故I₀与I_G在局部窗口内线性变化获得的，此时两张图像之间的辐射差异在像素层面的表达由非线性关系转换成为局部线性关系，可以使用灰度统计值进行图像匹配处理。

步骤S5，改进的模板匹配，

在引导滤波后的图像I₀及其对应的子图像块之间进行改进的模板匹配操作。使用归一化互相关值作为图像块相似度衡量准则，具体计算公式为：

其中，t是匹配时的模板图像块，大小为m×n，从步骤S5中所获得的处理后感测子图像块I₀内进行截取。代表参考子图像块中以像素点坐标（x，y）为左上角坐标的待匹配图像块，大小为k×l，满足关系m=k×Δσ，n=l×Δσ，通过对t进行图像采样将其变换至/>同样大小。/>和/>分别表示在模板图像和参考图像内的像素点坐标，两者之间存在一个映射关系

F_i和F_j分别是i，j坐标的变换函数，具体的函数关系由步骤S3中的粗匹配点集进行计算获得两个坐标之间的放射变换关系。

具体的函数关系由步骤S3中的粗匹配点集进行计算获得两个坐标之间的放射变换关系。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (5)

1.一种辐射-几何不变的异源影像控制点提取方法，包括以下步骤：

S1,构建影像显著特征图，获得感测影像和参考影像对应的二值显著特征图F₁和F₂；

S2,通过显著特征图计算影像对的主导旋转方向和尺度比例因子，获得影像对的几何差异信息；

S3,在旋转方向和尺度比例因子的约束下构建待匹配的子图像对；

S4,在子图像对中借助旋转方向和尺度比例因子构造引导图像，并通过引导滤波建立并求解待匹配子图像对之间的灰度值线性转换模型，经过线性转换模型的滤波处理后，非线性辐射特征差异在影像灰度值上的表现由非线性关系转换为局部线性关系；

S5,使用基于区域的方法在子图像对中对影像进行改进的模板匹配，获得稳定的地面控制点对；

步骤S5具体包括以下步骤：

在引导滤波后的图像I₀及其对应的子图像块之间进行改进的模板匹配操作，使用归一化互相关值作为图像块相似度衡量准则，具体计算公式为：，其中，t是匹配时的模板图像块，m×n是模板图像块的大小，从步骤S4中所获得的处理后感测子图像块I₀内进行截取，/>代表参考子图像块中以像素点坐标（x，y）为左上角坐标的待匹配图像块，大小为k×l，满足关系m=k×Δσ，n=l×Δσ，通过对t进行图像采样将其变换至/>同样大小，/>是指图像/>的灰度均值，/>是模板图像块t的灰度值均值，/>和/>分别表示在模板图像和参考图像内的像素点坐标，两者之间存在一个映射关系，，F_i和F_j分别是i，j坐标的变换函数，

代表图像/>中像素点坐标为/>处的像素灰度值，/>代表图像t中像素点坐标为/>处的像素灰度值，当NCC大于预设阈值时认为匹配成功，阈值设为步骤S4.2中所有I₀与其对应子图像块之间的NCC均值，使用抛物线拟合实现控制点亚像素定位，从而获得最终地面控制点对。

2.如权利要求1所述的辐射-几何不变的异源影像控制点提取方法，其特征在于：步骤S1包括以下子步骤：

S1.1，对感测影像和参考影像进行引导滤波，通过引导滤波实现对影像边缘结构特征的突出和噪声、细节信息的平滑；

S1.2，对引导滤波后的感测影像和参考影像进行梯度计算和非极大值抑制；

S1.3，通过阈值处理进行边缘提取和连接，将非极大值抑制后的梯度图像使用Otsu算法计算获得高阈值TH，高阈值TH的一半为低阈值TL,对每个像素点P，使用梯度幅值来判断像素点是否属于边缘,检测出图像的s条边缘；

S1.4，设置一个长度阈值，对检测到的边缘进行筛选，删除不稳定边缘，提取出稳定且有代表性的边缘特征，经过以上步骤获得感测影像和参考影像对应的二值显著特征图F₁和F₂；

步骤S1.2中，使用Sobel算子对影像进行处理，计算出每个像素点的梯度幅值和方向，对梯度幅值图像进行非极大值抑制，以精确地定位边缘；每一个像素点比较其邻域内的梯度强度，并确定邻域大小，以获得梯度强度在特定方向上是极大值的像素点，提升边缘检测点的准确性。

3.如权利要求1所述的辐射-几何不变的异源影像控制点提取方法，其特征在于：所述步骤S2中，具体包括如下步骤：

S2.1，对显著特征图F₁和F₂使用SIFT算子进行匹配，并使用RANSAC进行误匹配剔除，获得粗匹配点集E，E中每一个特征点都具有尺度信息σ和方向信息θ；

S2.2，对粗匹配点集E中的所有匹配点对，计算其角度差值Δθ=θ₁-θ₂，并生成Δθ直方图，其中θ₁和θ₂表示匹配点对中分别来自F₁和F₂的特征点的方向信息，直方图峰值对应的角度差Δθ_peak记为感测图像和参考图像之间的主导旋转方向，代表了大多数特征之间的方向差值；

S2.3，对粗匹配点集E中的所有关键点对，计算其尺度比例，其中σ₁和σ₂分别代表F₁和F₂中特征的尺度，并生成Δσ直方图，直方图峰值对应的尺度比Δσ_peak记为感测图像和参考图像之间的尺度比例因子，代表大多数特征之间的尺度比例。

4.如权利要求1所述的辐射-几何不变的异源影像控制点提取方法，其特征在于：步骤S3中，以E₁和E₂中的特征点为中心，分别在感测图像和参考图像中构建子图像对和/>，

将粗匹配点集E中的点坐标直接作为原始感测影像和参考影像上的匹配点集坐标，对I_p上的特征点进行非极大值抑制，使得每128×128像素大小的图像块内只保留一个与其对应点之间SIFT特征描述符欧氏距离最小的点；I_p中完成非极大值抑制后剩余的特征点构成的点集记为E₁，在I_p中只保留E₁在粗匹配点集E中对应的特征点，记为E₂，其中：

，

，其中w₁×h₁和w₂×h₂分别是感测图像和参考图像的大小，p×p和q×q分别是感测图像和参考图像的大小，p×p和q×q分别代表感测子图像和参考子图像大小，满足关系p=q×Δσ_peak，用尺度比例因子对子图像对大小进行限制，保证子图像对内的成像地物基本一致，避免对非重合区域特征的误匹配。

5.如权利要求4所述的辐射-几何不变的异源影像控制点提取方法，其特征在于：步骤S4中，具体包括如下步骤：

S4.1，对步骤S3中的每个子图像进行重采样和旋转，将其重采样为原始图像块的Δσ_peak倍，Δσ_peak＞1时上采样，Δσ_peak＜1时下采样，再将其旋转Δθ_peak，记为I_G；

S4.2，将I_G作为引导图像，对进行引导滤波，获得滤波后图像I₀，其中，，其中/>表示以像素K为中心的局部窗口，I_G与I₀在该窗口内的灰度值差异最小；

S4.3， I₀是由I_G在局部窗口内线性变化获得的，两张图像之间的辐射差异在像素层面的表达由非线性关系转换成为局部线性关系，便于使用灰度统计值进行图像匹配处理。