CN115511928A - 多光谱图像的匹配方法 - Google Patents

多光谱图像的匹配方法 Download PDF

Info

Publication number
CN115511928A
CN115511928A CN202211137900.1A CN202211137900A CN115511928A CN 115511928 A CN115511928 A CN 115511928A CN 202211137900 A CN202211137900 A CN 202211137900A CN 115511928 A CN115511928 A CN 115511928A
Authority
CN
China
Prior art keywords
matching
nonlinear
image
gradient
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211137900.1A
Other languages
English (en)
Inventor
方圣辉
熊强
龚龑
彭漪
刘小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211137900.1A priority Critical patent/CN115511928A/zh
Publication of CN115511928A publication Critical patent/CN115511928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Abstract

本发明公开了一种多光谱图像的匹配方法，包括：获取多光谱图像对，通过非线性扩散滤波对多光谱图像对构建非线性尺度空间，再在非线性尺度空间中构建多光谱图像的非线性加权力矩图NWM；使用Harris算法在非线性加权力矩图NWM上获取特征点；根据特征点使用对数极坐标描述框架来计算特征向量，重复迭代计算得到特征描述符；再使用动态自适应欧氏距离作约束方法进行特征匹配，使用FSC剔除误匹配点；最后利用正确特征匹配点求解仿射变换模型，使用仿射变换模型对多光谱图像进行变换，得到图像配准结果。本发明弥补了传统影像匹配对多光谱图像非线性辐射差异和纹理变化较为敏感的缺陷，实现多光谱图像的稳健匹配。

Description

多光谱图像的匹配方法
技术领域
本发明属于图像匹配的技术领域，具体涉及一种多光谱图像的匹配方法。
背景技术
影像匹配是获得具有一定重叠程度的同一场景的两幅或多幅图像之间的对应关系的过程。多光谱传感器往往通过捕捉同一场景的不同光谱波段特征来提供互补信息，多光谱图像匹配是许多遥感和计算机视觉领域应用的基础，如变化检测、目标识别、图像融合、图像配准、三维重建等。由于传感器和成像光谱的差异，多光谱图像之间存在显著的非线性几何畸变、纹理变化和灰度变化。因此，对多光谱图像进行准确、鲁棒的匹配仍然是一项非常具有挑战性的任务。
近几十年来，影像匹配技术得到了快速发展，取得了显著的成果。影像匹配方法一般可以分为两类：特征匹配和模板匹配。特征匹配从图像中提取角点、边缘、轮廓等显著特征，并利用这些特征之间的相关性来匹配图像。目前应用比较广泛的特征匹配算法有SIFT、SURF、ORB等，他们对几何和光照变化具有鲁棒性，但是对多光谱图像之间非线性强度和纹理变化非常敏感。模板匹配在遥感图像中选取一定大小的区域作为模板，在参考图像中滑动以找到最佳匹配位置。具有代性的模板匹配方法有度差平方和(SSD)、相关系数(CC)和互信息(MI)等，这些方法计算效率低，对多光谱图像之间的非线性强度变化很敏感。
多光谱图像虽然在强度和纹理上差异比较大，但是具有相似的结构和轮廓特征。许多研究人员通过设计优秀的局部描述子来提取图像之间的共同特征，获得多光谱图像之间准确的匹配结果。Manjunath提出了边缘直方图描述符(EHD)，该描述符利用边缘点的空间分布来表示图像的鲁棒性特征，获取多光谱图像可靠的纹理信息。Aguilera提出面向边缘的直方图(EOH)的描述符，利用四个方向边缘和一个非方向边缘的边缘点分布来构造特征描述，可用于长波红外和可见光图像的匹配任务。Cristiano提出了多光谱特征描述符(MFD)，利用log-gabor滤波器在空间和频率域提取多光谱图像边缘特征信息，在不同图像波段的关键点匹配方面具有高度鲁棒性和高效率。虽然EHD、EOH和MFD可以描述多光谱图像的轮廓特征，但难以提取高度相似的边缘。Li提出了一种基于结构一致性的多光谱图像匹配方法(MMSC)，根据最大log-Gabor滤波器响应的方向建立结构描述符，通过计算对应关系实现多光谱图像匹配。MMSC具有较高的计算复杂度，但不具有尺度不变性。
发明内容
本发明的目的在于针对现有技术的不足之处，提供一种多光谱图像的匹配方法，该方法弥补传统影像匹配对多光谱图像非线性辐射差异和纹理变化较为敏感的缺陷，实现多光谱图像的稳健匹配。
为解决上述技术问题，本发明采用如下技术方案：
一种多光谱图像的匹配方法，包括如下步骤：
步骤1、获取多光谱图像对，通过非线性扩散滤波对多光谱图像对构建非线性尺度空间，再在非线性尺度空间中构建多光谱图像的非线性加权力矩图NWM；
步骤2、计算非线性加权力矩图NWM的相位一致性梯度信息，并根据梯度信息在非线性加权力矩图NWM中提取出特征点；
步骤3、根据步骤2的梯度信息计算非线性加权力矩图NWM梯度幅值和方向并根据计算的梯度幅值和方向生成绝对相位一致性方向特征，联合对数极坐标描述框架来计算特征向量，得到相位一致性梯度直方图特征描述符HPCG；
步骤4、设计动态自适应欧氏距离作为约束方法，根据特征点分布自动地配置相应阈值参数，得到优质匹配点，并使用快速样本共识算法剔除误匹配点；
步骤5、利用正确特征匹配点求解仿射变换模型，使用仿射变换模型对多光谱图像进行变换，得到影像配准结果。
进一步地，步骤1中构建非线性尺度影像空间的方法为：
采用图像非线性扩散方法建立非线性扩散方程，公式如下：
Figure BDA0003852139060000031
其中，I为多光谱图像灰度，，div和
Figure BDA0003852139060000032
分别对应为多光谱图像的散度和梯度算子，t表示时间度量的尺度值，
Figure BDA0003852139060000033
是高斯平滑后的图像的梯度；k是控制扩散水平的对比因子；Al表示表示图像在方向l上的导数，Ii表示表示非线性扩散滤波迭代第i次的解，ti表示时间单位，Ii+1表示扩散后的结果。
进一步地，步骤1中构建非线性加权力矩图NWM方法为：
构建非线性尺度空间后，对多光谱图像进行相位一致性计算得到相位图PC，多光谱图像的相位一致性计算公式如下：
Figure BDA0003852139060000034
其中，PC(x，y)是多光谱图像中点(x,y)处PC的大小，Wo(x,y)是权函数，Aso(x,y)表示log-Gabor滤波器在点(x,y)的幅度分量，T为噪声阈值，δ是一个极小值防止分母为零；符号
Figure BDA0003852139060000035
表示当其值为正时，封闭量等于其自身，否则为零；ΔΦso(x,y)是相位偏差函数；
PC图为每个方向i计算一个独立映射PC(θi)，θi是方向i的角度，取值范围为0-180°，由PC(θi)构建多光谱图像的非线性加权力矩方程，计算公式为：
Figure BDA0003852139060000041
Figure BDA0003852139060000042
PC(θi)表示PC在i方向的映射；A、B和C是相位力矩计算的中间量；θi是方向i的角度；ω表示多光谱图像的权重系数。
进一步地，步骤2具体包括如下子步骤：
采用Log-Gabor函数奇对称滤波器对非线性加权力矩图NWM相位梯度特征进行卷积，从而获得非线性加权力矩图NWM的水平方向和垂直方向的梯度，其计算公式如下：
Figure BDA0003852139060000043
式中，Gh和Gv分别表示水平方向梯度和垂直方向梯度，PCso(θ)表示非线性加权力矩图NWM在方向θ上的奇对称滤波器卷积结果；
由Gh和Gv计算Harris算子中的协方差矩阵和角点响应函数从而在非线性加权力矩图NWM中提取出特征点，公式如下：
Figure BDA0003852139060000044
R＝Det(M)-k(Tr(M))2
其中M为协方差矩阵，R为角点响应函数，w为高斯窗口函数，Tr(·)表示矩阵行列式的值，Det(·)表示表示矩阵的迹，k的取值范围为0.04-0.06。
进一步地，步骤3具体方法为：
由步骤2中的水平方向梯度Gh和垂直方向梯度Gv计算梯度幅值和方向，公式如下：
Figure BDA0003852139060000051
其中，Aso表示相位一致性幅值，φso表示相位一致性方向；
再通过求取绝对值的方式将卷积结果全部归算到正方向上，之后通过非负常数项优化绝对相位一致性方向特征，最后获得绝对相位一致性方向特征Φso，公式如下：
Figure BDA0003852139060000052
其中Φso表示绝对相位一致性方向特征。
进一步地，步骤3中，相位一致性梯度直方图特征描述符HPCG构建方法为：
首先建立与特征点尺度相关的多个圆形邻域，再根据步骤2的方法计算它们的相位一致性梯度特征以及根据步骤3的方法计算它们的相位一致性方向特征，进而生成相位一致性方向梯度直方图；
再将此直方图以一定角度为间隔均匀等份，统计每一等份的相位一致性梯度特征和方向特征，选择直方图的峰值方向作为特征点的主方向，获取特征点主方向后，借鉴GLOH描述符结构来构建描述子，形成了多个子区域的对极数坐标网格；
然后统计每个子区域的像素点的各方向梯度特征和方向特征，最后生成包含多维特征向量的描述子。
进一步地，步骤4具体包括如下步骤：
通过NNDR算法搜索每一对图像中最近邻匹配点和次近邻匹配点；
从NNDR搜索出来的N个包含大量误匹配的匹配对中统计最近邻匹配点和次近邻匹配点距离差的均值：
Figure BDA0003852139060000053
对于每一个待筛选匹配对，剔除的条件为最邻近距离小于次邻近距离与距离差均值，公式为：
di<d’i-avg_dis
快速样本共识算法根据上述剔除条件剔除误匹配点，保留优质匹配点。
进一步地，步骤5中，在获得图像配准结果后，采用正确匹配数、正确匹配率、均方根误差以及运行时间来验证配准结果的精度。
与现有技术相比，本发明的有益效果为：
本发明的多光谱图像的匹配方法，首先，基于非线性扩散滤波和Log-Gabor滤波构建非线性加权力矩图，然后使用Harris算法获取特征点，随后使用对数极坐标描述框架来计算特征向量，重复迭代计算得到408维特征描述符。最后使用动态自适应欧氏距离作约束方法进行特征匹配，使用FSC剔除误匹配点；利用多组多光谱遥感影像对提出的HPCG算法进行了测试，并与SIFT、EOH、EHD、LGHD和PCEHD等算法进行了比较，结果表明：在多光谱遥感影像匹配中，HPCG算法在综合匹配性能上明显优于SIFT、EOH和EHD等方法，其平均同名点匹配数量提升了约8倍，RMSE误差在2像素以内，表明本发明算法具有较强的适应性和稳健性，弥补了传统影像匹配对多光谱图像非线性辐射差异和纹理变化较为敏感的缺陷，实现多光谱图像的稳健匹配。
附图说明
图1是本发明实施例的多光谱图像匹配流程图；
图2是本发明实施例的高斯影像尺度空间的特征点提取和非线性加权力矩图特征点提取对比结果；其中，(a)为原始影像对，(b)为高斯尺度空间特征点分布，(c)为非线性加权力矩图特征点分布；
图3是本发明实施例的HPCG描述子构建流程图；其中，(a)为扇形邻域图，(b)为对数极坐标，(c)为408维描述子；
图4是本发明实施例的6组多光谱图像对；其中，(a)为数据集1中的一对多光谱影像对样本，(b)为数据集2中的一对多光谱影像对样本，(c)为数据集3中的一对多光谱影像对样本，(d)为数据集4中的一对多光谱影像对样本，(e)为数据集5中的一对多光谱影像对样本，(f)为数据集6中的一对多光谱影像对样本；
图5是本发明实施例的6种匹配算法的特征匹配对比图；其中，(a)为图4(a)的匹配结果，(b)为图4(b)的匹配结果，(c)为图4(c)的匹配结果，(d)为图4(d)的匹配结果，(e)为图4(e)的匹配结果，(f)为图4(e)的匹配结果；
图6是本发明实施例的6种匹配算法的NCM累计分布图；其中，(a)为图4(a)的NCM累计分布图，(b)为图4(b)的NCM累计分布图，(c)为图4(c)的NCM累计分布图，(d)为图4(d)的NCM累计分布图，(e)为图4(e)的NCM累计分布图，(f)为图4(e)的NCM累计分布图；
图7是本发明实施例的HPCG与SIFT算法在6对影像上的配准结果；其中，(a1)为图4(a)的HPCG配准结果，(a2)为图4(a)的SIFT配准结果，(b1)为图4(b)的HPCG配准结果，(b2)为图4(b)的SIFT配准结果，(c1)为图4(c)的HPCG配准结果，(c2)为图4(c)的SIFT配准结果，(d1)为图4(d)的HPCG配准结果，(d2)为图4(d)的SIFT配准结果，(e1)为图4(e)的HPCG配准结果，(e2)为图4(e)的SIFT配准结果，(f1)为图4(f)的HPCG配准结果，(f2)为图4(f)的SIFT配准结果；
图8是本发明实施例的6种匹配算法影像配准精度分析；其中，(a)为NCM，(b)为RCM，(c)为RMSE，(d)RT。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明公开了一种多光谱图像的匹配方法，参见图1，实施例以1组多光谱图像匹配为例对本发明的流程进行一个具体的阐述，包括如下步骤：
步骤1、获取多光谱图像对，本实施例中获取的多光谱图像对的具体描述见表1，表1中的图像对已经过几何校正、裁剪等预处理后，每对图像的尺寸是相同的。通过非线性扩散滤波对多光谱图像对构建非线性尺度空间，再在非线性尺度空间中构建多光谱图像的非线性加权力矩图NWM；
在该步骤中，首先获取多光谱图像对，对每幅多光谱图像采用图像非线性扩散方法建立非线性扩散方程，公式如下：
Figure BDA0003852139060000081
其中，I表示多光谱图像灰度，div、
Figure BDA0003852139060000082
分别对应为多光谱图像的散度和梯度算子，t表示时间度量的尺度值，
Figure BDA0003852139060000083
是高斯平滑后的图像的梯度；k是控制扩散水平的对比因子；Al表示表示图像在方向l上的导数，Ii表示表示非线性扩散滤波迭代第i次的解，ti表示时间单位，Ii+1表示扩散后的结果。
构建非线性尺度空间后，在非线性尺度空间对多光谱图像进行相位一致性计算得到其相位图(PC图)，其中，相位一致性计算公式如下：
Figure BDA0003852139060000084
其中，PC(x,y)是多光谱图像中的点(x,y)处PC大小，Wo(x,y)是权函数，Aso(x,y)表示log-Gabor滤波器在点(x,y)的幅度分量，T为噪声阈值，δ是一个极小值防止分母为零，符号
Figure BDA0003852139060000091
表示当其值为正时，封闭量等于其自身，否则为零，ΔΦso(x,y)是相位偏差函数。
PC图可以更好地描述多光谱图像边缘特征，为每个方向i计算一个独立映射PC(θi)，θi是方向i的角度，取值范围为0-180°，再由PC(θi)构建多光谱图像的非线性加权力矩方程，计算公式为：
Figure BDA0003852139060000092
Figure BDA0003852139060000093
PC(θi)表示PC在i方向的映射；A、B和C是计算的中间量；θi是方向i的角度；ω表示多光谱图像的权重系数；
根据上述相位力矩A、B和C即可计算获得多光谱图像的非线性加权力矩图NWM。
步骤2、计算非线性加权力矩图NWM的相位一致性梯度信息，并根据梯度信息在非线性加权力矩图NWM中提取出特征点；
在该步骤中，将相位一致性模型计算的相位梯度特征替代多光谱图梯度特征，并扩展到二维空间。具体地，梯度方向表示影像特征变化最剧烈的方向，使用Log-Gabor函数奇对称滤波器对非线性加权力矩图NWM相位梯度特征进行卷积，Log-Gabor函数的奇对称滤波器的卷积结果表示影像在某个方向的能量变化。由于Log-Gabor奇对称滤波器在计算时需要将多个方向的奇对称滤波器结果分别投影到水平方向(x)和垂直方向(y)来获得水平方向的能量和垂直方向的能量，水平方向和垂直方向的梯度计算公式如下：
Figure BDA0003852139060000101
Gh和Gv分别表示水平方向梯度和垂直方向梯度，PCso(θ)表示非线性加权力矩图NWM在方向θ上的奇对称滤波器卷积结果。由Gh和Gv计算Harris算子中的协方差矩阵和角点响应函数，公式入下：
Figure BDA0003852139060000102
R＝Det(M)-k(Tr(M))2 (7)
其中M为协方差矩阵，R为角点响应函数，w为高斯窗口函数，Tr(·)表示矩阵行列式的值，Det(·)表示表示矩阵的迹，k的取值范围为0.04-0.06。
根据上述协方差矩阵和角点响应函数即可在在非线性加权力矩图NWM中提取出特征点。为了进一步对比基于非线性加权力矩图进行特征点检测的效果，对一组非线性辐射差异的近红外和可见光影像分别进行了高斯影像尺度空间的特征提取和非线性加权力矩图的特征提取，结果如图2所示。可以发现，非线性加权力矩图能够显著提升检测得到的特征点数量，极值点绝大多数出现在角点特征附近，并且，极值点一致性较好。因此，本发明非线性加权力矩图中提取的极值点可以较好的抵抗非线性辐射差异的干扰。
步骤3、根据步骤2的梯度信息计算非线性加权力矩图的梯度幅值和方向并根据计算的梯度幅值和方向生成绝对相位一致性方向特征，联合对数极坐标描述框架来计算特征向量，得到相位一致性梯度直方图特征描述符HPCG；
在该步骤中，首先计算新非线性加权力矩图的的梯度振幅和新的梯度方向，以用来构造一个对数极坐标描述符。由步骤2中得到的水平方向梯度Gh和垂直方向梯度Gv可以计算非线性加权力矩图的梯度幅值和方向，公式如下：
Figure BDA0003852139060000103
其中，Aso表示非线性加权力矩图的相位一致性幅值，φso表示非线性加权力矩图的相位一致性方向。
然而，由于φso是多个方向的卷积值，导致反正切值会存反方向的值，在一定程度难以正确描述多光谱图特征信息。因此，本实施例通过求取绝对值的方式将卷积结果全部归算到正方向上，之后通过非负常数项优化绝对相位一致性方向特征，最后获得绝对相位一致性方向特征Φso，公式如下：
Figure BDA0003852139060000111
其中，Φso表示非线性加权力矩图的绝对相位一致性方向特征。
为了更好的利用特征点周围的信息，有效地增加描述符的鲁棒性，本实施例设计了一种改进的对数极坐标描述，首先建立与特征点尺度相关的三个圆形邻域，在本实施例中，半径分别为8σ、12σ和16σ，根据步骤2计算它们的相位一致性梯度特征以及根据步骤3上述公式计算相位一致性方向特征，并根据计算结果生成相位一致性方向梯度直方图。把此直方图以每45°为间隔，均匀划分为8等份，统计每一等份的相位一致性梯度特征和方向特征，选择直方图的峰值方向作为特征点的主方向。获取特征点主方向后，借鉴GLOH描述符结构来构建描述子，形成了51个子区域的对极数坐标网格，然后统计每个子区域的像素点的8方向梯度特征和方向特征，最后生成包含408维特征向量的描述子，从而生成相位一致性梯度直方图描述符(HPCG)，HPCG描述之构建流程如图3所示。
步骤4，设计动态自适应欧氏距离作为约束方法，根据特征点分布自动地配置相应阈值参数，从待筛选的匹配筛出优质匹配点，并使用快速样本共识算法剔除误匹配点；
在该步骤中，采用快速样本共识算法(FSC)是行之有效的误匹配点提剔除方法，但如果待提纯的匹配点对中含有大量差异较大的误匹配，FSC方法受这些错误匹配点的影响，算法变得极不稳定。因此，在几何约束之前，需要进行匹配点对的粗提纯。通过NNDR算法搜索最近邻匹配点和次近邻匹配点，对于待筛选的匹配对中的第i个匹配对，最近邻匹配点距离di比次近邻匹配点距离di'越小，说明匹配质量越好。传统的算法都采取固定比例因子t作为阈值，即当满足的di<t·di'时，选入候选匹配对。但由于多光谱传感器间差距较大，进行欧氏空间距离搜索时，欧氏距离差分布范围很难预料。因此，每一对影像通常需要不断手动调整阈值t到合适数值，才能筛选出优质的匹配对。为解决这一问题，提高算法的适应性，本实施例设计了动态自适应欧氏距离约束方法。该方法对待提纯的匹配数进行统计，根据特征点分布自动的调整相应参数。首先，从NNDR搜索出来的N个包含大量误匹配的匹配对中统计最近邻匹配点和次近邻匹配点距离差的均值：
Figure BDA0003852139060000121
对于每一个待筛选匹配对，剔除的条件为最邻近距离小于次邻近距离与距离差均值，公式为：
di<d’i-avg_dis (11)
将满足公式(11)的匹配点作为初始匹配，使用FSC算法剔除误匹。动态自适应欧式距离约束方法可以很好地适应多光谱图像对之间的差异，能够很好地保留优质匹配点，提高FSC输出的稳定性。
为了验证所提出的HPCG方法的匹配性能，本实施例使用6个多光谱数据集进行了特征匹配实验，数据集描述如表1所示，每个数据集的多光谱图像对样本如图4所示；
表1多光谱图像数据集详细描述
Figure BDA0003852139060000122
Figure BDA0003852139060000131
将HPCG与5种最先进的方法进行了比较，即SIFT、EOH、EHD、LGHD和PCEHD。具体来说，SIFT和EOH利用SIFT检测器检测特征点，EHD、LGHD和PCEHD使用FAST器检测特征点，HPCG使用Harris检测器检测特征点，然后使用它们的描述符进行特征匹配，为了公平起见，我们统一使用FSC方法剔除误匹配，最后我们进行定性和定量评估匹配结果。
特征匹配的定性结果如图5所示。PCEHD的匹配性能最差，只有两对图像成功匹配。EHD成功匹配3对图像，EOH和SIFT成功匹配4对图像，LGHD成功匹配5对图像。HPCG获得了最佳的匹配性能，成功匹配了6对图像。与其他五种方法相比，HPCG获得了最佳的匹配性能。它获得了最大的NCM，分别为987、406、448、38、605和18。
本实施例使用累积分布曲线来定量分析匹配性能。图6为6个数据集的NCM的累积分布图。在数据集1、2和3上，PCEHD的平均NCM最小，分别为5.09、4.46和6.63。HPCG的平均NCM为270.97、540.43和474.6，分别是PCEHD的53.24、121.17和74.59倍。在数据集4和6上，SIFT的平均NCM最小，分别为3.15和2.88。HPCG的平均NCM为270.97和474.6，分别是SIFT的7.83和10.14倍。在数据集5上，EHD的平均NCM最小，为1.88。HPCG的平均NCM为212.54，是EHD的73.8倍。在所有数据集上，HPCG获得的平均NCM大于其他方法获得的平均NCM。HPCG可以削弱非线性辐射差异，增强多光谱图像纹理特征的边缘信息。因此，HPCG对多光谱图像匹配具有鲁棒性。
步骤5，利用正确特征匹配点求解仿射变换模型，使用仿射变换模型对多光谱图像进行变换，得到影像配准结果；并使用正确匹配数(NCM)、正确匹配率(RCM)、均方根误差(RMSE)和运行时间(RT)定量分析配准性能；
仿射变换是指图像经过一系列的几何变换来实现平移、旋转等操作，使用仿射变换的可以对待匹配影像进行变换，使其能够和参考影像对齐；仿射变换模型为：
Figure BDA0003852139060000141
式中，a0,a1,a2,b0,b1,b2指仿射变换参数，L、C指匹配的点行列号，x、y指变换后行列号。
采用步骤4中的正确匹配点求解步骤五中仿射变换的参数，以实现图像配准。在获得匹配结果后，采用下面几个指标对匹配精度进行验证：
(1)正确匹配数(NCM)：表示参考图像和遥感图像中对应的点数。正确匹配点的判断公式如下：
Figure BDA0003852139060000142
参考影像上通过算法匹配出的一个特征点位置pi，和理论点位
Figure BDA0003852139060000143
之间像素距离如果小于给定的精度阈值ε，则认为是正确匹配点；
(2)正确匹配率(RCM)：正确匹配点数量占算法给出的所有匹配点数量比率，这个指标可以反映出算法得到的匹配点对成功率，计算公式如下:
Figure BDA0003852139060000151
其中NCM和NFM分别表示正确匹配和错误匹配的点数；
(3)均方根误差(RMSE)：使用正确匹配估计的转换模型计算，可以反映匹配点的准确程度，数值越小，精度越高，其计算公式如下:
Figure BDA0003852139060000152
式中，N为均匀分布的正确匹配点的数量；H代表两张影像的真实变换模型，xi表示，
Figure BDA0003852139060000153
表示
(4)运行时间(RT)：用来衡量不同方法的计算效率，RT越小，效率越高；
在特征匹配之后，我们使用FSC算法来估计变换参数，用棋盘图来显示配准结果。SIFT和HPCG的配准结果如图7所示。可以看出，SIFT未能在图7(b1)和图7(f1)中成功配准。虽然SIFT在图7(a1)、图7(d1)和图7(e)中配准成功，但精度明显低于HPCG。在图7(c1)和图7(c2)中，SIFT和HPCG的配准精度相似。在图7(a2)-(f2)中，可以看出HPCG实现了高配准精度。
图像配准的定量评估结果如图8所示。从图8(a)、(b)和(c)可以看出，所提出的HPCG方法优于其他方法。运行时间如图8(d)所示。可以看出，HPCG具有最高的计算时间。这是因为HPCG描述符使用对数极轴描述来计算特征向量，并且重画描述符由408维向量组成，这在特征描述过程中需要大量时间。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种多光谱图像的匹配方法，其特征在于，包括如下步骤：
步骤1、获取多光谱图像对，通过非线性扩散滤波对多光谱图像对构建非线性尺度空间，再在非线性尺度空间中构建多光谱图像的非线性加权力矩图NWM；
步骤2、计算非线性加权力矩图NWM的相位一致性梯度信息，并根据梯度信息在非线性加权力矩图NWM中提取出特征点；
步骤3、根据步骤2的梯度信息计算非线性加权力矩图NWM梯度幅值和方向并根据计算的梯度幅值和方向生成绝对相位一致性方向特征，联合对数极坐标描述框架来计算特征向量，得到相位一致性梯度直方图特征描述符HPCG；
步骤4、设计动态自适应欧氏距离作为约束方法，根据特征点分布自动地配置相应阈值参数，得到优质匹配点，并使用快速样本共识算法剔除误匹配点；
步骤5、利用正确特征匹配点求解仿射变换模型，使用仿射变换模型对多光谱图像进行变换，得到影像配准结果。
2.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤1中构建非线性尺度影像空间的方法为：
采用图像非线性扩散方法建立非线性扩散方程，公式如下：
Figure FDA0003852139050000011
其中，I为多光谱图像灰度，，div和
Figure FDA0003852139050000012
分别对应为多光谱图像的散度和梯度算子，t表示时间度量的尺度值，
Figure FDA0003852139050000013
是高斯平滑后的图像的梯度；k是控制扩散水平的对比因子；Al表示表示图像在方向l上的导数，Ii表示表示非线性扩散滤波迭代第i次的解，ti表示时间单位，Ii+1表示扩散后的结果。
3.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤1中构建非线性加权力矩图NWM方法为：
构建非线性尺度空间后，对多光谱图像进行相位一致性计算得到相位图PC，多光谱图像的相位一致性计算公式如下：
Figure FDA0003852139050000021
其中，PC(x，y)是多光谱图像中点(x,y)处PC的大小，Wo(x,y)是权函数，Aso(x,y)表示log-Gabor滤波器在点(x,y)的幅度分量，T为噪声阈值，δ是一个极小值防止分母为零；符号
Figure FDA0003852139050000022
表示当其值为正时，封闭量等于其自身，否则为零；ΔΦso(x,y)是相位偏差函数；
PC图为每个方向i计算一个独立映射PC(θi)，θi是方向i的角度，取值范围为0-180°，由PC(θi)构建多光谱图像的非线性加权力矩方程，计算公式为：
Figure FDA0003852139050000023
Figure FDA0003852139050000024
PC(θi)表示PC在i方向的映射；A、B和C是相位力矩计算的中间量；θi是方向i的角度；ω表示多光谱图像的权重系数。
4.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤2具体包括如下子步骤：
采用Log-Gabor函数奇对称滤波器对非线性加权力矩图NWM相位梯度特征进行卷积，从而获得非线性加权力矩图NWM的水平方向和垂直方向的梯度，其计算公式如下：
Figure FDA0003852139050000031
式中，Gh和Gv分别表示水平方向梯度和垂直方向梯度，PCso(θ)表示非线性加权力矩图NWM在方向θ上的奇对称滤波器卷积结果；
由Gh和Gv计算Harris算子中的协方差矩阵和角点响应函数从而在非线性加权力矩图NWM中提取出特征点，公式如下：
Figure FDA0003852139050000032
R＝Det(M)-k(Tr(M))2
其中M为协方差矩阵，R为角点响应函数，w为高斯窗口函数，Tr(·)表示矩阵行列式的值，Det(·)表示表示矩阵的迹，k的取值范围为0.04-0.06。
5.根据权利要求4所述的多光谱图像的匹配方法，其特征在于，步骤3具体方法为：
由步骤2中的水平方向梯度Gh和垂直方向梯度Gv计算梯度幅值和方向，公式如下：
Figure FDA0003852139050000033
其中，Aso表示相位一致性幅值，φso表示相位一致性方向；
再通过求取绝对值的方式将卷积结果全部归算到正方向上，之后通过非负常数项优化绝对相位一致性方向特征，最后获得绝对相位一致性方向特征Φso，公式如下：
Figure FDA0003852139050000034
其中Φso表示绝对相位一致性方向特征。
6.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤3中，相位一致性梯度直方图特征描述符HPCG构建方法为：
首先建立与特征点尺度相关的多个圆形邻域，再根据步骤2的方法计算它们的相位一致性梯度特征以及根据步骤3的方法计算它们的相位一致性方向特征，进而生成相位一致性方向梯度直方图；
再将此直方图以一定角度为间隔均匀等份，统计每一等份的相位一致性梯度特征和方向特征，选择直方图的峰值方向作为特征点的主方向，获取特征点主方向后，借鉴GLOH描述符结构来构建描述子，形成了多个子区域的对极数坐标网格；
然后统计每个子区域的像素点的各方向梯度特征和方向特征，最后生成包含多维特征向量的描述子。
7.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤4具体包括如下步骤：
通过NNDR算法搜索每一对图像中最近邻匹配点和次近邻匹配点；
从NNDR搜索出来的N个包含大量误匹配的匹配对中统计最近邻匹配点和次近邻匹配点距离差的均值：
Figure FDA0003852139050000041
对于每一个待筛选匹配对，剔除的条件为最邻近距离小于次邻近距离与距离差均值，公式为：
di<d′i-avg_dis
快速样本共识算法根据上述剔除条件剔除误匹配点，保留优质匹配点。
8.根据权利要求1所述的多光谱图像的匹配方法，其特征在于，步骤5中，在获得图像配准结果后，采用正确匹配数、正确匹配率、均方根误差以及运行时间来验证配准结果的精度。
CN202211137900.1A 2022-09-19 2022-09-19 多光谱图像的匹配方法 Pending CN115511928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211137900.1A CN115511928A (zh) 2022-09-19 2022-09-19 多光谱图像的匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211137900.1A CN115511928A (zh) 2022-09-19 2022-09-19 多光谱图像的匹配方法

Publications (1)

Publication Number Publication Date
CN115511928A true CN115511928A (zh) 2022-12-23

Family

ID=84504133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211137900.1A Pending CN115511928A (zh) 2022-09-19 2022-09-19 多光谱图像的匹配方法

Country Status (1)

Country Link
CN (1) CN115511928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958216A (zh) * 2023-07-25 2023-10-27 南京航空航天大学 一种基于特征点距离估计的多光谱图像通道间配准方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958216A (zh) * 2023-07-25 2023-10-27 南京航空航天大学 一种基于特征点距离估计的多光谱图像通道间配准方法

Similar Documents

Publication Publication Date Title
CN109919960B (zh) 一种基于多尺度Gabor滤波器的图像连续边缘检测方法
CN111767960A (zh) 一种应用于图像三维重建的图像匹配方法及系统
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
Van de Weijer et al. Curvature estimation in oriented patterns using curvilinear models applied to gradient vector fields
CN113392856B (zh) 图像伪造检测装置和方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN109409389A (zh) 一种融合多特征的面向对象变化检测方法
CN113763274B (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法
CN115511928A (zh) 多光谱图像的匹配方法
Tu et al. Feature extraction using multidimensional spectral regression whitening for hyperspectral image classification
CN114463397A (zh) 一种基于渐进式滤波的多模态图像配准方法
CN112288784B (zh) 一种描述子邻域自适应的弱纹理遥感影像配准方法
CN112801141A (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
Zhang et al. LPPCO: A novel multimodal medical image registration using new feature descriptor based on the local phase and phase congruency of different orientations
CN114565653B (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
CN113850769B (zh) 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法
CN113822361B (zh) 一种基于汉明距离的sar图像相似程度度量方法和系统
Liu et al. SAR image matching based on speeded up robust feature
CN110751189B (zh) 一种基于感知对比度和特征选择的椭圆检测方法
Xu et al. A Multi-rule-based Relative Radiometric Normalization for Multi-Sensor Satellite Images
Ma et al. Improving KAZE feature matching algorithm with alternative image gray method
Lu et al. A Sar Image registration method based on SIFT Algorithm
Zhao et al. Robust Region Feature Extraction With Salient MSER and Segment Distance-Weighted GLOH for Remote Sensing Image Registration
Dong et al. Auto localization for coastal satellite imagery based on curve matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination