CN111797744B - 一种基于共现滤波算法的多模态遥感图像匹配方法 - Google Patents
一种基于共现滤波算法的多模态遥感图像匹配方法 Download PDFInfo
- Publication number
- CN111797744B CN111797744B CN202010598139.6A CN202010598139A CN111797744B CN 111797744 B CN111797744 B CN 111797744B CN 202010598139 A CN202010598139 A CN 202010598139A CN 111797744 B CN111797744 B CN 111797744B
- Authority
- CN
- China
- Prior art keywords
- occurrence
- remote sensing
- image
- sensing image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001914 filtration Methods 0.000 title claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 44
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 7
- 238000006073 displacement reaction Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 4
- 239000011541 reaction mixture Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于共现滤波算法的多模态遥感图像匹配方法，该方法分为尺度空间生成、描述子构建和匹配三部分。首先，基于共现滤波构建新的遥感图像的共现尺度空间，在新尺度空间中采用改进的图像梯度提取特征点。其次，通过重新划分对数极坐标格网，构建了新的多模态遥感图像特征描述子。最后，建立位置优化的距离匹配函数，即计算特征点在水平和垂直方向的位移误差来优化匹配距离函数。最终对优化结果进行重匹配，并利用快速样本共识算法剔除误匹配。本发明对大量的多模态遥感图像数据进行实验，结果证明发明提出的匹配方法效果显著，能提取出足够的同名点数目，并一定程度上保持较好的匹配精度，算法具有较好的适用性和鲁棒性。
Description
技术领域
本发明涉及遥感图像处理方法技术领域，尤其涉及一种基于共现滤波算法的多模态遥感图像匹配方法。
背景技术
从单一传感器到多源传感器的不断发展，使多模态遥感图像具有丰富多样的影像类型，但这些图像因成像机理的不同，具有显著的非线性畸变差异和几何差异，往往不能提取足够多的同名点，导致多模态遥感图像匹配困难，效果不佳。而多模态遥感图像匹配又是遥感图像处理的关键环节，被广泛应用到图像拼接、空中三角测量、目标检测、灾害评估、国土资源变化监测、三维重建等领域并发挥着重要作用，故对此展开研究也势在必行。
图像匹配主要集中在强度与特征两个方面。基于图像强度的方法，如：形状上下文、互信息、像素强度等，这些方法对图像强度差异较为敏感，当图像强度差异较大时，效果不佳。基于图像特征的方法，如SIFT、SURF、ORB 等以及增强特征匹配算法、快速样本共识算法及模式搜索等，这些方法从尺度稳健性，旋转不变性，二进制描述优化，图像非线性扩散等方面对影像匹配进行了研究，其中SIFT算法最稳定。因此，特征匹配方法应用也更为广泛，但在时间、几何变化较大等情况下，上述算法表现欠佳。尤其在多模态遥感图像匹配时，非线性畸变较大的多模态遥感图像对灰度和梯度变化又比较敏感，这种差异会降低图像对应之间的相关性，使得先用匹配方法的优势在多模态遥感图像匹配中无法体现，难以提取可靠的共有特征，往往不能得到足够的同名点数目，导致多模态遥感图像匹配效果不佳。而同名点数目和匹配精度是保证匹配成功的重要关键。
因此，为了匹配出足够多的同名点并一定程度上较好地保证精度，本发明提出一种共现滤波算法的多模态遥感图像匹配方法。在多模态遥感图像匹配过程中，在共现滤波构建的尺度空间基础上有效提取图像的共有特征进行匹配，从而增加匹配同名点的数目，并保证多模态遥感图像匹配的精度。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于共现滤波算法的多模态遥感图像匹配方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种共现滤波算法的多模态遥感图像匹配方法，该方法包括以下步骤：
步骤1：输入多模态遥感图像，初始化多模态遥感图像尺度空间计算的参数，将尺度空间构建过程分为共现矩阵解算和共现矩阵窗口推导两部分；
步骤2：通过对多模态遥感图像进行共现矩阵解算，输出当前多模态遥感图像的尺度空间的共现滤波结果；
步骤3：利用初始窗口大小和图层间的尺度推导下一图层的共现矩阵窗口大小，依次计算共现滤波，输出多模态遥感图像共现尺度空间结果；
步骤4：利用低通巴特沃斯滤波计算多模态遥感图像共现尺度空间结果在梯度幅值和方向上的变化，生成新的图像梯度幅值和梯度方向；
步骤5：在新图像梯度幅值和方向上，利用Shi-Tomasi算法提取初始多模态遥感图像特征点，通过位置重复性检测，删除冗余特征点，输出最终特征点集；
步骤6：根据最终特征点集，重新划分多模态遥感图像特征点邻域子区域格网，输出新的对数极坐标描述子；
步骤7：采用欧氏距离匹配后，得到图像间的变换矩阵，并通过变换矩阵计算特征点位置偏移量，构建位置欧氏距离匹配函数；
步骤8：利用构建的位置欧氏距离匹配函数对多模态遥感图像进行重匹配，并通过快速样本共识算法剔除粗差，得到匹配结果；
步骤9：获取用于验证的多模态图像并提取其同名点，利用提取的同名点检验多模态遥感图像的匹配效果。
进一步地，本发明的步骤1的具体方法为：
对于共现滤波算法，在尺度空间构建过程中，有共现滤波原始窗口大小和尺度空间层数的参数需要完成初始化，根据实验经验，将共现滤波原始窗口大小和尺度空间层数分别设置为5和4。
进一步地，本发明的步骤2的具体方法为：
通过共现矩阵收集图像中的点状相互信息获得图像中边界的概率，从而用来衡量纹理之间的相似性，共现滤波的公式定义为：
其中，Jp和Iq是输出和输入像素值，p和q是像素索引；
是像素q对像素p的输出的贡献的权重；
是高斯滤波器；M(Ip,Iq)是共现矩阵计算结果；
共现滤波的权重通过共现矩阵计算得到，其公式为：
其中，M(a，b)基于共现矩阵C(a，b)，该共现矩阵C(a，b)对图像中的值a和b的共现除以它们的频率h(a)和h(b)进行计数；σ是初始参数；将共现矩阵代入共现滤波的公式中得到当前影像层的共现空间。
进一步地，本发明的步骤3的具体方法为：
多模态遥感图像共现尺度空间通过不同层的共现矩阵迭代计算得到，其计算公式为：
其中，OCn表示第n个共现矩阵窗口的大小，COFSpace代表最终的多模态遥感图像的共现尺度空间结果，Jn p表示第n个图层的共现滤波后的像素值。
进一步地，本发明的步骤4的具体方法为：
低通巴特沃斯滤波的公式为：
其中，LPB(rows,cols)表示LPBF计算结果；D(u,v)表示距离范围，通过实验， u和v优选为3；cutoff表示滤波器的截止频率，取值在0～0.5之间；n表示滤波器的阶数；
将LPB(rows,cols)滤波融合到多模态遥感图像的梯度计算中获得新的一阶梯度幅值图，其公式为：
其中，
表示多模态遥感图像的一阶梯度幅值图；σ表示图像尺度； Lx,σ和Ly,σ分别表示尺度σ的共现尺度空间图像沿水平和垂直方向的差分；
为进一步提取图像的轮廓边缘特征信息，联合Sobel算子进行二、三阶梯度计算，其公式为：
其中，
表示最终的多模态遥感图像的梯度幅值；
表示最终的多模态遥感图像的梯度方向；Γx和Γy分别表示表示X方向和Y方向的Sobel 算子模板。
进一步地，本发明的步骤5的具体方法为：
在新图像梯度幅值和方向上，利用Shi-Tomasi算法提取初始多模态遥感图像特征点，对特征点集进行过滤操作，将特征点的X和Y坐标作为判别条件，当X坐标值和Y坐标值相等时，保留强度值大于阈值的点，最终输出过滤后的特征点集。
进一步地，本发明的步骤6的具体方法为：
特征点邻域内子区域网格的划分是对数极坐标描述子构建的关键，在梯度位置定向直方图的基础上对特征点的邻域子区域网格进行重划分，建立新的对数极坐标描述子，其具体方法为：
将邻域格网从右端零度方向开始，每间隔40°等分一个扇形邻域，最终将整个圆形邻域划分为9等份，即生成了19个子区域格网的新对极数坐标网格；其中每个格网中水平方向表示邻域像素点所在位置的极角；计算出每个特征点的方向直方图后，每间隔45°划分一个维度，将0～360°方向划分为8个维度；因此，每个子区域格网的邻接点具有8个维度的梯度位置和方向直方图，最后将对数极坐标子区域网格数目与维度数目相乘生成152维的新型对数极坐标描述子。
进一步地，本发明的步骤7的具体方法为：
先采用欧式距离进行初始匹配，再通过最小二乘迭代计算得到模型变换参数，并通过该变换参数求解特征点水平和垂直方向上位置的偏移量，构建位置欧氏距离匹配函数，其公式为：
其中，
表示位置偏移变换误差优化后的欧式距离；
表示特征点描述子之间的欧氏距离；
表示位置偏移误差。
进一步地，本发明的步骤9的具体方法为：
获取用于验证的多组真实多模态图像对，对每个图像对提取其同名点，执行步骤1-步骤8，根据同名点的均方根误差和同名点对的匹配数量来进行定量的检验，评价多模态遥感图像的匹配效果。
本发明产生的有益效果是：
本发明的基于共现滤波算法的多模态遥感图像匹配方法，分为尺度空间构建、描述子生成和匹配三部分；首先，利用共现滤波构建新的遥感图像的共现尺度空间并通过改进的图像梯度提取特征点；其次，通过重新划分对数极坐标格网，构建了新的特征新描述符；最后，建立位置优化的距离匹配函数；即计算特征点在水平和垂直方向的位移误差来优化匹配距离函数；最终将优化结果进行重匹配，并利用快速样本共识算法剔除误匹配。实验结果表明，本发明不仅能较好地增加匹配同名点的数目，同时还在一定程度上保证了匹配精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的对数极坐标描述子示意图；
图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)是本发明实施例的多模态遥感图像对；
图4是本发明实施例的匹配结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的基于共现滤波算法的多模态遥感图像匹配方法，包括以下步骤：
步骤1：初始化多模态遥感图像尺度空间计算的参数，将尺度空间构建过程分为共现矩阵解算和共现矩阵窗口推导两部分。
步骤2：通过对多模态遥感图像共现矩阵解算，输出对应尺度空间影像的共现滤波结果。共现滤波器(Co-occurrence Filter，COF)是一种边界保持滤波器。COF的主要优势是可以有效区分图像纹理内的边缘和图像纹理之间的边缘。即在图像中频繁出现的像素值将在共现矩阵中具有较高的权重，可以平滑图像纹理且不考虑强度差异；在图像中很少同时出现的像素值将在共现矩阵中具有较低的权重，将不会跨越纹理边界进行平滑，这样可以较好地保留图像纹理区域内的边界。
共现矩阵收集图像中的点状相互信息获得图像中边界的概率，从而用来衡量纹理之间的相似性。其中，共现滤波定义如公式(1)所示：
其中，Jp和Iq是输出和输入像素值，p和q是像素索引；
是像素q对像素p的输出的贡献的权重；
是高斯滤波器；M(Ip,Iq)是共现矩阵计算结果；σ是初始参数。
其中，影像共现滤波的权重主要通过共现矩阵计算得到，即M是256×256 的矩阵，其计算公式如(2)所示：
式(2)中，M(a，b)基于共现矩阵C(a，b)，该共生矩阵C(a，b)对图像中的值a和b的共现除以它们的频率(像素值的直方图)h(a)和h(b)进行计数。
将公式2代入到公式1中计算得到当前影像层的共现空间。
步骤3：利用初始窗口大小和图层间的尺度推导下一图层的共现矩阵窗口大小。为了降低计算复杂度，不对图像执行下采样操作，即共现尺度空间中图像的分辨率是一样的。令尺度空间共N+1层(一般不超过8层)，则各层图像的尺度定义如(3)所示：
由公式(3)可知，σn表示尺度空间第n层图像的尺度；σ0表示尺度空间第一层图像的尺度，根据大量实验经验将初始尺度大小设置为1.6；N表示多模态影像的尺度空间层数。考虑到在统计共现信息时需要计算统计窗口的大小，因此结合滤波初始窗口大小和图像尺度得到共现矩阵窗口尺寸。多模态遥感图像共现矩阵窗口大小的计算公式如(4)所示：
式(4)中，OCn表示第n个共现矩阵窗口的大小；Sigma_s代表共现滤波初始窗口大小，根据大量实验经验将初始窗口大小设置为5；n表示尺度空间层数；σn表示尺度空间第n层图像的尺度。因此，多模态遥感图像尺度空间集可以定义为式(5)：
式(5)中，OCn表示第n个共现矩阵窗口的大小，COFSpace代表最终的多模态遥感图像的尺度空间结果，Jn p表示第n个图层的共现滤波后的像素值。
步骤4：利用低通巴特沃斯滤波计算多模态遥感图像尺度空间结果在梯度幅值和方向上的变化，生成新的图像梯度幅值和方向结果。低通巴特沃斯滤波 (LowPassButterworth Filter，LPBF)是一种低通滤波器，主要应用于图像处理。因其具有通带内具有最大平坦的特性，具有减弱图像高频部分能量，从而平滑图像降低噪声的作用，对图像非线性畸变优化具有一定作用，其数学表达式如式(6)所示：
式(6)中，LPB(rows,cols)表示LPBF计算结果；D(u,v)表示距离范围，通过大量实验，u和v优选为3；cutoff表示滤波器的截止频率，取值在0～0.5之间； n表示滤波器的阶数。
将LPB(rows,cols)滤波融合到多模态遥感图像的梯度计算中获得新的一阶梯度幅值图，该方法主要是对图像进行了加权，增加了图像平滑程度，降低了噪声的影响，其公式定义如(7)所示：
式(7)中，
表示多模态遥感图像的一阶梯度幅值图；σ表示图像尺度；Lx,σ和Ly,σ分别表示尺度σ的共现尺度空间图像沿水平和垂直方向的差分。
而Soble算子对消除图像的非线性亮度差异具有较好地效果。因此，为进一步提取图像的轮廓边缘特征信息，联合Sobel算子进行二、三阶梯度计算，其公式如(8)所示：
式(8)中，
表示最终的多模态遥感图像的梯度幅值；
表示最终的多模态遥感图像的梯度方向；Γx和Γy分别表示表示X方向和Y方向的 Sobel算子模板。
步骤5：在新图像梯度幅值和方向上，利用Shi-Tomasi算法提取初始多模态遥感图像特征点。由于共现滤波尺度空间的保留边缘的特点，在进行特征点提取时，会存在一定数量的重复点，会造成数据冗余。因此，对提取的特征点进行优化十分必要。当MRSI影像尺寸较大时，会严重影响特征点描述阶段的计算效率。因此，对特征点集进行过滤操作，将特征点的X和Y坐标作为判别条件，当X坐标值和Y坐标值相等时，保留强度值较大的点，最终输出过滤后的特征点集。
步骤6：重新划分多模态遥感图像特征点邻域子区域格网，输出新的对数极坐标描述子。
在特征点提取后，对其进行描述是后续能够成功匹配的重要步骤。而采用梯度位置和方向直方图(简称GLOH)算法的对数极坐标描述方式相对优势明显，比较稳定。但对数极坐标描述方法不是唯一的描述子，它对极坐标格网的划分依赖较为严重，不同的划分方式会生成不同的描述子。
因此，本发明考虑到描述子的稳定性和鲁棒性，将邻域格网从右端零度方向开始，每间隔40°等分一个扇形邻域，最终将整个圆形邻域划分为9等份，即生成了19个子区域格网的新对极数坐标网格。其中每个格网中水平方向表示邻域像素点所在位置的极角。计算出每个特征点的方向直方图后，每间隔 45°划分一个维度，将0～360°方向划分为8个维度。因此，每个子区域格网的邻接点具有8个维度的梯度位置和方向直方图，最后将对数极坐标子区域网格数目(19)与维度数目(8维)相乘生成152维的新型对数极坐标描述子，其描述子如图2所示。
步骤7：采用欧氏距离匹配后，得到图像间的变换矩阵，并通过变换矩阵计算特征点位置偏移量，构建位置欧氏距离匹配函数。
先采用欧式距离进行初始匹配，然后采用随机采样一致性算法进行快速粗差剔除，此时将剔除阈值(即像素点误差阈值，小于该像素阈值的匹配认为为正确匹配)更大，目的是为了快速求得模型变换参数。为了转换模型计算的成功率，此处需要设置最小二乘迭代计算的误差阈值(本发明作为优选设置为6 个像素，非限制性设定)，将其匹配点对用于最小二乘迭代计算，得到模型变换参数。
利用模型变换参数并结合特征点的尺度和方向信息，解算出特征点之间的位置偏移误差，位置偏离误差定义如(9)所示：
式(9)中，
表示位置变换误差；T表示变换模型；μ表示变换模型的参数。
将(9)解算出的位置偏移误差作为约束对欧式距离进行优化，得到位置偏移的距离匹配函数，其数学表达式如(10)所示：
式(10)中，表示位置偏移变换误差优化后的欧式距离；
表示特征点描述子之间的欧氏距离；
表示位置偏移误差。
步骤8：利用构建的位置欧氏距离对多模态遥感图像进行重匹配，并通过快速样本共识算法剔除粗差。
步骤9：利用检查点评价多模态遥感图像的配准效果。本发明利用真实的6 组多模态图像对测试算法的性能，数据集见图3(a)-图3(f)。对于每个图像对，利用同名点的均方根误差(Root-Mean-Square Error，RMSE)和同名点对匹配数量来进行定量的检验，匹配结果见图4。本发明将提出的多模态遥感图像配准方法命名为COFSM算法，并与当前最优的几种图像匹配方法(SIFT、 PSO-SIFT和RIFT)进行对比，比较结果请见表1。
表1几种多模态遥感图像匹配方法比较
由表1可知，对于所有的图像对，COFSM算法相比SIFT、PSO-SIFT和 RIFT算法可以获取更多的同名点对。通过本发明提出的COFSM算法可以达到一个相对最优的结果。其中，COFSM算法的RMSE虽然略低于SIFT和PSO-SIFT方法，但这两种方法的同名点较少且不能满足匹配需求。而RIFT 算法匹配结果与本发明提出的COFSM算法结果接近，但综合RMSE和同名点数量，本发明方法要略优。同时，COFSM算法RMSE的值都小于2个像素。这进一步证明COFSM算法不仅极大增加了同名点的匹配数目，且保持了较高的匹配精度。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，该方法包括以下步骤：
步骤1：输入多模态遥感图像，初始化多模态遥感图像尺度空间计算的参数，将尺度空间构建过程分为共现矩阵解算和共现矩阵窗口推导两部分；
步骤2：通过对多模态遥感图像进行共现矩阵解算，输出当前多模态遥感图像的尺度空间的共现滤波结果；
步骤2的具体方法为：
通过共现矩阵收集图像中的点状相互信息获得图像中边界的概率，从而用来衡量纹理之间的相似性，共现滤波的公式定义为：
其中，Jp和Iq是输出和输入像素值，p和q是像素索引；Gσs(p,q)·M(Ip,Iq)是像素q对像素p的输出的贡献的权重；Gσs(p,q)是高斯滤波器；M(Ip,Iq)是共现矩阵计算结果；
共现滤波的权重通过共现矩阵计算得到，其公式为：
其中，M(a，b)是基于共现矩阵C(a，b)计算获取的，将共现矩阵C(a，b)对图像中的共现值a和b除以它们的频率h(a)和h(b)进行计数；σ是初始参数；将共现矩阵代入共现滤波的公式中得到当前影像层的共现空间；
步骤3：利用初始窗口大小和图层间的尺度推导下一图层的共现矩阵窗口大小，依次计算共现滤波，输出多模态遥感图像共现尺度空间结果；
步骤4：利用低通巴特沃斯滤波计算多模态遥感图像共现尺度空间结果在梯度幅值和方向上的变化，生成新的图像梯度幅值和梯度方向；
步骤5：在新图像梯度幅值和方向上，利用Shi-Tomasi算法提取初始多模态遥感图像特征点，通过位置重复性检测，删除冗余特征点，输出最终特征点集；
步骤6：根据最终特征点集，重新划分多模态遥感图像特征点邻域子区域格网，输出新的对数极坐标描述子；
步骤6的具体方法为：
特征点邻域内子区域网格的划分是对数极坐标描述子构建的关键，在梯度位置和方向直方图的基础上对特征点的邻域子区域网格进行重划分，建立新的对数极坐标描述子，其具体方法为：
将邻域格网从右端零度方向开始，每间隔40°等分一个扇形邻域，最终将整个圆形邻域划分为9等份，即生成了19个子区域格网的新对极数坐标网格；其中每个格网中水平方向表示邻域像素点所在位置的极角；计算出每个特征点的方向直方图后，每间隔45°划分一个维度，将0～360°方向划分为8个维度；因此，每个子区域格网的邻接点具有8个维度的梯度位置和方向直方图，最后将对数极坐标子区域网格数目与维度数目相乘生成152维的新型对数极坐标描述子；
步骤7：采用欧氏距离匹配后，得到图像间的变换矩阵，并通过该矩阵计算特征点位置偏移量，构建位置欧氏距离匹配函数；
步骤8：利用构建的位置欧氏距离匹配函数对多模态遥感图像进行重匹配，并通过快速样本共识算法剔除粗差，得到匹配结果；
步骤9：获取用于验证的多模态图像并提取其同名点，利用提取的同名点检验多模态遥感图像的匹配效果。
2.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤1的具体方法为：
对于共现滤波算法，在尺度空间构建过程中，有共现滤波原始窗口大小和尺度空间层数的参数需要完成初始化，根据实验经验，将共现滤波原始窗口大小和尺度空间层数分别设置为5和4。
3.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤3的具体方法为：
多模态遥感图像共现尺度空间通过不同层的共现矩阵迭代计算得到，其计算公式为：
其中，OCn表示第n个共现矩阵窗口的大小，COFSpace代表最终的多模态遥感图像的共现尺度空间结果，Jn p表示第n个图层的共现滤波后的像素值。
4.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤4的具体方法为：
低通巴特沃斯滤波的公式为：
其中，LPB(rows,cols)表示LPBF计算结果；D(u,v)表示距离范围，通过实验，u和v为3；cutoff表示滤波器的截止频率，取值在0～0.5之间；n表示滤波器的阶数；
将LPB(rows,cols)滤波融合到多模态遥感图像的梯度计算中获得新的一阶梯度幅值图，其公式为：
其中，
表示多模态遥感图像的一阶梯度幅值图；σ表示图像尺度；Lx,σ和Ly,σ分别表示尺度σ的共现尺度空间图像沿水平和垂直方向的差分；
为进一步提取图像的轮廓边缘特征信息，联合Sobel算子进行二、三阶梯度计算，其公式为：
其中，
表示最终的多模态遥感图像的梯度幅值；
表示最终的多模态遥感图像的梯度方向；Γx和Γy分别表示X方向和Y方向的Sobel算子模板。
5.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤5的具体方法为：
在新图像梯度幅值和方向上，利用Shi-Tomasi算法提取初始多模态遥感图像特征点，对特征点集进行过滤操作，将特征点的X和Y坐标作为判别条件，当X坐标值和Y坐标值相等时，保留强度值大于阈值的点，最终输出过滤后的特征点集。
6.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤7的具体方法为：
先采用欧式距离进行初始匹配，再通过最小二乘迭代计算得到模型变换参数，并通过该变换参数求解特征点水平和垂直方向上位置的偏移量，构建位置欧氏距离匹配函数，其公式为：
其中，
表示位置偏移变换误差优化后的欧式距离；
表示特征点描述子之间的欧氏距离；
表示位置偏移误差。
7.根据权利要求1所述的基于共现滤波算法的多模态遥感图像匹配方法，其特征在于，步骤9的具体方法为：
获取用于验证的多组真实多模态图像对，对每个图像对提取其同名点，执行步骤1-步骤8，根据同名点的均方根误差和同名点对的匹配数量来进行定量的检验，评价多模态遥感图像的匹配效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598139.6A CN111797744B (zh) | 2020-06-28 | 2020-06-28 | 一种基于共现滤波算法的多模态遥感图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598139.6A CN111797744B (zh) | 2020-06-28 | 2020-06-28 | 一种基于共现滤波算法的多模态遥感图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111797744A CN111797744A (zh) | 2020-10-20 |
| CN111797744B true CN111797744B (zh) | 2022-06-10 |
Family
ID=72803273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010598139.6A Active CN111797744B (zh) | 2020-06-28 | 2020-06-28 | 一种基于共现滤波算法的多模态遥感图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797744B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034556B (zh) * | 2021-03-19 | 2024-04-16 | 南京天巡遥感技术研究院有限公司 | 一种频域相关半稠密遥感影像匹配方法 |
| CN113343747B (zh) * | 2021-03-30 | 2023-05-09 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态图像鲁棒匹配vns方法 |
| CN113379720B (zh) * | 2021-06-29 | 2022-08-09 | 云南昆船设计研究院有限公司 | 一种基于茶饼图像特征编码的茶饼防伪方法 |
| CN113763274B (zh) * | 2021-09-08 | 2023-06-06 | 湖北工业大学 | 一种联合局部相位锐度定向描述的多源图像匹配方法 |
| CN117132913B (zh) * | 2023-10-26 | 2024-01-26 | 山东科技大学 | 基于无人机遥感与特征识别匹配的地表水平位移计算方法 |
| CN118506032B (zh) * | 2024-07-18 | 2024-09-27 | 武汉大学 | 一种多模态弱纹理遥感图像匹配方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
| CN105069459A (zh) * | 2015-08-18 | 2015-11-18 | 电子科技大学 | 一种针对高分辨率sar图像地物类型提取方法 |
| CN108280810A (zh) * | 2018-01-09 | 2018-07-13 | 北方工业大学 | 一种单时相光学遥感图像云覆盖区修复的自动处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5214367B2 (ja) * | 2008-08-08 | 2013-06-19 | 株式会社東芝 | 特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラム |
| CN107301661B (zh) * | 2017-07-10 | 2020-09-11 | 中国科学院遥感与数字地球研究所 | 基于边缘点特征的高分辨率遥感图像配准方法 |
| CN107563438B (zh) * | 2017-08-31 | 2019-08-30 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和系统 |
| US10984532B2 (en) * | 2018-08-24 | 2021-04-20 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
-
2020
- 2020-06-28 CN CN202010598139.6A patent/CN111797744B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
| CN105069459A (zh) * | 2015-08-18 | 2015-11-18 | 电子科技大学 | 一种针对高分辨率sar图像地物类型提取方法 |
| CN108280810A (zh) * | 2018-01-09 | 2018-07-13 | 北方工业大学 | 一种单时相光学遥感图像云覆盖区修复的自动处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Method for Extracting the Text Feature of SAR Image Based on Cooccurence Matrix;Kai-zhi Y.等;《2011 4th International Congress on Image and Signal Processing》;20111212;第2038-2043页 * |
| 基于多重约束的多源光学卫星影像自动匹配方法研究;凌霄;《中国优秀博硕士学位论文全文数据库（博士 基础科学辑）》;20200115;第A008-36页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111797744A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797744B (zh) | 一种基于共现滤波算法的多模态遥感图像匹配方法 | |
| Yao et al. | Multi-modal remote sensing image matching considering co-occurrence filter | |
| CN105427298B (zh) | 基于各向异性梯度尺度空间的遥感图像配准方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN101650784B (zh) | 一种利用结构上下文特征进行图像匹配的方法 | |
| CN106981077A (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
| JP5289412B2 (ja) | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 | |
| CN117522817A (zh) | 一种基于人工智能算法的医学图像处理方法及系统 | |
| CN111369605A (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| CN116452644A (zh) | 基于特征描述子的三维点云配准方法、装置及存储介质 | |
| CN112288784B (zh) | 一种描述子邻域自适应的弱纹理遥感影像配准方法 | |
| CN105869168A (zh) | 基于多项式拟合的多源遥感图像形状配准方法 | |
| CN115471682A (zh) | 一种基于SIFT融合ResNet50的图像匹配方法 | |
| CN114612412B (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| CN114119987A (zh) | 基于卷积神经网络的特征提取和描述子生成方法及系统 | |
| CN115861792A (zh) | 一种加权相位定向描述的多模态遥感影像匹配方法 | |
| Jin et al. | Registration of UAV images using improved structural shape similarity based on mathematical morphology and phase congruency | |
| CN117635615A (zh) | 基于深度学习实现冲孔模具的缺陷检测方法及系统 | |
| CN107358625B (zh) | 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法 | |
| CN117173437A (zh) | 多维定向自相似特征的多模态遥感影像混合匹配方法和系统 | |
| Wang et al. | Fast blur detection algorithm for UAV crack image sets | |
| Yang et al. | Weak texture remote sensing image matching based on hybrid domain features and adaptive description method | |
| CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
| CN116863349A (zh) | 基于三角网密集匹配的遥感影像变化区域确定方法及装置 | |
| CN115511928A (zh) | 多光谱图像的匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201020 Assignee: Alipay (Hangzhou) Information Technology Co.,Ltd. Assignor: WUHAN University Contract record no.: X2023980041337 Denomination of invention: A multimodal remote sensing image matching method based on co-occurrence filtering algorithm Granted publication date: 20220610 License type: Common License Record date: 20230908 |