CN111126508A - 一种基于hopc改进的异源图像匹配方法 - Google Patents

一种基于hopc改进的异源图像匹配方法 Download PDF

Info

Publication number
CN111126508A
CN111126508A CN201911411805.4A CN201911411805A CN111126508A CN 111126508 A CN111126508 A CN 111126508A CN 201911411805 A CN201911411805 A CN 201911411805A CN 111126508 A CN111126508 A CN 111126508A
Authority
CN
China
Prior art keywords
matching
image
calculation
candidate window
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911411805.4A
Other languages
English (en)
Inventor
罗世彬
王钰婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Airtops Intelligent Technology Co ltd
Original Assignee
Hunan Airtops Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Airtops Intelligent Technology Co ltd filed Critical Hunan Airtops Intelligent Technology Co ltd
Priority to CN201911411805.4A priority Critical patent/CN111126508A/zh
Publication of CN111126508A publication Critical patent/CN111126508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于HOPC改进的的异源图像匹配方法，包括如下步骤：生成第一密集描述符、生成第二密集描述符、相似性计算、匹配、寻找最优匹配结果等。本发明实施例提供一种基于HOPC改进的的异源图像匹配方法，以便适应非线性灰度畸变和图像噪声问题，提高匹配正确率。

Description

一种基于HOPC改进的异源图像匹配方法
技术领域
本发明涉及一种异源图像匹配方法，具体涉及一种基于HOPC改进的异源图像匹配方法。
背景技术
图像配准是从不同视点和/或通过不同传感器覆盖在不同时间拍摄的相同场景的两个或更多个图像的过程。图像配准是所有图像分析任务中至关重要的一步，在图像融合变化检测、多通道图像恢复等多种数据源的组合中获取最终信息。由不同传感器获取的异源图像由于成像机理的不同，能反映出地物的不同特性以实现各类信息的互补，比如全色影像和SAR影像，核磁共振影像和超声、CT影像。异源图像匹配是实现数据融合以及三维重建的基础，也为提高目标定位精度提供了条件。
异源图像匹配和一般的图像匹配相比有两个难点：一个是某些遥感图像存在较强的图像噪声，例如SAR图像存在随机分布的斑点噪声，这些噪声是由地物或地表的干扰引入电磁波的后向反射造成，如图1所示。另一个是异源图像之间存在显著的非线性辐射差异，如图2所示。非线性辐射差异将造成非线性灰度畸变，即同一目标的异源图像可能有不同的灰度显示。异源图像之间的灰度畸变很难通过单一的映射函数来计算。
传统匹配分为两种，基于特征的匹配以及基于模板的匹配。
基于特征的匹配算法首先对两幅图像提取进行特征点的提取，构造特征描述子，再对特征点进行匹配。例如专利一“一种基于 KAZE-HOG算法的异源图像匹配方法；ZL201910438812.7”、专利二“一种基于混合特征的可见光与红外异源图像识别方法，ZL201710522969.9”、专利三“基于FAST特征提取和PIIFD特征描述的异源图像配准方法，ZL201910241541.6”。
针对异源图像的寻找最优匹配结果算法通常通过改进相似性度量准则来提高算法对于非线性灰度畸变的适应能力。改进测量准则的算法通常是假设成像条件造成的灰度畸变满足某种变换模型，若使测量准则忽略符合变换模型的灰度畸变，可以获得不受成像条件影响的相似性或差别测量方法。代表的算法包括基于归一化互相关 (NormalizedCross Correlation,NCC)、互信息(Mutual Information,MI)和非线性调色原理(Matchingby Tone Mapping, MTM)的图像匹配算法。例如专利四“多模图像匹配方法，ZL201511031173.0”、专利五“一种基于统计相关的快速互信息图像匹配方法，ZL201611252864.8”。
现有的异源图像匹配方法主要包括基于特征的匹配算法和基于模板的匹配算法。
基于特征的匹配算法的缺点：异源图像由于光照和传感器参数变化存在严重的非线性灰度畸变甚至灰度反转的现象，一些特征匹配的方法难以某些影像例如SAR影像，与高分辨率影像相比缺失了很多细节，并且存在大量噪声，大大降低了匹配的可靠性。因此基于特征的匹配方法往往由于检测不到高重复性的共轭特征没有较好的结果。图3显示了SIFT算法匹配的异源图像特征点对，有明显的错误。
针对异源图像的寻找最优匹配结果算法通常通过改进相似性度量准则来提高算法对于非线性灰度畸变的适应能力。主要的相似性度量准则包括：NCC、MI、MTM。但是NCC、MTM不能很好的处理非线性灰度畸变，MI存在计算速度过慢且不适用于模板较小的情况。
仅仅改进匹配的测量准则并直接对灰度图像进行匹配，效果往往不太理想，因为这忽略了图像的纹理结构信息。鉴于此，一些匹配算法先使用密集特征描述提取图像中的纹理结构信息得到本征图像，然后再对本征图像进行匹配。由于图像中的结构特征通常能够相对成像条件变化保持稳定并且密集特征描述一般不需要对灰度畸变的模型进行假设，基于本征图像提取的异源图像匹配算法往往在适应灰度畸变的能力上具有优势。
现有的本征图像提取算法可以分为基于梯度的和基于相位的两类算法。基于梯度的提取算法能够适应图像对比度和照度的变化，并能有效提取适应图像的结构方向信息，但是灰度反映射(常常发生在异源图像间)会导致方向反转，影响相似评价。基于相位的提取算法，能适应各种灰度畸变，但是无法准确提取图像的结构方向信息，并且可能导致混淆效应。除此之外，两类提取算法都对噪声比较敏感，对于极具挑战性的异源图像匹配(如SAR图像和可见光图像之间的匹配)，这两类算法往往都无法取得较高的匹配正确率。 HOG通过计算和统计图像局部区域的梯度方向直方图来构成特征，在行人检测上得到了广泛应用；HOPC用相位一致性的值替换了HOG的梯度信息，拓展了相位一致性模型计算了方向，在可靠性的提高上取得了不错的效果，但是没有解决异源图像中的梯度反转问题，并且不能很好的适应模板较小的情况。
异源图像匹配是通过不同传感器覆盖在不同时间拍摄的相同场景的两个或更多个图像配准的过程。异源图像匹配是实现信息融合的基础，是遥感图像处理的重要步骤。然而异源图像之间存在的非线性灰度畸变以及图像噪声降低了匹配的准确性。
发明内容
本发明的目的是提供一种基于HOPC改进的异源图像匹配方法，以便适应非线性灰度畸变和图像噪声问题，提高匹配正确率。
本发明采用的技术方案为：
本发明提供一种基于HOPC改进的异源图像匹配方法，包括如下步骤：
生成第一密集描述符：将待匹配的模板图像进行相位一致性幅值计算与相位一致性方向计算，得到模板图像的相位一致性幅值图和方向直方图；随后将模板图像的相位一致性幅值图和方向直方图生成第一密集描述符；
生成第二密集描述符：在事先准备好的基准图上选取一个点，以该点划分候选窗口，将候选窗口进行相位一致性幅值计算与相位一致性方向计算，得到候选窗口的相位一致性幅值图和方向直方图；随后将候选窗口的相位一致性幅值图和方向直方图生成第二密集描述符；
相似性计算：将所述第一密集描述符和所述第二密集描述符计算NCC 相似性，得到匹配度；
匹配：在基准图上选取一个新的点划分新的候选窗口，经过所述生成第二密集描述符步骤，生成新的第二密集描述符，再将所述新的第二密集描述符和所述第一密集描述符进行相似性测量，得到新的匹配度，以此循环，直至将基准图上的点全部选择完毕，得到多个匹配度；
寻找最优匹配结果：在多个所述匹配度中选取最大值，对应的候选窗口为目标窗口，从而得到最优匹配结果。
需要说明的是，所述候选窗口与模板图像大小相同。
作为本发明改进的进一步方案，所述相位一致性方向计算包括如下步骤：
奇小波计算(Log-gabor卷积计算)：将模板图像/候选窗口通过 Log-gabor滤波器进行计算，得到各方向卷积结果；
水平与垂直投影；将所述各方向卷积结果经过水平与垂直投影，得到水平投影的方向图和垂直投影的方向图；
PCA处理：将所述水平投影的方向图和垂直投影的方向图进行PCA处理，得到水平方向图和垂直方向图；
图片划分：将水平方向图和垂直方向图划分为重叠的块(block)，每个block包含m×m个单元(cell)，每个cell包括n×n个像素；
生成方向直方图：将每个块的单元内的所有像素上累积相位一致性方向的局部直方图，每个单元的方向被分成8个方向直方图。
作为本发明改进的进一步方案，所述生成第一密集描述符包括如下步骤：
采用三线性插值方法对模板图像的方向直方图利用相位一致性幅值图进行加权；
采用L2范数对每个块(block)的每个cell的方向直方图进行归一化，使每一个block生成一个描述符，得到第一密集描述符。
作为本发明改进的进一步方案，所述生成第二密集描述符包括如下步骤：
采用三线性插值方法对候选窗口的方向直方图利用相位一致性幅值图进行加权；
采用L2范数对每个块(block)的每个cell的方向直方图进行归一化，使每一个block生成一个描述符，得到第二密集描述符。
作为本发明改进的进一步方案，所述相位一致性幅值计算步骤采用算法如下：
基于kovesi的方法，利用log-Gabor滤波器进行计算，公式如下：
Figure RE-GDA0002423373330000061
其中，PC(x,y)是相位一致性的值；(x,y)表示模板图像/候选窗口上的坐标；Wo(x,y)表示频率传播速率的权重因子；Ano(x,y)表示小波尺度n在方向o上的幅值；Δφno(x,y)表示相位差；T0表示噪声阈值；ε是一个极小的常量；
Figure RE-GDA0002423373330000062
表示当其值为正时，所包含的量等于其本身，否则为零。
作为本发明改进的进一步方案，所述相位一致性方向计算中，奇小波计算采用的算法如下：
将各个方向Log-gabor滤波器与模板图像/候选窗口卷积累积的结果分别向x方向与y方向投影得到水平导数a以及垂直导数b：
Figure RE-GDA0002423373330000071
Figure RE-GDA0002423373330000072
Ono(θ)是在方向θ上Log-gabor滤波器卷积的结果。
作为本发明改进的进一步方案，所述PCA处理采用算法如下：
在图像点f(x0,y0)处一个N×2的矩阵G定义为：
G＝[AT BT]
其中A、B分别是在a(x0,y0)、b(x0,y0)附近开一个
Figure RE-GDA0002423373330000073
大小的窗口所包括的个元素按行排列形成的行向量；
计算矩阵G的SVD：
G＝USVT
U是一个N×N的正交矩阵；S是一个N×2的矩阵；V是一个2×2的正交矩阵，第一列向量v1表示梯度的主方向，将v1旋转90°得到相位一致性的方向。
作为本发明改进的进一步方案，所述相似性计算采用算法如下：
设VA与VB分别是模板图像与候选窗口的描述子，他们之间的相似性 NCC计算公式为：
Figure RE-GDA0002423373330000074
其中，
Figure RE-GDA0002423373330000075
与
Figure RE-GDA0002423373330000076
分别表示模板图像和候选窗口的平均值。
作为本发明改进的进一步方案，所述寻找最优匹配结果采用的方法如下：
从基准图第一个候选窗口开始，逐像素移动窗口，分别计算相似性系数，相似性最大的位置作为最终匹配结果。
本发明的有益效果在于：
1.本发明提供一种基于HOPC改进的异源图像匹配方法，以便适应非线性灰度畸变和图像噪声问题，提高匹配正确率。
2.本发明实施例提出一种基于HOPC改进的异源图像匹配方法，对噪声、非线性灰度畸变、灰度反转有很好鲁棒性的寻找最优匹配结果算法，在HOPC的基础上，利用相位一致性获取图像结构，得到 log-Gabor的幅值与方向，并对方向进行了主成分分析提取主方向，构建了一种新的密集特征描述符。
3.本发明实施例针对异源图像匹配中存在图像噪声对HOPC算法进行了PCA处理，能更好的适应图像噪声，即使在有较大噪声的条件下仍能取得较高的匹配正确率。如图7所示，PCA处理后的方向能更正确的描述图片结构方向。
4.本发明实施例针对异源图像匹配存在的非线性灰度畸变，用相位一致性的幅值与方向代替了HOG的值与方向并构成描述子，利用异源图像之间结构的相似性进行匹配，减小了差值，如图8所示 HOPC方法能更好的描述图像之间结构的相似性。
5.HOPC由于相似性准则的原因不能很好地适应特殊的灰度畸变——灰度反转，本发明实施例限制了相位一致性的方向，能适应灰度反转。
6.本发明实施例提出一种基于HOPC改进的异源图像匹配方法。该方法在原有HOPC匹配方法的基础上，用主成分分析(PCA)的方法对log-Gabor提取的方向进行图像结构的估算，降低了图像噪声对异源图像匹配的影响。与现有的方法相比，所提出的方法在有噪声和非线性灰度畸变的情况下，都能获得准确的匹配结果，鲁棒性高，实用性强，可以很好解决现有异源图像匹配精度低的问题。
附图说明
图1是现有技术中异源图像存在的图像噪声；
图2是现有技术中异源图像中存在的图像灰度反转问题；
图3是现有技术中SIFT异源图像匹配结果；
图4是本发明实施例中图片划分方法示意图；
图5是本发明实施例中寻找最优匹配结果方法示意图；
图6是本发明实施例提供的一种基于HOPC改进的异源图像匹配方法流程示意图；
图7是本发明实施例方法与现有技术HOPC方法所提取方向对比；
图8是现有技术中HOPC与HOG描述图像结构对比。
具体实施方式
以下将结合实施例对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
本发明实施例提供一种基于HOPC改进的异源图像匹配方法，包括如下步骤S1-S5：
S1、生成第一密集描述符：将待匹配的模板图像进行相位一致性幅值计算，得到模板图像的相位一致性幅值图，以及将待匹配的模板图像进行相位一致性方向计算，得到模板图像的方向直方图；
随后将模板图像的相位一致性幅值图和方向直方图生成第一密集描述符；
S2、生成第二密集描述符：在事先准备好的基准图上选取一个点，以该点划分出与模板图像相同大小的候选窗口，将候选窗口进行相位一致性幅值计算，得到候选窗口的相位一致性幅值图，以及将候选窗口进行相位一致性方向计算，得到候选窗口的方向直方图；
随后将候选窗口的相位一致性幅值图和方向直方图生成第二密集描述符；
S3、相似性计算：将模板图像的描述符与基准图上候选窗口的描述符计算NCC相似性，具体的，将第一密集描述符和第二密集描述符计算NCC 相似性，得到匹配度；
S4、匹配：在基准图上选取一个新的点，以该新的点划分新的与模板图像相同大小的候选窗口，经过步骤S1，生成新的第二密集描述符，再将所述新的第二密集描述符和第一密集描述符进行相似性测量，得到新的匹配度；
以此循环，一个像素一个像素的移动候选窗口，直至将基准图上的点全部选择完毕，得到多个匹配度；
S5、寻找最优匹配结果：在多个所述匹配度中选取最大值，具体的，取相似性最大的位置作为最优匹配位置，其最优匹配位置对应的候选窗口为目标窗口，从而得到最优匹配结果。
本实施例中，模板图像的相位一致性方向计算包括如下步骤(1)- (5)：
(1)Log-gabo卷积：将模板图像通过Log-gabor滤波器进行处理，得到模板图像各方向的卷积结果；
(2)水平与垂直投影；将模板图像各方向的卷积结果进行水平与垂直投影，得到模板图像水平投影的方向图和垂直投影的方向图；
(3)PCA处理：将模板图像水平投影的方向图和垂直投影的方向图进行PCA处理，得到模板图像水平方向图和垂直方向图；
(4)图片划分：将模板图像水平方向图和垂直方向图分别划分为重叠的块(block)，每个block包含m×m个单元(cell)，每个cell包括 n×n个像素；本实施例中，取m＝3，n＝4。
(5)生成方向直方图：将每个块的单元内的所有像素上累积相位一致性方向的局部直方图，每个单元的方向被分成8个方向直方图。
本实施例中，候选窗口的相位一致性方向计算包括如下步骤(1)- (5)：
(1)Log-gabo卷积：将候选窗口通过Log-gabor滤波器进行处理，得到候选窗口各方向的卷积结果；
(2)水平与垂直投影；将候选窗口各方向的卷积结果进行水平与垂直投影，得到候选窗口水平投影的方向图和垂直投影的方向图；
(3)PCA处理：将候选窗口水平投影的方向图和垂直投影的方向图进行PCA处理，得到候选窗口水平方向图和垂直方向图；
(4)图片划分：将候选窗口水平方向图和垂直方向图分别划分为重叠的块(block)，每个block包含m×m个单元(cell)，每个cell包括 n×n个像素；本实施例中，取m＝3，n＝4。
(5)生成方向直方图：将每个块的单元内的所有像素上累积相位一致性方向的局部直方图，每个单元的方向被分成8个方向直方图。
本实施例中，所述生成第一密集描述符包括如下步骤①-②：
①、采用三线性插值方法对模板窗口的8个方向直方图利用模板窗口的相位一致性幅值图进行加权；
②、为了获得更好的光照和阴影不变性，采用L2范数对模板窗口每个块(block)的每个cell的方向直方图进行归一化，使每一个 block生成一个描述符，一个模板窗口的所有块的描述符串联起来作为这个模板窗口的描述符，即得到第一密集描述符。需要注意的是，这里方向被限制到了0°～180°。
本实施例中，所述生成第二密集描述符包括如下步骤①-②：
①、采用三线性插值方法对候选窗口的8个方向直方图利用候选窗口的相位一致性幅值图进行加权；
②、为了获得更好的光照和阴影不变性，采用L2范数对候选窗口每个块(block)的每个cell的方向直方图进行归一化，使每一个 block生成一个描述符，一个候选窗口的所有块的描述符串联起来作为候选窗口的描述符，即得到第二密集描述符。需要注意的是，这里方向被限制到了0°～180°。
本实施例中，所述相位一致性幅值计算步骤采用算法如下：
基于kovesi的方法，利用log-Gabor滤波器进行多尺度、多方向上的计算，公式如下：
Figure RE-GDA0002423373330000131
其中，PC(x,y)是相位一致性的值；(x,y)表示模板图像或者候选窗口上的坐标；Wo(x,y)表示频率传播速率的权重因子；Ano(x,y)表示 log-Gabor滤波器尺度n在方向o上的幅值；Δφno(x,y)表示相位差；T0表示噪声阈值；ε是一个极小的常量，这里取0.0001；
Figure RE-GDA0002423373330000132
表示当其值为正时，所包含的量等于其本身，否则为零。
本实施例中，所述相位一致性方向计算中，奇小波计算由由多方向计算得到，Log-gabor滤波器是一种光滑的导数滤波器，可以在一个方向下计算模板图像/候选窗口的导数。采用的算法如下：
将各个方向Log-gabor滤波器与模板图像/候选窗口卷积累积的结果分别向x方向与y方向投影得到水平导数a以及垂直导数b：
Figure RE-GDA0002423373330000133
Figure RE-GDA0002423373330000134
Ono(θ)是在方向θ上Log-gabor滤波器卷积的结果。
具体的，模板图像中，将各个方向Log-gabor滤波器与模板图像卷积累积的结果分别向x方向与y方向投影得到水平导数a以及垂直导数b：
Figure RE-GDA0002423373330000135
Figure RE-GDA0002423373330000141
Ono(θ)是在方向θ上Log-gabor滤波器卷积的结果。
候选窗口中，将各个方向Log-gabor滤波器与模板图像卷积累积的结果分别向x方向与y方向投影得到水平导数a以及垂直导数b：
Figure RE-GDA0002423373330000142
Figure RE-GDA0002423373330000143
Ono(θ)是在方向θ上Log-gabor滤波器卷积的结果。
本实施例中，利用奇异值分解的方法进行PCA处理，具有采用算法如下：
在模板图像或者候选窗口点f(x0,y0)处一个N×2的矩阵G定义为：
G＝[AT BT]
其中A、B分别是在a(x0,y0)、b(x0,y0)附近开一个
Figure RE-GDA0002423373330000144
大小的窗口所包括的个元素按行排列形成的行向量；
计算矩阵G的SVD：
G＝USVT
U是一个N×N的正交矩阵；S是一个N×2的矩阵；V是一个2×2的正交矩阵，第一列向量v1表示梯度的主方向，将v1旋转90°得到相位一致性的方向。
本实施例中，所述相似性计算步骤中，计算NCC相似性具体采用算法如下：
设VA与VB分别是模板图像与候选窗口的描述子，他们之间的相似性 NCC计算公式为：
Figure RE-GDA0002423373330000151
其中，
Figure RE-GDA0002423373330000152
与
Figure RE-GDA0002423373330000153
分别表示模板图像和候选窗口的平均值。
本实施例中，所述寻找最优匹配结果采用的方法参见图5，具体如下：
从基准图第一个候选窗口开始，逐像素移动窗口，分别计算相似性系数，相似性最大的位置作为最终匹配结果。
下面对相关技术术语的名词解释。
PCA：主成分分析
SAR：合成孔径雷达
SIFT：尺度不变特征变换,一种具有尺度不变性的局部描述子
NCC:归一化互相关
MI:互信息，表示变量之间相互关系的量度
MTM:色调映射匹配
HOG:方向梯度直方图，图像特征描述的方法
异时异源图像匹配：匹配中针对的实时图像与基准图像使用不同类型相机拍摄，并在不同时间拍摄
基准图：预先拍摄图像，并且图像上每点地理坐标已知
实时图：实时拍摄的图像。
需要说明的是，在整个申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的试试方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (8)

1.一种基于HOPC改进的的异源图像匹配方法，其特征在于，包括如下步骤：
生成第一密集描述符：将待匹配的模板图像进行相位一致性幅值计算与相位一致性方向计算，得到模板图像的相位一致性幅值图和方向直方图；随后将模板图像的相位一致性幅值图和方向直方图生成第一密集描述符；
生成第二密集描述符：在事先准备好的基准图上选取一个点，以该点划分候选窗口，将候选窗口进行相位一致性幅值计算与相位一致性方向计算，得到候选窗口的相位一致性幅值图和方向直方图；随后将候选窗口的相位一致性幅值图和方向直方图生成第二密集描述符；
相似性计算：将所述第一密集描述符和所述第二密集描述符计算NCC相似性，得到匹配度；
匹配：在基准图上选取一个新的点划分新的候选窗口，经过所述生成第二密集描述符步骤，生成新的第二密集描述符，再将所述新的第二密集描述符和所述第一密集描述符进行相似性测量，得到新的匹配度，以此循环，直至将基准图上的点全部选择完毕，得到多个匹配度；
寻找最优匹配结果：在多个所述匹配度中选取最大值，对应的候选窗口为目标窗口，从而得到最优匹配结果。
2.根据权利要求1所述的异源图像匹配方法，其特征在于，所述相位一致性方向计算包括如下步骤：
奇小波计算：将模板图像/候选窗口通过Log-gabor滤波器进行计算，得到各方向卷积结果；
水平与垂直投影；将所述各方向卷积结果经过水平与垂直投影，得到水平投影的方向图和垂直投影的方向图；
PCA处理：将所述水平投影的方向图和垂直投影的方向图进行PCA处理，得到相位主方向图；
图片划分：将相位幅值图和相位主方向图划分为重叠的块(block)，每个block包含m×m个单元(cell)，每个cell包括n×n个像素；
生成方向直方图：将每个块的单元内的所有像素上累积相位一致性方向的局部直方图，每个单元的方向被分成8个方向直方图。
3.根据权利要求2所述的异源图像匹配方法，其特征在于，所述生成第一密集描述符包括如下步骤：
采用三线性插值方法对模板窗口的方向直方图利用相位一致性幅值图进行加权；
采用L2范数对每个块(block)的每个cell的方向直方图进行归一化，使每一个block生成一个描述符，得到第一密集描述符。
4.根据权利要求2所述的异源图像匹配方法，其特征在于，
所述生成第二密集描述符包括如下步骤：
采用三线性插值方法对候选窗口的方向直方图利用相位一致性幅值图进行加权；
采用L2范数对每个块(block)的每个cell的方向直方图进行归一化，使每一个block生成一个描述符，得到第二密集描述符。
5.根据权利要求1或2所述的异源图像匹配方法，其特征在于，所述相位一致性幅值计算步骤采用算法如下：
基于kovesi的方法，利用log-Gabor滤波器进行计算，公式如下：
Figure FDA0002350165340000031
其中，PC(x,y)是相位一致性的值；(x,y)表示模板图像/候选窗口上的坐标；Wo(x,y)表示频率传播速率的权重因子；Ano(x,y)表示小波尺度n在方向o上的幅值；△φno(x,y)表示相位差；T0表示噪声阈值；ε是一个极小的常量；
Figure FDA0002350165340000032
表示当其值为正时，所包含的量等于其本身，否则为零。
6.根据权利要求2所述的异源图像匹配方法，其特征在于，所述相位一致性方向计算中，奇小波计算采用的算法如下：
将各个方向Log-gabor滤波器与模板图像/候选窗口卷积累积的结果分别向x方向与y方向投影得到水平导数a以及垂直导数b：
Figure FDA0002350165340000033
Figure FDA0002350165340000034
Ono(θ)是在方向θ上Log-gabor滤波器卷积的结果。
7.根据权利要求2所述的异源图像匹配方法，其特征在于，所述PCA处理采用算法如下：
在图像点f(x0,y0)处一个N×2的矩阵G定义为：
G＝[AT BT]
其中A、B分别是在a(x0,y0)、b(x0,y0)附近开一个
Figure FDA0002350165340000035
大小的窗口所包括的个元素按行排列形成的行向量；
计算矩阵G的SVD：
G＝USVT
U是一个N×N的正交矩阵；S是一个N×2的矩阵；V是一个2×2的正交矩阵，第一列向量v1表示梯度的主方向，将v1旋转90°得到相位一致性的方向。
8.根据权利要求1所述的异源图像匹配方法，其特征在于，
所述相似性计算采用算法如下：
设VA与VB分别是模板图像与候选窗口的描述子，他们之间的相似性NCC计算公式为：
Figure FDA0002350165340000041
其中，
Figure FDA0002350165340000042
与
Figure FDA0002350165340000043
分别表示模板图像和候选窗口的平均值。
CN201911411805.4A 2019-12-31 2019-12-31 一种基于hopc改进的异源图像匹配方法 Pending CN111126508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911411805.4A CN111126508A (zh) 2019-12-31 2019-12-31 一种基于hopc改进的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911411805.4A CN111126508A (zh) 2019-12-31 2019-12-31 一种基于hopc改进的异源图像匹配方法

Publications (1)

Publication Number Publication Date
CN111126508A true CN111126508A (zh) 2020-05-08

Family

ID=70506808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911411805.4A Pending CN111126508A (zh) 2019-12-31 2019-12-31 一种基于hopc改进的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN111126508A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666858A (zh) * 2020-05-29 2020-09-15 中国科学院地理科学与资源研究所 基于单木识别的森林遥感图像配准方法及系统
CN113409369A (zh) * 2021-05-25 2021-09-17 西安电子科技大学 基于改进rift的多模遥感图像配准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YE YUANXIN; SHAN JIE; BRUZZONE LORENZO; SHEN LI: "Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 55, no. 6, pages 2941 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666858A (zh) * 2020-05-29 2020-09-15 中国科学院地理科学与资源研究所 基于单木识别的森林遥感图像配准方法及系统
CN113409369A (zh) * 2021-05-25 2021-09-17 西安电子科技大学 基于改进rift的多模遥感图像配准方法

Similar Documents

Publication Publication Date Title
Ye et al. Robust registration of multimodal remote sensing images based on structural similarity
Bentoutou et al. An automatic image registration for applications in remote sensing
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
JP5063776B2 (ja) 幾何学変換に基づく一般化統計的テンプレートマッチング
CN108765476A (zh) 一种偏振图像配准方法
CN103065320A (zh) 基于恒虚警阈值的sar图像变化检测方法
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
CN111126508A (zh) 一种基于hopc改进的异源图像匹配方法
Betke et al. Recognition, resolution, and complexity of objects subject to affine transformations
Alzohairy et al. Image mosaicing based on neural networks
CN117095035A (zh) 一种基于多尺度模板匹配的多模态遥感图像配准方法
Liu et al. SAR image matching based on speeded up robust feature
JP7254849B2 (ja) 全方向ローカリゼーションのための回転等変向き推定
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN110263777B (zh) 基于空谱结合的局部保持投影算法的目标检测方法及系统
Mo et al. A Robust Infrared and Visible Image Registration Method for Dual Sensor UAV System
Liu et al. An unsupervised automatic change detection approach based on visual attention mechanism
Wu et al. Optical image and SAR image registration based on position constraint
Li et al. A real-time pineapple matching system based on speeded-up robust features
Zhang et al. Research on binocular real-time ranging method in window area
Zhuravlev Study of a Method for Effective Noise Suppression in Passive Personnel Screening Systems
Sun et al. Multi-view SAR image registration based on feature extraction
CN114648564B (zh) 用于非稳态目标的可见光和红外图像优化配准方法及系统
Hassen et al. Multi-sensor image registration based-on local phase coherence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination