CN113763274A - 一种联合局部相位锐度定向描述的多源图像匹配方法 - Google Patents
一种联合局部相位锐度定向描述的多源图像匹配方法 Download PDFInfo
- Publication number
- CN113763274A CN113763274A CN202111047778.4A CN202111047778A CN113763274A CN 113763274 A CN113763274 A CN 113763274A CN 202111047778 A CN202111047778 A CN 202111047778A CN 113763274 A CN113763274 A CN 113763274A
- Authority
- CN
- China
- Prior art keywords
- image
- phase
- sharpness
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- IAYPIBMASNFSPL-UHFFFAOYSA-N Ethylene oxide Chemical compound C1CO1 IAYPIBMASNFSPL-UHFFFAOYSA-N 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000002253 acid Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims 3
- 230000005855 radiation Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明针对多源图像之间强度差异大和非线性辐射畸变所导致的匹配问题，提出了一种联合局部相位锐度定向特征描述的多源图像匹配方法。首先，构建影像金字塔尺度空间，此基础上对图像的频率域进行相位一致性求解，得到最大矩特征并采用KAZE算子提取特征点。随后，利用Log‑Gabor偶对称滤波器进行傅里叶变换，分别构建了改进的局部相位锐度特征和相位定向特征，依次替代影像的梯度幅值与梯度方向特征，并结合对数极坐标描述模板，建立了一种局部相位锐度定向描述子，最后利用欧氏距离进行相似性度量来获取对应点。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种联合局部相位锐度定向描述的多源图像匹配方法。
背景技术
图像作为人类视觉感知世界的窗口在实际生活中应用广泛。随着图像传感器和摄影成像技术与设备的快速更新，多源图像数据获取日渐丰富，其处理成为了研究热点。为实现目标检测、场景识别及数据融合等领域的多样性需求，首先需要解决多源图像的匹配问题。多源图像匹配的实质是获取不同传感器拍摄的图像对应点的过程。然而，多源图像数据由于传感器成像机理的不同，导致多源图像匹配存在强度差异、光照差异和非线性辐射畸变差异等问题。
因此，专家学者对图像匹配展开了大量研究，大致可以分为三类：基于区域强度的匹配，基于特征方法的匹配和基于深度学习的匹配。基于区域强度的匹配主要有顾及灰度信息的匹配和互信息的匹配。多源图像的灰度和梯度信息差异较大，获取相似性特征难度较大。而互信息是两个随机变量统计相关性的一种测度。近年来，已广泛应用于多源图像自动匹配，但在匹配中易陷入局部最优解。基于特征的匹配，从Lowe等人(Lowe D G et al,1999)提出尺度不变特征变换(Scale Invariant Feature Transform，SIFT)匹配伊始，特征匹配方法发展迅速，如：Speeded Up Robust Features(SURF)(Yangping Wang et al,2020)、ORB(Rublee E et al,2011)、KAZE(Alcantarilla P et al,2012)算法及联合对数极坐标优化匹配(Yongxiang Yao et al,2021)。这些方法从尺度稳健性，旋转不变性，二进制描述优化，描述子优化，多特征提取等不同视角展开了图像匹配研究探索。从时相差异，几何差异，计算成本差异，匹配准确性以及场景适用性等方面均提供了有效的匹配策略，但对于具有强度差异和非线性辐射畸变差异的多源图像其稳健性受到挑战。后续专家学者从图像频域相位特征进行了探索，相继提出了Log-Gabor滤波优化的匹配(LGHD)(Aguilera CA et al,2015)，相位一致性方向直方图(HOPC)匹配(Ye Y et al,2018)，辐射不变变换特征匹配(RIFT)(J.Li et al,2020)、绝对相位方向直方图匹配(HAPCG)(Yongxiang Yao etal,2021)以及数据驱动的灰狼匹配(Yan X et al,2020)等算法，有效推进了多源图像匹配研究，但同时又受到地理位置，尺度，旋转等不同方面的制约。随着深度学习技术和人工智能理论的快速发展，相关学者已将深度学习技术引入到多源图像匹配中，诸如：卷积神经网络的匹配(Yi K M et al,2016)，多源图像特征提取与描述D2-Net网络(Dusmanu M et al,2019)，深度卷积表达的Siamese网络匹配(Ke Nan et al,2019)，VGG网络特征提取的匹配(Efe U et al,2021)。深度学习的图像匹配方法速度快、特征学习能力强，但由于多源图像间的地物差异较大，且训练样本获取较困难，导致该类方法的泛化能力和适用性受到了限制。
由此可知，多源图像匹配的强度差异及非线性辐射差异导致识别的对应点稀疏和匹配成功率低等问题依然存在，因此如何有效克服多源图像的现存问题，降低图像梯度敏感性，实现图像稳健匹配具有实际研究价值。因此，本发明从多源影像的稳健特征描述出发，试图实现多源影像共有特征的有效描述，从而优化多源影像匹配。最终提出了一种局部相位锐度方向特征描述的匹配方法(Descriptor of local phase sharpnessorientation LPSO)，从而改善多源匹配对影像光照差异、强度差异和非线性辐射差异敏感等方面的不足，实现多源影像的稳健匹配。
发明内容
针对上述问题，本发明提出一种联合局部相位锐度定向描述的多源图像匹配方法，包括以下步骤：
步骤1，归一化预处理待匹配的多源图像；
步骤2，对步骤1中预处理后的多源影像进行特征提取，通过高斯影像金字塔计算影像尺度空间，然后借助相位一致性模型生成最大矩图；
步骤3，根据步骤2所得到得最大矩图，在最大矩空间中通过KAZE函数获取极值点，即为特征点；
步骤4，对步骤3所得极值点进行局部相位锐度定向描述：首先进行相位定向特征计算，对Log-Gabor偶函数对称滤波器计算的相位特征方向进行扩展，生成相位定向特征；接着进行相位锐度特征计算，利用相位锐度模型计算图像锐度特征图，将相位锐度低频区域Sobel算子梯度加权融合得到改进的相位锐度特征结果；最后描述子向量特征构建，采用对数极坐标描述框架迭代生成每个特征点的LPSO描述子；
步骤5，根据步骤4所得LPSO描述子进行特征点匹配与优化，采用欧氏距离作为匹配测度，通过LPSO描述符最近邻匹配获取对应点。
进一步的，步骤2中生成最大矩图的具体实现方式如下；
在高斯影像空间金字塔中，进行相位一致性计算来获取图像的相位卷积分量，为了更好描述图像的边缘特征，通过对图像的相位卷积分量进行不同方向的卷积，为每个方向o计算一个独立的相位卷积分量映射PC(θo)，其中，θ是方向o的角度；根据力矩分析方法可知最大矩能够反映特征的显著性，因此，可以根据最大矩计算公式获取归一化后的高斯空间最大矩图，如下列公式所示：
式中，MM表示影像高斯滤波后的相位最大矩结果；PC(θo)表示相位卷积分量在o方向的映射；a、b和c是相位力矩计算的中间量；θ是方向o的角度。
进一步的，步骤4中相位定向特征计算的具体实现方式如下；
通过相位一致性模型的Log-Gabor滤波器，采用它的偶对称滤波器能量卷积结果来表征不同方向的能量变化，生成的特征方向图包含了Log-Gabor偶对称滤波器在多个方向的滤波结果能量，包括垂直方向和水平方向，其计算公式如下所示：
上式中，OF表示初始相位定向特征；EOi(angle)表示在第i方向上角度为angle的偶对称卷积结果；Φ是一个极小值，防止分母为零，o表示方向；
然后对相位一致性方向特征进行调整，最终的相位定向特征用OPC表示，数学公式如下所示：
上式中，OPC代表最终相位定向特征；ΔT代表一个非负常数项。
进一步的，步骤4中相位锐度特征计算的具体实现方式如下；
首先对局部相位相干性模型获取图像锐度图的方法进行优化，得到锐度特征的计算公式如下所示：
上式中，SF表示计算后的相位相干性锐度图；s表示相位卷积尺度，p表示相位卷积方向；LG(s,p)表示具有s个尺度和p个方向的Log-Gabor滤波器；Φ(i,j)表示经过傅里叶变换的图像，表示在第i尺度和第j方向上的Log-Gabor滤波卷积能量值；C是一个调整图像锐度特性的整数；
然后基于Sobel算子的二阶图像梯度方法获得图像的低频边缘特征，其计算公式如下所示：
上述公式中，
表示图像的二阶梯度幅度；
表示图像的一阶梯度幅度；
和
为
继续在水平方向和垂直方向求导的结果；σ是高斯尺度空间的尺度；Lx,σ和Ly,σ分别表示高斯尺度空间的图像L经过Sobel算子卷积后的水平方向和垂直方向导数，高斯尺度空间的图像L在步骤2中计算得到；
最后，将相位相干计算的图像锐度方法与二阶图像梯度方法进行了加权融合，统称为改进的相位锐度特征，加权后的特征即保留了图像显著性结构特征，又丰富了图像低频边缘信息，其数学表达式如下所示：
上式中，LPS表示改进的相位锐度特征结果；LPC表示相位锐度每个像素的特征值；
表示图像的二阶梯度特征；Δω表示影像梯度特征的加权系数，取值在[0，1]之间，取值越小梯度特征比重越小，反之则越大。
进一步的，步骤4中描述子向量特征构建的具体实现方式如下；
以特征点为中心选取圆形邻域并计算它们的相位锐度特征和相位方向特征，从而建立相位锐度定向特征直方图；把此直方图均匀划分为36等份，选择直方图的峰值方向作为特征点的主方向，采用对数极坐标框架来计算特征点邻域内的相位锐度特征和相位方向特征，最终构建每个特征点的描述子向量；其中，对数极坐标采用经典的3层圆形邻域模式进行扇区划分，第二层和第三层圆形邻域等分成12等分，从而生成了25个子区域的对极数坐标扇区，各扇区面积近似；最后，统计每个子扇区像素点八个方向的相位锐度特征和相位定向特征，生成具有200维特征向量的LPSO描述子。
进一步的，步骤5中还包括，采用随机抽样一致算法完成误匹配剔除。
进一步的，步骤1中所述预处理包括；
统一将输入的多源图像降采样至500*500像素，同时若输入图像为单通道图像，则将其扩为与彩色图像一致的三通道图像，同时以平均像素为零点，将图像像素值归一化压缩至(0-1)区域。
与现有技术相比，本发明的优点和有益效果如下：LPSO算法的强度不变、尺度不变、旋转不变及平移不变性，构建的局部相位锐度定向描述子能较好地完成图像特征描述，即保证了充足的正确对应点又保持了较高的匹配精度；LPSO算法在红外影像、电子矢量地图及多时相影像等轮廓显著的多源图像中匹配效果更为显著。
附图说明
图1为本发明实施例的流程图。
图2为局部相位锐度定向描述子示意图。
具体实施方式
本发明技术方案可采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。如图1，实施例的技术方案的流程包括以下步骤：
步骤1，归一化预处理待匹配的多源图像，具体包含以下内容：
统一将输入的多源图像降采样至500*500像素。同时若输入图像为单通道图像(如灰度图像)，将其扩为与彩色图像一致的三通道图像。同时以平均像素为零点，将图片像素值归一化压缩至(0-1)区域。
步骤2，多源图像特征提取，生成最大矩图，具体包含以下内容：
图像尺度空间构建：由于多源图像(主要包括红外图像、电子矢量图和多时相影像)之间强度差异和非线性辐射畸变等差异导致特征点提取困难，尤其在红外影像中。本发明首先利用高斯滤波建立高斯影像金子塔尺度空间。尺度空间是在计算机视觉理论里面发展出来的一个用来表示多尺度信号的理论。它通过将原始图像进行平滑，从而得到多尺度下的图像结构。以高斯卷积核为例，高斯卷积核如下所示：
将高斯卷积核与原图像做卷积，可以得到一组图像：
L(xi,yi,σ)＝I(xi,yi)*G(xi,yi,σ)
其中，I表示源图像，接着，充分顾及相位一致性模型便于提取影像的边缘和角点特征这一优势，构建了高斯影像空间最大矩图。
相位一致性检测是基于图像频率域的特征检测手段，主要借助傅里叶谐波分量叠加来检测影像的特征信息，具有抗特征幅值干扰的优点，可用于多源图像特征提取中。在高斯影像空间金字塔中，进行相位一致性计算来获取图像的相位卷积分量。为了更好描述影像的边缘特征，通过对图像的相位卷积分量进行不同方向的卷积，为每个方向o计算一个独立的相位卷积分量映射PC(θo)，其中，θ是方向o的角度。根据力矩分析方法可知最大矩能够反映特征的显著性。因此，可以根据最大矩计算公式获取归一化后的高斯空间最大矩图，如下列公式所示：
式中，MM表示影像高斯滤波后的相位最大矩结果；PC(θo)表示相位卷积分量在o方向的映射；a、b和c是相位力矩计算的中间量；θ是方向o的角度。
步骤3，进行特征点提取，在最大矩空间中通过KAZE函数获取极值点，具体包含以下内容：
在高斯空间最大矩图的基础上进行特征点提取。考虑到本发明设计的高斯空间最大矩图可以提取图像低频信息的特性，并顾及多源图像存在的强度差异等问题。故采用KAZE算法来提取特征点，可以取得最佳的匹配效果。
步骤4，对特征点进行局部相位锐度定向描述，具体包含以下内容：
局部相位锐度定向描述可以分为三个环节：①相位定向特征计算。对Log-Gabor偶函数对称滤波器计算的相位特征方向进行扩展，生成相位定向特征；②相位锐度特征计算。根据局部相位锐度模型生成锐度特征图，再将锐度特征图的低频信息区域进行Sobel算子梯度加权融合得到改进的相位锐度特征结果；③描述子向量特征构建。对全部特征点进行迭代计算得到所有LPSO描述符，如图2所示。
a)特征点筛选提取：图像特征变化最显著的方向往往用来表征特征方向，它是描述子构建的重要组成部分。传统图像特征描述主要是借助图像的梯度幅值和梯度方向来完成描述。构建相位方向特征来替代梯度幅值可以较好地获取多源影像的相似性结构特征，但传统的梯度方向依然对多源影像的非线性辐射畸变及强度差异敏感。基于此，姚等人(Yongxiang Yao et al,2021)构建了绝对相位方向特征直方图来替代影像的梯度方向特征，在大多数情况下匹配效果较好，但旋转适应性有限。
因此，本文通过相位一致性模型的Log-Gabor滤波器，采用它的偶对称滤波器能量卷积结果来表征不同方向的能量变化。生成的特征方向图包含了Log-Gabor偶对称滤波器在多个方向的滤波结果能量(垂直方向和水平方向)，其计算公式如下所示：
上式中，OF表示初始相位定向特征；EOi(angle)表示在第i方向上角度为angle的偶对称卷积结果；Φ是一个极小值(文中取0.0001)，防止分母为零，o表示方向。然而，由于这样计算的结果是多个方向的卷积值，导致反正切值会存反方向的值，这将影响特征描述的正确性。因此，本文对相位一致性方向特征进行调整，最终的相位定向特征用OPC表示，数学公式如下所示：
上式中，OPC代表最终相位定向特征；ΔT代表一个非负常数项(本文取180)。
b)相位锐度特征：在传统影像匹配中，特征描述的核心是影像的梯度方向特征和梯度幅值。然而SIFT等传统匹配方法的梯度幅值和梯度方向对强度差异、非负数线性畸变等差异更加敏感，导致匹配性能不佳。虽然上一步骤已建立了图像的相位方向特征，但影像梯度幅值也是影响多源图像匹配成功的关键。因此，下面将探索如何获取可靠的图像特征来替代影像梯度幅值。从多源图像匹配的本质思考，发现实现多源图像匹配成功的关键是获取图像的有效相似性特征。而影像的轮廓结构特征可以保持较高的相似性。因此，本文尝试用图像的轮廓结构特征来替代影像的梯度特征。
在图像相似性评估中，Hassen等人利用局部相位相干性模型设计了一种图像锐度评估方法。该方法在进行了图像质量评估中，会通过多尺度方向的复杂小波变换生成具有显著性图像轮廓特征的图像锐度图。该锐度图能加好地增强图像的结构特征。因此，本发明对其进行优化来生成鲁棒图像特征，其锐度特征的计算公式如下所示：
上式中，SF表示计算后的相位相干性锐度图；s表示相位卷积尺度，取值为3；p表示相位卷积方向，取值为6；LG(s,p)表示具有s个尺度和p个方向的Log-Gabor滤波器；Φ(i,j)表示经过傅里叶变换的图像，表示在第i尺度和第j方向上的Log-Gabor滤波卷积能量值；C是一个调整图像锐度特性的整数，取值为2。
该方法生成的图像锐度特征较好地利用了相位相关原理放大了图像的轮廓结构特征。然而本发明研究发现生成的图像锐度特征虽然较好地增强了图像的显著性轮廓特征，但图像的局部低频区域特性却未被保留。而基于Sobel算子的二阶梯度特征可以较好地保留图像的低频边缘特征，其计算公式如下所示：
上述公式中，
表示图像的二阶梯度幅度；
表示图像的一阶梯度幅度；
和
为
继续在水平方向和垂直方向求导的结果；σ是高斯尺度空间的尺度；Lx,σ和Ly,σ分别表示高斯尺度空间的图像L经过Sobel算子卷积后的水平方向和垂直方向导数。
基于此，为进一步丰富图像的相似性特征，突出相位锐度特征的信息。本发明将相位相干计算的图像锐度方法与二阶图像梯度方法进行了加权融合，统称为改进的相位锐度特征。加权后的特征即保留了图像显著性结构特征，又丰富了图像低频边缘信息。实验证明改进的相位锐度特征在多源图像匹配中具有显著优势，其数学表达式如下所示：
上式中，LPS表示改进的相位锐度特征结果；LPC表示相位锐度每个像素的特征值；
表示图像的二阶梯度特征；Δω表示影像梯度特征的加权系数，取值在[0，1]之间，取值越小梯度特征比重越小；反之则越大(默认设置为0.15)。
c)对数极坐标描述：本发明以特征点为中心选取圆形邻域并计算它们的相位锐度特征和相位方向特征，从而建立相位锐度定向特征直方图。把此直方图均匀划分为36等份，选择直方图的峰值方向作为特征点的主方向。由于，对数极坐标描述子已经被广泛应用于图像特征匹配并被有效证实。因此，采用对数极坐标框架来计算特征点邻域内的相位锐度特征和相位方向特征，最终构建每个特征点的描述子向量。其中，对数极坐标采用经典的3层圆形邻域模式进行扇区划分，第二层和第三层圆形邻域等分成12等分，从而生成了25个子区域的对极数坐标扇区，各扇区面积近似。最后，统计每个子扇区像素点八个方向的相位锐度特征和相位定向特征，生成具有200维特征向量的LPSO描述子。
步骤5，根据LPSO描述子进行特征点匹配与优化，具体包含以下步骤：
完成特征点的描述子构建后，需要对每个特征点进行相似性度量来完成特征匹配。其中，采用欧氏距离来完成初始匹配。然而，初始匹配中不可避免的会存在误匹配的情况，因此本发明利用随机抽样一致RANSAC算法来剔除误匹配，保留正确的特征点对作为最终的对应点。随机抽样一致(RANSAC)是一种通过使用观测到的数据点来估计数学模型参数的迭代方法。其中数据点包括inlier，outlier。outlier对模型的估计没有价值，因此该方法也可以叫做outlier检测方法。这是一种非确定性算法，因为它是在一定概率下得到一个合理的结果，当迭代次数增加，概率也会增加。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种联合局部相位锐度定向描述的多源图像匹配方法，其特征在于，包括以下步骤：
步骤1，归一化预处理待匹配的多源图像；
步骤2，对步骤1中预处理后的多源影像进行特征提取，通过高斯影像金字塔计算影像尺度空间，然后借助相位一致性模型生成最大矩图；
步骤3，根据步骤2所得到得最大矩图，在最大矩空间中通过KAZE函数获取极值点，即为特征点；
步骤4，对步骤3所得极值点进行局部相位锐度定向描述：首先进行相位定向特征计算，对Log-Gabor偶函数对称滤波器计算的相位特征方向进行扩展，生成相位定向特征；接着进行相位锐度特征计算，利用相位锐度模型计算图像锐度特征图，将相位锐度低频区域Sobel算子梯度加权融合得到改进的相位锐度特征结果；最后描述子向量特征构建，采用对数极坐标描述框架迭代生成每个特征点的LPSO描述子；
步骤5，根据步骤4所得LPSO描述子进行特征点匹配与优化，采用欧氏距离作为匹配测度，通过LPSO描述符最近邻匹配获取对应点。
2.根据权利要求1所述的联合局部相位锐度定向描述的多源图像匹配方法，其特征在于：步骤2中生成最大矩图的具体实现方式如下；
在高斯影像空间金字塔中，进行相位一致性计算来获取图像的相位卷积分量，为了更好描述图像的边缘特征，通过对图像的相位卷积分量进行不同方向的卷积，为每个方向o计算一个独立的相位卷积分量映射PC(θo)，其中，θ是方向o的角度；根据力矩分析方法可知最大矩能够反映特征的显著性，因此，可以根据最大矩计算公式获取归一化后的高斯空间最大矩图，如下列公式所示：
式中，MM表示影像高斯滤波后的相位最大矩结果；PC(θo)表示相位卷积分量在o方向的映射；a、b和c是相位力矩计算的中间量；θ是方向o的角度。
3.根据权利要求1所述的深度密集卷积网络协同检测的多聚焦图像融合方法，其特征在于：步骤4中相位定向特征计算的具体实现方式如下；
通过相位一致性模型的Log-Gabor滤波器，采用它的偶对称滤波器能量卷积结果来表征不同方向的能量变化，生成的特征方向图包含了Log-Gabor偶对称滤波器在多个方向的滤波结果能量，包括垂直方向和水平方向，其计算公式如下所示：
上式中，OF表示初始相位定向特征；EOi(angle)表示在第i方向上角度为angle的偶对称卷积结果；Φ是一个极小值，防止分母为零，o表示方向；
然后对相位一致性方向特征进行调整，最终的相位定向特征用OPC表示，数学公式如下所示：
上式中，OPC代表最终相位定向特征；ΔT代表一个非负常数项。
4.根据权利要求1所述的深度密集卷积网络协同检测的多聚焦图像融合方法，其特征在于：步骤4中相位锐度特征计算的具体实现方式如下；
首先对局部相位相干性模型获取图像锐度图的方法进行优化，得到锐度特征的计算公式如下所示：
上式中，SF表示计算后的相位相干性锐度图；s表示相位卷积尺度，p表示相位卷积方向；LG(s,p)表示具有s个尺度和p个方向的Log-Gabor滤波器；Φ(i,j)表示经过傅里叶变换的图像，表示在第i尺度和第j方向上的Log-Gabor滤波卷积能量值；C是一个调整图像锐度特性的整数；
然后基于Sobel算子的二阶图像梯度方法获得图像的低频边缘特征，其计算公式如下所示：
上述公式中，
表示图像的二阶梯度幅度；
表示图像的一阶梯度幅度；
和
为
继续在水平方向和垂直方向求导的结果；σ是高斯尺度空间的尺度；Lx,σ和Ly,σ分别表示高斯尺度空间的图像L经过Sobel算子卷积后的水平方向和垂直方向导数，高斯尺度空间的图像L在步骤2中计算得到；
最后，将相位相干计算的图像锐度方法与二阶图像梯度方法进行了加权融合，统称为改进的相位锐度特征，加权后的特征即保留了图像显著性结构特征，又丰富了图像低频边缘信息，其数学表达式如下所示：
上式中，LPS表示改进的相位锐度特征结果；LPC表示相位锐度每个像素的特征值；
表示图像的二阶梯度特征；Δω表示影像梯度特征的加权系数，取值在[0，1]之间，取值越小梯度特征比重越小，反之则越大。
5.根据权利要求1所述的深度密集卷积网络协同检测的多聚焦图像融合方法，其特征在于：步骤4中描述子向量特征构建的具体实现方式如下；
以特征点为中心选取圆形邻域并计算它们的相位锐度特征和相位方向特征，从而建立相位锐度定向特征直方图；把此直方图均匀划分为36等份，选择直方图的峰值方向作为特征点的主方向，采用对数极坐标框架来计算特征点邻域内的相位锐度特征和相位方向特征，最终构建每个特征点的描述子向量；其中，对数极坐标采用经典的3层圆形邻域模式进行扇区划分，第二层和第三层圆形邻域等分成12等分，从而生成了25个子区域的对极数坐标扇区，各扇区面积近似；最后，统计每个子扇区像素点八个方向的相位锐度特征和相位定向特征，生成具有200维特征向量的LPSO描述子。
6.根据权利要求1所述的联合局部相位锐度定向描述的多源图像匹配方法，其特征在于：步骤5中还包括，采用随机抽样一致算法完成误匹配剔除。
7.根据权利要求1所述的联合局部相位锐度定向描述的多源图像匹配方法，其特征在于：步骤1中所述预处理包括；
统一将输入的多源图像降采样至500*500像素，同时若输入图像为单通道图像，则将其扩为与彩色图像一致的三通道图像，同时以平均像素为零点，将图像像素值归一化压缩至(0-1)区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047778.4A CN113763274B (zh) | 2021-09-08 | 2021-09-08 | 一种联合局部相位锐度定向描述的多源图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047778.4A CN113763274B (zh) | 2021-09-08 | 2021-09-08 | 一种联合局部相位锐度定向描述的多源图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763274A true CN113763274A (zh) | 2021-12-07 |
| CN113763274B CN113763274B (zh) | 2023-06-06 |
Family
ID=78793681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111047778.4A Active CN113763274B (zh) | 2021-09-08 | 2021-09-08 | 一种联合局部相位锐度定向描述的多源图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763274B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775324A (zh) * | 2022-12-13 | 2023-03-10 | 武汉大学 | 一种交叉尺度滤波引导下的相位相关图像匹配方法 |
| CN116228819A (zh) * | 2023-04-27 | 2023-06-06 | 中国科学院空天信息创新研究院 | 红外运动目标检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100272376A1 (en) * | 2009-04-24 | 2010-10-28 | Silicon Integrated Systems Corp. | Image processing system having scaling and sharpness device and method thereof |
| CN103345757A (zh) * | 2013-07-19 | 2013-10-09 | 武汉大学 | 多层次多特征约束下的光学和sar影像自动配准方法 |
| CN104504676A (zh) * | 2014-11-07 | 2015-04-08 | 嘉兴学院 | 一种多视觉敏感特征相似度的全参考图像质量评价方法 |
| WO2019042232A1 (zh) * | 2017-08-31 | 2019-03-07 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和系统 |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| WO2020087015A1 (en) * | 2018-10-26 | 2020-04-30 | The Regents Of The University Of Michigan | Phase detection and correction using image-based processing |
| CN111797744A (zh) * | 2020-06-28 | 2020-10-20 | 武汉大学 | 一种基于共现滤波算法的多模态遥感图像匹配方法 |
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
-
2021
- 2021-09-08 CN CN202111047778.4A patent/CN113763274B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100272376A1 (en) * | 2009-04-24 | 2010-10-28 | Silicon Integrated Systems Corp. | Image processing system having scaling and sharpness device and method thereof |
| CN103345757A (zh) * | 2013-07-19 | 2013-10-09 | 武汉大学 | 多层次多特征约束下的光学和sar影像自动配准方法 |
| CN104504676A (zh) * | 2014-11-07 | 2015-04-08 | 嘉兴学院 | 一种多视觉敏感特征相似度的全参考图像质量评价方法 |
| WO2019042232A1 (zh) * | 2017-08-31 | 2019-03-07 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和系统 |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| WO2020087015A1 (en) * | 2018-10-26 | 2020-04-30 | The Regents Of The University Of Michigan | Phase detection and correction using image-based processing |
| CN111797744A (zh) * | 2020-06-28 | 2020-10-20 | 武汉大学 | 一种基于共现滤波算法的多模态遥感图像匹配方法 |
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 叶沅鑫;慎利;陈敏;王继成;: "局部相位特征描述的多源遥感影像自动匹配", 武汉大学学报(信息科学版) * |
| 李学国;陈珂;: "基于局部锐度分布耦合核典型相关分析的图像匹配算法", 西南师范大学学报(自然科学版) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775324A (zh) * | 2022-12-13 | 2023-03-10 | 武汉大学 | 一种交叉尺度滤波引导下的相位相关图像匹配方法 |
| CN115775324B (zh) * | 2022-12-13 | 2024-01-02 | 武汉大学 | 一种交叉尺度滤波引导下的相位相关图像匹配方法 |
| CN116228819A (zh) * | 2023-04-27 | 2023-06-06 | 中国科学院空天信息创新研究院 | 红外运动目标检测方法及装置 |
| CN116228819B (zh) * | 2023-04-27 | 2023-08-08 | 中国科学院空天信息创新研究院 | 红外运动目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763274B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Robust feature matching for remote sensing image registration via locally linear transforming | |
| CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
| CN110021024B (zh) | 一种基于lbp和链码技术的图像分割方法 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| Fang et al. | SAR-optical image matching by integrating Siamese U-Net with FFT correlation | |
| CN113763274A (zh) | 一种联合局部相位锐度定向描述的多源图像匹配方法 | |
| CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
| CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN114463397A (zh) | 一种基于渐进式滤波的多模态图像配准方法 | |
| Zhang et al. | A parallel and serial denoising network | |
| Achban et al. | Wrist hand vein recognition using local line binary pattern (LLBP) | |
| CN116342653A (zh) | 一种基于相关滤波器的目标跟踪方法、系统、设备及介质 | |
| CN112380966B (zh) | 基于特征点重投影的单眼虹膜匹配方法 | |
| CN111899284B (zh) | 一种基于参数化esm网络的平面目标跟踪方法 | |
| Lin et al. | Ml-capsnet meets vb-di-d: A novel distortion-tolerant baseline for perturbed object recognition | |
| Richter et al. | Filter design for image decomposition and applications to forensics | |
| CN111539396A (zh) | 一种基于yolov3的行人检测及步态识别的方法 | |
| CN110751189A (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
| Iqbal et al. | Illumination normalization of face images using layers extraction and histogram processing | |
| US20230334821A1 (en) | Compressed spatial frequency transform for feature tracking, image matching, search, and retrieval | |
| CN116030098B (zh) | 一种基于方向特征驱动的焊缝目标跟踪方法及系统 | |
| Sergiyenko et al. | Local Feature Extraction in High Dynamic Range Images. | |
| Wu et al. | Performance Analysis of Feature Extraction Methods towards Underwater vSLAM | |
| Cao et al. | Image Recognition Based on Denoising and Edge Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |