CN111161187A - 一种改进的局部自相关描述方法及其自相关描述符 - Google Patents

Abstract

本发明提供一种改进的局部自相关描述方法及其自相关描述符，通过该方法得到的局部自相关描述符，对于灰度畸变和图像噪声有较强的鲁棒性。

Description

一种改进的局部自相关描述方法及其自相关描述符

技术领域

本发明涉及一种自相关描述方法，具体涉及一种改进的局部自相关描述方法。

背景技术

图像匹配在计算机视觉领域扮演着重要的角色，广泛应用于图像拼接、目标识别、视频稳像等方面。模板匹配是图像匹配中的一个重要子类。到目前为止，大量研究人员为图像匹配做出了大量的改进与贡献。但是由于异源图像匹配对之间存在的灰度畸变、几何变形等原因，对异源图像进行快速且高精度的匹配依旧是一项巨大的挑战。

图像匹配算法可以分为基于特征的图像匹配和基于模板的图像匹配。基于特征的图像匹配是通过检测图像对间相应特征，求取全局变换关系来完成匹配过程的。但由于图像噪声、灰度畸变、灰度反转等原因，基于特征的图像匹配方法应用于异源图像的匹配效果不尽人意，基于模板的图像匹配在这方面做得更好。

模板匹配是将一幅图像作为模板并通过逐像素比较的方法搜索模板在另一幅图像上的对应位置的过程。由于模板提供的图像信息更加完整，模板匹配算法能比基于特征的图像匹配算法更好的适应弱特征、图像噪声和成像模糊等不利因素。但是，模板匹配算法通常只能适应图像间存在平移变换关系的匹配，对于更复杂的几何变换难以成功匹配。

局部自相关描述符是一种局部特征描述符，对每个像素点进行局部特征描述。文献(Irani E S M.Matching Local Self-Similarities across Images and Videos[C]//2007IEEE Conference on Computer Vision and Pattern Recognition.IEEE ComputerSociety,2007)使用局部自相关描述符来提取图像内部的自相似性，在目标检测、动作识别等方面得到应用。局部自相关描述符是将以中心像素为中心的patch和其邻域的所有patch进行自相似性计算，得到每个bin里面相似性最大的那个相似性值，以此来组成其局部特征描述。其中相似性计算是基于图像的灰度值，而异源图像中图像灰度往往会发生畸变，而且带有较大的噪声，从而导致其局部自相关描述并不可靠。

对于异源图像匹配，一些学者提出了一种局部自相关描述符(Local Self-Similarity Descriptor)来进行匹配。然而，异源图像间存在严重的非线性灰度畸变，而自相关描述符对于灰度畸变并不是一成不变的。另外，自相关描述符对于图像噪声极为敏感，而异源图像恰巧常常带有较大的噪声，例如红外图像、Lidar图像、SAR图像，如图1所示。

发明内容

本发明的目的是提供一种改进的局部自相关描述方法，通过该方法得到的局部自相关描述符，对于灰度畸变和图像噪声有较强的鲁棒性。

本发明所采取的技术方案为：

本发明提供一种改进的局部自相关描述方法，包括如下步骤：

1)提取图像梯度

根据下式(1)提取图像梯度：

其中，

为所求梯度，k为每个block的像素个数，f表示图像；

2)计算矩阵G的奇异值分解矩阵

G＝USV^T (3)

其中，U是N*N的正交矩阵；S是N*2维矩阵；V是2*2维矩阵，其中第一列v₁表示了梯度场的主方向；第二列表示了两个奇异值s₁，s₂；

3)计算局部自相关描述符。

进一步，所述步骤1)中，还包括如下步骤：

将梯度场分为局部的block。

进一步，对于每个block，有N*2为向量G；

进一步，所述步骤3)中，局部自相关描述符D_i是在局部窗口R_i内对两个patchF_i和F_j进行相似性计算。

进一步，局部自相关描述符D_i＝∪_ld_i,l，其中l＝1,…,L。

本发明的另一方面提供一种改进的自相关描述符，由上述任意所述的局部自相关描述方法计算得到。

本发明的有益效果在于：

1、本发明提供一种改进的局部自相关描述方法，通过该方法得到的局部自相关描述符，对于灰度畸变和图像噪声有较强的鲁棒性。

2、本发明实施例使用结构方向图来代替灰度图像来进行内部自相关性计算，提出改进的描述符对于灰度畸变和图像噪声有较强的鲁棒性。

本发明实施例使用密集的局部自相关描述符提取图像的局部特征用于异源图像匹配，特征集内基本上包含了图像的全部信息，这样对于异源图像匹配更加可靠。

本发明实施例使用结构方向图来提取图像的局部特征，而图像的结果方向对于灰度畸变具有鲁棒性，所以应用于异源图像匹配更加可靠。

3、本发明实施例在使用Sobel滤波提取结构方向的基础上，进一步提取其多尺度主方向，有利于消除噪声对于描述符的提取。

4、本发明实施例的核心思想是使用图像的结构方向图代替灰度图来计算局部自相似性，形成局部自相关描述符。首先使用Sobel滤波提取图像结构方向，结构方向对于灰度畸变具有较强的鲁棒性。然后对图像方向进行主成分分析(PCA)，减小噪声的影响，得到最终的结构方向图。该方向图能够适应异源图像间的非线性灰度畸变，而且对噪声极具鲁棒性，从而使得求得的局部自相关描述符能够在异源图像中得到有效的应用。

附图说明

图1是现有技术中图像噪声实例；

图2是本发明实施例中自相关计算示意图。

具体实施方式

以下将结合实施例对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

由于异源图像的非线性灰度失真问题，所以本发明实施例提出的算法基于结构方向，而不是基于图像灰度。结构方向是根据灰度图像的梯度来计算，所以对噪声非常敏感。因此，我们提出使用PCA提取图像像素的主方向，该方法对噪声具有很强的鲁棒性。

本发明实施例提供一种改进的局部自相关描述方法，具体包括如下步骤：

一、结构方向提取：

1)提取梯度图像梯度

首先，根据式(1)求图像偏导，提取图像梯度：

其中，

为所求梯度，分为x方向和y方向，k为每个block(分块)的像素个数，f表示图像。为估计局部的主方向，我们将梯度场分为局部的block(重叠或不重叠)。对于每个block，有N*2维向量G：

2)计算矩阵G的奇异值分解矩阵

G＝USV^T (3)

其中，U是N*N的正交矩阵，表示了对应向量对奇异向量的贡献。S是N*2维矩阵，表示了对应方向的能量。V是2*2维矩阵，其中第一列v₁表示了梯度场的主方向，只要将其旋转90度即可获得其主方向。第二列表示了两个奇异值s₁，s₂。

二、局部自相关描述符提取：

计算局部自相关描述符D_i

局部自相关描述符D_i是在局部窗口R_i内对两个patchF_i和F_j进行相似性计算。如图2，为局部窗口内的相似性计算示意图，对于每一组bin，提取相关性最大的值。

描述符D_i＝∪_ld_i,l(U表示并集)，其中l＝1,…,L，自相关描述符是L*1维的特征描述。此外：

d_i,l＝max{C(i,j)},j∈bin_i(l) (4)

其中bin_i(l)＝{j|j∈R_i,ρ_r-1<|i-j|≤ρ_r,θ_a-1<∠(i-j)≤θ_a}。ρ_r为log的半径(同心圆半径，如图2)，其中r∈{1,…,N_ρ}。θ_a为单位角度，其中a∈{1,…,N_θ}，ρ₀＝0，θ₀＝0。

相关值C(i,j)通常用简单的相似性计算方法，例如差方和(The Sum of SquareDifference，SSD)，且带有归一化因子σ_s:

C(i,j)＝exp(-SSD(F_i,F_j)/σ_s) (5)

在上述过程中，局部窗口R_i是在结构方向图中截取。对每个像素进行局部特征描述，获得密集特征描述集，该特征集对灰度畸变和图像噪声具有鲁棒性。

本发明实施例步骤1)和步骤2)是为了提取对噪声和灰度畸变具有鲁棒性的结构方向图，然后基于这个方向图提取局部自相关描述符。

由于传统的局部自相关描述符是基于灰度图像进行提取，而在异源图像中，由于其灰度畸变、图像噪声等原因，难以有效地应用。

因此，本发明实施例提出了改进的局部自相关描述方法，使用经PCA的结构方向图替代灰度图像，灰度畸变和图像噪声的问题得到解决。

本发明另一实施例提供一种改进的自相关描述符，由上述所述的局部自相关描述方法计算得到。

需要说明的是，下述为本文中相关技术术语的名词解释：

相关性：显示两个随机变量之间线性关系的强度和方向。

patch：分块，衡量两个patch的相关性。

bin：分块，将局部窗口分成N块，即有N维描述符。

block：分块，将中心像素的邻域分成一个块。

灰度畸变：异源图像间因传感器、光照等原因而导致图像灰度发生改变。

描述符：描述图像局部特征的向量。

需要说明的是，在整个申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的试试方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (6)

1.一种改进的局部自相关描述方法，其特征在于，包括如下步骤：

1)提取图像梯度

根据下式(1)提取图像梯度：

其中，

为所求梯度，k为每个block的像素个数，f表示图像；

2)计算矩阵G的奇异值分解矩阵

G＝USV^T (3)

其中，U是N*N的正交矩阵；S是N*2维矩阵；V是2*2维矩阵，其中第一列v₁表示了梯度场的主方向；第二列表示了两个奇异值s₁，s₂；

3)计算局部自相关描述符。

2.根据权利要求1所述的局部自相关描述方法，其特征在于，所述步骤1)中，还包括如下步骤：

将梯度场分为局部的block。

3.根据权利要求2所述的局部自相关描述方法，其特征在于，对于每个block，有N*2为向量G；

4.根据权利要求1所述的局部自相关描述方法，其特征在于，所述步骤3)中，局部自相关描述符D_i是在局部窗口R_i内对两个patch F_i和F_j进行相似性计算。

5.根据权利要求1所述的局部自相关描述方法，其特征在于，局部自相关描述符D_i＝∪_ld_i,l，其中l＝1,…,L。

6.一种改进的自相关描述符，其特征在于，由权利要求1-5任意所述的局部自相关描述方法计算得到。

Images