CN102231191A - 基于asift的多模态图像特征提取与匹配方法 - Google Patents

Abstract

本发明公开了一种基于ASIFT的多模态特征提取与匹配方法，主要解决现有技术所不能解决的多模态图像的点特征提取与匹配问题。其实现步骤是：对ASIFT仿射变换模型倾斜量参数和经度参数进行采样，得到两幅输入图像的两组视图；在这两组视图上，采用高斯差分DoG特征检测方法检测特征点的位置与尺度信息；用平均平方梯度的方法设置特征的主方向且特征向量的幅值采用计数方式设定；计算特征的对称性ASIFT描述符；采用最近邻域方法对特征的对称性ASIFT描述符进行粗匹配以及使用优化随机采样方法去除误匹配特征。本发明能够在多种传感器感知的图像中提取和匹配特征，并且具有完全仿射不变特性，可以应用于目标识别与跟踪，图像配准等领域。

Description

基于ASIFT的多模态图像特征提取与匹配方法

技术领域

本发明涉及图像处理领域，具体的说是涉及一种图像特征提取与匹配方法，可用于多模态图像配准，目标识别与跟踪等领域。

背景技术

在图像配准，目标识别与跟踪等领域，需要找到同一场景的多幅视图之间的几何关系，从而获得整个场景更为全面的信息。解决这类问题最常用的方法之一就是通过这些同一场景不同视图中存在的大量共同信息来求取这些视图之间存在的几何关系。但由于不同传感器的成像机理不同，视场内物体随着时间的运动变化，不同成像设备内部参数的差别以及拍摄场景的角度差异等因素，使得如何在存在巨大差异的同一场景的不同视图下，更有效、准确的提取共同信息，成为了计算机视觉领域的一个难点。为了解决这个难点，众多学者从不同的角度出发，提出很多有效的特征提取与匹配的方法。其中以点为特征的提取与匹配方法是极其重要的一类特征提取及匹配方法，并且广泛应用于图像处理的诸多领域。

目前，较为常用的点特征提取方法有基于Harris角点的特征提取方法和基于尺度不变特征变换SIFT的点特征提取方法，例如，Mikolajczyk K，Schmid C，“Scale &affine invariant interest point detectors，”International Journal of Computer Vision，vol.60，no.1，pp.63-86.及Lowe D，“Distinctive image features from scale-invariant keypoints.”International Journal of Computer Vision，vol.60，no.2，pp.91-110.这两篇文献公开的技术均为点特征的提取及匹配方法。其中基于Harris角点的特征提取方法能够提取到简单，有效，稳定的角点信息，提取到的特征具有明确的物理意义，该类方法结合自动尺度选择理论以及规范化理论可以提取到对旋转，尺度甚至仿射变换具有一定稳定性的特征，如Harris-Affine方法。基于SIFT的特征检测方法通常定位准确，有高度的区分能力，提取到的特征具有旋转，尺度不变特性，对于光照变化和仿射变化有一定的稳定性，已经成为最优秀的点特征提取方法之一，被广泛应用到目标识别与跟踪，图像配准等领域。

尽管这两类方法在特征提取与匹配处理方面有着诸多的优点，但他们同时存在着以下不足：

(1)所述两类方法都不是完全仿射不变的特征提取方法。Harris-Affine方法由于采用规范化而非模拟仿射变换物理模型的方法确定放射变换的参数从而决定其不可能具有完全意义上的仿射不变特性，在两幅图像存在足够大的仿射变换时，Harris-Affine方法无法在两幅图中检测到足够的共同特征。基于SIFT的特征提取方法采用模拟尺度变换的方法在数学上已经被证明具有完全的尺度不变特性，但对于如何获得仿射不变特性，并没有提出相应的方法论。这点使得上述两种特征提取与匹配方法在应用中受到了很大的限制，因为仿射变换广泛存在于真实世界的图像之间，是最为基础的几何变换之一。

(2)所述两类算法都不能广泛的应用于多模态图像的特征提取与匹配上。由于不同模态传感器成像机理的不同，使得多模态图像之间的灰度值存在着很大的差异，如图1(a)，(b)所示，像素的灰度梯度方向发生翻转变化，部分相同目标的像素甚至在灰度值上完全不存在相关性。除此之外，真实世界中多传感器图像还可能同时具有较大的仿射变换。所以，多模态图像特征提取与匹配相比单一模态图像特征提取与匹配，是一个更加艰巨的任务，将上述两类方法直接应用在多模态图像的特征检测问题上，往往得不到满意的结果。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于仿射尺度不变ASIFT的图像特征提取与匹配方法，以增加完全仿射不变特性，实现对多模态图像的特征提取与匹配。

本发明是这样实现的：

本发明首先对ASIFT仿射变换模型倾斜量参数和经度参数进行采样，得到两幅输入图像的两组视图，采用高斯差分DoG特征检测方法检测图像特征的位置与尺度信息；其次利用平均平方梯度为检测到的图像特征设置主方向；然后用计数的方法确定图像特征向量的幅值信息，进而将提取到的特征形成对称性ASIFT描述符；最后采用最近邻域方法和优化随机采样ORSA方法进行特征匹配和误匹配剔除。

本发明的具体实现方法包括如下步骤：

(1)对两幅需进行特征提取与匹配的图像分别按ASIFT仿射变换矩阵进行仿射变换处理，使每幅图像形成一组视图；

(2)对形成的两组视图，采用高斯差分DoG特征检测方法确定视图特征的精确位置信息和尺度信息；

(3)根据视图特征的位置信息和尺度信息，计算视图特征的水平平均平方梯度

和垂直平均平方梯度

$\left[\begin{array}{c}\stackrel{\‾}{G_{\mathrm{sx}}}\\ \stackrel{\‾}{G_{\mathrm{sy}}}\end{array}\right]=\left[\begin{array}{c}{G}_{\mathrm{sx}}*h_{\mathrm{\σ}}\\ G_{\mathrm{sy}}*h_{\mathrm{\σ}}\end{array}\right]$

其中，*代表卷积，h_σ为方差等于σ的高斯权重核，G_sx＝G_x(x，y)²-G_y(x，y)²为视图特征的水平平方梯度，G_sy＝2·sgn(G_y(x，y))·G_x(x，y)·G_y(x，y)为视图特征的垂直平方梯度，式中G_x(x，y)为视图特征的水平梯度，G_y(x，y)为视图特征的垂直梯度，sgn()为符号函数，·代表相乘；

(4)根据视图特征的位置信息和平均平方梯度，确定视图特征在当前视图下的主方向：

其中，I表示取交集符号，

为提取到的视图特征的主方向，其取值范围为[0，π)；

(5)根据视图特征的位置信息和主方向，计算视图特征在当前视图下的仿射尺度不变ASIFT描述符，将视图作灰度翻转变换，计算视图特征在灰度翻转变换视图下的仿射尺度不变ASIFT描述符，将视图特征邻域内像素个数作为这两个仿射尺度不变ASIFT描述符的幅值信息，并对这两个描述符进行组合，形成对称性ASIFT描述符；

(6)将对称性ASIFT描述符采用最近邻域方法进行特征描述符粗匹配，然后经过优化随机采样ORSA方法剔除错误的匹配，得到精确匹配特征描述符，并将这些精确特征对应的位置信息映射到两幅原始输入图像中。

本发明具有如下效果：

1)具有完全仿射不变特性，能够在输入图像存在非常剧烈的仿射变化的时找到大量正确匹配的特征点。

本发明采用对仿射变换模型中的经度角参数、绝对倾斜量参数采样的方法来模拟仿射变换，从而解决了单纯依靠规范化方法不能解决的仿射不变性问题，即使两幅图像相互倾斜程度非常高，即转换倾斜量大于等于36的时候，依然可以找到大量的正确匹配特征。

2)解决了传统的点特征提取与匹配方法不能应用于多模态图像的缺陷。

本发明利用连续且更快速的平均平方梯度确定特征的主方向，为每个特征形成对称性ASIFT描述符，使得当部分特征的主方向发生翻转变化后，依然可以形成两个相同或者相近的描述符。除此之外，采用计数的方式确定特征向量每一维的幅值，去除了部分错误匹配的可能性，更合适应用于多模态图像之间的特征提取与匹配。

附图说明

图1为多模态图像主方向翻转示意图。

图2为本发明的流程框图。

图3为本发明对绝对倾斜量参数t和经度角参数φ进行采样的示意图。

图4为本发明形成的对称性ASIFT描述符示意图。

图5为本发明对计算机施加模拟仿射变换的红外与可见光图像特征提取与匹配仿真效果图。

图6为本发明对真实传感器传感得到的多模态图像特征提取与匹配仿真效果图。

具体实施方式

以下参照附图对本发明作进一步详细的描述。

参照图2，以两幅图像p1，p2为例，其实现步骤为：

步骤1：对图像p1，p2分别按ASIFT仿射变换矩阵进行仿射变换处理，使每幅图像形成一组视图。

(1.1)对ASIFT仿射变换物理模型的绝对倾斜量参数t和经度角参数φ进行采样，得到因这两个参数变化所引起的全部仿射变换矩阵，如图3所示，参数t按照等比数列t＝1，a，a²，...，aⁿ进行采样，其中n＝5，参数φ按照等差数列φ＝0，b/t，...，kb/t进行采样，其中kb/t＜180°，b＝72；

(1.2)将得到的t和φ的采样值，依次带入矩阵 $I^{\′}(\mathrm{\φ},t)=\left(\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right)\·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\·I,$ 式中I为输入图像，则每组t和φ的采样值可以计算得到输入图像的一个视图I′(φ，t)，从而，当t和φ的采样值全部带入后，则可得到输入图像的一组视图，使两幅输入图像p1，p2形成两组视图。

步骤2：对形成的两组视图，采用高斯差分DoG特征检测方法确定视图特征的精确位置信息和尺度信息。

(2.1)对两组输入视图，按下式建立高斯差分DoG尺度空间：

D(x，y，δ)＝(g(x，y，kδ)-g(x，y，δ))*I(x，y)

其中，g(x，y，δ)为尺度因数δ可变的高斯卷积核函数，I(x，y)为输入的一幅视图，k＝2为一个常数，*代表卷积运算，随着尺度因数δ的变化，即得到了高斯差分DoG空间；

(2.2)在高斯差分DoG空间中进行极致检测，然后在检测到极值点的位置利用D(x，y，δ)的二阶Taylor展开式，得到特征点的位置和尺度信息，最后舍取不稳定的边缘响应，形成两组视图特征的精确位置和尺度信息。

步骤3：根据视图特征的位置信息和尺度信息，计算视图特征的水平平均平方梯度和垂直平均平方梯度

(3.1)根据视图特征已有的水平梯度G_x(x，y)和垂直梯度G_y(x，y)，按下式进行向量平方运算，计算得到视图特征的水平平方梯度G_sx和垂直平方梯度G_sy：

$\left\{\begin{array}{c}{G}_{\mathrm{sx}}=G_x{(x,y)}^2-G_y{(x,y)}^2\\ G_{\mathrm{sy}}=2\·\mathrm{sgn}\left(G_y(x,y)\right)\·G_x(x,y)\·G_y(x,y)\end{array}\right.$

其中，G_x(x，y)为视图特征的水平梯度，G_y(x，y)为视图特征的垂直梯度，sgn()为符号函数，·表示相乘；

(3.2)根据得到的水平平方梯度G_sx和垂直平方梯度G_sy，按下式进行高斯加权运算，得到视图特征的水平平均平方梯度G_sx和垂直平均平方梯度G_sy：

$\left[\begin{array}{c}\stackrel{\‾}{G_{\mathrm{sx}}}\\ \stackrel{\‾}{G_{\mathrm{sy}}}\end{array}\right]=\left[\begin{array}{c}{G}_{\mathrm{sx}}*h_{\mathrm{\σ}}\\ G_{\mathrm{sy}}*h_{\mathrm{\σ}}\end{array}\right]$

其中，*代表卷积，h_σ为方差等于σ的高斯权重核，G_sx和G_sy组成向量 $\left[\begin{array}{c}\stackrel{\‾}{G_{\mathrm{sx}}}\\ \stackrel{\‾}{G_{\mathrm{sy}}}\end{array}\right],$ 其方向的取值范围在[0，π)。

步骤4根据视图特征的位置信息和平均平方梯度，按下式确定视图特征在当前视图下的主方向：

其中，I表示取交集符号，为视图特征的主方向，其取值范围为[0，π)。

步骤5根据视图特征的位置信息和主方向，计算视图特征在当前视图下的仿射尺度不变ASIFT描述符，将视图作灰度翻转变换，计算视图特征在灰度翻转变换视图下的仿射尺度不变ASIFT描述符，将视图特征邻域内像素个数作为这两个仿射尺度不变ASIFT描述符的幅值信息，并对这两个描述符进行组合，形成对称性ASIFT描述符。

(5.1)划分视图特征邻域，以一个视图特征为例说明，如图4(a)所示，圆圈为视图特征的位置信息，方框为视图特征以位置信息为中心，以主方向为正方向的邻域，用字母A表示；将此邻域划分成4×4个大小相等的子区域，如图4(b)所示，分别用A₁₁，A₁₂，...，A_ij，...，A₄₄表示，i和j的取值为1，2，3，4；

(5.2)对每个子邻域A_ij，计算0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，8个方向的方向梯度向量，分别用a_ij1，a_ij2，...，a_ijk，...，a_ij8表示，k的取值为1，2，3...8，如图4(c)所示；

(5.3)将邻域A内所有子邻域计算得到的8方向梯度向量，顺序排列合成为一个128维向量，形成这个视图特征的仿射尺度不变ASIFT描述符；

(5.4)对当前视图作灰度翻转变换，得到的图像如图4(d)所示，对于灰度翻转图像，重复步骤(5.1)，(5.2)，(5.3)的操作，如图4(e)，4(f)所示，最后得到此视图下的仿射不变ASIFT描述符；

(5.5)将已得到的当前视图和灰度翻转视图下的仿射不变ASIFT描述符，按照下式组合形成对称性ASIFT描述符：

$c_{\mathrm{ijk}}=\left\{\begin{array}{ccc}|a_{\mathrm{ijk}}+b_{\mathrm{ijk}}|& i=\mathrm{1,2}& j=\mathrm{1,2,3,4}\\ p\·|a_{\mathrm{ijk}}-b_{\mathrm{ijk}}|& i=\mathrm{3,4}& j=\mathrm{1,2,3,4}\end{array}\right.$

其中，a_ijk为当前视图下仿射尺度不变ASIFT描述符中A_ij子区域内第k个方向梯度向量，b_ijk为灰度翻转视图下仿射尺度不变ASIFT描述符与A_ij子区域对应子区域B_ij内第k个方向梯度向量，c_ijk为计算得到的一维对称性ASIFT描述符向量，p为一个标量，其大小根据对称性ASIFT描述符的幅值进行调整。

步骤6将通过上述步骤得到的所有对称性ASIFT描述符采用最近邻域方法进行特征描述符粗匹配，然后经过优化随机采样ORSA方法剔除错误的匹配，得到精确匹配特征描述符，并将这些精确特征对应的位置信息映射到两幅原始输入图像中。

本发明的效果可通过以下仿真进一步说明：

为验证本发明的有效性和正确性，采用三组多模态图像进行特征提取与匹配仿真实验，并且用两种已有的特征提取与匹配方法和本发明方法进行仿真比较。所有仿真实验均在Windows XP操作系统下采用Visual Studio2008软件实现。

仿真1

采用红外图像与可见光图像作为多模态输入图像，首先对其中的红外图像作水平斜切量为0.4，垂直斜切量为0.2，尺度因子为1.1的仿射变换，用现有的SIFT，ASIFT特征提取与匹配方法与本发明进行仿真比较，仿真结果如图5所示。其中，图5(a)为SIFT方法仿真结果，图5(b)为ASIFT方法仿真结果图，图5(c)为本发明方法仿真结果图。从图5(a)可以看出，SIFT方法在本组红外与可见光图像中只找到一组匹配特征，且为错误匹配特征，从图5(b)可以看处，ASIFT方法在本组红外与可见光输入图像中不能找到任何匹配特征，从图5(c)可以看处，本发明方法在本组红外与可见光输入图像中可以找到大量的正确匹配特征。

仿真2

采用存在仿射变换的SPOT Band 3和TM Band 4多传感器遥感图像，不同时刻红外与可见光监控视频图像作为多模态输入图像，采用现有的SIFT，ASIFT特征提取与匹配方法与本发明进行仿真比较，仿真结果如图6所示。

其中，图6(a)为SIFT方法在SPOT Band 3和TM Band 4多传感器遥感图像中的仿真结果图，图6(b)为ASIFT方法在SPOT Band 3和TM Band 4多传感器遥感图像中的仿真结果图，图6(c)为本发明方法在SPOT Band 3和TM Band 4多传感器遥感图像中的仿真结果图，图6(d)为SIFT方法在不同时刻红外与可见光监控视频图像中的仿真结果图，图6(e)为ASIFT方法在不同时刻红外与可见光监控视频图像中的仿真结果图，图6(f)为本发明方法在不同时刻红外与可见光监控视频图像中的仿真结果图。

统计三种方法的特征总匹配点数，正确匹配点数和准确度Accuracy三种客观评价指标，如表1所示。

表1 SIFT，ASIFT以及本发明方法在图6中三种算法评价指标结果对比

从图6(a)～(c)以及表1可以看出，当多模态图像之间像素信息较为接近时，三种方法都可以获得较好的结果，但本发明方法相比SIFT方法可以获得更多的正确匹配特征，相比ASIFT方法具有更好的准确度指标；随着成像设备模态的变化，所得图像之间的灰度值存在很大的差异，成像设备之间具有很复杂的几何变换时，如图6(d)～(f)以及表1所示，SIFT方法只能得到很少的匹配特征并且伴随着很低的精确度，ASIFT方法可以得到较多匹配特征但同样伴随着低精确度，而本发明方法在可以提取到大量的正确匹配特征的同时保证较高的准确度指标。这说明本发明方法对于多模态图像特征提取与匹配有很好的稳定性，而现有技术如SIFT，ASIFT方法不能做到这一点。

Claims (4)

1.一种基于ASIFT的多模态图像特征提取与匹配方法，包括如下步骤：

(1)对两幅需进行特征提取与匹配的图像分别按ASIFT仿射变换矩阵进行仿射变换处理，使每幅图像形成一组视图；

(2)对形成的两组视图，采用高斯差分DoG特征检测方法确定视图特征的精确位置信息和尺度信息；

(3)根据视图特征的位置信息和尺度信息，计算视图特征的水平平均平方梯度

和垂直平均平方梯度

$\left[\begin{array}{c}\stackrel{\‾}{G_{\mathrm{sx}}}\\ \stackrel{\‾}{G_{\mathrm{sy}}}\end{array}\right]=\left[\begin{array}{c}{G}_{\mathrm{sx}}*h_{\mathrm{\σ}}\\ G_{\mathrm{sy}}*h_{\mathrm{\σ}}\end{array}\right]$

其中，*代表卷积，h_σ为方差等于σ的高斯权重核，G_sx＝G_x(x，y)²-G_y(x，y)²为视图特征的水平平方梯度，G_sy＝2·sgn(G_y(x，y))·G_x(x，y)·G_y(x，y)为视图特征的垂直平方梯度，式中G_x(x，y)为视图特征的水平梯度，G_y(x，y)为视图特征的垂直梯度，sgn()为符号函数，·代表相乘；

(4)根据视图特征的位置信息和平均平方梯度，确定视图特征在当前视图下的主方向：

其中，I表示取交集符号，

为提取到的视图特征的主方向，其取值范围为[0，π)；

(5)根据视图特征的位置信息和主方向，计算视图特征在当前视图下的仿射尺度不变ASIFT描述符，将视图作灰度翻转变换，计算视图特征在灰度翻转变换视图下的仿射尺度不变ASIFT描述符，将视图特征邻域内像素个数作为这两个仿射尺度不变ASIFT描述符的幅值信息，并对这两个描述符进行组合，形成对称性ASIFT描述符；

(6)将对称性ASIFT描述符采用最近邻域方法进行特征描述符粗匹配，然后经过优化随机采样ORSA方法剔除错误的匹配，得到精确匹配特征描述符，并将这些精确特征对应的位置信息映射到两幅原始输入图像中。

2.根据权利要求1所述的多模态图像特征提取与匹配方法，其中步骤(1)所述的对两幅需进行特征提取与匹配的图像分别按ASIFT仿射变换矩阵进行仿射变换处理，包括如下步骤：

(1a)对ASIFT仿射变换物理模型的绝对倾斜量参数t和经度角参数φ进行采样，得到因这两个参数变化所引起的全部仿射变换矩阵，其中参数t按照等比数列t＝1，a，a²，...，aⁿ进行采样，n＝5，参数φ按照等差数列φ＝0，b/t，...，kb/t进行采样，kb/t＜180°，b＝72；

(1b)将得到的t和φ的采样值，依次带入矩阵 $I^{\′}(\mathrm{\φ},t)=\left(\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right)\·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\·I,$ 式中I为输入图像，则每组t和φ的采样值可以计算得到输入图像的一个视图I′(φ，t)，从而，当将t和φ的采样值全部带入后，则可得到输入图像的一组视图。

3.根据权利要求1所述的多模态图像特征提取与匹配方法，其中步骤(5)所述的根据视图特征的位置信息和主方向，计算视图特征在当前视图下的仿射尺度不变ASIFT描述符，包括如下步骤：

(5a)将以视图特征的位置为中心，以视图特征主方向为正方向的邻域A，划分为四行四列，共4×4个子邻域，分别用A₁₁，A₁₂，...，A_ij，...，A₄₄表示，i和j的取值为1，2，3，4；

(5b)对每个子邻域A_ij，计算0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，8个方向的方向梯度向量，分别用a_ij1，a_ij2，...，a_ijk，...，a_ij8表示，k的取值为1，2，3...8；

(5c)将邻域A内所有子邻域计算得到的8方向梯度向量，顺序排列合成为一个128维向量，形成这个视图特征的仿射尺度不变ASIFT描述符。

4.根据权利要求1所述的多模态图像特征提取与匹配方法，其中步骤(5)所涉及的将当前视图下的仿射尺度不变ASIFT描述符和视图灰度翻转变化下的仿射尺度不变ASIFT描述符组合形成对称性ASIFT描述符，通过如下公式进行组合：

$c_{\mathrm{ijk}}=\left\{\begin{array}{ccc}|a_{\mathrm{ijk}}+b_{\mathrm{ijk}}|& i=\mathrm{1,2}& j=\mathrm{1,2,3,4}\\ p\·|a_{\mathrm{ijk}}-b_{\mathrm{ijk}}|& i=\mathrm{3,4}& j=\mathrm{1,2,3,4}\end{array}\right.$

其中，a_ijk为当前视图下仿射尺度不变ASIFT描述符中A_ij子区域内第k个方向梯度向量，b_ijk为灰度翻转视图下仿射尺度不变ASIFT描述符与A_ij子区域对应子区域内第k个方向梯度向量，c_ijk为计算得到的一维对称性ASIFT描述符向量，p为一个标量，其大小根据对称性ASIFT描述符的幅值进行调整。

Images