CN103632142A - 基于局部坐标系特征描述的图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于局部坐标系特征描述的图像匹配方法，主要解决了现有方法存在主方向估计误差，图像匹配的正确率低的问题。其实现步骤是：1.对两幅输入图像进行灰度化处理；2.提取每幅图像的特征点，建立每个特征点的N个支撑区域；3.将每个支撑区域划分为k个子区域；4.构造每个支撑区域的特征描述向量集；5.利用支撑区域的特征描述向量构建每个特征点的特征描述向量集，并对其归一化得到每个特征点的特征描述符；6.利用两幅图像中特征点的特征描述符进行图像匹配，输出匹配的特征点对。本发明相比传统的局部特征描述方法，在进行图像匹配时不仅避免了主方向估计误差，而且提高了匹配正确率，可用于目标跟踪、物体识别和图像检索。

Description

基于局部坐标系特征描述的图像匹配方法

技术领域

本发明涉及图像处理技术领域，特别是涉及图像匹配方法，可用于目标跟踪、物体识别和图像检索。

背景技术

图像匹配是计算机视觉和数字图像处理领域的重要组成部分，但由于不同的成像时间、距离、角度等因素导致了图像的平移、旋转、缩放等问题，这都给图像匹配带来了很大难度。近几年，基于图像特征描述符的图像匹配技术在目标跟踪、物体识别等领域得到了显著发展。

局部特征描述方法因其能够重点描述图像的特征区域，与全局特征描述相比，节约了计算量，成为近几年研究的热点。局部特征描述大致分为两步：提取兴趣点和计算特征描述符。提取兴趣点用来确定提取特征的位置或局部区域；计算特征描述符用来描述该局部区域，一个描述符的好坏直接影响特征点或特征区域的区分性能。

传统的局部特征描述方法，如尺度不变特征变换匹配算法(SIFT)采用高斯差分函数(DOG)检测子，将特征区域确定为各向同尺度变化的圆形区域，这种方法虽然具有良好的尺度不变性，但其并不具备仿射不变性，对有仿射变化的图像其生成的描述符的可区分性差。此外，由于SIFT采用直方图统计主方向，再进行主方向旋转以达到旋转不变性，会对主方向估计带来较大误差，严重影响图像匹配的正确率。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于局部坐标系特征描述的图像匹配方法，以避免主方向估计带来的误差，提高图像匹配的正确率。

实现本发明目的关键是对每个特征区域做仿射归一化处理，对每个特征点的样本点建立它的局部坐标系进行梯度描述，利用每个特征点生成的特征描述符进行基于欧氏距离的图像匹配。其技术方案包括如下步骤：

（1）输入两幅待匹配的图像，分别对这每幅图像进行灰度化处理，得到两幅灰度图像I₁、I₂；

（2）提取每幅灰度图像的特征点及特征区域，建立每个特征点的N个圆形支撑区域；

2a）用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b；

2b）对每个特征点建立以特征区域为起始位置均匀增大的N个嵌套椭圆，作为支撑区域，每个支撑区域的长轴a_i＝a+2(i-1)，短轴b_i＝b+2(i-1)，i＝1,2,...,N，N个嵌套椭圆的圆心是其对应的特征点；

2c）将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状；

（3）将一个特征点的一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑区域样本点的有序集合，再按照样本点个数把支撑区域等分为k个子区域；

（4）构造一个特征点的一个支撑区域中的k个子区域的特征描述向量集；

4a）建立一个子区域中每个样本点的局部坐标系，该坐标系的Y轴正向是特征点与该样本点的向量方向，X轴正向是按顺时针与Y轴正向正交的方向；

4b）在每个局部坐标系下采样8个像素点，依次记为x¹,x²,...,x⁸，计算这些像素点之间的灰度梯度，并求出每个局部坐标系中每个两两正交的灰度梯度的幅值m(x)和方向θ(x)；

4c）用梯度直方图统计方法将每个灰度梯度的幅值和方向(m(x),θ(x))映射至一个d维的向量P_l＝(f₁,f₂,...,f_v,...,f_d)，v＝1,2,...,d，l＝1,2,...,k；

4d）重复执行步骤4a）-4c）共k次，得到一个支撑区域中k个子区域的特征描述向量集M_h＝(P₁,P₂,...,P_n,...,P_k)，n＝1,2,...,k，h＝1,2,...,N；

（5）重复执行步骤（3）和（4）共N次，得到一个特征点的特征描述向量集F＝(M₁,M₂,...,M_h,...,M_N)＝(f₁，f₂,...，f_z，...，f_N×k×d)，z＝1,2,...,N×k×d；

（6）对一个特征点的特征描述向量集F进行归一化，得到一个特征点的特征描述符记为：Q＝(q₁,q₂,....,q_z,...,q_N×k×d)；

（7）重复执行步骤（5）和（6），得到灰度图像I₁、I₂中每个特征点的特征描述符，其中：

灰度图像I₁中一个特征点的特征描述符记为：

z₁＝1,2,...,4×6×8；

灰度图像I₂中一个特征点的特征描述符记为：

z₂＝1,2,...,4×6×8；

（8）将灰度图像I₁中的每个特征点的特征描述符与灰度图像灰度I₂中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，得到灰度图像I₁与灰度图像I₂匹配的特征点对，完成图像匹配。

本发明与现有技术相比具有以下优点：

第一，本发明通过将每个特征点的支撑区域规范为大小相同的标准圆形支撑区域，使得每个特征点的特征描述符具有仿射不变性，能够有效匹配具有仿射形变的图像。

第二，本发明通过建立图像旋转不变的局部坐标系，克服了使用主方向估计带来的估计误差，使得图像匹配的正确率得到有效提高。

附图说明

图1是本发明的实现流程图；

图2为基于一个样本点的局部坐标系；

图3为本发明使用的两幅待匹配图像；

图4是分别采用本发明方法和传统的SIFT方法对图3进行匹配得到的性能比较图。

具体实施方式

以下参照附图对本发明的具体实现及效果做进一步的详细说明。

参照图1，本发明的实施步骤如下：

步骤1，输入两幅待匹配的图像，并分别对每幅图像进行灰度化处理，得到两幅灰度图像I₁和I₂。

步骤2，提取每幅灰度图像的特征点及特征区域，建立每个特征点的4个圆形支撑区域。

（2.1）用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b；

（2.2）对每个特征点建立以特征区域为起始位置均匀增大的4个嵌套椭圆，作为支撑区域，每个支撑区域的长轴a_i＝a+2(i-1)，短轴b_i＝b+2(i-1)，i＝1,2,...,4，4个嵌套椭圆的圆心是其对应的特征点；

（2.3）按如下公式将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状：

$x=\frac{1}{r}{A}^{-\frac{1}{2}}{x}^{\text{'}},$

其中，x'为椭圆形状区域中的坐标，r为圆形形状的半径，r＝20个像素点，A为椭圆形状的形状矩阵，x为圆形形状区域中对应的坐标，x点的灰度值等于x'点的灰度值。

步骤3，将一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑区域样本点的有序集合，再按照样本点个数把支撑区域等分为6个子区域。

步骤4，构造一个支撑区域每个子区域的特征描述向量集。

（4.1）建立一个子区域中每个样本点的局部坐标系，如图2所示，其中P为子区域所在支撑区域的特征点，x为样本点，坐标系的Y轴正向是样本点x与该特征点P的向量方向，X轴正向是按顺时针与Y轴正向正交的方向；

（4.2）在每个局部坐标系下采样8个像素点，如图2所示，这些像素点从局部坐标系下的X正半轴、X负半轴、Y正半轴、Y负半轴及坐标轴夹角45°方向上各采一个像素点得到，每个像素点与这个局部坐标系所在的样本点相距4个像素点，得到的8个像素点记为：x¹,x²,...,x⁸；

（4.3）计算每个局部坐标系下每个像素点与其最大像素间隔的像素点的灰度梯度，即：

D_x(x)＝I(x¹)-I(x⁵)，

D_y(x)＝I(x³)-I(x⁷)，

D_x'(x)＝I(x²)-I(x⁶)，

D_y'(x)＝I(x⁴)-I(x⁸)，

其中，I(xⁱ)是像素点xⁱ的灰度值，i＝1,2,...,8，

D_x(x)是像素点x¹与像素点x⁵的灰度梯度，x⁵是x¹的最大像素间隔像素点，

D_y(x)是像素点x³与像素点x⁷的灰度梯度，x⁷是x³的最大像素间隔像素点，

D'_x(x)是像素点x²与像素点x⁶的灰度梯度，x⁶是x²的最大像素间隔像素点，

D'_y(x)是像素点x⁴与像素点x⁸的灰度梯度，x⁸是x⁴的最大像素间隔像素点；

（4.4）计算每个局部坐标系下每个两两正交梯度之间的幅值m(x)和方向θ(x)：

其中，m₁(x)和θ₁(x)是由像素点x¹与像素点x⁵的灰度梯度D_x(x)和像素点x³与像素点x⁷的灰度梯度D_y(x)计算得到的幅值和方向，且D_x(x)与D_y(x)正交；m₂(x)和θ₂(x)是由像素点x²与像素点x⁶的灰度梯度D'_x(x)和像素点x⁴与像素点x⁸的灰度梯度D'_y(x)计算得到的幅值和方向，且D'_x(x)与D'_y(x)正交；

（4.5）用梯度直方图统计方法将一个子区域中每个灰度梯度的幅值和方向(m(x),θ(x))映射至一个8维的向量P_l＝(f₁,f₂,...,f_v,...,f₈)，v＝1,2,...,8，l＝1,2,...6，其步骤如下：

（4.5a）将0～2π的梯度直方图分成8等分，得到8个方向块，每个方向块的大小为：dir_j＝(2π/8)*(j-1)，j＝1,2,...,8；

（4.5b）将每个灰度梯度的方向θ(x)线性分配到与它相邻方向块上，计算向量P_l中每一维f_v的值：

其中，α(θ(x),dir_j)是指θ(x)到第j个方向块的方向距离，即α(θ(x),dir_j)＝|θ(x)-dir_j|；

（4.6）重复执行步骤（4.1）-（4.5）共6次，得到一个支撑区域6个子区域的特征描述向量集M_h＝(P₁,P₂,...,P_n,...,P₆)，n＝1,2,...,6，h＝1,2,3,4。

步骤5，重复执行步骤3和步骤4，得到一个特征点的4个支撑区域的特征描述向量集：F＝(f₁,f₂,...,f_z,...,f_4×6×8)，z＝1,2,...,4×6×8。

步骤6，将一个特征点的特征描述向量集F归一化，得到的向量Q＝(q₁,q₂,...，q_z,...，q_4×6×8),该向量Q即为该特征点的特征描述符。

步骤7，重复执行步骤5和步骤6，得到灰度图像I₁、I₂中每个特征点的特征描述符，其中：

灰度图像I₁的一个特征点的特征描述符记为：

z₁＝1,2,...,4×6×8；

灰度图像I₂中一个特征点的特征描述符记为：z₂＝1,2,...,4×6×8。

步骤8，对灰度图像I₁和灰度图像灰度I₂进行基于欧氏距离的图像匹配，得到灰度图像I₁与灰度图像I₂匹配的特征点对，完成图像匹配。

（8.1）计算灰度图像I₁中一个特征点的特征描述符

和灰度图像I₂中每个特征点的特征描述符

之间的欧式距离D，找出它们中的最小欧氏距离，并记录得到这个最小欧式距离的两个特征点；

（8.2）对最小欧式距离进行判断：若最小欧式距离小于阈值th＝0.8，则这两个特征点匹配，反之图像I₁中的这个特征点在图像I₂中没有匹配的特征点；

（8.3）重复步骤7a）和7b)，遍历图像I₁中的每个特征点的特征描述符，得到图像I₁中的每个特征点与图像I₂中的特征点的匹配情况，输出灰度图像I₁与灰度图像I₂匹配的特征点对。

下面结合仿真对本发明的效果做进一步的说明：

1.仿真条件：

实验使用的软件平台为Matlab7.10；

使用图3所示的两幅图像作为仿真图像，这两幅图像是同一物体在两个不同视角下拍摄的照片图像，其中，3(a)是视角0°时拍摄的照片图像，3(b)是视角45°时拍摄的照片图像，该组图像是牛津大学的一个研究小组公开发布的，同时发布的还有这两幅图像正确匹配的特征点数，由于视角不同，这两幅图像不同程度的都产生了仿射形变。

2.仿真内容与结果：

分别采用本发明方法和传统的SIFT方法对图3(a)和图3(b)进行图像匹配，用错误率和召回率二者的关系给出对比曲线，错误率和召回率分别用1-precision和recall表示，通过如下公式计算：

仿真结果如图4所示，图4中上方曲线为采用本发明方法得到的错误率-召回率关系曲线，下方曲线为采用传统SIFT图像匹配方法得到的错误率-召回率关系曲线。

由图4可以看出，本发明方法比传统的SIFT方法在匹配正确率和召回率方面更好，对具有仿射形变的图像具有更好的匹配效果。

Claims (7)

1.一种基于局部坐标系特征描述的图像匹配方法，包括如下步骤：

（1）输入两幅待匹配的图像，分别对这每幅图像进行灰度化处理，得到两幅灰度图像I₁、I₂；

（2）提取每幅灰度图像的特征点及特征区域，建立每个特征点的N个圆形支撑区域；

2a）用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b；

2b）对每个特征点建立以特征区域为起始位置均匀增大的N个嵌套椭圆，作为支撑区域，每个支撑区域的长轴a_i＝a+2(i-1)，短轴b_i＝b+2(i-1)，i＝1,2,...,N，N个嵌套椭圆的圆心是其对应的特征点；

2c）将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状；

（3）将一个特征点的一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑区域样本点的有序集合，再按照样本点个数把支撑区域等分为k个子区域；

（4）构造一个特征点的一个支撑区域中的k个子区域的特征描述向量集；

4a）建立一个子区域中每个样本点的局部坐标系，该坐标系的Y轴正向是特征点与该样本点的向量方向，X轴正向是按顺时针与Y轴正向正交的方向；

4b）在每个局部坐标系下采样8个像素点，依次记为x¹,x²,...,x⁸，计算这些像素点之间的灰度梯度，并求出每个局部坐标系中每个两两正交的灰度梯度的幅值m(x)和方向θ(x)；

4c）用梯度直方图统计方法将一个子区域中每个灰度梯度的幅值和方向(m(x),θ(x))映射至一个d维的向量P_l＝(f₁,f₂,...,f_v,...,f_d)，v＝1,2,...,d，l＝1,2,...,k；

4d）重复执行步骤4a）-4c）共k次，得到一个支撑区域中k个子区域的特征描述向量集M_h＝(P₁,P₂,...,P_n,...,P_k)，n＝1,2,...,k，h＝1,2,...,N；

（5）重复执行步骤（3）和（4）共N次，得到一个特征点的特征描述向量集F＝(M₁,M₂,...,M_h,...,M_N)＝(f₁,f₂,...,f_z,...,f_N×k×d)，z＝1,2,...,N×k×d；

（6）对一个特征点的特征描述向量集F进行归一化，得到一个特征点的特征描述符记为：Q＝(q₁,q₂,....,q_z,...,q_N×k×d)；

（7）重复执行步骤（5）和（6），得到灰度图像I₁、I₂中每个特征点的特征描述符，其中：

灰度图像I₁中一个特征点的特征描述符记为：z₁＝1,2,...,N×k×d；

灰度图像I₂中一个特征点的特征描述符记为：

z₂＝1,2,...,N×k×d；

（8）将灰度图像I₁中的每个特征点的特征描述符与灰度图像灰度I₂中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，得到灰度图像I₁与灰度图像I₂匹配的特征点对，完成图像匹配。

2.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤2c）所述的将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状，按如下公式进行：

$x=\frac{1}{r}{A}^{-\frac{1}{2}}{x}^{\text{'}},$

其中，x'为椭圆形状区域中的坐标，r为圆形形状的半径，A为椭圆形状的形状矩阵，x为圆形形状区域中对应的坐标，x点的灰度值等于x'点的灰度值。

3.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b）所述的在每个局部坐标系下采样8个像素点，是从局部坐标系下的X正半轴、X负半轴、Y正半轴、Y负半轴及坐标轴夹角45°方向上各采一个像素点得到，每个像素点与这个局部坐标系所在的样本点相距4个像素点。

4.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b）所述的计算这些像素点之间的灰度梯度，是计算每个像素点与其最大像素间隔的像素点的灰度梯度，计算公式如下：

D_x(x)＝I(x¹)-I(x⁵)，

D_y(x)＝I(x³)-I(x⁷)，

D_x'(x)＝I(x²)-I(x⁶)，

D_y'(x)＝I(x⁴)-I(x⁸)，

其中，I(xⁱ)是像素点xⁱ的灰度值，i＝1,2,...,8，

D_x(x)是像素点x¹与像素点x⁵的灰度梯度，x⁵是x¹的最大像素间隔像素点，

D_y(x)是像素点x³与像素点x⁷的灰度梯度，x⁷是x³的最大像素间隔像素点，

D'_x(x)是像素点x²与像素点x⁶的灰度梯度，x⁶是x²的最大像素间隔像素点，

D'_y(x)是像素点x⁴与像素点x⁸的灰度梯度，x⁸是x⁴的最大像素间隔像素点。

5.根据权利要求1或4所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b）所述的求出每一个局部坐标系中每个两两正交梯度之间的幅值m(x)和方向θ(x)，按如下公式进行：

其中，m₁(x)和θ₁(x)是由像素点x¹与像素点x⁵的灰度梯度D_x(x)和像素点x³与像素点x⁷的灰度梯度D_y(x)计算得到的幅值和方向，且D_x(x)与D_y(x)正交；m₂(x)和θ₂(x)是由像素点x²与像素点x⁶的灰度梯度D'_x(x)和像素点x⁴与像素点x⁸的灰度梯度D'_y(x)计算得到的幅值和方向，且D'_x(x)与D'_y(x)正交。

6.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中所述步骤4c）中用梯度直方图统计方法将每个灰度梯度的幅值和方向(m(x),θ(x))映射至一个d维的向量P_l＝(f₁,f₂,...,f_v,...,f_d)，按如下步骤进行：

4c1）将0～2π的梯度直方图分成d等分，得到d个方向块，每个方向块的大小为：dir_j＝(2π/d)*(j-1)，j＝1,2,...,d；

4c2）将每个灰度梯度的方向θ(x)线性分配到与它相邻方向块上，计算向量P_l中每一维f_v的值：

其中，α(θ(x),dir_j)是指θ(x)到第j个方向块的方向距离，即α(θ(x),dir_j)＝|θ(x)-dir_j|。

7.根据权利要求1所述的一种基于局部坐标系的特征描述方法，其中步骤（8）所述的将灰度图像I₁中的每个特征点的特征描述符与灰度图像灰度I₂中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，按如下步骤进行：

7a）计算灰度图像I₁中一个特征点的特征描述符和灰度图像I₂中每个特征点的特征描述符

之间的欧式距离D，找出它们中的最小欧氏距离，并记录得到这个最小欧式距离的两个特征点；

7b）对最小欧式距离进行判断：若最小欧式距离小于阈值th＝0.8，则这两个特征点匹配，反之图像I₁中的这个特征点在图像I₂中没有匹配的特征点；

7c）重复步骤7a）和7b)，遍历图像I₁中的每个特征点的特征描述符，得到图像I₁中的每个特征点与图像I₂中的特征点的匹配情况，输出灰度图像I₁与灰度图像I₂匹配的特征点对。

Images