CN105654421B - 基于变换不变低秩纹理的投影变换图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于变换不变低秩纹理的投影变换图像匹配方法，主要解决现有技术无法完成投影变换图像匹配的缺陷。其方案为：1、输入含投影变换的两幅图像并分别进行低秩纹理区域的自动检测和提取；2、对检测得到的低秩纹理区域进行TILT变换得到各自的局部变换矩阵，并利用局部变换矩阵校正输入的两幅图像；3、对两幅校正得到的图像进行特征点检测，对特征点建立尺度不变特征描述符以及几何形状描述符；4、联合尺度不变特征描述符和几何形状描述符建立新的特征描述符，对新的描述符采用欧式距离进行相似性度量，完成图像匹配。本发明能提取出具有较高重复率和正确匹配率的特征点，提高了计算效率，可用于图像融合，图像拼接与三维重建。

Description

基于变换不变低秩纹理的投影变换图像匹配方法

技术领域

本发明属于图像处理技术领域，具体涉及一种投影变换图像匹配方法，可应用于目标识别与跟踪，图像拼接与三维重建领域。

背景技术

在目标识别，图像拼接与三维重建等领域，需要先对同一场景的多幅视图进行匹配处理。一般情况下，可以采用基于特征的图像匹配方法进行图像匹配，这主要是考虑到一些图像特征对于图像的尺度、旋转以及仿射变换具有不变性，并且只用特征信息寻找图像间的几何关系具有计算效率高的优点。但是，当两幅图像间存在较大程度的投影失真时，现有技术往往很难提取到具有投影不变性的特征，从而导致匹配精度不够甚至无法实现匹配的问题。

目前，基于特征的图像匹配方法中常用的特征信息有尺度不变特征SIFT，最大稳定极值区域MSER特征和完全仿射不变特征ASIFT，例如Lowe D，“Distinctive imagefeatures from scale-invariant keypoints.”International Journal of ComputerVision,vol.60,no.2,pp.91—110.Matas J,Chum O,et al.，“Robust wide-baselinestereo from maximally stable extremal regions.”Image and Vision Computing,vol.22,no.10,pp.761-767.及Morel J M,Yu G，“ASIFT:A new framework for fullyaffine invariant image comparison.”SIAM Journal on Imaging Sciences,vol.2,no.2,pp.438-469.这三篇文献公开的技术均为特征提取及匹配方法。

基于尺度不变特征SIFT的图像匹配方法，能够匹配存在尺度变换的图像，并且获得较好的匹配效果。但是，当图像间存在较大的投影变换时，基于尺度不变特征SIFT的特征检测方法往往很少能够获得数目足够且正确率高的匹配点对，因此基于尺度不变特征SIFT的图像匹配方法不能匹配具有投影变换的图像。

基于最大稳定极值区域MSER的图像匹配方法，采用最大稳定极值区域MSER的质心作为特征点进行匹配，由于最大稳定极值区域MSER具有较高的仿射变换不变性，因此能够实现存在较大仿射变换的图像配准，但是对于存在投影失真的图像仍不能获得准确的匹配对，并且由于成像传感器及成像环境的不同，采用的质心往往不能精确反映特征的位置，从而导致配准精度不高。

完全仿射不变特征ASIFT算法，首先对原图像进行人为模拟的仿射空间采样，获得多幅视图；然后利用尺度不变特征SIFT方法对获得的多幅视图进行特征提取及特征匹配，这样能够获得比尺度不变特征SIFT方法更多的匹配点数，因此基于完全仿射不变特征ASIFT特征的图像配准方法可以配准存在较大仿射变换的图像。但该方法由于将投影变换的图像近似看作仿射变换并对图像在仿射空间上进行模拟，因此其仅适应于发生较小程度的投影失真图像匹配,对于存在较大程度投影失真的图像，仍然不能建立准确的匹配点对。

发明内容

本发明的目的在于针对上述已有技术无法完成投影变换图像匹配的缺点，提出一种基于变换不变低秩纹理的投影变换图像匹配方法，该方法通过TILT变换消除输入图像的投影失真，将投影变换图像的匹配问题转换为相似变换的图像匹配问题，以获得更加准确的匹配点对。

本发明的技术方案是：通过Canny边缘检测和Hough变换线检测实现对输入图像低秩纹理区域的自动选取；采用变换不变低秩纹理对低秩纹理区域进行校正并得到局部投影变换矩阵；使用局部投影变换矩阵对整幅输入图像进行投影变换，实现对整幅输入图像的校正，将投影变换图像匹配问题降级为相似变换图像匹配问题；利用基于特征的图像匹配方法完成对校正图像的匹配。

其实现步骤包括如下：

(1)分别输入存在投影变换的两幅图像A和B，其中A为参考图像，B为待匹配图像；

(2)分别对输入的两幅图像进行低秩纹理区域检测，得到参考图像A中的低秩纹理区域U_A和待匹配图像B中的低秩纹理区域U_B；

(3)分别对上述低秩纹理区域U_A和U_B进行变换不变低秩纹理TILT变换，得到各参考图像A的局部变换矩阵H_A和待匹配图像B的局部变换矩阵H_B；

(4)分别使用局部变换矩阵H_A和H_B对两幅输入图像A和B进行投影变换，得到校正后的参考图像A′和校正后的待匹配图像B′：

A′＝H_AA

B′＝H_BB；

(5)分别对上述两个校正后图像A′和图像B′进行高斯差分DoG极值点检测，得到校正后参考图像的特征点集Ω_A′以及校正后待匹配图像的特征点集Ω_B′；分别对Ω_A′以及Ω_B′中的每一个特征点建立20维的几何形状描述符G_A′以及G_B′；

(6)分别对上述两个特征点集Ω_A′及Ω_B′中的每一个特征点进行基于尺度不变特征变换描述，得到128维的局部特征描述符L_A′以及L_B′；

(7)利用步骤(6)中建立的128维局部特征描述符L_A′、L_B′以及步骤(5)中建立的20维的几何形状描述符G_A′、G_B′，分别建立校正后参考图像的特征点集Ω_A′每一个特征点的特征描述符D_A′和校正后待匹配图像的特征点集Ω_B′每一个特征点的特征描述符D_B′：

其中0≤w≤1是局部特征与几何形状特征之间的权重因子。

(8)对上述得到的新型特征描述符D_A′和D_B′进行欧式距离度量，以最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对，完成存在投影变换的图像之间的匹配。

本发明与现有的技术相比具有以下优点：

第一，本发明由于对输入的参考图像和待匹配图像进行了基于变换不变低秩纹理的校正，并在获得的校正图像上进行基于特征的图像匹配，改善了现有技术对存在投影变换的图像进行匹配过程中，难以获得较高特征点重复率和正确匹配率的缺陷，使得本发明对存在投影变换的图像进行匹配时，具有更高的特征点重复率和正确匹配率。

第二，本发明由于采用了Canny边缘检测与Hough变换线检测，改善了现有技术在利用变换不变低秩纹理TILT对图像进行校准时需要手动选取低秩纹理区域的缺陷，使得本发明与现有技术相比具有更高的效率。

第三，本发明由于在特征点描述的过程中引入了几何形状描述符，改善了现有技术在利用局部特征描述符对包含大量重复性结构的图像进行匹配时容易产生误匹配点对的缺陷，使得本发明在上述情况下拥有更高的正确匹配率。

附图说明

图1为本发明的实现流程图；

图2为用本发明对图像的矩形低秩纹理区域进行检测的仿真效果图；

图3为用本发明对存在投影变换图像的匹配仿真效果图。

具体的实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的实现步骤如下：

步骤1，输入参考图像和待匹配图像。

分别输入从两个不同视角拍摄的存在投影变换的两幅图像，一幅作为参考图像A，另一幅作为待匹配图像B。

步骤2，分别对两幅输入图像分别进行低秩纹理区域检测，得到参考图像A中的低秩纹理区域U_A以及待匹配图像B中的低秩纹理区域U_B。

2a)分别对参考图像A和待匹配图像B旋转这三个不同的角度，得到三组不同旋转角度下的图像

2b)对旋转后的参考图像进行Canny边缘检测和Hough变换线检测，得到不同旋转角度下图像中的直线检测结果：n_k表示图像中检测到的直线的数目；对旋转后的待匹配图像进行Canny边缘检测和Hough变换线检测，得到不同旋转角度下图像中的直线检测结果：n′_k表示图像中检测到的直线的数目；

2c)将上述在旋转后的参考图像中检测得到的直线旋转θ′_k角度，并将旋转得到的直线在参考图像A中进行显示，得到参考图像A中的直线群l^A；将上述在旋转后的待匹配图像中检测得到的直线旋转θ′_k角度，并将旋转得到的直线在待匹配图像B中进行显示，得到待匹配图像B中的直线群l^B；

2d)对上述步骤得到的参考图像A中的直线群l^A的端点进行坐标表示，得到不同直线的端点坐标值{P_i1＝(x_i1,y_i1)^T，P_i2＝(x_i2,y_i2)^T}，其中P_i1＝(x_i1,y_i1)^T表示直线的起点坐标，P_i2＝(x_i2,y_i2)^T表示直线的终点坐标；

2e)获得所有坐标值中横坐标的最小值x₁以及纵坐标的最小值y₁：

其中，(x_i,1,y_i,1)以及(x_i,2,y_i,2)分别是图像中直线的两个端点坐标；

2f)获得所有坐标值中横坐标的最大值x₂以及纵坐标的最大值y₂：

2g)将步骤2e)中得到的(x₁,y₁)以及步骤2f)中得到的(x₂,y₂)分别作为矩形的左上角顶点V₁以及右下角顶点V₂，利用矩形的两个顶点(V₁、V₂)确立拟合矩形区域，此矩形区域即为参考图像A中的低秩纹理区域U_A；

2h)对步骤2c)得到的待匹配图像B中的直线群l^B按照与对参考图像A中的直线群l^A相同的步骤(2d-2g)，得到待匹配图像B中的低秩纹理区域U_B。

步骤3，使用变换不变低秩纹理TILT变换计算局部变换矩阵。

分别对上述低秩纹理区域U_A和U_B进行变换不变低秩纹理TILT变换，得到各参考图像A的局部变换矩阵H_A和待匹配图像B的局部变换矩阵H_B。

所述变换不变低秩纹理TILT变换来自Zhang,Z.,Liang,X.,Ganesh,A.,&Ma,Y.(2011).TILT:transform invariant low-rank textures.In Computer Vision–ACCV2010(pp.314-328).Springer Berlin Heidelberg，变换不变低秩纹理TILT变换主要步骤如下：

3a)对Iοτ进行归一化并计算雅可比矩阵:

其中，I是输入的低秩纹理区域，τ是初始变换矩阵，是关于I的雅可比矩阵，||·||_F表示矩阵的F范数，“ο”是卷积运算符。

3b)利用步骤3a)得到的雅可比矩阵求解以下凸规划：

其中，I0是恢复得到的低秩纹理，E是输入的低秩纹理区域，I是稀疏干扰部分，Δτ是变换矩阵迭代差值，γ是权重因子，||·||_*表示矩阵核范数，||·||₁表示矩阵1范数；

3c)利用步骤3b)中得到的变换矩阵迭代差值Δτ对变换矩阵τ进行迭代计算，即令τ＝τ+Δτ，将得到的τ返回给步骤3b)的凸规划，迭代循环直至核范数||I⁰||_*不再变化为止，此时的τ即为本发明中的局部变换矩阵。

步骤4，对两幅输入图像进行投影变换校正。

分别使用局部变换矩阵H_A和H_B对两幅输入图像A和B进行投影变换，得到校正后的参考图像A′和校正后的待匹配图像B′：

A′＝H_AA

B′＝H_BB。

步骤5，对两幅校正后图像进行高斯差分DoG极值点检测。

分别对上述两幅校正后参考图像A′和校正后待匹配图像B′进行高斯差分DoG极值点检测，得到校正后参考图像的特征点集Ω_A′以及校正后待匹配图像的特征点集Ω_B′。

步骤6，分别对上述两个特征点集Ω_A′和Ω_B′中每一特征点建立SIFT描述符和几何形状描述符。

6a)分别对上述检测到的校正后参考图像A′中的特征点集Ω_A′，以及校正后待匹配图像B′中的特征点集Ω_B′中的每一个特征点进行基于尺度不变特征变换SIFT的特征描述，得到128维的局部特征描述符L_A′以及L_B′；

6b)分别对特征点集Ω_A′以及Ω_B′中的每一个特征点进行几何形状描述，建立20维的几何形状描述符G_A′以及G_B′：

6b1)以检测得到的高斯差分DoG极值点为中心，在输入图像中构建5个不同尺寸的同心正方形区域{S_j|j＝1,2...5}，每个正方形区域的边长大小分别为：

其中ν是图像尺寸中长和宽的最大值，μ_j是对应的不同大小的正方形边长；

6b2)将上述得到的每个正方形区域等分为四个子块区域{Q_j,i|j＝1,2,...,5；i＝1,2,3,4}，分割后的四个子块区域仍为正方形，且边长均为

6b3)计算每一个子块区域Q_j,i内所有像素点的最大曲率ξ(p)：

ξ(p)＝max(λ₁(p),λ₂(p))，

其中p表示像素点的位置，λ₁(p)以及λ₂(p)是Hessian矩阵H_e(p)的两个特征值，H_e(p)计算如下：

式中I_xx(p)表示图像I中的像素点p在x方向的二阶偏导，I_yy(p)表示图像I中的像素点p在y方向的二阶偏导，I_xy(p)表示相应的二阶混合偏导；

6b4)根据6b3)的结果计算每一个子块区域Q_j,i内所有像素点的最大曲率之和：

6b5)根据6b4)的结果对检测得到的高斯差分DoG极值点建立20维的几何形状描述符G₂₀：

步骤7，构建特征点的新型描述符。

利用步骤(6)中建立的128维局部特征描述符L_A′、L_B′以及20维的几何形状描述符G_A′、G_B′，分别建立校正后参考图像的特征点集Ω_A′中每一个特征点的特征描述符D_A′和校正后待匹配图像的特征点集Ω_B′中每一个特征点的特征描述符D_B′：

其中0≤w≤1是局部特征与几何形状特征之间的权重因子。

步骤8，特征点描述符的匹配。

对上述得到的两个新型特征描述符D_A′和D_B′进行欧式距离度量，以现有最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对，完成存在投影变换的图像之间的匹配：

8a)按照下式计算校正后参考图像的特征点集Ω_A′和校正后待匹配图像的特征点集Ω_B′中特征点描述符之间的欧式距离：

其中m表示描述符的维度，本发明中m＝158；R_i＝(r_i1,r_i2...r_im)表示校正后参考图像A′中特征点的描述符，T_i＝(t_i1,t_i2...t_im)表示校正后待匹配图像B′中特征点的描述符；d(R_i,T_i)表示描述符R_i与描述符T_i之间的欧式距离；

8b)假设特征点T_m是校正后待匹配图像B′中离校正后参考图像A′中特征点R_i最近的特征点；假设特征点T_k是校正后待匹配图像B′中离校正后参考图像A′中的特征点R_i次近的特征点，如果满足下式，则认为R_i和T_m是一对正确的匹配点对：

d(R_i,T_m)/d(R_i,T_k)<th，

反之，R_i和T_m不是一对正确的匹配点对，其中th是判决阈值，th的取值范围在0.7～0.8之间。

本发明的效果可以通过以下仿真进一步说明：

1.仿真条件：所有仿真实验都是在Windows XP操作系统下采用Matlab R2008a软件实现。

2.仿真内容：

仿真1

将本发明与现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIF这三种方法对一组人工环境下模拟的投影变换图像的匹配试验结果进行比较，结果如图2。

其中：

图2(a)为输入的参考图像；

图2(b)-(h)分别为人工模拟的不同程度投影失真下的待匹配图像；

图2(i)为用本发明方法和所述的现有三种方法，对参考图像和在不同投影失真下的待匹配图像进行匹配的匹配正确率曲线图，其中横坐标表示投影失真程度，纵坐标表示正确匹配率；

图2(j)为用本发明方法和所述的现有三种方法，对参考图像和在不同投影失真下的待匹配图像进行匹配的特征点重复率曲线图，其中横坐标表示投影失真程度，纵坐标表示特征点重复率。

从图2可以看出，相对于现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIFT，本发明方法能够获得更高的正确匹配率以及特征点重复率。

仿真2，用本发明与现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIF这三种方法对真实场景下拍摄的投影变换图像的匹配试验结果进行比较，结果如图3。其中：

图3(a)为输入的参考图像；

图3(b)为输入的待匹配图像；

图3(c)为用现有基于尺度不变特征SIFT的图像匹配方法对两幅输入图像进行匹配的结果；

图3(d)为用现有基于最大稳定极值区域MSER的图像匹配方法对两幅输入图像进行匹配的结果；

图3(e)为用现有基于完全仿射不变特征变换ASIFT的图像匹配方法对两幅输入图像进行匹配的结果；

图3(f)为用本发明对两幅输入图像进行匹配的结果。

从图3可以看出，采用现有基于尺度不变特征SIFT，基于最大稳定极值区域MSER的图像匹配方法得到的匹配结果较差，采用现有基于完全仿射不变特征ASIFT的图像匹配方法得到的匹配结果以及采用本发明方法得到的匹配结果均具有较好效果。

为了进一步比较上述四种方法的性能，给出了对上述四种方法的四种统计客观评价指标：特征点总匹配点数、正确匹配点数、正确匹配率及特征点重复率，如表2所示。

表2基于SIFT、MSER、ASIFT方法及本发明对四种客观评价指标的结果对比

算法	总匹配点数	正确匹配点数	正确匹配率	特征点重复率
					基于SIFT方法	56	48	0.86	0.1332
基于MSER方法	37	17	0.4595	0.0439
					基于ASIFT方法	561	521	0.9287	0.0183
本发明方法	87	87	1	0.1548

从表2中数据可以看出，与现有基于尺度不变特征SIFT、基于最大极值区域MSER的方法以及基于完全仿射不变特征ASIFT的方法相比，本发明不仅具有更高的正确匹配率而且具有更高的特征点重复率。

Claims (1)

1.一种基于变换不变低秩纹理的投影变换图像匹配方法，其特征是,包括：

(1)分别输入存在投影变换的两幅图像A和B，其中A为参考图像，B为待匹配图像；

(2)分别对输入的两幅图像进行低秩纹理区域检测，得到参考图像A中的低秩纹理区域U_A和待匹配图像B中的低秩纹理区域U_B：

2a)分别对参考图像A和待匹配图像B旋转这三个不同的角度，得到三组不同旋转角度下的图像

2b)对旋转后的参考图像进行Canny边缘检测和Hough变换线检测，得到不同旋转角度下图像中的直线检测结果：n_k表示图像中检测到的直线的数目；对旋转后的待匹配图像进行Canny边缘检测和Hough变换线检测，得到不同旋转角度下图像中的直线检测结果：n′_k表示图像中检测到的直线的数目；

2c)将上述在旋转后的参考图像中检测得到的直线旋转θ_k′角度，并将旋转得到的直线在参考图像A中进行显示，得到参考图像A中的直线群l^A；将上述在旋转后的待匹配图像中检测得到的直线旋转θ_k′角度，并将旋转得到的直线在待匹配图像B中进行显示，得到待匹配图像B中的直线群l^B；

2d)对上述步骤得到的参考图像A中的直线群l^A的端点进行坐标表示，得到不同直线的端点坐标值{P_i1＝(x_i1,y_i1)^T，P_i2＝(x_i2,y_i2)^T}，其中P_i1＝(x_i1,y_i1)^T表示直线的起点坐标，P_i2＝(x_i2,y_i2)^T表示直线的终点坐标；

2e)获得所有坐标值中横坐标的最小值x₁以及纵坐标的最小值y₁：

其中，(x_i,1,y_i,1)以及(x_i,2,y_i,2)分别是图像中直线的两个端点坐标；

2f)获得所有坐标值中横坐标的最大值x₂以及纵坐标的最大值y₂：

2g)将步骤2e)中得到的(x₁,y₁)以及步骤2f)中得到的(x₂,y₂)分别作为矩形的左上角顶点V₁以及右下角顶点V₂，利用矩形的两个顶点(V₁、V₂)确立拟合矩形区域，此拟合矩形区域即为参考图像A中的低秩纹理区域U_A；

2h)对步骤2c)得到的待匹配图像B中的直线群l^B按照与对参考图像A中的直线群l^A相同的步骤(2d-2g)，得到待匹配图像B中的低秩纹理区域U_B；

(3)分别对上述低秩纹理区域U_A和U_B进行变换不变低秩纹理TILT变换，得到各参考图像A的局部变换矩阵H_A和待匹配图像B的局部变换矩阵H_B；

(4)分别使用局部变换矩阵H_A和H_B对上述两幅输入图像A和B进行投影变换，得到校正后的参考图像A′和校正后的待匹配图像B′：

A′＝H_AA

B′＝H_BB；

(5)分别对上述两个校正后图像A′和图像B′进行高斯差分DoG极值点检测，得到校正后参考图像的特征点集Ω_A′以及校正后待匹配图像的特征点集Ω_B′；

(6)分别对上述两个特征点集Ω_A′及Ω_B′中的每一个特征点进行基于尺度不变特征变换描述，得到128维的局部特征描述符L_A′以及L_B′；分别对Ω_A′以及Ω_B′中的每一个特征点建立20维的几何形状描述符G_A′以及G_B′：

6a)以检测得到的高斯差分DoG极值点为中心，在输入图像中构建5个不同尺寸的同心正方形区域{S_j|j＝1,2...5}，每个正方形区域的边长大小分别为：

其中ν是图像尺寸中长和宽的最大值，μ_j是对应的不同大小的正方形边长；

6b)将上述得到的每个正方形区域等分为四个子块区域{Q_j,i|j＝1,2,...,5；i＝1,2,3,4}，分割后的四个子块区域仍为正方形，且边长均为

6c)计算每一个子块区域Q_j,i内所有像素点的最大曲率ξ(p)：

ξ(p)＝max(λ₁(p),λ₂(p))，

其中p表示像素点的位置，λ₁(p)以及λ₂(p)是Hessian矩阵H_e(p)的两个特征值，H_e(p)计算如下：

其中I_xx(p)表示图像I中的像素点p在x方向的二阶偏导，I_yy(p)表示图像I中的像素点p在y方向的二阶偏导，I_xy(p)表示相应的二阶混合偏导；

6d)计算每一个子块区域Q_j,i内所有像素点的最大曲率之和：

3e)对检测得到的高斯差分DoG极值点建立20维的几何形状描述符G₂₀：

(7)利用步骤(6)中建立的128维局部特征描述符L_A′、L_B′以及20维的几何形状描述符G_A′、G_B′，建立校正后参考图像的特征点集Ω_A′中每一个特征点的新型特征描述符D_A′，建立校正后待匹配图像的特征点集Ω_B′中每一个特征点的新型特征描述符D_B′：

其中0≤w≤1是局部特征与几何形状特征之间的权重因子；

(8)对上述得到的新型特征描述符D_A′和D_B′进行欧式距离度量，以最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对，完成存在投影变换的图像之间的匹配：

8a)按照下式计算校正后参考图像的特征点集Ω_A′和校正后待匹配图像的特征点集Ω_B′中特征点描述符之间的欧式距离：

其中m表示描述符的维度，m＝158；R_i＝(r_i1,r_i2...r_im)表示校正后参考图像A′中特征点的描述符，T_i＝(t_i1,t_i2...t_im)表示校正后待匹配图像B′中特征点的描述符；d(R_i,T_i)表示描述符R_i与描述符T_i之间的欧式距离；

8b)假设特征点T_m是校正后待匹配图像B′中，距离校正后参考图像A′中特征点R_i最近的特征点；假设特征点T_k是校正后待匹配图像B′中，距离校正后参考图像A′中的特征点R_i次近的特征点，如果满足下式，则认为R_i和T_m是一对正确的匹配点对：

d(R_i,T_m)/d(R_i,T_k)＜th，

反之，R_i和T_m不是一对正确的匹配点对，其中th是判决阈值，th的取值范围在0.7～0.8之间。