CN103870846B - 一种图像表示方法及其在图像匹配、识别中的应用 - Google Patents

Abstract

本发明提供了一种基于相位奇点的图像表示方法，包括：对图像信息进行二维复数滤波处理，生成滤波响应图像；检测图像相位奇点；精确定位相位奇点；生成相位奇点的局部描述子作为图像特征。本发明还提供了利用上述图像表示进行图像匹配和识别的方法。本发明的图像表示方法有效的利用了相位奇点的信息，开发新的图像表示方法，丰富了图像特征，提高了图像匹配点的数量与匹配的正确率，开发了基于相位奇点包表示的图像分类方法。

Description

一种图像表示方法及其在图像匹配、识别中的应用

技术领域

本发明涉及图像处理技术，尤其涉及一种图像表示的方法，以及用所述的图像表示进行图像匹配和识别的方法。

背景技术

对图像的信息进行快速准确的描述一直都是图像匹配和图像识别技术中研究的重难点。现有技术中图像特征的提取方法大多为围绕图像的颜色、纹理、形状和空间关系展开的，这些方法虽可描述图像的特征，但是存在所得特征鲁棒性差的缺点。还有一种现有技术是基于变换域的不变特征描述方法，由于变换域的固有属性，这种现有技术在图像进行剪裁前后描述效果差别较大。

另有一种现有技术利用了尺度不变的特征(Scale-Invariant Feature)，用来进行图像的匹配和识别，提出了一种基于尺度空间的、对图像缩放、旋转变换保持不变形的图像局部特征描述算子，即为尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算子，广泛应用于物体识别、机器人地图感知与导航、影响追踪和动物比对等领域，具有鲁棒性好，特征点稳定，图像经过剪裁后仍然有较高的识别率等特点。在光学领域，相位奇点(phase singularity)是指光场中那些相位不确定的地方，那里的光波振幅为零，强度显示出暗点。围绕相位奇点，光束呈现出螺旋的波前特性。由于相位奇点的这些特性，使其在图像特征提取上具有潜在的重要应用价值。

发明内容

为解决上述技术问题，本发明将相位奇点引入SIFT图像表示方法，提供了一种基于相位奇点的图像表示方法，包括：

对图像信息进行二维复数滤波处理，生成滤波响应图像；

检测图像相位奇点；

精确定位相位奇点；

生成相位奇点的局部描述子作为图像特征。

所述的二维复数滤波器选自Laguerre-Gaussian复滤波器，steerable滤波器，Gabor滤波器，Hilbert滤波器或Hermite滤波器等的一种。

优选地，所述的检测图像相位奇点为寻找滤波响应图像在x和y方向上的偏导数均为0的点。

优选地，所述的精确定位相位奇点为：

(1)对滤波响应图像E(X)作Taylor展开：

(2)对步骤(1)中的Taylor展开式求一阶导数，并令求得的一阶导数为0，得到相位奇点点坐标：

优选地，所述的精确定位相位奇点还包括去除低对比度的特征点以及不稳定的边缘响应点。

本发明还提供了一种利用上述图像表示进行图像匹配的方法，包括：

对第一图像和第二图像信息进行二维复数滤波处理，生成滤波响应第一图像和滤波响应第二图像；

检测第一图像和第二图像的相位奇点；

精确定位第一图像和第二图像的相位奇点；

生成第一图像和第二图像相位奇点的局部描述子作为第一图像特征和第二图像特征；

根据第一图像和第二图像中相位奇点的局部描述子差异最小化和相位奇点的空间关系定义匹配目标函数；

确定第一图像和第二图像中相位奇点的匹配关系。

优选地，所述的相位奇点的空间关系，即第一图像和第二图像对应相位奇点间的几何结构差异最小化。所述的相位奇点间的几何结构差异最小化即为第一图像和第二图像相位奇点的欧氏距离。

优选地，所述的匹配目标函数为

其中，d_i为第一图像相位奇点局部描述子，d’_M(i)为第二图像相位奇点局部描述子，P_i为第一图像的相位奇点，P’_M(i)为第二图像的相位奇点，M为匹配关系，S为第一图像中相位奇点的集合，B为图像间对应点坐标间的变换矩阵，D为两点间的欧式距离。

本发明另外提供了一种利用上述图像表示进行图像识别的方法，包括：

对待识别图像进行二维复数滤波处理，生成滤波响应待识别图像；

检测待识别图像的相位奇点；

精确定位待识别图像的相位奇点；

生成待识别图像相位奇点的局部描述子作为待识别图像特征；

根据相位奇点附近hessian矩阵的行列式的值决定相位奇点的正负特性，再根据相位奇点的正负特征对所有的局部描述子进行聚类，获得正负两个词袋；

根据图像中各个特征向量在正负词袋中出现的次数绘制直方图，将直方图作为图像的相位奇点包表示；

以图像的相位奇点包表示作为分类器输入，根据样本的类别属性，用SVM分类器进行不同类型样本的分类器训练，得到不同类型图像的分类器；

用不同类型的分类器对待测图像进行检测，对比不同分类器的检测结果(即分类器输出分数)，选取最大值作为图像识别结果。

优选地，所述的SVM分类器进行不同类型样本的分类器训练包括：

样本创建；

将样本中所有的图片进行相位奇点的检测和定位；

对提取的所有的相位奇点生成描述子；

对相位奇点描述子进行量化，获得图像的直方图表示作为特征向量；

选择核函数进行不同样本的关系描述；

根据选定的核函数对样本的所有特征向量进行计算，构造一个使样本可分的特征空间；

优选地，所述的选择核函数为选择模型用来描述不同样本之间的关系，得出一个样本类型的描述目标图像模板的过程。

本发明的有益效果在于：第一，本发明的图像表示方法有效的利用了相位奇点的信息，开发新的图像表示方法，丰富了图像特征，从而提高了图像匹配点的数量与匹配的正确率；第二，图像匹配方法考虑了待匹配的第一图像和第二图像相位奇点的空间关系，并把这种关系使用到了相位奇点的匹配中，提高了匹配正确率；第三，图像识别方法提出了相位奇点正负属性与空间分布的改进词袋模型，提高了图像的识别和分类正确率。

附图说明

图1是本发明实施例1的基于相位奇点的图像表示方法的流程图。

图2是本发明实施例1中生成相位奇点局部描述子的示意图。

图3是本发明实施例2的图像匹配示意图。

图4是本发明实施例3的图像识别方法与现有技术SIFT图像识别的效果比较图。

具体实施方式

本申请实施例提供了一种基于相位奇点的图像表示方法，以及利用所述的图像表示进行图像匹配和图像识别的方法。

为了使本领域的技术人员更好的理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

实施例1：基于相位奇点的图像表示方法

如图1所示，本申请图像表示方法的流程如下：

S1-1读取图像信息

本步骤中，通过读取图像信息，得到二维图像方程I(x，y)；

S1-2二维复数滤波处理

将二维图像方程I(x，y)与二维复数滤波器T(x，y)＝T_r(x，y)+iT_l(x，y)进行卷积得到复数图像：

其中，*为卷积计算符号，(x，y)表示图像像素点的位置。

本实施例中使用的二维复数滤波器为Laguerre-Gaussian(LG)复滤波器：

Tr(x，y)＝Re{LG(x，y，σ)}＝G_x(x，y，σ)

Ti(x，y)＝Im{LG(x，y，σ)}＝G_y(x，y，σ)

式中σ是尺度参数因子，选择不同的σ可以构建不同尺度的二维复数滤波器，所得的复数图像方程为：

二维复数滤波器还可选用方向滤波器，Gabor滤波器，Hilbert滤波器及Hermite滤波器等。

S1-3相位奇点检测

令E(x，y)＝I(x，y)*G(x，y，σ)，根据卷积运算的性质可以得到：

E_x(x，y)＝I(x，y)*G_x(x，y，σ)；

E_y(x，y)＝I(x，y)*G_y(x，y，σ)；

因此，复数图像方程可以变形为

根据相位奇点的性质，相位奇点满足即为E_x(x，y，σ)＝0；E_y(x，y，σ)＝0

采用表示相位奇点集合。

S1-4相位奇点定位

相位奇点满足即为E_x(x，y，σ)＝0；E_y(x，y，σ)＝0，

根据定义E(x，y，σ)＝I(x，y)*G(x，y，σ)为高斯尺度空间函数，令X＝[x，y，σ]，对E(X)作Taylor展开：

对(1)式求一阶导数，并令求得的一阶导数为0，可以得到相位奇点点坐标：

进一步的，在已经检测定位的相位奇点中，需要去除低对比度的点，将公式(2)代入公式(1)得到：

去除小于阈值的相位奇点。

进一步的，在已经定位的相位奇点中，需要去除不稳定的边缘响应点，计算每个相位奇点对应的Hessian矩阵的行列式H，

E的主曲率与H的特征值成正比，令α为最大特征值，β为最小特征值，有：

Tr(H)＝E_xx+E_yy＝α+β

Det(H)＝E_xxE_yy-(E_xy)²＝αβ

令α＝γβ，则有

(4)式的值在γ＝1时取得最小值，(4)式的值随着γ的增大而增大，因此，为了满足E的主曲率是小于阈值γ，只需满足

S1-5相位奇点局部描述子的生成

S1-5-1相位奇点方向分配

利用相位奇点邻域像素的梯度方向分布特征为相位奇点指定方向参数，相位奇点(x，y)梯度模值m(x，y)和方向θ(x，y)的公式分别为：

用直方图统计相位奇点邻域像素的梯度方向，直方图的峰值为相位奇点邻域梯度的主方向，即作为相位奇点的方向；

S1-5-2相位奇点描述子生成

将坐标轴旋转到相位奇点的方向，以相位奇点为中心取8×8的窗口(本实施例中以8×8为例，但不限于此)，如图2所示，中央黑点为相位奇点，每个小格代表相位奇点邻域所在尺度空间的一个像素，利用公式(6)和(7)计算每个像素(i，j)的梯度模值m(i，j)与梯度方向θ(i，j)，对每个像素进行高斯加权，每个像素点的高斯加权值为G(σ，i，j)，如图2a中圆圈代表高斯加权的范围，每个像素对应一个向量，长度为G(σ，i，j)×m(i，j)，方向为θ(i，j)。然后在4×4的小块上计算8个方向的梯度方向直方图，将每个梯度方向进行累加，得到图2b形成的描述点，每个相位奇点共有2×2共4个描述点，每个描述点有8个方向向量信息，共有32个数据用于描述相位奇点，即形成了32维的特征向量，所述的特征向量即为描述子。

在计算过程中，为了增强匹配点的稳定性，可用16个描述点来对相位奇点进行描述，即最终形成128维的特征向量。

实施例2：基于相位奇点的图像匹配

S2-1读取图像I和图像I’信息

分别读取图像I和图像I’的二维图像方程I(x，y)和I’(x，y)；

S2-2对图像I和图像I’进行二维复数滤波处理

将I(x，y)和I’(x，y)根据实施例1中S1-2的方法分别进行复数滤波处理，得到：

图像I的复数图像方程为

图像I’的复数图像方程为

；

S2-3图像I与图像I’相位奇点检测

根据实施例1中S1-3相位奇点检测的方法对图像I和图像I’进行相位奇点检测，图像I中检测出的相位奇点的集合为{P_i}，图像I’中检测出的相位奇点的集合为{P_i’}；

S2-4图像I与图像I’相位奇点定位

根据实施例1中S1-4相位奇点定位的方法对图像I和图像I’中的相位奇点进行定位；

S2-5图像I与图像I’相位奇点局部描述子的生成

根据实施例1中S1-5相位奇点局部描述子的生成方法生成图像I的相位奇点局部描述子{d_i}，图像I’的相位奇点局部描述子{d_i’}；

S2-6确定图像I和图像I’相位奇点匹配关系

首先可以通过在图像I和图像I’中寻找相位奇点的差异最小的局部描述子来寻找匹配关系，{P_i}与{P_i’}中的匹配点可由

决定，其中|| ||表示向量的二阶范数；其次，考虑图像I和图像I’中相位奇点的空间关系，引入待匹配相位奇点之间的欧氏距离，将匹配目标函数修改为：

其中，d_i为第一图像相位奇点局部描述子，d’_M(i)为第二图像相位奇点局部描述子，P_i为第一图像的相位奇点，P’_M(i)为第二图像的相位奇点，M为匹配关系，S为第一图像中相位奇点的集合，B为图像间对应点坐标间的变换矩阵，D为两点间的欧式距离。对于点P_i变换后点的坐标用B P_i表示，用S1表示图像I中可匹配点的集合，用S2表示图像I’中可匹配点的集合，M为匹配关系函数(j＝M(i))。

在优化上述函数的时候，匹配集合X越大越好，以获取更多匹配点，可以通过迭代优化匹配关系M和变化矩阵B来进行求解，每步迭代后，通过设定一个阈值K重新确定X集合中可匹配的点数，具体步骤如下：

S2-6-0设定阈值K；

S2-6-1初始的X为图像I和图像I’相位奇点间欧式距离最小的点的集合，由初始的X可得到初始的B；

S2-6-2将S2-6-1或S2-6-3中所得的B代入到匹配目标函数(8)中，使式(8)值最小的图像I中的相位奇点的集合为X，当目标函数(式(8))的值小于阈值K时执行S2-6-4，否者执行S2-6-3；

S2-6-3通过S2-6-2所得集合X重新计算B，执行S2-6-2；

S2-6-4得到最终的匹配集合X，结束。

通过计算图像I与图像I’相位奇点空间分布差异及其图像I与图像I’相位奇点局部描述子差异两种因素最终确定图像I和图像I’相位奇点的匹配关系，图像I中可匹配的相位奇点的集合为X₁，图像I’中可匹配的相位奇点的集合为X₂，其中，P_i∈X₁，P’_M(i)∈X₂。

如图3所示，为本实施例在图像被缩放和旋转后的匹配情况。

实施例3：基于相位奇点的图像识别

S3-1根据样本的类别属性，用SVM分类器进行不同类型样本的分类器训练，得到不同类型图像的分类器

S3-1-1样本的创建

训练样本分为正例样本和负例样本，其中正例样本是待检测的目标样本，如训练汽车图像的分类器，则正例样本为汽车；反例样本是指正例样本图片以外的其它任意图片。

S3-1-2训练分类器

根据实施例1中的方法将样本中所有的图片进行相位奇点的检测和定位；

根据实施例1中的方法对提取的所有的相位奇点生成描述子；

核函数的选定：

选择核函数，用来描述样本中各个特征向量之间的关系，本实施例中采用的是线性的kernel函数，K(x₁，x₂)＝x₁*x₂ ^T(9)

比较测试：

比较测试是运用SVM分类器训练分类器的方法的最后一步，是说通过训练得到训练模型参数之后，就可根据模型参数对一个待测图像进行计算，判断其归类。

比较测试首先是对待测图像进行预处理，然后提取特征，将这些特征参数与训练结果的模型参数进行比对：

σ(x，w)＝w^Tz+b

得到对应的类别标志：

S3-2对待识别图像进行二维复数滤波处理，生成滤波响应待识别图像

S3-2-1读取图像I信息

读取图像I的二维图像方程I(x，y)；

S3-2-2对图像I进行二维复数滤波处理

将I(x，y)根据实施例1中S1-2的方法进行复数滤波处理，得到

图像I的复数图像方程为

S3-3检测待识别图像的相位奇点

根据实施例1中S1-3相位奇点检测的方法对图像I进行相位奇点检测，图像I中检测出的相位奇点的集合为{Pi}。

S3-4精确定位待识别图像的相位奇点

根据实施例1中S1-4相位奇点定位的方法对图像I中的相位奇点进行定位。

S3-5生成待识别图像相位奇点的局部描述子作为待识别图像特征；

根据实施例1中S1-5相位奇点局部描述子的生成方法生成图像I的相位奇点局部描述子{di}。

S3-6将待识别图像的局部描述子进行聚类，形成正负两个词袋

对训练集中所有图像的相位奇点描述子按正负分别聚类，形成正负两个词袋，根据各个特征在正负词袋中出现的次数计算统计待测图像I相位奇点描述子正负词袋直方图表示。

由于图像I的相位奇点处偏导数E_x(x，y，σ)＝0和E_y(x，y，σ)＝0，而且，相位奇点可以看成复数滤波图像E(x，y)中的极值点或鞍点，计算E(x，y)的Hessian矩阵H(x，y)，当|H(x，y)|＞0时为极值点，即为正相位奇点；当|H(x，y)|＜0时为负极值点，即为负相位奇点。

为识别和分类图像，从待测图像I检测相位奇点，并利用正负词袋对图像中的相位奇点进行量化，通过统计各单词在图像I中出现的次数，得到图像的直方图表示。

S3-7用各个特征向量在正负词袋中出现的次数绘制直方图，得到直方图表示

通过计算待测图像I的正词袋和负词袋中各个特征向量出现的次数，计算统计图像I的正负直方图表示。

为提高局部描述的能力，在计算统计直方图表示时，将图像I划分成许多子区域，得到每个子区域里各自的统计直方图，然后将这些子区域的直方图进行组合来获取图像I的最终直方图表示。

S3-8用步骤S3-1中得到的不同类型的分类器对待测图像进行检测，得到图像识别结果

利用支持向量机(SVM)对每类图像训练出一个分类器，待测图像输出值最大SVM的那一类别即图像的类别。

在直方图计算时，可使用传统词袋模型的方法，即将检测出的相位奇点归结为一类单词；也可使用软分配方法，利用相位奇点与词袋中多个单词的相似性来计算。

利用本实施例的图像识别方法以及传统的SIFT方法对摩托车，自行车，人脸，汽车图像进行识别，结果如图4所示，本发明的图像识别方法具有更高的识别率。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于相位奇点的图像表示方法，包括：

对图像信息进行二维复数滤波处理，生成滤波响应图像；

检测图像相位奇点；

精确定位相位奇点；

生成相位奇点的局部描述子作为图像特征；生成相位奇点的局部描述子包括：相位奇点方向分配和相位奇点描述子生成；所述相位奇点方向分配包括：利用相位奇点邻域像素的梯度方向分布特征为相位奇点指定方向参数，用直方图统计相位奇点邻域像素的梯度方向，直方图的峰值为相位奇点邻域梯度的主方向，即作为相位奇点的方向；所述相位奇点描述子生成包括：将坐标轴旋转到相位奇点的方向，以相位奇点为中心取n×n的窗口。

2.根据权利要求1所述的基于相位奇点的图像表示方法，其特征在于，所述的二维复数滤波器选自Laguerre-Gaussian复滤波器，steerable滤波器，Gabor滤波器，Hilbert滤波器或Hermite滤波器的一种。

3.根据权利要求1所述的基于相位奇点的图像表示方法，其特征在于，所述的检测图像相位奇点为寻找滤波响应图像在x和y方向上的偏导数均为0的点。

4.根据权利要求1所述的基于相位奇点的图像表示方法，其特征在于，所述的精确定位相位奇点为：

(1)对滤波响应图像E(X)作Taylor二阶展开：

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>E</mi> <mo>+</mo> <msup> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>X</mi> </mrow> </mfrac> <mi>T</mi> </msup> <mi>X</mi> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mi>X</mi> <mi>T</mi> </msup> <mfrac> <mrow> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mi>E</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msup> <mi>X</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mi>X</mi> <mo>;</mo> </mrow>

(2)对步骤(1)中的Taylor展开式求一阶导数，并令求得的一阶导数为0，得到相位奇点点坐标：

<mrow> <mover> <mi>X</mi> <mo>^</mo> </mover> <mo>=</mo> <mo>-</mo> <msup> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>X</mi> </mrow> </mfrac> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mi>E</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msup> <mi>X</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>.</mo> </mrow>

5.根据权利要求4所述的基于相位奇点的图像表示方法，其特征在于，所述的精确定位相位奇点还包括去除低对比度的特征点以及不稳定的边缘响应点。

6.一种利用权利要求1的图像表示进行图像匹配的方法，包括：

对第一图像和第二图像信息进行二维复数滤波处理，生成滤波响应第一图像和滤波响应第二图像；

检测第一图像和第二图像的相位奇点；

精确定位第一图像和第二图像的相位奇点；

生成第一图像和第二图像相位奇点的局部描述子作为第一图像特征和第二图像特征；

根据第一图像和第二图像中相位奇点的局部描述子差异最小化和相位奇点的空间关系定义匹配目标函数；

确定第一图像和第二图像中相位奇点的匹配关系；所述的相位奇点的空间关系为第一图像和第二图像对应相位奇点间的几何结构差异的最小化；所述的匹配目标函数为

其中，d_i为第一图像相位奇点局部描述子，d_M(i)′为第二图像相位奇点局部描述子，P_i为第一图像的相位奇点，P_M(i)′为第二图像的相位奇点，M为匹配关系，S为第一图像中相位奇点的集合，B为图像间对应点坐标间的变换矩阵，D为两点间的欧式距离。

7.一种利用权利要求1的图像表示进行图像识别的方法，包括：

对待识别图像进行二维复数滤波处理，生成滤波响应待识别图像；

检测待识别图像的相位奇点；

精确定位待识别图像的相位奇点；

生成待识别图像相位奇点的局部描述子作为待识别图像特征；

根据相位奇点附近hessian矩阵的行列式的值决定相位奇点的正负特性，再根据相位奇点的正负特征对所有的局部描述子进行聚类，获得正负两个词袋；

根据图像中各个特征向量在正负词袋中出现的次数绘制直方图，将直方图作为图像的相位奇点包表示；

以图像的相位奇点包表示作为分类器输入，根据样本的类别属性，用SVM分类器进行不同类型样本的分类器训练，得到不同类型图像的分类器；用不同类型的分类器对待测图像进行检测，对比不同分类器的检测结果(即分类器输出分数)，选取最大值作为图像识别结果。

8.根据权利要求7所述的图像识别的方法，其特征在于，所述的SVM分类器进行不同类型样本的分类器训练包括：

样本创建；

将样本中所有的图片进行相位奇点的检测和定位；

对提取的所有的相位奇点生成描述子；

对相位奇点描述子进行量化，获得图像的直方图表示作为特征向量；

选择核函数进行不同样本的关系描述；

根据选定的核函数对样本的所有特征向量进行计算，构造一个使样本可分的特征空间。

9.根据权利要求8所述的图像识别的方法，其特征在于，所述的选择核函数为选择模型用来描述不同样本的关系，得出一个样本类型的描述目标图像模板的过程。