CN102592129A - 基于场景驱动的智能手机图像特征点选取方法 - Google Patents

Abstract

本发明专利公开了一种基于场景驱动的智能手机图像特征点选取方法。主要解决现有技术中没有根据场景复杂度信息来合理输出特征点数目的问题。其实现步骤是：对手机摄像头采集的视频帧进行特征点检测；对每一帧检测到的特征点生成描述矢量，并利用描述矢量进行特征点匹配；分析特征点匹配结果，在特征能够进行正常匹配和不能进行正常匹配的两种情况下，自适应的调整每一帧图像输出的特征点数目，从而实现在复杂或简单场景下都能输出具有稳定质量和数量的特征点。本发明具有运算量小，可根据场景复杂度自适应的输出稳定质量和数量的特征点数目的优点，为建立快速的智能手机特征跟踪系统奠定了重要基础。

Description

基于场景驱动的智能手机图像特征点选取方法

技术领域

本发明属于图像处理技术邻域，特别涉及图像特征点的提取方法，具体讲的是一种基于场景驱动的智能手机图像特征点快速选取方法，可应用于特征匹配，目标跟踪，物体识别，运动目标的检测和跟踪，增强现实开发等领域。

背景技术

图像的特征点提取是图像处理的基本问题，精确高效的特征点提取算法为其他问题的解决提供坚实的底层基础。

特征点也被称为兴趣点，角点，显著点等等，Harris基于Moravec对兴趣点的描述，利用亮度函数的自相关矩阵即二阶矩矩阵，实现了对特征点的检测。Mikolajczyk和Schmid利用Laplace算子检测Harris角点的尺度，构建了一种具有尺度不变性的Harris-Laplace算子，并将Harris-Laplace算子扩展为具有仿射不变性的Harris-affine算子。Lindeberg利用Laplacian算子将图像中的斑点作为兴趣点，并通过确定每一个斑点的特征尺度和形状使兴趣点具有尺度不变性和仿射不变性。Lowe利用DoG算子代替Laplacian算子从而提高了兴趣点检测的速度。还有一些算法计算图像亮度函数的高斯曲率，将曲率较大的点定位为特征点。除基于亮度的特征点算法外，还有一类算法根据Haralick对特征点的定义，在图像中度量每一点的显著性，从中筛选出一些明显有别于其他点的特殊点作为特征点，这类点也被称为显著点。

目前，基于特征点的提取的一类方法仍然是图像处理、计算机视觉领域的研究热点，而且随着我国3G网络的逐步开通和移动通信事业的飞速发展，庞大的智能手机用户群也在逐年增加，图像处理与分析在智能手机上的应用也逐渐占有越来越重要的地位。特征提取作为图像处理中的一个基本且非常关键的模块，应用到目标识别、增强现实等很多领域，在智能手机的开发应用中是必不可少的环节。

虽然现在的智能手机硬件配置一直在更新，但处理能力还是很有限，对一些图形图像需要进行复杂处理的时候很难达到实时的要求，而且在大部分特征检测算法中，并没有针对图像的背景信息自适应的调整算法所需的特征点数量，往往对于一幅背景较复杂的图像提取的特征点偏多，为下一步的图像处理比如特征描述或者图像匹配造成冗余计算量；而对于背景比较简单的图像提取的特征点偏少，不能找到足够鲁棒性的特征点，给下一步图像进行精确的描述和匹配造成困难。如何能够有效利用资源，使得算法能以较少的CPU和内存资源来达到相同的效果，是目前手机平台的算法开发上急需解决的问题。

发明内容

本发明的目的在于针对上述技术的不足，提出一种基于场景驱动的智能手机图像特征点选取方法，以提高图像处理速度，并使提取的特征点总体上更加稳定和鲁棒。

为实现上述目的，本发明包括如下步骤：

1、一种基于场景驱动的智能手机图像特征点选取方法，包括如下步骤：

(1)从手机摄像头获得移动场景的视频帧；

(2)对视频帧的第一帧图像进行灰度化处理并利用快速特征检测算法FAST进行特征点检测，得到第一帧图像所有的特征点位置和总的特征点数目M₁；

(3)计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复杂”、“一般”、“简单”三个标准，设定复杂度阈值为6.0；若综合纹理特征值Z＞6.0，则将视频帧图像的复杂度判为“复杂”，若4.0＜Z≤6.0，则将视频帧图像的复杂度判为“一般”，若Z≤4.0，则将视频帧图像的复杂度判为“简单”；

(4)由步骤(3)得到的复杂度计算出第一帧图像输出特征点的数目N₀：若复杂度为“复杂”时，N₀＝M₁*0.9，若复杂度为“一般”时，N₀＝M₁*0.8，若复杂度为“简单”时，N₀＝M₁*0.7；

(5)从M₁个特征点中随机选取N₀个特征点，并利用加速的鲁棒特征算法SURF对所选的N₀个特征点进行描述，计算出第一帧中每一个特征点的描述矢量；

(6)读取视频帧的第二帧图像，进行灰度化处理并利用快速特征检测算法FAST，得到第二帧所有特征点的位置和总的特征点数目M₂；

(7)利用加速的鲁棒特征算法SURF对步骤(6)中得到的特征点进行描述，得出第二帧中每一个特征点的描述矢量；

(8)利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数N_s；

(9)根据特征点匹配的个数N_s和步骤(4)得到的第一帧特征点个数N₀的关系得到第二帧输出的特征点个数：如果N_s/N₀≥0.75，则第二帧输出N_s个特征点；如果N_s/N₀＜0.75，则第二帧除了输出N_s个特征点外，还要从(M₂-N_s)个特征点中随机选取(0.75*N₀-N_s)个特征点；

(10)重复步骤(2)到步骤(9)，直到视频帧读取结束。

本发明与现有技术相比，具有以下优点：

1)本发明由于通过分析图像场景信息来判断图像场景的复杂度，自适应调整特征点的输出，因而不论在复杂或者简单的场景中，都可以输出稳定质量和数量的特征点；

2)本发明通过利用特征点检测与特征点匹配的结果来确定每一帧特征点输出数目，从而降低后端系统中特征点检测与特征点匹配的运算量，缩短计算时间；

3)本发明在特征点跟踪性能下降时，即特征点匹配成功的个数达不到最低阈值时，通过自适应增加新的特征点使特征点数目达到最低阈值，保证系统的鲁棒性。

附图说明

图1为本发明的实现流程图；

图2为用本发明与现有快速特征检测算法FAST方法进行特征点检测的结果图。

具体实施方式

以下参照附图对本发明进行详细描述：

参照图1，本发明基于场景驱动的智能手机图像特征点选取方法，包括以下步骤：

步骤1，初始化系统环境，从手机摄像头获得移动场景视频帧；初始化系统环境包括启动手机摄像头，并为视频帧申请内存存储空间，通过启动的摄像头取得移动场景视频帧，并保存在手机内存中。

步骤2，从手机内存中读取视频帧的第一帧图像，取视频帧第一帧图像上的一点(x，y)，对该点(x，y)进行灰度化，得到将灰度化后的值G_r(x，y)：

G_r(x，y)＝0.11R(x，y)+0.59G(x，y)+0.3B(x，y)，

其中：R(x，y)为点(x，y)的红色分量值，G(x，y)为点(x，y)的绿色分量值，B(x，y)为点(x，y)的蓝色分量值；

让点(x，y)遍历第一帧图像上每一点，得到第一帧图像的灰度化图像。

步骤3，利用快速特征检测算法FAST对得到的第一帧图像的灰度化图像进行特征点检测，从而得到第一帧图像中所有的特征点位置和总的特征点数目M₁，其中快速特征检测算法FAST参见(Machine learning for high-speed corner detection，E Rosten and T.Drummond，ECCV 2006)。

步骤4，计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复杂”、“一般”、“简单”三个标准，设定复杂度阈值为6.0；若综合纹理特征值Z＞6.0，则将视频帧图像的复杂度判为“复杂”，若4.0＜Z≤6.0，则将视频帧图像的复杂度判为“一般”，若Z≤4.0，则将视频帧图像的复杂度判为“简单”，完成对第一帧图像的场景分析。

步骤5，计算第一帧图像的综合纹理特征值Z：

5a)取第一帧图像上的一点(x，y)，将其灰度值记为g1，取偏离该点的另一点(x+Δx，y+Δy)|_{Δx＝1，Δy＝0}，将其灰度值记为g2，并把这两点的灰度值记为符号：[g1，g2]；

5b)让点(x，y)遍历第一帧图像，若第一帧图像的灰度值级数为N，得到N*N个灰度值符号[g1，g2]；

5c)统计每一个灰度值符号[g1，g2]出现的次数，排列生成N*N阶矩阵P，该矩阵P的第i行第j列元素值P(i，j)等于[i，j]出现的次数；

5d)对矩阵P中的每一个元素进行如下归一化处理：

$P(i,j)=\frac{P(i,j)}{N(N-1)},0\&le;i<N,0\&le;j<N;$

5e)计算图像能量J为：

$J=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P(i,j)\right)}^2,$

图像能量J是一种表示灰度分布一致性的统计量，是图像灰度分布均匀性的度量；

5f)计算图像反差G为：

$G=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(i-j)}^{2}P(i,j),$

图像反差G是描述纹理反差即纹理粗细的统计量，它可以反映图像纹理的清晰程度；

5g)计算图像熵S为：

$S=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}P(i,j){\log }_{2}P(i,j),$

图像熵S被用来度量图像的纹理特征；

5h)计算图像逆差Q为：

$Q=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{1}{1+{(i-j)}^2}P(i,j),$

图像逆差Q可以反映图像纹理的同质性，即可以度量图像纹理局部的变化程度；

5i)计算图像相关度COV为：

$\mathrm{COV}=[\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{ij}*P(i,j)-{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y]/{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y,$

其中μ_x是P_x的均值，μ_y是P_y的均值，σ_x是P_x的方差，σ_y是P_y的方差，是矩阵P中第i行各列元素之和，

是矩阵P中第j列各行元素之和；图像相关度COV用于衡量灰度共生矩阵的元素在行和列方向的相似程度，因此相关度大小反映了图像中局部灰度的相关性；

5j)综合纹理特征值Z为：

Z＝G+S+Q-J-COV。

步骤6，由步骤5得到的复杂度计算出第一帧图像输出特征点的数目N₀：若复杂度为“复杂”时，N₀＝M₁*0.9，若复杂度为“一般”时，N₀＝M₁*0.8，若复杂度为“简单”时，N₀＝M₁*0.7。

步骤7，从M₁个特征点中随机选取N₀个特征点，并利用加速的鲁棒特征算法SURF对所选的N₀个特征点进行描述，计算出第一帧中每一个特征点的描述矢量，其中加速的鲁棒特征算法SURF，参见(Herbert Bay，Andreas Ess，Tinne Tuytelaars，Luc VanGool，″SURF：Speeded Up Robust Features″，Computer Vision and Image Understanding(CVIU)，Vol.110，No.3，pp.346--359，2008)。

步骤8，读取视频帧的第二帧图像，进行灰度化处理并利用快速特征检测算法FAST，得到第二帧所有特征点的位置和总的特征点数目M₂。

步骤9，利用加速的鲁棒特征算法SURF对步骤8中得到的特征点进行描述，得出第二帧中每一个特征点的描述矢量。

步骤10，利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数N_s：

10a)设第一帧中特征点描述矢量表示为：{n₀，n₁，n₂，…，n₆₃}，第二帧中特征点描述矢量表示为：{n′₀，n′₁，n′₂，…，n′₆₃}，取第一帧第一个特征点的描述矢量和第二帧每一个特征点的描述矢量进行计算，得到第一帧中第一个描述矢量和第二帧中M₂个描述矢量之间的距离：COR₀，COR₁，COR₂，…，

即：

${\mathrm{COR}}_k=\underset{i=0}{\overset{63}{\mathrm{\&Sigma;}}}{(n_i-n_i^{\&prime;})}^2,k\&Element;[0,M_2),$

其中：M₂为第二帧总的特征点个数；

10b)将M₂个距离值COR₀，COR₁，COR₂，…，

按照从小到大排序，把排序后的第一个值记为COR_F，排序后的第二个值记为COR_S；

10c)根据COR_F和COR_S判断第一帧第一个特征点在第二帧中是否有匹配的特征点，并把特征点匹配成功的个数记为N′₁，如果COR_F/COR_S＜0.65，即在第二帧中有与第一帧第一个特征点匹配的特征点，则N′₁＝1；如果COR_F/COR_S≥0.65，即在第二帧中没有与第一帧第一个特征点匹配的特征点，则N′₁＝0；

10d)取第一帧中第二个特征点的描述矢量，重复步骤10a)到步骤10c)，直到遍历完第一帧中所有特征点的描述矢量为止，得到特征点匹配成功的总个数N_s为：

$N_s=N_1^{\&prime;}+N_2^{\&prime;}+\&CenterDot;\&CenterDot;\&CenterDot;+N_{N_0}^{\&prime;},$

其中：N₀为第一帧总的特征点个数。

步骤11，根据特征点匹配的个数N_s和步骤6得到的第一帧特征点个数N₀的关系得到第二帧输出的特征点个数：如果N_s/N₀≥0.75，则第二帧输出N_s个特征点；如果N_s/N₀＜0.75，则第二帧除了输出N_s个特征点外，还要从(M₂-N_s)个特征点中随机选取(0.75*N₀-N_s)个特征点。

步骤12，重复步骤2到步骤11，直到视频帧读取结束。

本发明的效果可通过以下仿真实验进一步说明：

仿真使用的原始图像如图2(a)所示。

用本发明方法对图2(a)进行特征点提取，其结果如图2(b)所示。

利用现有快速特征检测算法FAST对图2(a)进行特征点提取，其结果如图2(c)所示。

从图2(b)和图2(c)可见，本发明的方法提取到的特征点在满足特征跟踪的情况下，特征点数量较现有方法有所减少，有效的减小后端系统特征匹配时的运算量。

Claims (3)

1.一种基于场景驱动的智能手机图像特征点选取方法，包括如下步骤：

(1)从手机摄像头获得移动场景的视频帧；

(2)对视频帧的第一帧图像进行灰度化处理并利用快速特征检测算法FAST进行特征点检测，得到第一帧图像所有的特征点位置和总的特征点数目M₁；

(3)计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复杂”、“一般”、“简单”三个标准，设定复杂度阈值为6.0；若综合纹理特征值Z＞6.0，则将视频帧图像的复杂度判为“复杂”，若4.0＜Z≤6.0，则将视频帧图像的复杂度判为“一般”，若Z≤4.0，则将视频帧图像的复杂度判为“简单”；

(4)由步骤(3)得到的复杂度计算出第一帧图像输出特征点的数目N₀：若复杂度为“复杂”时，N₀＝M₁*0.9，若复杂度为“一般”时，N₀＝M₁*0.8，若复杂度为“简单”时，N₀＝M₁*0.7；

(5)从M₁个特征点中随机选取N₀个特征点，并利用加速的鲁棒特征算法SURF对所选的N₀个特征点进行描述，计算出第一帧中每一个特征点的描述矢量；

(6)读取视频帧的第二帧图像，进行灰度化处理并利用快速特征检测算法FAST，得到第二帧所有特征点的位置和总的特征点数目M₂；

(7)利用加速的鲁棒特征算法SURF对步骤(6)中得到的特征点进行描述，得出第二帧中每一个特征点的描述矢量；

(8)利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数N_s；

(9)根据特征点匹配的个数N_s和步骤(4)得到的第一帧特征点个数N₀的关系得到第二帧输出的特征点个数：如果N_s/N₀≥0.75，则第二帧输出N_s个特征点；如果N_s/N₀＜0.75，则第二帧除了输出N_s个特征点外，还要从(M₂-N_s)个特征点中随机选取(0.75*N₀-N_s)个特征点；

(10)重复步骤(2)到步骤(9)，直到视频帧读取结束。

2.根据权利要求1所述的基于场景驱动的智能手机图像特征点选取方法，其步骤(3)所述的计算第一帧图像的综合纹理特征值Z，按如下步骤进行：

(3a)取第一帧图像上的一点(x，y)，灰度值记为g1，取偏离该点的另一点(x+Δx，y+Δy)|_{Δx＝1，Δy＝0}，灰度值记为g2，把这两点的灰度值记为符号：[g1，g2]；

(3b)让点(x，y)遍历第一帧图像，若第一帧图像的灰度值级数为N，得到N*N个[g1，g2]；

(3c)统计每一个[g1，g2]出现的次数，排列生成N*N阶矩阵P，该矩阵P的第i行第j列元素值P(i，j)等于[i，j]出现的次数；

(3d)对矩阵P中的每一个元素进行如下归一化处理：

$P(i,j)=\frac{P(i,j)}{N(N-1)},0\&le;i<N,0\&le;j<N$

(3e)计算图像能量J为：

$J=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P(i,j)\right)}^2;$

(3f)计算图像反差G为：

$G=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(i-j)}^{2}P(i,j);$

(3g)计算图像熵S为：

$S=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}P(i,j){\log }_{2}P(i,j);$

(3h)计算图像逆差Q为：

$Q=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{1}{1+{(i-j)}^2}P(i,j);$

(3i)计算图像相关度COV为：

$\mathrm{COV}=[\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{ij}*P(i,j)-{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y]/{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y;$

其中μ_x是P_x的均值，μ_y是P_y的均值，σ_x是P_x的方差，σ_y是P_y的方差，

是矩阵P中第i行各列元素之和，

是矩阵P中第j列各行元素之和；

(3j)综合纹理特征值Z为：

Z＝G+S+Q-J-COV。

3.根据权利要求1所述的基于场景驱动的智能手机图像特征点选取方法，其步骤(8)所述的利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数N_s，按如下步骤进行：

(8a)设第一帧中特征点描述矢量表示为：{n₀，n₁，n₂，…，n₆₃}，第二帧中特征点描述矢量表示为：{n′₀，n′₁，n′₂，…，n′₆₃}，取第一帧第一个特征点的描述矢量和第二帧每一个特征点的描述矢量进行计算，得到第一帧中第一个描述矢量和第二帧中M₂个描述矢量之间的距离：COR₀，COR₁，COR₂，…，

即：

${\mathrm{COR}}_k=\underset{i=0}{\overset{63}{\mathrm{\&Sigma;}}}{(n_i-n_i^{\&prime;})}^2,k\&Element;[0,M_2),$

其中：M₂为第二帧总的特征点个数；

(8b)将M₂个距离值COR₀，COR₁，COR₂，…，

按照从小到大排序，把排序后的第一个值记为COR_F，排序后的第二个值记为COR_S；

(8c)根据COR_F和COR_S来判断第一帧第一个特征点在第二帧中是否有匹配的特征点：把特征点匹配成功的个数记为N′₁，如果COR_F/COR_S＜0.65，即在第二帧中有与第一帧第一个特征点匹配的特征点，则N′₁＝1；如果COR_F/COR_S≥0.65，即在第二帧中没有与第一帧第一个特征点匹配的特征点，则N′₁＝0；

(8d)取第一帧中第二个特征点的描述矢量，重复步骤(8a)到(8c)，直到遍历完第一帧中所有特征点的描述矢量为止，得到特征点匹配成功的总个数N_s为：

$N_s=N_1^{\&prime;}+N_2^{\&prime;}+\&CenterDot;\&CenterDot;\&CenterDot;+N_{N_0}^{\&prime;};$

其中：N₀为第一帧总的特征点个数。

Images