CN113221921B - 基于优选空间的sift特征快速提取方法、计算机设备以及存储介质 - Google Patents

Abstract

本发明公开了一种基于优选空间的SIFT特征快速提取方法，包括步骤：获取确定优选特征空间的学习样本集；根据学习样本集确定优选特征空间；优选特征空间中的特征空间层按照特征空间层的配准特征数量依次排列；基于优选特征空间，对已知图像以及待匹配图像进行SIFT特征提取和匹配；当已知图像以及待匹配图像的配准特征数量满足预设要求时，待匹配图像匹配成功。先确定学习样本集对应的优选特征空间，优选特征空间中的特征空间层按照特征空间层的配准特征数量依次排列，然后基于优选特征空间，对已知图像以及待匹配图像进行SIFT特征提取和匹配。本申请把SIFT特征的提取与匹配集中在优选特征空间进行，可以显著提高SIFT特征提取与匹配效率。

Description

基于优选空间的SIFT特征快速提取方法、计算机设备以及存 储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种基于优选空间的 SIFT特征快速提取方法。

背景技术

计算机视觉是用计算机模拟人的视觉功能，来实现分类、测量、定位和检测等任务。特征点提取与描述是实现计算机视觉的重要图像分析技术之一，广泛用于医疗图像分析、遥感图像分析、图像检索和视觉定位应用中。通过比对特征点位置处的特征以及特征点的空间关系，克服图像的灰度变化、尺度变化和角度变化等问题，实现对物体的测量、定位和检测等。SIFT算法是基于特征点匹配的经典方法。

SIFT算法由哥伦比亚大学Lowe教授提出，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换和噪声也保持一定程度的稳定性，在图像配准领域应用广泛。现有技术中，SIFT特征提取的不足在于计算复杂度较高，提取特征时间较长，提取特征的效率较低。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于优选空间的SIFT特征快速提取方法，旨在解决现有技术中图像的SIFT 特征提取时效率低的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于优选空间的SIFT特征快速提取方法，其中，包括步骤：

获取确定优选特征空间的学习样本集；

确定所述学习样本集对应的优选特征空间；其中，所述优选特征空间包括若干个特征空间层，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列；

获取待匹配图像和所述待匹配图像对应的已知图像，基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配；

当所述已知图像以及所述待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述学习样本集包括若干个原始图像；

所述确定所述学习样本集对应的优选特征空间，包括：

根据所述原始图像中的目标对所述学习样本集中各原始图像分别进行归一化，得到各原始图像各自分别对应的归一化图像；

根据所述归一化图像的宽和高，确定尺度空间的特征空间层的数量；

提取各归一化图像各自分别对应的SIFT特征，并确定各SIFT特征对应的特征空间层；

对任意两个归一化图像各自分别对应的SIFT特征进行匹配，得到所述两个归一化图像的匹配特征对；

根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量；

将所有特征空间层按照所述配准特征数量依次排列，以形成优选特征空间。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述将所有特征空间层按照所述配准特征数量依次排列，以形成优选特征空间，包括：

当所述特征空间层对应的配准特征数量为0时，剔除该特征空间层；

将配准特征数量不为0的特征空间层按照所述配准特征数量依次排列，以形成优选特征空间。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述两个归一化图像分别为第一归一化图像和第二归一化图像；

所述对任意两个归一化图像各自分别对应的SIFT特征进行匹配，得到所述两个归一化图像的匹配特征对，包括：

针对所述第一归一化图像中每一个SIFT特征，搜索所述第二归一化图像中与该SIFT特征对应的第二最佳匹配特征和第二次佳匹配特征；

当该SIFT特征与所述第二最佳匹配特征的距离，以及该SIFT特征与所述第二次佳匹配特征的距离满足第一预设条件时，将所述第二最佳匹配特征作为第一候选配对特征；

搜索所述第一归一化图像中与所述第一候选配对特征对应的第一最佳匹配特征和第一次佳匹配特征；

当所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离满足第二预设条件时，将所述第一最佳匹配特征作为第二候选配对特征；

当所述第一归一化图像中该SIFT特征为所述第二候选配对特征时，则将该SIFT特征和所述第二最佳匹配特征作为所述两个归一化图像的匹配特征对。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述第一预设条件为：该SIFT特征与所述第二最佳匹配特征的距离，以及该SIFT特征与所述第二次佳匹配特征的距离之比小于或等于85％；

所述第二预设条件为：所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离之比小于或等于85％。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量从大至小依次排列；

所述基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配，包括：

根据所述优选特征空间中的第一个特征空间层以及所述第一个特征空间层的相邻特征空间层，确定所述第一个特征空间层对应的空间层集合；其中，所述第一个特征空间层的相邻特征空间层为所述尺度空间内与所述第一个特征空间层相邻的特征空间层；

分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT 特征后进行匹配；

当所述已知图像以及所述待匹配图像的配准特征数量不满足预设要求时，根据所述优选特征空间中的下一个特征空间层以及所述下一个特征空间层的相邻特征空间层，确定所述下一个特征空间层对应的空间层集合，并继续执行分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT特征后进行匹配的步骤，直至遍历所述优选特征空间中的特征空间层时结束。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述根据所述优选特征空间中的第一个特征空间层以及所述第一个特征空间层的相邻特征空间层，确定所述第一个特征空间层对应的空间层集合之前，所述基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配，还包括：

根据所述待匹配图像中的目标对所述待匹配图像进行归一化，得到待匹配归一化图像，并将所述待匹配归一化图像作为待匹配图像；

根据所述已知图像中的目标对所述已知图像进行归一化，得到已知归一化图像，并将已知归一化图像作为已知图像。

所述的基于优选空间的SIFT特征快速提取方法，其中，所述根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量，包括：

当所述匹配特征对为误匹配的匹配特征对时，剔除所述误匹配的匹配特征对；

针对每一个匹配特征对，将该匹配特征对对应的两个特征空间的配准特征数量加一，以得到各特征空间层各自分别对应的配准特征数量。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

有益效果：先确定所述学习样本集对应的优选特征空间，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列，然后基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行 SIFT特征提取和匹配。由于某些尺度空间层可能存在较多的关键点，而某些尺度空间层可能存在较少的关键点，甚至没有。本申请把SIFT特征的提取与匹配集中在优选特征空间进行，可以显著提高SIFT特征提取与匹配效率。

附图说明

图1是本发明中实验中硬币图像的部分样例图像。

图2是本发明中基于优选空间的SIFT特征快速提取方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请同时参阅图1-图2，本发明提供了一种基于优选空间的SIFT特征快速提取方法的一些实施例。

SIFT算法具体如下：

尺度空间构建

SIFT算法尺度空间的构建分为两方面：一是对图像采用不同标准差的高斯函数进行模糊；二是对图像进行二分之一降采样。对于每次降采样后的图像(包括原始图像)，采用不同标准差的高斯函数进行模糊滤波，从而构成一组尺度图像，称第o组图像。其中o∈{0,1,…,O-1}，第o组图像为由降采样图像经高斯滤波得到的图像，O为最大组数，其公式(1)确定。

O＝log₂min(M,N) (1)

其中，M和N为原始图像的宽和高，min(·)表示取最小值，log表示对数。在每一组尺度图像中，经高斯滤波得到的图像称为第s层图像。其中 s∈{0,1,…,S+2}，第0层(即s＝0)图像由上一组图像中倒数第2层图像通过二分之一降采样获得，S为每组图像中尺度的个数。这样，尺度空间索引为：

其中，σ₀为基准层尺度，而o为组索引，o∈{0,1,…,O-1}，s为层索引， s∈{0,1,…,S+2}。因此，为了提取SIFT特征，需要构建O×(S+3)个尺度空间的图像，由此构建高斯差分金字塔。

空间极值点检测与特征提取

SIFT算法取DoG(Difference of Gaussian)空间的局部极值点为特征点。在高斯差分金字塔中，将每一个像素点和它所有的26个相邻点比较，从而获得尺度空间和图像空间的局部极值点。SIFT描述符是特征点邻域高斯图像梯度统计结果的一种表示。SIFT算法通过对特征点周围图像区域分块，计算块内梯度直方图，从而生成具有独特性的特征描述符。为了检测局部极值点，SIFT算法需要遍历O×S个特征空间图像中的每个像素点，并对检测到的特征点生成SIFT描述符。

SIFT特征匹配

SIFT特征描述符常用于两幅图像之间的比对。通常情况下，对待匹配图像和已知图像分别提取SIFT特征描述符，然后遍历一幅图像中的每一个 SIFT特征描述符，搜索另一幅图像中最近邻点和次近邻点，根据二者关系判断是否成功匹配，并做反向校验。通过上述方法进行特征点之间的匹配，不能保证成功的匹配一定是正确匹配。通常需要通过RANSAC(RANdom SAmple Consensus)算法对错误匹配点进行剔除。SIFT特征描述符少则数百个，多则上万个。上述匹配和错误点剔除过程也需要大量的计算。

针对SIFT特征提取速度较慢的问题，现有技术提出了很多改进算法。 KeYan等人提出了PCA-SIFT(Principal Components Analysis Scale Invariant FeatureTransform)算法，利用PCA把SIFT特征描述符从128维降低到20 维，降低了SIFT特征描述符的计算复杂度。Bay Herbert等人提出SURF (Speeded-Up Robust Features)算法，使用Hessian矩阵构造尺度空间，并在尺度空间内寻找极值点，大大提高了图像特征提取的速度。Leutenegger Stefan等人提出BRISK(Binary Robust Invariant ScalableKeypoints)算法，给出了一种新的构建特征描述符的方式，首先在特征点周围利用均匀采样模式进行采样，然后利用特征点局部邻域内的随机采样点对的灰度大小关系来建立二值特征描述符，降低了特征描述符的复杂度。Rublee Ethan等人提出ORB(Oriented fast andRotated Brief)算法，将FAST(Features from Accelerated Segments Test)特征点检测算法与BRIEF(Binary Robust Independent Elementary Features)特征描述符算法结合起来，实现图像间快速配准。Alahi Alexandre等人提出FREAK(Fast Retina Keypoint)算法，在 BRISK算法的基础上提出了一种新的二进制串特征描述符，该算法采用了更为接近于人类视网膜接受图像信息的采样模式对特征点进行描述，从而实现图像的高效配准。

近年来，深度学习算法也引入到图像特征提取中。TruongPrune等人提出一个基于CNN(Convolutional Neural Networks)的特征点检测器。通过半监督模式学习，能够提取可重复、稳定、稠密的感兴趣点。OnoYuki等人提出一个新的深度结构和训练策略，来学习局部特征而不需要监督。 DetoneDaniel等人提出一种自监督的感兴趣点提取与描述方法。通过合成形状数据集训练特征点检测器，检测图像单应变换后的感兴趣点，并训练卷积神经网络，实现最终的特征点检测器。KCNN则借助一个紧凑的三层CNN 网络实现有效的特征点检测。

在经典算法中，改进算法相对SIFT算法速度较快，但是特征配准精度有不同程度下降。SIFT算法较高的配准精度使其受到业界青睐，但是因其较高的算法复杂度而使应用受到限制。最近，有研究人员采用GPU对SIFT 特征提取进行加速。

在基于SIFT特征的应用中，很多情况并不需要提取物体或场景中的所有SIFT特征，只要SIFT特征的数量满足应用要求即可。比如，在求取平面结构的单应矩阵时，提取四个特征点即可。因此，SIFT特征的提取，不必在所有特征空间层进行，而只在SIFT特征数量较多的特征空间层进行。这样可以大大节省特征提取时间。

本申请中，先确定所述学习样本集对应的优选特征空间，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列，然后基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行 SIFT特征提取和匹配。由于某些尺度空间层可能存在较多的关键点，而某些尺度空间层可能存在较少的关键点，甚至没有。本申请把SIFT特征的提取与匹配集中在优选特征空间进行，可以显著提高SIFT特征提取与匹配效率。

如图2所示，本发明实施例的一种基于优选空间的SIFT特征快速提取方法，包括以下步骤：

步骤S100、获取确定优选特征空间的学习样本集。

具体地，学习样本集是指学习以形成优选特征空间的样本集合。

针对具体应用问题，采集包含目标的K幅原始图像I_k，构造学习样本集φ＝{I_k,k＝1,2,…,K}。

步骤S200、确定所述学习样本集对应的优选特征空间；其中，所述优选特征空间包括若干个特征空间层，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列。

具体地，本申请先根据学习样本集，确定学习样本集对应的优选特征空间，然后基于优选特征空间，对已知图像以及待匹配图像进行SIFT特征提取和匹配。优选特征空间包括若干个特征空间层，例如，优选特征空间包括至少一个特征空间层，再如，优选特征空间包括15个特征空间层。优选特征空间中特征空间层是按照配准特征数量依次排列的，例如，按照配准特征数量逐渐递减的方式排列。

在基于SIFT特征的应用中，很多情况并不需要提取目标中的所有SIFT 特征，只要SIFT特征的数量满足应用要求即可。比如，在求取平面结构的单应矩阵时，提取四个特征点即可。因此，SIFT特征的提取，不必在所有特征空间层进行，而只在SIFT特征数量较多的特征空间层进行。这样可以大大节省特征提取时间。

SIFT特征点众多，提取和匹配都会耗费大量时间。并不是所有的特征空间层都包含稳定有效的SIFT特征，若只提取和匹配稳定有效的SIFT特征，会极大地减小其计算复杂度。本申请提出基于优选特征空间的SIFT特征提取，把SIFT特征的提取与匹配集中在优选特征空间进行，可以显著提高SIFT特征提取与匹配效率。

SIFT算法的基础为不随亮度、尺度和角度变化的关键点，其通过在高斯差分金字塔中，检测到的某个尺度下的局部极值点来确定。由2.2空间极值点检测与特征提取可知，这些局部极值点为像素级，对应于物体或场景的局部结构，只有在对图像进行一定的尺度变换后才能检测到，该尺度取决于物体或场景的局部结构和整体结构的比例关系。因此，每个关键点都存在于和物体或场景尺寸相对应的特征空间层中。和物体或场景的纹理或局部结构相关，某些尺度空间层可能存在较多的关键点，而某些尺度空间层可能存在较少的关键点，甚至没有。本申请确定稳定有效的关键点所在的特征空间为优选特征空间。以下是确定SIFT特征提取的优选特征空间的具体过程。

步骤S200具体包括：

步骤S210、根据所述原始图像中的目标对所述学习样本集中各原始图像分别进行归一化，得到各原始图像各自分别对应的归一化图像。

具体地，提取原始图像中的目标，根据目标的尺寸对原始图像进行归一化。若原始图像的分辨率为M和N，目标的尺寸为M_o和N_o，归一化的目标的尺寸为M_normal和N_normal，则归一化图像的分辨率为M′和N′，其由公式(3) 和(4)确定。

M′＝M/M_o·M_normal (3)

N′＝N/N_o·N_normal (4)

归一化后图像中(m′,n′)处的灰度值I′(m′,n′)由公式(5)获得。

其中，m＝M/M′·m′，n＝N/N′·n′，

为(m,n)的邻域，f_interp(·)为插值函数，I(i,j)表示原始图像中(i,j)处的灰度值。

所有归一化图像形成新的学习样本集φ'＝{I'_k,k＝1,2,…,K}，其中，I'_k表示第k幅归一化图像，K表示归一化图像的数量。

步骤S220、根据所述归一化图像的宽和高，确定尺度空间的特征空间层的数量。

根据公式(1)确定尺度空间的最大组数O，从而确定SIFT特征尺度空间层数L＝O×(S+3)，DoG空间层数L＝O×(S+2)，特征空间层数L＝O×S，S 为每组归一化图像中尺度的个数。并初始化特征空间累加器 h＝{h_l|l＝i·S+j；i＝0,1,…,O-1；j＝1,2,…,S}为零，其中，i表示组数的序号，j表示尺度的序号。

步骤S230、提取各归一化图像各自分别对应的SIFT特征，并确定各 SIFT特征对应的特征空间层。

具体地，对新的学习样本集中每一幅归一化图像I'_k，提取该幅图像I'_k的 SIFT特征f_k,p，同时确定每一个SIFT特征对应的特征空间层F_k，记为 F_k＝{(f_k,p,l_k,p)|p＝1,2,…,P_k}，其中P_k为第k幅图像提取的SIFT特征的数量，f_k,p为第k幅图像第p个SIFT特征，l_k,p为由对应的组和层确定的特征空间层号。

步骤S240、对任意两个归一化图像各自分别对应的SIFT特征进行匹配，得到所述两个归一化图像的匹配特征对。

具体地，遍历归一化图像I′_k1∈φ′，I′_k2∈φ′，k1≠k2，基于SIFT特征进行匹配，以得到归一化图像I'_k1和I'_k2的匹配特征对。

所述两个归一化图像分别为第一归一化图像I'_k1和第二归一化图像I'_k2，需要说明的是，这里I'_k1和I'_k2表示新的学习样本集中任意两个归一化图像，并不是新的学习样本集中第一个归一化图像和第二个归一化图像。步骤 S240具体包括：

步骤S241、针对所述第一归一化图像中每一个SIFT特征，搜索所述第二归一化图像中与该SIFT特征对应的第二最佳匹配特征和第二次佳匹配特征。

具体地，对于第一归一化图像I'_k1中第p1个SIFT特征f_k1,p1，搜索第二归一化图像I'_k2中第二最佳匹配特征f_k2,p2和第二次佳匹配特征f_k2,p2′，其中，

p2＝argminDis(f_k2,p,f_k1,p1) (6)

其中，Dis(·)表示距离，例如可以采用欧式距离，argmin(·)表示取最小值时自变量。由此可知，第二最佳匹配特征f_k2,p2是第二归一化图像中与第p1 个SIFT特征f_k1,p1距离最小的SIFT特征，第二次佳匹配特征f_k2,p2′是第二归一化图像中与第p1个SIFT特征f_k1,p1距离第二小的SIFT特征。

步骤S242、当该SIFT特征与所述第二最佳匹配特征的距离，以及该 SIFT特征与所述第二次佳匹配特征的距离满足第一预设条件时，将所述第二最佳匹配特征作为第一候选配对特征。

具体地，第p1个SIFT特征f_k1,p1与第二最佳匹配特征f_k2,p2之间的距离为D_{k2,p2；k1,p1}，D_{k2,p2；k1,p1}＝Dis(f_k2,p2,f_k1,p1)，第p1个SIFT特征f_k1,p1与第二次佳匹配特征f_k2,p2′之间的距离为D_{k2,p2′；k1,p1}，D_{k2,p2′；k1,p1}＝Dis(f_k2,p2′,f_k1,p1)，若D_{k2,p2；k1,p1}和 D_{k2,p2′；k1,p1}满足第一预设条件时，将所述第二最佳匹配特征f_k2,p2作为第一候选配对特征。例如，所述第一预设条件为：该SIFT特征与所述第二最佳匹配特征的距离，以及该SIFT特征与所述第二次佳匹配特征的距离之比小于或等于85％，也就是说，若D_{k2,p2；k1,p1}/D_{k2,p2′；k1,p1}≤85％，则第二最佳匹配特征f_k2,p2为第一候选配对特征。

步骤S243、搜索所述第一归一化图像中与所述第一候选配对特征对应的第一最佳匹配特征和第一次佳匹配特征。

具体地，搜索k1图像中第一候选配对特征对应的最佳匹配特征f_k1,p3和次佳匹配特征f_k1,p3′，其中，

p3＝argminDis(f_k1,p,f_k2,p2) (8)

其中，Dis(·)表示距离，例如可以采用欧式距离，argmin(·)表示取最小值时自变量。由此可知，第一最佳匹配特征f_k1,p3是第一归一化图像中与第一候选配对特征距离最小的SIFT特征，第一次佳匹配特征f_k1,p3′是第一归一化图像中与第一候选配对特征距离第二小的SIFT特征。

步骤S244、当所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离满足第二预设条件时，将所述第一最佳匹配特征作为第二候选配对特征。

具体地，第一候选配对特征与所述第一最佳匹配特征f_k1,p3之间的距离为D_{k1,p3；k2,p2}，D_{k1,p3；k2,p2}＝Dis(f_k1,p3,f_k2,p2)，第一候选配对特征与所述第一次佳匹配特征f_k1,p3′之间的距离D_{k1,p3′；k2,p2}，D_{k1,p3'；k2,p2}＝Dis(f_k1,p3',f_k2,p2)，若D_{k1,p3；k2,p2}和 D_{k1,p3′；k2,p2}满足第二预设条件时，将所述第一最佳匹配特征f_k1,p3作为第二候选配对特征。例如，所述第二预设条件为：所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离之比小于或等于85％。也就是说，若D_{k1,p3；k2,p2}/D_{k1,p3′；k2,p2}≤85％，则第一最佳匹配特征f_k1,p3为第二候选配对特征。

步骤S245、当所述第一归一化图像中该SIFT特征为所述第二候选配对特征时，则将该SIFT特征和所述第二最佳匹配特征作为所述两个归一化图像的匹配特征对。

具体地，若第一归一化图像中该SIFT特征(即第p1个SIFT特征f_k1,p1) 为所述第二候选配对特征，也就是说，p3＝p1，则第p1个SIFT特征f_k1,p1和第二最佳匹配特征f_k2,p2为匹配特征对。匹配特征对对应的特征空间层有两个，分别为f_k1,p1对应的特征空间层和f_k2,p2对应的特征空间层。

步骤S250、根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量。

具体地，确定所有匹配特征对后，根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量。也就是说，不同匹配特征对可以对应同一个特征空间层，则可以采用累加器统计该特征空间层对应的匹配特征对的数量，即可得到配准特征数量。

步骤S250具体包括：

步骤S251、当所述匹配特征对为误匹配的匹配特征对时，剔除所述误匹配的匹配特征对。

步骤S252、针对每一个匹配特征对，将该匹配特征对对应的两个特征空间的配准特征数量加一，以得到各特征空间层各自分别对应的配准特征数量。

具体地，应用RANSAC算法剔除误匹配的匹配特征对。对于每一个匹配特征对，将该匹配特征对对应的特征空间层的累加器项加一，即

这样获得通过学习样本SIFT特征配准确定的累加器

也就是，各特征空间层各自分别对应的配准特征数量。

步骤S260、将所有特征空间层按照所述配准特征数量依次排列，以形成优选特征空间。

具体地，提取优选特征空间，对累加器

按照累加结果从大到小进行排序，确定优选特征空间

由以上过程可知，

特征层包含最多配准特征，

次之。随着层数的增大，对应配准特征逐渐减少，最后为零。

举例说明，尺度空间为L'＝{1,2,3,…,L}，其中，L表示尺度空间层数，优选特征空间可以是L*＝{10,11,9,8,7,14,15,4,5}，其中特征数量为0的特征空间层省略。

步骤S260具体包括：

步骤S261、当所述特征空间层对应的配准特征数量为0时，剔除该特征空间层。

步骤S262、将配准特征数量不为0的特征空间层按照所述配准特征数量依次排列，以形成优选特征空间。

具体地，舍弃在学习阶段配准特征数量为零的特征空间层。这样可以极大提高SIFT特征提取的效率，降低SIFT特征提取的计算复杂度。

步骤S300、获取待匹配图像和所述待匹配图像对应的已知图像，基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配。

具体地，待匹配图像是指需要进行匹配的图像，已知图像是指已经标注目标的图像，目标可以是物体。已知图像用于匹配待匹配图像。优选特征空间与尺度空间不相同，一方面，特征空间层的排列方式不同，另一方面，特征空间层的数量也不相同，优选特征空间中特征空间层的数量少于尺度空间中特征空间层的数量，优选特征空间从这两方面提高SIFT特征提取和匹配效率。

所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量从大至小依次排列，步骤S300具体包括：

步骤S310、根据所述待匹配图像中的目标对所述待匹配图像进行归一化，得到待匹配归一化图像，并将所述待匹配归一化图像作为待匹配图像。

具体地，提取待匹配图像中的目标，根据目标的尺度对待匹配图像进行归一化，得到待匹配归一化图像，并将所述待匹配归一化图像作为待匹配图像。

步骤S320、根据所述已知图像中的目标对所述已知图像进行归一化，得到已知归一化图像，并将已知归一化图像作为已知图像。

提取已知图像中的目标，根据目标的尺寸对已知图像进行归一化，得到已知归一化图像，并将已知归一化图像作为已知图像。

步骤S330、根据所述优选特征空间中的第一个特征空间层以及所述第一个特征空间层的相邻特征空间层，确定所述第一个特征空间层对应的空间层集合；其中，所述第一个特征空间层的相邻特征空间层为所述尺度空间内与所述第一个特征空间层相邻的特征空间层。

具体地，据生成的优选特征空间，确定第一个特征空间层

为当前特征提取空间层l_c，并生成当前特征提取空间层集合{l_c-1,l_c,l_c+1}。

举例说明，优选特征空间为L*＝{10,11,9,8,7,14,15,4,5}，第一个特征空间层的序号为10，则空间层集合为{9,10,11}。

步骤S340、分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT特征后进行匹配。

具体地，分别提取已知图像和待匹配图像在当前特征提取空间层集合中的SIFT特征，并进行匹配。

步骤S350、当所述已知图像以及所述待匹配图像的配准特征数量不满足预设要求时，根据所述优选特征空间中的下一个特征空间层以及所述下一个特征空间层的相邻特征空间层，确定所述下一个特征空间层对应的空间层集合，并继续执行分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT特征后进行匹配的步骤，直至所述已知图像以及所述待匹配图像的配准特征数量满足预设要求。

若配准特征数量满足预设要求，则待匹配图像匹配成功，具体如步骤 S400所示。如果配准特征数量不满足预设要求，且未遍历完优选特征空间，则确定下一个特征空间层

为当前特征提取空间层l_c，生成当前特征提取空间层集合{l_c-1,l_c,l_c+1}，并转到步骤S340，直至遍历所述优选特征空间中的特征空间层时结束。

举例说明，优选特征空间为L^*＝{10,11,9,8,7,14,15,4,5}，第一个特征空间层作为当前特征提取空间层l_c时，且配准特征数量不满足预设要求时，根据下一个特征空间层(即第二个特征空间层)作为当前特征提取空间层l_c，并得到空间层集合为{10,11,12}，然后继续执行步骤S340。

步骤S400、当所述已知图像以及所述待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功。

具体地，预设要求是指已知图像以及待匹配图像的配准特征的预设数值，例如，可以将预设要求配置为4。当已知图像以及待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功。

具体实施例一

本申请取硬币污损检测应用场景下硬币图像进行实验，部分样例图像如图1所示，(a)-(h)中硬币的摆放角度各不相同。所有图像大小为1600×1200。首先，基于本申请提出的方法，确定优选特征空间；然后，验证基于优选特征空间进行SIFT特征提取、匹配和配准的高效性。

本申请利用10幅硬币图像确定SIFT特征优选特征空间。对于硬币污损检测应用场景，硬币在图像中的尺寸相同。因此，省略了图像归一化环节。

根据公式(1)由图像大小得O＝10。考虑到图像分辨率较小时，已分辨不出图像内容的细节，因此取O＝7。另外，取S＝3。这样特征空间层为 21。将10幅硬币图像中的每一幅提取SIFT特征并与其他9幅图像进行配准。实验数据如表1所示。

表1的第一行为特征空间层，由左至右对应尺度空间越来越小。表1 的第二行为每个特征空间层所提取的特征点数。可以看出，尺度空间越大，提取的特征点数越多，而随着尺度空间逐渐变小，提取的特征点数也随之减少，到最后趋近于零。这个分布规律反映了如果忽略图像内容的差异的影响，SIFT特征点数基本和图像的尺度相关。

表1的第三行为匹配点对数。匹配点对表示图像间特征点在一定的规则度量下为相似点对。可以看出，在较大的尺度空间下，匹配点对数较多。但不具有规律性，波动较大；分析原因，其中不乏存在正确匹配点，但其中可能存在大量误匹配点。由于较大尺度空间特征点数较多，从而造成匹配点对数量也较多。在中等尺度空间下，匹配点数也较多，并稳定在10对特征点左右，可以认为是图像之间特征的正确匹配；在较小尺度空间下，匹配点数较少，甚至为零。

表1平均SIFT特征点提取、匹配和配准结果

表1的第四行为配准点对数。配准点对是在匹配的基础上，通过空间约束对匹配点进一步筛选，其保证了图像间特征点匹配的正确性。可以看出，在较大的尺度空间下，配准点较少，甚至为零。可以认为，这时的匹配点对或者为误匹配，或者没有足够的匹配点对构成空间约束关系；在中等尺度空间下，配准点相对较多，能够满足空间约束关系，为正确匹配。这些点对对于计算两幅图像之间的仿射变化是有意义的，是有效的SIFT特征。而在较小尺度空间，尽管存在部分匹配点对，但是配准点对同样稀少。

从以上分析可以看出，尽管在较大尺度空间提取的SIFT特征较多，但是能够配准的很少；同样在较小尺度空间也几乎没有能够配准的特征；能够有效配准的特征只存在于中等的几个尺度空间。显然，对于硬币污损检测应用场景，在较大和较小尺度空间上的计算都是无意义的。

根据本申请提出的方法，依据学习样本集配准数据，生成优选特征空间L*。其中特征空间层号依次为10，11，9，8，7，14，15，4，5。

确定场景下有效空间SIFT特征提取与配准

本申请利用16幅硬币图像进行120组测试实验。每组实验为其中的一幅硬币图像与其他硬币图像进行配准。根据特征点数量、匹配特征点对数、配准特征点对数、配准时间作为评价标准，将经典SIFT算法和本申请方法在选取不同数量优选空间层数的情况下进行对比。

表2为经典SIFT算法和本申请方法提取特征点数量的实验结果。从表 2第一行可以看出，若只选取一个优选空间层，经典SIFT算法在每幅测试图像内提取特征点数量约为本申请方法的90倍左右。随着优选空间层数量的增加，特征点数缓步增加。若只选取部分优选空间，特征点数量较少。相比较而言，可以减小计算复杂度，提高SIFT特征提取效率。另一方面，提取的特征点数量较少，也减小计算的内存需求。

表2经典SIFT和本申请方法性能对比

表2的第二行为匹配点对数。对比表2的第二行和第三行可以看出，尽管经典SIFT算法可以提取几千个特征点，但是能够匹配的特征点在150 个左右，特征点的有效匹配率在2％；而本申请方法尽管提取的特征点相对较少，但能够匹配的特征点却很多。在包含5个优选空间层时，特征点的有效匹配率达7.17％，如果只包含1个优选空间层，有效匹配率可达21.74％。相比而言，本申请方法在提取SIFT特征方面是高效的。

对比表2的匹配特征点对数与配准特征点对数可以看出，经典SIFT算法正确匹配的特征点个数占总匹配特征点的25％左右，而本申请方法正确匹配的特征点接近总匹配特征点数。显然，本申请方法提取的SIFT特征在配准方面更可靠，提取SIFT特征的计算也更高效。进一步可以看出，经典 SIFT算法配准特征点对数要稍多于本申请方法。原因在于本申请方法只在优选特征空间进行SIFT特征的提取，而经典SIFT算法是在所有尺度空间进行SIFT特征提取，可能还会在其他的特征空间存在能够配准的特征点。另外，经典SIFT算法也可能存在误配准的特征点对。

最后看一下配准时间。经典SIFT算法平均的配准时间达10s左右，而本申请方法在取1个优选空间层时配准时间不到0.08s，取5个优选特征空间层时间也仅在0.5s左右，大大提高了SIFT特征提取配准的效率。

从整个实验过程来看，在各个环节上，本申请方法都体现出相对于经典SIFT算法的高效性。其根本原因在于，在对图像进行归一化后，有效的SIFT特征应分布在特定的尺度空间。而本申请方法是在学习得到的优选空间进行SIFT特征的提取，一方面避免大范围无效尺度空间的计算，提高了 SIFT特征提取的效率；另一方面，SIFT特征的匹配仅在相邻的尺度空间进行，也大大提高了特征配准的可靠性。

经典SIFT算法提取特征数据量较大，计算复杂度较高。针对该问题，本申请提出了一种基于优选特征空间的SIFT特征快速提取方法。其创新点体现在两方面：一、通过学习，获得确定尺寸物体或场景的优选特征空间。在应用中，根据优选特征空间提取SIFT特征。二、SIFT特征的匹配只在对等特征空间层以及相邻对等特征空间层进行。算法有效地降低了SIFT特征提取的复杂度，同时提高SIFT特征匹配的准确性。本方法中，优选特征空间的学习是相对于归一化的物体或场景尺寸。因此，对物体或场景的归一化是应用优选特征空间的关键。将来的工作将重点研究物体或场景的归一化问题。

基于上述基于优选空间的SIFT特征快速提取方法的任意一实施例，本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取确定优选特征空间的学习样本集；

确定所述学习样本集对应的优选特征空间；其中，所述优选特征空间包括若干个特征空间层，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列；

基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行 SIFT特征提取和匹配；

当所述已知图像以及所述待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功。

基于上述基于优选空间的SIFT特征快速提取方法的任意一实施例，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取确定优选特征空间的学习样本集；

确定所述学习样本集对应的优选特征空间；其中，所述优选特征空间包括若干个特征空间层，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列；

获取待匹配图像和所述待匹配图像对应的已知图像，基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配；

当所述已知图像以及所述待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于优选空间的SIFT特征快速提取方法，其特征在于，包括步骤：

获取确定优选特征空间的学习样本集；

确定所述学习样本集对应的优选特征空间；其中，所述优选特征空间包括若干个特征空间层，所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量依次排列；

获取待匹配图像和所述待匹配图像对应的已知图像，基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配；

当所述已知图像以及所述待匹配图像的配准特征数量满足预设要求时，所述待匹配图像匹配成功；

所述学习样本集包括若干个原始图像；

所述确定所述学习样本集对应的优选特征空间，包括：

根据所述原始图像中的目标对所述学习样本集中各原始图像分别进行归一化，得到各原始图像各自分别对应的归一化图像；

根据所述归一化图像的宽和高，确定尺度空间的特征空间层的数量；

提取各归一化图像各自分别对应的SIFT特征，并确定各SIFT特征对应的特征空间层；

对任意两个归一化图像各自分别对应的SIFT特征进行匹配，得到所述两个归一化图像的匹配特征对；

根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量；

将所有特征空间层按照所述配准特征数量依次排列，以形成优选特征空间；

所述优选特征空间中的所述特征空间层按照所述特征空间层的配准特征数量从大至小依次排列；

所述基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配，包括：

根据所述优选特征空间中的第一个特征空间层以及所述第一个特征空间层的相邻特征空间层，确定所述第一个特征空间层对应的空间层集合；其中，所述第一个特征空间层的相邻特征空间层为所述尺度空间内与所述第一个特征空间层相邻的特征空间层；

分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT特征后进行匹配；

当所述已知图像以及所述待匹配图像的配准特征数量不满足预设要求时，根据所述优选特征空间中的下一个特征空间层以及所述下一个特征空间层的相邻特征空间层，确定所述下一个特征空间层对应的空间层集合，并继续执行分别提取所述待匹配图像、所述已知图像在所述空间层集合中的SIFT特征后进行匹配的步骤，直至遍历所述优选特征空间中的特征空间层时结束。

2.根据权利要求1所述的基于优选空间的SIFT特征快速提取方法，其特征在于，所述将所有特征空间层按照所述配准特征数量依次排列，以形成优选特征空间，包括：

当所述特征空间层对应的配准特征数量为0时，剔除该特征空间层；

将配准特征数量不为0的特征空间层按照所述配准特征数量依次排列，以形成优选特征空间。

3.根据权利要求1所述的基于优选空间的SIFT特征快速提取方法，其特征在于，所述两个归一化图像分别为第一归一化图像和第二归一化图像；

所述对任意两个归一化图像各自分别对应的SIFT特征进行匹配，得到所述两个归一化图像的匹配特征对，包括：

针对所述第一归一化图像中每一个SIFT特征，搜索所述第二归一化图像中与该SIFT特征对应的第二最佳匹配特征和第二次佳匹配特征；

当该SIFT特征与所述第二最佳匹配特征的距离，以及该SIFT特征与所述第二次佳匹配特征的距离满足第一预设条件时，将所述第二最佳匹配特征作为第一候选配对特征；

搜索所述第一归一化图像中与所述第一候选配对特征对应的第一最佳匹配特征和第一次佳匹配特征；

当所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离满足第二预设条件时，将所述第一最佳匹配特征作为第二候选配对特征；

当所述第一归一化图像中该SIFT特征为所述第二候选配对特征时，则将该SIFT特征和所述第二最佳匹配特征作为所述两个归一化图像的匹配特征对。

4.根据权利要求3所述的基于优选空间的SIFT特征快速提取方法，其特征在于，所述第一预设条件为：该SIFT特征与所述第二最佳匹配特征的距离，以及该SIFT特征与所述第二次佳匹配特征的距离之比小于或等于85％；

所述第二预设条件为：所述第一候选配对特征与所述第一最佳匹配特征的距离，以及所述第一候选配对特征与所述第一次佳匹配特征的距离之比小于或等于85％。

5.根据权利要求1所述的基于优选空间的SIFT特征快速提取方法，其特征在于，所述根据所述优选特征空间中的第一个特征空间层以及所述第一个特征空间层的相邻特征空间层，确定所述第一个特征空间层对应的空间层集合之前，所述基于所述优选特征空间，对所述已知图像以及所述待匹配图像进行SIFT特征提取和匹配，还包括：

根据所述待匹配图像中的目标对所述待匹配图像进行归一化，得到待匹配归一化图像，并将所述待匹配归一化图像作为待匹配图像；

根据所述已知图像中的目标对所述已知图像进行归一化，得到已知归一化图像，并将已知归一化图像作为已知图像。

6.根据权利要求1所述的基于优选空间的SIFT特征快速提取方法，其特征在于，所述根据所有匹配特征对，确定各特征空间层各自分别对应的配准特征数量，包括：

当所述匹配特征对为误匹配的匹配特征对时，剔除所述误匹配的匹配特征对；

针对每一个匹配特征对，将该匹配特征对对应的两个特征空间的配准特征数量加一，以得到各特征空间层各自分别对应的配准特征数量。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images