CN112183553B - 一种确定场景下sift特征的快速提取方法 - Google Patents

Abstract

本发明公开了一种确定场景下SIFT特征的快速提取方法，包括学习阶段和应用阶段。学习阶段，对确定场景下的目标图像提取SIFT特征，进行图像间的SIFT特征配准，并根据配准结果提取有效尺度空间；应用阶段，提取有效尺度空间下目标图像的SIFT特征，进行匹配并配准。能够有效地减少冗余特征点的提取，提高SIFT算法提取特征的效率，同时明显提高配准速度和特征点正确匹配率。

Description

一种确定场景下SIFT特征的快速提取方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种确定场景下SIFT特征的快速 提取方法。

背景技术

机器视觉是用计算机模拟人的视觉功能，来实现分类、测量、定位和检测 等任务，广泛应用于医疗图像分析、汽车车身检测、瓶装啤酒生产流水线和金 属板表面系统控伤等系统中。在这些应用中，图像匹配是重要的图像分析技术 之一。通过目标图像与实时图像匹配，可以实现图像之间的比对，进而可以实 现物体的测量、定位和检测等。图像匹配主要分为基于区域的方法和基于特征 的方法。基于区域的方法通过计算图像块之间的相关性进行匹配，对图像的灰 度变化、尺度变化和角度变化适应性较差，应用场景较少。基于特征的方法通 过比对特征点位置处的特征以及特征点的空间关系，克服上述问题，在各种场合应用广泛。SIFT算法是基于特征的图像匹配经典方法。

SIFT算法是由哥伦比亚大学的Lowe教授提出的特征提取方法，对旋转、 尺度缩放、亮度变化保持不变性，对视角变化、仿射变换和噪声也保持一定程 度的稳定性，在图像配准领域得到了广泛的应用。SIFT特征点为尺度空间和图 像空间的局部极值点，SIFT特征描述符提取特征点邻域的统计特征，因此SIFT 特征具有很强的稳定性和可靠性，已广泛用于基于图像配准的应用中。SIFT特 征的稳定性和可靠性是通过搜索大范围的尺度空间和图像空间获得的，算法计 算复杂度较高，提取特征时间较长，这制约了SIFT特征的应用。

针对该问题，提出了很多改进算法。Yan Ke等人提出了PCA-SIFT算法， 利用PCA把SIFT特征描述符从128维降低到20维，降低了SIFT特征描述符的 计算复杂度。Herbert Bay等人提出SURF算法，使用Hessian矩阵构造尺度空 间，并在尺度空间内寻找极值点，大大提高了图像特征提取的速度。Stefan Leutenegger等人提出BRISK算法，给出了一种新的构建特征描述符的方式， 首先在特征点周围利用均匀采样模式进行采样，然后利用特征点局部邻域内的 随机采样点对的灰度大小关系来建立二值特征描述符，降低了特征描述符的复杂度。Ethan Rublee等人提出ORB算法，作者将FAST特征点检测算法与BRIEF 特征描述符算法结合起来，实现图像间快速配准。Alexandre Alahi等人提出 FREAK算法，作者在BRISK算法的基础上提出了一种新的二进制串特征描述符， 该算法采用了更为接近于人类视网膜接受图像信息的采样模式对特征点进行描 述，从而实现图像的高效配准。

上述改进算法相对SIFT算法速度较快，但是特征配准精度相对较低。SIFT 算法较高的配准精度使其受到业界青睐，但是因其较高的算法复杂度而没有得 到广泛的应用。本申请针对实际应用问题，对SIFT算法进行改进。通过学习获 得确定场景下SIFT特征的有效尺度空间，从而将SIFT特征的提取集中在有效 尺度空间进行，而避免全尺度空间的计算。在保持SIFT算法高匹配精度的同时， 降低其计算复杂度，满足特定环境下对图像精准快速配准的需要。

发明内容

针对SIFT特征提取数据量较大，计算复杂度较高的问题，本发明提供一种 确定场景下SIFT特征的快速提取方法，以减少冗余特征点的提取，提高SIFT 算法提取特征的效率，提高配准速度和特征点正确匹配率。

一种确定场景下SIFT特征的快速提取方法，包括学习阶段和应用阶段；学 习阶段，对确定场景下的目标图像提取SIFT特征，进行图像间的SIFT特征配 准，并根据配准结果提取有效尺度空间；应用阶段，提取有效尺度空间下目标 图像的SIFT特征，进行匹配并配准。

进一步地，学习阶段，统计每个特征空间层配准特征数量，根据配准特征 数量较大的若干特征空间层确定有效尺度空间。

进一步地，根据有效特征空间层，生成有效DOG空间层，进而生成最终的 有效尺度空间。

进一步地，对确定场景下的目标图像提取SIFT特征的方法为：

采集在特定场景下，包含前景物体的K幅图像，构造学习样本集 φ＝{I_k,k＝1,2,…,K}；

根据图像分辨率M和N，确定尺度空间最大组数O，从而确定SIFT特征尺 度空间层数为L＝O×(S+3)，相应的DOG空间层数为D＝O×(S+2)，相应的SIFT 特征空间层数为T＝O×S，其中S为特征空间每组图像层数；

对每一幅图像I_k，提取其SIFT特征，同时记录每一个SIFT特征对应的特 征空间层，记为F_k＝{(f_k,p,(o_k,p,s_k,p)),p＝1,2,…,P_k}，其中f_k,p为SIFT特征， o_k,p∈{0,1,…,O-1}为对应的组，s_k,p∈{1,2,…,S}为对应的层，P_k为第k幅图像提取的 SIFT特征的数量。

进一步地，现图像间的SIFT特征配准具体方法为：

遍历图像I_k1∈φ，I_k2∈φ，k1≠k2，基于SIFT特征进行配准，若f_k1,pk1和f_k2,pk2为配准特征对，其对应的组分别为o_k1,pk1和o_k2,pk2，层分别为s_k1,pk1和s_k2,pk2，则累 加器h(o_k1,pk1,s_k1,pk1)和h(o_k2,pk2,s_k2,pk2)分别加1，获得SIFT特征配准确定的累加器

提取有效特征空间其中n值根据实际需要确定。

进一步地，初始化累加器h＝{(o,s)|o＝0,1,…,O-1；s＝1,2,…,S}为零。

进一步地，对于每一个有效特征空间层(o_i,s_i)∈TS^*，确定有效DOG空间层 (o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)，进而确定尺度空间层(o_i,s_i-1)，(o_i,s_i)，(o_i,s_i+1)和 (o_i,s_i+2)，并剔除重复的尺度空间层，从而获得最终的有效尺度空间L^*。

进一步地，在应用阶段，将原始图像变换到学习得到的有效尺度空间，并 进行SIFT特征的提取。

进一步地，在应用阶段的SIFT特征匹配和配准中，对于特征空间层(o_i,s_i)特 征匹配或配准，搜索特征空间层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)。

进一步地，本方法应用于污损硬币检测。

与现有技术相比，本发明的有益效果在于：

本发明在确定场景下，能够有效地减少冗余特征点的提取，一方面避免大 范围无效尺度空间的计算，提高了SIFT特征提取的效率；另一方面，SIFT特 征的匹配仅在相邻的特征空间进行，也大大提高了特征配准的可靠性。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面对本发明具体实施例 作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本 发明，而非对本发明的限定。

本发明中“确定场景”是指背景不变，前景物体在图像中存在位置和角度 上的变化，而尺度基本不变。在本发明实施例中，以污损硬币检测为例具体说 明确定场景下SIFT特征的快速提取方法，在本实施例中，相机固定在硬币输送 带的上方，采集待检测硬币图像和标准硬币图像进行比对，来检测硬币中的污 渍和划痕等。方法实现主要分为学习阶段和应用阶段。

在学习阶段，确定SIFT特征提取有效尺度空间，按照下述方式进行。

(1)采集在污损硬币检测应用场景下，包含前景物体的K幅图像，构造学 习样本集φ＝{I_k,k＝1,2,…,K}。在本实施例中，采集5幅硬币图像构建学习样本集 合，所有图像大小为1600×1200。

(2)根据图像分辨率M和N，确定尺度空间最大组数O。其决定于公式(1)：

O＝log₂min(M,N)····················(1)

在每一组中，经高斯滤波得到的图像称为第s层图像，其中s∈{0,1,…,S+2}， S为特征空间每组图像层数；从而确定SIFT特征尺度空间层数L＝O×(S+3)。 由此构建高斯差分(Difference of Gaussian，DOG)金字塔，相应的DOG空间 层数为D＝O×(S+2)，特征空间层数为T＝O×S，并初始化累加器 h＝{(o,s)|o＝0,1,…,O-1；s＝1,2,…,S}为零；

(3)对每一幅图像I_k，提取其SIFT特征，同时记录每一个SIFT特征对应 的特征空间层，记为F_k＝{(f_k,p,(o_k,p,s_k,p)),p＝1,2,…,P_k}，其中f_k,p为SIFT特征， o_k,p∈{0,1,…,O-1}为对应的组，s_k,p∈{1,2,…,S}为对应的层，P_k为第k幅图像提取的 SIFT特征的数量。

SIFT算法取空间的局部极值点为特征点，在高斯差分金字塔中，将每一个 像素点和它所有的26个相邻点比较，从而获得尺度空间和图像空间的局部极值 点；SIFT描述符是特征点邻域高斯图像梯度统计结果的一种表示。SIFT算法通 过对特征点周围图像区域分块，计算块内梯度直方图，从而生成具有独特性的 特征描述符；为了检测局部极值点，SIFT算法需要遍历O×S层特征空间中的每 个点，并对检测到的特征点生成SIFT描述符。

(4)遍历图像I_k1∈φ，I_k2∈φ，k1≠k2，基于SIFT特征进行配准，若f_k1,pk1和f_k2,pk2为配准特征对，其对应的组分别为o_k1,pk1和o_k2,pk2，层分别为s_k1,pk1和s_k2,pk2， 则累加器h(o_k1,pk1,s_k1,pk1)和h(o_k2,pk2,s_k2,pk2)分别加1，获得SIFT特征配准确定的累加 器

(5)提取有效特征空间此处的n值可根据 实际需要确定。

(6)根据有效特征空间TS^*，生成最终的有效尺度空间L^*。SIFT算法取局 部极值点为特征点。在特征空间层(o_i,s_i)获得的特征点，其计算要基于DOG空间 层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)的数据进行。因此，对于每一个特征空间层(o_i,s_i)∈TS^*， 需要确定DOG空间层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)，进而确定尺度空间层(o_i,s_i-1)，(o_i,s_i)，(o_i,s_i+1)和(o_i,s_i+2)。合并所有尺度空间层，并剔除重复的尺度空间层， 从而生成最终的有效尺度空间L^*。

对应学习样本集图像中的每一幅，和其他图像分别提取SIFT特征，并进行配准。统计上述操作在不同特征空间的结果，如下表1所示，为学习样本集图 像在7组特征空间下平均的SIFT特征提取、匹配和配准结果。本实施例中提取 有效特征空间在本例中n取5。因此，特征空间 层(3,1)为有效特征空间层，由其确定的有效DOG空间层为(3,0)，(3,1)和(3,2)， 有效尺度空间层为(3,0)，(3,1)，(3,2)和(3,3)；特征空间层(3,2)为有 效特征空间层，由其确定的有效DOG空间层为(3,1)，(3,2)和(3,3)，有效 尺度空间层为(3,1)，(3,2)，(3,3)和(3,4)。将二者合并，并剔除重复尺度 空间层，生成最终的有效尺度空间为{(3,0),(3,1),(3,2),(3,3),(3,4)}。

表1

从表1可以看出，尽管在前几个特征空间层下可以得到大量的特征点，但 匹配点对数却很少，配准点对数甚至为0。可以认为，尽管这几个特征空间层 对应的图像分辨率较高，但提取的特征为场景或物体实例图像所具有的特征， 甚至其中某些可能是噪声。这几个特征空间层对应的图像分辨率较高，而又没 有生成有效的特征点，是对计算资源的一种浪费；

进一步可以看到，在中间几个特征空间层下可以得到适量的特征点。这些 特征点产生较多数量的匹配点对，且其中绝大部分的特征点对是正确的。可以 认为：在适当的图像分辨率或尺度空间下，所提取的特征点是场景或物体相关 的，能够表达场景或物体所具有的局部特性。在这样的尺度空间提取SIFT特征， 能够对场景或物体进行准确表述，利于SIFT特征的应用。也就是说，在这样尺 度空间提取SIFT特征是高效的。

最后可以看到，在后几个特征空间层下的特征点稀少，而且提取的特征点 基本上没有正确匹配点对。可以认为：这几组特征空间对应的图像分辨率较低， 不足以生成表述场景或物体相关的特征。尽管这几组特征空间对应图像分辨率 较低，提取特征计算量相对较少，但是这几组特征空间基本上不能产生有效的 匹配特征，因此，对这几组特征空间的计算也是不必要的。

综上，对于特定场景下SIFT特征的提取，绝大部分尺度空间下的计算是无 意义的，有效的SIFT特征仅来源于分辨率适当的少数几个尺度空间，该尺度空 间决定于不同物体之间的SIFT特征配准点对数。通过学习，获得SIFT特征提 取的有效尺度空间，仅在有效尺度空间提起SIFT特征并进行配准，会极大提高 SIFT特征提取和配准的效率。

在应用阶段，采集一幅全新硬币作为标准硬币图像，提取有效尺度空间的 SIFT特征，用于比对。采集待检测硬币图像，提取有效尺度空间的SIFT特征， 将待检测硬币图像SIFT特征和标准硬币图像SIFT特征进行匹配并配准，通过 比较两幅图像像素之间的差异并进行后处理，来检测硬币是否有污渍或划痕。 具体方法如下。

(1)SIFT特征提取。将待检测硬币原始图像只变换到学习得到的有效尺度空 间，并进行SIFT特征的提取。

(2)SIFT特征匹配和配准。对于特征空间层(o_i,s_i)的需要匹配或配准的特征， 只搜索特征空间层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)，并基于此进行匹配和配准。由于 确定场景下，不同物体实例尺度是相似的。因此对于某个物体在特征空间层 (o_i,s_i)上存在的特征，在其他物体实例上，该特征只能存在于特征空间层(o_i,s_i-1)， (o_i,s_i)和(o_i,s_i+1)。这样策略既可以减小计算的复杂度，又可以提高算法的正确 性。

通过与经典SIFT算法对比实验验证，采用经典SIFT算法的特征点的有效 匹配率为0.68％，正确匹配的特征点个数占总匹配特征点的一半左右；采用本 方法的有效匹配率可达到14.41％，并且正确匹配的特征点接近总匹配特征点数。 经典SIFT算法平均的配准时间达100s左右，而本文方法平均的配准时间为 0.2s多一点，大大提高了SIFT特征提取配准的效率。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各 种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通 过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实 施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本 发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种确定场景下SIFT特征的快速提取方法，其特征在于：

包括学习阶段和应用阶段；

学习阶段，对确定场景下的目标图像提取SIFT特征，进行图像间的SIFT特征配准，并根据配准结果提取有效尺度空间；

对确定场景下的目标图像提取SIFT特征的方法为：

采集在特定场景下，包含前景物体的K幅图像，构造学习样本集φ＝{I_k,k＝1,2,Λ,K}；

根据图像分辨率M和N，确定尺度空间最大组数O，从而确定SIFT特征的尺度空间层数为L＝O×(S+3)，相应的DOG空间层数为D＝O×(S+2)，相应的SIFT特征空间层数为T＝O×S，其中S为特征空间每组图像层数；

对每一幅图像I_k，提取其SIFT特征，同时记录每一个SIFT特征对应的特征空间层，记为其中f_k,p为SIFT特征，o_k,p∈{0,1,Λ,O-1}为对应的组，s_k,p∈{1,2,Λ,S}为对应的层，P_k为第k幅图像提取的SIFT特征的数量；

图像间的SIFT特征配准具体方法为：

遍历图像I_k1∈φ，I_k2∈φ，k1≠k2，基于SIFT特征进行配准，若f_k1,pk1和f_k2,pk2为配准特征对，其对应的组分别为o_k1,pk1和o_k2,pk2，层分别为s_k1,pk1和s_k2,pk2，则累加器h(o_k1,pk1,s_k1,pk1)和h(o_k2,pk2,s_k2,pk2)分别加1，获得SIFT特征配准确定的累加器

提取有效特征空间其中n值根据实际需要确定；

初始化累加器h＝{(o,s)|o＝0,1,Λ,O-1；s＝1,2,Λ,S}为零；

应用阶段，提取有效尺度空间下目标图像的SIFT特征，进行匹配并配准。

2.如权利要求1所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：在学习阶段，统计每个特征空间层配准特征数量，根据配准特征数量较大的若干特征空间层确定有效尺度空间。

3.如权利要求2所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：根据有效特征空间层，生成有效DOG空间层，进而生成最终的有效尺度空间。

4.如权利要求3所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：对于每一个有效特征空间层(o_i,s_i)∈TS^*，确定有效DOG空间层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)，进而确定尺度空间层(o_i,s_i-1)，(o_i,s_i)，(o_i,s_i+1)和(o_i,s_i+2)，并剔除重复的尺度空间层，从而获得最终的有效尺度空间L^*。

5.如权利要求1-4任一项所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：在应用阶段，将原始图像变换到学习得到的有效尺度空间，并进行SIFT特征的提取。

6.如权利要求5所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：在应用阶段的SIFT特征匹配和配准中，对于特征空间层(o_i,s_i)特征的匹配或配准，搜索特征空间层(o_i,s_i-1)，(o_i,s_i)和(o_i,s_i+1)。

7.如权利要求1-4任一项所述的一种确定场景下SIFT特征的快速提取方法，其特征在于：本方法应用于污损硬币检测。