CN106372111B - 局部特征点筛选方法及系统 - Google Patents

Abstract

本发明提供一种用于筛选局部特征点的方法，其包括基于原图像生成与其相似的多个相似图像；提取原图像和各个相似图像的局部特征点及其特征描述子；将原图像的局部特征点与各个相似图像中的局部特征点进行匹配，并将原图像中匹配成功的局部特征点的得分增加；选择原图像中得分高的前若干局部特征点作为最终保留的局部特征点。该方法通过分析所生成的相似图像与原图像之间的匹配结果，对不同的特征点进行了打分，量化了各个特征点在图像匹配中的贡献，以筛选出一系列高贡献的特征点，去除对图像检索匹配贡献较低的特征点，具有较好的鲁棒性，适合于大规模图像实时检索。

Description

局部特征点筛选方法及系统

技术领域

本发明涉及基于内容的图像检索技术，尤其涉及局部特征点筛选方法。

背景技术

互联网图像等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑战，对海量图像进行内容分析与检测的需求越来越大，图像拷贝检测、图像索引和基于内容的图像搜索引擎等技术应运而生。目前这些技术中通常使用局部特征点(Local feature point)特征作为图像内容的特征。局部特征就是从图像的局部结构出发，用局部信息来构造出具有光照、几何变换不变性的描述子，局部特征不依赖于图像分割的结果因而其对于遮挡，重叠等情况具有良好的鲁棒性，已经在图像检索获得了广泛应用。

局部特征主要分为特征检测子和特征描述子两部分，特征检测子主要用来在图像中定位出感兴趣的点，这些点往往有较强的区分性，在图像中往往是变化剧烈的点或者其他有特色的点，例如角点，斑点和T型交叉点，总之这些点能有效地区分不同的图像。特征描述子是用来描述所定位出的每个兴趣点的特征，从而形成一个特征向量，表示图像特定区域的信息。检测子往往拥有位置，主方向，尺度等信息，而描述子常用一个高维向量表示(也称为特征向量)。局部特征的基本原理是首先检测出图像的特征点，而后基于特征点和它的邻域信息构造出稳健的特征向量(即描述子)，最后将图像匹配的问题转换为特征向量的度量问题。根据局部特征理论两幅图像之间的相似度可以用两幅图像的特征向量之间的距离来度量。简言之，两幅图像间匹配成功的特征点数目越多这两幅图像之间的相似度也就越高。

然而，从图像所提取的局部特征点中往往存在很多无效的特征点，尤其是对检索没有贡献的特征点，不但占用了大量的内存和磁盘空间，影响后续检索匹配的速度，还可能导致区分度下降。通常可以通过去除那些空间分布距离相近且特征描述子相似的特征点来进行特征点筛选，如Fast中的非极大值抑制。但是，图像中特征点密度高的区域可能在相似图像检索匹配中扮演了重要的角色，直接去除这些特征点，可能导致后续图像匹配失败。如何从大量的局部特征点中筛选出鲁棒且有利于图像检索匹配的特征点依然是大规模图像检索系统中的难点。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的局部特征点筛选方法及系统。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种用于筛选局部特征点的方法，包括：

步骤1，基于原图像生成与其相似的多个相似图像；

步骤2，提取原图像和各个相似图像的局部特征点及其特征描述子；

步骤3，对于每个相似图像，将原图像的局部特征点与该相似图像中的局部特征点进行匹配，并将原图像中匹配成功的局部特征点的得分增加；

步骤4，选择原图像中得分高的前若干局部特征点作为与该原图像对应的局部特征点。

在上述方法中，在所述步骤1可以通过对原图像进行下列处理之一或下列处理的任一组合来生成相似图像：高斯模糊处理，亮度变化处理，旋转变化处理，图像质量退化处理，尺度变化处理，裁剪变化处理，对比度变化处理、伸缩变化处理。

在上述方法中，在所述步骤3中，对于每个相似图像，原图像中匹配成功的局部特征点增加的得分可以为：原图像中局部特征点总数和原图像中与该相似图像的局部特征点匹配成功的局部特征点的总数的比值。

在上述方法中，在所述步骤3中，对于每个相似图像，可以将原图像中与该相似图像的局部特征点匹配成功的局部特征点的得分增加1分。

在上述方法中，在所述步骤4所选择的局部特征点的数量可以占原图像中局部特征点总数的60-80％。

在上述方法中，在所述步骤4所选择的局部特征点的数量可以占原图像中局部特征点总数的30-50％。

在上述方法中，在所述步骤3可以通过计算两个局部特征点的特征描述子之间的距离来判断这两个局部特征点是否匹配。

在上述方法中，所述局部特征点的特征描述子可以是二进制描述子，所述两个局部特征点的特征描述子之间的距离可以是海明距离。

又一方面，本发明提供了一种用于筛选局部特征点的系统，包括

相似图像生成装置，用于基于原图像生成与其相似的多个相似图像；

特征提取装置，用于提取原图像和各个相似图像的局部特征点及其特征描述子；

特征匹配装置，用于对于每个相似图像，将原图像的局部特征点与该相似图像中的局部特征点进行匹配，并将原图像中匹配成功的局部特征点得分增加；

特征筛选装置，用于选择原图像中得分高的前若干局部特征点作为与该原图像对应的局部特征点。

在上述系统中，对于每个相似图像，原图像中匹配成功的局部特征点增加的得分可以为：原图像中局部特征点总数和原图像中与该相似图像的局部特征点匹配成功的局部特征点的总数的比值。

与现有技术相比，本发明的优点在于：

基于原图像自动生成多个相似图像，通过分析所生成的相似图像与原图像之间的匹配结果，对不同的特征点进行了打分，量化了各个特征点在图像匹配中的贡献，以筛选出一系列高贡献的特征点，去除对图像检索匹配贡献较低的特征点，从而有利于后续的特征匹配检索操作。该方法具有较好的鲁棒性，适合于大规模图像实时检索。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的用于筛选局部特征点的方法的流程示意图；

图2为根据本发明实施例的相似图像提取示意图；

图3为原图像与相似图像特征点提取示意图；

图4为根据本发明实施例的原图像与相似图像匹配过程示意图；

图5为根据本发明实施例的原图像与相似图像匹配过程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1给出了本发明的一个实施例的筛选局部特征点的方法的流程示意图。该方法主要包括基于原图像生成与其相似的多个图像(下文简称为相似图像)，便于后续匹配；分别提取原图像和各个相似图像的局部特征点(下文也可简称为特征点)，并计算其特征描述子；然后将原图像依次与各个相似图像进行匹配，将原图像中与相似图像匹配的特征点得分增加；在所有相似图像分别匹配完后，选择原图像中得分最高的若干特征点作为最终保留的特征点。

更具体地，在步骤101中，对原图像进行处理，生成与其相似的多个相似图像，如图2所示。在本文中，原图像是相对于后续生成的相似图像而言的，其实际上就是待处理的图像。可以使用一种或多种常见的图像处理算法来生成相似图像，例如包括但不限于高斯模糊处理，亮度变化(变亮/变暗)处理，旋转变化处理，图像质量退化处理，尺度变化处理，裁剪变化处理，对比度变化处理，伸缩变化处理等等。同一种图像处理算法依据算法参数不同可以有多个相似图像，例如不同的高斯模糊方差可以有多个相似图像，不同的尺度变化也可以有多个相似图像。此外，还包括上述几种基本变化的混合变化，例如，相似图像进行方差为20的高斯模糊，亮度提升50％，裁剪20％，旋转90％，长宽变为原来的1/4的混合变化。优选地，对各种变化均可选取高中低三个参数从而得到三个相似图像。

接着在步骤102，对原图像和相似图像分别检测特征点(如图3所示)，并计算相应特征描述子。特征点检测的方法可以使用Sift，Surf等具有较强鲁棒性的检测子，也可以使用Fast，Harris等快速的角点检测方法。特征描述子的计算可以使用基于梯度的实值描述子，主要有SIFT，SURF等，实数描述子的每个特征分量都是一个实数；或者也可以使用基于点对比较的二进制描述子，主要有ORB，BRIEF，BRISK，FREAK等，二进制描述子的每个特征分量都是二进制0或1。具体的特征点检测和描述子计算可以依据不同的图像检索需求选取，只要与后续用于待检索图像的检索算法相同即可。

在步骤103中，将原图像与每个相似图像依次进行匹配。也就是对于每个相似图像，将原图像的局部特征点依次与该相似图像中的局部特征点进行匹配。通常可以通过计算两个局部特征点的特征描述子之间的距离来判断这两个局部特征点是否匹配；例如当二者的特征描述子之间的距离小于设定的阈值时，则认为这两个局部特征点匹配成功。例如对于二进制描述子，可以通过计算海明距离来判定是否匹配。这里所设定的阈值可以根据实际需求来灵活设置。如果原图像中某个局部特征点与相似图像中某个局部特征点相匹配，则将与原图像中该匹配成功的特征点相关的得分增加。与原图像中各特征点的相关的得分初始化为0，例如，如表1所示，可以初始化一张得分表，其长度为原图像中检测到的特征点的数目，这里假定在步骤102中从原图像检测到15个特征点。

表1

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
															0	0	0	0	0	0	0	0	0	0	0	0	0	0	0

具体匹配过程如图4和图5所示。首先，将原图像与相似图像1进行匹配，如图4所示，原图像中有5个特征点与相似图像1中特征点匹配成功(在图4中以连线标识匹配的特征点)，这里假定原图像中序号为3、4、9、12、14的特征点匹配成功。在一个实施例中，将原图像中匹配成功的特征点得分分别增加1；例如，可以将序号3、4、9、12、14的特征点的对应得分分别增加1分。在优选的实施例中，原图像中匹配成功的特征点得分增加情况依据原图像特征点与各个相似图像特征点匹配数量不同而有所区别；例如可以将与相似图像1匹配成功的原图像中序号3、4、9、12、14的特征点的对应得分增加(原图像中特征点总数/原图像中匹配成功的特征点总数)分。仍以表1中给出的特征点为例，得分表中相应特征点得分增加15/5＝3分，如表2所示。

表2

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
															0	0	3	3	0	0	0	0	3	0	0	3	0	3	0

接着，将原图像与相似图像2进行匹配，其结果如图5所示，仅有3个特征点匹配上，假定原图像中序号为6、9、14的特征点匹配成功，则相应特征点得分增加15/3＝5分。这样，最新的得分情况如表3所示。

表3

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
															0	0	3	3	0	5	0	0	8	0	0	3	0	8	0

依次类推，将所生成的每个相似图像都分别与原图像按上述类似过程进行匹配，该特征得分表中各特征点的得分会不断被更新，直到遍历完所有相似图像为止。在该优选的实施例中，原图像与各个相似图像匹配成功的特征点得分增加情况不同。这是因为发明人考虑到相比图4中的5个特征点，图5中匹配上的3个特征点鲁棒性更强，在其余15-3＝12个特征点都失效的情况下，它们依然维持不变，因此其得分增加的幅度比较大。通过这种得分计算方式使得鲁棒性高的特征点得分也比较高，而基于这样选择的特征点进行图像检索的鲁棒性也会得到改善。应指出，上述特征点数量和表格长度仅是为了举例说明方便，在实际的系统中，得分表长度往往达到几百，最终的得分也可能在一定程度上呈现高斯分布。

在原图像与所有生成的相似图像分别匹配完后，在步骤104从原图像中选择得分最高的若干特征点作为最终保留的特征点。例如将最终得到的得分表中各个得分由高到低排序，然后依据需求保留一定数量的高得分特征，例如，选取20％的特征点，即从15个特征点中保留3个得分最高特征点，假定序号分别为6,9,14的特征点，然后把相应的特征点以及描述子信息写入特征文件，这样就可以用保留的局部特征点来代替整幅图像，达到了减少特征的目的，便于后续匹配。此外，最终选取多少的特征可以依据图像的重要性来区分，比较重要的图像，可以保留较多的特征，这个比例可以设定在60-80％，普通的图像，为了减少特征数量可以设定在30-50％。如果选取过少的特征点，容易导致图像匹配的召回率和准确率大幅度下降，优选地，可保留30％的特征点。

通过上述实施例可以看出，本发明的方法在相似图像生成阶段，是基于原图像来自动生成多个相似图像，原图像与相似图像之间关联性很强且不需要手工标定图像是否相似，既提高了特征点匹配的准确程度又节约了人力成本，更适用于大规模图像检索。在匹配打分阶段，依据特征点在多个相似图像中匹配数量的不同进行打分，量化各个特征点在图像匹配中的贡献，便于后续筛选。发明人还进行了实验，在该实验中采用二进制描述子，通过计算海明距离进行特征点匹配。实验结果表明，相比采用保留100％的特征点进行图像检索或匹配，采用本发明的方法筛选的30％的局部特征点进行图像检索或匹配时，准确率和召回率仅仅下降不到3％，但计算效率却提高了4倍。可见，本发明的方法可以大幅度减少特征点的数量，非常适合大规模图像实时检索平台。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (6)

1.一种用于筛选局部特征点的方法，包括：

步骤1，基于原图像生成与其相似的多个相似图像；

步骤2，提取原图像和各个相似图像的局部特征点及其特征描述子；

步骤3，对于每个相似图像，将原图像的局部特征点与该相似图像中的局部特征点进行匹配，并将原图像中匹配成功的局部特征点的得分增加，其中通过计算两个局部特征点的特征描述子之间的距离来判断这两个局部特征点是否匹配；

步骤4，选择原图像中得分高的前若干局部特征点作为与该原图像对应的局部特征点；

其中在所述步骤3中，对于每个相似图像，原图像中匹配成功的局部特征点增加的得分为1分或者为：原图像中局部特征点总数和原图像中与该相似图像的局部特征点匹配成功的局部特征点的总数的比值。

2.根据权利要求1所述的方法，在所述步骤1中，通过对原图像进行下列处理之一或下列处理的任一组合来生成相似图像：高斯模糊处理，亮度变化处理，旋转变化处理，图像质量退化处理，尺度变化处理，裁剪变化处理，对比度变化处理， 伸缩变化处理。

3.根据权利要求1所述的方法，在所述步骤4中，所选择的局部特征点的数量占原图像中局部特征点总数的60-80％。

4.根据权利要求1所述的方法，在所述步骤4中，所选择的局部特征点的数量占原图像中局部特征点总数的30-50％。

5.根据权利要求1所述的方法，所述局部特征点的特征描述子为二进制描述子，所述两个局部特征点的特征描述子之间的距离为海明距离。

6.一种用于筛选局部特征点的系统，包括：

相似图像生成装置，用于基于原图像生成与其相似的多个相似图像；

特征提取装置，用于提取原图像和各个相似图像的局部特征点及其特征描述子；

特征匹配装置，用于对于每个相似图像，将原图像的局部特征点与该相似图像中的局部特征点进行匹配，并将原图像中匹配成功的局部特征点得分增加，其中通过计算两个局部特征点的特征描述子之间的距离来判断这两个局部特征点是否匹配；

特征筛选装置，用于选择原图像中得分高的前若干局部特征点作为与该原图像对应的局部特征点；

其中对于每个相似图像，原图像中匹配成功的局部特征点增加的得分为1分或者为：原图像中局部特征点总数和原图像中与该相似图像的局部特征点匹配成功的局部特征点的总数的比值。

Images