CN107223242A - 高效的局部特征描述符过滤 - Google Patents

Abstract

本公开总体上涉及用于在多个已存储图像中搜索相似图像的方法和计算机程序产品，并且尤其涉及一种在基于内容的图像取得系统中使用的方法和计算机程序产品，其中大致相似的图像被聚类并且基于在聚类中的图像中的特征向量的匹配频率来过滤经聚类的图像的特征向量。

Description

高效的局部特征描述符过滤

技术领域

本公开总体上涉及用于在多个已存储图像中搜索相似图像的方法和计算机程序产品，并且尤其涉及在基于内容的图像取得系统中使用的方法和计算机程序产品，其中大致相似的图像被聚类并且基于聚类中的图像中的特征向量的匹配频率来过滤经聚类的图像的特征向量。

相关申请的交叉引用

本申请要求于2015年2月9日提交的美国专利申请号14/617,373的优先权，在此通过引用结合其全部公开内容。

背景技术

在多个图像中搜索与特定图像相似的图像在当今的图像取得系统中是好用的特征。大多数传统的和普遍的图像取得方法利用某种人工图像注释方法，其依赖于人向图像人工地增加诸如关键词之类的元数据，使得可以经由该元数据词来执行取得。人工图像注释是费时的、艰巨的且昂贵的。

作为替代，可以使用基于内容的图像取得(CBIR)系统。在这种系统中，计算在系统中每个图像的特征描述符。在这种CBIR系统中常常出现的一个问题是将来自一个图像的所有特征描述符与来自所有其它图像的特征描述符相比较的绝对计算复杂性。使用最普遍的特征描述符之一，SIFT(比例不变特征变换)可以对单个图像产生超过20000个描述符。将图像中的20000个SIFT向量与系统中的所有图像(例如10000个图像)中的相同数量的向量相比较导致非常高的计算负载以及缓慢的CBIR系统。

从而希望减小计算负载并且提高CBIR系统的速度。

发明内容

本发明总体上旨在消除或至少减少上面讨论的问题以及其它问题。这利用依照所附独立权利要求的方法和软件来实现。

依照第一方面，本发明由一种用于在多个已存储图像中搜索相似图像的方法来实现，所述方法包括步骤：对于每个已存储图像，计算表示已存储图像的内容的仅一个特征向量，通过使用针对每个图像计算的一个特征向量来计算在多个已存储图像的每个已存储图像之间的距离量度，基于所计算的距离量度，将多个已存储图像聚类到已存储图像的一个或多个聚类中，其中，每个聚类包括一个或多个已存储图像。

所述方法进一步包括：对于包括多个已存储图像的每个聚类，并且对于所述聚类中的每个已存储图像，计算多个特征向量，每个特征向量表示已存储图像的内容。

方法中的下一步骤是在聚类中的所有已存储图像的多个特征向量之间执行匹配操作，以及基于匹配操作的结果，过滤在至少阈值数目个已存储图像之间匹配的特征向量，并且存储经过滤的特征向量。

然后取得应找到相似图像的图像，并且计算所取得图像的多个附加特征向量。然后使用一个或多个聚类中的至少一个的存储过滤特征向量以及附加特征向量来在多个已存储图像中找到相似的图像。

按照术语，“特征向量”在本公开的范围内应被理解为定义图像的特征描述符中的一个特征描述符或特征描述符的组合。特征向量可以具有任何维度。描述符的例子可以是图像中的颜色直方图，或者一组SIFT/SURF向量。

按照术语，“距离量度”在本公开的范围内应被理解为用于定义当考虑图像的内容时两个图像有多相似。通过使用特征向量来计算这种距离量度，当计算距离量度时不考虑诸如图像中的噪声或树叶等在图像之间的位置的小差异这样的无关的东西。

本发明是基于以下认识，即，通过利用聚类，其中相似的图像已经被分组到一起，通过向有关特征引导过滤算法(SIFT，SURF或其它特征描述符)，可以实现高效的特征向量或特征描述符过滤。最后这将产生非常快且准确的图像取得系统，其中可以找到相似的对象、面部、建筑物等。

通过使用仅一个特征向量来将多个图像聚类到一个或多个聚类中，实现了用于聚类大致相似的图像的迅速且计算高效的方法。一个特征向量应有益地表示图像的全局描述符，诸如图像的颜色直方图。在这种情况下，可以对图像的降采样版本计算颜色直方图，或者可以聚类颜色直方图。

可以调整聚类使得在聚类内的图像之间的距离量度是小的或大的，这意味着聚类内的图像可以或多或少是相似的。

通过过滤出过滤出并非以图像的至少阈值百分比存在的特征向量，将去除大部分噪声，诸如在草地、水及没有描述有价值特征的其它运动纹理上的无意义的特征向量。然而，仍然保留描述在水中、在草地上等以及存在于聚类中的几个图像中的对象的特征向量。

依照第二方面，本发明提供了一种包括计算机可读存储介质的计算机程序产品，所述计算机可读存储介质具有适于当被具有处理能力的设备执行时实现如这里所描述的方法的指令。

根据以下详细公开、所附从属权利要求以及附图，本发明的其它目的、特征和优点将更加清楚。

通常，权利要求中的所有术语将依照它们在技术领域中的普通意义解释，除非这里另外明确地定义。对“一/一个/该[元件，设备，组件，装置，步骤等]”的所有引用将被公开解释为指代元件、设备、组件、装置、步骤等中的至少一个实例，除非另外明确地声明。

附图说明

参照附图通过本发明实施方式的以下说明性和非限制性详细描述，将更好地理解本发明的以上以及附加目的、特征和优点，其中相同的附图标记用于相似的元素，其中：

[图1]图1通过示例描述了用于对图像聚类并且去除在聚类中的至少阈值个图像之间不匹配的特征向量的方法；

[图2]图2通过示例描述了使用图1中描述的方法确定的聚类以及每个聚类的经过滤的特征向量怎样用于找到取得图像的相似图像；

[图3]图3通过示例描述了对于所取得的图像怎样找到匹配的聚类；

[图4]图4通过示例描述了对于所取得的图像怎样找到在图3的匹配聚类中的多个图像中的相似图像；

[图5]图5通过示例描述了以树形数据结构对聚类中的图像排序可以怎样提高找到所取得的图像的相似图像的速度。

具体实施方式

图1通过示例描述了用于聚类相似的图像以向有关的特征向量引导用于特征向量的过滤算法的示例方式。如上所描述的，这种方法可以有效地去除例如草地上、水上或其它移动纹理上的无意义的特征向量，这些特征向量不描述聚类中图像的有价值的特征。通过采用这种过滤，可以使在多个已存储图像中高效地搜索相似图像便于进行。方法的第一步骤是对于每个已存储图像计算S102表示已存储图像的内容的仅一个特征向量。该特征向量可以是全局特征向量，其依照良好方式描述了已存储图像的整体内容。存在许多适当的可用算法来计算这种全局特征向量。例如，可以计算图像的颜色直方图。全局特征向量的进一步示例是描述图像的小缩略图，例如降至64*64个像素大，或者像素值的直方图，例如被聚类到64、128或256个离散组中。根据一些实施方式，图像被划分为例如5x4个块的网格，并且对每个块计算颜色直方图。然后将颜色直方图(具有可选的经聚类的值)结合到一个特征向量中。

基于已存储图像的内插版本可以计算该仅一个特征向量。使用已存储图像的内插版本来计算全局特征向量具有几个优点。首先，它要求较少的计算机运算。其次，当执行内插时可以去除图像中不关注的特征，例如噪声。

下一步骤是通过使用针对每个图像计算的仅一个特征向量来计算S104在多个已存储图像中的每个图像之间的距离量度。此步骤可以包括计算在每个全局特征向量之间的欧几里德距离并且使用该距离作为距离量度。可以采用其他方式来计算距离量度，诸如平方欧几里得距离。

根据其它实施方式，当计算在两个图像之间的距离量度时，可以使用陆地移动距离(EMD)算法。例如，两个图像中的每个图像可以被划分为几个大区域(例如2x2块，3x2块等)，然后可以通过使用EMD算法来计算在块之间的颜色直方图的相似性。此方法对于颜色偏移的变化不是非常敏感，对于噪声也不敏感。

在计算S104距离量度之后，使用所计算的距离量度来执行S106聚类算法。这得到一个或多个聚类，每个聚类包括一个或多个已存储图像。可以使用任何适当的聚类算法，例如使用用于距离量度的硬阈值，使用最近邻算法，使用随机采样一致(RANSAC)算法等。

现在已创建了一个或多个聚类，其中，每个聚类包括彼此或多或少相似的图像，其依赖于所使用的聚类算法和用于计算距离的类型特征向量。在这些聚类内，现在可以计算然后过滤另外的特征向量以保留有关的特征向量以被存储。首先，对每个已存储图像计算S108多个特征向量。根据一些实施方式，这种特征向量已经是存在的从而不需要计算。当对每个图像计算S108多个特征向量时，每个特征向量可以表示图像中的子区域，例如局部特征向量。每个子区域对应于图像中存在关注点的区域，例如边缘，并且从此关注点，梯度可以被计算并且被用作特征向量。这种多个特征向量可以通过使用任何适当的特征检测算法来计算，例如通过使用来自以下列表中的一个或多个：比例不变特征变换匹配(SIFT)算法、加速鲁棒特征(SURF)算法、加速分割测试特征(FAST)算法和二进制鲁棒独立的基本特征(BRIEF)算法。

当计算了S108这种特征向量时，执行在聚类中的所有已存储图像的多个特征向量之间的匹配操作。该匹配操作可以包括计算在聚类中的所有图像的所有特征向量之间的距离量度(例如欧几里德距离)。随后，可以使用距离量度的硬阈值，或最近邻算法或使用随机采样一致(RANSAC)算法、比例测试等。根据一些实施方式，每个图像的特征向量的仅子集被用于匹配操作，使用例如RANSAC。这可以降低匹配过程的计算复杂性并且仍然使得找到大多数匹配特征向量。

基于匹配操作的结果，在至少阈值数目个已存储图像之间匹配的特征向量被保留或过滤S112以及被存储S114，而不匹配或只在阈值数目以下个已存储图像之间匹配的特征向量被丢弃。从而，实现图1中描述的方法的系统(例如CBIR系统)仅需要存储特征向量的小子集，这可以充分地减少资源使用。

这些所存储的特征向量然后可以用于搜索所取得的图像的相似图像。这在图2中示出。应注意的是，结合图1示出的步骤和在图2中示出的步骤不必须在时间上紧接着执行。换句话说，不同于当用户请求时执行的用于找到所取得的图像的相似图像的步骤，对图像进行聚类和过滤特征向量的步骤可以在完全不同时间进行，例如，每当实现方法的计算机系统处于低负载的时候。

在图2中，首先，取得S202应找到相似图像的图像。下一步骤包括计算所取得的图像的多个附加特征向量，有益地使用与在上面的步骤S108中使用的相同算法。

然后使用这些附加特征向量以及针对一个或多个聚类中的至少一个聚类的已存储的经过滤的特征向量，来在多个已存储图像中找到S206相似的图像。以下结合图3-图5示出了此步骤的示例性实现方式。

图3通过示例描述了可以怎样找到用于所取得的图像224的匹配聚类。如上所述已经计算S202针对所取得的图像224的多个附加特征向量f8。图3示出了图像的两个聚类210、218。第一聚类210包括四个图像202、204、206、208，其分别具有与图像相关联的一组特征向量f1-f4。例如，聚类210中的一个图像202与一组特征向量f1相关联，另外的图像204与另一组特征向量f3相关联等。作为上述匹配操作S110的结果这些特征向量被保留。

根据一些实施方式，通过还包括对已存储图像的引用，将一组特征向量与相应的图像相关联。换句话说，存储S114经过滤的特征向量的步骤可以包括：对于多个已存储图像202、204、206、208、212、214、216中的每个已存储图像，与对已存储图像的引用一起存储对应于已存储图像的内容的经过滤的特征向量f1-f7。

图3进一步包括第二聚类218，其包括3个图像212、214、216，其依照与上面结合第一聚类210描述的相同方式分别具有与图像相关联的一组特征向量f5-f7。

根据一些实施方式，存储S114经过滤的特征向量的步骤包括与对聚类的引用一起存储经过滤的特征向量。换句话说，针对聚类的特征向量连同对聚类的引用一起被分组。其效果在于当搜索所取得的图像的相似图像时可以得到整个聚类作为匹配聚类。这缩窄了对匹配聚类中图像的具体相似图像的搜索。

在图3中，对于两个聚类210、218示出了这样的特征向量组230、232。经过滤的特征向量f1-f4作为组230存储并且包括对聚类210的引用220。经过滤的特征向量f5-f7作为组232存储并且包括对聚类218的引用222。

通过使用如图3所示的这种设置，在多个已存储图像202、204、206、208、212、214、216中找到相似图像的步骤可以包括通过将附加特征向量f8与每个聚类的经过滤的特征向量f1-f4、f5-f7相比较226、228来找到匹配聚类。被选择为匹配聚类的聚类是其中在分组的特征向量230、232和附加特征向量f8之间的距离量度最小并且选择性地还在阈值距离量度以下的聚类。在没有找到匹配聚类的情况下(由于阈值距离量度低于从在可用的聚类210、218和附加特征向量f8之间的比较226、228来计算的距离量度)，可以不采用对相似的图像的进一步搜索，并且CBIR系统可以返回空图像或空值作为搜索结果。

图4描述了其中图3中的右聚类218被确定为匹配聚类的方案。在匹配聚类218中的图像212、214、216中对所取得的图像224的具体相似图像的搜索可以包括：对于匹配聚类中的至少一些图像，把附加特征向量f8与对应于已存储图像的内容的经过滤的特征向量f5-f7相比较302、304、306。在图4中，把聚类218中的所有图像212、214、216的经过滤的特征向量f5-f7与附加特征向量f8相比较302、304、306以找到接近匹配。比较可以包括使用聚类218中的图像212、214、216的特征向量f5-f7和附加特征向量f8来计算在聚类218中的所有图像212、214、216之间的距离量度。然后可以返回对应于最小距离量度的图像作为相似图像。

如上面结合图3所描述的，在两个图像的多个特征向量之间或在聚类的分组特征向量与所取得图像的一组特征向量之间的距离量度可以通过任何适当的方法来计算，例如使用用Matlab实现的SIFT匹配算法或欧几里德距离。总之，欧几里德距离可以在第一图像或聚类的所有特征向量与第二图像和聚类的所有特征向量之间计算，然后当计算在两个图像之间的最终距离量度时将忽略所有大的(超过阈值的)距离。另外的选项是如果针对每个图像计算多个不同类型的局部特征向量，则使用名为ADABOOST的通用架构来计算在两个图像之间的距离。

根据一些实施方式，当搜索相似图像时并且如果没有找到足够相似的图像，算法可以返回空图像，这意味着没有找到相似的图像。根据其它实施方式，算法始终返回最相似的图像。

应注意的是，根据一些实施方式，所取得的图像224被添加到匹配聚类，或添加到其中找到相似图像的聚类。在这种情况下，附加特征向量f8可以根据已经对此聚类实施的过滤来进行过滤，例如只保留在附加特征向量f8中的与聚类的所存储的经过滤的特征向量相匹配的特征向量。根据其它实施方式，对聚类中的每个已存储图像(包括所取得的图像224)进行新的过滤操作，计算均表示已存储图像的内容的多个特征向量，在聚类中的所有已存储图像的多个特征向量之间执行新的匹配操作，并且基于匹配操作的结果，通过过滤在至少阈值数目个已存储图像之间匹配的特征向量来执行新的过滤，并且存储经新过滤的特征向量。

为了进一步增加这里描述的CBIR系统的速度，每个聚类的图像可以被存储到树形数据结构中。这在图5中描述。

在图5中，聚类400中的图像402-414已经在树形数据结构中被排序。根据一些实施方式，基于所计算S104的距离量度在树形数据结构中排序聚类400中的多个已存储图像402-414以执行聚类。由于不需要执行进一步计算来确定图像之间的距离，所以这产生在树形数据结构中排序图像的高速算法。根据其它实施方式，基于聚类的经过滤的特征向量来计算新的距离量度。由于当计算在图像之间的距离量度时比仅是全局特征向量考虑的特征多，所以这可以产生较精确的排序。

通过在树形数据结构中对多个已存储图像402-414排序，应理解意思是多个图像402-414中的每个图像对应于树形数据结构中的节点，而且多个图像402-414中的一个图像对应于树形数据结构中的根节点。换句话说，与所有其它图像具有最短距离的图像将被选为“根”。将依照到根和彼此的距离量度来排序其余图像。这种排序是公知的并且留给本领域技术人员去实现。

在图5中，执行在附加特征向量f8与由对应于树形数据结构的根节点的图像402指代的特征向量f1之间的第一比较416。此比较416得到在应找到相似图像的所取得的图像424和图像402之间的距离量度。随后，根据相同方式在所取得的图像424和对应于树形数据结构的根节点的子节点的图像404、406之间(的比较418、420)计算距离量度。如果图像404、406的距离量度被计算为大于根节点图像402的距离量度，那么根节点图像402可以被选择为最相似的图像(可选地地如果该距离量度在如上所述的阈值之下)。在图5描述的情况中，对应于两个子节点中的一个子节点的图像404到树形数据结构的根节点的距离量度被计算为低于在所取得的图像424和根节点图像402之间的距离量度和到对应于两个子节点中的第二个子节点的图像406的距离量度这两者。从而，对最相似的图像的搜索可以限于对应于图像404的节点的子树。此子树只包括一个节点，并且到对应于此节点的图像408的距离量度通过在附加特征向量f8和由图像408指代的特征向量f6之间的比较422来计算。通过在树形数据结构中排序聚类400中的已存储图像402-414，用于确定聚类中的最相似图像的比较次数为四次，而不是如果不在树形数据结构中排序图像402-414那么可能会需要的七次。

如果新的图像被添加到以树形数据结构存储的聚类，如上所述，那么还基于已经计算的距离量度或基于新计算的距离量度将此图像添加到树形数据结构。

通过依照这里描述的方法实现CBIR系统，可以实现迅速且计算高效的CIBR系统。利用这种系统，可以使用用于在多个已存储图像中找到相似图像的方法来实现例如在智能电话、膝上型、可佩带照相机(也称为生活照相机)、平板计算机等中的其它特征，其包括具有使用其处理能力适于执行这里描述的任何方法的指令的计算机可读存储介质(例如安装的计算机程序产品)。考虑生活方案，其中用户可以每天拍摄1000张以上的图像，能够把聚类标记为关注和/或不关注以便确定是否应存储或删除取得图像可以是有益的。

根据一些实施方式，实现这里描述的任何方法的CBIR系统可以包括用于将聚类标记为不关注的功能。例如，在生活方案中，具有基于计算机的工作的用户可以获取他或她的计算机屏幕的数百个图像。这种图像可能被聚类到相同的聚类中，并且为了不存储更多的这种图像，用户可以把具有计算机屏幕图像的聚类标记为不关注的，并且然后CBIR系统可以为每个取得图像确定所取得的图像是否与被标记为不关注的聚类中的图像相似，并且如果成立，那么删除所取得的图像。在图2描述的方案中，其中左聚类210可以包括计算机屏幕的图像，如果所取得的图像224的匹配聚类被确定为左聚类210，那么可以删除取得图像224。

依照相似方式，聚类可以被标记为关注的，并且然后CBIR系统可以针对每个所取得的图像确定所取得的图像是否相似于被标记为关注的聚类中的图像，并且如果成立，则存储所取得的图像。所取得的图像的存储可以包括将所取得的图像存储在云存储中。这使只将与被标记为关注的聚类中的图像相似的图像存储在云存储中的特征便于进行，而不与被标记为关注的聚类中的图像相似的图像只被存储在照相机装置的本地存储器中，或被删除。根据一些实施方式，所有聚类被标记为关注的，直到用户将它们标记为不关注的为止。

本领域技术人员认识到本发明决不限于上述方法的示例性实施方式中的步骤顺序。此外，进一步变化在附加权利要求的范围内是可能的。例如，可以采用不同于上面指出的用于计算特征向量的算法的其它算法。这些其它算法包括面向梯度的斑点(Blob)检测或直方图。

Claims (14)

1.一种用于在多个已存储图像中搜索相似图像的方法，该方法包括以下步骤：

对于每个已存储图像，计算表示已存储图像的内容的仅一个特征向量，

通过使用针对每个图像计算的所述一个特征向量来计算在所述多个已存储图像中的每个已存储图像之间的距离量度，

基于所计算的距离量度，将所述多个已存储图像聚类到已存储图像的一个或多个聚类中，其中，每个聚类包括一个或多个已存储图像，

对于包括多个已存储图像的每个聚类，

-对于所述聚类中的每个已存储图像，计算多个特征向量，每个特征向量表示所述已存储图像的所述内容，

-在聚类中的所有所述已存储图像的所述多个特征向量中的至少一些特征向量之间执行匹配操作，以及

-基于所述匹配操作的结果，过滤在至少阈值数目个已存储图像之间匹配的特征向量，并且

-存储经过滤的特征向量，

取得应找到相似图像的图像，

计算所取得的图像的多个附加特征向量，

通过使用一个或多个聚类的至少一个聚类的所存储的经过滤的特征向量以及所述附加特征向量来在所述多个已存储图像中找到所述相似图像。

2.如权利要求1所述的方法，其中，存储经过滤的特征向量的步骤包括：

与对聚类的引用一起存储经过滤的特征向量。

3.如权利要求2所述的方法，其中，在所述多个已存储图像中找到相似图像的步骤包括：

通过将所述附加特征向量与每个聚类的经过滤的特征向量相比较来找到匹配聚类，以及

在所述匹配聚类中的所述多个已存储图像中找到相似图像。

4.如权利要求1-3中任一项所述的方法，其中，存储经过滤的特征向量的步骤包括：

对于所述多个已存储图像中的每个已存储图像，与对所述已存储图像的引用一起存储对应于所述已存储图像的所述内容的经过滤的特征向量。

5.当权利要求4从属于权利要求3时，如权利要求4所述的方法，其中，在匹配聚类中的所述多个已存储图像中找到相似图像的步骤包括：

对于所述匹配聚类中的至少一些图像，将所述附加特征向量与对应于所述已存储图像的所述内容的经过滤的特征向量相比较。

6.如权利要求1-5中任一项所述的方法，所述方法进一步包括步骤：

对于包括多个已存储图像的每个聚类，

基于所计算的距离量度，在树形数据结构中对所述多个已存储图像排序，其中，所述多个图像中的每个图像对应于所述树形数据结构中的节点，并且其中，所述多个图像中的一个图像对应于所述树形数据结构中的根节点。

7.如权利要求1-6中任一项所述的方法，所述方法进一步包括步骤：

将聚类标记为不关注的，

确定所取得的图像是否相似于被标记为不关注的聚类中的图像，并且如果成立，则删除所取得的图像。

8.如权利要求1-7中任一项所述的方法，所述方法进一步包括步骤：

将聚类标记为关注的，

确定所取得的图像是否相似于被标记为关注的聚类中的图像，并且如果成立，则存储所取得的图像。

9.如权利要求8所述的方法，其中，存储所取得的图像的步骤包括将所取得的图像存储到云存储中。

10.如权利要求1-9中任一项所述的方法，其中，所述匹配操作包括使用随机采样一致RANSAC算法。

11.如权利要求1-10中任一项所述的方法，其中，所述多个特征向量通过使用比例不变特征变换匹配SIFT算法或加速鲁棒特征SURF算法来计算。

12.如权利要求1-11中任一项所述的方法，其中，通过使用针对每个图像计算的一个特征向量来计算的在所述多个已存储图像的每个已存储图像之间的距离量度通过使用陆地移动距离EMD算法来计算。

13.如权利要求1-12中任一项所述的方法，其中，在对于每个已存储图像计算表示所述已存储图像的所述内容的仅一个特征向量的步骤中，基于所述已存储图像的内插版本来计算所述仅一个特征向量。

14.一种包括计算机可读存储介质的计算机程序产品，该计算机可读存储介质具有适于当被具有处理能力的设备执行时实现如权利要求1-13中任一项所述的方法的指令。