CN107223242A - 高效的局部特征描述符过滤 - Google Patents
高效的局部特征描述符过滤 Download PDFInfo
- Publication number
- CN107223242A CN107223242A CN201580075831.8A CN201580075831A CN107223242A CN 107223242 A CN107223242 A CN 107223242A CN 201580075831 A CN201580075831 A CN 201580075831A CN 107223242 A CN107223242 A CN 107223242A
- Authority
- CN
- China
- Prior art keywords
- image
- cluster
- characteristic vector
- storage
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title description 9
- 239000013598 vector Substances 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000004590 computer program Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims 1
- 230000000717 retained effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开总体上涉及用于在多个已存储图像中搜索相似图像的方法和计算机程序产品,并且尤其涉及一种在基于内容的图像取得系统中使用的方法和计算机程序产品,其中大致相似的图像被聚类并且基于在聚类中的图像中的特征向量的匹配频率来过滤经聚类的图像的特征向量。
Description
技术领域
本公开总体上涉及用于在多个已存储图像中搜索相似图像的方法和计算机程序产品,并且尤其涉及在基于内容的图像取得系统中使用的方法和计算机程序产品,其中大致相似的图像被聚类并且基于聚类中的图像中的特征向量的匹配频率来过滤经聚类的图像的特征向量。
相关申请的交叉引用
本申请要求于2015年2月9日提交的美国专利申请号14/617,373的优先权,在此通过引用结合其全部公开内容。
背景技术
在多个图像中搜索与特定图像相似的图像在当今的图像取得系统中是好用的特征。大多数传统的和普遍的图像取得方法利用某种人工图像注释方法,其依赖于人向图像人工地增加诸如关键词之类的元数据,使得可以经由该元数据词来执行取得。人工图像注释是费时的、艰巨的且昂贵的。
作为替代,可以使用基于内容的图像取得(CBIR)系统。在这种系统中,计算在系统中每个图像的特征描述符。在这种CBIR系统中常常出现的一个问题是将来自一个图像的所有特征描述符与来自所有其它图像的特征描述符相比较的绝对计算复杂性。使用最普遍的特征描述符之一,SIFT(比例不变特征变换)可以对单个图像产生超过20000个描述符。将图像中的20000个SIFT向量与系统中的所有图像(例如10000个图像)中的相同数量的向量相比较导致非常高的计算负载以及缓慢的CBIR系统。
从而希望减小计算负载并且提高CBIR系统的速度。
发明内容
本发明总体上旨在消除或至少减少上面讨论的问题以及其它问题。这利用依照所附独立权利要求的方法和软件来实现。
依照第一方面,本发明由一种用于在多个已存储图像中搜索相似图像的方法来实现,所述方法包括步骤:对于每个已存储图像,计算表示已存储图像的内容的仅一个特征向量,通过使用针对每个图像计算的一个特征向量来计算在多个已存储图像的每个已存储图像之间的距离量度,基于所计算的距离量度,将多个已存储图像聚类到已存储图像的一个或多个聚类中,其中,每个聚类包括一个或多个已存储图像。
所述方法进一步包括:对于包括多个已存储图像的每个聚类,并且对于所述聚类中的每个已存储图像,计算多个特征向量,每个特征向量表示已存储图像的内容。
方法中的下一步骤是在聚类中的所有已存储图像的多个特征向量之间执行匹配操作,以及基于匹配操作的结果,过滤在至少阈值数目个已存储图像之间匹配的特征向量,并且存储经过滤的特征向量。
然后取得应找到相似图像的图像,并且计算所取得图像的多个附加特征向量。然后使用一个或多个聚类中的至少一个的存储过滤特征向量以及附加特征向量来在多个已存储图像中找到相似的图像。
按照术语,“特征向量”在本公开的范围内应被理解为定义图像的特征描述符中的一个特征描述符或特征描述符的组合。特征向量可以具有任何维度。描述符的例子可以是图像中的颜色直方图,或者一组SIFT/SURF向量。
按照术语,“距离量度”在本公开的范围内应被理解为用于定义当考虑图像的内容时两个图像有多相似。通过使用特征向量来计算这种距离量度,当计算距离量度时不考虑诸如图像中的噪声或树叶等在图像之间的位置的小差异这样的无关的东西。
本发明是基于以下认识,即,通过利用聚类,其中相似的图像已经被分组到一起,通过向有关特征引导过滤算法(SIFT,SURF或其它特征描述符),可以实现高效的特征向量或特征描述符过滤。最后这将产生非常快且准确的图像取得系统,其中可以找到相似的对象、面部、建筑物等。
通过使用仅一个特征向量来将多个图像聚类到一个或多个聚类中,实现了用于聚类大致相似的图像的迅速且计算高效的方法。一个特征向量应有益地表示图像的全局描述符,诸如图像的颜色直方图。在这种情况下,可以对图像的降采样版本计算颜色直方图,或者可以聚类颜色直方图。
可以调整聚类使得在聚类内的图像之间的距离量度是小的或大的,这意味着聚类内的图像可以或多或少是相似的。
通过过滤出过滤出并非以图像的至少阈值百分比存在的特征向量,将去除大部分噪声,诸如在草地、水及没有描述有价值特征的其它运动纹理上的无意义的特征向量。然而,仍然保留描述在水中、在草地上等以及存在于聚类中的几个图像中的对象的特征向量。
依照第二方面,本发明提供了一种包括计算机可读存储介质的计算机程序产品,所述计算机可读存储介质具有适于当被具有处理能力的设备执行时实现如这里所描述的方法的指令。
根据以下详细公开、所附从属权利要求以及附图,本发明的其它目的、特征和优点将更加清楚。
通常,权利要求中的所有术语将依照它们在技术领域中的普通意义解释,除非这里另外明确地定义。对“一/一个/该[元件,设备,组件,装置,步骤等]”的所有引用将被公开解释为指代元件、设备、组件、装置、步骤等中的至少一个实例,除非另外明确地声明。
附图说明
参照附图通过本发明实施方式的以下说明性和非限制性详细描述,将更好地理解本发明的以上以及附加目的、特征和优点,其中相同的附图标记用于相似的元素,其中:
[图1]图1通过示例描述了用于对图像聚类并且去除在聚类中的至少阈值个图像之间不匹配的特征向量的方法;
[图2]图2通过示例描述了使用图1中描述的方法确定的聚类以及每个聚类的经过滤的特征向量怎样用于找到取得图像的相似图像;
[图3]图3通过示例描述了对于所取得的图像怎样找到匹配的聚类;
[图4]图4通过示例描述了对于所取得的图像怎样找到在图3的匹配聚类中的多个图像中的相似图像;
[图5]图5通过示例描述了以树形数据结构对聚类中的图像排序可以怎样提高找到所取得的图像的相似图像的速度。
具体实施方式
图1通过示例描述了用于聚类相似的图像以向有关的特征向量引导用于特征向量的过滤算法的示例方式。如上所描述的,这种方法可以有效地去除例如草地上、水上或其它移动纹理上的无意义的特征向量,这些特征向量不描述聚类中图像的有价值的特征。通过采用这种过滤,可以使在多个已存储图像中高效地搜索相似图像便于进行。方法的第一步骤是对于每个已存储图像计算S102表示已存储图像的内容的仅一个特征向量。该特征向量可以是全局特征向量,其依照良好方式描述了已存储图像的整体内容。存在许多适当的可用算法来计算这种全局特征向量。例如,可以计算图像的颜色直方图。全局特征向量的进一步示例是描述图像的小缩略图,例如降至64*64个像素大,或者像素值的直方图,例如被聚类到64、128或256个离散组中。根据一些实施方式,图像被划分为例如5x4个块的网格,并且对每个块计算颜色直方图。然后将颜色直方图(具有可选的经聚类的值)结合到一个特征向量中。
基于已存储图像的内插版本可以计算该仅一个特征向量。使用已存储图像的内插版本来计算全局特征向量具有几个优点。首先,它要求较少的计算机运算。其次,当执行内插时可以去除图像中不关注的特征,例如噪声。
下一步骤是通过使用针对每个图像计算的仅一个特征向量来计算S104在多个已存储图像中的每个图像之间的距离量度。此步骤可以包括计算在每个全局特征向量之间的欧几里德距离并且使用该距离作为距离量度。可以采用其他方式来计算距离量度,诸如平方欧几里得距离。
根据其它实施方式,当计算在两个图像之间的距离量度时,可以使用陆地移动距离(EMD)算法。例如,两个图像中的每个图像可以被划分为几个大区域(例如2x2块,3x2块等),然后可以通过使用EMD算法来计算在块之间的颜色直方图的相似性。此方法对于颜色偏移的变化不是非常敏感,对于噪声也不敏感。
在计算S104距离量度之后,使用所计算的距离量度来执行S106聚类算法。这得到一个或多个聚类,每个聚类包括一个或多个已存储图像。可以使用任何适当的聚类算法,例如使用用于距离量度的硬阈值,使用最近邻算法,使用随机采样一致(RANSAC)算法等。
现在已创建了一个或多个聚类,其中,每个聚类包括彼此或多或少相似的图像,其依赖于所使用的聚类算法和用于计算距离的类型特征向量。在这些聚类内,现在可以计算然后过滤另外的特征向量以保留有关的特征向量以被存储。首先,对每个已存储图像计算S108多个特征向量。根据一些实施方式,这种特征向量已经是存在的从而不需要计算。当对每个图像计算S108多个特征向量时,每个特征向量可以表示图像中的子区域,例如局部特征向量。每个子区域对应于图像中存在关注点的区域,例如边缘,并且从此关注点,梯度可以被计算并且被用作特征向量。这种多个特征向量可以通过使用任何适当的特征检测算法来计算,例如通过使用来自以下列表中的一个或多个:比例不变特征变换匹配(SIFT)算法、加速鲁棒特征(SURF)算法、加速分割测试特征(FAST)算法和二进制鲁棒独立的基本特征(BRIEF)算法。
当计算了S108这种特征向量时,执行在聚类中的所有已存储图像的多个特征向量之间的匹配操作。该匹配操作可以包括计算在聚类中的所有图像的所有特征向量之间的距离量度(例如欧几里德距离)。随后,可以使用距离量度的硬阈值,或最近邻算法或使用随机采样一致(RANSAC)算法、比例测试等。根据一些实施方式,每个图像的特征向量的仅子集被用于匹配操作,使用例如RANSAC。这可以降低匹配过程的计算复杂性并且仍然使得找到大多数匹配特征向量。
基于匹配操作的结果,在至少阈值数目个已存储图像之间匹配的特征向量被保留或过滤S112以及被存储S114,而不匹配或只在阈值数目以下个已存储图像之间匹配的特征向量被丢弃。从而,实现图1中描述的方法的系统(例如CBIR系统)仅需要存储特征向量的小子集,这可以充分地减少资源使用。
这些所存储的特征向量然后可以用于搜索所取得的图像的相似图像。这在图2中示出。应注意的是,结合图1示出的步骤和在图2中示出的步骤不必须在时间上紧接着执行。换句话说,不同于当用户请求时执行的用于找到所取得的图像的相似图像的步骤,对图像进行聚类和过滤特征向量的步骤可以在完全不同时间进行,例如,每当实现方法的计算机系统处于低负载的时候。
在图2中,首先,取得S202应找到相似图像的图像。下一步骤包括计算所取得的图像的多个附加特征向量,有益地使用与在上面的步骤S108中使用的相同算法。
然后使用这些附加特征向量以及针对一个或多个聚类中的至少一个聚类的已存储的经过滤的特征向量,来在多个已存储图像中找到S206相似的图像。以下结合图3-图5示出了此步骤的示例性实现方式。
图3通过示例描述了可以怎样找到用于所取得的图像224的匹配聚类。如上所述已经计算S202针对所取得的图像224的多个附加特征向量f8。图3示出了图像的两个聚类210、218。第一聚类210包括四个图像202、204、206、208,其分别具有与图像相关联的一组特征向量f1-f4。例如,聚类210中的一个图像202与一组特征向量f1相关联,另外的图像204与另一组特征向量f3相关联等。作为上述匹配操作S110的结果这些特征向量被保留。
根据一些实施方式,通过还包括对已存储图像的引用,将一组特征向量与相应的图像相关联。换句话说,存储S114经过滤的特征向量的步骤可以包括:对于多个已存储图像202、204、206、208、212、214、216中的每个已存储图像,与对已存储图像的引用一起存储对应于已存储图像的内容的经过滤的特征向量f1-f7。
图3进一步包括第二聚类218,其包括3个图像212、214、216,其依照与上面结合第一聚类210描述的相同方式分别具有与图像相关联的一组特征向量f5-f7。
根据一些实施方式,存储S114经过滤的特征向量的步骤包括与对聚类的引用一起存储经过滤的特征向量。换句话说,针对聚类的特征向量连同对聚类的引用一起被分组。其效果在于当搜索所取得的图像的相似图像时可以得到整个聚类作为匹配聚类。这缩窄了对匹配聚类中图像的具体相似图像的搜索。
在图3中,对于两个聚类210、218示出了这样的特征向量组230、232。经过滤的特征向量f1-f4作为组230存储并且包括对聚类210的引用220。经过滤的特征向量f5-f7作为组232存储并且包括对聚类218的引用222。
通过使用如图3所示的这种设置,在多个已存储图像202、204、206、208、212、214、216中找到相似图像的步骤可以包括通过将附加特征向量f8与每个聚类的经过滤的特征向量f1-f4、f5-f7相比较226、228来找到匹配聚类。被选择为匹配聚类的聚类是其中在分组的特征向量230、232和附加特征向量f8之间的距离量度最小并且选择性地还在阈值距离量度以下的聚类。在没有找到匹配聚类的情况下(由于阈值距离量度低于从在可用的聚类210、218和附加特征向量f8之间的比较226、228来计算的距离量度),可以不采用对相似的图像的进一步搜索,并且CBIR系统可以返回空图像或空值作为搜索结果。
图4描述了其中图3中的右聚类218被确定为匹配聚类的方案。在匹配聚类218中的图像212、214、216中对所取得的图像224的具体相似图像的搜索可以包括:对于匹配聚类中的至少一些图像,把附加特征向量f8与对应于已存储图像的内容的经过滤的特征向量f5-f7相比较302、304、306。在图4中,把聚类218中的所有图像212、214、216的经过滤的特征向量f5-f7与附加特征向量f8相比较302、304、306以找到接近匹配。比较可以包括使用聚类218中的图像212、214、216的特征向量f5-f7和附加特征向量f8来计算在聚类218中的所有图像212、214、216之间的距离量度。然后可以返回对应于最小距离量度的图像作为相似图像。
如上面结合图3所描述的,在两个图像的多个特征向量之间或在聚类的分组特征向量与所取得图像的一组特征向量之间的距离量度可以通过任何适当的方法来计算,例如使用用Matlab实现的SIFT匹配算法或欧几里德距离。总之,欧几里德距离可以在第一图像或聚类的所有特征向量与第二图像和聚类的所有特征向量之间计算,然后当计算在两个图像之间的最终距离量度时将忽略所有大的(超过阈值的)距离。另外的选项是如果针对每个图像计算多个不同类型的局部特征向量,则使用名为ADABOOST的通用架构来计算在两个图像之间的距离。
根据一些实施方式,当搜索相似图像时并且如果没有找到足够相似的图像,算法可以返回空图像,这意味着没有找到相似的图像。根据其它实施方式,算法始终返回最相似的图像。
应注意的是,根据一些实施方式,所取得的图像224被添加到匹配聚类,或添加到其中找到相似图像的聚类。在这种情况下,附加特征向量f8可以根据已经对此聚类实施的过滤来进行过滤,例如只保留在附加特征向量f8中的与聚类的所存储的经过滤的特征向量相匹配的特征向量。根据其它实施方式,对聚类中的每个已存储图像(包括所取得的图像224)进行新的过滤操作,计算均表示已存储图像的内容的多个特征向量,在聚类中的所有已存储图像的多个特征向量之间执行新的匹配操作,并且基于匹配操作的结果,通过过滤在至少阈值数目个已存储图像之间匹配的特征向量来执行新的过滤,并且存储经新过滤的特征向量。
为了进一步增加这里描述的CBIR系统的速度,每个聚类的图像可以被存储到树形数据结构中。这在图5中描述。
在图5中,聚类400中的图像402-414已经在树形数据结构中被排序。根据一些实施方式,基于所计算S104的距离量度在树形数据结构中排序聚类400中的多个已存储图像402-414以执行聚类。由于不需要执行进一步计算来确定图像之间的距离,所以这产生在树形数据结构中排序图像的高速算法。根据其它实施方式,基于聚类的经过滤的特征向量来计算新的距离量度。由于当计算在图像之间的距离量度时比仅是全局特征向量考虑的特征多,所以这可以产生较精确的排序。
通过在树形数据结构中对多个已存储图像402-414排序,应理解意思是多个图像402-414中的每个图像对应于树形数据结构中的节点,而且多个图像402-414中的一个图像对应于树形数据结构中的根节点。换句话说,与所有其它图像具有最短距离的图像将被选为“根”。将依照到根和彼此的距离量度来排序其余图像。这种排序是公知的并且留给本领域技术人员去实现。
在图5中,执行在附加特征向量f8与由对应于树形数据结构的根节点的图像402指代的特征向量f1之间的第一比较416。此比较416得到在应找到相似图像的所取得的图像424和图像402之间的距离量度。随后,根据相同方式在所取得的图像424和对应于树形数据结构的根节点的子节点的图像404、406之间(的比较418、420)计算距离量度。如果图像404、406的距离量度被计算为大于根节点图像402的距离量度,那么根节点图像402可以被选择为最相似的图像(可选地地如果该距离量度在如上所述的阈值之下)。在图5描述的情况中,对应于两个子节点中的一个子节点的图像404到树形数据结构的根节点的距离量度被计算为低于在所取得的图像424和根节点图像402之间的距离量度和到对应于两个子节点中的第二个子节点的图像406的距离量度这两者。从而,对最相似的图像的搜索可以限于对应于图像404的节点的子树。此子树只包括一个节点,并且到对应于此节点的图像408的距离量度通过在附加特征向量f8和由图像408指代的特征向量f6之间的比较422来计算。通过在树形数据结构中排序聚类400中的已存储图像402-414,用于确定聚类中的最相似图像的比较次数为四次,而不是如果不在树形数据结构中排序图像402-414那么可能会需要的七次。
如果新的图像被添加到以树形数据结构存储的聚类,如上所述,那么还基于已经计算的距离量度或基于新计算的距离量度将此图像添加到树形数据结构。
通过依照这里描述的方法实现CBIR系统,可以实现迅速且计算高效的CIBR系统。利用这种系统,可以使用用于在多个已存储图像中找到相似图像的方法来实现例如在智能电话、膝上型、可佩带照相机(也称为生活照相机)、平板计算机等中的其它特征,其包括具有使用其处理能力适于执行这里描述的任何方法的指令的计算机可读存储介质(例如安装的计算机程序产品)。考虑生活方案,其中用户可以每天拍摄1000张以上的图像,能够把聚类标记为关注和/或不关注以便确定是否应存储或删除取得图像可以是有益的。
根据一些实施方式,实现这里描述的任何方法的CBIR系统可以包括用于将聚类标记为不关注的功能。例如,在生活方案中,具有基于计算机的工作的用户可以获取他或她的计算机屏幕的数百个图像。这种图像可能被聚类到相同的聚类中,并且为了不存储更多的这种图像,用户可以把具有计算机屏幕图像的聚类标记为不关注的,并且然后CBIR系统可以为每个取得图像确定所取得的图像是否与被标记为不关注的聚类中的图像相似,并且如果成立,那么删除所取得的图像。在图2描述的方案中,其中左聚类210可以包括计算机屏幕的图像,如果所取得的图像224的匹配聚类被确定为左聚类210,那么可以删除取得图像224。
依照相似方式,聚类可以被标记为关注的,并且然后CBIR系统可以针对每个所取得的图像确定所取得的图像是否相似于被标记为关注的聚类中的图像,并且如果成立,则存储所取得的图像。所取得的图像的存储可以包括将所取得的图像存储在云存储中。这使只将与被标记为关注的聚类中的图像相似的图像存储在云存储中的特征便于进行,而不与被标记为关注的聚类中的图像相似的图像只被存储在照相机装置的本地存储器中,或被删除。根据一些实施方式,所有聚类被标记为关注的,直到用户将它们标记为不关注的为止。
本领域技术人员认识到本发明决不限于上述方法的示例性实施方式中的步骤顺序。此外,进一步变化在附加权利要求的范围内是可能的。例如,可以采用不同于上面指出的用于计算特征向量的算法的其它算法。这些其它算法包括面向梯度的斑点(Blob)检测或直方图。
Claims (14)
1.一种用于在多个已存储图像中搜索相似图像的方法,该方法包括以下步骤:
对于每个已存储图像,计算表示已存储图像的内容的仅一个特征向量,
通过使用针对每个图像计算的所述一个特征向量来计算在所述多个已存储图像中的每个已存储图像之间的距离量度,
基于所计算的距离量度,将所述多个已存储图像聚类到已存储图像的一个或多个聚类中,其中,每个聚类包括一个或多个已存储图像,
对于包括多个已存储图像的每个聚类,
-对于所述聚类中的每个已存储图像,计算多个特征向量,每个特征向量表示所述已存储图像的所述内容,
-在聚类中的所有所述已存储图像的所述多个特征向量中的至少一些特征向量之间执行匹配操作,以及
-基于所述匹配操作的结果,过滤在至少阈值数目个已存储图像之间匹配的特征向量,并且
-存储经过滤的特征向量,
取得应找到相似图像的图像,
计算所取得的图像的多个附加特征向量,
通过使用一个或多个聚类的至少一个聚类的所存储的经过滤的特征向量以及所述附加特征向量来在所述多个已存储图像中找到所述相似图像。
2.如权利要求1所述的方法,其中,存储经过滤的特征向量的步骤包括:
与对聚类的引用一起存储经过滤的特征向量。
3.如权利要求2所述的方法,其中,在所述多个已存储图像中找到相似图像的步骤包括:
通过将所述附加特征向量与每个聚类的经过滤的特征向量相比较来找到匹配聚类,以及
在所述匹配聚类中的所述多个已存储图像中找到相似图像。
4.如权利要求1-3中任一项所述的方法,其中,存储经过滤的特征向量的步骤包括:
对于所述多个已存储图像中的每个已存储图像,与对所述已存储图像的引用一起存储对应于所述已存储图像的所述内容的经过滤的特征向量。
5.当权利要求4从属于权利要求3时,如权利要求4所述的方法,其中,在匹配聚类中的所述多个已存储图像中找到相似图像的步骤包括:
对于所述匹配聚类中的至少一些图像,将所述附加特征向量与对应于所述已存储图像的所述内容的经过滤的特征向量相比较。
6.如权利要求1-5中任一项所述的方法,所述方法进一步包括步骤:
对于包括多个已存储图像的每个聚类,
基于所计算的距离量度,在树形数据结构中对所述多个已存储图像排序,其中,所述多个图像中的每个图像对应于所述树形数据结构中的节点,并且其中,所述多个图像中的一个图像对应于所述树形数据结构中的根节点。
7.如权利要求1-6中任一项所述的方法,所述方法进一步包括步骤:
将聚类标记为不关注的,
确定所取得的图像是否相似于被标记为不关注的聚类中的图像,并且如果成立,则删除所取得的图像。
8.如权利要求1-7中任一项所述的方法,所述方法进一步包括步骤:
将聚类标记为关注的,
确定所取得的图像是否相似于被标记为关注的聚类中的图像,并且如果成立,则存储所取得的图像。
9.如权利要求8所述的方法,其中,存储所取得的图像的步骤包括将所取得的图像存储到云存储中。
10.如权利要求1-9中任一项所述的方法,其中,所述匹配操作包括使用随机采样一致RANSAC算法。
11.如权利要求1-10中任一项所述的方法,其中,所述多个特征向量通过使用比例不变特征变换匹配SIFT算法或加速鲁棒特征SURF算法来计算。
12.如权利要求1-11中任一项所述的方法,其中,通过使用针对每个图像计算的一个特征向量来计算的在所述多个已存储图像的每个已存储图像之间的距离量度通过使用陆地移动距离EMD算法来计算。
13.如权利要求1-12中任一项所述的方法,其中,在对于每个已存储图像计算表示所述已存储图像的所述内容的仅一个特征向量的步骤中,基于所述已存储图像的内插版本来计算所述仅一个特征向量。
14.一种包括计算机可读存储介质的计算机程序产品,该计算机可读存储介质具有适于当被具有处理能力的设备执行时实现如权利要求1-13中任一项所述的方法的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/617,373 US9430718B1 (en) | 2015-02-09 | 2015-02-09 | Efficient local feature descriptor filtering |
US14/617,373 | 2015-02-09 | ||
PCT/IB2015/056003 WO2016128807A1 (en) | 2015-02-09 | 2015-08-07 | Efficient local feature descriptor filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107223242A true CN107223242A (zh) | 2017-09-29 |
CN107223242B CN107223242B (zh) | 2020-12-04 |
Family
ID=54207623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580075831.8A Expired - Fee Related CN107223242B (zh) | 2015-02-09 | 2015-08-07 | 用于在多个已存储图像中搜索相似图像的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9430718B1 (zh) |
EP (1) | EP3256960B1 (zh) |
CN (1) | CN107223242B (zh) |
WO (1) | WO2016128807A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489681B2 (en) * | 2015-04-15 | 2019-11-26 | Stmicroelectronics S.R.L. | Method of clustering digital images, corresponding system, apparatus and computer program product |
JP6840973B2 (ja) * | 2016-09-23 | 2021-03-10 | 富士通株式会社 | 照合方法、照合装置、照合プログラム |
US10467768B2 (en) * | 2017-04-07 | 2019-11-05 | Intel Corporation | Optical flow estimation using 4-dimensional cost volume processing |
US20190236348A1 (en) * | 2018-01-30 | 2019-08-01 | Ncr Corporation | Rapid landmark-based media recognition |
US10997746B2 (en) | 2018-04-12 | 2021-05-04 | Honda Motor Co., Ltd. | Feature descriptor matching |
KR20210041856A (ko) * | 2019-10-08 | 2021-04-16 | 한국전자통신연구원 | 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치 |
CN111143597B (zh) * | 2019-12-13 | 2023-06-20 | 浙江大华技术股份有限公司 | 图像检索方法、终端及存储装置 |
JP7110293B2 (ja) * | 2020-09-28 | 2022-08-01 | 楽天グループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060251338A1 (en) * | 2005-05-09 | 2006-11-09 | Gokturk Salih B | System and method for providing objectified image renderings using recognition information from images |
CN101414348A (zh) * | 2007-10-19 | 2009-04-22 | 三星电子株式会社 | 多角度人脸识别方法和系统 |
US20110305399A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Image clustering |
CN102930296A (zh) * | 2012-11-01 | 2013-02-13 | 长沙纳特微视网络科技有限公司 | 一种图像识别方法及装置 |
EP2757521A4 (en) * | 2011-09-16 | 2015-09-23 | Rakuten Inc | IMAGE SCANNER, IMAGE SCANNING PROCEDURE, PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US6285995B1 (en) | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
US6625319B1 (en) | 1999-03-30 | 2003-09-23 | Koninklijke Philips Electronics N.V. | Image compression using content-based image similarity |
KR100788643B1 (ko) * | 2001-01-09 | 2007-12-26 | 삼성전자주식회사 | 색과 질감의 조합을 기반으로 하는 영상 검색 방법 |
JP4528014B2 (ja) * | 2004-04-05 | 2010-08-18 | 株式会社日立ハイテクノロジーズ | 試料検査方法 |
JP5362189B2 (ja) * | 2006-05-10 | 2013-12-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
FR2916678B1 (fr) * | 2007-06-01 | 2021-07-16 | Advanced Track & Trace | Procede et dispositif de securisation de documents |
FR2931979B1 (fr) * | 2008-06-02 | 2014-02-28 | Advanced Track & Trace | Procede et dispositif d'identification d'une plaque d'impression d'un document |
US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
KR101357403B1 (ko) | 2009-06-09 | 2014-02-05 | 소니 주식회사 | 인코딩 동안 사용을 위한 복수의 후보 코딩 트리를 생성하는 장치, 화상 또는 비디오의 적응적 인코딩 및 디코딩을 위한 시스템, 및 화상 및/또는 비디오 인코딩 동안 인코더에서의 사용을 위해 복수의 후보 코딩 트리를 생성하는 방법 |
CN101576932B (zh) | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
US8442321B1 (en) * | 2011-09-14 | 2013-05-14 | Google Inc. | Object recognition in images |
CN105409207A (zh) | 2013-07-15 | 2016-03-16 | 微软技术许可有限责任公司 | 基于特征的图像集合压缩 |
-
2015
- 2015-02-09 US US14/617,373 patent/US9430718B1/en active Active
- 2015-08-07 CN CN201580075831.8A patent/CN107223242B/zh not_active Expired - Fee Related
- 2015-08-07 EP EP15771249.8A patent/EP3256960B1/en not_active Not-in-force
- 2015-08-07 WO PCT/IB2015/056003 patent/WO2016128807A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060251338A1 (en) * | 2005-05-09 | 2006-11-09 | Gokturk Salih B | System and method for providing objectified image renderings using recognition information from images |
CN101414348A (zh) * | 2007-10-19 | 2009-04-22 | 三星电子株式会社 | 多角度人脸识别方法和系统 |
US20110305399A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Image clustering |
EP2757521A4 (en) * | 2011-09-16 | 2015-09-23 | Rakuten Inc | IMAGE SCANNER, IMAGE SCANNING PROCEDURE, PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM |
CN102930296A (zh) * | 2012-11-01 | 2013-02-13 | 长沙纳特微视网络科技有限公司 | 一种图像识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
常小红 等: ""一种基于聚类的图像检索方法"", 《医疗卫生装备》 * |
Also Published As
Publication number | Publication date |
---|---|
EP3256960A1 (en) | 2017-12-20 |
US20160232428A1 (en) | 2016-08-11 |
EP3256960B1 (en) | 2019-01-23 |
WO2016128807A1 (en) | 2016-08-18 |
CN107223242B (zh) | 2020-12-04 |
US9430718B1 (en) | 2016-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107223242A (zh) | 高效的局部特征描述符过滤 | |
Wang et al. | Content-based image retrieval by integrating color and texture features | |
Pradhan et al. | A hierarchical CBIR framework using adaptive tetrolet transform and novel histograms from color and shape features | |
Kanungo et al. | The analysis of a simple k-means clustering algorithm | |
CN104766084B (zh) | 一种多目标匹配的近复制图像检测方法 | |
Srivastava et al. | A review: color feature extraction methods for content based image retrieval | |
CN101859326A (zh) | 一种图像检索方法 | |
CN105205135B (zh) | 一种基于主题模型的3d模型检索方法及其检索装置 | |
Wang et al. | Duplicate discovery on 2 billion internet images | |
CN113051984A (zh) | 视频拷贝检测方法和装置、存储介质和电子装置 | |
CN108564116A (zh) | 一种摄像头场景图像的成分智能分析方法 | |
CN107704509B (zh) | 一种联合稳定区域与深度学习的重排序方法 | |
Ansari et al. | An enhanced CBIR using HSV quantization, discrete wavelet transform and edge histogram descriptor | |
Salmi et al. | Content based image retrieval based on cell color coherence vector (Cell-CCV) | |
CN101599077A (zh) | 一种三维对象检索的方法 | |
Mathew et al. | A content-based image retrieval system based on polar raster edge sampling signature | |
Khotanzad et al. | Color image retrieval using multispectral random field texture model and color content features | |
Mosleh et al. | Texture image retrieval using contourlet transform | |
Syam et al. | Integrating contourlet features with texture, color and spatial features for effective image retrieval | |
Jadhav et al. | An effective content based image retrieval (CBIR) system based on evolutionary programming (EP) | |
Geng et al. | A novel color image segmentation algorithm based on JSEG and Normalized Cuts | |
Bouker et al. | Retrieval of images using mean-shift and gaussian mixtures based on weighted color histograms | |
CN102495843A (zh) | 一种基于局部特征的显著区域检测算法 | |
Jayanthi et al. | Efficient fuzzy color and texture feature extraction technique for content based image retrieval system | |
Kekre et al. | Performance comparison of image classifier using discrete cosine transform and walsh transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201204 |