CN103718190A - 增量图像聚类 - Google Patents

Abstract

提供了用于增量图像聚类的方法、系统以及具有可执行指令的计算机可读媒体和/或逻辑。一种用于增量图像聚类的示例方法能够包括经由计算设备基于新的图像的特征与被评估LIC节点中的每一个的平均特征之间的相似性从图像聚类树(ICT)上的被评估叶图像聚类(LIC)节点之中标识许多候选节点。所述被评估节点包括沿着从根节点到叶节点或具有超过第一阈值的相似性的节点的每个路径的至少一个节点。能够经由所述计算设备从所述许多候选节点之中确定最相似节点。所述新的图像能够经由所述计算设备被插入到与所确定的最相似节点相关联的节点。

Description

增量图像聚类

背景技术

随着渐增的互联网数据传输速度和WEB 2.0的繁荣，互联网上的图像数据的量正日益增长。诸如Flickr、Picasa、You-tube等之类的基于图像的网站越来越流行，使基于在线内容的图像管理变得比以前更重要。因为新的图像数据被一直上传到互联网，所以如何高效地组织、索引并且检索期望的图像数据是持续的挑战。对图像数据进行分类可能是巨大的努力。随着图像数据的合集增加，高效地将新的图像数据与先前分类的图像数据相结合在一起而不引入太多复杂性和计算成本是重要的。避免必须再聚类现有图像数据在计算时间和努力方面可能是有益的。

聚类被用来将大量的图像数据划分成许多子集，例如聚类（cluster），其中特定聚类中的图像数据在某些方面彼此相似。一般而言，聚类方法能够被分类成分割方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法。例如，K-均值是分割方法，DBSCAN基于数据密度来划分数据，并且凝聚式层次聚类(HAC)构成整个数据集的层次结构，即树形图。能够在批处理模式或静态模式下运行这些方法，这在其中图像数据随着时间的推移在随机时刻被更新的动态环境中不是适当的。

附图说明

图1图示了根据本公开用于增量图像聚类的方法的流程图。

图2图示了根据本公开用于增量聚类树构建的方法的流程图。

图3图示了根据本公开的示例增量聚类树的框图。

图4图示了根据本公开用来实现增量图像聚类系统的示例计算系统的框图。

图5图示了根据本公开与处理资源通信的示例计算机可读介质(CRM)的框图。

具体实施方式

本公开的示例可以包括方法、系统以及具有可执行指令的计算机可读媒体和/或逻辑。根据本公开的一个或多个示例，新的图像在不用再聚类现有图像的情况下被增量式地聚类。本文中所描述的增量图像聚类方法使用层次匹配模型来以效率方面极少的损失使增量图像聚类变得更高效。所描述的示例针对用于基于图像中的检测到的面部的面部特征对面部进行聚类的方法。然而，本公开的示例不限于涉及仅面部聚类的应用，并且可以被应用于涉及能够在图像数据中被检测和标识的任何主题的聚类，所述任何主题诸如物品、地理、衣服、动物等。

增量聚类(例如，在线聚类)针对动态环境被提出，在所述动态环境中新的数据被连续地添加到数据集。增量聚类的挑战是找到向其添加新的图像数据的最适当的聚类。此外，本文中所描述的方法对于图像数据的到达顺序而言可能是不变的。此外，期望本公开的增量图像聚类方法具有周期性地在聚类之中再分配数据以便增加聚类相干性的能力。出于所有这些原因，描述了利用增量图像聚类的层次匹配模型。

在先前方法的单遍聚类方法中，整个数据集被扫描一次。当新的数据点到达时，该数据点的匹配分数被顺序地根据特定度量用现有聚类来计算。如果满足预定义条件，则新的数据点被添加到最好的匹配聚类；否则新的聚类被创建。计算匹配分数的一个度量简单地是数据点与聚类之间的相似性，其通过访问该聚类的每个成员或者通过访问该聚类的代表性点或引头（leader）点而被计算。

被称作“引头-子引头”的先前方法的两级聚类方法是引头方法的扩展。用于聚类性能的另一度量可以是相似比的增量（delta）改变。聚类使用聚类相似性直方图来表示以便示出每个聚类内的相似性的分布。得自相似性直方图的相似比能够被用来表示聚类相干性。如果新的点在一定程度上增加聚类的相似比或者不减少它，则它被添加到该聚类。

另一先前方法的K最近邻聚类(KNN)方法计算具有新的数据点的数据库中的前K个相似数据点，并且将新的点添加到保持大多数K个点的聚类。该方法的时间复杂性与数据集的大小成比例。相对于聚类特征树(Cluster Feature Tree)，聚类使用单个特征来表示。聚类特征树是将所有聚类的描述存储在树结构中的孩子节点有限树方法的变体，其被用来通过将新的点与树的仅一部分进行比较来降低相似性计算的成本。本公开的ICTree聚类方法(一种层次匹配模型)在图像特征背景下工作，并且相对于诸如常规聚类特征树之类的先前的图像聚类方法包括一些显著改变。

图1图示了根据本公开用于增量图像聚类的方法的流程图100。新的图像能够被接收，如在102处所示。能够对新的图像执行图像分量检测104 (例如，面部)。在图像分量的检测之后，能够执行特征提取106并且能够确定原始特征向量108。特征能够被减少（reduced），例如，如在110处所示出的那样以得出减少的特征向量112。基于经减少的特征向量112，增量聚类树构建能够发生，如在图1中在114处所示。能够做出关于更多新的图像是否正悬而未决的确定，如在116处所示。如果新的图像是可用的，则用于增量图像聚类方法的过程流100能够返回以对于新的图像102重复上面描述的过程。如果新的图像不是可用的，则这种空闲时间能够被用来再聚类(一个或多个)单例叶图像聚类节点118，从而将图像再分配给最近叶图像聚类120。

图2图示了根据本公开用于增量聚类树构建的方法的流程图。根据本公开的各种示例，图2中所示出的示例方法能够对应于图1中所示出的增量聚类树构建114。用于增量图像聚类的示例方法的增量聚类树构建部分能够包括经由计算设备基于新图像的特征与被评估LIC节点中的每一个的平均特征之间的相似性从图像聚类树(ICT)上的被评估叶图像聚类(LIC)节点之中标识许多候选节点。被评估节点包括沿着从根节点到叶节点或具有超过第一阈值的相似性的节点的每个路径的一个或多个节点。能够经由计算设备从所述许多候选节点之中确定最相似节点。新的图像能够经由计算设备被插入到与所确定的最相似节点相关联的节点。在下面相对于图3提供了上面描述的方法的更具体示例。

根据本公开各种图像特征能够被用来捕获图像的视觉特性。能够在基于内容的图像检索中使用通用特征，例如色彩、纹理、形状等。能够在许多应用中利用诸如面部特征之类的其他域特定的特征。如上面所提到的那样，本公开的增量图像聚类方法使用涉及面部特征的示例被举例说明。根据各种示例，面部聚类能够利用，例如，针对面部验证特征的伽伯(Gabor)特征和LBP判别式分析能够被用来描述单面部的特性。一旦从图像中检测到的面部提取了这些特征，则它们就能够被链接以形成一个单特征向量。然后能够应用主分量分析(PCA)以得到维度降低。以这种方式单面部能够被表示为I_i = < ID_i, V_i >，其中ID_i是面部标识符，并且V_i是该面部的特征向量。

不同的度量比较模型能够被用来测量两个特征向量之间的差。例如，在数据聚类中欧几里德(Euclidean)和曼哈顿(Manhattan)距离是两个常用的特征向量相似性量度。根据一个或多个示例，欧几里德量度和归一化相关度量被用来计算两个特征向量之间的相似性。两个面部特征向量之间的最后匹配分数可以是欧几里德距离和归一化相关分数的加权和。还能够使用其他方法。

图像聚类(IC)被定义为包含聚类的以下信息的三维元组：(1)在该聚类中包含的图像的数目，(2)该聚类的和特征向量，(3)聚类中图像的标识符的集合。因此，图像聚类的一个定义如下：考虑到图像聚类中的N个图像{I₁, I₂, …, I_N | I_i = < ID_i, V_i >}，图像聚类IC =< N, V_N, ID_N >，其中N是图像的数目，V_N是各个图像特征向量的和特征，即，                                                

，并且ID_N是图像标识符的集合，即，IDN = { I₁, I₂, …, I_N}。

图像聚类被设计成表示特定聚类中的图像的平均特征使得当新的图像到达时，该新的图像的特征向量与该聚类的特征向量之间的相似性被计算。如果相似性低于特定阈值，则新的图像不能够被添加到特定聚类。由于图像特征的可加性，两个不相交的图像聚类的合并能够被定义如下：考虑到两个不相交的图像聚类IC_i =< N_i, V_i, ID_i >并且IC_j =< N_j, V_j, ID_j >，两个聚类的组合聚类IC_ij是IC_ij=<N_i + N_j, V_i + V_j, ID_i ∪ ID_j >。

图像聚类树(ICTree)包含图像聚类并且增量式地插入新的图像的构思。ICTree是能够包括整个图像数据集的特性的紧凑树。新的图像能够高效地通过访问树中所有可能路径的一部分而被引导到它的最相似聚类。

根据本公开的一些示例，对于IC树来说存在两个修剪阈值：δ₁和δ₂，其中0 < δ₁ <δ₂ <1，以及一个分支因子B。松阈值δ₁控制是否继续在ICTree中沿着当前路径搜索，然而紧阈值δ₂确定新的图像是否能够被添加到特定聚类。分支因子B可以是图像聚类节点的最大孩子节点。例如，根据各种示例，节点的最小分支因子能够被例如缺省地设置为一。因此，例如，没有显式因子被定义。

ICTree中的节点能够被划分成两种类型：叶图像聚类(LIC)节点和非叶图像聚类(NIC)节点。叶图像聚类节点是包含一个或多个图像的聚类，其可以是与图像聚类相同的。也就是说，LIC =< N, V_N, ID_N >。LIC节点的平均特征向量是：V_avg = V_N/N。

NLIC节点包括数个孩子图像聚类节点，其与组合的图像聚类类似；然而，NLIC具有其孩子图像聚类节点的条目。也就是说，考虑到m个图像聚类节点{IC_i =< N_i, V_i, …>| i=1, …m}，组合m个图像聚类节点的非叶图像聚类节点能够被表示为NIC =< N, V, {Child_i | i=1, …, m} >，其中N是在该聚类节点下面的图像的总数，即，

，V是所有孩子IC节点的和特征向量，即，

，并且Child_i是第i个孩子的指针。NLIC节点的平均特征向量是V_avg= V/N。

LIC节点与NIC节点之间的差可以是LIC节点包含图像的信息然而NIC节点保持其孩子IC节点的信息。两个IC节点的相似性是两个节点的平均特征向量的匹配分数。

图3图示了根据本公开的示例增量聚类树330的框图。图像聚类1 (346)包括图像N₁ (346)和图像N_i (348)。图像聚类2 (344)包括图像N₂ (350)。图像聚类3 (340)包括图像N₃ (352)，并且图像聚类4 (336)包括图像N₄ (354)和图像N₅ (356)。图像聚类1-4中的每一个都是叶图像聚类(LIC)。非叶图像聚类(NIC) 1(338)包括图像聚类1 (342)和2 (344)。NIC 2 (334)包括NIC 1 (338)和图像聚类3 (340)。NIC 3 (332)包括NIC 2 (334)和图像聚类4 (336)。注意，不需要保证图像聚类树为高度平衡的并且LIC节点能够包含一个以上的图像。

如相对于图1先前所描述的那样，当新的图像到达时，特征提取和维度降低被首先完成以获得特征向量。全局图像标识符能够被分配给新的图像。考虑到新的图像I_新的 = < ID_新的, V_新的>，用来将该新的图像插入到现有ICTree的方法能够如下：

(1) 标识图像可能被插入到其中的候选ICTree节点。从根开始，新的图像特征与沿着路径遇到的特定IC节点的平均特征之间的相似性被递归地计算，直到它降到预设阈值以下或者所遇到的当前IC节点是叶节点为止。如果当前节点是LIC节点，则能够将相似性与阈值δ₂进行比较。如果满足条件，例如，相似性大于阈值，则当前LIC节点能够被添加到候选集并且能够记录匹配分数。否则，当前节点的父代能够连同匹配分数一起被添加到候选集(即，添加新的节点作为当前遇到的节点的同胞)。

(2) 从候选找到最适当的节点。所有候选节点可以是根据与此相关联的匹配分数的并且找到最相似节点。如果候选节点是空的，即，没有候选节点被标识，则新的叶节点能够被启动并且作为当前根节点的同胞被添加。新的叶节点到前一个根的添加导致新的根节点的创建，这增加ICTree的高度。

(3) 将新的图像插入到最适当的节点。如果最相似节点(例如，如根据匹配分数所确定的)是LIC节点，则新的图像的特征能够被直接地添加到该节点。否则，能够创建包含当前图像特征的新的LIC节点。新的叶节点能够被插入作为最相似节点的孩子节点。如果当前遇到的节点的孩子节点的数目超过分支因子B，则它能够被拆分。

(4) 更新从所修改的节点到根的路径中的节点。新的图像的特征能够被朝根添加到每个连续节点，并且能够沿着路径(例如，从所修改的节点到根)更新与诸节点中的每一个相对应的图像数目。

当新的节点条目被添加到已经包含B个孩子节点的NLIC节点时，该节点能够被拆分。虽然在这里未呈现显式拆分策略，但是各种技术能够被利用来再聚类和分离聚类的元素，包括新的特征。例如，图像聚类能够导致拆分使得两个或更多个节点产生，并且相似的孩子节点很可能为相同IC节点的孩子。因此，能够完成对孩子节点的所有平均特征的子聚类。更具体地，聚类可以是K-均值、HAC或任何其他聚类方法，诸如2-均值。在对孩子节点进行聚类之后，能够构造至少两个新的非叶IC节点，其能够被用来替换原始节点(具有多于B个孩子节点)。如果父代节点的大小超过B，则能够针对每个后续父代节点递归地进行相似拆分。

从现有ICTree删除图像能够包括首先找到包含该图像的LIC节点。能够从聚类的和特征减去图像特征。因此，能够减少叶图像聚类节点的图像数目。能够从首先修改的节点往回到根递归地进行相同操作。在删除程序期间，如果存在不包含图像或孩子节点的节点，则该节点能够被删除，其中删除向树上传播直到根节点为止。

对于增量聚类，图像的到达顺序能够对最后的聚类结果有直接影响。为了降低输入顺序的影响，时间戳能够被添加到每个聚类节点以便指示节点的最后修改时间。每个图像能够具有指示它何时被插入到ICTree中的时间戳。当聚类完成时，图像能够通过计算与具有比图像的插入时间戳更迟的时间戳(指示最后修改)的节点的相似性而被再插入到ICTree。以这种方式，图像的输入顺序对最后的聚类结果可能是不太有影响的。另一可实行的方法是将每个图像再分配给所有最后的LIC节点(在下面进一步地讨论)。

如相对于图1在118和120处简要地讨论的那样，为了进一步增强聚类的质量，能够在原始ICTree聚类结果上进行数个后处理方法。当新的图像未正被处理以用于添加到ICTree时，可以实现这两个后处理方法。

由于图像的阈值选择和输入顺序的不确定性，最后的聚类结果可能不是如此令人满意的。同时，如果阈值δ₂是足够紧的则可能存在包含一个图像的许多单例聚类。因此，根据一些示例，能够进行对树的LIC节点的进一步处理。将领会的是，每个LIC节点的平均特征实际上可以是该聚类中图像的质心。每个叶节点可以被认为是单个点，并且能够做进一步聚类以产生更准确的结果(在计算时间是可用的情况下，诸如当新的图像处理不正在发生时)。以这种方式，能够大大地降低单例聚类的数目。

LIC节点揭示了当前图像数据集的总体分布并且能够被视为整个数据集的框架（skeleton）。为了最小化输入数据顺序的影响，每个图像可以被再分配给它最近的(例如，最相似的)图像聚类。以这种方式，在不同时间插入的两个相同图像能够确信被放置在相同聚类中。如上面所提到的那样，本公开的方法能够被应用于面部聚类。然而，在这里呈现的方法是通用的并且能够被应用于例如除面部以外的其他图像特征。

试验已被进行来将本公开的方法与层次上升聚类(HAC)方法和Canopy + K-均值进行比较，所述Canopy + K-均值是对于K-均值的初始化使用canopy聚类的K-均值方法的变体。在所进行的试验中，聚类是基于面部特征的。也就是说，每个聚类旨在包括属于一个人的面部，并且排除属于其他人的面部，这应该与其他不同的聚类相关联。检测为与真正的事实（ground truth）相冲突的面部被认为是误报并且因此在这些评估中未考虑。

ICTree的参数δ₁和δ₂被分别设置为0.42和0.61，并且B被设置为100。Canopy的参数T₁和T₂被分别设置为0.53和0.5。在试验中测试的方法使用了两遍技术。在第一遍中，完全连锁被利用并且停止阈值是0.618。平均连锁HAC在其中停止阈值是0.53的第二遍中被采用。

试验和比较是在来自两个标记的公众图像面部数据集的图像上做出的。所使用的第一标记的公众图像面部数据集是在自然环境下标记面部(LFW)数据集，其包含从互联网收集的多于13,000个面部图像。每个面部标记有人的名字。第一测试集(LFWS)通过从LFW数据集中选择20个人的图片来形成。具有一个以上的面部的图像被丢弃。

所使用的第二标记的公众图像面部数据集是CMU加拉格合集人数据集(GCPD)。GCPD数据集是一组家庭照片，包括涉及32个不同人的589个图像。两个数据集的具体信息被总结在表1中。

数据集名称	人数	总相片数	相关面部数
				LFWS	20	1906	1702
GCPD	32	589	852

表1 - 数据集信息。

为了测量聚类质量，在聚类算法评估中广泛地使用的两个质量度量被采用。一个是熵度量，其被用来测量非嵌套聚类对于在层次聚类的一个级的聚类的均匀性。聚类的均匀性越低，它的熵越高，并且反之亦然。对于聚类结果中的每个聚类j来说，聚类j的成员属于类i的概率被表示为P_ij。然后每个聚类j的熵使用以下公式来计算，其中在该聚类中的所有类之上取得和：

聚类结果C的总熵是通过如在以下公式中所定义的每个聚类的大小而加权的每个聚类的熵的和，其中n_j是聚类j的大小，n是面部的总数，并且m是聚类的数目：

被评估聚类质量的其他量度是F-量度(F-measure)，其将精度和查全率(recall)结合成一个度量。精度指的是与用户的信息需要有关的被检索图像的小部分。查全率指的是与被成功地检索到的查询有关的图像的小部分。与类i相对应的聚类j的精度和查全率像直接在下面在公式中所示出的那样被计算，其中n_ij是聚类j中类i的成员的数目，n_i是类i的大小，以及n_j是聚类j的大小。

 

聚类j和类i的F-量度然后由以下公式给出：

任何类的F-量度是它与任何聚类达成的最大数。F-量度的总体值根据以下公式被计算，其中n是面部的总数：

较大的总体F-量度指示较好的聚类，并且反之亦然。

由于各种面部定向和/或表情，一个人的面部能够不仅与作为占主导地位的人的人的聚类相关联，而是人的一些图像可以与其他人的一个或多个聚类相关联(例如，面部可能由于特定面部定向和/或表情而看起来更类似于另一人)。也就是说，聚类能够具有占主导地位的人的许多正确地关联的图像，以及除占主导地位的人以外的一些不正确地关联的图像。聚类的总数在表4中被示出，其反映了这个现象。

在聚类效率方面，实际聚类时间被考虑了。实际聚类时间不包括花费在面部特征提取上的时间。

表2示出了对数据的两个测试集采用不同聚类方法而获得的熵。对于初始ICTree聚类方法的结果连同对于其中单例聚类被合并(ICTree合并)的ICTree聚类方法的结果一起被示出。试验结果表明，所提出的方法具有良好的准确性和高效率。对于LFWS数据集，ICTree聚类方法比HAC或Canopy K-均值方法具有更好的熵，如由较小值所指示的那样。因为当纯度是较高的时聚类具有较低的熵，所以由本公开的ICTree方法所获得的聚类在数据集LFWS中比其它方法更纯。单例的合并将熵减少了百分之三(3%)。然而相对于GCPD测试集，表2示出了HAC方法最好地执行，然而本公开的ICTree方法的结果好于从Canopy K-均值方法所获得的结果。

数据集	ICTree	ICTree合并	HAC	Canopy + K-均值
					LFWS	0.0542	0.085	0.1341	0.2546
GCPD	0.4996	0.5495	0.3712	0.6465

表2 - 不同聚类方法的熵比较。

表3示出了用不同方法在两个测试数据集上获得的F-量度结果。如表3中所示，HAC方法在F-量度方面提供了最好的性能，如由较大值所指示的那样。针对本公开的ICTree聚类方法的F-量度比针对HAC方法的F-量度少约17% - 20%。然而，针对本公开的ICTree聚类方法的F-量度指示优于Canopy K-均值方法约10% - 20%改进。单例聚类合并(ICTree合并)的方法减少聚类的总数，并且因此在小范围内增加F-量度。

数据集	ICTree	ICTree合并	HAC	Canopy + K-均值
					LFWS	0.7118	0.7119	0.8882	0.5458
GCPD	0.5988	0.6023	0.8218	0.4782

表3 - 不同聚类方法的F-量度比较。

表4列举了对照两个测试数据集中的每一个测试的聚类方法中的每一个的总聚类数目。表4示出本公开的ICTree方法的聚类的总数大于针对基准HAC或Canopy K-均值方法的。该结果的原因据信是因为平均特征是聚类的总体描述，所以它可能丢失一些信息(例如，通过平均)。并且，所使用的紧阈值能够产生较小的聚类。

数据集	ICTree	ICTree合并	HAC	Canopy + K-均值
					LFWS	376	317	131	139
GCPD	220	178	97	87

表4 - 采用不同聚类方法的总聚类数目。

与对两个测试数据集测试的不同聚类方法相关联的时间成本被列举在表5中。在相同大小的输入情况下，本公开的ICTree方法比HAC方法更加时间高效的，并且在近似地与Canopy K-均值方法相同的时间范围内执行。HAC消耗最长时间以用于迭代地计算聚类之间的相似性。当数据集的大小是足够大的时，Canopy K-均值能够在新质心的迭代计算上花费很多时间。因为在对GCPD测试集的初始增量聚类之后存在更多单例，所以对GCPD的合并过程比对LFWS的合并过程花了更多时间。

数据集	ICTree	ICTree合并	HAC	Canopy + K-均值
					LFWS	00:00:14	00:00:15	00:24:01	00:00:12
GCPD	00:00:18	00:00:25	00:09:48	00:00:07

表5 - 不同聚类方法的效率比较。

本公开的ICTree方法的参数(例如，δ₁、δ₂和/或B)能够对最后的聚类结果有显著影响。能够基于如所需时间效率、数据集类型和大小以及期望性能这样的因素根据本公开的ICTree方法被应用于的特定应用来设置最佳参数值。除了其他方法之外，能够针对特定应用对训练数据集使用人工转向和/或交叉验证来设置最佳参数值。

根据上面讨论的比较性试验结果，本公开的ICTree方法的效用和效率使用来自不同范围的数据集的各种图像的面部特征来说明。在熵和F-量度方面，本公开的ICTree方法与HAC方法具有近似性能并且胜过Canopy K-均值方法。本公开的ICTree方法展示了比HAC方法更好的时间效率。

本公开的ICTree方法当与大规模图像数据集(例如，具有大量图像)一起工作时能够具有显著的效率利益，因为新的图像能够被增量式地自然地插入到适当的聚类。当对大规模图像数据集应用本公开的ICTree方法时，ICTree不需要被整体地加载到短期存储器中以便进行处理。因为能够增量式地实现本公开的ICTree方法，所以图像聚类(IC)节点能够被一次一个(或几个)加载到短期存储器中。分支节点参数B能够被仔细地选择以便单个IC节点的大小等于方便存储器单元的大小(例如，磁盘页)，以便高效地节省输入/输出(例如，存储器资源、数据通信时间、处理吞吐量等)。

图4图示了根据本公开用来实现增量图像聚类系统的示例计算系统的框图。计算系统474能够由通信地耦合到网络478的许多计算资源组成。图4示出了还可以具有关联的数据源476并且可以具有一个或多个输入/输出设备(例如，键盘、电子显示器)的第一计算设备475。第二计算设备479在图4中被同样示出被通信地耦合到网络478，使得可以通过第一和第二计算设备之间的网络来传送可执行指令。

第二计算设备479可以包括通信地耦合到非暂时性计算机可读介质481的一个或多个处理器480。非暂时性计算机可读介质481可以被构成来存储能够被一个或多个处理器480执行的可执行指令482 (例如，一个或多个程序)和/或数据。第二计算设备479可以被进一步通信地耦合到生产设备483 (例如，电子显示器、打印机等)。第二计算设备479还能够被通信地耦合到外部计算机可读存储器484。第二计算设备479能够通过至少一个处理器480引起对生产设备483的输出，例如，作为执行在非暂时性计算机可读介质481上存储的一个或多个程序的指令的结果，以便根据本公开实现用于增量图像聚类的系统。引起输出能够包括但不限于将文本和图像显示到电子显示器和/或将文本和图像打印到有形介质(例如，纸)。用来实现增量图像聚类的可执行指令可以被第一计算设备475和/或第二计算设备479执行，存储在诸如可以被维持在外部计算机可读存储器484中的数据库中，输出到生产设备483，和/或打印到有形介质。

一个或多个附加的计算机477还可以经由包括有线和/或无线部分的通信链路被通信地耦合到网络478。计算系统能够由诸如服务器设备和/或客户端之类的附加的多个互连的计算设备组成。每个计算设备能够包括控制电路，诸如处理器、状态机、专用集成电路(ASIC)、控制器和/或相似机器。

控制电路能够具有提供给定功能性和/或执行被存储在非暂时性计算机可读介质(例如，476、481、484)上的计算机可读指令的结构。非暂时性计算机可读介质可以是整体的(例如，481)，或者以有线或无线方式通信地耦合(例如，476，484)到相应的计算设备(例如475、479)。例如，非暂时性计算机可读介质可以是内部存储器、便携式存储器、便携式磁盘或位于另一计算资源(例如，使得计算机可读指令通过互联网被下载)内部的存储器。非暂时性计算机可读介质330能够具有存储在其上被控制电路(例如，处理器)执行以提供特定功能性的计算机可读指令。

如本文所用的非暂时性计算机可读介质能够包括易失性和/或非易失性存储器。除了其他的之外，易失性存储器能够包括依靠电力来存储信息的存储器，诸如各种类型的动态随机存取存储器(DRAM)。非易失性存储器能够包括不依靠电力来存储信息的存储器。除了其他的之外，非易失性存储器的示例能够包括固态媒体，诸如闪速存储器、EEPROM、相变随机存取存储器(PCRAM)。非暂时性计算机可读介质能够包括光盘、数字视频盘(DVD)、蓝光盘、紧致盘(CD)、激光盘以及诸如磁带驱动器、软盘和硬盘驱动器之类的磁媒体、诸如闪速存储器、EEPROM、相变随机存取存储器(PCRAM)之类的固态媒体、以及其他类型的机器可读媒体。

逻辑能够被用来整个地或部分地实现本公开的(一个或多个)方法。逻辑能够使用适当地配置的硬件和/或机器可读指令(包括软件)来实现。上面提到的逻辑部分可以被离散地实现和/或实现在公共布置中。

图5图示了根据本公开例如经由通信路径596与处理资源593通信的示例计算机可读介质(CRM) 595的框图。如本文所用的那样，处理器资源593能够包括诸如在并行处理布置中的一个或多个处理器594。具有处理器资源的计算设备能够与有形非暂时性计算机可读介质(CRM) 595通信和/或接收有形非暂时性计算机可读介质(CRM) 595，所述有形非暂时性计算机可读介质(CRM) 595存储一组计算机可读指令(例如，软件)以用于捕获和/或重放网络业务，如本文中所描述的那样。

随着数字图像的繁荣，具有高效率和效力的增量图像聚类方法在促进图像浏览和开发时可能是有益的。为此目的，本公开的ICTree方法(一种层次图像匹配模型)能够提供优于先前方法的不同优点和效率。

上述说明书、示例以及数据提供了方法和应用的描述以及本公开的系统和方法的使用。因为在不背离本公开的系统和方法的精神和范围的情况下能够做出许多示例，所以本说明书仅仅阐述许多可能的示例配置和实施方式中的一些。

尽管已经在本文中举例说明并且描述了特定示例，但是本领域的普通技术人员将领会，被打算来实现相同结果的布置能够取代所示出的特定示例。该公开旨在涵盖本文中提供的一个或多个示例的改编或变化。已经以说明性方式而不是约束性方式做出了上述描述。上述示例和未在本文中具体地描述的其他示例的组合在回顾上述描述时将是显而易见的。因此，应该连同被授权的全系列的等同物一起基于所附权利要求来确定本公开的一个或多个示例的范围。

遍及本说明书和权利要求，在下面标识的意义并不一定限制术语，而是仅仅为术语提供说明性示例。“一”、“一个”以及“该”的意义包括复数参考，并且“在…中”的意义包括“在…内”和“在…上”。如本文所用的“实施例”未必指的是相同实施例，尽管它可以。

在本公开的前述讨论中，对形成其一部分的附图进行了参考，并且在附图中通过图例的方式示出了本公开的示例如何可以被实践。这些示例被充分详细地描述以使得本领域的普通技术人员能够实践本公开的实施例，并且应当理解的是，可以利用其他示例而且在不背离本公开的范围的情况下可以做出过程、电气和/或结构改变。

出于使本公开合理化的目的一些特征被一起分组在单个实施例中。公开的这个方法将不被解释为反映所公开的本公开的示例必须使用比被明确地记载在每个权利要求中的更多特征的意图。相反地，如以下权利要求反映那样，发明主题在于少于单个公开的实施例的所有特征。因此，以下权利要求从而被结合到具体实施方式中，其中每个权利要求作为单独的实施例独立存在。

Claims (15)

1.一种用于增量图像聚类的方法，包括：

经由计算设备基于新的图像的特征与被评估LIC节点中的每一个的平均特征之间的相似性从图像聚类树(ICT)上的被评估叶图像聚类(LIC)节点之中标识许多候选节点；

经由所述计算设备从所述许多候选节点之中确定最相似节点；以及

经由所述计算设备将所述新的图像插入到与所确定的最相似节点相关联的节点，

其中，所述被评估节点包括沿着从根节点到叶节点或具有超过第一阈值的相似性的节点的每个路径的至少一个节点。

2.根据权利要求1所述的方法，进一步包括：

当没有候选节点被标识时，启动包含所述新的图像作为所述根节点的同胞的新的叶节点；以及

启动具有作为所述根节点和所述新的叶节点的孩子节点的新的叶节点。

3.根据权利要求1所述的方法，进一步包括当结果得到的孩子节点超过最大分支阈值时在插入所述新的图像之后拆分所述确定的最相似节点。

4.根据权利要求1所述的方法，其中经由所述计算设备将所述新的图像插入到与所述确定的最相似节点相关联的节点包括：

当所述最相似节点是叶节点并且所述新的图像的所述特征与所述最相似节点的所述平均特征之间的所述相似性超过第二阈值时，将所述新的图像的特征添加到所述最相似节点；

当所述最相似节点是叶节点并且所述新的图像的所述特征与所述最相似节点的所述平均特征之间的所述相似性不超过所述第二阈值时，将所述新的图像的所述特征添加到作为所述最相似节点的同胞节点插入的新的叶节点；以及

当所述最相似节点不是叶节点时，将所述新的图像的所述特征添加到作为孩子节点插入到所述最相似节点的新的叶节点。

5.根据权利要求1所述的方法，进一步包括沿着从根节点到所述最相似节点的路径来更新所述ICT上的至少一个节点以在所述新的图像被添加之后包括所述新的图像的所述特征和许多孩子节点。

6.根据权利要求1所述的方法，进一步包括周期性地再聚类具有单个图像的所述ICT上的叶节点。

7.根据权利要求6所述的方法，其中周期性地再聚类具有单个图像的所述ICT上的叶节点包括在当没有新的图像可用来被接收时的时间再聚类具有单个图像的所述ICT上的叶节点。

8.根据权利要求6所述的方法，进一步包括将来自具有单个图像的所述ICT上的所述节点的图像再分配给最近叶图像聚类节点。

9.根据权利要求1所述的方法，所述新的图像的所述特征与照片中人的面部特征相关联。

10.根据权利要求9所述的方法，进一步包括：

检测面部；

提取所述面部特征；

确定所述面部特征的原始特征向量；以及

将所述原始特征向量减少为所述面部特征的减少的特征向量，所述减少的特征向量是所述新的图像的所述特征。

11.一种用于增量图像聚类的方法，包括：

向计算设备接收所述新的图像；

经由所述计算设备来检测图像分量；

经由所述计算设备来提取特征；

经由所述计算设备来确定原始特征向量；

经由所述计算设备将所述特征减少为减少的特征向量；以及

使用所述计算设备来构建图像聚类树以包括所述新的图像，

其中，所述新的图像通过增量图像聚类而被插入到所述图像聚类树中。

12.根据权利要求11所述的方法，其中构建图像聚类树以包括所述新的图像包括：

经由计算设备基于新的图像的特征与被评估LIC节点中的每一个的平均特征之间的相似性从图像聚类树(ICT)上的被评估叶图像聚类(LIC)节点之中标识许多候选节点；

经由所述计算设备从所述许多候选节点之中确定最相似节点；以及

经由所述计算设备将所述新的图像插入到与所确定的最相似节点相关联的节点，

其中，所述被评估节点包括沿着从根节点到叶节点或具有超过第一阈值的相似性的节点的每个路径的至少一个节点。

13.根据权利要求12所述的方法，其中将所述新的图像插入到与所述确定的最相似节点相关联的所述节点包括所述相似性超过第二阈值，所述第二阈值大于所述第一阈值。

14.一种具有在其上存储计算机可读指令的非暂时性计算机可读介质，所述计算机可读指令包括如果被一个或多个处理器执行则使所述一个或多个处理器进行以下各项的指令：

基于新的图像的特征与被评估LIC节点中的每一个的平均特征之间的相似性从图像聚类树(ICT)上的被评估叶图像聚类(LIC)节点之中标识许多候选节点；

从所述许多候选节点之中确定最相似节点；以及

将所述新的图像插入到与所确定的最相似节点相关联的节点，

其中，所述被评估节点包括沿着从根节点到叶节点或具有超过第一阈值的相似性的节点的每个路径的至少一个节点。

15.根据权利要求14所述的非暂时性计算可读介质，进一步具有存储在其上的计算机可读指令，所述计算机可读指令如果被一个或多个处理器执行则使所述一个或多个处理器：

当没有候选节点被标识时启动包含所述新的图像作为所述根节点的同胞的新的叶节点；以及

启动具有作为所述根节点和所述新的叶节点的孩子节点的新的叶节点。

Images