CN102132318A

CN102132318A - 图像收藏集的可缩放的相关性排序表示的自动创建

Info

Publication number: CN102132318A
Application number: CN2008801308205A
Authority: CN
Inventors: P·奥布拉多
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-08-21
Filing date: 2008-08-21
Publication date: 2011-07-20
Anticipated expiration: 2028-08-21
Also published as: GB2474787A; WO2010021625A1; CN102132318B; GB2474787B; GB201100477D0; US20110038550A1; DE112008003972T5; US8594440B2

Abstract

在自动创建图像收藏集的可缩放的相关性排序表示的方法中，基于图像的特征将图像收藏集中的图像分类为多个簇。此外，确定多个簇中的每个簇中所包含的图像的相应的相关性等级，并且根据相关性等级对多个簇中的每个簇中的图像进行排序。而且，根据预先限定的排列过程对来自经过排序的多个簇的图像进行排列，以创建图像收藏集的可缩放的相关性排序表示。

Description

图像收藏集的可缩放的相关性排序表示的自动创建

相关申请

本申请与在2005年5月12日提交的题为“METHOD AND SYSTEM FOR AUTOMATICALLY SELECTING IMAGES FROM AMONG MULTIPLE IMAGES”的序列号为11/127,079的共同未决且共同受让的美国专利申请和在2007年12月7日提交的题为“PROCESSING PIXEL VALUES OF A COLOR IMAGE”的序列号为61/012,099的共同未决的美国临时专利申请共享某个共同的主题，这些专利申请的整体公开内容通过引用结合于此。

背景技术

随着数字照相机和录像机的出现和激增，以及成本日益降低的数据存储容量的增加，用户将数目越来越多的图像收集在收藏集（collection）中已变得普遍。例如，用户常常在诸如婚礼、度假和聚会的单个事件期间拍摄数百张数字图像。当用户希望创建包含其中一些图像的相册、照片书（photobook）或幻灯片时，用户通常基于场景内容或者捕获照片的人物按时间顺序排列照片。然而，由于相对大数目的图像，用户常常花费大量的时间在图像收藏集中进行拣选，以确定要包括这些图像中的哪些图像。

用于自动图像分类的常规系统已被应用于存储在数据库中的多个图像。分类已被用来对图像编注索引，使得可以归类、浏览和检索图像。此外，图像与关于图像文件的诸如文件创建日期、文件名和文件扩展名的描述信息一起被存储在数据库中。在极大程度上，用于图像分类的技术类似于应用于任何形式的数字信息的分类技术。

示例性图像分类技术提供了对图像收藏集的导航，以便于图像检索。通过色彩或纹理特征的分布来概括图像的外观，并且在任何两个这样的分布之间定义度量（metric）。提供感知的非相似性的测度（measure）来协助图像检索。二维或三维欧几里德空间已被用于评估图像之间的距离差异，以突出图像非相似性。结果可用于协助用于定位特定图像的数据库查询。

尽管常规的图像分类技术给用户提供了更容易地对图像导航的能力，但是因为仍要求用户手动搜寻图像，所以这些技术仍要求用户花费大量的手动劳动来选择所期望的图像、诸如代表特定事件的图像。

因此，要求相对较少的用户输入的从图像收藏集中选择良好的代表性图像以包括在相册、照片书、幻灯片等中的改进的方法会是有益的。

附图说明

根据下文参照附图的描述，本发明的特征对于本领域技术人员将变得明显，在附图中：

图1根据本发明的实施例描绘了用于创建图像收藏集的可缩放的（scalable）相关性排序表示的计算机实施的系统的简化框图；

图2根据本发明的实施例描绘了创建图像收藏集的可缩放的相关性排序表示的方法的流程图；

图3A根据本发明的实施例描绘了图2中描绘的流程图中所包含的步骤的图形说明；

图3B根据本发明的实施例示出了图2中描绘的流程图中所包含的步骤的图形相关性表示；以及

图4根据本发明的实施例示出了样本分级可缩放图像收藏集表示310和可缩放的相关性排序表示的图。

具体实施方式

出于简单和说明的目的，主要参照本发明的示例性实施例描述本发明。在下面的描述中，阐述了许多特定的细节，以便提供本发明的透彻理解。然而，对于本领域技术人员显而易见的是，本发明可以在不限于这些特定细节的情况下被实践。在其它情况下，未详细描述公知的方法和结构，以免不必要地使本发明模糊不清。

这里描述了用于自动地创建图像收藏集的可缩放表示的方法和系统。可缩放表示由提供所期望的结果的选自图像收藏集的图像排列组成。例如，可缩放表示由图像收藏集中的提供对特定事件的良好覆盖的最相关的图像组成。最相关的图像可以包括那些包含特定人物、地点、事件等的图像。此外，最相关的图像可以包括最吸引人的图像。作为另一实例，可缩放表示由被排列和被排序为基于各种事件发生的顺序来讲述故事的图像组成。作为又一实例，可缩放表示由被排列和被排序为提供对包含特定人物、对象、地点等的图像的覆盖的图像组成。

通过在这里公开的方法和系统的实施方案，可以自动地创建图像收藏集的可缩放的排序表示，使得可缩放表示可以容易地被缩放来将期望数目的图像并入到文档、照片书、相册、幻灯片、日历等中的至少一个，同时至少提供期望等级的覆盖。因为图像按相关性排序，所以该表示可以容易地缩放，并且因此可以如所期望的那样容易地移除最不相关的图像，以能够仅将最相关的图像保留在表示中。

首先参照图1，根据实例示出了用于创建图像收藏集的可缩放的相关性排序表示的计算机实施的系统100的简化框图。在一个方面，在这里公开的各种方法和系统可以如下文更详细讨论的那样在图1中描绘的计算机实施的系统100中被实施。应当理解，系统100可以包括另外的部件并且在不偏离系统100的范围的情况下可以移除和/或修改这里描述的部件中的一些部件。

如图1中所示，系统100包括计算设备110、输入源120和输出130。计算设备110包括处理器112和存储器114，该存储器114存储图像收藏集116。处理器112被配置来控制在计算设备110中执行的各种操作。操作之一包括创建图像收藏集116的也可以存储在存储器114中的可缩放的相关性排序表示118。然而，可替换地，图像收藏集116可以被存储在诸如外部数据存储装置等的分离的数据存储装置中。在任何方面，图像收藏集116可以包括单个文件夹中所包含的所有图像文件、单个文件夹中所包含的所有图像文件的子集、多个文件夹中所包含的图像等等。

如在这里提到的那样，“图像”是以电子形式存储在任何类型的电子存储介质或者计算机存储器中的任何图像或者电子数据文件。图像可以是来自任何类型的数字捕获装置（digital capturing device）（诸如但不限于数字摄像机、数码相机、视频捕获卡或者其它图像捕获装置）的所捕获的任何数字图像。图像交替地可以是例如来自任何照相机、摄像机或者模拟图像捕获源或装置的所捕获的模拟图像，所述模拟图像被扫描或者以其它方式进行数字化并且被存储为数字图像。图像也可以是电子文档，诸如例如包含图像、视频、声音等的多媒体文档。本领域技术人员将认识到，图像可以是用户可以从电子数据文件集访问的任何类型的电子文件。

一般说来，图像收藏集116的可缩放的相关性排序表示118包括图像收藏集116中的图像排列，使得当例如通过移除被标识为相关性相对较小的图像来将表示118缩放为包括比所有图像少的图像时，剩余的图像提供了对图像收藏集中的所有重要事件（人脸、动物、地点、对象等）的相对良好的覆盖。下文更详细地描述了处理器112可创建可缩放的相关性排序表示118的各种方式。

根据实例，处理器112包括被编程来创建可缩放的相关性排序表示118的微处理器电路。根据另一实例，用于创建可缩放的相关性排序表示118的代码在存储器114上被存储为处理器112被配置来实施或执行的软件。

在任何方面，存储器114包括能够存储信息的任何合理适当的装置或者包括能够存储信息的装置的任何组合，诸如半导体装置、磁盘存储装置、诸如EEPROM或CDROM的非易失性存储装置等。存储器114还可以包括固定的或者可移动的数据存储装置。除了存储图像收藏集116和图像收藏集116的可缩放表示118之外，存储器114还可以存储处理器112在执行计算设备110的各种操作时可以执行的一个或更多程序指令或代码。

可缩放的相关性排序表示118可以包括图像收藏集116中所包含的图像的副本。可替换地，表示118可以包括图像收藏集116中所包含的图像的指示。此外，表示118不需要被存储为存储器114的部分，而是可以被存储在分离的位置，并且可以包括将允许处理器112针对连续显示检索所选择的图像的任何信息。例如，与表示118相关联的所选择的图像（或者其指示）或者其部分可以被存储在处理器112的本地存储器中。

输入源120可以包括用户在将数据输入到计算设备110中时使用的用户接口，诸如键盘、鼠标、触摸屏显示器、另一计算设备等。例如，用户可以使用输入源120输入在图像收藏集116的表示118中期望的关于图像数目、来自图像收藏的图像的百分比、图像中包含的对象等的信息。用户还可以使用输入源120对图像中的所选择的图像加标签为高度相关的，标识表示118中的所期望的参数。

输出130可以包括向其输出图像收藏集116的可缩放表示118的任何合理适当的设备。输出130因此可以例如包括显示器、打印机、另一计算设备、数据存储装置、经由因特网连接到计算设备110的服务器等。例如，可以使用可缩放表示118基本上自动地创建包含来自图像收藏集116的所选择的图像的照片书、幻灯片、日历、相册等，这些所选择的图像可由输出130存储、显示和/或打印。

尽管没有示出，但是计算设备110可以包括附加的部件，诸如包括通信总线和辅助存储器。计算设备110还可以与用户输入和输出装置接口连接，诸如与键盘、鼠标和显示器接口连接。此外，处理器112可以通过网络适配器在例如因特网、LAN等的网络上进行通信。

现将参照下面的图2中描绘的方法200的流程图描述其中可以使用计算设备110创建图像收藏集116的可缩放的相关性排序表示118的方法的实例。对于本领域技术人员应明显的是，在不偏离方法200的范围的情况下，可以添加其它步骤或者可以移除、修改或重新排列现有步骤。

方法200的描述是参照图1中图示的计算设备110进行的，并且因此参照其中提到的元件。然而，应当理解，方法200并不限于系统100中阐述的元件。相反地，应当理解，方法200可以由配置不同于图1中阐述的配置的计算设备来实践。

方法200中阐述的操作中的一些或所有操作可以作为实用程序、程序或子程序被包含在任何所期望的计算机可访问介质中。此外，方法200可以通过计算机程序被具体化，这些计算机程序可以以活跃的和不活跃的多种形式存在。例如，这些计算机程序可以作为包括具有源代码、目标代码、可执行代码或其它格式的程序指令的（多个）软件程序而存在。任何上述内容可以在计算机可读介质上被具体化，其包括存储装置和具有压缩过的或未压缩过的形式的信号。

示例性计算机可读存储装置包括常规的计算机系统RAM、ROM、EPROM、EEPROM和磁盘或磁带或光盘或光带。示例性计算机可读信号不论是否使用载体进行调制过都是主控或运行计算机程序的计算机系统可以被配置来对其进行访问的信号，这些信号包括通过因特网或其它网络下载的信号。前述内容的具体实例包括CD ROM上的或者经由因特网下载的程序的分布。在某种意义上，因特网自身（作为抽象实体）是计算机可读介质。通常，对于计算机网络，情况亦是如此。因此将理解，能够执行上述功能的任何电子装置都可以执行上文列举的那些功能。

处理器112可以实施或执行方法200，以创建图像收藏集116的可缩放的相关性排序表示118。如根据下文的讨论而将变得更清楚的那样，因为处理器112被配置为根据相关性度量对图像排序，所以表示118被视为是可缩放的。同样地，当表示118被缩小时，因为首先从表示118移除不太相关的图像，所以对整体表示118影响较小。

将参照图3A和3B描述方法200，图3A和3B分别描绘了方法200中所包含的步骤的图形说明300和步骤206的图形相关性表示312。出于说明的目的且不是限制的目的，特别参照图3A和3B中描绘的元件。同样地，方法200不应被解释为限于图3A和3B中描绘的元件。

在步骤202，处理器112基于图像中的至少一个特征将图像收藏集116中包含的图像分类为多个簇。在一个实例中，例如，基于时间特征，多个簇中的每个簇都包括不同的时间段。在另一实例中，多个簇中的每个簇都包括不同的行动者（actor）或对象。在又一实例中，如图像中所描绘的那样或者基于标识数据（诸如与不同的地理位置相关联的全球定位系统坐标），多个簇中的每个簇都包括不同的地理位置。根据另一实例，处理器112可以将图像分类为不止一个类型的簇，诸如时间簇和行动者簇。应当理解，可以基于图像中所包含的主题和图像的标识数据之一或两者的任何合理适当的（多个）特征来划分簇。

在其中图像的特征包括时间的情况中，处理器112可以从与每个图像相关联的自动创建的时间戳或者从用户输入的时间信息获得时间信息。在其中图像的特征包括行动者的情况中，处理器112可以执行或实施被设计来标识图像中的人脸并且还区分检测到的人脸的人脸检测算法。在Xiao, J.和Zhang, T.的“Face Bubble: Photo Browsing with Faces”（Proceedings of Advanced Visual Interfaces 2008, 那不勒斯、意大利、 2008年5月28日－30日）中描述了用于检测和区分人脸的适当方法的实例，该文献的整体公开内容通过引用结合于此。可以通过类似的方法标识图像中的其它类型的对象。

如图3A中所示，处理器112可以将图像收藏集116的图像分类为具有簇304、306a-306c的不同层级的分级图像收藏集表示302。层级的每个等级都可以包括所有相同的图像，但是被分为不同数目的簇304、306a-306c。更具体地，例如，处理器112可以在该层级的较高等级下将图像分类为较少数目的簇304并且在该层级中的较低等级下将图像分类为较多数目的簇306a-306c。

根据实例，处理器112例如根据获得簇中所包含的图像的时间间隔来分级地排列簇。在该实例中，如下文所讨论的那样，顶层级被设计为容纳最小尺寸的表示118，以便实现对所期望的时间段上的图像的良好覆盖。

簇可以被分为任何适当的时间段，诸如分为年、月、日、日中的时间段等。例如，返回参照图3A，较高等级的簇304可以是一个月而较低等级的簇306a-306c可以是月中的日或周。在专利申请11/127,079中讨论了可以基于时间特征来划分簇的方式的适当实例。

在步骤204，在多个簇中的每个簇中，处理器112确定图像的相应相关性测度。图像的相关性测度可以包括基于诸如图像吸引力度量、人脸聚类（clustering）、笑容检测、用户喜好加标签和基本相似性的一个或更多特征的用户可配置的相关性排序。所应用的相关性测度的类型和/或应用到相关性测度中的各种相关性测度的加权可以是用户可选择的。因此，例如，用户可以指示：在特定时间范围期间或者在特定位置捕获的图像将被给予超过其它图像的较大的相关性。此外或者可替换地，用户可以指示：包含特定人脸或对象的图像将被给予超过其它图像的较大的相关性。

因此，例如，处理器112可以处理所有图像，以确定图像的一个或更多特征并且确定图像的相应的相关性测度。一个或更多特征可以例如包括：图像是否包含人脸；在包含人脸的那些图像中，行动者是否正在笑；图像是否包含特定对象；等等。在处理器112被配置来检测图像是否包含笑脸的情况下，处理器112可以使用面部表情识别算法。在Chen, X.和Huang, T.的“Facial Expression Recognition: a Clustering-Based Approach”（Pattern Recognition Letters, 第24卷、第9-10期、第1295-1302页、2003年6月1日）中描述了适当的面部表情识别算法的实例，该文献的整体公开内容通过引用结合于此。处理器112也可以使用适当的对象检测算法来检测图像中的特定对象。

处理器112可以进一步实施图像吸引力度量，以确定图像收藏集116中所包含的每个图像的图像吸引力值。此外，处理器112被配置来在确定相应的相关性等级时使用所述图像吸引力值。例如，处理器112被配置来将较高的相关性等级分配给具有较高的图像吸引力值的图像。

一般说来，“图像吸引力”可以被定义为当由人类观察者观看时图像生成的兴趣，从而在传统的客观质量测度之上并入了主观因素。根据实例，处理器112通过实施如下文所述的图像吸引力度量而自动地确定图像的图像吸引力值。

在该实例中，对于每个图像，处理器112将有代表性的锐度（representative sharpness）（S）值分配给图像的每个区域。更具体地，处理器112被配置来使用常规的图像抠图（matting）算法，其中抠图结果与图像区域交叉。这允许标识图像中的可以在其上可靠地测量锐度的具有某个纹理/边缘内容的区域。处理器112使用多分辨率拉普拉斯方法来确定实际的锐度值。在该方法下，拉普拉斯金字塔的所有4个等级被组合，以便容忍图像噪声。此外，由于模糊感知随局部对比度而改变，所以通过非线性函数对拉普拉斯金字塔加权，以校正针对不同对比度等级的所测量的模糊。基于对比度的校正因子已被实施为：

式（1）：

。

使用均方根对比度在每个区域中测量对比度（CN）。均方根对比度是：

式（2）：

，其中

式（3）：

。

利用在CIE-Lab色空间中组合色差以及色度幅度（chroma magnitude）的方法来测量色彩度（colorfulness）（CF）：

式（4）：

。

在式（4）中，σ_ab是CIE-Lab空间中的标准偏差的三角学长度，并且μ_ab是CIE-Lab空间中的重心到中性色轴的距离。

对于每个图像，处理器112组合锐度、对比度和色彩度图（map），以呈现针对每个图像的吸引力图（AMap）。在存在纹理/边缘内容的地区中，处理器112被配置来利用来自对比度和色彩度的贡献按添加的方式对锐度度量进行补充。在最软的地区中，例如在不包含高频率的地区中，对比度和色彩度的贡献是更大的，就是说，这将增加具有很少纹理/边缘内容的高度醒目的区域或者色彩高度鲜艳的区域的图像吸引力测度。处理器112因此将每个像素（i,j）位置处的吸引力图（AMap）再现为：

式（5）：

，其是：

式（6）：

和

式（7）：

。

在以上各式中，SD是每个像素（i,j）所属的特定区域的“锐度密度”，作为由上述抠图的输出覆盖的区域的百分比。例如，其中SDThres=0.33、A=2、B=57、C=2、D=21、E=21并且F=9。这些值基本上确保对比度和色彩度在锐度低或没有锐度的区域中的较高的贡献。

处理器112还被配置来计算针对最终吸引力度量的图像决定的阈值（image dependent threshold），因为不同的图像可能具有极为不同的吸引力分布。图像决定的阈值被设定为以上讨论的吸引力图中的最大值的一半，因为在所有图像中，被绑定来成为比其它区域更相关的区域。同样地，因此将在该区域内测量最终吸引力度量。更具体地，处理器112生成二值图，其中具有高于图像决定的阈值的吸引力图值的所有区域被设定为例如“吸引人的”并且具有低于图像决定的阈值的燃料图值（fuel map value）的所有区域被设定为例如“不吸引人的”。

处理器112还可以在确定每个图像的最终吸引力度量时考虑曝光测度。一般说来，如果在高端和低端处均不存在直方图剪裁，并且对大部分亮度值有良好覆盖，则处理器112可以强加损失。根据实例，处理器112可以使用如下的基于亮度直方图的平均值及其标准偏差的模型：

式（8）：

。以及

式（9）：

。

在以上各式中，B_lum＝B_s-lum=0.2并且A_lum＝A_s-lum=0.8。

根据实例，LLThres=70、LHThres=160、sLLThres=35并且sLHThres=60。

处理器112还可以确定最终曝光因子（E），以包括亮度因子和标准偏差因子的乘积。

式（10）：E=lum因子*Σ因子。

处理器112可以进一步考虑每个图像中的吸引人的区域的同质性测度。通过对吸引力图进行两次阈值设定（thershold）来考虑同质性测度，一次是与上文讨论的图像决定的阈值（最大吸引力值的1/2）一起进行阈值设定，并且一次是与第一阈值的一半（最大吸引力值的1/4）一起进行阈值设定，从而生成两个吸引人的区域。在较低的阈值的情况下，吸引人的区域将扩大到具有某个中间吸引力值的其它区域。这两个二值图（位置和尺寸）越相似，同质性测度就越高。就是说，如果较低阈值引入的扰乱很多，则那是指示不易于从背景分割出吸引人的区域，并且因此同质性较低。

处理器112还可以进一步测量每个图像中的吸引人的区域的尺寸（SZ）并且可以在确定图像的图像吸引力值时考虑这些尺寸。例如，处理器112可以将较大的值分配给那些具有大于阈值的尺寸的图像中的吸引人的区域。例如，阈值可以被设定为图像面积的约1/3。在一个方面，处理器112可以将较大的值分配给那些包含较大的同质的吸引人的区域的图像。

处理器112被配置来实施图像吸引力度量，该图像吸引力度量在确定每个图像的图像吸引力等级时考虑上述测度中的两个或更多的组合。导致有利的图像吸引力确定的图像吸引力度量是导致所有吸引人的区域上的吸引力图的平均值乘以其它因子的乘积的度量。就是说，最吸引人的图像是那些对于所有上述测度具有好的值的图像。通过特定实例，如在下式所提到的那样，处理器112可以被配置来或被编程来通过以下操作确定每个图像（i）的吸引力测度（AM）：仅确定图像吸引力区域上的图像吸引力图（AMap）的平均值；使用锐度（S）、对比度（CN）和/或色彩度（CF/OCF）的任何组合，以使吸引力平均值乘以其它特征（整个图像上的曝光（E）、吸引人的区域的尺寸（SZ）、吸引人的区域的同质性（H）和色彩度）的任何组合的乘积；其中N是以像素为单位的吸引人的区域的尺寸：

式（11）：

。

因此，在步骤204确定相应的相关性等级时，处理器112可以确定图像的图像吸引力值。

在步骤204，通过比较簇304、306a-306c中的每个簇之内的图像以确定是否存在彼此基本上相似的任何图像，处理器112进一步确定相应的相关性等级。处理器112标识基本上相似的图像，以还确定如下文讨论的图像的相关性测度。

在确定簇304、306a-306c中的图像是否与相应簇304、306a-306c中的其它图像相似时，处理器112可以使用相似性度量，该相似性度量基于例如在临时专利申请61/012,099中描述的基于区域的词汇颜色量化描述符（lexical color quantization descriptor）。如在该申请中所描述的那样，词汇颜色量化过程被实施在图像上，以将图像中的像素值转换为第二表示，其中该第二表示具有黄-蓝轴、红-绿轴和亮度轴。

根据实例，处理器112彼此比较图像的经转换的像素值。更具体地，处理器112可以确定：如果不同图像中的相同的词汇颜色区域在尺寸和位置上相似，则图像具有高的相似性度量。然而，应当理解，在不偏离方法200的范围的情况下，处理器112可以使用确定图像是否相似的其它方法。

此外，当两个图像充分相似以批准标记为彼此基本上相似时，处理器112可以应用相似性阈值来区分这些图像。相似性阈值对于簇层级的等级中的每个等级可以不同。例如，相似性阈值可以进一步接近层级的顶部地被放松（relax），以基本上确保较大的和相似性较大的簇更接近层级的顶部。

在步骤206，如图3A中的分级可缩放图像收藏集表示310中所示的那样，处理器112根据一个或更多相关性测度对每个簇304、306a-306c中的图像进行排序。如其中所示的那样，簇304、306a-306c中的每个簇中所包含的图像可以根据相关性表示312被评定。在图3B中更详细地示出了相关性表示312的实例。

更具体地，图3B描绘了处理器112基于相关性对簇304、306a-306c中的每个簇中的图像进行分类的方式，其中相关性的标准之一包括图像吸引力。如图3B中所示的那样，相关性表示312包括标记为“图像吸引力350”的竖直延伸线和标记为“较低相关性352”的水平延伸线。此外，每个竖直延伸线都表示特定的图像，其中竖直延伸线的高度表示该图像的图像吸引力值。应当理解，相关性表示312仅描绘了一种类型的测度（图像吸引力），并且也可以使用诸如图像内容、图像捕获时间、捕获图像的焦距等的其它测度来彼此区分图像。在这一点上，在不偏离相关性表示312的范围的情况下，竖直延伸线350可以包括另一类型的测度。

在任何方面，更接近相关性352线的左侧被安置的那些图像具有最高的相关性，并且更接近相关性352线的右边缘被安置的那些图像具有最低的相关性。相关性352线还被描绘为由多个类别形成，其中每个类别都具有不同的相关性值。此外，在每个类别之内，与具有最低图像吸引力的图像相比，具有最高图像吸引力的图像沿较低相关性352线的更左侧被安置。因此，具有最高图像吸引力的图像被视为在每个类别中具有最高相关性。

这些类别已被描绘为重要图像360、代表性图像362、第一副本集合364、第二副本集合366等。此外，在每个类别之内，图像已根据其相应的图像吸引力进行排列，其中那些具有较高图像吸引力的图像沿相关性352线的更左侧被安置。

如图3B中所示，被标识为重要图像360的图像被给予最高相关性。这些图像可以例如包括用户直接或间接加标签为高度期望的图像（最相关图像）。用户可以通过输入源120指示图像的高相关性来直接加标签于图像。此外或者可替换地，基于跟踪用户对图像的使用，图像可以被间接地加标签为重要的。例如，可以确定用户是否已在其它应用（例如，电子邮件、文档、明信片、日历等）中使用图像并且可以跟踪这种使用。那些具有最大使用的图像可以被自动地加标签为重要图像。作为另一实例，图像的期望度（或相关性）可以基于例如通过社交联网应用或者使多个用户能够访问图像的收藏集的其它应用的来自多个用户的反馈（诸如图像的加标签）。

重要图像还可以包括可以具有大于其它图像的相关性的其它图像。例如，包含特定的笑容行动者的图像可以被分类为重要图像。

代表性图像362可以包括如上所述的那些也并不具有副本（或者基本上相似的图像）的图像。代表性图像362还可以包括副本图像中的具有最高图像吸引力的图像。同样地，第一副本集合364中的图像可以包括那些已被标识为副本（或者基本上相似的图像）但是具有副本图像中的次最高的图像吸引力的图像。而且，第二副本集合366中的图像可以包括那些已被标识为副本（或者基本上相似的图像）但是具有副本图像中的第三最高的图像吸引力的图像。另外的副本图像可以根据其相应的图像吸引力等级而被分类为另外的副本集合，直至簇304、306a-306c中的每个簇中的所有图像都已被分配。

在步骤208，处理器112根据预先限定的排列过程对一个分级等级的簇304、306a-306c中所包含的图像进行排列，以创建图像收藏集116的可缩放的相关性排序表示118。根据其排列图像的分级等级的选择可以是用户选择的。例如，用户可以基于来自可缩放表示118的所期望的细节的等级来选择特定的分级等级。例如，如果用户期望对不同事件、时间段、行动者等的较大的覆盖，则用户可以选择分级的较低的等级（包含更多的簇）。可替换地，如果用户期望选择较宽范围的图像，则用户可以选择分级的较高的等级（包含更少的簇）。

参照图3A，步骤208对应于创建图像322的可缩放的相关性排序表示320。因为图像可以被分类为不同的簇并且因此被分类为层级的不同等级中的不同的类别（图3B），所以从簇304、306a-306c中选择图像322的顺序与预先限定的排列过程和层级的从其中选择图像的所选等级有关。例如，在一个簇等级中被分类为代表性图像362的图像在另一簇等级中可能被分类为副本图像364。

根据第一实例，预先限定的排列过程可以包括用户可配置的排列过程。在该实例中，用户可以选择该层级的从其中选择图像的等级。此外，用户可以选择具有较大显著性（prominence）的一个或更多簇。用户可以进一步一起移除所述簇中的一个或更多簇中的图像。

根据第二实例，图像322在可缩放的相关性排序表示320中的排列基于时间层级等级选择。在该实例下，第一判断是选择时间聚类层级中的在其上例如操作为来自用户的指令的右侧等级。一旦该层级等级已被选择，则图像选择过程在该等级处进行并且要被选择的全部数目的图像（NN）驱动选择过程。例如，图像（NN）的选择可以根据下式：

式（12）：如果NN<NC₁，则NC_选择=NC₁，和

式（13）：如果NC_i-1>NN>NC_i，则NC_选择=NC_i。

在以上各式中，NC_i是每个层级等级i处的时间簇的数目，其中i大于或等于1。此外，以上各式说明了可以选择对图像收藏集116的最佳覆盖的最佳时间层级的方式。

在用户向所选等级处的某个时间簇给予更多的显著性的情况中，该时间簇的选择是在紧接的较低的层级等级处执行的，以实现对该特定事件的更好的覆盖。

根据第三实例，图像322在可缩放的相关性排序表示320中的排列以基于簇尺寸的方法为基础。在该方法下，一旦簇层级等级已被选择，就从该等级处的每个簇中选择图像。此外，图像的选择基于特定的规则在不同的簇之间交替。例如，该方法按成比例的方式偏好于具有更多的代表性图像的簇。

参照图4，根据实例，示出了样本分级可缩放图像收藏集表示310和可缩放的相关性排序表示320的图400。图400中示出了已针对簇306a-306c中所包含的图像使用不同的选择方法进行了排列的可缩放的相关性排序表示320的两个实例。第一表示320(a)描绘了以上文讨论的基于簇尺寸的选择方法为基础的排列。如其中所示的那样，在该方法下，首先选择最大的簇306c中的具有最高的相关性的图像，该图像是标记为“6”的图像，接下来选择下一最大的簇306b中的最高相关性图像，该最高相关性图像是标记为“a”的图像，并且随后接着选择标记为“c”的图像，等等。该方法导致了图像的以下可缩放的相关性排序列表：该可缩放的相关性排序列表提供了对具有不相似的图像的事件的良好覆盖，这是利用图像讲述故事的优选方式。

第二表示320(b)描绘了以基于平均图像相关性的选择方法为基础的排列。在该方法下，首先选择每个簇中的具有最高平均相关性的图像，而与簇尺寸无关。更具体地，如图4中所示，首先选择标记为“c”的图像，其次选择标记为“a”的图像，再次选择标记为“6”的图像，等等。该方法偏好于其代表性图像的平均相关性相对较高的簇。此外，该方法导致了图像收藏集116的具有对诸如特定人物、特定风景等的图像的高度相关图像的更好覆盖的可缩放的相关性排序列表。

一般说来，因为通过从表示320的右侧移除图像可以容易地移除不太期望的图像，所以表示320是容易地可缩放的。换言之，当期望所选数目的图像时，通过简单地移除被标识为不太相关的图像可以保留例如如由用户标识的最相关的图像。在这一点上，可缩放的相关性排序表示320与（诸如，在JPEG2000下的图像压缩中的）可缩放的位流相似。

这里描述和说明的是本发明的优选实施例以及其一些变型。这里使用的术语、描述和附图仅出于说明的目的被阐述，并非意味着限制。本领域技术人员将认识到，在本发明的范围内，多种变型是可能的，本发明的范围意图由所附权利要求书（及其等同物）限定，其中，除非另外指明，所有术语应在其最广泛的合理意义上进行解释。

Claims

1. 一种自动创建图像收藏集的可缩放的相关性排序表示的方法，所述方法包括：

基于图像的特征将所述图像收藏集中的图像分类为多个簇；

确定所述多个簇中的每个簇中所包含的图像的相应的相关性等级；

根据所述相关性等级对所述多个簇中的每个簇中的图像进行排序；以及

根据预先限定的排列过程对来自经过排序的多个簇的图像进行排列，以创建所述图像收藏集的所述可缩放的相关性排序表示。

2. 根据权利要求1所述的方法，其中，特征包括时间段、内容、基于地理位置系统的坐标和图像的元数据中的至少一个。

3. 根据权利要求1所述的方法，进一步包括：

从用户接收标识如何确定图像的所述相关性等级的输入，其中所述相关性等级是基于从用户接收到的输入而被测量的。

4. 根据权利要求1所述的方法，其中，确定所述多个簇中的每个簇中所包含的图像的相应的相关性等级进一步包括确定图像的笑容、人脸和图像吸引力值中的至少一个以确定所述相关性等级。

5. 根据权利要求1所述的方法，其中，所述相关性等级包括簇中的两个或更多图像之间的相似性等级的测度，所述方法进一步包括：

确定每个簇中的任何图像是否彼此基本上相似；

响应于确定图像中的至少两个图像彼此基本上相似，将基本上相似的图像中的一个图像归类为代表性图像并且将基本上相似的图像中的另一图像归类为副本图像；以及

其中，对图像进行排序进一步包括对图像进行排序来使得被分类为代表性图像的图像较之被归类为副本图像的图像具有更大的相关性。

6. 根据权利要求5所述的方法，进一步包括：

针对被确定为彼此基本上相似的图像中的每个图像确定图像吸引力值；

根据被确定为彼此基本上相似的图像的相应的图像吸引力值对被确定为彼此基本上相似的图像进行评定，并且其中将所述基本上相似的图像中的一个图像归类为代表性图像进一步包括将具有最高图像吸引力值的图像归类为代表性图像；以及

其中将所述基本上相似的图像中的另一图像分类为副本图像进一步包括将图像吸引力值小于最高图像吸引力值的图像归类到根据图像吸引力值分级排列的一个或更多副本集合中。

7. 根据权利要求6所述的方法，进一步包括：

将被确定为重要的图像评定为具有最高相关性等级。

8. 根据权利要求5所述的方法，其中，确定每个簇中的任何图像是否彼此基本上相似进一步包括通过每个图像的词汇量化过程来确定每个簇中的任何图像是否彼此基本上相似。

9. 根据权利要求1所述的方法，其中，确定图像的相应的相关性等级进一步包括基于每个图像的锐度、对比度、色彩度以及曝光、吸引人的区域的尺寸和吸引人的区域的同质性中的至少一个的组合来确定每个图像的图像吸引力值。

10. 一种用于创建图像收藏集的可缩放的相关性排序表示的计算设备，所述设备包括：

存储器，所述存储器存储所述图像收藏集；

处理器，所述处理器被配置来访问所述存储器，所述处理器被进一步配置来：基于图像的特征将所述图像收藏集中的图像分类为多个簇，确定所述多个簇中的每个簇中所包含的图像的相应的相关性等级，根据所述相关性等级对所述多个簇中的每个簇中的图像进行排序，根据预先限定的排列过程对来自经过排序的多个簇的图像进行排列以根据所排列的图像创建所述图像收藏集的所述可缩放的相关性排序表示。

11. 根据权利要求10所述的计算设备，其中，所述处理器被进一步配置来确定图像的笑容、人脸和图像吸引力值中的至少一个以确定图像的相关性等级。

12. 根据权利要求10所述的计算设备，其中，所述相关性等级包括簇中的两个或更多图像之间的相似性等级的测度，所述处理器被进一步配置来：确定每个簇中的任何图像是否彼此基本上相似，将所述基本上相似的图像中的一个图像归类为代表性图像并且将所述基本上相似的图像中的另一图像归类为副本图像；以及其中所述处理器被进一步配置来对图像进行排序来使得被归类为代表性图像的图像较之被归类为副本图像的图像具有更大的相关性。

13. 根据权利要求12所述的计算设备，其中，所述处理器被进一步配置来：针对被确定为彼此基本上相似的图像中的每个图像确定图像吸引力值，根据被确定为彼此基本上相似的图像的相应的图像吸引力值对被确定为基本上彼此相似的图像进行评定，将具有最高图像吸引力值的图像归类为代表性图像，以及将图像吸引力值小于最高图像吸引力值的图像归类到根据图像吸引力值分级排列的一个或更多副本集合中。

14. 一种有形计算机可读存储介质，其上被嵌入一个或更多计算机程序，所述一个或更多计算机程序实施了自动创建图像收藏集的可缩放的相关性排序表示的方法，所述一个或更多计算机程序包括用于如下操作的计算机可读代码：

基于图像的特征将所述图像收藏集中的图像分类为多个簇；

15. 根据权利要求15所述的有形计算机可读存储介质，所述一个或更多计算机程序进一步包括用于如下操作的计算机可读代码：

确定图像的笑容、人脸和图像吸引力值中的至少一个，以确定相关性等级。