CN106537417A - 总结相册 - Google Patents

Abstract

实施方式总体涉及相册的总结。在一个实施例中，一种方法包括：将照片分组为多个照片组；以及选择多个代表性照片，其中每个代表性照片代表来自多个组的对应组，其中选择基于照片中的每张照片的质量分数，并且其中每个质量分数基于不同类型的属性。该方法还包括向用户提供多个代表性照片。

Description

总结相册

优先权要求

本申请要求2013年5月14日提交的美国专利申请第13/894,341号的优先权，其全部内容通过引用结合于此。

背景技术

社交网络系统通常使得用户能够上传照片并创建包含上传的照片的相册。在用户将照片上传到社交网络系统之后，社交网络系统通常使得用户能够创建一个或多个相册。然后，用户可以确定要在相册中的每个相册中包括哪些照片。社交网络系统通常使得用户能够与社交网络系统的其他用户共享照片。例如，用户可允许其他用户访问并查看特定相册中的照片。

发明内容

实施方式总体涉及相册的总结。在一些实施方式中，一种方法包括：将照片分组为多个照片组；以及选择多个代表性照片，其中每个代表性照片代表来自多个组的相应组，其中选择基于照片中的每张照片的质量分数，并且其中每个质量分数基于不同类型的属性。该方法还包括向用户提供多个代表性照片。

进一步关于该方法，基于一个或多个策略将照片分组。在一些实施方式中，将照片分组以使得特定组中的照片相互相似。在一些实施方式中，该方法进一步包括检测照片中的每张照片中的视觉元素，并将具有相似视觉元素的照片分组。在一些实施方式中，该方法还包括：如果得到的经合并的组中的照片是相似的则将照片或照片组与现有的照片组合并。在一些实施方式中，选择包括确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性，以及对质量分数进行排名。在一些实施方式中，选择包括确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性，并且其中属性包括人的脸和地标中的一项或多项。在一些实施方式中，选择包括确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性，并且其中属性包括裁剪限制。在一些实施方式中，选择包括确定照片中的每张照片的属性分数，其中属性分数可以基于社交密切度、主题的频率和视觉属性中的一项或多项，以及确定照片中的每张照片的质量分数，其中每个质量分数基于属性分数。在一些实施方式中，向用户提供多个代表性照片包括提供用户界面，其显示照片组中的照片的第一视图以及显示多个代表性照片的第二视图；以及使得用户能够在第一视图和第二视图之间切换。

在另一实施方式中，一种方法包括：将照片分组为多个照片组，其中将照片分组以使得特定组中的照片彼此相似。分组包括：检测照片中的每张照片中的视觉元素；将具有相似视觉元素的照片分组；以及如果得到的经合并的组中的照片是相似的，则将照片或照片组与现有的照片组合并。该方法还包括选择多个代表性照片，其中每个代表性照片代表来自多个组的相应组，其中选择包括：确定照片中的每张照片的质量分数，其中每个质量分数基于不同类型的属性分数，其中属性分数基于包括社交密切度、主题的频率、视觉属性、人的脸、地标和裁剪限制中的一项或多项的属性，并且其中对特定的代表性照片的选择基于质量分数的排名。该方法还包括向用户提供多个代表性照片。

在另一实施方式中，一种系统包括一个或多个处理器以及被编码在一个或多个有形介质中以用于由一个或多个处理器执行的逻辑。该逻辑在被执行时能够操作用于执行操作，该操作包括：将照片分组为多个照片组；选择多个代表性照片，其中每个代表性照片代表来自多个组的相应组，其中选择基于照片中的每张照片的质量分数，并且其中每个质量分数基于不同类型的属性；以及向用户提供多个代表性照片。

进一步关于该系统，基于一个或多个策略将照片分组。在一些实施方式中，将照片分组以使得特定组中的照片相互相似。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：检测照片中的每张照片中的视觉元素，并且将具有相似视觉元素的照片分组。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：如果得到的经合并的组中的照片是相似的则将照片或照片组与现有的照片组合并。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性，并且其中该属性包括人的脸和地标中的一项或多项。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：确定照片中的每张照片的质量分数，其中特定照片的质量分数基于多个属性，并且其中属性包括裁剪限制。在一些实施方式中，逻辑在被执行时进一步能够操作用于执行操作，该操作包括：确定照片中的每张照片的属性分数，其中属性分数基于社交密切度、主题的频率和视觉属性中的一项或多项；以及确定照片中的每张照片的质量分数，其中每个质量分数基于属性分数。

附图说明

图1示出了可用于实施本文所描述的实施方式的示例网络环境的框图。

图2示出了根据一些实施方式的用于总结相册的示例简化流程图。

图3示出了根据一些实施方式中的用于将相册的照片分组为多个照片组的示例简化流程图。

图4示出了根据一些实施方式的用于选择总结相册的代表性照片的示例简化流程图。

图5示出了可用于实施本文所描述的实施方式的示例服务器设备的框图。

具体实施方式

本文描述的实施方式提供了相册的总结(summary)。如以下更详细描述的，系统将照片分组为照片组，其中每一组包含具有彼此相似的内容的照片，并且一组中包含的照片不同于其他组中的照片。例如，一组可以包含在每张照片中包括相同人的照片。另一组可以包括在每张照片中包括相同的人组的照片。此外，另一组可以包括地标。然后，系统针对每一组选择一个或多个代表性照片，每个代表性照片代表相应的照片组。例如，系统可以基于质量分数来针对照片组将人的特定照片确定为最佳代表性照片。如以下更详细描述的，质量分数可以基于多种属性分数，其可以反映其他用户更可能认为吸引人或感兴趣的东西。例如，特定照片可以具有高质量分数，因为该照片显示了微笑的婴儿。另一照片可以具有较低的质量分数，因为该照片是模糊的且示出了没有笑的人。在各个实施方式中，系统可以对照片相对彼此进行排名来作为选择用以代表各个照片组的最佳照片的处理的一部分。然后，系统使得每一组的代表性照片能够被共享。例如，相册的拥有者可以向好友发送相册的总结，其中总结包括对应于各种照片组的代表性照片。发送给拥有者的好友的每张照片代表拥有者的相册内的对应和不同的照片组。

图1示出了可用于实施本文所述的实施方式的示例网络环境100的框图。在一些实施方式中，网络环境100包括系统102，其包括服务器设备104和社交网络数据库106。在各个实施方式中，术语系统102和术语“社交网络系统”可交换使用。网络环境100还包括客户端设备110、120、130和140，它们可以经由系统102和网络150相互通信。

为了易于说明，图1针对每个系统102、服务器设备104和社交网络数据库106示出了一个块，并且针对客户端设备110、120、130和140示出了四个块。块102、104和106可表示多个系统、服务器设备和社交网络数据库。此外，可以存在任何数量的客户端设备。在其他实施方式中，网络环境100可以不具有所示的所有部件和/或可以具有其他元件，包括代替这里所示或者除这里所示之外的其他类型的元件。

在各种实施方式中，用户U1、U2、U3和U4可以使用相应的客户端设备110、120、130和140相互通信。例如，用户U1、U2、U3和U4可以经由系统102相互共享相册的总结。

图2示出了根据一些实施方式的用于总结相册的示例简化流程图。在各个实施方式中，系统102可以在社交网络系统或者可使用和/或查看视觉媒体的任何地方中总结相册。参照图1和图2，该方法开始于块202，其中系统102将照片分组为多个照片组。在一些实施方式中，系统102将照片分组，使得特定组中的照片相互相似。在一些实施方式中，系统102可以从存储在社交网络数据库106中或存储在任何其他适当数据库中的现有相册中获取照片。

照片的组或集群可称为连发(burst)。在各个实施方式中，连发可以定义为具有非常相似图像的照片的组。例如，这种照片可以是副本、近似副本或者是在连续时间内(例如，15分钟内，或者任何其他预定的时间段)拍摄的相似对象(例如，人、地标等)的简单照片。

在各个实施方式中，系统102可以基于一个或多个策略将相似照片分组，其中策略可以与确定两个或多个照片之间的相似程度和/或差异程度的不同算法相关联。例如，在一些实施方式中，系统102可以将相似对象的照片分组到一起来创建多个组，称为“多样性集群”，并且系统102可以通过视觉外观、时间、脸、图像类型等将照片放到不同的组中。

系统102将照片与具有相似照片的组相关联。例如，在一些实施方式中，系统102可以将两张照片确定为充分相似到属于同一组，因为这两张照片示出了相同的人。在另一实例中，系统102可以将两张照片确定为充分相似到属于同一组，因为这两张照片示出了相同的地标。如以下参照图3所详细描述的，示例实施方式针对于用于将照片分组的各种分组策略和算法。

在块204中，系统102选择代表性照片，其中每张代表性照片代表来自照片组的代表性组。如此，来自每个照片组的代表性照片给出了相册的综合总结。例如，特定人的照片组可以包括该人的多张照片(例如，5张照片)。系统102选择一副照片来代表该照片组。类似地，特定地标的第二照片组可包括该地标的多张照片(例如，10张照片)。系统102选择一张照片来代表该照片组。

在各个实施方式中，为了为给定组选择代表性照片，系统102确定照片中的每张照片的质量。在各个实施方式中，给定照片的质量基于多个属性。例如，属性可以与人的脸、地标、事件、裁剪限制、一般照片质量等。系统102可以确定每张照片的总体质量分数，其中质量分数基于不同类型的属性分数。结合图4更详细地描述针对计算质量分数和属性分数的示例实施方式。

在块206中，系统102向用户提供代表性照片。系统102还使得用户能够共享代表性照片。例如，在一些实施方式中，系统102使得用户能够向社交网络系统的一个或多个其他用户(例如，好友)发送代表性照片。在一些实施方式中，系统102使得用户能够在社交网络流中张贴(post)代表性照片。在一些实施方式中，系统102可以提供具有相册的页面的链接。如果期望的话，查看代表性照片的用户然后可以访问并查看相册。系统102使得相册的拥有者能够确定并选择哪些其他用户可以经由链接查看相册或不可以查看相册。例如，系统102可以向相册的拥有者提供下拉菜单或字段来使得拥有者能够选择和/或输入可以访问并查看相册或者不可以访问和查看相册的用户或用户组的名称。

图3示出了根据一些实施方式的用于将相册的照片分组为多个照片组的示例简化流程图。参照图1和图3，该方法起始于块302，系统102检测照片中的每张照片中的视觉元素。这种元素可包括人的脸、人组、地标、物体等。

在块304中，系统102将具有相似视觉元素的照片分组。例如，在一些实施方式中，一组可以包括同一人的照片。另一组可以包括同一人组的照片。另一组可以包括同一地标。另一组可以包括各种地标。在一些实施方式中，系统102将具有不同视觉元素的照片分为独立的组。换句话说，包含在一个组中的照片可以不同于其他组中的照片。例如，在一些实施方式中，组一般不包含个人的照片和地标的照片两者。以下描述将相似照片分组的示例实施方式。

在一些实施方式中，为了将照片分组，系统102将基于一个或多个相似性因素将第一照片与第二照片进行比较。在一些实施方式中，相似性因素可以包括图像之间的视觉距离、图像之间的时间、脸的数量、在照片中是否识别出同一人。为了简化，例如基于与猫的图像相比狗的图像视觉上更加远离房子的图像来计算两张不同照片中的对象的两个图像之间的相似度，因为狗比房子更加与猫相似。

在一些实施方式中，系统102可以为这些相似因素中的每一种分配值。在一个示例实施方式中，系统102可以分配与两张照片中的图像之间的视觉距离(即，不同)成比例的值。例如，示出两种不同类型的动物(例如，鸟和狗)的两张照片将比示出两张不同类型的鸟(例如，麻雀和冠蓝鸭)的两张照片具有更大的值。

在另一示例实施方式中，系统102可以分配与两张照片中的多个人的差异成比例的值。例如，示出多个不同人(例如，两个人的组和三个人的组)的两张照片将比示出相同数量的人的两张照片具有更大的值。在一些实施方式中，如果两张照片中的人数量增加，则值将减小(例如，权重更小)。例如，示出不同数量的人且具有较少人(例如，两个人的组和三个人的组)的两张照片将具比示出不同数量的人(数量较多(例如，19个人的组和20个人的组))的两张照片更大但不是远大于的值。

在另一示例实施方式中，系统102可以分配与两张照片的拍摄之间的时间段的长度成比例的值。例如，在显著不同的时间期间(例如，相隔6小时、相隔一天等)拍摄的两张照片将比在基本相同的时间(例如，1分钟内、同一小时内等)拍摄的两张照片具有更大的值。

在一些实施方式中，如果两张给定的照片的总值在预定阈值之下，则系统102将这两张照片分组到同一组中。例如，如果两张照片相似，则它们的总值将较低，使得系统102将它们分组到一起。相反，如果两张照片不相似，则它们的总值将较高，使得系统102将分开地将它们分组。

在一些实施方式中，这些各种相似因素可具有不同的权重。例如，与两张照片中的图像之间的视觉距离相关联的值可以比与照片的人数量相关联的值具有更大的权重。这是一个实例，并且实际的权重将取决于具体的实施方式。

在块306中，如果所得到的合并组中的照片相似，则系统102将照片或照片组与现有的照片组合并。例如，如果系统102将两张相似照片组合成第一组，则系统102将在同一组中包括第三照片，如果第三照片相似于第一和第二照片的话(例如，基于上述值)。如果第四照片不同于第一至第三照片，则系统102将不在相同的第一组中包括第四照片。相反，系统102将针对第四照片创建第二组。如果系统102确定第三组中的照片与第一组中的照片相似，则系统102将第一组和第三组合并。在一些实施方式中，随着系统102处理新的照片或新的照片组，系统102可以照片或照片组与现有的照片组合并。

在各个实施方式中，系统102可以向照片的分组应用一个或多个约束策略，以防止两组中在其照片显著不同的情况下而被合并。在一些实施方式中，系统102可以应用时间约束。例如，在一些实施方式中，如果照片之间的时间长度大于预定的时间段(例如，30分钟、1小时、2小时、1天等)，则系统102不会将两个照片组分组到一起。如此，如果两个不同组中的照片具有相似照片但隔开一天拍摄照片，则系统102将不会合并两个组。

在一些实施方式中，系统102可以应用各种“人”约束。例如，系统102不会将示出人的照片与没有示出人(例如，仅地标或风景)的照片分组。

在另一实例中，系统102可以确定两张不同照片中的个人是否是同一人。例如，如果两张照片中的个人是同一人，则系统102将这些照片分组到同一组中。如果两张照片中的个人不是同一人，则系统102将不将这些照片分组到同一组中。这例如是具有相似或不同的脸部特征的两个兄弟在两个不同的照片中的情况。系统102可以基于面貌差异而在两个分开的组中包括这两张照片。

在一些实施方式中，系统102可以检测相册中的特定类型的事件的照片。例如，系统102可以识别特定的视觉特征(例如，结婚蛋糕、新娘礼服等)并确定照片与特定类型的事件(例如，婚礼)相关联。在另一实例中，系统102可以识别毕业帽并确定照片与毕业相关联。在另一实例中，系统102可以识别海滩和度假酒店并确定照片与度假相关联。如此，系统102将被分类为特定的特殊事件的照片分组。例如，在婚礼中，系统102可以确保组包括新娘和新郎的照片。如果存在包含随机的个人的多个组，则系统102可以将这些组合并为一组。这在婚礼派对处拍摄的不同人的一系列照片的情况下是适当的。

在各个实施方式中，系统102可以利用各种识别算法来识别照片中的脸、地标、对象等。这种识别算法可以与系统102是一体的。系统102还可以访问由系统102外部和系统102访问的软件所提供的识别算法。

在各个实施方式中，系统102使得社交网络系统的用户能够指定和/或同意使用个人信息，这可以包括系统102使用照片中他们的脸或者使用它们的身份信息来识别照片中识别的人。例如，系统102可以为用户提供用于指定和/或同意使用个人信息的多个选择。例如，关于指定和/或同意的选择可以与个人照片、所有照片、个人相册、所有相册等相关联。可以以各种方式来实施选择。例如，系统102可以使按钮或复选框显示为紧挨各个选择。在一些实施方式中，系统102使得社交网络的用户能够指定和/或同意使用它们的照片来总体用于脸部识别。

在这里讨论的系统收集关于用户的个人信息或者利用个人信息的情况下，可以向用户提供控制程序或部件是否收集用户信息(例如，关于用户的社交网络、社交动作或行为的信息、职业、用户的偏好或者用户的当前位置)或者控制是否和/或如何接收来自与用户更加相关的内容服务器的内容的机会。此外，可以以一种或多种方式创建特定数据(在其被存储或使用之前)，使得去除了个人可识别的信息。例如，用户的身份可以被处理，使得针对该用户不能确定个人可识别的信息，或者获取位置信息(诸如城市、邮编或州级别)的用户的地理位置可以被概括化，使得不能确定用户的具体位置。因此，用户可以控制如何收集关于用户的信息以及如何被内容服务器使用。

图4示出了根据一些实施方式的用于选择总结相册的代表性照片的示例简化流程图。在各个实施方式中，系统102可以在社交网络系统中或者可使用和/或查看视觉媒体的任何地方选择总结相册的代表性照片。参照图1和图4，该方法开始于块402，其中系统102确定每张照片的质量分数，其中用于给定照片的质量分数基于一个或多个属性分数。在各个实施方式中，给定照片的属性分数基于多个属性。例如，属性可以包括人的脸、地标、裁剪限制等。如以下更详细描述的，通过使每张照片的总体质量分数以各个属性分数为基础，系统102能够选择代表性照片，其具有感兴趣、吸引人的较高可能性并且是代表拍摄照片的各种主旨(theme)、人、位置、地点和时间的最佳照片。

在一些实施方式中，属性分数可以基于脸部属性。在一些实施方式中，系统102可以检测照片中的一个或多个脸，并检测相关联的脸部特征。例如，这种脸部特征可以指示情绪(例如，微笑、皱眉等)、眼睛和/或头部方向、脸大小、性别等。系统102然后可以基于一个或多个策略分配脸部属性分数。例如，在各个实施方式中，系统102将更高的脸部属性分数与示出具有对查看者有吸引力的较高可能性的脸的照片相关联。例如，系统102可以将更高的分数与示出更多表情或快乐情绪等的脸的照片相关联。系统102可以将更高的分数与示出张开的眼睛和/或嘴巴(例如，人正在睁开眼睛笑)的照片相关联。系统102可以将更高的分数与示出婴儿的照片相关联。

在一些实施方式中，属性分数可以基于地标属性。在一些实施方式中，系统102可以检测照片中的一个或多个地标，并检测相关联的地标特征。例如，这些地标特征可以指示特定的知名地标(例如，时代广场、埃菲尔铁塔等)。系统102然后可以基于一个或多个策略分配地标属性分数。例如，在各个实施方式中，系统102可以将更高的地标属性分数与示出知名和/或受欢迎地标的照片相关联。

在一些实施方式中，属性分数可以基于裁剪属性。在一些实施方式中，系统102可以检测照片中的一个或多个对象，并且检测脸部特征、地标特征或其他特征。然后，如果主要内容(例如，脸、地标等)将被裁剪，则系统102可以计算用于智能裁剪的图像显著面具(saliency mask)，其中显著面具指示图像是否可以被裁剪到特定纵横比而没有内容的显著损失。例如，如果主要内容(例如，脸、地标等)会被裁切，则系统102不会裁剪特定照片以适应要求的纵横比(例如，用于移动电话屏幕的纵横比)。系统102可以基于一个或多个策略分配裁剪不佳属性分数。例如，在各个实施方式中，系统102可以将更高的裁剪不佳属性分数与具有较差裁剪能力的照片相关联。在一些实施方式中，裁剪不佳属性分数是负数(例如，惩罚分)。当添加至总体属性分数时，较高的裁剪不佳属性分数将降低给定照片的整体质量。最终，如果脸或地标需要被裁剪以符合特定的纵横比要求，则系统102不会选择特定照片来代表组。在一些实施方式中，系统102可以修剪或裁剪图像来确保当代表每个照片组时给定照片可以被很好地示出。

虽然在脸和地标的上下文下描述了一些示例实施方式，但系统102还可以将其他属性分数确定为因素计入整体质量分数。例如，系统102可以确定用于标识(logo)和其他对象的属性分数。在另一示例实施方式中，系统102可以作为因素计入与非视觉信号(诸如文本、定位和社交网络方面(例如，好友))相关联的属性分数。在一些实施方式中，系统102可以基于社交密切度来计算属性分数。例如，与示出不是好友或亲戚的人的照片相比，系统102可以为示出好友或亲戚的照片给出更高的属性分数。在一些实施方式中，系统102可以为具有标签的照片给出更高的属性分数，该标签与和用户具有更高社交密切度的人(例如，好友和/或亲戚)相关联。在各个实施方式中，系统102可以为包括已知对象或场所(包括已知地标)的照片给出更高的属性分数。

在一些实施方式中，系统102还可以作为因素计入照片是否与特定类型的事件相关联。例如，系统102可以为与显著事件(例如，婚礼、毕业典礼、度假等)相关联的照片给出更高的属性分数。

在各个实施方式中，系统102还可以作为因素计入示出特定主题(例如，人、地标、标识等)的照片的重复。在一些实施方式中，系统102可以针对频率计算属性分数。例如，系统102可以为具有在其他照片中出现较高频率的主题(例如，特定人)的照片计算更高的属性分数，并且可以为具有在其他照片中出现较低频率的主题的照片计算更低的属性分数。重复主题的照片的大数量指示高重要性。例如，可能存在新出生婴儿的许多照片(例如，10张照片、15张照片等)。照片的重复特性将正向地对更高的质量分数做贡献。这是一个实例，并且相似的实施方式可以适用于不同主题(例如，地标、标识、主旨等)的对象。

在一些实施方式中，系统102还可以计算/作为因素计入与其他视觉质量方面(诸如差质量图像、运动模糊、差曝光、闭眼等)相关联的其他属性分数。这些属性分数中的一些可以具有负值，因为它们反映降低给定照片的质量的属性。

在一些实施方式中，系统102可以基于其他视觉质量方面(诸如视觉/摄影属性)来计算属性分数。术语“视觉属性”和“摄影属性”可互换使用。在一些实施方式中，系统102可以针对各种视觉/摄影属性(诸如清晰度)计算属性分数。例如，系统102可以为清晰的照片计算更高的属性分数而为模糊的照片计算更低的属性分数。在一些实施方式中，系统102可以针对曝光计算属性分数。例如，系统102可以为满足预定曝光标准的照片计算更高的属性分数，并且系统102可以为不满足预定曝光标准的照片(例如，过度曝光或曝光不足的照片)计算更低的属性分数。

在一些实施方式中，系统102可以针对其他视觉属性(诸如噪声质量)计算属性分数。例如，系统102可以为具有少量噪声的照片计算更高的属性分数，而为具有大量噪声的(例如，多粒的)照片计算较低的属性分数。在各个实施方式中，系统102可以以各种方式确定来自给定照片的噪声量。例如，系统102可以根据与照片相关联的元数据(例如，由拍摄照片的相机提供的国际标准化组织(ISO)数)来确定噪声量。系统102还可以根据检测照片中的噪声特性来确定噪声量。

在一些实施方式中，系统102可以向具有与机器学习或其他回归技术(包括基于人类标记的偏好的模型训练)相关联的特征的照片给出特定权重。例如，系统102可以提取通用的图像内容特征并基于这些内容特征计算质量分数。在一些实施方式中，系统102可以基于包含多个分量(例如，脸部属性分数、地标属性分数、地标受欢迎度、脸数量、复制照片的数量等)的信号矢量来校准各个属性分数，其中信号矢量基于机器学习或其他回归技术。

仍然参照图4，在块404中，系统102基于照片的相应质量分数对照片进行排名。在一些实施方式中，系统102可以聚集照片以将它们相互进行比较。然后，系统102基于照片的相应的全局/总体质量分数生成照片的全局排名。在各个实施方式中，系统102可以选择最高排名的照片，然后应用限制。例如，在一些实施方式中，系统102可以施加打包约束，其中系统102将选择相同的主题两次(例如，同一人、同一地标等)。

在块406中，系统102基于照片的排名针对每一组选择一个或多个或多个代表性照片。在一些实施方式中，系统102可以针对给定组选择多个代表性照片。例如，在给定组中，存在保证在同一组的两个人，并且这两个人中的每个人的照片都可以排名较高。系统102可以选择两张照片(一张一个人)以代表该组。这是一个实例，并且相似的实施方式可应用于各种主题(例如，地标、标识、主旨等)的对象。

在一些实施方式中，系统102可以生成预先计算的照片的总结。例如，在选择代表性照片的组之后，系统102可以在任何适当的存储位置中存储代表性照片的列表。在非限制实例中，预先计算的总结包括这种代表性照片的列表。所述预先计算的总结的可用性消除了或者最小化了系统102响应于将来请求来确定代表性照片的需求，其中将来请求在非限制实例中是针对照片的总结的请求，例如用于在计算并存储总结之后在请求照片的总结的客户端设备处显示包括在总结中的代表性照片的目的。因此，预先计算的照片的总结具有被包括在总结中的代表性照片可以针对照片组进行确定和计算并且可以随后从适当的存储位置取读的技术效果。这避免了为确定代表性照片的给定组相关的重复计算而使用计算和网络资源，由此改善了资源使用的效率并且减少了获取照片的总结中的潜在延迟。在各个实施方式中，系统102还可以存储照片的质量分数和属性分数，这使得更新代表性照片的组时的计算时间最小化。

在一些实施方式中，系统102可以经由具有多个照片的视图的用户界面向用户提供代表性照片。例如，系统102可以提供照片组中的所有照片的视图，并且可以提供代表性照片或“最佳照片”的视图，其中提供视图意味着提供被包括在视图中的照片，例如通过网络150与一个或多个客户端设备110、120、130、140通信以用于显示。在一些实施方式中，系统102使得用户能够在“所有照片”视图和“最佳照片”视图之间切换(toggle)。在一些实施方式中，在“所有照片”视图中，客户端设备可以以时间倒序的顺序(或者其他预定或可选择的顺序)显示所有照片。在“最佳照片”视图中，客户端设备可以以时间倒序的顺序(或者其他预定或可选择的顺序)显示代表性照片或“最佳照片”。由于在一些实施方式中，视图“最佳照片”显示在“所有照片”视图中显示的照片的子集，所以当与“所有照片”视图相比时，在“最佳照片”视图中需要从系统102向一个或多个客户端设备110、120、130、140传输较少的照片。因此，提供在所述视图之间切换的能力的技术效果在于，当切换至“最佳照片”视图时，可以减少用于提供相册的视图所要求的网络容量。

在各个实施方式中，当应用脸部识别算法时，系统102可以获取社交网络系统的用户的参考图像，其中每个参考图像包括与已知用户相关联的脸的图像。用户是已知的，在系统102中具有用户的身份信息，诸如用户的名字和其他简档信息。在一些实施方式中，参考图像例如可以是用户上传的简档图像。在一些实施方式中，参考图像可以基于参考图像组的合成。

在一些实施方式中，为了识别照片中的脸，系统102可以比较脸(即，脸的图像)并将脸与社交网络系统的用户的参考图像进行匹配。注意，术语“脸”和术语“脸的图像”可互换使用。为了易于说明，在本文描述的一些示例实施方式中描述了一个脸的识别。这些实施方式还可以应用于将被识别的多个脸的每个脸。

在一些实施方式中，系统102可以搜索参考图像以便标识相似于照片中的脸的一个或多个参考图像中的任何图像。

在一些实施方式中，对于给定参考图像，系统102可以从照片中的脸的图像中提取特征以用于分析，并且然后将那些特征与一个或多个参考图像的特征进行比较。例如，系统102可以分析诸如眼睛、鼻子、颧骨、嘴巴、下巴等的脸部特征的相对位置、尺寸和/或形状。在一些实施方式中，系统102可以使用通过分析收集的数据以利用匹配或相似特征将照片中的脸与一个或多个参考图像进行匹配。在一些实施方式中，系统102可以标准化多个参考图像，并且将来自那些图像的脸部数据压缩成具有信息(例如，脸部特征数据)的合成表示，然后将照片中的脸与合成表示进行比较以用于脸部识别。

在一些情况下，照片中的脸可以相似于与同一用户相关联的多个参考图像。如此，存在与照片中的脸相关联的人是与参考图像相关联的同一人的高可能性。

在一些情况下，照片中的脸可以相似于与不同用户相关联的多个参考图像。如此，具有照片中的人与参考图像相关联的任何给定人相匹配的适当高但降低的可能性。为了处理这种情况，系统102可以使用各种类型的脸部识别算法来缩窄可能性，理想地降至一个最佳人选。

例如，在一些实施方式中，为了利于脸部识别，系统102可以使用基于特征区分的几何脸部识别算法。系统102还可以使用光度算法(photometric algorithm)，其基于将脸部特征提取为用于比较的值的统计方法。还可以在将照片中的脸部与一个或多个参考图像进行比较时使用几何和光度方法的组合。

可以使用其他脸部识别算法。例如，系统102可以使用脸部识别算法，该脸部识别算法使用主成分分析(principal component analysis)、线性区分分析(lineardiscriminate analysis)、弹性图匹配(elastic bunch graph matching)、隐藏马尔克夫模型和动态链接匹配中的一种或多种。应该理解，系统102可以使用其他已知或稍后开发的脸部识别算法、技术和/或系统。

在一些实施方式中，系统102可以生成指示照片中的脸与给定参考图像匹配的可能性(或概率)的输出。在一些实施方式中，输出可以表示为度量(或数值)，诸如与照片中的脸与给定参考图像匹配的置信度相关联的百分比。例如，1.0的值可以表示匹配的100％置信度。例如，这可以发生在比较图像相同或近似相同时。该值可以较低，例如当具有50％的匹配机会时为0.5。其他类型的输出也是可以的。例如，在一些实施方式中，输出可以是用于匹配的置信度分数。

为了易于说明，在脸部识别算法的上下文中描述上述一些示例实施方式。其他相似识别算法和/或视觉搜索系统可用于识别诸如地标、标识、实体、事件等的对象以实施本文所述的实施方式。

本文所述的实施方式提供了各种优点。例如，该系统提供用于相册的代表性照片而不要求任何用户动作。代表性照片包括高质量的图像以及代表多样的照片组的图像。

图5示出了可用于实施本文所述的实施方式的示例服务器设备500的框图。例如，服务器设备500可用于实施图1的服务器设备104以及执行本文描述的方法实施方式。在一些实施方式中，服务器设备500包括处理器502、操作系统504、存储器506和输入/输出(I/O)接口508。服务器设备500还包括社交网络引擎510和媒体应用512(其可存储在存储器506中或任何其他适当的存储位置或计算机可读介质上)。媒体应用512提供使得处理器502能够执行本文所述功能和其他功能的指令。

为了易于说明，图5针对处理器502、操作系统504、存储器506、社交网络引擎510、媒体应用512和I/O接口508中的每一个而各示出一个块。这些块502、504、506、508、510和512可以表示多个处理器、操作系统、存储器、I/O接口、社交网络引擎和媒体应用。在其他实施方式中，服务器设备500可以不具有所示的所有部件和/或可具有其他元件，包括代替所述元件或除所述元件之外的其他类型的元件。

虽然参照特定实施例描述了本发明，但这些特定实施例仅仅是示例的而不是限制性的。实例中所示的概念可应用于其他实例和实施例。

注意，本公开中描述的功能块、方法、设备和系统可以集成或划分为系统、设备和公开块的不同组合，这对于本领域技术人员来说是已知的。

任何适当的编程语言和编程技术可用于实施特定实施例的例程。可使用不同的编程技术，诸如程序上的或面向对象的。程序可以在单个处理设备或多个处理器上执行。尽管可以以特定顺序来表示步骤、操作或计算，这可以在不同的特定实例中改变顺序。在一些具体实施例中，可以同时执行在该说明书中示为顺序的多个步骤。

“处理器”包括任何适当的硬件和/或软件系统、机构或处理数据、信号或其他信息的部件。处理器可以包括具有用于实现功能的通用中央处理单元、多个处理单元、专用电路的系统或其他系统。处理不需要限于地理位置或具有时间限制。例如，处理器可以按“实时”、“离线”、以“批量模式”等来执行其功能。部分处理可以通过不同(或相同)的处理系统在不同的时间和不同的位置处执行。计算机可以是与存储器通信的任何处理器。存储器可以是任何适当的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘或者其他适合于存储由处理器执行的指令的有形介质。

Claims (20)

1.一种计算机实施的方法，包括：

将照片分组为多个照片组，其中将所述照片分组以使得特定组中的照片彼此相似，其中所述分组包括：

检测所述照片中的每张照片中的视觉元素；

将具有相似视觉元素的照片分组；以及

如果得到的经合并的组中的照片是相似的，则将照片或照片组与现有的照片组合并；

选择多个代表性照片，其中每个代表性照片代表来自所述多个组的相应组，其中所述选择包括确定所述照片中的每张照片的质量分数，其中每个质量分数基于不同类型的属性分数，其中所述属性分数基于包括社交密切度、主题的频率、视觉属性、人的脸、地标和裁剪限制中的一项或多项的属性，并且其中对特定代表性照片的所述选择基于质量分数的排名；以及

向用户提供所述多个代表性照片。

2.一种计算机实施的方法，包括：

将照片分组为多个照片组；

选择多个代表性照片，其中每个代表性照片代表来自所述多个组的相应组，其中所述选择基于所述照片中的每张照片的质量分数，并且其中每个质量分数基于不同类型的属性；以及

向用户提供所述多个代表性照片。

3.根据权利要求2所述的方法，其中基于一个或多个策略将所述照片分组。

4.根据权利要求2所述的方法，其中将所述照片分组以使得特定组中的照片彼此相似。

5.根据权利要求2所述的方法，还包括：

检测所述照片中的每张照片中的视觉元素；以及

将具有相似视觉元素的照片分组。

6.根据权利要求2所述的方法，还包括：如果得到的经合并的组中的照片是相似的则将照片或照片组与现有的照片组合并。

7.根据权利要求2所述的方法，其中所述选择包括：

确定所述照片中的每张照片的所述质量分数，其中特定照片的所述质量分数基于多个属性；以及

对所述质量分数进行排名。

8.根据权利要求2所述的方法，其中所述选择包括确定所述照片中的每张照片的所述质量分数，其中特定照片的所述质量分数基于多个属性，并且其中所述属性包括人的脸和地标中的一项或多项。

9.根据权利要求2所述的方法，其中所述选择包括确定所述照片中的每张照片的所述质量分数，其中特定照片的所述质量分数基于多个属性，并且其中所述属性包括裁剪限制。

10.根据权利要求2所述的方法，其中所述选择包括：

确定针对所述照片中的每张照片的属性分数，其中所述属性分数基于社交密切度、主题的频率和视觉属性中的一项或多项；以及

确定所述照片中的每张照片的所述质量分数，其中每个质量分数基于所述属性分数。

11.根据权利要求2所述的方法，其中向所述用户提供所述多个代表性照片包括：

提供显示所述照片组中的照片的第一视图以及显示所述多个代表性照片的第二视图的用户界面；以及

使得用户能够在所述第一视图和所述第二视图之间切换。

12.一种系统，包括：

一个或多个处理器；以及

逻辑，被编码在一个或多个有形介质中以用于由所述一个或多个处理器执行并且在被执行时能够操作用于执行操作，所述操作包括：

将照片分组为多个照片组；

选择多个代表性照片，其中每个代表性照片代表来自所述多个组的相应组，其中所述选择基于所述照片中的每张照片的质量分数，并且其中每个质量分数基于不同类型的属性；以及

向用户提供所述多个代表性照片。

13.根据权利要求12所述的系统，其中基于一个或多个策略将所述照片分组。

14.根据权利要求12所述的系统，其中将所述照片分组以使得特定组中的照片彼此相似。

15.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括：

检测所述照片中的每张照片中的视觉元素；以及

将具有相似视觉元素的照片分组。

16.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括如果得到的经合并的组中的照片是相似的则将照片或照片组与现有的照片组合并。

17.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括确定所述照片中的每张照片的所述质量分数，并且其中特定照片的所述质量分数基于多个属性。

18.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括确定所述照片中的每张照片的所述质量分数，其中特定照片的所述质量分数基于多个属性，并且其中所述属性包括人的脸和地标中的一项或多项。

19.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括：确定所述照片中的每张照片的所述质量分数，其中特定照片的所述质量分数基于多个属性，并且其中所述属性包括裁剪限制。

20.根据权利要求12所述的系统，其中所述逻辑在被执行时进一步能够操作用于执行操作，所述操作包括：

确定针对所述照片中的每张照片的属性分数，其中所述属性分数基于社交密切度、主题的频率和视觉属性中的一项或多项；以及

确定所述照片中的每张照片的所述质量分数，其中每个质量分数基于所述属性分数。