CN105144156A - 将元数据与个人图像集合中的图像相关联 - Google Patents

Abstract

描述了涉及基于可通过社交网络应用的方式被用户访问的图像和分配给它的相关联的元数据来将元数据分配到用户的个人图像集合中的各图像的各个技术。用户在社交网络应用中的帐户被访问以检索可被用户访问的图像和元数据。面部识别算法基于检索到的图像和元数据来训练，并且经训练的面部识别算法在用户的个人图像集合上执行，其中用户的个人图像集合在社交网络应用的外部。

Description

将元数据与个人图像集合中的图像相关联

背景技术

数字相机已经变得相对普遍。例如，许多移动电话配备有允许其用户捕捉相对高的分辨率的图像的数字相机。此外，许多移动电话配备有相对大量的计算机可读数据存储，使得数百或甚至数千的数字图像可被保留在移动电话上。移动电话的用户可将其上所选的图像传输到社交网络应用、到用户的另一计算设备等。通常，人们将他们的移动电话随身携带，从而导致相比于相对不久之前人们捕捉的图像的数量而言，人们捕捉的更多数量的图像。此外，通过使用数字相机，当捕捉图像时，对用户而言没有成本。以上的组合导致用户的个人图像集合变得非常大。其他问题包括用户的图像经常跨数个系统传播的事实，诸如一个人家中的个人计算机、外部存储驱动(例如，USB驱动)、云存储服务以及社交网络站点上。尽管被配置成相对容易地将图像上传到社交网络的数字相机和电话变得越来越普遍，但是用户通常将大量的图像保留在个人集合中以便保持他们的集合的私密。

通常，被用于捕捉图像的设备会自动地将元数据分配给这样的图像。例如，配备有全球定位系统(GPS)接收器的移动电话可将元数据分配给图像，该元数据指示该图像被捕捉的时间以及图像被捕捉的位置。图像可基于分配给它的元数据被索引在用户的个人图像集合中。然而，已经发现，从被用于捕捉图像的设备分配到这些图像的时戳可以是不可靠的(例如，时钟可能没有被正确地设置)，并通常不能有助于用户来组织图像。例如，用户可能难以记住在图像中捕捉的特定时间发生在哪一年，更不用说哪个月、哪一周或具体日期。此外，如果个人图像集合包括被扫描的图像(或被传输的图像)，则被分配给它的时戳可以是扫描(传输)发生的日期，而不是与图像中捕捉的事件有关的日期。

已经开发出协助用户将其他元数据应用到个人图像集合中的图像的计算机可执行应用。然而，这些应用通常要求来自其用户的大量手动输入。即，用户必须手动地视觉上分类面部，并随后手动地向其应用元数据(例如，用户可指示一图像包括特定人或与某个事件有关)。用户的个人图像集合中的各图像可接着根据通过应用的方式被分配的元数据来被索引。再次，索引的相关性取决于元数据的质量，其可要求来自用户的相对大量的手动输入。

概述

以下是在本文详细描述的主题的简要的发明内容。本发明内容不旨在是关于权利要求的范围的限制。

本文中描述了涉及在将元数据与用户的个人图像集合中的图像相关联方面充分利用分配到社交网络应用中的图像的元数据的各个技术。换言之，本文描述了用于采用与社交网络应用中的图像相关联的相对“干净的”元数据来弥补与个人图像集合(被保留在社交网络应用的外部)中的图像相关联的元数据中的不足。最近，社交网络应用已经被配置成出于将图像与用户的联系人共享的目的来接收这些图像。因此，例如，用户可能希望与她的联系人共享关于某个事件的图像，并由此可将关于该事件的图像上传到社交网络应用。为了告知用户的被捕捉在图像中的联系人该图像可用于查看，用户可通过使用社交网络应用提供的工具来将元数据分配到该图像。根据一特定示例，用户可将图像标记为包括特定联系人，并还可指示该图像的包括该联系人的特定部分(通过在该联系人的面部周围分配边界框)。这个过程可针对多个图像并跨多个用户来重复。然而，通常，被用户上传到社交网络应用的图像的数量会少于用户的个人图像集合中的图像的数量。

已经观察到，根据通过社交网络应用的方式将元数据应用到图像的社交性质，用户乐意将元数据应用到被上传到社交网络应用的大量图像。如将在本文中更加详细描述的，分配到图像的这个元数据可被充分利用来推断被理想地应用到用户的个人图像集合中的图像的元数据。之后，个人图像集合中的图像可被推断的元数据来索引。通过使用这个方式，用户可用查询“JohnSmith”来搜索图像集合并被提供来自个人图像集合的有关于JohnSmith的图像(已经被标记为包括JohnSmith或以其他方式与JohnSmith有关)，而不要求用户手动地将标记分配到用户的个人图像集合中的图像。

根据一示例，安装在客户端计算设备上的计算机可执行应用可接收来自用户的指示：用户希望致使元数据基于被分配到可通过社交网络应用(用户具有对其的账户)的方式被用户访问的图像的元数据来被分配到用户的个人图像集合中的图像。响应于接收到这样的指示，认证数据可被传送到社交网络应用(例如，用户的用户名和口令)，使得对社交网络应用上的用户的帐户的访问被获得。可通过社交网络应用的方式被用户访问的图像(以及分配给它的元数据)接着被检索。可通过社交网络应用的方式被用于访问的图像可包括：被用户张贴到社交网络应用的图像以及被用户的联系人(如向社交网络应用注册的)张贴的图像。被检索的图像以及被分配给它的元数据可此后被用于自动地将元数据分配到用户的个人图像集合中的图像，其中假设在个人图像集合中的图像中被捕捉的人也是用户的社交网络的一部分，并且由此这样的人的经标记的图像存在于社交网络应用中。

在一示例性实施例中，用户的个人图像集合中的图像可被自动地分配元数据(标记)，该元数据标识在这样的图像中捕捉的人，使得图像可被包括在图像中的人索引。例如，从社交网络应用中检索的图像(以及与其相关联的元数据)可被用于训练面部识别算法。即，可通过社交网络应用的方式被访问的图像中的至少一个图像可被标记为其中具有至少一个人。面部识别算法可被训练，使得在图像中被标记的至少一个人的面部的模型被习得。这样的模型接着可被面部识别算法应用来标识用户的个人图像集合中包括该至少一个人的面部的图像。因此，用户的个人图像集合中包括该至少一个人的图像可被分配元数据，该元数据指示该至少一个人被包括在这样的图像中。

以上概述呈现了简化概述，以便提供对本文讨论的系统和/或方法的某些方面的基本理解。本概述并不是对本文所讨论的系统和/或方法的全面综述。并不旨在标识关键/重要元素，也不描绘这样的系统和/或方法的范围。其唯一目的是以简化形式呈现一些概念，作为稍后呈现的更详细说明的序言。

附图简述

图1是促进引导元数据以自动地将元数据分配到用户的个人图像集合中的图像的示例性系统的功能框图，其中元数据被应用到可通过社交网络应用的方式被用户访问的图像。

图2是促进自动地将元数据应用到用户的个人图像集合的示例性系统的功能框图，其中个人图像集合位于用户所采用的客户端侧计算设备的外部。

图3是促进元数据到用户的个人图像集合中的图像的应用的示例性系统的功能框图。

图4是促进基于可通过社交网络应用的方式被用户访问的图像和元数据来训练面部识别算法的示例性系统的功能框图。

图5示出了可被分析来通过社交网络应用的方式检索图像的用户的示例性社交图。

图6是促进在被捕捉的图像被上传到社交网络应用之前将元数据应用到这样的图像的示例性系统的功能框图。

图7是示出用于基于从社交网络应用的数据存储中检索到的图像来将元数据应用到用户的个人图像集合中的图像的示例性方法的流程图。

图8是示出用于将标记应用到用户的个人图像集合中的图像以标识在该图像中被捕捉的至少一个人的示例性方法的流程图。

图9是示出用于基于可通过社交网络应用的方式访问的图像以及对应于其的元数据来训练面部识别算法的示例性方法的流程图。

图10是示出用于将元数据分配到通过移动计算设备的方式捕捉的图像，并将这些图像以及分配给它的元数据上传到社交网络应用的示例性方法的流程图。

图11是示例性计算系统。

详细描述

现在参照附图来描述涉及将元数据应用到用户的个人图像集合中的图像的各种技术，其中在全部附图中相同的附图标记用于指代相同的元素。在以下描述中，出于解释的目的，提出了众多具体细节以提供对一个或多个方面的全面理解。然而，显然这(些)方面可以在没有这些具体细节的情况下被实践。在其他实例中，以框图形式示出公知的结构和设备以便于描述一个或多个方面。另外，要理解，被描述为由特定系统组件执行的功能性可由多个组件执行。类似地，例如，一组件可被配置成执行被描述为由多个组件执行的功能。

此外，术语“或”意指包括性“或”而非排斥性“或”。即，除非另有指定或从上下文显而易见，否则短语“X采用A或B”意指任何自然的包括性排列。即，短语“X采用A或B”藉由以下实例中任何实例得到满足：X采用A；X采用B；或X采用A和B两者。另外，本申请和所附权利要求书中所使用的冠词“一”和“某”一般应当被解释成表示“一个或多个”，除非另外声明或者可从上下文中清楚看出是指单数形式。

此外，如本文所使用的，术语“组件”和“系统”旨在包含用使得在被处理器执行时执行特定功能性的计算机可执行指令配置的计算机可读数据存储。计算机可执行指令可包括例程、功能等等。还要理解组件或系统可以位于单个设备上或跨若干设备分布。而且，此处所用的术语“示例性”旨在表示用作某些事物的图示或示例，而不意图指示优选。

现在参考图1，示出了促进基于可通过社交网络应用的方式被用户访问的图像和对应的元数据来将元数据应用到该用户的个人图像集合中的图像的示例性系统100。该系统100包括客户端计算设备102，其可以是台式计算设备、网络附连存储(NAS)、移动计算设备(诸如移动电话、移动相机)、便携式媒体播放器、平板(板式)计算设备、膝上型计算设备等。

系统100还包括可被客户端计算设备102通过网络106的方式来访问的服务器104。服务器104配置有计算机可执行代码，其被存储在社交网络应用108的存储器中。尽管客户端计算设备102被显示为通过网络106的方式与服务器104通信，但是可以理解，社交网络应用108可在能被客户端计算设备102通过网络106的方式来访问的多个服务器上执行。即，社交网络应用108的执行可跨若干个机器来分布，并且服务器104旨在涵盖这样的分布式环境。

社交网络应用108可以是如下任何合适的社交网络应用：它允许用户标识联系人(朋友和/或家人)使得用户能与所选的联系人共享信息(图像、视频、状态更新、消息等)，并能消耗由所选的联系人共享的信息(通过社交网络应用108的方式)。由此，例如，用户可将图像上传到社交网络应用108并致使这样的图像通过社交网络应用108的方式与用户的联系人共享。附加地，通过利用社交网络应用108，用户能查看和/或下载被用户的标识的联系人通过社交网络应用108的方式张贴的图像。在另一示例中，社交网络应用108可以是消息/图像共享应用，其中用户可公布文本和/或图像，其被订阅被该用户上传的信息的那些人接收。类似地，用户可订阅另一实体(人、商业实体、组织)并接收由该另一实体通过使用社交网络应用108张贴的信息(文本和图像)。

服务器104包括数据存储110，该数据存储110包括可被客户端计算设备102的用户通过社交网络应用108的方式来访问的多个图像112。数据存储110还包括被分别分配到该多个图像112中的至少图像子集的元数据114。例如，对于图像112中的一图像，相关联的元数据可包括：被包括在该图像中的至少一人的身份、描述该图像的内容的说明、描述在该图像中捕捉的事件的说明、图像从其被捕捉的位置等。在一些社交网络应用中，其用户通常希望将元数据分配到图像以指示她的联系人中的哪些被包括在这样的图像中，这是因为社交网络应用108将接着向这些联系人传送通知以告知他们一图像已经被张贴以及他们被标识为包括在该图像中。

根据一示例，数据存储110中的多个图像112可以是通过社交网络应用108的方式被客户端计算设备102的用户访问的图像。因此，例如，图像112可包括被客户端计算设备102的用户张贴到社交网络应用108的图像以及被客户端计算设备102的用户的联系人张贴到社交网络应用108的图像。

客户端计算设备102包括数据存储116，该数据存储116包括客户端计算设备102的用户的个人图像集合118。尽管在图1中显示为驻留在客户端计算设备102上，但是可以理解，个人图像集合118可驻留在被云服务管理的一个或多个数据存储中(如图2中显示的)。由此，个人图像集合118驻留在在社交网络应用118的外部的计算设备上。这样的个人图像集合118可包括被包括在被客户端计算设备102的用户通过社交网络应用108的方式张贴的图像112中的一些图像。然而，通常，用户的个人图像集合118中的图像缺乏有助于客户端计算设备102的用户在个人图像集合118中组织或定位特定图像的元数据。例如，随着具有相机的移动电话变得普遍以及移动相机的花费下降，许多人已经开始生成相对大量的图像以供包括在个人图像集合中。因此，例如，客户端计算设备102的用户的个人图像集合118可包括数千个图像，其中这样的图像具有相对少量的被分配给它的元数据，并且其中这样的元数据可能不能有助于协助客户端计算设备102的用户来组织或定位特定图像。个人图像集合118可包括通过移动电话的方式捕捉的图像、通过扫描较老的图像生成的图像、被客户端计算设备102的用户的相机捕捉的图像、被客户端计算设备102的用户的联系人捕捉的随后被提供给客户端计算设备102的用户的图像等。因此，可以理解，客户端计算设备102的用户的个人图像集合118可随着时间被多个不同的源生成。

系统100被配置成利用与服务器104的数据存储110中的图像112相关联的元数据114以将元数据分配到个人图像集合118中的图像。再次，尽管图1将个人图像集合118描绘为驻留在客户端设备上，但是可以理解，在其他实施例中，个人图像集合118可驻留在云存储系统中或跨各设备驻留。还可以理解，个人图像集合118的位置可与图像被如何捕捉/创建无关。客户端计算设备102包括接收器组件120，该接收器组件120接收(例如，从客户端计算设备102的用户)指示：用户的个人图像集合118中的至少一个图像基于客户端计算设备102的用户通过社交网络应用108的方式可访问的图像112以及对应的元数据114被理想地分配元数据。

在一个示例性实施例中，计算机可执行应用可被安装在客户端计算设备102上并可被其用户启动，其中计算机可执行应用被配置成在将元数据分配到个人图像集合118中的图像方面来协助用户。这样的应用可以例如是被配置成与社交网络应用108通信的客户端侧图像组织应用。在另一示例中，这样的计算机可执行应用可被安装为基于浏览器的应用或向社交网络应用108注册的插件。在这样的示例中，客户端计算设备102的用户可将她引导到社交网络应用108并选择浏览器的按钮(例如，在工具栏中)，从而指示元数据到个人图像集合118中的图像的自动分配是理想的。在另一示例中，计算机可执行应用可以是向社交网络应用108注册的应用，使得从客户端计算设备102的用户的角度来看，这样的应用看上去为社交网络应用108的一部分。在另一示例中，应用可以是基于云的标记服务的插件。后两个示例性实施例尤其可良好地适用于其中元数据通过对云服务(其将参考图2被显示和描述)的使用被自动地应用到个人图像集合的实例化。还构想了其他实施例。

客户端计算设备102还可包括检索器组件122，响应于接收器组件120接收到指示用户的个人图像集合118中的至少一个图像基于数据存储110中的图像112和对应的元数据114被理想地分配元数据的指示，该检索器组件122可通过社交网络应用108的方式来检索图像112和与之对应的元数据114。例如，检索器组件122可致使图像112和相关联的元数据114通过网络106的方式被下载到客户端计算设备102(或到云存储系统或云服务)。

根据一示例，响应于接收器组件120接收到以上提到的指示元数据被理想地分配到个人图像集合118中的图像的指示，检索器组件122可通过网络106的方式将客户端计算设备102的用户的认证数据传送到社交网络应用108。这样的认证数据可以例如是，客户端计算设备102的用户用于社交网络应用108的用户名和口令。社交网络应用108接着可认证用户，并可将指示用户已经被认证的数据传送到客户端计算设备102。对这样的经认证的连接的接收可致使检索器组件122将查询传送到社交网络应用108，其中查询被配置成在数据存储110中检索图像112和对应的元数据114。例如，被检索器组件122传送的查询可向社交网络应用108指示用户以及他/她的联系人的被客户端计算设备102的用户张贴到社交网络应用108的经标记的图像以及被客户端计算设备102的用户的联系人(如注册在社交网络应用108中的)张贴的图像变得可被客户端计算设备102的用户的访问。任选地，可使用其他基于日期、事件类型或(附加到社交网络中的照片的)任意其他元数据的过滤器。

响应于图像112和对应的元数据114被检索器组件122检索，分配器组件124可基于被检索器组件122检索到的图像112的内容以及来自元数据114的对应于该内容的元数据来将元数据分配到个人图像集合118中的至少一个图像。在一示例性实施例中，分配器组件124可分析图像112和对应的元数据114来训练面部识别算法，使得面部识别算法能标识被包括在图像112中的至少一个图像中的至少一个人的面部。此外，基于被分配到该至少一个图像的元数据，分配器组件124可确定对应于该面部的身份。例如，图像112中的一图像可具有分配给它的标记，该标记指示被标识为“JohnSmith”的人被包括在这样的图像中(其中该标记还指示图像中包括“JohnSmith”的一部分)。面部模型可基于图像112和对应的元数据114来针对JohnSmith学习，其中面部模型包括指示被标识为JohnSmith的人的面部特征的特征的值。分配器组件124可此后分析个人图像集合118中的图像来寻找对应于这样的面部模型的面部。对于个人图像集合118中被标识为包括JohnSmith的图像，分配器组件124可将元数据(标记)分配到个人图像集合118中的这样的图像，该元数据(标记)指示这些图像包括JohnSmith。

如将理解的，数据存储110中的图像112的数量可能相对较大，因为这样的图像112不仅包括被客户端计算设备102的用户张贴的图像，还包括被其联系人张贴的图像。因此，假设个人图像集合118中的图像包括捕捉用户的若干个联系人的图像，可以理解，分配器组件124可自动地将相对大量的元数据分配到个人图像集合118。因此，在一示例性实施例中，客户端计算设备102的用户可选择特定一联系人或一组联系人，并且图像112和对应的元数据114可被分析来仅寻找被选择的联系人(而非用户的所有联系人)。因此，分配器组件124可将元数据分配到个人图像集合118中仅与所选的联系人有关的图像。

客户端计算设备102还可包括共享器组件126，在分配器组件124将元数据分配到个人图像集合118中的至少一个图像后，共享器组件126可接收来自客户端计算设备102的用户的指示：该至少一个图像理想地通过社交网络应用108的方式被共享。例如，共享器组件126可输出已经被分配器组件124分配了元数据的图像的图形指示，并且客户端计算设备102的用户可接着选择这些图像中的哪一个要通过社交网络应用108的方式被理想地共享。响应于共享器组件126从客户端计算设备102的用户接收到指示一个或多个图像被理想地共享的指示，共享器组件126可致使这样的图像通过网络106的方式被上传到社交网络应用108。

客户端计算设备102还可任选地包括索引生成器组件128，该索引生成器组件128可将客户端计算设备102的用户的个人图像集合118中的图像以及被检索器组件122检索到的图像(来自服务器104上的数据存储110中的图像112)索引到一公共索引中，其中索引生成器组件128可通过对应于这样的图像的元数据来索引这样的图像。此后，尽管被检索器组件122检索到的图像112可能不被永久地保留在客户端计算设备102上并由此可不被包括在客户端计算设备102的用户的个人图像集合118中，索引生成器组件128能通过对应于这样的图像112以及个人图像集合118中的图像的元数据来将这些图像索引在一起。例如，如果元数据标识被包括在图像中的人，则索引生成器组件128可通过被包括在个人图像集合118中的图像以及通过社交网络应用108的方式检索到的图像112中的人来将这些图像索引在一公共索引中。索引生成器组件128可接着致使该公共索引被保留在客户端计算设备102的数据存储116中。

客户端计算设备102还可包括搜索组件130，该搜索组件130接收查询并在以上提到的公共索引上执行该查询。搜索组件130可接着响应于在该公共索引上执行查询来输出搜索结果，其中搜索结果可包括用户的个人图像集合118中的图像以及来自可通过社交网络应用108的方式被用户访问的图像112中的图像(或到图像的链接)(即使这样的图像不被本地地保留在客户端计算设备102处)两者。因此，如果用户提出查询“JohnSmith”，则搜索组件130将标识个人图像集合118中包括JohnSmith的图像以及可通过社交网络应用108的方式被用户访问的图像112中包括JohnSmith的图像。

尽管分配器组件124已经在以上被描述为分配标识被包括在图像中的人的身份的元数据，但是可以理解，分配器组件124不被如此限制。例如，分配器组件124可被配置成执行场景分析并基于这样的分析来分配指示位置和/或事件的元数据。例如，如果来自图像112的一图像包括指示这样的图像对应于“2010Birthday(2010生日)”的元数据并且分配器组件124标识个人图像集合118中具有非常相似的场景的一图像，则分配器组件124可类似地将元数据“2010”分配到该图像。其他类型的可基于图像112和对应的元数据114被分配到个人图像集合118中的图像的元数据包括被分配到图像112中的图像的评论、被分配到图像112中的图像的说明等。

尽管图1示出了一示例性实施例，其中客户端计算设备102被显示为保留个人图像集合118以及用于将元数据与个人图像集合118中的图像相关联的组件，但是可以理解(如将在以下被详细描述的)，其他实施例也被构想。例如，检索器组件122、分配器组件124、共享器组件126、索引生成器组件128或搜索组件130中的至少一个可驻留在被用于将元数据与图像相关联的基于云的服务采用的计算设备上。在其他实施例中，个人图像集合118可附加地或替换地被保留在被基于云的服务采用的计算设备上。

现在参考图2，示出了另一示例性系统200，该示例性系统200促进基于可通过社交网络应用108的方式被用户访问的图像112和对应的元数据114来将元数据分配到个人图像集合118中的图像。在系统100(图1)中，个人图像集合118被显示为驻留在客户端计算设备102的数据存储116中。然而在一些实施例中，云服务被提供用于主控图像和其他文件(不是被保留在客户端计算设备102上的图像和其他文件，或附加于被保留在客户端计算设备102上的图像和其他文件)，其中客户端计算设备102的用户可上传和下载来自个人图像集合118中的图像。附加地，客户端计算设备102可以是具有受限资源的相对瘦的计算设备，诸如移动电话或平板计算设备。因此，系统200包括可通过网络106的方式被客户端计算设备102访问的存储服务器202。存储服务器202包括数据存储116，其保留个人图像集合118。存储服务器202还可任选地包括共享器组件126和/或搜索组件130。存储服务器202可以是云存储服务的一部分或一分开的计算设备。在另一示例中，存储服务器202可被包括在场所内服务中。

在图2中显示的示例性实施例中，系统200还包括标记服务器204，其包括检索器组件122和分配器组件124。标记服务器204还可任选地包括索引生成器组件128。然而可以理解，以上提到的组件和个人图像集合118可在客户端计算设备102、存储服务器202和标记服务器204之间以任何合适的方式分布。检索器组件122可从服务器104检索图像112和相关联的元数据114，并且分配器组件124可在标记服务器204上训练识别算法(例如，面部识别算法)。经训练的面部识别算法接着可被提供到存储服务器202，其中它可在个人图像集合118上执行，使得其中的图像可基于图像112和对应于其的元数据114来在个人图像集合118中被分配元数据。

客户端计算设备102可指示个人图像集合118中的图像基于可通过社交网络应用108的方式被用户访问的图像112和对应的元数据114来被理想地分配元数据。检索器组件122可从接收器组件120接收这样的指示，并可致使图像112和对应于的元数据114从服务器104中被检索。在其他实施例中，检索器组件122可驻留在客户端计算设备102上，使得图像112和对应的元数据114通过网络的方式被下载到客户端计算设备102，并随后被上传到标记服务器204。如以上描述的分配器组件124分析图像112和对应的元数据114并基于图像112和对应的元数据114将元数据分配到个人图像集合118中的图像。

现在参考图3，示出了另一示例性系统300，该示例性系统200促进基于可通过社交网络应用108的方式被用户访问的图像112和相关联的元数据114来将元数据分配到个人图像集合118中的图像。在系统300中，一公共实体主控社交网络应用108并提供用于在客户端计算设备102上执行来组织个人图像集合118中的图像的计算机可执行应用。该公共实体还可任选地提供用于主控用户的个人图像集合118的基于网络的服务。然而，可以理解，个人图像集合118至少逻辑上与社交网络应用108分开(例如，社交网络应用不保留、处理或公布个人图像集合118中的图像)。

在系统300中，接收器组件120接收来自客户端计算设备102的用户的指示：元数据基于可通过社交网络应用108的方式被用户访问的图像112和元数据114来理想地被分配到用户的个人图像集合118中的图像。客户端计算设备102还可包括上传组件302，响应于接收器组件120接收到该指示，上传组件302可对社交网络应用108来认证。响应于被认证，上传组件302可致使用户的个人图像集合118被上传到服务器104。再次，在这个实施例中，公共实体提供用于在客户端计算设备102上执行的图像组织应用以及社交网络应用108。

个人图像集合118由此可上传到服务器104的数据存储110。如以上描述的，分配器组件124可通过分析可通过社交网络应用108的方式被客户端计算设备102的用户访问的图像112和相关联的元数据114来运作，并且可基于这样的分析来将元数据分配到个人图像集合118中的图像。分配器组件124可接着致使被分配到个人图像集合118中的图像的元数据被传送回客户端计算设备102，其中它可相关于个人图像集合118中的图像被保留在数据存储116中。在另一实施例中，分配器组件124可致使个人图像集合118整个(包括新添加的元数据)通过网络106的方式被传送回客户端计算设备102。任选地，分配器组件124可致使个人图像集合118从服务器104中移除。替换地，客户端计算设备102的用户可能希望个人图像集合被备份在服务器104上并可致使个人图像集合118是被保留在服务器104上的那一个(但不可通过社交网络应用108的方式被访问)。

现在参考图4，示出了促进分配指示在个人图像集合118中的一图像中捕捉的至少一个人的身份的元数据的示例性系统400。系统400包括分配器组件124，其接收至少一个人的身份，其中个人图像集合118中包括该人的图像被理想地加上标记以指示该至少一个人被包括在这样的图像中。在一示例中，该至少一个人的身份可以是该人在社交网络应用108中阐述的身份。由此，例如，该至少一个人的身份可以是客户端计算设备102的用户在社交网络应用108中的经注册的联系人。分配器组件124还可任选地接收个人图像集合118中被理想地经受元数据的添加的一部分的指示。例如，客户端计算设备102的用户可能希望数个文件夹或相册中只有一特定的文件夹或相册具有其中具有被分配给它的元数据的图像。

响应于接收到该至少一个人的身份，分配器组件124可查明是否面部模型已针对该人来建立(并完成)。如果在被用于构建该面部模型的图像中已经标识了该至少一个人的某个阈值数量(例如20、30、......)的正面标识的面部，则该面部模型可被认为完成。如果针对该至少一个人的面部模型还没有被构建，则分配器组件124可采取不受监督的循环，用于通过充分利用关于该人的显式输入来获得图像112中该至少一个人的正面面部以从客户端设备的用户中习得。

为了获得该至少一个人的正面面部，分配器组件124访问可通过社交网络应用108的方式被客户端计算设备102的用户访问的图像/元数据402。图像/元数据402可被认为是以上描述的图像112和对应的元数据114的组合。图像/元数据402包括具有分配给它的第一元数据406的第一图像404，到具有分配给它的第N元数据410的第N图像408。分配器组件124分析图像/元数据402以定位具有与其相关联的元数据的图像，所述元数据指示该至少一个人被包括在图像中。

分配器组件124包括被配置成检测图像中的面部的面部检测器组件412。由此，对于被分配器组件定位的认为包括该至少一个人的图像，面部检测器组件412检测这样的图像中的面部。在一些实施例中，社交网络应用108采用特定大小的边界框来允许其用户标识图像中包括特定人的部分。如果面部检测器组件412查明所获得的图像中的所检测到的面部在被社交网络应用108分配的边界框的某个阈值距离内，则分配器组件124可将这样的面部标记为该至少一个人的候选面部。可以注意，由于面部检测器组件412被配置成检测面部，所以图像中被(不正确地)标记为相应人的物体可被自动地丢弃。这个过程可针对图像/元数据402中的多个图像重复，使得该至少一个人的数个候选面部被潜在地定位。分配器组件124还可包括训练器组件414，该训练器组件414为该至少一个人的每个候选面部生成面部特征。更具体地，特征集可被用作人类面部的签名，其中针对特定面部，各值可被分配到特征集中的条目以指示图像中的面部是否包括对应于各条目的特征。对于该至少一个人的每个候选面部，训练器组件414填充相应的特征集。训练器组件414可随后基于候选面部的特征集来生成群集，其中群集包括相似的特征集(其中可通过两个特征集之间的距离来定义相似度)。训练器组件414接着选择特征集的最大群集，其可协助移除被不正确标记的面部。该群集中的每个特征集可被标记为该至少一个人的正面面部。

训练器组件414接着基于在数个图像中被捕捉的该至少一个人的面部的特征集来构建该至少一个人的面部模型416。如果某个阈值数量的正面面部被标识为是该至少一个人，则模型可被标识为完成。如果没有充足数量的正面面部可用，则部分面部模型可被习得，其可随着附加的标记被分配到图像/元数据402中的该至少一个人来随着事件被改进。面部模型416可任选地用来自面部(已知为不是该至少一个人的面部)的至少一个特征集来扩充。此外，训练器组件414可基于来自客户端计算设备102的用户的显式反馈来更新面部模型416。例如，可向用户提供允许该用户纠正标记的界面(如果被自动应用的标记发现是不正确的)。该界面可允许用户完成不完整的标记或以其他方式修改标记。由用户提出的输入可被训练器组件414采用来更新/习得面部模型416。被完成的面部模型416由此可包括被社交网络应用108分配到该至少一个人的身份、与该至少一个人相关联的特征(来自图像/元数据402的正面面部)以及与一个或多个负面面部相关联的特征。

分配器组件124接着可关于在个人图像集合118中标识包括该至少一个人的图像来采用面部模型416。例如，对于个人图像集合118中的每个图像，面部识别组件412可搜索其中的相应面部。如果面部识别组件412检测到一面部，则面部识别组件412可针对该面部生成边界框。面部识别组件412接着可提取所检测到的面部的特征集的值，并将该特征集与面部模型416比较。如果面部识别组件412确定该特征集充分地对应于面部模型416(例如，具有某个阈值级别的置信度)，则分配器组件124可将标记分配到包括该面部的相应图像，该标记指示该图像包括该至少一个人(以及潜在地图像中该至少一个人所包括在其处的位置)。附加地，如果认为图像中的面部属于该至少一个人，但是置信度低于某个预先定义的阈值，则分配器组件124可请求用户反馈。面部模型416接着可基于这样的反馈被更新。以上阐述的过程可针对个人图像集合118中的每个图像以及针对被用户标识的每个人来重复，其中包括相应人的图像理想地被标记。

现在参考图5，示出了客户端计算设备102的用户的示例性社交图，其中这样的社交图500可被遍历来检索图像和对应的元数据。社交图500被社交网络应用108维护。在这个示例中，用户502被显示为处于社交图500的中心，其中用户502是客户端计算设备102的用户。在社交网络应用108中，用户将用户图像504张贴到社交网络应用108。在社交图500中，用户502被显示为具有第一联系人506。第一联系人506可通过社交网络应用108的方式张贴了第一联系人图像508。在一示例性实施例中，第一联系人图像508可以是被第一联系人506张贴的可被用户502访问的任意图像。在其他实施例中，第一联系人图像508可以仅仅是被第一联系人506张贴可用于一般公众的那些图像。

社交图500示出用户502具有张贴了第二联系人图像512的第二联系人510、张贴了第三联系人图像516的第三联系人514、张贴了第四联系人图像520的第四联系人518、张贴了第五联系人图像524的第五联系人522以及张贴了第六联系人图像528的第六联系人526。当检索器组件122通过社交网络应用108的方式检索图像时，例如，检索器组件122可检索与至少一个指定的人有关的用户图像504、第一联系人图像508、第二联系人图像512、第三联系人图像516、第四联系人图像520、第五联系人图像524和第六联系人图像528(例如，被检索器组件122检索到的各图像具有分配给它的指示该至少一个指定的人被包括在其中的元数据)。

现在参考图6，示出了促进将包括元数据的图像张贴到社交网络应用108的示例性系统600。系统600被显示为包括移动电话602，其包括相机604。相机604被采用来捕捉包括至少一个人606的图像。移动电话602还包括数据存储(未显示)并且该至少一个人606的图像可任选地被本地地保留在移动电话602的数据存储中。

移动电话602可被配置成将相机604捕捉的图像上传到存储服务器202。这样的上传可自动地发生，或响应于接收到来自移动电话602的用户的命令而发生。包括至少一个人606的图像可由此被上传到存储服务器202，并可作为个人图像集合118中的图像被保留在数据存储116中。例如，存储服务器202可以是基于云的数据保留服务的一部分。在本文中显示的示例性实施例中，标记服务器204包括分配器组件124，响应于被相机604捕捉的包括人606的图像被放置在存储服务器202上或响应于由移动电话602的用户提出的命令，分配器组件124可访问这样的图像。分配器组件124可自动地将指示人606被包括在图像中的元数据分配到该图像。如以上提到的，分配器组件124可至少部分基于通过对可通过社交网络应用108的方式被移动电话602的用户访问的图像112和对应的元数据114的分析来习得的针对至少一个人606的面部模型来分配这样的元数据。在一个示例性实施例中，在分配器组件124将元数据与包括人606的图像相关联之后，元数据和图像可被传送到存储服务器202和/或移动电话602，其中经标记的图像可被本地地存储在移动电话602上。

移动电话602附加地包括共享器组件126，其可致使经标记的图像通过网络106的方式被上传到社交网络应用108(例如，取决于经标记的图像被保留的位置，从移动电话602或从存储服务器202)。例如，在移动电话602的用户捕捉包括人606的图像之后，分配器组件124可标识出人606是移动电话602的用户在社交网络应用108中的联系人。分配器组件124可接着提示移动电话602的用户来将所捕捉的图像以及标识人606被包括在该图像中的标记上传到社交网络应用108。

在另一示例性实施例中，替代于立即提示用户，响应于移动电话602的用户访问图像，移动电话602的用户可被共享器组件126提示来共享图像(例如，要么本地地来自移动设备602要么来自存储服务器202)。在这个实施例中，可以确定被移动电话602的用户和/或社交网络应用108的其他用户分配到包括人606的图像的标记可被充分利用来允许对所捕捉的图像的自动标记，而无需对移动电话602的用户方面要求大量的手动劳动。

图7-10示出了涉及将元数据应用到用户的个人图像集合中的图像的示例性方法。尽管各方法被表示和描述为顺序地执行的一系列动作，但要知道和理解，这些方法不受该顺序的次序的限制。例如，一些动作能以与本文描述的不同的次序发生。另外，某一动作可以与另一动作并发地发生。此外，在一些实例中，实现本文描述的方法并不需要所有动作。

此外，本文描述的动作可以是可由一个或多个处理器实现的和/或存储在一个或多个计算机可读介质上的计算机可执行指令。计算机可执行指令可包括例程、子例程、程序、执行的线程等。另外，这些方法的动作的结果可以存储在计算机可读介质中，显示在显示设备上，等等。

现在参考图7，示出了促进将元数据与用户的个人图像集合中的至少一个图像相关联的示例性方法700。方法700开始于702，并在其704，从用户接收元数据与用户的个人图像集合中的至少一个图像理想地相关联的指示。在706，响应于接收到该指示，保留在社交网络应用的至少一个数据存储上的图像被检索，其中图像可从用户的社交网络应用的帐户访问并可具有与其相关联的元数据。这样的元数据可包括评论、图像中物体的身份、图像中人的身份等。可以理解，个人图像集合中的图像被保留在位于社交网络应用外部的存储中。

在708，基于从社交网络应用的至少一个数据存储检索到的图像和相关联的元数据将元数据与用户的个人图像集合中的至少一个图像相关联。方法708在710完成。

现在参考图8，示出了促进自动地将标记分配到图像以指示至少一个人被包括在该图像中的另一示例性方法800，其中该图像在用户的个人图像集合中。方法800开始于802，并且在804，社交网络应用的用户的认证数据被传送到主控该社交网络应用的服务器。如以上提到的，这样的认证数据可以是用户名和口令，也构想了其他认证数据，诸如语音信号、指纹等。

在806，至少一个人的身份被接收，其中用户的个人图像集合中包括该至少一个人的图像被理想地标记以指示这样的图像包括该至少一个人。在一示例中，该至少一个人可以是用户在社交网络应用中的联系人。

在808，响应于接收到该至少一个人的身份，存储在社交网络应用的第一数据储存库上的第一多个图像被访问，其中第一多个图像具有被分配给它的指示该至少一个人被包括在第一多个图像中的每一个图像中的元数据。例如，第一多个图像可被下载到被用户采用的客户端计算设备或被下载到执行元数据到用户的个人图像集合中的图像的分配的云服务。

在810，针对该至少一个人的面部模型至少部分基于在808处访问的图像以及被分配给它的元数据来习得。

在812，在用户的个人图像集合上执行面部识别算法以标识其中包括该至少一个人的图像。更具体而言，面部识别算法可在个人图像集合中的要被分析的每个图像中检测相应图像中的(诸)面部。面部识别算法可接着将检测到的(诸)面部与习得的面部模型进行比较以查明(诸)面部中的任意面部是否是被习得的面部模型表示的该至少一个人。在816，个人图像集合中被发现包括该至少一个人的图像被分配标记以指示该图像包括这样的人。方法800在816完成。

现在转向图9，示出了用于基于社交网络应用中经标记的图像来构建面部模型的示例性方法900。方法900开始于902，并且在904，用户的个人图像集合中的图像中被理想地在标记的至少一个人的身份被接收。这样的身份可对应于如在社交网络应用中指示的用户的联系人的身份。

在906，做出关于面部模型(例如，基于某个阈值数量的正面标记的面部的完成的面部模型)是否已经针对理想地在用户的个人图像集合中的图像中被标记的该至少一个人被构建的确定。如果在906确定完成的面部模型没有被构建，则被张贴到可被用户访问的社交网络应用的被标记为包括该至少一个人的图像被标识。如果存在多个被标记为包括该至少一个人的图像，则这些图像中的每一个可被标识或阈值数量的这样的图像可被标识。在910，至少部分基于所标识的图像来构建面部模型。例如，面部识别算法可在至少一个图像中标识该面部并且边界框中的该面部的特征可被提取。面部模型可至少部分基于这样所提取的特征被构建。在面部模型被构建之后或如果在906确定面部模型已经被构建，则在912，用户的个人图像集合中通过使用该面部模型被标识为包括该至少一个人的图像被标记为包括该至少一个人。方法900在914完成。

现在参考图10，示出了用于对图像进行标记并将该图像上传到社交网络应用的示例性方法1000。方法1000开始于1002，并且在1004，使用移动计算设备来捕捉图像。这样的移动计算设备可以是专用相机、移动电话、平板或板式计算设备、包括相机的移动媒体播放器等。在1006，图像被分析来查明该图像是否包括面部。如果在1006确定该图像包括面部，则在1008，对应于该移动计算设备的用户的联系人(如向社交网络应用注册的)的习得的面部模型被访问。如以上提到的，这样的面部模型可基于可通过社交网络应用的方式被移动计算设备的用户访问的具有分配给它的元数据的图像来习得。并且，这些面部模型可在云服务中习得并被下载到移动设备。

在1010，做出关于在1006处被标识为被包括在图像中的面部是否对应于习得的模型的确定。换言之，面部识别算法针对每个习得的模型来检查在1006处标识的面部以查明是否这样的面部对应于先前习得的模型。

在1012，标记基于习得的模型被分配到图像。因此，如果确定面部属于针对其用户的面部的模型已经被习得的用户的联系人，则在1012，标记被分配到该图像以指示该人对应于已经在图像中被捕捉的习得的模型。可以理解，如果分配的标记是不正确的，则用户可手动地编辑、添加或删除标记，并且面部模型可基于来自用户的输入被更新。在1014，经标记的图像被上传到社交网络应用。方法1000在1016完成。

现在参考图11，示出了可以根据本文公开的系统和方法使用的示例性计算设备1100的高级图示。例如，计算设备1100可在支持向用户的个人图像集合中的图像分配元数据的系统中使用。作为另一示例，计算设备110可被用在支持通过社交网络应用的方式将经标记的图像与用户的联系人共享的系统中。计算设备1100包括执行存储在存储器1104中的指令的至少一个处理器1102。这些指令可以是例如用于实现被描述为由上述一个或多个组件执行的功能的指令或用于实现上述方法中的一个或多个的指令。处理器1102可以通过系统总线1106访问存储器1104。除了存储可执行指令以外，存储器1104还可存储图像、元数据、社交网络图等等。

计算设备1100还包括可由处理器1102通过系统总线1106访问的数据存储1108。数据存储1108可以包括可执行指令、图像、元数据等等。计算设备1100还包括允许外部设备与计算设备1100进行通信的输入接口1110。例如，输入接口1110可被用于从外部计算机设备、从用户等处接收指令。计算设备1100也可包括使计算设备1100和一个或多个外部设备相对接的输出接口1112。例如，计算设备1100可以通过输出接口1112显示文本、图像等。

考虑了通过输入接口1110和输出接口1112与计算设备1100通信的外部设备可被包括在提供实质上任何类型的用户可与之交互的用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如，图形用户界面可接受来自用户采用诸如键盘、鼠标、遥控器等之类的输入设备的输入，以及在诸如显示器之类的输出设备上提供输出。此外，自然语言界面可使得用户能够以无需受到诸如键盘、鼠标、遥控器等之类的输入设备强加的约束的方式来与计算设备1100交互。相反，自然用户界面可依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、声音和语音、视觉、触摸、手势、以及机器智能等。

另外，尽管被示为单个系统，但可以理解，计算设备1100可以是分布式系统。因此，例如，若干设备可以通过网络连接进行通信并且可共同执行被描述为由计算设备1100执行的任务。

在此所述的各种功能可以以硬件、软件或其任何组合来实现。如果以软件实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是可由计算机访问的任何可用存储介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来承载或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟(BD)，其中盘通常以磁的方式再现数据，而碟通常用激光以光学方式再现数据。另外，所传播的信号不被包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质，其包括便于计算机程序从一地向另一地转移的任何介质。连接例如可以是通信介质。例如，如果软件使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外线、无线电、以及微波之类的无线技术来从网站、服务器、或其它远程源传输，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外线、无线电、以及微波之类的无线技术被包括在通信介质的定义中。上述的组合应当也被包括在计算机可读介质的范围内。

替换地或另选地，此处描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)、等等。

以上所描述的包括一个或多个实施例的示例。当然，出于描绘前述各方面的目的而描述上述设备或方法的每个可以想到修改和改变是不可能的，但本领域内的普通技术人员可以认识到，各方面的许多另外的组合和置换都是可能的。因此，所描述的各方面旨在包括所有这些属于所附权利要求书的精神和范围内的改变、修改和变型。此外，就在详细描述或权利要求书中使用术语“包括”而言，这一术语旨在以与术语“包含”在被用作权利要求书中的过渡词时所解释的相似的方式为包含性的。

Claims (10)

1.一种方法，包括：

接收指示元数据与用户的个人图像集合中的至少一个图像理想地相关联的指示；

响应于接收到所述指示，访问社交网络应用的数据存储并检索其上的图像，所述图像能从所述用户的所述社交网络应用的帐户访问并具有与所述图像相关联的元数据，所述用户的所述个人图像集合在所述社交网络应用的外部；以及

基于从所述社交网络应用的所述数据存储中检索到的图像和相关联的元数据将所述元数据与所述用户的所述个人图像集合中的所述至少一个图像相关联。

2.如权利要求1所述的方法，其特征在于，所述个人图像集合被保留在基于云的存储系统中的计算设备上。

3.如权利要求1所述的方法，其特征在于，接收所述元数据理想地被应用到所述用户的所述个人集合中的所述至少一个图像的指示包括接收在所述至少一个图像中捕捉到的人的身份，并且其中从所述社交网络应用的所述至少一个数据存储中检索到的各图像中的每一个被分配指示此人可能在这样的图像中被捕捉的元数据。

4.如权利要求3所述的方法，进一步包括：

至少部分基于从所述社交网络应用的所述数据存储中检索到的所述图像以及相关联的元数据来习得此人的面部模型，并且其中将所述元数据与所述用户的所述个人图像集合中的所述至少一个图像相关联包括：

在所述用户的所述个人图像集合中的各图像上执行面部识别算法来检测其中的面部；

从在所述用户的所述个人图像集合中的所述各图像中的每个图像中检测到的每个面部提取相应的特征集；

将每个特征集与此人的所述面部模型进行比较；以及

至少部分基于包括在所述至少一个图像中相应面部的相应特征集与所述面部模型的比较来标识所述用户的所述个人图像集合中的至少一个图像包括此人。

5.如权利要求1所述的方法，其特征在于，在所述社交网络应用的所述数据存储上被访问的所述各图像中的至少一个图像是被所述用户的联系人张贴到所述社交网络应用的图像。

6.如权利要求1所述的方法，其特征在于，将所述元数据与所述用户的所述个人图像中的所述至少一个图像相关联包括将标记应用到所述至少一个图像中包括此人的面部的特定部分，所述标记指示此人的身份。

7.如权利要求1所述的方法，进一步包括：

在将所述元数据与所述至少一个图像相关联之后，基于应用到其上的相应元数据来对所述至少一个图像以及存储在所述社交网络应用的所述数据存储上的另一图像进行索引；

在所述索引之后，接收来自用户的查询；以及

向所述用户指示所述用户的所述个人集合中的所述至少一个图像以及存储在所述社交网络应用的所述数据存储上的所述另一图像两者均与所述查询相关。

8.一种系统，包括：

处理器；以及

包括能由所述处理器执行的多个组件的存储器，所述多个组件包括：

接收器组件，所述接收器组件接收指示用户的个人集合中的至少一个图像基于第二元数据理想地被分配第一元数据的指示，其中所述第二元数据被分配到可通过社交网络应用的方式被所述用户访问的图像，所述用户的所述个人集合在所述社交网络应用的外部；

检索器组件，响应于所述接收器组件接收到所述指示，所述检索器组件从所述社交网络应用的至少一个数据存储接收可通过所述社交网络应用的方式被所述用户访问的所述图像以及被分配到这样的图像的所述第二元数据；以及

分配器组件，所述分配器组件基于被所述检索器组件接收到的所述图像和相关联的第二元数据来将所述第一元数据分配到所述个人集合中的所述至少一个图像。

9.如权利要求8所述的系统，其特征在于，所述至少一个图像包括在所述至少一个图像中捕捉的人的面部，并且其中所述第一元数据是标识所述至少一个人的标记。

10.如权利要求8所述的系统，其特征在于，所述第二元数据包括被分配到可通过所述社交网络应用的方式被访问的所述图像中相应图像的标记，并且其中所述标记指示所述图像中捕捉的人的相应身份。