CN103119620A - 基于推测的社会关系的行为建议 - Google Patents

Abstract

一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括：搜索所述集合以识别个人并确定他们的性别和他们的年龄范围；利用识别的个人的所述性别和所述年龄范围来推测他们之间的至少一种社会关系；以及利用推测的至少一种社会关系建议可能行为方式。

Description

基于推测的社会关系的行为建议

技术领域

本发明涉及从个人图像集合来推测社会关系并建议行为方式。

背景技术

客户图像集合已经普遍深入开展。从这些集合中对有意义的信息进行语义挖掘已经是机器学习和计算机视觉社区中的活跃的研究领域。大量的工作正致力于对象识别问题，即检测特定类型的对象，例如人脸、汽车、草、水、天空等等。这项工作主要依赖于利用可在图像中获得的低水平视觉特征(例如颜色、纹理和线条)。近年来，对例如场景检测和行为识别的更复杂的信息的语义提取的关注日益提高。例如，某人可能想要根据照片是拍摄于室内还是室外来对照片进行分组，或者将工作照和休闲照分开。这一问题的解决方案主要依赖于采用衍生特征，例如出现在图像中的人，某种对象在图像中出现或不出现，等等。通常，在这种场景下采用集体推测能力。例如，对于一具体的照片，可能难以判断其为工作还是空闲，但是看看其他位置和时间相似的照片，可能就更容易做出相同的预测。这条研究线索的目的是使人们对数字图像集合的认识方式发生演变—从一束像素值到高复杂性且有意义的对象，可询问所述对象以获得信息，或以对用户有意义的方式自动组织所述对象。

随着语义理解的进一步发展，人们能够在观察足够多的图像之后推测出现在相同照片中的人与人之间的关系：他们是家庭成员、朋友、仅仅是熟人、或只是偶然在相同时间和相同地点出现的陌生人。换言之，客户照片通常不会和陌生人在一起拍摄，但经常和朋友以及家人在一起拍摄。检测和预测这样的关系可能是朝着构建智能照相机以及智能图像管理系统前进的重要一步。

已知通过分析图像来检测人并猜测被检测人的年龄和性别。此外，几种系统提供了基于人口统计学信息的广告建议。例如，在美国专利号7,362,919中，图像被布置在主题化册页上，其中图形元素基于图像中的人的年龄和性别。相似地，在美国专利号7,174,029中，采用视频照相机来监控环境、检测人、确定某人的人口统计学档案、并基于该人口统计学档案向此人提供广告。尽管这些方法对于对单个人有吸引力的广告来说是有用的，但是对于不与单个人相关而是与多人之间共享的社会关系相关的产品进行广告来说不是有效的。

发明内容

根据本发明，提供了一种对图像集合中的个人之间的社会关系进行分类以建议可能的行为方式的方法，包括：

a)搜索该集合以识别个人，并确定他们的性别和他们的年龄范围；

b)利用所识别的个人的性别和年龄范围推测他们之间的至少一种社会关系；以及

c)利用所推测的至少一种社会关系建议可能的行为方式。

本发明的特征和优点包括利用与个人身份、年龄和性别信息相关联的个人图像集合来自动地发现出现在该个人图像中的各个人之间的社会关系类型，并因此提供了一种建议可能的行为方式的系统，所述行为方式例如为产品建议、活动、共享机会或社交网络链接。

附图说明

图1是可采用本发明的系统的图示；

图2是实现本发明的一个实施例的流程图；

图3是显示社会关系类型的本体结构的表格；

图4a和4b描述了图像和从该图像推测的相应的社会关系的示例；

图5描述了利用在图像集合中发现的社会关系建立家庭树，在图像集合中搜索图像，并向用户提供建议的系统；

图6提供了示例性的图像集合以及发现的社会关系；

图7描述了家庭树；以及

图8描述了基于社会关系建议的产品。

部件清单

10 本系统

12 计算装置

14 索引服务器

16 图像服务器

20 通信网络

22 获得个人图像集合

24 识别图像中频繁出现的人(人脸检测/识别)

26 提取证据，包括人的同时出现、人的年龄和性别

28 存储识别的人和相关联的证据

30 从提取的证据推测与人相关联的社会关系

32 针对推测的社会关系搜索/组织图像集合

35 社会关系类型的本体结构

40 示例图像

42 示例关系

50 示例图像

52 示例关系

102 图像集合

104 社会关系检测器

106 社会关系

108 建议器

110 可能行为方式

112 存储器

114 家庭树

116 关系询问

118 图像选择器

120 询问输出

122 显示器

124 用户输入

126 地理位置

130 兄妹的图像

132 母女的图像

134 兄妹的图像

136 图像

138 图像

140 母子社会关系

142 基于社会关系的图形。

具体实施方式

本发明是一种在客户图像集合中自动检测社会关系的方法。例如，给定两张出现在图像中的人脸，人们意欲推测他们彼此是配偶而不仅仅是朋友。甚至在掌握了关于各个人脸的年龄、性别和身份的附加信息时，该任务也是极其困难的。照片中可能存在什么样的信息从而能够区分“朋友”或“配偶”关系呢？但是当集体地观察一组相关的照片时，该任务就容易处理得多了。具体地，第三方个人(除了照片中的主人公和拍照师之外)可基于经验规则对上述任务进行很好的猜测，所述经验规则例如：a)夫妻通常倾向于只拍摄他们自己，相反地，朋友通常成群出现，以及b)有小孩的夫妻通常和他们的孩子一起出现在照片中。该方法的优点是人们甚至可以说出关于在给定的集合中从未(或很少)一起拍照的某些人之间的关系的有意义的东西。例如，如果A(男性)和小孩出现在一组照片中，B(女性)和同一小孩出现在其他照片中，并且A和B出现在几张其他照片中，那么很可能他们是配偶关系，并且是和他们一起照相的这个小孩的父母。

本发明以有意义的方式获取上述经验规则。在建立这些规则时，需要考虑几个关键问题：

(a)这些毕竟只是经验规则，因此不总是正确的。

(b)可以同时采用很多规则，必须小心地组合这些规则。

(c)在某些场景下，很多规则可能彼此冲突。

解决这些问题的一个好方法是马尔可夫逻辑(“马尔可夫逻辑网络”(“Markov Logic Networks”)，作者M.Richardson和P.Domingos，发表于Machine Learning，62：107-136，pp.1-43，01/26/2006.6)，其提供了一种以数学的合理途径组合一阶逻辑规则的框架。每个规则被视为软约束(与逻辑中的硬约束相反)，其重要性由与之相关联的真值权重确定。权重越高，规则越重要。换言之，给出两个冲突的规则，在其他各方面都相同的情况下，应确信具有更高权重的规则的置信度更高。权重可以从训练数据学习。进一步地，除了由本领域专家提供的规则之外，马尔可夫逻辑也提供了利用该数据学习新规则的能力，从而增强了背景知识。然后利用这些学习的规则(以及它们的权重)在可能的关系组上进行集体推测。如后文所述，也可采用噪声预测器(用于年龄和性别)作为系统的输入，来构建用来预测关系、年龄和性别的集体模型。预测了一个元素有助于预测其他元素，反之亦然。例如，确认两个人性别相同可以帮助排除配偶关系，反之亦然。对一个照片的推测可延及其他照片，从而提高整体准确度。

统计关系模型将例如一阶逻辑的关系语言能力和例如马尔可夫网络的概率模型相结合。这提供了为范围内的关系(例如我们的情况中的各种社会关系)明确地建模的能力，同时也明确地考虑到不确定性(例如经验规则不可能总是正确)。近年来，在这个领域有大量的研究。能力最强的这类模型之一是马尔可夫逻辑(马尔可夫网络(“MarkovLogic Networks”)，作者M.Richardson和P.Domingos，发表于MachineLearning，62：107-136，pp.1-43，01/26/2006)。其结合了一阶逻辑能力和马尔可夫网络来限定潜在对象的特征分布(例如在我们的范围内的年龄、性别、面部特征)和他们之间的关系(例如在我们的范围内的各种社会关系)。这是通过为一阶原理中的每个公式附加真值权重来实现的，其中权重(粗略地)表示了公式的重要性。形式上，马尔可夫网络L被定义为一组对(Fi，wi)，Fi是一阶逻辑的公式，wi是实数。给定一组常数C，基础训练预测(ground predicates)集合X的特定配置x的概率如下：

$P(X=x)=\frac{1}{Z}\exp \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i{n}_i\left(x\right)\right)$

其中该“和”是针对L中出现的所有公式，wi是第i个公式的权重，ni(x)是在任务x下的真实基础训练的数字。Z是标准化常数。进一步的细节，请参见上述引用的Richardson和Domingos的著作。

在图1中，系统10具有实现本发明的必要元件，包括计算装置12、索引服务器14、图像服务器16和通信网络20。计算装置12可以是用于存储图像的个人计算机，其中所述图像应理解为包括静止图像和运动或视频图像。计算装置12与多个装置通信，例如数字照相机或蜂窝电话照相机(未示出)，从而达到存储通过这些装置获取的图像的目的。这些获取的图像可进一步包括个人身份信息，例如通过获取装置(通过语音注释或照相机内标签)获取的图像中的人的名字。计算装置12也可通过通信网络20与互联网服务通信，该互联网服务使用获取的没有身份信息的图像，并允许用户或训练过的自动算法将个人身份信息附加到所述图像上。在上述任意情况下，带有个人身份信息的图像是本领域公知的。

索引服务器14是通信网络20上可用的另一计算机处理装置，用于执行计算机指令形式的算法，来分析图像的内容从而获得语义信息，例如个人身份、年龄和性别、以及社会关系。应理解，通过索引服务器14在系统10中提供该功能作为网络服务并不是本发明的限制。计算机装置12也可配置为执行用于为索引准备的图像分析的算法。

图像服务器16通过通信网络20与其他计算装置通信，并且图像服务器16根据请求提供可不包括人、包括一个人或多个人的快照图像。存储在图像服务器16中的拍照图像由多个装置获取，包括数字照相机和具有内置照相机的蜂窝电话。这些图像也可能已经包含了在原始获取时或之后手动或自动获得的个人身份信息。

在图2中，描述了实现本发明所必须的步骤序列的流程图。在步骤22，需要包括具有潜在社会关系的多个人的个人图像集合。个人身份信息优选地以元数据形式与图像相关联，但是也可仅提供为与图像相关联而不会超出本发明的范围。图像可通过计算装置12从其内部存储器提供，或可从计算设备12可访问的任何存储装置或系统提供，例如本地网络存储装置或在线图像存储站点。如果个人身份信息不可用，则采用步骤22中提供的图像集合，在步骤24中，计算装置12将个人身份信息提供给索引服务器14，通过自动人脸检测和人脸识别，或手动注释以获得与每个图像相关的个人身份信息。

在步骤26，利用在步骤24获得的拍照图像，计算装置12利用分类器，以如下方式提取证据，包括每个图像中的人的同时出现、人的年龄和性别。面部年龄分类器是本领域公知的，例如A.Lanitis，C.Taylor，和T.Cootes的“对人脸图像的年龄效果的自动仿真”(“Towardautomatic simulation of aging effects on face images，”)，发表于PAMI Vol.14，No.4，2002，以及X.Geng，Z.-H.Zhou，Y Zhang，G Li和H.Dai的“从面部年龄图形学习的自动年龄评估”(“Learning from facial agingpatterns for automatic age estimation”)，发表于ACM MULTIMEDIA，2006，以及A.Gallagher的美国专利申请公开号2006/0045352。也可从面部图像中估计性别，如公开于M.-H.Yang和B.Moghaddam所著“用于视觉性别分类的支持向量机制”(“Support vector machines for visualgender classification”)，发表于Proc.ICPR，2000，以及S.Baluja和H.Rowley所著“提高性别识别性能”(“Boosting sex identificationperformance”)，发表于IJCV 71(2)，2007。

对于年龄分类，需要来自三个客户的图像集合，标注每个图像中的个人，总共有117位独立的个人。每个人的出生年份是已知的，或由该集合的拥有者估计。利用来自EXIF信息的图像获取日期和个人出生日，可计算每个图像中每个人的年龄。这样可以得到具有对应的基本真实年龄的2855张人脸的独立的训练集合。每张人脸的尺寸被标准化(49×61像素)，并投射到费舍尔人脸(Fisherfaces)集合上(如P.N.Belhumeur，J.Hespanha和D.J.Kriegman.所提出的：“本征人脸和费舍尔人脸：利用分类特定线性投射的识别”(“Eigenfaces vs.fisherfaces：Recognition using class specific linear projection”)，发表于PAMI Vol.19，No.7，1997)。对于新询问的人脸的年龄估计是通过以下步骤建立的：标准化其尺寸，投射到费舍尔人脸集合，并找出投射空间中的最接近的邻居(本发明采用25个邻居)。该询问的人脸的估计年龄是这些最接近的邻居的年龄的中值。对于估计性别，应用了采用支持向量机制的人脸性别分类器。在本发明中，该特征首先通过第一提取面部特征来缩减维度，该第一提取面部特征采用了主动形状模型(T.Cootes，C.Taylor，D.Cooper和J.Graham所著“主动形状模型-其训练和应用”(Active shape models-their training and application)，发表于CVIU Vol.61，No.1，1995)。利用同样是来自我们的客户图像数据库的3546个人脸的训练集合来学习支持向量机制，该机制输出概率密度估计。

然后在步骤28，针对集合中每个图像存储识别的人和相关联的证据，以为推测任务做准备。计算装置12或索引服务器14可依据任务的规模执行推测任务。在步骤30中，从提取的证据推测与个人图像集合中发现的人相关联的社会关系。最后在步骤32中，完成对个人图像集合中的人的社会关系的推测使计算装置12能够针对该推测的社会关系来组织或搜索图像集合。对于本领领域技术人员来说，显然这一个过程可以以增加的方式执行，这样可适当地处理新的图像、新的个人和新的关系。进一步地，该过程可用于跟踪个人在外观改变方面和社会关系扩展方面的演变，例如增加了新的家庭成员和新的朋友。

在本发明的优选实施例中，在步骤30，所述模型，即可从个人图像集合预测的社会关系规则集合以马尔可夫逻辑来表示。下文描述所关心的对象、预测(对象的特征和他们之间的关系)、以及给这些预测强加某些约束的规则。此后，描述了学习和推测任务。

图3为显示了社会关系类型(与个人图像集合的拥有者有关)的本体结构35的表格。在不背离本发明的实质的情况下，可限定任意个人之间的更任意的关系。

图4a和4b描述了个人拍照图像(40和50)和从所述图像推测的对应社会关系(42和52)的示例。

下文提供了本发明的该优选实施例的更多细节。在本发明的领域内有三种对象：

·人：世界中真实的人。

·人脸：图像中人脸的特定外观。

·图像：集合中的图像。

针对感兴趣的对象定义了两种预测。在通过数据进行推测时可以知道这些预测的值。一个示例性的证据预测可以是：Occursln(face，img)，其描述了特定的人脸是否出现在给定图像中的真值。本发明采用用于如下特征/关系的证据预测：

·图像中人的数量：HasCount(img，cnt)

·图像中出现的人脸的年龄：HasAge(face，age)

·图像中出现的人脸的性别：HasGender(face，gender)

·特定的人脸是否出现在图像中：Occursln(face，img)

·人和他/她的人脸之间的对应程度HasFace(person，face)

人脸的年龄(性别)是与出现在图像中的人脸相关联的估计的年龄(性别)值。这与建模为询问预测的人的实际年龄(性别)不同。与人脸相关联的年龄(性别)是从利用如上文所述的各种面部特征分别在人脸的集合上训练的模型来推测的，注意，与相同的人相关联的不同的人脸可能有不同的年龄/性别值，这是由外观差异，或照片拍摄时间差异造成的估计误差引起的。在本发明中，用5个离散的类别(bins)为年龄建模：儿童、少年、青年、中年和老年。

在本发明的应用中，假设事先已经通过自动或手动方式进行了人脸检测和人脸识别。因此，准确地知道哪个人脸对应于哪个人。放弃该假设，并将人脸检测和人脸识别算法作为模型的一部分是一种自然的扩展，该扩展可以适当地通过相同的基于马尔可夫逻辑的模型和相关联的推测方法来处理。

这些预测的值在推测时是未知的，从而需要推测。这类预测的示例是HasRelation(person1，person2，relation)，其描述了两个人是否共享给定关系的真值。采用以下询问预测：

·人的年龄：HasAge(person，age)

·人的性别：HasGender(person，gender)

·两个人之间的关系：HasRelation(person1，person2，relation)

本发明的一优选实施例为7种不同类型的社会关系建模：亲属、朋友、熟人、孩子、父母、配偶、童伴。亲属包括任何不包含父母/孩子关系的血缘亲属。朋友是没有血缘关系并满足直觉意义上的友谊关系的人。任何非亲属，非朋友的关系建模为熟人。童伴建模为孩子的朋友。建模童伴关系是重要的，因为在客户图像集合中，孩子非常普遍，并通常和他们的朋友一起出现。在这种情况下，区分孩子和他们的朋友非常重要。

有两种规则：硬规则和软规则。所有的规则以一阶逻辑公式表示。

硬规则描述了范围内的硬性约束，即这些约束必须总是保持为真。硬规则的一个示例是OccursIn(face，img1)和OccursIn(face，img2)-＞(img1＝img2)，其简单地表明了每个人脸出现在集合中最多一个图像中。

·父母年龄比其孩子大。

·配偶的性别相反。

·两个人共享他们之间唯一的关系。

注意在本发明中，两个人之间有唯一的关系。放弃这一假设(例如两个人可以既是亲属(例如表兄妹)又是朋友)可以作为当前模型的扩展。

软规则描述了更关心的约束集合—我们大多数时候相信它们为真，但是它们不总是保持为真。软规则的一个示例是OccursIn(person1，img)和OccursIn(person2，img)-＞！HasRelation(person1，person2，acquaintance)。这一规则表明，一起出现在照片中的两个人不太可能仅仅是熟人。他们出现在一起(在不同的照片中)的每个额外的例证都进一步减小了这种可能性。还有其他一些在本发明中采用的软规则：

·孩子和他们的朋友年龄相仿。

·年轻的成人独自与孩子一起出现则共享父母/孩子关系。

·一起出现的年龄相仿且性别相反的两个人(仅他们自己)共享配偶关系。

·朋友和亲属在照片中成群出现：如果两个朋友一起出现在照片中，那么出现在相同照片中的第三人更可能是朋友。对于亲属也一样。

总之，人们会优选一种能够满足所有硬约束(假定这种解决方案总是存在)，同时满足多数(加权的)软约束的解决方案。

最后，有一个包含单独预测的规则HasRelation(person1，person2，+relation)(+的意思是我们知道了对于每个关系的不同权重)，其可认为是表示集合中任意两个随机的人之间存在的特定关系的先验概率。例如，相比于父母或孩子关系，是朋友关系的可能性要大得多。相似地，有单独的规则HasAge(person，+age)和HasGender(person，+gender)。这些规则分别(直觉地)表示具有特定年龄和性别的先验概率。例如，通过对规则HasAge(person，child)给出更高的权重，可容易获得这样的事实，即孩子倾向于更经常被拍照。

给定该模型(规则和他们的权重)，推测对应于找出给出所有证据预测的询问预测HasRelation，HasGender和HasAge的边缘概率。由于需要处理硬(确定性)和软约束的组合，在本发明的优选实施例中采用了Poon和Domingos的MC-SAT算法(参见Poon和Domingos所著，“依赖于概率和确定性的充分和有效”(“Sound and efficient withprobabilistic and deterministic dependencies”，发表于Proceedings ofAAAI-06，458-463.Bosto，MA：AAAI Press.)。

给定硬约束和软约束的情况下，学习对应于找出针对每个软约束的最优化权重。首先，MAP权重设置为中心为零的高斯先验。之后，采用Lowd和Domingos的学习器(Lowd和Domingos：“用于马尔可夫逻辑网络的有效权重学习”(“Efficient weight learning for Markovlogic networks”)，发表于Proc.PKDD-07，200-211 Warsaw，Poland：Springer)。采用Kok和Domingos的结构学习算法(Kok和Domingos，“学习马尔可夫网络的结构”(“Learning the structure of Markov logicnetworks”，Proceedings of.ICML-05，441-448.Bonn，Germany：ACMPress)，从而改进(并学习新的例证)规则，这有助于预测目标关系。这些文献所描述的原始算法不能发现部分基础训练条款(groundedclauses)。对于本法发明来说这很重要，因为需要学习针对不同关系的不同规则。对于特定年龄组(例如儿童)或性别(例如人们可以想象男人和女人在倾向于和他们的社交圈子中的什么人拍照方面是不同的)规则也可能不同。为了具有这种特征算法所需的变化是直截了当的：在搜索条款的扩展过程中，允许增加预测的所有可能的部分基础训练。在这些预测中只允许基础训练特定的变量(即关系、年龄和性别)从而避免放大搜索空间。其余的算法如上文所述进行。

图5描述了一种系统，该系统采用推测的社会关系来向图像集合的拥有者、图像集合的观看者、或其他人或组织建议行为方式110。该系统基于确定的社会关系来建议产品广告、建议产品、建议活动、建议共享机会、或建议在线社交网络中的链接。进一步地，该系统用来基于社会关系来搜索图像集合，也用来产生家庭树。

参考图5，图像集合102被输入到社会关系检测器104中。该图像集合102包括数字图像和视频。社会关系检测器104检测图像集合中的个人的人脸和其他特征，并检测社会关系106，例如母子、夫妇、父子、朋友、祖父孙女。社会关系检测器104的一个实施例如图2所示，并参照上文的描述。用来确定社会关系的特征包括人脸、检测的年龄和性别、人的相关姿势(图像中人的毗邻)。当在多于一个图像中检测到人脸时，采用人脸识别来确定该人脸是同一个人的可能性，例如M.Turk和A.Pentland的“用于识别的本征脸”(″Eigenfaces forRecognition″)所述，发表于Journal of Cognitive Neuroscience，vol.3，no.1，pp.71-86，1991。发现的社会关系106可以是出现在单个图像或视频中的两个人之间的社会关系、出现在不同图像中的两个人之间的社会关系、或拍摄者或集合拥有者和图像或视频中的人之间的社会关系。也可以针对3个或更多人的组，例如家庭或朋友组来发现社会关系106。图6显示了具有5个图像(130，132，134，136和138)的示例性的图像集合102，和发现的社会关系106的示例。三个图像包括两个人，并发现了兄妹和母女社会关系106。通过识别出图像130、132和134中的女孩是同一个人，并采用社会关系的传递特征(例如男孩的姐妹的母亲也是该男孩的母亲)，发现了母子社会关系140，尽管该儿子和母亲从未一起出现在该图像集合中的图像里。

再参见附图5，利用婚姻(父母)形成该树上的节点，孩子是分枝的公知的符号，从社会关系106构建家庭树114。图7描述了基于所发现的社会关系106的家庭树114以及个人肖像的示例。该家庭树存储在数字存储器112中，例如为图像或XML格式。

再次参考附图5，采用了例如LCD屏幕的显示器122向用户显示来自图像集合102的图像以及来自社会关系检测器104的社会关系106。用户可提供用户输入124来纠正错误(例如检测的社会关系不准确，或因人脸识别误差引起的错误结果)，或提供缺少的社会关系。

社会关系106被输入到建议器108，从而基于社会关系106提出可能行为方式110的建议。可能行为方式110的建议与产品广告、图像产品建议、行动建议、共享机会建议、或社交网络建议相关。可能行为方式提供给该集合的拥有者的用户，或者不是集合拥有者的人(例如观看该图像集合的人，或者朋友或亲属)或其他组织，例如销售针以人口统计学上的特定社会关系为目标的产品的公司。建议器108选择性地考虑用户的地理位置126或来自图像集合102的图像的地理位置。

可能行为方式110优选地通过显示器显示给用户，尽管该建议可以其他形式发送，例如电子邮件、传真、即时消息、信件或电话。产品广告是未与来自客户的图像结合的可被购买的现有产品的广告。当建议是产品广告时，基于社会关系从可能的产品广告的数据库中选择该产品广告。例如，当图像集合包括一对年幼的兄弟或姐妹时，选择儿童棋盘游戏的产品广告并显示给集合拥有者、用户或观看者。该广告可能行为方式110对于用户来说是有用的，因为其提供了送礼物的主意(例如供观看该图像集合的姑妈给其侄子或侄女购买圣诞节礼物)。建议器108在选择广告时考虑与社会关系有关的其他人口统计学信息。社会关系中的人的年龄和性别可能是相关的。例如，可为更年幼的兄弟或姐妹选择玩偶游戏的广告可能行为方式110，可为年纪大些的十几岁的少年选择高级的策略游戏的广告可能行为方式110。针对妈妈和孩子社会关系106的广告可能行为方式110是高安全级别的小货车。针对妈妈、爸爸、儿子和女儿的广告可能行为方式110是具有容纳该家庭的适当数量的卧室的房屋。

向潜在客户建议其他的可能行为方式110。在该情形下，基于图像集合中的社会关系，该系统确定针对特定产品的潜在客户。例如，基于从来自特定图像集合的图像和视频检测社会关系，小货车产品的潜在客户被确定为多个年幼孩子的父母。可将与潜在客户有关的信息卖给产品广告商。当检查很多个图像集合时，可发现针对很多产品的每一个的很多潜在客户。潜在客户清单及其联系方式可卖给产品广告商。然后产品广告可向一个或多个潜在客户发送产品广告。

图像产品可能行为方式110是一种建议的产品，其将来自图像集合102的至少一个图像或视频结合到该图像集合拥有者或图像集合观看者。例如。图8显示了从母亲和女儿的图像132产生了母亲节卡的产品可能行为方式110，其建议用户为母亲节购买该产品。卡上的图形142是根据社会关系106选择的。产品建议根据留意的特定节目产生，同时还取决于日历时间(即，母亲节卡应该仅在即将到母亲节的星期内建议)。建议还取决于用户的身份。母亲节卡是建议给不倾向于接受礼物的用户(图像集合观看者)，而是这个女士的丈夫或者孩子。其他关系节日是情人节、甜心节、祖父母节、和父亲节以及个人周年纪念日(结婚纪念日或其他)。产品建议不限于物理对象，且包括幻灯放映来自图像集合102的图像和视频并设置音乐和画框，该音乐根据社会关系106来选择，画框包括来自图像集合102的图像并且包含与该社会关系有关的图片142或主题。

活动可能行为方式110是共享社会关系的人可能享受的活动的建议。在优选的实施例中，活动可能行为方式110根据用户的地理位置产生。例如，当用户居住在纽约布洛克波特(Brockport NY)附近时，针对包含父女关系的图像集合的活动可能行为方式110是“父女保龄球日为5月2日，纽约布洛克波特保龄馆”。建议器108选择性地考虑关系中的个人的偏好(例如，妻子可能喜欢露营和保龄球，但是丈夫可能只喜欢保龄球，因此建议器108会建议“夫妻保龄球之夜”而不是“夫妻户外露营”)。所建议的活动涉及运动(例如作为英式足球、篮球的参与者或观看者)、健康活动(例如婚姻工作室，或有高龄父母的成年人的研讨会)或兴趣爱好(例如露营、看电影、木工或园艺)。

建议器108还基于图像集合102中的社会关系106提供共享建议作为可能行为方式110。共享建议是一种可能行为方式110，以与特定个人共享一个或多个图像集合102中的图像。例如提出了在Flickr PhotoSharing网站(照片共享网络群网站)的“兄弟姐妹”(Siblings)(http://www.flickr.com/groups/siblings/)共享兄弟姐妹的图像的共享建议。

建议器108还基于图像集合102中的社会关系106提供社交网络建议作为可能行为方式110。社交网络建议是基于检测的社交连接的社交网络链接((例如在www.facebook.com上)的建议。例如，如果在图像集合102中，社会关系检测器104发现玛丽(Mary)和弗兰克(Frank)是朋友，那么向他们任意一个发送可能行为方式：

玛丽请求与弗兰克连接

弗兰克请求与玛丽连接

或上述两者。

再参见图5，利用社会关系106搜索或浏览图像集合102。向图像选择器118发出关系询问116(例如“母子”)。图像选择器118提供包括图像和视频的询问输出120，该图像和视频包含询问的社会关系。关系询问116也可以是图像形式，例如图6中的图像132也可作为关系询问116发出，从而找回包含母亲和女儿的所有图像的询问输出120。

在所有情况中，建议器108的行为基于可用数据在时间上发展。例如，基于向共享特定社会关系的人销售得特别好的项目，来选择基于社会关系的产品广告建议的可能行为方式110。这些产品的集合逐日变化，或按年变化，或随着时间的推移变化，也可随着地理位置变化。

Claims (10)

1.一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括：

a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围；

b)利用识别的个人的所述性别和年龄范围来推测他们之间的至少一种社会关系；以及

c)利用至少一种推测的社会关系来建议可能行为方式。

2.根据权利要求1所述的方法，其中所述可能行为方式包括建议产品广告、针对特定的一个或多个产品的潜在客户、图像产品、活动、共享机会、或在线社交网络中的链接。

3.根据权利要求2所述的方法，其中所述产品广告提供给集合拥有者，所述广告中的产品涉及特定节日。

4.根据权利要求1所述的方法，其中所述可能行为方式被建议给除了集合拥有者之外的人。

5.根据权利要求2所述的方法，其中所述图像产品与来自所述图像集合的图像结合，其中所述推测的社会关系发现自所述图像集合。

6.根据权利要求2所述的方法，其中所述活动包括教育活动、与运动相关的活动、与兴趣爱好相关的活动、或与健康或医药相关的活动。

7.根据权利要求1所述的方法，其中集合拥有者的地理位置被用来建议所述行为方式。

8.一种从图像集合产生家庭树的方法，该方法包括：

a)搜索集合以识别个人，并确定他们的性别和他们的年龄范围；

b)利用识别的所述个人的所述性别和年龄范围来推测个人之间的至少两种社会关系；

c)利用至少两种推测的社会关系来产生家庭树；以及

d)存储所述家庭树，使所述家庭树与所述集合关联。

9.根据权利要求8所述的方法，进一步包括基于所述家庭树搜索图像集合。

10.一种将图像集合中的个人之间的社会关系进行分类以搜索图像集合的方法，该方法包括：

a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围；

b)利用识别的所述个人的所述性别和年龄范围推测个人之间的至少一种社会关系；以及

c)基于推测的所述社会关系搜索图像集合。

Images