CN103620590B - 用于图像至文本以及文本至图像的关联的系统和方法 - Google Patents

Abstract

一种用于对人的面部图像进行分类的计算机化系统，所述计算机化系统包括将表示面部图像的值分配给所述面部图像的多个离散面部属性的计算机化面部图像属性式评估器，所述值由形容词表示；以及根据所述多个离散面部属性对所述面部图像进行分类的计算机化分类器。

Description

用于图像至文本以及文本至图像的关联的系统和方法

相关申请的交叉引用

参照于2011年2月3日提交序号为61/439,021并且名为“SYSTEMS AND METHODSFOR IMAGE-TO-TEXT AND TEXT-TO-IMAGE ASSOCIATION”的美国临时专利申请，其公开通过引用结合于此，并且根据37CFR1.78（a）（4）与（5）（i）在此要求其优先权。

还参照受让人拥有的以下专利申请，其公开通过引用结合于此：

美国临时专利申请序号：12/922,984。

技术领域

本发明总体上涉及图像至文本与文本至图像的关联。

背景技术

以下专利与专利公开被认为代表现有技术：

美国专利号：4,926,491；5,164,992；5,963,670；6,292,575；6,301,370；6,819,783；6,944,319；6,990,217；7,274,822与7,295,687；以及

美国公开专利申请序号：2006/0253491；2007/0237355与2009/0210491。

发明内容

本发明试图提供用于图像至文本以及文本至图像的关联的改进系统和方法。因此，根据本发明的优选实施方式提供一种用于对人的面部图像进行分类的计算机化系统，其中包括计算机化面部图像属性式评估器与计算机化分类器，计算机化面部图像属性式评估器将表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；计算机化分类器根据多个离散面部属性对面部图像进行分类。

根据本发明的优选实施方式，计算机化面部属性式评估器包括包含对应于多个面部图像的多种存储值的数据库，每个面部图像均具有多个离散面部属性中的至少一些，至少一些离散面部属性具有由与其相关联的形容词表示的值。

优选地，所述系统还包括提供源自于多种存储值的统计信息的面部属性统计报告功能（functionality，功能块）。

优选地，计算机化面部属性式评估器包括数据库、以及基于形容词的比较器，数据库包括多种存储面部图像与多种存储值，每个存储面部图像具有多个离散面部属性中的至少一些，至少一些离散面部属性具有由与其相关联的形容词表示的值，基于形容词的比较器通过将面部图像的多个离散面部属性属性式和形容词式地与多种存储面部图像进行比较，而将面部图像与多种存储面部图像进行比较。优选地，基于形容词的比较器以形容词式的方式查询数据库。

优选地，所述系统还包括计算机化识别器，计算机化识别器操作为响应于来自计算机化分类器的输出，以对对应于输出的至少一个存储面部图像进行识别。优选地，计算机化识别器操作为生成对应于所述输出的存储面部图像的排序表。

优选地，所述系统还包括社交网络接口，社交网络接口将来自社交网络的可用信息提供给计算机化面部图像属性式评估器。优选地，所述系统还包括操作为生成对应于面部图像的面部模型的面部模型生成功能。优选地，计算机化识别器采用面部模型。

根据本发明的另一优选实施方式，还提供有用于对人的面部图像进行分类的计算机化方法，包括将表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；并且根据多个离散面部属性对面部图像进行分类。

根据本发明的优选实施方式，每个面部图像均具有多个离散面部属性中的至少一些，并且至少一些离散面部属性具有由与其相关联的形容词表示的值。优选地，所述方法还包括提供源自于多种存储值的统计信息。

优选地，每个存储面部图像均具有多个离散面部属性中的至少一些，并且至少一些离散面部属性具有由与其相关联的形容词表示的值，并且所述方法优选地还包括通过将面部图像的多个离散面部属性、属性和形容词与多种存储面部图像进行比较，而将面部图像与多种存储面部图像进行比较。优选地，所述比较以形容词式的方式查询数据库。

优选地，所述方法还包括对对应于所述分类的输出的至少一个存储面部图像进行识别。优选地，所述识别操作为生成对应于所述输出的存储面部图像的排序表。优选地，所述方法还包括将来自社交网络的可用信息提供给计算机化面部图像属性式评估器。优选地，所述方法还包括操作为生成对应于面部图像的面部模型的面部模型生成。优选地，所述识别采用面部模型。

根据本发明的再一个优选实施方式，进一步提供用于在地点注册人的系统，包括面部图像/个人标识（personal identification）获取子系统、计算机化子系统与数据库，面部图像/个人标识获取子系统获取人的至少一个面部图像与至少一项个人标识；计算机化子系统接收人的至少一个面部图像与至少一项个人标识，计算机化子系统包括操作为生成对应于至少一个面部图像的面部模型的面部模型生成功能以及操作为将由形容词表示的值分配给面部图像的多个面部属性的图像至属性映射功能；并且数据库存储多个人的信息和面部属性的值。

优选地，所述系统还包括操作为利用一批面部属性的值对对应的存储面部图像进行识别，并且由此识别利用面部模型的特定个体的属性至图像映射功能。优选地，计算机化子系统还包括操作为将面部模型与一批面部属性的值组合为能够与对应存储的一批值匹配的组合的一批值的值组合器，并且由此识别特定个体。

优选地，所述系统还包括获取至少一个面部图像并且将其提供给计算机化子系统的后续面部图像获取子系统，并且计算机化子系统优选地操作为创建对应于后续面部图像的面部模型、将由形容词表示的值分配给后续面部图像的多个面部属性、并且识别对应的存储面部图像，并且由此将后续面部图像识别为特定个体，与该特定个体有关的至少一项个人标识存储在数据库中。

优选地，值组合器用于组合面部模型与对应于后续面部图像的一批值，并且由此识别特定个体。优选地，从预先注册数据中获得所述人的至少一项个人标识。

优选地，所述系统还包括将来自社交网络的可用信息提供给计算机化子系统的社交网络接口。

优选地，面部图像/个人标识获取子系统操作为获取至少一个面部图像以及除与子系统交互的人之外的人的至少一项个人标识。额外或备选地，面部图像/个人标识获取子系统操作为获取除与子系统交互的人之外的其他未识别的人的至少一个面部图像。

优选地，所述系统包括计算机化面部图像属性式评估器和计算机化分类器，计算机化面部图像属性式评估器将表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；并且计算机化分类器根据多个离散面部属性对面部图像进行分类。

根据本发明的再一个优选实施方式，进一步提供有用于辨别人在地点重复出现的系统，包括面部图像/个人标识获取子系统、计算机化子系统、以及数据库，面部图像/个人标识获取子系统获取人的至少一个面部图像；计算机化子系统接收至少一个面部图像，计算机化子系统包括操作为生成对应于至少一个面部图像的面部模型的面部模型生成功能以及操作为将由形容词表示的值分配给面部图像的多个面部属性的图像至属性映射功能；数据库存储用于多个人的信息与面部属性的值。

优选地，计算机化子系统还包括操作为利用一批面部属性的值来识别与特定个体有关的对应存储面部图像的属性至图像映射功能，从而识别利用面部模型的特定个体。优选地，计算机化子系统还包括操作为将面部模型与一批面部属性的值组合为能够与对应的存储的一批值匹配的组合的一批值的值组合器。

优选地，所述系统还包括获取至少一个面部图像并且将其提供给计算机化子系统的后续面部图像获取子系统，并且计算机化子系统优选地操作为创建对应于后续面部他图像的面部模型、将由形容词表示的值分配给后续面部图像的多个面部属性、并且对对应的存储面部图像进行识别，并且由此作为特定个体的后续面部图像，以识别该特定个人的重复出现。

优选地，值组合器用于组合面部模型与对应于后续面部图像的一批值，从而识别人的重复出现。优选地，所述系统还包括采用面部模型与一批值的重复出现统计发生器，以就人在地点重复出现生成属性统计表。优选地，所述系统还包括将来自社交网络的可用信息提供给计算机化子系统的社交网络接口。

优选地，面部图像/个人标识获取子系统操作为获取至少一个面部图像以及除与子系统交互的人之外的人的至少一项个人标识。额外或备选地，面部图像/个人标识获取子系统操作为获取除与子系统交互的人之外的其他未识别的人的至少一个面部图像。

优选地，所述系统包括计算机化面部图像属性式评估器和计算机化分类器，计算机化面部图像属性式评估器将表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；并且计算机化分类器根据多个离散面部属性对面部图像进行分类。

根据本发明的再一个优选实施方式，还进一步提供用于生成能够将每个均由形容词表示的值分配给面部图像的多个离散面部属性的计算机化面部图像属性式评估器的方法，该方法包括聚集多种面部图像，每个面部图像均具有由与其相关联的形容词特征化的至少一个面部图像属性；以及生成功能，该功能操作为接收待评估的面部图像并且利用聚集的结果将值分配给待评估的面部图像的多个离散面部属性，所述值由形容词表示。

优选地，聚集包括收集多种面部图像，每个面部图像均具有由来自公共可用来源的与其相关联的形容词特征化的至少一个面部图像属性；并且采用众包（crowdsourcing）来增强在形容词与出现在多种面部图像中的面部属性之间的对应性。优选地，众包包括利用多个人，该多个人观察多种面部图像中的多个与形容词，并且针对形容词与多种图像中的多个中的面部属性之间的对应程度表示他们的观点。优选地，值是数字值。

根据本发明的另一优选实施方式，提供用于辨别用户对至少一种刺激的反应的系统，包括计算机化面部图像属性式评估器与计算机化分类器，计算机化面部图像属性式评估器将在对应于用户对一种刺激的反应的时间获得的表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；并且计算机化分类器根据多个离散面部属性对面部图像进行分类。

优选地，所述系统还包括在应用至少一种刺激之前和之后对多个离散面部属性进行比较的计算机化属性比较器。

根据本发明的再一优选实施方式，提供有用于辨别用户对至少一种刺激的方法，包括将在对应于用户对一种刺激的反应的时间获得的表示面部图像的值分配给面部图像的多个离散面部属性，所述值由形容词表示；并且根据多个离散面部属性对面部图像进行分类。

优选地，所述方法还包括在应用至少一种刺激之前和之后对多个离散面部属性进行比较。

根据本发明的再一优选实施方式，进一步提供有用于对人进行分类的计算机化系统，所述计算机化系统包括生成表示人处于特定环境特定时间下的概率的关系系数的关系系数生成器；以及根据多个关系系数对人进行分类的计算机化分类器。

优选地，所述环境是地理位置与事件中的一个。优选地，关系系数包括值与衰减函数。优选地，衰减函数是线性函数。备选地，衰减函数是指数函数。

优选地，所述环境是层级环境中的一个层级。优选地，层级环境中的环境的关系系数相互依存。优选地，关系系数生成器实施于多个人聚在至少第一环境中的情况，以在第二环境中的多个人之间生成相互依存的关系系数。

优选地，所述系统还包括根据多个离散面部属性对面部图像进行分类的计算机化分类器。

附图说明

从结合下列附图的详细描述中将能更为全面地理解和认识本发明，其中：

图1A、图1B和图1C是根据本发明的优选实施方式的采用图像至文本与文本至图像关联的识别系统的简化示图；

图2A和图2B是根据本发明的另一优选实施方式的采用图像至文本与文本至图像关联的识别系统的简化示图；

图3A和图3B是根据本发明的再一优选实施方式的采用图像至文本与文本至图像关联的识别系统的简化示图；

图4A、图4B和图4C是根据本发明的再一优选实施方式的采用图像至文本与文本至图像关联的识别系统的简化示图；

图5A和图5B是根据本发明的再一优选实施方式的采用图像至文本与文本至图像关联的识别系统的简化示图；

图6是根据本发明的再一优选实施方式的采用图像至文本关联的用户满意监控系统的简化示图；

图7是有助于建立在图1A至图6的系统中采用的数据库的图像/文本/图像数据库生成方法的简化示图；

图8是示出了用于将形容词与图像关联的训练处理的简化流程图；

图9是示出了训练视觉分类器的处理的简化流程图；

图10是示出了用于检索与图像相关联的形容词的处理的简化流程图；

图11是示出了用于检索与一个或者多个形容词相关联的图像的处理的简化流程图；以及

图12是示出了用于检索与第一图像相似的面部图像的处理的简化流程图。

具体实施方式

现将参照图1A、图1B和图1C，图1A、图1B和图1C是根据本发明的优选实施方式的采用图像至文本以及文本至图像的关联的识别系统的简化示图。图1A至图1C的系统优选地包括计算机化面部图像属性式评估器与计算机化分类器，计算机化面部图像属性式评估器将表示面部图像的值分配给面部图像的多个离散面部属性，该值由形容词表示；计算机化分类器根据多个离散面部属性对面部图像进行分类。

从图1A中可以看出，AAA百货商店的客户Mr.Jones于1月1日进入商店并且在注册站100注册为该商店的有价值客户。该注册站优选地包括连接至商店计算机网络的计算机102以及连接至计算机102的数字摄像机104。有价值客户注册处理包括输入客户的个人标识细节，例如他的全名，并且通过数字摄像机104拍摄客户的面部图像108。备选地，可以从例如客户的之前存在的个人社交网络账户检索客户的个人标识细节。备选地，客户可以在远程位置通过因特网注册为有价值的位置。

个人标识细节与面部图像108被传输给优选包括面部模型生成功能112、图像至属性映射功能114、属性至图像映射功能116和值组合器117的计算机化个人标识系统110。计算机化个人标识系统110还优选地包括存储所有已注册客户的注册细节与面部属性的值的有价值客户数据库118。应当认识到的是，数据库118可以是任何合适的计算机化信息存储。

面部模型生成功能112操作为生成对应于面部图像108的面部模型120。应当认识到的是，面部模型生成功能112可以采用本领域中已知的任何合适的面部模型生成方法。从图1A中可以看出，由面部模型生成功能112生成并且对应于面部图像108的面部模型120作为Mr.Jones的一个属性存储在数据库118中。

根据本发明的优选实施方式，图像至属性映射功能114操作为将由形容词122表示的值分配给面部图像108的多个面部属性。例如，表示面部属性的形容词122包括描述头发颜色、鼻子形状、皮肤颜色、面部形状、类型以及有无面部毛发的形容词。从图1A中可以看出，由对应于面部图像108的属性映射功能114生成的形容词作为Mr.Jones的属性的值存储在数据库118中。

进一步根据本发明的优选实施方式，属性至图像映射功能116操作为利用一批面部属性的值对对应的存储面部图像进行识别，并且从而对特定个体进行识别。

再进一步根据本发明的优选实施方式，值组合器117优选操作为将面部模型与一批面部属性的值组合为能够与对应存储的一批值匹配的组合的一批值，并且从而识别特定个体。

现在转向图1B，从随后的日期例如1月17日可以看出，客户进入AAA百货商店并且安装在商店入口处的数字摄像机150拍摄到客户的面部图像152。面部图像152被传输给计算机化个人标识系统110，在计算机化个人标识系统110中优选由面部模型生成功能112生成对应于面部图像152的面部模型160。此外，由形容词表示的值162优选通过图像至属性映射功能114分配给面部图像152的多个面部属性。

如图1B所示，面部模型160与形容词162优选由值组合器117组合为组合的一批值，该组合的一批值与存储在数据库118中的一批值相比较并且发现与分配给Mr.Jones的面部模型和形容词相匹配，从而将由摄像机150拍摄的面部图像152中描绘的人识别为Mr.Jones。应当认识到的是，由值组合器117组合并且与存储在数据库118中的一批值相比较的一批值可以是面部模型160与形容词162的任何子集。

现在转向图1C，例如，示出了在将进入商店的客户识别为Mr.Jones（他是注册的有价值客户）时，系统110通知经理有价值客户已经进入商店，并且经理因此走近Mr.Jones以一定折扣向他提供新产品。

现在参照图2A和图2B，图2A和图2B是根据本发明的另一优选实施方式的采用图像至文本以及文本至图像的关联的识别系统的简化示图。从图2A中可以看出，在例如1月1日的特定日，AAA百货商店的客户进入商店并且安装在商店入口处的数字摄像机200拍摄到客户的面部图像202。面部图像202被传输给优选包括面部模型生成功能212、图像至属性映射功能214、属性至图像映射功能216与值组合器217的计算机化个人标识系统210。计算机化个人标识系统210还优选包括客户数据库218与访问计数器219，客户数据库218优选存储已经进入商店的所有客户的面部属性值；访问计数器219优选跟踪每个特定客户进入商店的累积访问的数量。应当认识到的是，数据库218可以是任何合适的计算机化信息存储。

面部模型生成功能212操作为生成对应于面部图像202的面部模型220。应当认识到的是，面部模型生成功能212可以采用本领域中已知的任何合适的面部模型生成方法。从图2A中可以看出，由面部模型生成功能212生成并且对应于面部图像202的面部模型220作为面部图像202的客户的一个属性存储在数据库218中。

根据本发明的优选实施方式，图像至属性映射功能214操作为将由形容词222表示的值分配给面部图像202的多个面部属性。表示面部属性的形容词222可以包括描述年龄组、性别、种族、面部形状、情绪与整体外表的形容词。

进一步根据本发明的优选实施方式，属性至图像映射功能216操作为利用一批面部属性的值来识别对应的存储面部图像，从而识别特定个体。应当认识到的是，一批值还包括在面部属性的当前值不可用的情况下可用于在短期内识别个体的诸如着装类型和颜色的客户外表的非身体特征。

再进一步根据本发明的优选实施方式，值组合器217优选操作为将面部模型与一批面部属性的值组合为能够与对应存储的一批值匹配的组合的一批值，并且由此识别特定个体。

从图2A中可以看出，面部模型220与形容词222优选由值组合器217组合为与存储在数据库218中的一批值相比较并且发现与对应于返回的客户的面部模型和形容词匹配的组合的一批值。因此，客户的访问计数器219增加。应当认识到的是，由值组合器217组合且与存储在数据库218中的一批值相比较的一批值可以是面部模型220与形容词222的任何子集。

备选地，如果发现由值组合器217生成的组合的一批值不与存储在数据库218中的任何一批值匹配，则由值组合器217生成的组合的一批值与面部图像202优选表示新客户而存储在数据库218中，并且新客户的计数器219初始化为1。

现在转向图2B，可以看出在关闭时间（例如，在1月1日下午5:00）商店的经理优选从包括在1月1日期间进入商店的客户的细分的系统210接收第一报告230。该细分可以根据存储在数据库218中的任何形容词，诸如，性别、年龄组、种族与情绪。报告230还优选包括与1月1日进入该商店的客户的之前访问数量有关的信息。

此外，商店经理还从包括在1月1日期间进入商店的返回的客户的细分的系统210接收第二报告234。该细分可以根据存储在数据库218中的任何形容词，诸如，性别、年龄组、种族与情绪。应当认识到的是，例如，报告230与报告234可用于策划有目标的营销活动或者用于评估之前进行的营销活动的成就。

现在参照图3A和图3B，图3A和图3B是根据本发明的再一优选实施方式的采用图像至文本以及文本至图像的关联的识别系统的简化示图。从图3A中可以看出，在诸如1月1日的特定日，AAA百货商店的客户进入商店并且在商店的玩具部门浏览商品。安装在玩具部门的数字摄像机250拍摄客户的面部图像252。如图3A所示，额外的数字摄像机优选遍及商店的各个部门安装。

面部图像252传输给包括面部模型生成功能262、图像至属性映射功能264、属性至图像映射功能266和值组合器267的计算机化个人标识系统260。计算机化个人标识系统260还优选包括优选存储该天中进入商店的所有客户的面部属性的值以及表示每个客户访问的商店部门的信息的客户数据库268。应当认识到的是，数据库268可以是任何合适的计算机化信息存储。

面部模型生成功能262操作为生成对应于面部图像252的面部模型270。应当认识到的是，面部模型生成功能262可以采用本领域中已知的任何合适的面部模型生成方法。从图3A中可以看出，由面部模型生成功能262生成并且对应于面部图像252的面部模型270作为面部图像252的客户的一个属性存储在数据库268中。

根据本发明的优选实施方式，图像至属性映射功能264操作为将由形容词272表示的值分配给面部图像252的多个面部属性。例如，表示面部属性的形容词272包括描述年龄组、性别、种族、面部形状、情绪与整体外表的形容词。从图3A中可以看出，由属性映射功能264生成的对应于面部图像252的形容词作为面部图像252的客户的属性的值存储在数据库268中。

进一步根据本发明的优选实施方式，属性至图像映射功能266操作为利用面部属性的一批值对对应的存储面部图像进行识别，并且由此识别特定个体。应当认识到的是，一批值还包括在面部属性的当前值不可用的情况下可用于在短期内识别个体的诸如着装类型和颜色的客户外表的非身体特征。

再进一步根据本发明的优选实施方式，值组合器267优选操作为将面部模型与一批面部属性的值组合为能够与对应存储的一批值匹配的组合的一批值，并且由此识别特定个体。

此外，系统260在数据库268中记录客户已访问的部门，如玩具部门。

现在转向图3B，可以看出在结束时间，诸如1月1日下午5:00，商店的经理优选从包括在1月1日期间进入商店的玩具部门的客户的细分的系统260接收第一报告280。该细分可以根据存储在数据库268中的任何形容词，诸如，性别、年龄组、种族与情绪。应当认识到的是，例如，报告280还可用于策划有目标的营销活动或者用于评估之前进行的营销活动的成就。

现在参照图4A、图4B和图4C，图4A、图4B和图4C是根据本发明的再一优选实施方式的采用图像至文本以及文本至图像的关联的识别系统的简化示图。如图4A所示，在1月1日，一位潜在的参加者优选通过计算机300注册参加花商的年度会议。作为注册处理的一部分，优选提示该潜在参加者输入个人标识细节（诸如他的全名）并且上载他本人的至少一个面部图像320。备选地，该潜在参加者可以选择输入个人标识细节以及例如来自之前存在的个人社交网络账户的一个或者多个面部图像。

个人标识细节与面部图像302被传输给优选包括面部模型生成功能312、图像至属性映射功能314、属性至图像映射功能316和值组合器317的计算机化会议注册系统310。计算机化会议注册系统310还优选包括存储所有已注册参加者的注册细节与面部属性的值的数据库318。应当认识到的是，数据库318可以是任何合适的计算机化信息存储。

面部模型生成功能312操作为生成对应于面部图像302的面部模型320。应当认识到的是，面部模型生成功能312可以采用本领域中已知的任何合适的面部模型生成方法。从图4A中可以看出，由面部模型生成功能312生成并且对应于面部图像302的面部模型320作为潜在参加者Mr.Jones的一个属性存储在数据库318中。

根据本发明的优选实施方式，图像至属性映射功能314操作为将由形容词322表示的值分配给面部图像308的多个面部属性。例如，表示面部属性的形容词包括描述头发颜色、鼻子形状、皮肤颜色、面部形状、类型与有无毛发的形容词。如图4A所示，由属性映射功能314生成的对应于面部图像302的形容词作为潜在参加者Mr.Jones的属性的值存储在数据库318中。

进一步根据本发明的优选实施方式，属性至图像映射功能316操作为利用一批面部属性的值对对应的存储面部图像进行识别，并且由此识别特定个体。

再进一步根据本发明的优选实施方式，值组合器317优选操作为将面部模型与一批面部属性的值组合为能够与对应的存储一批值匹配的组合的一批值，并且由此识别特定个体。

现在转向图4B，可以看出在后面的日期，诸如1月17日，参加者进入花商的年度会议并且走进会议场地的注册展位330。注册展位330包括拍摄该参加者的面部图像334的数字摄像机332。面部图像334被传输给计算机化会议注册系统310，其中对应于面部图像334的面部模型340优选由面部模型生成功能312生成。此外，由形容词表示的值342优选通过图像至属性映射功能314分配给面部图像334的多个面部属性。

如图4B所示，面部模型340与值342优选由值组合器317组合为组合的一批值，该组合的一批值与存储在数据库318中的一批值相比较并且发现与分配给Mr.Jones的面部模型和值匹配，从而将在由摄像机332拍摄的面部图像中描绘的人识别为Mr.Jones。应当认识到的是，由值组合器317组合并且与存储在数据库318中的一批值相比较的收集值可以是面部模型340与形容词342的任何子集。一经识别为Mr.Jones，则完成对该参加者的注册并且会议人员欢迎该参加者加入。

现在转向图4C，可以看出在参加会议期间，希望被介绍给其他参加者的参加者允许其他参加者使用例如嵌入在移动通信设备352中的数字摄像机来拍摄他们的面部图像350。会议参加者的移动通信设备352通过计算机网络被授予对计算机化会议注册系统310的访问。应当认识到的是，计算机网络可以是例如局部计算机网络或者因特网。

额外或备选地，参加者可以访问计算机化会议注册系统310，从而通过拍摄新参加者的面部图像并且优选地将面部图像与有关个人标识信息一起传输给注册系统310，将新的、同时未注册的参加者注册到该会议中。

一经拍摄会议参加者的图像350，移动通信设备352就通过计算机网络将图像350传输给计算机化会议注册系统310，其中对应于面部图像350的面部模型360由面部模型生成功能312优选生成。此外，由形容词表示的值362优选通过图像至属性映射功能314分配给面部图像350的多个面部属性。

如图4C所示，面部模型360与值362由值组合器317组合为与存储在数据库318中的一批值相比较并且发现与分配给Mr.Jones的面部模型和值匹配的组合的一批值，从而对在由移动通信设备352拍摄的面部图像350中描绘的人识别为Mr.Jones。应当认识到的是，由值组合器317组合且与存储在数据库318中的一批值相比较的收集值可以是面部模型360与形容词362的任何子集。在图像350中描绘的参加者被识别为Mr.Jones的通知通过计算机化会议注册系统310传输回给移动通信设备352，该通知使得移动通信设备352的操作者知道他正在走进Mr.Jones。

现在参照图5A和图5B，图5A和图5B是根据本发明的再一优选实施方式的采用图像至文本以及文本至图像的关联的识别系统的简化示图。在图5A和图5B的实施方式中，采用测量人与环境之间的关系的关系系数。例如，该环境可以是地理位置或者事件，并且关系系数包括值与预定义的衰减函数。单人可以同时具有与多个环境的关系系数。例如，关系系数可以用来预测人在特定时间处于给定位置的概率。

衰减函数可以是任何数学函数。例如，针对地理位置的衰减函数可以是表示人本身随着时间逐渐和线性地改变距该位置的距离的趋势的线性函数。例如，针对一次事件的衰减函数可以是指数衰减函数。

当人处于特定环境中时，生成的人与环境之间的关系系数的当前值设置为高。每次这个人重复出现在这个环境中时，关系系数的值就会增加（可能以指数方式）。

应当认识到的是，环境可以是分层级的。例如，地理位置可以位于诸如城市或者乡村的较大的地理区域内。因此，与特定地理位置具有关系系数的人将还与其层级内的所有其他地理位置具有较低的关系系数，其作为特定地理位置与相关层级的地理位置之间的距离的函数而降低。

还应当认识到的是，不同的人的关系系数可以至少部分相互依存。例如，被看见与第二人在多个时间在多个位置在一起的第一人对于出现第二个人的新位置被分配相对较高的关系系数。

从图5A中可以看出，在诸如2011年1月1日的特定日，用餐者在紧邻法国巴黎埃菲尔铁塔近的贾克斯小餐馆（Cafe Jaques）进餐。这位用餐者的朋友使用作为手持移动设备402的一部分的数字摄像机拍摄该用餐者的面部图像400并且通过经由因特网将面部图像400与关联的时间和位置一起传输给计算机化个人标识系统410来注册看见这位用餐者。例如，该位置可以由与设备402一起提供的GPS模块提供。备选地，例如，可以从社交网络检索该位置。使用关联的时间和位置如上所述地生成将用餐者关联于位置的关系系数。

计算机化个人标识系统410包括面部模型生成功能412、图像至属性映射功能414、属性至图像映射功能416和值组合器417。计算机化个人标识系统410还优选包括存储已出现和已注册的所有人的面部属性的值以及相关时间和位置的视觉数据库418。应当认识到的是，数据库418可以是任何合适的计算机化信息存储。

面部模型生成功能412操作为生成对应于面部图像400的面部模型420。应当认识到的是，面部模型生成功能422可以采用本领域中已知的任何合适的面部模型生成方法。如图5A所示，由面部模型生成功能412生成并且对应于面部图像400的面部模型420作为面部图像400的个体的一个属性存储在数据库418中。

根据本发明的优选实施方式，图像至属性映射功能414操作为将由形容词422表示的值分配给面部图像400的多个面部属性。例如，表示面部属性的形容词422可以包括描述年龄组、性别、种族、面部形状、情绪与整体外表的形容词。如图5A所示，由属性映射功能414生成的对应于面部图像400的形容词作为面部图像400的个体的属性的值存储在数据库418中。此外，与面部图像400相关联的时间与位置也存储在数据库418中。

进一步根据本发明的优选实施方式，属性至图像映射功能416操作为利用面部属性的一批值对对应的存储面部图像进行识别，并且由此对特定个体进行识别。应当认识到的是，一批值还包括诸如在其中面部属性的当前值不可用的情况下用于在短期内对个体进行识别的诸如着装类型与颜色的客户外表的非身体特征。

再进一步根据本发明的优选实施方式，值组合器417优选操作为将面部模型与一批面部属性的值组合为能够与对应的存储一批值匹配的组合的一批值，并且由此识别特定个体。

现在转向图5B，可以看出在随后的日期，诸如2011年2月1日，用餐者在邻近法国巴黎埃菲尔铁塔近的贾克斯小餐馆（Cafe Jaques）进餐。旁观者使用作为手持移动设备452的一部分的数字摄像机拍摄用餐者的面部图像450并且通过将面部图像450与有关时间和位置一起经由因特网传输给计算机化个人标识系统410而注册看到该用餐者，其中对应于面部图像450的面部模型460优选由面部模型生成高能412生成。此外，由形容词表示的值462优选由图像至属性映射功能414分配给面部图像450的多个面部属性。

如图5B所示，面部模型460、值462以及与面部图像450相关联的时间和位置优选由值组合器417组合为与存储在数据库418中的一批值相比较并且发现与分配给上一次在2011年1月1日在埃菲尔铁塔看到的用餐者的组合值匹配的组合的一批值。应当认识到的是，由值组合器417组组合且与存储在数据库418中的一批值相比较的一批值可以是面部模型460和形容词462的任何子集。在图像450中描绘的用餐者的识别的通知由计算机化个人标识系统410通过因特网传输回移动通信设备452。

本发明的这个优选实施方式的具体特性在于使用餐者与位置有关的关系系数还可用作提高对用餐者的识别的可靠性的属性值。

本发明的优选实施方式的具体特性在于与面部图像以及额外信息（诸如个体频繁出现的特定位置）相关联的面部属性的值的组合操作为更为有效地识别特定位置或者相关位置（诸如，在紧邻特定位置的其他位置）处的个体。

本发明的实施方式的另一具体特性在于根据本发明的实施方式的对个体的识别不局限于基于诸如姓和名的个人标识信息来精确识别特定个体，而是还包括根据有关个体的面部属性与累积行为信息来识别个体。

现在参照图6，图6是根据本发明的再一优选实施方式的采用图像至文本以及文本至图像的关联的用户满意监控系统的简化示图。如图6所示，观察者使用多媒体观察设备480来观察计算机化内容482。应当认识到的是，设备480可以是例如电视设备或者计算机。内容482可以是例如录像片段、电影或者广告。

连接至多媒体观察设备480的数字摄像机484优选以例如每隔几秒的预定间隔拍摄观察者的面部图像486并且优选将图像486经由因特网传输给线上计算机化环境满意监控系统490。备选地，图像486可由嵌入在设备480中的合适的功能进行监控、存储和分析。

优选地，系统490包括图像至属性映射功能492与观察者表情数据库494。应当认识到的是，数据库494可以是任何合适的计算机化信息存储。

根据本发明的优选实施方式，图像至属性映射功能492操作为将由形容词496表示的值分配给在面部图像486中拍摄的观察者的表情并且将形容词496存储在数据库494中。例如，形容词496包括“高兴”、“悲伤”、“生气”、“满足”与“冷漠”。应当认识到的是，例如，存储在数据库494中的形容词496可以用于评估满足482的效力。

现在参照图7，图7是用于建立应用于图1A至图6的系统中的数据库的图像/文本/图像数据库生成方法的简化示图。如图7所示，通过计算机化个人标识训练系统510从因特网上公共可用的图像储藏库502收集多个图像500。例如，图像储藏库502可以是将文本与作为图像出现在相同页、或者一个或多个附近页的图像关联起来的公共可用的社交网络或者文本搜索引擎。优选地，由具有各个0图像500的图像储藏库提供一个或者多个关联的特征。例如，这些特征可以包括名称、年龄或者年龄组、性别、整体外表和情绪，并且通常是主观的并通过公开图像的个体或者通过以评论（可以包括这些特征）标记公开的图像的个体与该图像相关联。

计算机化个人标识训练系统510首先对有关每个图像500的每个特征进行分析并且将每个这种合适的特征翻译成属性值。对于每个这种值，系统510然后将每个图像500及其有关属性值发送给众包提供者，诸如Amazon Mechanical Turk，其中多个个体就每个图像与其相关属性值的对应性程度表达他们的意见。一经接收对每个图像属性值配对的众包结果，系统510就将收到与它们的关联图像的整体较高的对应程度的那些属性值存储在数据库520中。

现在参照图8，图8是示出了用于将形容词与图像关联起来的训练处理的简化流程图。如图8所示，由系统从待训练的形容词列表中选择的定义面部属性的形容词，并且优选采用一个或者多个公共可用文本搜索引擎检索与形容词相关联的图像。此外，优选采用一个或者多个公共可用文本搜索引擎以各种语言检索与形容词的一个或者多个翻译关联的图像。例如，通过从词典中收集形容词可以编译形容词列表。

视觉面部检测器用于对包括面部图像的这些检索图像进行识别。然后优选采用众包基于多数投票来确定对应于形容词的面部图像。然后形容词与对应的面部图像用于训练视觉分类器，如下面有关图9的描述。然后视觉分类器用于将形容词与面部图像的其他子集关联起来，并且众包进一步用于确定每个面部图像的其他子集与形容词的对应性程度，其结果用于进一步训练视觉分类器。应当认识到的是，众包与视觉分类器的训练的额外周期可用于进一步精炼视觉分类器的精确度，直至达到期望程度的精确度。在训练视觉分类器之后，分类器被添加到属性函数的储藏库，该储藏库随后由系统使用从而通过定义面部属性的形容词来分类面部图像。

现在参照图9，图9是示出了训练视觉分类器的处理的简化流程图。如图9所示，对于每个形容词，上面关于图8描述的众包处理的结果用于生成两批图像。首先，“肯定的”一批包括已确定为对应于形容词的图像，其次，“否定的”一批包括未被确定为对应于形容词的图像。

然后，肯定的一批与否定的一批图像被标准化以针对变化的2维和3维对准和不同的采光来补偿，从而将每个图像变换为标准像。然后标准像转化成标准的数字矢量，并且分类器使用诸如支持矢量机器（SVM）从包括肯定与否定的数字矢量对的训练组中学习。

现在参照图10，图10是示出了用于检索与图像相关联的形容词的处理的简化流程图。如图10所示，首先对图像进行分析以检测和获得作为图像的一部分的面部图像。然后，通过对图像进行标准化以针对变化的2维和3维后对准和不同的采光来补偿，面部图像转化成标准的数字矢量。然后将上文中关于图8描述的属性函数的储藏库应用于数字矢量，并且从每个属性函数返回的值记录在表示与面部图像相关联的形容词的数字矢量中。

现在参照图11，图11是示出了用于从与一个或者多个形容词有关的图像的预编入索引的数据库检索图像的处理的简化流程图。如图11所示，首先组成对具有与其相关联的形容词的图像的文本查询。使用自然语言处理（NLP）从文本查询中提取形容词。然后，该系统优选通过使用隐含狄利克雷分配（Latent Dirichlet Allocation）（LDA）从与该查询提取的形容词最匹配的面部图像的之前处理数据库检索图像。已检索面部图像按照其关联的数字矢量与从查询中提取形容词的相关程度来排序，并且由此产生的排序的面部图像被提供为系统的输出。

现在将参照图12，图12是示出了用于检索类似于第一图像的面部图像的处理的简化流程图。如图12所示，第一图像首先被进行分析以检测和获取作为该图像的一部分的面部图像。然后，通过将面部图像标准化以针对变化的2维和3维对准和不同的采光来补偿，该图像被转化成标准数字矢量。然后，关于图8在以上描述的属性函数的储存库应用于数字矢量，并且从每个属性函数返回的值记录在表示与面部图像相关联的形容词的数字矢量中。

使用诸如欧几里得距离（Eulidian distance）的相似性函数来搜索包括图像的数字矢量（诸如KD树）的先前索引的数据库，以找出表示与第一图像的数字矢量密切匹配的图像的一批数字矢量。

本领域中的技术人员应当认识到，本发明并不局限于在上文中特别示出并描述的内容。而是本发明的范围包括在上文中描述的各种特性的组合与子组合及本领域的技术人员阅读完之前的描述后将想到并且不在现有技术中的它们的变形。

Claims (14)

1.一种用于对人的面部图像进行分类的计算机化系统，所述计算机化系统包括：

计算机化面部图像属性式评估器，将表示面部图像的值分配给所述面部图像的离散面部属性中的多个离散面部属性，所述值由形容词表示，其中，所述计算机化的面部属性式评估器包括：

数据库，包括多种存储面部图像和多种存储值，每个所述存储面部图像均具有所述多个离散面部属性中的至少一些，所述离散面部属性中的至少一些具有由与其相关联的形容词表示的所述值；以及

基于形容词的比较器，通过将所述面部图像的所述多个离散面部属性属性式以及形容词式地与所述多种存储面部图像进行比较，来比较所述面部图像与所述多种存储面部图像；

计算机化分类器，根据所述离散面部属性中的所述多个离散面部属性来对所述面部图像进行分类，其中，响应于所述比较，未发现与所述多种存储面部图像匹配的所述面部图像被作为所述多种存储面部图像中的一种存储在所述数据库中；以及

面部模型生成功能，所述面部模型生成功能操作为生成与所述面部图像对应的面部模型。

2.根据权利要求1所述的用于对人的面部图像进行分类的计算机化系统，还包括：

面部属性统计报告功能，提供从所述多种存储值得出的统计信息。

3.根据权利要求1所述的用于对人的面部图像进行分类的计算机化系统，其中，所述基于形容词的比较器以形容词式的方式查询所述数据库。

4.根据权利要求1至3中的任一项所述的用于对人的面部图像进行分类的计算机化系统，还包括计算机化识别器，所述计算机化识别器操作为响应于来自所述计算机化分类器的输出来识别与所述输出对应的至少一个存储面部图像。

5.根据权利要求4所述的用于对人的面部图像进行分类的计算机化系统，其中，所述计算机化识别器操作为生成与所述输出对应的存储面部图像的排序表。

6.根据权利要求1至3中的任一项所述的用于对人的面部图像进行分类的计算机化系统，还包括社交网络接口，所述社交网络接口用于使可用的信息从社交网络到所述计算机化面部图像属性式评估器。

7.根据权利要求4所述的用于对人的面部图像进行分类的计算机化系统，其中，所述计算机化识别器采用所述面部模型。

8.一种用于对人的面部图像进行分类的计算机化方法，包括：

通过计算机化面部图像属性式评估器将表示面部图像的值分配给所述面部图像的离散面部属性中的多个离散面部属性，所述值由形容词表示，其中，所述计算机化面部图像属性式评估器包括数据库，所述数据库包括多种存储面部图像和多种存储值，每个所述存储面部图像均具有所述多个离散面部属性中的至少一些，所述离散面部属性中的至少一些具有由与其相关联的形容词表示的所述值；

根据所述离散面部属性中的所述多个离散面部属性通过计算机化分类器来对所述面部图像进行分类；以及

通过基于形容词的比较器将所述面部图像的所述多个离散面部属性属性式以及形容词式地与所述多种存储面部图像进行比较，来比较所述面部图像与所述多种存储面部图像，

响应于所述比较，通过所述计算机化面部图像属性式评估器将未发现与所述多种存储面部图像匹配的所述面部图像作为所述多种存储面部图像中的一种存储在所述数据库中，

所述方法还包括通过计算机化面部模型生成器生成与所述面部图像对应的面部模型。

9.根据权利要求8所述的用于对人的面部图像进行分类的计算机化方法，还包括：

计算机化供应器提供从多种存储值得出的统计信息。

10.根据权利要求8所述的用于对人的面部图像进行分类的计算机化方法，其中，所述比较以形容词式的方式查询数据库。

11.根据权利要求8至10中的任一项所述的用于对人的面部图像进行分类的计算机化方法，还包括通过计算机化识别器识别与所述分类的输出对应的至少一个存储面部图像。

12.根据权利要求11所述的用于对人的面部图像进行分类的计算机化方法，其中，所述识别操作为生成与所述输出对应的存储面部图像的排序表。

13.根据权利要求8至10中的任一项所述的用于对人的面部图像进行分类的计算机化方法，还包括通过社交网络接口使可用的信息从社交网络到所述计算机化面部图像属性式评估器。

14.根据权利要求11所述的用于对人的面部图像进行分类的计算机化方法，其中，所述识别采用所述面部模型。