CN105830096A

CN105830096A - 基于情感和外表的时空图系统及方法

Info

Publication number: CN105830096A
Application number: CN201480055731.4A
Authority: CN
Inventors: 雅维耶·莫韦利安; 约斯瓦·萨斯坎德
Original assignee: Emotient Inc
Current assignee: Emotient Inc
Priority date: 2013-08-15
Filing date: 2014-08-15
Publication date: 2016-08-03
Also published as: JP2016532204A; EP3033715A4; WO2015024002A1; US20150049953A1; EP3033715A1

Abstract

一种用于绘图的计算机实现的方法。该方法包括：分析多个图片中的脸的图像以生成内容向量；获得关于一个或更多个感兴趣的向量维度的信息，一个或更多个感兴趣的维度中的至少一些与情感的面部表情对应；以及生成场所的表示。图中地区的外观根据内容向量的一个或更多个感兴趣的向量维度的值而变化。该方法还包括使用所述表示，使用的步骤包括存储、发送和显示中的至少一个。

Description

基于情感和外表的时空图系统及方法

发明人：哈维尔莫围栏和约书亚萨斯坎德

相关申请的交叉引用

本申请要求于2013年8月15日提交的序列号为61/866,344的代理人案号为MPT-1021-PV的题为“EMOTIONANDAPPEARANCEBASEDSPATIOTEMPORALGRAPHICSSYSTEMSANDMETHODS”的美国临时专利申请的优先权，在此通过引用以其全部内容合并到本文中，如同在本文中被充分阐述一样，包括文本、图、权利要求、表格和计算机程序清单附件(如果存在)以及美国临时专利申请中的所有其它材料。

技术领域

本文献一般涉及基于区域中的人的外表和/或情感对场所进行绘制的设备、方法和产品。

背景技术

期望使人们能够容易地分享关于场所/场地的感受和情感。还期望以时空组织的方式显示关于人们的情感和外表的信息。

发明内容

本文献中描述的实施例涉及可以满足上述需求以及其他需求中的一个或更多个的方法、设备和产品。

在实施例中，提供了一种用于绘图的计算机实现的方法。该方法包括：分析多个图片中的脸的图像，以生成内容向量；获得关于一个或更多个感兴趣的向量维度的信息，所述一个或更多个感兴趣的维度中的至少一些与情感的面部表情对应；以及生成场所的表示。图中地区的外观根据向量维度的所述一个或更多个感兴趣的内容向量的值而变化。所述方法还包括使用所述表示——例如通过存储、发送和显示。

在实施例中，基于计算机的系统被配置成执行绘图。绘图可以通过以下步骤来执行，所述步骤包括：分析多个图片中的脸的图像，以生成内容向量；获得关于一个或更多个感兴趣的向量维度的信息，所述一个或更多个感兴趣的维度中的至少一些与情感的面部表情对应；以及生成场所的表示。图中地区的外观根据内容向量的所述一个或更多个感兴趣的向量维度的值而变化。所述方法还包括使用所述表示——例如通过存储、发送和显示。

在实施例中，一种包括非瞬态机器可读存储器的产品嵌入有用于绘图的计算机实现的方法的计算机代码。所述方法包括：分析多个图片中的脸的图像，以生成内容向量；获得关于一个或更多个感兴趣的向量维度的信息，所述一个或更多个感兴趣的维度中的至少一些与情感的面部表情对应；以及生成场所的表示。图中地区的外观根据内容向量的所述一个或更多个感兴趣的向量维度的值而变化。所述方法还包括使用所述表示——例如通过存储、发送和显示。

在实施例中，可以从多个联网相机装置接收多个图像。场所的示例包括但不限于地理区域或建筑物内部。

在实施例中，所述表示包括场所的图和图覆盖物。该图覆盖物中的颜色可以表示由内容向量的所述一个或更多个感兴趣的向量维度的值表示的至少一种情感或人类特征。图和图覆盖物可以是能够缩放的。可以响应于放大或缩小来显示覆盖物中的更多或更少的细节。

参照下面的描述、附图和所附权利要求将更好地理解本发明的这些特征和方面以及其他特征和方面。

附图说明

图1是示出了根据本说明书的所选择的方面配置的基于计算机的系统的所选择的块的简化框图；以及

图2示出了根据本说明书的所选择的方面的处理的所选择的步骤/块。

图3示出了根据本说明书的所选择的方面的零售情境中的基于情感和外表的时空“热”图的示例。

图4示出了根据本说明书的所选择的方面的街道图情境中的基于情感和外部的时空“热”图的示例。

图5示出了根据本说明书的所选择的方面的放大的街道图情境中的基于情感和外表的时空“热”图的示例。

具体实施方式

在本文献中，词“实施例”、“变型”、“示例”和类似表达指代特定设备、处理或产品，并且不一定指代相同的设备、处理或产品。因此，一个地方或上下文中使用“一种实施例”(或者类似表达)可以指代特定设备、处理或产品，不同地方或上下文中相同或类似表达可以指代不同的设备、处理或产品。表达“替选实施例”以及类似表达和短语可以用于表示许多不同的可能的实施例之一。可能的实施例/变型/示例的数量不一定限于两个或任意其他数量。作为“示例性”的项目的特性意味着该项目用作示例。实施例/变型/示例的这样的特性不一定意味着实施例/变型/示例是优选实施例/变型/示例，实施例/变型/示例可以是但无需是当前优选实施例/变型/示例。所有实施例/变型/示例都是出于说明目的描述，并且不一定严格地进行限制。

词“耦接”、“连接”以及具有它们的曲折语素(inflectionalmorpheme)的类似表达不一定含直接(immediate)连接或直接(direct)连接的意思，而是在它们的含义内包括通过中间元件连接。

在本文献中所使用的“面部表情”表示情感(如生气、蔑视、厌恶、恐惧、高兴、悲伤、惊奇、中立)的主要面部表情；兴趣的情感状态(如厌烦、感兴趣、参与、困惑、挫败)的表情；所谓的“面部动作单元”(面部肌肉的子集的运动，包括各个肌肉的运动，如面部动作编码系统或FACS中使用的动作单元)；以及手势/姿势(如摆头、升降眉毛、眨眼、皱鼻子、用手托着下巴)。

“人类外表特征”包括面部表情和附加外表特征，如种族、性别、吸引力、表观年龄以及风格特征(包括衣服款式如牛仔、裙子、夹克、领带；鞋子；以及发型)。

“低级特征”就下述意义而言是低级的：它们不是描述面部信息如眼睛、下巴、脸颊、眉毛、额头、头发、鼻子、耳朵、性别、年龄、种族等的日常生活用语中使用的属性。低级特征的示例包括Gabor方向能量、Gabor尺度能量、Gabor相位以及Haar小波变换输出。

在下述许多共有专利申请中描述了自动面部表情识别和相关的主题，所述专利申请包括：(1)由JavierR.Movellan等人于大约2013年2月8日提交的序列号为61/762,820的代理人档案号引用为MPT-1010-PV的题为“SYSTEMFORCOLLECTINGMACHINELEARNINGTRAININGDATAFORFACIALEXPRESSIONRECOGNITION”的申请；(2)由JavierR.Movellan等人于大约2013年2月11日提交的序列号为61/763,431的代理人档案号引用为MPT-1012-PV的题为“ACTIVEDATAACQUISITIONFORDEVELOPMENTANDCONTINUOUSIMPROVEMENTOFMACHINEPERCEPTIONSYSTEMS”的申请；(3)由JavierR.Movellan等人于大约2013年2月12日提交的序列号为61/763,657的代理人档案号引用为MPT-1013-PV的题为“EVALUATIONOFRESPONSESTOSENSORYSTIMULIUSINGFACIALEXPRESSIONRECOGNITION”的申请；(4)由JavierR.Movellan等人于大约2013年2月12日提交的序列号为61/763,694的代理人档案号引用为MPT-1014-PV的题为“AUTOMATICFACIALEXPRESSIONMEASUREMENTANDMACHINELEARNINGFORASSESSMENTOFMENTALILLNESSANDEVALUATIONOFTREATMENT”的申请；(5)由JavierR.Movellan等人于大约2013年2月13日提交的序列号为61/764,442的代理人档案号引用为MPT-1016-PV的题为“ESTIMATIONOFAFFECTIVEVALENCEANDAROUSALWITHAUTOMATICFACIALEXPRESSIONMEASUREMENT”的申请；(6)由JavierR.Movellan等人于大约2013年2月15日提交的序列号为61/765,570的代理人档案号引用为MPT-1017-PV的题为“FACIALEXPRESSIONTRAININGUSINGFEEDBACKFROMAUTOMATICFACIALEXPRESSIONRECOGNITION”的申请；(7)由JavierR.Movellan等人于大约2013年2月15日提交的序列号为61/765,671的代理人档案号引用为MPT-1015-PV的题为“QUALITYCONTROLFORLABELINGMACHINELEARNINGTRAININGEXAMPLES”的申请；(8)由JavierR.Movellan等人于大约2013年2月20日提交的序列号为61/766,866的代理人档案号引用为MPT-1018-PV2的题为“AUTOMATICANALYSISOFNON-VERBALRAPPORT”的申请；以及(9)由JavierR.Movellan等人于大约2013年6月5日提交的序列号为61/831,610的代理人档案号引用为MPT-1022的题为“SPATIALORGANIZATIONOFIMAGESBASEDONEMOTIONFACECLOUDS”的申请。这些临时申请中的每一个通过引用以其全部内容包括在本文中，包括权利要求、表格、计算机代码以及专利申请中的所有其他内容。

贯穿本文献可以发现其它和另外的明确限定和隐含限定以及对限定的说明。

将详细参考附图中所示的几个实施例。在附图和说明书中使用相同的附图标记来指代相同的设备元件和方法步骤。附图以简化的形式，并未按比例，并且省略了可以被添加至所描述的系统及方法的设备元件和方法步骤，同时可能包括某些可选元件和步骤。

图1是根据本说明书的所选择的方面配置的基于计算机的系统100的简化框图表示，所述基于计算机的系统100收集各种场所中关于人的时空信息并且使用该信息进行绘图、搜索、和/或其它目的。系统100通过通信网络190与各种联网相机装置180如网络摄影机、装备相机的桌上型个人计算机和膝上型个人计算机、装备相机的移动装置(例如，平板和智能电话)、以及可穿戴装置(例如，谷歌眼镜和类似产品，特别是用于车辆应用的具有对准驾驶员和/或乘客的相机的产品)进行交互。图1并未示出系统100的许多硬件和软件模块以及相机装置180的许多硬件和软件模块，并且省略了各种物理连接和逻辑连接。可以将系统100实现为专用数据处理器、通用计算机、计算机系统、或者被配置成执行本文献中描述的方法的步骤的一组联网计算机或计算机系统。在一些实施例中，将系统100建立在个人计算机平台如Wintel个人计算机、Linux计算机或Mac计算机上。个人计算机可以是桌上型计算机或笔记本计算机。系统100可以用作一个或更多个服务器计算机。在一些实施例中，将系统100实现为通过网络如网络190或其他网络互连的多个计算机。

如图1所示，系统100包括处理器110、只读存储器(ROM)模块120、随机存取存储器(RAM)模块130、网络接口140、大容量存储装置150和数据库160。这些部件通过总线115耦接在一起。在所示实施例中，处理器110可以是微处理器，大容量存储装置150可以是磁盘驱动器。大容量存储装置150以及存储器模块120和130中的每一个被连接至处理器110，以使得处理器110能够将数据写到这些存储器和存储器装置中并且从这些存储器和存储器装置读取数据。网络接口140将处理器110耦接至网络190，例如因特网。网络190的性质和可以被插入系统100与网络190之间的装置的性质确定系统100中使用的网络接口140的种类。在一些实施例中，例如，网络接口140是将系统100连接至局域网的以太网接口，该局域网又连接至因特网。因此，网络190可以是若干网络的组合。

数据库160可以用于组织和存储执行本文献中描述的方法步骤中可能需要或期望的数据。数据库160可以是与处理器110耦接的物理上分开的系统。在替选实施例中，处理器110和大容量存储装置150可以被配置成执行数据库160的功能。

处理器110可以读取并执行存储在ROM模块120、RAM模块130和/或存储装置150中的程序代码指令。在程序代码的控制下，处理器110可以将系统100配置成执行本文献中描述或提到的方法的步骤。除了ROM模块120/RAM模块130和存储装置150以外，还可以将程序代码指令存储在其他机器可读存储介质如另外的硬盘驱动器、软盘、CD-ROM、DVD、闪速存储器以及类似装置中。还可以通过传输介质——例如，在电线或电缆上、通过光纤、无线地、或者通过物理传输的任何其他形式——传输程序代码。传输可以在远程通信装置之间的专用链路上发生，或者通过广域网或局域网如因特网、内联网、外联网或者任何其他种类的公共网络或私有网络发生。此外，可以通过网络接口140或另外的网络接口将程序代码下载至系统100中。

相机装置180可以由系统100及其操作员唯一地操作，或者可以与其他系统和操作员共享。可以将相机装置180分布在各种地理区域/场地中、分布在室外和/或室内、分布在车辆中、和/或分布在其他结构中，无论永久地被设置、半永久地被设置、和/或能够容易地移动。相机装置180可以被配置成：以预定时间和/或响应于各种事件按要求和/或自动拍摄图片。相机装置180可以具有“标记”下述图片的能力：它们使用位置信息——例如，全球定位系统(GPS)数据——拍摄的图片；使用时间信息(当每个图片被拍摄的时刻)拍摄的图片；以及使用相机朝向信息(当拍摄特定图片时相机装置180正面向的方向)拍摄的图片。此外，系统100可以具有关于相机装置180的位置和方向的信息，因此，固有地访问从特定相机装置180接收的图片的方向和位置“标记”。此外，如果系统100基本上实时地(即，10秒、分钟、小时、或者甚至三小时时间段以内)从特定相机装置180接收图片，则系统100固有地还具有图片的时间“标记”。

系统100可以从相机装置180接收(明显地和/或固有地)标记了的图片，然后，对图片进行处理以使用如上面被指出并且通过引用被合并在本文献中的专利申请中所描述的多个分类器来识别面部表情和其他人类外表特征。由特定图片的处理产生的分类器的输出按照分类器的特定(预定)顺序产生分类器输出值的向量。因此，每个图片与分类器值的有序向量关联。分类器可以被配置并训练成：根据由图片中的脸(或者数个脸，视情况而定)表现的特定表情的出现或不出现、动作单元、和/或低级特征来产生信号输出。分类器中的每一个可以被配置并训练成用于不同的情感，包括例如七种主要情感(愤怒、轻蔑、厌恶、恐惧、高兴、悲伤、惊奇)和中立表情以及兴趣的情感状态(如厌烦、感兴趣、参与)的表情。另一种分类器可以被配置成基于特定图片中脸的数量产生输出。另外的分类器可以被配置并训练成产生与其他人类外表特征对应的信号输出。我们已经描述了上面列出的并且通过引用被合并的专利申请中的这样的分类器的某些方面。

因此，可以对图片进行处理以找到人和脸。然后，可以对图片进行处理以进行以下操作：估计图片中的人的人口统计特征(例如，年龄、种族、性别)；估计人的面部表情(例如，主要情感、兴趣、挫败、困惑)。还可以使用被调到特定趋势的检测器/分类器对图片进行进一步处理，以表征图片中的人的发型(例如，长发、军队短发、有刘海)以及衣服款式(例如，牛仔、裙子、夹克)。

变化地，来自相机装置180的图片由相机装置180自身进行处理，或者还可以由其他装置/服务器进行处理，系统100接收与图片关联的向量。系统100可以接收无图片的向量、向量和图片、或者以上两者的一些组合，即，具有它们关联的图片的一些向量、不具有它们关联的图片的一些向量。此外，可以在系统100、相机装置180、和/或其他装置之间或系统100、相机装置180、和/或其他装置中划分处理，使得在两个或更多个类型的这些装置中处理图片，以获得向量。

在系统100中，可以将图片的向量存储在系统100的数据库160、和/或其他存储器/存储装置(例如，大容量存储装置150、存储器模块120/130)中。

有利地，系统100可以被配置(例如，由执行合适代码的处理器110)成：收集空间和时间信息；显示以空间和时间组织的图片向量的所选择(目标)的维度的统计；使用向量使得人们能够分享关于场所的感受和情感；以时空组织的方式显示关于情感和其他人类外表特征的信息；以及使得用户能够以空间和时间进行导航并且显示不同的向量维度。因此，系统100可以被配置成：生成图片向量的不同维度的图并且聚集变量(例如，具有特定发型的人的频率、穿着时髦衣服或其他款式衣服的人的频率)。图可以是两维或三维的，可以覆盖室内场所和/或室外场所，并且可以以可导航并且能够缩放的方式——例如，类似于谷歌地图(GoogleMaps)或谷歌地球(GoogleEarth)——被显示。系统100还可以被配置成：将时空组织的信息投影至由谷歌地图、谷歌地球或类似服务生成的图上。

在一些实施例中，图可以显示跨整个星球的情感分析。对图的放大可以显示对越来越小的区域的更详细的情感分析。例如，放大可以允许用户看见跨国家、该国家中的地区、该地区中的城市、该城市中的附近地区、该附近地区的一部分、该附近地区中的特定场所如商店、公园或娱乐设施、以及该场所的特定部分的情感分析。而缩小可以产生该过程的相反过程。本发明不限于该能力或这些示例。

可以将用户界面实现成允许产生如下述查询的时空查询：显示最快乐的地方；显示圣地亚哥(SanDiego)的观察到时髦服装的区域或另外的地理区域；显示具有被观察到特定情感(例如，高兴、惊奇、快乐、有兴趣)的人最多的购物中心或另外的预先指定类型的场所的次数；显示种族多样性图。界面还可以被配置成：允许用户基于友谊和相似性关系过滤图片向量数据。例如，可以使得用户能够(通过界面)请求显示与用户相似的人喜欢的场所或者这样的人在那里最快乐的场所。

在此，相似性可以基于可以从图片识别或估计的人口统计特征或其他人类外表特征。因此，二十多岁的用户A可以使用界面来定位下述场地：与相同或不同类型的其他场地相比，与他或她年纪相仿的人在该场地中趋于更经常微笑。用户A可以不关心初学走路的孩子、幼儿园儿童、老年人微笑的场所，而是通过界面指定他或她的偏好。此外，系统100可以被配置成自动使它的显示适合于特定用户。因此，不管怎样被获得(例如，通过用户登记处理或者基于用户先前所表达的偏好)，基于用户的人口统计特征和/或其他特征以及偏好的知识，系统都可以自动集中于具有相似的人口统计特征/特征/偏好的图片的向量。并且省略没有足够相似的人的图片的向量。

搜索和图显示可以以一天中的时间和/或特定日期为条件。因此，用户可以在特定时间之间——例如星期五晚上的快乐时光期间——指定与用户相似的具有快乐情感的人的图的显示。变化地，用户可以请求具有表示搜索的向量维度的相对发生率的不同颜色/阴影的有色或阴影显示。变化地，当其随着时间变化时，用户可以请求系统播放图；例如，用户可以使用界面来指定特定酒吧中与用户相似的人在晚上6点至9点之间心情如何变化的显示。系统100可以以加快的速度“播放”图，或者当用户期望时，使得用户能够例如通过在晚上6点至9点移动滑动控件来播放图。

图2示出了用于生成和显示(或者以其他方式使用)时空图的处理200的所选择的步骤。

在流程点201处，系统100被加电并且被配置成执行处理200的步骤。

在步骤205中，系统100通过网络从装置180接收图片。

在步骤210中，系统100针对图片中的每一个中的情感内容和/或其他内容——例如，人类外表特征、动作单元、和/或低级特征——来分析所接收的图片。例如，可以通过面部表情、动作单元、和/或低级特征的分类器的集合来分析图片中的每一个。分类器中的每一个可以被配置并训练成：根据由图片中的脸(或者数个脸，视情况而定)所表现的特定情感或其他人类外表特征的出现或不出现、动作单元、或者低级特征来产生信号输出。分类器中的每一个可以被配置并训练成用于不同的情感/特征，例如，包括7种主要情感(愤怒、轻蔑、厌恶、恐惧、高兴、悲伤、惊奇)和中立表情以及兴趣(如厌烦、感兴趣、参与)的情感状态的表情。另外的分类器可以被配置并训练成产生与上面描述的其他人类外表特征对应的信号输出。因此，对于每个图片，获得分类器的有序值的向量。例如，将向量存储在数据库160中。

在步骤215中，系统获得关于特定任务(在此，其包括特定搜索和/或基于一些外表相关的标准或图片的标准来生成要被显示的图或图覆盖物)的感兴趣的维度的信息。维度可以基于由用户针对任务特别提供的——例如，由用户针对任务明确地提供的、和/或在先前时刻(例如，在登记期间，根据先前的任务，其他情况)提供的——用户参数。维度还可以基于一些预定默认参数。维度可以是关于一个或更多个情感和/或其他人类外表特征的分类器输出。

在步骤220中，系统100生成下述图或图覆盖物：不同地理位置和/或场地的外观根据场所/场地中的向量的感兴趣的维度而变化。例如，图片中脸(或者针对被估计成属于与用户相似的人——如在与用户相同的年龄群组内，如在相同的十年内——的图片中的脸)的平均快乐维度越高，通过越强的颜色或阴影来表达，反之亦然。例如，针对不同的时间可以生成若干图或图覆盖物。

在步骤225中，系统100存储、发送、显示、和/或以其他方式使用图或数个图。

处理200在流程点299处终止，以当需要时被重复。

图3示出了根据本说明书的所选择的方面的零售情境中的基于情感和外表的时空图的示例。该图可以由系统如图1中的系统100来显示。图3中的图300示出了对以与热图类似的性质所示的零售环境的情感分析。可以对图中的不同区域画阴影或着色以表示由该零售环境中捕获的图像中的脸表现的一个或更多个特定情感或其他人类外表特征的各种等级。例如，区域310可以表示检测到情感的最快乐的面部表情的区域，区域305图表示检测到情感的最不快乐的面部表情的区域，以及区域315和区域320可以表示检测到快乐的中间面部表情的区域。

图4示出了街道图情境中的基于情感和外表的时空图的示例。该图是能够缩放的。图5示出了图4中的图的放大部分的示例。可以在放大图中提供更详细的情感分析。因此，图5中的图示出了图4中未示出的另外的细节501和505。

在一些实施例中，可以使用各种颜色方案来表示情感或其他特征。例如，蓝色可以表示快乐，红色可以表示不快乐。可以通过颜色的不同强度、通过使用中间颜色、或者以一些其他方式来表示快乐或不快乐的不同等级。可以提供尺度以表示颜色与情感或人类特征如何相互关联。优选地，对颜色方案进行选择以提供对情感或人类特征的直观显示。

在一些实施例中，情感分析图可以基于特定时间帧期间捕获的图像、随着时间聚集的图像、或者以一些其他方式所选择的图像。情感分析可以针对固定时间、可选择的时间帧、或者可以实时被更新的运动时间帧。

在一些实施例中，情感分析图可以表示所有人的特定情感或特征、人们的一些人口统计特征(例如，性别、种族、年龄等)、身着特定风格服饰的人、或者人的一些其他群组。可以将图例或标题与图一起显示以表示相关时间帧、人口统计特征信息、和/或其他相关信息。

在一些实施例中，情感分析图还可以以与图3、图4和图5中所示的方式不同的一些其他方式表示情感或人类特征。例如，可以对表示在空间中运动的人的线着色以表示一个或更多个情感或人类特征。对于另一个示例，可以对表示一些时间段内处于某个地方的人的点着色以表示该人的脸所表现的特定情感或人类特征。本发明不限于这些示例中的任一个。

除了图3、图4和图5中所示的那些以外，本发明可以适用于许多不同情境。示例包括但不限于对博物馆的情感分析、对学校中的不同教室的情感分析、对任何其他建筑物内部的情感分析、对城市的不同部分的情感分析、对跨不同城市或不同城市中的情感分析、对道路的情感分析(例如，以检测很可能发生路怒症的区域)等。

除了内在要求、明确指出或以其他方式根据上下文清楚得出的特定特征/要素/限制的出现或不出现以外，可以分别呈现或者以任意组合或排列呈现贯穿本文献所描述的系统和处理特征。

尽管在本文献中顺序地描述了处理步骤和决定(如果存在决定块)，但是也可以通过结合或并联的分开的元件、异步地或同步地、以流水线的方式或者以其他方式来执行某些步骤和/或决定。不存在下述特定要求：除了内在要求、明显指出或以其他方式根据上下文清楚得出的特定顺序以外，以与该描述列出的步骤和决定或者附图示出的步骤和决定相同的顺序来执行所述步骤和决定。此外，尽管根据概念尚未明确示出的一些步骤和决定块在一些实施例中可能是期望的或必需的，但是根据本文献中描述的概念可以不要求每个所示的步骤和决定块出现在每个实施例中。然而，应当理解，特定实施例/变型/示例使用特定顺序，以该特定顺序来展示和/或描述步骤和决定(如果可适用)。

可以直接以硬件、软件、固件或其组合来实现与本文献中公开的实施例、变型和示例的方法步骤对应的指令(机器可执行代码)。可以将软件模块存储在易失性存储器、闪速存储器、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、硬盘、CD-ROM、DVD-ROM或者本领域已知的其他形式的非暂态存储介质(不论易失性还是非易失性)中。示例性存储介质或介质可以被耦接至一个或更多个处理器，使得所述一个或更多个处理器可以从存储介质或介质读取信息并且将信息写到存储介质或介质。可替换地，存储介质或介质可集成进一个或更多个处理器。

本文献详细描述了用于时空绘图和搜索的本发明的设备、方法和产品。仅出于说明目的进行了这些描述。特定实施例或其特征不一定对本文献的公开内容的一般原理进行限制。在不偏离如本文中所阐述的本发明的精神和范围的情况下，本文中描述的特定特征可以用在一些实施例中，但是不可以用在其他实施例中。部件的各种物理布置以及各种步骤顺序也落在公开内容的意在范围内。在上述公开内容中许多附加修改是预期的，并且相关领域的技术人员应当理解，在一些实例中，在缺乏其他特征的相应用途的情况下，将采用一些特征。因此，示例性示例不一定限定本发明的边界和范围以及本发明所给予的法律保护。

Claims

1.一种用于绘图的计算机实现的方法，所述方法包括以下步骤：

分析多个图片中的脸的图像，以生成内容向量；

获得关于一个或更多个感兴趣的向量维度的信息，所述一个或更多个感兴趣的维度中的至少一些与情感的面部表情对应；

生成场所的表示，其中，所述图中地区的外观根据内容向量的所述一个或更多个感兴趣的向量维度的值而变化；以及

使用所述表示，所述使用步骤包括存储、发送和显示中的至少一个。

2.根据权利要求1所述的计算机实现的方法，还包括从多个联网相机装置接收所述多个图像。

3.根据权利要求1所述的计算机实现的方法，其中，所述场所包括地理区域或建筑物内部。

4.根据权利要求1所述的计算机实现的方法，其中，所述表示包括所述场所的图和图覆盖物。

5.根据权利要求4所述的计算机实现的方法，其中，所述图覆盖物中的颜色表示由内容向量的所述一个或更多个感兴趣的向量维度的值表示的至少一种情感或人类特征。

6.根据权利要求5所述的计算机实现的方法，其中，所述图和所述图覆盖物是能够缩放的，并且该方法还包括：响应于放大或缩小显示所述覆盖物中的更多或更少的细节。

7.一种基于计算机的系统，被配置成执行以下步骤，所述步骤包括：

分析多个图片中的脸的图像，以生成内容向量；

8.根据权利要求7所述的基于计算机的系统，其中，所述步骤还包括从多个联网相机装置接收所述多个图像。

9.根据权利要求7所述的基于计算机的系统，其中，所述场所包括地理区域或建筑物内部。

10.根据权利要求7所述的基于计算机的系统，其中，所述表示包括所述场所的图和图覆盖物。

11.根据权利要求10所述的基于计算机的系统，其中，所述图覆盖物中的颜色表示由内容向量的所述一个或更多个感兴趣的向量维度的值表示的至少一种情感或人类特征。

12.根据权利要求11所述的基于计算机的系统，其中，所述图和所述图覆盖物是能够缩放的，并且其中，所述步骤还包括：响应于放大或缩小显示所述覆盖物中的更多或更少的细节。

13.一种包括非瞬态机器可读存储器的产品，所述非瞬态机器可读存储器嵌入有用于绘图的计算机实现的方法的计算机代码，所述方法包括以下步骤：

分析多个图片中的脸的图像，以生成内容向量；

生成所述场所的表示，其中，所述图中地区的外观根据内容向量的所述一个或更多个感兴趣的向量维度的值而变化；以及

14.根据权利要求13所述的产品，其中，所述方法还包括从多个联网相机装置接收所述多个图像。

15.根据权利要求13所述的产品，其中，所述场所包括地理区域或建筑物内部。

16.根据权利要求13所述的产品，其中，所述表示包括所述场所的图和图覆盖物。

17.根据权利要求16所述的产品，其中，所述图覆盖物中的颜色表示由内容向量的所述一个或更多个感兴趣的向量维度的值表示的至少一种情感或人类特征。

18.根据权利要求17所述的产品，其中，所述图和所述图覆盖物是能够缩放的，并且其中，所述方法还包括：响应于放大或缩小显示所述覆盖物中的更多或更少的细节。