CN104303132A - 多感官情感表达 - Google Patents

Abstract

本文公开与照片/图片的多感官情感表达关联的存储介质、方法和设备。在实施例中，至少一个存储介质可包括多个指令，其配置成使计算装置能够响应于指令被计算装置的执行而在多个用户可访问的显示装置上显示具有关联情感类别的多个图像，并且便于多个用户以多感官的方式单独和/或联合修改图像的情感类别。可公开其它实施例或对它们要求保护。

Description

多感官情感表达

相关申请

本申请要求2012年6月20日提交的题为“MULTISENSORIAL EMOTIONAL EXPRESSION（多感官情感表达）”的美国临时专利申请号61/662,132和2012年11月28日提交的题为“MULTI-SENSORIAL EMOTIONAL EXPRESSION（多感官情感表达）”的美国非临时专利申请号13/687,846的优先权，其的全部公开通过引用整体合并于此。

附图说明

本发明的实施例将通过示范性实施例而非限制的方式描述、在附图中图示，其中类似的标号指代相似的元件，并且其中：

图1图示与触敏显示屏上的多感官情感表达关联的布置的综览；

图2图示与触敏显示屏上的多感官情感表达关联的方法；

图3图示适合供图1的布置使用的示例计算机；以及

图4图示示例非短暂性计算机可读存储介质，其具有配置成实践图2的方法的所有或选择方面的指令；这些全部根据本公开的实施例布置。

具体实施方式

在此公开与多感官情感表达关联的方法、设备和存储介质。在各种实施例中，可提供大的显示屏来显示具有关联的情感类别的图像。这些图像可以是例如由参与者/观众上传到Instagram或其它社交媒体、被分析并且分配关联情感类别的照片。情感类别的分析和分配可基于例如感情分析或匹配技术而进行。

大的显示屏可以是触摸的。个体可例如通过触摸在具有视觉和/或音频伴随物的图像后边投影的情绪图上的坐标与触敏显示屏交互以采用多感官的方式为图像选择情感类别。该视觉和音频伴随物可响应于用户的选择而变化来向用户提供实时多感官响应。可调整初始分配或聚集的情感类别来整合用户的选择。

情感类别可基于标题的感情分析而初始分配给照片，并且在标题不可获得时，可应用各种匹配技术。例如，匹配技术可包括但不限于，通过计算机视觉与其它图像的关联（例如照片与具有相同或相似颜色的其它图像（对其加标题并且分类）的关联），和基于时间和地点的关联（例如，照片与在相同上下文（事件、场所，等）中采取/创建的其它图像（对其加标题并且分类）的关联）。

视觉和听觉伴随物可由图像区提供。例如，在使图像上的图标围绕图像后面的情绪图的投影移动时，情绪图的颜色可改变以反映图像的不同区或区域的不同情绪。例如在触摸与低能量（energy）和负面情绪关联的区域时，情绪图可以是灰色的，而在触摸正面的高能量区域时可以是粉色的。另外或备选地，交互可在听觉上补充。声调反馈可与不同的情感状态关联。在用户触摸情绪图上的特定点（坐标）时，可播放适合的乐曲。音乐可在用户触摸情绪图上的不同地点时改变。可创建/提供广泛的乐曲（片段）库以与情感环状模型的16个带关联。

通过触摸多个图像和/或选择/调整它们的情感类别，个体可创建音乐和视觉创作。图像的视觉和听觉关联可以传达社会情感动态（例如，情感感染、诱导、合拍）。较长的视觉序列或乐曲可通过触摸不同的照片（其已经通过情绪映射或图像标题的感情分析而分配情感类别）而连贯起来。这些较长的句子反映已经选择的图像的“情绪波动”或集体情绪。该系统中的音乐创作启示可以几乎是无限的，其中数百、数万个排列是可能的。结果可以是有吸引力的、有丰富的探索和创作空间。

因此，团体中的人可以联合创作并且建立在彼此的创作上。人们可以回顾已经与特定照片关联的颜色和音乐的历史。他们的集体交互可在一起形成/传达团体的社会情感动态。

此外，照片/图片可基于确定的用户情绪而显示。用户的情绪可例如基于用户的面部表情和/或其它情绪指示符的分析而确定。可对经由个体的电话（例如，经由光的表情的拍摄装置捕捉或心态（pulse）读取）或大的屏幕显示器上的嵌入式拍摄装置捕捉的数据进行分析。从而，个体的情感可引导显示的照片/图片的布置。通过改变他们的表情，个体可促使改变布置和音乐创作。

在实施例中，系统还可允许用户以情感传染效应和其它社会动态进行实验。响应于用户输入，情感标签和过滤器可用于将特定图像与具有相似效应/情绪或具有相似上下文和不同效应/情绪的其它图像并列。

此外，图可按各种情感模型（例如，按唤醒和效价的维度组织的环状模型，或简单的负面到正面布置）归类。

说明性实施例的各种方面将使用通常由本领域内技术人员采用以向本领域内其它技术人员传达他们工作的实质的术语来描述。然而，替代实施例可仅用描述的方面中的一些实践，这对于本领域内技术人员将是明显的。为了说明的目的，阐述特定数字、材料和配置以便提供对说明性实施例的全面理解。然而，替代实施例可在没有这些特定细节的情况下实践，这对于本领域内技术人员将是明显的。在其它实例中，省略或简化众所周知的特征以便不混淆说明性实施例。

各种操作将进而采用对于理解说明性实施例最有帮助的方式描述为多个分立操作；然而，描述的顺序不应该解释为暗示这些操作必定依赖于顺序。特别地，这些操作不需要按呈现的顺序执行。此外，作为独立操作的操作的描述不应解释为需要操作一定独立地执行和/或由独立实体执行。作为独立模块的实体和/或模块的描述应同样不解释为需要模块是独立的和/或执行独立操作。在各种实施例中，图示和/或公开的操作、实体、数据和/或模块可合并、分解成进一步的子部分和/或省略。

重复使用短语“在一个实施例中”或“在实施例中”。该短语一般不指相同的实施例；然而，它可指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文另外指示。短语“A/B”意思是“A或B”。短语“A和/或B”意思是“（A）、（B）或（A和B）”。短语“A、B和C中的至少一个”意思是“（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）”。

术语“图像”、“照片”、“图片”和它们的变化形式可视为同义的，除非它们的使用的上下文另外清楚地指示。

图1图示根据本公开的各种实施例与多感官情感表达关联的布置的综览。如图示的，布置100可包括彼此耦合的一个或多个计算装置102和显示装置104。具有关联的情感类别的照片/图片106的阵列可在计算装置102的控制下（例如，通过在计算装置102上执行的应用）在显示装置104上显示。响应于照片/图片中的一个的用户选择，情绪图110（例如，情绪网格，其包括代表选择的照片/图片的图标112）可由计算装置102在显示装置104上显示，以使用户能够为照片/图片选择情感类别。在实施例中，情绪图可提供有视觉和/或音频伴随物，其对应于选择的照片/图片的初始或当前聚集情感类别。响应于情感类别的用户选择（通过例如图标112在情绪图110上的情绪位置处的放置），可提供调整的音频和/或视觉响应，其反映选择的情感类别。此外，选择的情感类别可通过计算装置102与初始或聚集的情感类别聚集。

在实施例中，布置100可包括扬声器108，用于提供音频伴随物/响应。音频伴随物/响应可包括播放音乐片段114，其代表选择或聚集的情感类别。视觉伴随物/响应可包括改变选择的照片的边界裁剪的颜色以对应于选择或聚集的情感类别。如之前描述的，在用户在不同照片/图片区周围徘徊/移动时，视觉/音频伴随物还可对于不同的照片/图片区而变化，这对应于照片/图片区的不同颜色或其它属性。

在实施例中，情绪图110可以是二维情绪网格。情绪图110可在选择的照片/图片的背面显示。情绪图110可通过翻转选择的照片/图片的动画而呈现。在实施例中，图标112可以是选择的图片/照片的缩略图。

在实施例中，显示装置104可包括触敏显示屏。照片/图片的选择可通过触摸照片/图片而进行。情绪的选择可通过拖放图标112而进行。

在实施例中，布置100可配备成识别用户手势。下一个或之前的照片/图片集的显示可通过用户手势而发出命令。在实施例中，显示装置104还可包括嵌入式拍摄装置116，用于允许捕捉用户的用户姿势和/或面部表情以供分析。显示的照片/图片可以是基于根据面部表情分析的结果确定用户的情绪而从照片/图片的集合选择的特定情感内类别的照片/图片的子集，例如具有同等的用户的愉快或更忧郁的情绪的情感类别的照片/图片，或相反，具有对具有忧郁情绪用户引起更愉快情绪的情感类别的照片/图片。在备选实施例中，布置100可包括便于提供相似数据的通信设施，例如用户的拍摄装置或移动电话。

在实施例中，显示装置104可以是大的显示装置，例如墙壁大小的显示装置，从而允许团体的团体照片/图片的墙壁替换为个体和/或集体观看和多种感觉情绪表达。

在各种实施例中，计算装置102可包括一个或多个本地和/或远程计算装置。在实施例中，计算装置102可包括本地计算装置，其经由一个或多个网络而耦合于一个或多个远程计算服务器。本地计算装置和远程计算服务器可以是本领域内已知的这样的装置中的任一个。一个或多个网络可以是一个或多个局域或广域、有线或无线网络中的一个或多个，包括例如互联网。

现在参考图2，其中根据各种实施例图示使用布置100的单独和/或联合表达情感的过程。如示出的，过程200可在框202处开始，其中具有关联的情感类别的多个照片/图片（例如团体的照片/图片）在大的（例如，墙壁大小的）触敏显示屏上显示。照片/图片可以是更大的照片/图片集合的子集。该子集可由用户选择或响应于用户情绪确定的结果（例如，基于用户面部表情的分析结果）使用关联的照片/图片的感情类别而选择。在用户对显示的照片/图片来回翻页（例如，经由翻页姿势）或浏览不同情感类别的集合的不同子集时，过程200可利用额外的显示而保持在框202处。

在显示之前和/或期间，框202还可包括照片/图片由各种用户的上传，例如从Instagram或其它社交媒体上传。用户可属于特定团体或社团。上传的照片/图片可由计算装置102基于照片/图片标题的感情分析而分析和分配情感类别。在标题不可获得时，可应用各种匹配技术。例如，匹配技术可包括但不限于，通过计算机视觉与其它图像的关联（例如图像与具有相同或相似颜色的其它图像（对其加标题并且分类）的关联），和基于时间和地点的关联（例如，图像与在相同上下文（事件、场所，等）中采取的其它图像（对其加标题并且分类）的关联）。

在选择照片/图片时，过程200可从框202行进到框204。在框204处，情绪图（例如，情绪网格）可由计算装置102显示。如之前描述的，在实施例中，情绪图可在选择的照片/图片的背面显示，并且例如经由翻转选择的照片/图片的动画呈现给用户。可允许个体通过触摸图像并且使图像的图标移到“情绪图”上的期望点而调整/校正图像的情感类别。在实施例中，用户的情绪选择可与其它用户的选择聚集。在选择情绪时，过程200可从框204行进到框206。在框206处，可提供对应于选择或更新的聚集情感类别的音频和/或视觉响应。

如之前描述的，在实施例中，声调反馈可与不同的情感状态关联。在用户触摸情绪图上的特定点（坐标）时，可播放适合的乐曲。音乐可在用户触摸情绪图上的不同地点时改变。可创建/提供乐曲（片段）的扩充库以与例如情感环状模型的16个带关联。还可提供视觉响应。在将图像的图标在图像后面的情绪图的投影周围移动时，情绪图的颜色可改变来反映带的情绪。例如，在触摸与低能量和负面情绪关联的区域时，情绪图可以是灰色的，而在触摸正面、高能量区域时是粉色的。

过程200可从框206返回框202，并且从其处继续。

从而，通过触摸多个图像，用户可单独或联合地创建音乐和视觉创作。图像的视觉和听觉关联可以传达社会情感动态（例如，情感感染、诱导、合拍）。在用户连续触摸投影上的不同图像（每次一个或多个）并且包括它们的视觉和/或听觉响应的照片/图片可被连续显示/播放或刷新时，提供背景颜色行（swath）代表照片的集体情绪和情绪中跨照片的转变。此外，复合或较长乐曲可通过连续触摸不同照片（每次一个或多个）而形成，这些照片已经通过情绪映射或图像标题的感情分析而分配情绪。这些复合和/或较长的句子也可反映已经选择的图像的“情绪波动”或集体情绪。该系统中的音乐创作启示可几乎是无限的，其中数百、数万个排列是可能的。结果可以是有吸引力的、有丰富的探索和创作空间。

因此，如之前描述的，团体中的人可以联合创作并且建立在彼此的创作上。人们可以回顾已经与特定照片关联的颜色和音乐的历史。他们的集体交互可在一起形成/传达团体的社会情感动态。

在实施例中，在框202处，可分析面部表情和/或其它情绪指示符。可对经由个体的电话（例如，经由光的表情的拍摄装置捕捉或心态读取）或大的屏幕显示器上的嵌入式拍摄装置捕捉的数据进行分析。个体的情感可引导照片/图片的选择和/或布置。通过改变他们的表情，个体可促使改变布置（和音乐创作）。

在实施例中，在框204处，团体的其它用户的过去情绪选择的历史（连同关联的音频和/或视觉响应）也可响应于照片/图片的选择而呈现。

从而，布置可允许用户以情感传染效应和其它社会动态做实验。响应于用户输入，情感标签和过滤器可用于将特定图像与具有相似效应或具有相似上下文和不同效应的其它图像并列。

此外，图像可按各种情感模型（例如，按激发和价的维度组织的环状模型，或简单的负面到正面布置）归类。

现在参考图3，其中图示根据各种实施例适合于图1的布置的使用的示例计算机。如示出的，计算机300可包括一个或多个处理器或处理器核302，和系统存储器304。为了该申请（其包括权利要求书）的目的，术语“处理器”和“处理器核”可视为同义，除非上下文另外清楚要求。另外，计算机300可包括大容量存储装置306（例如磁盘、硬驱、压缩盘只读存储器（CD-ROM）等）、输入/输出装置308（例如显示器、键盘、光标控制等）和通信接口310（例如网络接口卡、调制解调器等）。元件可经由系统总线312（其可代表一个或多个总线）而彼此耦合。在多个总线的情况下，它们可通过一个或多个总线桥（未示出）而桥接。

这些元件中的每个可执行它在本领域内已知的常规功能。特别地，可采用系统存储器304和大容量存储装置306来存储实现之前描述的多种感觉情感表达功能的编程指令的工作副本和永久副本。各种元件可由处理器302所支持的汇编指令或可以编译成这样的指令的高级语言（例如C）实现。

编程指令的永久副本可在工厂或在现场通过例如压缩盘（CD）等分布介质（未示出）或通过通信接口310（来自分布服务器（未示出））而置入永久存储306内。即，可采用具有代理程序的实现的一个或多个分布介质来分布代理并且对各种计算装置变成。

这些元件302-312的构成是已知的，并且因此将不再进一步描述。

图4图示根据本公开的各种实施例的示例非短暂性计算机可读存储介质，其具有配置成实践图2的方法的所有或选择方面的指令。如图示的，非短暂性计算机可读存储介质402可包括多个编程指令404。编程指令404可配置成使装置（例如，计算机300）响应于编程指令的执行而进行图2的过程200的各种操作，例如但不限于，照片/图片的分析、对照片/图片的情感类别的分配、照片/图片的显示、情绪网格的显示、音频和/或视觉响应的生成等。在备选实施例中，编程指令404相反可设置在多个非短暂性计算机可读存储介质402上。

重新参考图3，对于一个实施例，处理器302中的至少一个可与配置成实践图2的方法的方面的计算逻辑322封装在一起。对于一个实施例，处理器302中的至少一个可与配置成实践图2的方法的方面的计算逻辑322封装在一起来形成系统级封装（SiP）。对于一个实施例，处理器302中的至少一个可与配置成实践图2的方法的方面的计算逻辑322集成在相同的芯片上。对于一个实施例，处理器302中的至少一个可与配置成实践图2的方法的方面的计算逻辑322封装在一起来形成片上系统（SoC）。对于至少一个实施例，SoC可例如但不限于在计算平板中使用。

从而，公开的示例所述包括

示例1，其可以是用于表达情感的方法。该方法可包括由计算装置在多个用户可访问的显示装置上显示多个图像，其具有关联的情感类别；和由计算装置便于多个用户以多感官的方式单独和/或联合修改图像的情感类别，其包括便于用户为图像中的一个选择情感类别。

示例2，其可以是示例1，其中显示具有关联情感类别的多个图像包括在多个用户可访问的触敏显示屏上显示具有关联的情感类别的多个图像。

示例3，其可以是示例1，其中便于多个用户单独和/或联合修改关联的情感类别包括便于用户为图像中的一个选择情感类别。

示例4，其可以是示例3，其中便于用户在为图像中的一个选择情感类别方面做贡献包括由计算装置便于用户与情绪图交互来为图像中的一个选择情感类别。

示例5，其可以是示例4，其中便于用户与情绪图交互包括便于由计算装置采用在视觉上反映一个图像的初始或聚集情感类别的方式显示情绪图。

示例6，其可以是示例5，其中便于用户与情绪图交互进一步包括便于由计算装置输出音频，其在听觉上反映一个图像的初始或聚集情感类别来伴随情绪图的显示。

示例7，其可以是示例4，其中便于用户与情绪图交互进一步包括便于由计算装置更新一个图像的聚集情感类别来包括用户对该图像的情感类别选择，其包括通过计算装置的情绪图和伴随音频（如提供的话）的实时更新，来反映一个图像的更新的聚集情感类别。

示例8，其可以是示例1，其中显示具有关联的情感类别的多个图像包括基于根据用户面部表情的分析结果确定用户情绪而显示具有关联的情感类别的多个图像。

示例9，其可以是示例1，其进一步包括由计算装置分析图像中的一个并且由计算装置至少部分基于分析的结果对一个图像分配初始情感类别。

示例10，其可以是示例9，其中分析包括由计算装置分析一个图像的标题。

示例11，其可以是示例9，其中分析包括由计算装置基于图像的一个或多个视觉或上下文性质而将一个图像与具有关联情感类别的图像中的一个或多个其它图像相比较。

示例12，其可以是示例1，其中显示多个图像包括由计算装置相继显示具有视觉属性的多个图像，这些视觉属性分别反映图像的聚集情感类别来提供情绪波动。

示例13，其可以是示例12，其进一步包括输出音频片段，这些音频片段分别反映图像的聚集情感类别来伴随图像的相继显示以提供情绪波动。

示例14，其可以是示例1-13中的任一个，其进一步包括由计算装置至少部分基于图像的情感类别而从图像的集合或图像的子集选择图像。

示例15，其可以是示例1-13中的任一个，其进一步包括由计算装置至少部分基于图像的情感类别来对图像归类。

示例16，其可以是这样的设备，其包括配置成实践权利要求1-15的方法中的任一个的多个模块。

示例17，其可以是存储介质，该存储介质包括：指令，这些指令配置成促使该设备响应于指令由设备的执行使多个模块配置成实践权利要求1-15的方法中的任一个。

尽管已经在本文说明和描述特定实施例，但本领域普通技术人员将意识到很多种备选和/或等同实现可代替示出和描述的特定实施例，而不脱离本公开的实施例的范围。本申请意在涵盖本文论述的实施例的任何更改或变化。因此，明显规定本公开的实施例仅由权利要求书所限制。

Claims (20)

1. 一种用于表达情感的方法，其包括：

由计算装置在多个用户可访问的显示装置上显示具有关联的情感类别的多个图像；以及

由所述计算装置便于所述多个用户以多感官的方式单独和/或联合修改所述图像的情感类别，包括便于用户为所述图像中的一个选择情感类别。

2. 如权利要求1所述的方法，其中显示具有关联情感类别的多个图像包括在所述多个用户可访问的触敏显示屏上显示具有关联的情感类别的多个图像。

3. 如权利要求1所述的方法，其中便于所述多个用户单独和/或联合修改所述关联的情感类别包括便于用户为所述图像中的一个选择情感类别。

4. 如权利要求3所述的方法，其中便于用户在为所述图像中的一个选择情感类别方面做贡献包括由所述计算装置便于所述用户与情绪图交互来为所述图像中的一个选择情感类别。

5. 如权利要求4所述的方法，其中便于用户与情绪图交互包括便于由所述计算装置采用在视觉上反映所述一个图像的初始或聚集情感类别的方式显示所述情绪图。

6. 如权利要求5所述的方法，其中便于用户与情绪图交互进一步包括便于由所述计算装置输出音频，其在听觉上反映所述一个图像的初始或聚集情感类别来伴随所述情绪图的显示。

7. 如权利要求4所述的方法，其中便于用户与情绪图交互进一步包括便于由所述计算装置更新所述一个图像的聚集情感类别来包括所述用户对所述图像的情感类别选择，其包括通过所述计算装置的所述情绪图和如果提供伴随音频时伴随音频的实时更新，来反映所述一个图像的更新的聚集情感类别。

8. 如权利要求1所述的方法，其中显示具有关联的情感类别的多个图像包括基于根据用户面部表情的分析结果确定所述用户情绪而显示具有关联的情感类别的多个图像。

9. 如权利要求1所述的方法，其进一步包括由所述计算装置分析所述图像中的一个并且由所述计算装置至少部分基于分析的结果对所述一个图像分配初始情感类别。

10. 如权利要求9所述的方法，其中分析包括由所述计算装置分析所述一个图像的标题。

11. 如权利要求9所述的方法，其中分析包括由所述计算装置基于所述图像的一个或多个视觉或上下文性质而将所述一个图像与具有关联情感类别的图像中的一个或多个其它图像相比较。

12. 如权利要求1所述的方法，其中显示所述多个图像包括由所述计算装置相继显示具有视觉属性的多个图像，所述视觉属性分别反映所述图像的聚集情感类别来提供情绪波动。

13. 如权利要求12所述的方法，其进一步包括输出音频片段，所述音频片段分别反映所述图像的聚集情感类别来伴随所述图像的相继显示以提供情绪波动。

14. 如权利要求1-13中任一项所述的方法，其进一步包括由所述计算装置至少部分基于所述图像的情感类别而从图像的集合或图像的子集选择所述图像。

15. 如权利要求1-13中任一项所述的方法，其进一步包括由所述计算装置至少部分基于所述图像的情感类别来对所述图像归类。

16. 一种用于表达情感的设备，其包括：

显示装置，其配置成对多个用户可访问；和

计算装置，其与所述显示装置耦合，并且具有指令，所述指令配置成响应于执行而：

在所述显示装置上显示具有关联情感类别的多个图像；以及

便于所述多个用户以多感官的方式单独和联合修改所述图像的情感类别，其中便于包括便于用户使用情绪图为所述图像中的一个选择情感类别；

其中使用情绪图包括采用在视觉上反映所述一个图像的初始或聚集情感类别的方式显示所述情绪图；以及输出音频，其在听觉上反映所述一个图像的初始或聚集情感类别来伴随所述情绪图的显示。

17. 如权利要求16所述的设备，其中显示所述多个图像包括相继显示所述多个图像，其具有分别反映所述图像的聚集情感类别来提供情绪波动的视觉属性；以及输出音频片段，其分别反映所述图像的聚集情感类别来伴随所述图像的相继显示以提供所述情绪波动。

18. 一种用于表达情感的设备，其包括：

用于在多个用户可访问的显示装置上显示具有关联情感类别的多个图像的部件；和

用于便于所述多个用户以多感官的方式单独和/或联合修改所述图像的情感类别的部件，其包括便于用户为所述图像中的一个选择情感类别。

19. 如权利要求18所述的设备，其进一步包括这样的部件：用于分析所述图像中的一个，并且至少部分基于所述分析的结果，由所述计算装置对所述一个图像分配初始情感类别。

20. 至少一个存储介质，其包括多个指令，所述指令配置成使计算装置能够响应于所述指令由所述计算装置的执行而促使所述计算装置实践权利要求1-15所述的方法中的任一个。