CN116782986A - 识别用于与视频游戏的内容包括在一起的图形交换格式文件 - Google Patents

Abstract

用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法和系统包括从参与观看所述视频游戏的游戏玩法的受众的观众捕捉交互数据。所捕捉的交互数据用于根据从所述受众中的观众的交互检测到的情绪将所述观众集群到不同的群体中。基于与所述群体相关联的所述情绪针对每个群体识别图形交换格式文件(GIF)。将表示不同观众群体的独特情绪的所述GIF转发到观众的客户端装置，以便在所述视频游戏的内容旁边渲染。

Description

识别用于与视频游戏的内容包括在一起的图形交换格式文件

1.技术领域

本公开总体涉及表示视频游戏的观众的情绪，并且更具体地涉及用于显示对从视频游戏的不同观众群体检测到的情绪进行模仿的表达性图标和/或GIF的方法和系统。

背景技术

2.相关技术的描述

多年以来视频游戏产业已经发生了很多变化。具体地，在线游戏和现场直播事件，诸如电子竞技，在现场事件数目、收视率和税收等方面都出现了巨大的增长。因此，随着在线游戏和现场直播事件的流行度持续增长，访问在线游戏(即，游戏玩法)进行观看的观众数目持续增长。由于视频游戏的分布式性质，观众能够在家中舒适地从任何地方连接到视频游戏并观看在线游戏。

视频游戏行业的发展趋势是改进和开发独特的方式，所述方式将增强观看在线游戏内容的观众和其他人(例如，玩家、评论员等)的体验。例如，为了提供真正沉浸式游戏观看体验，观众具备不同的工具(例如，用户界面、记录工具等)来表达他们的情绪并与其他观众和/或玩家共享。例如，观看在线游戏内容的观众可具备带有交互式工具的交互式用户界面，诸如聊天界面、视频/音频内容上传工具等，以评论在线游戏并与其他用户交流。这些交互式工具允许观众提供音频评论、视频评论、文本评论等，共享表情包、图形交换格式图像/文件(GIF)等。

尽管各种工具为观众提供了一定程度的参与，但观众无法真正衡量不同观众表达的各种氛围以及表达每种氛围的观众的数目。参考电子竞技，其中访问和观看在线游戏的游戏玩法的观众的数量之巨可能达到数千甚至数百万(取决于视频游戏、玩家、视频游戏等的受欢迎度)，观众分享的评论数目也可以达到数千或数百万。为了让观众感受到从观看视频游戏的受众中的不同观众检测到的各种氛围，观众将不得不分析受众的不同观众提供的每条评论。由于数量庞大，分析每条评论可能会让人不知所措，尤其是在视频游戏的现场直播期间实时生成评论时。对于观众来说，将他们自己与志趣相投的观众联系起来会使他们享受在线游戏(即，游戏玩法)，就好像他们正在与他们的朋友一起玩并观看游戏玩法一样。看不到观看游戏玩法的其他观众的情绪导致观众无法完全享受视频游戏的游戏玩法。

本公开的实现方式正是在这种背景下应运而生。

发明内容

本公开的实现方式包括与对观看视频游戏的在线游戏的观众的交互进行聚合以及在视频游戏的受众的图像表示上渲染表达性化身相关的方法和系统，其中受众包括已访问视频游戏以观看游戏玩法的多个观众。各种表达性化身表示作为受众一部分的观众人群的情绪。通过在观众正在观看视频游戏的游戏玩法时实时地收集来自观众的交互数据来识别表达性化身。从不同观众收集的交互数据可包括在观众正在观看视频游戏的游戏玩法时的观众的视频、由观众生成的音频、发布在聊天界面、社交媒体界面等中的文本、图形交换格式图像/文件(GIF)、表情包、表情符号等。从不同观众收集的交互数据经过聚合，并对聚合数据执行情感分析，以识别由观众传达的显著情绪和想法。由于大量观众可能正在访问视频游戏以观看游戏玩法，因此处理和表达每个单独的观众的情绪实际上是不可行的。对交互数据进行聚合允许考虑每个单独的观众的情绪，以便确定在受众中表达的不同氛围。来自情感分析的数据用于确定受众中的观众表达的不同氛围(即，情绪和反应)。

从受众中的不同观众检测到的氛围经过分类，并且表达相同或相似类型的氛围的观众被分组在一起以定义氛围派系。与氛围派系相关的数据用于生成表达性化身，然后将所述表达性化身转发到每个观众的客户端装置进行渲染。表示每个氛围派系的表达性化身被配置为覆盖于在观众的客户端装置上渲染的受众的图像表示的对应区段上。在受众的图像表示中包括的化身识别从受众中的不同观众检测到的不同支配性氛围。每个表达性化身的大小被缩放以与相应氛围派系的大小相对应。特定氛围派系的化身越大，与化身相关联的对应情绪就比在受众中识别的其他情绪更具支配性(即，从相应化身检测到的氛围对其他氛围的支配程度)。

由观众提供的交互可以响应于在视频游戏的游戏玩法中发生的各种活动或响应于其他观众的评论/交互。交互可以呈音频评论、文本评论或经由聊天界面提供的聊天评论的形式。另外或替代地，观众的交互可以呈视频格式。例如，观众对在视频游戏内发生的活动或对其他观众的交互的表达可以使用一个或多个相机来捕捉并转发到游戏云服务器，所述一个或多个相机集成在观众的客户端装置内或通信地耦合到观众的客户端装置。游戏云服务器对捕捉到观众表情的图像进行处理，以确定观众表达的情绪。

对观众的各种交互进行聚合，并对交互数据执行情感分析，以识别由观众传达的显著情绪和想法。生成词云并使用从包括在交互数据中的文本和音频内容识别出的关键词动态地更新词云，其中更新到词云的关键词捕捉表达受众的情绪状态的显著情绪和想法。机器学习算法用于识别在交互数据中包括的表达观众的显著情绪和想法的关键词，并分析来自在视频内容中捕捉的观众图像的面部特征。机器学习算法用于识别在交互数据中包括的各种模态数据流。然后使用单模态或多模态方法处理所识别的模态数据流，以识别观众的情绪和反应。通过对表达从关键词识别的相似氛围(即，情绪)的观众进行集群来识别各种氛围派系。可以基于观众的年龄、人口统计和其他用户属性进一步细化或调节对观众的集群。可以从在游戏云系统处维护的用户档案获得用户属性。

针对不同的氛围派系生成表示不同氛围(即，情绪)的表达性化身。生成所述化身以包括不同的特性，从而提供受众(即，人群)中的每种情绪的支配性的视觉表示。一些特性包括用于定义观众的受众中每种情绪的支配程度的大小、用于反映观众情绪的颜色，诸如用于调用群体心理学的色调的温度和强度。用于表示不同情绪的颜色可以参考在生成化身时系统可用的品牌色彩心理学出版物/文献来选择。可以在https://en.wikipedia.org/wiki/Color_psychology处找到一个示例性参考。通过使用机器学习，以可缩放的方式辨识、聚合和表示大量观众的情绪，以向观众提供受众的不同情绪的视觉表示以及受众中表达不同情绪的观众的数目。提供表达各种情绪的化身，用于渲染在来自在线游戏会话的视频游戏内容旁边提供的观众的受众的图像表示上。一个优点是，化身为观众提供了以下方式：快速(即，几乎实时地)在视觉上衡量大量游戏观众的反应分布，并允许游戏观众比较观众自己的反应如何与对等群体的观众相比。另一个优点是，观众可以快速地识别志趣相投的观众并与志趣相投的观众相关联，以便从任何位置充分享受视频游戏的游戏玩法。又一个优点是，化身允许在线视频游戏的玩家衡量对特定游戏玩法的反馈。

除了提供表达各种情绪的化身之外，观众的情绪还可以用于识别反应音轨，以与在现场观看或延后观看视频游戏的游戏玩法期间呈现给观众的化身包括在一起。反应音轨用于表达受众中的观众的情绪。例如，可以识别的反应音轨之一是笑音轨(还称为笑声音轨)。提供笑音轨来表达快乐情绪。除了提供笑音轨来表达快乐情绪之外，反应音轨还可用来表达其他情绪，例如悲伤、惊讶、愤怒、中性等。基于在观看视频游戏的观众的受众中识别的每个氛围派系中的不同化身所表达的情绪来识别适当的反应音轨。在一些实现方式中，反应音轨是捕捉观众的氛围的音频音轨。

代替化身或除化身之外，观众的交互数据可用于识别适当的图形交换格式文件(GIF)以表示观众表达的不同情绪，并提供所识别的GIF以在视频游戏的内容旁边渲染。在一个示例中，可以基于群体的观众的偏好，或群体的一个或多个观众对GIF的先前选择，或所述GIF的受欢迎度等来自动选择用于表示每个群体的情绪的GIF。在另一个示例中，用于表示群体的情绪的GIF可以自动选择，并且可以向观众提供超驰所述选择的选项。所述选项可以与GIF子集一起在用户界面上提供以供观众选择。呈现在用户界面上的GIF子集可以基于观众先前在视频游戏内(即，在提供交互数据时的交互界面中)或在社交交互中选择的用于表达特定情绪的GIF类型，并且可以从在每个观众的用户配置文件内维护或在交互历史内维护的观众偏好进行识别。可以针对每个视频游戏、每个观众、每个观众群体、每个交互会话、每种情绪等维护交互历史。

在其他示例中，可以在用户界面上提供选项以供观众选择他们自己的GIF来表示所述观众是其中成员的群体的情绪。在此示例中，可以向观众提供到一个或多个GIF的链接以供选择。在另一个示例中，不是自动选择GIF并为观众提供选项，而是可以在用户界面上识别和提供用于表示与每个群体相关联的情绪的GIF子集，以供相应群体的一个或多个观众选择。观众从子集中对GIF的选择可用于表示群体的情绪，并提供给观众的客户端装置以渲染在视频游戏的内容旁边。在替代性示例中，可以允许群体的每个观众选择他们选择的GIF，以在他们相应的客户端装置处呈现的视频游戏的内容旁边渲染。在此示例中，每个观众具备控制在他们自己的客户端装置处渲染GIF的自由度。

在一个实施方案中，提供了一种用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法。所述方法包括从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据。对从观众捕捉的交互数据进行聚合。所述聚合包括根据从受众中的观众检测到的情绪将观众集群到不同的群体中。每个观众群体与独特情绪和置信度得分相关联，所述置信度得分对应于表达出独特情绪的相应群体中的观众的数目。生成化身以表示每个群体的情绪，其中每个群体的化身提供相应观众群体的反应的视觉表示。动态地调整与每个群体相关联的化身的表情以匹配相应群体的观众的表情变化。在视频游戏的内容旁边呈现表示受众中的不同观众群体的独特情绪的化身。

在一种实现方式中，识别包括在交互数据中的一个或多个模态数据流。处理一个或多个模态数据流以识别观看视频游戏的观众表达的情绪。根据观众表达的情绪将观众集群到群体中，使得每个观众群体与独特情绪相关联。从交互数据识别出的一个或多个模态数据流对应于从观看视频游戏的游戏玩法的观众实时地收集到的文本数据或视频数据或音频数据或聊天数据或表情符号或表情包或图形内容或图形交换格式文件中的任一者或组合。视频数据在观众正在观看视频游戏时捕捉不同观众的表情，而音频数据包括音频内容以及一个或多个音频特征，诸如音调或幅度或持续时间。

在一种实现方式中，使用机器学习算法生成并训练多个模型。使用来自从交互数据识别出的模态数据流中的特定模态数据流的数据来训练多个模型中的每个模型。对多个模型的输出进行聚合，以对观众的情绪进行分类，并且经由交互数据确定观众表达的每种情绪的概率。

在一种实现方式中，使用机器学习算法生成并训练模型。使用从交互数据识别出的模态数据流作为输入来训练所述模型。模型的输出用于对观众的情绪进行分类，并且经由交互数据确定观众表达的每种情绪的概率。

在一种实现方式中，基于与相应观众群体相关联的置信度得分来缩放用于每种独特情绪的化身的大小。

在一种实现方式中，与每个观众群体相关联的置信度得分根据在相应观众群体中检测到的观众的数目的变化而变化。

在一些实现方式中，对交互数据进行聚合包括生成词云并使用经由对交互数据的情感分析识别出的关键词来动态地更新词云。将关键词更新至词云，以捕捉受众在每个时间点的情绪状态。来自词云的关键词被机器学习算法用作输入来生成和训练一个或多个模型。来自一个或多个模型的输出用于经由交互数据识别观众表达的情绪和每种情绪的概率。

在一种实现方式中，交互数据包括经由交互界面提供的视频数据、音频数据、文本评论或表情符号反应中的一者或多者。交互数据由观众在观看视频游戏时实时生成或捕捉。

在一种实现方式中，每个群体中的观众的表情根据视频游戏的游戏玩法中发生的变化而变化，并且动态地调整与相应群体相关联的每个化身的表情以反映在相应观众群体的观众的表情中检测到的变化。

在一种实现方式中，与每个观众群体相关联的置信度得分根据在相应观众群体中检测到的观众的数目的变化而变化。

在一种实现方式中，生成并呈现交互式时间图，以表示从视频游戏中的不同观众群体检测到的不同情绪的反应强度。交互式时间图中不同情绪中的每种情绪的反应强度随时间根据视频游戏的游戏玩法中发生的变化而变化。在交互式时间图中捕捉到的反应强度的变化链接到视频游戏的游戏玩法的特定部分，所述特定部分引起从相应观众群体检测到的不同情绪的反应强度的变化。所述链接允许访问视频游戏的游戏玩法的特定部分以查看导致反应强度的对应变化的交互。

在一种实现方式中，交互式时间图是折线图并且包括多条图线，其中每条图线对应于从特定观众群体检测到的特定情绪。对应于特定情绪的化身渲染在相应的图线上。

在一种实现方式中，视频游戏的游戏玩法数据被实时地流式传输，并且游戏玩法的记录被存储在游戏玩法数据存储装置中并且可用于在延后的时间的后续流式传输。本申请中使用的延后的时间对应于在稍后时间重播视频游戏时渲染游戏玩法的记录，而不是实时流式传输。生成表示与视频游戏的观众群体相关联的情绪的反应强度的交互式时间图，并与视频游戏的内容一起呈现。交互式时间图是实时生成的，并与游戏玩法的记录一起存储在游戏玩法数据存储装置中。当随后在延后的时间流式传输游戏玩法的记录时，通过修改交互式时间图以包括当在延后的时间期间流式传输游戏玩法的记录时捕捉的多个观众的反应强度来生成新的交互式时间图。在延后的时间播放游戏玩法的记录期间呈现捕捉多个观众的反应强度的新的交互式时间图。

在一种实现方式中，呈现的化身包括提供具有分割选项和格式化选项的用户界面以供观众选择。分割选项提供用于从在显示屏幕上限定的多个区段中选择一个区段以渲染化身的选项，并且格式化选项提供在显示屏幕上渲染化身时采用的渲染选项。格式化选项包括透明格式或覆盖格式或呈现格式中的一者。

在一种实现方式中，化身的呈现包括确定每个观众群体中的观众的地理位置。当每个群体中的观众与单个地理位置相关联并且每个观众群体与截然不同的地理位置相关联时，呈现识别与不同观众群体相关联的地理位置的地图。与每个相应观众群体相关联的对应化身覆盖于在地图中识别的与相应观众群体相关联的地理位置处。

在一种实现方式中，识别每个群体中的观众中的特定观众，在视频游戏的定义的游戏时刻期间捕捉所述特定观众的反应，并且将捕捉到的特定观众的反应渲染在视频游戏的内容旁边。

在一种实现方式中，通过以下操作来识别每个群体中的观众中的特定观众：基于游戏的游戏状态识别计划在视频游戏中发生的动作；识别每个群体中的观众中的不同观众针对视频游戏中发生的不同动作而表现出的反应的类型；以及基于特定观众对不同动作表现出的反应来选择每个群体中的观众中的特定观众，对特定观众的选择包括预测性地放大以当在视频游戏中发生所述动作时捕捉每个群体中的特定观众的反应。

在一种实现方式中，每个群体中的观众中的特定观众是基于由相应群体中的其余观众生成的与每个群体的特定观众的表情相关的评论的类型和数目来选择的，或者是随机选择的，或者是基于由所述观众中的特定观众提供的表达性反应来选择的。

在一种实现方式中，从观众捕捉的交互数据包括对视频游戏中发生的事件或动作的反应，或对观看视频游戏的游戏玩法的特定观众的反应的逆反应。

在一种实现方式中，从群体的观众捕捉的交互数据包括与所述群体相关联的特定观众的反应。对从观众捕捉的交互数据进行聚合包括对群体中的其他观众的对特定观众的反应做出反应的反应进行聚合。

在一种实现方式中，将观众集群到不同群体中包括为观众提供从第一群集移动到第二群集的选项。在渲染在视频游戏的内容旁边的用户界面上提供所述选项。所述移动导致观众与第一群集动态地解除关联，并且动态地将观众关联到第二群集。所述动态关联允许观众有权访问第二群集中的观众的交互，而动态解除关联阻止观众访问第一群集中的观众的交互。

在替代性实施方案中，提供了一种用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法。所述方法包括从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据。对从受众中的观众捕捉的交互数据进行聚合，并执行对交互数据的情感分析。所述聚合包括识别在交互数据中包括的一个或多个模态数据流，处理所述一个或多个模态数据流以识别由观看视频游戏的游戏玩法的观众表达的情绪，以及根据观众表达的情绪将观众集群到群体中。每个观众群体与独特情绪和置信度得分相关联，所述置信度得分对应于表达出独特情绪的相应群体中的观众的数目。生成化身来表示每个群体的独特情绪。动态地调整与每个群体相关联的化身的表情以匹配相应群体的观众的表情变化。在视频游戏的内容旁边呈现表示不同观众群体的独特情绪的化身。

在一个实施方案中，公开了一种用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法。所述方法包括对从参与观看视频游戏的游戏玩法的受众中的观众收集的交互数据进行聚合。所述聚合包括基于从受众中的观众检测到的情绪将观众集群到不同群体中，使得每个观众群体与从交互数据识别出的独特情绪相关联。识别反应音轨以对应于与每个群体相关联的独特情绪。每个群体的反应音轨在由观众正在观看的视频游戏的内容旁边呈现。

在一种实现方式中，每个观众群体的置信度得分是基于每个群体中的观众的数目来确定的。基于相应群体的置信度得分来缩放每个群体的反应音轨的音量。

在一种实现方式中，随时间检测每个群体的观众表达的情绪的变化，并且动态地识别每个群体的反应音轨以与在相应群体中检测到的情绪的变化相对应，其中检测所述变化以与出现在视频游戏的内容中的变化相关。

在一种实现方式中，将每个群体的反应音轨呈现给参与观看视频游戏的所有观众。

在一种实现方式中，将每个观众群体的反应音轨呈现给相应群体的观众，使得呈现给第一观众群体的反应音轨不同于呈现给第二观众群体的反应音轨。

在一种实现方式中，特定观众群体的反应音轨被呈现给观看视频游戏的所有观众，其中特定群体是基于每个群体的置信度得分来选择的。每个群体的置信度得分指示相应群体中的观众的数目。

在一种实现方式中，执行对交互数据的情感分析以识别与情绪对应的关键词，并且生成词云且用关键词动态地更新词云。词云中的关键词捕捉观众在任何给定时间点的情绪状态。

在一种实现方式中，通过根据由关键词定义的情绪对词云中的关键词进行分组来识别特定观众群体的反应音轨，使得每组关键词对应于特定情绪。表示特定群体的情绪的选定组关键词用于识别特定群体的反应音轨。

在一种实现方式中，观众与视频游戏的特定玩家或特定玩家队伍的从属关系是从观众或玩家的社交图谱中识别出来的。根据交互数据中的关键词生成并更新词云。关键词对应于观众对特定玩家或特定玩家队伍在视频游戏中的游戏玩法作出响应的情绪。根据观众的从属关系将关键词分组为多个组，其中每组关键词对应于特定情绪。表示特定群体的情绪的选定组关键词用于识别特定群体的反应音轨。

在一种实现方式中，使用人工智能模型识别每个群体的反应音轨。

在一种实现方式中，从第一群体的观众接收请求。所述请求是将观众归入第二群体而不是第一群体。响应于所述请求，观众与第一群体解除关联并与第二群体相关联。观众与第二群体的关联导致第一群体和第二群体中的观众的数目的变化，并向观众提供对第二群体的交互数据的访问。

在一种实现方式中，生成化身并使所述化身与每个观众群体相关联。根据在由每个群体的观众表达的对应情绪中检测到的变化，动态地调整每个群体的化身的表情。观众表达的情绪的变化对应于在视频游戏中发生的事件。每个群体的化身与反应音轨一起呈现在视频游戏的内容旁边。

在一些实现方式中，使用人工智能模型为观众群体生成通用化身。通用化身与所述群体相关联。所述关联允许访问由所述群体的观众生成的交互数据。交互数据用于确定由所述群体的观众表达的情绪的动态，其中情绪随着在视频游戏中检测到的变化而变化。动态地调整通用化身的表情，并识别适当的反应音轨以与在群体情绪中检测到的变化相对应。将具有调整后的表情的化身和反应音轨转发到观众的客户端装置进行渲染。

在一些实现方式中，两个对立群体的化身和反应音轨在视频游戏的内容旁边同时呈现给观众。两个对立的观众群体的化身和反应音轨提供了对在视频游戏内发生的事件的差异大的反应。

在一种实现方式中，观众选自与特定情绪相关联的特定观众群体内，以便为特定情绪提供反应突显。观众是根据观众表达的情绪来选择的。呈现观众在与视频游戏中发生的事件相关的关键游戏时刻期间表达群体情绪的视频。所述视频与特定群体的反应音轨一起呈现。

在一种实现方式中，特定群体的观众是随机选择的，或者是经由对在特定群体中的观众观看视频游戏的游戏玩法时捕捉到的所述观众的先前表情的预测性分析来选择。

在一种实现方式中，识别图形交换格式图像(GIF)以提供针对与特定群体相关联的特定情绪的反应突显。GIF是使用与特定群体的情绪相关联的关键词来识别的。呈现所识别的GIF，以用于在与视频游戏中发生的事件相关的关键游戏时刻期间提供反应突显。所述GIF表达由特定群体的观众表达的情绪的反应突显。

在另一实施方案中，公开了一种用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法。所述方法包括从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据。对从观众捕捉的交互数据进行聚合。所述聚合包括根据从受众中的观众检测到的情绪将受众中的观众集群到不同的群体中。每个观众群体与从交互数据识别出的独特情绪相关联，并针对不同的群体计算置信度得分。基于每个群体中表达与所述群体相关的独特情绪的观众的数目，针对每个观众群体确定置信度得分。识别反应音轨以对应于与在受众中识别的特定观众群体相关联的独特情绪，其中特定观众群体是基于每个群体的置信度得分来识别的。特定观众群体的反应音轨在观众正在观看的视频游戏的内容旁边呈现给每个群体的观众。

在一种实现方式中，公开了一种用于表示观看视频游戏的游戏玩法的观众的受众的情绪的方法。所述方法包括对从参与观看视频游戏的游戏玩法的受众中的观众收集的交互数据进行聚合。所述聚合包括根据受众中的观众表达的情绪将观众集群到不同的群体中。每个观众群体与从交互数据识别出的独特情绪相关联。针对每个观众群体中表达的独特情绪来识别图形交换格式文件(GIF)。针对每种独特情绪的所识别的GIF与对应的观众群体相关联，使得每个观众群体与独特GIF相关联。所识别的GIF与视频游戏的游戏玩法内容一起返回到观众的客户端装置进行渲染。

在一种实现方式中，检测由每个群体的观众表达的情绪的变化，并且动态地更新针对所述群体识别出的GIF。情绪的变化与在视频游戏的游戏玩法中发生的变化相关，并且群体的GIF被动态地更新以与群体的观众的情绪的变化相对应。

在一种实现方式中，使每个群体的所识别的GIF返回到视频游戏的观众的客户端装置以便渲染在观众的图像表示上。观众的图像表示被配置为渲染在视频游戏的内容旁边。

在一种实现方式中，与每个群体相关联的GIF的大小经过缩放以与相应群体中的观众的数目相匹配，使得针对具有最高观众数目的第一群体识别的GIF被呈现为大于具有比第一群体少的观众数目的第二群体。每个GIF的大小经过缩放以与每个观众群体中的观众人数相对应。

在一种实现方式中，对交互数据进行聚合包括：识别包括在交互数据中的模态数据流；处理模态数据流以识别观看视频游戏的观众所表达的情绪；以及根据观众所表达的情绪将观众集群到群体中，其中每个群体与独特情绪相关联。从交互数据识别出的模态数据流对应于从观看视频游戏的观众实时地收集到的文本数据或视频数据或音频数据或聊天数据或表情符号或表情包或图形内容中的任一者或组合。

在一种实现方式中，使用机器学习算法生成并训练多个模型。使用来自从交互数据识别出的模态数据流中的特定模态数据流的数据来训练多个模型中的每个模型。对多个模型的输出进行聚合，以经由交互数据识别观众表达的情绪和每种情绪的概率。

在替代性实现方式中，使用机器学习算法生成并训练模型。使用从交互数据识别出的模态数据流作为输入来训练所述模型。所述模型的输出用于经由交互数据识别观众表达的情绪和每种情绪的概率。

在一种实现方式中，识别针对特定群体的GIF包括针对与特定观众群体相关联的独特情绪识别GIF子集，并且在用户界面上呈现所述GIF子集以供特定群体中的观众中的一者或多者进行选择。GIF子集是基于特定群体的一个或多个观众先前针对独特情绪对GIF的选择而选择的。

在一种实现方式中，将针对特定群体的独特情绪的GIF关联包括接收从呈现在用户界面上的GIF子集选择特定GIF，以及将选定GIF关联到特定群体。

在一种实现方式中，针对与特定观众群体相关联的独特情绪识别GIF子集。基于由特定群体内的一个或多个观众指定的偏好来识别GIF子集。GIF子集中的每个GIF与置信度指示符相关联，所述置信度指示符表示由特定群体的一个或多个观众针对独特情绪选择GIF的次数。基于与特定GIF相关联的置信度指示符，从GIF子集自动选择特定GIF以与特定群体相关联。

在一种实现方式中，提供自定义选项来超驰针对特定群体自动选择的GIF。对自定义选项的选择导致渲染针对特定群体的独特情绪识别的GIF子集，和从GIF子集选择用于与特定群体相关联的替代性GIF的选择选项。

在一种实现方式中，针对每个群体的独特情绪识别出的GIF被格式化以渲染在客户端装置的显示屏幕上定义的区段中。所述区段是基于由每个群体中的每个观众指定的偏好来识别的。

在一种实现方式中，针对每个所识别的GIF定义渲染格式，其中渲染格式是透明格式或覆盖格式或呈现格式中的一者。

在一种实现方式中，针对每个群体的独特情绪识别反应音轨。所识别的反应音轨与GIF一起返回，以在观众的客户端装置处进行渲染。

在一种实现方式中，提供针对每个群体的所识别的GIF以渲染给所述群体的观众，使得向每个观众群体呈现对应于相应群体的情绪的GIF。

在一种实现方式中，提供了允许观众从第一群体移动到第二群体的选项。所述选项在根据交互数据的聚合而创建的群体列表旁边呈现在交互界面上。选择识别第二群体的选项导致观众与第一群体解除关联并与第二群体相关联。与第一群体解除关联阻止观众访问第一群体的交互数据，而关联到第二群体向观众提供对第二群体的交互数据的访问。

在一种实现方式中，生成词云并使用通过对交互数据进行情绪分析而识别出的关键词来动态地更新词云。更新到词云的关键词对应于受众的观众在每个时间点表达的独特情绪。

在一种实现方式中，词云中的关键词根据由关键词定义的情绪进行分组，其中每组关键词对应于不同的情绪。对应于特定情绪的一组关键词用于识别针对特定情绪的GIF。针对特定情绪的GIF与提供从中识别出针对特定情绪的关键词的交互数据的对应观众群体相关联。

在一种实现方式中，对观众的集群进一步基于观众的年龄、人口统计、与玩家的从属关系、与队伍的从属关系和用户配置文件。

在另一实施方案中，公开了一种用于表示观看视频游戏的在线游戏的观众的受众的情绪的方法。所述方法包括对从参与观看视频游戏的游戏玩法的观众检测到的交互数据进行聚合。所述聚合包括识别在交互数据中包括的一个或多个模态数据流。处理一个或多个模态数据流以识别观看视频游戏的游戏玩法的观众表达的情绪。基于观众表达的情绪将观众集群到群体中，其中每个观众群体与从交互数据识别出的独特情绪相关联。针对在每个观众群体中表达的独特情绪来识别图形交换格式文件(GIF)。针对每种独特情绪识别出的GIF与相应观众群体相关联，使得每个观众群体与独特GIF相关联。针对每个群体识别出的GIF与视频游戏的内容一起返回到观众的客户端装置以供渲染。

在一种实现方式中，对观众的集群包括使用机器学习算法生成和训练一个或多个模型。使用来自从交互数据识别出的一个或多个模态数据流的数据来训练一个或多个模型。对一个或多个模型的所述输出进行聚合，以识别所述观众表达的不同情绪和每种情绪的概率。

通过结合附图进行的以下详细描述，本公开的其他方面和优势将变得显而易见，以下详细描述举例说明本公开的原理。

附图说明

通过参考结合附图进行的以下描述，可以更好地理解本公开，在附图中：

图1绘示了根据本公开的实现方式的系统的简化框图，所述系统被配置为执行多个玩家对视频游戏的游戏玩法，并且识别和呈现从观看视频游戏的游戏玩法的不同观众群体检测到的情绪。

图2绘示了根据本公开的实现方式的识别和呈现在观看视频游戏的游戏玩法的观众的受众内的不同观众的情绪的不同阶段的简化概述。

图3绘示了根据本公开的实现方式的用于识别从不同观众检测到的情绪并呈现从不同观众检测到的情绪的视觉表示的情感表露引擎的框图。

图4绘示了根据本公开的一种实现方式的在处理交互数据以生成和呈现表示不同情绪的化身的不同阶段期间使用的情感表露引擎的不同部件的宽泛概述。

图5绘示了根据本公开的一种实现方式的用于收集和分析观看视频游戏的在线游戏的观众的交互数据的情感表露引擎的示例性交互分析器。

图6绘示了根据本公开的一种实现方式的用于识别从不同观众检测到的各种情绪的情感表露引擎的示例性关键词分析引擎。

图7绘示了根据本公开的一种实现方式的用于生成和缩放表示从不同观众检测到的不同情绪的化身的情感表露引擎的示例性化身可视化器。

图8A绘示了根据本公开的一种实现方式的作为单模态情绪辨识过程的一部分的视频图像处理的概述。

图8B绘示了根据本公开的一种实现方式的作为多模态情绪辨识过程的一部分的视频图像处理的概述。

图8C绘示了根据本公开的一种实现方式的使用用于识别从观看视频游戏的在线游戏的观众的交互检测到的不同表情的情感表露引擎来实施的简化的单模态情绪辨识过程。

图9示出了根据本公开的一种实现方式的使用在观众观看视频游戏的在线游戏时捕捉的不同观众的视频的交互收集阶段(即，操作)的简化屏幕表示。

图10绘示了根据本公开的一种实现方式的用于识别从观众检测到的不同表情的样本面部特征辨识过程。

图11绘示了根据本公开的一种实现方式的通过在观众正在观看视频游戏的在线游戏时分析在视频中捕捉的观众的面部特征来辨识的样本情绪集。

图12绘示了根据本公开的一种实现方式的由情感表露引擎在情感分析期间用于识别观众情绪的样本氛围评级。

图13绘示了根据本公开的一种实现方式的使用在视频游戏的在线游戏期间搜集的观众交互的情绪聚合阶段(即，操作)的简化屏幕视图表示。

图14绘示了根据本公开的一种实现方式的由情感表露引擎执行的情绪可视化阶段的简化屏幕视图表示。

图15绘示了根据本公开的一种实现方式的从观众的受众搜集的用于生成词云的观众的各种交互输入，所述词云用于辨识表示从观众检测到的情绪的关键词。

图16绘示了根据本公开的一种实现方式的由情感表露引擎定义的样本氛围派系。

图17绘示了根据本公开的一种实现方式的表示为观众的受众呈现的不同氛围派系的情绪的样本化身/表情符号。

图18绘示了根据本公开的一种实现方式的用于识别和呈现观众的情绪并且在视频游戏的内容旁边呈现表示表露的情绪的化身的方法操作。

图19绘示了根据本公开的一种实现方式的用于执行交互数据的不同处理阶段以生成和呈现表示不同情绪的化身并且识别用于在客户端装置处呈现的适当反应音轨的情感表露引擎的不同部件的变化形式。

图20绘示了根据一种实现方式的针对由观看视频游戏的在线游戏的观众表达的不同情绪而识别的反应音轨的示例。

图21绘示了根据一种实现方式的反应音轨的示例，所述反应音轨经过识别并且与表达性化身一起呈现在观众的代表性图像上。

图22绘示了根据一种实现方式的在受众中识别的各种氛围派系以及用于与相应的氛围派系相关联的对应反应音轨的示例。

图23绘示了在一种实现方式中的受众的图像表示与表示在受众中识别的支配性情绪的化身以及在对应的化身旁边渲染的最具支配性的情绪的反应音轨的替代性示例。

图24绘示了根据本公开的一种实现方式的用于识别观众的情绪并且在视频游戏的内容旁边呈现对应于所识别的情绪的反应音轨的方法操作。

图25绘示了根据本公开的一种实现方式的用于处理从观众检测到的交互数据以识别图形交换格式文件(GIF)以便与视频游戏的内容一起呈现在客户端装置处的情感表露引擎的不同部件的变化形式。

图26绘示了根据一种实现方式的在客户端装置的显示屏幕上识别的用于渲染针对观众表达的不同情绪识别出的GIF的各个区段。

图27绘示了根据一种实现方式的针对从观众的交互数据检测到的不同情绪而识别出的一些示例性GIF子集。

图28绘示了根据一种实现方式的受众图像以及针对在观众的客户端装置处渲染的特定情绪识别出的GIF子集和用于选择所述子集中的GIF中的特定一者的选择选项的示例性视图。

图29绘示了根据一种实现方式的在客户端装置的显示屏幕上识别和渲染的不同情绪以及改变针对所渲染的每种情绪的GIF的自定义选项。

图30绘示了根据本公开的一种实现方式的用于识别观众的情绪并且在视频游戏的内容旁边呈现表示所识别的情绪的图形交换格式文件的方法操作。

图31绘示了根据本公开的一种实现方式的用于处理观众的交互数据以呈现表示不同情绪的化身的示例性信息服务提供者。

图32绘示了可用于执行本公开的各种实施方案的各方面的示例性服务器装置的部件。

具体实施方式

本公开的以下实现方式描述了用于针对观看视频游戏的在线游戏的一群观众生成表达性化身并且在视频游戏的内容旁边显示表达性化身的方法和系统。化身的表情表示从观看视频游戏的在线游戏(即，游戏玩法)的受众的观众检测到的不同情绪，使得观众能够快速地衡量大量观众在受众中的不同氛围的分布。化身还允许每个观众通过将他们自己的反应与受众中的不同观众群体的反应进行比较来识别他们可以与之关联的对等观众群体。所述关联允许观众与表达相似情绪(即，氛围)的其他观众一起“去玩”，让人感觉观众正在与聚集在客厅或公共场所或体育场观看比赛的他们的朋友或家人一起去玩。本公开允许观众感受受众的情绪并与感受到观众所感受的情绪的观众相关联，从而允许观众经由数字观看具有更丰富的游戏观看体验。

对于观众来说，常规数字观看的主要缺点之一是缺乏其他观众的存在来分享游戏观看体验。在线视频游戏(例如，电子竞技)允许观众从任何地方观看视频游戏的在线游戏(即，游戏玩法)并且成为观看受众的一部分。观众从他们的客厅、宿舍或任何其他喜欢的聚会场所连接到在线视频游戏以观看游戏玩法。然而，对于观看游戏玩法的观众来说，在线观看缺乏与例如通常为了在体育场进行的现场比赛而在场的其他观众的联系。这个缺点可以通过邀请其他观众到一个场所(例如，体育酒吧)观看在线游戏来克服。将其他观众聚集在一起需要计划，这很耗时，并且需要其他观众在所述时间段内有空，有能力前往场所，并且愿意前往场所。即使当观众聚集在一个选择的场所时，通常聚集在所述场所的观众可能都表达与安排聚集的观众所表达的情绪相同的情绪。在所述场所的观众可能无法完全了解从受众中的观众检测到的各种情绪，因为观众已经聚集在体育场内观看体育的现场比赛。

为了减轻不便并克服常规在线观看的缺点，本文描述的各种实施方案提供了用于在视觉上呈现(即，渲染)从不同地理位置观看视频游戏的在线游戏的不同观众的情绪的方式。特别对于非常受欢迎的电子竞技，使用表达性化身来传达大量观众的情绪。所述化身允许第一位观众快速(即，几乎实时地)衡量大量游戏观众的反应分布，并且将他们的反应与同等群体表达的反应进行比较。所述化身还允许在线游戏的玩家衡量对特定游戏玩法的反馈。为了提供表达性化身，使用情感表露引擎来执行各个步骤。一些步骤包括信息收集步骤或阶段、信息聚合步骤或阶段以及说明步骤或阶段。

如在本申请中使用，观众是观看在线事件、演出、游戏、活动等的个体(即，个人或用户)。受众是指已经聚集以观看诸如戏剧、电影、音乐会、会议、游戏等的在线事件(公共事件或私人事件)的观众群体或集合。在本申请中讨论的各种实现方式中，观众是已经聚集以收听和/或观看视频游戏的游戏玩法的受众的一部分。观众可以参与收听视频游戏的游戏玩法的解说，或者参与观看视频游戏的游戏玩法，或者参与收听和观看视频游戏的游戏玩法两者。在本申请中，情绪和情感可互换使用，用来指代通过人的交互或通过人的表情传达的人(例如，观众)的行为。交互一般经由语音(即，口头)或书写(例如，文本或图形内容，包括文本评论、图形交换格式图像/文件、表情包、表情符号、图形内容等)。一般使用面部特征来提供表情。

在信息收集阶段，在观众正在观看视频游戏的游戏玩法时收集来自观众的现场信息。现场信息可以包括在观众正在观看比赛时观众的面部的现场视频、在他们与玩家和/或与其他观众交流时的现场音频、在诸如聊天界面、留言板等交互界面上发布的文本或聊天评论或表情符号或表情包或图形交换格式图像或文件(GIF)。从每个观众搜集的信息是基于相应观众选择的自愿共享。例如，可以于在视频游戏的内容旁边呈现的用户界面处向每个观众提供共享选项，其中所述共享选项识别由观众生成的交互数据中的所述观众允许系统收集和使用的用于确定所述观众的情绪的特定交互数据。例如，观众可以生成音频数据、文本数据、聊天数据等，并且观众可以生成对视频游戏中发生的事件或动作的反应。观众可以允许系统只收集聊天数据或只收集文本数据或只收集音频数据或只收集反应，或其任何组合。替代地，观众可以允许系统收集观众针对视频游戏的特定部分或视频游戏的特定会话生成或表达的交互数据中的任一者或组合。从每个观众收集的现场信息的类型和数量是基于观众选择的共享选项。

对在信息收集阶段收集到的信息进行实时聚合和分析。例如，捕捉观众的面部的图像的现场视频馈送用于执行实时情绪辨识。机器学习算法可用于识别包括在现场视频馈送中的各种模态数据流，并处理所述模态数据流以从现场馈送识别各种情绪。例如，机器学习算法可用于从在现场馈送中捕捉的面部特征识别观众表达的情绪。类似地，音频和文本评论经过情感分析以识别由观众传达的显著情感和想法，并且类似地使用机器学习算法分析表情包、GIF和表情符号以识别观众表达的情绪。对诸如文本数据、音频数据、聊天数据等模态数据流的分析的结果用于创建动态词云，并且使用对应于不同情绪的关键词更新所述动态词云。所得的词云捕捉受众在不同时间点的情绪状态。机器学习算法进一步用于对观众进行集群，并且通过识别和分组表达相似氛围的成员来识别受众中的氛围派系。氛围派系有助于玩家和观众感受到受众的成员的活力，并且与氛围派系中的特定成员产生比其他氛围派系更强的联系。

分析结果用于可视化每个氛围派系的情绪，并且生成表达性化身来表示每个氛围派系的情绪。每个氛围派系的化身的各种特性经过动态地调整以改变颜色、大小和表情，以反映相应氛围派系的当前情绪。在一些实现方式中，包括在所述化身中的特定化身中的表情被突显以提供反应突显。在替代性实现方式中，每个氛围派系中的或来自非常具体的氛围派系的观众中的选定观众的反应可以与不同氛围派系的表达性化身一起作为反应突显包括在内。表达性化身，以及在某些情况下，所述观众中的选定观众的反应突显渲染在观众的每个客户端装置处渲染的视频游戏的内容的旁边或覆盖在所述内容上。

情感表露引擎被配置为表示受众体验到的多种多样的情绪(即，情绪状态)。化身经过缩放以可视化对应情绪在受众中的支配水平，更具支配性的情绪比不那么具支配性的情绪渲染得更大。使用机器学习的情感表露引擎能够以可缩放的方式辨识分布在广阔地理上的大量观众的情绪，并基本上实时地向观众提供聚合反馈。

考虑到以上概述，将参考若干示例性图描述特定实现方式以便于理解示例性实施方案。然而，对于本领域技术人员将显而易见的是，可以在没有目前描述的具体细节中的一些或所有具体细节的情况下实践本公开。在其他情况下，未详细描述众所周知的过程操作，以便不会没有必要地使本公开混淆不清。

图1绘示了整体游戏云系统10的实施方案，其被配置为执行视频游戏的一个或多个实例以供多个玩家101玩游戏并处理在玩游戏期间生成的玩家交互和观众交互。玩家101a到101n从多个客户端装置访问游戏的实例。对视频游戏的选择和对视频游戏的游戏玩法的请求在网络200(诸如互联网)上从玩家101的客户端装置转发到游戏云服务器300。游戏云服务器300上的游戏引擎302使用存储在用户帐户数据库(未示出)中的用户帐户信息来验证玩家，并且在成功验证后，在一个或多个游戏云服务器300上实例化视频游戏的一个或多个实例。游戏引擎302可以是在一个或多个游戏云服务器300上执行视频游戏的分布式游戏引擎，所述一个或多个游戏云服务器位于一个或多个数据中心(未示出)内，所述一个或多个数据中心位于一个地理位置或分布在多个地理位置上。多个观众102a-102m可以访问在一个或多个游戏云服务器300上执行的视频游戏的游戏玩法以观看视频游戏的在线游戏。对观众102a-102m的访问可能受约束或开放。如果访问受约束，则在向观众102a-102m提供对视频游戏的游戏玩法的访问之前验证观众102a-102m。在一个或多个数据中心中的不同游戏云服务器300上执行的游戏的各种实例一起用于以分布和无缝的方式提供对玩家101a-101n和观众102a-102m的广泛访问。

视频游戏可以是多玩家在线游戏，其中玩家101a-101n可以是个人玩家或者可以是相互竞争的不同队伍的一部分。在一些实施方案中，视频游戏可以包括彼此对立的两个队伍，并且玩家101a-101n可以是两个队伍中的一者的一部分。在替代性实施方案中，视频游戏可以包括两个以上队伍并且玩家101a-101n可以是多个队伍中的任一者的一部分。视频游戏中的玩家交互被转发到游戏引擎302以影响游戏的游戏状态。响应于玩家交互，使更新后的游戏玩法数据返回到玩家101a-101n的客户端装置。游戏玩法数据还被维护在游戏玩法数据存储装置332中以供以后检索。应当注意，存储在游戏玩法数据存储装置332中的游戏玩法数据是来自现场游戏玩法的数据，并且可以在其他观众选择视频游戏进行重播时检索到。游戏引擎对游戏玩法数据进行编码，并将游戏玩法数据作为经编码的视频流转发到玩家101a-101n的客户端装置。玩家101a-101n的客户端装置被配置为接收经编码的视频流、解码视频流并在与相应客户端装置相关联的显示屏幕上渲染游戏玩法内容的帧。显示屏幕可以是客户端装置的一部分(例如，移动装置的屏幕)或者可以与客户端装置相关联(例如，监视器或电视或其他渲染表面)。在一些实现方式中，玩家101a-101n的客户端装置可以是具有屏幕和互联网连接的任何连接装置。

在一些实现方式中，在玩游戏期间，观众102a-102m可以选择视频游戏来观看玩家101a-101n玩的视频游戏的游戏玩法。来自观众102a-102m的请求经由他们相应的客户端装置通过网络200传送到游戏云服务器300。响应于来自观众102a-102m的请求，游戏服务器300(即，游戏云服务器300)将描述视频游戏的当前游戏状态的游戏玩法数据作为经编码的视频流转发到观众102a-102m的相应客户端装置。观众102a-102m的客户端装置接收经编码的视频流、解码视频流并在与相应客户端装置相关联的显示屏幕上渲染游戏玩法数据的帧。观众102a-102m的客户端装置可以是任何计算装置，诸如头戴式显示器(HMD)、移动或便携式计算装置、桌上型计算装置等，并且显示装置可以是与HMD或其他移动计算装置相关联的显示屏幕(例如，移动电话的屏幕、平板计算装置等)，或者可以是通信地连接到观众102a-102m的客户端装置的单独的显示装置或显示表面，诸如监视器、电视、显示屏幕等。观众102a-102m构成正在观看和/或收听由多个玩家101a-101n玩的视频游戏的游戏玩法的受众103。

观众102a-102m可以提供与在玩家101a-101n和观众102a-102m的客户端装置上的视频游戏渲染相关的交互。交互可以以在视频游戏的内容旁边渲染的文本或表情符号或表情包或GIF的形式在诸如聊天界面或留言板、社交媒体界面等的用户界面上提供。交互可以以由包括在观众102a-102m的客户端装置中或与所述客户端装置相关联的麦克风或其他音频捕捉装置捕捉的音频评论的形式提供。来自观众102a-102m的交互还可以呈观看游戏玩法的观众的表情的形式，可以使用集成在观众102a-102m的客户端装置(例如、头戴式显示器、智能眼镜、移动装置等)内的一个或多个摄像机或从通信地连接到观众102a-102m的客户端装置的外部相机捕捉所述交互作为现场视频。受众103中的观众的交互被转发到游戏云服务器300。

情感表露引擎304收集受众103中的观众102a-102m的交互，分析所述交互以识别不同观众102a-102m表达的情绪，根据所表达的情绪将受众103中的观众102a-102m分组，生成表示每个观众群体的化身，并且调整每个生成的化身的表情以匹配从相应观众群体检测到的情绪。表达性化身，诸如表达性表情符号，被转发到观众102a-102m的客户端装置，以覆盖在观众102a-102m的受众103的代表性图像上，所述代表性图像在视频游戏的内容旁边渲染在观众102a-102m的相应客户端装置处。所渲染的表达性化身向观众提供从观看视频游戏的游戏玩法的观众检测到的不同情绪的视觉表示。

图2绘示了根据一种实现方式的用于处理交互并且针对作为观看视频游戏的游戏玩法的受众103的一部分的观众群体102生成代表性化身的情感表露引擎304的各种交互处理阶段的宽泛概述。情感表露引擎304使用机器学习算法来执行各种处理阶段，以从观众的交互数据识别情绪，并以化身的形式说明所述情绪。处理阶段和紧随其后的情感表露引擎304可以大体上分类为三个主要阶段。所述三个主要阶段包括由交互收集引擎311执行的交互收集阶段、由情绪聚合引擎312执行的情绪聚合阶段和由情绪可视化引擎313执行的情绪可视化阶段。情绪聚合阶段涵盖情绪检测和根据检测到的情绪的观众集群。

图3识别了在一种实现方式中由情感表露引擎304在每个阶段执行的样本操作集。同时参考图2和图3，观众102的交互在视频游戏的多个观众102的相应客户端装置处被捕捉，并且作为交互数据通过网络200被转发到游戏云服务器300。在游戏云服务器300上执行并可操作地连接到游戏引擎的情感表露引擎304从观众收集交互数据，处理交互数据，并生成表达性化身。

从交互收集阶段开始，情感表露引擎304开始处理从观众收集的交互数据。在交互收集阶段，交互收集引擎311实时地收集在观众正在观看视频游戏的游戏玩法时由观众102生成的各种交互。交互数据可以呈观众响应于基于由一个或多个玩家提供的输入在视频游戏中发生的事件或动作或活动而做出的反应的形式。替代地，来自观众的反应可以响应于由视频游戏的其他观众或玩家提供的交互。所述交互基于类型经过分类。可收集的不同类型的交互包括至少捕捉观众的面部特征的现场视频、响应于视频游戏内的动作/活动而提供或作为与其他观众或玩家的交互的一部分的来自观众的口头交互的音频内容、文本或图形(例如，表情包、GIF、表情符号等)内容等。经过分类的交互存储在情感搜集数据库(或简称为“情感数据库”)334中，并作为输入提供给情绪聚合引擎312作为情绪聚合阶段的一部分。

可以使用集成在观众的客户端装置内或通信地耦合到观众的客户端装置的各种图像捕捉装置，诸如图像传感器、摄像机、照相机、数码相机、立体相机等，来捕捉观众的现场视频。观众的现场视频用于识别面部特征，可以从所述面部特征推断出观众的潜在表情。类似地，可以使用客户端装置的麦克风或其他音频捕捉装置或通信地耦合到观众的客户端装置的麦克风或其他音频捕捉装置来捕捉音频内容。可以从在视频游戏的内容旁边渲染的聊天界面或消息界面或社交媒体界面获得文本或图形内容。应当理解，交互数据是基于观众选择的用于分享在观看视频游戏的游戏玩法时生成的模态内容中的某些模态内容的选项从观众收集的。例如，观众可以明确选择分享他们的聊天内容而不是他们的视频或音频内容。因此，在一些实现方式中，可以提供具有用于共享由观众生成的不同模态内容的选择选项的用户界面(未示出)以供观众选择。观众可以通过选择适当的选择选项来选择不共享、共享从交互数据识别出的不同模态内容中的一者、一些或全部。基于由每个观众选择的选择选项，情感表露引擎304从观众的交互数据搜集对应的模态数据流用于处理。

在情绪聚合阶段期间，情绪聚合引擎312在观众正在观看视频游戏的在线游戏(即，游戏玩法)时实时地收集观众102的交互，并分析所述交互以辨识由观众在观看视频游戏的游戏玩法时表达的情绪。情绪聚合引擎312使用机器学习算法来识别从自观众收集的交互数据检测到的情绪(312a)。机器学习算法首先确定包括在从观众收集的交互中的各种模态数据流。然后，机器学习算法通过采用单模态或多模态方法来处理模态数据流。例如，可通过机器学习算法处理每个观众的视频馈送，以识别面部特征并执行实时情绪辨识。类似地，可以通过执行情感分析以识别表示观众传达的显著情感和想法的关键词来处理音频内容和文本内容。

然后，机器学习算法对观众通过交互表达的各种情绪进行分类，以识别氛围。观众可能会不同程度地表达情绪。例如，观众可能会不同程度地表达快乐情绪，包括不同幅度的微笑，使用不同的关键词(例如，快乐、狂喜、喜悦、高兴、真棒等)。机器学习算法辨识不同观众表达每种情绪的不同程度，并相应地将各种交互分类为每种情绪的氛围桶。然后对每个氛围桶中的不同程度的情绪进行聚合(312b)。情绪聚合引擎312使用的机器学习算法创建词云，并使用从文本和口头交互的情感分析识别出的关键词来动态地更新(312c)词云。在视频游戏的任何给定时间点的动态词云提供了受众的情绪状态的视觉、文本表示。包括在来自观众的交互数据中的其他图形内容，诸如图形交换格式文件/图像(GIF)、表情包、表情符号等，由机器学习算法以类似于视频馈送的处理方式进行处理，以识别观众表达的情绪。机器学习算法使用从词云中的关键词、观众的视频和图形内容(例如，表情包、GIF、表情符号、其他图形内容)识别出的情绪来识别受众中的氛围(步骤312c)，并且将受众中表达相似氛围的观众分组(即，集群)到氛围派系中(步骤312d)。

在一种实现方式中，一旦初始氛围派系形成，观众就保持为相应氛围派系的成员，直到从观众接收到与初始氛围派系解除关联的明确请求为止。因此，当从特定氛围派系的观众接收到附加的交互时，所述附加的交互由情绪聚合引擎312的不同子部件处理以识别由所述特定氛围派系的观众表达的附加情绪。与特定氛围派系相关联的附加情绪经过动态地更新以反映特定氛围派系的相应观众群体的当前情绪。所述附加的交互可以是响应于在视频游戏的游戏玩法中发生的某些动作或活动的反应，或者可以是响应于由特定氛围派系或不同氛围派系的玩家或观众生成的某些交互的反应。将具有相似氛围的观众分组允许每个群体中的观众与所述玩家中的特定玩家相关联并且与表达相似氛围的其他观众相符。类似地，所述分组允许玩家与相关联的观众群体的活力剧烈摇摆，这可类似于在体育场中比赛的现场比赛的支持者。与氛围派系相关的数据被提供作为情绪可视化阶段的输入。

在情绪可视化阶段，情绪可视化引擎313针对每个氛围派系生成一个化身，并调整每个化身的表情以反映每个氛围派系的情绪。除了调整表情外，情绪可视化引擎313还调整化身的一个或多个特性，诸如化身的尺寸、颜色等，以反映受众的情绪，其中较大的化身用于表示更具支配性的情绪，并且较小的化身用于表示受众中的观众表达的不大具支配性的情绪。除了生成化身之外，情绪可视化引擎313还识别适当的反应音轨以与每个氛围派系相关联。反应音轨提供表达与每个氛围派系相关联的氛围的受众的声音。例如，氛围可以包括快乐、悲伤、惊讶、愤怒、中性等，并且识别与从现场受众捕捉的这些氛围相关联的反应音轨以与代表性化身一起呈现。在一种实现方式中，各种氛围的反应音轨可以存储在游戏云服务器300内或游戏云服务器300外部的反应音轨数据存储装置(未示出)中，并由在游戏云服务器300中执行的情感表露引擎304访问。存储在反应音轨数据存储装置中的反应音轨可以包括针对不同情绪以及根据背景组织的反应音轨。例如，反应音轨可以捕捉针对不同事件和不同背景表达的不同情绪。情绪可视化引擎313基于视频游戏的背景针对每个氛围派系中表达的情绪识别适当的反应音轨。

调整后的化身返回到观众102的相应客户端装置，用于在观众102的受众103的图像表示上进行渲染。对表达性化身的渲染向玩家101和受众103的观众102提供观众102的受众103所体验的情绪分布的视觉表示。在一些实现方式中，化身是呈表情符号的形式。使用机器学习，情感表露引擎304设法以可缩放的方式辨识大量观众的情绪，并实时提供聚合反馈，以允许不同群体中的观众正确衡量观众102的人群的情绪。

除了返回与不同氛围派系相关联的观众的化身之外，针对与不同氛围派系相关联的各种情绪识别的反应音轨也被转发到观众的客户端装置以与化身一起渲染。反应轨道向观众提供了感受受众的氛围的附加方式。化身提供氛围的视觉表示，并且反应音轨提供氛围的听觉表示。观众可以听到和感受到受众的氛围，让他们相信自己是在竞技场或体育场与观众人群一起观看比赛，而不是独自在他们的客厅里观看比赛。

图4绘示了在一种实现方式中的情感表露引擎304的一些部件。如先前参考图2和图3所提到的，情感表露引擎304包括交互收集引擎311、情绪聚合引擎312和情绪可视化引擎313。一些部件可包括额外的子部件。例如，情绪聚合引擎312可以包括交互分析器314、关键词分析引擎315和视觉情绪分析引擎325。类似地，情绪可视化引擎313可以包括化身可视化器316。

交互收集引擎311在观众参与观看视频游戏的在线游戏时收集由观众102生成的交互数据，并且处理所述交互数据以识别包括在其中的不同交互模式(即，类型)。可由交互收集引擎311识别的不同交互模式可大体上分类为包括音频分量和视频分量的观众现场视频311a、观众音频311b和聊天评论311c。当观众正在观看在线游戏(即，游戏玩法)时，使用朝向观众定向的一个或多个图像捕捉装置捕捉观众的现场视频。图像捕捉装置可以包括摄像机、立体相机、数码相机或与观众的客户端装置关联或在所述客户端装置处可用的任何其他图像捕捉装置中的一者或多者，其中客户端装置可以是便携式计算装置，诸如膝上型计算装置、智能电话、头戴式显示器、智能眼镜、可穿戴计算装置、平板计算装置等，或桌上型计算装置。聊天评论可以包括经由聊天界面或留言板或交互式社交媒体界面或任何其他交互式应用程序界面提供的任何和所有类型的内容。聊天评论可包括由观众响应于在视频游戏的游戏玩法期间发生的事件或活动或动作或响应于来自其他观众或玩家的交互而提供的文本评论、视频或视频剪辑、表情符号、表情包、GIF、音频剪辑等。

在一种实现方式中，情绪聚合引擎312基于模态类型不同地处理由交互收集引擎311识别的交互。例如，情绪聚合引擎312内的交互分析器314用于处理经由聊天界面提供的图形内容以识别经由表情符号、表情包、GIF和其他图形内容表达的情绪。针对为图形内容识别的每种情绪计算概率得分。提供图形内容的情绪和概率得分作为化身可视化器316的输入。

观众的现场视频可以部分地由交互分析器314处理并且部分地由视觉情绪分析引擎325处理。例如，视觉情绪分析引擎325用于处理在现场视频中捕捉到的观众图像，并且交互分析器314用于处理在现场视频中包括的口头内容。视觉情绪分析引擎325用于分析面部图像以识别在所述图像中捕捉的面部特征，从而识别观众表达的情绪。视觉情绪分析引擎325可以使用机器学习算法来识别在图像中捕捉的各种面部特征的属性，并且使用表情辨识神经网络来识别观众表达的情绪。由于观众提供的表情可能对应于一种以上情绪(参见图11)，所以确定最具支配性的情绪有助于将观众集群到适当的氛围派系中。因此，视觉情绪分析引擎325针对从面部特征的属性识别出的每种情绪计算概率得分(还称为“情绪概率得分”)325a。基于从观众的表情识别出的每种情绪的概率得分325a，识别出观众表达的最具支配性的情绪。在识别出每个观众的情绪后，观众被集群到氛围派系中，其中每个氛围派系对应于独特情绪。提供每个氛围派系中的观众的细节和与每个氛围派系相关联的情绪作为化身可视化器316的输入。

交互分析器314可以处理现场视频的音频内容以识别其中包括的关键词。类似地，聊天内容的文本部分由关键词分析引擎315处理以识别关键词，并使用关键词来识别观众经由文本内容输入传达的情绪。交互分析器314的功能的更多细节将参考图5进行描述。提供交互分析器314通过分析交互的文本和音频内容而识别出的关键词作为关键词分析引擎315的输入。

关键词分析引擎315使用由交互分析器314识别的关键词来填充用于识别与情绪相关的关键词的词云。词云中的情绪相关关键词用于识别受众中的观众表达的不同情绪。随着越来越多的观众开始经由交互表达某些情绪，关键词分析引擎315计算对应于词云中的较高情绪的关键词的概率得分。提供词云的各种关键词以及对应的计算出的概率得分作为情绪可视化引擎313的输入。从各种交互检测到的情绪用于将观众集群到氛围派系中，其中每个氛围派系对应于不同的氛围或情绪。可以基于观众的年龄、人口统计和其他用户属性进一步细化或调节对观众的集群。可以从在游戏云系统处维护的用户档案获得用户属性。提供针对不同情绪识别的氛围派系作为情绪可视化引擎313的输入。

情绪可视化引擎313从情绪聚合引擎312接收各种输入并使用所述输入为每个氛围派系创建化身。作为创建化身以表示每个氛围派系的情绪的一部分，情绪可视化引擎313计算每个氛围派系的置信度得分作为氛围派系中的已经表达支配性情绪或支配性情绪的可比较版本的观众的数目。基于计算出的置信度得分，化身可视化器316创建并缩放对应于在受众中识别的不同氛围派系的化身。调整化身包括至少根据相应氛围派系的置信度得分来调整化身的表情、大小和颜色。

每个化身的大小被缩放以与置信度得分相关联，使得具有最高置信度得分的化身将被渲染为大于具有较低置信度得分的化身。类似地，化身的颜色可以经过调整以反映正在表达的情绪的氛围评级。例如，愤怒的情绪可以渲染为红色，而快乐的情绪可以渲染为绿色。将参考图12讨论氛围评级的更多细节。在一些实现方式中，化身可视化器316可以选择性地识别情绪中的某些情绪以生成表达性化身，使所述表达性化身返回到观众的客户端装置以渲染在观众的图像表示上。例如，由情绪可视化引擎313识别出的情绪的数目可能过多，并且针对在受众中识别出的所有情绪渲染化身可能使得显示屏幕上的渲染过于拥挤。因此，为了在确保适当地表示受众103中的观众102的情绪的同时防止化身的这种过度拥挤，化身可视化器316可以选择预定义数目的情绪来使用化身进行表示并相应地生成化身。用于表示的情绪可以基于它们的与对应的氛围派系相关联的置信度得分来选择。例如，用于在受众上呈现的化身的最大数目可以被预定义为5。因此，当从受众的观众中识别出多于5种情绪时，化身可视化器316可以选择具有最高置信度得分(即，具有更高的支配水平)的前5种情绪(即，支配性情绪)来生成化身。

将表达性化身返回到观众102的客户端装置，用于在视频游戏的内容旁边呈现的受众103的图像表示上进行渲染。表达性化身提供了在人群(即，受众103)中具支配性的情绪的视觉表示。基于情绪的视觉表示，观众可能够识别出他们与其情绪最相符以进行聚会的观众群体，使得看起来好像他们一起在体育场观看现场事件(例如，比赛)。

图5绘示了在一种实现方式中用于处理在视频游戏的在线游戏期间从观众的交互收集的交互数据的交互分析器314的各种部件。如早先所述，交互数据可以包括聊天内容、现场视频、直播音频等。聊天内容是从聊天界面或即时消息界面或社交媒体界面等获得，视频游戏的观众和玩家通过所述聊天界面或即时消息界面或社交媒体界面等相互交流以表达他们的想法并提供评论。交互收集引擎311收集观众的交互并将所述交互转发给交互分析器314以供进一步处理。交互分析器314分析交互以识别包含在交互中的不同数据模式。各种模态对应于在交互中包括的内容的类型。在观看视频游戏的直播游戏玩法的实现方式中，在现场玩游戏期间在相应的客户端装置处捕捉观众的交互并且将所述交互作为数据流传输到情感表露引擎304。这些数据流可以包括不同模式的数据，诸如捕捉观众表情的现场视频数据、文本数据、音频数据、图形数据等。

交互分析器314实时地接收和处理交互中的每一者(例如，聊天交互、现场视频和音频内容)以识别不同的模态数据流。交互分析器314可以包括多个子模块以处理从交互识别出的不同模态数据流。在一种实现方式中，与聊天内容相关的数据流可以由聊天评论分析器314a处理，现场视频内容的数据流可以由视频内容分析器314b处理，并且音频内容的数据流可以由视频内容分析器314c处理。当观众在延后的时间观看视频游戏的游戏玩法的重播时，遵循收集来自观众的交互并且识别和处理不同数据流的类似过程。

聊天评论可包括由不同的观众提供的文本、表情包、表情符号、GIF等，作为他们与其他观众或玩家的交互的一部分，或者作为与视频游戏的游戏玩法相关的一般评论或与观众或玩家相关的反应的一部分。聊天评论分析器314a识别包括在聊天交互中的不同模态数据并单独地处理每个模态数据流。例如，可以提取聊天交互内的表情包、GIF和表情符号并提供其作为面部检测算法320a的输入。面部检测算法320a使用机器学习算法320来识别面部特征并裁剪包括在表情包、GIF、表情符号和其他图形内容中的图像，以便仅包括来自图形内容的相关面部特征。提供裁剪后的图像作为表情辨识神经网络320c的输入。面部检测算法320a和表情辨识神经网络320c是视觉情绪分析引擎325的一部分。使用各种面部样本来训练表情辨识神经网络320c。表情辨识神经网络320c在机器学习算法320的辅助下使用经过训练的信息来识别观众通过聊天界面提供的表情包、GIF、表情符号和其他图形图像中表达的显著情绪和想法。机器学习算法320将每个面部特征(例如，眼睛、鼻子、嘴巴等)单独地、组合地以及作为一个整体与来自表情辨识神经网络320的训练过的数据进行比较，以找到最佳匹配图形图像的表情的显著情绪。提供所识别的显著情绪作为化身可视化器316的输入。类似地，聊天交互内的文本内容经过提取并被转发到情绪关键词识别(ID)引擎320d。

除了处理聊天内容之外，交互分析器314还处理在观众观看视频游戏的游戏玩法时实时捕捉的观众的现场视频。所述现场视频可以由一个或多个面向观众的诸如相机的图像捕捉装置捕捉。相机可以集成在观众的客户端装置内，或者可以是通信地连接到客户端装置的外部相机。所捕捉的视频至少包括观众的面部。除了捕捉观众的图像之外，相机还可以捕捉在观众观看视频游戏时的观众的口头反应(例如，怒骂、评论、反应等)。视频内容分析器314b用于将现场视频的视频部分转发到面部检测算法320a，所述面部检测算法裁剪观众的图像以包括面部特征并将裁剪后的图像转发到表情辨识神经网络320c。表情辨识神经网络320c以类似于如何处理来自聊天内容的图形图像的方式来处理来自裁剪后的观众图像的面部特征。例如，机器学习算法320在表情辨识神经网络320c的辅助下识别所捕捉的每个面部特征以及在裁剪后的图像中捕捉的观众的整体面部特征，并且将所述每个面部特征和所述整体面部特征与来自表情辨识神经网络的训练过的数据进行比较，以识别最佳匹配观众的面部特征的显著情绪(和想法)。

在一些情况下，对面部特征的分析可能会导致识别与多种情绪相对应的表情。在这种情况下，机器学习算法320在表情辨识神经网络320c的辅助下可以计算从包括在现场视频中的图像中捕捉的观众的面部特征识别的每种情绪的概率得分325a。基于从观众的面部特征识别出的多种情绪的概率得分325a来确定与观众相关联的显著情绪。观众的现场视频可以包括视频分量和音频分量两者。在一些实现方式中，通过以下操作采用单模态方法：仅将现场视频的视频分量馈送到表情辨识神经网络320c以识别从观众的交互检测到的显著情绪。在其他实现方式中，可以通过以下操作采用多模态方法：将视频分量与在现场视频中捕捉的对应的音频分量配对并将配对的内容(即，视频和音频内容)转发到面部检测算法320a以用于向前传输到表情辨识神经网络320c。与仅使用来自视频的裁剪后的图像的单模态方法一样，在多模态方法中，表情辨识神经网络320c使用来自视频的裁剪后的图像和相关联的音频来识别从每个观众检测到的显著情绪。音频数据可用于进一步细化从每个观众的面部特征识别的显著情绪。构成受众103的多个观众的显著情绪作为输入转发到化身可视化器316。

除了聊天内容和视频内容之外，通过交互分析器314的音频内容分析器314c处理在视频游戏的在线游戏期间生成的音频内容。所述音频内容可以由观众或玩家在在线游戏期间生成，并且可以使用嵌入客户端装置中的麦克风或使用通信地耦合到观众的客户端装置的外部音频捕捉装置(例如，音频记录仪、外部麦克风等)来捕捉。替代地，音频内容可以来自包括在聊天内容中的音频剪辑。在一些实现方式中，音频内容分析器314c可以通过应用滤波器来处理音频内容以滤除环境噪声和/或选择性地提取音频信号中的特定音频信号。经处理的音频内容被转发到音频输入处理器320b。音频输入处理器320b包括或使用语音到文本转换器320b1以将音频转换成文本。经转换的文本由音频输入处理器320b转发到关键词识别引擎320d。除了文本内容之外，还分析音频内容以识别某些音频特征并使用音频特征来检测情绪。例如，无论内容如何，音频的音调、幅度、持续时间等可能传达不同的情绪。因此，音频输入处理器320b可以使音频分析器模块(未示出)与机器学习算法结合以分析音频内容并提取某些音频特征，诸如音调、幅度、持续时间等，并且预测与音频内容的所提取的音频特征相关联的情绪。从音频内容的所提取的音频特征识别出的情绪被从交互分析器314转发到化身可视化器316作为输入。

关键词识别引擎320d从包括在聊天内容和现场视频的音频分量中的音频数据接收文本内容和经转换的文本内容。关键词识别引擎320d检查文本内容并识别其中包括的关键词。所述文本内容可以包括关于与某些情绪相关联的表达和/或关于聊天界面内的讨论主题的关键词。应当注意，对聊天界面的任何引用都可以扩展为包括交互界面，观众能够通过所述交互界面相互交流以及与视频游戏的玩家交流。讨论的主题可能关于视频游戏的游戏状态或游戏玩法，或者可能关于观众或玩家的评论或行为，或者可能关于与视频游戏相关的其他内容。例如，讨论的主题可能涉及玩家的游戏风格、与视频游戏的游戏玩法或视频游戏的内容相关的评论、与观众、玩家相关的评论、响应于观众或玩家的交互的评论等。由关键词识别引擎320d识别的关键词被转发到关键词分析引擎315作为输入以供进一步处理。

图6绘示了关键词分析引擎315的用于识别关于情绪的关键词并根据在观众的交互中表达的情绪来对观众进行集群的各种部件。例如，关键词分析引擎315开始于首先通过以下操作执行情绪关键词检测315a：识别关于基本情绪的关键词，诸如开心、恐惧、悲伤、愤怒、惊讶、厌恶、嫉妒、期待、孤独和信任，以及关于与情绪相关联的表达的关键词。由交互分析器314识别的一些关键词可能不直接表达情绪而是可以与情绪相关联的表达。关键词分析引擎315使用机器学习算法320来识别可以与不同情绪相关联的表达性关键词。例如，诸如好笑的或愉快的或兴奋的关键词可能与快乐情绪相关联，诸如粘人的或喜怒无常的或挑剔的关键词可能与悲伤情绪相关联，诸如恐慌的或可怕的或紧张的关键词可能与恐惧情绪相关联，诸如恼怒的或坏脾气的关键词可能与愤怒情绪相关联等。当然，一些表达性关键词可能是对应情绪的同义词，而其他表达性关键词可能不是。机器学习算法320使用视频游戏和/或其他视频游戏的观众交互的历史以及在当前玩游戏会话期间在交互界面处提供表达性关键词的背景来正确地识别用于与表达性关键词相关联的情绪。

关键词(即，识别基本或主要情绪的关键词和/或与情绪相关联的表达性关键词)用于实时地动态地生成和填充词云(315b)。词云中的关键词对应于观众的受众的当前情绪。当从观众接收到额外的交互时，会从文本识别出额外的关键词，并且动态地更新词云以反映观众的情绪。

检查词云以识别受众中的观众(315c)表达的各种情绪。作为识别各种情绪的一部分，关键词分析引擎315在机器学习算法320的辅助下识别关于每种情绪的各种关键词并相应地将所述关键词编制索引。对每个关键词编制索引是为了识别关键词所属的情绪，以及识别在视频游戏的在线游戏期间将所述关键词包括在他们的交互中的观众的数目。索引用于按照情绪将关键词集群(315d)到不同的氛围派系中，其中每个氛围派系对应于独特情绪。因此，诸如快乐的情绪关键词和诸如好笑、愉快、兴奋等的表达性关键词，可以在与快乐情绪相关联的氛围派系下被集群在一起。类似地，诸如悲伤的情绪关键词和诸如粘人的、喜怒无常的或挑剔的表达性关键词被集群在与难过或悲伤情绪相关联的氛围派系下，并且诸如害怕、恐惧的情绪关键词和诸如恐慌的、可怕的、紧张的表达性关键词被集群在与恐惧情绪相关联的氛围派系下，且依此类推。基于已经使用用于表达相关联的情绪的每个关键词的人数，可以调整关键词在词云中的大小，其中所述大小用于在视觉上表示曾使用所述关键词表达对应情感的观众的数目。

词云提供了观众通过文本或音频内容表达的各种情绪的视觉表示，并且关键词的大小表示不同观众在交互期间使用关键词的次数。除了将观众集群为氛围派系之外，关键词分析引擎315还计算每个氛围派系的置信度得分。将每个氛围派系的置信度得分计算为受众中使用关键词或通过表情表达支配性情绪或支配性情绪的变化的观众的数目。每个观众表达的情绪使用概率得分325a来确定，所述概率得分是针对从对从现场视频获得的图像中捕捉的面部特征的分析中识别的每种情绪来计算的，其中观众表达的情绪被识别为具有最高概率得分325a的情绪。

图7绘示了在一种实现方式中用于生成用于在观众的图像表示上渲染的代表性化身的化身可视化器316。化身可视化器316接收由交互分析器314提供的显著感受和想法(即，情绪)和由关键词分析引擎315提供的情绪关键词。情绪关键词和情绪用来创建表达性化身以表示在受众中识别的每个观众群集(即，氛围派系)的独特情绪。另外，与不同的氛围派系相关联的置信度得分用于缩放对应的表达性化身。首先，化身可视化器316首先对情绪进行分类(316a)，以确定从观众的交互识别出的情绪的数目。当识别出的情绪的数目过多时，一些情绪基于从那些情绪中检测到的相似程度被集群在一起(316b)。例如，可以从由交互分析器314和关键词分析引擎315提供的输入识别主要情绪(例如，快乐、难过、恐惧、愤怒等)。针对从输入识别出的每种情绪计算相似度得分。主要情绪的相似度得分被定义为1，而作为主要情绪的变体的其他情绪的相似度得分被定义为介于0与1之间的数字。例如，以情绪关键词为例，向表示主要情绪的关键词快乐指派相似度得分1。向作为诸如微笑、满意、狂喜、好笑、愉快、兴奋等快乐情绪的变体的其他关键词指派介于0与1之间的相似度得分。在一种实现方式中，作为主要情绪的变体的关键词的相似度得分可以基于在交互中使用关键词的背景来确定。相似度得分用于识别支配性情绪(即，主要情绪)，并且将从交互识别出的不同情绪集群到针对所述支配性情绪定义的氛围派系中。因此，氛围派系可以形成为包括具有与支配性情绪的相似度得分相差预定义百分比(例如，5％或10％)或预定义数目(例如，0.005-0.010)的相似度得分的情绪。根据以上示例，快乐或开心情绪的氛围派系可包括表达快乐情绪的观众，以及表达快乐情绪的变化(例如，微笑、满足、狂喜、好笑、愉快、兴奋等)的观众。

作为根据观众表达的情绪将观众集群到氛围派系中的一部分，将针对每个氛围派系的置信度得分计算为正在表达与氛围派系相关联的情绪的观众的数目。因此，对于每个氛围派系，置信度得分是正在表达主要情绪以及与相应氛围派系相关联的主要情绪的变化的观众的数目。除了对情绪进行集群以及计算各种情绪的置信度得分之外，化身可视化器316还可以确定在受众中检测到的情绪的数目。当检测到的情绪的数目太多时，化身可视化器316可以仅选择预定义数目的化身来表示。例如，如果识别出/检测到的情绪的数目是10或12(例如，10或12种基本情绪)，则化身可视化器316可以识别前5种情绪以使用化身来表示，其中5可以是预定义数目。

另外，化身可视化器316可以确定所表达的情绪本质上是积极的还是消极的。在一种实现方式中，化身可视化器316可以通过参考情感表露引擎304可用的心理学文献来确定每个表达的情绪的积极或消极性质。情绪的性质可用于以不同颜色呈现化身以提供受众中的情绪的更直观表示。例如，快乐情绪被认为是积极的情绪，而愤怒或悲伤或恐惧情绪被认为是消极的情绪。积极情绪可以用绿色表示，而消极情绪可以用红色表示。当识别出一种以上积极情绪时，表示积极情绪的每个化身可以表示为绿色强度的变化，其中最积极的情绪具有最强烈的绿色，而最不积极的情绪具有较浅的绿色阴影。当在受众中检测到一种以上负面情绪时，可以应用类似的变化。替代地，每个基本情绪可以由不同的颜色表示。除了颜色之外，化身可视化器316还可以识别在生成由交互分析器314和关键词分析引擎315识别的每种情绪的表达性化身时要包括(即，混合)的附加特征。化身可视化器316然后通过在生成情绪的表达性化身时包括针对每种情绪识别的所有特征(例如，颜色等)来执行情绪混合316c。

化身可视化器316然后通过调整适当化身的表情以匹配所述情绪来执行情感评测(316d)。在评测期间，化身可视化器316混合针对每种情绪识别的各种特征(例如，颜色、大小等)，以便生成适当地表示每个氛围派系中的支配性情绪的化身。在一种实现方式中，以表情符号的形式生成化身。应注意，将表情符号渲染为表达性化身是表示情绪的一种方式，并且还可以使用其他形式的化身或表示。

一旦生成每种情绪的化身，化身可视化器316的表情符号/化身缩放引擎316e使用针对每个氛围派系计算的置信度得分来动态地缩放针对每种情绪生成的化身。进行动态缩放以提供每种情绪在受众中的支配水平的视觉指示，其中与最具支配性的情绪对应的化身比其他情绪更大。表示不同情绪的评测和缩放的化身被返回到观众的客户端装置，用于在视频游戏的内容旁边呈现的受众的图像表示上进行渲染。使用机器学习算法320的情感表露引擎304提供了一种快速(即，准实时地)衡量散布在广阔地理区域上的大量游戏观众的反应分布的方式。聚合视觉反馈对观众来说是直观的，允许观众将受众的各种情绪可视化。视觉表示还允许观众将他们的反应与不同群体的反应进行比较，并识别受众中情绪与他们自己最相符的群体(即，氛围派系)。

图8A绘示了根据一种实现方式的基于使用由情感表露引擎304使用的机器学习算法所采用的单模态情绪辨识方法对现场视频的视频部分进行分析来识别观众表达的不同情绪的过程。在这种方法中，在现场视频中捕捉的各种视频帧捕捉观众的面部特征。分析在现场视频中捕捉的每个视频帧以识别嵌入其中的面部特征。裁剪每个视频帧以包括面部特征。机器学习模型使用面部特征对观众的不同情绪进行分类。

交互分析器模块314独立地处理从每个观众捕捉的或由每个观众生成的内容的每个模态，以推断所表达的情绪并融合来自从与每个观众相关联的交互数据识别的不同模态的情绪。每个观众的融合情绪然后被提供给化身可视化器316作为输入，以使用化身将情绪可视化。在图8A中绘示的示例中，视频模态数据(即，现场视频)正由交互分析器314处理。在交互数据中识别的其他模态数据可以以类似方式处理。如图所示，交互分析器314可以使用视觉情绪分析引擎325连同机器学习算法320来处理包括在现场视频中的视频模态数据，其中处理包括提取在现场视频中捕捉的每个观众的特征(例如，面部特征)，并在表情辨识神经网络320c的辅助下独立地推断相应观众的情绪。在图8A中绘示的实现方式中，表情辨识神经网络是单模态流深度神经网络，其经过训练以使用从特定模态识别的特征，并根据观众的特定模态预测特征的情绪。然后将从每个模态数据识别出的情绪与从每个观众的其他模态数据识别出的情绪进行组合。例如，如图8A所示，针对现场视频预测情绪。然后例如通过加权平均将现场视频的推断情绪与根据在观众的交互数据中包括的其他模态预测的情绪融合。因此，对观众的情绪预测是基于融合对那个观众的不同单模态流情绪的预测。化身可视化器316接收每个观众的融合情绪，确定受众内各种情绪的分布，并生成合适的化身以将受众中的观众的情绪可视化。

图8B绘示了根据一种实现方式的基于使用利用情感表露引擎304的机器学习算法320所采用的多模态情绪辨识方法对现场视频的视频和音频部分进行分析来识别观众表达的不同情绪的过程。在图8B的示例中，处理从不同模态流识别的现场视频和音频特征以识别观众表达的情绪。可以由观众在视频被捕捉时或在观众与其他观众交互时生成音频。在这个实现方式中，来自每个模态的特征被用作输入来训练表情辨识深度神经网络320c以预测观众的情绪。然后将预测的情绪提供给化身可视化器316以生成化身。化身可视化器316接收每个观众的预测情绪，确定受众内各种情绪的分布，并生成反映观众的情绪分布的具有适当大小和颜色的化身。在图8B中绘示的实现方式中，表情辨识神经网络是多模态深度神经网络，其经过训练以使用来自两种不同模态的特征来预测观众的情绪。在图8B中绘示的示例中，仅示出了两种模态(即，现场视频和音频流)经过组合以预测观众表达的情绪，而实际上可以使用两种以上交互数据模态来预测观众的情绪。

图8C绘示了在一种实现方式中机器学习算法在单模态方法中采用的用于识别观看视频游戏的游戏玩法的观众的情绪的主要步骤。在所说明的示例中，单模态方法使用观众的现场视频作为输入，所述现场视频是使用结合在观众的客户端装置内或与观众的客户端装置相关联的相机或图像捕捉装置捕捉的。在客户端装置处捕捉的观众的现场视频被转发到云服务器。情感表露引擎304接收现场视频，提取其内包括的观众图像，检测观众的面部并裁剪观众图像以仅保留面部特征。然后使用裁剪后的图像识别观众的表情，并使用来自表情辨识神经网络的训练过的数据将所述表情与情绪联系起来。

图9绘示了在一种实现方式中的样本屏幕，其示出了在使用交互收集引擎311的交互收集阶段期间在现场视频中捕捉的观众的图像。使用图像捕捉装置捕捉作为观看游戏玩法的现场受众的一部分的观众的现场视频，并且使所述现场视频可由情感表露引擎304使用。在图9中绘示的样本屏幕示出了每个观众表现出不同的情绪，但情况可能并非总是如此。除了诸如手、身体等其他特征之外，观众的图像还捕捉面部特征。因为情绪(即，基本情绪)是使用面部特征来表达的，所以情感表露引擎304从观众的图像识别面部特征，并且裁剪所述图像以仅包括显示情绪的面部特征。裁剪后的面部特征由交互分析器314处理，以识别从观众检测到的显著情绪。在图9中，为了保护观众的隐私，已经在观众的图像中的真实面部上提供了图形覆盖，而现实中来自观众的真实面部的面部特征用于确定观众表达的情绪。

图10示出了在一种实现方式中用于识别观众情绪的样本面部特征辨识过程。图10示出了观众的样本集的裁剪后的图像的图解，其中图像被裁剪为仅包括面部特征。在一种实现方式中，交互分析器314使用面部特征来识别观众的显著情绪。交互分析器314检查诸如眉毛、眼睛、鼻子、额头、嘴巴等的每一个面部特征的各个方面(例如，眉毛的结、鼻子的褶皱、额头上的皱纹、眼睛睁开的程度、嘴巴的微笑或皱眉以及微笑或皱眉的程度等)，以及检查面部特征作为一个整体来识别从观众检测到的情绪。在一些实现方式中，检查每个面部特征和作为整体的面部特征以识别至少六种基本情绪(例如，愤怒、厌恶、恐惧、开心、悲伤、惊讶等)中的一者或多者。

图11绘示了在一种实现方式中用于确定观众表达的情绪的来自现场视频的观众的图像。如参考图10所指出的，情感表露引擎304内的面部检测算法接收现场视频并提取观众的图像。然后将所提取的图像裁剪为仅包括观众的面部特征(在图11中表示为蓝色方块)。然后分析裁剪后的图像的各种面部特征，以识别从观众检测到的情绪。所述分析包括将每个面部特征以及面部特征的组合与包括在情绪辨识神经网络中的训练过的数据中的对应面部特征进行比较，以识别各种情绪。除了识别各种情绪之外，面部检测算法还识别每种情绪的匹配得分，其中匹配得分对应于面部特征中的特定特征与训练过的数据中的对应面部特征的匹配程度。图11示出了一个此类示例，其中对观众的面部特征的分析已经产生了一组情绪和每个识别出的情绪的对应匹配得分。尽管图11中绘示的实现方式对应于现场视频，但实现方式可以扩展到还包括对其他图形图像的分析，诸如表情符号、表情包、GIF和其他图形内容。基于识别面部特征的匹配水平的匹配得分，可以确定在图11中表示的图像中捕捉的观众的表情是中性的(即，具有最高匹配得分的情绪)。

图12绘示了在一种实现方式中可用于在生成相应化身时在视觉上表示每种情绪的滑动氛围评级量表。情绪可以具有积极的氛围评级或消极的氛围评级。基于每种情绪的氛围评级，情感表露引擎可以限定所生成的用于表示相应情绪的化身的颜色。例如，愤怒情绪被示出为具有负面的氛围评级，且因此表示愤怒情绪的化身可以用红色来表示。类似地，快乐或狂喜的情绪被示出为具有积极的氛围评级，且因此可以用绿色表示。在一种实现方式中，依据氛围评级，可以调整表示化身的颜色的强度。在图12中示出的示例中，愤怒和怀疑都具有负面氛围评级，但愤怒情绪的负面氛围评级可大于怀疑情绪的负面氛围评级。因此，表示愤怒情绪的化身可以使用较深的红色来定义，而表示怀疑情绪的化身可以使用较浅的红色来定义。在图12中绘示的实现方式中，氛围评级量表还示出了用于根据与情绪相关联的氛围评级来表示各种情绪的样本颜色代码。应注意，可以使用其他颜色方案来表示情绪，包括使用不同的颜色来表示每种独特情绪。

图13绘示了在一种实现方式中的情绪聚合步骤(还称为“情绪聚合阶段”)312的表示，其中观众的交互中的某些交互用来动态地生成词云并且用表示情绪的关键词和与在视频游戏的游戏玩法期间从观众搜集的情绪相关的表达性关键词来填充词云。在图13中绘示的示例中，观众的现场视频用于填充词云。在一个示例中，情感表露引擎304采用单模态方法通过使用来自观众的现场视频的信息来填充词云。应注意，各种实现方式不限于单模态方法，而是还可以包括多模态方法，其中可以同时处理现场视频、音频内容、聊天内容以填充词云。词云中的关键词用于识别观众人群(即，受众)的情绪。在图13中绘示的实现方式中，词云中的一些关键词比其他关键词被更突出地渲染(即，在视觉上主要表示)。这可能是为了指示那个关键词在观众交互中的支配水平(即，已经在观众的交互期间表达了特定关键词的观众的数目)。应注意，词云本身实际上并未渲染在任何客户端装置的任何显示屏幕上，而是出于说明目的在图13中示出，以提供在观众交互中哪些关键词比其他关键词更具支配性的视觉表示。词云中的关键词表示情绪或与情绪相关联的表达性关键词。与图9一样，在图13的示例性图解中，已经在观众图像中捕捉的观众的实际面部上提供了图形覆盖，以便保护观众的隐私，而实际上来自在现场视频的图像中捕捉的观众的实际面部的面部特征用于填充词云。

图14绘示了在一种实现方式中情感表露引擎304的情绪可视化阶段313的示例性表示。如示例性表示中所示，一旦生成了词云，情感表露引擎304就根据关键词所表示的情绪对曾生成关键词的观众进行集群，使得每个观众群集与独特情绪相关联。基于对观众的集群，情感渲染引擎304识别每种情绪的化身，调整化身的表情，混合针对每种情绪识别的各种特征，并且转发针对每种情绪的混合化身以在观众的客户端装置处渲染。图14示出了针对从图9的交互收集阶段期间捕捉的观众的示例性现场视频识别出的不同情绪而生成的一些化身表示。仅出于说明的目的，在图14中绘示的示例中，所述化身被示出为与在图9中绘示的观众的图像具有一对一的相关性，而实际上，化身与观众之间的相关性实际上是一对多的。尽管在图14中绘示的示例中，仅观众的现场视频的结果被示出为用于填充词云并生成头像，但实际上，由观众生成的其他模态数据，诸如文本数据、视频数据、音频数据、表情包、GIF、表情符号、其他图形内容等，也用于填充词云和/或识别用于表示情绪的化身。与图9一样，在图14的示例性图解中，已经在观众图像中捕捉的观众的实际面部上提供了图形覆盖，以便保护观众的隐私，而实际上来自在图像中捕捉的观众的实际面部的面部特征用于确定观众表达的情绪并提供化身表示。

图15提供了在一种实现方式中可用于生成词云的各种类型的交互的视觉表示，所述词云用于生成表达性化身以在受众的图像表示上进行渲染。交互类型包括聊天或消息内容(包括文本、表情符号、GIF、表情包、其他图形内容等)、现场视频内容(在观众正在观看视频游戏的在线游戏时捕获观众的表情)、音频评论/内容和表情符号反应。不同的观众可选择不共享在他们正在观看视频游戏的游戏玩法时由他们生成的交互、选定多个类型或所有类型的交互。基于由观众选择的分享选项，情感表露引擎304收集来自不同观众的对应类型的交互，并使用所述交互来生成词云，所述词云与观众的表情一起用于识别情绪，并且生成和缩放每种所识别的情绪的化身。与图9、图13和图14一样，在图15的示例性图解中，已经在观众图像中捕捉的观众的实际面部上提供了图形覆盖，以便保护观众的隐私，而实际上来自在现场视频的图像中捕捉的观众的实际面部的面部特征用于确定情绪。

在一种实现方式中，在现场视频游戏期间收集观众的交互。收集到的交互用于生成词云并生成表示从所述词云识别出的情绪的化身，并将所述化身返回到已经访问了视频游戏以观看视频游戏的现场游戏玩法的观众的客户端装置。所生成的词云和化身被保存在情感搜集数据库334中以供在视频游戏重播期间使用。在重播期间，来自正在观看重播的观众的交互被收集并用于更新词云和表示从词云和其他交互识别出的情绪的化身。

图16绘示了在一种实现方式中通过将相似氛围集群而生成的氛围派系的时间图的简单表示。在图16中绘示的氛围派系提供了当检测到情绪变化时针对在视频游戏中的特定时间从观众检测到的不同氛围生成的氛围派系数目的视觉表示。例如，时间图可以用沿x轴线的游戏玩法的时间线和沿y轴线的氛围派系(和对应的置信度得分)的构成来绘制。时间线识别当在视频游戏的游戏玩法期间发生的导致观众情绪变化的事件时的具体时间。在视频游戏的游戏玩法中检测到的变化可能会或可能不会导致氛围派系的构成的变化。在一些实现方式中，当从观众的交互识别出的情绪数目过多时，情感表露引擎可以将性质相似的氛围集群到单个氛围派系中。在替代性实现方式中，从观众识别的每个氛围用于生成对应的氛围派系，并且情感表露引擎选择预定义数目的具有最高概率得分的氛围派系来使用化身表示。在图16中绘示的示例中，四个氛围派系被定义为包括四种不同类型的氛围，而实际上可能存在根据观众的情绪定义的多于四个氛围派系。

图17绘示了在一种实现方式中的在其上覆盖了表达性化身的图像的受众的代表性图像的样本视图。表达性化身表示从观众的交互识别出的不同情绪。表示每种情绪的化身的大小、颜色和其他特征经过缩放，以提供从观众检测到的各种情绪的适当视觉表示、表达每种所识别的情绪的观众的数目、每种情绪的相关联的氛围评级等。在一种实现方式中，受众中的观众可以与不同的地理位置相关联，并且在每个地理位置的观众可以与特定情绪相关联。例如，在地理位置1的观众可关联或关注玩家1或队伍1，在地理位置2的观众可关联或关注玩家2或队伍2，等等。因此，支持每个玩家或队伍的观众可能会表达类似的情绪。在此示例中，表示不同情绪(即，氛围)的化身可以在地图上渲染，其中每个化身表示在与和特定氛围的氛围派系相关联的观众相对应的地理位置上渲染的特定氛围。表达性化身提供了受众表达的各种情绪的视觉视图，并且允许观众识别并加入情绪与他们自己的情绪相符的观众群体(即，氛围派系)，从而让观众感觉他们是在观看视频游戏的游戏玩法时与他们的朋友或志趣相投的观众一起玩。

在一种实现方式中，一旦形成了氛围派系，就监视包括在每个氛围派系中的观众的表情以检测表情的任何变化。观众的表情可能会基于视频游戏的游戏玩法的当前游戏状态而变化，当前游戏状态受到游戏事件和玩家交互影响。当玩家得分或失分或失去游戏奖品或游戏生命等时，观众的情绪可能会变化，以反映他们对玩家、对游戏玩法的结果等的情绪。除了游戏中的变化之外，观众的情绪还可能受到其他观众对游戏玩法的反应、玩家在游戏玩法期间的评论或动作、其他观众对观众的反应/交互的反应等影响。情感表露引擎304监视每个氛围派系中的观众的情绪的变化，并且动态地调整相应氛围派系的化身的情绪，以反映包括在所述氛围派系中的观众群体的当前情绪。

在一种实现方式中，识别每个氛围派系中的表达所述氛围派系的情绪的观众数目的置信度得分可能会随时间变化。这可能是由于形成氛围派系的群体中的一些观众离开了所述群体或新的观众加入了所述群体。新的观众可以从表示不同氛围派系的第二群体(即，第二群集)加入第一群体(即，第一群集)，或反之亦然。替代地，新的观众可能会加入观看视频游戏的游戏玩法。在一些实现方式中，一些观众可能加入第一群体只是为了感受第一群体的观众表达的情绪和交互。可以在视频游戏的内容和受众的图像表示旁边渲染给第一群体的观众的用户界面上提供选项，以为来自不同群体(例如，第二群体、第三群体等)的观众提供加入第一群体的许可。可以向其他群体的观众(例如，来自第二群体、第三群体等的观众)提供附加选项以请求加入第一群体。当所述请求被第一群体接受或基于第一群体的设置时，可以允许来自第二群体、第三群体等的观众加入所述群体。例如，这可能类似于观众在观看在体育场进行的现场比赛时与他们的可能支持不同队伍的朋友一起玩。当来自第二群体或第三群体等的观众选择加入第一群体时，所述观众自动脱离第二群体或第三群体，或与第二群体或第三群体解除关联，并依附或关联于第一群体。当来自第一群体的观众选择或请求加入其他群体时，可以设想类似的关联和解除关联。

在一种实现方式中，将观众与群体关联允许观众访问所述群体的观众的交互。类似地，将观众与群体解除关联导致观众被阻止访问观众与其解除关联的群体的观众的交互。提供此选项允许观众不仅感受到他们自己的氛围派系的观众的氛围，而且感受到不同氛围派系的其他观众的氛围。在另一个实现方式中，群集(即，氛围派系)内的观众被允许与群集内的其他观众交互并且访问群集内的其他观众的交互。在此实现方式中，不允许第一群集的观众与其他群集的观众交互，并且无权访问其他群集的观众的交互。

在一种实现方式中，可以生成交互式时间图并将其呈现给受众中的观众，以指示由视频游戏的观众表达的或从所述观众检测到的不同情绪的反应强度。图16绘示了一个此类示例。不同情绪的反应强度可基于在视频游戏的游戏玩法中发生的变化而变化。在一种实现方式中，在交互式时间图中捕捉到的反应强度与视频游戏的游戏玩法的特定部分相联系，使得观众能够在时间图中将针对特定情绪表达的反应强度可视化，并将其与在视频游戏的游戏玩法(例如，事件)中发生的特定变化相关。在一些实现方式中，观众可能够在特定时间点击在时间图中包括的氛围派系中的任一者，并且观众可能够观看与在特定时间在时间图中表示的特定氛围派系的反应强度相对应的视频游戏的游戏玩法。交互式时间图可以作为呈现于在视频游戏的游戏玩法的内容旁边渲染的受众的图像表示上的化身的补充或取代。可以在视频游戏的游戏玩法的现场直播期间生成时间图，并且所述时间图还可以存储在游戏玩法数据存储装置332中以供随后检索和呈现。替代地，时间图可以与从观众交互识别出的词云和氛围派系一起存储在情感数据库334中。当重播视频游戏时(即，在延后的时间流式传输内容)，可以检索所存储的时间图并将其呈现给观看视频游戏的延后重播的观众。当观众在重播期间对在视频游戏的游戏玩法中发生的不同事件或动作进行交互或做出反应时，可以生成新的时间图以包括来自所存储的时间图的数据和从观看视频游戏的延后重播的观众的交互识别出的附加反应。新的时间图存储在游戏玩法数据存储装置332中或情感数据库334中，并且在向观众渲染视频游戏重播时检索。

在一种实现方式中，对时间图上的特定时间的选择会致使情感表露引擎304查询保存视频游戏的游戏玩法数据的缓冲区，并且检索特定游戏玩法数据以确定受众在特定时间的总体情绪或确定在特定时间发生的不同反应。可以针对每种情绪单独生成时间图，或者可以针对在受众中识别的不同情绪生成单个时间图。在针对每种情感生成时间图的情况下，可以生成多个时间图，每种情绪一个时间图。针对每种情绪生成的时间图可以渲染在相应情绪的化身旁边，或者渲染为客户端装置的显示屏幕的底部处的缩略图等。

在一些实现方式中，被识别用于渲染化身的情绪、反应音轨和时间图是一种概率表示，其中仅使用情绪中的具支配性的选定情绪。情绪中的支配性情绪是基于观众通过面部特征表达的情绪的概率得分和氛围派系的置信度得分来确定的。

在一些实现方式中，时间图可以表示为折线图。在此实现方式中，折线图可以包括表示不同情绪的图线，其中每种情绪由不同的图线表示。在一些实现方式中，捕捉由图线表示的情绪的化身可以渲染在对应的图线旁边或覆盖在对应的图线上，以提供对应于那个图线的情绪的视觉指示。在图16中绘示的折线图和时间图是说明从受众中的观众检测到的情绪的一些示例，并且还可以设想在视觉上表示受众的情绪的其他形式。

在一些实现方式中，在观众的客户端装置处渲染化身可以包括向用户界面提供分割选项以供观众选择渲染化身。观众可能希望在屏幕上的特定位置处查看受众的情绪，而不是挤满正在渲染视频游戏的内容的屏幕或妨碍其他内容的渲染。在这些实现方式中，化身可以单独渲染或者可以渲染在受众的图像表示上。显示屏幕可以被分割成多个区段(例如，下半部、上半部、左侧、右侧等)，并且分割选项可以包括这些区段以供每个观众选择用于渲染化身。除了识别区段之外，还可以向每个观众提供用于单独地渲染化身或在受众的图像表示上渲染化身的选项以及用于格式化化身的选项以供选择。基于每个观众的选择，表示在受众中检测到的不同情绪的化身可以在指定区段中渲染在受众的图像表示上或在没有受众的图像表示的情况下渲染。分割选项为观众提供了一定程度的自主权，使受众中的观众的情绪可视化，同时能够观看视频游戏的游戏玩法。

除了渲染选项之外，还可以在用户界面处提供一个或多个格式化选项以供观众从中选择以渲染表达性化身。可以包括在用户界面中的供观众选择的一些格式化选项包括透明格式、覆盖格式或呈现格式。当然，前述格式化选项仅作为示例提供，而不应被视为限制性的。还可包括其他格式化选项。化身可以根据由每个观众选择的格式化选项和分割选项来渲染，其中化身是单独渲染的或渲染在受众的图像表示之上。

在一种实现方式中，除了生成化身和调整化身的情绪之外，情感表露引擎304可以识别每个氛围派系中的观众中的特定观众，捕捉特定观众在定义的游戏时刻期间的反应并在视频游戏的内容旁边渲染所捕捉的反应以提供反应突显。在此实现方式中，可以呈现针对氛围派系识别的特定观众的反应的视频来取代表达性化身。在其他实现方式中，除了用于氛围派系的表达性化身之外，还可以提供特定观众的反应。可以基于特定观众的反应从群体中的其他观众或从其他群体获得的评论的类型和数目来识别特定观众。

在一种实现方式中，可以通过首先识别计划在视频游戏的游戏玩法中发生的动作来捕捉和呈现特定氛围派系的特定观众的反应。可以使用视频游戏的当前游戏状态以及根据视频游戏的游戏逻辑来识别所述动作。可以基于特定观众对在视频游戏的当前游戏玩法中或在视频游戏的先前游戏玩法期间发生的不同动作提供的反应的类型和数量来识别来自氛围派系中的观众的特定观众。基于此信息，情感表露引擎304可以预测性地向用于捕捉观众的现场视频的一个或多个图像捕捉装置发送信号，以放大特定观众来捕捉他们在所识别的动作发生期间的反应。特定观众的所捕捉的视频被动态分析，并且与针对特定氛围派系生成的表达性化身一起呈现或取代所述表达性化身。在替代性实现方式中，特定群体的特定观众可以基于与从特定群体(即，氛围派系)中的其余观众获得的特定观众的表情有关的评论的类型和数量来识别。在一些实现方式中，可以选择氛围派系中的特定氛围派系的一个或多个观众来呈现在现场视频流式传输期间捕捉的他们的表情。在替代性实现方式中，每个氛围派系可以识别特定一个观众并且呈现从每个氛围派系的特定观众中的相应一个观众检测到的表情。在这样的实现方式中，可以基于相应观众群体中的其他观众对特定观众的反应作出反应的反应来识别特定观众。在替代性实现方式中，可以随机选择特定观众。

本文讨论的各种实现方式允许观众观看受众的各种反应并且允许观众与特定观众群体相关联。特定观众群可以是观众希望与其一起观看视频游戏的在线游戏的朋友。所述朋友可能会或可能不会表达相同的情绪(即，可能支持或可能不支持同一玩家或队伍)。无论每个观众支持的玩家或队伍如何，并且无论观众及他们的朋友表达的情绪如何，所述实现方式都向观众提供了与他们的朋友社交的方式，同时了解在线视频游戏的受众中的总体氛围。在一种实现方式中，被集群到氛围派系中的观众可以选择留在氛围派系中或者可以选择离开氛围派系并加入另一氛围派系。可以向观众提供请求加入另一个氛围派系或选择要加入的另一个氛围派系的选项。在此实现方式中，所述选项允许观众超驰由情感表露引擎304提供的集群并加入他们选择的氛围派系。所述选项可以识别受众的不同氛围派系并允许观众选择他们想要加入的氛围派系。所述选择可以通过将观众的图标或图像从第一氛围派系拖放到第二氛围派系，或者可以经由单选按钮、复选框等。从一个氛围派系移动到另一氛围派系的选项向观众提供了体验第二氛围派系的氛围的方法。应当注意，由每个氛围派系的观众生成的交互数据与所述氛围派系的观众共享，而不与其他氛围派系的观众共享。在替代性实现方式中，每个氛围派系的交互数据中的选定交互数据可以与其他氛围派系的观众共享。在此实现方式中，与其他氛围派系共享的交互数据可能会促使其他氛围派系的观众以类似于对立的队伍的球迷在体育场内的方式做出反应。

在替代性实现方式中，作为允许观众从一个氛围派系移动到另一个氛围派系的替代，情感表露引擎304可以搜集来自特定氛围派系的反应突显并且与其他氛围派系共享所述突显。可以针对特定事件或动作进行反应突显的共享，并且可以在预定义的时间段内共享。其他氛围派系中的观众响应于特定氛围派系的反应突显的反应还可以被情感表露引擎304使用来更新与每个氛围派系相关联的化身和反应音轨。在一些实现方式中，可以生成播音员化身以主持不同氛围派系中的观众的反应，其中所述主持可以包括：提供特定氛围派系的反应突显以便刺激其他氛围派系中的观众对反应突显作出响应；提供对特定氛围派系的反应突显做出反应的其他氛围派系的反应突显；以及提供捕捉反应突显和逆反应突显的评论，以显示不同氛围派系的观众的来回争论。类似于播音员化身，可以为每个氛围派系生成啦啦队员化身，以为玩家和支持氛围派系的玩家的观众加油。在一种实现方式中，播音员化身和啦啦队员化身可以由人工智能(AI)生成为AI机器人，其中使用机器学习算法来控制播音员和啦啦队员化身的动作。播音员和啦啦队员化身可用于在游戏玩法期间鼓励玩家和观众，包括刺激观众、鼓励玩家、进行干预以缓和不同氛围派系中的观众的反应，尤其是当来自观众在本质上称得上欺凌或辱骂时。

图18绘示了在一种实现方式中用于表露观看视频游戏的游戏玩法的观众的受众的情绪的方法。在此实现方式中，观众可能正在观看视频游戏的现场游戏。在其他实现方式中，观众可能正在观看视频游戏的游戏玩法的重播。在一个示例中，操作1802可以被配置为从观看视频游戏的游戏玩法的受众中的观众捕捉交互数据。交互数据可以包括在观众正在观看由一个或多个图像捕捉装置捕捉的游戏玩法时所述观众面部上的表情，或者可以是观众经由诸如聊天界面、留言板、社交媒体界面的交互界面生成的交互，诸如音频、文本、表情包、GIF、表情符号等，或经由麦克风或其他音频检测和/或记录装置捕捉的音频。所述图像捕捉装置可以是作为客户端装置的一部分的相机或其他图像捕捉装置，诸如移动计算装置(例如，电话、膝上型计算机、平板计算装置等)，或者可以是通信地连接到客户端装置的外部图像捕捉装置。观众的图像被图像捕捉装置捕捉为现场视频，并且被传输到在游戏云服务器300上执行的情感表露引擎304。所述图像包括面部特征，所述面部特征用于在观众正在观看视频游戏的在线游戏时确定从观众检测到的情绪。与观众的现场视频类似，经由交互界面提供的交互也被传输到情感表露引擎304。

所述方法进行到操作1804，其中情感表露引擎304对从自观众接收的交互数据识别的情绪进行聚合，并且根据从不同观众检测到的情绪将观众集群到不同的群体中。在一种实现方式中，来自现场视频的观众的图像经过裁剪以仅保留面部特征，并且使用机器学习算法分析每个面部特征和面部特征的组合以确定从观众检测到的情绪。机器学习算法从包括在聊天内容和/或音频内容中的文本内容识别表达情绪的关键词。还以类似于来自现场视频的观众的图像的方式分析经由交互界面提供的其他交互数据，诸如表情包、GIF、表情符号等，以识别定义所述情绪的关键词。对从每个观众的各种交互(来自现场视频的图像、文本、表情符号、表情包、GIF、图形等)识别出的情绪和情绪相关关键词进行聚合。对聚合的情绪和情绪相关关键词进行评估以定义每种情绪的相似度得分。相似度得分用于确定支配性情绪，并且然后根据从每个观众的交互识别出的情绪将提供情绪和情绪相关关键词的观众集群到群体(即，氛围派系)中，使得每个群体与独特情绪相关联。基于正在表达所述群体的情绪的观众的数目计算每个群体(即，氛围派系)的置信度得分。

所述方法进行到操作1806，其中集群信息用于针对每个群体生成化身。每个群体的化身表达与所述群体相关联的独特情绪。一旦形成群体并生成所述群体的化身，就根据在所述群体的情绪(即，情感)中检测到的变化来调整化身的表情。所述群体中的情绪可基于在视频游戏的游戏玩法中发生的变化而变化。例如，支持第一队伍的群体可能会表达基于第一队伍的游戏玩法的情绪，等等。表情的变化和其他交互数据被捕捉并用于调整每个群体的化身的表情。所述变化可能导致先前表现出负面氛围的化身开始表现出积极氛围，或反之亦然。因此，基于从群体中的观众检测到的情绪的变化并且基于群体的置信度得分，进一步调整每个化身的特征以包括诸如颜色、大小等特征的变化。在一些实现方式中，所述群体的置信度得分可以基于观众离开所述群体或新的观众加入所述群体而改变。因此，化身的大小可以相应地动态变化以反映表达群体的情绪的观众的数目。

所述方法以操作1808结束，其中针对观众表现出的不同情绪生成的化身呈现于在视频游戏的内容旁边渲染的受众的图像表示上。每个化身的大小根据与化身相关联的相应群体的置信度得分被动态缩放。缩放的化身提供了受众的情绪的视觉表示，从而允许观众衡量各种情绪和受众的每种情绪的支配水平。它允许观众确定他们的反应与其他观众的反应相比如何，并找到与他们自己的情绪一致的观众群体。化身还允许游戏玩家在游戏玩法期间衡量对特定交互的反馈。

各种实现方式为远程观众提供了一种方式来感受人群的氛围并对可以与其他用户共享的游戏玩法做出反应并允许他们感受到他们在物理上与一群观众一起观看在线游戏。尽管已经参考观看在线游戏的观众(即，视频游戏的现场游戏)描述了各种实现方式，但是可以扩展所述实现方式以包括视频游戏的重播，其中来自观看重播的观众的所有交互可被类似地收获并用于调整观看重播的不同观众群体的表达性化身。

图19绘示了在一种示例性实现方式中在图4中绘示的情感表露引擎304的部件的变化形式。情感表露引擎304的各种部件用于收集与观众相关联的交互数据，分析所述交互数据以确定不同的情绪，将情绪集群到不同的氛围派系中并针对不同的氛围派系创建化身。除了化身之外，情感表露引擎304的部件还用于识别反应音轨以渲染给观众的受众。在图19的情感表露引擎304中包括的大多数部件与图4中识别的部件相似，且因此没有详细描述，因为与图4和图19共同的部件以类似的方式起作用。除了共同部件之外，图19的情感表露引擎304包括情绪可视化引擎313内的反应音轨识别器317。反应音轨识别器317用于识别、检索与每个氛围派系中表达的情绪相对应的反应音轨，并且将所述反应音轨与返回到观众的客户端装置的视频游戏的内容包括在一起。反应音轨识别器317可以使用由情绪聚合引擎312识别的情绪来确定受众的观众表达的情绪，并且从反应音轨数据库318识别和检索适当的反应音轨。

在一些实现方式中，反应音轨识别器317用于识别仅化身可视化器316所表示的那些情绪的反应音轨。如上所述，化身可视化器316可以选择在受众中识别出的某些情绪来创建化身，并且反应音轨识别器317用于识别由情绪可视化引擎313创建的化身所表示的情绪的反应音轨。反应音轨识别器317可以查询反应音轨数据库318并为化身所表示的每种情绪检索适当的反应音轨。反应音轨数据库318可以包括针对不同内容、针对每个内容内的不同事件或动作或活动以及针对不同情绪的反应音轨。反应音轨数据库318内的反应音轨可以按照内容类型、每个内容内的事件或动作或活动、事件背景和情绪来组织。由于每个氛围派系中的观众表达的情绪可能会随时间基于在视频游戏的游戏玩法中检测到的变化而变化，因此每个氛围派系的化身上的表情经过动态地调整以与游戏玩法的变化相对应。响应于与每个氛围派系相关联的化身的表情变化，针对相应氛围派系识别不同的反应音轨，以便与相应氛围派系中的观众的当前情绪相关。

在一种实现方式中，反应音轨识别器317可以使用存储在游戏玩法数据存储装置332中的视频游戏的游戏玩法数据来确定视频游戏的游戏玩法中引起每个氛围派系中的观众的情绪变化的事件或动作或活动的背景。所述背景和事件或动作或活动数据可用于识别适当的反应音轨以返回给观众。反应音轨识别器317还可以使用观众交互数据存储装置332a中的交互数据来确定从观众识别的反应的背景的变化，其中所述反应可以是从面部特征的图像捕捉的表情或使用音频记录装置捕捉的口头交互或从诸如聊天界面、留言板、社交媒体界面等交互界面捕捉的交互。替代地或另外，反应音轨识别器317可以通过以下操作来识别适当的反应音轨：查询情感搜集数据库334以识别在观众的受众中识别的每个氛围派系的当前情绪；以及查询反应音轨数据库318以检索每个氛围派系的当前情绪的适当反应音轨。情感搜集数据库334是用于存储以下各项的存储库：在视频游戏的游戏玩法的不同时间在受众中识别出的各种情绪、针对在视频游戏的观众的受众中识别出的每个氛围派系创建的化身，以及基于在视频游戏的游戏玩法期间从观众捕捉到的变化(通过表情、口头上或经由交互界面的交互)而对相应化身的表情作出的所有变化。

在一种实现方式中，针对在视频游戏的观众的受众中检测到的每个氛围派系识别出的反应音轨可以基于视频游戏的游戏玩法的当前背景。当前背景取决于在视频游戏的游戏玩法中发生的一个或多个事件或活动，这可能取决于视频游戏玩家执行的动作。因此，每个氛围派系的反应音轨可以被识别为与视频游戏的游戏玩法的背景相对应，因为它与氛围派系的观众相关。

从反应音轨数据库318针对不同氛围派系检索到的反应音轨被返回到观众的客户端装置，用于与所生成和更新后的化身一起渲染。在一种实现方式中，将每个氛围派系的反应音轨与对应的化身一起呈现给受众的观众，使得受众中的观众可在视觉和听觉上感受到受众的观众所表达的各种氛围。在这个实现方式中，将表达不同情绪的化身和反应音轨呈现给受众的所有观众。在此实现方式中，各种情绪的反应音轨提供了实际氛围的听觉表示，而化身提供了受众中的观众对视频游戏的游戏玩法中发生的事件或动作不同地反应的情绪的视觉表示，使观众感觉他们实际上是在竞技场或体育场内，与他们自己的朋友和体育比赛的粉丝一起观看现场体育比赛并对其做出反应。

在替代性实现方式中，可以向每个氛围派系的观众提供化身和针对由所述氛围派系的观众表达的特定情绪的反应音轨。在此替代性实现方式中，每个氛围派系的观众看到表达氛围派系的情绪的化身并体验特定氛围派系的反应音轨，而不是其他氛围派系的化身或反应音轨。此实现方式可以作为用于不同氛围派系的观众的选项提供，以便减少在每个氛围派系的观众的客户端装置处渲染的内容的拥挤和/或避免观众被受众中的其他氛围的反应音轨淹没。在又一实现方式中，在每个观众的相应客户端装置处识别、检索和呈现最具支配性的情绪(即，情感)的反应音轨。最具支配性的情绪是基于与每个氛围派系相关联的置信度得分来识别的，并且最具支配性的情绪的反应音轨被识别并呈现给观众。在此实现方式中，可以向每个氛围派系的观众呈现与相应氛围派系相关联的情绪的表达性化身，并且将表示支配性情绪的反应音轨呈现给受众的所有观众以指示受众中的观众表达的支配性情绪。替代地，可以将表示在受众中识别出的所有情绪的化身呈现给所有观众，并将支配性情绪的反应音轨呈现给受众的所有观众。

在一种实现方式中，可以在用户界面上为观众提供选项，以选择他们想要如何体验针对他们是其中成员或他们在延后的时间(即，随后且非实时地)观看的视频游戏的在线游戏的受众所识别的反应音轨。可以提供所述选择选项以允许每个观众在他们自己的客户端装置处自定义对针对受众识别的反应音轨的渲染。例如，所述选择选项可以包括用于渲染针对在为受众识别的不同氛围派系中表达的所有情绪识别的反应音轨的第一选择选项、用于渲染受众的最具支配性的情绪的反应音轨的第二选择选项、用于仅渲染与观众相关联的氛围派系中表达的情绪的反应音轨的第三选择选项等。还可以向观众提供类似的选择选项，以选择用于在客户端装置处渲染的化身。观众对选择选项的选择被情绪可视化引擎313检测和使用，以在相应的客户端装置处在化身和视频游戏的内容旁边识别和渲染适当的反应音轨。此外，对化身和反应音轨的渲染可以基于观众选择的分割选项和格式化选项。在视频游戏的内容旁边渲染反应音轨允许观众体验存在于受众中的同志感并鼓励观众参与视频游戏的游戏玩法。在一些实现方式中，反应音轨不仅捕捉观众对视频游戏中发生的事件的反应，而且捕捉其他观众响应于特定观众的反应的逆反应。

图20绘示了在一种实现方式中针对受众中的观众表达的情绪识别的各种反应音轨的示例。分析由图像捕捉装置捕捉的观众的图像以识别每个观众的情绪。尽管在图20中仅示出了来自观众的现场视频的图像来识别情绪，但应注意，与先前参考图5至图7所描述的，还以类似的方式分析观众的音频和由观众经由交互界面提供的交互数据，以识别受众的观众表达的情绪。受众的观众被集群到氛围派系中，并且针对每个氛围派系创建化身以与相应氛围派系的观众表达的情绪相对应。在图20的示例性图解中，识别了四个不同的氛围派系，其中氛围派系对应于欢笑、愤怒、中性和惊讶情绪(即，氛围)。一旦已经识别了氛围派系，就识别与每个氛围派系的情绪相对应的反应音轨。图20说明了针对为不同氛围派系识别的情绪所识别的反应音轨。由于在视频游戏的游戏玩法中检测到变化，每个氛围派系中的观众的情绪随时间变化，因此针对每个氛围派系识别的反应音轨也变化以与在氛围派系的情绪中识别的变化相对应。与图9、图13、图14和图15一样，在图20的示例性图解中，已经在观众图像中捕捉的观众的实际面部上提供了图形覆盖，以便保护观众的隐私，而实际上来自在现场视频的图像中捕捉的观众的实际面部的面部特征用于确定情绪。

图21绘示了在一种实现方式中的反应音轨的示例，所述反应音轨经过识别并且在观众的代表性图像上与表达性化身一起呈现。在一种实现方式中，每个氛围派系的反应音轨的音量经过调整以匹配化身的大小，这对应于与对应于氛围派系的情绪相关联的置信度得分。由于在受众的代表性图像上渲染的化身的大小对应于表达出与那个化身相关联的情绪的氛围派系中的观众数目(即，氛围派系的置信度得分)，因此反应音轨的音量被调整为与和氛围派系相关联的观众数目相关。在图21中示出的各种氛围派系的反应音轨以不同的大小表示，以直观地指示每个反应音轨在观众的客户端装置处渲染的相对音量。例如，最具支配性的情绪的反应音轨(即，具有最大尺寸化身的氛围派系)被渲染得比不太具支配性的情绪的反应音轨更大，以便指示支配性情绪的反应音轨的音量比不太具支配性的情绪更响。改变反应轨道的音量向观众提供了受众情绪的真实表示。

每个氛围派系中的观众数目可以基于观众离开氛围派系或新的观众加入氛围派系而改变。因此，化身的大小和相应氛围派系的反应音轨的音量被动态地调整以对应于与每种情绪相关联的氛围派系的大小。图21绘示了与不同氛围派系的对应化身一起呈现的反应音轨的视觉示例，在每个化身旁边渲染的反应音轨的大小对应于渲染相应反应音轨的音量，其中反应音轨的音量与在受众图像上渲染的对应化身的大小相关。化身的大小与氛围派系中的观众数目相对应，并且反应音轨的大小指示在客户端装置处渲染对应反应音轨的音量。在图21的实现方式中，提供了每个氛围派系的反应音轨进行渲染，以便允许观众能够更真实地感受在受众中识别出的所有氛围。

图22绘示了一个示例，其中在一种实现方式中，在受众中识别的每个氛围派系与对应的反应音轨相关联，并且每个氛围派系的反应音轨与对应的化身包括在一起以便呈现给相应氛围派系的观众。在此实现方式中，每个氛围派系的观众与所述观众是其中成员的氛围派系的化身和反应音轨一起呈现，而不是与在受众中识别的所有氛围派系的化身和反应音轨一起呈现。氛围派系特定化身和反应音轨的呈现可以由相应氛围派系的观众所选择的选择选项来驱动，并且所述呈现可以因观众而异和/或因氛围派系而异。例如，所述氛围派系中的特定氛围派系的观众可以选择接收他们与其相关联或更相符的他们自身的氛围派系的化身和对应的反应音轨，而所述氛围派系中的其余氛围派系的观众可以选择接收针对所述受众识别出的所有情绪的化身和反应音轨。在又一个实现方式中，特定氛围派系内的特定观众可以选择接收与特定氛围派系相关联的化身和反应音轨，而氛围派系内的其余观众可以选择接收在受众中识别出的所有情绪的化身和反应音轨。情绪可视化引擎313检测由不同氛围派系的观众选择的选择选项，并且根据由不同氛围派系的观众选择的选择选项来识别和呈现化身和反应音轨。

图23绘示了在一种实现方式中与在受众的图像表示上与对应的表达性化身一起渲染的支配性情绪相关联的反应音轨的示例性表示。情绪可视化引擎313的化身可视化器316识别将为其创建化身的受众中的观众表达的每种情绪，并提供所识别的情绪的化身。反应音轨识别器317使用与所创建的化身相关联的情绪来识别用于与相应化身一起渲染的适当的反应音轨。反应音轨识别器317还使用由观众选择的选择选项来渲染化身和/或反应音轨，并根据所选择的选择选项提供适当的化身和/或反应音轨。在图23中绘示的示例中，氛围派系内的受众可能已经选择了用于渲染在受众中识别的所有化身和仅用于在观众的客户端装置处渲染的支配性情绪的反应音轨的选择选项。因此，反应音轨识别器317检查与每个氛围派系相关联的置信度得分以确定受众中的支配性情绪，并且针对所述支配性情绪检索适当的反应音轨以便在客户端装置处渲染。图23示出了一个示例，其中中性情绪被示出为受众中的支配性情绪，并且针对中性情绪识别出反应音轨，并且将反应音轨与和中性情绪相关联的表达性化身一起渲染。如前所述，可以基于由氛围派系的观众或观众群体从渲染用于呈现化身和反应音轨的各种选择选项的交互界面选择的选择选项来呈现最具支配性的化身的反应音轨。响应于所述选择选项，图23的受众的图像表示呈现给观众或观众群体。

在一些实现方式中，可以提供反应界面供观众选择，其中反应界面包括不同观众的反应或评论的列表以进行访问和查看。在一些实现方式中，特定观众或特定观众集合响应于特定观众的反应或评论的反应或评论可能比视频游戏的游戏玩法或与不同氛围派系相关联的反应音轨更受欢迎。因此，所述反应界面提供以下选项：访问和查看特定观众或特定观众集合响应于特定观众的反应或评论的反应或评论。可以将所述选项仅提供给特定观众或特定观众集合是其中成员的氛围派系内的观众，或者可以提供给受众中的所有观众。

图24绘示了在一种实现方式中用于识别和呈现观看视频游戏的游戏玩法的观众的受众的情绪和对应的反应音轨的方法。在此实现方式中，观众可能正在观看视频游戏的现场游戏。在其他实现方式中，观众可能正在观看视频游戏的游戏玩法的重播。在一个示例中，操作2402可以被配置为对由参与观看视频游戏的游戏玩法的观众提供的交互数据进行聚合。所述交互数据可以包括由一个或多个图像捕捉装置在现场视频中捕捉的观众面部上的表情，或由观众表达并经由麦克风或其他音频检测和/或记录装置捕捉的音频内容，或由观众经由诸如聊天界面、留言板、社交媒体界面等交互界面生成的交互内容(例如，音频、文本、表情包、GIF、表情符号等)。观众的图像被图像捕捉装置捕捉为现场视频。观众的交互数据被传输到在游戏云服务器300上执行的情感表露引擎304进行处理。

对交互数据进行聚合和处理，以识别观众在他们观看视频游戏的游戏玩法时表达的情绪。作为聚合的一部分，识别观众表达的情绪(经由面部特征在视觉上或在口头上或经由交互界面)，并且根据从不同观众检测到的情绪(即，情感)将观众集群到不同的群体中。在一种实现方式中，使用机器学习算法分析交互数据(例如，面部特征、经由交互界面提供的交互数据、音频内容等)以确定从观众检测到的情绪，并且将观众集群到表达相同或类似的情绪的群体中。

所述方法进行到操作2404，其中集群信息用于识别反应音轨以对应于与每个观众群体相关联的独特情绪。反应音轨是根据群体的当前情绪来识别的，并且在群体的情绪随时间变化时，识别不同的反应音轨以匹配群体的情绪的变化。可以基于视频游戏的内容、视频游戏的背景、群体中的观众的情绪等来识别反应音轨。

所述方法以操作2406结束，其中将针对每个观众群体识别的反应音轨呈现于在视频游戏的内容旁边渲染的受众的图像表示上。与每个群体相关联的反应音轨的音量被校准以对应于群体中的观众的数目。反应轨道提供了受众的情绪的听觉表示，让观众体验受众中的观众的情绪，并找到共享由所述观众表现出的相似情绪的观众群体。

在一些实现方式中，可将来自特定群体的特定观众的反应突显呈现给所述特定观众所属的特定群体的观众，或者可呈现给视频游戏的所有观众。在此实现方式中，可基于观众先前在观看视频游戏的游戏玩法(在现场游戏玩法或延后的游戏玩法期间)时表达的情绪来选择所述特定观众。一旦所述特定观众被识别，在与视频游戏的游戏玩法中发生的事件相关的关键游戏时刻期间捕捉和呈现表达情绪的所述特定观众的视频。表达情绪的特定观众的捕捉到的视频与视频游戏的内容一起呈现为反应突显。在一种实现方式中，所述特定观众是随机选择的。在另一个实现方式中，所述特定观众是经由对特定观众在视频游戏的游戏玩法期间表达的先前表情的预测性分析来选择的。可以从当前游戏玩法会话或从视频游戏的先前游戏玩法会话或从另一视频游戏的游戏玩法会话识别特定观众的先前表情。情感表露引擎304可以确定特定观众提供了与特定群体中的其他观众有区别的情绪，并且可以通过分析特定群体中的观众的交互数据来做出这样的确定。情感表露引擎304可以分析视频游戏的游戏玩法以确定视频游戏的当前游戏状态，并且与游戏逻辑交互以基于视频游戏的游戏状态来确定何时安排关键游戏事件在视频游戏中发生，并且响应性地向一个或多个图像捕捉装置发送信号以聚焦在特定群体的特定观众上来捕捉所述特定观众的表情。所捕捉的特定观众的视频被直播流式传输给特定群体的观众或观看视频游戏的游戏玩法的所有观众。观众的现场视频提供了视频游戏的受众中的观众对游戏玩法观看的有趣方面。

在另一个实现方式中，作为观众的视频的代替，识别图形交换格式图像(GIF)以提供视频游戏的反应突显。选择GIF来表达与特定群体相关的特定情绪。可以使用识别特定群体的特定情绪的关键词来识别GIF。类似于观众的视频，所识别的GIF可以在与视频游戏的事件相关的关键游戏时刻期间被提供为反应突显。

本文讨论的各种实现方式为观众提供了参与视频游戏的游戏玩法并且与也在观看视频游戏的游戏玩法的其他观众联系的方式。反应音轨和化身表示允许观众快速衡量观看视频游戏的游戏玩法的受众中的氛围，并且识别要一致的特定观众群体以观看游戏玩法。

图25绘示了在一种实现方式中用于表达观看视频游戏的游戏玩法的观众的情绪的情感表露引擎304的一些示例性部件。在图25中绘示的情感表露引擎304的部件不同于图4和图19中绘示的部件，原因在于图25包括图形交换格式文件(GIF)识别引擎319。在图4、图19和图25中共有的部件以参考图4和图19讨论的方式起作用，且因此没有参考图25详细讨论。如早先参考图4和图19所述，情感表露引擎304的部件用于收集与观众相关联的交互数据，并分析所述交互数据以确定包括在其中的一种或多种数据模式(即，模态数据流)。可从交互数据识别出的模态数据流可对应于文本数据、视频数据、音频数据、聊天数据、表情符号、表情包、图形内容等。情感表露引擎304使用机器学习算法以单模态方法或多模态方法处理所述一个或多个模态数据流。在需要时对模态数据流的处理的输出进行聚合，以识别观众表达的情绪。所识别的情绪用于将受众的观众集群到不同的氛围派系中，其中每个氛围派系与一种情绪相关联，并且包括表达所述氛围派系的情绪的观众群体。在一些实现方式中，创建化身来表示与每个氛围派系相关联的情绪。化身根据相应氛围派系内的观众的数目进行缩放。当观众明确地(即，生成加入或关联不同氛围派系的请求)或通过经由交互数据表达的情绪加入或离开氛围派系时，所生成的化身被动态缩放以反映表达氛围派系的情绪的观众的数目的变化。

除了化身之外，情感表露引擎304的部件还用于识别每个氛围派系的反应音轨，其中反应音轨被识别为对应于相应氛围派系的情绪。氛围派系的所识别的反应音轨与化身一起被转发到观众的客户端装置以进行渲染。类似于缩放化身，与每个氛围派系相关联的反应音轨的音量被校准以对应于相应氛围派系中的表达所述情绪的观众的数目。

除了生成化身和识别反应音轨之外，情感表露引擎304还用于识别图形交换格式文件(GIF)，以直观地表示由情感表露引擎304识别的每种情绪。针对每种情绪识别出的GIF可包括静态图像或动画图像。静态图像或动画图像可以包括视频片段，诸如电影或电视节目或包括促销内容、用户生成的内容等的其他内容的视频片段。在图25中绘示的实现方式中，情绪表露引擎304包括GIF识别引擎319以针对在不同氛围派系中识别出的情绪识别适当的GIF。识别出的GIF被转发到观众的客户端装置，用于与视频游戏的内容一起渲染。

在一种实现方式中，情感表露引擎304仅将表示不同情绪的GIF返回到客户端装置，以在视频游戏的视频内容旁边进行渲染。在此实现方式中，每个氛围派系的GIF都呈现在观众的图像表示上而不是化身上。在一种实现方式中，GIF可以被缩放以对应于每个氛围派系中的观众的数目，并且经缩放的GIF被转发到观众的客户端装置以用于渲染。在一种实现方式中，经缩放的GIF可以被配置为作为覆盖呈现在表示观看视频游戏的游戏玩法的受众的观众的图像上。替代地，经缩放的GIF可以呈现在与客户端装置相关联的显示屏幕上定义的区段中，其中用于渲染GIF的区段可以由不同观众不同地定义并且包括在他们的偏好中。因此，GIF可以被配置为基于相应观众的偏好在每个观众的客户端装置的显示屏幕的适当区段或部分处渲染。所述偏好可以包括在相应观众的用户配置文件中，或者可以单独维护并且在转发内容以在观众的客户端装置处渲染时使用。

在替代性实现方式中，除了GIF之外，还针对每种情绪识别适当的反应音轨，并且与GIF一起返回到客户端装置，以便在视频游戏的内容旁边渲染。在又一实现方式中，除了适当的GIF之外，还为每种情绪生成表达性化身，并且与GIF一起返回到客户端装置，以便在视频游戏的内容旁边渲染。在此实现方式中，反应音轨可与或可不与GIF和化身一起呈现。在一种实现方式中，GIF可以呈现在由每个观众定义的显示屏幕的一部分中，而表达性化身作为覆盖被提供在观众的受众的图像表示上。

GIF识别引擎319使用机器学习算法从交互数据识别出的情绪来针对与每个氛围派系相关联的情绪识别适当的GIF。可以通过查询情感表露引擎304可用的GIF数据库321来识别适当的GIF。GIF数据库321可以被维护在游戏云服务器300内并可由情感表露引擎304使用，或者可以在游戏云服务器300的外部，其中将访问权提供给情感表露引擎304。GIF数据库321可以是存储库，其包括不同观众用来表达不同情绪的各种GIF以及观众未使用但适合不同情绪的GIF。例如，不同观众使用的GIF可包括观众在视频游戏、其他视频游戏的当前会话以及先前游戏玩法会话期间、在社交媒体中、在其他交互式应用程序和/或交互式用户界面中使用的所有GIF。GIF可以根据交互内容(例如，视频游戏、社交媒体内容、用户生成的内容、促销内容或其他交互内容)、交互会话、观众偏好、观众概况和人口统计、GIF的受欢迎度等被组织在GIF数据库321中。除了提供各种GIF的GIF数据库321之外，还可以提供一个或多个链接以在网络200上从一个或多个外部GIF库(即，GIF存储库)323访问附加的GIF。

在一种实现方式中，GIF识别引擎319可以查询GIF数据库321和/或使用到外部GIF库的链接323来识别适合于在特定氛围派系内表达的情绪的GIF子集。可以基于氛围派系内的一个或多个观众对GIF的先前选择和使用GIF来表达情绪的频率，或者基于GIF在特定观众集合中的受欢迎度或观众的喜好，来选择GIF子集。在某一实现方式中，观众的偏好可以在观众的用户配置文件中表达。在这些情况下，GIF识别引擎319可以查询观众的用户配置文件以确定观众的用户配置文件中是否指定了任何偏好，并使用所述偏好来识别针对与氛围派系相关联的情绪的GIF。在一种实现方式中，在已经识别出GIF子集之后，GIF识别引擎319可以自动选择来自所识别的子集的GIF中的特定一者用于与氛围派系相关联。可以基于GIF的置信度指示符来选择特定GIF，其中GIF的置信度指示符指示观众选择特定GIF来表示与氛围派系相关联的情绪的次数。在此实现方式的扩展中，GIF识别引擎319可以在用户界面上提供选项以允许氛围派系的观众超驰所述自动选择并为氛围派系自定义GIF。用户界面可用于渲染针对氛围派系的情绪识别出的GIF子集，并且包括用于在用户界面上渲染的子集中的每个GIF的选择选项，以允许观众通过从所述子集选择替代性GIF来自定义GIF，其中从所述子集选择的替代性GIF不同于情感表露引擎针对氛围派系自动选择的GIF。由一个或多个观众选择的替代性GIF与氛围派系相关联，并返回到观众的客户端装置以在视频游戏的内容旁边渲染。在一种实现方式中，仅向选择了替代性GIF的氛围派系的观众提供具有视频游戏的内容的替代性GIF，而向氛围派系内的其余观众呈现由GIF识别引擎319自动选择的GIF。在一种实现方式中，仅将选择替代性GIF的选项提供给氛围派系的观众。

在另一种实现方式中，不是GIF识别引擎319自动针对氛围派系选择GIF，GIF识别引擎319可以在交互界面上呈现针对特定氛围派系识别出的GIF子集，以及提供给观众的用于从所述子集选择GIF中的一者以与特定氛围派系相关联的选项。然后使用观众的选择将GIF与特定氛围派系相关联。在一种实现方式中，当一个以上观众从交互界面选择GIF并且一个或多个观众识别一个以上GIF用于特定氛围派系时，接收最大数目的观众选择的GIF用于与特定氛围派系相关联。

在一种实现方式中，用于氛围派系的GIF被配置为在观众的客户端装置的显示屏幕的特定部分处渲染。可将客户端装置的显示屏幕分割成多个部分(即，区段)，并且可识别特定部分用于渲染氛围派系的GIF。可以基于每个观众的偏好来选择显示屏幕的特定部分。每个观众都可以指定他们自己的偏好来渲染不同的内容(例如，游戏内容、聊天内容、GIF等)，并且将根据观众指定的偏好来渲染用于与观众的氛围派系相关联的情绪或用于所有情绪的氛围派系的GIF。将参考图26提供在显示屏幕上识别的各个区段的细节。在一些实现方式中，在每个观众指定的显示屏幕的特定部分处渲染用于每个所识别的氛围派系的GIF，其中所述特定部分是相对于显示屏幕的其中观众的受众的图像表示被渲染的一部分来指定，其中用于渲染GIF的显示屏幕的所述部分可以是受众的图像表示被渲染的部分的底部、顶部、沿右侧、沿左侧。在替代性实现方式中，与每个氛围派系相关联的GIF呈现于在视频游戏的内容旁边渲染的观众的图像表示上。例如，不同氛围派系的GIF可以以类似于图17中呈现化身的方式在观众的图像表示上呈现，除了表示每个氛围派系的化身之外，还呈现对应的GIF。类似于图17的实现方式，GIF的大小被缩放以对应于氛围派系的大小。在一种实现方式中，根据与每个氛围派系相关联的置信水平来缩放GIF的大小，其中氛围派系的置信水平被确定为表达氛围派系的独特情绪的观众的数目。

在一种实现方式中，观众可以不同地表达特定情绪(即，所述特定情绪可以由观众以不同的强度表达)。例如，第一观众可能会面带微笑地表达快乐情绪，而第二观众可能会露出灿烂的笑容来表达快乐情绪，而第三观众可能会高兴地跳起来或开心地跳舞来表达快乐情绪。快乐情绪的强度的类似范围可以经由在交互数据中包括的其他模态数据流来表达，诸如文本数据或音频数据或GIF或表情包或图形图像等。机器学习算法分析交互数据的各种模态数据流以识别观众表达的具有不同强度的每种情绪，并根据所识别的情绪将观众集群到群体中。确定每个氛围派系的置信水平，其中置信水平指示表达氛围派系的情绪的观众的数目。针对每个氛围派系的情绪识别GIF。针对每种情绪识别的GIF的大小根据针对相应氛围派系确定的置信水平进行缩放，使得针对具有最高置信水平的氛围派系的情绪识别的GIF被缩放以渲染得比置信水平小于所述最高置信水平的GIF的大小大。

在替代性实现方式中，GIF可以与和氛围派系相关联的化身一起呈现。所述化身通过模仿观众的表情来提供观众表达的情感的视觉表示，而GIF提供了一种更直观和有趣的方式来表达观众的情绪。在此实现方式中，化身可以渲染在如图17中绘示的观众的图像表示之上，并且用于不同情绪的GIF可以呈现在观众指定的显示屏幕的一部分中。

由于每个氛围派系中的观众的情绪变化以与视频游戏的游戏玩法中发生的变化相关，因此针对每个氛围派系识别和提供的GIF被动态地更新以与每个氛围派系的观众的情绪的变化相对应。更新后的GIF返回到观众的客户端装置，以便在相应氛围派系中检测到观众的情绪的变化时在视频游戏的内容旁边渲染。在一些实现方式中，为每个氛围派系选择的GIF可以基于观众指定的渲染格式被格式化以用于渲染。可用于渲染GIF的一些格式包括透明格式、覆盖格式或呈现格式。经过缩放、格式化的GIF被转发到观众的客户端装置进行渲染。在一种实现方式中，针对每个观众群体识别出的GIF被呈现给那个群体的观众，使得观众仅接收与每个观众所属的群体相关联的GIF。在替代性实现方式中，用于所有氛围群体的GIF都被转发到受众中的观众的客户端装置。

图26绘示了在一种实现方式中观众的代表性图像和用于渲染针对不同氛围派系识别的GIF的显示屏幕的各个区段的示例性屏幕再现。显示屏幕可以根据观众的偏好进行分割，以便在他们的客户端装置上渲染与视频游戏相关的不同内容。在本文描述的各种实现方式中，仅示出观众的图像表示以及针对视频游戏识别或生成的各种附加内容(化身、GIF、反应音轨)，而实际上观众的图像表示被渲染在某一部分中，而其余部分用于呈现视频游戏的内容和任何其他内容。如先前所述，可以根据观众的偏好来定义用于渲染受众的图像表示的显示屏幕的部分，其中每个观众提供他们自己的用于渲染受众的图像表示的偏好。类似地，可以根据观众的偏好在显示屏幕的特定部分中渲染GIF。例如，GIF可以呈现在受众的观众的图像表示旁边定义的一部分中，其中可以将渲染观众的图像表示的显示屏幕的所述部分分割成中心部分2501-C、底部部分2501-B、顶部部分2501-T、右侧部分2501-R和左侧部分2501-L，并且针对观众人群的氛围派系识别的GIF可以渲染在所识别的区段中的任一者中。在图26中绘示的示例中，针对观众人群中的情绪识别出的GIF被示出为渲染在受众的图像表示的底部部分2501-B处，所述图像表示按照每个观众的偏好渲染在显示屏幕的一部分中。表示每种情绪的GIF可以由GIF识别引擎319自动选择，或者可以由观众从GIF子集中选择。

图27绘示了在一种实现方式中针对与氛围派系相关联的不同情绪识别的GIF子集的表示。在图27中绘示的表示中，针对氛围派系识别的情绪的类型在左侧表示为化身或表情符号，并且右侧示出了受众的观众通常表达的情绪的GIF子集或由GIF识别引擎319识别的GIF子集。针对每种情绪识别出的GIF子集可包括人物GIF、人或名人的视频片段或具有受欢迎的人物的选定电影场景，或动画漫画或电影人物的视频片段，或用户生成的内容等。例如，特定氛围派系的观众可能先前已经选择了特定漫画人物的GIF来表示一种情绪或不同的情绪。GIF识别引擎319在机器学习算法的辅助下可以确定特定氛围派系的观众对特定GIF的偏爱使用，以表达特定氛围派系的情绪或表达其他情绪。因此，GIF识别引擎319可以基于观众的偏爱使用来识别和呈现不同情绪的氛围派系的子集。图27示出了一个此类示例，其中GIF识别引擎319用于针对在观看视频游戏的观众中识别出的每种情绪识别不同的GIF子集。每个子集中的GIF可能先前已经被视频游戏或不同视频游戏的观众使用过，或者由GIF识别引擎基于受欢迎度、具有与观众的配置文件相似的配置文件的其他用户的使用频率等进行识别。针对快乐情绪识别出的GIF子集被示出为子集2501，针对不快乐情绪(或悲伤情绪)识别出的GIF子集被示出为子集2502，并且针对惊讶情绪识别出的GIF子集被示出为子集2503。在图27中表示的情绪是作为示例提供，并且其他情绪可以类似地表示并识别适当的GIF子集。

图28绘示了在一种实现方式中观众的受众的图像表示和针对特定情绪提供的供观众选择的GIF子集的屏幕再现。GIF子集在交互界面内呈现在表示观众的受众的图像的顶部部分2501-T上，并且包括根据观众的偏好、GIF的受欢迎度、氛围派系中的观众或来自不同氛围派系的其他观众对GIF的先前使用等识别的GIF。对GIF的先前使用可包括一个或多个观众在视频游戏内、在其他视频游戏中、在社交媒体应用程序中或在其他交互式应用程序或其他交互界面中的使用。除了GIF子集之外，交互界面还包括为每个GIF呈现的用于允许观众选择合适的GIF来表示氛围派系的情绪的选择选项2501a。观众使用选择选项2501a从子集选择GIF可用于表示在呈现给氛围派系的观众时或在呈现给视频游戏的观众时的氛围派系的情绪。

图29是在一种实现方式中观众的受众的图像表示以及用于表示受众的观众表达的不同情绪而识别的GIF集合的示例性屏幕再现。所述GIF集合由GIF识别引擎319自动识别，并且被配置为在交互界面2501上呈现在受众的图像的底部部分处，其中在交互界面2501中渲染的每个GIF对应于从受众的观众的交互数据识别出的特定情绪。除了识别出的GIF之外，交互界面2501还提供用于为每种情绪自定义GIF的选项2501b。在图29中绘示的实施方案中，自定义选项2501b被提供为复选框。所述实施方案不限于复选框选项，而是还可以包括单选按钮、交互式链接等。在一种实现方式中，可以激活用于自定义2501b表示特定情绪的GIF的选项，并且仅将所述选项提供给作为对应的氛围派系的一部分的观众。在这个实现方式中，允许每个氛围派系的观众为与他们自己的氛围派系相关联的情绪自定义GIF，而不允许观众为与其他氛围派系相关联的情绪自定义GIF。

当观众选择了自定义2501b说明情绪的特定GIF的选项时，可向第二交互界面2901提供适合所述情绪的GIF子集。图29绘示了当在交互界面2501处选择自定义2501b快乐情绪的选项时具有针对快乐情绪识别出的GIF子集的一个此类第二交互界面2901。在第二交互界面2901上提供的GIF子集是随机选择的，或者是基于氛围派系内的所述观众或其他观众或视频游戏或其他视频游戏的其他观众对用于表达情绪的此类GIF的先前使用、具有与所述观众的配置文件相似的配置文件的观众的情绪的受欢迎度来选择的，由GIF识别引擎319自动选择的等等。除了呈现供观众选择的GIF子集之外，还可在第二交互界面中提供允许观众选择他们自己的GIF的选项。图29绘示了一个这样的示例，其中提供了交互式链接2901a。交互式链接2901a被配置为在网络200上提供对其他GIF的访问。从第二交互界面2901或经由交互式链接2901a选择替代性GIF导致在用户界面2501中渲染情绪的替代性GIF以及表示其他情绪的其他GIF。

在一些实现方式中，可以根据观众表达的情绪来组织观众的受众的图像。在这个实现方式中，从交互界面选择GIF可能会导致所述GIF渲染在对应于与由选定GIF表示的情绪相关联的氛围派系的观众的受众的图像的一部分上。选定GIF可以在预定义一段时间内以及在所述预定义一段时间期满之后渲染在观众的受众上，GIF可以被配置为逐渐消失。参考图25至图29描述的各种实现方式允许情感表露引擎304将观众的情绪在视觉上渲染为GIF，作为表达性化身的代替或补充。视觉表示允许观众了解人群中的观众的一般氛围，使得他们可以确定他们最符合的氛围派系。

图30绘示了在一种实现方式中用于识别观众的情绪并且在视频游戏的内容旁边呈现表示所识别的情绪的图形交换格式文件(GIF)的方法的操作。所述方法开始于操作3002，其中对从观众检测到的交互数据进行聚合。交互数据可以由观众以不同的模式提供，并且情感表露引擎304对从交互数据识别出的不同模态数据流进行聚合和处理。可以从交互数据识别出的模态数据流中的一些模态数据流对应于文本内容、音频内容、表情包、GIF、图形内容等。还可以从观众面部上的表情捕捉交互数据。通过在观众正在观看视频游戏时捕捉观众的图像并分析所述图像以从观众的不同面部特征识别表情来识别表情。在观众正在观看视频游戏的游戏玩法时从观众实时收集各种模态数据流，其中游戏玩法可以是现场游戏玩法或延后的游戏玩法。使用机器学习算法对从观众收集的交互数据进行聚合和处理，以将观众集群到群体中。机器学习算法可以使用单模态或多模态方法来处理交互数据。在单模态方法中，机器学习算法针对从交互数据识别出的每个模态数据流生成并训练模型。在单模态方法中，可以生成多个模型，其中模型的数目与从交互数据识别出的模态数据流的数目相对应。来自不同模型的输出被合并。在多模态方法中，机器学习算法使用不同的模态数据流作为输入来生成和训练单个模型。

所述方法流至操作3004，其中来自训练模型的输出用于基于观众表达的情绪将观众集群到群体中，其中每个群体对应于观众表达的独特情绪。一旦识别出观众群体，每个群体中的观众就被维护在相应的群体内，除非从一个或多个观众接收到从一个群体移动到另一群体的明确请求，或者他们的情绪更符合另一群体。

一旦集群完成，所述方法就移动到操作3006上，其中针对每个群体识别图形交换格式文件(GIF)。通过查询为视频游戏或多个视频游戏维护的GIF数据库321来识别用于每种情绪的GIF。可以基于观众的偏好、在视频游戏内使用GIF来表示相关情绪、GIF在包括观众在内的用户中的受欢迎度等来识别表示不同情绪的GIF。在某一实现方式中，当从观众的交互数据识别出的情绪的数目超过预定义值(例如，4或5)时，情感表露引擎304可以选择所述情绪中的要经由GIF表示的特定情绪。例如，当从交互数据识别出8种或10种情绪时，情绪表露引擎304可以识别前4种或5种情绪来用于识别GIF。可以基于每个群体的置信水平来选择所述情绪中的特定情绪。群体的置信水平是由表达所述群体的情绪的观众的数目确定的。针对每个群体识别出的GIF与相应的观众群体相关联。在一种实现方式中，针对前4种或5种情绪识别出的GIF与相应的群体相关联，而其余群体不通过GIF表示。

所述方法结束于操作3008，其中将所识别的GIF与视频游戏的内容一起返回给观众的客户端装置以供渲染。所识别的GIF可以根据观众群体的偏好进行缩放和/或格式化。格式化可以包括呈现格式化以及渲染格式化。呈现格式可以基于需要呈现GIF的显示屏幕的一部分。渲染格式化指定必须将GIF渲染的方式，即，透明格式、覆盖格式或呈现格式。在某一实现方式中，呈现和/或渲染格式可以基于每个观众的偏好。因此，当提供GIF用于在观众的客户端装置处渲染时，考虑每个观众指定的呈现和/或渲染格式，使得GIF可以以指定格式呈现在显示屏幕的适当部分中。所呈现的GIF提供了观众人群的整体氛围。在一些实现方式中，呈现给每个群体的GIF可以对应于所述群体的情绪。在其他实现方式中，每个群体的GIF都呈现在客户端装置的显示屏幕处。

本文描述的各种实施方案提供了对大量观众的情绪进行聚合并使用聚合的情绪来呈现表达性化身或GIF的方式。表达性化身或GIF提供了快速(即，几乎实时地)衡量庞大群体的游戏观众的反应分布的方式，并允许观众将他们的反应与同等群体进行比较。化身和GIF还允许玩家衡量对视频游戏的特定游戏玩法的反馈。来自由机器学习算法生成的模型的输出根据在观众的表情中检测到的变化提供基于当前反应的新推理输出(即，微调模型)，使其成为一种衡量观众的受众的情绪的直观方式。在回顾本公开的各种实施方案和实现方式之后，其他优点对于本领域技术人员将变得显而易见。

图31绘示了在一种实现方式中可用于执行本公开的各种实施方案的各方面的示例性信息服务提供者架构。信息服务提供者(ISP)1902向在地理上分散且经由网络1950连接的用户(即，玩家)1900提供众多信息服务(还通过图1中的参考编号200参考)。ISP可以只提供一种类型的服务，诸如股票价格更新，或可以提供多种服务，诸如广播媒体、新闻、体育、游戏等。另外，由每个ISP提供的服务都是动态的，即，可以在任何时间点添加或移除服务。因此，向特定个人提供特定类型的服务的ISP可能会随时间变化。例如，当用户在她的家乡时，可以由靠近所述用户的ISP为用户提供服务，并且当用户前往不同城市时，可以由不同的ISP为用户提供服务。家乡ISP将把所需的信息和数据传递到新的ISP，使得用户信息“跟随”用户到达新的城市，从而使数据更接近用户并且更易于访问。在另一实施方案中，可在为用户管理信息的主ISP和在主ISP的控制下与用户直接对接的服务器ISP之间建立主-服务器关系。在另一个实施方案中，当客户端在世界范围内移动时，数据从一个ISP传递到另一个ISP，以使处于更好位置为用户提供服务的ISP成为提供这些服务的ISP。

ISP 1902包括应用服务提供者(ASP)1906，所述ASP 1906经由网络(例如，包括例如但不限于任何有线网络或无线网络、LAN、WAN、WiFi、宽带、缆线、光纤、卫星、蜂窝(例如，4G、5G等)、互联网等)向客户提供基于计算机的服务。使用ASP模型提供的软件有时还被称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是使用标准协议(诸如HTTP)。应用程序软件驻留在供应商的系统上，并且由用户使用HTML通过web浏览器进行访问、由供应商提供的专用客户端软件进行访问或由其他远程接口(诸如瘦客户端)进行访问。

在广阔地理区域上递送的服务常常使用云计算。云计算是其中在互联网上将动态可缩放且常常虚拟化的资源提供为服务的一类型计算。用户不需要成为支持他们的“云”中技术基础设施方面的专家。可将云计算划分为不同的服务，例如基础结构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常在线提供从网络浏览器访问的共同业务应用程序，而软件和数据存储在服务器上。基于计算机网络图中互联网的描绘方式，术语云被用作互联网的隐喻(例如，使用服务器、存储装置和逻辑)，并且是它所隐藏的复杂基础设施的抽象概念。

此外，ISP 1902包括游戏处理服务器(GPS)1908，所述GPS 1908由游戏客户端使用以玩单玩家视频游戏和多玩家视频游戏。在互联网上玩的大多数视频游戏都是经由与游戏服务器(例如，游戏云服务器)的连接来操作的。通常，游戏使用专用的服务器应用程序，所述服务器应用程序从玩家收集数据并将数据分发给其他玩家。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS在玩家之间建立通信，并且玩家的相应的玩游戏装置在不依赖于集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心内的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于PC的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，所述专用服务器通常由拥有游戏名称的软件公司托管，从而允许他们控制和更新内容。

广播处理服务器(BPS)1910将音频或视频信号分发给受众。向很小范围内的受众进行广播有时称为窄播。广播分发的最后一站是信号如何到达听众或观察者，并且它可像广播电台或电视台一样从空中传播到天线和接收器，或者可通过有线电视或有线广播(或“无线电缆”)经由工作站或直接从网络传播。互联网还可以为接收者带来收音机或电视，特别是多播允许共享信号和带宽。历史上，广播已按地理区域来界定，诸如国家广播或区域广播。然而，随着快速互联网的普及，不按地理条件来定义广播，因为内容可以到达世界上的几乎任何国家。

存储服务提供者(SSP)1912提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和存档。通过提供存储即服务，用户可根据需要订购更多存储。另一主要优点是SSP包括备份服务，并且在用户的计算机的硬盘驱动器发生故障的情况下，用户将不会丢失其所有数据。此外，多个SSP可具有用户数据的全部或部分副本，从而允许用户高效地访问数据，而与用户所在的位置或用于访问数据的装置无关。例如，用户可以在家用计算机以及移动电话中(当用户移动时)访问个人文件。

通信提供者1914提供到用户的连接性。一种通信提供者是互联网服务提供者(ISP)，其提供对互联网的访问。ISP使用适合于递送互联网协议数据报的数据传输技术(诸如拨号、DSL、电缆调制解调器、光纤、无线或专用高速互连)来连接其客户。通信提供者还可提供消息收发服务，诸如电子邮件、即时消息收发和SMS短信。另一种类型的通信提供者是网络服务提供者(NSP)，其通过提供对互联网的直接主干访问来出售带宽或网络接入。网络服务提供者可以由电信公司、数据运营商、无线通信提供者、互联网服务提供者、提供高速互联网接入的有线电视运营商等组成。

数据交换1904将ISP 1902内部的若干模块互连并且经由网络1950(图1中的参考编号200)将这些模块连接到用户1900(玩家、观众)。数据交换1904可覆盖ISP 1902的所有模块很靠近的小区域，或可在不同模块在地理上分散时覆盖大地理区域。例如，数据交换1904可以包括数据中心的机柜内的快速千兆以太网(或更快的千兆以太网)，或洲际虚拟区域网络(VLAN)。

用户1900使用客户端装置1920(即，图2中的玩家101或观众102的客户端装置)访问远程服务，所述客户端装置至少包括CPU、存储器、显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板计算机、游戏系统、PDA等。在一个实施方案中，ISP 1902辨识客户端所使用的装置的类型并调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来访问ISP 1902。

图32绘示了可以用于执行本公开的各种实施方案的各方面的示例性装置2000的部件。此框图绘示了装置2000，所述装置可以结合或可以是适合于实践本公开的实施方案的个人计算机、视频游戏控制台、个人数字助理、服务器或其他数字装置。装置2000包括用于运行软件应用程序以及任选地操作系统的中央处理单元(CPU)2002。CPU 2002可由一个或多个同构或异构处理核心构成。例如，CPU 2002是具有一个或多个处理核心的一个或多个通用微处理器。其他实施方案可使用具有微处理器架构的一个或多个CPU来实施，所述微处理器架构特别适于高度并行且计算密集的应用程序，诸如处理解释查询、识别上下文相关资源以及即时地在视频游戏中实施和渲染上下文相关资源的操作。装置2000可以是在玩游戏区段的玩家本地的(例如，游戏控制台)，或者是远离玩家的(例如，后端服务器处理器)，或者是在游戏云系统中使用虚拟化来向客户端远程流式传输游戏玩法的许多服务器中的一者。

机器学习算法320使用分析器2040来分析交互数据以识别包含在其内的不同模态数据流。识别出的模态数据流然后由机器学习算法320使用单模态方法或多模态方法处理，以生成一个或多个AI模型320a。然后使用来自AI模型320a的输出来识别观众表达的情绪。

存储器2004存储应用程序和数据以供CPU 2002使用。存储装置(例如，数据存储装置)2006提供用于应用程序和数据的非易失性存储装置和其他计算机可读介质，并且可包括固定磁盘驱动器、可移除磁盘驱动器、快闪存储器装置以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光学存储装置，以及信号传输和存储介质。用户输入装置2008将来自一个或多个用户的用户输入传送到装置2000，所述装置的示例可包括键盘、鼠标、操纵杆、触摸板、触摸屏、静态或视频记录仪/相机、用于辨识手势的跟踪装置和/或麦克风。网络接口2014允许装置2000经由电子通信网络与其他计算机系统通信，并且可包括在局域网和广域网(诸如互联网)上的有线或无线通信。音频处理器2012适于从由CPU 2002、存储器2004和/或存储装置2006提供的指令和/或数据生成模拟音频输出或数字音频输出。装置2000的部件，包括CPU 2002、存储器2004、数据存储装置2006、用户输入装置2008、网络接口2014和音频处理器2012，经由一条或多条数据总线2022进行连接。

图形子系统2020进一步与数据总线2022和装置2000的部件连接。图形子系统2020包括图形处理单元(GPU)2016和图形存储器2018。图形存储器2018包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器2018可与GPU 2016集成在同一装置中、作为单独的装置与GPU 2016连接和/或实施在存储器2004内。可将像素数据从CPU 2002直接提供到图形存储器2018。替代地，CPU 2002向GPU 2016提供定义期望的输出图像的数据和/或指令，GPU 2016根据所述数据和/或指令生成一个或多个输出图像的像素数据。定义期望的输出图像的数据和/或指令可存储在存储器2004和/或图形存储器2018中。在一个实施方案中，GPU 2016包括从定义场景的几何形状、照明、暗影、纹理、运动和/或相机参数的指令和数据生成输出图像的像素数据的3D渲染能力。GPU 2016还可包括能够执行着色器程序的一个或多个可编程执行单元。

图形子系统2020周期性地从图形存储器2018输出图像的像素数据，以在显示装置2010上显示。显示装置2010可以是能够响应于来自装置2000的信号而显示视觉信息的任何装置，包括CRT、LCD、等离子体和OLED显示器。装置2000可向显示装置2010提供例如模拟或数字信号。

应注意，在较广的地理区域上递送的接入服务(诸如提供对当前实施方案的游戏的接入)常常使用云计算。云计算是其中在互联网上将动态可缩放且常常虚拟化的资源提供为服务的一类型计算。用户不需要是支持他们的“云”中的技术基础设施方面的专家。可将云计算划分为不同的服务，例如基础结构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的常用应用程序(诸如视频游戏)，而软件和数据则存储在云中的服务器上。基于计算机网络图中描绘互联网的方式，术语云被用作互联网的隐喻，并且是它所隐藏的复杂基础设施的抽象概念。

在一些实施方案中，游戏服务器可用于执行视频游戏玩家的持续时间信息平台的操作。在互联网上玩的大多数视频游戏经由到游戏服务器的连接进行操作。通常，游戏使用专用的服务器应用程序，所述服务器应用程序从玩家收集数据并将数据分发给其他玩家。在其他实施方案中，视频游戏可由分布式游戏引擎执行。在这些实施方案中，分布式游戏引擎可在多个处理实体(PE)上执行，使得每个PE执行视频游戏在其上运行的给定游戏引擎的功能区段。游戏引擎将每个处理实体简单地视为计算节点。游戏引擎通常执行一系列功能多样的操作，以执行视频游戏应用程序以及用户体验的附加服务。例如，游戏引擎实施游戏逻辑，执行游戏计算、物理效果、几何变换、渲染、照明、着色、音频以及附加的游戏内或游戏相关服务。附加服务可包括例如消息收发、社交实用程序、音频通信、游戏玩法重播功能、帮助功能等。虽然游戏引擎有时可在由特定服务器的管理程序虚拟化的操作系统上执行，但是在其他实施方案中，游戏引擎本身分布在多个处理实体之间，所述处理实体中的每一者可驻留在数据中心的不同服务器单元上。

根据此实施方案，依据每个游戏引擎段的需要，用于执行的相应处理实体可以是服务器单元、虚拟机或容器。例如，如果游戏引擎区段负责相机变换，则可向所述特定游戏引擎区段提供与图形处理单元(GPU)相关联的虚拟机，因为它将进行大量相对简单的数学运算(例如，矩阵变换)。可能向需要更少但更复杂的操作的其他游戏引擎段提供与一个或多个更高功率的中央处理单元(CPU)相关联的处理实体。

通过分布游戏引擎，游戏引擎具备不受物理服务器单元的能力约束的弹性计算性质。而是，在需要时，向游戏引擎提供更多或更少的计算节点，以满足视频游戏的需求。从视频游戏和视频游戏玩家的角度看，分布在多个计算节点上的游戏引擎与在单个处理实体上执行的非分布式游戏引擎没有区别，因为游戏引擎管理器或监督程序分发工作负荷并无缝地整合结果以为最终用户提供视频游戏输出分量。

用户使用客户端装置访问远程服务，所述客户端装置至少包括CPU、显示器和I/O。所述客户端装置可以是PC、移动电话、上网本、PDA等。在一个实施方案中，在游戏服务器上执行的网络辨识客户端使用的装置的类型并调整所采用的通信方法。在其他情况下，客户端装置使用诸如html的标准通信方法在互联网上访问游戏服务器上的应用程序。

应当理解，可针对具体的平台和具体的相关联的控制器装置2024开发给定视频游戏或游戏应用程序。然而，当经由如本文所呈现的游戏云系统使这种游戏可用时，用户可使用不同的控制器装置2024来访问视频游戏。例如，可能已经针对游戏控制台及其相关联的控制器2024开发了游戏，而用户可能利用键盘和鼠标从个人计算机访问游戏的基于云的版本。在这种情景中，输入参数配置可定义从用户的可用控制器装置2024(在这种情况下，键盘和鼠标)生成的输入到对于视频游戏的执行可接受的输入的映射。

在另一个示例中，用户可经由平板计算装置、触摸屏智能电话或其他触摸屏驱动的装置访问云游戏系统。在这种情况下，客户端装置和控制器装置2024一起集成在同一装置中，其中借助检测到的触摸屏输入/手势提供输入。对于这种装置，输入参数配置可定义与视频游戏的游戏输入相对应的特定触摸屏输入。例如，可能在视频游戏的运行期间显示或叠覆按钮、方向垫或其他类型的输入元件以指示触摸屏上用户可触摸以生成游戏输入的位置。手势(诸如在特定方向上的轻扫或具体的触摸运动)也可被检测为游戏输入。在一个实施方案中，例如在开始视频游戏的游戏玩法之前，可向用户提供指示如何经由触摸屏提供输入以用于玩游戏的教程，以便使用户适应在触摸屏上操作控件。

在一些实施方案中，客户端装置用作控制器装置2024的连接点。也就是说，控制器装置2024经由无线或有线连接与客户端装置通信以将来自控制器装置2024的输入发送到客户端装置。客户端装置可依次处理这些输入，且然后经由网络(例如，经由诸如路由器的本地联网装置访问)将输入数据传输到游戏云服务器。然而，在其他实施方案中，控制器装置2024本身可以是联网装置，具有经由网络将输入直接传送到游戏云服务器的能力，而无需首先通过客户端装置传送此类输入。例如，控制器装置2024可能连接到本地联网装置(诸如上述路由器)以向云游戏服务器发送数据以及从游戏云服务器接收数据。因此，虽然可能仍然需要客户端装置接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但可通过允许控制器装置(还称为“控制器”)2024在网络上将输入直接发送到游戏云服务器从而绕过客户端装置来减小输入延时。

在一个实施方案中，联网的控制器和客户端装置可被配置为将某些类型的输入从控制器直接发送到游戏云服务器，以及经由客户端装置发送其他类型的输入。例如，其检测不依赖于除控制器本身以外的任何附加硬件或处理的输入可经由网络从控制器直接发送到游戏云服务器，从而绕过客户端装置。此类输入可包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或需要客户端装置进行处理的输入可由客户端装置发送到游戏云服务器。这些可能包括从游戏环境捕捉的视频或音频，所述视频或音频可在发送到游戏云服务器之前由客户端装置进行处理。另外，来自控制器的运动检测硬件的输入可能由客户端装置结合所捕捉的视频进行处理，以检测控制器的位置和运动，随后客户端装置会将所述位置和运动传送到游戏云服务器。应了解，根据各种实施方案的控制器装置还可从客户端装置接收数据(例如，反馈数据)或直接从云游戏服务器接收数据。

应理解，可将本文限定的各种实施方案组合或聚集成使用本文公开的各种特征的特定实现方式。因此，所提供的示例只是一些可能的示例，而不限于通过组合各种要素来限定更多实现方式的可能的各种实现方式。在一些示例中，在不脱离所公开或等效的实现方式的精神的情况下，一些实现方式可包括更少的要素。

本公开的实施方案可以用包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。还可在分布式计算环境中实践本公开的实施方案，在所述分布式计算环境中，通过基于有线的网络或无线网络链接的远程处理装置执行任务。

虽然以特定的顺序描述了方法操作，但是应理解，可以在操作之间执行其他内务操作，或者可以调整操作，使得它们在稍微不同的时间发生，或者可以将操作分布在系统中，只要以期望的方式执行用于生成经修改的游戏状态的遥测和游戏状态数据的处理，所述系统便允许以与处理相关联的各种间隔发生处理操作。

一个或多个实施方案还可被制造为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

尽管出于清楚理解的目的而略微详细地描述了前述实施方案，但将显而易见，可在所附权利要求的范围内实践某些变化和修改。因此，本发明实施方案被认为是说明性的而非限制性的，并且所述实施方案不限于本文给出的细节，而是可在所附权利要求书的范围和等效范围内进行修改。

Claims (60)

1.一种方法，所述方法包括：

从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据；

对从所述受众中的所述观众捕捉的所述交互数据进行聚合，所述聚合包括根据从所述受众中的所述观众检测到的情绪将所述观众集群到不同的群体中，其中每个观众群体与独特情绪和置信度得分相关联，所述置信度得分对应于表达出所述独特情绪的相应群体中的观众的数目；

生成表示每个群体的所述独特情绪的化身，其中动态地调整与每个群体相关联的所述化身的表情以匹配所述相应群体中的所述观众的表情的变化；以及

在所述视频游戏的内容旁边呈现表示所述受众中的不同观众群体的独特情绪的化身。

2.如权利要求1所述的方法，其中对交互数据进行聚合包括，

识别包括在所述交互数据中的一个或多个模态数据流，

处理所述一个或多个模态数据流以识别观看所述视频游戏的所述观众表达的情绪；以及

根据所述观众表达的所述情绪将所述观众集群到群体中，其中每个观众群体与所述独特情绪相关联，并且

其中从交互数据识别出的所述一个或多个模态数据流对应于从观看所述视频游戏的游戏玩法的所述观众实时地收集的文本数据或视频数据或音频数据或聊天数据或表情符号或表情包或图形内容、图形交换格式文件中的任一者或组合，所述视频数据捕捉不同观众在所述观众正在观看所述视频游戏时的表情，并且所述音频数据包括音频内容并捕捉音调或幅度或持续时间中的一者或多者。

3.如权利要求2所述的方法，所述方法还包括，

使用机器学习算法生成和训练多个模型，其中使用来自从所述交互数据识别出的所述模态数据流中的特定模态数据流的数据来训练所述多个模型中的每个模型；以及

对所述多个模型的输出进行聚合，以对所述情绪进行分类，并且经由所述交互数据确定所述观众表达的所述情绪中的每一者的概率。

4.如权利要求2所述的方法，所述方法还包括，

使用机器学习算法生成和训练模型，其中使用从所述交互数据识别出的所述模态数据流作为输入来训练所述模型，所述模型的输出用于对所述情绪进行分类，并且经由所述交互数据确定所述观众表达的所述情绪中的每一者的概率。

5.如权利要求1所述的方法，其中基于与相应观众群体相关联的所述置信度得分来缩放用于每种独特情绪的所述化身的大小，并且

其中与每个观众群体相关联的所述置信度得分根据在所述相应观众群体中检测到的观众的数目的变化而变化。

6.如权利要求1所述的方法，其中对所述交互数据进行聚合包括：生成词云并使用经由对所述交互数据中的选定交互数据的情感分析识别出的关键词来动态地更新所述词云，所述词云中的所述关键词捕捉所述受众在每个时间点的情绪状态，来自所述词云的所述关键词被机器学习算法用作输入以生成和训练一个或多个模型，来自所述一个或多个模型的输出用于经由所述交互数据识别所述观众表达的所述情绪和所述情绪中的每一者的概率。

7.如权利要求1所述的方法，其中每个群体中的所述观众的所述表情根据在所述视频游戏的所述游戏玩法中发生的变化而变化，并且动态地调整与所述相应群体相关联的每个化身的所述表情以反映在所述相应观众群体的所述观众的所述表情中检测到的所述变化。

8.如权利要求1所述的方法，所述方法还包括，

生成并呈现交互式时间图，所述交互式时间图表示从所述视频游戏中的不同观众群体检测到的不同情绪的反应强度，所述交互式时间图中的所述不同情绪中的每一者的反应强度随时间根据在所述视频游戏的所述游戏玩法中发生的变化而变，

其中在所述交互式时间图中捕捉到的所述反应强度的变化链接到所述视频游戏的游戏玩法的特定部分，所述特定部分引起从所述相应观众群体检测到的所述不同情绪的所述反应强度的变化，其中链接允许访问所述视频游戏的所述游戏玩法的所述特定部分，以查看引起所述反应强度的对应变化的交互。

9.如权利要求8所述的方法，其中所述交互式时间图是具有多条图线的折线图，其中每条图线对应于从特定观众群体检测到的特定情绪，所述化身对应于在相应图线上渲染的所述特定情绪。

10.如权利要求1所述的方法，其中实时地流式传输所述视频游戏的游戏玩法，并且将所述游戏玩法的记录存储在游戏玩法数据存储装置中，并且使所述记录能够在延后的时间用于后续流式传输，并且

其中生成表示与所述视频游戏的观众群体相关联的情绪的反应强度的交互式时间图，并且将所述交互式时间图与所述视频游戏的所述内容一起呈现，所述交互式时间图是实时地生成的，并且与所述游戏玩法的所述记录一起存储在所述游戏玩法数据存储装置中，并且

其中当随后在延后的时间流式传输所述游戏玩法的所述记录时，通过修改所述交互式时间图以包括当在延后的时间期间流式传输所述游戏玩法的所述记录时捕捉的多个观众的反应强度来生成新的交互式时间图，捕捉所述多个观众的反应强度的所述新的交互式时间图在所述延后的时间再现所述游戏玩法的所述记录期间与所述视频游戏的所述内容一起呈现。

11.如权利要求1所述的方法，其中呈现化身包括提供具有分割选项和格式化选项以供观众选择的用户界面，所述分割选项提供用于从在显示屏幕上定义的多个区段选择一个区段以渲染所述化身的选项，并且所述格式化选项提供当在所述显示屏幕上渲染所述化身时采用的渲染选项，并且

其中所述格式化选项包括透明格式或覆盖格式或呈现格式中的任一者。

12.如权利要求1所述的方法，其中呈现所述化身包括，

确定每个观众群体中的观众的地理位置；

当每个群体中的所述观众与单个地理位置相关联并且每个观众群体与明显不同的地理位置相关联时，呈现包括与每个观众群体相关联的所述地理位置的地图；以及

将与所述相应观众群体相关联的对应化身覆盖于在所述地图中识别的与所述相应观众群体相关联的所述地理位置上。

13.如权利要求1所述的方法，所述方法还包括，

识别每个群体中的特定观众；

在定义的游戏时刻期间捕捉每个群体中的所述特定观众的反应；以及

在所述视频游戏的所述内容旁边渲染在定义的游戏时刻期间捕捉的所述特定观众的所述反应。

14.如权利要求13所述的方法，其中识别每个群体中的所述特定观众包括，

识别计划在所述视频游戏中发生的动作，所述动作是基于所述视频游戏的游戏状态来识别；

使用机器学习算法识别不同观众对在所述视频游戏中发生的不同动作表现出的反应的类型；以及

基于所述特定观众对所述不同动作表现出的所述反应来选择每个群体中的所述特定观众，对所述特定观众的所述选择包括预测性地放大以当在所述视频游戏中发生所述动作时捕捉每个群体中的所述观众中的所述特定观众的所述反应。

15.如权利要求13所述的方法，其中每个群体中的所述特定观众是基于由相应群体中的其余观众生成的与每个群体的所述特定观众的表情相关的评论的类型和数目来选择的，或者是随机选择的，或者是基于由所述特定观众提供的表达性反应来选择的。

16.如权利要求1所述的方法，其中从所述观众捕捉的交互数据包括对在所述视频游戏中发生的事件或动作的反应，或对观看所述视频游戏的游戏玩法的特定观众的反应的逆反应。

17.如权利要求16所述的方法，其中从一个群体的所述观众捕捉的交互数据包括与所述群体相关联的所述特定观众的所述反应，并且其中对从所述观众捕捉的所述交互数据进行聚合包括对所述群体中的对所述特定观众的所述反应作出反应的其他观众的反应进行聚合。

18.如权利要求1所述的方法，其中将所述观众集群到不同群体中还包括为观众提供从第一群集移动到第二群集的选项，所述选项是在所述视频游戏的内容旁边渲染的用户界面上提供的，所述移动导致将所述观众与所述第一群集动态地解除关联并且将所述观众动态地关联到所述第二群集，

其中所述动态关联允许所述观众有权访问所述第二群集中的所述观众的交互，而所述动态解除关联阻止所述观众访问所述第一群集中的所述观众的所述交互。

19.一种方法，所述方法包括：

从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据；

通过对所述交互数据执行情感分析来对从所述受众中的所述观众捕捉的所述交互数据进行聚合，所述聚合包括，

识别包括在所述交互数据中的一个或多个模态数据流；

处理所述一个或多个模态数据流以识别观看所述视频游戏的游戏玩法的所述观众表达的情绪；

根据所述观众表达的所述情绪将所述观众集群到群体中，其中每个观众群体与独特情绪和置信度得分相关联，所述置信度得分对应于表达出所述独特情绪的相应群体中的观众的数目；

生成表示每个群体的所述独特情绪的化身，其中动态地调整与每个群体相关联的所述化身的表情以匹配所述相应群体中的所述观众的所述表情的变化；以及

在所述视频游戏的内容旁边呈现表示所述受众中的不同观众群体的独特情绪的化身。

20.如权利要求19所述的方法，其中按照对应于所述相应观众群体的所述置信度得分来缩放用于每种独特情绪的所述化身的大小，并且其中使用机器学习算法执行对包括在所述交互数据中的所述一个或多个模态数据流的所述识别和所述处理。

21.一种方法，所述方法包括：

对从参与观看视频游戏的游戏玩法的观众收集的交互数据进行聚合，所述聚合包括基于从所述观众检测到的情绪将所述观众集群到群体中，其中每个观众群体与从所述交互数据识别出的独特情绪相关联；

识别反应音轨以对应于与每个群体相关联的所述独特情绪；以及

将每个群体的所述反应音轨与由所述视频游戏的所述观众观看的所述视频游戏的内容一起呈现。

22.如权利要求21所述的方法，所述方法还包括，

基于每个群体中的观众的数目确定每个观众群体的置信度得分；以及

基于所述群体的所述置信度得分调整每个群体的所述反应音轨的音量。

23.如权利要求21所述的方法，其中识别所述反应音轨还包括，

随时间检测每个群体的观众表达的所述情绪的变化，所述情绪的所述变化与在所述视频游戏的所述内容中发生的变化相关；以及

动态地识别每个群体的所述反应音轨，以对应于在每个群体中检测到的所述情绪的变化。

24.如权利要求21所述的方法，其中呈现所述反应音轨包括：将每个群体的所述反应音轨呈现给参与观看所述视频游戏的所有所述观众。

25.如权利要求21所述的方法，其中呈现所述反应音轨包括：向所述群体的观众呈现每个群体的所述反应音轨，使得呈现给第一观众群体的所述反应音轨不同于呈现给第二观众群体的所述反应音轨。

26.如权利要求21所述的方法，其中呈现所述反应音轨包括向所述观众呈现特定群体的所述反应音轨，其中基于每个群体的置信度得分来选择所述特定群体，每个群体的所述置信度得分指示相应群体中的观众的数目。

27.如权利要求21所述的方法，其中对所述交互数据进行聚合包括，

对所述交互数据执行情感分析，以识别与情绪相对应的关键词；以及

生成词云并使用所述关键词动态地更新所述词云，所述词云中的所述关键词捕捉所述观众在每个时间点的情绪状态。

28.如权利要求27所述的方法，其中识别特定观众群体的所述反应音轨包括，

根据由所述关键词定义的所述情绪对所述词云中的所述关键词进行分组，其中每组关键词对应于特定情感；

使用表示所述特定群体的所述情绪的选定组关键词来识别所述特定群体的所述反应音轨。

29.如权利要求27所述的方法，其中识别特定观众群体的交互音轨还包括，

识别所述观众与所述视频游戏的特定玩家或特定玩家队伍的从属关系，所述从属关系是从所述观众或玩家的社交图谱识别出的；

根据所述观众的所述从属关系将所述词云中的所述关键词分组为多个组，所述关键词对应于所述观众对所述视频游戏中的所述特定玩家或特定玩家队伍的游戏玩法作出响应的所述情绪，其中每组关键词对应于特定情感；

使用表示所述特定群体的所述情绪的选定组关键词来识别所述特定群体的所述反应音轨。

30.如权利要求21所述的方法，其中使用人工智能模型识别每个群体的所述反应音轨。

31.如权利要求21所述的方法，所述方法还包括，

从第一群体的观众接收附属于第二群体的请求，

响应于所述请求，将所述观众与所述第一群体解除关联并将所述观众与所述第二群体相关联，所述观众与所述第二群体的所述关联导致所述第一群体和所述第二群体中的观众的所述数目的变化，

其中所述观众与所述第二群体的所述关联向所述观众提供对由所述第二群体中的所述观众响应于所述视频游戏中发生的事件而生成的交互数据或对所述观众捕捉的交互数据的访问权。

32.如权利要求21所述的方法，所述方法还包括，

生成用于与每个观众群体相关联的化身，根据在所述相应群体的所述观众表达的对应独特情绪中检测到的变化来动态地调整每个群体的所述化身的表情，其中所述观众表达的所述情绪对应于在所述视频游戏中发生的事件，针对每个观众群体的所生成的化身与对应的反应音轨一起呈现在所述视频游戏的内容旁边。

33.如权利要求32所述的方法，其中生成群体的所述化身包括，

使用人工智能模型生成通用化身；

将所述通用化身关联到所述观众群体，所述关联允许访问所述群体中的所述观众的交互数据，所述交互数据用于确定所述群体的所述观众表达的所述情绪的动态，所述情绪随着在所述视频游戏中检测到的变化而变化；以及

动态地调整所述通用化身的表情并识别适当的反应音轨以对应于在所述群体的所述情绪中检测到的变化，具有调整后的表情的所述化身和所述适当的反应音轨被转发到所述观众的客户端装置进行渲染。

34.如权利要求32所述的方法，呈现每个群体的所述化身包括同时呈现观看所述视频游戏的两个对立的观众群体的化身和对应的反应音轨，所述两个对立的观众群体的所述化身和所述反应音轨用于当在所述视频游戏的所述内容旁边渲染时提供对在所述视频游戏内发生的事件的差异大的反应。

35.如权利要求21所述的方法，所述方法还包括，

在与特定情绪相关联的特定观众群体内选择一名观众来提供针对特定情感的反应突显，所述观众是基于所述观众表达的所述情绪来选择的；以及

在与在所述视频游戏中发生的事件相关的关键游戏时刻期间呈现所述观众表达所述群体的所述情绪的视频，所述视频与所述特定群体的所述反应音轨一起呈现。

36.如权利要求35所述的方法，其中所述特定群体的所述观众是随机选择的，或者是经由对在所述特定群体中的所述观众观看所述视频游戏的游戏玩法时捕捉的所述观众的先前表情的预测性分析来选择。

37.如权利要求21所述的方法，所述方法还包括，

识别图形交换格式图像(GIF)以提供与特定群体相关联的特定情绪的反应突显，所述GIF是使用与所述特定群体的所述情绪相关联的关键词来识别的；以及

在与在所述视频游戏中发生的事件相关的关键游戏时刻期间呈现所述GIF以用于提供所述反应突显，所述GIF表达所述特定群体的所述观众表达的所述情绪的所述反应突显。

38.一种方法，所述方法包括：

从参与观看视频游戏的游戏玩法的受众中的观众捕捉交互数据；

对从所述受众中的所述观众捕捉的所述交互数据进行聚合，所述聚合包括根据从所述受众中的所述观众检测到的情绪将所述观众集群到不同的群体中，其中每个观众群体与从所述交互数据识别出的独特情绪相关联；

基于每个群体中表达与所述群体相关联的独特情绪的观众的数目，确定每个观众群体的置信度得分；

识别反应音轨以对应于与特定观众群体相关联的所述独特情绪，其中所述特定观众群体是基于每个群体的所述置信度得分来识别的；

在所述观众正在观看的所述视频游戏的内容旁边向每个群体的所述观众呈现所述特定观众群体的所述反应音轨。

39.如权利要求38所述的方法，其中所述特定观众群体被识别为在所述受众中具有最高置信度得分，并且

其中根据所述特定群体的所述置信度得分调整所述特定群体的所述反应音轨的音量。

40.如权利要求38所述的方法，所述方法还包括，

生成表示每个观众群体的所述独特情绪的化身，根据在所述相应群体中的所述观众的所述情绪中检测到的变化来动态地调整与每个群体相关联的所述化身的表情；以及

在所述视频游戏的内容旁边呈现每个观众群体的所述化身，将每个群体的所述化身的大小缩放成对应于所述相应群体的所述置信度得分。

41.一种方法，所述方法包括：

对从参与观看视频游戏的游戏玩法的观众检测到的交互数据进行聚合，所述聚合包括基于所述观众表达的情绪将所述观众集群到群体中，其中每个观众群体与从所述交互数据识别出的独特情绪相关联；

针对在每个观众群体中表达的所述独特情绪来识别图形交换格式文件(GIF)；

将针对每种独特情绪识别出的所述GIF与对应的观众群体相关联，使得每个观众群体与独特GIF相关联；以及

将所识别的GIF与所述视频游戏的游戏玩法内容一起返回到观众的客户端装置进行渲染。

42.如权利要求41所述的方法，其中针对特定观众群体识别所述GIF包括，

检测所述特定群体的所述观众表达的所述情绪的变化，所述情绪的所述变化与在所述视频游戏的所述游戏玩法中发生的变化相关；以及

动态地更新与所述特定群体相关联的所述GIF，对所述GIF的所述更新对应于所述观众的所述情绪的所述变化。

43.如权利要求41所述的方法，其中将针对每个观众群体识别出的所述GIF返回到所述视频游戏的观众的客户端装置以便渲染在所述观众的图像表示上，其中所述观众的所述图像表示被配置为渲染在所述视频游戏的所述游戏玩法内容旁边。

44.如权利要求41所述的方法，其中与每个观众群体相关联的所述GIF的大小被缩放成与相应群体中的观众的数目匹配，使得针对具有最高观众数目的第一群体识别出的所述GIF呈现得比具有小于所述第一群体的观众数目的第二群体大，与每个群体相关联的所述GIF的所述大小被缩放成对应于每个观众群体内的观众的大小。

45.如权利要求41所述的方法，其中对交互数据进行聚合包括，

识别包括在所述交互数据中的模态数据流，

其中从交互数据识别出的所述模态数据流对应于从观看所述视频游戏的所述观众实时地收集到的文本数据或视频数据或音频数据或聊天数据或表情符号或表情包或图形内容中的任一者或组合，

其中所述视频数据捕捉所述观众在所述观众观看所述视频游戏时的表情，并且其中所述音频数据捕捉一个或多个音调或幅度或持续时间；

处理所述模态数据流以识别观看所述视频游戏的所述观众表达的情绪；以及

根据所述观众表达的所述情绪将所述观众集群到群体中，其中每个群体与所述独特情绪相关联。

46.如权利要求45所述的方法，所述方法还包括，

使用机器学习算法生成和训练多个模型，其中使用来自从所述交互数据识别出的所述模态数据流中的特定模态数据流的数据来训练所述多个模型中的每个模型；以及

对所述多个模型的输出进行聚合，以经由所述交互数据识别所述观众表达的不同情绪和每种情绪的概率。

47.如权利要求45所述的方法，所述方法还包括，

使用机器学习算法生成和训练模型，其中使用从所述交互数据识别出的所述模态数据流作为输入来训练所述模型，所述模型的输出用于经由所述交互数据识别所述观众表达的所述情绪和每种情绪的概率。

48.如权利要求41所述的方法，其中针对特定观众群体识别所述GIF还包括，

针对与所述特定观众群体相关联的所述独特情绪识别GIF子集，所述GIF子集呈现在具有供所述特定群体的所述观众中的一者或多者选择的选项的用户界面上，并且

其中所述GIF子集是基于以下各项来识别：所述特定群体的一个或多个观众针对所述独特情绪对GIF的先前选择，或所述子集中的所述GIF的受欢迎度，或在所述特定群体的所述观众的用户配置文件中指定的偏好，或在观看或已经观看所述视频游戏或其他视频游戏的游戏玩法的所述观众的用户配置文件中指定的偏好。

49.如权利要求48所述的方法，其中关联针对所述特定观众群体的所述独特情绪的所述GIF包括，

接收从呈现在所述用户界面上的所述GIF子集中对特定GIF的选择；以及

将所述特定GIF与所述特定群体相关联。

50.如权利要求41所述的方法，其中识别所述GIF还包括，

针对与特定观众群体相关联的所述独特情绪识别GIF子集，其中所述GIF子集中的每个GIF是基于由所述特定群体内的一个或多个观众指定的偏好来识别的，所述GIF子集中的每个GIF与表示所述特定群体的所述一个或多个观众针对所述独特情绪选择所述GIF的次数的置信度指示符相关联；以及

基于与所述特定GIF相关联的所述置信度指示符，从所述GIF子集自动选择特定GIF以与所述特定群体相关联。

51.如权利要求50所述的方法，其中识别所述GIF还包括，

提供自定义选项以超驰对针对所述特定群体选择的所述特定GIF的所述选择，其中对所述自定义选项的选择导致渲染针对与所述特定群体相关联的所述独特情绪识别出的所述GIF子集，以及提供选择选项以从所述GIF子集选择替代性GIF以用于与所述特定群体相关联。

52.如权利要求41所述的方法，其中返回每个群体的所识别的GIF还包括格式化所述GIF以渲染在客户端装置的显示屏幕上定义的区段中，所述区段是基于由每个群体内的每个观众指定的偏好来识别的。

53.如权利要求41所述的方法，其中返回针对每种独特情绪识别出的所述GIF还包括定义所述GIF的渲染格式，其中所述渲染格式是透明格式或覆盖格式或呈现格式中的一者。

54.如权利要求41所述的方法，所述方法还包括识别每个群体的所述独特情绪的反应音轨，并与所述GIF一起返回所述反应音轨以在所述观众的客户端装置处渲染。

55.如权利要求41所述的方法，其中将针对每个群体的所识别的GIF渲染给所述群体的观众，使得向每个观众群体呈现对应于所述相应群体的所述独特情绪的所述GIF。

56.如权利要求41所述的方法，所述方法还包括，

提供允许观众从第一群体移动到第二群体的选项，其中所述选项在通过对交互数据进行聚合而创建的群体列表旁边呈现在交互界面上，并且

其中对识别所述第二群体的所述选项的选择导致所述观众与所述第一群体解除关联并与所述第二群体相关联，与所述第一群体解除关联阻止所述观众访问所述第一群体的所述交互数据，并且关联到所述第二群体向所述观众提供对所述第二群体的所述交互数据的访问。

57.如权利要求41所述的方法，其中对所述交互数据进行聚合包括：生成词云并使用通过在情绪上分析所述交互数据而识别出的关键词动态地更新所述词云，更新到所述词云的所述关键词对应于观看所述视频游戏的所述游戏玩法的观众在每个时间点表达的独特情绪。

58.如权利要求57所述的方法，其中对所述观众进行集群包括，

根据由所述关键词定义的所述独特情绪对所述词云中的所述关键词进行分组，其中每组关键词对应于不同的情绪；以及

识别表示特定情绪的第一组关键词以识别用于所述特定情绪的所述GIF，其中用于所述特定情绪的所述GIF与提供所述交互数据的对应观众群体相关联，用于所述特定情绪的所述第一组关键词是从所述交互数据识别出的。

59.一种方法，所述方法包括：

对从参与观看视频游戏的游戏玩法的观众检测到的交互数据进行聚合，其中所述聚合包括，

识别包括在所述交互数据中的一个或多个模态数据流；

处理所述一个或多个模态数据流以识别观看所述视频游戏的所述观众表达的情绪；

基于所述观众表达的情绪将所述观众集群到群体中，其中每个观众群体与从所述交互数据识别出的独特情绪相关联；

针对每个观众群体表达的所述独特情绪来识别图形交换格式文件(GIF)；

将针对每种独特情绪识别出的所述GIF与对应的观众群体相关联，使得每个观众群体与独特GIF相关联；以及

将针对每个群体识别出的所述GIF与所述视频游戏的游戏玩法内容一起返回到观众的客户端装置进行渲染。

60.如权利要求59所述的方法，其中对所述观众进行集群还包括，

使用机器学习算法生成和训练一个或多个模型，其中使用来自从所述交互数据识别出的所述一个或多个模态数据流的数据来训练所述一个或多个模型；以及

对所述一个或多个模型的输出进行聚合，以识别所述观众表达的不同情绪和每种情绪的概率。