CN118103835A - 对情绪进行视觉标记和热映射 - Google Patents

对情绪进行视觉标记和热映射 Download PDF

Info

Publication number
CN118103835A
CN118103835A CN202280069744.1A CN202280069744A CN118103835A CN 118103835 A CN118103835 A CN 118103835A CN 202280069744 A CN202280069744 A CN 202280069744A CN 118103835 A CN118103835 A CN 118103835A
Authority
CN
China
Prior art keywords
user
messages
user device
communication session
emotional state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280069744.1A
Other languages
English (en)
Inventor
R·杨
C·英灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of CN118103835A publication Critical patent/CN118103835A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了用于对通信会话中的通信进行视觉标记的系统和方法。可监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信。所述当前通信会话可包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息。可针对所述组中的所述消息中的每一者来识别情绪状态，并且基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息而对所述情绪状态进行分类。所述消息中的至少一者的经分类情绪状态可被检测为触发与所述用户装置的所述用户相关联的标记规则。可基于所述标记规则来在所述当前通信会话内修改所述一组消息的呈现。所修改的呈现可包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。

Description

对情绪进行视觉标记和热映射
背景技术
1.技术领域
本发明总体涉及在视觉上映射情绪。更具体地，本发明涉及对情绪进行视觉标记和热映射。
2.相关技术描述
当前可用的数字内容标题可能会在与此类标题的相关联数字环境中的各种数字元素交互的不同用户中引起不同类型的情绪反应。此外，参与一些数字内容标题可能涉及与数字(例如，虚拟)环境内或相关联的通信会话内的其他用户的交互。这样的其他用户可表现出他们自己的情绪，并且因此，与其他用户的交互本身可引起或以其他方式影响用户的情绪状态的类型和程度。
在某种程度上，用户可能不知道他们在交互式(例如，游戏玩法)会话内以及在相关联的通信会话内感受到或表现出的情绪类型。例如，在当前游戏玩法会话进展不顺利时，一些用户可能会感到沮丧。在其他情况下，当其他用户大声吼叫或以其他方式表现出愤怒时，用户可能会感到压力。在此类情况或类似情况下，当长时间暴露于其他人的负面情绪时，用户的心理健康或感觉处理状况可能会恶化或受到其他影响。另一个示例可包括可能不希望让自己暴露于脏话、图形内容、欺凌语言、性别误判语言或者其他攻击性、敌意或暴力语言(例如，骚扰、威胁)的玩家。特别地，年轻玩家(例如，儿童)可能有父母、监护人或其他监管人员(例如，亲属、儿童保育专业人员)，他们希望限制其受照料人暴露于此类负面情绪和相关联的语言。
在某些情况下，用户也可能不知道其他人感受到或表现出的情绪类型。当用户无法查看或解释其他人的面部表情或其他传统的情绪指示符时，这种意识的缺乏可能会进一步加剧。例如，在游戏玩法会话期间，许多玩家使用化身与其他人交互，同时避免暴露他们的真实世界外观(包括面部表情和身体姿势)。此外，在基于聊天的通信会话期间，语气不一定能转化为简单的文本。因此，在这样的背景下，可能会错过情绪线索。
因此，本领域需要在视觉上对情绪进行标记和热映射的改进系统和方法。
发明内容
本发明的实施方案包括用于对情绪进行视觉标记和热映射的系统和方法。可监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信。所述当前通信会话可包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息。可针对所述组中的所述消息中的每一者来识别情绪状态，并且基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息而对所述情绪状态进行分类。所述消息中的至少一者的经分类情绪状态可被检测为触发与所述用户装置的所述用户相关联的标记规则。可基于所述标记规则来在所述当前通信会话内修改所述一组消息的呈现。所修改的呈现可包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。
附图说明
图1示出了其中可实现用于对情绪进行视觉标记和热映射的系统的网络环境。
图2示出了可用于向用于对情绪进行视觉标记和热映射的系统提供数据的示例性统一数据系统(UDS)。
图3是示出用于对情绪进行视觉标记和热映射的示例性方法的流程图。
图4A示出了已经基于情绪进行视觉标记的示例性聊天流
图4B示出了对通信会话内的表情符号进行基于情绪的过滤的示例性实现方式。
图4C示出了与交互式内容标题的玩家相关联的示例性情绪热图。
图4D示出了与多个交互式活动中的多个玩家相关联的示例性情绪热图。
图5是可用于本发明的实施方案中的示例性电子娱乐系统的框图。
具体实施方式
本发明的实施方案包括用于对情绪进行视觉标记和热映射的系统和方法。可监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信。所述当前通信会话可包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息。可针对所述组中的所述消息中的每一者来识别情绪状态，并且基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息而对所述情绪状态进行分类。所述消息中的至少一者的经分类情绪状态可被检测为触发与所述用户装置的所述用户相关联的标记规则。可基于所述标记规则来在所述当前通信会话内修改所述一组消息的呈现。所修改的呈现可包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。
图1示出了其中可实现用于对情绪进行视觉标记和热映射的系统的网络环境。网络环境100可包括提供用于分发的数字内容(例如，游戏、其他应用和服务)的一个或多个内容源服务器110、一个或多个内容提供商服务器应用程序接口(API)120、内容分发网络服务器130、情绪分析服务器140，以及一个或多个用户装置150。网络环境100中的装置使用一个或多个通信网络彼此通信，所述通信网络可包括本地专有网络(例如，内联网)和/或可以是更大的广域网的一部分。通信网络可以是局域网(LAN)，其可通信地耦合至诸如互联网的广域网(WAN)。互联网是互连计算机和服务器的广泛网络，其允许互联网协议(IP)数据在通过网络服务提供商连接的用户之间传输和交换。网络服务提供商的示例是公共交换电话网、有线服务提供商、数字用户线路(DSL)服务提供商或卫星服务提供商。一个或多个通信网络允许在网络环境100中的各种部件之间的通信。
本文所描述的服务器可包括如本领域中已知的任何类型的服务器，包括标准硬件计算部件，诸如网络和媒体接口、非暂时性计算机可读存储装置(存储器)和用于执行指令或访问可存储在存储器中的信息的处理器。多个服务器的功能可集成到单个服务器中。任何上述服务器(或集成服务器)都可具有某些客户端侧、高速缓存或代理服务器特性。这些特性可取决于服务器的特定网络布置或服务器的某些配置。
内容源服务器110可维持和提供可用于通过通信网络分布的多种数字内容和数字服务。内容源服务器110可与使其内容可用于通过通信网络访问的任何内容提供商相关联。内容源服务器110因此可托管多种不同的内容标题，这些内容标题可能还与关于在互动会话期间显示在数字或虚拟环境中的数字或虚拟对象的对象数据(例如，活动信息、区域信息、角色信息、玩家信息、其他游戏媒体信息等)相关联。
此类内容可能不仅包括数字视频和游戏，还包括其他类型的数字应用和服务。此类应用和服务可包括可提供给用户装置150的任何多种不同的数字内容和功能，包括提供和支持聊天及其他通信频道。聊天和通信服务可包括基于语音、基于文本和基于视频的消息。因此，用户装置150可参与与一个或多个通信会话并发的游戏会话，并且游戏会话和通信会话可托管在内容源服务器110中的一个或多个上。
可通过内容提供商服务器API 120提供来自内容源服务器110的内容，所述内容提供商服务器API允许各种类型的内容源服务器110与网络环境100中的其他服务器(例如，用户装置150)进行通信。内容提供商服务器API 120可专用于提供内容的内容源服务器110的以及用户装置150和网络环境100的其他装置的特定操作语言、系统、平台、协议等。在包括多种不同类型的内容源服务器110的网络环境100中，可同样存在对应数量的内容提供商服务器API 120，其允许各种格式化、转换和其他跨装置和跨平台通信过程以用于将内容和其他服务提供给不同的用户装置150，所述不同的用户装置可各自分别使用不同的操作系统、协议等来处理此类内容。因此，可使呈不同格式的应用和服务可用，以便与多种不同的用户装置150兼容。在包括多种不同类型的内容源服务器110、内容分发网络服务器130、情绪分析服务器140、用户装置150和数据库160的网络环境100中，同样可存在由内容提供商服务器API 120管理的对应数量的API。
内容提供商服务器API 120还可促进用户装置150中的每一者直接或经由内容分发网络服务器130访问由内容源服务器110托管的内容或提供的服务。关于所访问的内容或服务的附加信息(诸如元数据)也可由内容提供商服务器API 120提供给用户装置150。如下文所描述，附加信息(例如，对象数据、元数据)可以是可用于提供关于提供给用户装置150的内容或服务的细节。在一些实施方案中，经由内容提供商服务器API 120从内容源服务器110提供给用户装置150的服务可包括与其他内容或服务相关联的支持服务，诸如与特定游戏、团队、社区等相关联的聊天服务、评级和配置文件。在此类情况下，内容源服务器110也可经由内容提供商服务器API 120彼此通信。
内容分发网络服务器130可包括将与来自内容源服务器110的内容有关的资源、文件等(包括各种内容和服务配置)提供给用户装置150的服务器。内容分发网络服务器130还可由请求访问具体内容或服务的用户装置150调用。内容分发网络服务器130可包括全域管理服务器、游戏服务器、流式传输媒体服务器、托管可下载内容的服务器以及本领域中已知的其他内容分发服务器。
情绪分析服务器140可包括本领域已知的能够与不同的内容源服务器110、内容提供商服务器API 120、内容分发网络服务器130、用户装置150和数据库160通信的任何数据服务器。此类情绪分析服务器140可在一个或多个云服务器上实现，该一个或多个云服务器执行与交互式内容(例如，游戏、活动、视频、播客、用户生成内容(“UGC”)、发布者内容等)相关联的指令。情绪分析服务器140还可执行例如用于以下操作的指令：监测与跟一个或多个其他用户装置通信的指定用户装置相关联的当前通信会话；基于考虑到关于用户装置的用户的上下文信息来分析一组消息对与跟指定的用户装置相关联的消息中的每一者相关联的情绪状态进行分类；检测到消息中的至少一者的经分类情绪状态触发与用户装置的用户相关联的标记规则；以及基于标记规则来修改当前通信会话内的一组消息的呈现，以便包括指示至少一个消息的经分类情绪状态的一个或多个标记。
用户装置150可包括多种不同类型的计算装置。用户装置150可以是在网络环境100中提供内部服务(例如，给其他服务器)的服务器。在此类情况下，用户装置150可对应于本文所描述的内容服务器110中的一个内容服务器。替代地，用户装置150可以是计算装置，其可包括任何数量的不同游戏控制台、移动装置、膝上型电脑和台式电脑。此类用户装置150还可被配置为从其他存储介质访问数据，所述其他存储介质诸如但不限于在下载的服务的情况下可能适当的存储卡或磁盘驱动器。此类用户装置150可包括标准硬件计算部件，诸如但不限于网络和媒体接口、非暂时性计算机可读存储装置(存储器)和用于执行可存储在存储器中的指令的处理器。这些用户装置150还可使用多种不同的操作系统(例如，iOS、Android)、应用或计算语言(例如，C++、JavaScript)来运行。在本文中关于图5详细描述了示例性客户端装置150。每个用户装置150可与数字内容流的集合相关的参与者(例如，玩家)或其他类型的用户(例如，观众)相关联。
虽然单独描绘，但是数据库160可存储在网络环境100中所示的服务器和装置中的任一者上、在同一服务器上、在不同服务器上或在用户装置150中的任一者上。这样的数据库160可存储或链接到各种语音-情绪学习模型、语言-情绪模型、面部表情-情绪模型或其他情绪模型，其中每个模型可特定于不同的情绪、用户或用户组。数据库160还可存储用于评估在通信会话期间表现出的情绪状态的其他资源。另外，数据库160可存储情绪配置文件，以及可专用于且进一步可定制用于特定情绪、用户、用户组或团队、用户类别、游戏标题、游戏类型、语言类别等的标记规则。也可为每个用户在数据库160中存储一个或多个用户情绪配置文件和相关联的情绪学习模型。除了关于用户的游戏玩法数据(例如，用户在活动中的进度和/或媒体内容标题、用户ID、用户游戏角色等)之外，用户情绪配置文件还可包括专用于用户的情绪数据集。
与情绪识别相关联的示例性学习模型可包括多种可检测指示符，包括文本指示符(例如，措辞或单词选择、脏话、关键词、术语、短语等)、言语指示符(例如，语音语调、音高或频率、语音的速率或节拍、节奏、音量等的变化)、视觉指示符(例如，面部表情、肤色，诸如相对于平静状态的脸红或苍白)、生理或行为指示符(例如，生物特征变化，诸如心率、压力症状、输入错误增加等)、游戏内指示符(例如，游戏玩法中的错误、角色行为)以及本领域已知的与心情、感情、情绪等相关联的其他指示符。学习模型可针对不同的玩家进一步细化，这些玩家对于给定的情绪可能表现出不同的指示符。特定玩家还可与对应于不同情绪的多个不同学习模型相关联。可基于来自用户或来自可提供关于特定用户的情绪状态的反馈的其他人的用户输入来进一步细化学习模型。这样，学习模型可用指示给定用户的给定情绪的不同指示符或其水平来持续更新。
数据库160还可存储将视觉标记(例如，表情符号)与不同情绪状态及其水平相关联的一个或多个标记规则。标记规则可指定例如与执行标记动作相关的某些基于情绪的触发条件。与特定情绪相关联的触发条件可包括触发相关联的标记规则的情绪指示符的一个或多个阈值水平。例如，某些标记规则可指定消息中的高水平的愤怒指示符(例如，高音量、大声吼叫、脏话、仇恨言论、种族主义、性别歧视、恐同、性别误判语言)可触发用与愤怒相关联的标记进行标记。标记规则还可指定本文所讨论的不同类型的指示符的组合，诸如关于面部表情、语音变化以及游戏内条件和行为的指示符。
因此，当标记规则应用于通信会话时，可实时或接近实时地标记触发不同标记规则的不同消息。因为不同的消息可能与不同的用户相关联，所以可基于情绪指示符(如由学习模型定义和细化)以及关于发起该消息的特定用户的上下文信息来评估每条消息。这样的上下文信息可包括关于用户、他们的身体状态、他们的游戏内状态等的实时或历史数据。这样的上下文信息可从各种源获得，包括相机、传感器、内容源服务器110、UDS系统200等。
当对话的上下文指示最初指派的标记未指示用户的情绪状态时，还可更新标记。例如，大声吼叫或尖叫(无论是通过声音还是通过全大写打字)的消息最初可能被标记为愤怒，但是随后的对话可能会揭示出相关联用户只是兴奋、惊讶、听力不好、处于嘈杂的真实环境或其他上下文。另外，可基于来自通信会话中的指定用户或其他用户的输入或反馈来更新标记。
根据标记规则指派的标记还可用作用于过滤消息、搜索结果、选项和控制操作的基础。例如，用户可能希望过滤与不良情绪相关联的消息，以便保护他们自己的精神和情绪健康，并且避免在通信会话中与其他用户交互时出现与此类情绪相关的压力。这样的用户还可响应于他们自己的情绪状态而指定或定制通信会话呈现、交互式会话和装置控制。此类定制可包括降低游戏难度、攻击性游戏玩法的水平、提高不同情绪触发的阈值、脏话的自我审查、中和或修改自己的语音、触发平静效果(例如，音乐、视觉效果、风扇和其他温度调节装置等)。
不同类型的标记可用于在通信会话内提供指示每个参与用户的情绪状态的视觉显示。这样的视觉显示可指示不同的情绪和此类情绪的水平(例如，低、中、高)。不同的情绪可在情绪仪表板中可视化，例如，该情绪仪表板包括不同类型的测量或度量呈现。这样的视觉显示可基于关于与特定情绪的指示符相关联的阈值的定制警报或通知设置来触发。另外，情绪分析服务器140还可随时间以及在多个会话中跟踪关于多个用户的情绪指示符的数据。除了用于开发和细化与情绪相关联的学习模型之外，此类数据还可用于生成和提供用户情绪数据的各种视觉呈现。
用户可请求查看情绪仪表板(与他们自己的情绪数据或其他人的情绪数据相关联)，这可进一步按游戏标题、游戏会话、与不同的特定用户或用户组的交互、时间段或者被跟踪并可供情绪分析服务器140访问的任何其他参数(包括由UDS系统200跟踪的数据)分解情绪数据。情感数据的示例性呈现在本文进一步详细地讨论的图4A至图4D中示出。
在一些实现方式中，过滤器不仅可由用户自己设置，而且可由用户的父母、监护人、监管人员等设置，他们可能希望其受照料人避免暴露于某些类型的情绪及其指示符，包括脏话、图形内容、欺凌语言、性别误判语言或者其他攻击性、敌意或暴力语言(例如，骚扰、威胁)。因此，指派的标记可用作从通信会话的呈现中过滤特定消息或消息集合的基础。例如，还可通过静音、调制、自动调谐或用语音发生器替换来从呈现给用户的通信会话的版本中过滤被检测为与不期望的情绪相关联并相应地标记的基于语音的消息。在一些情况下，用户可选择审查自己并过滤其自己的消息以免呈现给其他人。例如，用户可指定禁止某些观众(例如，年轻年龄段的玩家)看到、听到或访问由用户在某些情绪状况下生成的某些类型的内容，如通过指派的标记来识别。
在通信会话的过程中，每个参与用户可标记他们自己或其他用户的消息以指示情绪，以及进一步标记该用户或其他用户本身。标记可基于一系列文本语言通信、口头语言的转录、记录的游戏内行为(例如，由UDS系统200捕获的用户生成的内容)、被检测为存在于当前通信会话中的不同指示符的自动生成的菜单、自由形式描述或本领域已知的其他选择机制。然后可将标记的情绪指示符添加到学习模型以更新标记规则并评估当前通信会话内的传入通信。
图2示出了可用于向用于对情绪进行视觉标记和热映射的系统提供数据的示例性统一数据系统(UDS)。基于UDS200提供的数据，情绪分析服务器140可知道当前会话条件，例如用户和相关联的角色参与了哪些游戏内对象、实体、活动和事件，并且因此支持分析和协调情绪分析服务器140对当前游戏玩法和游戏内活动的情绪检测和基于情绪的响应。每次用户交互可与用于游戏内交互的类型、游戏内环境内的位置和游戏内时间线内的时间点以及所涉及的其他玩家、对象、实体等的元数据相关联。因此，可针对游戏会话期间可能发生的各种用户交互中的任一种来跟踪元数据，包括相关联的活动、实体、设置、结果、动作、效果、位置和角色统计信息。此类数据还可被聚合、应用于数据模型并进行分析。这种UDS数据模型可用于以统一的方式跨游戏向每个信息部分指派上下文信息。
例如，各种内容标题可描绘用户可交互的一个或多个对象(例如，游戏内活动所涉及的)和/或由对等体、媒体内容标题的发布者和/或第三方发布者创建的UGC(例如，截屏、视频、解说、聚合应用等)。此类UGC可包括搜索此类UGC所凭借的元数据。这种UGC还可包括关于媒体和/或对等体的信息。这种对等体信息可从在与交互式内容标题(例如，视频游戏、交互式书籍等)的对象的对等体交互期间收集的数据得到，并且可被“绑定”到UGC并与其一起存储。此类绑定增强了UGC，因为UGC可深链接(例如，直接启动)至对象，可提供关于UGC的对象和/或对等体的信息和/或可允许用户与UGC交互。
如图2所示，示出了示例性控制台228(例如，用户装置130)和示例性服务器218(例如，流式传输服务器220、活动馈送服务器224、用户生成内容(UGC)服务器232和对象服务器226)。在一个示例中，控制台228可实施在平台服务器120、云服务器上或服务器218中的任一者上。在示例性示例中，内容记录器202可在平台服务器120上、在云服务器上或服务器218中的任一者上实施。这种内容记录器202从交互式内容标题230接收内容(例如，媒体)，并且将该内容记录到内容环形缓冲器208上。这种环形缓冲器208可存储多个内容片段(例如，v1、v2和v3)、每个片段的开始时间(例如，V1_START_TS、V2_START_TS、V3_START_TS)和每个片段的结束时间(例如，V1_END_TS、V2_END_TS、V3_END_TS)。此类片段可由控制台228存储为媒体文件212(例如，MP4、WebM等)。这种媒体文件212可上传到流式传输服务器220以供存储和后续的流式传输或使用，但是媒体文件212可存储在任何服务器、云服务器、任何控制台228或任何用户装置130上。每个片段的此类开始时间和结束时间可由控制台228存储为内容时间戳文件214。这种内容时间戳文件214还可包括流式传输ID，该流式传输ID与媒体文件212的流式传输ID匹配，由此使内容时间戳文件214关联到媒体文件212。这种内容时间戳文件214可上传并存储到活动供稿服务器224和/或UGC服务器232，但是内容时间戳文件214可存储在任何服务器、云服务器、任何控制台228或任何用户装置130上。
与内容记录器202从交互式内容标题230接收和记录内容同时地，对象库204从交互式内容标题230接收数据，并且对象记录器206跟踪该数据以确定对象何时开始和结束。对象库204和对象记录器206可在平台服务器120上、在云服务器上或在服务器218中的任一者上实施。当对象记录器206检测到对象开始时，对象记录器206从对象库204接收对象数据(例如，对象是否是活动、与活动的用户交互、活动ID、活动开始时间、活动结束时间、活动结果、活动类型等)并将活动数据记录到对象环形缓冲器210上(例如，ActivityID1、START_TS；ActivityID2、START_TS；ActivityID3、START_TS)。记录到对象环形缓冲器210上的此类活动数据可存储在对象文件216中。这种对象文件216还可包括活动开始时间、活动结束时间、活动ID、活动结果、活动类型(例如，竞赛、探索、任务等)、与活动相关的用户或对等体数据。例如，对象文件216可存储关于在活动期间使用的物品的数据。这种对象文件216可存储在对象服务器226上，但是对象文件216可存储在任何服务器、云服务器、任何控制台228或任何用户装置130上。
这种对象数据(例如，对象文件216)可与内容数据(例如，媒体文件212和/或内容时间戳文件214)相关联。在一个示例中，UGC服务器232存储内容时间戳文件214，并且基于内容时间戳文件214的流式传输ID与对象文件216的对应的活动ID之间的匹配而将该内容时间戳文件与对象文件216相关联。在另一个示例中，对象服务器226可存储对象文件216，并且可从UGC服务器232接收对对象文件216的查询。可通过搜索与同查询一起传输的内容时间戳文件214的流式传输ID匹配的对象文件216的活动ID来执行这种查询。在另一个示例中，可通过将内容时间戳文件214的开始时间和结束时间与同对存储的内容时间戳文件214的查询一起传输的对应的对象文件216的开始时间和结束时间相匹配来执行该查询。还可通过UGC服务器232将这种对象文件216与匹配的内容时间戳文件214相关联，但该关联也可由任何服务器、云服务器、任何控制台228或任何用户装置130执行。在另一个示例中，可在每个文件216、214的创建期间通过控制台228将对象文件216和内容时间戳文件214相关联。
在示例性实施方案中，媒体文件212和活动文件216可向情绪分析服务器140提供关于当前会话条件的信息。情绪分析服务器140因此可使用此类媒体文件212和活动文件216来确定某些消息的上下文是否满足与被监测的通信会话相关联的标记规则的触发条件中的任一者。例如，媒体文件212和活动文件216可包括对当前游戏玩法会话中显示和交互的特定角色、位置和对象的引用。因此，基于这样的文件212和216，情绪分析服务器140可识别游戏内行为可指示情绪而不是竞争性游戏玩法。例如，诸如在大喊脏话时攻击队友的不寻常行为可在游戏会话的上下文内被识别为愤怒的指示符，而不是真诚地努力竞争。这样，对当前游戏内数据是否提供满足触发条件的上下文的评估可包括对用户或其他用户的某些游戏内状态的评估。在此类情况下，情绪分析服务器140可使用媒体文件212和活动文件216来评估和确定这样的游戏内状态是否满足或有助于触发条件。
图3是示出用于对情绪进行视觉标记和热映射的示例性方法的流程图。图3的方法300可体现为非暂时性计算机可读存储介质中的可执行指令，所述非暂时性计算机可读存储介质包括但不限于CD、DVD或诸如硬盘驱动器的非易失性存储器。存储介质的指令可由一个处理器(或多个处理器)执行，以致使托管或以其他方式访问存储介质的计算装置的各种硬件部件来实现该方法。在图3中标识的步骤(和其次序)是示例性的，并且可包括所述步骤的各种替代方案、等同物或派生物，包括但不限于所述步骤的执行次序。
在步骤310中，可针对可用标记将情绪配置文件存储在存储器(例如，数据库160)中。不同的标记可与不同的情绪配置文件相关联，这可进一步针对不同的用户进行定制。每个情绪配置文件可与关于识别情绪状态的一个或多个学习模型相关联，并且与一个或多个基于情绪的标记规则相关联，其中每一者可指定与一个或多个标记动作相关联的一个或多个触发情绪条件。触发情绪条件可涉及关于用户、其他用户、给定通信会话中的消息以及相关联的内容会话的任何情绪条件和上下文。同时，标记可包括任何类型的视觉指示符，包括表情符号、颜色、文本、图标等的任何组合。
在步骤320中，可由情绪分析服务器140基于情绪配置文件来监测当前通信会话。由于每种可能的情绪可与特定情绪配置文件相关联，因此情绪分析服务器140可从数据库160检索相关联的情绪配置文件并且使用相关联的标记规则来实时(或接近实时)监测通信会话。此外，在相关联的标记规则可指定涉及其他会话或相关联会话(例如，游戏玩法会话)的触发条件的情况下，情绪分析服务器140还可获得与指定此类触发条件的用户相关联的媒体文件212和活动文件216。媒体文件216和活动文件216可由情绪分析服务器140结合通信会话的条件使用以确定是否满足触发条件。
在步骤330中，可识别与通信会话内的不同消息相关联的一个或多个情绪状态并进行分类。这种识别和分类可基于与通信会话中的一个或多个消息相关联的一组指示符可被检测为触发标记规则。如上所述，当指示符满足由标记规则指定的触发条件时，该一组指示符可触发标记规则。因为不同的用户可能针对给定情绪表现出不同的指示符，所以触发一个用户的标记规则的一组指示符可能不会触发另一个用户的任何标记规则。在所有用户都可被监测的多用户通信会话中，不同的基于情绪的学习模型和触发条件可用于评估和表征每个用户的情绪状态。
在步骤340中，可对通信会话内触发标记规则的条件的消息进行标记，以便实时或接近实时地在视觉上指示用户的对应情绪状态。这样的标记可包括将视觉标记添加到通信会话的呈现。在通信会话包括基于文本的聊天流的情况下，标记可出现在相关联的聊天消息旁边。在通信会话可包括基于视频的聊天流的情况下，标记可出现在消息的转录或发起消息的用户旁边。
在步骤350中，情绪分析服务器140可生成关于给定通信会话或跨多个会话的情绪的分析图。此类分析图可包括情绪时间线、情绪旅程的总结、热图和其他图形图显示。在一些实现方式中，分析图还可包括关于同一会话或多个会话中的其他用户和他们各自的情绪状态的数据。任何会话参数(特定游戏标题、特定游戏内活动、竞争对手、同伴)也可用于生成热图。结果，可生成不同类型的情绪热图，其示出用户或用户组在一个或多个参数上表现出的情绪的类型和范围。
图4A示出了已经基于情绪进行视觉标记的示例性聊天流如图所示，可将基于情感的标记410的集合添加到聊天流420的显示。所示的聊天流420包括来自两个不同用户的消息，其中一者与图标相关联并且表现出很小的情绪状态变化。然而，随着聊天流420的进展，与@图标相关联的另一用户表现出多个不同的情绪状态。基于情绪的标记410表明源自@用户的聊天流420中的第一消息被标记有表示沉思或思考的表情符号，但随后被标记有恼怒、扬起眉毛、气喘吁吁和脸红愤怒的表情符号。
可在每个消息被提交到聊天流420时实时或接近实时地自动添加基于情绪的标记410的添加。可使基于情绪的标记对用户、其他用户或选择的用户组可见，取决于每个用户的隐私或偏好设置。结果，可动态地更新显示以添加指示发起用户在提交消息时的情绪状态的基于情绪的标记410。因此，在通信会话的过程中，可通过基于情绪的标记来跟踪参与用户的情绪状态并进行视觉标记。除了向参与用户通知他们自己的情绪状态和他们同伴的情绪状态之外，基于情绪的标记还可被进一步跟踪并用于执行进一步的动作，包括基于情绪的过滤和映射。
图4B示出了对图4A的通信会话内的表情符号进行基于情绪的过滤的示例性实现方式。如图所示，与聊天流420中的最后消息相关联的基于情绪的标记410指示脸红愤怒。发起用户(例如，@用户)可选择最后消息，以便提供关于基于情绪的标记的准确性的反馈或者输入附加的消息输入。在此类情况下，可基于最后的基于情绪的标记410来生成替代但相关的基于情绪的标记的过滤菜单430。还可为另一个用户生成这样的过滤菜单430以提供关于标记指派的感知准确性的反馈。发起用户或另一个用户还可选择被认为更准确或反映与消息相关联的情绪状态的另一个标签。
图4C示出了与图4A的通信会话相关联的示例性情绪旅程440。如图所示，情绪旅程440示出了在通信会话期间与用户相关联的情绪状态的变化。因为可能已生成情绪旅程440以说明/>用户的情绪状态，所以与另一用户相关联的情绪和消息可能不会出现。然而，可包括与情绪变化相关的特定消息，以显示在情绪变化发生的同时在通信会话期间发生的情况。
图4D示出了与多个交互式活动中的多个玩家相关联的示例性情绪热图450。如图所示，热图450可映射在与活动A至D相关的游戏会话期间(例如，在不同的游戏标题中或者在给定的游戏标题内的不同级别、位置、任务等)由同伴A至D表现出的不同情绪状态的强度。这样的热图450可指示例如相当的兴奋或参与水平，这可进一步向开发者、锦标赛组织者、匹配系统和用户本身提供关于推荐参与什么类型的活动的有用信息。虽然热图450集中于按活动进行映射，但是可针对不同类型的会话参数生成不同的热图450。例如，可针对与不同的同伴、游戏标题、游戏内事件、游戏内对象以及会话的其他可识别条件相关地表现出的情绪生成热图450。
图5是可用于本发明的实施方案中的示例性电子娱乐系统的框图。图5的娱乐系统500包括主存储器505、中央处理单元(CPU)510、向量单元515、图形处理单元520、输入/输出(I/O)处理器525、I/O处理器存储器530、控制器接口535、存储卡540、通用串行总线(USB)接口545和IEEE接口550。娱乐系统500还包括经由总线575连接到I/O处理器525的操作系统只读存储器(OS ROM)555、声音处理单元560、光盘控制单元570和硬盘驱动器565。
娱乐系统500可以是电子游戏控制台。替代地，娱乐系统500可被实施为通用计算机、机顶盒、手持式游戏装置、平板计算装置或移动计算装置或移动电话。娱乐系统可根据特定形状因子、目的或设计而含有更多或更少的操作部件。
图5的CPU 510、向量单元515、图形处理单元520和I/O处理器525经由系统总线585进行通信。另外，图5的CPU 510经由专用总线580与主存储器505进行通信，而向量单元515和图形处理单元520可通过专用总线590进行通信。图5的CPU 510执行存储在OS ROM 555和主存储器505中的程序。图5的主存储器505可包含预存储的程序和通过I/O处理器525使用光盘控制单元570从CD-ROM、DVD-ROM或其他光盘(未示出)传递的程序。图5的I/O处理器525还可允许引入通过无线或其他通信网络(例如，4$、LTE、3G等)传递的内容。图5的I/O处理器525主要控制娱乐系统500的各种装置之间的数据交换，所述各种装置包括CPU 510、向量单元515、图形处理单元520和控制器接口535。
图5的图形处理单元520执行从CPU 510和向量单元515接收的图形指令以产生用于在显示装置(未示出)上显示的图像。例如，图5的向量单元515可将对象从三维坐标变换为二维坐标，并且将所述二维坐标发送至图形处理单元520。此外，声音处理单元560执行指令以产生声音信号，所述声音信号输出到音频装置，诸如扬声器(未示出)。其他装置可经由USB接口545和诸如无线收发器的IEEE 1394接口550连接至娱乐系统500，所述USB接口和所述IEEE 1394接口还可嵌入系统500中或者作为诸如处理器的某一其他部件的一部分。
图5的娱乐系统500的用户经由控制器接口535向CPU 510提供指令。例如，用户可指示CPU 510将某些游戏信息存储在存储卡540或其他非暂时性计算机可读存储介质上，或者指示游戏中的角色执行某一指定动作。
本发明可在可能够由多种终端用户装置操作的应用程序中实施。例如，终端用户装置可为个人计算机、家庭娱乐系统(例如，Sony 或Sony/>或Sony/>)、便携式游戏装置(例如，Sony />或Sony/>)，或不同的较次制造商的家庭娱乐系统。完全地预期本文描述的本方法可在各种装置上操作。本发明也可在跨标题中立性的情况下实施，其中本系统的实施方案可跨来自各种发布者的多种标题进行利用。
本发明可在可使用各种装置来操作的应用程序中实施。非暂时性计算机可读存储介质是指参与将指令提供给中央处理单元(CPU)以供执行的任何一种或多种介质。这种介质可采用许多形式，包括但不限于非易失性和易失性介质，诸如分别是光盘或磁盘和动态存储器。非暂时性计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM盘、数字视频盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、FLASHEPROM以及任何其他存储器芯片或盒式磁带。
各种形式的传输介质可参与将一个或多个指令的一个或多个序列传送到CPU以供执行。总线将数据传送到系统RAM，CPU从该系统RAM检索并执行指令。由系统RAM接收的指令可任选地在由CPU执行之前或之后存储在固定盘上。可同样地实施各种形式的存储装置以及必要的网络接口和网络拓扑以实施相同的目的。
已经出于说明和描述的目的呈现对技术的前述详细描述。这不意图是详尽的或将技术限制于所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。所描述的实施方案被选择以便最佳地解释本技术的原理、其实际应用，并且使得本领域其他技术人员能够在各种实施方案中利用本技术并且进行适于预期的特定用途的各种修改。意图由权利要求来限定本技术的范围。

Claims (17)

1.一种用于对通信会话中的通信进行视觉标记的方法，所述方法包括：
监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信，其中所述当前通信会话包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息；
对与所述组中的所述消息中的每一者相关联的情绪状态进行分类，其中对所述情绪状态进行分类是基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息；
检测所述消息中的至少一者的经分类情绪状态触发与所述用户装置的所述用户相关联的标记规则；以及
基于所述标记规则来修改所述当前通信会话内的所述一组消息的呈现，其中所述呈现包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。
2.如权利要求1所述的方法，所述方法还包括针对所述用户将用户情绪配置文件存储在存储器中，其中所述用户情绪配置文件包括多个标记规则中的所述标记规则。
3.如权利要求2所述的方法，其中所述标记规则中的每一者指定所述用户的情绪状态和一个或多个对应标记。
4.如权利要求1所述的方法，其中当在所述用户装置处输入所述消息中的每一者时，实时地修改所述一组消息的所述呈现。
5.如权利要求1所述的方法，所述方法还包括：
检测与所述一组消息相关联的活动；
基于所述一组消息的所述经分类情绪状态来过滤可用标记；以及
生成显示一组经过滤标记的菜单。
6.如权利要求1所述的方法，所述方法还包括跟踪与所述用户相关联的多个情绪状态，并且基于所述跟踪的情绪状态来生成显示。
7.如权利要求1所述的方法，其中所述显示是根据在一个或多个通信会话期间检测到所述跟踪的情绪状态的序列来呈现所述跟踪的情绪状态的时间线。
8.如权利要求6所述的方法，所述方法还包括跟踪与多个其他用户相关联的多个情绪状态，其中所述显示是视觉地呈现跨一个或多个参数与所述用户或所述其他用户相关联的所述跟踪的情绪状态的热图。
9.一种用于对通信会话中的通信进行视觉标记的系统，所述系统包括：
通信接口，所述通信接口通过通信网络进行通信，其中所述通信接口监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信，并且其中所述当前通信会话包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息；以及
处理器，所述处理器执行存储在存储器中的指令，其中所述处理器执行所述指令以：
对与所述组中的所述消息中的每一者相关联的情绪状态进行分类，其中对所述情绪状态进行分类是基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息；
检测所述消息中的至少一者的经分类情绪状态触发与所述用户装置的所述用户相关联的标记规则；以及
基于所述标记规则来修改所述当前通信会话内的所述一组消息的呈现，其中所述呈现包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。
10.如权利要求9所述的系统，所述系统还包括存储所述用户的用户情绪配置文件的存储器，其中所述用户情绪配置文件包括多个标记规则中的所述标记规则。
11.如权利要求10所述的系统，其中所述标记规则中的每一者指定所述用户的情绪状态和一个或多个对应标记。
12.如权利要求9所述的系统，其中当在所述用户装置处输入所述消息中的每一者时，实时地修改所述一组消息的所述呈现。
13.如权利要求9所述的系统，其中所述处理器执行另外的指令以：
检测与所述一组消息相关联的活动；
基于所述一组消息的所述经分类情绪状态来过滤可用标记；以及
生成显示一组经过滤标记的菜单。
14.如权利要求9所述的系统，所述系统还包括跟踪与所述用户相关联的多个情绪状态的存储器，并且其中所述处理器执行另外的指令以基于所述跟踪的情绪状态来生成显示。
15.如权利要求9所述的系统，其中所述显示是根据在一个或多个通信会话期间检测到所述跟踪的情绪状态的序列来呈现所述跟踪的情绪状态的时间线。
16.如权利要求15所述的系统，其中所述存储器还跟踪与多个其他用户相关联的多个情绪状态，并且其中所述显示是视觉地呈现跨一个或多个参数与所述用户或所述其他用户相关联的所述跟踪的情绪状态的热图。
17.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有在其上体现的程序，所述程序可由处理器执行以执行用于对通信会话中的通信进行视觉标记的方法的方法，所述方法包括：
监测与用户装置相关联的当前通信会话，所述用户装置与一个或多个其他用户装置通信，其中所述当前通信会话包括多个消息，所述多个消息包括与所述用户装置相关联的一组消息；
对与所述组中的所述消息中的每一者相关联的情绪状态进行分类，其中对所述情绪状态进行分类是基于考虑到关于所述用户装置的用户的上下文信息来分析所述一组消息；
检测所述消息中的至少一者的经分类情绪状态触发与所述用户装置的所述用户相关联的标记规则；以及
基于所述标记规则来修改所述当前通信会话内的所述一组消息的呈现，其中所述呈现包括指示所述至少一个消息的所述经分类情绪状态的一个或多个标记。
CN202280069744.1A 2021-10-26 2022-09-15 对情绪进行视觉标记和热映射 Pending CN118103835A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/510,877 2021-10-26
US17/510,877 US11775739B2 (en) 2021-10-26 2021-10-26 Visual tagging and heat-mapping of emotion
PCT/US2022/043571 WO2023075945A1 (en) 2021-10-26 2022-09-15 Visual tagging and heat-mapping of emotion

Publications (1)

Publication Number Publication Date
CN118103835A true CN118103835A (zh) 2024-05-28

Family

ID=86057444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280069744.1A Pending CN118103835A (zh) 2021-10-26 2022-09-15 对情绪进行视觉标记和热映射

Country Status (3)

Country Link
US (1) US11775739B2 (zh)
CN (1) CN118103835A (zh)
WO (1) WO2023075945A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775739B2 (en) 2021-10-26 2023-10-03 Sony Interactive Entertainment LLC Visual tagging and heat-mapping of emotion

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275806B1 (en) 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
IL144818A (en) 2001-08-09 2006-08-20 Voicesense Ltd Method and apparatus for speech analysis
US7223234B2 (en) 2004-07-10 2007-05-29 Monitrix, Inc. Apparatus for determining association variables
US7785197B2 (en) * 2004-07-29 2010-08-31 Nintendo Co., Ltd. Voice-to-text chat conversion for remote video game play
US20060079260A1 (en) 2004-09-17 2006-04-13 Nextel Communications, Inc. Ad-hoc dispatch chatroom
US9393488B2 (en) * 2009-09-03 2016-07-19 International Business Machines Corporation Dynamically depicting interactions in a virtual world based on varied user rights
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US9141604B2 (en) * 2013-02-22 2015-09-22 Riaex Inc Human emotion assessment reporting technology—system and method
US9308445B1 (en) 2013-03-07 2016-04-12 Posit Science Corporation Neuroplasticity games
US9008283B2 (en) 2013-03-15 2015-04-14 Genesys Telecommunications Laboratories, Inc. Customer portal of an intelligent automated agent for a contact center
US10594638B2 (en) * 2015-02-13 2020-03-17 International Business Machines Corporation Point in time expression of emotion data gathered from a chat session
US10293260B1 (en) * 2015-06-05 2019-05-21 Amazon Technologies, Inc. Player audio analysis in online gaming environments
US11240189B2 (en) * 2016-10-14 2022-02-01 International Business Machines Corporation Biometric-based sentiment management in a social networking environment
GB2565037A (en) * 2017-06-01 2019-02-06 Spirit Al Ltd Online user monitoring
US20190052471A1 (en) * 2017-08-10 2019-02-14 Microsoft Technology Licensing, Llc Personalized toxicity shield for multiuser virtual environments
US20210076002A1 (en) * 2017-09-11 2021-03-11 Michael H Peters Enhanced video conference management
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
US20190325201A1 (en) * 2018-04-19 2019-10-24 Microsoft Technology Licensing, Llc Automated emotion detection and keyboard service
US11185786B2 (en) * 2018-08-21 2021-11-30 Steelseries Aps Methods and apparatus for monitoring actions during gameplay
US10860807B2 (en) 2018-09-14 2020-12-08 Microsoft Technology Licensing, Llc Multi-channel customer sentiment determination system and graphical user interface
US10922534B2 (en) * 2018-10-26 2021-02-16 At&T Intellectual Property I, L.P. Identifying and addressing offensive actions in visual communication sessions
US11011166B2 (en) * 2018-11-29 2021-05-18 International Business Machines Corporation Voice message categorization and tagging
US10953332B2 (en) * 2018-12-20 2021-03-23 Roblox Corporation Online gaming platform voice communication system
US10940396B2 (en) * 2019-03-20 2021-03-09 Electronic Arts Inc. Example chat message toxicity assessment process
US11097189B2 (en) * 2019-07-30 2021-08-24 Electronic Arts Inc. Contextually aware communications system in video games
US11594224B2 (en) * 2019-12-04 2023-02-28 Samsung Electronics Co., Ltd. Voice user interface for intervening in conversation of at least one user by adjusting two different thresholds
US11170800B2 (en) * 2020-02-27 2021-11-09 Microsoft Technology Licensing, Llc Adjusting user experience for multiuser sessions based on vocal-characteristic models
US20230096357A1 (en) 2021-09-30 2023-03-30 Sony Interactive Entertainment Inc. Emotion detection & moderation based on voice inputs
US11775739B2 (en) 2021-10-26 2023-10-03 Sony Interactive Entertainment LLC Visual tagging and heat-mapping of emotion

Also Published As

Publication number Publication date
US11775739B2 (en) 2023-10-03
WO2023075945A1 (en) 2023-05-04
US20230125367A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US10987596B2 (en) Spectator audio analysis in online gaming environments
Archer et al. Walking in another's virtual shoes: Do 360-degree video news stories generate empathy in viewers?
US20190321726A1 (en) Data mining, influencing viewer selections, and user interfaces
US10146882B1 (en) Systems and methods for online matching using non-self-identified data
JP2020064680A (ja) 制御システム、制御方法及びサーバ
US10293260B1 (en) Player audio analysis in online gaming environments
CN112543669A (zh) 交互式内容中事件的发现和检测
US20120311032A1 (en) Emotion-based user identification for online experiences
WO2014085910A1 (en) System and method for enhancing content using brain-state data
US20230096357A1 (en) Emotion detection & moderation based on voice inputs
US20210201898A1 (en) Network-based learning models for natural language processing
CN112236203A (zh) 向玩家反应分配情景游戏玩法辅助
EP4124369A1 (en) Classification of gaming styles
US20220203244A1 (en) Methods and systems for generating multimedia content based on processed data with variable privacy concerns
JP2021190118A (ja) ゲームコミュニケーションの写しからのテキストタグの生成
Hemingway et al. Development of a mobile game to influence behavior determinants of HIV service uptake among key populations in the Philippines: user-centered design process
Shoukry et al. Reasons and responses: A multimodal serious games evaluation framework
CN110507996B (zh) 使游戏网络中的用户体验个性化
Tikadar et al. Detection of affective states of the students in a blended learning environment comprising of smartphones
CN118103835A (zh) 对情绪进行视觉标记和热映射
Watson Modeling Musical Mood From Audio Features, Affect and Listening Context on an In-situ Dataset
Murray et al. Comparing player responses to choice-based interactive narratives using facial expression analysis
JP5309612B2 (ja) フロー体験支援方法、フロー体験支援装置、フロー体験支援サーバ、フロー体験支援システムおよびプログラム
US11992756B2 (en) Personalized VR controls and communications
CN115730610A (zh) 用于社交交互的翻译和通信过滤器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication