CN110945459A - 基于情绪的体验反馈 - Google Patents

基于情绪的体验反馈 Download PDF

Info

Publication number
CN110945459A
CN110945459A CN201880034782.7A CN201880034782A CN110945459A CN 110945459 A CN110945459 A CN 110945459A CN 201880034782 A CN201880034782 A CN 201880034782A CN 110945459 A CN110945459 A CN 110945459A
Authority
CN
China
Prior art keywords
experience
participant
emotional response
digital
digital experience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880034782.7A
Other languages
English (en)
Inventor
盖·普利姆斯
凯文·普利姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Reality Co
Original Assignee
Virtual Reality Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Reality Co filed Critical Virtual Reality Co
Publication of CN110945459A publication Critical patent/CN110945459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本文中描述的各种实施方式提供了用于基于来自参与者对数字体验的情绪反应将数字体验的体验元素传递至参与者的系统和方法。该系统和方法基于参与者对数字体验的过去或现在的情绪反应对针对参与者的数字体验例如虚拟现实体验(VRE)进行动态地评分。数字体验的动态评分可以例如确定叙述性数字体验的叙述取向，或者可以确定对数字体验表达的或应用于数字体验的体验元素(例如，电影元素)。

Description

基于情绪的体验反馈
相关申请的交叉引用
本国际申请要求于2017年4月26日提交的题为“EMOTION-BASED EXPERIENCEFEEDBACK”的美国专利申请序列号15/497,643的优先权的权益，该美国专利申请的全部内容由此通过引用并入到本文中。
技术领域
本公开内容一般地涉及数字体验。更具体地，本文中描述的各种实施方式提供了用于基于来自参与者对数字体验的情绪反应将数字体验的体验元素传递至参与者的系统和方法。
背景技术
数字体验已经成为了解社会和娱乐社会的普遍方法。这些体验存在各种形式，例如，电影、游戏、增强现实以及虚拟现实，并且参与者可以通过包括个人计算机、智能手机、电影院、游戏设备和虚拟现实装备(例如，虚拟现实头戴式耳机)的各种装置来进行这些体验。某些数字体验例如视频游戏和虚拟现实体验允许参与者与数字体验进行交互，以使得所述交互确定参与者体验到了什么。
附图说明
在附图中，附图不一定按比例绘制，在不同视图中相同的附图标记可以描述类似部件。为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高位数字指该元件被首次引入时所在的图号。在附图的视图中以示例而非限制性的方式示出一些实施方式。
图1是示出根据一些实施方式的用于基于参与者的情绪反应提供数字体验的体验元素的示例系统的图。
图2和图3是示出根据一些实施方式的用于基于参与者的情绪反应提供数字体验的体验元素的示例方法的流程图。
图4是示出根据一些实施方式的用于确定参与者对数字体验的情绪反应的示例方法的流程图。
图5是示出根据一些实施方式的用于基于参与者对数字体验的情绪反应识别数字体验的体验元素的集合以将其提供至参与者的示例方法的流程图。
图6是示出根据本公开内容的各种实施方式的代表性软件架构的框图，该代表性软件架构可以与本文中描述的各种硬件架构结合使用。
图7是示出根据本公开内容的各种实施方式的能够从机器存储介质读取指令并执行本文中讨论的任何一种或更多种方法的机器的部件的框图。
具体实施方式
以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对本发明主题的各种实施方式的理解。然而，对于本领域的技术人员来说将明显的是，可以在没有这些具体细节的情况下实践本发明主题的实施方式。通常，不一定详细示出公知的指令实例、协议、结构和技术。
本文中所描述的各种实施方式基于参与者对数字体验的过去或现在的情绪反应，为参与者提供诸如虚拟现实体验(VRE)的数字体验的动态评分(例如，听觉的、视觉的、触觉的等)。数字体验的动态评分可以(经由叙述路径)确定包含叙述的数字体验的叙述取向，或者可以确定对数字体验表达的或应用于数字体验的体验元素(例如，电影元素)。对于一些实施方式，基于跟踪参与者的头部(例如，运动、距离、变化的方向等)来确定参与者的情绪反应。在一些情况下，跟踪数据可以来自参与者正在用来体验数字体验的头戴式显示器的传感器。使用各种实施方式，数字体验可以尝试从参与者获取(illicit)情绪反应的集合，观察参与者实际上提供了哪种情绪反应，将所观察到的情绪反应映射至数字体验的某种可选的或替选的元素，并将经映射的元素提供至参与者作为对移动反应的反馈。
根据一些实施方式，使用软件工具以基于根据参与者的头部跟踪、移动跟踪或眼部跟踪中的至少一个所确定的参与者的情绪反应(例如，关于数字体验的角色和视角)，将数字体验的体验元素例如听觉分数、触觉分数、相机位置、对叙述路径的访问等映射至参与者。在数字体验中的特定点(本文中也称为“事件”)处，可以观察到参与者在体验(例如观看)数字体验时产生的头部运动、眼部运动或其他非语言提示，并且这些观察可以与参与者的情绪反应匹配。情绪反应继而可以确定提供(例如，传递)至参与者的数字体验的体验元素(例如，综合的听觉-触觉-视角分数)。以此方式，各种实施方式可以通过交互式数字体验传递系统向参与者提供体验与各种角色或视角一致的数字体验(例如，叙述VRE)的机会。
实现实施方式的示例系统可以提供对被集成到一个或更多个并发用户的叙述数字体验中的数字体验分布系统的视觉展示。该示例系统可以包括：软件应用程序接口(API)集成，其用于从头戴式显示器检测移动模式；基于人工智能的方法，其用于解释观察到的对由数字体验引起的刺激做出的情感反应(affective responses)；基于注视的热图，其可以聚集并解释眼部跟踪，以确定在数字体验中参与者正在看什么；用于将个体参与者与数字体验中的角色或观察者的视角匹配的动态方法；以及具有成绩管理系统的API集成，该成绩管理系统提供对参与者简档和参与者成绩数据(例如，在数字体验或相关数字体验中取得的成绩)的访问。根据实施方式，参与者简档或参与者的成绩数据可以能够为参与者提供在数字体验内可选的或替选的叙述路径。
可以基于实时参与者反馈将数字体验的替选的或可选的体验元素可用于(例如，传递至)由一个或更多个参与者进行的数字体验内的参与者。数字体验的示例体验元素可以包括但不限于听觉分数、视觉分数、触觉分数、视角分数或(叙述性数字体验的)叙述路径。可以通过在数字体验中(例如，在数字体验的叙述结构中)的各种已识别出的事件处跟踪数据(例如，与头部跟踪、移动跟踪或眼部跟踪有关的数据)的方式从参与者获得该反馈。基于人工智能的映射方法可以基于对系统可用的参与者反馈在数字体验(例如，叙述性数字体验)内的一个或多个关键点处将数字体验的体验元素(例如，听觉分数、触觉分数或视角分数)分配至参与者。参与者反馈可以根据由参与者在参与数字体验时所使用的硬件或平台配置而不同。
在同步数字体验中，可以通过确定哪个参与者与数字体验的哪种体验元素相联系来(例如，使用基于AI的映射方法)将在数字体验内与正面人物、反派角色、或其他角色或视角一致的数字体验的体验元素(例如，听觉分数、触觉分数、或视角分数)提供至参与者。参与者与数字体验的体验元素之间的这种联系可以基于每个参与者的基于注视的热图以及另外基于(例如，来自成绩管理系统的)参与者的用户简档而确定。
如本文中所使用的，“数字体验”可以包括视频游戏、虚拟环境(例如，3D渲染的虚拟世界)、虚拟现实体验(VRE)、数字故事等。数字体验可以包括参与者可以在虚拟环境内体验的总体叙述。数字体验可以是交互式的或非交互式的、叙述的或非叙述的、购买的或取得的、事件(例如，与品牌有关的事件)或正在进行的、或单个参与者的或多个参与者的。可以在家中或在特定目的地处通过各种计算设备(例如，移动设备或VRE装备例如虚拟现实头戴式耳机)来体验数字体验。
数字体验包括体验元素的集合。如本文中所使用的，数字体验的“体验元素”可以包括在参与者体验数字体验时被传递至数字体验的参与者并且可被数字体验的参与者(例如，通过参与者的人类感觉器官之一)感知的数字体验的组成部分。体验元素可以包括视觉分数(例如，视频)、听觉分数(例如，音乐声道)、触觉分数(例如，与振动、力反馈、温度等有关的触觉分数)、体验对象(例如，叙述路径或虚拟对象)、视角(例如，虚拟环境内的相机位置)等。另外，可以通过参与者用来体验数字的一组设备(例如，VRE装备、头戴式显示器、移动设备、手持式控制器或输入设备等)的方式将数字体验的体验元素传递至参与者。给定的体验元素可以是数字体验的可选的或替选的体验元素。根据本文中所述的各种实施方式，数字体验的可选的或替选的体验元素可以基于来自体验数字体验的参与者的情绪反应被表达或启用。
如本文中所使用的，“体验对象”可以包括叙述路径(或叙述分支)、虚拟环境中的虚拟对象、成绩(例如，在体验中的或与伴随体验有关的成绩)、虚拟环境视觉(例如背景颜色或虚拟对象颜色)或虚拟环境声音。例如，体验对象可以包括参与者可以在虚拟世界内以听觉、有形和可见的方式体验、感知或与之交互的虚拟对象。体验对象可以是可以在虚拟世界内具有能力/技能/效果并且可以在虚拟世界中具有物理特性(例如，重量、摩擦、质量和可破坏性)的对象。
如本文中所使用的，“事件”可以表示在数字体验内的特定点(例如，在时间或虚拟位置上)，在该特定点处，本文中所描述的各种实施方式可以估计参与者的情绪反应。事件可以对应于描述数字体验的节点映射中的节点。节点映射内的节点可以表示但不限于设置在数字体验的虚拟环境(例如3D渲染环境)内的成绩、分支或设置在绝对位置或相对位置处的参与者选择节点。特定的节点可以由参与者的接近度或参与者的动作来激活，以解锁成绩、打开分支或向参与者提供选择。
如本文中所使用的，“参与者”可以包括用户、玩家(例如，游戏玩家)或成员，在数据库(例如，简档或成绩数据库)内他们可以具有相关联的简档，在数字体验内所述相关联的简档在他们体验之前和之后留存。经认证的参与者可以包括其注册身份已经通过登录/密码、RFID或其他验证方法得到验证的参与者。经认证的参与者可以当前参与数字体验(例如，数字叙述体验)，使得他们在体验内的行为可以影响参与者的简档(例如，来自数据库的参与者的简档)或受到参与者的简档(例如，来自数据库的参与者的简档)的影响，从而使数字体验个性化。
如本文中所使用的，成绩可以包括可以由参与者在数字体验(例如，视频游戏)内或在现实世界中(例如，访问现实世界的位置)完成、获得或实现的挑战、发现(例如，可发现的对象)、期望的对象、目标等。可以使用数据库(例如，成绩数据库)或另一类型的数据存储器来保存与由特定用户/参与者取得的成绩的集合有关的数据。参与者收集成绩可以包括取得成绩或解锁成绩。解锁叙述路径(或叙述分支)可以至少部分地包括在数字体验内的预定义位置和时间处呈现必要的成绩的集合，以使经认证的参与者可体验专有的叙述路径。
现在将详细参照本公开内容的实施方式，在附图中说明了实施方式的示例。然而，本公开内容可以以许多不同的形式实现，并且不应该被解释为限于本文中所阐述的实施方式。
图1是示出根据一些实施方式的用于基于参与者的情绪反应提供数字体验的体验元素的示例系统100的图。如图所示，系统100包括基于情绪的体验反馈系统102、通信网络104、客户端系统集106、数字体验系统110、成绩管理系统112、耦接至数字体验系统110的数字体验数据库114、以及耦接至成绩管理系统112的成绩数据库116。通信网络104将基于情绪的体验反馈系统102、客户端系统集106、数字体验系统110和成绩管理系统112通信地耦接在一起。基于情绪的体验反馈系统102包括跟踪数据模块118、情绪反应确定模块120、情绪反应映射模块122、数字体验模块124、注视确定模块126和成绩数据模块128。客户端系统106中之一的终端用户表示根据本文中描述的各种实施方式所提供的数字体验的参与者108。对于各种实施方式，部件以及部件的布置可以与图1中所示的不同。
数字体验系统110向客户端系统集106提供可以从数字体验数据库114中检索到的数字体验。利用数字体验，数字体验系统110可以提供可被参与者108感知的(例如，通过他们的人类视觉、触觉、听觉、嗅觉或味觉感知的)数字体验的体验元素，例如，叙述分支、分数(例如，触觉的、听觉的、视觉的、视角的等)、角色选项或成绩。根据实施方式，基于情绪的体验反馈系统102可以使数字体验系统110(例如，通过通信网络104)将数字体验传递至在客户端系统106中之一处的参与者108，或者基于情绪的体验反馈系统102可以将数字体验(例如，从数字体验系统110)转发至在客户端系统106中之一处的参与者108。
成绩管理系统112管理与参与者相关联的成绩，并且还可以管理参与者的简档。根据一些实施方式，参与者(例如，经认证的参与者)的成绩是在数字体验(例如，视频游戏)中完成的，并且然后被添加至成绩数据库116，成绩数据库116记录参与者已经取得该成绩。成绩管理系统112可以向(基于情绪的体验反馈系统102的)情绪反应映射模块122提供针对给定数字体验(例如，在其中已经取得成绩的数字体验的后续或伴随的数字体验)的参与者的成绩数据(例如，所取得的成绩的水平)。该成绩数据可以相对于给定数字体验的给定事件(例如，决策点)被提供至情绪反应映射模块122。参与者简档可以提供参与者具体的信息，例如人口统计数据、描记运动数据和位置数据。参与者的简档、成绩数据或二者可以在将定制的数字体验(经由传递至参与者的数字体验的体验元素)传递至参与者时使用。
跟踪数据模块118访问与诸如虚拟现实体验的数字体验的参与者108有关的跟踪数据，数字体验包括可被参与者108感知的(例如，通过他们的人类视觉、触觉、听觉、嗅觉或味觉感知的)至少一个体验元素。对于一些实施方式，跟踪数据是基于在参与者108体验数字体验时从参与者108收集到的传感器数据。跟踪数据可以涉及当参与者108体验数字体验(例如，数字体验的视觉分数、听觉分数、触觉分数或其组合)时由一组传感器观察到的参与者108身体的各个方面。更具体地，跟踪数据可以涉及参与者108对来自数字体验(例如，数字体验的过去或现在场景)的刺激的身体反应。跟踪数据可以涉及由参与者108产生的任何形式的非语言提示。收集数据的传感器可以在类型上不同(例如，相机、加速度计、陀螺仪、温度计、激光扫描仪等)，并且可以在它们相对于参与者108的位置上不同。例如，传感器可以设置在参与者108正在用来体验数字体验的一个或更多个设备(例如，客户端系统106)(例如，移动设备、通用显示设备、头戴式显示设备、或VRE装备)上或直接设置在参与者108上(例如，附接至他们的衣服或他们的身体)。
根据各种实施方式，与参与者108有关的跟踪数据是用于在参与者108体验数字体验时在数字体验内的特定点(例如，事件)处捕获来自参与者108的情绪反应的集合的装置。对于特定实施方式，跟踪数据包括以下至少之一：参与者的头部经过的距离值的集合；或与参与者的头部的运动方向的变化有关的delta值的集合。如本文指出的，这种信息可以由情绪反应确定模块120在确定参与者对数字体验的情绪反应时使用。
跟踪数据模块118包括有助于访问跟踪数据或访问传感器数据(例如，直接访问来自传感器或来自收集数据的客户端设备的传感器数据)的API。所包括的API还可以允许跟踪数据模块118根据由一组传感器提供的传感器数据检测模式(例如，移动、方向、对象识别)。
根据实施方式，跟踪数据可以涉及以下至少之一：在数字体验期间跟踪参与者108的眼部、跟踪参与者108的头部或跟踪参与者108的移动(例如，头部或身体的移动)。关于头部，头部的移动或距离的跟踪可以相对于以下设备或从以下设备的角度来看，例如显示数字体验的视觉输出体验元素的显示设备、输出数字体验的听觉体验元素的音频设备、虚拟现实设备(例如，
Figure BDA0002289194330000071
或
Figure BDA0002289194330000072
VR头戴式耳机)、相机(例如，在显示器上方或附接至头戴式设备的相机)或激光扫描仪(例如，
Figure BDA0002289194330000073
Lighthouse)。
情绪反应确定模块120基于由跟踪数据模块118访问的跟踪数据来确定参与者108的情绪反应。另外，情绪反应确定模块120可以确定与数字体验内的特定点(事件)相关联的情绪反应的集合。根据一些实施方式，情绪反应确定模块120使用解释与参与者108有关的跟踪数据的人工智能来确定情绪反应。实施方式可以使用由跨平台游戏引擎例如由联合技术(Unity Technologies)开发的Unity提供的人工智能来解释跟踪数据。
另外，对于一些实施方式，情绪反应确定模块120通过将所访问的跟踪数据的至少一部分与和情绪反应相关联的特定跟踪条件集合匹配来确定情绪反应。因此，由情绪反应确定模块120确定的情绪反应可以是基于跟踪数据来推断、猜测或解释的情绪反应。另外，特定跟踪条件集合可以表示对情绪反应的跟踪数据的推断、猜测或解释。根据实施方式，特定条件集合可以基于对参与者的身体反应(例如，在体验数字体验时的身体反应)的过去的观察以及他们的他们对特定情绪的个体身体反应的关联性的调查来定义。这样的观察可以在例如对体验数字体验的参与者进行的研究期间进行。
对于一些实施方式，情绪反应确定模块120将所访问的跟踪数据的至少一部分与跟踪条件集合的优先级列表进行比较，其中每个跟踪条件集合与给定的情绪反应相关联。在跟踪条件集合的优先级列表中，情绪反应确定模块120然后可以识别第一跟踪条件集合，以与所访问的跟踪数据的至少一部分匹配，其中所识别的第一跟踪条件集合将会是特定跟踪条件集合。用于要与跟踪数据匹配的示例跟踪条件可以包括但不限于与参与者的头部沿X方向、Y方向或Z方向移动了多少有关的条件，以及与参与者的头部沿X方向、Y方向或Z方向改变运动方向多少次有关的条件。
情绪反应映射模块122将由情绪反应确定模块120确定的情绪反应映射至数字体验的体验元素。为了将情绪反应映射至体验元素，情绪反应映射模块122可以(例如，从成绩管理系统112)访问与参与者相关联的成绩数据，并且基于该成绩数据来映射所确定的情绪反应。对于各种实施方式，将所确定的情绪反应映射至数字体验的体验元素包括成绩数据模块128从成绩管理系统112访问与参与者相关联的成绩数据。基于所访问的成绩，情绪反应映射模块122可以基于成绩数据来映射所确定的情绪反应。
数字体验模块124将由情绪反应映射模块122映射的数字体验的体验元素提供至参与者108。如本文指出的，数字体验系统110可以维护数字体验的体验元素(例如，在数字体验数据库114上的数字体验的体验元素)。根据实施方式，基于情绪的体验反馈系统102可以使数字体验系统110将数字体验的体验元素提供至在客户端系统106中之一处的参与者108，或者基于情绪的体验反馈系统102可以将数字体验转发至在客户端系统106中之一处的参与者108。
注视确定模块126确定参与者108相对于数字体验的注视，该注视可以由情绪反应映射模块122在模块122将情绪反应映射至数字体验的体验元素时使用。对于各种实施方式，注视确定模块126使用基于注视的热图，该热图可以聚集并解释参与者的眼部跟踪的兴趣提示。参与者的注视可以表明在数字体验内参与者在视觉上将其注意力集中在什么(例如角色或虚拟对象)上。利用该信息，基于情绪的体验反馈系统102可以有助于基于情绪反应将数字体验的体验元素个性化地传递至参与者。另外，在多个参与者(例如，通过诸如大屏幕显示器的公共客户端系统106)同时体验数字体验的情况下，基于情绪的体验反馈系统102可以确定参与者中每个的注视(例如，以前或当前的注视)，以使得能够针对数字体验的给定事件将数字体验的不同(例如，个性化的)体验元素传递至不同的参与者。例如，对于由参与者A和B同时体验的给定数字体验，如果(通过注视确定模块126)确定参与者A集中在角色A(例如，正面人物)上并且参与者B(例如，反派角色)集中在角色B上，基于情绪的体验反馈系统102可以使参与者A接收与角色A有关的体验元素(例如，正面人物的配乐)，并且使参与者B接收与角色B有关的体验元素(例如，可选叙述路径以及与反派角色的配乐有关的配乐)。
成绩数据模块128从成绩管理系统112访问与参与者108相关联的成绩数据。如本文指出的，由成绩数据模块128访问的成绩数据可以由情绪反应确定模块120在确定参与者108的情绪反应时使用。
图2是示出根据一些实施方式的用于基于参与者的情绪反应提供数字体验的体验元素的示例方法200的流程图。对于一些实施方式，方法200至少部分地由关于图1描述的基于情绪的体验反馈系统102执行。方法200(或本文中描述的另一方法)的操作可以由计算设备(例如，台式机、服务器等)的硬件处理器(例如，中央处理单元或图形处理单元)执行。
方法200以操作202开始，操作202访问与数字体验的参与者有关的跟踪数据，其中数字体验包括可被参与者(例如，通过他们的人类视觉、触觉、听觉、嗅觉或味觉)感知的至少一个体验元素。操作202可以由关于图1描述的基于情绪的体验反馈系统102的跟踪数据模块118执行。如本文指出的，跟踪数据可以基于在参与者体验数字体验时从参与者收集到的传感器数据，并且在一些情况下，数字体验可以包括虚拟现实体验。根据各种实施方式，针对参与者的跟踪数据(例如，涉及头部跟踪、头部移动或眼部跟踪)捕获在数字体验期间在各个识别出的点(例如，事件)处参与者数据的情绪反馈。
方法200从操作202继续以操作204进行，操作204基于在操作202处所访问的跟踪数据来确定参与者的情绪反应。特别地，通过操作204所确定的情绪反应可以是与和参与者的跟踪数据匹配的特定跟踪条件集合(例如，头部运动或头部运动方向变化)相关联的情绪反应。如本文中指出的，在操作202处所确定的情绪反应可以是基于跟踪数据来推断、猜测或解释的情绪反应。另外，特定跟踪条件集合可以表示对情绪反应的跟踪数据的推断、猜测或解释。操作204可以由关于图1描述的基于情绪的体验反馈系统102的情绪反应确定模块120执行。
方法200从操作204继续以操作206进行，操作206将在操作204处确定的情绪反应映射至数字体验的体验元素。对于一些实施方式，操作206针对数字体验中的给定事件将情绪反应映射至数字体验的体验元素。操作206可以使用基于情绪反应返回体验元素的查找表并且可以另外基于数字体验的事件编号。另外，操作206可以由关于图1描述的基于情绪的体验反馈系统102的情绪反应映射模块122执行。
方法200从操作206继续以操作208进行，操作208将在操作206处映射的数字体验的体验元素提供至参与者(例如，在客户端系统106中之一处)。对于一些实施方式，操作208可以使数字体验的体验元素被传递至在客户端系统处的参与者，或者可以将数字体验的体验元素转发至客户端系统处的参与者。操作206可以由关于图1描述的基于情绪的体验反馈系统102的数字体验模块124执行。
图3是示出根据一些实施方式的用于基于参与者的情绪反应提供数字体验的体验元素的示例方法300的流程图。对于一些实施方式，方法300至少部分地由关于图1描述的基于情绪的体验反馈系统102执行。如图所示，方法300与图2的方法200的不同之处在于：方法300考虑了在映射情绪反应时参与者的注视。
方法300以操作302和304开始，根据一些实施方式，操作302和304分别类似于关于图2描述的方法200的操作202和204。方法300从操作304继续以操作306进行，操作306确定参与者相对于数字体验的注视。操作306可以由关于图1描述的基于情绪的体验反馈系统102的注视确定模块126执行。通过在操作306处确定参与者相对于数字体验的注视，方法300可以确定参与者在数字体验内正在看什么感兴趣区域。另外，如本文指出的，确定多个参与者的注视可以允许方法300针对数字体验的给定事件将数字体验的不同的(例如，个性化的)体验元素传递至不同的参与者。因此，方法300从操作306继续以操作308进行，操作308基于在操作306处确定的注视将所确定的情绪反应映射至数字体验的体验元素。方法300从操作308继续以操作310进行，根据一些实施方式，操作310类似于关于图2描述的方法200的操作208。
图4是示出根据一些实施方式的用于确定参与者对数字体验的情绪反应的示例方法400的流程图。对于一些实施方式，方法400至少部分地由关于图1描述的基于情绪的体验反馈系统102执行。例如，基于情绪的体验反馈系统102的情绪反应确定模块120可以在如本文中描述的那样确定参与者的情绪反应时执行方法400。
方法400以操作402开始，操作402识别参与者在虚拟现实数字体验内正在体验的事件。如本文指出的，事件可以是数字体验内的特定点，在该特定点处，可以基于参与者在数字体验中当前正在看什么来估计参与者的情绪反应。
方法400继续以操作404进行，操作404针对由操作402识别出的事件确定事件时间。事件时间可以指示与数字体验相关联的时间(例如，叙述时间)，在该时间处，事件对应于数字体验。
方法400继续以操作406进行，操作406在由操作404确定的事件时间处捕获参与者在虚拟现实数字体验内的纬度和经度。参与者在虚拟现实数字体验中的纬度和经度可以指示参与者处于事件处还是接近于事件。
方法400继续以操作408进行，操作408基于在操作406处捕获的纬度和经度来确定参与者是否正在看与在操作402处识别出的事件相关联的事件区域。对于各种实施方式，该确定基于确定参与者的注视(例如，操作306)。对于一些实施方式，特别是在数字体验包括虚拟现实体验的情况下，假设参与者在数字体验内不总是在观看感兴趣区域。事件区域可以允许各种实施方式确定参与者在数字体验内是否正在观看与事件区域相关联的特定感兴趣区域。通过确定参与者正在观看特定事件区域，各种实施方式可以解释参与者正在看(例如，注视)什么并确定参与者对相关感兴趣区域的情绪反应。
方法400继续以操作410进行，操作410响应于确定参与者正在看事件区域的操作408来确定参与者的情绪反应。基于确定参与者在观看事件区域时的情绪反应，方法400可以利用与事件区域有关的数字体验的适当的体验元素来响应于参与者的情绪反应。
根据一些实施方式，按照以下伪代码来实现方法400：
Figure BDA0002289194330000111
Figure BDA0002289194330000121
对于一些实施方式，针对在虚拟现实数字体验中识别出的每个事件执行方法400。
图5是示出根据一些实施方式的用于基于参与者对数字体验的情绪反应识别数字体验的体验元素的集合以提供至参与者的示例方法500的流程图。根据一些实施方式，方法500作为关于图4描述的方法400的操作410的一部分或作为其结果被执行。对于一些实施方式，方法500至少部分地由关于图1描述的基于情绪的体验反馈系统102执行。例如，基于情绪的体验反馈系统102的跟踪数据模块118、情绪反应确定模块120和情绪反应映射模块122可以执行方法500的不同操作。
方法500以操作502开始，操作502针对给定事件捕获与参与者的头部有关的平移变量。对于一些实施方式，捕获与参与者的头部有关的平移变量包括(例如，经由各种传感器)获取/访问参与者的跟踪数据。对于各种实施方式，平移变量表示参与者对体验数字体验的体验元素的身体反应。
根据一些实施方式，操作502由捕获以下平移变量的程序(例如，捕获平移变量(Capture Translation Variables))来实现：
//平移变量
Distance_X→沿X方向进行的总距离
Distance_Y→沿Y方向进行的总距离
Distance_Z→沿Z方向进行的总距离
Delta_X→沿X方向从正到负或从负到正移动的变化次数X
Delta_Y→沿X方向从正到负或从负到正移动的变化次数X
Delta_Z→沿X方向从正到负或从负到正移动的变化次数X
//
方法500继续以操作504进行，操作504基于在操作502处捕获的平移变量来确定针对给定事件的情绪反应。因此，在操作504处确定的情绪反应可以是基于平移变量来推断、猜测或解释的情绪反应。在操作504确定没有情绪反应的情况下，操作504可以选择默认的情绪反应。另外，基于平移变量来确定情绪反应可以包括将在操作502处捕获的平移变量的至少一部分与和给定情绪反应相关联的特定条件集合匹配。特定条件集合可以表示对平移变量的推断、猜测或解释，以确定情绪反应。根据实施方式，特定条件集合可以基于对参与者身体反应的过去的观察(例如，在体验数字体验时)以及对他们的他们对特定情绪的个体身体反应的关联性的调查来定义。这样的观察可以在例如对体验数字体验的参与者进行的研究期间进行。
可以将捕获的平移变量与条件集合的列表进行比较，在条件集合的列表中每个集合与不同的情绪反应相关联。可以根据情绪反应的优先级对条件集合的列表进行排序。根据实施方式，所确定的情绪反应可以是在列表中的与捕获的平移变量匹配的第一条件集合相关联的情绪反应。可替选地，所确定的情绪反应可以是在列表中的与捕获的平移变量最匹配(例如，最接近匹配)的条件集合相关联的情绪反应。
根据一些实施方式，按照以下伪代码来实现操作504：
//恐惧→紧张，头部前后快速摇动，仿佛颤抖//
If MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Fear
//愤怒→头部急速移动到向前的位置，仿佛用头撞或试图恐吓//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Anger
//悲伤→下巴以适中速度从水平下垂到胸部，仿佛沮丧//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Sadness
//喜悦→头部以向后的方式快速仰起，仿佛表达高兴或得意//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Joy
//同意→点头；水平头部从上到下以有节奏的、等距的方式连续移动//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Agreement
//不同意→摇头；水平头部从左到右以有节奏的、等距的方式连续移动//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Disagreement
//期待→头部快速以适中速度从中间位置至向前位置的移动，仿佛身体前倾//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Anticipation
//惊喜→头部快速以适中速度从中间位置至向后位置的移动，仿佛吃惊//
ElseIf MinDeltaX<＝Delta_X<＝MaxDeltaX and MinX<＝Distance_X<＝MaxXEmotion(Event_Number)＝Surprise
Else Emotion(Event_Number)＝DefaultEmotion
方法500继续以操作506进行，操作506基于在操作504处确定的情绪反应识别虚拟现实数字体验的体验元素的集合。对于一些实施方式，该体验元素的集合通过查找表例如通过事件编号和所确定的情绪反应来进行索引的查找表的方式被识别。
根据一些实施方式，按照以下伪代码来执行操作506：
Figure BDA0002289194330000141
Figure BDA0002289194330000151
以下示出了用于识别针对数字体验的视频剪辑的示例查找表。尽管未示出，但是示例查找表可以包括更多(或更少)的列，每列与不同的可能的情绪反应相关联。
Figure BDA0002289194330000152
方法500继续以操作508进行，操作508将在操作506处识别出的体验元素的集合提供至参与者。如本文指出的，方法500可以通过使数字体验的体验元素被传递至在客户端系统处的参与者或者通过使数字体验的体验元素(例如，从数字体验源)转发至在客户端系统处的参与者来将识别出的体验元素的集合提供至参与者。
对于一些实施方式，针对在执行方法400的操作410之后的每个事件执行方法500。
本文中描述的各种实施方式可以通过由图6示出和关于图6描述的示例软件架构的方式或通过由图7示出和关于图7描述的示例机器的方式来实现。
图6是示出示例软件架构606的框图，该示例软件架构606可以与本文中描述的各种硬件架构结合地使用。图6是软件架构的非限制性示例，并且应当理解的是，可以实现许多其他架构以促进本文中描述的功能。软件架构606可以在诸如图7的机器700的硬件上执行，图7的机器700除了其他之外包括处理器704、存储器714和I/O部件718。代表性硬件层652被示出并且可以表示例如图7的机器700。代表性硬件层652包括具有相关联可执行指令604的处理单元654。可执行指令604表示软件架构606的可执行指令，可执行指令包括本文中描述的方法、部件等的实现方式。硬件层652还包括存储器和/或存储器/存储装置模块656，存储器和/或存储器/存储装置模块656也具有可执行指令604。硬件层652还可以包括其他硬件658。
在图6的示例架构中，软件架构606可以被概念化为层的堆叠，在该层的堆叠中，每个层提供特定功能。例如，软件架构606可以包括诸如操作系统602、库620、应用616和呈现层614的层。在操作上，层内的应用616和/或其他部件可以通过软件堆栈来调用应用编程接口(API)调用608，并且响应于API调用608来接收消息612。所示出的层本质上是代表性的，并且并非所有软件架构都具有所有的层。例如，一些移动或专用操作系统602可能不提供框架/中间件618，而其他操作系统可能提供这样的层。其他软件架构可以包括附加的层或不同的层。
操作系统602可以管理硬件资源并且提供公共服务。操作系统602可以包括例如核622、服务624和驱动器626。核622可以用作硬件层与其他软件层之间的抽象层。例如，核622可以负责存储器管理、处理器管理(例如，调度)、部件管理、联网、安全设置等。服务624可以为其他软件层提供其他公共服务。驱动器626可以负责控制底层硬件或与底层硬件对接。例如，根据硬件配置，驱动器626包括显示器驱动器、相机驱动器、
Figure BDA0002289194330000161
驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、
Figure BDA0002289194330000162
驱动器、音频驱动器、电源管理驱动器等。
库620提供由应用616和/或其他部件和/或层使用的公共基础设施。库620提供允许其他软件部件以比与底层操作系统602功能(例如，核622、服务624和/或驱动器626)直接对接的方式更容易的方式来执行任务的功能。库620可以包括系统库644(例如，C标准库)，系统库644可以提供诸如存储器分配功能、字符串处理功能、数学功能等的功能。另外，库620可以包括API库646，例如，媒体库(例如，用于支持各种媒体格式例如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG的呈现和操纵的库)、图形库(例如，可以用于在显示器上在图像内容中渲染2D和3D的OpenGL框架)、数据库(例如，可以提供各种关系数据库功能的SQLite)、网络库(例如，可以提供网络浏览功能的WebKit)等。库620还可以包括各种其他库648，以向应用616和其他软件部件/模块提供许多其他API。
框架/中间件618(有时也称为中间件)提供可以由应用616和/或其他软件部件/模块使用的更高水平的公共基础设施。例如，框架/中间件618可以提供各种图形用户接口(GUI)功能、高级资源管理、高级位置服务等。框架/中间件618可以提供可以由应用616和/或其他软件部件/模块使用的广泛的其他API，它们中的一些可以专用于特定操作系统602或平台。
应用616包括内置应用638和/或第三方应用640。代表性内置应用638的示例可以包括但不限于联系人应用、浏览器应用、阅读器应用、位置应用、媒体应用、消息发送应用和/或游戏应用。第三方应用640可以包括由除特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用，并且可以是在诸如IOSTM、ANDROIDTM、
Figure BDA0002289194330000171
电话的移动操作系统或其他移动操作系统上运行的移动软件。第三方应用640可以调用由移动操作系统(例如，操作系统602)提供的API调用608，以促进本文中描述的功能。
应用616可以使用内置操作系统功能(例如，核622、服务624和/或驱动器626)、库620以及框架/中间件618来创建用户接口，以与系统的用户交互。可替选地或另外地，在一些系统中，与用户的交互可以通过诸如呈现层614的呈现层来发生。在这些系统中，应用/构件“逻辑”可以与同用户交互的应用/模块的方面分开。
图7是示出根据一些示例实施方式的能够从机器存储介质读取指令710并执行本文中讨论的任何一种或更多种方法的机器700的部件的框图。具体地，图7示出了呈现计算机系统的示例形式的机器700的图表表示，在该机器700内可以执行用于使机器700执行本文讨论的任何一种或更多种方法的指令710(例如，软件、程序、应用、小程序、app或其他可执行代码)。因此，指令710可以被用来实现本文中描述的模块或部件。指令710将通用的未编程的机器700转换成被编程的特定机器700，以便以所描述的方式执行所描述和所示出的功能。在替选实施方式中，机器700作为独立设备操作或者可以耦接(例如，联网)至其他机器。在联网部署中，机器700可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器700可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家用电器)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或其他方式执行指定由机器700要采取的动作的指令710的任何机器700。另外，虽然仅示出了单个机器700，但是术语“机器”还应当被视为包括单独或联合地执行指令710以执行本文所讨论的方法中的任一种或更多种方法的机器700的集合。
机器700可以包括处理器704、存储器/存储装置706和I/O部件718，处理器704、存储器/储存装置706和I/O部件718可以被配置成例如经由总线702彼此通信。处理器704可以包括单个处理器，或如图所示，包括多个处理器(例如，处理器708至712)。存储器/存储装置706可以包括存储器714例如主存储器或其他存储器存储装置以及存储单元716，二者都能够由处理器704例如经由总线702访问。存储单元716和存储器714存储有实现本文中描述的任何一种或更多种方法或功能的指令710。指令710还可以在其由机器700执行期间完全地或部分地驻留在存储器714内、存储单元716内、至少一个处理器704(例如，在处理器708的高速缓冲存储器内)或它们的任何合适的组合内。因此，存储器714、存储单元716和处理器704的存储器是机器存储介质的示例。
I/O部件718可以包括用于接收输入、提供输出、产生输出、传送信息、交换信息、捕获测量等的各种部件。包括在特定机器700中的特定I/O部件718将取决于机器的类型。例如，诸如移动电话的便携式机器很可能包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器很可能不包括这样的触摸输入设备。将理解的是，I/O部件718可以包括图7中未示出的许多其他部件。仅为了简化以下讨论，将I/O部件718根据功能进行分组，并且该分组决不是限制性的。在各种示例实施方式中，I/O部件718可以包括输出部件726和输入部件728。输出部件726可以包括视觉部件(例如，显示器，例如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))，声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号发生器等。输入部件728可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于指向的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏、或者其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在另外的示例实施方式中，I/O部件718可以包括生物部件730、移动部件734、环境部件736或位置部件738等各种其他部件。例如，生物部件730可以包括用于检测表达(例如，手表达、面部表情、声音表达、身体姿势或眼部跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件734可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件736可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测周围温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如，检测附近物体的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。位置部件738可以包括位置传感器部件(例如，全球定位系统(GPS)接收器部件)、海拔高度传感器部件(例如，检测气压的高度计或气压计，根据所述气压可以得到海拔高度)、取向传感器部件(例如，磁力计)等。
通信可以使用各种技术来实现。I/O部件718可以包括通信部件740，通信部件740可操作以分别经由耦接722和耦接724将机器700耦接至网络732或设备720。例如，通信部件740可以包括网络接口部件或其他合适的设备以与网络732对接。在其他示例中，通信部件740可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
Figure BDA0002289194330000191
部件(例如，
Figure BDA0002289194330000192
低能量)、
Figure BDA0002289194330000193
部件和用于经由其他形式提供通信的其他通信部件。设备720可以是另外的机器或各种外围设备中的任一种(例如，经由通用串行总线(USB)耦接的外围设备)。
另外，通信部件740可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件740可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如，用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速反应(QR)代码的多维条形码、Aztec代码、数据矩阵、数据符号(Dataglyph)、最大编码(MaxiCode)、PDF417、超代码(Ultra Code)、UCC RSS-2D条形码和其他光代码的光学传感器)或声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件740得出各种信息，例如经由因特网协议(IP)地理位置的位置、经由
Figure BDA0002289194330000201
信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
将理解的是，在该上下文(例如，系统部件)中使用的“各种部件”(例如，模块)是指具有由功能或子例程调用、分支点、应用程序接口(API)或提供特定处理或控制功能的分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由它们的接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元以及通常执行特定功能或相关功能的程序的一部分。部件可以构成软件部件(例如，在机器存储介质上体现的代码)或硬件部件。硬件部件是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施方式中，一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或更多个硬件部件(例如，处理器708或处理器组704)可以通过软件(例如，应用616或应用部分)被配置为进行操作以执行如本文所描述的某些操作的硬件部件。也可以机械地、电子地或其任何合适的组合来实现硬件部件。例如，硬件部件可以包括永久地配置成执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路。例如，硬件部件可以包括由通用处理器708或其他可编程处理器708执行的软件。一旦通过这样的软件被配置，则硬件部件成为特定的机器(或机器700的特定部件)，该特定的机器被唯一地定制成执行配置的功能并且不再是通用处理器704。将理解的是，机械地、以专用和永久配置的电路或以临时配置的电路(例如，由软件配置)来实现硬件部件的决定可以由成本和时间考虑来驱动。因此，短语“硬件部件”(“硬件实现的部件”)应当被理解成包含有形实体，应当是被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或者执行本文所描述的某些操作的实体。考虑其中硬件部件被临时配置(例如，被编程)的实施方式，硬件部件中的每一个无需在任一时刻处均被配置或实例化。例如，在硬件部件包括通过软件配置而成为专用处理器的通用处理器708的情况下，通用处理器708可以在不同时间处被配置成分别不同的专用处理器(例如，包括不同的硬件部件)。软件相应地配置特定处理器708或处理器704以例如在一个时刻处构成特定硬件部件并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息并且从其他硬件部件接收信息。因此，所描述的硬件部件可以被认为是通信上耦接的。在同时存在多个硬件部件的情况下，可以通过在两个或更多个硬件部件之间或之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中多个硬件部件在不同时间处被配置或实例化的实施方式中，可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如，一个硬件部件可以执行操作，并且将该操作的输出存储在通信上耦接的存储器设备中。另外的硬件部件然后可以在随后的时间处访问存储器设备，以检索和处理所存储的输出。硬件部件还可以发起与输入或输出设备的通信，并且可以对资源进行操作(例如，信息的收集)。
本文中描述的示例方法的各种操作可以至少部分地由被临时配置(例如，通过软件)或永久配置成执行相关操作的一个或更多个处理器704来执行。无论是临时配置还是永久配置，这样的处理器704可以构成进行操作以执行本文描述的一个或更多个操作或功能的处理器实现的部件。如本文所使用的，“处理器实现的部件”是指使用一个或更多个处理器704实现的硬件部件。类似地，本文中描述的方法可以至少部分地由处理器实现，其中特定的处理器708或处理器704是硬件的示例。例如，方法的至少一些操作可以由一个或更多个处理器704或处理器实现的部件执行。另外，一个或更多个处理器704还可以操作成支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)。例如，至少一些操作可以由一组计算机(作为包括处理器704的机器700的示例)执行，其中这些操作能够经由网络732(例如，因特网)并经由一个或更多个适当的接口(例如，应用程序接口(API))来访问。某些操作的执行可以分布在处理器704之间，不是仅驻留在单个机器700内，而是部署在多个机器700内。在一些示例实施方式中，处理器704或处理器实现的部件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中，处理器704或处理器实现的部件可以跨多个地理位置分布。
该上下文中的“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、多个膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
该上下文中的“通信网络”是指网络的一个或更多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002289194330000221
网络、另外类型的网络或两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线网络或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、GSM演进的增强数据率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他标准、其他远程协议或其他数据传输技术。
该上下文中的“机器存储介质”是指能够临时或永久地存储指令和数据的部件、设备或其他有形介质，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪速存储器、光学介质、磁介质、高速缓冲存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器存储介质”应当被视为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓冲存储器和服务器)。术语“机器存储介质”还应被视为包括能够存储由机器执行的指令(例如，代码)的任何介质或多个介质的组合，使得指令在由机器的一个或更多个处理器执行时使机器执行本文所描述的任何一种或更多种方法。因此，“机器存储介质”是指单个存储装置或设备以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。术语“机器存储介质”是非暂态的，并且因此本身不包括信号。计算机存储介质是机器存储介质的示例。该上下文中的术语“通信介质”包括调制数据信号和其他载波/通信体验元素。该上下文中的术语“机器可读介质”包括机器存储介质(例如，计算机存储介质)和通信介质两者。
该上下文中的“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值并且产生应用于操作机器的对应输出信号的任何电路(例如，硬件处理器)或虚拟电路(由在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP))、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器还可以是具有两个或更多个独立处理器(有时称为“核”)的多核处理器，其可以同时执行指令。
遍及本说明书，多个实例可以实现被描述为单个实例的资源、部件、操作或结构。虽然一种或更多种方法的个体操作被示出和描述为分立的操作，但是一个或更多个的个体操作可以同时执行，并且不要求以所示的顺序执行操作。在示例配置中作为分立部件呈现的结构和功能可以被实现为组合的结构或部件。类似地，作为单个部件呈现的结构和功能可以被实现为分立的部件。
如本文中使用的，术语“或”可以被解释为包含性或排他性意义。术语“一个”应该被解读为表示“至少一个”、“一个或更多个”等。意义扩大的词和短语例如“一个或更多个”、“至少”、“但不限于”或其他类似的短语的出现，在一些实例中不应被解读为表示在这种意义扩大的短语可能不存在的情况下，意图或要求使用较窄意义的短语。另外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在特定说明性配置的上下文中示出特定操作。功能的其他分配被预见并且可以落入本公开内容的各种实施方式的范围内。因此，说明书和附图被认为是说明性的而不是限制性意义的。
应当理解的是，可以在不脱离本公开内容的范围的情况下对公开的实施方式做出各种改变和修改。这些和其他改变或修改旨在被包括在本公开内容的范围内。

Claims (21)

1.一种系统，包括：
存储指令的存储器；以及
硬件处理器，所述硬件处理器通信地耦接至所述存储器并且通过所述指令被配置成：
访问与数字体验的参与者有关的跟踪数据，所述跟踪数据是基于在所述参与者体验所述数字体验时从所述参与者收集到的传感器数据，所述数字体验包括能够被所述参与者感知的至少一个体验元素；
基于所访问的跟踪数据来确定所述参与者的情绪反应；
将所确定的情绪反应映射至所述数字体验的体验元素；以及
将经映射的所述数字体验的体验元素提供至所述参与者。
2.根据权利要求1所述的系统，其中，基于所述访问的跟踪数据来确定所述情绪反应包括将所述访问的跟踪数据的至少一部分与和所述情绪反应相关联的特定跟踪条件集合匹配。
3.根据权利要求2所述的系统，其中，将所述访问的跟踪数据的至少一部分与和所述情绪反应相关联的所述特定跟踪条件集合匹配包括：
将所述访问的跟踪数据的至少一部分与跟踪条件集合的优先级列表进行比较，每个跟踪条件集合与给定的情绪反应相关联；以及
在所述跟踪条件集合的优先级列表中将所述特定跟踪条件集合识别为第一跟踪条件集合，以与所述访问的跟踪数据的至少一部分匹配。
4.根据权利要求1所述的系统，其中，将所述确定的情绪反应映射至所述数字体验的所述体验元素包括：
访问与所述参与者相关联的成绩数据；以及
基于所访问的成绩数据映射所述确定的情绪反应。
5.根据权利要求1所述的系统，其中，所述跟踪数据包括以下至少之一：所述参与者的头部经过的距离值的集合；或与所述参与者的头部的运动方向的变化有关的delta值的集合。
6.根据权利要求1所述的系统，其中，所述情绪反应是针对所述数字体验内的特定点而确定的。
7.根据权利要求1所述的系统，其中，所述经映射的体验元素包括所述数字体验的叙述路径。
8.根据权利要求1所述的系统，其中，所述经映射的体验元素包括视角分数。
9.根据权利要求1所述的系统，其中，所述经映射的体验元素包括以下至少之一：听觉分数、触觉分数或视觉分数。
10.根据权利要求1所述的系统，其中，所述硬件处理器通过所述指令被配置成确定所述参与者相对于所述数字体验的注视，其中，将所述确定的情绪反应映射至所述数字体验的所述体验元素包括基于所确定的注视将所述确定的情绪反应映射至所述数字体验的所述体验元素。
11.一种方法，包括：
由硬件处理器访问与数字体验的参与者有关的跟踪数据，所述跟踪数据基于在所述参与者体验所述数字体验时从所述参与者收集到的传感器数据，所述数字体验包括能够被所述参与者感知的至少一个体验元素；
由所述硬件处理器基于所访问的跟踪数据来确定所述参与者的情绪反应；
由所述硬件处理器将所确定的情绪反应映射至所述数字体验的体验元素；以及
由所述硬件处理器提供经映射的所述数字体验的体验元素。
12.根据权利要求11所述的方法，其中，基于所述访问的跟踪数据来确定所述情绪反应包括由所述硬件处理器将所述访问的跟踪数据的至少一部分与和所述情绪反应相关联的特定跟踪条件集合匹配。
13.根据权利要求12所述的方法，其中，将所述访问的跟踪数据的至少一部分与和所述情绪反应相关联的所述特定跟踪条件集合匹配包括：
由所述硬件处理器将所述访问的跟踪数据的至少一部分与跟踪条件集合的优先级列表进行比较，每个跟踪条件集合与给定的情绪反应相关联；以及
在所述跟踪条件集合的优先级列表中由所述硬件处理器将所述特定跟踪条件集合识别为第一跟踪条件集合，以与所述访问的跟踪数据的至少一部分匹配。
14.根据权利要求11所述的方法，其中，将所述确定的情绪反应映射至所述数字体验的所述体验元素包括：
由所述硬件处理器访问与所述参与者相关联的成绩数据；以及
由所述硬件处理器基于所访问的成绩数据映射所述确定的情绪反应。
15.根据权利要求11所述的方法，其中，所述跟踪数据包括以下至少之一：所述参与者的头部经过的距离值的集合；或与所述参与者的头部的运动方向的变化有关的delta值的集合。
16.根据权利要求11所述的方法，其中，所述情绪反应是针对所述数字体验内的特定点而确定的。
17.根据权利要求11所述的方法，其中，所述经映射的体验元素包括所述数字体验的叙述路径。
18.根据权利要求11所述的方法，其中，所述经映射的体验元素包括视角分数。
19.根据权利要求11所述的方法，其中，所述经映射的体验元素包括以下至少之一：听觉分数、触觉分数或视觉分数。
20.根据权利要求11所述的方法，包括由所述硬件处理器确定所述参与者相对于所述数字体验的注视，其中，将所述确定的情绪反应映射至所述数字体验的所述体验元素包括基于所确定的注视将所述确定的情绪反应映射至所述数字体验的所述体验元素。
21.一种计算机存储介质，所述计算机存储介质包括在由设备的硬件处理器执行时使所述设备执行以下操作的指令，所述操作包括：
访问与数字体验的参与者有关的跟踪数据，所述跟踪数据基于在所述参与者体验所述数字体验时从所述参与者收集到的传感器数据，所述数字体验包括能够被所述参与者感知的至少一个体验元素；
基于所访问的跟踪数据来确定所述参与者的情绪反应；
将所确定的情绪反应映射至所述数字体验的体验元素；以及
将经映射的所述数字体验的体验元素提供至所述参与者。
CN201880034782.7A 2017-04-26 2018-04-25 基于情绪的体验反馈 Pending CN110945459A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/497,643 2017-04-26
US15/497,643 US10152118B2 (en) 2017-04-26 2017-04-26 Emotion-based experience freedback
PCT/US2018/029433 WO2018200720A1 (en) 2017-04-26 2018-04-25 Emotion-based experience feedback

Publications (1)

Publication Number Publication Date
CN110945459A true CN110945459A (zh) 2020-03-31

Family

ID=63916661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034782.7A Pending CN110945459A (zh) 2017-04-26 2018-04-25 基于情绪的体验反馈

Country Status (5)

Country Link
US (1) US10152118B2 (zh)
EP (1) EP3616037A4 (zh)
JP (1) JP2020518929A (zh)
CN (1) CN110945459A (zh)
WO (1) WO2018200720A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166080B2 (en) * 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
KR101996039B1 (ko) * 2018-09-27 2019-07-03 국립공주병원 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
CA3120273A1 (en) * 2018-11-19 2020-05-28 TRIPP, Inc. Adapting a virtual reality experience for a user based on a mood improvement score
TWI704555B (zh) * 2018-11-27 2020-09-11 誠屏科技股份有限公司 情緒辨識裝置與方法
CN109803013B (zh) * 2019-01-21 2020-10-23 浙江大学 一种基于人工智能的弱交互系统及其控制方法
US11527171B2 (en) * 2019-04-22 2022-12-13 The Commons XR LLC Virtual, augmented and extended reality system
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
US11590411B2 (en) * 2020-12-17 2023-02-28 Dell Products, Lp Pressure sensor with microphone and metal oxide sensor of a gaming headset microphone mouthpiece
GB2622063A (en) * 2022-09-01 2024-03-06 Hx Lab Ltd System and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009071121A2 (de) * 2007-12-05 2009-06-11 Almeva Ag Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
US9612654B2 (en) * 2008-10-20 2017-04-04 Koninklijke Philips N.V. Controlling an influence on a user in a rendering environment
EP2585895A1 (en) * 2010-06-28 2013-05-01 TP Vision Holding B.V. Enhancing content viewing experience
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US9741258B1 (en) * 2016-07-13 2017-08-22 International Business Machines Corporation Conditional provisioning of auxiliary information with a media presentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009071121A2 (de) * 2007-12-05 2009-06-11 Almeva Ag Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation

Also Published As

Publication number Publication date
EP3616037A1 (en) 2020-03-04
WO2018200720A1 (en) 2018-11-01
EP3616037A4 (en) 2020-04-08
US20180314321A1 (en) 2018-11-01
US10152118B2 (en) 2018-12-11
JP2020518929A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
US20240062448A1 (en) Dynamic composite user identifier
CN110945459A (zh) 基于情绪的体验反馈
US11188190B2 (en) Generating animation overlays in a communication session
US11704005B2 (en) Collaborative achievement interface
WO2019089613A1 (en) Animated chat presence
US11616745B2 (en) Contextual generation and selection of customized media content
EP3766028A1 (en) Generating collectible items based on location information
US20200336454A1 (en) System and method of generating private notifications between users in a communication session
US20220317773A1 (en) Real-time communication interface with haptic and audio feedback response
US20220317775A1 (en) Virtual reality communication interface with haptic feedback response
US20220317774A1 (en) Real-time communication interface with haptic and audio feedback response
WO2022212174A1 (en) Interface with haptic and audio feedback response
US20210389851A1 (en) Contextual application menu
US20210389866A1 (en) Contextual action bar
US20210406300A1 (en) Personalized media preview interface
US11922587B2 (en) Dynamic augmented reality experience
US11863596B2 (en) Shared augmented reality session creation
US20240184372A1 (en) Virtual reality communication interface with haptic feedback response
WO2022245831A1 (en) Automatic media capture using biometric sensor data
EP4341784A1 (en) Automatic media capture using biometric sensor data
EP4341785A1 (en) Automatic media capture based on motion sensor data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200331

WD01 Invention patent application deemed withdrawn after publication