CN117836039A - 用于触觉反馈效果的系统和方法 - Google Patents

用于触觉反馈效果的系统和方法 Download PDF

Info

Publication number
CN117836039A
CN117836039A CN202280056478.9A CN202280056478A CN117836039A CN 117836039 A CN117836039 A CN 117836039A CN 202280056478 A CN202280056478 A CN 202280056478A CN 117836039 A CN117836039 A CN 117836039A
Authority
CN
China
Prior art keywords
haptic feedback
media
media content
examples
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056478.9A
Other languages
English (en)
Inventor
A·陈
A·舒拉西亚
M·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority claimed from PCT/US2022/076948 external-priority patent/WO2023056225A2/en
Publication of CN117836039A publication Critical patent/CN117836039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于处理媒体数据并且用于提供基于媒体数据定制的触觉反馈的系统和技术。媒体系统接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置输出的媒体内容。媒体内容可以与至少部分地由软件应用生成的环境相关联，如在视频游戏中。输出设备被配置为跨一时间段在不同时间处输出媒体内容的不同部分。媒体系统沿该时间段在第一时间处检测与媒体内容相关联的条件。媒体系统根据与该条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。

Description

用于触觉反馈效果的系统和方法
技术领域
本申请涉及触觉反馈。更具体地说，本申请涉及用于致动媒体设备的一个或多个触觉反馈致动器以根据基于到媒体设备的输入和/或来自媒体设备的输出的触觉反馈模式来提供触觉反馈的系统和方法。
背景技术
媒体系统可以包括诸如蜂窝电话、膝上型计算机、平板电脑和可穿戴设备之类的设备。媒体系统可以使用各种各样的输出设备来输出媒体。例如，媒体系统可以包括媒体系统用来显示图像、视频、演示等的显示器。媒体系统可以包括可以播放声音、音乐等的一个或多个音频输出设备，诸如扬声器和耳机。媒体系统可以包括触觉反馈马达，其可以通过使媒体系统振动来提供触觉反馈。具有触觉反馈能力的传统媒体系统仅包括单个触觉反馈马达。因此，具有触觉反馈能力的传统媒体系统出于许多目的通常使用相同类型的触觉反馈，这可能导致与触觉反馈的实例的含义混淆。
发明内容
在一些示例中，描述了用于处理媒体数据的系统和技术。媒体系统接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置输出的媒体内容。在一些示例中，媒体内容包括视觉媒体内容和/或音频媒体内容。在一些示例中，媒体内容与至少部分地由软件应用(诸如视频游戏和/或扩展现实(XR)应用)生成的环境相关联。输出设备被配置为在一段时间内的不同时间输出媒体内容的不同部分。在一些示例中，媒体内容被配置为在一段时间内改变，例如包括视频、演示、视频游戏和/或音频剪辑。在一些示例中，媒体内容被配置为根据媒体输出设置输出。在一些示例中，媒体系统从用户界面接收输入。在一些示例中，输入可以指示对在媒体内容中描绘和/或表示的环境的一个或多个效果，诸如由环境内的一个或多个实体(例如，玩家化身)采取的一个或多个动作。在一些示例中，输入指示对媒体输出设置的改变。
媒体系统在一段时间内在第一时间处检测与媒体内容相关联的条件。在一些示例中，条件是基于媒体内容中的环境、媒体内容和/或输入的。在一些示例中，条件是基于对媒体内容的视觉媒体内容中的一个或多个对象、感兴趣区域和/或图像属性的改变的检测的。在一些示例中，条件是基于对媒体内容的音频媒体内容内的特定声音的检测的。媒体系统根据对应于条件的触觉反馈模式致动至少一个触觉反馈致动器。在一些示例中，媒体系统基于条件来生成触觉反馈模式。在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动以提供局部触觉反馈效果。在说明性示例中，触觉反馈模式可以指示至少一个触觉反馈致动器中的第一触觉反馈致动器将被致动，而不致动第二触觉反馈致动器。
在一个示例中，提供了一种用于图像处理的装置。所述装置包括至少一个存储器和耦合到所述至少一个存储器的至少一个处理器(例如，在电路中实现)。所述至少一个处理器被配置为并且能够进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
在另一示例中，提供了一种图像处理的方法。所述方法包括：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
在另一示例中，提供了一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
在另一示例中，提供了一种用于图像处理的装置。所述装置包括：用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；用于沿所述时间段在第一时间处检测与所述媒体内容相关联的条件的单元；以及用于根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器的单元。
在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：至少在所述第一时间处检测在所述媒体内容的视觉内容内表示的场景条件以检测所述条件。在一些方面中，所述场景条件包括感兴趣区域。在一些方面中，所述场景条件包括对象。在一些方面中，所述场景条件包括图像属性的变化，其中，所述图像属性包括照度、饱和度、亮度、对比度、视角、视场或颜色平衡中的至少一项。
在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的视频，其中，所述媒体输出软件应用包括视频播放器，其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，并且其中，所述视频播放器根据所述视频设置来播放所述视频。在一些方面中，所述视觉内容包括至少部分地由所述媒体输出软件应用生成的环境的表示。在一些方面中，所述媒体输出软件应用是视频游戏，并且其中，所述条件与所述视频游戏的游戏玩法相关联。
在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。在一些方面中，所述音频内容包括与至少部分地由所述媒体输出软件应用生成的环境相关联的至少一个声音。
在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：至少在所述第一时间处检测到在所述媒体内容的音频内容内包括声音以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：在所述第一时间处检测从用户界面接收到输入以检测所述条件。在一些方面，上述方法、装置和计算机可读介质中的一者或多者还包括：在所述第一时间处使用运动传感器检测运动以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：检测所述媒体输出设置的变化以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面，以检测与所述媒体内容相关联的所述条件。
在一些方面中，所述触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动所述方法的第二触觉反馈致动器。在一些方面中，所述触觉反馈模式指示所述至少一个触觉反馈致动器将被致动以在所述方法的第一区域处提供局部触觉反馈效果，而不在所述方法的第二区域处提供对应的反馈效果。在一些方面中，检测到对象至少在所述第一区域处被表示在所述媒体内容的视觉内容内，其中，所述第一区域处的所述局部触觉反馈效果是基于所述对象的。
在一些方面中，所述触觉反馈模式指示由所述至少一个触觉反馈致动器的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中表示的第一实体与在所述媒体内容中表示的第二实体的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
在一些方面中，所述触觉反馈模式指示所述至少一个触觉反馈致动器的所述触觉反馈模式的波形、频率或幅度中的至少一项。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。
在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：使用所述输出设备来输出所述媒体内容。
在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：接收消息；以及在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容以将所述消息合并到所述媒体内容中。
在一些方面中，所述媒体内容包括描绘所述环境的至少一部分的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，上述方法、装置和计算机可读介质还包括：所述显示器。
在一些方面中，所述媒体内容包括音频内容，所述音频内容包括与所述环境相关联的一个或多个声音，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，上述方法、装置和计算机可读介质还包括：所述音频输出设备。
在一些方面中，所述用户界面包含触摸屏显示器的触敏层，其中，所述输入包括在沿着所述触敏层的触摸位置处接收的触摸输入。在一些方面中，所述用户界面包括按钮，并且其中，所述输入包括所述按钮的按钮按压。在一些方面中，所述用户界面包括传感器，并且其中，所述输入包括基于由所述传感器捕获的传感器数据来检测运动。
在一些方面中，所述软件应用是视频游戏，并且其中，对所述环境的所述效果包括由所述环境中的玩家化身对动作的执行。在一些方面中，检测与所述环境相关联的所述条件包括识别所述玩家化身对所述动作的所述执行。在一些方面中，检测与所述环境相关联的所述条件包括检测所述玩家化身与所述环境的第二部分之间的交互。
在一些方面中，检测与所述环境相关联的所述条件包括检测到对象被描绘在所述媒体内容的所述视觉内容内。在一些方面中，检测与所述环境相关联的所述条件包括检测所述媒体内容的音频内容内的声音。在一些方面中，检测与所述环境相关联的所述条件包括识别所述输入与预定输入类别相匹配。
在一些方面中，所述媒体内容包括指示与所述环境相关联的所述条件的方面，其中，检测与所述环境相关联的所述条件包括检测指示与所述环境相关联的所述条件的所述媒体内容的所述方面。在一些方面中，所述媒体内容包括指示对所述环境的所述效果的方面。
在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器将被致动以提供局部触觉反馈效果。在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些方面中，根据所述触觉反馈模式来致动所述一个或多个触觉反馈致动器包括致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。
在一些方面中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。在一些方面中，所述条件与所述环境中的实体相关联，所述实体比在所述第二视觉内容中描绘的所述环境的第二部分更靠近在所述第一视觉内容中描绘的所述环境的第一部分。
在一些方面中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于所述环境中的实体与所述环境中的玩家化身的位置的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述环境相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的频率。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的幅度。
在一些方面中，上述方法、装置和计算机可读介质还包括：基于声音的音频波形来生成触觉反馈模式的所述触觉反馈波形，其中，所述媒体内容包括所述声音。在一些方面中，上述方法、装置和计算机可读介质还包括：使用所述输出设备来输出所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：在所述媒体内容被配置为使用所述输出设备输出之前修改所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：通过网络从第二设备接收消息，其中，修改所述媒体内容包括将所述消息合并到所述媒体内容中。在一些方面中，所述消息包括一个或多个字母数字字符。在一些方面中，所述消息包括一个或多个图像。在一些方面中，所述消息包括一个或多个声音。在一些方面中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。
在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：使用所述软件应用来渲染媒体内容；以及在所述媒体内容被渲染之后并且在使用所述输出设备输出所述媒体内容之前，接收所述媒体内容。
在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：将所述媒体内容存储在媒体缓冲器中；以及在所述媒体内容被存储在所述媒体缓冲器中之后并且在使用所述输出设备输出所述媒体内容之前，从所述媒体缓冲器接收所述媒体内容。在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：在将所述媒体内容存储在所述媒体缓冲器中之前，使用所述软件应用生成所述媒体内容的至少一部分。
在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，上述方法、装置和计算机可读介质还包括：所述显示器。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的视频。在一些方面中，所述媒体输出软件应用包括视频播放器，并且其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，其中，所述视频播放器根据所述视频设置来播放所述视频。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的演示。在一些方面中，所述媒体输出软件包括演示呈现器，并且其中，所述媒体输出设置包括与所述演示呈现器相关联的演示设置，其中，所述演示呈现器根据所述演示设置来呈现所述演示。
在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，上述方法、装置和计算机可读介质还包括：所述音频输出设备。在一些方面中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
在一些方面中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测到对象被描绘在所述媒体内容的视觉内容内。在一些方面中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测所述媒体内容的音频内容内的声音。
在一些方面中，所述媒体内容包括指示与所述媒体内容相关联的所述条件的方面，其中，检测与所述媒体内容相关联的所述条件包括检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面。
在一些方面中，上述方法、装置和计算机可读介质还包括：从用户界面接收输入。在一些方面中，检测与所述媒体内容相关联的所述条件包括识别所述输入。在一些方面中，所述输入指示对所述媒体输出设置的效果，并且其中，检测与所述媒体内容相关联的所述条件包括识别对所述媒体输出设置的所述效果。在一些方面中，所述输入指示对所述媒体输出设置的效果，并且其中，所述媒体内容包括指示对所述媒体输出设置的所述效果的方面。在一些方面中，所述输入指示所述第一时间。在一些方面中，所述输入指示所述条件。在一些方面中，所述输入指示所述触觉反馈模式。
在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些方面中，根据所述触觉反馈模式来致动所述一个或多个触觉反馈致动器包括致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。在一些方面中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。在一些方面中，所述条件与在所述第一视觉内容中描绘的实体相关联。
在一些方面中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中描绘的第一实体与在所述媒体内容中描绘的第二实体的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的频率。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的幅度。在一些方面中，上述方法、装置和计算机可读介质还包括：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。
在一些方面中，上述方法、装置和计算机可读介质还包括：使用所述输出设备来输出所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：在所述媒体内容被配置为使用所述输出设备输出之前修改所述媒体内容。
在一些方面中，上述方法、装置和计算机可读介质还包括：通过网络从第二设备接收消息，其中，修改所述媒体内容包括将所述消息合并到所述媒体内容中。在一些方面中，所述消息包括一个或多个字母数字字符。在一些方面中，所述消息包括一个或多个图像。在一些方面中，所述消息包括一个或多个声音。在一些方面中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。
在一些方面中，所述装置是以下各者、是以下各者的一部分和/或包括以下各者：可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、头戴式显示器(HMD)设备、无线通信设备、移动设备(例如，移动电话和/或移动手持机和/或所谓的“智能手机”或其它移动设备)、相机、个人计算机、膝上型计算机、服务器计算机、车辆或车辆的计算设备或组件、另一设备或其组合。在一些方面中，所述装置包括用于捕获一个或多个图像的一个相机或多个相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，上述装置可以包括一个或多个传感器(例如，一个或多个惯性测量单元(IMU)，诸如一个或多个陀螺测试仪、一个或多个加速度计、其任何组合和/或其它传感器)。
该发明内容既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求，应当理解该主题。
在参考以下说明书、权利要求和附图之后，前述内容以及其它特征和实施例将变得更加显而易见。
附图说明
下面参考以下附图来详细描述本申请的说明性实施例：
图1是示出根据一些示例的具有一个或多个输出设备、一个或多个输入设备和一个或多个触觉反馈致动器的媒体系统的示例架构的框图；
图2A是示出根据一些示例的具有触觉反馈致动器的移动手持机的前部的透视图；
图2B是示出根据一些示例的具有触觉反馈致动器的移动手持机的后部的透视图；
图3A是示出根据一些示例的正在显示与视频游戏相关联的媒体内容的移动手持机的前部的透视图；
图3B是示出根据一些示例的正在显示与视频游戏相关联的媒体内容并且包括触觉反馈致动器的移动手持机的透视图；
图3C是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于敌人角色在环境中的位置来提供局部触觉反馈；
图3D是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于由用户的手按压的虚拟按钮的位置来提供局部触觉反馈；
图3E是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于由小地图指示的第二敌人角色的位置来提供局部触觉反馈；
图3F是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于出现在环境中的宝箱物品的位置来提供局部触觉反馈；
图3G是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于出现在环境中的爆炸的位置来提供局部触觉反馈；
图3H是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与视频游戏相关联的媒体内容并且正在基于出现在环境的描绘上的血液效果来提供局部触觉反馈；
图4是示出根据一些示例的基于声音效果的音频波形来生成用于触觉反馈模式的触觉波形的概念图；
图5是示出根据一些示例的基于玩家化身与环境中的实体的接近度来生成用于触觉反馈模式的触觉波形的概念图；
图6是示出根据一些示例的基于由触摸屏的触敏层检测到的压力来生成用于触觉反馈模式的触觉波形的概念图；
图7是示出根据一些示例的基于用于使用多声道音频播放声音效果的音频声道模式来生成用于触觉反馈模式的局部布局的概念图；
图8是示出根据一些示例的在视频游戏中使用玩家化身采取的可以对应于不同触觉反馈模式的各种动作的概念图；
图9是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示来自使用其它设备的其它用户的合并到与视频游戏相关联的媒体内容中的消息；
图10A是示出根据一些示例的正在显示与媒体播放器应用相关联的媒体内容并且包括触觉反馈致动器的移动手持机的透视图；
图10B是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与媒体播放器应用相关联的媒体内容并且正在基于对与球门相对应的媒体内容的视觉内容的区域中的足球对象的检测来提供局部触觉反馈，并且包括与媒体内容集成的消息；
图10C是示出根据一些示例的移动手持机的透视图，该移动手持机正在显示与媒体播放器应用相关联的媒体内容并且正在基于对媒体内容中的欢呼的检测来提供局部触觉反馈，并且包括与媒体内容集成的消息；
图11是示出根据一些示例的使用经训练的机器学习模型基于将媒体内容的一个或多个图像输入到经训练的机器学习模型中来确定对象的身份的框图；
图12是示出根据一些示例的使用经训练的机器学习模型基于将媒体内容的一个或多个音频剪辑输入到经训练的机器学习模型中来确定声音的身份的框图；
图13是示出根据一些示例的可以由机器学习引擎用来识别要由媒体设备输出的媒体内容内的元素的神经网络的示例的框图；
图14A是示出根据一些示例的用于处理媒体数据的过程的流程图；
图14B是示出根据一些示例的用于处理媒体数据的另一过程的流程图；以及
图15是示出用于实现本文描述的某些方面的计算系统的示例的图。
具体实施方式
下文提供了本公开内容的某些方面和实施例。如对于本领域技术人员将显而易见的，这些方面和实施例中的一些可以独立地应用，并且它们中的一些可以相结合地应用。在以下描述中，出于解释的目的，阐述了具体细节以便提供对本申请的实施例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实施各个实施例。附图和描述并不旨在是限制性的。
随后的描述仅提供了示例性实施例，并且不旨在限制本公开内容的范围、适用性或配置。确切而言，对这些示例性实施例的随后描述将向本领域技术人员提供用于实现示例性实施例的可行描述。应当理解的是，在不脱离如在所附的权利要求书中阐述的本申请的精神和范围的情况下，可以对元素的功能和布置进行各种改变。
媒体系统可以包括诸如蜂窝电话、膝上型计算机、平板电脑、移动手持机、可穿戴设备和头戴式显示器(HMD)之类的设备。媒体系统可以包括各种输出设备。媒体系统可以使用一个或多个输出设备来输出媒体内容。媒体系统的输出设备可以包括视觉媒体输出设备，诸如显示器。媒体系统可以使用视觉媒体输出设备来显示视觉媒体内容。视觉媒体内容可以包括例如图像、视频、演示等。
媒体系统的输出设备可以包括音频媒体输出设备，诸如一个或多个扬声器、一个或多个头戴式耳机、一个或多个耳机、头戴式耳机可以连接到的一个或多个头戴式耳机连接器(例如，头戴式耳机插孔)、扬声器可以连接到的一个或多个扬声器连接器(例如，音频插孔)等。媒体系统可以使用音频媒体输出设备播放音频媒体内容。音频媒体内容可以包括例如声音、音乐等。
在一些示例中，媒体系统还可以包括输入设备，诸如用户界面。例如，媒体系统的输入设备可以包括触摸屏的触敏层、触控板、一个或多个按钮、键盘、小键盘、鼠标、数字转换器、操纵杆、游戏控制器等。媒体系统从一个或多个输入设备接收一个或多个输入。在一些示例中，一个或多个输入可以指示对在媒体内容中描绘和/或表示在媒体内容中的环境的效果，诸如由环境内的一个或多个实体(例如，玩家化身)采取的一个或多个动作。在一些示例中，一个或多个输入可以指示与媒体内容的输出相关联的媒体输出设置的改变，诸如对用于暂停、播放、停止、再卷绕、快进、慢动作回放、跳过、增加音量、减小音量等的控件的改变。
在一些示例中，媒体系统可以包括一个或多个触觉反馈致动器，诸如触觉反馈马达。一个或多个触觉反馈致动器可以例如通过使媒体系统以触觉方式振动、移动或以其它方式响应来提供触觉反馈。具有触觉反馈能力的传统媒体系统仅包括单个触觉反馈致动器。因此，具有触觉反馈能力的传统媒体系统出于许多目的通常使用相同类型的触觉反馈，这可能导致与触觉反馈的实例的含义混淆。
描述了用于处理媒体数据并用于提供基于媒体数据定制的触觉反馈的系统和技术。媒体系统接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置输出的媒体内容。例如，媒体内容可以包括视觉媒体内容和/或音频媒体内容。输出设备可以包括视觉媒体输出设备和/或音频媒体输出设备。在一些示例中，媒体内容与至少部分地由软件应用(诸如视频游戏和/或扩展现实(XR)应用(例如，增强现实、虚拟现实和/或混合现实))生成的环境相关联。媒体系统可以运行软件应用。媒体系统可以从运行软件应用或相关软件应用(例如用于多玩家游戏和/或基于云的游戏)的第二媒体系统接收媒体内容的至少一部分。媒体内容与环境相关联，例如在视觉上描绘环境的至少一部分，包括表示来自环境内的声音的声音，和/或以其它方式包括环境的至少一部分的表示。
输出设备被配置为跨一时间段在不同时间处输出媒体内容的不同部分。例如，在一些示例中，媒体内容被配置为跨一时间段改变。例如，媒体内容可以包括被配置为跨一时间段改变的视频、演示(例如，幻灯片播放、幻灯片集)、图像集合、视频游戏、XR应用、虚拟实境应用、交互式应用和/或音频剪辑。在一些示例中，媒体内容被配置为根据媒体输出设置输出。媒体输出设置可以包括用于暂停、播放、停止、再卷绕、快进、慢动作回放、跳过、增加音量、减小音量或其组合的设置和/或控件。媒体输出设置可以与根据媒体输出设置输出媒体内容的软件应用相关联，诸如媒体播放器、视频播放器、音频播放器、图像查看器、演示呈现器、视频游戏、XR应用、虚拟实境应用、交互式应用或其组合。
在一些示例中，媒体系统从用户界面接收输入。输入可以是使用输入设备(诸如触摸屏的触敏层、触控板、一个或多个按钮、键盘、小键盘、鼠标、数字化器、操纵杆、游戏控制器或其组合)接收的输入。在一些示例中，一个或多个输入可以指示对在媒体内容中描绘和/或表示在媒体内容中的环境的效果，诸如由环境内的一个或多个实体(例如，玩家化身)采取的一个或多个动作。在一些示例中，一个或多个输入可以指示对媒体输出设置的改变。
媒体系统沿着该时间段在第一时间处检测条件。在一些示例中，条件是基于媒体内容中的环境、媒体内容和/或输入的。在一些示例中，条件可以是基于对媒体内容的视觉媒体内容中的一个或多个对象、感兴趣区域和/或图像属性的改变的检测的。例如，条件可以包括显现在屏幕上的敌人或物品或爆炸。条件可以包括检测两个或更多个检测到的对象之间的交互，诸如检测足球与球门之间的交互、篮球与篮筐之间的交互、棒球与球棒之间的交互、冰球圆盘与球杆之间的交互、冰球圆盘与球门之间的交互、武器与角色之间的交互等。条件可以包括检测媒体内容的音频媒体内容内的特定声音。例如，声音可以是爆炸的声音、观众欢呼的声音、球棒击中棒球的声音、篮球进入篮筐的声音、轮胎沿着转弯呼啸而过的声音等。在一些示例中，例如其中媒体内容和/或环境由视频游戏生成和/或作为视频游戏的一部分，该条件可以是基于视频游戏的游戏玩法的(例如，在游戏玩法期间检测游戏玩法事件)。
媒体系统根据对应于条件的触觉反馈模式来致动至少一个触觉反馈致动器。媒体系统可以基于条件来生成触觉反馈模式。在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动以提供局部触觉反馈效果。例如，至少一个触觉反馈致动器可以包括第一触觉反馈致动器和第二触觉反馈致动器，并且触觉反馈模式可以指示第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。例如，如果条件与在媒体内容的视觉媒体内容中检测到的对象相关联，则可以基于触觉反馈致动器来局部化局部触觉反馈效果，该触觉反馈致动器更靠近和/或最接近和/或邻近如在视觉输出设备上显示的视觉媒体内容中的对象的描绘。
本文公开的系统和技术提供了对用于处理媒体数据和/或用于提供触觉反馈的传统系统和技术的各种技术改进。例如，本文公开的媒体系统可以针对不同的条件提供不同的触觉反馈模式，从而使用户对于针对不同的条件的触觉反馈效果的感受不同，并且使不同的触觉反馈效果更容易区分。本文公开的媒体系统可以提供基于显示器上的视觉内容的位置的局部触觉反馈，其可以例如为视力受损的用户提供改进的可访问性。本文公开的媒体系统可以提供基于音频内容的音频通道的局部触觉反馈，其可以例如为听力受损的用户提供改进的可访问性。本文公开的媒体系统可以提供不同模式的触觉反馈，其模拟与不同动作或条件相关联的不同物理感受，例如允许与行走、跑步、爬行、驾驶和/或其它动作(例如，游戏动作)相关联的触觉反馈效果感受不同和/或模拟与那些活动相关联的真实世界感觉。
将参考附图描述本申请的各个方面。图1是示出具有一个或多个输出设备110、一个或多个输入设备170和一个或多个触觉反馈致动器130的媒体系统100的示例架构的框图。媒体系统100可以是计算系统1500的示例。媒体系统100的一个或多个输出设备110可以包括一个或多个视觉媒体输出设备，诸如一个或多个显示器115。媒体系统100可以使用视觉媒体输出设备来显示视觉媒体内容。视觉媒体内容可以包括例如图像、视频、演示(例如，幻灯片集、幻灯片播放、图像集合)、计算机生成的图像(CGI)或其组合。
媒体系统100的一个或多个输出设备110可以包括一个或多个音频媒体输出设备。一个或多个输出设备110的示例包括输出设备1535。一个或多个音频媒体输出设备的示例包括一个或多个扬声器120和/或一个或多个扬声器120可以连接到的一个或多个扬声器连接器(例如，音频插孔)。一个或多个音频媒体输出设备的示例包括一个或多个头戴式耳机输出125，诸如一个或多个头戴式耳机、一个或多个耳机、头戴式耳机可以连接到的一个或多个头戴式耳机连接器(例如，耳机插孔)、或其组合。媒体系统可以使用音频媒体输出设备播放音频媒体内容。音频媒体内容可以包括例如声音、音乐、音调或其组合。
媒体系统100可以包括一个或多个媒体缓冲器165。一个或多个媒体缓冲器165可以包括一个或多个图像缓冲器、帧缓冲器、显示缓冲器、音频缓冲器、环形缓冲器或其组合。一个或多个媒体缓冲器165可以存储要由一个或多个输出设备110中的至少一者输出的媒体内容的部分，包括视觉媒体内容和/或音频媒体内容。在一些示例中，一个或多个媒体缓冲器165可以存储一个或多个图像和/或视频帧，该一个或多个图像和/或视频帧被配置为诸如由一个或多个显示器115使用一个或多个输出设备110的一个或多个视觉媒体输出设备来显示。在一些示例中，一个或多个媒体缓冲器165可以存储一个或多个音频剪辑，该一个或多个音频剪辑被配置为诸如由一个或多个扬声器120和/或由一个或多个头戴式耳机输出125使用一个或多个输出设备110中的一个或多个音频媒体输出设备来播放。在一些示例中，媒体系统100的一个或多个处理器140例如使用一个或多个软件应用145和/或媒体内容修改引擎160在一个或多个媒体缓冲器165中生成媒体内容的至少一部分。在一些示例中，媒体系统100经由一个或多个通信收发机190从第二媒体系统195接收一个或多个媒体缓冲器165中的媒体内容的至少一部分。在一些示例中，一个或多个媒体缓冲器165中的媒体内容的至少一部分包括由一个或多个传感器185捕获的内容，诸如由一个或多个传感器185捕获的图像和/或音频。
媒体系统100的一个或多个输入设备170可以包括一个或多个用户界面和/或与一个或多个用户界面相关联的一个或多个组件。一个或多个输出设备110的示例包括输入设备1545。媒体系统100的一个或多个输入设备170可以包括例如(例如，触摸屏和/或触控板的)触敏层175、一个或多个按钮180(例如，单独的按钮、键盘和/或小键盘)、鼠标、数字化器、操纵杆、游戏控制器或其组合。媒体系统100的一个或多个输入设备170可以包括一个或多个传感器185。一个或多个传感器185的示例可以包括一个或多个相机、图像传感器、麦克风、深度传感器、加速度计、陀螺仪、定位接收机(例如，全球导航卫星系统(GNSS)接收机)、惯性测量单元(IMU)或其组合。深度传感器可以包括例如光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、立体相机或其组合。媒体系统100可以从一个或多个输入设备170接收一个或多个输入。在一些示例中，输入可以指示沿着触敏层175的触摸输入位置、光标位置(例如，与鼠标或触敏层175相关联)、一个或多个按钮180的按钮按压(例如，一个或多个虚拟按钮的虚拟按钮按压、一个或多个物理按钮的物理按钮按压)、由一个或多个传感器185捕获的传感器数据或其组合。传感器数据的示例包括例如一个或多个图像、视频、音频剪辑、深度信息(例如，点云)、运动信息、加速度信息(例如，来自加速度计)、定向信息(例如，来自陀螺仪)或其组合。
媒体系统100的一个或多个触觉反馈致动器130可以包括一个或多个致动器、一个或多个马达、一个或多个振动马达、一个或多个振动致动器、一个或多个偏心旋转质量振动马达(ERM)、一个或多个线性谐振致动器(LRA)、一个或多个线性谐振致动器(LRA)马达、一个或多个无刷马达、一个或多个直流(DC)马达、一个或多个交流(AC)马达、一个或多个无刷DC(BLDC)马达、一个或多个触觉马达、一个或多个触觉致动器、一个或多个触觉反馈马达、一个或多个触觉反馈致动器、一个或多个振动马达、一个或多个压电致动器、一个或多个压电马达、一个或多个压电致动器、一个或多个压电马达、一个或多个振动致动器、一个或多个振动器、产生振动诱导音频的一个或多个扬声器、产生振动诱导音频的一个或多个蜂鸣器或其组合。在一些示例中，媒体系统100包括多个触觉反馈致动器130。在一些示例中，媒体系统100包括多个触觉反馈致动器130，每个触觉反馈致动器130定位在媒体系统100的不同区域中，例如，如图2A-2B的移动手持机210中的触觉反馈致动器230所示。在一些示例中，触觉反馈致动器230中的触觉反馈致动器包括触觉反馈致动器在触觉反馈致动器致动时使用马达围绕轴线旋转的质量对象。质量对象的质心可以相对于旋转轴线(例如，偏心件)偏离中心。触觉反馈致动器的致动可以使触觉反馈致动器(和/或它是其一部分的媒体系统100)由于质量对象围绕轴线的旋转而振动和/或移动。在一些示例中，触觉反馈致动器230中的触觉反馈致动器包括质量对象，触觉反馈致动器例如使用一个或多个磁体、弹簧和/或马达将该质量对象从通道的一端滑动到通道的另一端。在触觉反馈致动器的致动期间质量对象沿着通道来回移动可以使触觉反馈致动器(和/或它是其一部分的媒体系统100)振动和/或移动。
媒体系统100的一个或多个触觉反馈致动器130的致动可以由媒体系统100的一个或多个处理器140的一个或多个触觉反馈控制器135和/或触觉反馈模式引擎155控制和/或由其执行。一个或多个触觉反馈控制器135可以包括硬件电路，诸如马达驱动器和/或致动器驱动器、中断板或其组合。在一些示例中，触觉反馈模式引擎155可以使用一个或多个触觉反馈控制器135来打开或关闭一个或多个触觉反馈致动器130中的至少一者。在一些示例中，触觉反馈模式引擎155可以使用一个或多个触觉反馈控制器135来致动或禁用一个或多个触觉反馈致动器130中的至少一者。在一些示例中，触觉反馈模式引擎155可以使用一个或多个触觉反馈控制器135来增加、减少或归零提供给一个或多个触觉反馈致动器130中的至少一个触觉反馈致动器的功率量。在一些示例中，触觉反馈模式引擎155可以使用一个或多个触觉反馈控制器135来增加、减少或归零由一个或多个触觉反馈致动器130中的至少一者提供的触觉反馈(例如，振动)的强度、强度和/或量。在一些示例中，触觉反馈模式引擎155可以使用一个或多个触觉反馈控制器135来使一个或多个触觉反馈致动器130中的至少一者根据触觉反馈波形、触觉反馈强度、触觉反馈模式、触觉反馈效果、触觉反馈持续时间或其组合来提供触觉反馈。在一些方面中，除了媒体系统100之外的远程系统可以向媒体系统100提供媒体内容的至少一部分，媒体系统100可以经由通信收发机190接收媒体内容的至少一部分。在一些方面中，远程系统的外部触觉反馈模式引擎可以生成媒体内容的触觉反馈模式，并且将媒体内容的触觉反馈模式发送到媒体系统100，媒体系统100可以经由通信收发机190接收该触觉反馈模式。例如，如果媒体系统100具有低处理能力和/或功率预算，则该方法可能是适当的。在一些方面中，由媒体系统100使用的触觉反馈模式的一些部分可以由远程系统的外部触觉反馈模式引擎生成(例如，对应于媒体内容本身的部分)，而由媒体系统100使用的触觉反馈模式的其它部分可以由媒体系统100的触觉反馈模式引擎155生成(例如，基于经由输入设备170接收的输入)。
媒体系统100包括一个或多个处理器140。一个或多个处理器140的示例包括处理器1510。一个或多个处理器140执行存储在诸如非暂时性计算机可读存储介质之类的存储器中的指令。指令可以包括与一个或多个软件应用145相对应的指令，使得一个或多个处理器140可以运行一个或多个软件应用145。在一些示例中，一个或多个软件应用145包括视频游戏和/或扩展现实(XR)应用。XR应用的示例包括增强现实(AR)应用、虚拟现实(VR)应用、混合现实(MR)应用或其组合。一个或多个软件应用145可以根据环境的视觉外观和/或根据来自环境(和/或与环境相关联)的音频来生成环境的至少一部分。在一些示例中，例如，如果一个或多个软件应用145是视频游戏和/或VR应用，其中媒体系统100的用户和/或表示用户的一个或多个玩家化身移动通过虚拟环境，则环境是完全虚拟的。在一些示例中，环境是媒体系统100周围的真实世界环境的表示。在一些示例中，例如，如果一个或多个软件应用145是AR应用、MR应用和/或XR视频游戏，其中媒体系统100的用户和/或表示用户的一个或多个玩家化身移动通过环境，则环境是部分虚拟和/或部分真实的。在一些示例中，媒体系统100可以使用显示器115作为透视显示器和/或作为直通显示器。例如，在一些示例中，环境的真实元素可以包括由传感器185的图像传感器和/或相机捕获的媒体系统100周围的真实世界环境的图像。在一些示例中，环境的真实元素可以包括来自媒体系统100周围的真实世界环境的由传感器185的麦克风捕获的音频。在一些示例中，环境的真实元素可以包括来自媒体系统100周围的真实世界环境的穿过一个或多个显示器115(和/或其它视觉媒体输出设备)中的至少一者以到达用户的光。在一些示例中，环境的真实元素可以包括来自媒体系统100周围的真实世界环境的音频，即使当一个或多个音频媒体输出设备(例如，扬声器120、头戴式耳机输出125)输出其它音频时，该音频也是用户可听到的。在一些示例中，一个或多个处理器140可以通过基于来自媒体系统100周围的真实世界环境的由传感器185的麦克风捕获的音频生成具有相反相位和匹配幅度的噪声消除信号，并且使用一个或多个音频媒体输出设备(例如，扬声器120、头戴式耳机输出125)播放噪声消除信号，来执行主动噪声消除。
媒体系统100可以运行一个或多个软件应用145。媒体系统100可以从运行软件应用或例如用于多玩家游戏和/或基于云的游戏的相关软件应用的第二媒体系统接收媒体内容的至少一部分。媒体内容与环境相关联，例如在视觉上描绘环境的至少一部分，包括表示来自环境内的声音的声音，和/或以其它方式包括环境的至少一部分的表示。
在一些示例中，由一个或多个输入设备170接收的一个或多个输入可以是用于一个或多个软件应用145的输入和/或要由一个或多个软件应用145使用的输入。在一些示例中，由一个或多个输入设备170接收的一个或多个输入可以由媒体系统100用于指示对在媒体内容中描绘和/或表示的环境的效果，诸如由环境内的一个或多个实体(例如，表示媒体系统100的用户的一个或多个玩家化身)执行和/或由其采取的一个或多个动作。在一些示例中，由一个或多个输入设备170接收的一个或多个输入可以由媒体系统100用于指示对与媒体内容的输出相关联的媒体输出设置的改变，诸如对用于暂停、播放、停止、再卷绕、快进、慢动作回放、跳过、增加音量、减小音量或其组合的控件的改变。
指令可以包括对应于机器学习(ML)引擎150的指令，使得一个或多个处理器140可以运行ML引擎150。媒体系统100可以使用ML引擎150使用训练数据来训练一个或多个ML模型，以生成一个或多个经训练的ML模型。媒体系统100可以使用来自一个或多个软件应用145、来自一个或多个媒体缓冲器165、来自媒体内容修改引擎160、来自一个或多个传感器185或其组合的媒体内容作为对ML引擎150的一个或多个经训练的ML模型的输入。响应于这些输入，ML引擎150的一个或多个经训练的ML模型可以检测在媒体内容中描绘和/或以其它方式表示的一个或多个对象，例如，如在图11和13中示出和讨论的。响应于这些输入，ML引擎150的一个或多个经训练的ML模型可以检测媒体内容中的音频媒体内容内的一个或多个声音，例如，如关于图12和13示出和讨论的。ML引擎150的一个或多个ML模型可以执行例如特征提取算法、特征检测算法、特征识别算法、对象检测算法、对象识别算法、面部检测算法、面部识别算法、人检测算法、人识别算法、声音提取算法、声音检测算法、声音识别算法、光学字符检测算法、光学字符识别(OCR)算法、分类器、光学字形检测器、光学字形扫描仪或其组合。ML引擎150和/或ML引擎150的一个或多个经训练的ML模型可以包括例如一个或多个神经网络(NN)(例如，神经网络1300)、一个或多个卷积神经网络(CNN)、一个或多个经训练的时间延迟神经网络(TDNN)、一个或多个深度网络、一个或多个自动编码器、一个或多个深度信念网(DBN)、一个或多个递归神经网络(RNN)、一个或多个生成对抗网络(GAN)、一个或多个其它类型的神经网络、一个或多个经训练的支持向量机(SVM)、一个或多个经训练的随机森林(RF)或其组合。
指令可以包括对应于触觉反馈模式引擎155的指令，使得一个或多个处理器140可以运行触觉反馈模式引擎155。媒体系统100基于媒体内容和/或输入来检测与媒体内容和/或环境相关联的条件。媒体系统100可以使用触觉反馈模式引擎155、ML引擎150的一个或多个经训练的ML模型、一个或多个软件应用145或其组合来检测条件。
在一些示例中，媒体系统100基于对媒体内容的视觉媒体内容中的一个或多个对象的检测来检测条件，例如如图11和13所示。例如，条件可以包括显现在屏幕上的敌人或物品或爆炸。条件可以包括检测两个或更多个检测到的对象之间的交互，诸如检测足球与球门之间的交互、篮球与篮筐之间的交互、棒球与球棒之间的交互、冰球圆盘与球杆之间的交互、冰球圆盘与球门之间的交互、武器与角色之间的交互等。在一些示例中，媒体系统100基于对媒体内容的音频媒体内容内的特定声音的检测来检测条件，例如如图12和13所示。例如，声音可以是爆炸的声音、观众欢呼的声音、球棒击中棒球的声音、篮球进入篮筐的声音、轮胎沿着转弯呼啸而过的声音等。
媒体系统100使用触觉反馈模式引擎155生成与条件相对应的触觉反馈模式。媒体系统100使用触觉反馈模式引擎155根据与条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器130(使用触觉反馈控制器135)。在一些示例中，媒体系统100使用触觉反馈模式引擎155生成触觉反馈模式以指示一个或多个触觉反馈致动器130将被致动以提供局部触觉反馈效果，该局部触觉反馈效果例如通过使用触觉反馈致动器130的特定子集被定位到媒体系统100的特定区域。例如，一个或多个触觉反馈致动器130可以包括第一触觉反馈致动器和第二触觉反馈致动器，并且触觉反馈模式可以指示第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。例如，如果条件与在媒体内容的视觉媒体内容中检测到的对象相关联，则可以基于最接近在视觉输出设备上显示的视觉媒体内容中的对象的描绘的触觉反馈致动器来定位局部触觉反馈效果(例如，如图3C、3E、3F、3G、3H、5、8、10B、10C、11和/或13中)。如果条件与在媒体内容的音频媒体内容中检测到的声音相关联，则可以基于触觉反馈致动器来定位局部触觉反馈效果，该触觉反馈致动器在方向上对应于被设置为由音频输出设备输出的声音的音频声道的方向(例如，如图3G、3H、4、7、8、10B、10C、12和/或13中)。如果条件与经由一个或多个输入设备170接收的输入相关联，则可以基于与输入相关联的媒体系统100的位置和/或输入的一个或多个强度和/或输入的一个或多个内容来定位局部触觉反馈效果(例如，如图3D、6、8、11、12和/或13中)。
指令可以包括对应于媒体内容修改引擎160的指令，使得一个或多个处理器140可以运行媒体内容修改引擎160。媒体内容修改引擎160可以在经由输出设备110输出媒体内容之前修改媒体内容。在一些示例中，媒体内容修改引擎160可以修改媒体缓冲器165中的媒体内容。在一些示例中，媒体内容修改引擎160可以在由软件应用145输出媒体内容之后但是在媒体缓冲器165处接收到媒体内容之前修改媒体内容。在一些示例中，媒体内容修改引擎160可以在传感器185捕获媒体内容之后但是在媒体缓冲器165处接收到媒体内容之前修改媒体内容。
媒体系统100包括一个或多个通信收发机190。一个或多个通信收发机190的示例包括通信接口1540。在一些示例中，一个或多个通信收发机190包括WiFi收发机、蜂窝网络收发机、3G收发机、4G收发机、LTE收发机、5G收发机、超宽带(UWB)收发机、60GHz收发机或其组合。在一些示例中，媒体系统100使用一个或多个通信收发机190从第二媒体系统195接收消息。在一些示例中，媒体内容修改引擎160通过将消息合并到媒体内容的至少一部分中来修改媒体内容。例如，在一些示例中，媒体内容修改引擎160通过在媒体内容的至少一部分上叠加消息的视觉表示和/或消息的视觉分量来修改媒体内容。在一些示例中，媒体内容修改引擎160通过将消息的音频表示和/或消息的音频分量合并到媒体内容的音频媒体内容中来修改媒体内容。在一些示例中，消息包括一个或多个字母数字字符。在一些示例中，消息包括一个或多个图像(例如，包括表情符号)。在一些示例中，消息包括一个或多个声音。在一些示例中，条件与消息相关联，并且触觉反馈模式与消息相关联。这样的消息的示例包括消息905、消息910、消息1030和消息1050。
在一些示例中，消息作为社交媒体平台的一部分被发送。在一些示例中，媒体系统100和第二媒体系统195各自与社交媒体平台的一个或多个账户相关联。在一些示例中，媒体系统100和第二媒体系统195共享共享特性。在一些示例中，共享特性包括共享设备制造商、共享设备经销商、共享设备模型系列、共享设备模型、共享网络运营商、共享网络类型、共享品牌、共享操作系统、一个或多个软件应用145的共享集合、触觉反馈致动器130的共享数量、触觉反馈致动器130的共享布置和/或布局、共享团队(例如，在视频游戏和/或运动中)、共享地理区域、共享附近地区、共享室内区域、共享室外区域或其组合。在一些示例中，第二媒体系统195是媒体系统100的第二实例。
在一些示例中，例如基于ML引擎150对媒体内容中的对象的检测、ML引擎150对媒体内容中的声音的检测、对一个或多个软件应用145中的另一条件的检测或其组合，在媒体系统100处至少部分地生成消息。这样的消息的示例包括消息355。
图2A是示出具有触觉反馈致动器230的移动手持机210的前部220的透视图。移动手持机210是媒体系统100、第二媒体系统195和/或计算系统1500的示例。移动手持机210的前部220包括显示器240。显示器240是一个或多个显示器115和/或输出设备1535的示例。显示器240可以是具有触敏层175的触摸屏。
在一些示例中，移动手持机210的前部220包括一个或多个额外输出设备110，诸如一个或多个额外显示器115、一个或多个其它视觉媒体输出设备、一个或多个扬声器120、一个或多个头戴式耳机输出125、一个或多个其它音频媒体输出设备或其组合。在一些示例中，移动手持机210的前部220包括一个或多个额外输入设备170，诸如一个或多个额外触敏层175、一个或多个按钮180、一个或多个传感器185或其组合。例如，移动手持机210的前部220可以包括一个或多个麦克风、一个或多个相机、一个或多个加速度计、一个或多个陀螺仪、一个或多个IMU、一个或多个深度传感器或其组合。
移动手持机210包括至少部分地在移动手持机210的外壳内部的触觉反馈致动器230。触觉反馈致动器230至少部分地位于移动手持机210的前部220与移动手持机210的后部215之间。移动手持机210的前部220被竖直虚线和水平虚线分成四个区域(例如，象限)，如图2A所示。每个区域包括触觉反馈致动器230中的至少一者。在一些示例中，移动手持机210包括多于四个区域(例如，5个、6个、7个、8个、9个或10个区域)，每个区域具有触觉反馈致动器230中的至少一个触觉反馈致动器。在一些示例中，移动手持机210具有多于四个触觉反馈致动器230(例如，5个、6个、7个、8个、9个或10个触觉反馈致动器)。在一些示例中，移动手持机210包括少于四个区域(例如，2或3个区域)，每个区域具有触觉反馈致动器230中的至少一个触觉反馈致动器。在一些示例中，移动手持机210具有少于四个触觉反馈致动器230(例如，1个、2个或3个触觉反馈致动器)。触觉反馈致动器230中的每个触觉反馈致动器以虚线示出为具有半圆形质量对象的圆形马达，该半圆形质量对象被配置为围绕从圆形马达的中心延伸的轴线旋转。
在一些示例中，媒体系统100可以包括可穿戴组件，诸如连身衣、背心、夹克、头部、头带、臂章、项链、头戴式显示器(HMD)、头戴式耳机、一组头戴式耳机等。可穿戴组件可以包括一个或多个传感器185和/或一个或多个触觉反馈致动器130。例如，如果对应于媒体系统100的用户的玩家化身在视频游戏(例如，软件应用145)中的右臂上被射击，则可穿戴组件中的触觉反馈致动器130可以在可穿戴组件(例如，连身衣)的右臂上产生触觉反馈效果，以针对用户模仿对玩家化身的射击的位置。在一些示例中，触觉反馈模式可以指示一组头戴式耳机和/或耳机的一个或多个触觉反馈致动器130可以被致动(例如，振动)。
在一些示例中，输入可以包括到可穿戴组件的输入和/或由可穿戴组件中的传感器185检测到的输入。例如，HMD可以包括传感器185，诸如捕获用户的眼睛的图像的相机和/或图像传感器。输入可以包括眼睛移动、眼睛眨眼、眼睛眯眼、眼睛聚焦位置、眼睛扫视等。
图2B是示出具有触觉反馈致动器230的移动手持机210的后部215的透视图。移动手持机210的后部215包括具有一个或多个传感器185的一个或多个相机的相机模块。
在一些示例中，移动手持机210的后部215包括一个或多个输出设备110，诸如一个或多个显示器115、一个或多个其它视觉媒体输出设备、一个或多个扬声器120、一个或多个头戴式耳机输出125、一个或多个其它音频媒体输出设备或其组合。在一些示例中，移动手持机210的后部215包括一个或多个输入设备170，诸如一个或多个触敏层175、一个或多个按钮180、一个或多个额外传感器185或其组合。例如，移动手持机210的后部215可以包括一个或多个麦克风、一个或多个相机、一个或多个加速度计、一个或多个陀螺仪、一个或多个IMU、一个或多个深度传感器或其组合。
移动手持机210包括至少部分地在移动手持机210的外壳内部的触觉反馈致动器230。触觉反馈致动器230至少部分地位于移动手持机210的前部220与移动手持机210的后部215之间。移动手持机210的后部215被竖直虚线和水平虚线分成四个区域(例如，象限)，如图2A所示。每个区域包括触觉反馈致动器230中的至少一者。在一些示例中，移动手持机210包括多于四个区域(例如，5个、6个、7个、8个、9个或10个区域)，每个区域具有触觉反馈致动器230中的至少一个触觉反馈致动器。在一些示例中，移动手持机210包括少于四个区域(例如，2或3个区域)，每个区域具有触觉反馈致动器230中的至少一个触觉反馈致动器。
图3A是示出正在显示与视频游戏相关联的媒体内容的移动手持机210的正面220的透视图300A。移动手持机210正在使用显示器240显示媒体内容的视觉媒体内容。媒体内容的视觉媒体内容包括环境320。环境320可以是完全虚拟的或部分虚拟的。环境320可以包括和/或基于移动手持机210周围的真实世界环境的部分。环境320包括玩家化身305，其被示为持有武器(例如，枪)的人。由显示器240显示的环境320的视角聚焦在玩家化身305后面。环境320还包括敌人角色315，敌人角色315可以例如由人工智能(AI)和/或由第二媒体系统(例如，第二移动手持机和/或第二媒体系统195)控制。环境320包括地面、天空和其它对象，诸如树。在一些示例中，环境320可以包括真实或虚拟的其它类型的对象，诸如结构、车辆、动物等。环境320可以至少部分地由视频游戏和/或XR应用生成，视频游戏和/或XR应用可以是一个或多个软件应用145中的一者。
显示器240还显示与一个或多个软件应用145相关联的各种界面元素。例如，显示器240显示健康计量表310和弹药计数器312。图3A的健康计量表310近似三分之一满，指示移动手持机210的用户(由玩家化身305表示)具有其在一个或多个软件应用145的上下文内剩余的其健康的大约三分之一。图3A的弹药计数器312指示由玩家化身305持有的武器在一个或多个软件应用145的上下文内包括可能30个子弹中的27个子弹。显示器240还显示小地图325，其示出环境320的圆形部分的俯视图。小地图325包括指向上的灰色三角形。灰色三角形表示玩家化身305在环境320中的位置。小地图325包括从灰色三角形延伸的白色三角形。白色三角形表示在显示器240的大部分上显示的环境320的视野，其表示玩家化身305前面的环境的区域。小地图325还示出了两个黑色三角形，每个黑色三角形表示敌人角色。两个黑色三角形中的一个在表示视野的白色三角形内，并且对应于敌人角色315在环境320中的位置。两个黑色三角形中的另一个被标记为第二敌人角色350，在环境320中的玩家化身305的后面和左边，并且因此经由在显示器240的大部分上示出的环境320的视图对移动手持机210的用户不可见。
显示器240是具有触敏层175的触摸屏显示器。显示器240显示与触敏层175的对应于一个或多个软件应用145的特定输入的区域相关联的各种用户界面元素。例如，用户界面元素包括虚拟操纵杆335，移动手持机210的用户可以通过在触敏层175的对应于所显示的虚拟操纵杆335的区域内滑动用户的手指或触笔来使用虚拟操纵杆335，以控制玩家化身305在环境320内的移动，从而在环境320上具有使玩家化身305在环境320内移动的效果。
用户界面元素包括一组虚拟按钮，移动手持机210的用户可以通过触摸触敏层175的对应于所显示的虚拟按钮的区域内的用户的手指或触笔来使用虚拟按钮，并且每个虚拟按钮使得玩家化身305在环境320内执行动作，从而在环境320上具有使玩家化身305在环境320内执行动作的效果。虚拟按钮包括在显示器240的左侧上的一组两个虚拟按钮330L和在显示器240的右侧上的一组5个虚拟按钮330R。
虚拟按钮330L和虚拟按钮330R各自包括击发按钮，每个按钮包括子弹的图标，当接收到触摸输入时(例如，如图3D中所示)，该按钮使玩家化身305击发由玩家化身305持有的枪，因此在环境320上具有使玩家化身305在环境320内击发武器的效果。虚拟按钮330R包括到虚拟按钮330R的击发按钮的右上方的跳转按钮。跳转按钮包括人跳转的图标。在接收到触摸输入时，跳转按钮使得玩家化身305跳跃，因此在环境320上具有使玩家化身305在环境320内跳跃的效果。虚拟按钮330R包括到虚拟按钮330R的击发按钮的右下方的蹲下按钮。蹲下按钮包括人蹲下的图标。在接收到触摸输入时，蹲下按钮使得玩家化身305蹲下和/或爬行，因此在环境320上具有使玩家化身305在环境320内蹲下和/或爬行的效果。虚拟按钮330R包括在虚拟按钮330R的击发按钮下方和略向右的跑步/行走按钮。蹲下按钮包括跑步者的图标。在接收到触摸输入时，跑步/行走按钮使得玩家化身305在跑步和行走之间转变，因此在环境320上具有使玩家化身305在环境320内跑步和/或行走的效果。虚拟按钮330R包括位于虚拟按钮330R的击发按钮下方和略向左的重新装弹按钮。重新装弹按钮包括围绕一组子弹的顺时针圆形箭头的图标。在接收到触摸输入时，重新装弹按钮使得玩家化身305将枪重新装弹，因此在环境320上具有使玩家化身305在环境320内将枪重新装弹的效果。虚拟按钮330L包括虚拟按钮330L的击发按钮下方的库存按钮。库存按钮包括袋子的图标。在接收到触摸输入时，库存按钮使得一个或多个软件应用145打开库存菜单以允许用户查看和/或修改玩家化身305的库存，在一些情况下在环境320上具有使玩家化身305查看和/或修改环境320内的库存的效果。在一些示例中，每种类型的输入(例如，每个虚拟按钮、虚拟操纵杆335、物理按钮等)可以被分类为不同类别的输入，这在一些情况下可以触发不同的触觉反馈模式。
图3B是示出正在显示与视频游戏相关联的媒体内容并且包括触觉反馈致动器230的移动手持机210的透视图300B。如图2A-2B所示，图3A-3H的移动手持机210被垂直虚线和水平虚线划分成四个区域(例如，象限)，如图2A所示。每个区域包括移动手持机210内部的触觉反馈致动器230中的至少一者。触觉反馈致动器230中的每个触觉反馈致动器以虚线示出为具有半圆形质量对象的圆形马达，该半圆形质量对象被配置为围绕从圆形马达的中心延伸的轴线旋转。
图3C是示出了移动手持机210的透视图300C，该移动手持机210正在显示与视频游戏相关联的媒体内容并且基于敌人角色315在环境中的位置来提供局部触觉反馈330C。移动手持机210例如使用ML引擎150的一个或多个经训练的ML模型来检测敌人角色315在显示器240上显示的位置。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测敌人角色315的位置。在一些示例中，移动手持机210通过从软件应用145本身接收对敌人角色315的位置的指示来检测敌人角色315的位置。对环境320中的敌人角色315的检测和/或对在显示器240上显示的环境320中的敌人角色315的位置的检测是由移动手持机检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的一者(如图3C所示的右上触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为在显示器240上显示的敌人角色315的位置落在移动手持机210的四个区域的右上区域内。这提供了图3C的移动手持机210的右上区域的局部触觉反馈330C。右上触觉反馈致动器的致动(例如，振动)在图3C中被示出为具有围绕右上触觉反馈致动器位于其内的右上区域的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动右上触觉反馈致动器而不致动触觉反馈致动器230的其它三个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它三个触觉反馈致动器中的至少一者更强地致动右上触觉反馈致动器。局部触觉反馈330C可以提醒用户查看显示器240的右上区域以寻找敌人角色315。
图3D是示出了移动手持机210的透视图300D，该移动手持机210正在显示与视频游戏相关联的媒体内容并且正在基于用户的手345正在按压的虚拟按钮的位置来提供局部触觉反馈330D。由手345正在按压的虚拟按钮是移动手持机210的右手上的虚拟按钮330R的击发按钮。由手345正在按压的虚拟按钮(击发按钮)以交叉阴影图案着色以突出显示虚拟按钮正在被按压(例如，虚拟按钮正在从手345接收触摸输入)。作为对虚拟按钮的触摸输入的结果，由玩家化身305持有的枪被示为在环境320中的树处击发。检测到对虚拟按钮的输入和/或检测到由玩家化身305持有的枪被示为击发(例如，基于如在图11或图13中的枪口闪光图形的检测，基于如在图12或图13中的枪击发声音效果的检测，基于如在图12或图13中的子弹飞行和/或击打声音效果的检测，和/或从软件应用145本身接收枪正在被击发的指示)是由移动手持机210检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的一者(如图3D中所示的右下触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为显示在显示器240上的虚拟按钮和/或枪的位置落在移动手持机210的四个区域的右下区域内。这提供了图3D的移动手持机210的右下区域的局部触觉反馈330D。右下触觉反馈致动器的致动(例如，振动)在图3D中被示出为具有围绕右下触觉反馈致动器位于其内的右上区域的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动右下触觉反馈致动器而不致动触觉反馈致动器230的其它三个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它三个触觉反馈致动器中的至少一者更强地致动右下触觉反馈致动器。在一些示例中，触觉反馈模式可以是基于输入类别(例如，击发按钮)来生成的。局部触觉反馈330D可以向用户提供触觉反馈，使得用户感觉到确认用户已经成功地按压(提供触摸输入到)虚拟按钮和/或作为结果成功地击发了枪的触觉感觉。
图3E是示出了移动手持机210的透视图300E，该移动手持机210正在显示与视频游戏相关联的媒体内容并且正在基于由小地图325指示的第二敌人角色350的位置来提供局部触觉反馈330E。移动手持机210检测由小地图325指示的第二敌人角色350在环境320中的位置。在一些示例中，移动手持机210使用ML引擎150的一个或多个经训练的ML模型来检测第二敌人角色350在环境320中和/或小地图325中的位置。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测第二敌人角色350在环境320中和/或小地图325中的位置。在一些示例中，移动手持机210通过从软件应用145本身接收对第二敌人角色350的位置的指示来检测第二敌人角色350的位置。移动手持机210使用媒体内容修改引擎160覆盖写着“敌人在你后面！”的消息355来修改图3E内的视频游戏的媒体内容，其中箭头指向左下方。对环境320中的第二敌人角色350的检测、对小地图325中的第二敌人角色350的检测和/或对具有消息355的媒体内容的修改是由移动手持机检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的一者(如图3E所示的左下触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为第二敌人角色350的位置在环境320中的玩家化身305的后面和左侧，和/或因为对应的消息355覆盖在显示器240的左下区域内的媒体内容上。这提供了图3E的移动手持机210的左下区域的局部触觉反馈330E。左下触觉反馈致动器的致动(例如，振动)在图3E中被示出为具有围绕左下触觉反馈致动器位于其内的左下区域的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动左下触觉反馈致动器而不致动触觉反馈致动器230的其它三个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它三个触觉反馈致动器中的至少一者更强地致动左下触觉反馈致动器。局部触觉反馈330E可以提醒用户针对第二敌人角色350查看小地图325，和/或向左转动玩家化身305和/或视频游戏内的用户的视野以寻找第二敌人角色350。
图3F是示出移动手持机210的透视图300F，该移动手持机210正在显示与视频游戏相关联的媒体内容并且基于出现在环境320中的宝箱物品360的位置来提供局部触觉反馈330F。宝箱物品360在环境320的用户视野中是可见的，并且被显示在显示器240的左上区域中。表示宝宝箱物品360的灰色圆角矩形图标也已被添加到图3F中的小地图325。移动手持机210检测如在环境320的视野中显示的和/或由小地图325指示的宝箱物品360的位置。在一些示例中，移动手持机210使用ML引擎150的一个或多个经训练的ML模型来检测宝箱物品360在环境320中和/或小地图325中的位置。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测宝箱物品360在环境320中和/或小地图325中的位置。在一些示例中，环境320中的宝箱物品360的外观伴随有声音效果。在一些示例中，移动手持机210基于声音效果来检测环境320中的宝箱物品360的存在和/或位置，例如通过使用ML引擎150的一个或多个经训练的ML模型来识别视频游戏的音频轨道内的声音效果。在一些示例中，移动手持机210使用如图12所示的经训练的ML模型1220和/或使用图13的NN 1300和/或基于如图7中的声音效果的音频声道来检测宝箱物品360在环境320中和/或小地图325中的存在和/或位置。在一些示例中，移动手持机210通过从软件应用145本身接收对宝箱物品360的位置的指示来检测宝箱物品360的位置。在环境320中检测到宝箱物品360和/或在小地图325中检测到宝箱物品360是由移动手持机检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的一者(如图3F所示的左上触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为如在显示器240上显示的宝箱物品360的位置在显示器240的左上区域中。这提供了图3F的移动手持机210的左上区域的局部触觉反馈330F。左上触觉反馈致动器的致动(例如，振动)在图3F中被示出为具有围绕左上触觉反馈致动器位于其内的左上区域的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动左上触觉反馈致动器而不致动触觉反馈致动器230的其它三个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它三个触觉反馈致动器中的至少一者更强地致动左上触觉反馈致动器。局部触觉反馈330F可以提醒用户查看显示器240的左上区域，和/或在小地图325处查看宝箱物品360。
图3G是示出了移动手持机210的透视图300G，该移动手持机210正在显示与视频游戏相关联的媒体内容并且正在基于出现在环境中的爆炸365的位置来提供局部触觉反馈330G。爆炸365在环境320的用户视野中是可见的，并且被显示在显示器240的上半部(例如，显示器240的左上区域和右上区域)中。表示爆炸365的爆炸图标也已经被添加到图3G中的小地图325。移动手持机210检测环境320中的爆炸365的位置，如环境320的视野中所显示的和/或如小地图325所指示的。在一些示例中，移动手持机210使用ML引擎150的一个或多个经训练的ML模型来检测爆炸365在环境320中和/或小地图325中的位置。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测爆炸365在环境320中和/或小地图325中的位置。在一些示例中，环境320中的爆炸365的出现伴随有声音效果(例如，如图4和12中的爆炸声音)。在一些示例中，移动手持机210基于声音效果来检测爆炸365在环境320中的存在和/或位置，例如，通过使用ML引擎150的一个或多个经训练的ML模型来识别视频游戏的音频轨道内的声音效果。在一些示例中，移动手持机210使用如图12所示的经训练的ML模型1220和/或使用图13的NN 1300和/或基于如图7中的音效的音频声道来检测爆炸365在环境320中和/或小地图325中的存在和/或位置。在一些示例中，移动手持机210通过从软件应用145本身接收到对爆炸365的位置的指示来检测爆炸365的位置。环境320中的爆炸365的检测和/或小地图325中的爆炸365的检测是由移动手持机检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的两个触觉反馈致动器230(如图3G所示的左上触觉反馈致动器和右上触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为在显示器240上显示的爆炸365的位置在显示器240的上半部中。这提供了图3G的移动手持机210的上半部的局部触觉反馈330G。左上触觉反馈致动器和右上触觉反馈致动器的致动(例如，振动)在图3G中被示出为具有围绕左上触觉反馈致动器和右上触觉反馈致动器位于其内的上半部的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动左上触觉反馈致动器和右上触觉反馈致动器，而不致动触觉反馈致动器230的其它两个触觉反馈致动器(例如，在移动手持机210的下半部中)。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它两个触觉反馈致动器中的至少一者更强地致动左上触觉反馈致动器和右上触觉反馈致动器。局部触觉反馈330G可以提醒用户针对爆炸365来查看显示器240的上半部和/或小地图325。局部触觉反馈330G可以向用户提供与爆炸365相关联的触感，使得爆炸365对用户更真实。
图3H是示出了移动手持机210的透视图300H，该移动手持机210正在显示与视频游戏相关联的媒体内容并且正在基于出现在环境320的描绘上的血液效果370来提供局部触觉反馈330H。血液效果370在环境320的用户视野上可见，并且显示在显示器240的下半部(例如，显示器240的左下区域和右下区域)中。移动手持机210检测如覆盖在环境320的视图上的血液效果370的存在和/或位置。在一些示例中，移动手持机210使用ML引擎150的一个或多个经训练的ML模型来检测如覆盖在环境320的视图上的血液效果370的存在和/或位置。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测如覆盖在环境320的视图上的血液效果370的存在和/或位置。在一些示例中，血液效果370在环境320中的出现伴随有声音效果(例如，与遭受伤害的人相关联的喘息声音)。在一些示例中，移动手持机210基于声音效果来检测如覆盖在环境320的视图上的血液效果370的存在和/或位置，例如通过使用ML引擎150的一个或多个经训练的ML模型来识别视频游戏的音频轨道内的声音效果。在一些示例中，移动手持机210使用如图12所示的经训练的ML模型1220和/或使用图13的NN 1300和/或基于如图7中的声音效果的音频声道来检测如覆盖在环境320的视图上的血液效果370的存在和/或位置。在一些示例中，移动手持机210通过从软件应用145本身接收对玩家受伤和/或血液效果370的存在和/或位置的指示来检测血液效果370的位置。血液效果370还伴随着玩家化身305的健康减少，如健康计量表310中的健康减少所指示的。移动手持机210可以例如使用ML引擎150的一个或多个经训练的ML模型来检测健康计量表310中的健康减少。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测健康计量表310中的健康减少。在一些示例中，移动手持机210通过从软件应用145本身接收对玩家受伤和/或健康计量表310中的健康减少的指示来检测健康计量表310中的健康减少。检测到如覆盖在环境320的视图上的血液效果370的存在和/或位置和/或伴随的声音效果和/或健康计量表310中的健康减少是由移动手持机检测到的条件。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的两个触觉反馈致动器230(如图3H所示的左下触觉反馈致动器和右下触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为如在显示器240上显示的血液效果370的位置在显示器240的下半部中。这提供了图3H的移动手持机210的下半部的局部触觉反馈330H。左下触觉反馈致动器和右下触觉反馈致动器的致动(例如，振动)在图3H中被示出为具有围绕左下触觉反馈致动器和右下触觉反馈致动器位于其内的下半部的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动左下触觉反馈致动器和右下触觉反馈致动器，而不致动触觉反馈致动器230的其它两个触觉反馈致动器(例如，在移动手持机210的上半部中)。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它两个触觉反馈致动器中的至少一者更强地致动左下触觉反馈致动器和右下触觉反馈致动器。局部触觉反馈330H可以提醒用户针对血液效果370来查看显示器240的下半部。局部触觉反馈330H可以提供与对玩家化身305受伤相关联的触感，使得受伤感受更真实。
图4是示出基于声音效果410的音频波形405来生成用于触觉反馈模式435的触觉波形430的概念图400。在图4的左手侧示出了爆炸415的声音效果410的音频波形405。声音效果410的音频波形405相对于水平时间轴420和指示音频幅度的垂直幅度轴425绘制。音频波形405包括沿时间轴420在早期沿垂直幅度轴425扩展的高幅度突发。突发进一步沿时间轴420沿垂直幅度轴425减小到较低幅度。为了说明的目的，虚线勾勒了音频波形405的正侧。
触觉反馈模式引擎155基于爆炸415的声音效果410的音频波形405来生成用于爆炸415的触觉反馈模式435的触觉波形430。触觉波形430相对于水平时间轴420和指示触觉反馈幅度、强度(intensity)和/或强度(strength)的垂直幅度轴445绘制。再现勾勒音频波形405的正侧的虚线的副本以示出触觉波形430是基于音频波形405的。例如，类似于音频波形405，触觉波形430包括沿时间轴420在早期沿垂直幅度轴445扩展的高幅度突发。突发进一步沿时间轴420沿垂直幅度轴445减小到较低幅度。
在说明性示例中，爆炸415可以是图3G的爆炸365。与以上关于爆炸415讨论的过程类似的过程可以用于其它声音效果，诸如对应于物品(例如，宝箱物品360)的声音效果、对应于对玩家的效果的声音效果(例如，对应于血液效果370的伤害、针对跑步或跳跃或执行另一动作的玩家的声音)等。
在一些示例中，用于爆炸415的触觉反馈模式435的触觉波形430可以是基于爆炸415的视觉强度的，而不是基于爆炸415的声音效果410的音频波形405的和/或作为其补充。例如，用于爆炸415的触觉反馈模式435的触觉波形430可以是基于爆炸415的大小、亮度和/或颜色饱和度的。
图5是示出基于玩家化身510与环境520中的实体515的接近度来生成用于触觉反馈模式535的触觉波形530的概念图500。玩家化身510到环境520中的实体515的距离505相对于水平时间轴525和垂直距离轴528绘制，该垂直距离轴528表示玩家化身510在不同时间距环境520中的实体515多远。距离505沿着垂直距离轴528以高距离505开始(低接近度)，然后沿着垂直距离轴528下降到低距离505(高接近度)，然后沿着垂直距离轴528返回到高距离505(低接近度)，然后沿着垂直距离轴528返回到低距离505(高接近度)。
触觉反馈模式引擎155基于距离505来生成用于触觉反馈模式535的触觉波形530。触觉波形530相对于水平时间轴525和指示触觉反馈幅度、强度(intensity)和/或强度(strength)的垂直幅度轴545绘制。距离505图的副本被再现为虚线以示出触觉波形530是基于距离505的。具体地，每当距离505下降(并且因此玩家化身510与环境520中的实体515之间的接近度增加)时，触觉波形530沿着垂直幅度轴545增加触觉反馈幅度。
环境320可以是环境520的示例。玩家化身305可以是玩家化身510的示例。环境520中的实体515的示例可以包括例如敌人角色315、第二敌人角色350、宝箱物品360、爆炸365等。
图6是示出基于由触摸屏615的触敏层610检测到的压力605来生成用于触觉反馈模式635的触觉波形630的概念图600。在图6的左手侧示出了由触摸屏615的触敏层610检测到的压力605的波形。触敏层610可以是触敏层175的实例。触摸屏615可以是显示器115的示例。压力605的波形相对于水平时间轴625和指示压力幅度、强度(strength)和/或强度(intensity)的垂直压力轴628绘制。压力605的波形在沿时间轴625较早沿垂直压力轴628在零压力水平605处开始，沿时间轴625较晚沿垂直压力轴628移动到低压力水平605，沿时间轴625较晚沿垂直压力轴628上升到较高压力水平605，并且然后沿时间轴625较晚沿垂直压力轴628下降回到零压力水平605。
触觉反馈模式引擎155基于压力605的波形来生成用于触觉反馈模式635的触觉波形630。触觉波形630相对于水平时间轴620和指示触觉反馈幅度、强度(intensity)和/或强度(strength)的垂直幅度轴645绘制。压力605的波形的副本被再现为虚线以示出触觉波形630是基于压力605的波形的。例如，类似于压力605的波形，触觉波形630在沿时间轴625较早沿垂直幅度轴645在零触觉反馈水平处开始，沿时间轴625较晚沿垂直幅度轴645移动到低触觉反馈水平，沿时间轴625较晚沿垂直幅度轴645上升到较高触觉反馈水平，并且然后沿时间轴625较晚沿垂直幅度轴645下降回到零触觉反馈水平。
图7是示出基于用于使用多声道音频715播放声音效果710的音频声道模式705来生成用于触觉反馈模式730的局部触觉反馈725的概念图700。在图7的左侧和右侧示出了多声道音频715向用户720播放和/或被配置为向用户720播放声音效果710的俯视图。该俯视图表示音频声道模式705。在图7中所示出的示例中，多声道音频715被示出为5.1声道环绕声。在一些示例中，多声道音频715可以包括立体声音频、双耳音频、2.1声道音频、3.1声道音频、4.1声道音频、5.1声道环绕声、6.1声道环绕声、7.1声道环绕声、二维(2D)音频、三维(3D)音频、空间音频或其组合。在表示音频声道模式705的多声道音频715的俯视图中，右手侧上从其发出三个音频波线的两个扬声器正在大声地播放声音效果710(例如，高放大)，从其发出一个音频波线的前扬声器正在安静地播放声音效果710(例如，低放大)，并且左手侧上没有从其发出音频波线的两个扬声器根本不播放声音效果710，或者非常安静地播放声音效果710。因此，表示音频声道模式705的俯视图指示声音效果710主要使用和/或被配置为使用多声道音频715的右手声道来播放。在一些示例中，音频信道模式705表示使用一个或多个扬声器120回放声音效果710。在一些示例中，音频信道模式705表示使用头戴式耳机输出125(例如，一组头戴式耳机和/或耳机)回放声音效果710。
触觉反馈模式引擎155基于音频声道模式705来生成用于触觉反馈735的触觉反馈模式730的局部触觉反馈725。具体地，因为音频声道模式705指示声音效果710主要使用和/或被配置为使用多声道音频715的右手声道来播放，所以用于触觉反馈735的触觉反馈模式730的局部触觉反馈725致动移动手持机210的右手侧上的触觉反馈致动器。在移动手持机210的右手侧上的触觉反馈致动器的致动在图7的右手侧被示为具有围绕移动手持机的右半部的三重黑线的圆角矩形，右上触觉反馈致动器和右下触觉反馈致动器两者都位于右半部内。
触觉反馈模式730指示触觉反馈致动器230中的两个触觉反馈致动器230(如图7所示的右上触觉反馈致动器和右下触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动。在一些示例中，根据触觉反馈模式，移动手持机210致动右上触觉反馈致动器和右下触觉反馈致动器，而不致动触觉反馈致动器230的其它两个触觉反馈致动器(例如，在移动手持机210的左半部中)。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它两个触觉反馈致动器中的至少一者更强地致动右上触觉反馈致动器和右下触觉反馈致动器。局部触觉反馈725可以提供与通过多声道音频715播放的声音效果710相关联的触觉，这可以为听力受损用户提供改进的可访问性，和/或其可以提供对声音效果710的多声道音频715表示的改进的访问，即使声音效果710实际上最终在没有多声道音频715方面(例如，通过单声道扬声器)的情况下被播放给用户。
图8是示出在视频游戏中使用玩家化身采取的可以对应于不同触觉反馈模式805A-805K的各种动作的概念图800。玩家化身的示例包括玩家化身305和玩家化身510。玩家化身的许多表示在图8中被示为执行各种动作的人形图。根据动作序列来布置各种动作。
动作序列开始于视频游戏中的飞机中的玩家化身的飞行810A。飞行810A对应于触觉反馈模式805A，触觉反馈模式805A可以由触觉反馈模式引擎155生成以模拟在飞行上的感觉(例如，模拟飞机湍流的振动)。接下来，在动作序列中，在视频游戏中玩家化身从飞机的跳伞810B。跳伞810B对应于触觉反馈模式805B，触觉反馈模式805B可以由触觉反馈模式引擎155生成以模拟跳伞的感觉(例如，以模拟在跳伞时对人搅打的空气的振动)。接下来，在动作序列中，在视频游戏中玩家化身从飞机的降落810C。降落810C对应于触觉反馈模式805C，触觉反馈模式805C可以由触觉反馈模式引擎155生成以模拟降落的感觉(例如，以模拟在降落时降落伞抵靠人的猛拉)。接下来，在动作序列中，在视频游戏中玩家化身在地面上着陆810D。着陆810D对应于触觉反馈模式805D，触觉反馈模式805D可以由触觉反馈模式引擎155生成以模拟从坠落中着陆的感觉(例如，以模拟从坠落中着陆的冲击力)。
接下来，在动作序列中，在视频游戏中玩家化身收集物品810E(武器)。物品810E(武器)的收集对应于触觉反馈模式805E，触觉反馈模式805E可以由触觉反馈模式引擎155生成以表示收集物品的感觉(例如，以表示物品的重量被放置到玩家手中)。接下来，在动作序列中，在视频游戏中玩家化身击发武器810F。武器810F的击发对应于触觉反馈模式805F，触觉反馈模式805F可以由触觉反馈模式引擎155生成以表示击发武器的感觉(例如，以模拟来自枪击的反冲感觉)。接下来，在动作序列中，在视频游戏中玩家化身与敌人相遇810G。敌人相遇810G对应于触觉反馈模式805G，触觉反馈模式805G可以由触觉反馈模式引擎155生成，作为敌人角色的存在和/或位置的提醒(例如，如图3C、3E和/或5中)，以表示在敌人处击发武器的感觉(例如，以模拟来自枪击的反冲或来自近战攻击的反冲的感觉)，以表示敌人武器击发的感觉(例如，以模拟来自枪击的反冲或来自近战攻击的反冲的感觉)。接下来，在动作序列中，在视频游戏中玩家化身潜行810H通过灌木丛。潜行810H通过灌木丛对应于触觉反馈模式805H，触觉反馈模式805H可以由触觉反馈模式引擎155生成以表示潜行810H通过灌木丛的感觉(例如，以表示灌木丛与人的摩擦和/或钩挂在人的服装上的障碍)。接下来，在动作序列中，在视频游戏中玩家化身驾驶车辆810J(汽车)。车辆810J(汽车)的驾驶对应于触觉反馈模式805J，触觉反馈模式805J可以由触觉反馈模式引擎155生成以表示驾驶车辆的感觉(例如，以表示引擎的隆隆声)。接下来，在动作序列中，在视频游戏中玩家化身胜利810K。胜利810K对应于触觉反馈模式805K，触觉反馈模式805K可以由触觉反馈模式引擎155生成以向用户提醒他们获胜。
各种触觉反馈模式805A-805K可以各自例如关于触觉反馈的定位、触觉反馈的频率、触觉反馈的强度和/或幅度、触觉反馈的波形或其组合而感觉不同。其它动作也可以对应于可以彼此感觉不同的不同触觉反馈模式。例如，玩家化身步行可以具有对应的触觉反馈模式，玩家化身跑步可以具有另一对应触觉反馈模式，玩家化身跳跃可以具有另一对应触觉反馈模式，玩家化身爬行可以具有另一对应触觉反馈模式，等等。这些不同的触觉反馈模式可以感觉不同。
图9是示出移动手持机210的透视图900，该移动手持机210正在显示来自使用其它设备的其它用户的合并到与视频游戏相关联的媒体内容中的消息。消息由媒体内容修改引擎160覆盖在媒体内容上，使得消息看起来覆盖在由显示器240显示的环境320的视图上。消息包括消息905和消息910。可以经由通信收发机190从第二移动手持机(诸如第二媒体系统195)接收消息905和消息910。消息905来自对应于第二移动手持机的用户“Sam”，并且包括写着“GO BLUE TEAM！”的文本，消息905还包括拍手的图标，其中用户“Sam”可能已经选择，或者可能已经由媒体内容修改引擎160基于消息905的文本内容自动添加。消息910被示为指向敌人角色315的语音气泡，并且包括笑脸图标。可以经由通信收发机190从控制敌人角色315的第三移动手持机(诸如第三媒体系统)接收消息910。
图10A是示出正在显示与媒体播放器应用相关联的媒体内容并且包括触觉反馈致动器230的移动手持机210的透视图1000A。媒体播放器应用是图10A-10C的示例中的视频播放器。移动手持机210使用显示器240来显示环境1015和视频播放器界面1010的视频。如图2A-2B和图3A-3H所示，通过垂直虚线和水平虚线将移动手持机210划分为四个区域(例如，象限)。每个区域包括触觉反馈致动器230中的至少一者。触觉反馈致动器230中的每个触觉反馈致动器以虚线示出为具有半圆形质量对象的圆形马达，该半圆形质量对象被配置为围绕从圆形马达的中心延伸的轴旋转。环境1015描绘了足球赛，其中守门员阻止足球进入球门并且三个其它玩家在球场上可见。
图10B是示出移动手持机210的透视图1000B，该移动手持机210正在显示与媒体播放器应用相关联的媒体内容并且正在基于对与球门相对应的媒体内容的视觉内容的区域中的足球对象的检测来提供局部触觉反馈，并且包括与媒体内容集成的消息1030。移动手持机210例如使用ML引擎150的一个或多个经训练的ML模型来检测足球相对于在显示器240上显示的球门的位置的位置，和/或检测进球1025的得分。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测足球相对于球门的位置的位置，和/或检测进球1025的得分。在一些示例中，进球1025的得分伴随有声音效果(例如，足球击中球门的网的声音效果)。在一些示例中，移动手持机210基于声音效果来检测环境1015中的进球1025的得分，例如通过使用ML引擎150的一个或多个经训练的ML模型来识别视频的音频轨道内的声音效果。在一些示例中，移动手持机210使用如图12所示的经训练的ML模型1220和/或使用图13的NN 1300和/或基于如图7中的声音效果的音频声道来检测进球1025的得分。在一些示例中，移动手持机210通过从软件应用145本身接收对足球相对于球门的位置的位置的指示，和/或接收例如来自视频的隐藏字幕轨的指示进球1025的得分的指示，来检测足球相对于球门的位置的位置，和/或检测进球1025的得分。检测足球相对于球门位置的位置和/或检测进球1025的得分是由移动手持机210检测到的条件。
消息1030也由媒体内容修改引擎160覆盖在图10B的媒体内容上。可以使用通信收发机190从第二媒体系统195接收消息1030。消息1030可以由移动手持机210基于对足球相对于球门位置的位置的检测和/或进球1025的得分来生成。在一些示例中，将消息1030合并到图10B的媒体内容中可以被包括为由移动手持机210检测到的条件的至少一部分。消息1030包括写着“GOAL！”的文本和拍手图标。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示触觉反馈致动器230中的一者(如图10B所示的左上触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为显示在显示器240上的足球和球门的位置落在移动手持机210的四个区域中的左上区域内。这提供了图10B的移动手持机210的左上区域的局部触觉反馈1020。左上触觉反馈致动器的致动(例如，振动)在图10B中被示出为具有围绕左上触觉反馈致动器位于其内的左上区域的三重黑线的圆角矩形。在一些示例中，根据触觉反馈模式，移动手持机210致动左上触觉反馈致动器而不致动触觉反馈致动器230的其它三个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它三个触觉反馈致动器中的至少一者更强地致动左上触觉反馈致动器。局部触觉反馈1020可以提醒用户查看显示器240的左上区域以获得进球1025的得分。
图10C是示出了移动手持机210的透视图1000C，该移动手持机210正在显示与媒体播放器应用相关联的媒体内容并且正在基于对媒体内容中的欢呼1045的检测来提供局部触觉反馈1040，并且包括与媒体内容集成的消息1050。欢呼1045可以由足球场的看台上的观众执行。移动手持机210例如使用ML引擎150的一个或多个经训练的ML模型来检测如在显示器240上显示的欢呼1045。在一些示例中，移动手持机210使用如图11所示的经训练的ML模型1120和/或使用图13的NN 1300来检测欢呼1045。在一些示例中，欢呼1045伴随有声音效果(例如，观众欢呼声音、观众歌唱声音、观众鼓掌声音或其组合)。在一些示例中，移动手持机210基于声音效果来检测环境1015中的欢呼1045，例如通过使用ML引擎150的一个或多个经训练的ML模型来识别视频的音频轨道内的声音效果。在一些示例中，移动手持机210使用如图12所示的经训练的ML模型1220和/或使用图13的NN 1300和/或基于如图7中的音频效果的音频声道来检测欢呼1045。在一些示例中，移动手持机210通过从欢呼1045的软件应用145本身接收指示(例如，来自对应于视频的隐藏字幕轨)来检测欢呼1045。对欢呼1045的检测是由移动手持机210检测到的条件。
消息1050也由媒体内容修改引擎160覆盖在图10C的媒体内容上。可以使用通信收发机190从第二媒体系统195接收消息1050。消息1050可以由移动手持机210基于对欢呼1045的检测来生成。在一些示例中，将消息1050合并到图10C的媒体内容中可以被包括为由移动手持机210检测到的条件的至少一部分。消息1050包括观众的欢呼1045的放大图像，特别示出了观众成员抬起手臂并挥动旗帜。消息1050包括写着“ZOOM-IN！”的文本。
移动手持机210使用触觉反馈模式引擎155来生成对应于该条件的触觉反馈模式。触觉反馈模式指示移动手持机210的右手半部上的触觉反馈致动器230中的两个触觉反馈致动器230(如图10C中所示的右上触觉反馈致动器和右下触觉反馈致动器)由移动手持机210的触觉反馈模式引擎155和/或触觉反馈控制器135致动，因为在显示器240上显示和/或在音频声道中的欢呼1045的位置落在移动手持机210的显示器240的右手侧和/或在右音频声道中。这提供了图10C的移动手持机210的右手半部(右上触觉反馈致动器和右下触觉反馈致动器)的局部触觉反馈1040。在图10C中将移动手持机210的右手半部(右上触觉反馈致动器和右下触觉反馈致动器)的致动(例如，振动)示出为具有围绕移动手持机210的右手半部的三重黑线的圆角矩形，右上触觉反馈致动器和右下触觉反馈致动器位于该右手半部内。在一些示例中，根据触觉反馈模式，移动手持机210致动右上触觉反馈致动器和右下触觉反馈致动器，而不致动触觉反馈致动器230中的其它两个触觉反馈致动器。在一些示例中，根据触觉反馈模式，移动手持机210比触觉反馈致动器230的其它两个触觉反馈致动器中的至少一者更强地致动右上触觉反馈致动器和右下触觉反馈致动器。局部触觉反馈1040可以向用户提醒观众正在欢呼1045，这继而可以提醒用户已经发生了提示观众欢呼的事件(例如，如图10B中，裁定进球1025得分)。
图11是示出使用经训练的机器学习模型1120基于将媒体内容的一个或多个图像1105输入到经训练的机器学习模型1120中来确定对象1130的身份1135的框图1100。经训练的机器学习模型1120可以由ML引擎150基于包括图像(例如，图像1105)以及在图像内检测到的对象(例如，对象1130)的训练数据来训练。基于训练，经训练的ML模型1120可以识别图像内的对象。图11中所示的图像1105包括对视频游戏中的环境320的描绘。由经训练的ML模型1120检测到的对象1130是人类1140，并且更具体地是敌人角色315。在一些示例中，经训练的ML模型1120可以将对象1130的身份1135识别为人类1140。在一些示例中，经训练的ML模型1120可以将对象1130的身份1135识别为敌人角色315。
图12是示出使用经训练的机器学习模型1220基于将媒体内容的一个或多个音频剪辑1205输入到经训练的机器学习模型1220中来确定声音1230的身份1235的框图1200。经训练的机器学习模型1220可以由ML引擎150基于包括音频剪辑(例如，音频剪辑1205)以及音频剪辑内的声音(例如，声音1230)的训练数据来训练。基于训练，经训练的ML模型1220可以识别音频剪辑1205内的声音1230。图12所示的音频剪辑1205包括来自环境320的音频和/或环境1015的较长音频剪辑。由经训练的ML模型1220检测到的声音1230是爆炸，并且更具体地是图4的爆炸415。在一些示例中，经训练的ML模型1220可以将声音1230的身份1235识别为通常性的爆炸。在一些示例中，经训练的ML模型1220可以将声音1230的身份1235识别为图4的特定爆炸415。
经训练的ML模型1120和/或经训练的ML模型1220可以执行例如特征提取算法、特征检测算法、特征识别算法、对象检测算法、对象识别算法、面部检测算法、面部识别算法、人检测算法、人识别算法、声音提取算法、声音检测算法、声音识别算法、光学字符检测算法、光学字符识别(OCR)算法、分类器、光学字形检测器、光学字形扫描仪或其组合。经训练的ML模型1120和/或经训练的ML模型1220可以包括例如一个或多个神经网络(NN)(例如，神经网络1300)、一个或多个卷积神经网络(CNN)、一个或多个经训练的时间延迟神经网络(TDNN)、一个或多个深度网络、一个或多个自动编码器、一个或多个深度信念网络(DBN)、一个或多个递归神经网络(RNN)、一个或多个生成对抗网络(GAN)、一个或多个其它类型的神经网络、一个或多个经训练的支持向量机(SVM)、一个或多个经训练的随机森林(RF)或其组合。
图13是示出可以由机器学习引擎150用来识别要由媒体设备输出的媒体内容内的元素的神经网络(NN)1300的示例的框图。例如，NN 1300可以由检测图像内的对象的经训练的机器学习模型1120和/或由检测到音频剪辑内的声音的经训练的机器学习模型1220使用。神经网络1300可以包括任何类型的深度网络，诸如卷积神经网络(CNN)、自动编码器、深度信念网络(DBN)、递归神经网络(RNN)、生成对抗网络(GAN)和/或其它类型的神经网络。神经网络1300可以是ML引擎150、经训练的机器学习模型1120、经训练的机器学习模型1220或其组合的示例。
神经网络1300的输入层1310包括输入数据。输入层1310的输入数据可以包括表示一个或多个输入图像帧的像素的数据。在说明性示例中，输入层1310的输入数据可以包括表示(例如，图像1105的)图像数据的像素和/或与图像数据相对应的元数据的数据。在一个说明性示例中，输入层1310的输入数据可以包括图像1105。输入层1310的输入数据可以包括表示一个或多个音频剪辑1205和/或相关联的元数据的数据。在另一说明性示例中，输入层1310的输入数据可以包括音频剪辑1205和/或元数据。
图像可以包括来自图像传感器的图像数据，该图像数据包括原始像素数据(包括例如基于拜耳滤波器的每个像素的单色)或经处理的像素值(例如，RGB图像的RGB像素)。神经网络1300包括多个隐藏层1312A、1312B至1312N。隐藏层1312A、1312B至1312N包括“N”个隐藏层，其中“N”是大于或等于一的整数。可以使隐藏层的数量包括给定应用所需的一样多的层。神经网络1300还包括输出层1314，其提供由隐藏层1312A、1312B至1312N执行的处理产生的输出。在一些示例中，输出层1314可以提供输出图像，诸如标识对象1130的输出图像。在一些示例中，输出层1314可以提供对象1130的身份1135。在一些示例中，输出层1314可以提供声音1230的身份1235。
神经网络1300是互连滤波器的多层神经网络。每个滤波器可以被训练为学习代表输入数据的特征。与滤波器相关联的信息在不同的层之间共享，并且每个层在处理信息时保留信息。在一些情况下，神经网络1300可以包括前馈网络，在这种情况下，不存在网络的输出被反馈到其自身的反馈连接。在一些情况下，网络1300可以包括递归神经网络，该递归神经网络可以具有允许在读取输入时跨越节点携带信息的回路。
在一些情况下，可以通过不同层之间的节点到节点互连在层之间交换信息。在一些情况下，该网络可以包括卷积神经网络，其可能不将一层中的每个节点连接到下一层中的每个其它节点。在层之间交换信息的网络中，输入层1310的节点可以激活第一隐藏层1312A中的节点集合。例如，如图所示，输入层1310的每个输入节点可以连接到第一隐藏层1312A的每个节点。隐藏层的节点可以通过将激活函数(例如，滤波器)应用于每个输入节点的信息来变换该信息。从变换推导出的信息然后可以被传递到下一隐藏层1312B的节点并且可以激活下一隐藏层1312B的节点，这些节点可以执行它们自己指定的功能。示例功能包括卷积函数、降尺度、升尺度、数据变换和/或任何其它合适的功能。然后，隐藏层1312B的输出可以激活下一隐藏层的节点，等等。最后隐藏层1312N的输出可以激活输出层1314的一个或多个节点，其提供经处理的输出图像。在一些情况下，尽管神经网络1300中的节点(例如，节点1316)被示为具有多个输出线，但是节点具有单个输出，并且被示为由节点输出的所有线表示相同的输出值。
在一些情况下，每个节点或节点之间的互连可以具有权重，该权重是从神经网络1300的训练中推导出的参数集合。例如，节点之间的互连可以表示学习的关于互连节点的一段信息。该互连可以具有可调整的数字权重，该可调整的数值权重可以被调整(例如，基于训练数据集)，从而允许神经网络1300适应输入并且能够随着越来越多的数据被处理而学习。
神经网络1300被预训练为使用不同的隐藏层1312A、1312B至1312N来处理来自输入层1310中的数据的特征，以便通过输出层1314提供输出。
图14A是示出用于处理媒体数据的过程1400的流程图。过程1400可以由媒体系统执行。在一些示例中，媒体系统可以包括例如媒体系统100、处理器140、触觉反馈控制器135、第二媒体系统195、移动手持机210、经训练的ML模型1120、经训练的ML模型1220、NN1300、执行过程1450的媒体系统、计算系统1500、处理器1510或其组合。
在操作1405处，媒体系统被配置为并且能够从软件应用接收要使用输出设备输出的媒体内容。媒体内容与至少部分地由软件应用生成的环境相关联。输出设备的示例包括输出设备110、输出设备110的视觉媒体输出设备、显示器115、输出设备110的音频媒体输出设备、扬声器120、头戴式耳机输出125、显示器240、图14B的过程1450的输出设备、输出设备1535或其组合。
软件应用的示例包括软件应用145、媒体内容修改引擎160、至少部分地生成在图3A-3H中的显示器240上显示的媒体内容的软件应用、至少部分地生成声音效果410和/或爆炸415的软件应用、至少部分地生成具有玩家化身510和/或实体515和/或环境520的媒体内容的软件应用、至少部分地生成声音效果710和/或音频声道模式705的软件应用、与玩家化身和图8的对应动作(例如，810A-810K)相对应的软件应用、至少部分地生成在图9中的显示器240上显示的媒体内容的软件应用、至少部分地生成在图10A-10C中的显示器240上显示的媒体内容的软件应用、至少部分地生成图像1105和/或媒体内容1110的软件应用、至少部分地生成音频剪辑1205和/或媒体内容1210的软件应用、图14B的操作145的软件应用、使用处理器1510和/或计算系统2500运行的一个或多个软件应用、或其组合。
媒体内容的示例包括至少部分地由软件应用145生成的媒体内容、至少部分地使用传感器185捕获的媒体内容、至少部分地使用媒体内容修改引擎160修改的媒体内容、存储在媒体缓冲器165中的媒体内容、要使用输出设备110输出的媒体内容、使用输出设备110输出的媒体内容、在图3A-3H中的显示器240上显示的媒体内容、声音效果410、爆炸415、玩家化身510、实体515、环境520、声音效果710、音频声道模式705、图8的玩家化身、图8的环境、图8的动作(例如，810A-810K)、图9中的显示器240上显示的媒体内容、图10A-10C中的显示器240上显示的媒体内容、图像1105、媒体内容1110、音频剪辑1205、媒体内容1210、图14B的操作1455的媒体内容或其组合。
环境的示例包括至少部分地由软件应用145生成的环境、至少部分地使用传感器185捕获的环境、至少部分地使用媒体内容修改引擎160修改的环境、图3A-3H和/或图9的环境320、包括爆炸415和/或声音效果410来自的环境、环境520、声音效果710根据音频声道模式705来自的环境、包括图8的玩家化身的图8的环境、环境1015、图像1105中描绘的环境、媒体内容1110中表示的环境、音频剪辑1205来自的环境、媒体内容1210中表示的环境、图14B的操作1455的媒体内容中表示的环境或其组合。
在一些示例中，媒体内容包括描绘环境的至少一部分的视觉内容。视觉内容的示例包括描绘图3A-3H和/或图9的环境320的视觉内容、描绘爆炸415的视觉内容、描绘玩家化身510和/或实体515和/或环境520的视觉内容、描绘图8的玩家化身和/或动作(例如，810A-810K)和/或环境的视觉内容、描绘图10A-10C的环境1015的视觉内容、媒体内容1110的图像1105或其组合。在一些示例中，输出设备包括被配置为显示视觉内容的显示器。在一些示例中，媒体系统包括显示器。显示器的示例包括显示器115、显示器240和/或输出设备1535。
在一些示例中，媒体内容包括音频内容，该音频内容包括与环境相关联的一个或多个声音。音频内容的示例包括声音效果410、声音效果710、音频剪辑1205和/或声音1230。与环境相关联的声音可以包括来自环境的声音，诸如由环境中的一个或多个实体产生的声音(例如，环境中的人的脚步、在环境中击发的射击、环境中的爆炸、在环境中播放的音乐)、在显示环境时播放的声音(例如，背景音乐)、与用户界面相关联的声音(例如，对应于按钮按压)或其组合。在一些示例中，输出设备包括被配置为播放音频内容的音频输出设备。在一些示例中，媒体系统包括音频输出设备。音频输出设备的示例包括一个或多个扬声器120、一个或多个扬声器120可以耦合到的一个或多个扬声器连接器(例如，音频插孔)、一个或多个头戴式耳机输出125(例如，一个或多个头戴式耳机、一个或多个耳机和/或头戴式耳机可以连接到的一个或多个头戴式耳机连接器(例如，耳机插孔))或其组合。
在一些示例中，为了从软件应用接收要使用输出设备输出的媒体内容，媒体系统被配置为并且能够使用软件应用来渲染媒体内容，并且在媒体内容被渲染之后并且在使用输出设备输出媒体内容之前，接收媒体内容。
在一些示例中，为了从软件应用接收要使用输出设备输出的媒体内容，媒体系统被配置为并且能够将媒体内容存储在媒体缓冲器中，并且在媒体内容被存储在媒体缓冲器中之后并且在使用输出设备输出媒体内容之前，从媒体缓冲器接收媒体内容。媒体缓冲器的示例包括媒体缓冲器165。在一些示例中，媒体系统被配置为并且能够在将媒体内容存储在媒体缓冲器中之前使用软件应用生成媒体内容的至少一部分。
在操作1410处，媒体系统被配置为并且能够从用户界面接收指示对环境的效果的输入。用户界面的示例包含输入设备170、触敏层175、按钮180、传感器185、通信收发机190、显示器240的触敏层、移动手持机210的按钮、移动手持机210的相机、移动手持机210的麦克风、移动手持机210的传感器、虚拟按钮330L、虚拟按钮330R、虚拟操纵杆335、触敏层610、触摸屏615、视频播放器界面1010、输入设备1545或其组合。用户界面的传感器185的示例包括一个或多个相机、图像传感器、麦克风、深度传感器、加速度计、陀螺仪、定位接收机(例如，全球导航卫星系统(GNSS)接收机)、惯性测量单元(IMU)或其组合。深度传感器可以包括例如光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、立体相机或其组合。
输入的示例包括使用输入设备170接收的输入、使用触敏层175接收的输入、使用按钮180接收的输入、使用传感器185接收的输入、使用通信收发机190接收的输入、从第二媒体系统195接收的输入、使用虚拟按钮330L接收的输入、使用虚拟按钮330R接收的输入、使用虚拟操纵杆335接收的输入、使用触摸显示器240的手345接收的输入、对触摸屏615的触敏层610的输入、具有压力605的输入、用于执行图8的动作(例如，810A-810K)的输入、对视频播放器界面1010的输入、使用输入设备1545接收的输入或其组合。在传感器185的上下文中，输入的示例包括一个或多个图像、视频、音频剪辑、深度信息(例如，点云)、运动信息、加速度信息(例如，来自加速度计)、定向信息(例如，来自陀螺仪)或其组合。
对环境的效果的示例包括：玩家化身305在环境320内的一个或多个移动、玩家化身305在环境320和/或环境1015内的姿势的一个或多个改变、玩家化身305在环境320和/或环境1015内采取的一个或多个动作、环境320和/或环境1015的视场的一个或多个改变、对环境320和/或环境1015中的另一实体的一个或多个改变、对环境320本身的一个或多个改变、由环境320和/或环境1015中的另一实体采取的一个或多个动作、由环境320和/或环境1015本身采取的一个或多个动作、对环境320和/或环境1015采取的一个或多个动作、对环境320和/或环境1015的小地图325视图的一个或多个改变、向环境320和/或环境1015的一个或多个元素的一个或多个添加(例如，如图3D中的来自武器的一个或多个子弹、一个或多个消息355、图3F的一个或多个宝箱物品360、图3G的一个或多个爆炸365、图3H的一个或多个血液效果370、一个或多个消息905、一个或多个消息910)、对环境320和/或环境1015的一个或多个元素的一个或多个改变(例如，对图3D的弹药计数器312的一个或多个改变、对图3H的健康计量表310的一个或多个改变)、对来自环境320和/或环境1015的一个或多个元素的一个或多个移除、图8的一个或多个动作(例如，一个或多个810A-810K)、飞行810A、跳伞810B、降落伞810C、着陆810D、物品的收集810E、武器的击发810F、遇到敌人810G、潜行810H、车辆的驾驶810J、胜利810K、环境中的声音的播放(例如，一个或多个声音效果410、一个或多个声音效果710、一个或多个音频剪辑1205、一个或多个声音1230)或其组合。在说明性示例中，对环境的效果包括图8的动作(例如，一个或多个810A-810K)之一。
在一些示例中，用户界面包括触摸屏显示器的触敏层。输入包括在沿着触敏层的触摸位置处接收的触摸输入。触敏层的示例包括触敏层175和/或触敏层610。触摸屏显示器的示例包括显示器115、显示器240和/或触摸屏615。
在一些示例中，用户界面包括按钮，诸如按钮180中的一个。输入包括按钮的按钮按压。按钮可以是物理按钮，如在键盘、小键盘、视频游戏控制器、鼠标或其组合中。按钮可以是虚拟按钮，诸如虚拟按钮330L之一和/或虚拟按钮330R之一。
在一些示例中，用户界面包括传感器，诸如传感器185中的一个。输入包括基于由传感器捕获的传感器数据检测运动。用户界面的传感器185的示例包括一个或多个相机、图像传感器、麦克风、深度传感器、加速度计、陀螺仪、定位接收机(例如，全球导航卫星系统(GNSS)接收机)、惯性测量单元(IMU)或其组合。深度传感器可以包括例如光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、立体相机或其组合。
在操作1415处，媒体系统被配置为并且能够基于媒体内容和输入来检测与环境相关联的条件。在一些示例中，基于媒体内容和输入来检测与环境相关联的条件是使用机器学习(ML)引擎150、ML引擎150的一个或多个经训练的ML模型、经训练的ML模型1120、经训练的ML模型1220、神经网络(NN)1300或其组合来执行的。在一些示例中，检测与环境相关联的条件包括检测描绘环境的视觉媒体数据中的对象，如在由经训练的ML模型1120确定图像1105中的对象1130的身份1135时。在一些示例中，检测与环境相关联的条件包括检测来自环境的音频媒体数据中的声音效果，如在由经训练的ML模型1220确定音频剪辑1205中的声音1230的身份1235时。
在一些示例中，与环境相关联的条件可以包括对环境的效果。在一些示例中，与环境相关联的条件可以是对环境的效果的结果。在一些示例中，检测与环境相关联的条件包括检测对环境的效果。在一些示例中，检测与环境相关联的条件包括检测以下各项：玩家化身305在环境320内的一个或多个移动、玩家化身305在环境320和/或环境1015内的姿势的一个或多个改变、玩家化身305在环境320和/或环境1015内采取的一个或多个动作、环境320和/或环境1015的视场的一个或多个改变、对环境320和/或环境1015中的另一实体的一个或多个改变、对环境320本身的一个或多个改变、由环境320和/或环境1015中的另一实体采取的一个或多个动作、由环境320和/或环境1015本身采取的一个或多个动作、对环境320和/或环境1015采取的一个或多个动作、对环境320和/或环境1015的小地图325视图的一个或多个改变、向环境320和/或环境1015的一个或多个元素的一个或多个添加(例如，如图3D中的来自武器的一个或多个子弹、一个或多个消息355、图3F的一个或多个宝箱物品360、图3G的一个或多个爆炸365、图3H的一个或多个血液效果370、一个或多个消息905、一个或多个消息910)、对环境320和/或环境1015的一个或多个元素的一个或多个改变(例如，对图3D的弹药计数器312的一个或多个改变、对图3H的健康计量表310的一个或多个改变)、对来自环境320和/或环境1015的一个或多个元素的一个或多个移除、图8的一个或多个动作(例如，一个或多个810A-810K)、飞行810A、跳伞810B、降落伞810C、着陆810D、物品的收集810E、武器的击发810F、遇到敌人810G、潜行810H、车辆的驾驶810J、胜利810K、环境中的声音的播放(例如，一个或多个声音效果410、一个或多个声音效果710、一个或多个音频剪辑1205、一个或多个声音1230)或其组合。
在一些示例中，软件应用是视频游戏。视频游戏的示例至少在图3A-3H、8和9和11中示出。在一些示例中，对环境的效果包括由环境中的玩家化身执行动作。玩家化身的示例包括图3A-3H和/或图9和/或图11的玩家化身305、图3A-3H和/或图9和/或图11的敌人角色315以及图8的玩家化身。玩家化身的动作的示例包括图3D中武器的击发、图8的动作(例如，810A-810K)或其组合。在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够识别玩家化身对动作的执行。在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够检测玩家化身与环境的第二部分之间的交互。环境的第二部分的示例可以包括另一玩家(例如，敌人角色315、遇到敌人810G)、土地的一部分、结构、植物(例如，环境320的树木)、物品(例如，宝箱物品360、收集物品810E)、爆炸(例如，爆炸365、爆炸415)、运载工具(例如，飞机中的飞行810A、汽车中的驾驶车辆810J)或其组合。
在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够检测到对象被描绘在媒体内容的视觉内容内。例如，媒体系统可以使用经训练的ML模型1120来检测在图像1105内识别的对象1130的身份1135。在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够检测到在媒体内容的音频内容内存在声音。例如，媒体系统可以使用经训练的ML模型1220来检测在音频剪辑1205内识别的声音1230的身份1235。
在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够识别输入与预定输入类别相匹配。在一些示例中，预定输入类别可以包括确定从输入设备170中的特定输入设备接收输入，诸如触摸感觉层175、按钮180和/或特定类型的传感器185。在一些示例中，预定输入类别可以包括按压按钮180中的特定按钮、触摸触敏层175的特定部分、检测由传感器185捕获的传感器数据中的特定内容或其组合。在一些示例中，预定输入类别可以包括在虚拟按钮330L中的特定虚拟按钮处接收到触摸输入、在虚拟按钮330R中的特定虚拟按钮处接收到触摸输入、在虚拟操纵杆335处接收到触摸输入或其组合。
在一些示例中，媒体内容包括指示与环境相关联的条件的方面。为了检测与环境相关联的条件，媒体系统被配置为并且能够检测指示与环境相关联的条件的媒体内容的方面。在一些示例中，该方面可以包括描绘要使用经训练的ML模型1120检测的媒体内容1110的视觉内容(例如，图像1105)中的对象1130。在一些示例中，该方面可以包括将声音1230包括在要使用经训练的ML模型1220检测的媒体内容1210的音频内容(例如，音频剪辑1205)中。在一些示例中，媒体内容包括指示对环境的效果的方面。例如，该方面可以包括媒体内容描绘由环境(例如，环境320、环境520、图8的环境、环境1015)中的玩家化身(例如，玩家化身305、玩家化身510和/或图8的玩家化身)执行的动作。
在操作1420处，媒体系统被配置为并且能够根据与条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器。一个或多个触觉反馈致动器的示例包括触觉反馈致动器130和/或触觉反馈致动器230。在一些示例中，媒体系统使用触觉反馈模式引擎155和/或触觉反馈控制器135根据触觉反馈模式来致动一个或多个触觉反馈致动器。
在一些示例中，媒体系统在根据触觉反馈模式致动一个或多个触觉反馈致动器之前生成对应于该条件的触觉反馈模式。在一些示例中，媒体系统使用触觉反馈模式引擎155来生成与条件相对应的触觉反馈模式。触觉反馈模式的示例包括局部触觉反馈340C、局部触觉反馈340D、局部触觉反馈340E、局部触觉反馈340F、局部触觉反馈340G、局部触觉反馈340H、触觉波形430、触觉反馈模式435、触觉波形530、触觉反馈模式535、触觉波形630、触觉反馈模式635、局部触觉反馈725、触觉反馈模式730、触觉反馈模式805A、触觉反馈模式805B、触觉反馈模式805C、触觉反馈模式805D、触觉反馈模式805E、触觉反馈模式805F、触觉反馈模式805G、触觉反馈模式805H、触觉反馈模式805J、触觉反馈模式805K、局部触觉反馈1020、局部触觉反馈1040、图14B的操作1465的触觉反馈模式或其组合。
生成对应于条件的触觉反馈模式(或触觉反馈模式的方面)的示例在图1、图3C-3H、图4、图5、图6、图7、图8、图10B-10C、图13、图14B或其组合中示出。
在一些示例中，触觉反馈模式指示一个或多个触觉反馈致动器将被致动以提供局部触觉反馈效果。局部触觉反馈效果的示例包括局部触觉反馈340C-340H、局部触觉反馈725、局部触觉反馈1020、局部触觉反馈1040或其组合。
在一些示例中，触觉反馈模式指示一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些示例中，为了根据触觉反馈模式致动一个或多个触觉反馈致动器，媒体系统被配置为致动第一触觉反馈致动器而不致动第二触觉反馈致动器。例如，对于图3C-3H、图7和图10B-10C所示的局部触觉反馈，第一触觉反馈致动器可以是由三重黑线圆角矩形突出显示的区域中的触觉反馈致动器中的一者，而第二触觉反馈致动器可以是由三重黑线圆角矩形突出显示的区域之外的触觉反馈致动器中的一者。在一些示例中，输出设备包括显示器，该显示器显示媒体内容的第一视觉内容和媒体内容的第二视觉内容。在一些示例中，第一触觉反馈致动器与显示器的显示第一视觉内容的第一区域相邻，并且第二触觉反馈致动器与显示器的显示第二视觉内容的第二区域相邻。这至少在图3C-3H和图10B-10C中示出。在一些示例中，该条件与环境中的实体相关联，该实体比第二视觉内容中描绘的环境的第二部分更靠近在第一视觉内容中描绘的环境的第一部分。例如，环境中的实体可以在环境的第一部分中，并且可以从环境的第二部分中缺失。实体的示例包括图3C的敌人角色315、图3D中的虚拟按钮330R的击发按钮、图3E中的消息355、图3F中的宝箱物品360、图3G中的爆炸365、图3H的血液效果370、图10B的进球1025、图10C的欢呼1045和/或观众和/或消息1050、或其组合。
在一些示例中，触觉反馈模式指示由一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。触觉反馈强度可以被称为幅度。触觉反馈强度可以表示为触觉波形的幅度。触觉反馈强度的示例包括沿着触觉波形430的垂直幅度轴445的值、沿着触觉波形530的垂直幅度轴545的值和/或沿着触觉波形630的垂直幅度轴645的值。
在一些示例中，触觉反馈模式的触觉反馈强度对应于环境中的实体与环境中的玩家化身的位置的接近度。接近度可以表示为距离，其中较低的距离对应于较高的接近度，以及较高的距离对应于较低的接近度。例如，接近度可以表示为图5的距离505。对应于接近度的触觉反馈强度的示例在图5中示出。在一些示例中，触觉反馈模式的触觉反馈强度对应于与环境相关联的条件的强度。例如，触觉反馈模式的触觉反馈强度可以对应于图8的任何动作(例如，动作810A-810K)的强度、图3D的击发的强度、爆炸365的强度、对应于血液效果370的损伤的强度、声音效果410的强度、爆炸415的强度、或其组合。在一些示例中，触觉反馈模式的触觉反馈强度对应于声音的音量，其中媒体内容包括声音。对应于声音的音量的触觉反馈强度的示例在图4中示出。声音的音量可以被称为声音效果的幅度，诸如沿着音频波形405的垂直幅度轴425的值。
在一些示例中，触觉反馈模式指示一个或多个触觉反馈致动器的触觉反馈模式的触觉反馈波形。触觉反馈波形的示例包括触觉反馈波形430、触觉反馈波形530和/或触觉反馈波形630。在一些示例中，触觉反馈模式指示触觉反馈波形的频率。在一些示例中，触觉反馈模式指示触觉反馈波形的幅度。触觉反馈波形的幅度可以被称为触觉反馈强度。触觉反馈波形的幅度可以指沿着幅度轴的触觉反馈波形的值，诸如沿着垂直幅度轴445的触觉反馈波形430的值、沿着垂直幅度轴545的触觉反馈波形530的值和/或沿着垂直幅度轴645的触觉反馈波形630的值。在一些示例中，媒体系统被配置为并且能够基于声音的音频波形来生成触觉反馈模式的触觉反馈波形，其中媒体内容包括声音。关于基于图4中的音频波形405生成触觉反馈波形430示出了基于音频波形生成触觉反馈波形的示例。
在一些示例中，媒体系统被配置为并且能够使用输出设备输出媒体内容。在一些示例中，媒体系统被配置为并且能够在媒体内容被配置为使用输出设备输出之前修改媒体内容。可以使用媒体系统的媒体内容修改引擎160来执行媒体内容的修改。在一些示例中，媒体系统被配置为并且能够通过网络从第二设备接收消息。例如，媒体系统可以通过网络经由第二通信收发机190从第二媒体系统195接收消息。为了修改媒体内容，媒体系统被配置为并且能够将消息合并到媒体内容中。媒体系统可以将消息覆盖在媒体内容的视觉内容的一部分上，如在消息355、消息905、消息910、消息1030和/或消息1050中。通过在媒体内容的音频内容的一部分上播放音频，媒体系统可以合并消息的音频表示和/或消息的音频部分。在一些示例中，消息包括一个或多个字母数字字符(例如，消息355、消息905、消息1030、消息1050)。在一些示例中，消息包括一个或多个图像(例如，消息905、消息910、消息1030、消息1050)。在一些示例中，消息包括一个或多个声音。
在一些示例中，条件与消息相关联。在一些示例中，触觉反馈模式与消息相关联。关于与消息355的位置相对应的局部触觉反馈340E和与消息1050的位置相对应的局部触觉反馈1040示出了示例。
在一些方面，媒体系统可以包括：用于从软件应用接收要使用输出设备输出的媒体内容的单元，其中，媒体内容与至少部分地由软件应用生成的环境相关联；用于从用户界面接收指示对环境的效果的输入的单元；用于基于媒体内容和输入来检测与环境相关联的条件的单元；以及用于根据与条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器的单元。
在一些示例中，用于接收媒体内容的单元包括软件应用145、传感器185、通信收发机190、媒体内容修改引擎160、媒体缓冲器165、处理器140或其组合。在一些实例中，用于接收输入的单元包括输入设备170、触敏层175、按钮180、传感器185、通信收发机190或其组合。在一些示例中，用于检测条件的单元包括ML引擎150、ML引擎150的一个或多个经训练的ML模型、经训练的ML模型1120、经训练的ML模型1220、神经网络(NN)1300、处理器140或其组合。在一些示例中，用于致动一个或多个触觉反馈致动器的单元包括触觉反馈模式引擎155、处理器140、触觉反馈控制器135、触觉反馈致动器130、触觉反馈致动器230或其组合。
图14B是示出用于处理媒体数据的过程1450的流程图。过程1400可以由媒体系统执行。在一些示例中，媒体系统可以包括例如媒体系统100、处理器140、触觉反馈控制器135、第二媒体系统195、移动手持机210、经训练的ML模型1120、经训练的ML模型1220、NN1300、执行过程1400的媒体系统、计算系统1500、处理器1510或其组合。
在操作1455处，媒体系统被配置为并且能够接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容。输出设备被配置为跨一时间段在不同时间处输出媒体内容的不同部分。例如，媒体内容可以被配置为跨该时间段改变。输出设备的示例包括输出设备110、输出设备110的视觉媒体输出设备、显示器115、输出设备110的音频媒体输出设备、扬声器120、头戴式耳机输出125、显示器240、图14A的过程1400的输出设备、输出设备1535或其组合。
软件应用的示例包括软件应用145、媒体内容修改引擎160、至少部分地生成在图3A-3H中的显示器240上显示的媒体内容的软件应用、至少部分地生成声音效果410和/或爆炸415的软件应用、至少部分地生成具有玩家化身510和/或实体515和/或环境520的媒体内容的软件应用、至少部分地生成声音效果710和/或音频声道模式705的软件应用、与图8的玩家化身和对应动作(例如，810A-810K)相对应的软件应用、至少部分地生成在图9中的显示器240上显示的媒体内容的软件应用、至少部分地生成在图10A-10C中的显示器240上显示的媒体内容的软件应用、至少部分地生成图像1105和/或媒体内容1110的软件应用、至少部分地生成音频剪辑1205和/或媒体内容1210的软件应用、图14A的操作1495的软件应用、使用处理器1510和/或计算系统2500运行的一个或多个软件应用、或其组合。
媒体内容可以包括视频(例如，跨该时间段在不同时间处输出视频的不同帧)、音频剪辑(例如，跨该时间段在不同时间处输出音频剪辑的不同部分)、幻灯片播放或幻灯片集(例如，跨该时间段在不同时间处输出幻灯片播放或幻灯片集的不同幻灯片)、视频游戏(例如，跨该时间段在不同时间处输出不同的玩游戏时刻)、本文描述的任何其它类型的媒体、或其组合。媒体内容的示例包括至少部分地由软件应用145生成的媒体内容、至少部分地使用传感器185捕获的媒体内容、至少部分地使用媒体内容修改引擎160修改的媒体内容、存储在媒体缓冲器165中的媒体内容、要使用输出设备110输出的媒体内容、使用输出设备110输出的媒体内容、在图3A-3H中的显示器240上显示的媒体内容、声音效果410、爆炸415、玩家化身510、实体515、环境520、声音效果710、音频声道模式705、图8的玩家化身、图8的环境、图8的动作(例如，810A-810K)、图9中的显示器240上显示的媒体内容、图10A-10C中的显示器240上显示的媒体内容、图像1105、媒体内容1110、音频剪辑1205、媒体内容1210、图14A的操作1405的媒体内容或其组合。
媒体输出设置的示例可以包括用于暂停、播放、停止、再卷绕、快进、慢动作回放、跳过、增加音量、减小音量或其组合的设置和/或控件。媒体输出设置可以与根据媒体输出设置输出媒体内容的软件应用(诸如媒体播放器、视频播放器、音频播放器、图像查看器、演示呈现器或其组合)相关联。在一些示例中，可以使用媒体播放器界面(诸如图10A-10C的视频播放器界面1010)来控制媒体输出设置。
在一些示例中，媒体内容包括被配置为跨时间段改变的视觉内容。视觉内容的示例包括描绘图3A-3H和/或图9的环境320的视觉内容、描绘爆炸415的视觉内容、描绘玩家化身510和/或实体515和/或环境520的视觉内容、描绘图8的玩家化身和/或动作(例如，810A-810K)和/或环境的视觉内容、描绘图10A-10C的环境1015的视觉内容、媒体内容1110的图像1105或其组合。在一些示例中，输出设备包括被配置为显示视觉内容的显示器。在一些示例中，媒体系统包括显示器。显示器的示例包括显示器115、显示器240和/或输出设备1535。
在一些示例中，视觉内容包括被配置为跨时间段改变的视频。在一些示例中，媒体输出软件应用包括视频播放器。在一些示例中，媒体输出设置包括与视频播放器相关联的视频设置，并且视频播放器根据视频设置来播放视频。在图10A-10C中示出了视频播放器的示例。图10A-10C的视频播放器播放环境1015的视频，并且包括用于控制视频设置的视频播放器界面1010。
在一些示例中，视觉内容包括被配置为跨时间段改变的演示。例如，演示可以包括幻灯片播放、幻灯片集、一组图像和/或一组文件。在一些示例中，媒体输出软件应用包括演示呈现器。在一些示例中，媒体输出设置包括与演示呈现器相关联的演示设置，并且演示呈现器根据演示设置来呈现演示。
在一些示例中，媒体内容包括被配置为跨时间段改变的音频内容。音频内容的示例包括声音效果410、声音效果710、音频剪辑1205和/或声音1230。在一些示例中，输出设备包括被配置为播放音频内容的音频输出设备。在一些示例中，媒体系统包括音频输出设备。音频输出设备的示例包括一个或多个扬声器120、一个或多个扬声器120可以耦合到的一个或多个扬声器连接器(例如，音频插孔)、一个或多个头戴式耳机输出125(例如，一个或多个头戴式耳机、一个或多个耳机和/或头戴式耳机可以连接到的一个或多个头戴式耳机连接器(例如，头戴式耳机插孔))或其组合。在一些示例中，音频内容包括视频的音频轨道，并且音频轨道被配置为在跨时间段改变。在一些示例中，音频内容可以包括来自环境的声音，诸如由环境中的一个或多个实体产生的声音(例如，环境中的人的脚步、在环境中击发的射击、环境中的爆炸、在环境中播放的音乐)、在显示环境时播放的声音(例如，背景音乐)、与用户界面相关联的声音(例如，对应于按钮按压)或其组合。
在一些示例中，媒体内容描绘或以其它方式包括环境的表示。环境的示例包括至少部分地由软件应用145生成的环境、至少部分地使用传感器185捕获的环境、至少部分地使用媒体内容修改引擎160修改的环境、图3A-3H和/或图9的环境320、包括爆炸415和/或声音效果410来自的环境、环境520、声音效果710根据音频信道模式705来自的环境、包括图8的玩家化身的图8的环境、环境1015、在图像1105中描绘的环境、在媒体内容1110中表示的环境、音频剪辑1205来自的环境、在媒体内容1210中表示的环境、在图14A的操作1405的媒体内容中表示的环境或其组合。
在操作1460处，媒体系统被配置为并且能够在沿该时间段的时间处检测与媒体内容相关联的条件。时间的示例包括图3A-3H、图9和/或图10A-10C中的任何一个图的媒体内容中所示的相应时刻。第一时间的说明性示例由图10A-10C中的视频播放器界面1010的进度条的位置表示，其中视频播放器界面1010的进度条的整个宽度表示时间段。
在一些示例中，媒体系统至少在第一时间处检测媒体内容的视觉内容内表示的场景条件以检测操作1460中的条件。在一些示例中，场景条件包括媒体内容中的感兴趣区域(RoI)(例如，图像的区域和/或图像中描绘的对象或元素)。在一些示例中，场景条件和/或RoI包括对象(或其至少一部分)。在一些示例中，场景条件包括图像属性的变化，诸如照度、饱和度、亮度、对比度、视角、视场、颜色平衡或其组合。
在一些示例中，在第一时间处检测与媒体内容相关联的条件是使用机器学习(ML)引擎150、ML引擎150的一个或多个经训练的ML模型、经训练的ML模型1120、经训练的ML模型1220、神经网络(NN)1300或其组合来执行的。在一些示例中，在第一时间处检测与媒体内容相关联的条件包括至少在视觉媒体内容内的第一时间处检测媒体内容的视觉媒体内容中的对象，如在通过经训练的ML模型1120确定图像1105中的对象1130的身份1135时。在一些示例中，在第一时间处检测与媒体内容相关联的条件包括至少在音频媒体数据内的第一时间处检测来自环境的音频媒体数据中的声音效果，如在通过经训练的ML模型1220确定音频剪辑1205中的声音1230的身份1235时。
在说明性示例中，在第一时间处检测与媒体内容相关联的条件包括在图10B的视频中的时间戳处检测进球1025，该时间戳表示第一时间。在另一说明性示例中，在第一时间处检测与媒体内容相关联的条件包括在图10B的视频中的时间戳处检测欢呼1045，该时间戳表示第一时间。
在一些示例中，在第一时间处检测与媒体内容相关联的条件包括检测以下各项：玩家化身305在环境320内的一个或多个移动、玩家化身305在环境320和/或环境1015内的姿势的一个或多个改变、玩家化身305在环境320和/或环境1015内采取的一个或多个动作、环境320和/或环境1015的视场的一个或多个改变、对环境320和/或环境1015中的另一实体的一个或多个改变、对环境320本身的一个或多个改变、由环境320和/或环境1015中的另一实体采取的一个或多个动作、由环境320和/或环境1015本身采取的一个或多个动作、对环境320和/或环境1015采取的一个或多个动作、对环境320和/或环境1015的小地图325视图的一个或多个改变、向环境320和/或环境1015的一个或多个元素的一个或多个添加(例如，如图3D中的来自武器的一个或多个子弹、一个或多个消息355、图3F的一个或多个宝箱物品360、图3G的一个或多个爆炸365、图3H的一个或多个血液效果370、一个或多个消息905、一个或多个消息910)、对环境320和/或环境1015的一个或多个元素的一个或多个改变(例如，对图3D的弹药计数器312的一个或多个改变、对图3H的健康计量表310的一个或多个改变)、对来自环境320和/或环境1015的一个或多个元素的一个或多个移除、图8的一个或多个动作(例如，一个或多个810A-810K)、飞行810A、跳伞810B、降落伞810C、着陆810D、物品的收集810E、武器的击发810F、遇到敌人810G、潜行810H、车辆的驾驶810J、胜利810K、环境中的声音的播放(例如，一个或多个声音效果410、一个或多个声音效果710、一个或多个音频剪辑1205、一个或多个声音1230)或其组合。
在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够至少在第一时间处检测到对象被描绘在媒体内容的视觉内容内。例如，媒体系统可以使用经训练的ML模型1120来检测在图像1105内识别的对象1130的身份1135。在一些示例中，为了检测与环境相关联的条件，媒体系统被配置为并且能够至少在第一时间处检测到在媒体内容的音频内容内存在声音。例如，媒体系统可以使用经训练的ML模型1220来检测在音频剪辑1205内识别的声音1230的身份1235。
在一些示例中，媒体内容包括指示与环境相关联的条件的方面。为了检测与环境相关联的条件，媒体系统被配置为并且能够检测指示与环境相关联的条件的媒体内容的方面。在一些示例中，该方面可以包括描绘要使用经训练的ML模型1120检测的媒体内容1110(例如，至少在第一时间处)的视觉内容(例如，图像1105)的对象1130。在一些示例中，该方面可以包括将声音1230包括在要使用经训练的ML模型1220检测的媒体内容1210(例如，至少在第一时间处)的音频内容(例如，音频剪辑1205)中。
在一些示例中，媒体系统被配置为并且能够从用户界面接收输入。用户界面的示例包含输入设备170、触敏层175、按钮180、传感器185、通信收发机190、显示器240的触敏层、移动手持机210的按钮、移动手持机210的相机、移动手持机210的麦克风、移动手持机210的传感器、虚拟按钮330L、虚拟按钮330R、虚拟操纵杆335、触敏层610、触摸屏615、视频播放器界面1010、输入设备1545或其组合。用户界面的传感器185的示例包括一个或多个相机、图像传感器、麦克风、深度传感器、加速度计、陀螺仪、定位接收机(例如，全球导航卫星系统(GNSS)接收机)、惯性测量单元(IMU)或其组合。深度传感器可以包括例如光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、立体相机或其组合。
输入的示例包括使用输入设备170接收的输入、使用触敏层175接收的输入、使用按钮180接收的输入、使用传感器185接收的输入、使用通信收发机190接收的输入、从第二媒体系统195接收的输入、使用虚拟按钮330L接收的输入、使用虚拟按钮330R接收的输入、使用虚拟操纵杆335接收的输入、使用触摸显示器240的手345接收的输入、对触摸屏615的触敏层610的输入、具有压力605的输入、用于执行图8的动作(例如，810A-810K)的输入、对视频播放器界面1010的输入、使用输入设备1545接收的输入或其组合。在传感器185的上下文中，输入的示例包括一个或多个图像、视频、音频剪辑、深度信息(例如，点云)、运动信息、加速度信息(例如，来自加速度计)、定向信息(例如，来自陀螺仪)或其组合。
在一些示例中，为了检测与媒体内容相关联的条件，媒体系统被配置为并且能够识别输入。例如，为了在第一时间处检测与媒体内容相关联的条件，媒体系统可以检测到输入与视频播放器界面1010交互，例如以改变媒体输出设置。在一些示例中，输入指示对媒体输出设置的效果。在一些示例中，为了检测与媒体内容相关联的条件，媒体系统被配置为并且能够识别对媒体输出设置的效果。例如，对媒体输出设置的效果可以包括暂停、播放、停止、再卷绕、快进、慢动作回放、跳过、增加音量、减小音量或其组合。在一些示例中，输入指示对媒体输出设置的效果，并且媒体内容包括指示对媒体输出设置的效果的方面。例如，如果效果是快进效果，则该方面可以包括媒体内容的快进回放。如果效果是倒回效果，则该方面可以包括媒体内容的反转或倒回回放。如果效果是慢动作效果，则该方面可以包括媒体内容的慢动作回放。如果效果是暂停或停止效果，则该方面可以包括暂停或停止媒体内容的回放。
在一些示例中，输入指示第一时间。例如，输入可以包括指示跳过功能的输入或对将媒体内容的回放移动到第一时间的进度条界面(例如，视频播放器界面1010的进度条)的输入。在一些示例中，可以在第一时间处接收输入，并且输入可以使条件发生和/或被检测。在一些示例中，输入指示条件。在一些示例中，输入指示触觉反馈模式。例如，使用手345对虚拟按钮330R的击发按钮的输入可以在第一时间处发生，因此指示第一时间，可以引起条件(例如，击发武器和/或按压击发按钮)，和/或可以指示触觉反馈模式(例如，输入的位置可以对应于局部触觉反馈340D)。
在一些示例中，媒体内容包括被配置为跨时间段改变的视觉内容(例如，视频、幻灯片播放、幻灯片集、视频游戏或本文讨论的另一形式的视觉内容)。输出设备可以包括被配置为显示视觉内容的显示器。在一些示例中，视觉内容包括被配置为跨时间段改变的视频，媒体输出软件应用包括视频播放器，媒体输出设置包括与视频播放器相关联的视频设置，并且视频播放器根据视频设置来播放视频。在一些示例中，视觉内容包括至少部分地由媒体输出软件应用生成的环境的表示。在一些示例中，媒体输出软件应用是视频游戏，并且该条件与视频游戏的游戏玩法相关联。例如，环境可以是针对视频游戏、针对XR应用、针对虚拟实境应用、针对交互式应用或其组合而生成的环境的一部分。
在一些示例中，媒体内容包括被配置为跨时间段改变的音频内容。输出设备可以包括被配置为播放音频内容的音频输出设备(例如，扬声器、头戴式耳机、耳机和/或用于连接这些中的任何一者的连接器)。在一些示例中，音频内容包括视频的音频轨道，并且音频轨道被配置为跨时间段改变。在一些示例中，包括与至少部分地由媒体输出软件应用(例如，视频游戏、XR应用、虚拟实境应用、交互式应用或其组合)生成的环境相关联的至少一个声音的音频内容。
在一些示例中，媒体系统被配置为并且能够至少在第一时间处检测到声音被包括在媒体内容的音频内容内以检测条件。在一些示例中，媒体系统被配置为并且能够在第一时间处检测来自用户界面的输入的接收以检测条件。在一些示例中，媒体系统被配置为并且能够在第一时间处使用运动传感器检测运动以检测条件。在一些示例中，媒体系统被配置为并且能够检测媒体输出设置的变化以检测条件。在一些示例中，媒体系统被配置为并且能够检测媒体内容的指示与媒体内容相关联的条件的方面，以检测与媒体内容相关联的条件。
在操作1465处，媒体系统被配置为并且能够根据与条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。至少一个触觉反馈致动器的示例包括触觉反馈致动器130和/或触觉反馈致动器230。在一些示例中，媒体系统使用触觉反馈模式引擎155和/或触觉反馈控制器135根据触觉反馈模式来致动至少一个触觉反馈致动器。
在一些示例中，媒体系统在根据触觉反馈模式致动至少一个触觉反馈致动器之前生成对应于该条件的触觉反馈模式。在一些示例中，媒体系统使用触觉反馈模式引擎155来生成与条件相对应的触觉反馈模式。触觉反馈模式的示例包括局部触觉反馈340C、局部触觉反馈340D、局部触觉反馈340E、局部触觉反馈340F、局部触觉反馈340G、局部触觉反馈340H、触觉波形430、触觉反馈模式435、触觉波形530、触觉反馈模式535、触觉波形630、触觉反馈模式635、局部触觉反馈725、触觉反馈模式730、触觉反馈模式805A、触觉反馈模式805B、触觉反馈模式805C、触觉反馈模式805D、触觉反馈模式805E、触觉反馈模式805F、触觉反馈模式805G、触觉反馈模式805H、触觉反馈模式805J、触觉反馈模式805K、局部触觉反馈1020、局部触觉反馈1040、图14A的操作1415的触觉反馈模式或其组合。
生成对应于条件的触觉反馈模式(或触觉反馈模式的方面)的示例在图1、图3C-3H、图4、图5、图6、图7、图8、图10B-10C、图13、图14A或其组合中示出。
在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动以提供局部触觉反馈效果。局部触觉反馈效果的示例包括局部触觉反馈340C-340H、局部触觉反馈725、局部触觉反馈1020、局部触觉反馈1040或其组合。
在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动该方法的第二触觉反馈致动器。例如，在一些示例中，触觉反馈模式指示一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些示例中，为了根据触觉反馈模式致动一个或多个触觉反馈致动器，媒体系统被配置为致动第一触觉反馈致动器而不致动第二触觉反馈致动器。在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动以在方法的第一区域处提供局部触觉反馈效果，而不在方法的第二区域处提供对应的反馈效果。例如，对于图3C-3H、图7和图10B-10C所示的局部触觉反馈，第一触觉反馈致动器可以是由三重黑线圆角矩形突出显示的区域中的触觉反馈致动器中的一者，而第二触觉反馈致动器可以是由三重黑线圆角矩形突出显示的区域之外的触觉反馈致动器中的一者。在一些示例中，输出设备包括显示器，该显示器显示媒体内容的第一视觉内容和媒体内容的第二视觉内容。在一些示例中，第一触觉反馈致动器与显示器的显示第一视觉内容的第一区域相邻，并且第二触觉反馈致动器与显示器的显示第二视觉内容的第二区域相邻。这至少在图3C-3H和图10B-10C中示出。在一些示例中，该条件与环境中的实体相关联，该实体比第二视觉内容中描绘的环境的第二部分更靠近在第一视觉内容中描绘的环境的第一部分。例如，环境中的实体可以在环境的第一部分中，并且可以从环境的第二部分中缺失。例如，在一些示例中，媒体系统被配置为并且能够检测对象至少在第一区域处被表示在媒体内容的视觉内容内，其中第一区域处的局部触觉反馈效果是基于对象(和/或其检测)的。实体的示例包括图3C的敌人角色315、图3D中的虚拟按钮330R的击发按钮、图3E中的消息355、图3F中的宝箱物品360、图3G中的爆炸365、图3H的血液效果370、图10B的进球1025、图10C的欢呼1045和/或观众和/或消息1050、或其组合。
在一些示例中，触觉反馈模式指示由至少一个触觉反馈致动器进行的触觉反馈的触觉反馈强度。触觉反馈强度可以被称为幅度。触觉反馈强度可以表示为触觉波形的幅度。触觉反馈强度的示例包括沿着触觉波形430的垂直幅度轴445的值、沿着触觉波形530的垂直幅度轴545的值和/或沿着触觉波形630的垂直幅度轴645的值。
在一些示例中，触觉反馈模式的触觉反馈强度对应于媒体内容中描绘的第一实体与媒体内容中描绘的第二实体的接近度。接近度可以表示为距离，其中较低的距离对应于较高的接近度，以及较高的距离对应于较低的接近度。例如，接近度可以表示为图5的距离505。对应于接近度的触觉反馈强度的示例在图5中示出。在一些示例中，图10B的局部触觉反馈1020可以对应于足球(例如，第一实体)与球门(例如，第二实体)的接近度，增加直到足球进入球门使进球1025得分。在一些示例中，触觉反馈模式的触觉反馈强度对应于与媒体内容相关联的条件的强度。例如，触觉反馈模式的触觉反馈强度可以对应于进球1025的强度、欢呼1045的强度、图8的任何动作(例如，动作810A-810K)的强度、图3D的击发的强度、爆炸365的强度、对应于血液效果370的损伤的强度、声音效果410的强度、爆炸415的强度、或其组合。在一些示例中，触觉反馈模式的触觉反馈强度对应于声音的音量，其中媒体内容包括声音。对应于声音的音量的触觉反馈强度的示例在图4中示出。声音的音量可以被称为声音效果的幅度，诸如沿着音频波形405的垂直幅度轴425的值。例如，在一些示例中，较响亮的声音可以对应于较高的触觉反馈强度，而较安静的声音可以对应于较低的触觉反馈强度，反之亦然。
在一些示例中，触觉反馈模式指示一个或多个触觉反馈致动器的触觉反馈模式的触觉反馈波形。触觉反馈波形的示例包括触觉反馈波形430、触觉反馈波形530和/或触觉反馈波形630。在一些示例中，触觉反馈模式指示触觉反馈波形的频率。在一些示例中，触觉反馈模式指示触觉反馈波形的波长。在一些示例中，触觉反馈模式指示触觉反馈波形的幅度。触觉反馈波形的幅度可以被称为触觉反馈强度。在一些示例中，触觉反馈模式指示波形、频率、波长、幅度或其组合。触觉反馈波形的幅度可以指沿着幅度轴的触觉反馈波形的值，诸如沿着垂直幅度轴445的触觉反馈波形430的值、沿着垂直幅度轴545的触觉反馈波形530的值和/或沿着垂直幅度轴645的触觉反馈波形630的值。在一些示例中，媒体系统被配置为并且能够基于声音的音频波形来生成触觉反馈模式的触觉反馈波形，其中媒体内容包括声音。关于基于图4中的音频波形405生成触觉反馈波形430示出了基于音频波形生成触觉反馈波形的示例。例如，触觉反馈波形的至少一部分的频率、波长和/或幅度可以是基于音频波形的至少一部分的频率、波长和/或幅度的。
在一些示例中，媒体系统被配置为并且能够使用输出设备输出媒体内容。在一些示例中，媒体系统被配置为并且能够在媒体内容被配置为使用输出设备输出之前修改媒体内容。可以使用媒体系统的媒体内容修改引擎160来执行媒体内容的修改。在一些示例中，媒体系统被配置为并且能够(例如，通过网络从第二设备)接收消息。例如，媒体系统可以通过网络经由第二通信收发机190从第二媒体系统195接收消息。为了修改媒体内容，媒体系统被配置为并且能够在媒体内容被配置为使用输出设备输出之前将消息合并到媒体内容中。媒体系统可以将消息覆盖在媒体内容的视觉内容的一部分上，如在消息355、消息905、消息910、消息1030和/或消息1050中。通过在媒体内容的音频内容的一部分上播放音频，媒体系统可以合并消息的音频表示和/或消息的音频部分。在一些示例中，消息包括一个或多个字母数字字符(例如，消息355、消息905、消息1030、消息1050)。在一些示例中，消息包括一个或多个图像(例如，消息905、消息910、消息1030、消息1050)。在一些示例中，消息包括一个或多个声音。
在一些示例中，条件与消息相关联。在一些示例中，触觉反馈模式与消息相关联。关于与消息355的位置相对应的局部触觉反馈340E和与消息1050的位置相对应的局部触觉反馈1040示出了示例。
在一些示例中，触觉反馈模式可以是基于来自媒体系统和/或一个或多个其它设备的一个或多个输入的。例如，一个或多个输入可以包括包含媒体内容的社交媒体帖子上的交互，诸如用户“喜欢”或分享社交媒体帖子。触觉反馈模式可以包括触觉反馈，该触觉反馈被定时到在媒体内容的回放期间(例如，第一时间)时刻，在该时刻期间，在媒体内容的先前回放期间接收这样的输入(例如，喜欢、分享)，其中触觉反馈的强度对应于这些时间处的此类输入的数量。触觉反馈模式可以包括触觉反馈，该触觉反馈被定时到实时地或以延迟接收此类输入(例如，喜欢、分享)的时刻。
在一些示例中，可以使用应用编程接口(API)和/或软件开发工具包(SDK)来设置和/或编辑触觉反馈模式。
在一些方面中，媒体系统可以包括：用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，输出设备被配置为跨一时间段在不同时间处输出媒体内容的不同部分；用于该沿时间段在第一时间处检测与媒体内容相关联的条件的单元；以及用于根据与条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器的单元。
在一些示例中，用于接收媒体内容的单元包括软件应用145、传感器185、通信收发机190、媒体内容修改引擎160、媒体缓冲器165、处理器140或其组合。在一些示例中，用于检测条件的单元包括ML引擎150、ML引擎150的一个或多个经训练的ML模型、经训练的ML模型1120、经训练的ML模型1220、神经网络(NN)1300、处理器140或其组合。在一些示例中，用于致动一个或多个触觉反馈致动器的单元包括一个或多个触觉反馈致动器，所述触觉反馈致动器包括触觉反馈模式引擎155、处理器140、触觉反馈控制器135、触觉反馈致动器130、触觉反馈致动器230或其组合。
在一些示例中，本文描述的过程(例如，图1的过程、图3C-3H的过程、图4的过程、图5的过程、图6的过程、图7的过程、图8的过程、图9的过程、图10B-10C的过程、图11的过程、图12的过程、图13的过程、图14A的过程1400、图14B的过程1450和/或本文描述的其它过程)可以由计算设备或装置执行。在一些示例中，在本文中描述并且在上文列出的过程可以由媒体系统100、移动手持机210中的一者或其组合执行。在另一示例中，本文描述的过程可以由具有图15所示的计算系统1500的计算设备来执行。
计算设备可以包括任何适当的设备，诸如移动设备(例如，移动电话)、桌面计算设备、平板计算设备、可穿戴设备(例如，VR耳机、AR耳机、AR眼镜、网络连接手表或智能手表、或其它可穿戴设备)、服务器计算机、自主车辆或自主车辆的计算设备、机器人设备、电视机和/或具有执行本文描述的过程(包括在本文中描述并且在上文列出的过程)的资源能力的任何其它计算设备。在一些情况下，计算设备或装置可以包括各种组件，诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、一个或多个相机、一个或多个传感器、和/或被配置为执行本文描述的过程的步骤的其它组件。在一些示例中，计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任何组合和/或其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。
计算设备的组件可以用电路来实现。例如，组件可以包括和/或可以使用电路或其它电子硬件来实现，电路或其它电子硬件可以包括一个或多个可编程电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)，和/或其它适当的电路)、和/或可以包括和/或使用计算机软件、固件或其任何组合来实现，以执行本文描述的各种操作。
在本文中描述并且在上文列出的过程被示为逻辑流程图、框图和/或概念图，其操作表示可以用硬件、计算机指令或其组合来实现的一系列操作。在计算机指令的背景下，所述操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不旨在被解释为限制，并且可以以任何次序和/或并行地组合任何数量的所描述的操作以实现这些过程。
另外，在本文中描述并且在上文列出的过程可以在被配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以被实现为在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用)，通过硬件来实现，或其组合。如上所提到，代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读或机器可读存储介质上。计算机可读存储介质或机器可读存储介质可以是非暂时性的。
图15是示出用于实现本文技术的某些方面的系统的示例的图。具体地，图15示出了计算系统1500的示例，计算系统1500可以是例如构成以下各者的任何计算设备：内部计算系统、远程计算系统、相机、或其任何组件(其中系统的组件使用连接1505彼此通信)。连接1505可以是使用总线的物理连接、或进入处理器1510的直接连接(诸如在芯片组架构中)。连接1505还可以是虚拟连接、网络连接或逻辑连接。
在一些实施例中，计算系统1500是分布式系统，其中，在本公开内容中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些实施例中，所描述的系统组件中的一个或多个系统组件表示许多这样的组件，每个组件执行针对该组件所描述的部分或全部功能。在一些实施例中，这些组件可以是物理或虚拟设备。
示例系统1500包括至少一个处理单元(CPU或处理器)1515和连接1505，连接1505将包括系统存储器1515(诸如只读存储器(ROM)1520和随机存取存储器(RAM)1525)的各种系统组件耦合到处理器1510。计算系统1500可以包括高速存储器的高速缓存1512，高速缓存1512与处理器1510直接连接、接近处理器1510或被集成为处理器1510的一部分。
处理器1510可以包括任何通用处理器以及被配置为控制处理器1510的硬件服务或软件服务(诸如被存储在存储设备1530中的服务1532、1534和1536)、以及其中软件指令被并入实际处理器设计中的专用处理器。处理器1510本质上可以是完全自包含的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互，计算系统1500包括可以表示任何数量的输入机制的输入设备1545，诸如用于语音的麦克风、用于手势或图形输入的触摸敏感屏幕、键盘、鼠标、运动输入、语音等。计算系统1500还可以包括输出设备1535，其可以是多种输出机制中的一种或多种输出机制。在一些情况下，多模态系统可以使得用户能够提供多种类型的输入/输出以与计算系统1500进行通信。计算系统1500可以包括通信接口1540，其通常可以支配和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机来执行或促进接收和/或发送有线或无线通信，包括利用以下各项的那些有线和/或无线收发机：音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、/>无线信号传输、/>低能(BLE)无线信号传输、无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、微波接入全球互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网络(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组织网信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿着电磁频谱的无线信号传输、或其某种组合。通信接口1540还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机，其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收一个或多个信号来确定计算系统1500的位置。GNSS系统包括但不限于美国的全球定位系统(GPS)、俄罗斯的全球导航卫星系统(GLONASS)、中国的北斗导航卫星系统(BDS)和欧洲的伽利略GNSS系统。对任何特定硬件布置的操作没有限制，并且因此在其被开发时，此处的基本功能可以容易地替换为改进的硬件或固件布置。
存储设备1530可以是非易失性和/或非暂时性和/或计算机可读存储器设备，并且可以是硬盘或其它类型的计算机可读介质，其可以存储可由计算机访问的数据，诸如盒式磁带、闪存卡、固态存储器设备、数字多功能磁盘、盒式磁带、软盘、软磁盘、硬盘、磁带、磁片(strip)/磁条(stripe)、任何其它磁性存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩盘只读存储器(CD-ROM)光盘、可重写压缩盘(CD)光盘、数字视频盘(DVD)光盘、蓝光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微型安全数字(microSD)卡、卡、智能卡芯片、EMV芯片、用户身份模块(SIM)卡、迷你/微型/纳米/微微SIM卡、另一集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速EPROM(FLASHPROM)、高速缓存存储器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移转矩RAM(STT-RAM)、另一存储器芯片或盒、和/或其组合。
存储设备1530可以包括软件服务、服务器、服务等，当处理器1510执行定义此类软件的代码时，其使得系统执行功能。在一些实施例中，执行特定功能的硬件服务可以包括被存储在计算机可读介质中的软件组件，软件组件与用于执行该功能的必要硬件组件(诸如处理器1510、连接1505、输出设备1535等)相连接。
如本文所使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备、以及能够存储、包含或携带指令和/或数据的各种其它介质。计算机可读介质可以包括数据可以被存储在其中并且不包括以下各项的非暂时性介质：无线地或者在有线连接上传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于：磁盘或磁带、诸如压缩光盘(CD)或数字多功能光盘(DVD)之类的光学存储介质、闪存、存储器或存储器设备。计算机可读介质可以具有被存储在其上的代码和/或机器可执行指令，代码和/或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容，来耦合到另一代码段或硬件电路。可以使用包括存储器共享、消息传递、令牌传递、网络传输等的任何适当的手段来传递、转发或发送信息、自变量、参数、数据等。
在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在以上描述中提供了具体细节以提供对本文提供的实施例和示例的透彻理解。然而，本领域普通技术人员将理解的是，可以在没有这些具体细节的情况下实施这些实施例。为了解释清楚，在一些情况下，本文的技术可以被呈现为包括包含如下的功能块的单独的功能块，这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。除了在各图中所示和/或本文描述的组件之外，还可以使用额外的组件。例如，电路、系统、网络、过程和其它组件可以以框图形式被示为组件，以便不会在不必要的细节上模糊这些实施例。在其它情况下，公知的电路、过程、算法、结构和技术可能被示为不具有不必要的细节，以便避免模糊这些实施例。
上文可能将各个实施例描述为过程或方法，该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。虽然流程图可以将操作描述为顺序的过程，但是这些操作中的许多操作可以并行或同时执行。另外，可以重新排列操作的次序。过程在其操作完成后被终止，但是可能具有未被包括在图中的额外步骤。过程(process)可以对应于方法、函数、过程(procedure)、子例程、子程序等。当过程对应于函数时，其终止可以对应于该函数返回到调用函数或主函数。
根据上述示例的过程和方法可以使用计算机可执行指令来实现，计算机可执行指令被存储在计算机可读介质中或者以其它方式可从计算机可读介质得到。这样的指令可以包括例如指令或数据，指令或数据使得通用计算机、专用计算机或处理设备执行或者以其它方式将其配置为执行特定功能或特定的一组功能。可以通过网络访问所使用的计算机资源的部分。计算机可执行指令可以是例如二进制文件、诸如汇编语言之类的中间格式指令、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、设置有非易失性存储器的USB设备、网络存储设备等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，并且可以采用多种形状因子中的任何一种。当用软件、固件、中间件或微代码来实现时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。本文描述的功能还可以体现在外围设备或插件卡中。通过另外的举例，这种功能还可以在单个设备中执行的不同芯片或不同过程之间的电路板上实现。
指令、用于传送这样的指令的介质、用于执行它们的计算资源以及用于支持这样的计算资源的其它结构是用于提供在本公开内容中描述的功能的示例模块。
在前面的描述中，参考本申请的特定实施例描述了本申请的各方面，但是本领域技术人员将认识到，本申请不限于此。因此，尽管本文已经详细描述了本申请的说明性实施例，但是应理解的是，可以以其它方式不同地体现和采用本发明构思，并且所附的权利要求旨在被解释为包括这样的变型，除了由现有技术限制的变型。可以单独地或共同地使用上述应用的各个特征和方面。此外，在不脱离本说明书的更广泛的精神和范围的情况下，实施例可以在除了本文描述的环境和应用之外的任何数量的环境和应用中使用。因此，说明书和附图被认为是说明性的而不是限制性的。为了说明的目的，以特定次序描述了方法。应当明白的是，在替代实施例中，可以以与所描述的次序不同的次序来执行所述方法。
本领域普通技术人员将明白的是，在不脱离本说明书的范围的情况下，本文中使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)以及大于或等于(“≥”)符号来替换。
在将组件描述为“被配置为”执行某些操作的情况下，这种配置可以例如通过以下方式来实现：将电路或其它硬件设计为执行该操作，将可编程电路(例如，微处理器或其它适当的电路)编程为执行该操作，或其任何组合。
短语“耦合到”指代直接或间接地物理连接到另一组件的任何组件、和/或直接或间接地与另一组件通信的任何组件(例如，通过有线或无线连接和/或其它适当的通信接口而连接到另一组件)。
记载集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示该集合中的一个成员或者该集合中的多个成员(以任何组合)满足该权利要求。例如，记载“A和B中的至少一个”的权利要求语言意指A、B、或者A和B。在另一示例中，记载“A、B和C中的至少一个”的权利要求语言意指A、B、C、或者A和B、或者A和C、或者B和C、或者A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”并不将该集合限制为在该集合中列出的项目。例如，记载“A和B中的至少一个”的权利要求语言可以意指A、B或者A和B，并且可以另外包括未在A和B的集合中列出的项目。
结合本文公开的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性，上面已经对各种说明性的组件、框、模块、电路和步骤围绕其功能进行了总体描述。至于这种功能被实现为硬件还是软件取决于特定的应用和被施加在整个系统上的设计约束。技术人员可以针对每种特定应用以不同的方式来实现所描述的功能，但是这种实现决策不应当被解释为导致脱离本申请的范围。
本文描述的技术还可以用电子硬件、计算机软件、固件或其任何组合来实现。这样的技术可以在各种设备中的任何一种中实现，诸如通用计算机、无线通信设备手机或具有多种用途(包括在无线通信设备手机和其它设备中的应用)的集成电路设备。被描述为模块或组件的任何特征都可以在集成逻辑设备中一起实现，或者分别作为分立但是可互操作的逻辑设备来实现。如果用软件来实现，则所述技术可以至少部分地由计算机可读数据存储介质来实现，计算机可读数据存储介质包括程序代码，程序代码包括在被执行时执行上述方法中的一种或多种方法的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质，诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光数据存储介质等。另外或替代地，所述技术可以至少部分地由以指令或数据结构的形式携带或传送程序代码并且可以由计算机访问、读取和/或执行的计算机可读通信介质(诸如传播的信号或波)来实现。
程序代码可以由处理器执行，处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路。这样的处理器可以被配置为执行在本公开内容中描述的任何技术。通用处理器可以是微处理器，但是在替代方式中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其它这样的配置。因此，如本文所使用的术语“处理器”可以指代任何前述结构、前述结构的任何组合、或适于实现本文描述的技术的任何其它结构或装置。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用软件模块或硬件模块内提供，或者被合并在组合视频编码器-解码器(CODEC)中。
本公开内容的说明性方面包括：
方面1A、一种用于处理媒体数据的装置，所述装置包括：至少一个存储器；以及至少一个处理器，其耦合到所述至少一个存储器，所述至少一个处理器被配置为：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
方面2A、根据方面1A所述的装置，其中，所述至少一个处理器被配置为：至少在所述第一时间处检测在所述媒体内容的视觉内容内表示的场景条件以检测所述条件。
方面3A、根据方面1A至2A中任一项所述的装置，其中，所述场景条件包括感兴趣区域。
方面4A、根据方面1A至3A中任一项所述的装置，其中，所述场景条件包括对象。
方面5A、根据方面1A至4A中任一项所述的装置，其中，所述媒体输出软件应用是视频游戏，并且其中，所述条件与所述视频游戏的游戏玩法相关联。
方面6A、根据方面1A至5A中任一项所述的装置，其中，所述场景条件包括图像属性的变化，其中，所述图像属性包括照度、饱和度、亮度、对比度、视角、视场或颜色平衡中的至少一项。
方面7A、根据方面1A至6A中任一项所述的装置，其中，所述视觉内容包括至少部分地由所述媒体输出软件应用生成的环境的表示。
方面8A、根据方面1A至7A中任一项所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。
方面9A、根据方面1A至8A中任一项所述的装置，其中，所述视觉内容包括被配置为跨所述时间段改变的视频，其中，所述媒体输出软件应用包括视频播放器，其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，并且其中，所述视频播放器根据所述视频设置来播放所述视频。
方面10A、根据方面1A至9A中任一项所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。
方面11A、根据方面1A至10A中任一项所述的装置，其中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
方面12A、根据方面1A至11A中任一项所述的装置，其中，所述音频内容包括与至少部分地由所述媒体输出软件应用生成的环境相关联的至少一个声音。
方面13A、根据方面1A至12A中任一项所述的装置，其中，所述至少一个处理器被配置为：至少在所述第一时间处检测到在所述媒体内容的音频内容内包括声音以检测所述条件。
方面14A、根据方面1A至13A中任一项所述的装置，其中，所述至少一个处理器被配置为：在所述第一时间处检测从用户界面接收到输入以检测所述条件。
方面15A、根据方面1A至14A中任一项所述的装置，其中，所述至少一个处理器被配置为：在所述第一时间处使用运动传感器检测运动以检测所述条件。
方面16A、根据方面1A至15A中任一项所述的装置，其中，所述至少一个处理器被配置为：检测所述媒体输出设置的变化以检测所述条件。
方面17A、根据方面1A至16A中任一项所述的装置，其中，所述至少一个处理器被配置为：检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面，以检测与所述媒体内容相关联的所述条件。
方面18A、根据方面1A至17A中任一项所述的装置，其中，所述触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动所述装置的第二触觉反馈致动器。
方面19A、根据方面1A至18A中任一项所述的装置，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器将被致动以在所述装置的第一区域处提供局部触觉反馈效果，而不在所述装置的第二区域处提供对应的反馈效果。
方面20A、根据方面1A至19A中任一项所述的装置，其中，所述至少一个处理器被配置为：检测到对象至少在所述第一区域处被表示在所述媒体内容的视觉内容内，其中，所述第一区域处的所述局部触觉反馈效果是基于所述对象的。
方面21A、根据方面1A至20A中任一项所述的装置，其中，所述触觉反馈模式指示由所述至少一个触觉反馈致动器进行的触觉反馈的触觉反馈强度。
方面22A、根据方面1A至21A中任一项所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中表示的第一实体与在所述媒体内容中表示的第二实体的接近度。
方面23A、根据方面1A至22A中任一项所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。
方面24A、根据方面1A至23A中任一项所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
方面25A、根据方面1A至24A中任一项所述的装置，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器的所述触觉反馈模式的波形、频率或幅度中的至少一项。
方面26A、根据方面1A至25A中任一项所述的装置，其中，所述至少一个处理器被配置为：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。
方面27A、根据方面1A至26A中任一项所述的装置，其中，所述至少一个处理器被配置为：使用所述输出设备来输出所述媒体内容。
方面28A、根据方面1A至27A中任一项所述的装置，其中，所述至少一个处理器被配置为：接收消息；以及在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容以将所述消息合并到所述媒体内容中。
方面29A、根据方面1A至28A中任一项所述的装置，其中，所述装置包括移动手持机、无线通信设备和头戴式显示器中的至少一者。
方面30A、一种用于处理媒体数据的方法，所述方法包括：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
方面31A、根据方面30A所述的方法，还包括：至少在所述第一时间处检测在所述媒体内容的视觉内容内表示的场景条件以检测所述条件。
方面32A、根据方面30A至31A中任一项所述的方法，其中，所述场景条件包括感兴趣区域。
方面33A、根据方面30A至32A中任一项所述的方法，其中，所述场景条件包括对象。
方面34A、根据方面30A至33A中任一项所述的方法，其中，所述媒体输出软件应用是视频游戏，并且其中，所述条件与所述视频游戏的游戏玩法相关联。
方面35A、根据方面30A至34A中任一项所述的方法，其中，所述场景条件包括图像属性的变化，其中，所述图像属性包括照度、饱和度、亮度、对比度、视角、视场或颜色平衡中的至少一项。
方面36A、根据方面30A至35A中任一项所述的方法，其中，所述视觉内容包括至少部分地由所述媒体输出软件应用生成的环境的表示。
方面37A、根据方面30A至36A中任一项所述的方法，其中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。
方面38A、根据方面30A至37A中任一项所述的方法，其中，所述视觉内容包括被配置为跨所述时间段改变的视频，其中，所述媒体输出软件应用包括视频播放器，其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，并且其中，所述视频播放器根据所述视频设置来播放所述视频。
方面39A、根据方面30A至38A中任一项所述的方法，其中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。
方面40A、根据方面30A至39A中任一项所述的方法，其中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
方面41A、根据方面30A至40A中任一项所述的方法，其中，所述音频内容包括与至少部分地由所述媒体输出软件应用生成的环境相关联的至少一个声音。
方面42A、根据方面30A至41A中任一项所述的方法，其中，所述至少一个处理器被配置为：至少在所述第一时间处检测到在所述媒体内容的音频内容内包括声音以检测所述条件。
方面43A、根据方面30A至42A中任一项所述的方法，还包括：在所述第一时间处检测从用户界面接收到输入以检测所述条件。
方面44A、根据方面30A至43A中任一项所述的方法，还包括：在所述第一时间处使用运动传感器检测运动以检测所述条件。
方面45A、根据方面30A至44A中任一项所述的方法，还包括：检测所述媒体输出设置的变化以检测所述条件。
方面46A、根据方面30A至45A中任一项所述的方法，还包括：检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面，以检测与所述媒体内容相关联的所述条件。
方面47A、根据方面30A至46A中任一项所述的方法，其中，所述触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动所述方法的第二触觉反馈致动器。
方面48A、根据方面30A至47A中任一项所述的方法，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器将被致动以在所述方法的第一区域处提供局部触觉反馈效果，而不在所述方法的第二区域处提供对应的反馈效果。
方面49A、根据方面30A至48A中任一项所述的方法，还包括：检测到对象至少在所述第一区域处被表示在所述媒体内容的视觉内容内，其中，所述第一区域处的所述局部触觉反馈效果是基于所述对象的。
方面50A、根据方面30A至49A中任一项所述的方法，其中，所述触觉反馈模式指示由所述至少一个触觉反馈致动器进行的触觉反馈的触觉反馈强度。
方面51A、根据方面30A至50A中任一项所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中表示的第一实体与在所述媒体内容中表示的第二实体的接近度。
方面52A、根据方面30A至51A中任一项所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。
方面53A、根据方面30A至52A中任一项所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
方面54A、根据方面30A至53A中任一项所述的方法，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器的所述触觉反馈模式的波形、频率或幅度中的至少一项。
方面55A、根据方面30A至54A中任一项所述的方法，还包括：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。
方面56A、根据方面30A至55A中任一项所述的方法，还包括：使用所述输出设备来输出所述媒体内容。
方面57A、根据方面30A至56A中任一项所述的方法，还包括：接收消息；以及在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容以将所述消息合并到所述媒体内容中。
方面58A、根据方面30A至57A中任一项所述的方法，其中，所述方法是使用包括移动手持机、无线通信设备和头戴式显示器中的至少一者的装置来执行的。
方面59A、一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
方面60A、根据方面59A所述的非暂时性计算机可读介质，其中，由所述一个或多个处理器执行所述指令使得所述一个或多个处理器执行根据方面2A至29A和/或方面31A至58A中任一项中的至少一项所述的一个或多个操作。
方面61A、一种用于处理媒体数据的装置，所述装置包括：用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；用于沿所述时间段在第一时间处检测与所述媒体内容相关联的条件的单元；以及用于根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器的单元。
方面62A、根据方面61A所述的装置，还包括：用于执行根据方面2A至29A和/或方面31A至58A中任一项中的至少一项所述的一个或多个操作的单元。
方面1B、一种用于处理媒体数据的装置，所述装置包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述媒体内容被配置为跨一时间段改变；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器。
方面2B、根据方面1B所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。
方面3B、根据方面2B所述的装置，还包括：所述显示器。
方面4B、根据方面2B或3B中任一项所述的装置，其中，所述视觉内容包括被配置为跨所述时间段改变的视频。
方面5B、根据方面4B所述的装置，其中，所述媒体输出软件应用包括视频播放器，并且其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，其中，所述视频播放器根据所述视频设置来播放所述视频。
方面6B、根据方面2B至5B中任一项所述的装置，其中，所述视觉内容包括被配置为跨所述时间段改变的演示。
方面7B、根据方面6B所述的装置，其中，所述媒体输出软件应用包括演示呈现器，并且其中，所述媒体输出设置包括与所述演示呈现器相关联的演示设置，其中，所述演示呈现器根据所述演示设置来呈现所述演示。
方面8B、根据方面1B至7B中任一项所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。
方面9B、根据方面8B所述的装置，还包括：所述音频输出设备。
方面10B、根据方面8B或9B中任一项所述的装置，其中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
方面11B、根据方面1B至10B中任一项所述的装置，其中，为了检测与所述媒体内容相关联的所述条件，所述一个或多个处理器被配置为：至少在所述第一时间处检测到对象被描绘在所述媒体内容的视觉内容内。
方面12B、根据方面1B至11B中任一项所述的装置，其中，为了检测与所述媒体内容相关联的所述条件，所述一个或多个处理器被配置为：至少在所述第一时间处检测在所述媒体内容的音频内容内存在声音。
方面13B、根据方面1B至12B中任一项所述的装置，其中，所述媒体内容包括指示与所述媒体内容相关联的所述条件的方面，其中，为了检测与所述媒体内容相关联的所述条件，所述一个或多个处理器被配置为：检测指示与所述媒体内容相关联的所述条件的所述媒体内容的所述方面。
方面14B、根据方面1B至13B中任一项所述的装置，所述一个或多个处理器被配置为：从用户界面接收输入。
方面15B、根据方面14B所述的装置，其中，为了检测与所述媒体内容相关联的所述条件，所述一个或多个处理器被配置为：识别所述输入。
方面16B、根据方面14B或15B中任一项所述的装置，其中，所述输入指示对所述媒体输出设置的效果，并且其中，为了检测与所述媒体内容相关联的所述条件，所述一个或多个处理器被配置为：识别对所述媒体输出设置的所述效果。
方面17B、根据方面14B至16B中任一项所述的装置，其中，所述输入指示对所述媒体输出设置的效果，并且其中，所述媒体内容包括指示对所述媒体输出设置的所述效果的方面。
方面18B、根据方面14B至17B中任一项所述的装置，其中，所述输入指示所述第一时间。
方面19B、根据方面14B至18B中任一项所述的装置，其中，所述输入指示所述条件。
方面20B、根据方面14B至19B中任一项所述的装置，其中，所述输入指示所述触觉反馈模式。
方面21B、根据方面1B至20B中任一项所述的装置，其中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。
方面22B、根据方面21B所述的装置，其中，为了根据所述触觉反馈模式致动所述一个或多个触觉反馈致动器，所述一个或多个处理器被配置为：致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。
方面23B、根据方面21B或22B中任一项所述的装置，其中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。
方面24B、根据方面23B所述的装置，其中，所述条件与在所述第一视觉内容中描绘的实体相关联。
方面25B、根据方面1B至24B中任一项所述的装置，其中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。
方面26B、根据方面25B所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中描绘的第一实体与在所述媒体内容中描绘的第二实体的接近度。
方面27B、根据方面25B或26B中任一项所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。
方面28B、根据方面25B至27B中任一项所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
方面29B、根据方面1B至28B中任一项所述的装置，其中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。
方面30B、根据方面29B所述的装置，其中，所述触觉反馈模式指示所述触觉反馈波形的频率。
方面31B、根据方面29B或30B中任一项所述的装置，其中，所述触觉反馈模式指示所述触觉反馈波形的幅度。
方面32B、根据方面29B至31B中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于声音的音频波形来生成所述触觉反馈模式的所述触觉反馈波形，其中，所述媒体内容包括所述声音。
方面33B、根据方面1B至32B中任一项所述的装置，其中，所述一个或多个处理器被配置为：使用所述输出设备来输出所述媒体内容。
方面34B、根据方面1B至33B中任一项所述的装置，其中，所述一个或多个处理器被配置为：在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容。
方面35B、根据方面34B所述的装置，其中，所述一个或多个处理器被配置为：通过网络从第二设备接收消息，其中，为了修改所述媒体内容，所述一个或多个处理器被配置为：将所述消息合并到所述媒体内容中。
方面36B、根据方面35B所述的装置，其中，所述消息包括一个或多个字母数字字符。
方面37B、根据方面35B或36B中任一项所述的装置，其中，所述消息包括一个或多个图像。
方面38B、根据方面35B至37B中任一项所述的装置，其中，所述消息包括一个或多个声音。
方面39B、根据方面35B至38B中任一项所述的装置，其中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。
方面40B、根据方面1B至39B中任一项所述的装置，其中，所述装置包括移动手持机、无线通信设备和头戴式显示器中的至少一者。
方面41B、一种用于处理媒体数据的方法，所述方法包括：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述媒体内容被配置为跨一时间段改变；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器。
方面42B、根据方面41B所述的方法，其中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。
方面43B、根据方面42B所述的方法，其中，所述方法由包括所述显示器的装置来执行。
方面44B、根据方面42B或43B中任一项所述的方法，其中，所述视觉内容包括被配置为跨所述时间段改变的视频。
方面45B、根据方面44B所述的方法，其中，所述媒体输出软件应用包括视频播放器，并且其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，其中，所述视频播放器根据所述视频设置来播放所述视频。
方面46B、根据方面42B至45B中任一项所述的方法，其中，所述视觉内容包括被配置为跨所述时间段改变的演示。
方面47B、根据方面46B所述的方法，其中，所述媒体输出软件应用包括演示呈现器，并且其中，所述媒体输出设置包括与所述演示呈现器相关联的演示设置，其中，所述演示呈现器根据所述演示设置来呈现所述演示。
方面48B、根据方面41B至47B中任一项所述的方法，其中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。
方面49B、根据方面48B所述的方法，其中，所述方法由包括所述音频输出设备的装置来执行。
方面50B、根据方面48B或49B中任一项所述的方法，其中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
方面51B、根据方面41B至50B中任一项所述的方法，其中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测到对象被描绘在所述媒体内容的视觉内容内。
方面52B、根据方面41B至51B中任一项所述的方法，其中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测所述媒体内容的音频内容内的声音。
方面53B、根据方面41B至52B中任一项所述的方法，其中，所述媒体内容包括指示与所述媒体内容相关联的所述条件的方面，其中，检测与所述媒体内容相关联的所述条件包括检测指示与所述媒体内容相关联的所述条件的所述媒体内容的所述方面。
方面54B、根据方面41B至53B中任一项所述的方法，还包括：从用户界面接收输入。
方面55B、根据方面54B所述的方法，其中，检测与所述媒体内容相关联的所述条件包括识别所述输入。
方面56B、根据方面54B或55B中任一项所述的方法，其中，所述输入指示对所述媒体输出设置的效果，并且其中，检测与所述媒体内容相关联的所述条件包括识别对所述媒体输出设置的所述效果。
方面57B、根据方面54B至56B中任一项所述的方法，其中，所述输入指示对所述媒体输出设置的效果，并且其中，所述媒体内容包括指示对所述媒体输出设置的所述效果的方面。
方面58B、根据方面54B至57B中任一项所述的方法，其中，所述输入指示所述第一时间。
方面59B、根据方面54B至58B中任一项所述的方法，其中，所述输入指示所述条件。
方面60B、根据方面54B至59B中任一项所述的方法，其中，所述输入指示所述触觉反馈模式。
方面61B、根据方面41B至60B中任一项所述的方法，其中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。
方面62B、根据方面61B所述的方法，其中，根据所述触觉反馈模式致动所述一个或多个触觉反馈致动器包括致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。
方面63B、根据方面61B或62B中任一项所述的方法，其中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。
方面64B、根据方面63B所述的方法，其中，所述条件与在所述第一视觉内容中描绘的实体相关联。
方面65B、根据方面41B至64B中任一项所述的方法，其中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。
方面66B、根据方面65B所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中描绘的第一实体与在所述媒体内容中描绘的第二实体的接近度。
方面67B、根据方面65B或66B中任一项所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。
方面68B、根据方面41B至67B中任一项所述的方法，其中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
方面69B、根据方面41B至68B中任一项所述的方法，其中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。
方面70B、根据方面69B所述的方法，其中，所述触觉反馈模式指示所述触觉反馈波形的频率。
方面71B、根据方面69B或70B中任一项所述的方法，其中，所述触觉反馈模式指示所述触觉反馈波形的幅度。
方面72B、根据方面69B至71B中任一项所述的方法，还包括：基于声音的音频波形来生成所述触觉反馈模式的所述触觉反馈波形，其中，所述媒体内容包括所述声音。
方面73B、根据方面41B至72B中任一项所述的方法，还包括：使用所述输出设备来输出所述媒体内容。
方面74B、根据方面41B至73B中任一项所述的方法，还包括：在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容。
方面75B、根据方面74B所述的方法，还包括：通过网络从第二设备接收消息，其中，修改所述媒体内容包括将所述消息合并到所述媒体内容中。
方面76B、根据方面75B所述的方法，其中，所述消息包括一个或多个字母数字字符。
方面77B、根据方面75B或76B中任一项所述的方法，其中，所述消息包括一个或多个图像。
方面78B、根据方面75B至77B中任一项所述的方法，其中，所述消息包括一个或多个声音。
方面79B、根据方面75B至78B中任一项所述的方法，其中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。
方面80B、根据方面41B至79B中任一项所述的方法，其中，所述方法是使用包括移动手持机、无线通信设备和头戴式显示器中的至少一者的装置来执行的。
方面81B、一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述媒体内容被配置为跨一时间段改变；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器。
方面82B、根据方面81所述的非暂时性计算机可读介质，其中，由所述一个或多个处理器执行所述指令使得所述一个或多个处理器执行根据方面2B至40B和/或方面42B至80B中任一项中的至少一项所述的一个或多个操作。
方面83B、一种用于处理媒体数据的装置，所述装置包括：用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，所述媒体内容被配置为跨一时间段改变；用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，所述媒体内容被配置为跨一时间段改变；用于沿所述时间段在第一时间处检测与所述媒体内容相关联的条件的单元；以及用于根据与所述条件相对应的触觉反馈模式来致动一个或多个触觉反馈致动器的单元。
方面84B、根据方面83B所述的装置，还包括：用于执行根据方面2B至40B和/或方面42B至80B中任一项中的至少一项所述的一个或多个操作的单元。

Claims (30)

1.一种用于处理媒体数据的装置，所述装置包括：
至少一个存储器；以及
至少一个处理器，其耦合到所述至少一个存储器，所述至少一个处理器被配置为：
接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；
沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及
根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
2.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
至少在所述第一时间处检测在所述媒体内容的视觉内容内表示的场景条件以检测所述条件。
3.根据权利要求2所述的装置，其中，所述场景条件包括感兴趣区域。
4.根据权利要求2所述的装置，其中，所述场景条件包括对象。
5.根据权利要求2所述的装置，其中，所述场景条件包括图像属性的变化，其中，所述图像属性包括照度、饱和度、亮度、对比度、视角、视场或颜色平衡中的至少一项。
6.根据权利要求1所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。
7.根据权利要求6所述的装置，其中，所述视觉内容包括被配置为跨所述时间段改变的视频，其中，所述媒体输出软件应用包括视频播放器，其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，并且其中，所述视频播放器根据所述视频设置来播放所述视频。
8.根据权利要求6所述的装置，其中，所述视觉内容包括至少部分地由所述媒体输出软件应用生成的环境的表示。
9.根据权利要求8所述的装置，其中，所述媒体输出软件应用是视频游戏，并且其中，所述条件与所述视频游戏的游戏玩法相关联。
10.根据权利要求1所述的装置，其中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。
11.根据权利要求10所述的装置，其中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。
12.根据权利要求10所述的装置，其中，所述音频内容包括与至少部分地由所述媒体输出软件应用生成的环境相关联的至少一个声音。
13.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
至少在所述第一时间处检测到在所述媒体内容的音频内容内包括声音以检测所述条件。
14.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
在所述第一时间处检测从用户界面接收到输入以检测所述条件。
15.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
在所述第一时间处使用运动传感器检测运动以检测所述条件。
16.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
检测所述媒体输出设置的变化以检测所述条件。
17.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面，以检测与所述媒体内容相关联的所述条件。
18.根据权利要求1所述的装置，其中，所述触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动所述装置的第二触觉反馈致动器。
19.根据权利要求1所述的装置，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器将被致动以在所述装置的第一区域处提供局部触觉反馈效果，而不在所述装置的第二区域处提供对应的反馈效果。
20.根据权利要求19所述的装置，其中，所述至少一个处理器被配置为：
检测到对象至少在所述第一区域处被表示在所述媒体内容的视觉内容内，其中，所述第一区域处的所述局部触觉反馈效果是基于所述对象的。
21.根据权利要求1所述的装置，其中，所述触觉反馈模式指示由所述至少一个触觉反馈致动器进行的触觉反馈的触觉反馈强度。
22.根据权利要求21所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中表示的第一实体与在所述媒体内容中表示的第二实体的接近度。
23.根据权利要求21所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。
24.根据权利要求21所述的装置，其中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。
25.根据权利要求1所述的装置，其中，所述触觉反馈模式指示所述至少一个触觉反馈致动器的所述触觉反馈模式的波形、频率或幅度中的至少一项。
26.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。
27.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
使用所述输出设备来输出所述媒体内容。
28.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
接收消息；以及
在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容以将所述消息合并到所述媒体内容中。
29.根据权利要求1所述的装置，其中，所述装置包括移动手持机、无线通信设备和头戴式显示器中的至少一者。
30.一种用于处理媒体数据的方法，所述方法包括：
接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；
沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及
根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。
CN202280056478.9A 2021-10-01 2022-09-23 用于触觉反馈效果的系统和方法 Pending CN117836039A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202163251371P 2021-10-01 2021-10-01
US202163251293P 2021-10-01 2021-10-01
US63/251,371 2021-10-01
US63/251,293 2021-10-01
US17/934,504 2022-09-22
US17/934,504 US20230104514A1 (en) 2021-10-01 2022-09-22 Systems and methods for haptic feedback effects
PCT/US2022/076948 WO2023056225A2 (en) 2021-10-01 2022-09-23 Systems and methods for haptic feedback effects

Publications (1)

Publication Number Publication Date
CN117836039A true CN117836039A (zh) 2024-04-05

Family

ID=85775389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280056478.9A Pending CN117836039A (zh) 2021-10-01 2022-09-23 用于触觉反馈效果的系统和方法

Country Status (2)

Country Link
US (1) US20230104514A1 (zh)
CN (1) CN117836039A (zh)

Also Published As

Publication number Publication date
US20230104514A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
RU2719454C1 (ru) Системы и способы для создания, трансляции и просмотра 3d-контента
JP6373920B2 (ja) シミュレーションシステム及びプログラム
KR102606017B1 (ko) 비디오 게임 내의 상황 인식 커뮤니케이션 시스템
US10139901B2 (en) Virtual reality distraction monitor
KR20200050869A (ko) 맞춤형 햅틱 재생을 제공하기 위한 시스템들 및 방법들
CN114080259A (zh) 程序、方法以及信息终端装置
JP7369674B2 (ja) プログラム、方法、および視聴端末
US11727774B2 (en) 3D audio for detecting objects in danger zones around VR players
JP2019179433A (ja) プログラム、情報処理装置、及び情報処理方法
US20230104514A1 (en) Systems and methods for haptic feedback effects
US20220254082A1 (en) Method of character animation based on extraction of triggers from an av stream
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
WO2023056225A2 (en) Systems and methods for haptic feedback effects
US11402917B2 (en) Gesture-based user interface for AR and VR with gaze trigger
KR20220013398A (ko) 프로그램이 기록된 컴퓨터 판독가능 기록 매체, 정보 처리 방법 및, 정보 처리 장치
CN114007707A (zh) 游戏程序、游戏方法以及信息终端装置
US20240115942A1 (en) Customizable virtual reality scenes using eye tracking
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
US11980807B2 (en) Adaptive rendering of game to capabilities of device
US20220355211A1 (en) Controller action recognition from video frames using machine learning
US20240181350A1 (en) Registering hand-held non-electronic object as game controller to control vr object position, orientation, game state
US20240001239A1 (en) Use of machine learning to transform screen renders from the player viewpoint
US20230082732A1 (en) Using data from a game metadata system to create actionable in-game decisions
US20230338841A1 (en) Foveated enhancement of non-xr games within a hmd system
US20240066399A1 (en) Smooth switchover of computer game control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination