CN107106908A - 为慢动作修改触觉效果 - Google Patents

为慢动作修改触觉效果 Download PDF

Info

Publication number
CN107106908A
CN107106908A CN201680004481.0A CN201680004481A CN107106908A CN 107106908 A CN107106908 A CN 107106908A CN 201680004481 A CN201680004481 A CN 201680004481A CN 107106908 A CN107106908 A CN 107106908A
Authority
CN
China
Prior art keywords
haptic effect
amended
effect sequence
haptic
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680004481.0A
Other languages
English (en)
Inventor
W·S·莱茵
D·M·伯恩鲍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN107106908A publication Critical patent/CN107106908A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Abstract

提供了用于生成和修改触觉效果的系统和方法。通过修改与触觉效果序列的每一个触觉效果相关联的各种参数在慢动作中渲染触觉效果。例如，可以更改每一个触觉效果的幅度、频率和/或持续时间以在慢动作中准确地传达触觉效果序列。

Description

为慢动作修改触觉效果
优先权申请
本申请要求于2015年2月25日提交的美国临时专利申请No.62/120,702的权益，该美国临时专利申请通过引用被整体结合于此。
技术领域
本发明的实施例一般而言针对电子设备，并且更具体而言针对产生触觉效果的电子设备。
背景技术
视频游戏和视频游戏系统已经变得非常受欢迎。视频游戏设备或控制器通常使用视觉提示和听觉提示向用户提供反馈。在一些接口设备中，可以向用户提供动觉反馈(例如，主动力反馈和阻力反馈)和/或触感反馈(例如，振动、纹理、温度变化等)。通常，这种反馈被统称为“触觉反馈”或“触觉效果”。触觉反馈提供了增强和简化用户与视频游戏控制器或其它电子设备的交互的提示。例如，触觉效果可以向视频游戏控制器或其它电子设备的用户提供提示，以就特定事件提醒用户，或者在模拟环境或虚拟环境中提供逼真的反馈，以产生更强的感官沉浸。
其中用户与用户输入元件交互以引起动作的其它设备也可以受益于触觉反馈或触觉效果。例如，这样的设备可以包括医疗设备、汽车控件、遥控器和其它类似的设备。
发明内容
本发明的实施例针对被配置成产生基本上改进相关技术的触觉效果的电子设备。
实施例的特征和优点在下面的描述中阐述，或者将从描述中显而易见，或者可以通过实践本发明来了解。
在一个示例中，提供了用于在慢动作中渲染触觉效果的系统和方法。接收媒体流(例如，音频或视频)和与媒体流对应的触觉效果序列。触觉效果序列包括多个触觉效果。可以实时地渲染媒体流和触觉效果序列。也可以在慢动作中渲染媒体流和修改后的触觉效果序列。修改后的触觉效果序列包括对触觉效果序列中的至少一个触觉效果的参数的改变。
要理解的是，前面的一般描述和以下的详细描述都是示例性和说明性的，并不旨在将本发明限制到所描述的示例。
附图说明
根据以下结合附图对优选实施例的详细描述，其他实施例、细节、优点和修改将变得显而易见。
图1图示根据本发明的示例实施例的系统的框图。
图2是图示根据本发明的示例实施例的用于修改触觉效果的系统的简化框图。
图3图示根据本发明的示例实施例的触觉效果软件栈的框图。
图4图示根据本发明的示例实施例的用于触觉修改的体系架构。
图5图示根据本发明的示例实施例的用于修改触觉效果的流程图。
图6图示根据本发明的另一种示例实施例的用于修改触觉效果的流程图。
图7图示适于与本发明的实施例一起使用的控制器的功能框图。
图8A和8B图示适于与本发明的实施例一起使用的控制器的不同视图。
具体实施方式
现在将详细参考实施例，该实施例的示例在附图中图示。在以下具体实施方式中阐述许多具体细节，以便提供对本发明的透彻理解。但是，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述众所周知的方法、过程、部件和电路，以免不必要地模糊实施例的各方面。只要有可能，相同的元素将使用相同的标号。
示例实施例针对用于在慢动作中渲染修改后的触觉效果的系统和方法。虽然可以在慢动作中将视频准确地传达给用户，但是对应的触觉效果通常没有在慢动作中被准确地渲染。因此，本文描述的各种实施例通过调制/修改与触觉效果序列中的每一个触觉效果相关联的各种参数在慢动作中渲染触觉效果。例如，可以更改每一个触觉效果的幅度、频率和/或持续时间以在慢动作中准确地传达触觉效果序列。
在各种实施例中，描述了用于使用设备的各种用户接口和方法。在一些实施例中，设备是便携式电子设备(例如，游戏控制器、控制台、移动电话、智能电话、平板电脑等)。但是，应当理解的是，用户接口和相关联的方法可以应用到许多其它设备(诸如，个人计算机、医疗设备、膝上型电脑等)，这些设备可以包括一个或多个其它物理用户接口设备，诸如键盘、鼠标、轨迹球等。
图1图示根据本发明的示例实施例的系统100的框图。
系统100可以包括被配置成发送和/或从远程源接收数据的通信设备110。通信设备110可以通过以下方式在处理器120和其它设备之间启用连接：编码要经网络(未示出)从处理器120发送到另一个设备的数据和解码经网络从另一个系统接收到的用于处理器120的数据。
例如，通信设备110可以包括被配置成提供无线网络通信的网络接口卡。可以使用各种无线通信技术，包括红外线、无线电、蓝牙、Wi-Fi和/或蜂窝通信。可替代地，通信设备110可以被配置成提供(一个或多个)有线网络连接，诸如以太网连接。
处理器120可以包括执行系统100的计算和控制功能的一个或多个通用处理器或专用处理器。处理器120可以包括单个集成电路(诸如，微处理设备)，或者可以包括协同工作以完成处理器120的功能的多个集成电路设备和/或电路板。此外，处理器120可以执行存储在存储器140内的计算机程序，诸如操作系统141、触觉调制器142和其它应用143。
系统100可以包括用于存储信息和由处理器120执行的指令的存储器140。存储器140可以包含用于检索、呈现、修改和存储数据的各种部件。例如，存储器140可以存储当由处理器120执行时提供功能的软件模块。模块可以包括为系统100提供操作系统功能的操作系统141。模块还可以包括触觉调制器142，该触觉调制器142可以控制各种触觉参数(例如，幅度、频率和/或持续时间)，以在以不同的回放速率重放(诸如，慢动作重放)期间修改触觉效果。在某些实施例中，触觉调制器142可以包括用于基于媒体流(诸如，音频和/或视频流)的分析来动态计算触觉参数的指令。系统100还可以包括一个或多个附加的应用模块143，该一个或多个附加的应用模块143包括附加的功能，诸如被配置成向外围设备(诸如，控制器150(例如，游戏手柄，可穿戴设备等))提供控制功能的外围固件。
非瞬态存储器140可以包括可由处理器120访问的各种计算机可读介质。在各种实施例中，存储器140可以包括易失性介质和非易失性介质、可移除介质和不可移除介质。例如，存储器140可以包括以下的任意组合：随机存取存储器(“RAM”)、动态RAM(“DRAM”)、静态RAM(“SRAM”)、只读存储器(“ROM”)、闪存、高速缓存存储器和/或任何其它类型的非瞬态计算机可读介质。
虽然被示为单个系统，但是系统100的功能可以被实现为分布式系统。例如，存储器140和处理器120可以跨共同包括系统100的多个不同计算机分布。在一种实施例中，系统100可以是设备(例如，个人计算机、控制台、视频游戏控制台等)的一部分，并且系统100为设备提供触觉效果功能。在另一种实施例中，系统100可以与设备分离，并且可以为设备远程地提供上述功能。
系统100可以可操作地连接到控制器150。控制器150可以是被配置成向系统100提供输入的外围设备。控制器150可以使用或者无线连接或者有线连接可操作地连接到系统100。控制器150还可以包括被配置成使用或者无线连接或者有线连接与系统100通信的本地处理器。可替代地，控制器150可以被配置成不包括本地处理器，并且与控制器150相关联的所有输入信号和/或输出信号可以由系统100的部件来处理。在其中控制器150具有本地处理器的实施例中，附加功能(诸如，被配置成提供控制功能的触觉修改模块和外围固件)可以驻留在控制器150内。
控制器150还可以包括可以由用户与其交互并且可以向系统100提供输入的一个或多个数字按钮、一个或多个模拟按钮、一个或多个缓冲器、一个或多个方向盘、一个或多个模拟杆或数字杆、一个或多个驱动轮、和/或一个或多个用户输入元件。控制器150还可以包括一个或多个模拟或数字触发按钮(或“触发器”)，该一个或多个模拟或数字触发按钮(或“触发器”)可进一步由用户与其交互并且可以进一步向系统100提供输入。如下面更详细描述的，控制器150还可以包括被配置成在控制器150的至少一个触发器上施加双向推力/拉力的马达或另一种类型的致动器或触觉输出设备。
控制器150还可以包括一个或多个致动器或其它类型的触觉输出设备。控制器150的本地处理器，或者其中控制器150不包括本地处理器的实施例中的处理器120可以将与触觉效果相关联的触觉信号发送给控制器150的至少一个致动器。致动器又响应于触觉信号输出触觉效果，诸如振动触感触觉效果、动觉触觉效果或变形触觉效果。可以在控制器150的用户输入元件(例如，触发器、数字按钮、模拟按钮、缓冲器、方向盘、模拟或数字杆、驱动轮或触发器)处体验到触觉效果。可替代地，可以在控制器150的外表面处体验到触觉效果。
致动器是触觉输出设备的示例，其中触觉输出设备是被配置成响应于驱动信号而输出触觉效果的设备，触觉效果诸如振动触感触觉效果、静电摩擦触觉效果、温度变化和/或变形触觉效果。在替代的实施例中，控制器150内的一个或多个致动器可以由一些其它类型的触觉输出设备代替。触觉输出设备可以是例如电马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(“ERM”)、谐波ERM马达(“HERM”)、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器或超声波振动发生器。在一些情况下，触觉输出设备可以包括触觉输出驱动电路。在一些实施例中，触觉输出设备可以是单向的或双向的。
控制器150还可以包括一个或多个扬声器。控制器150的本地处理器，或者其中控制器150不包括本地处理器的实施例中的处理器120可以将音频信号发送给控制器150的至少一个扬声器，该扬声器又输出音频效果。扬声器可以是例如动态扩音器、电动扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带及平面磁性扩音器、弯曲波扩音器、平板扩音器、带状空气运动换能器、等离子弧扬声器和数字扩音器。
控制器150还可以包括一个或多个传感器。传感器可以被配置成检测能量的形式或其它物理性质，诸如但不限于，声音、移动、加速度、生物信号、距离、流量、力/压力/应变力/、弯曲、湿度、线性位置、朝向/倾斜、射频、旋转位置、旋转速度、开关的操作、温度、振动或可见光强度。传感器还可以被配置成将检测到的能量或其它物理性质转换为电信号或表示虚拟传感器信息的任何信号，并且控制器150可以将转换后的信号发送到控制器150的本地处理器，或者在其中控制器150不包括本地处理器的实施例中发送到处理器120。
图2是图示根据本发明的示例实施例的用于修改触觉效果的系统200的简化框图。
如图2所示，中央处理单元(“CPU”)230可以执行各种程序，诸如应用210。应用210生成包括音频流和/或视频流(诸如，媒体流211)的媒体流。此外，应用210生成触觉指令，诸如触觉指令215。CPU 230可以基于通过分析媒体流211确定的各种参数来修改触觉指令215。例如，CPU 230可以基于相机角度的改变或者重放速度的改变来更改触觉指令215。CPU230还可以确定和/或调整触觉指令的执行时间。
媒体流211和触觉指令215可以存储在存储器220中。存储器220还存储数据结构225.1-225.N，数据结构中的每一个定义与相应触觉输出设备相关联的特性。CPU 230可以根据数据结构225.1-225.N执行触觉指令或确定对触觉指令的改变。例如，数据结构225.1-225.N可以存储与最小驱动频率、最大驱动频率、最小强度、最大强度、启动电流、稳态电流等有关的一个或多个值，这些值可以由CPU 230在修改每一个触觉输出设备的触觉效果时使用。
可以以各种方式生成修改后的触觉效果。例如，慢动作触觉效果可以增加触觉效果的持续时间以匹配视觉成分的减慢。在另一个示例中，恒定的触觉效果可以变成周期性效果，或者可替代地，周期性触觉效果可以变成恒定的触觉效果。在再另一个示例中，慢动作触觉效果的幅度可以在强度上增加或减小，或者可以逐渐淡出或提升。在频移的示例中，如果实时触觉效果为10ms开启和10ms关闭，那么对应的慢动作触觉效果可以被修改为16ms开启和16ms关闭，或者替代地，从20ms开启/关闭改变并且逐渐降低到5ms开启/关闭。在各种频移实施例中，一个或多个滤波器可以被配置成在特定频率范围内修改触觉效果。
虽然本文描述的实施例可以在许多应用中使用，但是现在将描述一些非限制性示例以更好地图示实施例。在游戏应用中，游戏玩家是第一人称射击者并在爆炸中死亡。在这个爆炸中，在控制器150的触发器和/或震动(rumble)致动器中的一个或两者上播放触觉效果。在游戏玩家死亡之后，可以播放该动作的慢动作视频(例如，从第三人称的视角)。这里，触觉效果可以从先前感觉到的触觉效果改变为更弱和更拉长的版本。在慢动作重放时，可以更改触觉效果以考虑到相机角度和/或重放速度，这可以可选地包括动态触觉效果。此外，各种实施例可以应用于各种触觉效果，诸如“效果内的效果”，其提供由于较慢的回放速率而播放两个或更多个同时进行的效果(诸如，以复杂纹理在拉长的间隙之间播放效果)的能力，而在实时情况中，优先系统可以禁止播放多个效果。
因此，实施例可以被配置成基于初始触觉效果渲染慢动作触觉效果。在各种配置中，可以动态改变触觉效果参数，或者可以从一组预定的慢动作触觉效果中选择触觉效果参数。
图3图示根据本发明的示例实施例的触觉效果软件栈300的框图。如图3所示，软件栈300包括设备模块310、外围固件模块320、控制器模块330、驱动模块340和震动驱动模块350。触觉效果软件栈300在系统(诸如，图1的系统100)上实现。
设备模块310可以包括各种模块，诸如输入管理代码311、外围输入应用编程接口(“API”)312、震动API 313、触觉效果API 314、直接回放/交叉器315、触发器引擎316、空间化引擎317和编码器318。
输入管理代码311可以包括一组计算机可读指令，在设备内执行的游戏应用或其它类型的应用的情境中，该计算机可读指令管理由控制器330提供的输入。
外围输入API 312可以包括一组计算机可读函数或例程，该计算机可读函数或例程使得游戏输入管理代码311能够与外围固件320交互，以便接收和管理由控制器330提供的输入。
震动API 313可以包括一组计算机可读函数或例程，该计算机可读函数或例程使得输入管理代码311能够与外围固件320交互，以便将震动指令发送给控制器330的一个或多个震动马达或震动致动器(例如，图3的震动马达L和R)。此外，震动指令可以使得控制器330的震动马达或震动致动器产生通用触觉效果或震动触觉效果。
触觉效果API 314(在图3中被标识为“API”)可以包括一组计算机可读函数或例程，该计算机可读函数或例程可由输入管理代码311访问并且使得输入管理代码311能够与外围固件320交互，以便将触觉指令发送给控制器330。此外，触觉指令可以使得控制器330的一个或多个目标马达或目标致动器在控制器330的一个或多个用户输入元件处产生触觉效果。
触觉效果API 314还可以存储一个或多个触觉效果定义。触觉效果定义是包括触觉数据(诸如，触觉信号)的数据结构，该触觉数据被预定义并且可以存储在存储设备(诸如，触觉文件或触觉流)中，并且可以被发送到一个或多个震动马达、震动执行器、目标马达或目标致动器，以在控制器330的部件或用户输入元件处产生触觉效果。触觉数据可以包括对应的触觉效果的一个或多个属性，其中属性可以存储为参数。触觉效果定义的示例参数可以包括振幅参数、频率参数、波形参数、包络参数、幅度(或强度)参数和持续时间参数。
触觉效果API 314可以使得游戏输入管理代码311能够与直接回放/交叉器315、触发器引擎316和空间化引擎317交互，并且还可以根据由游戏输入管理代码311调用的请求来管理直接回放/交叉器315、触发器引擎316和空间化引擎317。此外，触觉效果API 314可以存储用于与外围固件320通信和用于生成一个或多个触觉效果的数据。
直接回放/交叉器315可以接收触觉数据作为输入、产生触觉数据作为输出、以及将触觉数据发送给控制器330的一个或多个目标马达或目标致动器(例如，图3的马达L和R)。在一些实施例中，直接回放/交叉器315可以将输入触觉数据直接输出，而不修改输入触觉数据的格式。这导致输入触觉数据的“原样”回放。在其它实施例中，直接回放/交叉器315可以将以第一格式输入的触觉数据转换为第二格式，并且可以进一步输出转换后的触觉数据。取决于回放的类型，直接回放/交叉器315可以可选地使用可编程交叉器来转换触觉数据。通过转换触觉数据，设备模块可以解构触觉效果并在多个致动器处回放触觉效果。
触觉数据的格式可以是触觉基本流(“HES”)格式。HES格式是用于表示可以被流传输到设备的触觉数据的文件或数据格式。虽然可以在HES格式内加密触觉数据，但是可以用与如何表示未压缩的声音相同或相似的方式来表示触觉数据。
触发器引擎316可以接收触觉数据(诸如，触觉效果定义)，并且可以基于用户输入数据(诸如，触发器数据323)修改触觉数据。触发器数据是包括指示控制器330的一个或多个触发器(例如，图3的触发器L和R)的位置和/或范围的一个或多个参数的数据。触发器引擎316还可以向控制器330发送触觉指令。例如，触发器引擎316可以将触觉指令发送给控制器330的各种用户输入元件。如前所述，触觉指令可以使得控制器330的一个或多个目标马达或目标致动器在控制器330的一个或多个用户输入元件处产生触觉效果。
空间化引擎317可以接收触觉数据并且可以基于空间化数据修改触觉数据。空间化数据可以包括指示触觉效果的期望方向和/或流动(诸如，相应用户输入元件上触觉效果的顺序)的数据。在某些实施例中，空间化引擎317可以从输入管理代码311接收包括方向和/或流动的空间化数据。
空间化引擎317可以修改触觉数据，使得触觉效果(诸如，触发器触觉效果)对于控制器330的一个或多个震动马达或震动致动器(例如，图3的震动马达L和R)进行缩放，并且触觉效果也对于控制器330的一个或多个目标马达或目标致动器(例如，如图3所示的马达L和R)进行缩放。换句话说，空间化引擎317可以修改发送到每一个马达或致动器的触觉数据，并且因此，修改在每一个马达或致动器处体验到的触觉效果，以便传达整体触觉效果的方向和流动感。例如，为了强调在马达或致动器处体验到的触觉效果，空间化引擎317可以缩放触觉效果的一个或多个部分。例如，空间化引擎317可以缩放发送到使得触觉效果被体验到的马达或致动器的触觉数据，从而使得触觉效果更显著(例如，增大的幅度，持续时间等)。此外，空间化引擎317可以缩放发送到其它马达或致动器的触觉数据，从而使得在那些马达或致动器处体验到的其它触觉效果不太显著(例如，减小的幅度、持续时间等)。在一些实施例中，空间化引擎317可以实时地或基本上实时地修改触觉数据。此外，在一些实施例中，空间化引擎317可以在输入与马达或致动器与输出之间具有非线性关系，以便夸大整体触觉效果。
编码器318将从直接回放/交叉器315、触发器引擎316和/或空间化引擎317接收到的触觉数据编码成格式。在一种实施例中，格式可以是HES格式。编码器318可以将编码的触觉数据传输到外围固件320。
外围固件320是用于一个或多个外围设备(例如，控制器)的固件。外围固件320可以包括各种模块，诸如解码器和交叉器321、触发器控件322、触发器数据323、其它功能324和震动控件325。
解码器和交叉器321可以从编码器318接收编码的触觉数据，并对编码的触觉数据进行解码。在一些实施例中，解码器和交叉器321计算可编程交叉器，以便对编码的触觉数据进行解码。解码器和交叉器321可以实时计算可编程交叉器。
触发器控件322是用于控制器330的一个或多个目标马达或目标致动器(例如，图3的马达L和R)的低级控制API。触发器控件322可以接收触发指令并且可以将触发指令转换成用于控制器330的指定目标马达或目标致动器的低级触发指令，并且可以将低级触发指令发送给控制器330的指定目标马达或目标致动器。低级触发指令可以使得指定目标马达或目标致动器在控制器330的指定触发器处产生触发器触觉效果。
如前所述，触发器数据323是包括指示控制器330的一个或多个触发器(例如，图3的触发器L和R)的位置和/或范围的一个或多个参数的数据。外围固件320可以从控制器330接收触发器数据323。外围固件320还可以存储触发器数据323，并且还可以将触发器数据323发送给设备模块310。
其它游戏手柄功能324可以是由外围固件320管理的控制器330的功能。这样的功能可以包括诸如有线/无线通信、输入报告、协议实现、电源管理等的功能。
震动控件325是用于控制器330的一个或多个震动马达或震动致动器(例如，图3的震动马达L和R)的低级控制API。震动控件325可以接收震动指令、可以将震动指令转换为用于控制器330的指定震动马达或震动致动器的低级震动指令，并且可以将低级触发指令发送给控制器330的指定震动马达或震动致动器。
触觉修改模块326可以是可以修改控制器330的触觉输出设备的触觉效果的固件模块或独立硬件芯片(例如，专用集成电路，也称为“ASIC”)。触觉修改模块326可以被配置成控制各种触觉参数(例如，幅度、频率、持续时间)，以在以不同的回放速率重放(诸如，慢动作重放)期间修改触觉效果。在某些实施例中，修改模块326可以包括用于基于媒体信号(诸如，音频和/或视频)的分析来动态计算触觉参数的指令。触觉修改模块326和图1的触觉调制器142可以是相同的模块。
控制器330可以包括触发器L和R。控制器330还可以包括齿轮箱L和R以及马达L和R。马达L和齿轮箱L在控制器330内可操作地耦合到触发器L。同样，马达R和齿轮箱R在控制器330内可操作地耦合到触发器R。当马达L接收到触发指令时，马达L和齿轮箱L可以共同地使得在触发器L处体验到触发器触觉效果。同样，当马达R接收到触发指令时，马达R和齿轮箱R可以共同地使得在触发器R处体验到触发器触觉效果。外围固件320可以使用驱动电子器件340向控制器330的马达L和R发送触发指令。
控制器330还可以包括电位计L和R。电位计L可以检测触发器L的位置和/或范围，并且还可以将检测到的触发器L的位置和/或范围作为触发器数据发送到外围固件320。同样，电位计R可以检测触发器R的位置和/或范围，并且还可以将检测到的触发器R的位置和/或范围作为触发器数据发送到外围固件320。
控制器330还可以包括震动马达L和R。当震动马达L接收到震动指令时，震动马达L使得触觉效果沿着控制器330的左部件被体验到。同样，当震动马达R接收到震动指令时，震动马达R使得触觉效果沿着控制器330的右部件被体验到。外围固件320可以使用震动驱动电子器件350向震动马达L和R发送震动指令。
图4图示根据本发明的示例实施例的触觉修改体系架构。
触觉驱动处理机410可以配置有定时器处理机430，以跟踪每一个触觉输出设备的定时和状态。放置在触觉驱动处理机410和定时器处理机430之间，触觉调制器420可以被配置成修改在触觉输出设备之间分布的触觉效果。此外，触觉调制器420可以被配置成控制各种触觉参数(例如，幅度、频率、持续时间)，以在以不同的回放速率重放(诸如，慢动作重放)期间修改触觉效果。在某些实施例中，触觉调制器420可以包括用于基于媒体信号(诸如，音频和/或视频)的分析来动态计算触觉参数的指令。
图5图示根据本发明的示例实施例的用于修改触觉效果的功能500的流程图。在一些情况下，由存储在存储器或其它计算机可读或有形介质中并由处理器执行的软件来实现图5的流程图的功能。在其它情况下，可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)、或硬件和软件的任何组合来执行功能。
首先，功能500确定包括在修改后的回放序列(诸如，慢动作序列)中的一个或多个触觉效果。例如，触觉效果可以包括触觉效果的子集或整个集合。接下来，在520处，功能500确定在实时序列期间未被渲染的附加触觉效果是否应该在慢动作回放序列中被渲染。
在530处，功能500确定媒体流(尤其视频流)是否包括视角变化。例如，检测到的慢动作回放序列中的视角变化会导致触觉效果的显示位置的平移。接下来，在540处，功能500可以修改一个或多个触觉参数，诸如持续时间、幅度、频率和其它触觉参数，使得用户对事件的触觉感知等同于原始触发的触觉感知(正常速度)。
最后，在550处，可以在触觉输出设备之间生成和分发触觉驱动信号。触觉驱动信号可以由软件应用(诸如，游戏应用)生成。在一些情况下，功能500还可以分发与触觉输出设备中的每一个相关联的操作特性。这里，一个或多个数据结构可以存储相应触觉输出设备的操作特性。
图6图示根据本发明的示例实施例的用于修改触觉效果的功能600的流程图。
首先，功能600在610处接收媒体数据，诸如音频或视频流。从在主机设备上运行的应用程序或其它软件层或程序接收媒体流。接下来，在620处，存储预定量的接收到的媒体数据。例如，可以存储预定数量的媒体片段以使得能够快速处理和确定触觉效果。
随后，在630处，评估所存储的媒体数据以识别在确定要输出哪些触觉效果时相关的特定媒体特性或特征。例如，实施例可以使用智能启发式方法来提取可能在应用程序中具有意义的媒体特征(例如，视频亮度或对比度的变化，或音量的变化等)，并且将这些媒体特征与触觉效果的变化相关联，这些触觉效果与所提取的媒体特征和这些特征所代表的可能事件适当地对应。在另一个示例中，实施例可以使用智能启发式方法来区分在慢动作中修改的渐进触觉效果(例如，汽车滑动或滚下山)和未被修改的离散触觉效果(例如，枪击)。在一些情况下，可以使用持续时间阈值(例如，250ms)来区分逐渐触觉效果和离散触觉效果。触觉可以应用于各种事件，并且在许多当前视频游戏应用中的类似事件可以是来自炸弹、手榴弹、导弹等的爆炸、武器(诸如，枪或火箭)的射击、车辆的碰撞、脚步的图案、物体溅入水中的声音、向玩家提醒一些游戏事件的报警声等。这些事件可以具有可以在适当的分析之后从接收到的媒体数据中识别的特定音频和视频特征。
最后，在640处，可以在触觉输出设备之间生成和分发触觉驱动信号。
图7图示适于与本发明的实施例一起使用的控制器700的功能框图。
如图7所图示，控制器700可以包括各种用户输入元件中的一个或多个。用户输入元件可以指的是由用户操纵以与主机计算机704交互的任何接口设备。示例用户输入元件包括模拟或数字操纵杆710、按钮714、触发器718等。如本领域普通技术人员所理解的，每一个用户输入元件中的一个或多个可以被包括在控制器700上。例如，触发器718的当前描述不将控制器700限制到单个触发器。类似地，本领域技术人员可以理解的是，可以使用多个模拟或数字杆、按钮和其它用户输入元件。
控制器700可以包括本地处理器708。本地处理器708可以经由连接705与主机计算机704交换命令和数据。连接705可以是使用本领域技术人员已知的一个或多个通信协议的有线连接或无线连接。在一些情况下，控制器700可以替代地被配置成不包括本地处理器708。这里，来自控制器700的输入/输出信号可以由主机计算机704直接处置和处理。主机计算机704可以是游戏设备控制台并且显示设备706可以是可操作地耦合到游戏设备控制台的屏幕。在一些情况下，主机计算机704和显示设备706可以组合成单个设备。
控制器700可以包括目标致动器712、716、720(例如，马达)，以直接驱动其用户输入元件中的每一个以及在用户的手通常位于的位置可操作地耦合到壳体902的一个或多个通用或震动致动器722、724。更具体地，模拟或数字杆710包括可操作地耦合到其的目标致动器或马达712，按钮714包括可操作地耦合到其的目标致动器或马达716，并且触发器718包括可操作地耦合到其的目标致动器或马达720。除了多个目标致动器之外，控制器700还包括可操作地耦合到其用户输入元件中的每一个的位置传感器。更具体地，模拟或数字杆710包括可操作地耦合到其的位置传感器711，按钮714包括可操作地耦合到其的位置传感器715，并且触发器718包括可操作地耦合到其的位置传感器719。本地处理器708可操作地耦合到目标致动器712、716、720以及分别耦合到模拟或数字杆710、按钮714和触发器718的位置传感器711、715、719。响应于从位置传感器711、715、719接收到的信号，本地处理器708指示目标致动器712、716、720分别向模拟或数字杆710、按钮714和触发器718直接提供定向的或有针对性的动觉效果。这种有针对性的动觉效果与由通用致动器722、724沿着控制器的整个主体产生的通用触觉效果或震动触觉效果可辨别或可区分。由于多个形态(例如，视频、音频和触觉)同时参与，共同的触觉效果向用户提供了对游戏更强的沉浸感。
图8A和8B图示适于与本发明的实施例一起使用的控制器800的不同视图。如图8A和图8B所示，控制器800可以包括各种部件，诸如壳体802、模拟或数字操纵杆810、(一个或多个)按钮814、触发器818以及震动致动器822和824。
壳体802被形成为使用户容易地适应控制器1000的抓握。控制器800是控制器的示例实施例，并且本发明的实施例可以容易地应用于其它控制器形状。
因此，本文描述的实施例提供了用于生成和修改触觉效果的系统和方法。通过修改与触觉效果序列中的每一个触觉效果相关联的各种参数在慢动作中渲染触觉效果。例如，可以更改每一个触觉效果的幅度、频率和/或持续时间以在慢动作中准确地传达触觉效果序列。
本领域普通技术人员将容易理解的是，可以用不同顺序的步骤和/或用以与所公开的配置不同配置的元件来实施如上所述的本发明。因此，虽然已经基于这些优选实施例描述了本发明，但是对于本领域技术人员将显而易见的是，某些修改、变化和替代构造将是显而易见的，同时保持在本发明的精神和范围之内。因此，为了确定本发明的边界和界限，应当参考所附权利要求。

Claims (21)

1.一种用于在慢动作重放中渲染触觉效果的方法，所述方法包括：
接收媒体流和与所述媒体流对应的触觉效果序列，所述触觉效果序列包括多个触觉效果；以及
在慢动作中渲染所述媒体流和修改后的触觉效果序列，
其中所述修改后的触觉效果序列包括对所述触觉效果序列的至少一个触觉效果的参数的改变。
2.如权利要求1所述的方法，其中根据所述媒体流的特性确定所述修改后的触觉效果序列。
3.如权利要求1所述的方法，其中所述参数包括所述触觉效果的幅度、频率或持续时间中的一个。
4.如权利要求1所述的方法，其中所述修改后的触觉效果序列包括具有修改后的持续时间的触觉效果的第一子集和具有未被修改的持续时间的触觉效果的第二子集。
5.如权利要求1所述的方法，其中在外围设备的一个或多个用户输入元件处产生所述修改后的触觉效果序列。
6.如权利要求1所述的方法，其中在一个或多个触发器或震动输出设备处产生所述修改后的触觉效果序列。
7.如权利要求1所述的方法，其中于在慢动作中渲染所述媒体流和修改后的触觉效果序列之前实时地渲染所述媒体流和所述触觉效果序列。
8.一种非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质存储被配置成由处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
接收媒体流和与所述媒体流对应的触觉效果序列，所述触觉效果序列包括多个触觉效果；以及
在慢动作中渲染所述媒体流和修改后的触觉效果序列，
其中所述修改后的触觉效果序列包括对所述触觉效果序列的至少一个触觉效果的参数的改变。
9.如权利要求8所述的非瞬态计算机可读存储介质，其中根据所述媒体流的特性确定所述修改后的触觉效果序列。
10.如权利要求8所述的非瞬态计算机可读存储介质，其中所述参数包括所述触觉效果的幅度、频率或持续时间中的一个。
11.如权利要求8所述的非瞬态计算机可读存储介质，其中所述修改后的触觉效果序列包括具有修改后的持续时间的触觉效果的第一子集和具有未被修改的持续时间的触觉效果的第二子集。
12.如权利要求8所述的非瞬态计算机可读存储介质，其中在外围设备的一个或多个用户输入元件处产生所述修改后的触觉效果序列。
13.如权利要求8所述的非瞬态计算机可读存储介质，其中在一个或多个触发器或震动输出设备处产生所述修改后的触觉效果序列。
14.如权利要求8所述的非瞬态计算机可读存储介质，其中于在慢动作中渲染所述媒体流和修改后的触觉效果序列之前实时地渲染所述媒体流和所述触觉效果序列。
15.一种设备，所述设备包括：
处理器；以及
存储器，所述存储器存储由所述处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
接收媒体流和与所述媒体流对应的触觉效果序列，所述触觉效果序列包括多个触觉效果；以及
在慢动作中渲染所述媒体流和修改后的触觉效果序列，
其中所述修改后的触觉效果序列包括对所述触觉效果序列的至少一个触觉效果的参数的改变。
16.如权利要求15所述的设备，其中根据所述媒体流的特性确定所述修改后的触觉效果序列。
17.如权利要求15所述的设备，其中所述参数包括所述触觉效果的幅度、频率或持续时间中的一个。
18.如权利要求15所述的设备，其中所述修改后的触觉效果序列包括具有修改后的持续时间的触觉效果的第一子集和具有未被修改的持续时间的触觉效果的第二子集。
19.如权利要求15所述的设备，其中在外围设备的一个或多个用户输入元件处产生所述修改后的触觉效果序列。
20.如权利要求15所述的设备，其中在一个或多个触发器或震动输出设备处产生所述修改后的触觉效果序列。
21.如权利要求15所述的设备，其中于在慢动作中渲染所述媒体流和修改后的触觉效果序列之前实时地渲染所述媒体流和所述触觉效果序列。
CN201680004481.0A 2015-02-25 2016-02-25 为慢动作修改触觉效果 Pending CN107106908A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120702P 2015-02-25 2015-02-25
US62/120,702 2015-02-25
PCT/US2016/019515 WO2016138235A1 (en) 2015-02-25 2016-02-25 Modifying haptic effects for slow motion

Publications (1)

Publication Number Publication Date
CN107106908A true CN107106908A (zh) 2017-08-29

Family

ID=56690411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680004481.0A Pending CN107106908A (zh) 2015-02-25 2016-02-25 为慢动作修改触觉效果

Country Status (6)

Country Link
US (1) US10216277B2 (zh)
EP (1) EP3261737B1 (zh)
JP (1) JP6801838B2 (zh)
KR (1) KR20170117370A (zh)
CN (1) CN107106908A (zh)
WO (1) WO2016138235A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113874815A (zh) * 2019-05-28 2021-12-31 索尼集团公司 信息处理装置、信息处理方法和程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US10345758B2 (en) * 2018-10-07 2019-07-09 Rising Star Pathway, a California Corporation Processor controlled energy harvester based on oscillating weight type energy collectors
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US10984637B2 (en) * 2019-09-24 2021-04-20 Nvidia Corporation Haptic control interface for detecting content features using machine learning to induce haptic effects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法
CN102959544A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于同步媒体的方法和系统
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
CN104107539A (zh) * 2013-04-22 2014-10-22 伊默森公司 具有触感使能触发器的游戏设备

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
US7393920B2 (en) * 2003-06-23 2008-07-01 Cem Corporation Microwave-assisted peptide synthesis
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
WO2006051581A1 (ja) 2004-11-09 2006-05-18 Takahiko Suzuki 触覚フィードバックコントローラ及びその制御方法並びに触覚フィードバックコントローラを用いたメッセージ伝達方法
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
JP2007324829A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 振動体感再生装置及び振動体感再生方法
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US8117364B2 (en) * 2007-11-13 2012-02-14 Microsoft Corporation Enhanced protocol and architecture for low bandwidth force feedback game controller
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8740622B2 (en) 2008-01-17 2014-06-03 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US9050529B2 (en) * 2012-01-30 2015-06-09 Microsoft Technology Licensing, Llc Force feedback triggers
US20120223880A1 (en) * 2012-02-15 2012-09-06 Immersion Corporation Method and apparatus for producing a dynamic haptic effect
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9019088B2 (en) 2012-06-29 2015-04-28 Lenovo (Singapore) Pte. Ltd. Modulation of haptic feedback
CN104685444A (zh) * 2012-09-25 2015-06-03 诺基亚技术有限公司 具有触觉反馈的方法和显示设备
WO2014084374A1 (ja) * 2012-11-30 2014-06-05 日本電気株式会社 通信システム、通信方法、通信装置、プログラム、及び記録媒体
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP3014394B1 (en) 2013-07-05 2022-06-22 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US20160202760A1 (en) * 2014-06-06 2016-07-14 Microsoft Technology Licensing Llc Systems and methods for controlling feedback for multiple haptic zones
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
JP6379778B2 (ja) * 2014-07-15 2018-08-29 富士電機株式会社 半導体装置および半導体装置の製造方法
WO2016018035A1 (ko) 2014-07-28 2016-02-04 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 모듈
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法
CN102959544A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于同步媒体的方法和系统
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
CN104107539A (zh) * 2013-04-22 2014-10-22 伊默森公司 具有触感使能触发器的游戏设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113874815A (zh) * 2019-05-28 2021-12-31 索尼集团公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
EP3261737B1 (en) 2021-06-09
JP6801838B2 (ja) 2020-12-16
US10216277B2 (en) 2019-02-26
WO2016138235A1 (en) 2016-09-01
US20160246377A1 (en) 2016-08-25
JP2018513430A (ja) 2018-05-24
EP3261737A4 (en) 2018-10-10
KR20170117370A (ko) 2017-10-23
EP3261737A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN108399003B (zh) 带有选择的触觉元数据的触觉广播
CN105653014B (zh) 具有触觉减弱防止组件的外围设备
US10620706B2 (en) Haptic trigger modification system
CN107106906A (zh) 媒体驱动的触觉
CN104375633B (zh) 用于触觉摆弄的系统和方法
CN107106908A (zh) 为慢动作修改触觉效果
CN104635921A (zh) 触觉触发控制系统
CN105653026A (zh) 触觉控制器
JP2017062788A (ja) 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法
CN107111374A (zh) 触觉效果的覆盖
CN104623897A (zh) 触觉空间化系统
JP2016001472A (ja) オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法
CN108509028A (zh) 用于虚拟情感触摸的系统和方法
CN109478089A (zh) 多模态触觉效果

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829