CN107924235A - 触觉效果设计系统 - Google Patents

触觉效果设计系统 Download PDF

Info

Publication number
CN107924235A
CN107924235A CN201680049343.4A CN201680049343A CN107924235A CN 107924235 A CN107924235 A CN 107924235A CN 201680049343 A CN201680049343 A CN 201680049343A CN 107924235 A CN107924235 A CN 107924235A
Authority
CN
China
Prior art keywords
haptic
drive signal
haptic effect
effect
animation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680049343.4A
Other languages
English (en)
Inventor
W·S·里恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN107924235A publication Critical patent/CN107924235A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Abstract

本文描述的系统和方法用于实时编辑触觉效果。在开始时，接收动画对象。触觉效果与动画对象相关联，触觉效果具有对应的触觉驱动信号。随后，插值点沿着时间线与触觉驱动信号相关联。在连续的插值点之间调整触觉驱动信号的一个或多个参数以生成修改后的触觉效果。在调整参数的同时，可以渲染动画对象和修改后的触觉效果。

Description

触觉效果设计系统
对相关申请的交叉引用：
本申请要求于2015年9月25日提交的美国临时专利申请No.62/233,120的优先权利益，该美国临时专利申请的全部内容通过引用被结合于此。
技术领域
本发明的实施例一般而言涉及电子设备，并且更具体地涉及产生和编辑触觉效果的电子设备。
背景技术
触觉涉及通过向用户施加诸如力、振动和运动之类的触觉反馈效果(即，“触觉效果”)来利用用户的触摸感觉的触感和力反馈技术。诸如移动设备、触摸屏设备和个人计算机之类的设备可以被配置为生成触觉效果。例如，当用户使用例如按钮、触摸屏、控制杆、操纵杆、轮子或一些其它控制元件与设备交互时，设备的操作系统可以通过控制电路系统发送命令以产生适当的触觉效果。
设备可以被配置为协调触觉效果的输出和其它内容(诸如音频)的输出，使得触觉效果被并入到其它内容中。例如，音频效果开发人员可以开发可以由设备输出的音频效果，诸如枪击、爆炸或汽车撞击。此外，诸如视频效果之类的其它类型的内容可以被开发并且随后由设备输出。
触觉效果开发人员可以为设备创作触觉效果，并且设备可以被配置为与其它内容一起输出触觉效果。但是，这样的过程一般需要触觉效果开发人员的个人判断来创作正确地补充音频效果或其它类型的内容的触觉效果。没有补充音频效果或其它类型的内容的创作不佳的触觉效果可能产生其中触觉效果与音频效果或其它内容不“啮合”的整体不协调的效果。这种类型的用户体验一般是不期望的。
发明内容
本发明的实施例涉及被配置为大幅改进现有技术的产生和编辑触觉效果的电子设备。
实施例的特征和优点在下面的描述中阐述，或者从描述中将是明显的，或者可以通过对本发明的实践来了解。
在一个示例中，提供了用于编辑触觉效果的系统和方法。例如，系统和方法可以被配置为检索动画对象，将触觉效果与动画对象相关联，其中该触觉效果具有对应的触觉驱动信号，沿着触觉驱动信号的时间线将多个插值点与触觉驱动信号相关联，调整连续插值点之间的触觉驱动信号的一个或多个参数以生成修改后的触觉效果，以及渲染动画对象和修改后的触觉效果。因此，本发明的实施例改进了触觉效果的生成和编辑。
附图说明
从以下要结合附图考虑的优选实施例的详细描述中，其它实施例、细节、优点和修改将变得明显。
图1是根据本发明的示例实施例的启用触觉的系统/设备的框图。
图2示出了根据本发明的示例实施例的触觉编辑应用。
图3示出了根据本发明的示例实施例的用于编辑触觉效果的功能的流程图。
图4示出了根据本发明的示例实施例的触觉驱动信号。
图5A-图5C示出了根据本发明的其它示例实施例的触觉驱动信号。
图6A-图6B示出了根据本发明的又一个示例实施例的触觉驱动信号。
图7A-图7B示出了根据本发明的又一个示例实施例的触觉驱动信号。
图8示出了根据本发明的另一个示例实施例的多个触觉驱动信号。
图9示出了根据本发明的示例实施例的触觉预设库。
具体实施方式
现在将详细参考实施例，实施例的示例在附图中示出。在以下具体实施方式中，阐述了许多具体细节以便提供对本发明的透彻理解。但是，对于本领域的普通技术人员而言将明显的是，可以在没有这些具体细节的情况下实践本发明。在其它实例中，公知的方法、过程、部件和电路没有被详细描述，以免不必要地使实施例的方面模糊。只要有可能，相同的附图标记就将用于相同的元件。
示例实施例一般而言涉及用于在游戏引擎或其它非线性引擎中设计和/或编辑触觉效果的系统和方法，由此动画对象和伴随的媒体效果(例如，音频和/或视频)与触觉效果同步渲染以实现在应用情境(例如，游戏情境)中实时预览和监视触觉效果。提供了改进的触觉编辑应用，以增强由高质量触觉输出设备渲染的触觉效果的范围，并且进一步增强触觉开发人员设计或以其它方式操纵触觉效果的能力。根据各种实施例，可以实时地或在动画对象或其它输入的回放期间渲染触觉效果。
图1是根据本发明的示例实施例的启用触觉的系统/设备10的框图。
在各种示例实施例中，系统10是移动设备(例如，智能电话)或非移动设备(例如，台式计算机)的一部分，并且系统10为设备提供触觉功能。在另一个示例实施例中，系统10是以任何方式并入到与用户接触的对象中的设备的一部分，并且系统10为这样的设备提供触觉功能。例如，在一个实施例中，系统10可以包括可穿戴设备，并且系统10为可穿戴设备提供触觉功能。可穿戴设备的示例包括腕带、头带、眼镜、戒指、腿带、集成到衣服中的阵列或者用户可以穿在身上或可以由用户保持的任何其它类型的设备。一些可穿戴设备可以是“启用触觉的”，这意味着它们包括生成触觉效果的机制。在另一个示例实施例中，系统10与设备(例如，移动设备或可穿戴设备)分离，并且远程地为设备提供触觉功能。
虽然被示为单个系统，但是系统10的功能可以被实现为分布式系统。系统10包括用于传送信息的总线12或其它通信机制，以及耦接到总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用处理器，或者可以是专门设计以提供触觉效果的处理器，诸如专用集成电路(“ASIC”)。处理器22可以是操作整个系统10的相同处理器，或者可以是分开的处理器。处理器22可以基于高级参数来确定要渲染哪些触觉效果以及渲染效果的顺序。一般，定义特定触觉效果的高级参数包括幅度、频率和持续时间。诸如流传输马达命令之类的低级参数也可以用于确定特定触觉效果。如果触觉效果包括在生成触觉效果时的这些参数的一些变化或者基于用户交互的这些参数的变化，那么该触觉效果可以被认为是“动态的”。
处理器22将控制信号输出到触觉驱动电路(未示出)，该触觉驱动电路包括用于向致动器26供应所需电流和电压(即，“马达信号”)以引起期望的触觉效果的电子部件和电路系统。在图1所描绘的示例实施例中，致动器26耦接到系统10。可替代地，系统10可以包括多于一个致动器26，并且每个致动器可以包括分开的驱动电路，它们都耦接到公共处理器22。
根据各种实施例，处理器22和触觉驱动电路被配置为控制致动器26的触觉驱动信号。触觉驱动信号的各种参数可以被修改。例如，参数可以包括开始时间、持续时间、循环计数(即，触觉效果被重复的次数)、剪辑长度(即，被重复的触觉效果的单个实例的持续时间)、信号类型(即，如果在双向致动器上渲染的话触觉效果的方向，诸如推或拉)、强度类型(即，相对于双向致动器的信号类型的强度曲线)、信号间隙(即，对于脉冲效果，在脉冲之间的触觉静默的时段)、信号宽度(即，对于脉冲效果，每个脉冲的持续时间)、间隙优先(即，对于脉冲效果，指定触觉效果应当以脉冲开始还是以间隙开始)、链路间隙宽度比(即，宽度和间隙参数之间的比率)、信号形状(例如，正弦、方形、三角形、锯齿等)以及其它参数。通过使用这些参数，可以实时编辑和渲染应用的触觉效果。
非暂态存储器14可以包括可以由处理器22访问的各种计算机可读介质。在各种实施例中，本文描述的存储器14和其它存储器设备可以包括易失性和非易失性介质、可移动和不可移动介质。例如，存储器14可以包括随机存取存储器(“RAM”)、动态RAM(“DRAM”)、静态RAM(“SRAM”)、只读存储器(“ROM”)、闪存存储器、高速缓冲存储器和/或任何其它类型的非暂态计算机可读介质的任何组合。存储器14存储由处理器22执行的指令。在这些指令中，存储器14包括用于触觉效果设计模块16的指令。触觉效果设计模块16包括在由处理器22执行时启用触觉编辑应用并且还使用致动器26渲染触觉效果的指令，如下面更详细公开的。存储器14还可以位于处理器22的内部，或者是内部存储器和外部存储器的任何组合。
致动器26可以是可以生成触觉效果的任何类型的致动器或触觉输出设备。通常，致动器是触觉输出设备的示例，其中触觉输出设备是被配置为响应于驱动信号而输出触觉效果的设备，这些触觉效果诸如振动触感触觉效果、静电摩擦触觉效果、温度变化和/或变形触觉效果。虽然贯穿具体实施方式可以使用术语致动器，但是本发明的实施例可以容易地应用于各种触觉输出设备。致动器26可以是例如电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(“ERM”)、谐波ERM马达(“HERM”)、线性谐振致动器(“LRA”)、螺线管谐振致动器(“SRA”)、压电致动器、宏纤维复合物(“MFC”)致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、超声波振动发生器等。在一些实例中，致动器本身可以包括触觉驱动电路。
附加地或可替代地，系统10可以包括或者可以耦接到其它类型的触觉输出设备(未示出)，这些其它类型的触觉输出设备可以是非机械的或非振动的设备，诸如使用静电摩擦(“ESF”)、超声波表面摩擦(“USF”)的设备、利用超声触觉换能器来引发声辐射压力的设备、使用触觉基板和柔性或可变形表面或形状改变设备并且可以附接到用户身体的设备、提供喷射的触觉输出(诸如使用空气喷嘴的一阵空气)的设备，等等。
通常，致动器可以被特征化为以单个频率生成振动触觉效果的标准清晰度(“SD”)致动器。SD致动器的示例包括ERM和LRA。与SD致动器相比，诸如压电致动器或EAP致动器之类的高保真致动器或HD致动器能够以多个频率生成高带宽/清晰度(definition)触觉效果。HD致动器的特征在于它们产生具有可变的振幅和具有对瞬态驱动信号的快速响应的宽带宽触感效果的能力。虽然本发明的实施例由较高质量的致动器(诸如(例如，在ActiveFORCE游戏控制器触发元件上)提供推/拉效果的双向致动器或频率可修改的致动器)促进，但是实施例不限于此，并且实施例可以容易地应用于任何触觉输出设备。
在从远程源发送和/或接收数据的实施例中，系统10还包括用于提供移动无线网络通信(诸如红外、无线电、Wi-Fi、蜂窝网络通信等)的通信设备20(诸如网络接口卡)。在其它实施例中，通信设备20提供有线网络连接，诸如以太网连接、调制解调器等。
处理器22还经由总线12耦接到显示器24，诸如液晶显示器(“LCD”)，以用于向用户显示图形表示或用户界面。显示器24可以是被配置为发送和接收来自处理器22的信号的触敏输入设备，诸如触摸屏，并且可以是多点触摸触摸屏。
在各种实施例中，系统10包括或耦接到扬声器28。处理器22可以将音频信号发送到扬声器28，扬声器28又输出音频效果。扬声器28可以是例如动态扩音器、电动态扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带和平面磁扩音器、弯曲波扩音器、平板扩音器、heil空气运动换能器、等离子弧扬声器、数字扩音器等。在替代实施例中，除了扬声器28(图1中未示出)之外，系统10还可以包括一个或多个附加的扬声器。系统10可以不包括扬声器28，并且与系统10分离的设备可以包括输出音频效果的扬声器，并且系统10通过通信设备20向该设备发送音频信号。
系统10还可以包括或耦接到传感器30。传感器30可以被配置为检测能量形式或其它物理性质，诸如但不限于声音、移动、加速度、生物信号、距离、流、力/压力/应力/弯曲、湿度、线性位置、朝向/倾斜度、射频、旋转位置、旋转速度、开关的操纵、温度、振动、可见光强度等。传感器30还可以被配置为将检测到的能量或其它物理性质转换为表示虚拟传感器信息的电信号或任何信号。传感器30可以是任何设备，诸如但不限于加速度计、电流皮肤响应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声波传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏电阻器、载荷元件、LuSense CPS2 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑块)、线性可变差动变压器、罗盘、倾角计、磁标签(或射频识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻器、温度换能集成电路等)、麦克风、光度计、高度计、生物监视器、相机、光敏电阻器等、或者输出心电图、脑电图、肌电图、眼电图、电腭图或任何其它电生理输出的任何设备。
在替代实施例中，除了传感器30之外，系统10还可以包括或耦接到一个或多个附加的传感器(图1中未示出)。在这些实施例中的一些实施例中，传感器30和一个或多个附加的传感器可以是传感器阵列的部分或某种其它类型的传感器的集合/布置。此外，在其它替代实施例中，系统10可以不包括传感器30，并且与系统10分离的设备包括检测能量形式或其它物理性质的传感器，并且将检测到的能量或其它物理性质转换成表示虚拟传感器信息的电信号或其它类型的信号。设备然后可以通过通信设备20将转换后的信号发送到系统10。
图2示出了根据本发明的示例实施例的触觉编辑应用200。在执行编辑应用(例如，游戏应用)的一个或多个触觉效果的功能时，媒体编辑应用200渲染一个或多个用户界面，诸如图2中所描绘的示例界面，包括视觉预览210、参数模块220、时间线编辑器230以及插值器模块240。虽然没有示出，但是可以显示附加的用户界面来渲染应用本身，以使得可以在编辑触觉效果的同时使用应用。
如图2所示，触觉编辑应用200被配置为执行编辑视觉预览210(诸如二维或三维动画对象)的一个或多个触觉效果的功能。视觉预览210可以包括一个或多个导入的二维或三维动画对象(例如，表示用户身体、身体部位、物理对象或其组合的对象)。例如，动画对象可以以图形方式绘出任何物理对象或游戏角色。还可以使用附加的动画，诸如粒子效果。这样的三维对象的动画可以被预先确定，或者可替代地，可以基于用户的移动或输入来实时地渲染。
当使用多个动画时，可以生成一个或多个混合动画、合成动画或蒙太奇动画。例如，可以使用任何可视化编程语言(“VPL”)来混合或以其它方式修改三维动画。可替代地或附加地，用户可以选择修改视觉预览210的一个或多个部分或整个视觉预览。在顺序组合多个动画的情况下，它们的组合可以诸如在时间线编辑器230中应用于单个时间线。这里，可以使用一个或多个触觉文件(例如，HAPT或触觉文件)。
在示出的实施例中，视觉预览210是可以基于用户与应用的交互来渲染的三维动画。相应地，视觉预览210还可以包括加速度信号、朝向信号以及用传感器、陀螺仪、加速度计或其它运动感测设备捕获的其它数据。
在一些实例中，视觉预览210还可以包括媒体信号和/或其它信号或者与媒体信号和/或其它信号相关联。例如，音频信号可以用于与触觉效果同步地渲染声音效果。在另一个示例中，可以使用一个或多个附加信号来渲染其它效果，诸如粒子效果。
触觉编辑应用200还包括参数模块220。在参数模块220内，可以修改用于触觉驱动信号235(即，应用于图1的致动器的触觉驱动信号的可视化)的各种参数。例如，参数可以包括开始时间、持续时间、循环计数、剪辑长度、信号类型、强度类型、信号间隙、信号宽度、间隙优先、链路间隙宽度比(link gap to width)、信号形状等。通过使用这些参数，应用的触觉效果可以被实时编辑和渲染。
通过改变参数模块220，即使使用单频触觉输出设备，也可以渲染或模拟一个或多个多频触觉效果。例如，通过改变信号宽度和信号间隙参数，可以在不改变触觉驱动信号235的包络的情况下模拟一个或多个多频触觉效果。在另一个示例中，可以通过缩窄重复或循环的触觉剪辑或驱动信号的信号宽度和信号间隙参数来渲染不同的纹理(texture)。
此外，可以使用时间线编辑器230在视觉上描绘和修改触觉效果。在时间线编辑器230内，可视地渲染触觉驱动信号235的参数和包络。在沿着触觉驱动信号235的任何给定点处，包络的幅度指示对应的触觉效果的强度。虽然示出了一个触觉驱动信号235，但是可以添加、去除或修改附加的触觉驱动信号。每个触觉驱动信号可以与一个或多个触觉通道或触觉输出设备(例如，左游戏控制器触发器)对应。可替代地，多个触觉驱动信号可以同时或顺序地施加到单个触觉输出设备。
为了修改触觉驱动信号235，可以使用一个或多个控制点238或插值点248。每个控制点238和插值点248可以用于定义触觉驱动信号235的后续参数。但是，控制点238还可以用于定义或修改触觉驱动信号235的包络。在连续的控制点238之间，触觉驱动信号235的包络的部分可以是线性的或弯曲的。例如，可以使用预定义的或自定义的曲线，诸如对数曲线、指数曲线和抛物线曲线。在一些实例中，可以使用附加的曲线来确定插值的速率。可替代地，触觉驱动信号235的包络可以被拟合为正弦波、方波、三角波、锯齿波等。在触觉驱动信号的包络(例如，使用曲线)被改变的情况下，触觉驱动信号的幅度可以改变或改变方向(例如，拉信号可以变成推信号，或者反之亦然)。
在一些实例中，可以使用连续的插值点248来定义用于修改一个或多个参数值的一个或多个时间段(例如，1秒)。可替代地，控制点238和插值点248可以与应用的事件(例如，碰撞、爆炸等)对应。在另一个替代配置中，可以基于应用的事件(例如，汽车的加速度或速度或爆炸的强度)来确定连续控制点238或连续插值点248之间的参数值。
示例驱动信号235是推/拉触觉效果。双向触觉输出设备可以用于生成推/拉触觉效果。在分段236内，触觉驱动信号235具有正值并且是推信号。相反，触觉驱动信号235在分段237内具有负值并且是拉信号。虽然绘出了示例推/拉触觉驱动信号，但是无数的触觉驱动信号235是可行的，并且本发明的实施例不限于此。
在一些实例中，视觉预览210可以包括识别用于渲染触觉效果的点或帧的一个或多个标签(未示出)。应用编程接口(“API”)可以用于生成和/或修改标签及其位置。标签还可以被称为“效果调用”或“通知”。标签可以由触觉驱动信号235生成或者在触觉驱动信号235之前手动生成。例如，标签可以基于触觉驱动信号235的特性而动态生成。通过使用标签，动画和对应的触觉效果可以以可变的速度(例如，慢运动或加速运动)来渲染。此外，标签可以用于使动画与触觉驱动信号235同步。
虽然未示出，但是可以选择一组触觉驱动信号235以用于编辑。在选择一组触觉驱动信号之后，可以同时修改和渲染对每个触觉驱动信号的一个或多个参数或其它特性(例如，包络)的改变。其它特性可以包括频率或强度的动态变化、随机化(randomization)等。
因此，通过使用触觉编辑应用200，动画对象和伴随的媒体可以与触觉效果同步渲染，以实现应用内的触觉效果的实时预览和编辑。与已知的触觉编辑应用相比，本发明的实施例提供了更容易地操纵触觉效果的能力。例如，先前已知的触觉编辑应用限于线性(即，不是参数化的或弯曲的)修改。此外，可以更容易地控制附加参数，诸如信号间隙、信号宽度、链路间隙宽度比以及其它参数。因此，可以更容易地设计和渲染多频效果。此外，通过使用参数化方法，可以更容易地应用新的触觉输出设备。当新触觉输出设备出现时，可以更容易地重新配置触觉驱动信号来利用这些新触觉输出设备的参数范围。而且，本发明的实施例不类似于限制为使用预先生成的音频文件的音频编辑应用。
图3示出了根据本发明的示例实施例的用于编辑触觉效果的功能300的流程图。在一些实例中，图3的流程图的功能通过存储在存储器或其它计算机可读或有形介质中的软件来实现，并且由处理器执行。在其它实例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任何组合来执行。
在310处，功能300接收动画对象作为输入。动画对象可以包括被预先确定或者基于用户的移动被实时渲染的一个或多个二维或三维动画对象。例如，动画对象可以以图形方式绘出任何物理对象或游戏角色。在一些实例中，动画对象还可以包括媒体信号。
接下来，在320处，功能300将一个或多个触觉效果与动画对象相关联。触觉效果中的每个触觉效果可以具有对应的触觉驱动信号。随后，在330处，功能300沿着触觉驱动信号的时间线将多个插值点与触觉驱动信号相关联。这里，在340处，触觉驱动信号的一个或多个参数可以在连续的插值点之间进行调整，以生成修改后的触觉效果。
例如，触觉驱动信号的包络的部分在连续的插值点之间可以是线性的或弯曲的。可以应用预定义或自定义曲线来修改触觉驱动信号的包络。在一些实例中，插值点可以基于应用的属性和/或事件，诸如速度(例如，当慢时触觉效果较弱，当快时触觉效果较强)。插值点还可以与应用的事件(例如，碰撞、爆炸等)对应。在另一个示例中，可以改变其它参数(诸如信号宽度和/或信号间隙)以模拟多频触觉效果或不同的纹理。
最后，在350处，可以渲染动画对象和对应的修改后的触觉效果。在调整参数的同时，可以渲染动画对象和修改后的触觉效果。动画对象可以在应用中渲染，并且触觉效果可以由触觉输出设备(诸如图1的致动器)来渲染。
图4示出了根据本发明的示例实施例的触觉驱动信号435。如图4所示，触觉驱动信号435可以用于渲染纹理触觉效果，如在标题为“Systems and Methods for UsingMultiple Actuators to Realize Textures”的美国专利申请No.12/697,042中所描述的，该美国专利申请的全部内容通过引用被结合于此。特别地，可以通过缩窄信号宽度和信号间隙参数来模拟各种纹理。此外，纹理化的触觉效果可以结合循环之间的较长的间隙来循环一个或多个剪辑信号。在一些实施例中，可以使用关键帧随时间修改循环中每个剪辑的长度。
图5A-图5C示出了根据本发明的另一个示例实施例的触觉驱动信号535A、535B、535C。除了修改各种触觉参数之外，触觉设计者可以随时间修改参数。在图5A中，基础触觉驱动信号535A的参数不随着时间而改变。但是，触觉编辑应用可以使得一个或多个参数能够遵循关键帧之间的插值。例如，可以使用关键帧随时间修改循环间隙、信号宽度、信号间隙、剪辑长度和其它参数。关键帧可以用于覆写(override)触觉效果的基础值。例如，如果基础频率是100Hz，那么关键帧可以被放置在开始处，默认为100Hz。可以在触觉效果的末尾放置附加的关键帧以覆写频率，该频率由用户设置为200Hz。在关键帧之间，可以应用一个或多个插值技术(例如，如果用户选择线性插值，那么在触觉效果的中间的频率可以是150Hz)。这里，可以使用关键帧按钮550来添加关键帧。
图5B和图5C中的每一个示出了随着时间而变化的触觉参数。在图5B中，触觉驱动信号535B的循环间隙参数可以在区域560中增加，或者在区域570中减小。在图5C中，触觉驱动信号535C的信号间隙参数随着时间而增加。此外，触觉驱动信号535C的信号宽度参数随着时间而减少。
图6A-6B示出了根据本发明的其它示例实施例的触觉驱动信号635A、635B。图6A示出了基础触觉驱动信号635A。触觉驱动信号635A尚未被随机化或以其它方式被过滤。但是，如图6B所示，触觉驱动信号635B的一个或多个部分已被随机化。触觉驱动信号635B的随机化可以使用一个或多个随机化算法或过滤器来实现。随机化可以用于模拟颠簸的道路、夸大的纹理、让事物感觉像“带电”等。通常，随机化增加了沉浸感和动力学的附加感知。
图7A-图7B示出了根据本发明的其它示例实施例的触觉驱动信号735A、735B。图7A示出了其中强度类型参数已经被设置为“绝对值”的触觉驱动信号735A。这里，推/拉触觉驱动信号可以被渲染为只推(push only)信号，其中使用绝对值算法将拉部分转换为推部分。图7B示出了其中强度类型参数已经被设置为“钳位零到一”的触觉驱动信号735B。这里，推/拉触觉驱动信号可以被渲染为只推信号，其中拉部分从触觉驱动信号735B中去除。强度类型参数可以根据所使用的致动器的特性进行调整。例如，当使用单向致动器(即，不是双向致动器)时，可以选择“绝对值”或“钳位零到一”的设置。
图8示出了根据本发明的另一个示例实施例的多个触觉驱动信号835A、835B。每个触觉驱动信号835A、835B可以与一个或多个触觉通道或触觉输出设备(例如，左触发器、右触发器等)对应。可替代地，多个触觉驱动信号(诸如触觉驱动信号835A、835B)可以被同时或顺序地施加到单个触觉输出设备。
图9示出了根据本发明的示例实施例的触觉预设库900。如图9所示，触觉预设库900可以包括各种剪辑预设980A-980C，以及一个或多个触觉淡化预设980D和一个或多个曲线预设980E。在触觉预设980A-980E中，特定触觉预设可以与应用的特定事件类型结合使用。例如，爆炸动画对象可以利用淡化预设980D中的在开始时具有最大触觉强度并且随着爆炸接近尾声而淡化的淡化预设。这里，可以基于触觉输出设备的特性(例如，它的最大强度或其百分比)来确定淡出(以及淡入)特性。
因此，本文描述的示例实施例提供了用于设计和/或编辑触觉效果的系统和方法。动画对象和伴随的媒体效果与触觉效果同步渲染，以实现在应用情境中实时预览和编辑触觉效果。改进的触觉编辑应用增强了由高质量触觉输出设备渲染的触觉效果的范围以及触觉开发人员设计或以其它方式操纵触觉效果的能力。触觉效果可以被实时地渲染或者在动画对象或其它输入的回放期间渲染。
已经具体示出和/或描述了若干实施例。但是，将理解的是，在不脱离本发明的精神和预期范围的情况下，所公开的实施例的修改和变型被上述教导涵盖并且在所附权利要求的范围内。本文描述的实施例仅仅是许多可能的实现中的一些实现。此外，实施例可以容易地应用于各种致动器类型和其它触觉输出设备。

Claims (20)

1.一种用于编辑触觉效果的方法，所述方法包括：
检索动画对象；
将触觉效果与所述动画对象相关联，所述触觉效果具有对应的触觉驱动信号；
沿着时间线将插值点与所述触觉驱动信号相关联；
调整连续插值点之间的所述触觉驱动信号的一个或多个参数以生成修改后的触觉效果；以及
渲染所述动画对象和所述修改后的触觉效果。
2.如权利要求1所述的方法，其中所述动画对象基于用户的运动。
3.如权利要求1所述的方法，其中所述触觉效果是使用单频触觉输出设备渲染的多频触觉效果。
4.如权利要求1所述的方法，其中所述触觉效果是通过修改所述触觉驱动信号的多个参数来渲染的纹理触觉效果。
5.如权利要求1所述的方法，其中所述触觉驱动信号的包络在所述触觉驱动信号的连续控制点之间被修改。
6.如权利要求1所述的方法，其中所述触觉驱动信号的参数使用触觉库来调整。
7.如权利要求1所述的方法，其中所述触觉驱动信号的参数根据应用内发生的事件来调整。
8.一种存储被配置为由处理器执行的一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括用于以下操作的指令：
检索动画对象；
将触觉效果与所述动画对象相关联，所述触觉效果具有对应的触觉驱动信号；
沿着时间线将插值点与所述触觉驱动信号相关联；
调整连续插值点之间的所述触觉驱动信号的一个或多个参数以生成修改后的触觉效果；以及
渲染所述动画对象和所述修改后的触觉效果。
9.如权利要求8所述的非暂态计算机可读存储介质，其中所述动画对象基于用户的运动。
10.如权利要求8所述的非暂态计算机可读存储介质，其中所述触觉效果是使用单频触觉输出设备渲染的多频触觉效果。
11.如权利要求8所述的非暂态计算机可读存储介质，其中所述触觉效果是通过修改所述触觉驱动信号的多个参数来渲染的纹理触觉效果。
12.如权利要求8所述的非暂态计算机可读存储介质，其中所述触觉驱动信号的包络在所述触觉驱动信号的连续控制点之间被修改。
13.如权利要求8所述的非暂态计算机可读存储介质，其中所述触觉驱动信号的参数使用触觉库来调整。
14.如权利要求8所述的非暂态计算机可读存储介质，其中所述触觉驱动信号的参数根据应用内发生的事件来调整。
15.一种设备，包括：
处理器；以及
存储器，所述存储器存储用于由所述处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
检索动画对象；
将触觉效果与所述动画对象相关联，所述触觉效果具有对应的触觉驱动信号；
沿着时间线将插值点与所述触觉驱动信号相关联；
调整连续插值点之间的所述触觉驱动信号的一个或多个参数以生成修改后的触觉效果；以及
渲染所述动画对象和所述修改后的触觉效果。
16.如权利要求15所述的设备，其中所述动画对象基于用户的运动。
17.如权利要求15所述的设备，其中所述触觉效果是使用单频触觉输出设备渲染的多频触觉效果。
18.如权利要求15所述的设备，其中所述触觉效果是通过修改所述触觉驱动信号的多个参数来渲染的纹理触觉效果。
19.如权利要求15所述的设备，其中所述触觉驱动信号的包络在所述触觉驱动信号的连续控制点之间被修改。
20.如权利要求15所述的设备，其中所述触觉驱动信号的参数使用触觉库来调整。
CN201680049343.4A 2015-09-25 2016-09-23 触觉效果设计系统 Pending CN107924235A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562233120P 2015-09-25 2015-09-25
US62/233,120 2015-09-25
PCT/US2016/053385 WO2017053761A1 (en) 2015-09-25 2016-09-23 Haptic effects design system

Publications (1)

Publication Number Publication Date
CN107924235A true CN107924235A (zh) 2018-04-17

Family

ID=58387323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049343.4A Pending CN107924235A (zh) 2015-09-25 2016-09-23 触觉效果设计系统

Country Status (6)

Country Link
US (1) US20170090577A1 (zh)
EP (1) EP3329350A4 (zh)
JP (1) JP2018528534A (zh)
KR (1) KR20180048629A (zh)
CN (1) CN107924235A (zh)
WO (1) WO2017053761A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045814A (zh) * 2018-12-30 2019-07-23 瑞声科技(新加坡)有限公司 一种激励信号的产生方法、装置、终端及存储介质
CN115576611A (zh) * 2021-07-05 2023-01-06 腾讯科技（深圳）有限公司 业务处理方法、装置、计算机设备及存储介质
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928700B1 (en) * 2017-01-25 2018-03-27 Immersion Corporation Method and apparatus for controlling generation of electrostatic friction effects for a plurality of electrodes
JP6383048B1 (ja) * 2017-05-18 2018-08-29 レノボ・シンガポール・プライベート・リミテッド 触覚フィードバック・システム、電子機器および振動強度の調整方法
US20190103004A1 (en) * 2017-10-02 2019-04-04 Immersion Corporation Haptic pitch control
JP7314926B2 (ja) * 2018-02-20 2023-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020241170A1 (ja) * 2019-05-28 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7377093B2 (ja) 2019-12-16 2023-11-09 日本放送協会 プログラム、情報処理装置、及び情報処理方法
DE112021002333T5 (de) * 2020-04-14 2023-02-09 Sony Group Corporation Datenverarbeitungsvorrichtung und Datenverarbeitungsverfahren
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
JPWO2022074929A1 (zh) * 2020-10-07 2022-04-14
US11816772B2 (en) * 2021-12-13 2023-11-14 Electronic Arts Inc. System for customizing in-game character animations by players
WO2023217677A1 (en) * 2022-05-12 2023-11-16 Interdigital Ce Patent Holdings, Sas Signal coding based on interpolation between keyframes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349039A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于在摩擦显示器中提供特征的系统和方法
CN103869969A (zh) * 2012-12-10 2014-06-18 英默森公司 增强的动态触觉效果
CN104049749A (zh) * 2013-03-15 2014-09-17 英默森公司 产生来自视频内容分析的触觉反馈的方法和设备
CN104750245A (zh) * 2013-12-31 2015-07-01 意美森公司 用于记录和重放具有触觉内容的视点视频的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292170B1 (en) * 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6243078B1 (en) * 1998-06-23 2001-06-05 Immersion Corporation Pointing device with forced feedback button
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US10564721B2 (en) * 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
WO2012135378A1 (en) * 2011-04-01 2012-10-04 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
WO2013041152A1 (en) * 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
WO2014209405A1 (en) * 2013-06-29 2014-12-31 Intel Corporation System and method for adaptive haptic effects
EP2854120A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and device for controlling a haptic device
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349039A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于在摩擦显示器中提供特征的系统和方法
CN103869969A (zh) * 2012-12-10 2014-06-18 英默森公司 增强的动态触觉效果
CN104049749A (zh) * 2013-03-15 2014-09-17 英默森公司 产生来自视频内容分析的触觉反馈的方法和设备
CN104750245A (zh) * 2013-12-31 2015-07-01 意美森公司 用于记录和重放具有触觉内容的视点视频的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FABIEN DANIEAU: "《https://dl.acm.org/action/doSearch?AllField=H-Studio%3A+An+Authoring+Tool+for+Adding+Haptic+and+Motion+Effects+to+Audiovisual+Content》", 1 October 2013 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045814A (zh) * 2018-12-30 2019-07-23 瑞声科技(新加坡)有限公司 一种激励信号的产生方法、装置、终端及存储介质
CN110045814B (zh) * 2018-12-30 2022-06-14 瑞声科技(新加坡)有限公司 一种激励信号的产生方法、装置、终端及存储介质
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device
CN115576611A (zh) * 2021-07-05 2023-01-06 腾讯科技（深圳）有限公司 业务处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR20180048629A (ko) 2018-05-10
JP2018528534A (ja) 2018-09-27
WO2017053761A1 (en) 2017-03-30
EP3329350A1 (en) 2018-06-06
US20170090577A1 (en) 2017-03-30
EP3329350A4 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN107924235A (zh) 触觉效果设计系统
JP6615307B2 (ja) 動的ハプティック変換システム
US10429933B2 (en) Audio enhanced simulation of high bandwidth haptic effects
JP6639602B2 (ja) オフラインハプティック変換システム
JP6549751B2 (ja) グラニュラーシンセシスを用いたハプティック変換システム
KR102254385B1 (ko) 햅틱 와핑 시스템
CN104049733B (zh) 自动触觉效果调节系统
CN111381707A (zh) 触觉信号转换系统
EP3462285A1 (en) Haptic pitch control
CN109597600A (zh) 触觉音调控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417