CN108273263A - 使用颗粒合成的触觉效果转换系统 - Google Patents

使用颗粒合成的触觉效果转换系统 Download PDF

Info

Publication number
CN108273263A
CN108273263A CN201810053657.2A CN201810053657A CN108273263A CN 108273263 A CN108273263 A CN 108273263A CN 201810053657 A CN201810053657 A CN 201810053657A CN 108273263 A CN108273263 A CN 108273263A
Authority
CN
China
Prior art keywords
particle
input
algorithm
frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810053657.2A
Other languages
English (en)
Inventor
J·M·克鲁兹-埃尔南德斯
A·莫达里斯
伍黎雯
D·伯恩鲍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN108273263A publication Critical patent/CN108273263A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了使用颗粒合成的触觉效果转换系统。具体而言，提供将诸如音频数据的输入转换成一个或更多个触觉效果的系统。为了产生触觉信号，该系统向输入施加颗粒合成算法。该系统随后基于产生的触觉信号输出一个或更多个触觉效果。在该系统向输入施加颗粒合成算法之前，该系统还可偏移输入的频率并且还过滤输入。

Description

使用颗粒合成的触觉效果转换系统
本申请是申请日为2013年6月14日、发明名称为“使用颗粒合成的触觉效果转换系统”的中国专利申请201310234555.8的分案申请。
相关申请的交叉引用
本申请要求在2012年6月14日提交的美国临时专利申请系列No.61/659659(在此加入其公开作为参考)、在2012年9月19日提交的美国临时专利申请系列No.61/702870(在此加入其公开作为参考)和在2013年1月24日提交的美国临时专利申请系列No.61/756347(在此加入其公开作为参考)作为优先权。
技术领域
一个实施例一般针对触觉效果，更特别地，涉及产生与其它有关的输出相关的触觉效果的装置。
背景技术
触觉学是通过向用户施加诸如力、振动和移动的触觉反馈效果(即，“触觉效果”)而利用用户的触摸感测的触觉和力反馈技术。诸如移动装置、触摸屏装置(也识别为“触摸屏”)和个人计算机的装置可被配置为产生触觉效果。一般地，可在装置的操作系统(“OS”)内将对于能够产生触觉效果的嵌入硬件(诸如致动器)的调用编程。这些调用规定播放哪种触觉效果。例如，当用户通过使用例如按钮、触摸屏、手柄、游戏杆、轮子或一些其它的控制与装置交互作用时，装置的OS可通过控制电路向嵌入的硬件发送播放命令。嵌入的硬件然后产生适当的触觉效果。
可通过组合两个或更多个周期性的触觉信号或者为了实时触发触觉效果通过预先处理接收的信号产生触觉效果。但是，由于如何产生触觉效果的本质，这种触觉效果可被感知为“合成的”或“人工的”。
发明内容
一个实施例是将诸如音频数据或视频数据的输入转换成一个或更多个触觉效果的系统。该系统接收输入。该系统进一步将输入分成多个波形，这里，每个波形包含输入的至少一部分。系统进一步组合各波形与包络线，以产生颗粒，这里，产生多个颗粒，并且，每个颗粒包含振幅参数、波形参数、包络线参数和持续时间参数。该系统进一步组合多个颗粒以产生云，这里，云包含多个颗粒的表现。该系统进一步基于云产生一个或更多个触觉效果。
附图说明
参照结合附图给出的优选实施例的以下的详细描述，其它的实施例、细节、优点和修改将变得十分明显。
图1示出根据本发明的一个实施例的系统。
图2示出根据本发明的实施例的颗粒的例子。
图3示出根据本发明的实施例的包络线类型的例子。
图4示出根据本发明的实施例的使用单个输出信道的颗粒合成产生的框图表现。
图5示出根据本发明的实施例的使用多个输出信道的颗粒合成产生的框图表现。
图6示出根据本发明的实施例的通过使用正弦曲线作为波形类型产生的示例颗粒。
图7示出根据本发明的实施例的使用不同的颗粒周期的同步颗粒合成产生的不同的表现。
图8示出根据本发明的实施例的异步颗粒合成产生的不同的表现。
图9示出根据本发明的实施例的粒化算法的框图表现。
图10示出根据本发明的实施例的包含两个颗粒的内插算法的框图表现。
图11示出根据本发明的实施例的示例内插器。
图12示出根据本发明的实施例的空间粒化算法的框图表现。
图13示出根据本发明的实施例的利用颗粒合成的触觉转换算法的流程图。
图14示出根据本发明的实施例的原始输入信号和频率偏移信号的比较。
图15示出根据本发明的实施例的原始输入信号的功率谱。
图16示出根据本发明的实施例的频率偏移信号的功率谱。
图17示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的表现。
图18示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的另一表现。
图19示出根据本发明的实施例的利用颗粒合成的增强触觉转换算法的流程图。
图20示出根据本发明的一个实施例的触觉转换模块的功能的流程图。
图21示出根据本发明的另一实施例的触觉转换模块的功能的另一流程图。
具体实施方式
一个实施例是可通过使用颗粒合成自动地将诸如音频数据的输入转换成触觉效果的系统。触觉效果可以以触觉本原的格式被存储，或者可以以替代性的格式被存储。通过颗粒合成，输入可被分成几个波形，并且，每个波形可与包络线组合以产生“颗粒”。通过该算法，可以创建几个颗粒，并且，颗粒可被组合以形成“云”。云然后可被使用以产生触觉信号，并且，触觉信号可随后被用于产生触觉效果。可在向输入施加颗粒合成之前通过频率偏移或频率偏移和过滤的组合任选地修改输入。
如下面描述的那样，“动态触觉效果”指的是响应一个或更多个输入参数随时间发展的触觉效果。动态触觉效果是在触觉装置上显示以代表给定输入信号的状态变化的触觉或振动触觉效果。输入信号可以是由具有触觉反馈的装置上的传感器捕获的信号，诸如位置、加速度、压力、取向、线性速度、角速度、温度和接近度，或由其它的装置捕获并发送到触觉装置以影响触觉效果的产生的信号。
动态效果信号可以是任意类型的信号，但未必是复杂的。例如，动态效果信号可以是具有随时间改变或者根据将输入参数映射到效果信号的变化性能上的映射方案而实时反应的诸如相位、频率或振幅的一些性能的简单正弦波。输入参数可以是能够由装置提供的任意类型的输入，并且一般可以是诸如装置传感器信号的任意类型的信号。装置传感器信号可由任意手段产生，并且一般可通过用装置捕获用户手势产生。动态效果对于手势界面是非常有用的，但是创建动态信号未必需要使用手势或传感器。
不直接包含手势的一个常见的方案是限定动画微件(widget)的动态触觉行为。例如，当用户滚动列表时，它一般不是感知最直观的手势的触觉，而是响应手势的微件的移动。在滚动列表例子中，轻微滑动列表会产生根据滚动速度改变的动态触觉反馈，但是，猛推滚动条即使在手势结束之后也会产生动态触觉。这产生微件具有一些物理性能的幻觉，并且它向用户提供诸如其速度或者它是否移动的关于微件状态的信息。
手势是传递意思或用户意图的身体的任何移动。可以理解，简单的手势可被组合以形成更复杂的手势。例如，使手指接触触摸敏感表面可被称为“手指接触(finger on)”手势，而使手指离开触摸敏感表面可被称为单独的“手指离开(finger off)”手势。如果“手指接触”手势与“手指离开”手势之间的时间相对较短，那么组合的手势可被称为“敲击”；如果“手指接触”手势与“手指离开”手势之间的时间相对较长，那么组合的手势可被称为“长敲击”；如果“手指接触”手势与“手指离开”手势的二维(x,y)位置之间的距离相对较长，那么组合的手势可被称为“挥击”；如果“手指接触”手势与“手指离开”手势的二维(x,y)位置之间的距离相对较短，那么组合的手势可被称为“拖尾”、“轻打”或“闪烁”。可以任意的方式组合任意数量的二维或三维的简单或复杂手势，以形成任意数量的其它的手势，包含但不限于多个手势接触、手掌或拳头接触或者对于装置的接近。手势也可以是由具有加速计、陀螺仪或其它移动传感器的装置识别并被转换成电信号的任何形式的手移动。这种电信号可激活动态效果，诸如摇动虚拟方块(dice)，这里，传感器捕获产生动态效果的用户意图。
图1示出根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10是装置的一部分，并且，系统10提供装置的触觉转换功能。在另一实施例中，系统10与装置分离，并且远程提供装置的触觉转换功能。虽然被示为单一系统，但是，系统10的功能可实现为分布式系统。系统10包含总线12或用于传送信息的其它通信机构和与总线12耦合的用于处理信息的处理器22。处理器22可以是任意类型的一般或特定目的处理器。系统10还包含用于存储要由处理器22执行的信息和指令的存储器14。存储器14可包含随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储或任何其它类型的计算机可读介质的任意组合。
计算机可读介质可以是可由处理器22访问的任何可用的介质，并且可包含易失性和非易失性介质两者、可去除和不可去除的介质、通信介质和存储介质。通信介质可包含计算机可读指令、数据结构、程序模块或诸如载波或其它传输机构的调制数据信号中的其它数据，并且可包含本领域已知的任何其它形式的信息传输介质。存储介质可包含RAM、快擦写存储器、ROM、可擦写可编程只读存储器(“EPROM”)、电可擦可编程只读存储器(“EEPROM”)、寄存器、硬盘、可去除盘、光盘只读存储器(“CD-ROM”)或本领域已知的任意其它形式的存储介质。
在一个实施例中，存储器14存储在被处理器22执行时提供功能的软件模块。模块包含提供用于系统10以及一个实施例中的装置的剩余部分的操作系统功能的操作系统15。如后面更详细地讨论的那样，模块还包含将输入转换成一个或更多个触觉效果的触觉转换模块16。在某些实施例中，触觉转换模块16可包含多个模块，这里，各单个模块提供用于将输入转换成一个或更多个触觉效果的特定的单个功能。系统10一般包含一个或更多个附加的应用模块18，以包含诸如Immersion Corporation的IntegratorTM软件的附加的功能。
系统10在传送和/或从远程源接收数据的实施例中还包含诸如网络接口卡的通信装置20，以提供诸如红外、无线电、Wi-Fi或蜂窝网络通信的移动无线网络通信。在其它的实施例中，通信装置20提供诸如以太网连接或调制解调器的有线网络连接。
处理器22进一步通过总线12与用于向用户显示图形表现或用户界面的诸如液晶显示器(“LCD”)的显示器24耦合。显示器24可以是被配置为发送并从处理器22接收信号的诸如触摸屏的触摸敏感输入装置，并且可以是多触摸触摸屏。处理器22可进一步与键盘或光标控制28耦合，该键盘或光标控制28允许用户与系统10交互作用，诸如鼠标或铁笔。
系统10在一个实施例中还包含致动器26。处理器22可向致动器26传送与产生的触觉效果相关联的触觉信号，该致动器26又输出诸如振动触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果。致动器26包含致动器驱动电路。致动器26可以为例如电动机、电磁致动器、音圈、形状记忆合金、电活化聚合物、螺线管、偏心旋转质量电动机(“ERM”)、线性共振致动器(“LRA”)、压电致动器、高带宽致动器、电活化聚合物(“EAP”)致动器、静电摩擦显示器或超声振动产生器。在替代性的实施例中，除了致动器26以外，系统10可包含一个或更多个附加的致动器(图1未示出)。致动器26是触觉输出装置的例子，这里，触觉输出装置是被配置为响应驱动信号输出诸如振动触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果的装置。在替代性的实施例中，致动器26可被一些其它类型的触觉输出装置替代。并且，在其它的替代性的实施例中，系统10可以不包含致动器26，并且，与系统10分开的装置包含致动器或者产生触觉效果的其它触觉输出装置，并且，系统10通过通信装置20向该装置发送产生的触觉效果信号。
系统10可进一步与数据库30操作耦合，这里，数据库30可被配置为存储由模块16和18使用的数据。数据库30可以是操作数据库、分析数据库、数据仓库、分布式数据库、最终用户数据库、外部数据库、导航数据库、存储器内数据库、文档取向数据库、实时数据库、关系数据库、面向对象的数据库或本领域已知的任何其它的数据库。
在一个实施例中，系统10还包含一个或更多个扬声器32。处理器22可向扬声器32传送音频信号，该扬声器32又输出音频效果。扬声器32可以是为例如动态扬声器、电动力学扬声器、压电扬声器、磁致伸缩扬声器、静电扬声器、丝带和平面磁扬声器、弯曲波扬声器、平板扬声器、HEIL空气移动换能器、等离子体弧扬声器和数字扬声器。
系统10在一个实施例中还包含传感器34。传感器34可被配置为检测能量的形式或其它物理性能，诸如但不限于加速度、生命信号、距离、流量、力/压力/应力/弯曲、湿度、线性位置、取向/倾角、无线电频率、旋转位置、旋转速度、开关的操作、温度、振动或可见光强度。传感器34可进一步被配置为将检测的能量或其它的物理性能转换成电信号或者代表虚拟传感器信息的任何信号。传感器34可以是任何装置，诸如但不限于加速计、心电图、脑电图、电肌动描记器、眼电图、电腭动描记器、流电皮肤响应传感器、电容传感器、霍尔效应传感器、红外传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏感电阻器、负载单元、LuSense CPS2 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动块)、线性可变差动变压器、罗盘、倾角计、磁性标签(或无线电频率识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集成电路)、麦克风、光度计、高度计、生物监视器或光依赖电阻器。
图2示出根据本发明的实施例的“颗粒”200的例子。颗粒200是诸如音频数据的数据的构成块。颗粒200是当与其它的颗粒组合时产生被识别为“云”的对象的基本微事件，这里，云是多个颗粒随时间的空间表现。颗粒200是波形和包络线的组合，这里，更详细地进一步描述波形和包络线。因此，诸如颗粒200的颗粒可被视为包络的波形。诸如颗粒200的颗粒可具有接近感知的极限的非常短的持续时间，诸如100毫秒(“ms”)或更短的持续时间量。颗粒200捕获影响数据的感知的时域和频域信息。如后面描述的那样，云可具有任意数量的颗粒，诸如具有不同的性能的成百上千的颗粒。
根据实施例，颗粒200包含描述颗粒200的多个参数。各参数可包含限定颗粒200的特性的值。在示出的实施例中，颗粒200包含包络线210、波形220、振幅230和持续时间240。包络线210是连接颗粒200的波形220的峰值的曲线。在一个实施例中，颗粒200可包含限定包络线210的包络线参数。以下结合图3进一步描述颗粒200的包络线210。
波形220是具有特定的形状和形式的振荡信号。诸如波形220的波形可包含诸如采样音频数据的采样数据，或者可以是包含静态或动态数据的产生的波形。并且，诸如波形220的波形可以是恒定的波形，但是波形220也可在云内从颗粒到颗粒改变，或者可在同一云内对于所有的颗粒是恒定的。在某些实施例中，诸如波形220的波形可以是正弦曲线或正弦波。在其它的实施例中，诸如波形220的波形可以是正弦曲线或正弦波的叠加。在其它的实施例中，诸如波形220的波形可以是具有频率内容变化的正弦曲线或正弦波(即，在颗粒内改变频率的正弦曲线或正弦波)。在其它的实施例中，诸如波形220的波形可以是具有频率内容变化的叠加的正弦曲线或正弦波(即，在颗粒内改变频率的正弦曲线或正弦波)。在其它的实施例中，诸如波形220的波形可以是通过使用诸如频率调制(“FM”)、相位调制(“PM”)或物理激发随机事件模型化(“PhiSEM”)的数学算法产生的时间变化波形。在于2013年2月14日提交的发明名称为“HIGHDEFINITION HAPTIC EFFECTS GENERATIONUSINGPRIMITIVES”的美国专利申请系列No.13/767129中进一步更详细地描述FM、PM和PhiSEM。在又一些实施例中，诸如波形220的波形可以是诸如采样记录音频信号的采样记录信号，这里，采样记录信号可以是恒定的或者可以随时间改变。在一个实施例中，颗粒200可包含限定波形220的波形参数。
根据示出的实施例中，振幅230是颗粒200的最大振幅值。在一个实施例中，颗粒200可包含限定振幅230的振幅参数。持续时间240是颗粒200的持续时间(即，时间宽度)。通常以毫秒为单位测量诸如持续时间240的持续时间。在一个实施例中，颗粒200可包含限定持续时间240的持续时间参数。根据实施例，通过改变颗粒200的振幅参数的值，可以改变颗粒200的振幅230。并且，通过改变颗粒200的持续时间参数的值，可以改变颗粒200的持续时间240。在替代性的实施例中，颗粒200还可包含限定颗粒200的密度的密度参数(图2没有示出)。颗粒200的密度是限定云内的每秒的颗粒200的实例的数量的值。
图3示出根据本发明的实施例的包络线类型的例子。图3所示的包络线类型是可用于产生包络线的包络线类型的例子，这里，包络线可与波形组合以产生颗粒。根据实施例，可与持续时间和振幅一起使用包络线类型，以产生包络线。包络线类型的持续时间和振幅可影响包络线的频率内容。
图3所示的实施例示出正弦包络线类型310、饱和正弦包络线类型320、三角包络线类型330、饱和包络线类型340、辛克(sinc)包络线类型350、expodec包络线类型360、rexpodec包络线类型370和方波包络线类型380。以下描述图3所示的包络线类型的相应的定义：
本领域技术人员很容易理解，图3所示的包络线类型是根据实施例的示例包络线类型，并且，在替代性的实施例中，可以使用不同的包络线类型以产生包络线。
图4示出根据本发明的实施例的使用单个输出信道的颗粒合成产生的框图表现。更具体而言，图4示出如何产生颗粒以及如何向输出信道输出颗粒，这里，输出信道可与诸如致动器的触觉输出装置操作耦合。图4包含包络线类型410。包络线类型410可选择包络线类型，并且可向包络线产生器440输出包络线类型。在某些实施例中，由包络线类型410选择的包络线类型可以是图3所示的包络线类型中的一个。图4还包含颗粒振幅420。颗粒振幅420可规定振幅值，并且可向包络线产生器440提供振幅值。图4还包含颗粒持续时间430。颗粒持续时间430可规定持续时间值，并且可向包络线产生器440提供持续时间值。图4还包含包络线产生器440。包络线产生器440可基于从包络线类型410接收的包络线类型、从颗粒振幅420接收的振幅值和从颗粒持续时间430接收的持续时间值产生包络线。包络线产生器440可随后向振荡器470输出产生的包络线。
图4还示出波形类型450。波形类型450可选择波形并向振荡器470输出波形。图4还包含颗粒周期460。颗粒周期460可规定指示多频繁地重复产生颗粒的周期值(即，密度值)，并且可向振荡器470提供周期值(即，密度值)。振荡器470可基于从包络线产生器440接收的包络线、从波形类型450接收的波形和从颗粒周期460接收的周期值(即，密度值)产生颗粒480。根据实施例，颗粒480可被输出到单个输出信道。更特别地，颗粒480可根据用于产生云的合成的类型被输出到输出信道。前面描述的云是多个颗粒随时间的空间表现。
图5示出根据本发明的实施例的使用多个输出信道的颗粒合成产生的框图表现。更特别地，图5示出如何产生颗粒以及如何向多个输出信道输出颗粒，这里，各输出信道可与诸如致动器的触觉输出装置操作耦合。因此，根据实施例，颗粒可被输出到多个触觉输出装置(例如，致动器)。图5的框图表现与图4的框图表现类似，并且，不进一步描述与图4的成分相同的图5的成分。
图5包含颗粒空间位置510。颗粒空间位置510规定信道值，这里，信道值与输出信道相关联。图5还包含输出信道520。输出信道520代表多个输出信道。产生的颗粒基于由颗粒空间位置510规定的信道值被输出到输出信道520的特定的输出信道。
图6示出根据本发明的实施例的通过使用正弦曲线作为波形类型产生的示例颗粒。如上所述，正弦曲线是特定类型的波形，这里，正弦曲线可基于在其持续时间中具有恒定的频率的正弦曲线信号(例如，M*sin(2πft))。根据实施例，不是在其持续时间中具有恒定的频率，而是，正弦曲线可通过实现“滑奏”在持续时间内改变其频率，该“滑奏”是在音乐中使用的用于表示声音的音调的变化的术语。在工程术语中，滑奏基本上是通过初始频率值和最终频率值参数化的函数，这里，在颗粒的持续时间上出现频率的转变(transition)。
在图6所示的实施例中，颗粒610是包含正弦曲线的颗粒，这里，通过在正弦曲线的持续时间中从初始频率值移动到最终频率值实现频率的变化。这被识别为“滑奏向上”。并且，颗粒620是包含正弦曲线的颗粒，这里，通过在正弦曲线的持续时间中从初始频率值移动到最终频率值并然后返回初始频率值实现频率的变化。这被识别为“滑奏向上向下”。根据示出的实施例中，可通过使用诸如频率调制(“FM”)、相位调制(“PM”)或物理激励随机事件模型化(“PhiSEM”)的数学算法产生颗粒610和620的正弦曲线。在于2013年2月14日提交的发明名称为“HIGH DEFINITION HAPTIC EFFECTS GENERATION USING PRIMITIVES”的美国专利申请系列No.13/767129中进一步更详细地描述FM、PM和PhiSEM。在替代性的实施例中，通过使用在初始频率值与最终频率值之间限制的随机频率值，正弦曲线可在其持续时间内改变其频率。在本实施例中，频率内容可以以随机的方式在两个固定的频率值之间改变。
如上所述，产生的颗粒可被组合成云，这里，云是颗粒随时间的空间表现。可以使用几种颗粒合成算法中的一种以组织颗粒。这里进一步详细地描述这些算法。
一个颗粒合成算法包含时间频率面上的矩阵和屏幕。屏幕是可散射多个颗粒的振幅和频率的面，这里，各颗粒可以是胶片(film)的时间切片或帧。这些面可以可被视为可产生诸如音频效果的效果的时间频率矩阵。可通过短时间傅立叶变换或小波变换产生其它类似的颗粒合成算法。
另一颗粒合成算法是间距同步颗粒合成算法。该算法使用并行最小相位有限脉冲响应产生器的复杂系统以基于谱分析重新合成颗粒。
另一颗粒合成算法是同步颗粒合成算法。同步颗粒合成算法是在云内的线性时间线内在依次(即，周期)时间位置上将颗粒放在云中的算法，使得颗粒之间具有任选的延迟周期，这里，延迟周期是不存在颗粒的时间周期。进一步结合图7更详细地描述同步颗粒合成算法。
另一颗粒合成算法是准同步颗粒合成算法。准同步颗粒合成算法是以随机的间隔将颗粒放在云中的算法。因此，与任何延迟周期具有固定的周期间隔的同步颗粒合成算法相反，准同步颗粒合成算法可创建具有随机的间隔的延迟周期。
另一颗粒合成算法是异步颗粒合成算法。异步颗粒合成算法是在在时间频率面内描绘的云内在特定的持续时间上散射颗粒而不是在云内的线性时间线中放置颗粒的算法。颗粒的散射可在时间上是随机的，并且由随机或混乱算法控制。颗粒的散射可依赖于以下参数中的至少一个：(1)云的开始时间和持续时间；(2)颗粒持续时间(云的持续时间的变量)；(3)每秒的颗粒的密度(云的持续时间的变量)；(4)云的频带(通常为上限和下限)；(5)云的振幅包络线；(6)颗粒内的波形；或(7)云的空间分散。由于云内的颗粒的随机定位和颗粒之间的随机间隔，异步颗粒合成算法可产生可感知为更“有组织”或“真实”的输出。结合图8进一步详细描述异步颗粒合成算法。
其它的颗粒合成算法包含物理和算法模型和粒化声音的流和云。更特别地，物理模型(诸如PhiSEM)可被用于描述诸如音频数据的输入的力学和声学本质。并且，当诸如音频数据的记录输入的窗口被分成颗粒时，记录的输入可被粒化。粒化可包含以一些方式修改颗粒中的每一个，并且，颗粒可然后被重新组装以产生诸如新的音频效果的效果。
图7示出根据本发明的实施例的使用不同的颗粒周期的同步颗粒合成产生的不同的表现。如上所述，同步颗粒合成算法可在云内的线性时间线内在依次(即，周期)时间位置上将颗粒放在云中，使得颗粒之间具有任选的延迟周期。图7包含代表同步颗粒合成算法的不同的可视化的表现710、720和730。在表现710中，颗粒(即，颗粒711、712、713和714)的颗粒周期被设定成使得在颗粒之间产生延迟周期。更特别地，如图7的表现710所示，颗粒711、712、713和714位于时间线t内，使得在颗粒711与712之间、在颗粒712与713之间以及颗粒713与714之间存在延迟周期。
在表现720中，颗粒(即，颗粒721、722、723和724)的颗粒周期被设定成使得各颗粒的开始时间与前面的颗粒的结束时间一致。更特别地，如图7的表现720所示，颗粒721、722、723和724位于时间线t内，使得在任意的颗粒之间不存在延迟周期。
在表现730中，颗粒(即，颗粒731、732和733)的颗粒周期被设定成使得在前面的颗粒的结束时间之前出现各颗粒的开始时间，从而导致重叠的颗粒，这里，重叠的颗粒导致叠加的效果(即，效果734)。更特别地，如图7的表现730所示，颗粒731、732和733位于时间线t内，使得它们重叠。颗粒(包含颗粒731、732和733并包含图7的表现730没有示出的附加的颗粒)的连续的重叠导致效果734。
在某些实施例中，由同步颗粒合成算法使用的颗粒是恒定的。更特别地，各颗粒的参数值是恒定的，并且，因此，各颗粒与其它的颗粒相同。在其它的实施例中，由同步颗粒合成算法使用的颗粒是可变的。更特别地，各颗粒的参数值改变，因此，各颗粒可与其它的颗粒不同。可通过设定各参数的边界值(即，由边界设定的可能的值的范围)并然后产生映射到由边界设定的可能值的范围的随机数，实现这一点。
图8示出根据本发明的实施例的异步颗粒合成产生的不同的表现。如上所述，异步颗粒合成算法是在于时间频率面内描绘的云内在特定的持续时间上散射颗粒而不是在云内的线性时间线中放置颗粒的算法。根据实施例，异步颗粒合成算法利用可对于每秒具有颗粒单位的密度参数。对于异步颗粒合成算法实现，不存在播放颗粒的周期，并且，这是利用密度参数的原因。在实施例中，可通过使用下式计算颗粒的开始时间：onsetTime＝-log(random())/Density，这里，log()是自然对数，random()是0～1的实数的随机产生，而Density是颗粒的密度参数的值。
图8包含代表单个颗粒的颗粒810和代表异步颗粒合成算法的不同的可视化的可视化820、830和840。根据实施例，对于可视化820、830和840中的每一个，密度参数值被设为每秒6个颗粒。并且，在可视化820中，颗粒810以形成第一叠加效果(即，效果821)的第一随机分布而分布。类似地，在可视化830中，颗粒810以形成第二叠加效果(即，效果831)的第二随机分布而分布。类似地，在可视化840中，颗粒810以形成第三叠加效果(即，效果841)的第三随机分布而分布。各随机分布与其它的两个随机分布不同。可视化820的效果821是强加最大大小值的结果。相反，可视化830的效果831和可视化840的效果841是缺少最大大小值的强加的结果。
图9示出根据本发明的实施例的粒化算法的框图表现。“粒化”是可用于从诸如音频数据的输入提取信息并且通过以输入的小的单位为产生颗粒的波形而使用该信息来创建新的效果的算法。为了产生触觉效果，这些颗粒可被直接输出到诸如致动器的触觉输出装置。
根据实施例，粒化算法接收音频信号910，这里，音频信号910包含音频数据。在某些实施例中，可在音频文件中存储音频信号910。并且，在某些实施例中，可通过脉冲代码调制(“PCM”)格式将音频信号910编码。也可通过诸如音乐设备数字接口(MIDI)格式或MPEG-2音频层III(“MP3”)格式的另一类型的格式将音频信号910编码。在这些实施例中，音频信号910可被解码成PCM格式。
并且，在替代性实施例中，音频信号910可被包含另一类型的数据的另一信号或输入替代，诸如包含视频数据的视频信号、包含加速度数据的加速度信号、包含取向数据的取向信号、包含环境光数据的环境光信号或包含另一类型的数据的另一类型的信号。另一类型的信号的例子是包含可通过传感器捕获的数据的信号。并且，在一些实施例中，音频信号910可被包含多模型数据(即，两种或更多种模型或类型的数据，诸如音频数据和视频数据)的信号替代。
根据实施例，粒化算法将音频信号910分成多个段，在图9中示为段911和912。段911和912分别包含音频信号910的至少一部分。粒化算法可将音频信号910分成任意数量的段，并且，段911和912代表示例数量的段。各段可限定从该段产生的颗粒的持续时间。并且，多个段的各段被用作粒化算法的波形。因此，在图9所示的实施例中，粒化算法使用段911作为波形920。并且，在图9所示的实施例中，粒化算法使用段912作为波形930。因此，波形920和930分别包含音频信号910的至少一部分。
根据实施例，对于多个波形的各波形，为了产生颗粒，粒化算法组合波形与包络线。因此，粒化算法产生多个颗粒。在图9所示的实施例中，粒化算法组合波形920与包络线940以产生颗粒950。并且，在图9所示的实施例中，颗粒算法组合波形930与包络线940以产生颗粒960。颗粒950和960代表由粒化算法产生的多个颗粒。
根据实施例，粒化算法将多个颗粒组合成云。在某些实施例中，如前面结合图7描述的那样，粒化算法可使用同步颗粒合成算法以将颗粒组合成云。在这些实施例中的一些中，颗粒可位于云内的周期位置上。并且，在这些实施例中的一些中，可在多个颗粒的各颗粒之间存在固定的间隔。但是，在其它的实施例中，可能在多个颗粒的各颗粒之间不存在间隔。并且，在其它的实施例中，多个颗粒可以重叠。
在其它的实施例中，如前面结合图8描述的那样，粒化算法可使用异步颗粒合成算法以将多个颗粒组合成云。在这些实施例中的一些中，颗粒可位于云内的随机位置上。并且，在这些实施例中的一些中，可在多个颗粒的各颗粒之间存在随机的间隔。
在某些实施例中，作为将多个颗粒组合成云的替代方案，或者除此以外，为了内插多个颗粒中的两个或更多个颗粒，粒化算法可利用内插算法。结合图10和图11进一步更详细地描述这种内插算法。
在某些实施例中，作为将多个颗粒组合成云的替代方案，或者除此以外，为了产生多个颗粒中的至少一个颗粒，粒化算法可利用空间粒化算法。结合图12进一步更详细地描述这种空间粒化算法。
根据实施例，粒化算法可将云作为触觉信号发送到诸如致动器(图9未示出)的触觉输出装置。触觉信号可导致触觉输出装置输出触觉效果，这里，触觉效果基于由粒化算法创建的云。
在某些实施例中，音频信号910可在粒化算法分割音频信号910之前被修改。更特别地，音频信号910可包含导致粒化算法产生具有减少的触觉可感知性的触觉效果或具有减少的“真实”质量的触觉效果的频率内容。为了增加从粒化算法产生的触觉效果的触觉可感知性，可以修改音频信号910。音频信号的这种修改可包含偏移音频信号的频率，增加音频信号的大小或者一些其他类似的算法。并且，这种修改可导致具有更“真实”感觉的触觉效果。进一步结合图14～图18更详细地描述诸如音频信号910的输入的修改。
在某些实施例中，可以使用颗粒合成以创建动态触觉效果。如上所述，动态触觉效果(或动态效果)是可在诸如致动器的触觉输出装置上输出以代表给定输入信号的状态的变化的触觉效果。例如，触摸屏上的手指的位置变化可被映射到作为位置变化的函数动态改变的触觉效果或者由一定水平的装置加速度触发的触觉效果。触觉效果可改变其大小、频率、持续时间或者其参数值的任意的组合。在于2012年7月11日提交的发明名称为“GENERATING HAPTIC EFFECTS FOR DYNAMIC EVENTS”的美国专利申请系列No.13/546351、在2012年11月2日提交的发明名称为“ENCODING DYNAMIC HAPTIC EFFECTS”的美国专利申请系列No.13/667003和在2012年12月10日提交的发明名称为“ENHANCED DYNAMIC HAPTICEFFECTS”的美国专利申请系列No.13/709157中进一步描述了动态触觉效果。
内插算法(诸如线性内插算法)是可基于归一化在0和1的数值之间的输入信号而在两个关键帧(即，两个预先设定的周期效果)之间内插的算法。可在包含具有包络线的延迟周期效果的时间线效果中限定关键帧，这里，周期效果可以是重复的额外时间。在于2012年7月11日提交的发明名称为“GENERATING HAPTIC EFFECTS FOR DYNAMIC EVENTS”的美国专利申请系列No.13/546351、在2012年11月2日提交的发明名称为“ENCODING DYNAMICHAPTIC EFFECTS”的美国专利申请系列No.13/667003和在2012年12月10日提交的发明名称为“ENHANCED DYNAMIC HAPTIC EFFECTS”的美国专利申请系列No.13/709157中进一步描述了这种用于产生触觉效果的关键帧的内插。
在颗粒合成的情况下，根据本发明的实施例，两个颗粒可被预先设定，并且，可以使用内插算法以通过作为输入值的函数在两个预先设定的颗粒之间内插而产生新的颗粒。进一步结合图10更详细地描述这种内插算法。
图10示出根据本发明的实施例的包含两个颗粒的内插算法的框图表现。图10包含预先设定的颗粒1010和1020，还包含输入信号1030。在一个实施例中，输入信号1030可以是外部信号，诸如指示触摸屏上的位置的位置信号、加速度信号、速度信号或由传感器捕获的任意类型的信号。当输入信号1030具有0的数值时，使用预先设定的颗粒1010。预先设定的颗粒1010具有从高频变为低频的滑奏部并使用最大的大小。这可基于与预先设定的颗粒1010相关联的一组参数。当输入信号1030具有1的数值时，使用预先设定的颗粒1020。预先设定的颗粒1020具有从低频变为高频的滑奏部和40％的最大的大小。这可基于与预先设定的颗粒1020相关联的一组参数。图10还包含内插器1040。当输入信号1030具有0～1之间的数值时，内插器1040作为输入信号1030的函数内插预先设定的颗粒1010和预先设定的颗粒1020以产生颗粒1050。基于输入信号1030的函数，颗粒1050包含内插的滑奏部和大小。因此，颗粒1050基于一组内插的参数，这里，内插的参数作为输入信号1030的函数由内插器1040产生。
图11示出根据本发明的实施例的示例内插器。图11示出，可以使用不同的内插器(即，内插器算法)以内插两个预先设定的颗粒以产生新的颗粒。这种示例内插器可包含线性内插器1110、对数内插器1120、圆形内插器1130、三角内插器1140和随机内插器1150。并且，根据替代性的实施例，内插器可以是图11没有示出的另一类型的内插器。
根据实施例，在诸如线性内插算法的内插算法中，通过使用唯一的内插器通过一个输入值内插颗粒的所有参数。在替代性的实施例中，可以利用增强的动态触觉效果。存在三种类型的增强动态触觉效果：(a)一个输入信号具有多个内插器；(b)多个输入信号具有一个内插器；和(c)多个输入信号具有多个内插器。在一个输入信号具有多个内插器的情况下，输入信号被施加到不同的参数上的不同的内插。例如，伴随输入信号的增加，大小可线性增加，持续时间可对数减小，并且，频率可保持恒定。在多个输入信号具有一个内插器的情况下，执行预内插以将多个输入信号转换成一个输入值。例如，可以使用诸如压力和速度的两个输入信号以将模块化通过使用颗粒合成产生的触觉效果的大小。大小可伴随特定的压力值增加，并且可伴随特定的速度值减小。预处理可提供正常的值作为用于在最大和最大大小之间内插的输入。在多个输入信号具有多个内插器的情况下，可以组合前面的两种算法。
图12示出根据本发明的实施例的空间粒化算法的框图表现。空间粒化算法是加入颗粒的映射和诸如触摸屏的屏幕的位置的粒化算法。
根据实施例，空间粒化算法接收音频信号1210，这里，音频信号1210包含音频数据。在替代性的实施例中，音频信号1210可被包含另一类型的数据的另一信号或输入替代，诸如包含视频数据的视频信号、包含加速度数据的加速度信号、包含取向数据的取向信号、包含环境光数据的环境光信号或包含另一类型的数据的另一类型的信号。另一类型的信号的例子是包含可通过传感器捕获的数据的信号。并且，在一些实施例中，音频信号1210可被包含多模型数据(即，两种或更多种模型或类型的数据，诸如音频数据和视频数据)的信号替代。
根据实施例，空间粒化算法将音频信号1210分成多个段，在图12中示为段1211、1212和1213。段1211、1212和1213分别包含音频信号1210的至少一部分。空间粒化算法可将音频信号1210分成任意数量的段，并且，段1211、1212和1213代表示例数量的段。空间粒化算法进一步基于多个段产生多个颗粒。因此，根据示出的实施例，空间粒化算法基于段1211产生颗粒1220、基于段1212产生颗粒1230并且基于段1213产生颗粒1240。根据实施例，基于诸如触摸屏的屏幕的位置上的输入而触发多个颗粒的至少一个颗粒的产生。在后面进一步结合颗粒1230的产生更详细地描述这种产生。
根据实施例，诸如触摸屏的屏幕可在宽度上分成特定数量的像素，这里，各像素代表屏幕内的位置。这在图12中示为屏幕位置1250。类似地，多个颗粒可在颗粒序列内被组织，这里，各颗粒具有颗粒序列内的位置。这在图12中示为颗粒序列1260。因此，各颗粒可被映射到屏幕内的位置。根据实施例，空间粒化算法检测与颗粒序列1260内的颗粒1230的位置对应的屏幕的位置上的输入(即，检测映射到颗粒1230的屏幕的位置上的输入)。空间粒化算法接收空间粒化1280上的检测输入(在图12中示为输入位置1270)，并且，空间粒化算法随后根据结合图9描述的粒化算法基于段1212产生颗粒1230。
图13示出根据本发明的实施例的触觉转换算法的流程图。在一个实施例中，图13的功能以及图19的功能、图20的功能和图21的功能分别由存储于存储器或另一计算机可读或可触知介质中的软件实现，并且由处理器执行。在其它的实施例中，可由硬件(例如，通过使用ASIC、可编程门阵列(“PGA”)、场可编程门阵列(“FPGA”)等)或者硬件和软件的任意组合执行各功能。并且，在替代性的实施例中，可通过使用模拟组件的硬件执行各功能。在某些实施例中，可通过触觉转换模块(诸如图1的触觉转换模块16)实现图13的功能。
流程开始并前进到1310。在1310中，接收输入。在某些实施例中，输入可包含音频数据。可以以PCM格式将音频数据编码。可以以音频文件或音频信号存储音频数据。在其它的实施例中，输入可包含视频数据。在另一些实施例中，输入可包含图像数据、文本数据或加速度数据中的至少一个。在替代性的实施例中，作为输入的替代，接收一个或更多个参数。流程前进到1320。
在1320中，向输入施加颗粒合成算法。在某些实施例中，通过施加颗粒合成算法，输入被分成多个波形，这里，各波形包含输入的至少一部分。各波形进一步与包络线组合以产生颗粒，这里，通过施加颗粒合成算法产生多个颗粒。各颗粒包含振幅参数、波形参数、包络线参数和持续时间参数。各颗粒还任选地包含密度参数。颗粒进一步通过颗粒合成算法的施加被组合以产生云，这里，云是多个颗粒的表现。在替代性的实施例中，基于一个或更多个接收的参数中的至少一个参数产生各波形。
在某些实施例中，颗粒合成算法是同步颗粒合成算法。在这些实施例中，颗粒可位于云内的周期性位置上。可在多个颗粒中的各颗粒之间存在固定的间隔。作为替代方案，可在多个颗粒中的各颗粒之间不存在间隔。作为替代方案，颗粒可重叠。在替代性的实施例中，颗粒合成算法是异步颗粒合成算法。在这些实施例中，颗粒可位于云内的随机位置上。可在多个颗粒中的各颗粒之间存在随机间隔。
在某些实施例中，颗粒合成算法利用内插算法。在这些实施例中，通过使用内插算法，多个颗粒中的第一颗粒和第二颗粒可被内插。并且，在某些实施例中，颗粒合成算法利用空间粒化算法。在这些实施例中，多个颗粒中的各颗粒被映射到触摸屏的位置，并且，通过触摸屏的相应的位置上的输入触发多个颗粒中的至少一个颗粒的产生。流程然后前进到1330。
在1330中，产生一个或更多个触觉效果。在某些实施例中，基于云产生触觉信号。在这些实施例中，触觉信号进一步被发送到触觉输出装置以产生一个或更多个触觉效果。在这些实施例中的一些中，触觉输出装置是致动器。在某些实施例中，基于云产生多个触觉信号。在这些实施例中，多个触觉信号被发送到多个触觉输出装置以产生一个或更多个触觉效果。流程然后结束。
在某些实施例中，诸如音频数据、视频数据、文本数据、加速度数据或另一类型的信号数据的输入可在向该输入施加颗粒合成算法之前被修改。这种修改可包含向输入施加频率偏移算法。频率偏移算法可将输入的频率内容从原始频率范围偏移到在触觉上更可感知的频率范围(诸如大于等于0千赫兹(“kHz”)但小于1kHz的频率范围)。在替代性的实施例中，作为频率偏移算法的替代，可以使用间距偏移算法。在频率偏移和间距偏移中，频率内容均被修改。但是，在频率偏移中，不保持信号成分的频率之间的谐波关系，而在间距偏移中，保持信号成分的频率之间的谐波关系。并且，在某些实施例中，输入的修改也可包含向输入施加过滤算法，这通过使用滤波器过滤输入。在这些实施例中的一些中，过滤算法可以是通过使用高通滤波器高通过滤输入的高通过滤算法。如上所述，颗粒合成算法可然后被施加到修改的输入。通过在施加颗粒合成算法之前修改输入，可以输出较高质量的触觉效果。
现在，更详细地描述可用于偏移输入的频率内容的两个频率偏移算法。在第一频率偏移算法中，根据一个实施例中，在输入上执行快速傅立叶变换。然后在频域中重叠输入。输入然后重新转换回时域。第一频率偏移算法可被第一间距偏移算法替代，而第一间距偏移算法执行与关于第一频率偏移算法描述的操作相同的操作。
在第二频率偏移算法中，在一个实施例中，在输入上执行快速傅立叶变换。然后在频域中增加输入的大小。输入然后被重新转换回时域。
在替代性的实施例中，与前面的实施例类似，在第二频率偏移算法中，在输入上执行快速傅立叶变换。但是，在该替代性实施例中，随后识别处于规定的范围中的至少一个频率。这种规定的范围可以是在触觉上可感知的范围，诸如0～500Hz。然后确定希望的触觉输出，这里，希望的触觉输出可采取希望的触觉输出模式的格式。然后基于至少一个识别的频率确定至少一个适当的权重。可进一步基于希望的触觉输出确定至少一个适当的权重。然后通过使用至少一个适当的权重放大至少一个识别的频率的信号。大小可包含用于不同的频率的不同的权重。并且，大小可基于希望的触觉输出。输入然后重新转换回时域。
第二频率偏移算法可被第二间距偏移算法替代，这里，第二间距偏移算法执行与关于第二频率偏移算法描述的操作相同的操作。并且，第一频率偏移算法和第二频率偏移算法是替代性的频率偏移算法，并且，第一频率偏移算法或第二频率偏移算法中的任一个可被用于偏移输入的频率内容。
图14示出根据本发明的实施例的原始输入信号和频率偏移信号的比较。更特别地，图14包含示图1410和1420。示图1410是原始输入信号的示图，这里，x轴代表时间周期，单位是秒，y轴代表归一化的大小。示图1420是频率偏移信号的示图，这里，x轴代表时间周期，单位是秒，y轴代表归一化的大小。如图14的示图1410所示，振幅在原始信号的开始和结束是零或近零，因此，在整个原始信号上不是恒定的。这可导致通过小的值产生颗粒。相反，如图14的示图1420所示，振幅在整个频率偏移信号上基本上是恒定的。这可导致产生颗粒，这里，各颗粒是通过明显的值产生的。
图15示出根据本发明的实施例的原始输入信号的功率谱。更特别地，图15包含示图1510。示图1510示出原始输入信号的功率谱，并且特别地识别频率在原始输入信号中具有的功率的位置。如示图1510所示，功率基本上位于0～10kHz频率范围中。
图16示出根据本发明的实施例的频率偏移信号的功率谱。更特别地，图16包含示图1610。示图1610示出频率偏移信号的功率谱，并且特别地识别频率在频率偏移信号中具有的功率的位置。如示图1610所示，功率基本上位于0～5kHz频率范围中。因此，功率由于信号的频率偏移而从0～10kHz频率范围压缩到0～5kHz频率范围。
图17示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的表现。根据实施例，图17是第二频率偏移算法的例子。图17包含示图1710。示图1710的x轴代表信号的频率，单位是赫兹。示图1710的y轴代表电压的大小(即，振幅谱的绝对值)。W1代表施加到第一频率以放大第一频率的振幅的第一权重。W2代表施加到第二频率以放大第二频率的振幅的第二权重。W3代表施加到第三频率以放大第三频率的振幅的第三权重。
图18示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的另一表现。根据实施例，图18也是第二频率偏移算法的例子。图18包含示图1810。示图1810的x轴代表信号的频率，单位是赫兹。示图1810的y轴代表电压的大小(即，振幅谱的绝对值)。
根据实施例，可首先关于电压v对时间t捕获信号。因此，信号可表示为电压对时间的函数或v＝q(t)。可在q(t)上执行快速傅立叶变换，从而将信号带到频域。在快速傅立叶变换之后得到的信号的例子是示图1810所示的信号。可以识别处于触觉可感知的范围内的一个或更多个频率成分。在示出的实施例中，这些识别的频率成分被识别为频率成分f1、f2和f3。并且，与频率成分f1、f2和f3相关联的原始振幅识别为|Q1|、|Q2|和|Q3|。应当理解，频率成分f1、f2和f3仅是出于解释实施例的目的识别为触觉可感知范围的示例频率范围，并且不为特定的频率范围划界。识别为触觉可感知范围的示例频率范围是0～500Hz的范围。
根据实施例，与f1、f2和f3相关联的振幅|Q1|、|Q2|和|Q3|通过基于诸如触觉强度的希望的触觉输出而选择的不同的因子在频域中被放大。与这些频率相关联的放大的更新被识别为|Q1′|、|Q2′|和|Q3′|。并且，在进行上述的修改之后，更新的振幅谱函数(在频域中)被识别为|Q′|，它也在图18中示为虚线。
根据实施例，|Q′|从频域转换成时域，并且被识别为v′＝q′(t)。信号q′(t)可然后被用作对于颗粒合成算法的输入以如上面描述的那样产生触觉信号。
图19示出根据本发明的实施例的利用颗粒合成的增强触觉转换算法的流程图。在某些实施例中，可通过触觉转换模块(诸如图1的触觉转换模块16)实现图19的功能。
流程开始并前进到1910。在1910中，接收输入。在某些实施例中，输入可包含音频数据。可以以PCM格式将音频数据编码。可以以音频文件或音频信号存储音频数据。在其它的实施例中，输入可包含视频数据。在另一些实施例中，输入可包含图像数据、文本数据或加速度数据中的至少一个。在替代性的实施例中，作为输入的替代，接收一个或更多个参数。流程前进到1920。
在1920中，偏移输入的频率。在某些实施例中，作为偏移输入的频率的一部分，可在输入上执行快速傅立叶变换。在这些实施例中的一些中，可以在频域上重叠输入。在替代性的实施例中，可以识别输入的处于规定的范围中的至少一个频率。可以进一步确定希望的触觉输出，并且，为了放大至少一个频率的振幅，可以基于希望的触觉输出向至少一个频率施加至少一个权重。输入可然后重新转换回时域。流程然后前进到1930。
在1930中，任选地过滤输入。在某些实施例中，可通过使用高通滤波器高通过滤输入。流程前进到1940。
在1940中，向输入施加颗粒合成算法。在某些实施例中，通过施加颗粒合成算法，输入被分成多个波形，这里，各波形包含输入的至少一部分。各波形进一步与包络线组合以产生颗粒，这里，通过施加颗粒合成算法产生多个颗粒。各颗粒包含振幅参数、波形参数、包络线参数和持续时间参数。各颗粒还任选地包含密度参数。颗粒进一步通过颗粒合成算法的施加被组合以产生云，这里，云是多个颗粒的表现。在替代性的实施例中，基于一个或更多个接收的参数中的至少一个参数产生各波形。
在某些实施例中，颗粒合成算法是同步颗粒合成算法。在这些实施例中，颗粒可位于云内的周期性位置上。可在多个颗粒中的各颗粒之间存在固定的间隔。作为替代方案，可在多个颗粒中的各颗粒之间不存在间隔。作为替代方案，颗粒可重叠。在替代性的实施例中，颗粒合成算法是异步颗粒合成算法。在这些实施例中，颗粒可位于云内的随机位置上。可在多个颗粒中的各颗粒之间存在随机间隔。
在某些实施例中，颗粒合成算法利用内插算法。在这些实施例中，通过使用内插算法，多个颗粒中的第一颗粒和第二颗粒可被内插。并且，在某些实施例中，颗粒合成算法利用空间粒化算法。在这些实施例中，多个颗粒中的各颗粒被映射到触摸屏的位置，并且，通过触摸屏的相应的位置上的输入触发多个颗粒中的至少一个颗粒的产生。流程然后前进到1950。
在1950中，产生一个或更多个触觉效果。在某些实施例中，基于云产生触觉信号。在这些实施例中，触觉信号进一步被发送到触觉输出装置以产生一个或更多个触觉效果。在这些实施例中的一些中，触觉输出装置是致动器。在某些实施例中，产生多个触觉信号。在这些实施例中，多个触觉信号被发送到多个触觉输出装置以产生一个或更多个触觉效果。流程然后结束。
图20示出根据本发明的一个实施例的触觉转换模块(诸如图1的触觉转换模块16)的功能的流程图。流程开始并前进到2010。在2010中，接收输入。在某些实施例中，输入可包含音频数据。可以以PCM格式将音频数据编码。可以以音频文件或音频信号存储音频数据。在其它的实施例中，输入可包含视频数据。在另一些实施例中，输入可包含图像数据、文本数据或加速度数据中的至少一个。流程前进到2020。
在2020中，偏移输入的频率。在某些实施例中，作为偏移输入的频率的一部分，可在输入上执行快速傅立叶变换。在这些实施例中的一些中，可以在频域上重叠输入。在替代性的实施例中，可以识别输入的处于规定的范围中的至少一个频率。可以进一步确定希望的触觉输出，并且，为了放大至少一个频率的振幅，可以基于希望的触觉输出向至少一个频率施加至少一个权重。输入可然后重新转换回时域。在某些实施例中，可以省略2020。流程前进到2030。
在2030中，任选地过滤输入。在某些实施例中，可通过使用高通滤波器高通过滤输入。在某些某些实施例中，可以省略2030。流程前进到2040。
在2040中，输入被分成多个波形，这里，各波形包含输入的至少一部分。流程前进到2050。
在2050中，各波形与包络线组合以产生颗粒，这里，产生多个颗粒。各颗粒包含振幅参数、波形参数、包络线参数和持续时间参数。各颗粒还任选地包含密度参数。流程前进到2060。
在2060中，颗粒被组合以产生云，这里，云是多个颗粒的表现。在某些实施例中，颗粒可位于云内的周期性位置上。可在多个颗粒中的各颗粒之间存在固定的间隔。作为替代方案，可在多个颗粒中的各颗粒之间不存在间隔。作为替代方案，颗粒可重叠。在替代性的实施例中，颗粒可位于云内的随机位置上。可在多个颗粒的各颗粒之间存在随机间隔。在某些实施例中，多个颗粒中的第一颗粒和第二颗粒可被内插。并且，在某些实施例中，多个颗粒中的各颗粒被映射到诸如触摸屏的位置的信号值，并且，通过包含诸如触摸屏的相应的位置上的输入的信号值的信号触发多个颗粒中的至少一个颗粒的产生。流程前进到2070。
在2070中，基于云产生触觉信号。在某些实施例中，基于云产生多个触觉信号。流程前进到2080。
在2080中，触觉信号进一步被发送到触觉输出装置以产生一个或更多个触觉效果。在这些实施例中的一些中，触觉输出装置是致动器。在产生多个触觉信号的实施例中，多个触觉信号被发送到多个触觉输出装置以产生一个或更多个触觉效果。流程然后结束。
图21示出根据本发明的另一实施例的触觉转换模块(诸如图1的触觉转换模块16)的功能的另一流程图。在2110中，接收一个或更多个参数。在2120中，基于一个或更多个参数产生多个波形。在2130中，各波形与包络线组合以产生颗粒，这里，产生多个颗粒。在2140中，颗粒被组合以产生云，这里，云是多个颗粒的表现。在2150中，基于云产生触觉信号。在2160中，触觉信号进一步发送到触觉输出装置以产生一个或更多个触觉效果。
因此，提供可接收诸如音频数据的输入并可通过使用颗粒合成算法基于输入产生触觉效果的系统。为了提高由颗粒合成算法产生的触觉效果的质量，该系统可进一步通过偏移输入的频率(并且可能过滤输入)而修改输入。因此，该系统可提供提供诸如在表面移动手指的感觉的诸如触觉质感的更“有组织”和“真实”触觉效果。并且，对于诸如在纸上移动标记的声音、在纸上移动钢笔的声音和在纸上移动铅笔的声音的某些记录的声音，产生唯一触觉效果。并且，声音的频率内容可偏移到触觉上更可感知的触觉效果所需要的频率范围。因此，该系统可提高基于输入产生的触觉效果的质量。
在一个或更多个实施例中可以以任何适当的方式组合在本说明书中描述的本发明的特征、结构或特性。例如，在本说明书中，使用“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言指的是关于实施例描述的特定的特征、结构或特性可包含于本发明的至少一个实施例中。因此，在说明书中出现短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言未必均指的是会在一个或更多个实施例中以任何适当的方式组合同一组实施例和描述的特征、结构或特性。
本领域技术人员很容易理解，可以通过不同的次序的步骤并且/或者通过与公开的配置不同的配置中的要素实施以上讨论的本发明。因此，虽然基于这些优选的实施例描述了本发明，但是，对于本领域技术人员来说，很显然，在本发明的精神和范围内，某些修改、变化和替代性结构会是十分明显。因此，为了确定本发明的边界，应参照所附的权利要求。

Claims (1)

1.一种用于将输入转换成一个或更多个触觉效果的计算机实现的方法，所述计算机实现的方法包括：
接收所述输入；
将所述输入分成多个波形，其中，各波形包括所述输入的至少一部分；
组合各波形与包络线以产生颗粒，其中，产生多个颗粒，并且其中，各颗粒包括振幅参数、波形参数、包络线参数和持续时间参数；
组合所述多个颗粒以产生云，其中，所述云包括所述多个颗粒的表现；和
基于所述云产生所述一个或更多个触觉效果。
CN201810053657.2A 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统 Pending CN108273263A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261659659P 2012-06-14 2012-06-14
US61/659,659 2012-06-14
US201261702870P 2012-09-19 2012-09-19
US61/702,870 2012-09-19
US201361756347P 2013-01-24 2013-01-24
US61/756,347 2013-01-24
US13/803,778 US8860563B2 (en) 2012-06-14 2013-03-14 Haptic effect conversion system using granular synthesis
US13/803,778 2013-03-14
CN201310234555.8A CN103513766B (zh) 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310234555.8A Division CN103513766B (zh) 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统

Publications (1)

Publication Number Publication Date
CN108273263A true CN108273263A (zh) 2018-07-13

Family

ID=48792952

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310234555.8A Expired - Fee Related CN103513766B (zh) 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统
CN201810053657.2A Pending CN108273263A (zh) 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310234555.8A Expired - Fee Related CN103513766B (zh) 2012-06-14 2013-06-14 使用颗粒合成的触觉效果转换系统

Country Status (5)

Country Link
US (5) US8860563B2 (zh)
EP (1) EP2674835B1 (zh)
JP (3) JP6320691B2 (zh)
KR (1) KR102169205B1 (zh)
CN (2) CN103513766B (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
EP2856289A4 (en) * 2012-05-25 2016-01-06 Immerz Inc HAPTIC INTERFACE FOR PORTABLE ELECTRONIC DEVICE
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) * 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
JP2015028766A (ja) * 2013-06-24 2015-02-12 パナソニックＩｐマネジメント株式会社 触感呈示装置および触感呈示方法
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9685052B2 (en) * 2014-01-13 2017-06-20 Alexis Ander Kashar System and method for alerting a user
US10600291B2 (en) 2014-01-13 2020-03-24 Alexis Ander Kashar System and method for alerting a user
US10274908B2 (en) * 2014-01-13 2019-04-30 Barbara Ander System and method for alerting a user
KR102191968B1 (ko) * 2014-01-28 2020-12-16 삼성전자주식회사 형용사를 이용한 진동 생성 방법 및 디바이스
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
DE112014006608B4 (de) 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
US12008892B2 (en) * 2014-05-16 2024-06-11 Not Impossible, Llc Vibrotactile control systems and methods
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
US9830782B2 (en) 2014-09-02 2017-11-28 Apple Inc. Haptic notifications
EP3201720A4 (en) * 2014-10-01 2018-05-16 Northwestern University Interfaces and methods of digital composition and editing of textures for rendering on tactile surfaces
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10311686B2 (en) 2014-12-23 2019-06-04 Immersion Corporation Automatic and unique haptic notification
JP6527339B2 (ja) * 2015-01-27 2019-06-05 任天堂株式会社 振動信号生成プログラム、振動生成装置、振動生成システム、および振動信号生成方法
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
JP6625372B2 (ja) * 2015-08-27 2019-12-25 株式会社デンソーテン 入力装置および車載装置
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
KR20180044877A (ko) * 2015-09-22 2018-05-03 임머숀 코퍼레이션 압력-기반 햅틱들
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
EP3446795B1 (en) * 2016-04-19 2022-11-30 Nippon Telegraph and Telephone Corporation Pseudo tactile force generation device
JP2019519856A (ja) * 2016-07-08 2019-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マルチモーダルハプティック効果
JP6383765B2 (ja) * 2016-08-25 2018-08-29 株式会社ファセテラピー 触覚コンテンツ生成装置、触覚コンテンツ生成方法および触覚コンテンツ利用機器
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10606357B2 (en) * 2017-03-28 2020-03-31 Tanvas, Inc. Multi rate processing device for rendering haptic feedback
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
EP3540567B1 (en) * 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US10572017B2 (en) * 2018-04-20 2020-02-25 Immersion Corporation Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
JP7155643B2 (ja) * 2018-06-18 2022-10-19 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN108921842A (zh) * 2018-07-02 2018-11-30 上海交通大学 一种谷物流量检测方法及装置
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
CN109766951A (zh) * 2019-01-18 2019-05-17 重庆邮电大学 一种基于时频统计特性的WiFi手势识别
JP7145373B2 (ja) * 2019-06-19 2022-10-03 豊田合成株式会社 アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
CN111142659A (zh) * 2019-12-05 2020-05-12 瑞声科技(新加坡)有限公司 触感信号的实现方法、装置、终端及存储介质
US11126267B2 (en) * 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
CN111338477A (zh) * 2020-02-25 2020-06-26 瑞声科技(新加坡)有限公司 触觉振动效果的实现方法、装置和存储介质
WO2021173006A1 (en) * 2020-02-25 2021-09-02 Production Robots Engineering Limited Realtime distribution of granular data streams on a network
JP7340556B2 (ja) * 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113332723B (zh) * 2021-05-26 2024-06-25 网易（杭州）网络有限公司 一种游戏中的音效处理方法及装置
US11714491B2 (en) * 2021-06-07 2023-08-01 Huawei Technologies Co., Ltd. Device and method for generating haptic feedback on a tactile surface
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2024189108A1 (en) 2023-03-16 2024-09-19 Telefonaktiebolaget Lm Ericsson (Publ) Grain scheduling for granular synthesis
WO2024194336A1 (en) 2023-03-21 2024-09-26 Telefonaktiebolaget Lm Ericsson (Publ) Coding of granular synthesis databases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620327A (zh) * 2001-10-10 2005-05-25 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理
US20060290662A1 (en) * 2005-06-27 2006-12-28 Coactive Drive Corporation Synchronized vibration device for haptic feedback
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器
CN102341766A (zh) * 2009-09-03 2012-02-01 松下电器产业株式会社 触感再现方法、装置、计算机程序和记录计算机程序的记录介质
CN103026360A (zh) * 2010-07-20 2013-04-03 三星电子株式会社 用于通过采用生物计量信息操作虚拟世界的设备和方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6422941B1 (en) * 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US6083163A (en) * 1997-01-21 2000-07-04 Computer Aided Surgery, Inc. Surgical navigation system and method using audio feedback
US6198206B1 (en) * 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
EP1330811B1 (en) * 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
JP3880888B2 (ja) * 2002-06-18 2007-02-14 Ｓｍｋ株式会社 タブレット装置
US7742036B2 (en) 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7427711B2 (en) * 2004-08-19 2008-09-23 O'modhrain Maura Sile Particle based touch interaction for the creation of media streams
JP4997114B2 (ja) * 2004-11-30 2012-08-08 イマージョン コーポレイション 振動触覚ハプティック効果を発生させるための共振装置を制御するためのシステムおよび方法
JP4617893B2 (ja) * 2005-01-18 2011-01-26 ソニー株式会社 振動伝達構造、触覚機能付きの入出力装置及び電子機器
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20100013649A1 (en) * 2006-06-20 2010-01-21 Spira Joel S Load control device having audible feedback
US7468573B2 (en) * 2006-10-30 2008-12-23 Motorola, Inc. Method of providing tactile feedback
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
US8203444B2 (en) * 2008-06-10 2012-06-19 Silent Call Corporation Alerting device with supervision
US8537241B2 (en) * 2009-05-28 2013-09-17 Pixim, Inc. Image sensor with sensitivity control and sensitivity based wide dynamic range
GB2474047B (en) * 2009-10-02 2014-12-17 New Transducers Ltd Touch sensitive device
JP2011090575A (ja) * 2009-10-23 2011-05-06 Ricoh Co Ltd 情報表示装置、情報表示方法、プログラム
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110267294A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10430066B2 (en) * 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620327A (zh) * 2001-10-10 2005-05-25 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理
US20060290662A1 (en) * 2005-06-27 2006-12-28 Coactive Drive Corporation Synchronized vibration device for haptic feedback
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器
CN102341766A (zh) * 2009-09-03 2012-02-01 松下电器产业株式会社 触感再现方法、装置、计算机程序和记录计算机程序的记录介质
CN103026360A (zh) * 2010-07-20 2013-04-03 三星电子株式会社 用于通过采用生物计量信息操作虚拟世界的设备和方法

Also Published As

Publication number Publication date
EP2674835B1 (en) 2019-09-18
EP2674835A3 (en) 2016-03-23
US20190094975A1 (en) 2019-03-28
US10082874B2 (en) 2018-09-25
US20140368323A1 (en) 2014-12-18
KR20130140578A (ko) 2013-12-24
JP6549751B2 (ja) 2019-07-24
US20170285750A1 (en) 2017-10-05
US9257022B2 (en) 2016-02-09
KR102169205B1 (ko) 2020-10-22
JP2018113069A (ja) 2018-07-19
JP2014002729A (ja) 2014-01-09
EP2674835A2 (en) 2013-12-18
US20130335209A1 (en) 2013-12-19
US10606358B2 (en) 2020-03-31
US20160162027A1 (en) 2016-06-09
JP2019192279A (ja) 2019-10-31
US8860563B2 (en) 2014-10-14
US9733710B2 (en) 2017-08-15
JP6320691B2 (ja) 2018-05-09
CN103513766A (zh) 2014-01-15
CN103513766B (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN103513766B (zh) 使用颗粒合成的触觉效果转换系统
JP6615307B2 (ja) 動的ハプティック変換システム
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP6698131B2 (ja) ハプティックワーピングシステム
JP2019215935A (ja) ハプティック効果の自動適合
JP2018026159A (ja) プリミティブを用いた高解像度ハプティック効果生成
CN109313503A (zh) 实时触觉生成
EP3462285A1 (en) Haptic pitch control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180713

WD01 Invention patent application deemed withdrawn after publication