CN110275604A - 触觉信号发生器 - Google Patents
触觉信号发生器 Download PDFInfo
- Publication number
- CN110275604A CN110275604A CN201910202114.7A CN201910202114A CN110275604A CN 110275604 A CN110275604 A CN 110275604A CN 201910202114 A CN201910202114 A CN 201910202114A CN 110275604 A CN110275604 A CN 110275604A
- Authority
- CN
- China
- Prior art keywords
- signal
- haptic
- generator
- event
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007792 addition Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 14
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/0207—Driving circuits
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/10—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of mechanical energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
描述了一种用于生成触觉信号的方法和设备。接收音频信号,并且根据所述音频信号的特性确定包括多个脉冲的事件信号。通过组合由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的基本相同的触觉模式生成触觉输出信号。
Description
技术领域
本公开涉及触觉信号生成。
背景技术
目前,存在若干生成伴随音频的触觉效果的方法。在许多方法中,触觉信号由正弦波组成,所述正弦波的振幅由音频信号的包络、音频信号的频带的频移版本或音频信号的频带的音调移位版本调制。另一方法使用具有预先设计的触觉效果的音频事件库,在音频信号中检测到音频事件时,所述音频事件库输出预先设计的触觉效果。可替换的是,可以使用具有不同特性(例如,长度或强度)的触觉效果库,可以将所述特性与针对在音频中检测到的事件计算的相同特性进行比较,并且将使用最佳匹配的触觉效果。
发明内容
在所附权利要求中限定了本公开的各个方面。在第一方面,提供了一种触觉信号发生器,其包括事件发生器,其具有事件发生器输入和事件发生器输出,所述事件发生器输入被配置成接收音频信号,所述事件发生器输出被配置成输出事件信号,所述事件信号包括根据所述音频信号的特性生成的多个脉冲;加法合成器,其具有耦合到所述事件发生器输出的输入以及触觉信号输出;其中所述加法合成器被配置成输出触觉信号,所述触觉信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的总和。
在一个或多个实施例中,可以仅在所述音频信号高于预定阈值时才生成所述触觉信号。
在一个或多个实施例中,所述音频信号的所述特性可以包括音频信号包络、滤波后音频信号的信号包络和信号包络的变化的度量中的至少一个。
在一个或多个实施例中,所述事件发生器可以包括音频特性提取器,所述音频特性提取器耦合到脉冲计算器并且被配置成通过根据所述音频信号的所确定特性与所估计特性之间的比较生成脉冲从而生成事件信号。
在一个或多个实施例中,脉冲计算器可以另外包括再合成模块以及比较器和脉冲发生器的串联布置,其中所述比较器包括第一比较器输入和第二比较器输入,所述第一比较器输入耦合到所述音频特性提取器,所述第二比较器输入耦合到再合成模块输出,并且其中所述再合成模块输入耦合到所述脉冲发生器输出,并且所述脉冲发生器输出耦合到所述事件发生器输出,并且所述再合成模块被配置成通过将在之前时间事件处生成的所述一个或多个触觉模式的独立表示的值相加来导出所估计特性值,并且其中所述脉冲计算器被配置成在所述所估计特性值小于所述音频信号的所述所确定特性的情况下生成脉冲。
在一个或多个实施例中,触觉模式的所述独立表示可以包括经缩放的一阶脉冲响应,所述一阶脉冲响应包括振幅和时间常数。
在一个或多个实施例中,至少一些连续触觉模式的开始时间之间的时间延迟可以小于所述触觉模式的持续时间。
在一个或多个实施例中,所述触觉信号发生器可以包括多个加法合成器,其中所述多个加法合成器中的每一个的输出耦合到加法器,并且其中所述加法器的输出耦合到所述触觉信号输出。
在一个或多个实施例中,所述触觉信号发生器可以包括多个事件发生器,所述多个事件发生器具有耦合到所述音频输入的输入以及耦合到所述加法合成器之一的相应输入的相应输出。
在一个或多个实施例中,所述音频特性提取器可以包括滤波器和包络计算模块的串联布置。
在一个或多个实施例中,所述触觉模式和所述至少一个另外的触觉模式可以基本相同。
在一个或多个实施例中,所述触觉信号发生器可以耦合到触觉驱动器和触觉致动器的串联布置。所述触觉信号发生器可以包括在移动装置中。
在第二方面,提供了一种用于生成触觉信号的方法,其包括接收音频信号;生成事件信号,所述事件信号包括根据所述音频信号的特性确定的多个脉冲;以及通过组合由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的基本相同的触觉模式生成触觉输出信号。
在一个或多个实施例中,所述音频信号的所述特性可以包括音频包络、滤波后音频信号的信号包络和信号包络的变化的度量中的至少一个。
在一个或多个实施例中,所述方法可以另外包括将低通滤波器、高通滤波器和带通滤波器之一应用于所述音频信号以及根据滤波后音频信号生成所述事件信号。
在一个或多个实施例中,生成所述触觉输出信号可以包括将所述触觉模式和所述至少一个另外的触觉模式相加。所述触觉模式和所述至少一个另外的触觉模式可以基本相同。
在一个或多个实施例中,所述方法可以另外包括生成触觉输出信号,所述触觉输出信号包括由第一脉冲触发的第一触觉模式、由第二脉冲触发的至少一个另外的第一触觉模式、由第三脉冲触发的第二触觉模式以及由第四脉冲触发的至少一个另外的第二触觉模式的组合。
在第三方面,描述了一种计算机程序产品,其包括多条指令,所述指令当由处理单元执行时使所述处理单元执行以下步骤:接收音频信号;生成事件信号,所述事件信号包括根据所述音频信号的特性确定的多个脉冲;以及通过组合由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的基本相同的触觉模式生成触觉输出信号。
附图说明
在附图和说明书中,相同的附图标记指代相同的特征。现在仅通过举例详细描述通过附图示出的实施例,在附图中:
图1示出了根据实施例的触觉信号发生器。
图2示出了根据实施例的触觉信号发生器。
图3示出了根据实施例的触觉信号发生器。
图4示出了根据实施例的用于生成触觉信号的方法。
图5A示出了曲线图,其示出了使用图4中描述的方法产生的示例再合成包络。
图5B示出了根据实施例生成的示例脉冲序列。
图5C示出了由图5B的示例脉冲序列产生的示例触觉信号。
图6示出了根据实施例的触觉信号发生器。
图7示出了根据实施例的用于生成触觉信号的方法。
图8示出了根据实施例的用于生成触觉信号的方法。
具体实施方式
图1示出了触觉信号发生器100,所述触觉信号发生器100包括事件发生器104和加法合成器108。音频输入102连接到事件发生器104。事件发生器104的输出106连接到加法合成器108的输入。加法合成器输出可以连接到触觉信号发生器输出120。
在操作中,触觉信号发生器输出120可以连接到触觉驱动器122。触觉驱动器输出124可以连接到触觉致动器126,如线性谐振致动器或压电换能器。
事件发生器104可以确定音频信号的音频特性。所述音频特性可以是例如音频信号的包络、包络的滤波后版本或信号包络随时间推移的变化的度量,例如信号包络的时间导数。可替换的是或另外地,音频特性可以包括长期功率估计、音调平衡和波峰因数中的一个或多个。可以根据音频信号的峰值与其平均(RMS)值之间的比率确定波峰因数。事件发生器可以生成包括根据音频特性产生的事件或脉冲串或序列的事件信号。在一个例子中,这种生成可以通过对音频特性的脉冲密度调制完成。此上下文中的事件或脉冲可以被理解为硬件脉冲或可以在某个时刻在软件或硬件中生成的事件。加法合成器108可以接收脉冲序列并且生成由每个脉冲触发的基本相同的触觉模式。当所产生的触觉信号用于驱动触觉致动器时,所述触觉模式可以例如对应于被称为触觉点击的点击的触觉效果。加法合成器108可以随时间推移将这些触觉模式加在一起,从而产生触觉信号,当所述触觉信号被发送到触觉放大器122和触觉致动器124时,所述触觉信号生成与音频信号的音频特性密切相关的触觉信号。所述触觉信号可能不再类似于单次触觉点击,因为脉冲之间的与每次触觉模式生成之间的时间延迟相对应的间隔通常小于触觉点击的长度,即,单个触觉模式的持续时间。这些重叠或堆叠的触觉模式可以导致触觉信号与音频信号具有改进的相关性。
通过以此方式生成触觉信号,触觉信号发生器100可以生成具有伴随和增强音频信号的非常自然的感觉的触觉信号。因为触觉信号是通过对触觉模式的加法合成生成的,所以与常规的触觉信号生成相比,可以根据单个触觉模式生成更复杂的触觉信号。
触觉发生器100可以在硬件或硬件和软件的组合中实施。在一些例子中,事件发生器104和加法合成器108可以在运行于微处理器或数字信号处理器上的软件中实施。额外的接口电路系统(未示出)可以用于将所生成触觉信号耦合到触觉驱动器122。在一些例子中,事件发生器104可以由运行于第一数字信号处理器或微处理器上的软件实施,并且加法合成器108可以由运行于第二数字信号处理器或微处理器上的软件实施。在一些例子中,触觉信号发生器可以包括动态范围压缩器(未示出),所述动态范围压缩器可以压缩触觉信号,使得触觉驱动器122或触觉致动器126不会过度驱动。
触觉信号发生器的例子可以包括在如移动电话等移动装置中。当例如用屏幕上的虚拟按钮替代硬件按钮的功能时,移动装置可以使用触觉致动器来生成虚拟点击。触觉信号发生器100可以允许将用于生成虚拟点击的相同模式用于生成与音频信号相关的更复杂的触觉效果。应当理解的是,在其它例子中,触觉信号发生器还可以使用其它触觉模式代替用于生成触觉点击的触觉模式,如更长的正弦波突发或锥形正弦波突发。
图2示出了触觉信号发生器150,所述触觉信号发生器150包括事件发生器154和加法合成器158。事件发生器154可以包括音频特性提取器160和脉冲计算器162。音频输入152连接到音频特性提取器160。音频特性提取器的输出164可以连接到脉冲计算器162。脉冲计算器162的输出156可以连接到加法合成器158。加法合成器158的输出可以连接到触觉信号发生器输出170。
在操作中,触觉信号发生器输出170可以连接到触觉驱动器172。触觉驱动器输出174可以连接到触觉致动器176,如线性谐振致动器或压电换能器。
音频特性提取器160可以确定在音频输入152上接收到的音频信号的音频特性。此特性可以是例如音频信号的包络、包络的滤波后版本、频谱或其它某个特性。音频特性提取器160可以生成音频特性信号。
脉冲计算器162可以生成由从音频特性信号导出的脉冲串或序列组成的事件信号。在一个例子中,脉冲计算器162可以使用脉冲密度调制来生成脉冲序列。此上下文中的脉冲可以被理解为硬件脉冲或可以在某个时刻在软件或硬件中生成的事件。加法合成器148可以接收脉冲序列并且在每个脉冲处生成相同或基本相同的触觉模式。在每个脉冲处触发的所生成触觉模式可以相同或不同。在一些例子中,触觉模式可以基本相同。在此上下文中,基本相同的触觉模式可以指不同之处在于时间延迟并且相关系数大于90%的触觉模式。当所产生的触觉信号用于驱动触觉致动器时,所述触觉模式可以例如对应于被称为触觉点击的点击的触觉效果。加法合成器158可以将这些触觉模式加在一起,从而产生触觉信号,当所述触觉信号被发送到触觉放大器172和触觉致动器176时,所述触觉信号生成与音频信号特性密切相关的触觉信号。所述触觉信号可能不再类似于单次触觉点击,因为脉冲之间的与每次触觉模式生成之间的时间延迟相对应的间隔通常小于触觉点击的长度,即,单个触觉模式的持续时间。相比于之前的方法,这些重叠或堆叠的触觉模式可以导致触觉信号具有更自然的感觉并且与音频信号更具相关性。
通过以此方式生成触觉信号,触觉信号发生器150可以生成具有伴随和增强音频信号的非常自然的感觉的触觉信号。因为触觉信号是通过对触觉模式的加法合成生成的,所以与常规方法相比,可以使用单个触觉模式生成更复杂的触觉信号。
触觉发生器150可以在硬件或硬件和软件的组合中实施。在一些例子中,音频特性提取器160、脉冲计算器162和加法合成器158可以在运行于微处理器或数字信号处理器上的软件中实施。额外的接口电路系统(未示出)可以用于将所生成触觉信号耦合到触觉驱动器172。在一些例子中,音频特性提取器160、脉冲计算器162和加法合成器158可以由运行于一个或多个微处理器上的软件实施。在一些例子中,触觉信号发生器可以包括动态范围压缩器(未示出),所述动态范围压缩器可以限制触觉信号,使得触觉驱动器172或触觉致动器176不会过度驱动。
图3示出了触觉信号发生器200,所述触觉信号发生器200包括事件发生器204和加法合成器208。事件发生器204可以包括音频特性提取器210和脉冲计算器212。音频特性提取器210可以包括滤波器214、包络计算模块216。脉冲计算器212可以包括比较器218、脉冲发生器222和再合成模块224。在一些例子中,可以省略滤波器214。
音频输入202连接到滤波器214。滤波器输出226可以连接到包络计算模块216。包络计算模块输出228可以连接到比较器218的第一输入。比较器输出230可以连接到脉冲发生器222。
脉冲发生器222的输出206可以连接到加法合成器208。脉冲发生器222的输出206可以连接到再合成模块224。再合成模块输出232可以连接到比较器218的第二输入。加法合成器208的输出可以连接到触觉信号发生器输出220。
在操作中,触觉信号发生器输出220可以连接到触觉驱动器(未示出),所述触觉驱动器进而可以驱动触觉致动器(未示出)。
可以在音频输入202上接收到由音频样本值序列组成的音频信号。音频样本可以由音频滤波器214进行滤波。音频滤波器214可以是低通滤波器、高通滤波器或带通滤波器。包络计算模块216可以确定从滤波器214接收到的滤波后音频信号的包络。包络计算模块216可以例如通过确定具有特定时间常数的音频样本的平滑绝对值来确定滤波后音频信号的包络。在一些例子中,时间常数可以是50ms。在其它例子中,时间常数可以介于10ms与100ms之间。在省略了滤波器214的例子中,包络计算模块216可以确定全频带音频信号的包络。
比较器218可以比较包络的输入功率电平,并且如果来自包络计算模块216的信号的输入音频功率电平超过来自再合成包络信号输出232的值,则仅输出所述值。在一些例子中,比较器218还可以应用阈值,并且如果来自包络计算模块216的输出功率超过预定的最小阈值,则仅输出信号。再合成包络信号输出232可以由再合成模块224通过对一阶系统对δ函数的响应,即一阶脉冲响应的加法合成而生成。再合成模块224可以允许实时使用低复杂度的触觉模式抽象表示来再合成包络。
本公开的发明人已经认识到,这种一阶响应可以被解释为单位或域(例如,电压或电流)与所估计包络相同的触觉模式的效果的替代性独立表示。所述响应与加法合成器208使用的触觉信号或模式无关。可以独立于触觉模式而例如通过振幅和时间常数将一阶脉冲响应参数化。
脉冲发生器222可以根据比较输出事件信号。脉冲计算器212可以实时有效地生成音频信号包络的脉冲编码表示,其中脉冲的位置为使得所述脉冲反映音频特性:音频特性的急剧变化可以产生紧密间隔的脉冲,而音频特性的较慢变化可以产生较稀疏间隔的脉冲,而且在音频特性的变化的跨度在两种情况下相同时。
加法合成器208可以接收脉冲序列并且在每个脉冲处生成触觉模式。所生成的触觉模式可以不同或基本相同。当所产生的触觉信号用于驱动触觉致动器时,所述触觉模式可以例如对应于被称为触觉点击的点击的触觉效果。加法合成器208可以将这些所生成触觉模式加在一起,从而产生触觉信号,所述触觉信号生成与音频信号包络密切相关的触觉信号。所述触觉信号可能不再类似于单个触觉模式,因为脉冲之间的与每次触觉模式生成之间的时间延迟相对应的间隔可以小于单个触觉模式的持续时间。相比于之前的方法,这些重叠或堆叠的触觉模式可以导致触觉信号具有更自然的感觉并且与音频信号更具相关性。
通过以此方式生成触觉信号,触觉信号发生器200可以生成具有伴随和增强音频信号的非常自然的感觉的触觉信号。因为触觉信号是通过对触觉模式的加法合成生成的,所以与常规方法相比,可以使用单个触觉模式生成更复杂的触觉信号。
触觉发生器200可以在硬件或硬件和软件的组合中实施。
图4示出了用于通过使用触觉模式生成虚拟点击从而生成触觉信号的方法300的例子,所述方法可以在描述于触觉信号发生器的例子中的事件发生器的一个或多个例子中实施。
在步骤302中,可以接收音频信号样本。在步骤304中,根据预定时间段或时间常数内的音频信号样本的平均值确定包络值。步骤302、304可以例如由触觉信号发生器150、200中的音频特性提取器实施。
以下步骤可以使用触觉模式的如一阶脉冲响应等抽象表示来再合成包络的近似估计。在步骤306中,可以由于在之前事件处生成的触觉模式的抽象表示根据当前时间样本处的值的总和来确定所估计再合成包络值。在步骤308处,将所估计包络值与所述时间样本处的再合成包络值进行比较。如果在步骤304中确定的所估计包络值小于或等于再合成包络值,则所述方法返回到步骤302,并且然后针对随后的音频样本重复所述过程。返回到步骤308,如果在步骤304处确定的所估计包络值高于再合成包络值,则在步骤310处生成事件并且输出与所生成事件相对应的脉冲。将触觉模式的抽象表示与再合成包络相加(在当前样本处开始并且在将来的时间样本中继续)。所述方法返回到步骤302,并且然后针对随后的音频样本重复所述过程。步骤306、308、310可以由触觉信号发生器150、200中的脉冲计算器实施。所述方法300允许实时使用低复杂度的触觉模式抽象表示来再合成包络。点击的间隔将与实际包络的陡度和高度相关。更陡的包络可能导致更紧密间隔的点击。因此,包括脉冲串的所产生事件信号的间隔可以与包络及其斜率成反比。
图5A示出了曲线图350,所述曲线图350示出了使用图4中所描述的方法300产生的示例再合成包络356与实际包络358的比较。x轴352示出了在0秒与2.5秒之间变化的时间。y轴354示出了在0伏与0.3伏之间变化的包络幅值。实际包络通过细线358示出,并且再合成包络通过较粗线356示出。如之前在图4中所解释的,对于每个时间样本,将通过对前述一阶脉冲响应的效果进行求和而获得的通过线356示出的再合成包络与实际包络358进行比较。如果再合成包络358低于实际包络356,则添加一阶脉冲响应,从而产生实际包络的近似估计。
图5B示出了与图5A的包络无关的示例脉冲序列生成360。x轴362示出了从0秒到0.18秒变化的时间,y轴364示出了0到1的归一化脉冲幅值。示出了多个所生成脉冲366,所述脉冲366可以如之前例如通过方法300所描述的那样确定。
图5C示出了由对在所生成脉冲366中的每一个处触发的所生成触觉模式的加法合成产生的所产生输出信号370的曲线图。x轴372示出了从0秒到0.18秒变化的时间,y轴374示出了在-6伏与+6伏之间变化的输出信号幅值。触觉输出信号通过线376示出。时间t<0.03s内的电压信号对应于单个触觉模式。在信号包络开始急剧增加时,将出现许多紧密间隔的脉冲,从而导致生成触觉模式的多个实例,所述实例将建立强烈的触觉。所产生的触觉信号通常将不再类似于原始触觉模式。可以在时间t>0.1s处在触觉输出信号线376中观察到这一点,其是三个重叠触觉模式的结果。所产生的触觉信号与在时间t<0.03s处可以观察到的单个触觉模式显著不同。当音频事件减小时,信号包络降低。这可能导致生成更少的脉冲并且因此将发生更少的触觉事件。
可以由所描述的示例触觉信号发生器的事件发生器和加法合成器完成的包络再合成可以在具有不同参数,例如低于1kHz且高于8kHz的多个音频频带内完成。相比于频率较低,例如介于100Hz与1kHz之间的爆炸事件,这允许实现强烈冲击的不同触觉效果,所述冲击可以是例如高于8kHz的频率。可以将不同触觉信号发送到不同触觉致动器,或者可以对其进行求和并且发送到单个触觉致动器。在图6中示出了适合于多个音频频带的示例触觉信号发生器400。
触觉信号发生器400包括n个事件发生器404a、404b、404n和多个加法合成器408a、408b、408n。事件发生器404a、404b、404n中的每一个具有连接到音频输入402的输入。事件发生器404a、404b和404n中的每一个具有连接到相应加法合成器模块408a、408b、408n的相应输出406a、406b、406n。加法合成器模块输出410a、410b、410n可以连接到求和模块412。求和模块412的输出可以连接到触觉信号发生器输出420。
在操作中,触觉信号发生器输出420可以连接到触觉驱动器(未示出)。触觉驱动器输出可以连接到触觉致动器,如线性谐振致动器或压电换能器(未示出)。
可以在事件发生器404a、404a、404n中的每一个的输入处接收音频信号输入402上的音频信号。
事件发生器404a、404b、404n中的每一个可以在不同频带中对音频信号进行滤波并且确定滤波后音频信号的音频特性。例如,事件发生器404a可以对音频信号应用截止频率为1KHz的低通滤波器;事件发生器404b可以应用2KHz与8KHz之间的带通滤波器;并且事件发生器404n可以应用截止频率为8KHz的高通滤波器。音频特性可以是例如相应滤波后音频信号的包络。每个事件发生器404a、404b、404n可以输出包括根据音频特性导出的脉冲串或序列的事件信号。在一个例子中,这种推导可以通过脉冲密度调制完成。在其它例子中,这种推导可以使用在图3中所描述的方法300。此上下文中的脉冲可以被理解为硬件脉冲或可以在某个时刻在软件或硬件中生成的事件。
每个加法合成器408a、408b、408n可以接收包括脉冲序列的事件信号并且在每个脉冲处生成触觉模式。由加法合成器408a、408b、408n中的每一个生成的触觉模式可以不同。当所产生的触觉信号用于驱动触觉致动器时,触觉模式之一可以例如对应于被称为触觉点击的点击的触觉效果。可以使用其它触觉模式,从而产生不同的触觉效果。每个加法合成器408a、408b、408n可以组合输出410a、410b、410n上的相应所生成触觉模式。求和模块412可以将这些触觉模式加在一起,从而产生触觉信号输出420上的触觉信号。相比于之前的方法,这些重叠或堆叠的触觉模式可以导致触觉信号具有更自然的感觉并且与音频信号更具相关性。
如在图6中所示,触觉输出420上的触觉信号可以被发送到单个触觉致动器。在其它例子中,来自加法合成器408a、408b和408n中的每一个的输出410a、410b、410n的不同触觉信号可以用于驱动单独的触觉致动器。在这些例子中,可以省略求和模块412。
图7示出了生成触觉信号的方法500。在步骤502中,可以接收音频信号。在步骤504中,可以生成事件信号,所述事件信号包括多个,也就是说两个或更多个根据音频信号的特性导出的脉冲。音频特性可以是例如音频信号的包络或音频信号的滤波后版本的包络、频谱的某个方面或某个另外的特性。在步骤506中,可以生成触觉输出信号,所述触觉输出信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的组合。在每个脉冲处生成的触觉模式可以与前一个模式不同或基本相同。
图8示出了生成触觉信号的方法550。在步骤552中,可以接收音频信号。在步骤554中,可以确定音频信号的包络。在步骤556中,可以生成根据音频信号的包络导出的脉冲序列。在步骤558中,可以生成触觉输出信号,所述触觉输出信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的组合。所述触觉模式和所述至少一个另外的触觉模式可以不同或基本相同。
本文所描述的触觉信号发生器和用于生成触觉信号的方法可以生成一系列重叠或堆叠的触觉脉冲,所述触觉脉冲遵循音频信号的特性,如音频信号包络。所产生的触觉信号不使用可能更复杂的频移或音调移位。用户体验可能优于使用调幅正弦波的用户体验,因为使用所提出的发明生成的触觉信号的频率内容更加丰富。
音频信号的包络可以用于导出脉冲串。在每个脉冲处,可以生成可以例如对应于触觉点击的触觉模式。在触觉模式被覆盖或堆叠的情况下,所产生的触觉信号可能不再类似于单个触觉模式,因为脉冲之间的间隔通常小于触觉点击的长度。
描述了一种用于生成触觉信号的方法和设备。接收音频信号,并且根据所述音频信号的特性确定包括多个脉冲的事件信号。通过组合由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的基本相同的触觉模式生成触觉输出信号。
尽管所附权利要求针对特定特征组合,但是应当理解的是,本发明的公开范围还包括在本文中明确或隐含公开的任何新颖特征或任何新颖特征组合或其任何概括形式,而不论其是否涉及与任一权利要求中当前要求保护的发明相同的发明,并且无论其是否与本发明那样减轻了相同技术问题中的任何或所有问题。
在单独的实施例的上下文中所描述的特征还可以在单个实施例中组合提供。相反,为简洁起见在单个实施例的上下文中描述的各种特征也可以单独提供或以任何适当的子组合提供。
诸位申请人特此声明,在本申请或由其衍生的任一另外的申请的诉讼期间,可以针对这种特征和/或这种特征的组合形成新的权利要求。
为了完整起见,还指出,术语“包括”不排除其它元件或步骤,术语“一个或一种(a或an)”不排除多个,单个处理器或其它单元可以实现权利要求中所述的若干装置的功能,并且权利要求中的附图标记不应被解释为限制权利要求的范围。
附图标记列表
100 触觉信号发生器;
102 音频输入;
104 事件发生器;
106 事件发生器输出;
108 加法合成器;
120 触觉信号发生器输出;
122 触觉驱动器;
124 触觉驱动器输出;
126 触觉致动器;
150 触觉信号发生器;
152 音频输入;
154 事件发生器;
156 脉冲计算器输出;
158 加法合成器;
160 音频特性提取器;
162 脉冲计算器;
163 音频特性提取器输出;
170 触觉信号发生器输出;
172 触觉驱动器;
174 触觉驱动器输出;
176 触觉致动器;
200 触觉信号发生器;
202 音频信号输入;
204 事件发生器;
206 脉冲发生器输出;
208 加法合成器;
210 音频特性提取器;
212 脉冲计算器;
214 滤波器;
216 包络计算器;
218 比较器;
220 触觉信号发生器输出;
222 脉冲发生器;
224 再合成模块;
226 滤波器输出;
228 包络计算模块输出;
230 比较器输出;
232 再合成包络信号输出;
300 生成触觉信号的方法;
302 接收音频信号样本;
304 根据某个时间段内的样本的绝对值的平均值确定包络值;
306 由于在之前事件处生成的脉冲响应根据当前时间值处的值的总和生成所估计再合成包络值;
308 实际值高于所估计再合成值;
310 生成事件和输出脉冲;
350 示出了使用方法300产生的示例再合成包络的曲线图;
352 曲线图350的x轴;
354 曲线图350的y轴;
356 再合成包络信号;
358 包络信号;
360 示例脉冲序列生成曲线图;
362 示例脉冲序列生成x轴;
364 示例脉冲序列生成y轴;
366 所生成脉冲;
370 触觉输出信号的曲线图;
372 曲线图370的x轴;
374 曲线图370的y轴;
376 触觉输出信号线;
400 触觉信号发生器;
402 音频输入;
404a 事件发生器a;
404b 事件发生器b;
404n 第n事件发生器;
406a 事件发生器输出a;
406b 事件发生器输出b;
406n 第n事件发生器输出;
408a 加法合成器模块a;
408b 加法合成器模块b;
408n 第n加法合成器模块;
410a 加法合成器模块a输出;
410b 加法合成器模块b输出;
410n 第n加法合成器模块输出;
412 求和模块;
420 触觉信号发生器输出;
500 生成触觉信号的方法;
502 接收音频信号;
504 生成事件信号,所述事件信号包括根据音频信号的特性产生的多个脉冲;
506 生成触觉输出信号,所述触觉输出信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的组合;
550 生成触觉信号的方法;
552 接收音频信号;
554 确定音频信号的包络;
556 根据音频信号的包络生成脉冲序列;
558 生成触觉输出信号,所述触觉输出信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的组合。
Claims (10)
1.一种触觉信号发生器,其特征在于,其包括:
事件发生器,其具有事件发生器输入和事件发生器输出,所述事件发生器输入被配置成接收音频信号,所述事件发生器输出被配置成输出事件信号,所述事件信号包括根据所述音频信号的特性生成的多个脉冲;
加法合成器,其具有耦合到所述事件发生器输出的输入,并且所述加法合成器另外具有触觉信号输出;
其中所述加法合成器被配置成通过所述触觉信号输出来输出触觉信号,其中所述触觉信号包括由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式的总和。
2.根据权利要求1所述的触觉信号发生器,其特征在于,所述触觉信号仅在所述音频信号高于预定阈值时才被生成。
3.根据在前的任一项权利要求所述的触觉信号发生器,其特征在于,所述音频信号的所述特性包括音频信号包络、滤波后音频信号的信号包络和信号包络的变化的度量中的至少一个。
4.根据在前的任一项权利要求所述的触觉信号发生器,其特征在于,所述事件发生器包括音频特性提取器,所述音频特性提取器耦合到脉冲计算器并且被配置成通过根据所述音频信号的所确定特性与所估计特性之间的比较生成脉冲从而生成事件信号。
5.根据权利要求4所述的触觉信号发生器,其特征在于,所述脉冲计算器进一步包括再合成模块以及比较器和脉冲发生器的串联布置,其中所述比较器包括第一比较器输入和第二比较器输入,所述第一比较器输入耦合到所述音频特性提取器,所述第二比较器输入耦合到再合成模块输出,并且其中所述再合成模块输入耦合到所述脉冲发生器输出,并且所述脉冲发生器输出耦合到所述事件发生器输出,并且所述再合成模块被配置成通过将在之前时间事件处生成的所述一个或多个触觉模式的独立表示的值相加来导出所估计特性值,并且其中所述脉冲计算器被配置成在所述所估计特性值小于所述音频信号的所述所确定特性的情况下生成脉冲。
6.根据权利要求5所述的触觉信号发生器,其特征在于,触觉模式的所述独立表示包括经缩放的一阶脉冲响应,所述一阶脉冲响应包括振幅和时间常数。
7.根据在前的任一项权利要求所述的触觉信号发生器,其特征在于,至少一些连续触觉模式的开始时间之间的时间延迟小于所述触觉模式的持续时间。
8.根据在前的任一项权利要求所述的触觉信号发生器,其特征在于,其包括多个加法合成器,其中所述多个加法合成器中的每一个的输出耦合到加法器,并且其中所述加法器的输出耦合到所述触觉信号输出。
9.一种移动装置,其特征在于,其包括根据在前的任一项权利要求所述的触觉信号发生器,所述触觉信号发生器耦合到触觉驱动器和触觉致动器的串联布置。
10.一种用于生成触觉信号的方法,其特征在于,其包括:
接收音频信号;
生成事件信号,所述事件信号包括根据所述音频信号的特性确定的多个脉冲;以及
通过组合由第一脉冲触发的触觉模式和由至少一个另外的脉冲触发的至少一个另外的触觉模式生成触觉输出信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189238.7A CN118068960A (zh) | 2018-03-16 | 2019-03-15 | 触觉信号发生器 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18162264.8A EP3540567B1 (en) | 2018-03-16 | 2018-03-16 | Haptic signal generator |
EP18162264.8 | 2018-03-16 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189238.7A Division CN118068960A (zh) | 2018-03-16 | 2019-03-15 | 触觉信号发生器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110275604A true CN110275604A (zh) | 2019-09-24 |
CN110275604B CN110275604B (zh) | 2024-02-27 |
Family
ID=61873265
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189238.7A Pending CN118068960A (zh) | 2018-03-16 | 2019-03-15 | 触觉信号发生器 |
CN201910202114.7A Active CN110275604B (zh) | 2018-03-16 | 2019-03-15 | 触觉信号发生器 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189238.7A Pending CN118068960A (zh) | 2018-03-16 | 2019-03-15 | 触觉信号发生器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10936070B2 (zh) |
EP (1) | EP3540567B1 (zh) |
CN (2) | CN118068960A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120673B2 (en) | 2018-06-07 | 2021-09-14 | Lofelt Gmbh | Systems and methods for generating haptic output for enhanced user experience |
CN110058676A (zh) * | 2018-11-28 | 2019-07-26 | 瑞声科技(新加坡)有限公司 | 一种振动方法、电子设备及存储介质 |
EP3938867A4 (en) * | 2019-04-26 | 2022-10-26 | Hewlett-Packard Development Company, L.P. | SPATIAL AUDIO AND HAPTICS |
JP7340983B2 (ja) * | 2019-07-29 | 2023-09-08 | フォルシアクラリオン・エレクトロニクス株式会社 | 振動信号生成装置および振動信号生成用プログラム |
US11468750B2 (en) * | 2019-10-14 | 2022-10-11 | Lofelt Gmbh | Authoring an immersive haptic data file using an authoring tool |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2487557A2 (en) * | 2011-02-11 | 2012-08-15 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
EP2674835A2 (en) * | 2012-06-14 | 2013-12-18 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
CN105320267A (zh) * | 2014-06-16 | 2016-02-10 | 意美森公司 | 用于拟音风格的触觉内容创建的系统和方法 |
WO2018005590A1 (en) * | 2016-06-29 | 2018-01-04 | Immersion Corporation | Real-time haptics generation |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6143974A (en) * | 1999-06-25 | 2000-11-07 | Dahl; Philip Y. | Method for additive synthesis of sound |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9368005B2 (en) | 2012-08-31 | 2016-06-14 | Immersion Corporation | Sound to haptic effect conversion system using mapping |
US9128523B2 (en) | 2012-12-20 | 2015-09-08 | Amazon Technologies, Inc. | Dynamically generating haptic effects from audio data |
US8754757B1 (en) | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9519346B2 (en) | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
-
2018
- 2018-03-16 EP EP18162264.8A patent/EP3540567B1/en active Active
-
2019
- 2019-03-11 US US16/297,809 patent/US10936070B2/en active Active
- 2019-03-15 CN CN202410189238.7A patent/CN118068960A/zh active Pending
- 2019-03-15 CN CN201910202114.7A patent/CN110275604B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2487557A2 (en) * | 2011-02-11 | 2012-08-15 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
EP2674835A2 (en) * | 2012-06-14 | 2013-12-18 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
CN105320267A (zh) * | 2014-06-16 | 2016-02-10 | 意美森公司 | 用于拟音风格的触觉内容创建的系统和方法 |
WO2018005590A1 (en) * | 2016-06-29 | 2018-01-04 | Immersion Corporation | Real-time haptics generation |
Also Published As
Publication number | Publication date |
---|---|
EP3540567B1 (en) | 2021-05-05 |
EP3540567A1 (en) | 2019-09-18 |
CN110275604B (zh) | 2024-02-27 |
US20190286235A1 (en) | 2019-09-19 |
CN118068960A (zh) | 2024-05-24 |
US10936070B2 (en) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275604A (zh) | 触觉信号发生器 | |
CN105511514B (zh) | 一种智能终端的触觉振动控制系统和方法 | |
CN108196683B (zh) | 利用波形的声音到触觉效应转换系统 | |
EP2624099B1 (en) | Method and system for sound to haptic effect conversion using waveform | |
JP4344323B2 (ja) | 信号分離 | |
EP2429216A2 (en) | Accoustic apparatus | |
JP2803703B2 (ja) | 楽音発生装置 | |
JP2009524812A (ja) | 信号解析器 | |
CN111381707A (zh) | 触觉信号转换系统 | |
CN109979418A (zh) | 音频处理方法、装置、电子设备及存储介质 | |
TW202133950A (zh) | 振動控制裝置、振動控制程式及振動控制方法 | |
EP1800218A2 (en) | Apparatus for and method of signal processing | |
WO2023109275A1 (zh) | 一种宽频振动装置及其控制方法 | |
JP2021065872A (ja) | 振動制御装置,振動制御プログラム及び振動制御方法 | |
HUT65704A (en) | Metehod additional unit and device for active reducing noise level | |
JP2000296118A (ja) | 生体信号解析方法および装置 | |
CN114019236A (zh) | 一种电网谐波单通道混叠目标信号检测方法和装置 | |
EP2687864A1 (en) | Method and apparatus for reduction of the subpulses reciprocal intermodulation in a complex electromagnetic pulse | |
JP3971193B2 (ja) | 雑音発生装置、雑音発生方法およびプログラム | |
JP2504179B2 (ja) | ノイズ音発生装置 | |
US20230147412A1 (en) | Systems and methods for authoring immersive haptic experience using spectral centroid | |
CN111999556B (zh) | 一种基于Duffing振子系统的线谱检测方法、系统及其存储介质 | |
JP2004200972A (ja) | 信号のスクランブル・スクランブル解除方法及びシステム | |
CN116077925A (zh) | 一种振动反馈方法、装置和电子设备 | |
Stark et al. | Rhythmic analysis for real-time audio effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200312 Address after: Room 2113, 21 / F, Sheung Shui Plaza, 39 long Chen Road, Sheung Shui, Hong Kong, China Applicant after: Top top technology (Hongkong) Co.,Ltd. Address before: Holland high tech park, Eindhoven 60 zip code: 5656AG Applicant before: NXP B.V. |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |