CN109144255A - 用于语音到文本转换的触觉增加的系统和方法 - Google Patents

用于语音到文本转换的触觉增加的系统和方法 Download PDF

Info

Publication number
CN109144255A
CN109144255A CN201810934040.1A CN201810934040A CN109144255A CN 109144255 A CN109144255 A CN 109144255A CN 201810934040 A CN201810934040 A CN 201810934040A CN 109144255 A CN109144255 A CN 109144255A
Authority
CN
China
Prior art keywords
signal
actuator
haptic effect
processor
partially
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810934040.1A
Other languages
English (en)
Inventor
罗伯特·W·休贝尔
艾林·拉姆塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109144255A publication Critical patent/CN109144255A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请涉及用于语音到文本转换的触觉增加的系统和方法。公开了用于在用户接口中提供语音到文本触觉增加的系统和方法。例如，一种公开的用于将可听见的话音信息转换成触觉效果的系统包括麦克风和与麦克风通信的处理器，该处理器被配置成从麦克风接收与语音相关联的音频信号、确定音频信号的特性、并且至少部分地基于该特性来生成致动器信号，该致动器信号被配置成促使致动器输出触觉效果。

Description

用于语音到文本转换的触觉增加的系统和方法
分案说明
本申请属于申请日为2010年10月27日的中国发明专利申请No.201080048828.4的分案申请。
相关申请的交叉引用
本专利申请要求于2009年10月29日提交的、题为“Systems and Methods forHaptic Augmentation Of Voice-To-Text Conversion”的美国实用专利申请No.12/608,707的优先权，其全部内容通过引用的方式被合并到本文中。
技术领域
本发明总体上涉及用于用户接口的系统和方法，以及更具体地涉及用于语音到文本转换的触觉增加的系统和方法。
背景技术
电子设备向用户提供多种反馈，包括视觉和听觉反馈。一些设备还向用户提供触觉反馈形式。触觉反馈在一些情况下能够向接收消息的用户提供可能在消息本身中不是显而易见的信息。例如，被转换成文本消息的语音消息可能未能转达发送用户对在消息中表达的主题的感受的情感水平或转达关于消息的其他语境信息。用户常常试图通过凭借将众所周知的符号(例如，表情符号)附加到消息上来表达这种潜在意思来填补这种空白。然而，这样的符号在其能够转达的消息的复杂性方面是受限的。相比之下，触觉反馈能够提供更复杂和直接的方式来以更令人信服的方式向其他用户表达这样的潜在意思。
发明内容
本发明包括用于语音到文本转换的触觉增加的系统和方法。例如，本发明的一个实施例包括一种计算机实现的方法，该方法包括以下步骤：从麦克风接收与语音相关联的音频信号；确定该音频信号的特征；以及至少部分基于该特征来生成致动器信号。致动器信号被配置成促使致动器输出触觉效果。另一个实施例包括一种编码有用于执行这样的方法的处理器可执行程序代码的计算机可读介质。
提及这些说明性实施例并不是为了限制或限定本发明，而是提供示例以帮助对本发明的理解。在具体实施方式中论述了说明性实施例，并且在那里提供了对本发明的进一步描述。可以通过研究本说明书来进一步理解由本发明的各种实施例提供的优点。
附图说明
当参考附图来阅读以下具体实施方式时，将更好地理解本发明的这些及其他特征、方面、和优点，在附图中：
图1是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图；
图2是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的图示；
图3是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图；
图4是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图；
图5是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图；以及
图6是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。
具体实施方式
本发明的实施例提供了用于语音到文本转换的触觉增加的系统和方法。
用于语音到文本转换的触觉增加的说明性系统
在本发明的一个说明性实施例中，一种移动电话，包括：处理器以及与处理器通信的麦克风和扬声器。该移动电话还包括与处理器通信的致动器。致动器能够输出能够由移动电话的用户感受到的触觉效果。用户能够使用该电话来记录语音消息，处理器然后将该语音消息转换成文本消息。另外，处理器被配置成对语音消息进行分析以便确定该消息的特性。
例如，在一个这样的实施例中，对用户的语音消息的频率、幅度和持续时间进行分析，并且处理器确定与每一个这些参数相对应的触觉效果。然后，处理器将触觉效果与消息的文本版本相关联，并且将消息传送给预期接收者。在第二实施例中，对用户的生物节律进行分析，并且处理器确定与用户的生物节律响应相对应的触觉效果。然后，如上，处理器将触觉效果与消息的文本版本相关联，并且将消息传送给预期接收者。进一步展望的是，语音分析和生物节律可以由处理器同时完成来达成对要被传送给预期接收者的触觉效果的确定。
在说明性实施例中，接收者也具有包括用于输出触觉效果的致动器的移动设备，诸如偏心旋转质量(“ERM”)电机。当接收者打开消息时，经由移动设备向该接收者输出与该消息相关联的触觉效果。
例如，第一用户可以通过叫喊来创建消息。当处理器对语音消息进行分析时，处理器将所得到的文本消息与高幅度触觉效果相关联，使得接收用户能够“感受到”嵌入消息中的情感。在另一个示例中，当用户在以高音说话同时创建语音消息时，处理器将高频触觉效果与所得到的文本消息相关联。
给出这些说明性示例以向读者介绍在此论述的一般主题。本发明并不限于这些示例。下面部分描述了用于语音到文本转换的触觉增加的系统和方法的各种另外的实施例和示例。
用于话音到文本增加的说明性系统
现在参考附图，其中相同的附图标记遍及多个图指示相同的元素。图1示出了根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图。如图1中所示，系统包括移动设备100。在一个实施例中，移动设备100包括移动电话。在其他实施例中，移动设备100可以包括另一个便携式或手持式电子设备，诸如便携式数字助理(PDA)、便携式媒体播放器、便携式游戏设备或膝上型计算机。在一些实施例中，移动设备100可以代替地包括非便携式电子设备，诸如台式计算机。
14在图1中所示的实施例中，移动设备100包括麦克风105。麦克风105接收音频，诸如用户的语音或环境声音，并且将音频转换成对应的输入信号，该输入信号至少部分地基于来自麦克风的音频信号。在图1所示的实施例中，移动设备100还包括生物传感器106。生物传感器106接收生物信息，诸如用户的生物节律，并且至少部分地基于生物传感器数据将生物信息转换成对应的输入信号。
移动设备100还包括与麦克风105通信的处理器110。在所示的实施例中，处理器110被配置成从麦克风105接收音频信号，并且对音频信号进行处理。例如，处理器110可以对音频信号进行分析以确定该音频信号的一个或多个特性。在其他实施例中，移动设备100可以包括协同工作的多个处理器。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似器件。
移动设备100还包括与处理器110通信的致动器115。致动器115可以包括多种类型的致动器中的一个或多个。例如，致动器115可以是压电式致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(ERM)或线性谐振致动器(LRA)。在一个实施例中，移动设备100可以包括多个致动器。在这样的实施例中，处理器110被配置成将触觉信号发送给多个致动器中的至少一个。
仍然参考图1，移动设备100还包括计算机可读介质120。计算机可读介质120可以用于存储程序代码，所述程序代码当由处理器110执行时促使该处理器执行在此公开的方法的各个步骤。本发明的实施例可以以数字电子电路、或以计算机硬件、固件、软件、或以其组合来实现。诸如随机存取存储器(RAM)的计算机可读介质120与处理器110通信或被耦接到处理器110。处理器110执行存储在计算机可读介质120上的计算机可执行程序指令，诸如执行用于对音频信号进行分析的一个或多个计算机程序。
计算机可读介质的实施例可以包括但不限于能够向诸如移动设备100中的处理器110的处理器提供计算机可读指令的电子、光学、磁性、或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、已配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从中进行读取的任何其他介质。在此描述的处理器和处理可以处于一个或多个结构中，并且可以散布于一个或多个结构。
在图1中所示的实施例中，移动设备100还包括与处理器110通信的扬声器125。扬声器125被配置成输出音频信号，诸如语音消息。在一个实施例中，还可以将扬声器125与致动器115进行组合来输出音频信号和触觉效果两者。
所示的移动设备100还包括显示器140。例如，在移动设备100是PDA的实施例中，显示器140可以包括用于向用户显示消息的触摸屏接口。
移动设备100还包括与处理器110通信的网络接口135。网络接口135允许移动设备100通过网络150与远程设备130进行通信。例如，在一个实施例中，移动设备100可以通过因特网与另一个移动设备或与计算机或其他电信设备进行通信。
在图1中所示的实施例中，网络接口135包括被配置成允许移动设备100通过一个或多个蜂窝电话网络进行通信的基带处理器和蜂窝无线电。在一些实施例中，网络接口135可以包括其他通信设备。例如，在一个实施例中，网络接口135可以包括802.11无线以太网接口或蓝牙接口。在一些实施例中，网络接口220可以包括有线网络接口，诸如以太网适配器。移动设备100可以被配置成将消息或信号传送给其他设备。
现在参考图2，图2是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的图示。在图2中所示的实施例中，移动电话200包括麦克风205和显示器240。移动电话还包括处理器、致动器、计算机可读介质和网络接口，其被布置在移动电话200中但是在图2中都没有被示出。
现在参考图3，图3是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图。在图3中所示的实施例中，系统包括通过网络380进行通信的两个设备，设备A 300和设备B 350。在一些实施例中，第一设备，设备A 300或第二设备，设备B 350包括便携式或手持式电子设备，诸如便携式数字助理(PDA)、便携式媒体播放器、便携式游戏设备、膝上型计算机或移动电话。在其他实施例中，第一设备300或第二设备350包括非便携式电子设备，诸如台式计算机。
在图3中所示的实施例中，第一设备300包括处理器310、计算机可读介质315、网络接口320以及诸如麦克风/生物传感器335的输入设备。在一些实施例中，第一设备，设备A300还可以包括更多或更少数量的组件。例如，设备A 300可以包含以下中的一个或多个：蓝牙组件、触敏表面、鼠标和/或键盘。设备A 300的组件以与在图1的移动设备100中所示并且关于图1的移动设备100所描述的那些的对应组件相似的方式运作。
在图3中所示的实施例中，第二设备，设备B 350包括处理器360、计算机可读介质365、网络接口370和致动器375。在一些实施例中，第一设备300和第二设备350是相似或相同的设备，而在其他实施例中，它们不是。
在图3中所示的实施例中，第一设备处理器和第二设备处理器310和360与其相应的网络接口320和370进行通信。在所示的实施例中，网络接口320和370每一个包括被配置成允许设备300和350使用网络380来相互通信或与另一个设备通信的基带处理器和蜂窝无线电装置。例如，这样的实施例可以通过包括一个或多个蜂窝电话网络的网络380进行通信。在其他实施例中，网络接口320可以包括其他类型的网络接口，诸如802.11无线以太网、有线以太网、蓝牙或USB。例如，在一个实施例中，网络接口320可以包括802.11无线以太网接口。
用于话音到文本增加的说明性方法
图4-6是图示根据本发明的实施例的各种方法的流程图。关于在图1中示出的移动设备100论述了流程图，尽管可以利用用于实现本发明的实施例的各种其他环境，并且在此描述了若干这样的环境。
图4是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。当处理器接收到输入信号405时，在图4中所示的触觉增加方法400开始。在一个实施例中，响应于麦克风的对诸如由用户的语音所产生的音波的感测，从麦克风105接收输入信号。在另一个实施例中，从生物传感器接收输入信号。在其他实施例中，可以从存储介质接收音频信号。例如，在一个这样的实施例中，在或从用户的语音邮件箱接收音频信号。
一旦已经接收到输入信号，则处理器110可以对输入信号进行分析以确定输入信号的一个或多个特性410。例如，处理器110可以确定音频信号具有特定频率和/或幅度。或处理器110可以确定生物传感器信号包括特定生物节律。
至少部分地基于所确定的特性，处理器110接着生成致动器信号415。在一个实施例中，通过搜索与各种特性相关联的触觉效果库来完成确定。在其他实施例中，确定可以基于计算。在一些实施例中，输出单个触觉效果。在其他实施例中，可以输出多个触觉效果。
处理器110接着将致动器信号传送给致动器(115)415。致动器信号被配置成促使致动器115输出与所确定的特性相关联的特定触觉效果。一旦致动器115接收该信号，则致动器115输出触觉效果。
现在参考图5，图5是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。当处理器110从诸如麦克风或生物传感器的输入设备接收输入信号505时，在图5中所示的触觉增加方法500开始。在所示的实施例中，从麦克风105接收输入信号。
处理器110对输入信号进行分析以便确定输入信号的特性510。例如，特性可以是音频信号的频率、幅度、持续时间或其他参数。或特性可以是个人的生物测量，诸如个人的心率、呼吸、体温或生物节律。
处理器110然后至少部分地基于输入信号的一个或多个特性来生成一个或多个致动器信号515。致动器信号中的每一个被配置成促使致动器输出触觉效果。
在所示的实施例中，一旦已经生成了致动器信号，则处理器110将该致动器信号传送给一个或多个致动器520。例如，在包括单个致动器的一个实施例中，处理器110将致动器信号仅传送给该致动器(例如，致动器115)。在包括多个致动器的另一个实施例中，处理器110将单个致动器信号传送给所有的致动器。在又一个实施例中，处理器110将独立并且潜在不同的致动器信号传送给多个致动器中的每一个。
现在参考图6，图6是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。在所示的触觉增加方法600中，处理器110接收音频信号605。
处理器110然后确定音频信号的特性610，并且至少部分地基于音频信号来生成致动器信号615。致动器信号被配置成促使致动器115输出触觉效果。
处理器110然后采用语音识别设施来确定与音频信号相关联的词620。例如，处理器110可以访问包括词列表和关联特性的数据储存器，以使音频信号与词相匹配。
在图6中所示的实施例中，一旦处理器110已经确定了与音频信号相关联的词，则处理器确定致动器信号与该词相关联625。例如，致动器信号可以被存储在与用来确定与音频信号相关联的词相同的数据储存器中。在其他实施例中，数据储存器是单独并且不同的。在又一个实施例中，实现触觉逸出词。在这样的实施例中，当用户说出特定词序列时，将触觉效果与该序列相关联。例如，用户可以说出“闪烁闪烁”来触发特定触觉效果，其可以被称为触觉符号(hapticon)。
一旦处理器110确定词和致动器信号，则处理器110将其传送给致动器(115)620。接收词和致动器信号的设备然后可以输出触觉效果。
语音到文本增加的说明性实现
本发明的实施例可以以多种方式来实现以提供多种用户体验。关于图1描述了下面的示例。对于这些示例中的一些，假设发送消息的第一用户和接收消息的第二用户都正使用如图1中所图示的移动设备100。例如，在图1中所示的实施例中，发送用户可能希望经由移动设备100向接收用户发送文本消息。代替使用键盘来键入文本消息，发送用户可能希望使语音消息转换成文本消息来发送给接收用户。因此，发送用户可以对着麦克风105说话，麦克风105生成对应的音频信号并且将音频信号传送给处理器110。处理器110还可以同时或基本上同时将话音转换成文本。将话音转换成文本的这样的过程对本领域技术人员来说是已知的。称为SpinVox的公司制作了一个这样的应用。
处理器110接收发送用户的语音信号，并且确定该语音信号的特性。所述特性可以是音频信号的频率、幅度、持续时间或其他参数。处理器110然后至少部分地基于由发送用户创建的语音信号的特性来生成致动器信号。处理器110然后将致动器信号传送给致动器115，其促使致动器115输出触觉效果。该触觉效果可以由用户感受到。
例如，如果发送用户对着移动设备100的麦克风105叫喊，则处理器110可以确定音频信号具有高幅度特性。处理器110然后可以生成被配置成促使致动器115输出高幅度触觉效果的高幅度致动器信号。因此，触觉效果与原始音频信号的幅度特性相对应。
在一些实施例中，处理器110可以被配置成将致动器信号和音频信号两者分别传送给致动器115和扬声器125。
例如，再次参考第一用户对着移动设备100叫喊并且处理器创建对应的高幅度致动器信号的上面的示例，处理器110可以被配置成将来自发送用户的叫喊的音频信号和所得到的高幅度致动器信号分别传送给扬声器125和致动器115。在一些实施例中，扬声器125可以被配置成输出致动器和音频信号两者，生成触觉效果和对应的声音两者。
在另一个实施例中，处理器110可以被配置成确定与音频信号相关联的词，并且将该词和对应的致动器信号传送给远程设备130。例如，在这样的实施例中，如果发送用户对着麦克风105叫喊“生气”，则处理器110可以接收来自发送用户的叫喊的音频信号、确定音频信号的高幅度特性、并且生成被配置成促使致动器115输出高幅度触觉效果的高幅度致动器信号。处理器110还可以确定词“生气”与音频信号相关联、可以将词“生气”和高幅度致动器信号存储在计算机可读介质120中，并且然后将词“生气”和高幅度致动器信号传送给远程设备130。在另一个实施例中，发送用户可以以正常声调低声说或说出词“生气”，而处理器110仍然可以基于词在交流中的性质，即内容，将高幅度致动器信号与该词相关联。
此外，在图1中所示的实施例中，处理器110可以被配置成至少部分地基于音频信号来生成多个触觉效果。例如，除作为发送用户对着麦克风105叫喊“生气”的结果，处理器110生成单个高幅度致动器信号之外，处理器110还可以至少部分地基于音频信号来生成高频触觉效果、长持续时间触觉效果或触觉效果的任何组合。
在一个实施例中，处理器110通过从触觉效果库识别与该特性相关联的触觉效果来生成致动器信号。例如，如果发送用户对着麦克风105惊叫“我很激动”，则处理器110可以接收来自发送用户的惊叫的音频信号、确定音频信号的高幅度、高频特性、并且通过从触觉效果库识别与高幅度、高频特性相关联的高幅度、高频触觉效果来生成高幅度、高频致动器信号。
在另一个实施例中，处理器110可以确定与音频信号相关联的词，并且至少部分地基于该词来生成致动器信号。例如，如果处理器110确定词“爱”与音频信号相关联，则处理器110可以通过识别在触觉效果库中的将词“爱”与模拟心跳触觉效果相关联的词“爱”，来生成引起模拟心跳触觉效果的脉冲致动器信号。
在又一个实施例中，处理器110可以至少部分地基于音频信号和至少部分地基于词来生成致动器信号。例如，如果发送用户对着麦克风105轻柔并缓慢地说出“爱”，则处理器110可以接收来自发送用户的陈述的音频信号、可以确定音频信号的低幅度、低频特性，并且可以生成低幅度、低频致动器信号。处理器110还可以确定词“爱”与音频信号相关联，并且可以通过识别在触觉效果库中的将词“爱”与模拟心跳触觉效果相关联的词“爱”，来生成引起模拟心跳触觉效果的脉冲致动器信号。处理器110可以被配置成然后将通过“爱”音频信号的特性所确定的触觉效果与通过词“爱”的特性所确定的触觉效果相组合，产生低幅度、低频模拟心跳触觉效果。
在另一个实施例中，发送用户可能希望经由移动设备100向接收用户发送消息。发送用户可以对着移动设备100的麦克风105说出“生日快乐”。作为响应，处理器110可以确定词“快乐”和“生日”与音频信号相关联，并且可以确定处理器110传送给致动器115的与每一个词相关联的单独触觉效果。在一个实施例中，处理器生成促使与“生日快乐”歌曲相对应的触觉效果被传送给接收用户的设备的致动器的脉冲致动器信号。
在另一个实施例中，移动设备100的处理器110可以至少部分地基于音频信号和至少部分地基于包含在音频信号中的词来生成致动器信号。例如，如果发送用户对着移动设备100的麦克风105轻柔并缓慢地说出“猫”，则处理器110可以接收来自发送用户的陈述的音频信号、确定音频信号的低幅度、低频特性、并且生成低幅度、低频致动器信号。替代地，处理器110可以确定词“猫”与音频信号相关联，并且生成引起猫喘鸣触觉效果的快速脉冲致动器信号。
参考图3，在又一个实施例中，发送用户可以对着包括移动电话的第一设备300的例如麦克风的输入设备335尖叫“救命”。第一设备300的处理器310可以接收来自麦克风335的音频信号、确定音频信号的高幅度、长持续时间特性、并且生成高幅度、短持续时间致动器信号。类似地，第一设备300的处理器310可以被配置成确定与音频信号相关联的词“救命”，并且将词“救命”和致动器信号存储在计算机可读介质315中。此外，第一设备300的处理器310可以被配置成通过从触觉效果库识别与高幅度、短持续时间特性相关联的高幅度、短持续时间触觉效果来生成高幅度、短持续时间致动器信号。类似地，第一设备300的处理器310可以配置成通过识别触觉效果库中的将词“救命”与脉冲莫尔斯电码S.O.S.触觉效果相关联的词“救命”，来生成产生脉冲莫尔斯电码S.O.S.触觉效果(点-点-点长-长-长点-点-点)的高幅度、短持续时间致动器信号。
参考图3，在又一个实施例中，第一设备300是发送用户的设备并且被配置使得其处于自动“收听”响应模式，在该模式下其基于预定义的环境声音来将触觉、听觉和/或视觉消息自动传送给第二接收设备350。例如，如果一个警察是发送用户，他的移动设备处于自动“收听”响应模式，则他的设备可以被配置成如果该警察的设备识别了枪声，则自动传送对支持或警察支援的请求。在该收听模式的另一个示例中，警官的设备可能正在收听该警官的生物节律，并且可能检测到该警官需要医疗救护，并自动传送对救护车的请求。对这些请求的传送可以是特定于任务并且本地化的。例如，传送可能针对附近的一个或多个接收者，诸如该警察的团队成员。例如，如果一组警察正协作搜寻逃犯，并且警察中的一个定位了该逃犯，则该警察的“收听”设备可以向周围的警察传送将帮助该警察的对该逃犯的位置的逼近的自动消息。如果警察在身体上不能将该信息通信给同伴警察，例如，如果该警察在与逃犯搏斗或赛跑，则这样的特征是非常有帮助的。
在这样的实施例中，所得到的音频信号、词、致动器信号和/或触觉效果可以经由第一设备300和第二设备350相应的网络接口320和370以及经由网络380，从第一设备300传送给第二设备350。例如，词“救命”和与词“救命”相关联的高幅度、短持续时间莫尔斯电码S.O.S.触觉效果可以经由包括电信网络的网络380从包括移动电话的第一设备300传送给也包括移动电话的第二设备350。因此，第一设备300的发送用户可以将语音到文本消息与触觉效果一起传送给第二设备350的接收用户。在其他实施例中，仅音频信号可以从第一设备300传送给第二设备350，第二设备350然后对信号进行分析并且生成任何关联的触觉效果。
用于实现的说明性环境
可以在关于残疾人的电信情景下有利地采用本发明的实施例。例如，实施例在TTY(电话打字机)应用中可以是有用的，其借助于用于经由电话线的文本通信的电子设备来帮助具有听力或语言障碍的人。当残疾人士使用传统TTY设备时，由于文本的性质，通常丧失消息的情感和感受。使用本发明的实施例，残疾人士可以对着麦克风说话，并且经由触觉效果保留隐藏在语音到文本消息后的情感，而不是在传统TTY设备上直接键入文本消息，其中丧失了与消息相关联的任何情感感受。
还可以在SMS文本消息发送情景下有利地采用本发明的实施例。例如，许多州宣布在驾驶汽车时在移动电话上进行消息发送和交谈为非法行为，但是那些相同的州通常允许驾驶员在驾驶时使用免提设备来交谈，所述免提设备诸如无线蓝牙耳机或有线麦克风和耳机。然而，这些免提设备不帮助在驾驶汽车时发送文本消息。使用本发明的实施例，驾驶员可以对着麦克风说话，并且使其语音消息转换成具有关联的触觉效果的文本消息。本发明的实施例不仅允许驾驶员在驾驶时合法并且安全地发送文本消息，而且其经由触觉效果来保留来自语音消息的情感，允许发送用户将其情感通信给接收用户。
还可以在在线聊天情景或电子邮件情景下有利地采用本发明的实施例。发送用户可以对着麦克风说话，并且使其语音消息转换成用于要经由因特网发送给接收用户的聊天或电子邮件的文本消息。可以将与语音消息或与所得到的聊天消息或电子邮件的词相关联的触觉效果与聊天消息或电子邮件一起发送，允许诸如讥讽、真诚或愤怒的各种各样的情感、以及其他内容和潜在意思被传达。该实施例允许发送用户有更多自由来跨计算机网络表达期望的消息。
还可以在医疗情景下有利地采用本发明的实施例。例如，四肢瘫痪或另外有阻碍的病人可以能够通过使用语音消息并且通过接收触觉响应来与计算机或电话交互。床可以装备有被无线连接到计算机的一个或多个致动器。基于来自发送或接收用户的被转换成文本消息的语音消息，可以输入以及输出各种触觉效果。如果用户是视力和/或听力受损，则可以实现类似优点，从而减少或限制可用通信通道的数量。还可以在可能另外妨碍可听见或可看见的响应的嘈杂或明亮环境中有利地采用本发明的实施例。例如，在本发明的一个实施例中，跌倒的老年人可以从本发明的实施例发送或接收触觉反馈以向紧急服务表明需要帮助或帮助正在进行中。
本发明的一些实施例在军事情景下也可以是有帮助的。例如，在隐蔽行动中，音频通道可能被限制在特定类型的通信或不可用。在本发明的一个实施例中，用户可能能够从不能发送语音消息的军事间谍获得具有触觉确认的文本消息。例如，士兵可能能够说出对被转换成文本并且作为文本和触觉效果传送给另一个士兵的命令的响应。在这样的实施例中，士兵可以采用已建立的触觉模式集合来允许在一个或多个士兵之间进行有效通信。例如，指挥官可能在言语通信被认为是安全的区域，并且可能正监视一群士兵的通过敌人环境的进程。指挥官可以发出言语命令以指示士兵应当向左转。语音命令可以被识别并且作为文本信息和触觉效果传送给士兵。
综述
虽然根据若干优选实施例描述了本发明，但是预期的是，在阅读说明书和研究附图时，本发明的更改、置换和等同物对本领域技术人员将变得显而易见。例如，许多不同的应用程序可以使用本发明的语音到文本消息发送功能，包括游戏程序、虚拟现实程序和环境、用于商务会议的电话会议应用、通过计算机网络或其他通信信道的电话类型语音通信等。此外，为了描述清楚的目的，使用了某些术语，但是其并不限制本发明。因此，意图是，所附权利要求包括落在本发明的真实精神和范围内的所有这样的更改、置换和等同物。
因此，仅仅出于说明和描述的目的，提供了本发明的实施例，包括优选实施例的前述描述，并且其并不意在是穷尽的或将本发明限制于所公开的精确形式。在不背离本发明的精神和范围的情况下，其许多修改和调整对于本领域的技术人员来说将是显而易见的。

Claims (40)

1.一种计算机实现的方法，包括：
接收与语音相关联的音频输入信号；
确定与所述音频输入信号相关联的特性；
确定与所述音频输入信号相关联的词；以及
至少部分地基于所述特性以及所述词来生成致动器信号，所述致动器信号被配置成促使致动器输出第一触觉效果。
2.根据权利要求1所述的计算机实现的方法，其中所述特性包括频率、幅度和持续时间中的一个。
3.根据权利要求1所述的计算机实现的方法，进一步包括：
将所述致动器信号传送给远程设备。
4.根据权利要求1所述的计算机实现的方法，进一步包括：
将所述音频输入信号的至少一部分转换为文本；以及
将所述文本和所述致动器信号经由电子邮件、SMS消息或以聊天消息传送给远程设备。
5.根据权利要求1所述的计算机实现的方法，其中生成所述致动器信号包括：至少部分地基于触觉效果库中的数据来生成所述致动器信号。
6.根据权利要求1所述的计算机实现的方法，其中生成所述致动器信号包括：
至少部分地基于所述特性来确定第二触觉效果；
至少部分地基于所述词来确定第三触觉效果；以及
至少部分地基于所述第二触觉效果和所述第三触觉效果来确定所述致动器信号。
7.根据权利要求1所述的计算机实现的方法，进一步包括：
从生物传感器接收传感器信号；以及
至少部分地基于所述传感器信号来生成所述致动器信号。
8.根据权利要求1所述的计算机实现的方法，其中所述词包括多个词，以及所述致动器信号是至少部分地基于所述多个词中的至少两个词来生成的。
9.根据权利要求1所述的计算机实现的方法，其中所述第一触觉效果包括与歌曲的曲调相关联的多个脉冲。
10.根据权利要求1所述的计算机实现的方法，其中所述第一触觉效果包括莫尔斯电码。
11.一种系统，包括：
存储器；以及
处理器，所述处理器与所述存储器通信并且被配置来进行以下操作：
接收与语音相关联的音频输入信号；
确定与所述音频输入信号相关联的特性；
确定与所述音频输入信号相关联的词；以及
至少部分地基于所述特性以及所述词来生成致动器信号，所述致动器信号被配置成促使致动器输出第一触觉效果。
12.根据权利要求11所述的系统，其中所述特性包括频率、幅度和持续时间中的一个。
13.根据权利要求11所述的系统，其中所述处理器被进一步配置来进行以下操作：
将所述致动器信号传送给远程设备。
14.根据权利要求11所述的系统，其中所述处理器被进一步配置来进行以下操作：
将所述音频输入信号转换为文本；以及
将所述文本和所述致动器信号经由电子邮件、SMS消息或以聊天消息传送给远程设备。
15.根据权利要求11所述的系统，其中所述处理器被进一步配置来至少部分地基于触觉效果库中的数据来生成所述致动器信号。
16.根据权利要求11所述的系统，其中所述处理器被进一步配置来执行以下操作以生成所述致动器信号：
至少部分地基于所述特性来确定第二触觉效果；
至少部分地基于所述词来确定第三触觉效果；以及
至少部分地基于所述第二触觉效果和所述第三触觉效果来确定所述致动器信号。
17.根据权利要求11所述的系统，进一步包括与所述处理器通信的生物传感器，其中所述处理器被进一步配置来进行以下操作：
从所述生物传感器接收传感器信号；以及
至少部分地基于所述传感器信号来生成所述致动器信号。
18.根据权利要求11所述的系统，其中所述词包括多个词，以及所述处理器被进一步配置来至少部分地基于所述多个词中的至少两个词来生成所述致动器信号。
19.根据权利要求11所述的系统，其中所述第一触觉效果包括与歌曲的曲调相关联的多个脉冲。
20.根据权利要求11所述的系统，其中所述第一触觉效果包括莫尔斯电码。
21.一种计算机实现的方法，包括：
从第一用户接收音频输入信号；
确定与所述音频输入信号相关联的第一特性；
从生物传感器接收传感器信号；
确定与所述传感器信号相关联的第二特性；以及
至少部分地基于所述第一特性以及所述第二特性来生成致动器信号，所述致动器信号被配置成促使致动器输出触觉效果。
22.根据权利要求21所述的计算机实现的方法，其中所述音频输入信号包括环境声音。
23.根据权利要求21所述的计算机实现的方法，其中所述传感器信号与以下中的至少一个相关联：心率、呼吸率、体温以及生物节律。
24.根据权利要求21所述的计算机实现的方法，其中，所述第一特性包括词，以及其中所述致动器信号是至少部分地基于触觉效果库来生成的。
25.根据权利要求21所述的计算机实现的方法，进一步包括：
将所述致动器信号传送给远程设备。
26.根据权利要求25所述的计算机实现的方法，其中所述远程设备处于距所述第一用户的预定范围内。
27.根据权利要求25所述的计算机实现的方法，其中所述远程设备与预定用户或预定用户群组相关联。
28.根据权利要求21所述的计算机实现的方法，其中所述触觉效果是至少部分地基于与所述第一用户相关联的任务。
29.根据权利要求21所述的计算机实现的方法，其中所述触觉效果是至少部分地基于与所述第一用户相关联的状态。
30.根据权利要求29所述的计算机实现的方法，其中所述状态是至少部分地基于所述传感器信号。
31.一种系统，包括：
存储器；以及
处理器，所述处理器与所述存储器通信并且被配置来进行以下操作：
从第一用户接收音频输入信号；
确定与所述音频输入信号相关联的第一特性；
从生物传感器接收传感器信号；
确定与所述传感器信号相关联的第二特性；以及
至少部分地基于所述第一特性以及所述第二特性来生成致动器信号，所述致动器信号被配置成促使致动器输出触觉效果。
32.根据权利要求31所述的系统，其中所述音频输入信号包括环境声音。
33.根据权利要求31所述的系统，其中所述传感器信号与以下中的至少一个相关联：心率、呼吸率、体温以及生物节律。
34.根据权利要求31所述的系统，其中，所述第一特性包括词，以及其中所述致动器信号是至少部分地基于触觉效果库来生成的。
35.根据权利要求31所述的系统，所述处理器被进一步配置来进行以下操作：
将所述致动器信号传送给远程设备。
36.根据权利要求35所述的系统，其中所述远程设备处于距所述第一用户的预定范围内。
37.根据权利要求35所述的系统，其中所述远程设备与预定用户或预定用户群组相关联。
38.根据权利要求31所述的系统，其中所述触觉效果是至少部分地基于与所述第一用户相关联的任务。
39.根据权利要求31所述的系统，其中所述触觉效果是至少部分地基于与所述第一用户相关联的身体状态。
40.根据权利要求39所述的系统，其中所述身体状态是至少部分地基于所述传感器信号。
CN201810934040.1A 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法 Pending CN109144255A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/608,707 US8902050B2 (en) 2009-10-29 2009-10-29 Systems and methods for haptic augmentation of voice-to-text conversion
US12/608,707 2009-10-29
CN201080048828.4A CN102597914B (zh) 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080048828.4A Division CN102597914B (zh) 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法

Publications (1)

Publication Number Publication Date
CN109144255A true CN109144255A (zh) 2019-01-04

Family

ID=43382350

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810934040.1A Pending CN109144255A (zh) 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法
CN201080048828.4A Expired - Fee Related CN102597914B (zh) 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080048828.4A Expired - Fee Related CN102597914B (zh) 2009-10-29 2010-10-27 用于语音到文本转换的触觉增加的系统和方法

Country Status (6)

Country Link
US (2) US8902050B2 (zh)
EP (2) EP2494425A1 (zh)
JP (4) JP5899116B2 (zh)
KR (4) KR101956796B1 (zh)
CN (2) CN109144255A (zh)
WO (1) WO2011059703A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
EP3557388A1 (en) * 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US20140129347A1 (en) * 2012-11-05 2014-05-08 Anantha Pradeep Intelligent and informed advertisement creation
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
EP2989525B1 (en) 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US20150079563A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Nonverbal audio cues during physical activity
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US20150179188A1 (en) * 2013-12-20 2015-06-25 Speech Morphing, Inc. Method and apparatus for hearing impaired assistive device
US9652946B2 (en) * 2014-05-02 2017-05-16 Novasentis, Inc. Hands-free, wearable vibration devices and method
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US20160125709A1 (en) * 2014-10-31 2016-05-05 Novasentis, Inc. Haptics wristband
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9466188B2 (en) 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
CN107533427A (zh) * 2015-02-25 2018-01-02 意美森公司 用于提供场境敏感触觉通知架构的系统和方法
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
JP2018522239A (ja) 2015-07-14 2018-08-09 ドライビング マネージメント システムズ， インコーポレイテッド Ｒｆ無線信号および超音波信号を使用した電話の位置の検出
EP3147538A1 (en) 2015-09-23 2017-03-29 Inovacor Ab Compound planet gear arrangement and drive train arrangement
US20170193767A1 (en) * 2015-12-30 2017-07-06 Parihug Haptic communication device and system for transmitting haptic interaction
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
KR101862337B1 (ko) * 2016-03-24 2018-05-31 주식회사 닷 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US9997086B1 (en) * 2017-11-29 2018-06-12 Richard P. Braden Handheld communication device and method(s) of use
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
WO2020013038A1 (ja) * 2018-07-10 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
JP7545340B2 (ja) 2021-01-28 2024-09-04 株式会社東海理化電機製作所 制御装置およびプログラム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
JPWO2023276130A1 (zh) * 2021-07-01 2023-01-05
EP4398073A1 (en) * 2021-10-12 2024-07-10 Sony Group Corporation Information processing system, control method, and control program
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
CN115826770A (zh) * 2022-10-26 2023-03-21 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1328597A (en) * 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
GB2311888B (en) * 1996-04-01 2000-10-25 John Christian Doughty Nissen Tactile system for computer dynamic display and communication
JPH10111786A (ja) * 1996-10-03 1998-04-28 Sharp Corp リズム制御対話装置
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP3824848B2 (ja) * 2000-07-24 2006-09-20 シャープ株式会社 通信装置および通信方法
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP3764663B2 (ja) * 2001-09-14 2006-04-12 独立行政法人電子航法研究所 心身診断システム
US7251605B2 (en) 2002-08-19 2007-07-31 The United States Of America As Represented By The Secretary Of The Navy Speech to touch translator assembly and method
US7155389B2 (en) 2002-11-12 2006-12-26 The United States Of America As Represented By The Secretary Of The Navy Discriminating speech to touch translator assembly and method
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4232453B2 (ja) * 2002-12-18 2009-03-04 株式会社デンソー 通話音声のテキスト変換システム
JP3955950B2 (ja) * 2003-03-11 2007-08-08 独立行政法人産業技術総合研究所 音声情報伝達装置及び方法
EP1524586A1 (en) 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
US7376565B2 (en) 2003-12-15 2008-05-20 International Business Machines Corporation Method, system, and apparatus for monitoring security events using speech recognition
US20070299671A1 (en) * 2004-03-31 2007-12-27 Ruchika Kapur Method and apparatus for analysing sound- converting sound into information
US20080126483A1 (en) * 2004-07-28 2008-05-29 Koninklijke Philips Electronics, N.V. Method for Contesting at Least Two Interactive Systems Against Each Other and an Interactive System Competition Arrangement
JP2006047640A (ja) 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 情報伝達装置、電話機及び携帯電話機
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
JP2006109966A (ja) * 2004-10-13 2006-04-27 Ishisaki:Kk 音ゲーム機および携帯電話機
KR20060130897A (ko) * 2005-06-09 2006-12-20 엘지전자 주식회사 휴대 단말기의 무성음 통화 장치 및 방법
EP3287874A1 (en) * 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
JP4941966B2 (ja) * 2006-09-22 2012-05-30 国立大学法人 東京大学 感情の判別方法、感情判別装置、雰囲気情報通信端末
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8315652B2 (en) * 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US9754078B2 (en) * 2007-06-21 2017-09-05 Immersion Corporation Haptic health feedback monitoring
EP2207590A1 (en) * 2007-09-26 2010-07-21 Medtronic, INC. Therapy program selection
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
WO2009082765A1 (en) * 2007-12-25 2009-07-02 Personics Holdings Inc. Method and system for message alert and delivery using an earpiece
US8473081B2 (en) * 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
KR100952698B1 (ko) 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
JP4613974B2 (ja) * 2008-03-28 2011-01-19 ソニー株式会社 通信機器および通信システム
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Also Published As

Publication number Publication date
KR20170056023A (ko) 2017-05-22
JP5899116B2 (ja) 2016-04-06
JP2013509652A (ja) 2013-03-14
JP2015156229A (ja) 2015-08-27
EP3352055A1 (en) 2018-07-25
EP2494425A1 (en) 2012-09-05
KR101956796B1 (ko) 2019-03-12
KR101860281B1 (ko) 2018-05-21
CN102597914A (zh) 2012-07-18
KR20120102655A (ko) 2012-09-18
US20150084752A1 (en) 2015-03-26
KR20190026970A (ko) 2019-03-13
JP2017085625A (ja) 2017-05-18
US20110102160A1 (en) 2011-05-05
JP6510484B2 (ja) 2019-05-08
CN102597914B (zh) 2018-09-14
JP5951688B2 (ja) 2016-07-13
JP2014211900A (ja) 2014-11-13
KR101735665B1 (ko) 2017-05-15
KR20180014880A (ko) 2018-02-09
US9275653B2 (en) 2016-03-01
US8902050B2 (en) 2014-12-02
WO2011059703A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
CN102597914B (zh) 用于语音到文本转换的触觉增加的系统和方法
EP3062198B1 (en) Generating actions based on a user&#39;s mood
CN103782253B (zh) 将情绪传输为触觉反馈
Sawhney et al. Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments
CN105009556B (zh) 用于交互式远程通信中的增强响应的意图引擎
CN106575230A (zh) 用于可变触觉输出的语义框架
CN107566658A (zh) 通话方法、装置、存储介质及移动终端
CN107919138A (zh) 一种语音中的情绪处理方法及移动终端
CN103596155A (zh) 用于提供使用文本数据的语音通话的方法及其电子装置
CN108540660A (zh) 语音信号处理方法和装置、可读存储介质、终端
CN109889644A (zh) 一种语音留言收听方法和装置，及存储介质
KR102063389B1 (ko) 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법
CN112425144B (zh) 信息提示方法及相关产品
Yuksel et al. Designing mobile phones using silent speech input and auditory feedback
Sawhney Contextual awareness, messaging and communication in nomadic audio environments
KR101294214B1 (ko) 상대 통화자의 감정을 진동으로 전달하는 이동통신 단말기 및 방법
CN109981896A (zh) 获取电子装置状态信息的方法、电子装置及可读存储介质
JP7550335B1 (ja) システム
JP5977597B2 (ja) 情報処理装置、通信システム、通信方法、およびプログラム
Saitoh et al. Awareness communications by entertaining toy doll agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104