CN110580099A - 使用语音命令设计触觉的系统和方法 - Google Patents

Abstract

公开了使用语音命令设计触觉的系统和方法。本文描述的一个说明性系统包括：处理器，被配置为：从音频捕获设备接收音频信号，该音频信号与声音用户交互相关联；部分地基于音频信号来确定触觉效果，触觉效果被配置为由触觉输出设备输出；以及将触觉效果存储在数据存储器中。

Description

使用语音命令设计触觉的系统和方法

技术领域

本申请涉及设计触觉效果，具体而言，涉及用于使用语音命令来设计触觉效果的系统和方法。

背景技术

支持触觉的设备已经变得越来越流行，支持触觉的环境也同样如此。例如，移动和其他设备可以配置有触敏表面，使得用户可以通过触摸触敏显示器的部分来提供输入。可替换地，用于支持触觉的设备或环境的手势输入和其他输入对于可穿戴设备、VR或AR设备、汽车、游戏、现场活动、群组活动和其他环境也变得流行。类似地，用于电子设备的语音识别和控制的系统和方法正变得越来越普遍。因此需要用于设计触觉效果的另外系统。

发明内容

在一个实施例中，根据本公开内容的系统包括：处理器，被配置为：从音频捕获设备接收音频信号，该音频信号与声音用户交互相关联；部分地基于音频信号来确定触觉效果，触觉效果被配置为由触觉输出设备输出；以及将触觉效果存储在数据存储器中。

在另一实施例中，根据本公开内容的方法包括：从音频捕获设备接收音频信号，该音频信号与声音用户交互相关联；部分地基于音频信号来确定触觉效果，触觉效果被配置为由触觉输出设备输出；以及将触觉效果存储在数据存储器中。

在又一个实施例中，非暂时性计算机可读介质可以包括程序代码，该程序代码在由处理器执行时被配置为使得处理器用于：从音频捕获设备接收音频信号，该音频信号与声音用户交互相关联；部分地基于音频信号来确定触觉效果，触觉效果被配置为由触觉输出设备输出；以及将触觉效果存储在数据存储器中。

提及这些说明性实施例不是为了限制本主题或者对本主题界定限制，而是提供帮助理解本发明主题的示例。在具体实施方式中讨论了说明性实施例，并且在那里提供了进一步的说明。通过研究本说明书和/或通过实践所要求保护的主题的一个或多个实施例，可以进一步理解各种实施例提供的优点。

附图说明

在说明书的其余部分中更具体地阐述了完整且可行的公开内容。说明书参考以下附图。

图1A示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的说明性系统。

图1B示出了图1A中所示系统的一个实施例的外部视图。

图1C示出了图1A中所示系统的另一实施例的外部视图。

图2A示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的示例性实施例。

图2B示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的另一示例性实施例。

图3A示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的另一示例性实施例。

图3B示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的另一示例性实施例。

图4是根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的方法步骤的流程图。

图5是根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的方法步骤的流程图。

具体实施方式

现在将详细参考各种和可替换的说明性实施例以及附图。每个示例是以解释的方式而不是作为限制提供的。对于本领域技术人员易于理解的是，可以进行修改和变化。例如，作为一个实施例的一部分示出或描述的特性可以用在另一个实施例中以产生又一个实施例。因此，本公开内容旨在包括属于所附权利要求及其等同变换的范围内的修改和变化。

用于使用语音命令来设计触觉效果的系统的说明性示例

本公开内容的一个说明性实施例包括电子设备，例如平板电脑、电子阅读器、移动电话或诸如笔记本电脑或台式计算机之类的计算机、可穿戴设备或用于虚拟现实(VR)或增强现实(AR)的接口。电子设备包括显示器(诸如触摸屏显示器)、存储器和与这些元件中的每一个通信的处理器。在说明性实施例中，电子设备包括被配置为输出触觉效果的触觉输出设备。此外，说明性电子设备可以被配置为利用传统接口设备接收用户交互，例如，触摸屏、鼠标、操纵杆、多功能控制器等中的一个或多个。

在说明性实施例中，电子设备还被配置为例如经由麦克风接收声音用户交互。该电子设备还包括处理器，该处理器被编程为处理从麦克风接收的音频并确定与声音用户交互相关联的信息。例如，说明性电子设备可以包括用于理解口语单词的编程，例如，自动语音识别(ASR)技术或语音到文本，诸如隐马尔可夫模型(HMM)、高斯混合模型(GMM)、深度学习等。在说明性实施例中，电子设备还被配置为基于声音用户交互来确定触觉效果。

在说明性实施例中，声音用户交互可包括任何人造声音。在一个实施例中，声音用户交互包括描述期望的触觉效果的语音。例如，语音可以包括触觉效果的特性的描述，例如描述期望波形图(waveform)的语音，例如波形(wave shape)、频率、强度、类型或持续时间中的一个或多个。说明性电子设备可以使用该声音用户交互来生成将匹配期望特性的触觉信号。此外，在说明性实施例中，声音用户交互可以包括对与期望的触觉效果相关联的概念的描述，例如，撞击、爆炸或下雨。在这样的实施例中，电子设备将利用特性确定触觉效果以模拟该概念。在又一个示例中，声音用户交互可以包括模仿期望的触觉效果的声音。在这样的实施例中，电子设备将确定与声音相关联的触觉效果。

在一些实施例中，可听交互可以包括上述实施例的混合。例如，用户可以通过说：“以满幅度和50Hz频率提供具有200ms的隆隆声(BOOM)的爆炸效果”来描述效果。在这样的实施例中，电子设备将确定与由用户所提供的描述匹配的触觉效果。

在说明性实施例中，电子设备可以包括用于生成与触觉效果相关联的新波形图的软件。此外，电子设备可以被配置为修改预先存在的触觉效果。例如，用户可以描述具有较高频率的下雨效果，并且电子设备可以例如通过增加触觉信号的频率和/或幅度来增加与下雨相关联的触觉效果的频率。电子设备可以被配置为搜索触觉效果的远程或本地数据库以识别具有期望特性的效果。可替换地，在一些实施例中，数据库可包括音频和/或视频文件，系统可将所述音频和/或视频文件与音频和/或视觉输入进行比较以确定相似性，从而基于输入和文件之间的相似性来选择触觉效果。

在说明性实施例中，电子设备被配置为接收预先存在的触觉信号并修改该触觉信号以匹配期望的效果。例如，电子设备可以搜索数据库以定位触觉效果。该数据库可以包括由标签组织的大量触觉效果。处理器可以被配置为提取与所确定的语音相关联的标签，例如，与特定词语相关联的标签，以及定位与所确定的语音中的标签相匹配的触觉效果。例如，用户可以描述与下雨相关联的触觉效果，并且电子设备可以在触觉效果的数据库中搜索具有与下雨相关联的标签的触觉效果。

在一些实施例中，电子设备还可以被配置为使用户能够将触觉效果存储在数据库中。例如，当用户创建新的触觉效果或修改现有的触觉效果时，用户随后可以将该触觉效果保存到数据库。此外，用户能够创建与数据库相关联的标签，例如，诸如“爆炸”、“汽车残骸”、“救援球”等标签。这些触觉效果可以与在软件应用中使用的事件相关联，例如，音频应用、视频应用、游戏应用和/或用于VR或AR的应用。此外，用户能够通过为现有触觉效果创建新标签来增强数据库。例如，当用户体验触觉效果时，用户能够创建与触觉效果相关联的新标签。该新标签可以描述触觉效果，例如“硬碰撞”、“使玻璃瓶破碎”等，以使能够更容易和有效地搜索数据库。此外，在一些实施例中，用户能够将标签应用于具有相关联触觉效果的视频和/或音频片段，以进一步增强数据库的可搜索性。

在说明性实施例中，一旦确定了触觉效果，就可以将它存储在存储器中，例如本地或远程数据存储器中。可替换地或另外，电子设备可以经由触觉输出设备输出触觉效果。在一些实施例中，触觉效果可以与音频和/或视频效果一起输出。这些效果可以增强AR或VR体验的真实感，或者与音频或视频效果一起输出。此外，在说明性实施例中，可以给予用户用于确认电子设备生成了期望的触觉效果的选项。在说明性实施例中，除非用户提供该确认，否则可以不存储触觉效果。

给出该说明性示例是为了向读者介绍本文讨论的一般主题，并且本公开内容不限于该示例。以下部分描述了本公开内容的各种另外的非限制性示例。

用于使用语音命令来设计触觉效果的说明性系统

图1A示出了使用语音命令来设计触觉效果的说明性系统100。特别地，在该示例中，系统100包括计算设备101，其具有经由总线106与其他硬件接合的处理器102。存储器104可包括任何合适的实体(和非暂时性)计算机可读介质，诸如RAM、ROM、EEPROM等，存储器104体现了配置计算设备101的操作的程序部件。在该示例中，计算设备101还包括一个或多个网络接口设备110、输入/输出(I/O)接口部件112和附加储存器114。

网络设备110可以表示有助于网络连接的任何部件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394之类的有线接口，和/或诸如IEEE 802.11、蓝牙之类的无线接口，或用于接入蜂窝电话网络的无线电接口(例如，用于接入CDMA、GSM、UMTS或其他移动通信网络的收发机/天线)。

I/O部件112可用于促进到诸如一个或多个显示器、包括显示器的头戴式耳机(例如，用于VR或AR)、曲面显示器(例如，显示器包括延伸到可以在其上显示图像的计算设备101的一个或多个侧面上的成角度表面)、键盘、鼠标、扬声器、麦克风、相机(例如，移动设备上的前置和/或后置相机)和/或用于输入数据或输出数据的其他硬件之类的设备的连接。储存器114表示非易失性储存器，诸如设备101中所包括的磁性、光学或其他储存介质。

(一个或多个)音频/视觉输出设备115包括如下一个或多个设备，其被配置为从(一个或多个)处理器102接收信号并向用户提供音频或视觉输出。例如，在一些实施例中，(一个或多个)音频/视觉输出设备115可以包括显示器，诸如触摸屏显示器、LCD显示器、等离子显示器、CRT显示器、投影显示器、包括用于每只眼睛的显示器的头戴式耳机(例如，用于VR或AR)，或本领域已知的一些其他显示器。此外，音频/视觉输出设备可以包括被配置为向用户输出音频的一个或多个扬声器。

系统100还包括触摸表面116，在该示例中，触摸表面116集成到设备101中。触摸表面116表示被配置为感测用户的触摸输入的任何表面。在一些实施例中，触摸表面116可以被配置为检测与触摸输入相关联的附加信息，例如，压力、移动速度、移动加速度、用户皮肤的温度，或者与触摸输入相关联的一些其他信息。一个或多个传感器108可以被配置为当物体接触触摸表面时检测触摸区域中的触摸并提供适当的数据以供处理器102使用。可以使用任何合适数量、类型或布置的传感器。例如，电阻和/或电容传感器可被嵌入触摸表面116中并用于确定触摸的位置和其他信息，例如压力。作为另一示例，具有触摸表面视图的光学传感器可用于确定触摸位置。

此外，在一些实施例中，触摸表面116和/或(一个或多个)传感器108可以包括在不依赖于触摸传感器的情况下检测用户交互的传感器。例如，在一个实施例中，传感器可以包括被配置为使用肌电图(EMG)信号来检测用户在表面上施加的压力的传感器。此外，在一些实施例中，传感器可包括RGB或热相机，并使用由这些相机捕获的图像来估计用户正施加在表面上的压力量。

在一些实施例中，传感器108和触摸表面116可包括触摸屏显示器或触摸板。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在显示器上方的触摸屏，该显示器被配置为接收显示信号并将图像输出给用户。在其他实施例中，传感器108可包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器侧面的LED手指检测器。在一些实施例中，处理器与单个传感器108通信，在其他实施例中，处理器与多个传感器108通信，例如，第一触摸屏和第二触摸屏。

在一些实施例中，一个或多个传感器108还包括如下一个或多个传感器，其被配置为检测移动设备(例如，加速度计、陀螺仪、照相机、GPS或其他传感器)的移动。这些传感器可以被配置为检测在X、Y或Z平面中移动设备的用户交互。传感器108被配置为检测用户交互，并且基于用户交互，将信号传送到处理器102。在一些实施例中，传感器108可以被配置为检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力，并将该信息合并到接口信号中。此外，在一些实施例中，用户交互包括远离设备的多维用户交互。例如，在一些实施例中，与设备相关联的相机可以被配置为检测用户移动，例如手、手指、身体、头部、眼睛或脚的运动或与另一个人或对象的交互。

计算设备还包括音频捕获设备117。音频捕获设备117包括如下一个或多个部件，其被配置为检测声音用户交互并将与声音用户交互相关联的信号传送到(一个或多个)处理器102。在一些实施例中，音频捕获设备117可包括一个或多个麦克风，例如，音频捕获设备117可包括以下中的一个或多个：动态麦克风、电容式麦克风、压电麦克风、MEMS(微机电系统)麦克风、激光麦克风或光纤麦克风。此外，在一些实施例中，音频捕获设备117和音频输出设备可以合并到单个部件中。

在该示例中，与处理器102通信的触觉输出设备118耦合到触摸表面116。在一些实施例中，触觉输出设备118被配置为响应于触觉信号而输出模拟触摸表面的顺应性的触觉效果。另外或可替换地，触觉输出设备118可以提供以受控方式移动触摸表面的振动触觉的触觉效果。一些触觉效果可以利用耦合到设备的外壳的致动器，并且一些触觉效果可以依次和/或一齐使用多个致动器。例如，在一些实施例中，可以通过以不同频率振动表面来模拟表面纹理(texture)。在这样的实施例中，触觉输出设备118可以包括例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(ERM)或线性谐振致动器(LRA)中的一个或多个。在一些实施例中，触觉输出设备118可包括多个致动器，例如ERM和LRA。在其他实施例中，触觉输出设备118可以使用非致动触觉(例如，空气、流体或超声波输出)，其提供阻力作为传达更粗糙表面的手段。

在一些实施例中，可以基于关于用户交互的其他感测信息来调制触觉效果，例如，手在虚拟环境中的相对位置、VR/AR环境中的对象位置、对象变形、GUI、UI、AR、VR等中的相对对象交互。在其他实施例中，用于创建触觉效果的方法包括短持续时间的效果的变化，其中效果的大小根据感测的信号值(例如，与用户交互相关的信号值)而变化。在一些实施例中，当可以改变效果的频率时，可以选择固定感知大小，并且可以根据感测的信号值改变效果的频率。

尽管此处示出了单个触觉输出设备118，但是实施例可以使用相同或不同类型的多个触觉输出设备来输出触觉效果。例如，在一个实施例中，压电致动器可用于以超声频率垂直和/或水平地移位触摸表面116中的一些或全部，例如在一些实施例中通过使用以大于20-25kHz的频率移动的致动器。在一些实施例中，诸如偏心旋转质量电机和线性谐振致动器的多个致动器可单独使用或一齐使用以提供不同的纹理和其他触觉效果。

在其他实施例中，触觉输出设备118可以使用静电力，例如，通过使用静电表面致动器，以模拟触摸表面116的表面上的纹理。类似地，在一些实施例中，触觉输出设备118可以使用静电力来改变用户在触摸表面116的表面上感觉到的摩擦。例如，在一个实施例中，触觉输出设备118可以包括静电显示器或施加电压和电流而不是机械运动以产生触觉效果的任何其他设备。在这样的实施例中，静电致动器可包括导电层和绝缘层。在这样的实施例中，导电层可以是任何半导体或其他导电材料，例如铜、铝、金或银。绝缘层可以是玻璃、塑料、聚合物或任何其他绝缘材料。

处理器102可以通过向导电层施加电信号来操作静电致动器。电信号可以是AC信号，在一些实施例中，AC信号将导电层与接近或触摸触摸表面116的物体电容耦合。在一些实施例中，AC信号可以由高压放大器产生。在其他实施例中，电容耦合可以模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可以是平滑的，但是电容耦合可以在触摸表面116的表面附近的物体之间产生吸引力。在一些实施例中，改变物体和导电层之间的吸引程度可以改变在触摸表面116的表面上移动的物体上的模拟纹理，或者在物体在触摸表面116的表面上移动时改变感觉到的摩擦系数。此外，在一些实施例中，静电致动器可以与传统致动器结合使用以改变触摸表面116的表面上的模拟纹理。例如，致动器可以振动以模拟触摸表面116的表面纹理的变化，同时，静电致动器可以模拟在触摸表面116的表面上或在计算设备101的另一部分(例如，其外壳或另一输入设备)上的不同的纹理或者其他效果。

在一些实施例中，静电致动器可用于通过刺激接近或接触触摸表面116的身体部分来产生触觉效果。例如，在一些实施例中，静电致动器可刺激用户手指的皮肤中的神经末梢或触控笔中可以响应静电致动器的部件。例如，皮肤中的神经末梢可以被刺激并将静电致动器(例如，电容耦合)感测为振动或一些更具体的感觉。例如，在一个实施例中，静电致动器的导电层可以接收与用户手指的导电部分相耦合的AC电压信号。随着用户触摸触摸表面116并在触摸表面上移动他或她的手指，用户可以感觉到刺痛、颗粒感、凹凸不平、粗糙、粘性的纹理或一些其他纹理。

转到存储器104，示出了示例性程序部件124、126和128以示出在一些实施例中如何配置设备以使用语音命令来设计触觉效果。在该示例中，检测模块124配置处理器102以监视从音频捕获设备117接收的信号以确定是否已经接收到声音用户交互。例如，模块124可以对音频捕获设备117进行采样以确定声音用户交互的存在与否，例如，描述触觉效果的语音。此外，在一些实施例中，检测模块124可以进一步监视来自(一个或多个)传感器108的输入，其可以表示用于启动对声音用户交互的监视的图形用户界面上的交互。此外，在一些实施例中，检测模块124可以监视来自音频捕获设备117的输入以确定存在触发词以开始监视描述触觉效果的语音。例如，在一个实施例中，这样的触发词可以包括诸如“创建触觉效果”的短语。

检测元件124可以包括用于理解可听效果中的口语单词的编程，例如，自动语音识别(ASR)技术或语音到文本，诸如隐马尔可夫模型(HMM)、高斯混合模型(GMM)、深度学习等。此外，在另一个实施例中，检测元件124可以替代地被配置为仅提取可听输入的特性，例如，低级音频特性、Mel频率倒谱(MFC)、mel频率分析、过零率(ZCR)等和/或使用预训练的深度学习网络(VGGish、AlexNet、LSTM、RNN等)所提取的高级特性，而不是提取全词。检测元件124还可以包括将标签应用于文本以实现数据库搜索的功能。例如，标签可以被应用于特定的已知词语，例如与触觉效果相关联的词语，例如“频率”或与效果类型相关联的词语，例如“爆炸”。

在一些实施例中，数据库和计算设备101可以包括使用户能够存储触觉效果的功能。此外，用户可以通过将新标签应用于触觉效果来增强数据库，以实现更快和更有效的搜索。例如，在一个实施例中，当用户体验触觉效果时，用户能够创建与触觉效果相关联的新标签。该新标签可以描述触觉效果，例如“具有硬撞击的50Hz方波”，“航天飞机升空”等，以使得能够更容易和有效地搜索数据库。此外，在一些实施例中，用户能够将标签应用于具有相关触觉效果的视频和/或音频片段，以进一步增强数据库的可搜索性。

在又一个实施例中，触觉效果可以与内容(音频和/或视频)相关，并且内容本身可以用关键字标记。在又一个实施例中，系统可以使用预训练的机器学习模型来将标签/标记与触觉效果和音频内容相关联。例如，在这样的实施例中，数据库或与数据库相关联的计算系统可以通过将与触觉效果、图像、视频或音频文件相关联的特性与具有标记效果的其他触觉效果、图像、视频或音频文件进行比较来自动标记触觉效果、图像、视频或音频文件。此外，在一些实施例中，效果之间的关系可以与单个对象相关联，例如“火车”、“飞机”、“爆炸”等。可替换地，标签可以包括效果的特性(例如，“尖锐和短的触觉效果”、“模糊温和的效果”)。此外，在更离散的特性的情况下，例如，“30HZ，20％大小”，也可以使用简单的启发式方法来应用标记。

触觉效果确定模块126表示程序部件，该程序部件分析从音频捕获设备117接收的音频数据以选择要生成的触觉效果。例如，在一个实施例中，模块126包括基于可听交互来确定要生成的触觉效果的代码。例如，模块126可以包括被配置为部分地基于可听互动来确定以下中的一个或多个的程序代码：触觉信号的频率、幅度、波型、占空比、颗粒尺寸、颗粒密度、每循环的最大颗粒和/或颗粒大小。可替换地，在一些实施例中，触觉效果确定模块126可包括一个或多个预加载的触觉效果，例如，与VR或AR环境中的特定对象相关联的触觉效果。这些触觉效果可以包括(一个或多个)触觉输出设备118能够生成的任何类型的触觉效果。

在一些实施例中，触觉效果确定模块126包括或可访问预定触觉效果的数据库，或访问预定触觉效果的本地或远程数据库的代码。在这样的实施例中，触觉效果确定模块126可以被配置为在数据库中搜索与触觉效果的期望特性相匹配的触觉效果。触觉效果的数据库可以包括所标记的关键字，其使得易于将效果与对象和动作相关联。这些关键字可以与上面关于确定模块124描述的关键字匹配，从而使得数据库搜索更容易。例如，确定模块126可以在数据库中搜索与由确定模块124确定的标签相匹配的触觉效果。在这样的实施例中，如果识别出许多标签，则触觉效果确定模块126可以搜索具有较多数量的标签的触觉效果。此外，触觉效果确定模块126可以识别具有至少一个匹配标签的触觉效果，但是优先考虑具有较多数量的标签的触觉效果。例如，在一些实施例中，系统可以通过计算特性之间的距离向量来确定特性之间的距离。在一些实施例中，这些距离向量可以被估计为欧几里得(Euclidean)或马哈拉诺比斯(Mahalanobis)距离。在其他实施例中，输入特性可以针对DB元素特性进行分类(例如，使用KNN、SVM等)。

此外，在一些实施例中，模块126可以包括被配置为操纵触觉效果的特性的程序代码，例如，效果的强度、频率、持续时间、占空比或与触觉效果相关联的任何其他特性。在一些实施例中，模块126可以包括程序代码，以允许用户例如通过来自音频捕获设备117的可听交互，与诸如按钮、触摸屏和/或图形用户界面之类的用户接口的交互来操纵这些特性。

触觉效果生成模块128表示使得处理器102生成触觉信号并将触觉信号传送到触觉输出设备118的编程，这使得触觉输出设备118生成所选择的触觉效果。例如，生成模块128可以访问存储的波形图或命令以发送到触觉输出设备118。作为另一个示例，触觉效果生成模块128可以接收期望类型的效果并利用信号处理算法来生成适当的信号以发送到触觉输出设备118。作为另一示例，可以将期望的效果连同发送到一个或多个致动器的触觉效果的目标坐标和适当波形图一起进行指示，以生成表面(和/或其他设备部件)的适当位移(displacement)以提供触觉效果。一些实施例可以一齐利用多个触觉输出设备来输出触觉效果。

取决于计算系统的特定配置，触摸表面可以覆盖(或以其他方式对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括支持触摸的显示器116，其组合触摸表面和设备的显示器。触摸表面116可以对应于显示器外部或实际显示部件上方的一层或多层材料。

图1C示出了支持触摸的计算系统100C的另一示例，其中触摸表面不覆盖显示器。在该示例中，计算设备101以触摸表面116为特征，触摸表面116可以被映射到显示器122中提供的图形用户界面，该显示器122被包括在与设备101连接的计算系统120中。例如，计算设备101可以包括鼠标、跟踪板或其他设备，而计算系统120可包括台式或笔记本计算机、机顶盒(例如，DVD播放器、DVR、有线电视盒)或另一计算系统。作为另一个示例，触摸表面116和显示器122可以设置在同一设备中，例如以显示器122为特征的笔记本计算机中的支持触摸的跟踪板。无论是与显示器集成还是其他的，本文示例中的平面触摸表面的描绘并不意味着限制。其他实施例包括弯曲或不规则的支持触摸的表面，其进一步被配置为提供触觉效果。

图2A-图2B示出了使用语音命令设计触觉效果的设备的示例性实施例。图2A是示出包括计算设备201的系统200的外部视图的图示，该计算设备201以支持触摸的显示器202为特征。图2B示出了设备201的横截面图。设备201可以与图1A的设备101类似地配置，尽管为了清楚起见，在该视图中未示出诸如处理器、存储器、传感器等的部件。

如在图2B中可以看到的，设备201以多个触觉输出设备218和附加触觉输出设备222为特征。触觉输出设备218-1可以包括被配置为向显示器202施加垂直力的致动器，而218-2可以横向(laterally)移动显示器202。在该示例中，触觉输出设备218、222直接耦合到显示器，但是应当理解，触觉输出设备218、222可以耦合到另一触摸表面，诸如显示器202顶部上的材料层。此外，应该理解，触觉输出设备218或222中的一个或多个可以包括静电致动器，如上所述。此外，触觉输出设备222可以耦合到包含设备201的部件的外壳。在图2A-图2B的示例中，显示器202的区域对应于触摸区域，尽管该原理可以应用于完全与显示器分开的触摸表面。

在一个实施例中，触觉输出设备218各自包括压电致动器，而附加触觉输出设备222包括偏心旋转质量电机、线性谐振致动器或另一个压电致动器。触觉输出设备222可以被配置为响应于来自处理器的触觉信号而提供振动触觉的触觉效果。振动触觉的触觉效果可以与基于表面的触觉效果结合使用和/或用于其他目的。

在一些实施例中，触觉输出设备218-1和218-2中的任一个或两者可包括除压电致动器之外的致动器。任何致动器可包括例如压电致动器、电磁致动器、电活性聚合物、形状记忆合金、柔性复合压电致动器(例如，包括柔性材料的致动器)、静电和/或磁致伸缩致动器。另外，示出了触觉输出设备222，但是多个其他触觉输出设备可以耦合到设备201的外壳和/或触觉输出设备222可以耦合到别处。设备201也可以以在不同位置耦合到触摸表面的多个触觉输出设备218-1/218-2为特征。

现在转向图3A，图3A示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的另一示例性实施例。图3A包括电子设备300，其可包括智能电话或平板电脑。电子设备300包括触摸屏显示器302和音频输入设备。如图3A所示，电子设备300接收了音频输入，并显示了与音频输入相关联的图形304。在一些实施例中，该图形304可以包括将由测量音频信号的示波器显示的波的图案。可替换地，图形304可以包括用于所有触觉效果的预先存在的图标。一旦接收到音频信号，电子设备300被配置为处理音频信号并确定与音频信号相关联的触觉效果。

在一个实施例中，音频输入可以包括对触觉效果应该与之相关联的特定类型的对象的描述。例如，用户可以告诉电子设备300创建与特定对象或概念(例如，下雨)或动作(例如，男子击球)相关的触觉效果。在这样的实施例中，电子设备300将识别用户的语音输入，然后在用户命令中识别出关键字的情况下从本地或远程数据库提取适当的效果。如上所述，数据库中的触觉效果可以用关键字或标签来标记，这使得效果快速且有效地与关联于对象或动作的数据相关联。

在另一个实施例中，用户可以提供效果的高级描述。例如，用户可以根据例如波形/节奏(例如，斜升)、强度(例如，强)、类型(例如，纹理)、持续时间(例如，短)等来描述触觉效果。在这样的实施例中，电子设备300将识别语音输入并从数据库中提取具有用户已经描述的特性或标签的触觉效果。在另一实施例中，系统识别特性并创建与用户所提供的描述相匹配的触觉效果或触觉信号。

在又一个实施例中，设计者使用模仿动作的声音来描述触觉效果。在这样的实施例中，电子设备300将捕获声音，例如“隆隆声”，并识别其特性和/或其性质(例如，爆炸)。然后，系统300以触觉效果的形式复制这些特性和/或提取具有适当的标签或描述的效果。在又一个实施例中，电子设备300将捕获声音并在数据库中搜索类似的声音并从数据库返回与该声音相关联的触觉效果。

现在转向图3B，图3B示出了根据本公开内容的一个实施例的用于使用语音命令设计触觉效果的另一示例性实施例。如图3B所示，电子设备300使用一个或多个触觉输出设备输出触觉效果。然后，电子设备向用户提供接受触觉效果306的选项。然后，用户可以使用与电子设备的接口或通过使用音频输入(例如说出短语以确认接受触觉效果)来接受触觉效果。系统300中示出的语言和设计是一个示例性实施例。可以显示或使用接受触觉效果的其他语言来确认接受触觉效果。

在一些实施例中，用户可以拒绝触觉效果并重新开始创建触觉效果的过程。此外，在一些实施例中，用户可以修改所创建的触觉效果。例如，用户可以使用语音命令来修改所创建的触觉效果，例如，“更高频率”，“更低幅度”，“在结尾包括硬停止”等。系统300被配置为接收该音频输入，识别它，并根据用户的描述来修改触觉效果。

用于使用语音命令来设计触觉效果的说明性方法

图4和图5是根据一个实施例的用于执行使用语音命令设计触觉效果的方法的步骤的流程图。在一些实施例中，图4和图5中的步骤可以用程序代码实现，该程序代码可由处理器执行，例如，通用计算机、移动设备、虚拟现实控制系统或服务器中的处理器。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中，可以省略或者以不同的顺序执行图4或图5中所示的一个或多个步骤。类似地，在一些实施例中，还可以执行图4或5中未示出的附加步骤。参考上面关于图1A中所示的计算设备101描述的部件来描述以下步骤。

方法400开始于步骤402，此时处理器102接收音频信号。音频信号包括可听用户输入，其由音频捕获设备117检测，然后音频捕获设备117将与可听用户输入相关联的信号传送到处理器102。可听用户输入与期望的触觉效果相关联。例如，可听用户输入可以描述以下中的一个或多个：期望波形图的描述(例如，描述以下中的一个或多个的语音：波形、频率、强度、类型(例如，振动、摩擦、变形等)或持续时间)，对与期望的触觉效果相关联的概念或对象的描述(例如，撞击、爆炸或下雨)，或模仿期望的触觉效果的声音(例如，隆隆声、砰砰声(BANG)等)。此外，在一些实施例中，可听交互可包括上述实施例的混合。例如，用户可以通过说：“以满幅度和50Hz频率提供具有200ms的隆隆声的爆炸效果”来描述效果。

在步骤404处，处理器102基于上述音频交互来确定触觉效果。处理器102可以被配置为确定与在步骤402处检测到的声音用户交互相匹配的触觉效果。在一些实施例中，处理器102可以确定新的触觉效果，识别预先存在的触觉效果(例如，通过搜索数据库)，或确定对预先存在的触觉效果的修改。下面关于方法500讨论处理器102可以采取的用于确定触觉效果的附加步骤。

在步骤406处，处理器102将触觉信号输出到触觉输出设备118，触觉输出设备118输出触觉效果。触觉信号可以包括输出到一个或多个触觉输出设备118的一个或多个信号，触觉输出设备118被配置为接收(一个或多个)触觉信号并输出对应于期望的触觉效果的触觉效果。

在步骤408处，处理器102接收用户输入。例如，在一些实施例中，处理器102可以被配置为允许用户确认所确定的触觉效果是正确的。在这样的实施例中，处理器102可以向触觉输出设备118输出触觉信号，触觉输出设备118输出触觉效果。然后，处理器102可以被配置为接收确认触觉效果正确的用户输入。该用户输入可以包括由音频输入设备117检测到的声音用户交互，或者它可以包括经由传统用户接口(例如，触摸屏)的用户交互。此外，如果用户输入指示触觉效果不正确，则处理器102可以被配置为基于用户输入来修改触觉效果。例如，用户可以提供输入以改变触觉效果的一个或多个特性，例如，改变效果的强度、频率、持续时间、占空比或与触觉效果相关联的任何其他特性。处理器102可以被配置为做出该改变，然后将经修改的触觉信号输出到触觉输出设备118。

在步骤410处，处理器102存储触觉效果。处理器可以被配置为将触觉效果存储在本地存储器104中。可替换地，处理器102可以被配置为将触觉效果存储在远程数据存储器和/或触觉效果的数据库中。此外，在一些实施例中，处理器102可以被配置为将标签或其他描述符应用于触觉效果。该标签可以包括对效果的高级描述(例如，暴雨、软碰撞、乒乓球等)或触觉效果的低级描述(例如，效果类型、频率和幅度)。在一些实施例中，该标签可以使得其他设备能够更容易地搜索触觉效果。

现在转到图5，其示出了用于确定触觉效果的附加步骤的方法500。方法500开始于步骤502，此时处理器102确定音频信号的内容。例如，处理器102可以被配置为理解声音用户交互中的口语，例如，使用自动语音识别(ASR)技术或语音到文本中的一个或多个，例如隐马尔可夫模型(HMM)、高斯混合模型(GMM)、深度学习等。此外，在另一实施例中，处理器102可以替代地被配置为仅提取可听输入的特性，例如，低级音频特性、Mel频率倒谱(Mel-Frequency Cepstrum，MFC)、mel频率分析、过零率(ZCR)等和/或使用预训练的深度学习网络(VGGish、AlexNet、LSTM、RNN等)提取的高级特性，而不是提取全词。

在步骤504处，处理器102搜索数据库以识别触觉效果。数据库可以包括远程或本地数据库。数据库可以包括触觉效果，并且处理器102可以在数据库中搜索与声音用户交互相匹配的适当的触觉效果。可替换地，数据库可以包括包含相关联触觉效果的音频和/或视频文件。在这样的实施例中，处理器102可以在数据库中搜索对应于声音用户交互的文件。然后，处理器102可以确定与该对应文件相关联的触觉效果是匹配的触觉效果。此外，在一些实施例中，处理器102可以被配置为确定对数据库中的触觉效果的修改以匹配用户的描述。例如，处理器102可以识别与数据库中的爆炸相关联的触觉效果。然后，处理器102可以修改该触觉效果以使得用户对大爆炸的描述与70％占空比的方波相匹配。

使用语音命令设计触觉效果有许多优点。本文公开的实施例可以使设计触觉效果的过程更容易。例如，设计者可能不需要专门的知识来设计触觉效果。此外，本文描述的实施例提供了创建和搜索现有触觉效果的数据库。这可以使设计和实现触觉效果更有效。这可以增加包括触觉效果的设备数量。这可以为用户带来更引人注目的触觉体验，并为设计者带来更有效的过程。

一般考虑因素

以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替换或添加各种过程或部件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加、省略和/或组合各种阶段。而且，关于某些配置描述的特性可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，技术发展，因此，许多元素是示例，并不限制本公开内容或权利要求的范围。

在说明书中给出了具体细节以提供对示例性配置(包括实施方式)的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，在没有不必要的细节的情况下示出了众所周知的电路、过程、算法、结构和技术，以避免使配置难以理解。该说明仅提供示例性配置，并且不限制权利要求的范围、适用性或配置。相反，前面对配置的说明将为本领域技术人员提供用于实现所描述的技术的可行说明。在不脱离本公开内容的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，配置可以被描述为被示出为流程图或框图的过程。尽管各自可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。过程可以具有图中未包含的其他步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以存储在诸如储存介质的非暂时性计算机可读介质中。处理器可以执行所描述的任务。

已经描述了几个示例性配置，可以使用各种修改、替代构造和等同变换而不脱离本公开内容的精神。例如，上述元件可以是更大系统的部件，其中其他规则可以优先于或以其他方式修改本公开内容的应用。此外，可以在考虑上述元件之前、期间或之后采取多个步骤。因此，以上说明不限制权利要求的范围。

本文中“适于”或“被配置为”的使用意味着开放且包含性的语言，其不排除适于或被配置为执行附加任务或步骤的设备。另外，“基于”的使用意味着是开放和包含性的，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于超出所述的附加条件或值。本文包括的标题、列表和编号仅是为了便于解释而不意图是限制性的。

根据本主题的各方面的实施例可以在数字电子电路、计算机硬件、固件、软件或前述的组合中实现。在一个实施例中，计算机可包括一个或多个处理器。处理器包括或可访问计算机可读介质，例如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，例如执行包括传感器采样例程、选择例程和其他例程的一个或多个计算机程序以执行上述方法。

这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这种处理器还可以包括可编程电子设备，例如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似设备。

这样的处理器可以包括介质(例如，实体计算机可读介质)或可以与介质通信，该介质可以存储指令，当由处理器执行时，该指令可以使处理器执行本文所述的步骤，如由处理器执行或协助的。计算机可读介质的实施例可以包括但不限于能够向处理器(例如web服务器中的处理器)提供计算机可读指令的所有电子、光学、磁性或其他储存设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质，或计算机处理器可以读取的任何其他介质。而且，各种其他设备可以包括计算机可读介质，诸如路由器、私有或公共网络，或其他传输设备。所描述的处理器和处理可以在一个或多个结构中，并且可以通过一个或多个结构分散。处理器可以包括用于执行本文描述的方法中的一个或多个(或方法的一部分)的代码。

尽管已经关于本发明的具体实施例详细说明了本主题，但是应当理解，本领域技术人员在理解前述内容后可以容易地产生对这些实施例的改变、变化和等同变换。因此，应该理解的是，本公开内容是出于示例而非限制的目的而给出的，并且不排除包括对本主题的这些修改、变化和/或添加，这对于本领域普通技术人员来说是易于理解的。

Claims (20)

1.一种系统，包括：

处理器，被配置为：

从音频捕获设备接收音频信号，所述音频信号与声音用户交互相关联；

部分地基于所述音频信号来确定触觉效果，所述触觉效果被配置为由触觉输出设备输出；以及

将所述触觉效果存储在数据存储器中。

2.根据权利要求1所述的系统，其中，所述声音用户交互包括口语单词，并且其中，所述处理器还被配置为确定所述口语单词的内容。

3.根据权利要求2所述的系统，其中，所述口语单词的内容包括对期望触觉效果的特性的描述，并且其中，确定所述触觉效果包括：确定具有所述期望触觉效果的特性的触觉信号。

4.根据权利要求3所述的系统，其中，所述期望触觉效果的特性包括以下项中的一个或多个：波形、频率、强度、类型或持续时间。

5.根据权利要求2所述的系统，其中，所述口语单词的内容包括与期望触觉效果相关联的概念，并且其中，确定所述触觉效果包括：在包括与多个触觉效果相关联的数据的数据库中搜索所存储的与所述概念相关联的触觉效果。

6.根据权利要求1所述的系统，其中，所述声音用户交互包括模仿期望触觉效果的声音，并且其中，确定所述触觉效果包括：确定与模仿所述期望触觉效果的声音相关联的触觉效果。

7.根据权利要求1所述的系统，其中，所述处理器还被配置为将与所述触觉效果相关联的触觉信号输出到所述触觉输出设备。

8.根据权利要求7所述的系统，其中，所述处理器还被配置为在将所述触觉效果存储在所述数据存储器中之前，接收与确认所述触觉效果的用户交互相关联的输入信号。

9.根据权利要求7所述的系统，其中，所述触觉输出设备包括以下项中的一个或多个：压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(ERM)或线性谐振致动器(LRA)。

10.一种方法，包括：

从音频捕获设备接收音频信号，所述音频信号与声音用户交互相关联；

部分地基于所述音频信号来确定触觉效果，所述触觉效果被配置为由触觉输出设备输出；以及

将所述触觉效果存储在数据存储器中。

11.根据权利要求10所述的方法，其中，所述声音用户交互包括口语单词，并且其中，所述方法还包括：确定所述口语单词的内容。

12.根据权利要求11所述的方法，其中，所述口语单词的内容包括对期望触觉效果的特性的描述，并且其中，确定所述触觉效果包括：确定具有所述期望触觉效果的特性的触觉信号。

13.根据权利要求12所述的方法，其中，所述期望触觉效果的特性包括以下项中的一个或多个：波形、频率、强度、类型或持续时间。

14.根据权利要求11所述的方法，其中，所述口语单词的内容包括与期望触觉效果相关联的概念，并且其中，确定所述触觉效果包括：在包括与多个触觉效果相关联的数据的数据库中搜索所存储的与所述概念相关联的触觉效果。

15.根据权利要求10所述的方法，其中，所述声音用户交互包括模仿期望触觉效果的声音，并且其中，确定所述触觉效果包括：确定与模仿所述期望触觉效果的声音相关联的触觉效果。

16.根据权利要求10所述的方法，还包括：将与所述触觉效果相关联的触觉信号输出到所述触觉输出设备。

17.根据权利要求16所述的方法，还包括：在将所述触觉效果存储在所述数据存储器中之前，接收与确认所述触觉效果的用户交互相关联的输入信号。

18.一种非暂时性计算机可读介质，包括程序代码，所述程序代码在由处理器执行时被配置为使得所述处理器用于：

从音频捕获设备接收音频信号，所述音频信号与声音用户交互相关联；

部分地基于所述音频信号来确定触觉效果，所述触觉效果被配置为由触觉输出设备输出；以及

将所述触觉效果存储在数据存储器中。

19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述声音用户交互包括口语单词，并且其中，所述处理器还被配置为：确定所述口语单词的内容。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述口语单词的内容包括对期望触觉效果的特性的描述，并且其中，确定所述触觉效果包括：确定具有所述期望触觉效果的特性的触觉信号。