CN109474863A - 用非音频数据在耳机上渲染触觉 - Google Patents

Abstract

本公开涉及用非音频数据在耳机上渲染触觉。在启用触觉的耳机系统中渲染触觉包括基于非音频数据在启用触觉的耳机系统处生成触觉信号，并使用启用触觉的耳机系统内的触觉输出设备渲染在触觉信号中指定的触觉效果。

Description

用非音频数据在耳机上渲染触觉

技术领域

示例实施例针对渲染触觉，并且更具体地针对用非音频数据在耳机上渲染触觉。

背景技术

在常规的耳机系统中，触觉是基于从音频数据生成的触觉信号或基于音频数据的信号来渲染的。音频数据或信号通常根据从音频输出设备(诸如扬声器)检测到的声音导出。

发明内容

一个实施例通过基于非音频数据在启用触觉的耳机系统处生成触觉信号、并且使用启用触觉的耳机系统内的触觉输出设备渲染在触觉信号中指定的触觉效果来在启用触觉的耳机系统中渲染触觉。

附图说明

根据以下结合附图的详细描述，将更清楚地理解示例实施例。图1-图3表示如本文所述的非限制性示例实施例。

图1是根据示例实施例的用非音频数据渲染触觉的流程图。

图2是根据另一示例实施例的用非音频数据渲染触觉的流程图。

图3是根据示例实施例的启用触觉的耳机系统的框图。

具体实施方式

示例实施例针对渲染触觉，并且更具体地针对在耳机上用非音频数据渲染触觉。

示例实施例针对通过基于非音频数据或基于基于非音频数据的信号在启用触觉的耳机系统处生成触觉信号来在启用触觉的耳机系统中渲染触觉。

除了从音频数据导出的事件以外，通过根据除声音或音频数据以外的数据生成触觉信号，耳机系统还通过触觉化不是从音频数据导出的事件来为个人提供更加身临其境的体验。

例如，如果视频游戏中赛车的碰撞在移动设备的视觉显示器上被显示给个人，那么触觉信号由连接到该移动设备的启用触觉的耳机系统基于视觉显示器上显示的碰撞生成。然后，当在视觉显示器上显示碰撞时，启用触觉的耳机系统将在触觉信号中指定的触觉效果(例如，振动)渲染给个人。例如，触觉效果可以反映在碰撞期间赛车中的驾驶员的体验，其未在音频数据中捕获而是在视觉数据或一些其它形式的数据中被捕获。

触觉是触感(tactile)和力反馈技术，其使用个人的触摸感觉为个人生成触觉反馈效果(也称为“触觉反馈”或“触觉效果”)，诸如力、振动和运动。触觉效果可以是离散的或连续的。启用触觉的设备可以包括被配置为施加(apply)触觉效果的嵌入式硬件(例如，致动器或其它输出机制)。一般而言，嵌入式硬件被编程为施加(或回放)触觉效果的特定集合。当由启用触觉的耳机系统中的嵌入式硬件接收指定要播放哪种触觉效果的触觉信号时，启用触觉的耳机系统渲染指定的触觉效果。例如，当个人意图体验触觉事件时，启用触觉的耳机系统的嵌入式硬件通过控制电路系统接收播放命令。然后，嵌入式硬件施加适当的触觉效果。

图1是根据示例实施例的用非音频数据渲染触觉的流程图。图1中的一些或所有部件也可以用于实现图3中的任何元件。

参考图1，在启用触觉的耳机系统中渲染触觉可以包括在110处使用耳机系统内的内部检测传感器来检测非音频事件。使用内部检测传感器检测非音频事件可以包括检测与耳机系统的内部检测传感器相耦合(或进行通信)的数据源设备的控制器(例如，图标、物理或虚拟按钮、滑块或其它小部件)或用户界面(interface)的交互(例如，触摸)。

根据示例实施例，非音频事件是不具有声音数据的事件。非音频事件可以独立于个人的动作而发生(例如，提醒、警报、文本消息或检测传感器，其中没有产生或意图产生声音)。或者，可替代地，非音频事件可以是对个人的动作的响应(例如，在没有产生声音或意图产生声音的视觉事件中)。此外，非音频事件可以是对个人/对象的被动(或间接)交互的响应。例如，基于虚拟或增强现实的系统中的被动交互和事件可以被触觉化，诸如当化身(avatar)在炎热的天气走出户外时发生的亮度改变可以通过热触觉效应被触觉化、或者诸如作为化身/对象移动的结果而发生的事件(当穿过田地时感觉到草叶，当在雪中踩踏时感到寒冷或潮湿，撞击化身的肩膀的树枝，感觉到雨水或来自雷声的振动等等)。可替代地，非音频事件可以是对个人/对象的主动(直接)交互的响应，诸如当个人在基于虚拟或增强现实的系统中操纵某个对象或化身时。

非音频事件可以是实时发生的事件、远程发生的事件、虚拟事件、视觉(例如，图片)或其组合。例如，非音频事件可以通过基于虚拟现实的系统或基于增强现实的系统发生。作为另一示例，非音频事件可以实时但从远程位置发生，诸如在体育事件的广播期间。因此，非音频事件可以在游戏、体育事件广播、外科手术或涉及用户导航的环境期间发生。

根据示例实施例，数据源设备可以是移动设备(例如，mp3、蜂窝电话、平板电脑、相机等等)、显示设备的视觉显示器(例如，电视、平板电脑等等)或遥感设备(例如，基于虚拟或增强现实的系统、医疗设备或检测传感器等等)。数据源设备可以在耳机系统的内部或外部。

在120处，触觉的渲染还可以包括在耳机系统处根据非音频事件生成非音频数据。可以使用耳机系统内的非音频数据生成器生成非音频数据。非音频数据包括除声音数据以外的任何形式的数据(例如，传感器数据、视觉数据等等)。

非音频数据生成器可以是耳机系统中的应用处理接口(“API”)或基于物理的数据生成器。API通过控制或利用数据源设备和/或内部检测传感器中的资源(例如，用户界面、图形用户界面等等)来生成非音频数据。例如，当用户触摸用户界面上的图标(与应用对应)时，第一API可以检测用户与用户界面的交互，然后第二API可以在耳机上创建触觉效果的回放。基于物理的数据生成器基于模拟的效果或者由内部检测传感器检测到的非音频事件触发的实时生成的效果来生成非音频数据。

触觉的渲染包括在140处使用触觉信号生成器基于非音频数据在耳机系统处生成触觉信号。

触觉的渲染还包括在150处使用耳机系统内的触觉输出设备渲染在触觉信号中指定的一个或多个触觉效果。

触觉的渲染可以包括渲染振动触觉效果、可变形触觉效果、热触觉效果、基于空气的触觉效果、静电摩擦触觉效果、超声表面摩擦触觉效果、神经刺激或电刺激中的至少一个。

图2是根据另一示例实施例的用非音频数据渲染触觉的流程图。图2中的一些或所有部件也可以用于实现图3的任何元件。

参考图2，在230处，根据另一示例实施例的触觉的渲染可以包括在耳机系统外部的数据源设备处和/或在外部检测传感器处根据非音频事件生成非音频数据。例如，非音频数据可以从基于虚拟或增强现实的系统中的环境改变或交互导出。

生成非音频数据可以包括使用非音频数据生成器。非音频数据生成器可以在数据源设备中，或者在单独的设备中。使用非音频数据生成器生成非音频数据可以包括使用耳机系统内的API或基于物理的数据生成器。API通过控制或利用数据源设备和/或外部检测传感器中的资源(例如，用户界面、图形用户界面等等)来生成非音频数据。基于物理的数据生成器基于模拟的效果或由数据源设备和/或外部检测传感器检测到的非音频事件触发的实时生成的效果来生成非音频数据。

非音频数据生成器将非音频数据发送到耳机系统。

在235处，触觉的渲染可以包括在耳机系统处从非音频数据生成器接收非音频数据。

触觉的渲染包括在240处使用触觉信号生成器基于非音频数据在启用触觉的耳机系统处生成触觉信号。

触觉的渲染还包括在250处使用启用触觉的耳机系统内的触觉输出设备渲染在触觉信号中指定的一个或多个触觉效果。

触觉的渲染可以包括渲染振动触觉效果、可变形触觉效果、热触觉效果、基于空气的触觉效果、静电摩擦触觉效果、超声表面摩擦触觉效果、神经刺激或电刺激中的至少一个。

图3是根据示例实施例的启用触觉的耳机系统的框图。

参考图3，根据示例实施例的启用触觉的耳机系统310的内部是触觉反馈系统，该触觉反馈系统基于非音频数据在耳机系统310上生成触觉效果。在一个示例实施例中的非音频数据是并非根据声音导出的数据(例如，视觉数据、传感器数据等等)。

耳机系统310的触觉反馈系统包括耳机组311。耳机组311结合音频来提供触觉效果，以便为个人创建身临其境的体验。耳机组311可以经由有线或无线连接电连接到数据源设备(例如，移动电话、基于虚拟或增强现实的系统等等)。

数据源设备可以是具有发光显示器(“LED”)或液晶显示器(“LCD”)以用于向个人显示图形表示或用户界面的设备。显示设备可以是被配置为从触觉反馈系统的处理器或控制器312发送和接收信号的触敏输入设备(即，触摸屏)，并且可以是多点触摸触摸屏。

耦合到处理器312的是存储器320和耦合到触觉输出设备318的驱动电路316。

处理器312可以是任何类型的通用处理器，或者可以是专门设计用于提供触觉效果的处理器，诸如专用集成电路(“ASIC”)。处理器312可以是操作整个耳机系统310的同一处理器，或者可以是单独的处理器。处理器312可以基于高级参数来决定要播放什么触觉效果以及播放效果的次序。一般而言，定义特定触觉效果的高级参数包括幅度、频率和持续时间。诸如流传输马达命令之类的低级参数也可以用于确定特定的触觉效果。如果触觉效果包括当生成触觉效果时这些参数的某种变化或基于个人的交互的这些参数的变化，那么可以认为触觉效果是“动态的”。

处理器312将控制信号输出到驱动电路316，驱动电路316包括用于向触觉输出设备318供给所需电流和电压(即，“马达信号”)以使得生成期望的触觉效果的电子部件和电路系统。耳机系统310可以包括多个触觉输出设备318，并且每个触觉输出设备318可以包括单独的驱动电路316，这些驱动电路全部耦合到处理器312。存储器设备320可以是任何类型的瞬态或非瞬态存储设备或计算机可读介质，诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)、闪存存储器、ROM、可擦除可编程只读存储器(“EPROM”)或电可擦除可编程只读存储器(“EEPROM”)；寄存器；静态储存器，诸如可移动盘、磁盘或光盘、紧凑盘只读存储器(“CD-ROM”)；或者本领域已知的任何其它形式的存储介质。

计算机可读介质可以是可由处理器312访问的任何可用介质，并且可以包括易失性和非易失性介质两者、可移动和不可移动介质、通信介质和存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或调制数据信号(诸如载波或其它运输机制)中的其它数据，并且可以包括本领域中已知的任何其它形式的信息递送介质。

存储器设备320存储由处理器312执行的指令，诸如操作系统指令。在这些指令当中，存储器设备320包括触觉信号生成器322，触觉信号生成器322基于非音频数据和本文公开的所有其它功能来生成触觉信号。触觉信号指定要在耳机系统310上渲染的触觉效果。存储器设备320还可以位于处理器312的内部，或者是内部和外部存储器的任何组合。

存储器设备320可以包括非音频数据生成器324，非音频数据生成器324根据非音频事件生成非音频数据。非音频数据生成器324可以是API或基于物理的数据生成器。API通过控制或利用数据源设备和/或检测传感器中的资源(例如，用户界面、图形用户界面等等)来生成非音频数据。基于物理的数据生成器基于模拟的效果或由数据源设备和/或检测传感器检测到的非音频事件触发的实时生成的效果来生成非音频数据。

非音频事件是不具有任何对应的声音数据的事件。例如，非音频事件可以在视觉提示、提醒、警报、文本消息或不产生声音的传感器中发生。

非音频事件可以是实时发生的事件、远程发生的事件、虚拟事件、视觉(例如，图片)或其组合。例如，非音频事件可以通过基于虚拟现实的系统或基于增强现实的系统发生。作为另一示例，非音频事件可以实时但从远程位置发生，诸如在体育事件的广播期间。因此，非音频事件可以在游戏、体育事件广播、外科手术或涉及用户导航的环境期间发生。

在替代示例实施例中，可以在耳机系统310处从数据源设备接收非音频数据。例如，可以根据从基于虚拟或增强现实的系统中的环境改变或交互导出的非音频事件生成非音频数据，然后可以将非音频数据发送到耳机系统310的处理器312。

根据示例实施例，数据源设备可以是移动设备(例如，mp3、蜂窝电话、平板电脑、相机等等)、显示设备的视觉显示器(例如，电视、平板电脑等等)或遥感设备(例如，基于虚拟或增强现实的系统、医疗设备、检测传感器等等)。数据源设备可以在耳机系统的内部或外部。

根据视觉提示生成的非音频数据可以由触觉信号生成器322使用视觉-触觉转换算法来触觉化。例如，可以使用美国专利No.9,368,005中公开的视频-触觉转换算法。根据示例实施例，仅视觉提示的某些部分而不是整个(一个或多个)提示可以被触觉化。因此，示例实施例可以使用针对视觉提示的那些部分所配置的触觉转换算法来提供增强的触觉信号。

触觉输出设备318可以是生成在触觉信号中指定的触觉效果的任何类型的设备，并且可以物理地位于耳机组311的任何区域中，以便能够创建对个人身体的期望区域的期望触觉效果。在一些示例实施例中，耳机系统310包括数十或甚至数百个触觉输出设备318，并且触觉输出设备318可以是不同类型的，以便能够一般而言在个人身体的每个区域中生成触觉效果，以及任何类型的触觉效果。

在示例实施例中，触觉输出设备318可以是生成振动触感(vibrotactile)或振动触觉效果的致动器。用于此目的的致动器可以包括电磁致动器，诸如其中偏心质块(mass)被马达移动的偏心旋转质块(“ERM”)、其中附连到弹簧的质块被来回驱动的线性谐振致动器(“LRA”)，或者“智能材料”(诸如压电、电活性聚合物或形状记忆合金)。触觉输出设备318还可以是诸如静电摩擦(“ESF”)设备或超声表面摩擦(“USF”)设备之类的设备，或者是利用超声触觉换能器诱发声辐射压力的设备。其它设备可以使用触觉基板和柔性或可变形表面，并且设备可以提供设计的(projected)触觉输出，诸如使用空气喷射的空气的吹气等。触觉输出设备318还可以是提供热触觉效果(例如，加热或冷却)、神经刺激或电刺激的设备。

触觉输出设备318可以位于耳机组311的扬声器内。扬声器可以在耳机组311的左侧和/或右侧。由扬声器中的触觉输出设备318渲染的触觉效果可以以类似于构造立体声声音的方式被空间化。可替代地，可以在两个扬声器中的一个上渲染触觉效果。当耳机系统310与基于虚拟或增强现实的系统结合使用时，落在个人的视觉范围左侧的对象可以仅在左扬声器上播放的触觉效果中被触觉化。作为另一示例，在基于虚拟或增强现实的系统中，在用户前方从左向右移动的汽车可以在通过左扬声器开始、过渡到左和右扬声器两者并通过右扬声器结束的触觉效果中被触觉化。

在示例实施例中，可以通过耳机组311的扬声器直接渲染所有触觉效果。

耳机系统310还包括耦合到处理器312的传感器328。传感器328可以用于检测非音频事件(例如，视频游戏事件、提醒、警报、电话呼叫、文本消息、物理特性、能量等等)。传感器328可以用于通过检测与控制器或数据源设备的用户界面的交互来检测非音频事件。传感器328可以在耳机系统310的内部或外部。例如，耳机系统310外部的传感器328可以耦合到耳机系统或与耳机系统通信，并且传感器328可能在数据源设备中。

传感器328可以被配置为检测能量的形式或其它物理特性，诸如但不限于移动、加速度、生理信号、距离、流动(flow)、力/压力/应变/弯曲、湿度、线性位置、朝向/倾角、射频、旋转位置、旋转速度、开关的操纵、温度、振动或可见光强度。传感器328还可以被配置为将检测到的能量或其它物理特性转换成电信号或表示虚拟传感器信息的任何信号。传感器328可以是任何设备，诸如但不限于加速度计、心电图、脑电图、肌电图、眼电图、电子颚位图(electropalatograph)、电流皮肤响应传感器、电容传感器、霍尔效应传感器、红外传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏电阻器、负载单元(load cell)、LuSense CPS2 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑块)、线性可变差动变压器、指南针、倾角计、磁性标记(或射频识别标记)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集成电路)、光度计、高度计、生物学监视器、相机或依赖光的电阻器。

传感器328可以感测耳机系统310周围的环境，诸如当个人正在跑步并且耳机系统310在个人携带的包或口袋中时检测耳机系统310的加速度。检测到的加速度被用于确定速度/节奏(tempo)，并且以触觉反馈的形式传达给个人，该触觉反馈例如指示在虚拟训练器中的较快/较慢的速度。

传感器328可以是接近传感器，该接近传感器检测个人或设备与墙柱或另一个人的接近程度，并提供传感器数据以警告潜在的碰撞。

在替代示例实施例中，传感器328可以在耳机系统310中，或者在耳机系统310外部，诸如在个人穿戴的设备或衣服上，如在物联网(“IoT”)设置中那样，其中个人穿戴的耳机组311接收来自即将发生碰撞的墙柱或另一个人的通信/消息，并向耳机系统310提供传感器数据以警告潜在的碰撞。在IoT设置中，假设所有计算设备被连接(或联网)并且墙柱是智能的。

耳机系统310还包括通信接口325，通信接口325允许耳机系统310通过互联网/云350通信。互联网/云350可以为耳机系统310提供远程存储和处理，并允许耳机系统310与类似或不同类型的设备通信。另外，本文描述的任何处理功能可以由远离耳机系统310并经由通信接口325通信的处理器/控制器执行。

在替代示例实施例中，通信接口325可以是网络接口卡，该网络接口卡提供用于红外、无线电、Wi-Fi或蜂窝网络通信的无线网络通信。可替代地，通信接口325可以提供有线网络连接(例如，电缆/以太网/光纤连接或调制解调器)。

根据示例实施例，在启用触觉的耳机系统中渲染触觉包括基于非音频数据或基于基于非音频数据的信号在启用触觉的耳机系统处生成触觉信号。

示例实施例针对启用触觉的耳机系统，该耳机系统除了从音频数据导出的事件以外，还通过对不是从音频数据导出的事件进行触觉化来为个人提供更加身临其境的体验。

前述内容是对各种示例实施例的说明，而不应当被解释为对其进行限制。因而，所有这些修改意图被包括在权利要求中限定的本公开的范围内。

Claims (20)

1.一种在启用触觉的耳机系统中渲染触觉的方法，包括：

基于非音频数据在启用触觉的耳机系统中生成触觉信号；以及

使用启用触觉的耳机系统内的触觉输出设备渲染在触觉信号中指定的触觉效果。

2.如权利要求1所述的方法，还包括：

在启用触觉的耳机系统处根据非音频事件生成非音频数据。

3.如权利要求2所述的方法，其中使用启用触觉的耳机系统中的应用处理接口API或基于物理的数据生成器来生成非音频数据。

4.如权利要求2所述的方法，还包括：

使用启用触觉的耳机系统内的检测传感器来检测非音频事件。

5.如权利要求4所述的方法，其中使用传感器检测非音频事件包括检测与数据源设备的控制器或用户界面的交互，所述数据源设备在启用触觉的耳机系统的内部或外部。

6.如权利要求1所述的方法，还包括：

根据从基于虚拟或增强现实的系统中的环境改变或交互导出的非音频事件生成非音频数据。

7.如权利要求1所述的方法，还包括：

在启用触觉的耳机系统处从数据源设备接收非音频数据，所述数据源设备在启用触觉的耳机系统外部。

8.如权利要求7所述的方法，还包括：

使用数据源设备中的应用处理接口API或基于物理的数据生成器生成非音频数据。

9.如权利要求7所述的方法，其中数据源设备是移动设备、视觉显示器或遥感设备。

10.如权利要求1所述的方法，其中触觉效果的渲染包括渲染振动触觉效果、可变形触觉效果、热触觉效果、基于空气的触觉效果、静电摩擦触觉效果或超声表面摩擦触觉效果。

11.一种启用触觉的耳机系统，包括：

触觉信号生成器，该触觉信号生成器基于非音频数据在启用触觉的耳机系统处生成触觉信号；以及

触觉输出设备，该触觉输出设备渲染触觉信号中指定的触觉效果。

12.如权利要求11所述的启用触觉的耳机系统，其中触觉输出设备是从振动设备、可变形设备、热设备、基于空气的设备、静电摩擦设备或超声表面摩擦设备中选择的一个。

13.如权利要求11所述的启用触觉的耳机系统，还包括：

非音频数据生成器，该非音频数据生成器根据非音频事件生成非音频数据，

其中非音频数据生成器是应用处理接口API或基于物理的数据生成器。

14.如权利要求13所述的启用触觉的耳机系统，还包括：

检测传感器，该检测传感器通过检测与数据源设备的控制器或用户界面的交互来检测非音频事件，

所述数据源设备位于启用触觉的耳机系统的内部或外部。

15.如权利要求11所述的启用触觉的耳机系统，其中，

在启用触觉的耳机系统处从数据源设备接收非音频数据，

所述数据源设备在启用触觉的耳机系统外部，并且是从移动设备、视觉显示器或遥感设备中选择的一个。

16.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质上存储有指令，当所述指令由处理器执行时，使处理器执行包括以下各项的操作：

基于非音频数据在启用触觉的耳机系统处生成触觉信号；以及

使用启用触觉的耳机系统内的触觉输出设备渲染触觉信号中指定的触觉效果。

17.如权利要求16所述的非瞬态计算机可读介质，其中处理器还执行包括以下各项的操作：

在启用触觉的耳机系统处根据非音频事件生成非音频数据。

18.如权利要求17所述的非瞬态计算机可读介质，其中处理器还执行包括以下各项的操作：

使用启用触觉的耳机系统内的检测传感器检测非音频事件，

其中使用传感器检测非音频事件包括检测与数据源设备的控制器或用户界面的交互，所述数据源设备在启用触觉的耳机系统的内部或外部。

19.如权利要求16所述的非瞬态计算机可读介质，其中处理器还执行包括以下各项的操作：

根据从基于虚拟或增强现实的系统中的环境改变或交互导出的非音频事件生成非音频数据。

20.如权利要求16所述的非瞬态计算机可读介质，其中触觉效果的渲染包括渲染振动触觉效果、可变形触觉效果、热触觉效果、基于空气的触觉效果、静电摩擦触觉效果或超声表面摩擦触觉效果。