CN110446998A - 用于渲染触觉反馈的多速率处理设备 - Google Patents

Abstract

触觉接口单元可以包括与驱动程序层通信的设备的操作系统中的应用。多个传感器和致动器可以与驱动程序层通信。驱动程序层分析来自传感器的信息，以基于存储在驱动程序层中的交互模型生成输出信号。应用更新驱动程序层中的交互模型。

Description

用于渲染触觉反馈的多速率处理设备

相关申请的交叉引用

本国际申请要求于2018年3月27日提交的美国申请序列No.15/937,403的权益和优先权，该申请要求于2017年3月28日提交的美国申请序列No.62/477,810的权益和优先权，两者均在此通过引用完全并入本文。

技术领域

本公开一般而言涉及触觉。更特别地，本公开涉及触觉接口和控制系统。

背景技术

触摸屏用于计算机接口已经变得无处不在，并且用于移动电话、平板电脑、膝上型计算机、银行自助终端(kiosk)以及许多其它应用和设备中。触摸屏能够检测用户的手指与屏幕接触的位置。然后，计算机程序可以使用检测到的位置来响应由他或她的触摸所表达的用户命令，诸如以移动在屏幕上可见的图形对象或选择按钮或菜单项。

通常，触敏屏幕是透明的并且与视觉显示器组合，使得用户可以想象他或她正在触摸或指向视觉上描绘的对象。存在两种所涉及的信息流：从计算机到用户的视觉信息，以及从用户到计算机的触摸信息。

不太常见的是另一个方向上的触摸信息的传送，其中用户可以使用他或她的触摸感觉来从计算机接收信息。这可以支持用户对边缘或纹理或甚至表面的明显凸起或凹陷的感知。

将触摸信息传达给用户的设施被称为触觉。触觉的当代形式是通过产生手持设备的振动来实现的。用户可以想象振动源于他或她与视觉显示器上描绘的图标或其它图形特征的交互。除了振动触觉之外，术语表面触觉显示器是指其中力可以由屏幕生成并在用户的指尖接触屏幕的点处施加在用户的指尖上的触摸屏。

发明内容

提供本发明内容是为了以简化的形式介绍在本公开的具体实施方式中进一步描述的一些概念。本发明内容不旨在识别所要求保护的主题的关键或基本发明概念，也不旨在确定所要求保护的主题的范围。

一般而言，如本文所公开的触觉接口单元可以包括应用、驱动程序层、传感器、致动器和接口模型。

附图说明

当结合附图阅读时，可以更好地理解前述发明内容以及本公开的以下具体实施方式。出于说明本公开的目的，在附图中示出了本公开的发明概念的示例性构造。但是，本文的公开内容和发明概念不限于本文公开的具体方法和手段。

图1描绘了具有传感器和致动器的触觉表面。

图2示意性地描绘了使用单速率处理体系架构的现有技术触觉接口。

图3描绘了由图2的触觉接口执行的处理的操作的示意图。

图4示意性地描绘了与本公开一致的使用利用驱动程序层软件构建的多速率处理单元的触觉接口单元的一个实施例。

图5描绘了由图4的触觉接口单元执行的处理的操作的示意图。

图6A和图6B描绘了由存储器管理模块执行的用于对确保连续触觉操作的交互模型进行更新的处理的操作和在驱动程序层处关于更新后的交互模型执行的处理的操作的示意图。

图7示意性地描绘了与本公开一致的使用触感处理单元(TPU)中的多速率处理单元的触觉接口单元的另一个实施例。

图8描绘了由图7的触觉接口操作的处理的示意表示。

图9示意性地描绘了与本公开一致的既用作人类输入设备(HID)又用作触觉接口的双功能触觉接口单元的一个实施例。

图10示意性地描绘了与本公开一致的触觉接口的驱动程序层和硬件层之间的编码通信层的一个实施例。

具体实施方式

当结合附图、附图说明、摘要、背景、总结和相关联的标题阅读时，通过参考所提供的具体实施方式，可以最好地整体理解以下公开内容。当在不同图中发现相同的附图标记时，它们表示相同的元件或功能上等效的元件。摘要中列出的元件未被引用，但仍然通过关联来指代具体实施方式和相关联的公开内容的元件。

触觉系统的核心在于交互的基本模型。交互模型定义了致动器对用户输入的响应，并且通常是虚拟环境的实时模拟。在按键反馈的示例中，交互模型计算对触摸压力检测的输出振动波形响应。渲染触觉交互模型的一个问题涉及传送输入、计算触觉输出然后传递输出信号所需的时间。传递触觉输出信号的延迟会降低触觉体验。因此，需要一种以高效方式将触觉输出传达给用户的方法。

触觉设计人员早已意识到触觉接口单元中更新速率的重要性，并且由于这一观察，已经使用实时操作系统(RTOS)来计算触觉接口或交互模拟。RTOS环境通常不在运行完整操作系统以服务各种应用的消费者级设备中实现。在大多数消费者级设备中，触觉交互模型用软件实现，并且因此受操作系统(OS)中可用资源的速率限制。

依赖于OS级别进程来渲染交互的触觉接口容易出现一些系统性故障。首先，通常不保证事件的定时，并且系统中的不稳定等待时间可能对于用户的触觉感知系统来说是令人困惑的。其次，软件可能经常冻结，并且这样做会阻止触觉反馈处理。两种故障都打破了触觉接口表示物理系统的假象(illusion)，因为它们向用户呈现不一致性。

本发明的实施例提供了技术改进，以使得能够提供逼真的触觉接口而无需使用RTOS环境。通过采用专门化的专用硬件和/或软件，本发明的实施例提供低等待时间，保证了事件的定时，并且使得即使在面对应用级别的软件故障时也能够实现一致的用户体验。特别地，对驱动程序层的改变是使得能够以原本通过现有技术软件实现不可能的方式进行实时触觉反馈的技术改进。

在本公开的一个方面，触觉接口单元的一个实施例可以包括与驱动程序层通信的设备的操作系统中的应用。多个传感器和致动器可以与驱动程序层通信。驱动程序层分析来自传感器的信息，以基于存储在驱动程序层中的交互模型生成输出信号。应用更新驱动程序层中的交互模型。

在本公开的其它方面，触觉接口单元的一个实施例可以包括设备的操作系统中的应用和与应用通信的触感处理单元(TPU)。多个传感器和致动器可以与TPU通信。TPU基于存储在TPU中的交互模型分析来自传感器的信息以生成输出信号。在另一个实施例中，应用可以异步地更新TPU中的交互模型。

图1描绘了具有传感器104和致动器102的触觉表面100。致动器102用于将触觉效果传达到与表面接触的对象，诸如，例如手指101。致动器102可以是任何已知的致动器102，包括但不限于在表面上产生振动的超声致动器、针对对象产生静电力的静电致动器或促进提供相同或类似功能的任何其它已知的致动器或结构物品或组件。传感器104(本领域技术人员将认识到的是，为了简洁和清楚起见，描绘了传感器104的场而不是构成这种阵列的各个传感器)用于识别对象101在触觉表面上的位置。触觉表面100上的对象101的地点用于将触觉信号传递到对象101。在示例实施例中，传感器104和致动器102可以在触摸板的触觉表面100上用相同的一组透明导电电极来实现。

图2示意性地描绘了使用单速率处理体系架构的现有技术触觉接口200。触觉接口200包括在诸如移动电话或膝上型计算机之类的计算设备的存储器中操作的应用202。应用202包括并操作基于传感器输入确定触觉输出的交互模型，例如，交互模型可以是基于触摸地点改变表面摩擦的空间映射。在一个实施例中，应用202在设备的操作系统中操作。应用202从驱动程序层204接收传感器信息，驱动程序层204通过感测电路208通信地耦合到传感器206。驱动程序层204还通过致动器电路212通信地耦合到致动器214。驱动程序层204用于收集传感器信息并格式化信息以便传递给应用。应用202处理传感器数据并向驱动程序层204提供输出，使得驱动程序层可以发送信号以经由致动器电路212操纵(例如，选择性地激活和停用)致动器214，以便产生触觉输出。

图3描绘了在图2中所示的触觉接口200上操作的触觉控制循环300的操作的示意图。在步骤302中，传感器206读取与触觉表面100接触的位置和施加的力(诸如手指101或其它对象的压力)。在步骤304中，传感器206经由感测电路208将读取的位置和力传送到驱动程序层204。在步骤306中，驱动程序层204从感测电路208接收信息并在将信息发送到应用202之前格式化信息以便由应用202处理。在步骤308中，应用202基于由传感器206接收到的信息计算触觉输出信号，并将触觉输出信号发送到驱动程序层204以进行处理。在步骤310中，驱动程序层204格式化触觉输出信号并将信号发送到致动器电路212。在步骤312中，致动器214从致动器电路212接收触觉输出信号并产生触觉输出。在该触觉控制循环中，操作系统调度几个步骤。因为大多数操作系统不能保证调度的定时，因此触觉控制循环经历不能预测的变化的量的抖动和滞后，并且用户体验受到负面影响。

图4示意性地描绘了与本公开一致的使用多速率触感处理单元的触觉接口单元200的一个实施例。触觉接口200包括应用202、驱动程序层204、传感器206、感测电路208、致动器电路212和致动器214。与该实施例一致，应用202与驱动程序层204交互以更新和存储驱动程序层204上的交互模型，使得驱动程序层204分析并经由致动器电路212而无需与应用接口来生成给致动器214的触觉输出信号，以便生成触觉输出。在从驱动程序层204生成触觉输出信号之后，驱动程序层204将传感器信息发送到应用202，并且应用更新驱动程序层204中的交互模型。触感处理单元在驱动程序层软件中实现，并且不受应用级别操作系统调度的影响。

图5描绘了由图4的触觉接口单元400执行的处理的示意性表示。在步骤402中，传感器206读取手指位置和/或压力。在步骤404中，传感器206经由传感器电路系统208将位置和/或压力传送到驱动程序层204。在步骤406中，驱动程序层204处理位置和/或压力并递增计数器。在步骤408中，驱动程序层204基于存储在驱动程序层204中的交互模型来计算触觉输出信号。在步骤410中，驱动程序层204将触觉输出信号输出发送到致动器电路系统212。在步骤412中，致动器电路系统212将触觉输出信号发送到产生触觉输出的致动器。

在步骤414中，驱动程序层204确定计数器是否大于或等于预定数量，诸如100。在416中，如果计数器超过预定数量，则驱动程序将从传感器206读取的位置和压力发送到应用202。如果计数器小于预定数量，则驱动程序层204从传感器206读取附加信息(例如，手指/对象位置、压力/力等)。在步骤418中，应用202接收位置和/或压力信息并更新存储在驱动程序层204中的交互模型。

图5中描绘的处理优选地通过多速率处理体系架构来实现，该体系架构在渲染触觉输出时不涉及应用层消息，并且因此不受操作系统延迟的影响。步骤416可以在应用内部执行，因此与步骤408异步。

图6A和图6B描绘了由存储器管理模块执行的处理的操作的示意图，该处理使得能够对交互模型进行异步(即，任意定时的)更新而不干扰触觉控制循环，使得存在连续的触觉操作和关于更新后的交互模型在驱动程序层处执行的处理的操作。这确保了在行为不当(或死锁)应用的情况下触觉交互的完整性。在这个实施例中，优选地实现多个缓冲器，诸如，例如，两个缓冲器，其中一个缓冲器对于读取始终是安全的，并且其中一个缓冲器对于写入是安全的。以这种方式，无论来自应用的异步更新如何，该体系架构都确保将始终正确地计算触觉输出。硬件定时的电路可能对输出信号是有用的。

图6A是图5中的步骤418的处理的进一步操作的示意图，该步骤418被复制为这个图6A的第一步。在步骤420中，准备将新的交互模型写入到输出缓冲器。在步骤422中，该处理基于其它操作因素确定是缓冲器A还是缓冲器B要作为“写缓冲器”。如前所述，不是写缓冲器的缓冲器将是“读缓冲器”。如果缓冲器A被选择为写缓冲器，则在步骤424中，新的交互模型将被写入到缓冲器A。在步骤426中，缓冲器B被设置为写缓冲器，并且缓冲器A被设置为读缓冲器，用于当请求时该处理的下一次迭代。如果缓冲器B被选择为写缓冲器，则在步骤428中，新的交互模型将被写入到缓冲器B。在步骤430中，缓冲器A被设置为写缓冲器，并且缓冲器B被设置为读缓冲器，用于当请求时该处理的下一次迭代。

图6B是图5中的步骤408的处理的进一步操作的示意图。在步骤440中，驱动程序层接收输入，然后在步骤442中确定哪个缓冲器是读缓冲器。如果读缓冲器是缓冲器A，则在步骤444中，存储在缓冲器A中的交互模型用于计算致动器的输出。如果读缓冲器是缓冲器B，则在步骤446中，存储在缓冲器B中的交互模型用于利用硬件定时电路计算致动器的输出。

图7示意性地描绘了与本公开一致的触觉接口单元200的另一个实施例。触觉接口包括应用202、驱动程序层204、传感器206、感测电路208、致动器电路212和致动器214，以及与应用202和驱动程序层204通信的触感处理单元500。与该实施例一致，触感处理单元500是硬件实现，其包含专用软计算核心以及接收输入信号并生成输出信号的定制设计的硬件电路系统，例如硬件定时电路。在从嵌入式处理器500生成触觉输出信号之后，触感处理单元500经由驱动程序层204与应用202通信，并且应用202经由驱动程序层204更新触感处理单元500中的交互模型。

图8描绘了由图7的触觉接口600操作的处理的示意表示。在步骤602中，传感器206读取手指位置和/或压力。在步骤604中，传感器206经由传感器电路系统208将位置和/或压力传送到处理位置和/或压力的触感处理单元500。在步骤606中，触感处理单元500基于存储在触感处理单元500中的交互模型来确定触觉输出信号。在步骤608中，触感处理单元500经由致动器电路系统212将触觉输出信号传送到致动器214。在步骤610中，触感处理单元500确定触感处理单元500的存储器中的输入计时器是否已经到期。如果输入计时器尚未到期，则触感处理单元500读取更多传感器信息。在步骤612中，如果输入计时器已经到期，则触感处理单元500将位置和/或压力信息传送到驱动程序层204。在步骤614中，驱动程序层204格式化位置和/或压力信息并将格式化的信息传送到应用层。在步骤616中，应用202基于接收到的压力和/或位置来更新交互模型。在步骤618中，应用202经由驱动程序层204将更新后的交互模型发送到触感处理单元500。

图8中描绘的处理是多速率处理体系架构的另一个实施例。在这个实施例中，触感处理单元500使用专门硬件定时电路系统来执行步骤604、606和608，并且可以实现超过20kHz的更新速率，这足以跨越整个可听频率范围。利用硬件定时输出，计算延迟可预测地可忽略不计，并且可以可靠地渲染复杂的触觉交互，比如那些仿真物理系统。

作为步骤618的结果，触感处理单元500通过驱动程序层204从应用层202异步地接收交互模型更新。可用的通信带宽和任务调度将这些更新速率限制为大约1或2kHz。触感处理单元500中的专门存储器管理，诸如如前所述的多次缓冲，确保硬件定时输出始终访问完整且有效的存储器。

图9示意性地描绘了与本公开一致的双功能触觉接口单元的一个实施例，该双功能触觉接口单元既用作人类输入设备(HID)又用作触觉接口。在这个实施例中，触感处理单元500可以连接到操作系统900作为双功能设备，既用作广泛支持的人类输入设备输入902又用作触觉接口。在这个实施例中，传感器接口904(包括感测电路208以及其它项目)将从传感器206获得的数据发送到交互模型缓冲器906并且发送到HID驱动程序902和触觉接口控制驱动程序两者或TPU驱动程序905，以及操作系统驱动程序层204上存在的任何其它现有驱动程序。因此，驱动程序层204可以分析、预测、计算和生成来自HID驱动程序902的触摸输入数据，以基于存储在应用中的全局交互模型生成本地交互模型。优选地，在一个方面，可以将本地交互模型的相关数据的子集传送到触感处理单元500，以便适应触感处理单元500中的存储器约束。此外，相关的触摸输入数据和传感器数据可以发送到触感处理单元500，以便满足触感处理单元500中的存储器约束。在一个示例实施例中，驱动程序层204使用触摸输入(来自HID 902)分析和预测全局交互模型908的哪些部分将在不久的将来布置在接近触摸输入的局部位置，并计算和生成本地交互模型910以放置在TPU交互模型缓冲器906中。

图10示意性地描绘了与本公开一致的触觉接口的驱动程序层和硬件层之间的编码通信层的一个实施例。在这个实施例中，驱动程序层204的TPU驱动程序905可以包括编码器1002，以在将本地交互模型910的数据中继到触感处理单元500之前压缩本地交互模型910的数据，以便满足由通信总线施加的带宽限制。在一个实施例中，编码器1002仅在本地交互模型参数中发送相关数据、变化或增量(delta)。触感处理单元500上的解码器1004在将编码数据提供给交互模型缓冲器906之前解释编码数据，以供硬件定时触觉控制循环和接口使用，如本文所述用于实时渲染。

在本公开中，词语“一”或“一个”应该被视为既包括单数又包括复数。反之，任何对复数项目的引用在适当的情况下应包括单数。

应该理解的是，对本文公开的目前优选的实施例的各种改变和修改对于本领域技术人员而言将是显而易见的。可以在不脱离本公开的精神和范围的情况下进行这样的改变和修改，并且不会减少其预期的优点。因此，旨在所附权利要求涵盖这些改变和修改。

提供前述示例仅用于解释的目的，并且决不应该被解释为限制本文公开的本发明概念。虽然已经参考各种实施例描述了本发明概念，但是应该理解的是，本文使用的词语是描述和说明的词语，而不是限制性的词语。另外，虽然本文已经参考特定装置、材料和实施例描述了本发明概念，但是本发明概念并不旨在限于本文公开的细节。而是，本发明概念扩展到所有功能上等同的结构、方法和用途，诸如在所附权利要求的范围内的那些。受益于本说明书的教导的本领域技术人员可以影响对其的许多修改，并且可以在不脱离本发明概念的各方面的范围和精神的情况下进行改变。

本发明概念的公开实施例的各种元件的构造、功能或组成的任何其它未公开或附带的细节不被认为对于实现本发明概念的优点是至关重要的，只要这些元件具有他们按照公开进行执行所需的属性即可。当然，触觉领域的技术人员将能够构想出各种各样的结构和功能系统和配置以及它们的成功组合，以便促进和实现本发明的概念。鉴于本公开内容，认为构造和操作的这些以及其它细节的选择完全在该领域中甚至基本技能之一的能力范围内。已经相当详细地描述了本发明概念的说明性实施例，以便公开实际的、可操作的结构和功能，由此可以有利地实践本发明的概念。本文描述的实施例仅旨在是示例性的。在不脱离本发明概念的精神和范围的情况下，本发明概念的新颖特征可以以其它结构或功能形式结合。本发明概念包含既包括参考说明性实施例描述的元件的实施例又包含由其组成的实施例。除非另有说明，否则本文使用的所有普通词语和术语均应采用如在1993年版的“新简短牛津英语词典(The New Shorter Oxford English Dictionary)中定义的其惯用含义。所有技术术语应采用如由该特定技术领域的普通技术人员所使用的适当技术学科所确立的其惯用含义。

Claims (24)

1.一种触觉接口单元，包括：

在设备的操作系统中操作的应用；

与应用通信的驱动程序层；

与驱动程序层通信的多个传感器；

与驱动程序层通信的多个致动器，

其中，驱动程序层分析来自传感器的信息，以基于存储在驱动程序层中的交互模型生成输出信号，以及

其中，应用与输出信号异步地更新驱动程序层中的交互模型。

2.如权利要求1所述的触觉接口，还包括存储器管理模块，所述存储器管理模块包括多个缓冲器。

3.如权利要求2所述的触觉接口，其中所述多个缓冲器中的一个缓冲器对于写入始终是安全的，并且所述多个缓冲器中的另一个缓冲器对于读取始终是安全的。

4.一种触觉接口，包括：

在设备的操作系统中操作的应用；

与应用通信的驱动程序层；

与应用和驱动程序层通信的触感处理单元；

与触感处理单元通信的多个传感器；

与触感处理单元通信的多个致动器，

其中，触感处理单元分析来自传感器的信息，以基于存储在触感处理单元中的交互模型生成输出信号，以及

其中，应用与输出信号异步地更新触感处理单元中的交互模型。

5.如权利要求4所述的触觉接口，还包括存储器管理模块，所述存储器管理模块包括多个缓冲器，其中所述多个缓冲器中的一个缓冲器对于写入始终是安全的，并且所述多个缓冲器中的另一个缓冲器对于读取始终是安全的。

6.如权利要求5所述的触觉接口，其中所述多个缓冲器中的一个缓冲器促进触感处理单元利用硬件定时电路生成输出信号。

7.如权利要求4所述的触觉接口，其中所述触感处理单元操作以分析信息并以超过20kHz的速率生成输出。

8.如权利要求4所述的触觉接口，其中所述驱动程序层包括触感处理单元驱动程序，其中所述操作系统包括人类输入设备驱动程序，并且其中所述触感处理单元既与触感处理单元驱动程序通信又与人类输入设备驱动程序通信。

9.如权利要求8所述的触觉接口，其中所述驱动程序层分析来自人类输入设备驱动程序的触摸输入数据，以基于存储在应用中的全局交互模型生成本地交互模型。

10.如权利要求9所述的触觉接口，其中所述驱动程序层包括编码器，所述编码器在将本地交互模型的数据传送到所述触感处理单元上的解码器之前压缩这样的数据，所述触感处理单元在利用用于实时渲染的数据更新触感处理单元上的交互模型缓冲器中的交互模型之前分析所述数据。

11.一种操作触觉接口的方法，包括以下步骤：

通过感测电路读取传感器位置和压力信息；

经由感测电路将传感器位置和压力信息传送到驱动程序层；

通过驱动程序层处理传感器位置和压力信息；

基于存储在驱动程序层中的交互模型计算触觉输出信号；

经由致动器电路系统将触觉输出信号传送到致动器；以及

通过致动器产生触觉输出。

12.如权利要求11所述的方法，其中产生步骤还包括以与传送触觉输出信号步骤的输入速率相比降低的速率将传感器位置和压力信息传送到应用的步骤。

13.如权利要求12所述的方法，还包括以与输入速率相比降低的速率更新存储在驱动程序层中的交互模型的步骤。

14.一种操作触觉接口的方法，包括以下步骤：

通过感测电路读取传感器位置和压力信息；

经由感测电路将传感器位置和压力信息传送到触感处理单元；

通过触感处理单元处理传感器位置和压力信息；

基于存储在触感处理单元中的交互模型计算触觉输出信号；

经由致动器电路系统将触觉输出信号传送到致动器；以及

通过致动器产生触觉输出。

15.如权利要求14所述的方法，还包括确定触感处理单元中的输入计时器是否已经到期的步骤。

16.如权利要求15所述的方法，还包括将传感器位置和压力信息传送到驱动程序层的步骤。

17.如权利要求16所述的方法，还包括以下步骤：格式化传感器位置和压力信息，以及将传感器位置和压力信息传送到应用。

18.如权利要求17所述的方法，还包括由应用基于由应用接收到的传感器位置和压力信息更新交互模型的步骤。

19.如权利要求18所述的方法，还包括经由驱动程序层将更新后的交互模型传送到触感处理单元的步骤。

20.如权利要求18所述的方法，还包括以下步骤：确定多个缓冲器中的写缓冲器，将更新后的交互模型写入其中，以及将所述多个缓冲器中的另一个缓冲器识别为下一个写缓冲器。

21.如权利要求14所述的方法，所述计算步骤还包括确定多个缓冲器中的读缓冲器并从中读取交互模型。

22.如权利要求16所述的方法，还包括在触感处理单元驱动程序中处理传感器位置和压力信息以从存储在应用中的全局交互模型生成本地交互模型的步骤。

23.如权利要求22所述的方法，还包括用来自触感处理单元驱动程序的本地交互模型的数据更新触感处理单元上的交互模型缓冲器的步骤。

24.如权利要求22所述的方法，还包括以下步骤：在触感处理单元驱动程序中编码本地交互模型的数据，将编码数据传送到触感处理单元上的解码器，分析编码数据，以及利用用于实时渲染的分析数据更新触感处理单元上的交互模型缓冲器中的交互模型。