CN116880714A - 用于渲染触觉反馈的多速率处理设备 - Google Patents
用于渲染触觉反馈的多速率处理设备 Download PDFInfo
- Publication number
- CN116880714A CN116880714A CN202311079205.9A CN202311079205A CN116880714A CN 116880714 A CN116880714 A CN 116880714A CN 202311079205 A CN202311079205 A CN 202311079205A CN 116880714 A CN116880714 A CN 116880714A
- Authority
- CN
- China
- Prior art keywords
- haptic
- interaction model
- output signal
- sensor information
- haptic output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 238000009877 rendering Methods 0.000 title abstract description 7
- 230000003993 interaction Effects 0.000 claims abstract description 94
- 239000000872 buffer Substances 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims 4
- 238000004891 communication Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及用于渲染触觉反馈的多速率处理设备。触觉接口单元可以包括与驱动程序层通信的设备的操作系统中的应用。多个传感器和致动器可以与驱动程序层通信。驱动程序层分析来自传感器的信息,以基于存储在驱动程序层中的交互模型生成输出信号。应用更新驱动程序层中的交互模型。
Description
本申请是2019年9月19日提交的发明名称为“用于渲染触觉反馈的多速率处理设备”的中国专利申请201880019251.0的分案申请。
相关申请的交叉引用
本国际申请要求于2018年3月27日提交的美国申请序列No.15/937,403的权益和优先权,该申请要求于2017年3月28日提交的美国申请序列No.62/477,810的权益和优先权,两者均在此通过引用完全并入本文。
技术领域
本公开一般而言涉及触觉。更特别地,本公开涉及触觉接口和控制系统。
背景技术
触摸屏用于计算机接口已经变得无处不在,并且用于移动电话、平板电脑、膝上型计算机、银行自助终端(kiosk)以及许多其它应用和设备中。触摸屏能够检测用户的手指与屏幕接触的位置。然后,计算机程序可以使用检测到的位置来响应由他或她的触摸所表达的用户命令,诸如以移动在屏幕上可见的图形对象或选择按钮或菜单项。
通常,触敏屏幕是透明的并且与视觉显示器组合,使得用户可以想象他或她正在触摸或指向视觉上描绘的对象。存在两种所涉及的信息流:从计算机到用户的视觉信息,以及从用户到计算机的触摸信息。
不太常见的是另一个方向上的触摸信息的传送,其中用户可以使用他或她的触摸感觉来从计算机接收信息。这可以支持用户对边缘或纹理或甚至表面的明显凸起或凹陷的感知。
将触摸信息传达给用户的设施被称为触觉。触觉的当代形式是通过产生手持设备的振动来实现的。用户可以想象振动源于他或她与视觉显示器上描绘的图标或其它图形特征的交互。除了振动触觉之外,术语表面触觉显示器是指其中力可以由屏幕生成并在用户的指尖接触屏幕的点处施加在用户的指尖上的触摸屏。
发明内容
提供本发明内容是为了以简化的形式介绍在本公开的具体实施方式中进一步描述的一些概念。本发明内容不旨在识别所要求保护的主题的关键或基本发明概念,也不旨在确定所要求保护的主题的范围。
一般而言,如本文所公开的触觉接口单元可以包括应用、驱动程序层、传感器、致动器和接口模型。
附图说明
当结合附图阅读时,可以更好地理解前述发明内容以及本公开的以下具体实施方式。出于说明本公开的目的,在附图中示出了本公开的发明概念的示例性构造。但是,本文的公开内容和发明概念不限于本文公开的具体方法和手段。
图1描绘了具有传感器和致动器的触觉表面。
图2示意性地描绘了使用单速率处理体系架构的现有技术触觉接口。
图3描绘了由图2的触觉接口执行的处理的操作的示意图。
图4示意性地描绘了与本公开一致的使用利用驱动程序层软件构建的多速率处理单元的触觉接口单元的一个实施例。
图5描绘了由图4的触觉接口单元执行的处理的操作的示意图。
图6A和图6B描绘了由存储器管理模块执行的用于对确保连续触觉操作的交互模型进行更新的处理的操作和在驱动程序层处关于更新后的交互模型执行的处理的操作的示意图。
图7示意性地描绘了与本公开一致的使用触感处理单元(TPU)中的多速率处理单元的触觉接口单元的另一个实施例。
图8描绘了由图7的触觉接口操作的处理的示意表示。
图9示意性地描绘了与本公开一致的既用作人类输入设备(HID)又用作触觉接口的双功能触觉接口单元的一个实施例。
图10示意性地描绘了与本公开一致的触觉接口的驱动程序层和硬件层之间的编码通信层的一个实施例。
具体实施方式
当结合附图、附图说明、摘要、背景、总结和相关联的标题阅读时,通过参考所提供的具体实施方式,可以最好地整体理解以下公开内容。当在不同图中发现相同的附图标记时,它们表示相同的元件或功能上等效的元件。摘要中列出的元件未被引用,但仍然通过关联来指代具体实施方式和相关联的公开内容的元件。
触觉系统的核心在于交互的基本模型。交互模型定义了致动器对用户输入的响应,并且通常是虚拟环境的实时模拟。在按键反馈的示例中,交互模型计算对触摸压力检测的输出振动波形响应。渲染触觉交互模型的一个问题涉及传送输入、计算触觉输出然后传递输出信号所需的时间。传递触觉输出信号的延迟会降低触觉体验。因此,需要一种以高效方式将触觉输出传达给用户的方法。
触觉设计人员早已意识到触觉接口单元中更新速率的重要性,并且由于这一观察,已经使用实时操作系统(RTOS)来计算触觉接口或交互模拟。RTOS环境通常不在运行完整操作系统以服务各种应用的消费者级设备中实现。在大多数消费者级设备中,触觉交互模型用软件实现,并且因此受操作系统(OS)中可用资源的速率限制。
依赖于OS级别进程来渲染交互的触觉接口容易出现一些系统性故障。首先,通常不保证事件的定时,并且系统中的不稳定等待时间可能对于用户的触觉感知系统来说是令人困惑的。其次,软件可能经常冻结,并且这样做会阻止触觉反馈处理。两种故障都打破了触觉接口表示物理系统的假象(illusion),因为它们向用户呈现不一致性。
本发明的实施例提供了技术改进,以使得能够提供逼真的触觉接口而无需使用RTOS环境。通过采用专门化的专用硬件和/或软件,本发明的实施例提供低等待时间,保证了事件的定时,并且使得即使在面对应用级别的软件故障时也能够实现一致的用户体验。特别地,对驱动程序层的改变是使得能够以原本通过现有技术软件实现不可能的方式进行实时触觉反馈的技术改进。
在本公开的一个方面,触觉接口单元的一个实施例可以包括与驱动程序层通信的设备的操作系统中的应用。多个传感器和致动器可以与驱动程序层通信。驱动程序层分析来自传感器的信息,以基于存储在驱动程序层中的交互模型生成输出信号。应用更新驱动程序层中的交互模型。
在本公开的其它方面,触觉接口单元的一个实施例可以包括设备的操作系统中的应用和与应用通信的触感处理单元(TPU)。多个传感器和致动器可以与TPU通信。TPU基于存储在TPU中的交互模型分析来自传感器的信息以生成输出信号。在另一个实施例中,应用可以异步地更新TPU中的交互模型。
图1描绘了具有传感器104和致动器102的触觉表面100。致动器102用于将触觉效果传达到与表面接触的对象,诸如,例如手指101。致动器102可以是任何已知的致动器102,包括但不限于在表面上产生振动的超声致动器、针对对象产生静电力的静电致动器或促进提供相同或类似功能的任何其它已知的致动器或结构物品或组件。传感器104(本领域技术人员将认识到的是,为了简洁和清楚起见,描绘了传感器104的场而不是构成这种阵列的各个传感器)用于识别对象101在触觉表面上的位置。触觉表面100上的对象101的地点用于将触觉信号传递到对象101。在示例实施例中,传感器104和致动器102可以在触摸板的触觉表面100上用相同的一组透明导电电极来实现。
图2示意性地描绘了使用单速率处理体系架构的现有技术触觉接口200。触觉接口200包括在诸如移动电话或膝上型计算机之类的计算设备的存储器中操作的应用202。应用202包括并操作基于传感器输入确定触觉输出的交互模型,例如,交互模型可以是基于触摸地点改变表面摩擦的空间映射。在一个实施例中,应用202在设备的操作系统中操作。应用202从驱动程序层204接收传感器信息,驱动程序层204通过感测电路208通信地耦合到传感器206。驱动程序层204还通过致动器电路212通信地耦合到致动器214。驱动程序层204用于收集传感器信息并格式化信息以便传递给应用。应用202处理传感器数据并向驱动程序层204提供输出,使得驱动程序层可以发送信号以经由致动器电路212操纵(例如,选择性地激活和停用)致动器214,以便产生触觉输出。
图3描绘了在图2中所示的触觉接口200上操作的触觉控制循环300的操作的示意图。在步骤302中,传感器206读取与触觉表面100接触的位置和施加的力(诸如手指101或其它对象的压力)。在步骤304中,传感器206经由感测电路208将读取的位置和力传送到驱动程序层204。在步骤306中,驱动程序层204从感测电路208接收信息并在将信息发送到应用202之前格式化信息以便由应用202处理。在步骤308中,应用202基于由传感器206接收到的信息计算触觉输出信号,并将触觉输出信号发送到驱动程序层204以进行处理。在步骤310中,驱动程序层204格式化触觉输出信号并将信号发送到致动器电路212。在步骤312中,致动器214从致动器电路212接收触觉输出信号并产生触觉输出。在该触觉控制循环中,操作系统调度几个步骤。因为大多数操作系统不能保证调度的定时,因此触觉控制循环经历不能预测的变化的量的抖动和滞后,并且用户体验受到负面影响。
图4示意性地描绘了与本公开一致的使用多速率触感处理单元的触觉接口单元200的一个实施例。触觉接口200包括应用202、驱动程序层204、传感器206、感测电路208、致动器电路212和致动器214。与该实施例一致,应用202与驱动程序层204交互以更新和存储驱动程序层204上的交互模型,使得驱动程序层204分析并经由致动器电路212而无需与应用接口来生成给致动器214的触觉输出信号,以便生成触觉输出。在从驱动程序层204生成触觉输出信号之后,驱动程序层204将传感器信息发送到应用202,并且应用更新驱动程序层204中的交互模型。触感处理单元在驱动程序层软件中实现,并且不受应用级别操作系统调度的影响。
图5描绘了由图4的触觉接口单元400执行的处理的示意性表示。在步骤402中,传感器206读取手指位置和/或压力。在步骤404中,传感器206经由传感器电路系统208将位置和/或压力传送到驱动程序层204。在步骤406中,驱动程序层204处理位置和/或压力并递增计数器。在步骤408中,驱动程序层204基于存储在驱动程序层204中的交互模型来计算触觉输出信号。在步骤410中,驱动程序层204将触觉输出信号输出发送到致动器电路系统212。在步骤412中,致动器电路系统212将触觉输出信号发送到产生触觉输出的致动器。
在步骤414中,驱动程序层204确定计数器是否大于或等于预定数量,诸如100。在416中,如果计数器超过预定数量,则驱动程序将从传感器206读取的位置和压力发送到应用202。如果计数器小于预定数量,则驱动程序层204从传感器206读取附加信息(例如,手指/对象位置、压力/力等)。在步骤418中,应用202接收位置和/或压力信息并更新存储在驱动程序层204中的交互模型。
图5中描绘的处理优选地通过多速率处理体系架构来实现,该体系架构在渲染触觉输出时不涉及应用层消息,并且因此不受操作系统延迟的影响。步骤416可以在应用内部执行,因此与步骤408异步。
图6A和图6B描绘了由存储器管理模块执行的处理的操作的示意图,该处理使得能够对交互模型进行异步(即,任意定时的)更新而不干扰触觉控制循环,使得存在连续的触觉操作和关于更新后的交互模型在驱动程序层处执行的处理的操作。这确保了在行为不当(或死锁)应用的情况下触觉交互的完整性。在这个实施例中,优选地实现多个缓冲器,诸如,例如,两个缓冲器,其中一个缓冲器对于读取始终是安全的,并且其中一个缓冲器对于写入是安全的。以这种方式,无论来自应用的异步更新如何,该体系架构都确保将始终正确地计算触觉输出。硬件定时的电路可能对输出信号是有用的。
图6A是图5中的步骤418的处理的进一步操作的示意图,该步骤418被复制为这个图6A的第一步。在步骤420中,准备将新的交互模型写入到输出缓冲器。在步骤422中,该处理基于其它操作因素确定是缓冲器A还是缓冲器B要作为“写缓冲器”。如前所述,不是写缓冲器的缓冲器将是“读缓冲器”。如果缓冲器A被选择为写缓冲器,则在步骤424中,新的交互模型将被写入到缓冲器A。在步骤426中,缓冲器B被设置为写缓冲器,并且缓冲器A被设置为读缓冲器,用于当请求时该处理的下一次迭代。如果缓冲器B被选择为写缓冲器,则在步骤428中,新的交互模型将被写入到缓冲器B。在步骤430中,缓冲器A被设置为写缓冲器,并且缓冲器B被设置为读缓冲器,用于当请求时该处理的下一次迭代。
图6B是图5中的步骤408的处理的进一步操作的示意图。在步骤440中,驱动程序层接收输入,然后在步骤442中确定哪个缓冲器是读缓冲器。如果读缓冲器是缓冲器A,则在步骤444中,存储在缓冲器A中的交互模型用于计算致动器的输出。如果读缓冲器是缓冲器B,则在步骤446中,存储在缓冲器B中的交互模型用于利用硬件定时电路计算致动器的输出。
图7示意性地描绘了与本公开一致的触觉接口单元200的另一个实施例。触觉接口包括应用202、驱动程序层204、传感器206、感测电路208、致动器电路212和致动器214,以及与应用202和驱动程序层204通信的触感处理单元500。与该实施例一致,触感处理单元500是硬件实现,其包含专用软计算核心以及接收输入信号并生成输出信号的定制设计的硬件电路系统,例如硬件定时电路。在从嵌入式处理器500生成触觉输出信号之后,触感处理单元500经由驱动程序层204与应用202通信,并且应用202经由驱动程序层204更新触感处理单元500中的交互模型。
图8描绘了由图7的触觉接口600操作的处理的示意表示。在步骤602中,传感器206读取手指位置和/或压力。在步骤604中,传感器206经由传感器电路系统208将位置和/或压力传送到处理位置和/或压力的触感处理单元500。在步骤606中,触感处理单元500基于存储在触感处理单元500中的交互模型来确定触觉输出信号。在步骤608中,触感处理单元500经由致动器电路系统212将触觉输出信号传送到致动器214。在步骤610中,触感处理单元500确定触感处理单元500的存储器中的输入计时器是否已经到期。如果输入计时器尚未到期,则触感处理单元500读取更多传感器信息。在步骤612中,如果输入计时器已经到期,则触感处理单元500将位置和/或压力信息传送到驱动程序层204。在步骤614中,驱动程序层204格式化位置和/或压力信息并将格式化的信息传送到应用层。在步骤616中,应用202基于接收到的压力和/或位置来更新交互模型。在步骤618中,应用202经由驱动程序层204将更新后的交互模型发送到触感处理单元500。
图8中描绘的处理是多速率处理体系架构的另一个实施例。在这个实施例中,触感处理单元500使用专门硬件定时电路系统来执行步骤604、606和608,并且可以实现超过20kHz的更新速率,这足以跨越整个可听频率范围。利用硬件定时输出,计算延迟可预测地可忽略不计,并且可以可靠地渲染复杂的触觉交互,比如那些仿真物理系统。
作为步骤618的结果,触感处理单元500通过驱动程序层204从应用层202异步地接收交互模型更新。可用的通信带宽和任务调度将这些更新速率限制为大约1或2kHz。触感处理单元500中的专门存储器管理,诸如如前所述的多次缓冲,确保硬件定时输出始终访问完整且有效的存储器。
图9示意性地描绘了与本公开一致的双功能触觉接口单元的一个实施例,该双功能触觉接口单元既用作人类输入设备(HID)又用作触觉接口。在这个实施例中,触感处理单元500可以连接到操作系统900作为双功能设备,既用作广泛支持的人类输入设备输入902又用作触觉接口。在这个实施例中,传感器接口904(包括感测电路208以及其它项目)将从传感器206获得的数据发送到交互模型缓冲器906并且发送到HID驱动程序902和触觉接口控制驱动程序两者或TPU驱动程序905,以及操作系统驱动程序层204上存在的任何其它现有驱动程序。因此,驱动程序层204可以分析、预测、计算和生成来自HID驱动程序902的触摸输入数据,以基于存储在应用中的全局交互模型生成本地交互模型。优选地,在一个方面,可以将本地交互模型的相关数据的子集传送到触感处理单元500,以便适应触感处理单元500中的存储器约束。此外,相关的触摸输入数据和传感器数据可以发送到触感处理单元500,以便满足触感处理单元500中的存储器约束。在一个示例实施例中,驱动程序层204使用触摸输入(来自HID 902)分析和预测全局交互模型908的哪些部分将在不久的将来布置在接近触摸输入的局部位置,并计算和生成本地交互模型910以放置在TPU交互模型缓冲器906中。
图10示意性地描绘了与本公开一致的触觉接口的驱动程序层和硬件层之间的编码通信层的一个实施例。在这个实施例中,驱动程序层204的TPU驱动程序905可以包括编码器1002,以在将本地交互模型910的数据中继到触感处理单元500之前压缩本地交互模型910的数据,以便满足由通信总线施加的带宽限制。在一个实施例中,编码器1002仅在本地交互模型参数中发送相关数据、变化或增量(delta)。触感处理单元500上的解码器1004在将编码数据提供给交互模型缓冲器906之前解释编码数据,以供硬件定时触觉控制循环和接口使用,如本文所述用于实时渲染。
在本公开中,词语“一”或“一个”应该被视为既包括单数又包括复数。反之,任何对复数项目的引用在适当的情况下应包括单数。
应该理解的是,对本文公开的目前优选的实施例的各种改变和修改对于本领域技术人员而言将是显而易见的。可以在不脱离本公开的精神和范围的情况下进行这样的改变和修改,并且不会减少其预期的优点。因此,旨在所附权利要求涵盖这些改变和修改。
提供前述示例仅用于解释的目的,并且决不应该被解释为限制本文公开的本发明概念。虽然已经参考各种实施例描述了本发明概念,但是应该理解的是,本文使用的词语是描述和说明的词语,而不是限制性的词语。另外,虽然本文已经参考特定装置、材料和实施例描述了本发明概念,但是本发明概念并不旨在限于本文公开的细节。而是,本发明概念扩展到所有功能上等同的结构、方法和用途,诸如在所附权利要求的范围内的那些。受益于本说明书的教导的本领域技术人员可以影响对其的许多修改,并且可以在不脱离本发明概念的各方面的范围和精神的情况下进行改变。
本发明概念的公开实施例的各种元件的构造、功能或组成的任何其它未公开或附带的细节不被认为对于实现本发明概念的优点是至关重要的,只要这些元件具有他们按照公开进行执行所需的属性即可。当然,触觉领域的技术人员将能够构想出各种各样的结构和功能系统和配置以及它们的成功组合,以便促进和实现本发明的概念。鉴于本公开内容,认为构造和操作的这些以及其它细节的选择完全在该领域中甚至基本技能之一的能力范围内。已经相当详细地描述了本发明概念的说明性实施例,以便公开实际的、可操作的结构和功能,由此可以有利地实践本发明的概念。本文描述的实施例仅旨在是示例性的。在不脱离本发明概念的精神和范围的情况下,本发明概念的新颖特征可以以其它结构或功能形式结合。本发明概念包含既包括参考说明性实施例描述的元件的实施例又包含由其组成的实施例。除非另有说明,否则本文使用的所有普通词语和术语均应采用如在1993年版的“新简短牛津英语词典(The New Shorter Oxford English Dictionary)中定义的其惯用含义。所有技术术语应采用如由该特定技术领域的普通技术人员所使用的适当技术学科所确立的其惯用含义。
Claims (18)
1.一种操作触觉接口的方法,所述触觉接口包括一个或多个传感器和一个或多个致动器,所述方法包括以下步骤:
从所述一个或多个传感器读取与用户在表面上的手指位置相对应的传感器信息,其中所述传感器信息包括第一传感器信息;
将包括第一传感器信息的传感器信息发送到触觉处理单元;
使用第一传感器信息和多个交互模型中的一个交互模型来计算触觉输出信号,其中所述多个交互模型中的所述一个交互模型包括存储在所述触觉处理单元的存储器内的第一交互模型和第二交互模型中的一个交互模型;
使用第一传感器信息和第一交互模型来计算第一触觉输出信号;
将包括第一触觉输出信号的所述触觉输出信号发送到所述一个或多个致动器;
由所述一个或多个致动器基于第一触觉输出信号产生触觉输出,包括由所述一个或多个致动器产生的所述触觉输出中的第一触觉输出;
通过在所述触觉处理单元中异步地接收第二交互模型来异步地更新第一交互模型,而不干扰所述触觉处理单元处理所述传感器信息;
使用第二交互模型来计算第二触觉输出信号;以及
将第二触觉输出信号发送到所述一个或多个致动器,以由所述一个或多个致动器基于第二触觉输出信号产生所述触觉输出中的第二触觉输出。
2.根据权利要求1所述的方法,其中所述传感器信息包含位置和/或压力数据。
3.根据权利要求1所述的方法,其中异步地更新第一交互模型的步骤还包括在所述存储器内的输入计时器到期之后异步地更新存储在所述触觉处理单元中的第一交互模型。
4.根据权利要求3所述的方法,还包括在输入计时器到期之后的以下步骤:(i)读取第二传感器信息,以及(ii)将第二传感器信息发送到应用层,其中,使用第二传感器信息,所述应用层更新第二交互模型并将第二交互模型发送到所述触觉处理单元。
5.根据权利要求4所述的方法,其中将第二传感器信息发送到应用层的步骤进一步包括格式化第二传感器信息并将经格式化的第二传感器信息发送到所述应用层,其中第二传感器信息包含位置和/或压力数据。
6.根据权利要求1所述的方法,还包括:
读取与用户在表面上的手指位置相对应的第二传感器信息,以及
在所述存储器中的输入计时器到期之后将第二传感器信息发送到应用层,其中,使用第二传感器信息,所述应用层(i)确定第二交互模型且(ii)此后将第二交互模型发送到所述触觉处理单元。
7.根据权利要求6所述的方法,其中所述应用层相对于由所述触觉处理单元对触觉输出信号的计算异步地将第二交互模型发送到所述触觉处理单元。
8.一种触觉接口,包括:
多个传感器,被配置为输出与用户在表面上的手指位置相对应的传感器数据,其中,所述传感器数据包括第一传感器数据;
多个致动器,所述多个致动器被配置成响应于触觉输出信号而产生触觉输出,其中所述触觉输出信号包括第一触觉输出信号,其中所述触觉输出包括响应于第一触觉输出信号而产生的第一触觉输出;
存储器,被配置为存储多个交互模型,其中所述多个交互模型包括第一交互模型和第二交互模型;
电耦接到所述多个传感器和所述多个致动器的触觉处理单元,其中所述触觉处理单元被配置成使用所述传感器数据和所述多个交互模型中的一个交互模型来计算所述触觉输出信号,其中,当操作时,所述触觉处理单元:
使用第一传感器数据和存储在存储器中的第一交互模型来生成第一触觉输出信号,以及
异步地接收对第一交互模型和第二交互模型的更新,而在计算所述触觉输出信号时不干扰所述触觉处理单元,由此,其中在异步地接收第二交互模型之后,所述触觉处理单元被配置成使用第二交互模型来计算第二触觉输出信号。
9.根据权利要求8所述的触觉接口,其中,所述多个传感器感测用户的手指位置在所述表面上的位置和/或由用户施加到所述表面的压力。
10.根据权利要求8所述的触觉接口,其中,所述存储器包括多个缓冲器,所述多个缓冲器包括用于存储第一交互模型的第一缓冲器和用于存储所述多个交互模型中的第二交互模型的第二缓冲器。
11.根据权利要求8所述的触觉接口,还包括输入计时器,其中确定所述输入计时器是否已经到期。
12.根据权利要求11所述的触觉接口,其中,响应于确定所述输入计时器已经到期,所述触觉处理单元被配置为异步地接收第二交互模型,而在计算所述触觉输出信号时不干扰所述触觉处理单元。
13.根据权利要求8所述的触觉接口,其中,所述存储器还包括第一缓冲器和第二缓冲器,第一缓冲器和第二缓冲器分别存储第一交互模型和第二交互模型,
其中,第一缓冲器和第二缓冲器中的一个被确定为写入缓冲器,而第一缓冲器和第二缓冲器中的另一个被选择为读取缓冲器,以及
其中,所述写入缓冲器用于更新所存储的交互模型,并且所述读取缓冲器用于利用相应的所存储的交互模型来计算触觉输出信号。
14.一种操作触觉接口的方法,所述触觉接口包括一个或多个致动器和一个或多个传感器,所述方法包括以下步骤:
从所述一个或多个传感器读取与用户在表面上的手指位置相对应的传感器信息,其中所述传感器信息包括第一传感器信息;
将包括第一传感器信息的传感器信息发送到驱动器层;
使用第一传感器信息和存储在存储器中的多个交互模型中的至少一个交互模型来计算触觉输出信号,其中所述多个交互模型包括第一交互模型和第二交互模型;
使用第一传感器信息和第一交互模型来计算第一触觉输出信号;
将包括第一触觉输出信号的所述触觉输出信号发送到所述一个或多个致动器;
由所述一个或多个致动器产生触觉输出,所述触觉输出包括基于第一触觉输出信号的第一触觉输出;
通过在所述驱动器层中异步地接收第二交互模型来异步地更新第一交互模型,而不干扰所述驱动器层处理所述传感器信息;
使用第二交互模型来计算第二触觉输出信号;以及
将第二触觉输出信号发送到所述一个或多个致动器以基于所述触觉输出信号产生第二触觉输出。
15.根据权利要求14所述的方法,其中所述传感器信息包括位置和/或压力数据。
16.根据权利要求14所述的方法,还包括:
读取通过用户在表面上的手指位置生成的第二传感器信息,以及
将第二传感器信息发送到应用层,其中所述应用层被配置成将第二交互模型发送到所述驱动器层。
17.根据权利要求16所述的方法,其中将第二交互模型发送到所述驱动器层的步骤还包括相对于由所述驱动器层计算触觉输出信号异步地将第二交互模型发送到所述驱动器层。
18.根据权利要求14所述的方法,其中异步地更新第一交互模型的步骤还包括在所述驱动器层中接收第二交互模型,而不干扰所述驱动器层计算所述触觉输出信号。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762477810P | 2017-03-28 | 2017-03-28 | |
US62/477,810 | 2017-03-28 | ||
US15/937,403 | 2018-03-27 | ||
US15/937,403 US10606357B2 (en) | 2017-03-28 | 2018-03-27 | Multi rate processing device for rendering haptic feedback |
CN201880019251.0A CN110446998B (zh) | 2017-03-28 | 2018-03-28 | 用于渲染触觉反馈的多速率处理设备 |
PCT/US2018/024863 WO2018183513A1 (en) | 2017-03-28 | 2018-03-28 | Multi rate processing device for rendering haptic feedback |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880019251.0A Division CN110446998B (zh) | 2017-03-28 | 2018-03-28 | 用于渲染触觉反馈的多速率处理设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116880714A true CN116880714A (zh) | 2023-10-13 |
Family
ID=63671764
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311079205.9A Pending CN116880714A (zh) | 2017-03-28 | 2018-03-28 | 用于渲染触觉反馈的多速率处理设备 |
CN201880019251.0A Active CN110446998B (zh) | 2017-03-28 | 2018-03-28 | 用于渲染触觉反馈的多速率处理设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880019251.0A Active CN110446998B (zh) | 2017-03-28 | 2018-03-28 | 用于渲染触觉反馈的多速率处理设备 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10606357B2 (zh) |
EP (1) | EP3602251A4 (zh) |
JP (1) | JP2020512642A (zh) |
KR (1) | KR20190125322A (zh) |
CN (2) | CN116880714A (zh) |
WO (1) | WO2018183513A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10606357B2 (en) * | 2017-03-28 | 2020-03-31 | Tanvas, Inc. | Multi rate processing device for rendering haptic feedback |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8508469B1 (en) * | 1995-12-01 | 2013-08-13 | Immersion Corporation | Networked applications including haptic feedback |
US6411276B1 (en) * | 1996-11-13 | 2002-06-25 | Immersion Corporation | Hybrid control of haptic feedback for host computer and interface device |
US7182691B1 (en) * | 2000-09-28 | 2007-02-27 | Immersion Corporation | Directional inertial tactile feedback using rotating masses |
US7765333B2 (en) * | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
KR101761082B1 (ko) * | 2009-03-12 | 2017-07-24 | 임머숀 코퍼레이션 | 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법 |
GB2482190A (en) | 2010-07-23 | 2012-01-25 | New Transducers Ltd | Methods of generating a desired haptic sensation in a touch sensitive device |
JP2012027855A (ja) * | 2010-07-27 | 2012-02-09 | Kyocera Corp | 触感呈示装置及び触感呈示装置の制御方法 |
JP5813301B2 (ja) * | 2010-09-01 | 2015-11-17 | 京セラ株式会社 | 表示装置 |
DE102011017250B4 (de) * | 2011-01-07 | 2022-12-01 | Maxim Integrated Products, Inc. | Berührungs-Feedbacksystem, haptisches Feedbacksystem und Verfahren zum Bereitstellen eines haptischen Feedbacks |
EP3321780A1 (en) | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
JP6392747B2 (ja) * | 2012-05-31 | 2018-09-19 | ノキア テクノロジーズ オサケユイチア | ディスプレイ装置 |
US8860563B2 (en) * | 2012-06-14 | 2014-10-14 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
US20140092003A1 (en) * | 2012-09-28 | 2014-04-03 | Min Liu | Direct haptic feedback |
KR102043148B1 (ko) | 2013-02-19 | 2019-11-11 | 엘지전자 주식회사 | 이동 단말기 및 그의 터치 좌표 예측 방법 |
JP6217178B2 (ja) * | 2013-06-27 | 2017-10-25 | 富士通株式会社 | 電子機器及び制御プログラム |
US10379616B2 (en) * | 2014-02-21 | 2019-08-13 | Northwestern University | Haptic display with simultaneous sensing and actuation |
US9400557B2 (en) * | 2014-06-25 | 2016-07-26 | Intel Corporation | Multimodal haptic effect system |
US9886090B2 (en) * | 2014-07-08 | 2018-02-06 | Apple Inc. | Haptic notifications utilizing haptic input devices |
JP2016031723A (ja) | 2014-07-30 | 2016-03-07 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US9619034B2 (en) * | 2015-02-25 | 2017-04-11 | Immersion Corporation | Overlaying of haptic effects |
US9779466B2 (en) * | 2015-05-07 | 2017-10-03 | Microsoft Technology Licensing, Llc | GPU operation |
US10606357B2 (en) * | 2017-03-28 | 2020-03-31 | Tanvas, Inc. | Multi rate processing device for rendering haptic feedback |
US10732714B2 (en) * | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
DK201770372A1 (en) * | 2017-05-16 | 2019-01-08 | Apple Inc. | TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES |
-
2018
- 2018-03-27 US US15/937,403 patent/US10606357B2/en active Active
- 2018-03-28 KR KR1020197025661A patent/KR20190125322A/ko not_active Application Discontinuation
- 2018-03-28 CN CN202311079205.9A patent/CN116880714A/zh active Pending
- 2018-03-28 EP EP18777655.4A patent/EP3602251A4/en active Pending
- 2018-03-28 WO PCT/US2018/024863 patent/WO2018183513A1/en unknown
- 2018-03-28 JP JP2019552911A patent/JP2020512642A/ja active Pending
- 2018-03-28 CN CN201880019251.0A patent/CN110446998B/zh active Active
-
2020
- 2020-03-19 US US16/824,015 patent/US11086402B2/en active Active
-
2021
- 2021-07-06 US US17/367,685 patent/US11726569B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020512642A (ja) | 2020-04-23 |
CN110446998A (zh) | 2019-11-12 |
US20180284895A1 (en) | 2018-10-04 |
KR20190125322A (ko) | 2019-11-06 |
US11726569B2 (en) | 2023-08-15 |
EP3602251A4 (en) | 2020-10-07 |
US11086402B2 (en) | 2021-08-10 |
WO2018183513A1 (en) | 2018-10-04 |
US10606357B2 (en) | 2020-03-31 |
EP3602251A1 (en) | 2020-02-05 |
US20210333881A1 (en) | 2021-10-28 |
US20200218357A1 (en) | 2020-07-09 |
CN110446998B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6598915B2 (ja) | コンテキスト依存ハプティック確認システム | |
EP2713241B1 (en) | Generating Haptic Effects for Dynamic Events | |
US8098235B2 (en) | Multi-touch device having dynamic haptic effects | |
KR102104463B1 (ko) | 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들 | |
US9690380B2 (en) | Contextual haptic feedback | |
US20120249461A1 (en) | Dedicated user interface controller for feedback responses | |
JP2012118993A (ja) | 触覚フィードバック支援によるテキスト操作 | |
US11726569B2 (en) | Multi rate processing device for rendering haptic feedback | |
EP3364326B1 (en) | Method and apparatus for generating password by means of pressure touch control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |