CN110389659A - 针对增强或虚拟现实环境提供动态触觉回放的系统和方法 - Google Patents
针对增强或虚拟现实环境提供动态触觉回放的系统和方法 Download PDFInfo
- Publication number
- CN110389659A CN110389659A CN201910319019.5A CN201910319019A CN110389659A CN 110389659 A CN110389659 A CN 110389659A CN 201910319019 A CN201910319019 A CN 201910319019A CN 110389659 A CN110389659 A CN 110389659A
- Authority
- CN
- China
- Prior art keywords
- haptic effect
- processor
- haptic
- effect
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002708 enhancing effect Effects 0.000 title abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 504
- 238000004088 simulation Methods 0.000 claims abstract description 62
- 230000003068 static effect Effects 0.000 claims description 108
- 230000000737 periodic effect Effects 0.000 claims description 60
- 125000002015 acyclic group Chemical group 0.000 claims description 37
- 235000013399 edible fruits Nutrition 0.000 claims description 11
- 230000001052 transient effect Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 description 40
- 230000008859 change Effects 0.000 description 25
- 230000003993 interaction Effects 0.000 description 21
- 230000001737 promoting effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及针对增强或虚拟现实环境提供动态触觉回放的系统和方法。本文公开的一种说明性系统包括计算设备,该计算设备包括存储器和与存储器通信的处理器。该系统还包括xPC目标机器,该xPC目标机器能够实现至少100khz的采样率并且与计算设备和用户设备通信,该用户设备包括传感器和触觉输出设备。处理器生成模拟现实环境并基于模拟现实环境或来自传感器的传感器信号确定触觉效果。处理器向xPC目标机器发送关于传感器信号或触觉效果的参数的数据,xPC目标机器确定触觉效果的参数并基本实时地生成触觉信号。xPC目标机器向触觉输出设备发送触觉信号,触觉输出设备被配置为接收触觉信号并输出触觉效果。
Description
技术领域
本公开一般地涉及用户接口设备。更具体但是非限制地,本公开涉及基本实时地针对增强或虚拟现实环境提供动态触觉回放或效果。
背景技术
增强现实(AR)设备提供增强现实环境,其中,物理对象或“现实世界”对象被利用虚拟空间中的虚拟对象同时显示出来。类似地,虚拟现实(VR)设备可以被用来创建VR环境,VR环境可以模拟用户在VR环境中的物理存在。AR或VR设备的用户可以观看AR或VR环境并且查看AR或VR环境中的虚拟对象或者与AR或VR环境中的虚拟对象交互。但是,一些AR或VR设备可能缺乏触觉反馈能力。另外,一些AR或VR设备可以不提供静态触觉反馈或回放(例如,基于用户与AR或VR环境的交互的预定触觉效果)和动态触觉反馈或回放(例如,当用户与AR或VR环境交互时随着时间改变的一个或多个触觉效果)。另外,一些AR或VR设备可以不提供基本实时的触觉反馈或回放(例如,当用户与AR或VR环境交互时被基本实时地感觉到的触觉效果)。
发明内容
本公开的各种实施例提供了用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的系统和方法。
在一个实施例中,一种系统包括用户设备,该用户设备包括被配置为捕捉指示用户交互的信息、关于用户的生物学或计量生物学信息、或者关于用户环境的任意信息的传感器。用户设备还包括触觉输出设备。该系统还包括计算设备,该计算设备包括第一处理设备和通信地耦合到第一处理设备的非暂态计算机可读介质。第一处理设备被配置为执行包括以下各项的操作:生成模拟现实环境;从传感器接收指示关于用户的信息的传感器信号;基于模拟现实环境或传感器信号确定触觉效果;以及向xPC目标机器发送关于传感器信号或触觉效果的参数的数据。该系统还包括xPC目标机器,该xPC目标机器能够实现高达至少20kHz的采样率或者至少100khz以上的采样率,并且包括第二处理设备,该第二处理设备被配置为确定触觉效果的参数。第二处理设备还被配置为当xPC目标机器接收关于传感器信号或触觉效果的参数的数据时,基本实时地生成与触觉效果相关联的触觉信号,其中,触觉信号具有大约1Hz到20kHz之间的频率。第二处理设备还被配置为向触觉输出设备发送与触觉效果相关联的触觉信号,该触觉输出设备被配置为接收触觉信号并输出触觉效果。
提及这些说明性实施例不用于限制或限定主题,而是提供帮助理解主题的示例。在详细描述中讨论说明性实施例,并且这里提供进一步描述。通过仔细阅读说明书和/或通过实施请求保护的主题的一个或多个实施例,可以进一步理解各种实施例提供的优点。
附图说明
说明书的其余部分更具体地给出了完整的允许公开。说明书参考下面的附图。
图1是示出根据一个实施例的用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的系统的框图。
图2是根据一个实施例的可以生成用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的交互式用户界面的示例。
图3是根据另一实施例的可以生成用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的交互式用户界面的示例。
图4是根据一个实施例的执行用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的方法的步骤的流程图。
具体实施方式
现在详细参考各种替代的说明性实施例和附图。通过说明而非限制提供每个示例。本领域技术人员将明白的是,可以做出修改和变形。例如,作为一个实施例的部分示出或描述的特征可以用在另一实施例中,以产生又一实施例。因此,希望本公开包括落入所附权利要求及其等同物的范围中的修改和变形。
基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的说明性示例
本公开的一个说明性实施例包括一种计算设备,该计算设备包括存储器和与存储器通信的处理器。计算设备通信地耦合到用户设备(例如,包括传感器的可穿戴设备)。在本示例中,计算设备和用户设备均可以通信地耦合到xPC目标机器或设备,该xPC目标机器或设备包括存储器和与存储器通信的处理器,该存储器包括xPC目标模块。在一些示例中,xPC目标机器或设备包括可以被配置用于跨进程或进程间(例如,一个或多个设备之间)通信的任何设备。在一些示例中,xPC目标机器可以从计算设备和用户设备获取数据,并且基本实时地处理或分析该数据。
在说明性实施例中,计算设备可以生成并输出模拟现实环境(例如,虚拟或增强现实环境),用户设备的用户可以使用用户设备与模拟现实环境交互。在本示例中,计算设备可以捕捉关于模拟现实环境和/或用户与模拟现实环境的交互的数据。例如,计算设备的处理器可以获取关于模拟现实环境的数据(例如,当用户处理或触摸模拟现实环境中的虚拟对象时)。用户设备的传感器可以捕捉关于用户与模拟现实环境的交互的信息(例如,关于用户的身体部分的运动、用户输入、或者与模拟现实环境的任何其他交互的数据),并且向计算设备的处理器发送指示关于用户与模拟现实环境的交互的捕捉信息的信号。计算设备的处理器可以至少部分地基于关于模拟现实环境或用户与模拟现实环境的交互的数据确定一个或多个触觉效果的一个或多个参数。
在本示例中,xPC目标模块可以包括促使xPC目标机器从计算设备的处理器获取(例如,接收)关于一个或多个触觉效果的一个或多个参数的数据和/或从用户设备的传感器获取的传感器数据的指令。xPC目标机器可以基于触觉效果的参数生成触觉信号并将触觉信号发送给与用户设备相关联的触觉输出设备。触觉输出设备被配置为接收触觉信号并基于触觉信号输出一个或多个触觉效果。
例如,当用户与模拟现实环境交互时,用户可以轻拍模拟现实环境中的虚拟对象(例如,以提供选择虚拟对象的用户输入)。在本示例中,计算设备的处理器可以获取指示用户正在轻拍虚拟对象的数据。处理器可以确定与用户轻拍虚拟对象相关联的触觉效果的参数。例如,处理器可以确定静态触觉效果与用户轻拍虚拟对象相关联。静态触觉效果可以是预定触觉效果,例如,具有预定特性(例如,预定幅度、持续时间、位置、类型、间距、频率等)的触觉效果。继续本示例,处理器可以向xPC目标机器发送关于静态触觉效果或静态触觉效果的参数的数据,xPC目标机器可以基本实时地处理该数据,生成与静态触觉效果相关联的触觉信号,并将触觉信号发送给触觉输出设备。触觉输出设备可以响应于接收到触觉信号而输出静态触觉效果。
在本示例中,用户可以继续与模拟现实环境交互,并且用户设备的传感器可以是检测用户接触模拟现实环境中的虚拟对象的压力量或用户接触的压力量的改变的压力传感器。当传感器捕捉关于压力量或压力量的改变的信息时,传感器基本实时地向处理器发送指示压力量或压力的改变的一个或多个信号。处理器随后可以确定与压力量或压力的改变相关联的触觉效果的参数。例如,处理器可以确定一个或多个动态触觉效果与用户接触虚拟对象的压力量或者压力量的改变相关联。在一些示例中,动态触觉效果可以包括可以基于传感器捕捉的数据改变或变化的一个或多个触觉效果(例如,基于指示用户接触的压力量或压力量的改变的传感器数据改变)。继续本示例,处理器可以将关于动态触觉效果或动态触觉效果的参数的数据发送给xPC目标机器,xPC目标机器可以基本实时地处理该数据,生成与动态触觉效果相关联的一个或多个触觉信号,并将触觉信号发送给触觉输出设备。触觉输出设备可以响应于接收到触觉信号而输出动态触觉效果。
按照这种方式,xPC目标机器可以通信地耦合到计算设备和用户设备,以获取数据并基本实时地处理或分析数据以生成触觉信号,使得触觉输出设备可以基本实时地输出静态或动态触觉效果。在一些实例中,xPC目标机器可是能够实现高达至少20kHz的采样率或至少100khz的采样率的计算设备、服务器、设备等,这使得xPC目标机器实时处理来自计算设备或用户设备的数据并基本实时地生成具有在大约1Hz到20kHz之间的频率的一个或多个触觉信号。例如,xPC目标机器可以实时处理来自计算设备或用户设备的数据并生成具有大约1kHz的频率的触觉信号。
尽管在本示例中,xPC目标机器和用户设备被描述为不同的系统,但是本公开不限于这种配置。相反,在其他示例中,用户设备和xPC目标机器是单个系统的部分,并且xPC目标机器可以从用户设备的传感器接收传感器信号。
按照这种方式,本文描述的系统和方法可以基本实时地生成并提供针对增强或虚拟现实环境的高分辨率的动态或静态触觉回放(例如,效果)。
给出这些说明性示例,以向读者介绍这里讨论的一般主题而不用于限制所公开的概念的范围。下面的部分参考附图描述各种附加特征和示例,在附图中,相同的标号指示相同的元件,并且方向性描述被用来描述说明性示例,但是,像说明性示例一样不应该用于限制本公开。
用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的系统的说明性示例
图1是示出根据一个实施例的用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的系统100的框图。在图1所示的实施例中,系统100包括计算设备101(例如,主机设备),该计算设备具有经由总线106与其他硬件通信的处理器102。计算设备101可以包括例如,个人计算机、移动设备(例如,智能电话)、平板等。在一些实施例中,计算设备101可以包括图1所示的组件中的一些或所有组件。
可以包括诸如,随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EEPROM)等的任何适当有形(以及非暂态)计算机可读介质的存储器104具体化配置计算设备101的操作的程序组件。在所示出的实施例中,计算设备101还包括一个或多个网络接口设备108、输入/输出(I/O)接口组件110、以及存储设备112。
网络接口设备108可以表示帮助网络连接的任意组件中的一个或多个组件。示例包括但不限于,诸如以太网、USB、IEEE 1394的有线接口和/或诸如IEEE 802.11、蓝牙、或无线电接口的用于访问蜂窝电话网络的无线接口(例如,用于访问CDMA、GSM、UMTS、或其他移动通信网络的收发信机/天线)。
I/O组件110可以用于帮助到诸如,一个或多个显示器114、游戏控制器、键盘、鼠标、操纵杆、相机、按钮、扬声器、麦克风、和/或用于输入或输出数据的其他硬件的设备的有线或无线连接。存储设备112表示包括在计算设备101中或者耦合到处理器102的非易失性存储设备,例如,磁、光、或其他存储介质。
系统100还包括用户设备120(例如,本地设备),该用户设备可以为例如,移动设备(例如,智能电话)、智能手表、头戴式显示器、可穿戴设备、手持设备(例如,平板、视频游戏控制器)、或者任何其他类型的用户接口设备。在一些示例中,用户设备120可以是用户可以用来与模拟现实环境(例如,增强或虚拟现实环境)交互的任意类型的用户接口设备。
用户设备120可以包括经由总线124与其他硬件通信的处理器122。用户设备120还可以包括存储器126、网络接口设备128、I/O组件130、和显示器132,它们分别被按照类似于存储器104、网络接口设备108、I/O组件110、和显示器114的方式配置,尽管它们不需要这样。
在一些实施例中,用户设备120包括可以通信地连接到总线124并且被配置为感测用户的触觉输入的触摸表面134(例如,触摸板或触敏表面)。同时,在本示例中,用户设备120包括被描述为被配置为感测用户的触觉输入的触摸表面134,但是本公开不限于这些配置。相反,在其他示例中,用户设备120可以包括触摸表面134和/或可以不被配置为感测触觉输入的任意表面。
在一些示例中,用户设备120包括结合用户设备120的触摸表面134和显示器132的触摸使能显示器。触摸表面134可以覆盖在显示器132上,可以在显示器132外部,或者可以是显示器132的上述组件的一个或多个材料层。在其他实施例中,用户设备120可以显示图形用户界面(GUI),该GUI包括触摸使能显示器上的一个或多个虚拟用户界面组件(例如,按钮),触摸表面134可以允许与虚拟用户界面组件交互。
在一些实施例中,用户设备120包括一个或多个传感器136。在一些实施例中,传感器136可以包括例如,陀螺仪、加速计、成像传感器、相机、磁力计、麦克风、温度传感器、力传感器、压力传感器、心率传感器、胰岛素传感器、脉搏传感器、惯性测量单元、脑电图、和/或可以检测、监控、或捕捉关于用户或用户交互的任意信息的其他传感器。例如,传感器136可以是可以捕捉用户与模拟现实环境交互时关于用户的运动或者用户对用户设备120的运动的信息、或者关于用户环境的信息的任意传感器。作为另一示例,传感器136可以是捕捉关于用户接触模拟现实环境中的虚拟对象的压力量或者用户接触的压力量的改变的信息的压力传感器。在一些示例中,传感器136可以被配置为捕捉指示用户交互的任意信息、关于用户的生物学或计量生物学信息、关于用户的现实或虚拟环境的信息、或者关于用户的任何其他信息。
用户设备120还包括与xPC目标机器142的处理器140或处理器122通信的触觉输出设备138。触觉输出设备138被配置为响应于触觉信号而输出触觉效果。例如,触觉输出设备138可以响应于来自xPC目标机器142的处理器140的触觉信号而输出触觉效果。作为另一示例,用户设备120的处理器122可以从xPC目标机器142的处理器140接收触觉信号,处理器122可以向触觉输出设备138发送触觉信号。在一些实施例中,触觉输出设备118被配置为输出包括例如,振动、挤压、刺戳、感知摩擦系数、模拟纹理、刺激感、电触觉效果、表面变形(例如,与用户设备120相关联的表面的变形)、和/或固体、液体、或气体的膨胀在内的触觉效果。另外,一些触觉效果可以顺次和/或并行使用相同或不同类型的触觉输出设备138。
尽管图1示出了单个触觉输出设备138,但是一些实施例可以使用相同或不同类型的多个触觉输出设备138来产生触觉效果。在一些实施例中,触觉输出设备138在用户设备120内部,并且与xPC目标机器142通信(例如,经由诸如,以太网、USB、IEEE 1394的有线接口和/或诸如,IEEE 802.11、蓝牙、或无线电接口的无线接口)。例如,触觉输出设备138可以与用户设备120相关联(例如,耦合到用户设备120或者在用户设备120中),并且可以被配置为从处理器140或处理器122接收触觉信号。
触觉输出设备138可以包括例如,压电致动器、电活性聚合物、宏观纤维复合材料(MFC)元件等中的一个或多个。本文使用的术语“MFC元件”被用来指代用作致动器和传感器二者的组件或元件。在一些示例中,术语“MFC元件”可以被用来指代使用能量输出触觉效果或者接收能量作为输入的变换器。例如,当MFC元件被按压、触摸、弯曲等时,MFC元件可以用作传感器。在本示例中,当MFC元件被按压、触摸、弯曲等时,MFC元件的一个或多个致动器引线或端子可以携带可以由微控制器检测、放大、分析等的电压。
系统100还包括xPC目标机器142,该xPC目标机器包括经由总线144与其他硬件通信的处理器140。xPC目标机器142可以包括例如,个人计算机或其他设备。xPC目标机器142还可以包括存储器146、网络接口设备148、I/O组件150、存储设备152、和显示器154,它们分别可以被按照与存储器104、网络接口设备108、I/O组件110、存储设备112、以及显示器114基本相同的方式配置,尽管它们不需要这样。
转向计算设备101的存储器104,描绘了模块156、158、160、和162,以示出在一些实施例中设备可以如何被配置为基本实时地提供针对增强或模拟现实环境的动态触觉回放或效果。在一些实施例中,模块156、158、160、和162可以包括可以将处理器102配置为执行一个或多个操作的处理器可执行指令。
例如,内容供应模块156包括可以由处理器102执行以向用户(例如,计算设备101或用户设备120的用户)提供内容(例如,文本、图像、声音、视频、字符、虚拟对象、虚拟动画等)的指令。如果内容包括计算机生成的图像,则内容供应模块156包括在由处理器102执行时促使处理器102生成用于在显示设备(例如,计算设备101的显示器114或通信地耦合到处理器102的另一显示器)上显示的图像的指令。如果内容包括视频和/或静止图像,则内容供应模块156包括在由处理器102执行时促使处理器102访问视频和/或静止图像并生成视频和/或静止图像的视图供在显示器114上显示的指令。如果内容包括音频内容,则内容供应模块156包括在由处理器102执行时促使处理器102生成将驱动扬声器输出对应的声音的电子信号的指令,其中,扬声器可以是显示器114的部分。在一些实施例中,内容或者内容根据其推导得出的信息可以由处理器102从存储设备112获取,存储设备112可以是计算设备101的部分(如图1所示)、或者可以与计算设备101分离并且通信地耦合到计算设备101。
例如,内容供应模块156可以包括在由处理器102执行时促使处理器102生成模拟现实环境用于在显示器114上显示的指令。模拟现实环境可以包括部分或完全虚拟的环境。例如,模拟现实环境可以包括增强现实环境、虚拟现实环境、视频游戏环境等。作为说明性示例,处理器102可以生成与显示器114上的视频游戏相关联的虚拟或增强现实环境。模拟现实环境可以模拟用户的物理存在和/或环境并且可以包括虚拟对象(例如,字符、媒介物、按钮、滑块、旋钮、图标、或其他用户界面组件),计算设备101的用户可以使用用户设备120与虚拟对象交互。例如,用户设备120可以是用户可以用来与模拟现实环境交互的游戏控制器、环、键盘、鼠标、操纵杆等,并且用户设备120可以经由网络设备108和网络设备128通信地耦合到计算设备101。处理器102可以经由网络设备108和网络设备128从用户设备120接收信号,并且基于这些信号确定与模拟现实环境中的虚拟对象的交互和/或对这些虚拟对象的操控。处理器102可以使得交互和/或操控在模拟现实环境中进行。因此,用户能够经由用户设备120与模拟现实环境中的虚拟对象交互或者操控这些虚拟对象。
检测模块158可以将处理器102配置为从传感器136接收传感器信号。例如,检测模块158可以包括在由处理器102执行时促使处理器102在传感器检测或感测到用户设备120的用户的运动或者用户设备120的运动时从传感器136接收传感器信号的指令。例如,当传感器136检测到用户使用用户设备120与模拟现实环境交互时,处理器102可以从传感器136接收传感器信号。例如,检测模块158可以包括在由处理器102执行时促使处理器102在传感器136捕捉到关于用户对用户设备120的运动的信息时从传感器136接收传感器信号的指令(在用户与模拟现实环境交互时)。作为另一示例,检测模块158可以包括在由处理器102执行时促使处理器102在传感器136捕捉到关于用户接触模拟现实环境中的虚拟对象的压力量或者用户接触的压力量的改变的信息时从传感器136接收传感器信号的指令。在一些示例中,来自传感器136的传感器信号可以包括关于用户的运动或者用户设备120的运动的信息,该信息包括但不限于用户的运动或者用户设备120的运动的路径、速度、加速度、力等和/或关于用户设备120的用户的任何其他信息。在一些示例中,来自传感器136的传感器信号可以包括关于用户的现实或模拟环境的参数(例如,条件)的信息,该信息包括但不限于,用户的现实或虚拟环境的温度、湿度、维度等。在一些示例中,处理器102可以从传感器136接收一个或多个传感器信号,并且可以基于传感器信号确定关于用户、用户的运动、用户对用户设备120的运动、或者用户环境的信息。
在一些实施例中,触觉效果确定模块160包括在由处理器102执行时促使处理器102确定将生成的触觉效果的指令。触觉效果确定模块160可以包括在由处理器102执行时促使处理器102使用一个或多个算法或查找表选择一个或多个触觉效果进行输出的指令。在一些实施例中,触觉效果确定模块160包括一个或多个算法或查找表,该一个或多个算法或查找表包括对应于各种触觉效果并可由处理器102用来确定触觉效果的数据。
在一些实施例中,触觉效果确定模块160可以促使处理器102确定静态触觉效果或动态触觉效果。静态触觉效果可以包括基于模拟现实环境或用户与模拟现实环境的交互的一个或多个预定触觉效果。在一些示例中,静态触觉效果可以具有预定特性(例如,预定幅度、持续时间、位置、类型、间距、频率等)。
在一些示例中,动态触觉效果可以包括可以基于来自传感器136的传感器信号改变或变化的一个或多个触觉效果。例如,动态触觉效果的特性(例如,幅度、持续时间、位置、类型、间距、频率等)可以基于来自传感器136的模拟现实环境或传感器信号(例如,基于用户与模拟现实环境的交互)变化。
具体地,在一些实施例中,触觉效果确定模块160可以包括在由处理器102执行时促使处理器102至少部分地基于模拟现实环境(例如,由处理器102执行内容供应模块156中包括的指令生成的模拟现实环境)或用户与模拟现实环境的交互确定静态触觉效果的指令。例如,处理器102可以基于模拟现实环境中的触摸位置确定或选择触觉效果,以模拟显示器114上的虚拟对象(例如,虚拟家具、汽车、动物、卡通人物、按钮、手柄、标志、人等)的存在。作为另一示例,用户可以通过轻拍模拟现实环境中的虚拟对象与模拟现实环境交互(例如,以提供选择虚拟对象的用户输入)。在本示例中,触觉效果确定模块160可以促使处理器102选择与用户轻拍虚拟对象相关联的一个或多个静态触觉效果。作为另一示例,处理器102可以基于模拟现实环境中的静态动画确定或选择静态触觉效果(例如,基于按照预定方式从一种状态激活到另一种状态的虚拟对象)。例如,可以基于虚拟角色的第一预定动作选择静态触觉效果,并且可以基于虚拟角色的第二预定动作选择另一静态触觉效果。最后,在一些实施例中,触觉效果确定模块160可以包括在由处理器102执行时促使处理器102基于虚拟对象的大小、颜色、位置、移动、和/或其他特性确定输出的静态触觉效果,并选择一个或多个静态触觉效果以模拟该效果。例如,可以基于虚拟对象的颜色选择静态触觉效果(例如,如果虚拟对象是红色的,则选择强振动;如果虚拟对象是绿色的,则选择较弱的振动)。
在一些示例中,触觉效果确定模块160可以包括在由处理器102执行时促使处理器102至少部分地基于传感器信号(例如,处理器102从传感器136接收到的传感器信号)确定动态触觉效果的指令。例如,传感器136可以检测用户与模拟现实环境交互时用户的运动(例如,用户拿着或者穿着用户设备120)或用户设备120的运动,并向处理器102发送传感器信号。处理器102可以接收传感器信号并确定用户或用户设备120的运动和/或用户设备120的用户的运动特性。触觉效果确定模块160可以促使处理器102至少部分地基于所确定的用户运动、用户设备120的运动、和/或运动特性确定动态触觉效果。作为另一示例,传感器136可以捕捉关于用户接触模拟现实环境中的虚拟对象的压力量或者用户接触的压力量的改变的信息。当传感器136捕捉关于压力量或压力量的改变的信息时,传感器136基本实时地向处理器102发送指示压力量或压力量的改变的一个或多个信号。在本示例中,触觉效果确定模块160可以促使处理器102选择与压力量或压力量的改变相关联的一个或多个动态触觉效果。例如,处理器102可以响应于确定用户接触的压力量高于阈值而选择强振动作为动态触觉效果。作为另一示例,处理器102可以响应于确定用户接触的压力量在某时间段上减小而逐渐减小一次或多次振动的幅度。
在一些示例中,触觉效果确定模块160可以促使处理器102确定用户的运动(例如,用户设备120的运动或体态)和/或运动特性,并且基于运动和/或运动特性确定或改变动态触觉效果的特性(例如,幅度、持续时间、位置、类型、间距、频率等)。例如,触觉效果确定模块160可以促使处理器102访问包括对应于与用户的运动(例如,用户设备120的运动或体态)和/或运动特性相关联的动态触觉效果的特性的数据的一个或多个查找表或数据库。在本实施例中,处理器102可以访问一个或多个查找表或数据库,并确定或改变与运动和/或运动特性相关联的一个或多个动态触觉效果的特性。例如,如果用户高速移动用户设备120以与模拟现实环境交互,则处理器102可以确定包括强振动或一系列强振动的动态触觉效果。继续本示例,如果用户随后以低或较低速度移动用户设备120,则处理器102可以确定触觉效果的另一特性或例如通过减小振动或一系列振动的幅度改变触觉效果的特性,使得用户在降低用户设备120的速度时感觉到较弱的振动。
在一些示例中,触觉效果确定模块160可以促使处理器102确定周期性或非周期性的静态或动态触觉效果(或触觉轨迹,例如,一系列触觉效果)。周期性的静态或动态触觉效果可以基于周期性波形生成,非周期性的静态或动态触觉效果可以基于非周期性波形生成。在一些实例中,周期性的静态或动态触觉效果可以是针对某时间段输出并且在该时间段之后重复的触觉效果。例如,触觉效果确定模块160可以促使处理器102选择包括针对第一时间段(例如,六十秒)输出的第一静态触觉效果的周期性的静态触觉效果。在本示例中,周期性的静态触觉效果可以包括在第一时间段之后输出的第二静态触觉效果。作为另一示例,触觉效果确定模块160可以促使处理器102选择包括针对第一时间段(例如,六十秒)输出的第一动态触觉效果的周期性的动态触觉效果。
在又一示例中,触觉效果确定模块160可以促使处理器102选择包括针对某时间段(例如,六十秒)输出的静态触觉效果的非周期性的静态触觉效果。在本示例中,非周期性的静态触觉效果不可以重复或反复(例如,可以不包括另一静态触觉效果)。作为又一示例,触觉效果确定模块160可以促使处理器102选择包括针对某时间段(例如,六十秒)输出的动态触觉效果的非周期性的动态触觉效果。在本示例中,非周期性的动态触觉效果可以不包括另一动态触觉效果。
在一些实施例中,触觉效果确定模块160可以包括在由处理器102执行时促使处理器102基于事件确定触觉效果的指令。本文使用的事件是在计算设备101或用户设备120的操作期间进行的任何交互、动作、冲突、或其他事件,其潜在地包括相关联的触觉效果。在一些实施例中,事件可以包括用户输入(例如,按钮按压、操控操纵杆、与模拟现实环境交互、倾斜用户设备120、或确定用户设备120的方向)、系统状态(例如,低电量、低存储、或系统通知,例如,基于计算设备101接收消息、发送数据、或接收数据生成的通知)、或程序事件(例如,如果程序是游戏或模拟现实环境,则程序事件可以包括爆炸、枪击、冲突、游戏或虚拟人物之间的交互、迈向新等级、在崎岖地形上行驶等)。
在一些示例中,处理器102可以生成并输出一个或多个交互式用户界面,处理器102可以经由该一个或多个交互式用户界面输出指示所确定或所选择的触觉效果的一个或多个参数或与触觉效果相关联的其他信息的数据。
例如,图2是根据一个实施例的可以(由图1的处理器102)生成用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的交互式用户界面200的示例。在本示例中,图1的计算设备101的处理器102可以生成交互式用户界面200并经由显示器(例如,显示器114)显示交互式用户界面200。
在图2所示的示例中,交互式用户界面200的部分202包括指示各种触觉效果(例如,由处理器102确定或选择的静态或动态触觉效果)的菜单、列表、表格等。在本示例中,交互式用户界面200的部分202中包括的菜单可以包括一个或多个交互式控制元件(例如,下拉按钮或任何其他交互式元件),处理器102可以经由该一个或多个交互式控制元件接收指示特定触觉效果的选择的数据(例如,经由用户输入)。在一些示例中,处理器102可以接收指示特定触觉效果的选择的数据(例如,经由指示与触觉效果相关联的交互式控制元件的选择的用户输入),并且处理器102可以显示与所选择的触觉效果相关联的附加信息。
例如,处理器102可以响应于指示静态触觉效果的选择的用户输入,生成并显示交互式用户界面200的另一部分204,该部分204包括与所选择的静态触觉效果相关联的附加信息。在本示例中,部分204包括与静态触觉效果相关联的附加信息,例如,指示触觉效果是静态触觉效果以及与静态触觉效果相关联的一个或多个波形(例如,可以用来生成静态触觉效果的一个或多个波形)的数据。
转向图1,在一些实施例中,处理器102可以生成并输出一个或多个交互式用户界面,处理器102可以经由该一个或多个交互式用户界面接收可以促使处理器102修改所确定或选择的触觉效果的参数的数据(例如,经由用户输入)。例如,处理器102可以生成交互式用户界面,用户可以经由交互式用户界面提供指示特定触觉效果是静态还是动态触觉效果的用户输入。作为另一示例,处理器102可以生成交互式用户界面,用户可以经由该交互式用户界面提供指示特定触觉效果是周期性还是非周期性的动态或静态触觉效果的用户输入。在又一示例中,处理器102可以生成交互式用户界面,用户可以经由该交互式用户界面提供指示关于用于生成静态或动态触觉效果的波形的数据(例如,指示波形是否是周期性波形、非周期性波形、线性波形、正弦波形、方波形、三角波形、锯齿波形等的数据)的用户输入。在一些实例中,如果触觉效果包括周期性的触觉效果(例如,周期性的静态或动态触觉效果),则处理器102可以生成交互式用户界面,用户可以经由该交互式用户界面提供指示周期性的触觉效果的一个或多个触觉效果的持续时间(例如,周期性的触觉效果的一个或多个触觉效果的开始时间和结束时间)的用户输入。作为又一示例,处理器102可以生成交互式用户界面,用户可以经由该交互式用户界面提供指示所选择的触觉效果的特性(例如,触觉效果的幅度、持续时间、位置、类型、频率、间距等)的用户输入。
例如,图3是根据一个实施例的可以(例如,由图1的处理器102)生成用于基本实时地提供针对增强或模拟现实环境的动态触觉回放或效果的交互式用户界面300的示例。在本示例中,图1的计算设备101的处理器102可以生成交互式用户界面300并经由显示器(例如,显示器114)显示交互式用户界面300。
在图3所示的示例中,交互式用户界面300的部分302包括指示各种触觉效果(例如,由处理器102确定或选择的静态或动态触觉效果)的菜单、列表、表格等。在本示例中,交互式用户界面300的部分302中包括的菜单可以包括一个或多个交互式控制元件(例如,下拉按钮、虚拟按钮或滑块、或任何其他交互式元件),其中,用户可以经由该一个或多个交互式控制元件选择特定的触觉效果。在本示例中,一旦用户选择了触觉效果,处理器102就可以输出或提供与触觉效果相关联的附加信息,用户可以经由交互式用户界面300修改或指示触觉效果的一个或多个参数。例如,在图3所示的示例中,用户可以提供选择动态触觉效果的用户输入,处理器102可以显示与动态触觉效果相关联的信息。在本示例中,用户可以经由一个或多个交互式控制元件提供指示或修改动态触觉效果的参数的附加用户输入,例如,提供指示动态触觉效果是否是周期性的动态触觉效果、动态触觉效果的第一(例如,起始)动态触觉效果、动态触觉效果的第二(例如,结束)动态触觉效果、动态触觉效果的开始时间或位置、动态触觉效果的结束时间或位置、以及用于呈现或生成动态触觉效果的模型(例如,线性模型)的类型的用户输入。
在本示例中,交互式用户界面300的另一部分304包括指示各种触觉效果的另一菜单、列表、表格等,并且包括各种交互式控制元件,其中,用户可以经由这些交互式控制元件修改或指示触觉效果的一个或多个附加参数。例如,在部分304中,用户提供了指示动态触觉效果是周期性的触觉效果的用户输入。在本示例中,用户可以提供指定幅度、周期、持续时间、开始位置或空间、结束位置或空间、或用于呈现或生成周期性的动态触觉效果的模型的用户输入。
尽管在以上参考图2和图3描述的示例中,交互式控制元件被描绘为虚拟滑块、按钮、或其他交互式元件,但是本公开不限于这些配置。相反,在其他示例中,交互式控制元件可以是用户可以经由其向交互式用户界面200和300提供用户输入的任意元件。
返回图1,在一些示例中,处理器102可以基本实时地生成一个或多个用户界面(例如,图2的交互式用户界面200或图3的交互式用户界面300)(例如,当处理器102选择或确定动态触觉时)。在本示例中,处理器102可以接收指示以上所述的触觉效果的一个或多个参数的用户输入,并且向xPC目标机器142的处理器140发送指示这些参数的数据,其中,处理器140可以基于触觉效果的参数基本实时地生成并发送触觉信号,如下面进一步描述的。
按照这种方式,本文提供的系统和方法提供了用于通过允许用户基本实时地配置触觉效果的各种参数来基本实时地配置并提供针对增强或虚拟现实环境的动态触觉回放或效果的系统和方法(例如,当触觉效果被输出给该用户或另一用户时)。
在一些实施例中,xPC控制模块162表示促使处理器102(例如,经由网络设备108和网络设备148)向xPC目标机器142的处理器140发送关于所确定的触觉效果的一个或多个参数的数据的编程。在一些实施例中,xPC控制模块162表示促使处理器102向xPC目标机器142的处理器140发送来自传感器136的数据的编程。
在一些示例中,xPC目标机器142可以通信地耦合到计算设备101的处理器102或用户设备120的处理器122,以基本实时地从计算设备101或用户设备120获取数据。在一些实例中,xPC目标机器142可以是能够实现高达至少20kHz的采样率或至少100khz的采样率的计算设备、服务器、设备等,这可以使xPC目标机器142基本实时地处理来自计算设备101或用户设备120的数据并基本实时地生成具有高达大约20kHz的频率的一个或多个触觉信号。在一些示例中,xPC目标机器可以是与计算设备101分离或远离计算设备101的设备或机器。
转向xPC目标机器142的存储器146,模块164和166被描绘为示出在一些实施例中设备可以被如何配置以基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果。在一些实施例中,模块164和166可以包括可以将处理器140配置为执行一个或多个操作的处理器可执行指令。
例如,xPC模块164可以包括在由xPC目标机器142的处理器140执行时促使处理器140从计算设备101或用户设备120接收或获取数据的指令。在一些示例中,xPC模块164可以包括在由处理器140执行时促使处理器140从计算设备101的处理器102接收指示关于所选择或确定的触觉效果的一个或多个参数的数据或传感器数据(例如,来自传感器136的数据)的信号的指令。在另一示例中,xPC模块164可以包括在由处理器140执行时促使处理器140从用户设备120的传感器136接收传感器数据的指令。
在一些示例中,xPC模块164可以包括在由处理器140执行时促使处理器140确定由处理器102执行触觉效果确定模块160中包括的指令确定的触觉效果的一个或多个参数并基于触觉效果生成触觉信号的指令。例如,xPC模块164可以包括在由处理器140执行时促使处理器140基于从计算设备101的处理器102接收到的关于触觉效果的一个或多个参数的数据,确定所选择或确定的触觉效果是静态触觉效果、动态触觉效果、周期性的静态或动态触觉效果、还是非周期性的静态或动态触觉效果的指令。
在一些示例中,xPC模块164可以包括在由处理器140执行时促使处理器执行触觉效果生成模块166上的指令的指令。
在一些实施例中,触觉效果生成模块166表示促使处理器140生成触觉信号并将触觉信号发送给触觉输出设备(例如,用户设备120的触觉输出设备138或另一触觉输出设备)以生成所选择的触觉效果的编程。在一些实施例中,处理器140可以向触觉输出设备发送触觉信号,以使触觉输出设备输出由处理器102执行触觉效果确定模块160中包括的指令确定的触觉效果。在一些示例中,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140访问所存储的波形或命令以发送给触觉输出设备从而创建所选择的触觉效果的指令。例如,触觉效果生成模块166可以促使处理器140访问包括指示与一个或多个触觉效果相关联的一个或多个触觉信号的数据的查找表并确定发送给触觉输出设备的波形(例如,周期性或非周期性波形)从而生成特定的触觉效果。在一些实施例中,触觉效果生成模块166可以包括确定触觉信号的算法。在一些实施例中,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140确定触觉效果的目标坐标(例如,输出触觉效果的位置的坐标)的指令。例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140使用指示用户的特定身体部分的运动的传感器信号来确定触觉效果的目标坐标(例如,用户的特定身体部分)的指令。在一些实施例中,处理器140可以向包括一个或多个触觉输出设备的触觉输出设备发送触觉信号。在这些实施例中,触觉效果生成模块166可以促使处理器140向一个或多个触觉输出设备发送触觉信号以生成所选择的触觉效果。
在一些示例中,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140基本实时地生成具有在大约1Hz到20kHz范围中的频率的一个或多个触觉信号(例如,当处理器140从处理器102或处理器122接收数据时)。例如,处理器140可以生成具有大约1kHz的频率的一个或多个触觉信号。
按照这种方式,xPC目标机器142可以基本实时地从处理器102或处理器122获取数据,并且基本实时地生成用于提供针对模拟现实环境的高分辨率的动态或静态触觉效果的一个或多个触觉信号。
尽管在以上所述的一些示例中,xPC目标机器142的处理器140经由处理器102(例如,在执行xPC控制模块162中包括的指令时经由处理器102)从传感器136接收(例如,获取)数据,但是本公开不限于这些配置。相反,在其他示例中,xPC目标机器142通信地耦合到传感器136并从传感器136接收数据。在另一实施例中,用户设备120和xPC目标机器142是单个系统的部分,并且xPC目标机器142可以通信地耦合到传感器136以从传感器136接收传感器数据。在这些示例中,xPC目标机器142可以按照与上述基本相同的方式确定动态触觉效果的一个或多个参数。
尽管图1的示例性系统100被描绘为具有某个数目的组件,但是在其他实施例中,示例性系统100具有任意数目的附加或替代组件。另外,尽管图1示出了计算设备101、用户设备120、和xPC目标机器142的特定布置,但是各种附加布置是可能的。例如,尽管图1示出用户设备120和xPC目标机器142是分离的,但是在一些实施例中,用户设备120和xPC目标机器为单个系统的部分。例如,用户设备120可以包括xPC目标机器142或xPC模块164,并且用户设备120的处理器122可以执行xPC目标机器142的存储器146中包括的指令(例如,执行xPC模块164或触觉效果生成模块166中的指令)。作为另一示例,计算设备101可以包括xPC目标机器142,并且计算设备101的处理器102可以执行xPC目标机器142的存储器146中包括的指令(例如,执行xPC模块164或触觉效果生成模块166中的指令)。在另一示例中,系统100的组件可以彼此分开并远离。例如,xPC目标机器142和用户设备可以与计算设备101分开并远离。
另外,尽管在上述的一些示例中,xPC目标机器142(或xPC目标机器142的处理器140)可以实现高达至少20kHz的采样率或至少100khz以上的采样率,但是本公开不限于这种配置。相反,在其他示例中,用户设备120的处理器122可以被配置为实现高达至少20kHz的采样率或至少100khz以上的采样率。作为示例,用户设备120和xPC目标机器142可以为图1所示的不同系统,并且用户设备120的处理器122可以被配置为实现高达至少20kHz的采样率或至少100khz以上的采样率。另外,如上所述,在一些示例中,用户设备120和xPC目标机器142可以是单个系统的部分。在本示例中,处理器122可以执行存储器146中包括的指令(例如,xPC模块164和/或触觉效果生成模块166)。在本示例中,处理器122可以被配置为实现高达至少20kHz的采样率或至少100khz以上的采样率。
另外,尽管图1示出了作为如上所述的不同系统的计算设备101和xPC目标机器142,但是在一些实施例中,计算设备101和xPC目标机器是单个系统的部分。在本示例中,计算设备101可以包括处理器102和处理器140。处理器102可以被配置为执行存储器104中包括的指令(例如,模块156、158、160、162),处理器140可以被配置为执行存储器146中包括的指令(例如,xPC模块164和/或触觉效果生成模块166)。在本示例中,处理器140可以被配置为实现高达至少20kHz的采样率或至少100khz以上的采样率并且按照基本与上述相同的方式基本实时地生成具有大约1Hz到20kHz的范围中的频率的一个或多个触觉信号。继续本示例,处理器102可以被配置为相比处理器140实现更低的采样率。
在另一实施例中,计算设备101和xPC目标机器是单个系统的部分。在本示例中,处理器102和处理器140可以结合到单个处理器中。在本示例中,处理器可以被配置为执行存储器104(例如,模块156、158、160、162)和存储器142(例如,xPC模块164和/或触觉效果生成模块166)中的指令。在本示例中,单个处理器可以被配置为实现高达至少20kHz的采样率或至少100khz以上的采样率。
另外,在一些示例中,触觉效果可以(例如,由处理器执行触觉效果生成模块160中包括的指令)按照低采样率生成,并且输出触觉效果的触觉输出设备(例如,触觉输出设备138)可以高速率地输出触觉效果。例如,处理器可以按照大约1000Hz的采样率生成触觉效果(例如,通过执行触觉效果生成模块160中包括的指令)。在本示例中,触觉输出设备可以按照更高速率,例如,30000Hz输出触觉效果。
用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的说明性方法
图4是根据一个实施例的执行用于基本实时地提供针对增强或虚拟现实环境的动态触觉回放或效果的方法400的步骤的流程图。在一些实施例中,图4中的步骤可以实现为可以由处理器(例如,通用计算机、移动设备、或服务器中的处理器)执行的程序代码。在一些实施例中,这些步骤可以由处理器群组执行。在一些实施例中,图4所示的一个或多个步骤可以被省略或者按照不同顺序被执行。类似地,在一些实施例中,图4所示的附加步骤也可以被执行。出于说明性目的,下面参考针对图1所示的系统描述的组件描述方法400的步骤,但是其他实施方式也是可能的。
当指示触觉效果的一个或多个参数的数据被获取(例如,接收)时,方法400开始于步骤402。例如,xPC目标机器142可以从计算设备101获取指示触觉效果的一个或多个参数的数据。
在一些实施例中,计算设备101的触觉效果确定模块160促使计算设备101的处理器102确定触觉效果或触觉效果的一个或多个参数。在一些实施例中,触觉效果可以包括一个或多个触觉效果。
例如,处理器102可以至少部分地基于模拟现实环境(例如,由处理器102执行内容供应模块156中包括的指令生成的模拟现实环境)或用户与模拟现实环境的交互确定触觉效果(例如,一次或多次振动)。例如,处理器102可以基于模拟现实环境中的触摸位置确定或选择触觉效果,以模拟虚拟对象(例如,虚拟家具、汽车、动物、卡通人物、按钮、操作杆、标志、或人)在显示器114上的存在。作为另一示例,处理器102可以基于模拟现实环境中的静态动画(例如,基于按照预定方式从一种状态激活到另一种状态的虚拟对象)确定或选择触觉效果。例如,可以基于虚拟对象的第一预定动作选择触觉效果,并且可以基于虚拟对象的第二预定动作选择另一触觉效果。作为另一示例,处理器102可以基于事件确定触觉效果。本文使用的事件是在计算设备101或用户设备120的操作期间进行的任何重复、动作、冲突、或其他事件,其可以潜在地包括相关联的触觉效果,例如,用户输入(例如,按钮按压、操控操纵杆、与模拟现实环境交互、倾斜用户设备120、或确定用户设备120的方向)、爆炸、枪击、冲突、模拟现实环境中的游戏或虚拟人物之间的交互等。
在一些示例中,由处理器102基于模拟现实环境或用户与模拟现实环境的交互确定的触觉效果可以是静态触觉效果。静态触觉效果可以是预定的静态效果,例如,具有预定特性(例如,预定幅度、持续时间、位置、类型、间距、频率等)的触觉效果。例如,用户可以通过轻拍模拟现实环境中的虚拟对象与模拟现实环境交互(例如,以提供选择虚拟对象的用户输入)。在本示例中,触觉效果确定模块160可以促使处理器102选择与用户轻拍虚拟对象相关联的一个或多个静态触觉效果。
在一些实施例中,处理器102可以至少部分地基于从传感器136接收的信号确定触觉效果。在一些示例中,由处理器102基于从传感器136接收的信号确定的触觉效果可以是动态触觉效果。动态触觉效果可以是可以基于来自传感器136的传感器信号改变的触觉效果。例如,动态触觉效果的特性(例如,幅度、持续时间、位置、类型、间距、频率等)可以基于模拟现实环境或来自传感器136的传感器信号(例如,基于用户与模拟现实环境的交互)变化。
例如,传感器136可以是可穿戴传感器、可以耦合(例如,附接)到用户或用户设备120的任何传感器、或者与用户设备120相关联以捕捉关于用户的运动(例如,用户的身体部分的运动或姿态)或用户设备120的运动的信息的任何传感器。在一些示例中,传感器136可以捕捉关于用户的运动或用户设备120的运动的信息(包括但不限于,运动的路径、速度、加速度、运动力、和/或任何其他特性)。在一些示例中,传感器136可以向处理器102发送指示关于用户的运动或用户设备120的运动的信息的信号。在一些实施例中,例如,当传感器136捕捉关于用户的运动或用户设备120的运动的信息时,传感器136可以基本实时地向处理器102发送一个或多个信号。在本示例中,处理器102可以接收传感器信号并至少部分地基于传感器信号确定动态触觉效果。
例如,当用户与模拟现实环境交互时,传感器136可以捕捉关于用户设备120的速度或用户设备120的速度的改变的信息。当传感器136捕捉关于速度或速度量的改变的信息时,传感器136基本实时地向处理器102发送指示速度或速度的改变的一个或多个信号。在本示例中,触觉效果确定模块160可以促使处理器102选择与速度或速度量的改变相关联的一个或多个动态触觉效果。例如,处理器102可以响应于确定用户设备120的速度高于阈值而选择强振动作为动态触觉效果。作为另一示例,处理器102可以响应于确定用户设备120的速度在某个时间段期间减小而逐渐减小一次或多次振动的幅度。
在一些示例中,触觉效果确定模块160可以促使处理器102确定周期性或非周期性的静态或动态触觉效果或触觉轨迹。周期性的静态或动态触觉效果可以基于周期性波形生成,非周期性的静态或动态触觉效果可以基于非周期性波形生成。
在一些示例中,xPC目标机器142的xPC模块164可以包括在由xPC目标机器142的处理器140执行时促使处理器140接收指示由计算设备101的处理器102执行触觉效果确定模块160中包括的指令选择或确定的触觉效果的一个或多个参数的数据的指令。
当xPC目标机器142的处理器140确定触觉效果是静态触觉效果时,方法在步骤404继续。例如,处理器140从处理器102获取指示由处理器102选择或确定的触觉效果的一个或多个参数(例如,在步骤402中获取的一个或多个参数)的数据。
在一些示例中,xPC目标机器142的xPC模块164可以包括在由处理器140执行时促使处理器140确定由处理器102选择的触觉效果是静态触觉效果还是动态触觉效果的指令。例如,处理器140可以分析从处理器102获取的数据(例如,在步骤402中)并且基于该数据确定触觉效果是静态触觉效果还是动态触觉效果和/或该触觉效果的一个或多个特性。
如果xPC目标机器142的处理器140在步骤404确定触觉效果不是静态触觉效果,则方法400进行到下面进一步描述的步骤406。
如果处理器140在步骤404确定触觉效果是静态触觉效果,则方法400进行到步骤408,处理器140确定静态触觉效果是否是周期性的触觉效果。在一些示例中,xPC目标机器142的xPC模块164可以包括在由处理器140执行时促使处理器140确定由处理器102选择的触觉效果是周期性的触觉效果(例如,可以基于周期性波形生成的触觉效果)还是非周期性的触觉效果(例如,可以基于非周期性波形生成的触觉效果)的指令。例如,处理器140可以分析从处理器102获取的数据(例如,在步骤402中)并确定静态触觉效果是周期性的静态触觉效果还是非周期性的静态触觉效果和/或周期性或非周期性的静态触觉效果的一个或多个特性(例如,周期性的静态触觉效果的一个或多个触觉效果的幅度、周期、持续时间、开始时间、结束时间等)。
如果处理器140在步骤408确定静态触觉效果是周期性的静态触觉效果,则方法400进行到步骤410,周期性的静态触觉效果被至少部分地基于周期性波形的参数输出。在一些示例中,xPC目标机器142可以生成并发送触觉信号以使触觉输出设备138输出周期性的静态触觉效果。
例如,xPC模块164可以包括在由处理器140执行时促使处理器执行触觉效果生成模块166上的指令的指令。
在一些实施例中,触觉效果生成模块166表示促使处理器140生成并向触觉输出设备138输出触觉信号的编程。在一些示例中,处理器140生成并向触觉输出设备138输出触觉信号,以使触觉输出设备138生成由处理器102执行触觉效果确定模块160中包括的指令确定的触觉效果。
在一些示例中,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140访问所存储的波形或命令以向触觉输出设备138发送从而创建所选择的周期性的静态触觉效果的指令。例如,触觉效果生成模块166可以促使处理器140访问包括指示与一个或多个触觉效果相关联的一个或多个触觉信号的数据的查找表并确定周期性的静态触觉效果波形或该周期性的静态触觉效果波形的参数(例如,周期性的静态触觉效果波形的幅度、周期、持续时间、开始时间、结束时间等)以发送给触觉输出设备138从而生成所选择的周期性的静态触觉效果。
例如,在步骤410,处理器140向触觉输出设备138发送触觉信号,以使触觉输出设备138基于触觉信号输出周期性的静态触觉效果。例如,触觉输出设备138可以向与用户设备120相关联的用户(例如,拿着、穿着、使用用户设备120的用户或者与用户设备120相关联的用户)输出一个或多个周期性的静态触觉效果。在一些实施例中,触觉输出设备138可以基本实时地接收触觉信号(例如,当xPC目标机器142从处理器102获取关于触觉效果的一个或多个参数时),以使得触觉输出设备138可以基本实时地输出周期性的静态触觉效果。
转向步骤408,如果处理器140确定静态触觉效果不是周期性的静态触觉效果,则方法400进行到步骤412,非周期性波形的静态触觉效果至少部分地基于非周期性波形被输出。
在一些示例中,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140访问所存储的波形或命令以发送给触觉输出设备138从而生成所选择的非周期性的静态触觉效果的指令。例如,触觉效果生成模块166可以促使处理器140访问包括指示与一个或多个触觉效果相关联的一个或多个触觉信号的数据的查找表,并确定非周期性的静态触觉效果波形或该非周期性的静态触觉效果波形的参数以发送给触觉输出设备138从而生成所选择的非周期性的静态触觉效果。
例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140向触觉输出设备138输出触觉信号,以使触觉输出设备138基于触觉信号输出非周期性波形的静态触觉效果的指令。例如,触觉输出设备138可以向与用户设备120相关联的用户(例如,拿着、穿着、使用用户设备120的用户或者与用户设备120相关联的用户)输出非周期性波形的静态触觉效果。在一些实施例中,触觉输出设备138可以基本实时地接收触觉信号(例如,当xPC目标机器142从处理器102获取关于触觉效果的一个或多个参数的数据),以使触觉输出设备138可以基本实时地输出非周期性波形的静态触觉效果。
转向步骤404,如果xPC目标机器142的处理器140在步骤404确定触觉效果不是静态触觉效果(例如,触觉效果是动态触觉效果),则方法400进行到步骤406。
在步骤406,处理器140确定动态触觉效果是否是周期性触觉效果。在一些示例中,xPC目标机器142的xPC模块164可以包括在由处理器140执行时促使处理器140确定由处理器102选择的触觉效果是周期性触觉效果还是非周期性触觉效果的指令。例如,处理器140可以分析从处理器102获取的数据(例如,在步骤402中),并且确定动态触觉效果是周期性的静态触觉效果还是非周期性的静态触觉效果和/或该周期性或非周期性的动态触觉效果的一个或多个特性(例如,周期性的动态触觉效果的一个或多个触觉效果的开始时间或结束时间)。
如果处理器140在步骤406确定动态触觉效果是周期性的动态触觉效果,则方法400进行到步骤414,周期性的动态触觉效果至少部分地基于周期性波形的参数和传感器信号(例如,来自传感器136的传感器信号)被生成。
例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140访问所存储的波形或命令以发送给触觉输出设备138从而创建所选择的周期性的动态触觉效果的指令。例如,触觉效果生成模块166可以促使处理器140访问包括指示与一个或多个触觉效果相关联的一个或多个触觉信号的数据的查找表,并确定周期性的动态触觉效果波形或周期性的动态触觉效果波形的参数(例如,周期性的动态触觉效果波形的幅度、周期、持续时间、开始时间、阶数时间等)以发送给触觉输出设备138从而生成所选择的周期性的动态触觉效果。
在一些示例中,如上所述,动态触觉效果可以基于来自传感器136的传感器数据变化。在本示例中,处理器102可以从传感器136接收传感器信号,确定用户的运动(例如,用户设备120的身体姿态或运动)和/或运动特性,并基于运动和/或运动特性确定或改变动态触觉效果的特性(例如,幅度、持续时间、位置、类型、间距、频率等)。例如,处理器102可以访问包括对应于与用户的运动(例如,用户设备120的运动或身体运动)和/或运动特性相关联的动态触觉效果的特性的数据的一个或多个查找表或数据库。在本实施例中,处理器102可以访问一个或多个查找表或数据库,并确定或改变与运动和/或运动特性相关联的一个或多个动态触觉效果的特性。例如,如果用户正在以高压力量接触模拟现实环境中的虚拟对象,则处理器102可以确定包括强振动或一系列强振动的动态触觉效果。本示例继续,如果用户随后减小用户接触虚拟对象的压力量,则处理器102可以确定触觉效果的另一特性或改变触觉效果的特性(例如,通过减小振动或一系列振动的幅度),使得用户在用户减小用户接触虚拟对象的压力量时感觉到较弱的振动。
在一些实施例中,处理器102可以基本实时地从传感器136接收信号(例如,当传感器136捕捉关于用户的运动或用户设备120的运动的信息时),并且基本实时地向xPC目标机器发送指示触觉效果的一个或多个参数的数据(例如,在步骤402中)。在本示例中,在步骤414中,xPC目标机器142的处理器140可以从处理器102接收数据和/或从传感器136接收传感器数据,并基于从处理器102和/或传感器136接收或获取的数据按照基于与上述相同的方式生成动态触觉信号。
在步骤416,周期性的动态触觉效果被输出。例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140向触觉输出设备138发送触觉信号以使触觉输出设备138基于触觉信号输出周期性的动态触觉效果的指令。例如,触觉输出设备138可以向与用户设备120相关联的用户(例如,拿着、穿着、使用用户设备120的用户或者与用户设备120相关联的用户)输出周期性的动态触觉效果。在一些实施例中,触觉输出设备138可以基本实时地接收触觉信号(例如,当xPC目标机器142从处理器102获取关于触觉效果的一个或多个参数的数据时),使得触觉输出设备138可以基本实时地输出周期性的动态触觉效果。
转向步骤406,如果处理器140确定动态触觉效果不是周期性的动态触觉效果,则方法400进行到步骤418,指示非周期性的动态触觉效果波形的数据被获取。例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140访问所存储的波形或命令以发送给触觉输出设备138从而创建所选择的非周期性的动态触觉效果的指令。例如,触觉效果生成模块166可以促使处理器140访问包括指示与一个或多个触觉效果相关联的一个或多个触觉信号的数据的查找表,并且确定非周期性的动态触觉效果波形或该非周期性的动态触觉效果波形的参数以发送给触觉输出设备138从而生成所选择的非周期性的动态触觉效果。
在一些示例,如上所述,动态触觉效果可以基于来自传感器136的传感器数据变化。在本示例中,处理器102可以基本实时地从传感器136接收信号(例如,当传感器136捕捉关于用户的运动或用户设备120的运动的信息时),并且基本实时地向xPC目标机器发送指示触觉效果的一个或多个参数的数据(例如,在步骤402)。在本示例中,在步骤418,xPC目标机器142的处理器140可以从处理器102接收数据和/或从传感器136接收传感器数据,并按照基本与上述相同的方式基于从处理器102和/或传感器136获取或接收的数据生成动态触觉信号。
在步骤420,非周期性的动态触觉效果至少部分地基于传感器信号和非周期性的动态触觉效果波形(例如,在步骤418获取的非周期性的动态触觉效果波形)被输出。
例如,触觉效果生成模块166可以包括在由处理器140执行时促使处理器140向触觉输出设备138发送触觉信号以使触觉输出设备138基于触觉信号输出非周期性的动态触觉效果的指令。例如,触觉输出设备138可以向与用户设备120相关联的用户(例如,拿着、穿着、或使用用户设备120的用户或者与用户设备120相关联的用户)输出非周期性的动态触觉效果。在一些实施例中,触觉输出设备138可以基本实时地接收触觉信号(例如,当xPC目标机器142从处理器102获取关于触觉效果的一个或多个参数的数据时),使得触觉输出设备138可以基本实时地输出非周期性的动态触觉效果。
在一些实例中,xPC目标机器142可以是能够实现高达至少20kHz的采样率或至少100khz以上的采样率的计算设备、服务器、设备等,这使得xPC目标机器142能够基本实时地处理来自计算设备101(例如,来自处理器102)或用户设备120(例如,传感器136)的数据并基本实时地生成具有在大约1kHz到20kHz的范围中的频率的一个或多个触觉信号。例如,xPC目标机器142可以生成具有大约1kHz的频率的一个或多个触觉信号。
尽管在上述的一些示例中,xPC目标机器142的处理器140经由处理器102(例如,在执行xPC控制模块162中包括的指令时经由处理器102)从传感器136接收(例如,获取)数据,但是本实施例不限于这种配置。相反,在其他示例中,用户设备120和xPC目标机器142是单个系统的部分,并且xPC目标机器可以通信地耦合到传感器136以从传感器136接收传感器数据。
按照这种方式,本文描述的系统可以基本实时地提供针对增强或虚拟现实环境的高分辨率的动态或静态触觉回放(例如,效果)。
概论
以上讨论的方法、系统、和设备是示例。在适当情况下,各种配置可以省略、替换、或添加各种过程或组件。例如,在替代配置中,这些方法可以按照与所描述的不同顺序执行,和/或各种阶段可以被添加、省略、和/或组合。另外,针对某些配置描述的特征可以结合在各种其他配置中。这些配置的不同方面和元件可以以类似方式结合。另外,技术涉及很多元件,并且这些元件时示例而不用于限制本公开或权利要求的范围。
在描述中给出了具体细节,以提供对于示例配置(包括实施方式)的透彻理解。但是,这些配置可以在没有这些具体细节的条件下实施。例如,已经示出了公知电路、处理、算法、结构、和技术,但是没有详细示出它们以避免模糊这些配置。本描述仅提供了示例配置,而不用于限制权利要求的范围、可用性、或配置。相反,配置的以上描述将向本领域技术人员提供用于实现所描述的技术的使能描述。在不偏离本公开的精神和范围的条件下,可以对元件的功能和布置做出各种改变。
另外,配置可以被描述为被描绘为流程图或框图的处理。尽管每个配置可以将操作描述为顺序处理,但是很多操作可以被并行或同时执行。另外,操作的顺序可以被重新布置。处理可以包括图中不包括的附加步骤。另外,方法步骤可以由硬件、软件、固件、中间件、伪代码、硬件描述语言、或它们的任意组合执行。当由软件、固件、中间件、或伪代码执行时,执行必要任务的程序代码或代码段可以被存储在诸如存储介质的非暂态计算机可读介质中。处理器可以执行所描述的任务。
已经描述的若干示例配置,但是在不偏离本公开的精神的条件下可以使用各种修改、替代构造、和等同。例如,以上元件可以是更大系统的组件,其中,其他规则可以优先于本发明的应用或修改本发明的应用。另外,在考虑上述元件之前、期间、或之后,可以进行多个步骤。因此,以上描述不限制权利要求的范围。
本文中“被适配为”或“被配置为”的使用是开放性的包含语言,其不排除被适配为或被配置为执行附加任务或步骤的设备。另外,“基于”的使用是开放性的包含,实际上,“基于”一个或多个引用条件的处理、步骤、计算、或其他动作可以基于这些引用条件以外的附加条件或值。本文中包括的标题、列表、和编号仅处于易于说明的目的而不用于限制性目的。
根据本主题的方面的实施例可以实现在数字电子电路、计算机硬件、固件、软件、或它们的组合中。在一个实施例中,计算机可以包括一个或多个处理器。处理器包括计算机可读介质或者可以具有去往计算机可读介质的入口,该计算机可读介质为例如,耦合到处理器的随机存取存储器(RAM)。处理器执行存储器上存储的计算机可执行程序指令,例如,执行包括传感器采样例程、选择例程、以及其他例程的一个或多个计算机程序以执行上述方法。
这些处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。这些处理器还可以包括可编程电子设备,例如,PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似设备。
这些处理器可以包括存储指令的介质或者可以与该介质通信,该介质为例如,有形计算机可读介质,这些指令在由处理器执行时可以促使处理器执行由处理器执行或帮助的本文描述的步骤。计算机可读介质的实施例可以包括但不限于,能够向处理器(例如,网页服务器)提供计算机可读指令的光、磁、或其他存储设备。介质的其他示例包括但不限于,柔性盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、已配置处理器、所有光介质、所有磁带或其他磁介质、或者计算机处理器可以读取的任何其他介质。另外,各种其他设备可以包括计算机可读介质,例如,路由器、专用或公共网络、或者其他传输设备。所述的处理器和处理可以在一个或多个结构中,并且可以分散在一个或多个结构上。处理器可以包括用于执行本文描述的一种或多种方法(或方法的部分)的代码。
尽管参考具体实施例详细描述了本主题,但是明白的是,本领域技术人员在达到前述理解时可以很容易产生这些实施例的变形、改变、和等同。因此,应该理解的是,本公开已经出于示例而非限制的目的给出,而不排除对本领域普通技术人员显而易见的对于本主题的这些修改、变形、和/或添加。
Claims (19)
1.一种计算设备,包括:
处理器和通信地耦合到所述处理器的非暂态计算机可读介质,其中,所述处理器被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令以用于执行以下操作:
生成模拟现实环境;
获取指示与所述模拟现实环境相关联的触觉效果的参数的数据;
基于所述触觉效果的参数来确定所述触觉效果是静态触觉效果还是动态触觉效果;
基于所述触觉效果的参数来确定所述触觉效果是周期性触觉效果还是非周期性触觉效果;
在所述处理器接收关于所述触觉效果的参数的数据时,基本实时地生成与所述触觉效果相关联的触觉信号,其中,所述处理器能够以至少20kHz的采样率来处理关于所述触觉效果的参数的数据并且生成具有在大致1Hz到20kHz之间的频率的触觉信号;以及
向触觉输出设备发送与所述触觉效果相关联的所述触觉信号。
2.根据权利要求1所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令以用于执行以下操作:
从被配置为捕捉关于用户的信息的传感器接收指示关于所述用户的信息的传感器信号;以及
至少部分地基于所述传感器信号来确定所述触觉效果是动态触觉效果,其中,所述触觉信号是基于所述动态触觉效果的。
3.根据权利要求2所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令,以基于所述触觉效果的参数来确定所述动态触觉效果是周期性的动态触觉效果,其中,所述周期性的动态触觉效果是基于周期性波形的,并且其中,所述触觉信号是基于所述周期性波形的。
4.根据权利要求2所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令,以基于所述触觉效果的参数来确定所述动态触觉效果是非周期性的动态触觉效果,其中,所述非周期性的动态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述非周期性波形的。
5.根据权利要求1所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令,以基于所述触觉效果的参数来确定所述触觉效果是静态触觉效果,其中,所述静态触觉效果是预定触觉效果,并且其中,所述触觉信号与所述静态触觉效果相关联。
6.根据权利要求5所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令,以基于所述触觉效果的参数来确定所述静态触觉效果是周期性的静态触觉效果,其中,所述周期性的静态触觉效果是基于周期性波形的,并且其中,所述触觉信号是基于所述周期性波形的。
7.根据权利要求5所述的计算设备,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行指令,以基于所述触觉效果的参数来确定所述静态触觉效果是非周期性的静态触觉效果,其中,所述非周期性的静态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述非周期性波形的。
8.一种方法,包括:
由处理器生成模拟现实环境;
由所述处理器获取指示与所述模拟现实环境相关联的触觉效果的参数的数据;
由所述处理器基于所述触觉效果的参数来确定所述触觉效果是静态触觉效果还是动态触觉效果;
由所述处理器基于所述触觉效果的参数来确定所述触觉效果是周期性触觉效果还是非周期性触觉效果;
由所述处理器在所述处理器接收关于所述触觉效果的参数的数据时基本实时地生成与所述触觉效果相关联的触觉信号,其中,所述处理器能够以至少20kHz的采样率来处理关于所述触觉效果的参数的数据并且生成具有在大致1Hz到20kHz之间的频率的触觉信号;以及
由所述处理器向触觉输出设备发送与所述触觉效果相关联的所述触觉信号。
9.根据权利要求8所述的方法,还包括:
由所述处理器接收指示关于用户的信息的传感器信号;以及
由所述处理器至少部分地基于所述传感器信号来确定所述触觉效果是动态触觉效果,其中,所述触觉效果是基于所述动态触觉效果的。
10.根据权利要求9所述的方法,还包括:
由所述处理器基于所述触觉效果的参数来确定所述动态触觉效果是周期性的动态触觉效果,并且其中,所述周期性的动态触觉效果是基于周期性波形的,并且其中,所述触觉信号是基于所述周期性波形的。
11.根据权利要求9所述的方法,还包括:
由所述处理器基于所述触觉效果的参数来确定所述动态触觉效果是非周期性的动态触觉效果,其中,所述非周期性的动态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述非周期性波形的。
12.根据权利要求8所述的方法,还包括:
由所述处理器基于所述触觉效果的参数来确定所述触觉效果是静态触觉效果,其中,所述静态触觉效果是预定触觉效果,并且其中,所述触觉信号是基于所述静态触觉效果的。
13.根据权利要求12所述的方法,还包括:
由所述处理器基于所述触觉效果的参数来确定所述静态触觉效果是周期性的静态触觉效果,其中,所述周期性的静态触觉效果是基于周期性波形的,并且其中,所述触觉信号是基于所述周期性波形的。
14.根据权利要求12所述的方法,还包括:
由所述处理器基于所述触觉效果的参数来确定所述静态触觉效果是非周期性的静态触觉效果,其中,所述非周期性的静态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述非周期性波形的。
15.一种非暂态计算机可读介质,包括处理器可执行程序代码,所述处理器可执行程序代码被配置为使得处理器执行以下操作:
生成模拟现实环境;
获取指示与所述模拟现实环境相关联的触觉效果的参数的数据;
基于所述触觉效果的参数来确定所述触觉效果是动态触觉效果还是静态触觉效果;
基于所述触觉效果的参数来确定所述触觉效果是周期性触觉效果还是非周期性触觉效果;
在所述处理器接收到关于所述触觉效果的参数的数据时,基本实时地生成与所述触觉效果相关联的触觉信号,其中,所述处理器能够以至少20kHz的采样率来处理关于所述触觉效果的参数的数据并且生成具有在大致1Hz到20kHz之间的频率的触觉信号;以及
向触觉输出设备发送与所述触觉效果相关联的所述触觉信号。
16.根据权利要求15所述的非暂态计算机可读介质,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行程序代码以用于执行以下操作:
接收指示关于用户的信息的传感器信号;以及
至少部分地基于所述传感器信号来确定所述触觉效果是动态触觉效果,其中,所述触觉信号是基于所述动态触觉效果的。
17.根据权利要求16所述的非暂态计算机可读介质,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行程序代码,以基于所述触觉效果的参数来确定所述动态触觉效果是周期性的动态触觉效果还是非周期性的动态触觉效果,其中,所述周期性的动态触觉效果是基于周期性波形的,并且所述非周期性的动态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述周期性波形或所述非周期性波形的。
18.根据权利要求15所述的非暂态计算机可读介质,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行程序代码,以基于所述触觉效果的参数来确定所述触觉效果是静态触觉效果,其中,所述静态触觉效果是预定触觉效果,并且其中,所述触觉信号与所述静态触觉效果相关联。
19.根据权利要求18所述的非暂态计算机可读介质,其中,所述处理器进一步被配置为执行所述非暂态计算机可读介质中存储的处理器可执行程序代码,以基于所述触觉效果的参数来确定所述静态触觉效果是周期性的静态触觉效果还是非周期性的静态触觉效果,其中,所述周期性的静态触觉效果是基于周期性波形的,并且所述非周期性的静态触觉效果是基于非周期性波形的,并且其中,所述触觉信号是基于所述周期性波形或所述非周期性波形的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/958,987 | 2018-04-20 | ||
US15/958,987 US10572017B2 (en) | 2018-04-20 | 2018-04-20 | Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110389659A true CN110389659A (zh) | 2019-10-29 |
Family
ID=66239894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910319019.5A Withdrawn CN110389659A (zh) | 2018-04-20 | 2019-04-19 | 针对增强或虚拟现实环境提供动态触觉回放的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10572017B2 (zh) |
EP (1) | EP3557384A1 (zh) |
JP (1) | JP2019192237A (zh) |
KR (1) | KR20190122559A (zh) |
CN (1) | CN110389659A (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10102659B1 (en) | 2017-09-18 | 2018-10-16 | Nicholas T. Hariton | Systems and methods for utilizing a device as a marker for augmented reality content |
US10105601B1 (en) | 2017-10-27 | 2018-10-23 | Nicholas T. Hariton | Systems and methods for rendering a virtual content object in an augmented reality environment |
US10636188B2 (en) | 2018-02-09 | 2020-04-28 | Nicholas T. Hariton | Systems and methods for utilizing a living entity as a marker for augmented reality content |
US10198871B1 (en) | 2018-04-27 | 2019-02-05 | Nicholas T. Hariton | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user |
US20200192480A1 (en) * | 2018-12-18 | 2020-06-18 | Immersion Corporation | Systems and methods for providing haptic effects based on a user's motion or environment |
US10586396B1 (en) | 2019-04-30 | 2020-03-10 | Nicholas T. Hariton | Systems, methods, and storage media for conveying virtual content in an augmented reality environment |
KR102468585B1 (ko) * | 2020-10-23 | 2022-11-22 | 주식회사 비트센싱 | 가상 촉각 서비스를 제공하는 서버, 사용자 단말 및 방법 |
JP7395599B2 (ja) | 2021-06-23 | 2023-12-11 | センスタイム インターナショナル プライベート リミテッド | ゲーム画像の処理方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム |
KR102580282B1 (ko) * | 2021-06-24 | 2023-09-18 | 센스타임 인터내셔널 피티이. 리미티드. | 테이블톱 게임들의 상태들을 전환하는 방법들, 장치들, 디바이스들 및 저장 매체들 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2674835A2 (en) * | 2012-06-14 | 2013-12-18 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
EP2728443A2 (en) * | 2012-11-02 | 2014-05-07 | Immersion Corporation | Encoding dynamic haptic effects |
CN105739683A (zh) * | 2014-12-31 | 2016-07-06 | 意美森公司 | 为增强和虚拟现实应用生成触觉加强的对象的系统和方法 |
CN106990834A (zh) * | 2016-01-13 | 2017-07-28 | 意美森公司 | 用于触觉使能的神经接口的系统和方法 |
US20180011538A1 (en) * | 2016-07-08 | 2018-01-11 | Immersion Corporation | Multimodal haptic effects |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100538351B1 (ko) * | 2004-04-20 | 2005-12-21 | 광주과학기술원 | 햅틱 인터페이스의 안정화 방법 및 이를 적용한 햅틱시스템 |
US20060274906A1 (en) | 2005-06-06 | 2006-12-07 | Ying Jia | Acoustic sensor with combined frequency ranges |
US11325029B2 (en) * | 2007-09-14 | 2022-05-10 | National Institute Of Advanced Industrial Science And Technology | Virtual reality environment generating apparatus and controller apparatus |
US20120065784A1 (en) * | 2010-09-13 | 2012-03-15 | Philip Feldman | Providing kinetic feedback for computer-human interaction in virtual or remote operation environments |
FR2991791B1 (fr) | 2012-06-06 | 2014-08-08 | Commissariat Energie Atomique | Interface de stimulation tactile par retournement temporel |
US9788714B2 (en) * | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
US9690370B2 (en) * | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
US20170249785A1 (en) * | 2016-02-29 | 2017-08-31 | Vreal Inc | Virtual reality session capture and replay systems and methods |
KR20180019270A (ko) * | 2016-08-16 | 2018-02-26 | (주)알비케이이엠디 | 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스 |
EP3602250A4 (en) * | 2017-03-31 | 2020-11-25 | Vrgluv LLC | HAPTICAL INTERFACE DEVICES |
US10386928B2 (en) * | 2017-04-12 | 2019-08-20 | Disney Enterprises, Inc. | Dynamic haptic effects generator |
-
2018
- 2018-04-20 US US15/958,987 patent/US10572017B2/en not_active Expired - Fee Related
-
2019
- 2019-04-11 KR KR1020190042351A patent/KR20190122559A/ko unknown
- 2019-04-17 JP JP2019078632A patent/JP2019192237A/ja active Pending
- 2019-04-18 EP EP19170246.3A patent/EP3557384A1/en not_active Withdrawn
- 2019-04-19 CN CN201910319019.5A patent/CN110389659A/zh not_active Withdrawn
-
2020
- 2020-01-22 US US16/749,655 patent/US20200218356A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2674835A2 (en) * | 2012-06-14 | 2013-12-18 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
EP2728443A2 (en) * | 2012-11-02 | 2014-05-07 | Immersion Corporation | Encoding dynamic haptic effects |
CN105739683A (zh) * | 2014-12-31 | 2016-07-06 | 意美森公司 | 为增强和虚拟现实应用生成触觉加强的对象的系统和方法 |
CN106990834A (zh) * | 2016-01-13 | 2017-07-28 | 意美森公司 | 用于触觉使能的神经接口的系统和方法 |
US20180011538A1 (en) * | 2016-07-08 | 2018-01-11 | Immersion Corporation | Multimodal haptic effects |
Also Published As
Publication number | Publication date |
---|---|
EP3557384A1 (en) | 2019-10-23 |
US20190324539A1 (en) | 2019-10-24 |
KR20190122559A (ko) | 2019-10-30 |
US20200218356A1 (en) | 2020-07-09 |
US10572017B2 (en) | 2020-02-25 |
JP2019192237A (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110389659A (zh) | 针对增强或虚拟现实环境提供动态触觉回放的系统和方法 | |
CN104246661B (zh) | 使用手势与装置交互 | |
CN110096131B (zh) | 触感交互方法、装置、以及触感可穿戴设备 | |
US10317997B2 (en) | Selection of optimally positioned sensors in a glove interface object | |
KR20180098166A (ko) | 가상 감성 터치를 위한 시스템들 및 방법들 | |
US11681372B2 (en) | Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects | |
CN106951069A (zh) | 一种虚拟现实界面的控制方法及虚拟现实设备 | |
US20180011538A1 (en) | Multimodal haptic effects | |
KR20180066865A (ko) | 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법 | |
CN110045813A (zh) | 用于二维跟踪和三维跟踪的触觉激活外围设备 | |
CN109331455A (zh) | 人体姿态的动作纠错方法、装置、存储介质及终端 | |
EP3367216A1 (en) | Systems and methods for virtual affective touch | |
CN109960404A (zh) | 一种数据处理方法及装置 | |
Vatavu et al. | Gesture profile for web services: an event-driven architecture to support gestural interfaces for smart environments | |
JP6732078B2 (ja) | 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体 | |
Gieser et al. | Evaluation of a low cost emg sensor as a modality for use in virtual reality applications | |
JP2008217684A (ja) | 情報入出力装置 | |
KR101962464B1 (ko) | 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치 | |
CN110389657A (zh) | 用于增强或虚拟现实环境的跨平台动态触觉效果设计工具 | |
CN111522429A (zh) | 基于人体姿态的交互方法及装置、计算机设备 | |
CN117170505B (zh) | 虚拟键盘的控制方法和系统 | |
KR101605740B1 (ko) | 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법 | |
US20200286298A1 (en) | Systems and methods for a user interaction proxy | |
CN117170505A (zh) | 虚拟键盘的控制方法和系统 | |
Stanković | Lecture 6—Input Devices and Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191029 |
|
WW01 | Invention patent application withdrawn after publication |