CN104335140A - 用于视觉反馈和/或触觉反馈的外围设备 - Google Patents

用于视觉反馈和/或触觉反馈的外围设备 Download PDF

Info

Publication number
CN104335140A
CN104335140A CN201380027743.1A CN201380027743A CN104335140A CN 104335140 A CN104335140 A CN 104335140A CN 201380027743 A CN201380027743 A CN 201380027743A CN 104335140 A CN104335140 A CN 104335140A
Authority
CN
China
Prior art keywords
peripherals
user
hand
tactile feedback
visual feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380027743.1A
Other languages
English (en)
Other versions
CN104335140B (zh
Inventor
G.D.凯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104335140A publication Critical patent/CN104335140A/zh
Application granted granted Critical
Publication of CN104335140B publication Critical patent/CN104335140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了与促进人机交互相关联的方法、装置和存储介质。在各种实施例中，外围设备可包括具有配置成接纳计算设备的用户的一个或多个手的腔的设备主体，以及布置在腔内以随着用户使用手(或多个手)与计算设备交互来收集手(或多个手)的位置、姿势或移动数据的多个传感器。外围设备还可包括布置在主体外表面上的显示屏幕和/或布置在腔内的可变纹理表面，以便至少部分基于手(或多个手)的位置、姿势或移动数据向用户提供对应的视觉反馈和/或触觉反馈。可公开或要求保护其它实施例。

Description

用于视觉反馈和/或触觉反馈的外围设备
相关申请
本申请要求2012年6月27日提交的标题为“用于视觉反馈和/或触觉反馈的外围设备”的美国非临时专利申请No.13/534784的优先权，将其全部公开通过对其整体引用结合到本文中。
技术领域
 本申请涉及数据处理的技术领域，更具体地涉及与促进人机交互相关联的方法和装置。
背景技术
本文为了一般呈现公开的上下文提供了背景描述。除非本文另外指出，这部分描述的材料对于本申请中的权利要求来说不是现有技术，并且不因包含在本部分中而被承认为现有技术。
自计算的进步以来，人机交互的感觉形态一直局限于视觉和听觉。诸如触觉、味觉和嗅觉之类的其它感觉一般尚未被结合到体验中。当前，没有已知的经济可行的解决方案来提供复制触觉感觉体验(诸如棉被的感觉、混凝土表面的感觉等等)的手段，尤其对于较低成本个人计算。
附图说明
将通过附图中示出的示范性实施例而非限制，描述本发明的实施例，在附图中类似的参考标号表示类似的元件，并且其中：
图1-4分别示出用于促进人机交互的示例外围设备的透视图、端视图、侧视图和顶视图；
图5示出外围设备的各种示例使用；
图6示出外围设备的架构或组件视图；
图7示出使用外围设备的人机交互的方法；以及
图8示出具有配置成实施图7的方法的全部或所选方面的指令的示例非暂时计算机可读存储介质；全部按照本公开的实施例来布置。
具体实施方式
公开了与促进人机交互相关联的方法、装置和存储介质。在各种实施例中，外围设备可包括具有配置成接纳计算设备的用户的一个或多个手的腔的设备主体，以及布置在腔内以随着用户使用一个或多个手与计算设备交互来收集一个或多个手的位置、姿势或移动数据的多个传感器。外围设备还可包括布置在主体的外表面上的显示屏幕或者布置在腔内的可变纹理表面中的至少选择的一个，以便至少部分基于一个或多个手的位置、姿势或移动数据，向用户提供视觉反馈或触觉反馈中的至少对应选择的一个。
将使用本领域的技术人员通常采用的术语来描述示例性实施例的各个方面以向本领域的其他技术人员传达其工作的实质。但是，对于本领域的技术人员将显然的是，可仅用所描述的方面中的一些来实施备选实施例。为了解释，陈述了具体数字、材料和配置以便提供对示例性实施例的全面理解。但是，对于本领域的技术人员将显然的是，可无需所述具体细节而实施备选实施例。在其它实例中，为了不模糊示例性实施例，省略或简化了公知的特征。
将以最有助于理解示例性实施例的方式作为多个离散操作依次描述各种操作；但是，描述的次序不应被解释为暗示这些操作一定是依赖次序的。具体地说，这些操作不需要以呈现的次序来执行。而且，作为分开的操作来描述操作不应被解释为要求操作一定独立被执行和/或由分开的实体来执行。同样，作为分开的模块来描述模块和/或实体不应被解释为要求模块是分开的和/或执行分开的操作。在各种实施例中，所示和/或所描述的操作、实体、数据和/或模块可被合并、被分裂成进一步的子部件和/或被省略。
重复使用了短语“在一个实施例中”或“在实施例中”。该短语一般不指代相同的实施例；但是，它可以指代相同的实施例。术语“包含”、“具有”和“包括”是同义的，除非上下文另外规定。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A)、(B)或(A和B)”。短语“A、B和C中的至少一个”表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。
图1-4分别示出用于促进人机交互的示例外围设备的透视图、端视图、侧视图和顶视图。如图1所示，在各种实施例中，适合用来促进用户与计算设备(图1中未示出)(或者更具体地，与计算设备的应用或操作系统)的交互的示例外围设备100可包括具有配置成接纳计算设备的用户的一个或多个手112的腔104的设备主体102。外围设备100可包括布置在腔内以随着用户将一个或多个手112移动和/或摆姿势以与计算设备交互来收集一个或多个手112的位置、姿势或移动数据的多个传感器106(如虚线所描绘)。在实施例中，所收集的数据可包括用户的手可持有或交互的任意现实对象。传感器106可以是本领域中已知的多个声音传感器、暗度传感器、地磁传感器、所传送能量反射传感器、电磁感应传感器或振动传感器中的任一个。传感器106可布置在其它位置中，并且不限于图1中为了说明所描绘的位置。
在实施例中，外围设备100还可包括布置在主体102的外表面(例如顶面)上的显示屏幕110和/或布置在腔104内(例如在内底面上)的可变纹理表面108中的至少选择的一个，以便至少部分基于一个或多个手112的位置、姿势或移动数据，对应地向用户提供视觉反馈116和/或触觉反馈。显示屏幕110可以是多种显示屏幕中的任一种，诸如但不限于本领域中已知的薄膜晶体管或液晶显示器。可变纹理表面108可以是配置成提供相对较低保真度的触觉反馈的表面。例如，表面108可以是从芬兰埃斯波的Senseg可获得的静电振动表面。在另一些实施例中，表面108还可以以热、压力、风的感觉等等的形式提供反馈。
在图1中，箭头114描绘要在腔104内接纳的用户的手112的移动方向。为了易于理解，图1中仅示出一只手112。但是，本公开不限于此。预期的是，外围设备100可配置成接纳用户的双手112，并且收集双手112的位置、姿势或移动数据。
如图2所示，在实施例中，外围设备100具有以足够的深度和/或高度伸长的主体，以使用户的一个或多个手112的大部分或全部长度能够在腔内104被接纳并且来回移动以及采取各种姿势。如图1和3中所示，对于所描绘的实施例，外围设备100可配置有部分椭圆的端。但是，本公开不限于此。例如，在备选实施例中，外围设备100反而可配置有矩形或基本上矩形形状的端。在另一些实施例中，外围设备100可配置有多个其它几何形状中的任一个的端形状。
在实施例中，视觉反馈116可包括用户的手(或多个手)112的所接纳部分(或多个部分)的显示。在实施例中，如图4所示，用户的手(或多个手)112的所接纳部分的显示与用户的手(或多个手)112的未插入部分对齐。在实施例中，显示可以是用户的一个或多个手112的高清晰度逼真重现，其具有与用户的手(或多个手)112的所接纳部分(或多个部分)的姿势对应的姿势。在实施例中，显示还可包括由用户使用他的/她的一个或多个手112进行交互的一个或多个虚拟对象的重现和/或背景。实验已经证明，用户的头脑可“填空”，并且响应于使用他/她的手(或多个手)112的用户交互的基本上精确的视觉表示，将增强的现实体验提供给用户。
图5按照各种实施例，示出外围设备的各种示例使用。如所示，可采用外围设备100来促进计算机502的用户与计算机502(或者更具体地，在计算机502上执行的应用)交互。如先前所述，用户可将他/她的手(或多个手)112插入114到外围设备100的腔104中，并且当在腔104内时，移动他/她的手(或多个手)112，采取不同的姿势，与计算机502交互。作为响应，外围设备100，取决于实施例单独或与计算机502合作，可向用户提供视觉反馈和/或触觉反馈，以增强用户的计算体验。
例如，用户可与计算机502上执行的飞行相关的应用交互。应用可在计算机502的显示器504上呈现地平线的陆地视图，而外围设备100与计算机502合作，可用正在飞行的飞机的驾驶员座舱的背景来呈现用户的手(或多个手)112操作飞机的操纵杆的显示。另外，外围设备100与计算机502合作，还可向用户提供触觉反馈，以将用户在飞行时可从操纵杆感受到的振动或其它机械力的体验提供给用户。
作为另一例子，用户可与在计算机502上执行的驾驶或赛车相关应用交互。应用可在计算机502的显示器上呈现街道景观或赛道的陆地视图，而外围设备100与计算机502合作，可用正在驱动的汽车或赛车的仪表板的背景来呈现用户的手(或多个手)112操作方向盘。另外，外围设备100与计算机502合作，还可向用户提供触觉反馈，以将来自加速汽车或赛车的振动的体验提供给用户。
作为又一例子，用户可与在计算机502上执行的外科手术相关教育应用交互。应用可在计算机402的显示器中呈现例如手术室，而外围设备100与计算机402合作，可用用户的手(或多个手)112(用一个或多个所选外科手术仪器)在对象/器官/身体部分上操作来呈现对象、器官或身体部分接受外科手术。
作为再一例子，用户可与在计算机502上执行的电子商务相关应用交互，具体地说，在某些衣服的选择中与电子商务相关应用交互。应用可在计算机502的显示器中呈现虚拟展室，包括虚拟衣服。外围设备100与计算机502合作，可呈现用户的手(或多个手)112正在“触摸”的具体商品。另外，外围设备100与计算机502合作，还可向用户提供触觉反馈，以将正在感受的衣服织物的纹理的感觉提供给用户。
除了作为台式计算机，在各种实施例中，计算机502可以是服务器计算机、计算平板、游戏控制台、机顶盒、智能电话、个人数字助理或其它数字计算设备。
图6按照各种实施例，示出外围设备的架构或组件视图。在各种实施例中，如所示，除了先前描述的传感器106、显示屏幕110和可变纹理表面108，外围设备100还可包括互相耦合的处理器602、(具有操作逻辑606的)存储装置604和通信接口608以及如所示的先前描述的元件。
如先前所描述，传感器106可配置成检测以及收集与用户的手(或多个手)的位置、姿势和/或移动相关联的数据。显示屏幕110可配置成使得能够对用户显示视觉反馈，并且可变纹理表面108可配置成使得能够向用户提供触觉反馈。
处理器602可配置成执行操作逻辑606。处理器602可以是本领域已知的多个单核或多核处理器中的任一种。存储装置604可包括配置成存储操作逻辑606的永久的和临时的(工作)副本的易失性和非易失性存储介质。
在实施例中，操作逻辑606可配置成处理所收集的用户的手(或多个手)的位置、姿势和/或移动数据。在实施例中，操作逻辑606可配置成执行初始处理，并且将数据传送到接管应用的计算机以确定和生成关于要提供的视觉反馈和/或触觉反馈的指令。对于这些实施例，操作逻辑606还可配置成从主机计算机接收与要提供的视觉反馈和/或触觉反馈相关联的数据。在备选实施例中，操作逻辑606可配置成在确定视觉反馈和/或触觉反馈中起到更大的作用，例如，但不限于，描绘用户的手(或多个手)的图像的生成。不管是由自身确定还是响应于来自主机计算机的指令的任一情况，操作逻辑606还可配置成控制显示屏幕110和/或可变纹理表面108，以提供视觉反馈和/或触觉反馈。
在实施例中，操作逻辑606可在处理器602的指令集架构(ISA)所支持的指令中实现，或者在更高级语言中实现并且被编译为所支持的ISA。操作逻辑606可包括一个或多个逻辑单元或模块。可以以面向对象的方式实现操作逻辑606。操作逻辑606可配置成以多任务和/或多线程方式执行。
在实施例中，通信接口608可配置成促进外围设备100和接管应用的计算机之间的通信。如先前所述，通信可包括将所收集的用户的手(或多个手)的位置、姿势和/或移动数据传送到主机计算机，以及将与视觉反馈和/或触觉反馈相关联的数据从主机计算机传送到外围设备100。在实施例中，通信接口608可以是有线的或无线的通信接口。有线通信接口的例子可包括，但不限于，通用串行总线(USB)接口。无线通信接口的例子可包括，但不限于，蓝牙接口。
图7按照各种实施例，示出使用外围设备的人机交互的方法。如所示，在各种实施例中，方法700可在框702开始。在框702，外围设备100的操作逻辑可(例如，从传感器106)接收用户的手(或多个手)112的位置、姿势和/或移动数据。作为响应，操作逻辑可处理位置、姿势和/或移动数据，或者(具有或没有初始处理)将位置、姿势和/或移动数据传送到主机计算机以用于处理。
方法700可从框702进入框704。在框704，操作逻辑可至少部分基于用户的手(或多个手)112的位置、姿势和/或移动数据，生成与提供视觉反馈和/或触觉反馈相关联的数据。在备选实施例中，在框704，操作逻辑而是可从主机计算机接收与提供视觉反馈和/或触觉反馈相关联的数据。在又一些实施例中，操作逻辑可生成数据自身的一些，并且从主机计算机接收其它数据。
方法700可从框704进入框706。在框706，操作逻辑可至少部分基于与提供、生成或接收相关联的数据，控制显示屏幕和/或可变纹理表面以提供视觉反馈和/或触觉反馈。
方法700可不断重复，直到用户暂停或停止与接管应用的计算机的交互。
图8按照本公开的各种实施例，示出具有配置成实施图7的方法的全部或所选方面的指令的示例非暂时计算机可读存储介质。如所示，非暂时计算机可读存储介质802可包括多个编程指令804。编程指令804可配置成使外围设备100能够响应于编程指令的执行来执行方法700的全部或部分操作。
返回参考图6，对于各种实施例，处理器602可与配置成实施图7的方法的操作逻辑606封装在一起。在各种实施例中，处理器602可与配置成实施图7的方法的操作逻辑606封装在一起以形成系统级封装(SiP)。在各种实施例中，处理器602可与配置成实施图7的方法的操作逻辑606集成在相同的管芯上。在各种实施例中，处理器602可与配置成实施图7的方法的操作逻辑606封装在一起以形成片上系统(SoC)。在各种实施例中，SoC可在智能电话、蜂窝电话、平板或其它移动设备中使用。
因此，所描述的实施例包括，但不限于，用于促进人与计算设备交互的外围设备，其包括具有配置成接纳计算设备的用户的一个或多个手的腔的设备主体，以及布置在腔内以随着用户使用一个或多个手与计算设备交互来收集一个或多个手的位置、姿势和/或移动数据的多个传感器。外围设备还可包括布置在主体外表面上的显示屏幕或者布置在腔内的可变纹理表面中的至少选择的一个，以便至少部分基于一个或多个手的位置、姿势或移动数据，向用户提供视觉反馈或触觉反馈中的至少对应选择的一个。
而且，设备主体可以是伸长的，并且具有部分椭圆的端或矩形的端中选择的一个。腔可配置成接纳用户的双手。外围设备还可包括与传感器耦合的通信接口，并且配置成将一个或多个手的位置、姿势或移动数据传送到计算设备。或者，外围设备还可包括与显示屏幕或可变纹理表面中的至少选择的一个进行耦合的通信接口，并且配置成从计算设备接收与向用户提供视觉反馈或触觉反馈中的至少对应的一个相关联的数据。与向用户提供视觉反馈或触觉反馈相关联的数据可包括以下中的至少一个：与要作为视觉反馈的部分呈现的背景相关联的数据、与一个或多个手的全部或部分描绘相关联的数据、或者与配置可变纹理表面以提供触觉反馈相关联的数据。
另外，外围设备可包括耦合到传感器的处理器，并且配置成至少促成处理一个或多个手的位置、姿势或移动数据以向用户提供视觉反馈或触觉反馈。或者，外围设备还可包括耦合到显示屏幕或可变纹理表面中的至少一个的处理器，并且配置成至少促成向用户提供视觉反馈或触觉反馈中对应的一个。处理器可配置成促成以下中的至少一个：确定要作为视觉反馈的部分呈现的背景、确定一个或多个手的全部或部分描绘、或者确定可变纹理表面以提供触觉反馈。
在实施例中，外围设备可包括同时包含显示屏幕和可变纹理表面这两者的外围设备。
还公开了与用于促进人与计算设备交互的方法相关联的实施例。方法可包括当用户在外围设备的腔内将一个或多个手移动或摆姿势以与计算设备交互时，收集计算设备的用户的一个或多个手的位置、姿势或移动数据；向用户提供经由外围设备的显示屏幕的视觉反馈或者经由外围设备的可变纹理表面的触觉反馈中的至少选择的一个，其中，该提供至少部分基于一个或多个手的位置、姿势或移动数据。
可对于用户的双手执行该收集和提供。方法还可包括将一个或多个手的位置、姿势或移动数据传送到计算设备。方法还可包括从计算设备接收与向用户提供视觉反馈或触觉反馈中的至少选择的一个相关联的数据。与向用户提供视觉反馈或触觉反馈相关联的数据可包括以下中的至少一个：与要作为视觉反馈的部分呈现的背景相关联的数据、与一个或多个手的全部或部分描绘相关联的数据、或者与配置可变纹理表面以提供触觉反馈相关联的数据。
在实施例中，方法还可包括由外围设备处理一个或多个手的位置、姿势或移动数据以向用户提供视觉反馈或触觉反馈。方法还可包括至少促成由外围设备向用户提供视觉反馈或触觉反馈。该促成可包括促成以下中的至少一个：确定要作为视觉反馈的部分呈现的背景、确定一个或多个手的全部或部分描绘、或者确定可变纹理表面以提供触觉反馈。
在实施例中，上面方法实施例的提供可包括提供视觉反馈和触觉反馈这两者。
还公开了至少一个非暂时计算机可读存储介质的实施例。计算机可读存储介质可包括多个指令，该多个指令配置成使外围设备能够响应于外围设备的处理器对所述指令的执行，当用户在外围设备的腔内将一个或多个手移动或摆姿势以与计算设备交互时，收集计算设备的用户的一个或多个手的位置、姿势或移动数据；并且向用户提供经由外围设备的显示屏幕的视觉反馈或者经由外围设备的可变纹理表面的触觉反馈中的至少选择的一个，其中，该提供至少部分基于一个或多个手的位置、姿势或移动数据。
还可使外围设备能够对于用户的双手执行收集操作和提供操作。还可使外围设备能够将一个或多个手的位置、姿势或移动数据传送到计算设备。还可使外围设备能够从计算设备接收与向用户提供视觉反馈或触觉反馈中的至少选择的一个相关联的数据。与向用户提供视觉反馈或触觉反馈相关联的数据可包括以下中的至少一个：与要作为视觉反馈的部分呈现的背景相关联的数据、与一个或多个手的全部或部分描绘相关联的数据、或者与配置可变纹理表面以提供触觉反馈相关联的数据。
还可使外围设备能够处理一个或多个手的位置、姿势或移动数据以向用户提供视觉反馈或触觉反馈。还可使外围设备能够至少促成向用户提供视觉反馈或触觉反馈。该促成可包括促成以下中的至少一个：确定要作为视觉反馈的部分呈现的背景、确定一个或多个手的全部或部分描绘、或者确定可变纹理表面以提供触觉反馈。
在上面的存储介质实施例中的任一个中的提供可包括提供视觉反馈和触觉反馈这两者。
虽然本文示出和描述了具体实施例，但是本领域的技术人员会理解，各种各样的备选和/或等同实现可代替所示出和描述的具体实施例，而不背离本公开的实施例的范围。本申请意图覆盖本文讨论的实施例的任意适应或变化。因此，显然意图是，本公开的实施例仅由权利要求来限定。

Claims (26)

1. 一种用于促进人与计算设备交互的外围设备，包括：
具有配置成接纳所述计算设备的用户的一个或多个手的腔的设备主体；
布置在所述腔内以随着所述用户使用所述一个或多个手与所述计算设备交互来收集所述一个或多个手的位置、姿势或移动数据的多个传感器；以及
布置在所述主体的外表面上的显示屏幕或者布置在所述腔内的可变纹理表面中的至少选择的一个，以便至少部分基于所述一个或多个手的位置、姿势或移动数据，向所述用户提供视觉反馈或触觉反馈中的至少对应选择的一个。
2. 如权利要求1所述的外围设备，其中，所述设备主体是伸长的并且具有部分椭圆的端或矩形的端中选择的一个。
3. 如权利要求1所述的外围设备，其中，所述腔配置成接纳所述用户的双手。
4. 如权利要求1所述的外围设备，还包括与所述传感器耦合的通信接口，并且配置成将所述一个或多个手的位置、姿势或移动数据传送到所述计算设备。
5. 如权利要求1所述的外围设备，还包括与所述显示屏幕或所述可变纹理表面中的至少选择的一个耦合的通信接口，并且配置成从所述计算设备接收与向所述用户提供所述视觉反馈或触觉反馈中的至少对应的一个相关联的数据。
6. 如权利要求5所述的外围设备，其中，与向所述用户提供所述视觉反馈或触觉反馈相关联的数据包括以下中的至少一个：
-与要作为所述视觉反馈的部分呈现的背景相关联的数据，
-与所述一个或多个手的全部或部分描绘相关联的数据，或者
-与配置所述可变纹理表面以提供所述触觉反馈相关联的数据。
7. 如权利要求1所述的外围设备，还包括耦合到所述传感器的处理器，并且配置成至少促成处理所述一个或多个手的位置、姿势或移动数据，以便向所述用户提供所述视觉反馈或触觉反馈。
8. 如权利要求1所述的外围设备，还包括耦合到所述显示屏幕或所述可变纹理表面中的至少一个的处理器，并且配置成至少促成向所述用户提供所述视觉反馈或触觉反馈中对应的一个。
9. 如权利要求8所述的外围设备，其中，所述处理器配置成促成以下中的至少一个：
-确定要作为所述视觉反馈的部分呈现的背景，
-确定所述一个或多个手的全部或部分描绘，或者
-确定所述可变纹理表面以提供所述触觉反馈。
10. 如前述权利要求中任一项所述的外围设备，其中，所述外围设备包括所述显示屏幕和所述可变纹理表面这两者。
11. 一种用于促进人与计算设备交互的方法，包括：
当用户在外围设备的腔内将一个或多个手移动或摆姿势以与计算设备交互时，收集所述计算设备的用户的一个或多个手的位置、姿势或移动数据；以及
向所述用户提供经由所述外围设备的显示屏幕的视觉反馈或者经由所述外围设备的可变纹理表面的触觉反馈中的至少选择的一个，其中，所述提供至少部分基于所述一个或多个手的位置、姿势或移动数据。
12. 如权利要求11所述的方法，其中，对于所述用户的双手执行所述收集和提供。
13. 如权利要求11所述的方法，还包括将所述一个或多个手的位置、姿势或移动数据传送到所述计算设备。
14. 如权利要求11所述的方法，还包括从所述计算设备接收与向所述用户提供所述视觉反馈或触觉反馈中的至少选择的一个相关联的数据。
15. 如权利要求14所述的方法，其中，与向所述用户提供所述视觉反馈或触觉反馈相关联的数据包括以下中的至少一个：
-与要作为所述视觉反馈的部分呈现的背景相关联的数据，
-与所述一个或多个手的全部或部分描绘相关联的数据，或者
-与配置所述可变纹理表面以提供所述触觉反馈相关联的数据。
16. 如权利要求11所述的方法，还包括由所述外围设备处理所述一个或多个手的位置、姿势或移动数据，以便向所述用户提供所述视觉反馈或触觉反馈。
17. 如权利要求11所述的方法，还包括至少促成由所述外围设备向所述用户提供所述视觉反馈或触觉反馈。
18. 如权利要求17所述的方法，其中，促成包括促成以下中的至少一个：
-确定要作为所述视觉反馈的部分呈现的背景，
-确定所述一个或多个手的全部或部分描绘，或者
-确定所述可变纹理表面以提供所述触觉反馈。
19. 如权利要求11-18中任一项所述的方法，其中，提供包括提供所述视觉反馈和所述触觉反馈这两者。
20. 至少一个非暂时计算机可读存储介质，具有多个指令，所述多个指令配置成使外围设备响应于所述外围设备的处理器对所述指令的执行以：
当所述用户在所述外围设备的腔内将所述一个或多个手移动或摆姿势以与计算设备交互时，收集所述计算设备的用户的一个或多个手的位置、姿势或移动数据；以及
向所述用户提供经由所述外围设备的显示屏幕的视觉反馈或者经由所述外围设备的可变纹理表面的触觉反馈中的至少选择的一个，其中，所述提供至少部分基于所述一个或多个手的位置、姿势或移动数据。
21. 如权利要求20所述的存储介质，其中，所述指令响应于由所述外围设备的处理器执行，使所述外围设备对于所述用户的双手执行所述收集操作和提供操作。
22. 如权利要求20所述的存储介质，其中，所述指令响应于由所述外围设备的处理器执行，还使所述外围设备将所述一个或多个手的位置、姿势或移动数据传送到所述计算设备。
23. 如权利要求20所述的存储介质，其中，所述指令响应于由所述外围设备的处理器执行，还使所述外围设备从所述计算设备接收与向所述用户提供视觉反馈或触觉反馈中的至少选择的一个相关联的数据。
24. 如权利要求20所述的存储介质，其中，所述指令响应于由所述外围设备的处理器执行，还使所述外围设备处理所述一个或多个手的位置、姿势或移动数据，以便向所述用户提供视觉反馈或触觉反馈。
25. 如权利要求20所述的存储介质，其中，所述指令响应于由所述外围设备的处理器执行，还使所述外围设备至少促成向所述用户提供所述视觉反馈或触觉反馈。
26. 如权利要求20-25中任一项所述的存储介质，其中，提供包括提供所述视觉反馈和所述触觉反馈这两者。
CN201380027743.1A 2012-06-27 2013-05-29 用于视觉反馈和/或触觉反馈的外围设备 Active CN104335140B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/534784 2012-06-27
US13/534,784 US20140002336A1 (en) 2012-06-27 2012-06-27 Peripheral device for visual and/or tactile feedback
PCT/US2013/043101 WO2014003949A1 (en) 2012-06-27 2013-05-29 Peripheral device for visual and/or tactile feedback

Publications (2)

Publication Number Publication Date
CN104335140A true CN104335140A (zh) 2015-02-04
CN104335140B CN104335140B (zh) 2018-09-14

Family

ID=49777580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380027743.1A Active CN104335140B (zh) 2012-06-27 2013-05-29 用于视觉反馈和/或触觉反馈的外围设备

Country Status (4)

Country Link
US (1) US20140002336A1 (zh)
CN (1) CN104335140B (zh)
DE (1) DE112013003238T5 (zh)
WO (1) WO2014003949A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640582B2 (en) * 2014-05-28 2023-05-02 Mitek Systems, Inc. Alignment of antennas on near field communication devices for communication
CN108209932A (zh) * 2018-02-11 2018-06-29 西南交通大学 医疗监护系统以及医疗监护方法
US11549819B2 (en) * 2018-05-30 2023-01-10 International Business Machines Corporation Navigation guidance using tactile feedback implemented by a microfluidic layer within a user device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040164971A1 (en) * 2003-02-20 2004-08-26 Vincent Hayward Haptic pads for use with user-interface devices
CN1853093A (zh) * 2003-09-16 2006-10-25 株式会社东京大学Tlo 光学式触觉传感器和使用该传感器的力矢量分布再构成法
US20110043496A1 (en) * 2009-08-24 2011-02-24 Ray Avalani Bianca R Display device
CN102176888A (zh) * 2008-08-25 2011-09-07 苏黎世大学数学和自然科学部 可调整的虚拟现实系统
CN102349040A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于包括基于表面的触觉效果的界面的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
KR20040088271A (ko) * 2003-04-09 2004-10-16 현대모비스 주식회사 장갑형 마우스
KR20050102803A (ko) * 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
US20060277466A1 (en) * 2005-05-13 2006-12-07 Anderson Thomas G Bimodal user interaction with a simulated object
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20100315335A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Pointing Device with Independently Movable Portions
JP5374266B2 (ja) * 2009-07-22 2013-12-25 株式会社シロク 光学式位置検出装置
US9055904B2 (en) * 2009-08-03 2015-06-16 Nike, Inc. Multi-touch display and input for vision testing and training
KR101234111B1 (ko) * 2009-10-13 2013-02-19 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US9417694B2 (en) * 2009-10-30 2016-08-16 Immersion Corporation System and method for haptic display of data transfers
US8633916B2 (en) * 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
US8823639B2 (en) * 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040164971A1 (en) * 2003-02-20 2004-08-26 Vincent Hayward Haptic pads for use with user-interface devices
CN1853093A (zh) * 2003-09-16 2006-10-25 株式会社东京大学Tlo 光学式触觉传感器和使用该传感器的力矢量分布再构成法
CN102176888A (zh) * 2008-08-25 2011-09-07 苏黎世大学数学和自然科学部 可调整的虚拟现实系统
CN102349040A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于包括基于表面的触觉效果的界面的系统和方法
US20110043496A1 (en) * 2009-08-24 2011-02-24 Ray Avalani Bianca R Display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
WO2019019240A1 (zh) * 2017-07-25 2019-01-31 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途

Also Published As

Publication number Publication date
CN104335140B (zh) 2018-09-14
WO2014003949A1 (en) 2014-01-03
DE112013003238T5 (de) 2015-04-30
US20140002336A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP7366961B2 (ja) 錯触力覚を駆動する方法及び装置
CN103257783B (zh) 用于在移动设备上共享反馈的交互模型
CN103412659B (zh) 感测显示区边缘的用户输入
JP2009276996A (ja) 情報処理装置、情報処理方法
CN107850948A (zh) 混合现实社交
CN106293082A (zh) 一种基于虚拟现实的人体解剖交互系统
JP2009069918A (ja) 情報処理装置、情報処理方法
CN102226880A (zh) 一种基于虚拟现实的体感操作方法及系统
JP5496032B2 (ja) 触感呈示装置及び触感呈示装置の制御方法
CN103077633A (zh) 一种立体虚拟培训系统和方法
Salisbury Jr Making graphics physically tangible
CN104335140A (zh) 用于视觉反馈和/或触觉反馈的外围设备
US20170097682A1 (en) Tactile sensation data processing apparatus, tactile sensation providing system, and tactile sensation data processing method
CN108604130A (zh) 信息处理设备、信息处理方法和非暂态计算机可读介质
CN105094635A (zh) 用于通过体图像进行导航的设备和方法
Bozgeyikli et al. Evaluating object manipulation interaction techniques in mixed reality: Tangible user interfaces and gesture
Giannopoulos et al. Touching the void: exploring virtual objects through a vibrotactile glove
Feick et al. VoxelHap: A Toolkit for Constructing Proxies Providing Tactile and Kinesthetic Haptic Feedback in Virtual Reality
Sharma et al. Technology based on touch: Haptics technology
Takeda et al. Tactile actuators using SMA micro-wires and the generation of texture sensation from images
CN106371574A (zh) 触觉反馈的方法、装置和虚拟现实交互系统
Gu et al. Analysis of the Treadmill Utilization for the Development of a Virtual Reality Walking Interface
Argelaguet Sanz et al. Complexity and scientific challenges
Sun et al. Effects on performance of analytical tools for visually demanding tasks through direct and indirect touch interaction in an immersive visualization
Rodrigues Establishing a framework for the development of multimodal virtual reality interfaces with applicability in education and clinical practice

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant