CN109074154A - 增强和/或虚拟现实中的悬停触摸输入补偿 - Google Patents

增强和/或虚拟现实中的悬停触摸输入补偿 Download PDF

Info

Publication number
CN109074154A
CN109074154A CN201780017159.6A CN201780017159A CN109074154A CN 109074154 A CN109074154 A CN 109074154A CN 201780017159 A CN201780017159 A CN 201780017159A CN 109074154 A CN109074154 A CN 109074154A
Authority
CN
China
Prior art keywords
user interface
user
hand
point
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017159.6A
Other languages
English (en)
Other versions
CN109074154B (zh
Inventor
徐兆阳
克里斯蒂安·普拉格曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109074154A publication Critical patent/CN109074154A/zh
Application granted granted Critical
Publication of CN109074154B publication Critical patent/CN109074154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种悬停触摸补偿系统和方法，其可以检测并跟踪指示/选择设备(诸如，用户手指)相对于用户界面的输入表面的悬停位置，并且可以检测所述指示/选择设备开始向所述用户界面的所述输入表面移动的点。所述系统可以基于检测到向所述用户界面移动的点处的所述指示/选择设备相对于所述用户界面的所述输入表面的所述悬停位置来识别所述用户界面上的目标接触点。

Description

增强和/或虚拟现实中的悬停触摸输入补偿
相关申请的交叉引用
本申请是于2017年3月6日提交的美国申请第15/450,927号的继续申请并且要求该申请的优先权，该申请要求于2016年6月29日提交的美国临时申请第62/356,193号的优先权，其公开的全部内容通过引用并入本文。
本申请要求于2016年6月29日提交的美国临时申请第62/356,193号的优先权，该申请公开的全部内容通过引用并入本文。
技术领域
本文大体上涉及增强现实环境和/或虚拟现实环境中的悬停触摸输入补偿。
背景技术
增强现实(AR)系统和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式增强和/或虚拟现实环境。用户可以通过与各种电子设备的交互来感受这种虚拟环境。例如，包括显示器、眼镜、护目镜等的头盔或者其它头戴式设备(用户在查看显示设备时或者在查看周围环境时通过该显示器、眼镜、护目镜等观看)可以提供将由用户感受到的虚拟环境的音频元素和视觉元素。用户可以通过，例如，手部/手臂姿势、对可操作地耦合至头戴式设备的外部设备(诸如，例如，手持式控制器、装有传感器的手套、和其它这种电子设备)的操纵来穿过虚拟环境中的虚拟元素并与其交互。外部设备(用户可以在此处输入要在虚拟环境中执行的各种选择)与显示虚拟环境的头戴式设备的物理分离可能会导致在虚拟环境中执行输入的方式不一致。
发明内容
在一个方面中，计算机实施方法可以包括：跟踪指示设备在用户界面的检测区域内的悬停位置；将指示设备的悬停位置映射到用户界面上的相应点；检测指示设备开始向用户界面移动；确定在检测到指示设备开始向用户界面移动时指示设备的悬停位置以及用户界面上的相应映射点；将检测到开始移动时用户界面上的映射点设置为用户界面上的选择点；以及响应于检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入。
在另一个方面中，计算机程序产品可以实现在非暂时性计算机可读介质上。该计算机可读介质上可以存储有指令序列，该指令在由处理器执行时使处理器执行一种方法。该方法可以包括：跟踪指示设备在用户界面的检测区域内的悬停位置；将指示设备的悬停位置映射到用户界面上的相应点；检测指示设备开始向用户界面移动；确定在检测到指示设备开始向用户界面移动时指示设备的悬停位置以及用户界面上的相应映射点；将检测到开始移动时用户界面上的映射点设置为用户界面上的选择点；以及响应于检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入。
在下面的附图和说明书中陈述一种或多种实施方式的细节。其它的特征将通过说明书、附图和权利要求而变得显而易见。
附图说明
图1A和1B图示了根据本文描述的实施方式的包括头戴式显示设备和手持式电子设备的虚拟现实系统的示例实施方式。
图2A和2B是根据本文描述的实施方式的示例头戴式显示设备的透视图。
图3是根据本文描述的实施方式的增强和/或虚拟现实系统的第一电子设备和第二电子设备的框图。
图4和5图示了根据本文描述的实施方式的手动指示/选择设备相对于手持式电子设备的用户界面的移动。
图6A至6F图示了根据本文描述的实施方式的检测并跟踪手动指示/选择设备相对于手持式电子设备的用户界面的位置，并且相应地将其映射到增强和/或虚拟现实系统中的虚拟用户界面。
图7A至7C图示了根据本文描述的实施方式的检测并跟踪指示/选择设备相对于增强和/或虚拟现实系统中的虚拟用户界面的位置。
图8是根据本文描述的实施方式的检测并跟踪手动指示/选择设备相对于手持式电子设备的用户界面的位置，并且相应地将其映射到增强和/或虚拟现实系统中的虚拟用户界面的方法的流程图。
图9示出了可以用于实施本文描述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
例如，戴着头戴式显示器(HMD)沉浸在增强现实和/或虚拟现实环境中的用户可以探索3D虚拟环境并且通过，例如，物理交互(诸如，例如，手部/手臂姿势、头部移动、行走等)和/或对HMD和/或单独的电子设备的操纵来与3D虚拟环境交互以感受虚拟环境并与虚拟环境中的虚拟对象、特征、元素等交互。例如，在一些实施方式中，HMD可以与一个或多个手持式电子设备(诸如，例如，控制器、陀螺鼠标、或者其它这种手持式电子设备)配对。与HMD配对的手持式电子设备的用户操纵可以使用户能够与由HMD生成的虚拟环境中的特征交互。同样地，通过这种方式配对而进行的HMD与手持式电子设备之间的信息交换可以使用户能够在沉浸在虚拟环境中时访问不与(由HMD生成并且目前由用户感受的)虚拟环境直接关联的手持式电子设备的特征(诸如，例如，消息传送应用等)，即使在用户由于HMD的构造无法直接看见手持式电子设备时。在根据本文描述的实施方式的系统和方法中，用户可以操纵与HMD配对的手持式电子设备以在由HMD生成的虚拟环境中进行期望动作和/或在与手持式电子设备的操作相关联的应用中进行期望动作。
在一些情况下，因为在HMD的显示器上将虚拟环境显示给用户，并且用户无法看见手持式电子设备，所以用户可能难以经由手持式电子设备准确地输入一些类型的输入。例如，用户可能难以在无法看见手持式电子设备和/或相对于手持式电子设备上的键盘的手指位置的情况下通过使用设置在手持式电子设备上的键盘来输入文本输入。因此，在一些实施方式中，可以在虚拟环境中将虚拟界面屏幕呈现并显示给用户，模仿在手持式电子设备上可用的用户界面，诸如，输入屏幕。在一些实施方式中，还可以在虚拟环境中呈现相对于手持式电子设备的用户界面(诸如，例如，键盘)的手指位置的指示器，以向用户提供相对于用户界面的各种元素的手指位置的视觉指示器，并且有助于通过手持式电子设备的手动操纵来进行选择和输入。
当在手持式电子设备的触摸表面上输入触摸输入时，用户手指与触摸表面接触的实际点可能多少与触摸表面上的用户目标(intended)接触点偏移，即使在用户可以直接看见触摸表面时。例如，该偏移可以归因于手指的生理机能以及手指从触摸表面之上的悬停位置向触摸表面移动时手指可能遵循的有点弓形的或者迂回的路径。这种偏移效果可能会在虚拟环境中加重，因为用户由于HMD的物理构造而无法直接看见手持式电子设备以及接近手持式电子设备的触摸表面的手部和/或手指。在一些情况下，这可能会更加复杂，因为无法在虚拟环境中对虚拟用户界面进行定位和/或定向以与周围环境中的手持式电子设备和/或用户手部/手指的物理位置和/或定向相对应。在下文中，目标接触点可以指与手持式电子设备的触摸表面上的实际接触点偏移的点。例如，目标接触点与实际接触点之间的偏移可以归因于用户的物理构造、用户查看用户界面的角度、和/或用户对用户界面或虚拟用户界面的可见性的限制。根据本文描述的实施方式的悬停触摸补偿系统和方法可以补偿该偏移，使得通过补偿，实际接触点可以不同于用户界面上的选择点，该选择点反映了用户目标接触点。
在根据本文描述的实施方式的悬停触摸补偿系统中，系统可以通过基本上连续地跟踪指示设备或者指示器(诸如，例如，悬停在触摸表面之上的用户手指)的位置，并且基于在检测到指示器开始向触摸表面移动的点处的指示器的悬停位置识别触摸表面上的目标接触点，来确定手持式电子设备的触摸表面上的目标接触点。类似原理可以适用于对虚拟用户界面中的目标虚拟接触点的确定。例如，在一些实施方式中，系统可以通过基本上连续地跟踪指定选择器、或者指定选择设备、或者指定指示器、或者指定指示设备(诸如，例如，相对于虚拟用户界面悬停的手持式电子设备、用户手部等)的位置，并且基于在检测到指定指示器开始向虚拟用户界面移动的点处的指定指示器的悬停位置识别虚拟用户界面上的目标虚拟接触点，来确定相对于在虚拟环境中显示的虚拟用户界面的目标虚拟接触点。如上文描述的并且要在下文中进一步描述的那样确定的目标接触点或者目标虚拟接触点可以被设置为选择点，该选择点响应于检测到选择器、或者选择设备、或者指示器、或者指示设备与用户界面或者虚拟用户界面的接触或者虚拟接触而被登记为用户输入。
在图1A和1B所示的示例实施方式中，戴着HMD 100的用户正拿着便携手持式电子设备102或者控制器102，该便携手持式电子设备102或者控制器102可以经由，例如，有线连接、或者无线连接(诸如，例如，WiFi或者蓝牙连接)与HMD 100可操作地耦合或通信。这可以实现手持式电子设备102与HMD 100之间的通信和数据交换，使得对手持式电子设备102的操纵(诸如，例如，在触摸表面108上接收到的输入)或者对手持式电子设备102的其它操纵设备106的操纵、手持式电子设备102的移动等可以被转换为由HMD 100生成的虚拟环境中的相应交互。在图1A和1B所示的示例实施方式中包括单个手持式电子设备102或者控制器102，仅为了便于讨论和说明。然而，多个不同的外部电子设备可以与HMD 100配对，本文要描述的原理适用于多个不同的外部电子设备。
图2A和2B是示例HMD(诸如，例如，由图1A中的用户戴着的HMD 100)的透视图。HMD100可以包括耦合至框架120的外壳110，该框架120具有音频输出设备130，包括，例如，安装在也耦合至框架120的耳机中的扬声器。在图2B中，外壳110的前部110a远离外壳110的基部110b旋转，使得容置在外壳110中的一些部件可见。显示器140可以安装在外壳110的前部110a的内侧。当前部110a相对于外壳110的基部110b处于关闭位置时，透镜150可以安装在外壳110中，处于用户眼睛与显示器140之间。HMD 100可以包括感测系统160(包括各种传感器)和控制系统170(包括处理器109和各种控制系统设备)以促进HMD 100的操作。摄像头180可以捕获可以用于帮助跟踪用户和/或手持式电子设备102的物理位置的静止和/或移动图像。也可以在显示器140上以穿透模式将捕获到的图像显示给用户。
在一些实施方式中，HMD 100可以包括注视跟踪设备165以检测并跟踪用户的眼睛注视。注视跟踪设备165可以包括一个或多个传感器165A以检测并跟踪眼睛注视方向和移动。例如，注视跟踪设备可以包括捕获用户眼睛的图像以将其处理为要转换为虚拟环境中的相应交互的用户输入的一个或多个光传感器和/或一个或多个图像传感器165A等。
在图3中示出了根据本文描述的实施方式的系统的框图。该系统可以包括第一电子设备300(诸如，例如，上文相对于图1A至2B描述的HMD)以及与第一电子设备300通信的第二电子设备302(诸如，例如，上文相对于图1B描述的控制器)。
第一电子设备300可以包括感测系统360和控制系统370，感测系统360和控制系统370可以分别类似于图2A和2B所示的感测系统160和控制系统170。感测系统360可以包括一种或多种不同种类的传感器(包括：例如，光传感器、音频传感器、图像传感器、距离/接近传感器、注视跟踪传感器、和/或其它传感器)和/或传感器的不同组合。控制系统370可以包括，例如，电力/暂停控制设备、音频和视频控制设备、光学控制设备、转换控制设备、和/或其它这种设备和/或设备的不同组合。根据特定实施方式，感测系统360和/或控制系统370可以包括更多或更少的设备。例如，在除了图2A和2B所示的HMD 100之外的HMD内，包括在感测系统360和/或控制系统370中的元件可以具有不同的物理布置(例如，不同的物理位置)。第一电子设备300还可以包括与感测系统360和控制系统370通信的处理器390。第一电子设备300还可以包括存储器380、和提供第一电子设备300与另一个外部设备(诸如，例如，第二电子设备302)之间的通信的通信模块350。处理器390还可以处理从第二电子设备302接收到的输入。
第二电子设备302可以包括实现第二电子设备302与另一个外部设备(诸如，例如，第一电子设备300)之间的通信和数据交换的通信模块306。第二电子设备302可以包括感测系统304，该感测系统304包括，例如，(诸如，包括在，例如，摄像头和麦克风中的)图像传感器和音频传感器、惯性测量单元、(诸如包括在手持式电子设备(包括，例如，可以检测触摸实施与触敏表面的接近的电容式传感器、控制器、陀螺鼠标、智能手机等)的触敏表面中的)触摸传感器、和其它这种传感器和/或传感器的不同组合。处理器309可以与第二电子设备302的感测系统304和控制器305通信，该控制器305能够访问存储器308并且控制第二电子设备302的总体操作。
如上文所讨论的，当在手持式电子设备102的触摸表面上输入触摸输入时，用户的手指可以在悬停点PH处悬停在触摸表面108之上。悬停点PH可以大体上位于手持式电子设备102的触摸表面108上的目标触摸点PS的正上方，如图4所示。例如，在一些实施方式中，目标触摸点PS可以是悬停接触点PH在手持式电子设备102的触摸表面108上的投影，例如，悬停触摸点PH在手持式电子设备102的触摸表面108上的目标触摸点PS上的法线投影或正交投影。当手指从悬停点PH向下向触摸表面108移动以轻击或触摸目标触摸点PS时，手指的运动可能会遵循有点弓形的或者迂回的路径。当手指遵循这种有点弓形的或者迂回的路径时，触摸表面108上的实际接触点PA可能多少与触摸表面108上的目标触摸点PS偏移。如图4所示，手指的触摸或轻击运动遵循有点弓形的路径T1，而不是到触摸表面108的直接的或直线的垂直路径T2。因此，在图4所示的示例中，在没有通过系统应用的任何类型的悬停补偿的情况下，系统会登记在实际接触点PA处的触摸或轻击输入，而不登记目标触摸点PS处的触摸或轻击输入。如上文所提到的，当在用户沉浸在由HMD 100生成的虚拟环境中时在手持式电子设备102的用户界面上输入时，这个问题可能会加重。在这种情况下，用户无法看见手持式电子设备102、手持式电子设备102上的用户界面、和用户手部/手指，和/或虚拟用户界面在虚拟环境中所处的虚拟位置和/或定向可能与周围环境中用户手部拿着手持式电子设备102并操纵手持式电子设备102的位置和/或定向不同。
可以在相对于手持式电子设备102的触摸表面108的XYZ坐标系上表示用户手指相对于手持式电子设备102的触摸表面108的悬停触摸点PH处的悬停位置以及手指向上文针对图4所讨论的实际接触点PA的移动。如图5所示，可以基本上连续地检测在手持式电子设备102的触摸表面108之上的手指的位置，并且系统可以基本上连续地记录手指悬停在手持式电子设备102的触摸表面108之上时手指的(x,y,z)位置。在多个悬停触摸点(例如，悬停触摸点P1、P2、P3和P4)中的每个悬停触摸点处，随着时间的流逝，由Z轴表示的手指的位置与由X轴表示的触摸表面108间隔基本上恒定的垂直距离。在与时间tn相对应的点TN处，系统可以检测到手指开始移动，例如，手指从悬停点P4沿着路径T5向下向触摸表面108移动。例如，这可以通过手持式电子设备102的传感器以，例如，感测到的手指与手持式电子设备102的接近的变化、移动的加速度的变化等的形式检测到。
如上文针对图4所描述的，在点TN(在该示例中，与悬停点P4相对应)处检测到用户手指开始向下移动时，系统可以确定悬停点P4与特定的目标触摸点PS相对应，如图4所示，即使图5中的手指所遵循的路径T5在手持式电子设备102的触摸表面108上产生了实际接触点PA，如图4所示。如上文所提到的，在一些实施方式中，目标触摸点PS可能是在检测到向触摸表面108移动的点处悬停触摸点PH在触摸表面108上的大致正交的投影或法线投影。在一些实施方式中，例如，可以通过手持式电子设备102的传感器来检测并跟踪悬停触摸点PH(即，图5所示的P1、P2、P3、P4)以及手指开始从悬停触摸点PH中的其中一个悬停触摸点向触摸表面108移动。例如，在一些实施方式中，手持式电子设备102可以包括传感器，诸如，例如，与触摸表面108邻近的电容式传感器109。该电容式传感器109可以检测一个或多个导电且电接地的对象(诸如，例如，用户手指)的存在、接近和移动。电容式传感器109可以包括，例如，单层电容式传感器或者多层电容器阵列，使得检测到电接地对象(诸如，用户手指)处的电容式传感器109的面积中的电容变化能够指示电接地对象的存在、或者接近、或者触摸。
电容式传感器109可以结合手持式电子设备102的控制器在，例如，相对于手持式电子设备102的触摸表面108的检测范围或区域D内至，例如，在上文相对于图5所描述的Z方向上限定出的检测范围或区域D内检测并跟踪用户手指的位置。具体地，电容式传感器109和控制器可以在用户手指的位置与触摸表面108上的点相对应时检测并跟踪用户手指的位置(例如，该点与可用于在触摸表面108上的用户界面的相应位置处进行选择的对象相对应)。电容式传感器109还可以检测用户手指与电容式传感器109之间的(以及用户手指与触摸表面108之间的)距离变化以检测用户手指开始从悬停触摸位置PH向触摸表面108移动。检测到的开始从悬停触摸位置PH向触摸表面108移动的点可以提供触摸表面108上的用户目标触摸点PS的指示，如上所述。
在一些实施方式中，电容式传感器109可以在与手持式电子设备102的触摸表面108邻近的电容式传感器109的限定接近、或者检测范围、或者检测区域D内检测电接地的指示实施(例如，用户手指)的接近。例如，在一些实施方式中，电容式传感器在Z方向上的检测范围或区域可以高达10至15cm。
在一些实施方式中，例如，可以通过HMD 100的传感器或者包括在系统中的另一个传感器来检测悬停触摸点PH(即，图5所示的P1、P2、P3、P4)以及手指开始从悬停触摸点PH向触摸表面108移动。例如，在一些实施方式中，图像传感器，诸如，例如，HMD 100的摄像头可以捕获用户手指相对于手持式电子设备102的触摸表面108的图像。例如，可以通过HMD 100结合手持式电子设备102相对于HMD 100的已知位置和定向来处理这些图像，以确定用户手指相对于触摸表面108的悬停触摸点PH以及开始从悬停触摸点PH向触摸表面108移动的点，进而确定上述的目标触摸点PS。
如上文所提到的，系统可以如上文所描述的那样基本上连续地跟踪用户手指相对于触摸表面108的位置。在一些实施方式中，系统可以基于在检测到触摸表面108上的实际触摸点PA处的触摸之前按照设定时间间隔检测到的用户手指的悬停触摸点PH来确定目标触摸点PS。即，在一些实施方式中，在实际触摸点PA处检测到触摸表面108上的触摸时，系统可以确定目标触摸点PS与在设定时间间隔内检测到的悬停触摸点PH相对应。在一些实施方式中，设定时间间隔可以是相对较短的时间间隔，诸如，例如，小于1至2秒。
在上述的示例实施方式中，确定目标触摸点PS是检测到用户手指向触摸表面108移动的点处的用户手指的悬停触摸点PH的投影，例如，大致正交的投影。在一些实施方式中，可以确定目标触摸点PS是作为，例如，实际触摸点PA与检测到用户手指向下移动的点处的悬停触摸点PH的正交投影之间的偏移的点。基于跟踪到的用户手指的悬停位置PH和检测到用户手指向触摸表面108移动而对目标接触点PS的这种确定可以基于，例如，正在执行的特定应用、用户界面的特定元素、间隔等、用户手指的移动速度和/或用户手指与触摸表面的距离、和其它这种因素来调整。
在上文讨论的示例中，手持式电子设备102的感测系统，例如，电容式传感器109以及控制器可以针对与手持式电子设备102的触摸表面108邻近并且从手持式电子设备102的触摸表面108向外延伸的、或者手持式电子设备102的触摸表面108之上的区域检测并跟踪(x,y,z)指尖位置。在该悬停区域中检测到的(x,y,z)指尖位置可以，例如，映射到在HMD100的显示器104上通过HMD 100显示给用户的虚拟环境中的相应的虚拟用户界面。基于这种映射，当按照上述方式检测到用户指尖从悬停位置向触摸表面108移动时，可以记录用户输入和/或选择。
在一些实施方式中，可以在手持式电子设备102上，诸如，例如，手持式电子设备102的触摸表面108上设置用户界面400以接收用户输入，如图6A所示。在一些实施方式中，可以将用户界面400简单地限定为触摸表面108中能够接收用户触摸输入的区域，这些用户触摸输入可以与要由手持式电子设备102执行和/或要传输到HMD 100以在虚拟环境中执行的动作相对应。在一些实施方式中，用户界面400可以包括可由用户响应于触摸输入而选择的元素、对象、特征等。当用户在戴着HMD 100并且沉浸在虚拟环境中时无法直接看见手持式电子设备102上的触摸表面108和/或用户界面400时，系统可以生成用户界面400的虚拟表示，并且例如，在HMD的显示器140上将虚拟表示作为虚拟用户界面450显示给用户，如图6B所示。即，图6B(以及图6D和6F)图示了由戴着HMD 100的用户查看的虚拟用户界面450。图6A所示的示例用户界面400和用户界面400的相应虚拟表示，即，图6B所示的示例虚拟用户界面450被图示为键盘，仅为了便于讨论和说明。本文描述的原理可以适用于其它类型的用户界面，诸如，例如，图标、菜单、列表等，这些用户界面可以呈现给用户以响应于用户触摸输入进行选择、操纵、交互等。
如在图6A所示的示例中所图示的，用户的手指可以悬停在可在设置在手持式电子设备102上的物理用户界面上进行选择的特定物体/对象/特征/元素(诸如，本示例中的字母H)之上。如图6B所示，可以将虚拟用户界面450作为虚拟环境中的虚拟对象呈现并显示给用户，在虚拟用户界面450上映射在物理用户界面处检测到的用户输入并将其显示给用户。当用户手指悬停在物理用户界面400的字母H之上时，可以在(在虚拟环境中显示给用户的)虚拟用户界面450上显示虚拟指示器460，如图6B所示，将相对于图6A所示的触摸表面108上的物理用户界面400检测到的悬停位置的虚拟指示提供给用户。虚拟指示器460可以是，例如，覆盖在虚拟用户界面450的相应部分上的虚拟圆点、虚拟用户界面的相应部分的外观变化、或者将相对于物理用户界面400/虚拟用户界面450的手指位置指示给用户的其它视觉标记。
当用户手指从用户界面450的字母H之上的悬停位置(即，上文针对图4所讨论的悬停触摸点PH)向手持式电子设备102的触摸表面108移动以与触摸表面108接触并选择字母H(即，上文针对图4所讨论的目标接触点PS)时，用户手指遵循有点弓形的路径，并且可以接触触摸表面108上的用户界面400的不一定与字母H相对应的部分(即，上文针对图4所讨论的实际接触点PA)。在根据本文描述的实施方式的系统和方法中，系统(例如，电容式传感器109以及手持式电子设备102的控制器)可以在用户手指相对于触摸表面108和邻近的电容式传感器109移动时检测并跟踪用户手指的悬停触摸位置PH，将检测到的悬停触摸位置PH映射到用户界面400的相应部分(诸如，例如，可选择的物体)。系统还可以在上述的虚拟用户界面450上生成并显示虚拟指示器460，将检测到的用户手指的悬停触摸位置PH映射到虚拟用户界面450上的相应部分，以向用户提供用户手指相对于物理用户界面400和虚拟用户界面450的位置的指示，以通过使用界面400/450来促进虚拟环境中的用户交互。
系统(例如，电容式传感器109以及手持式电子设备102的控制器)可以检测用户手指从检测到的悬停触摸点PH(例如，图6A所示的字母H之上)向手持式电子设备102的触摸表面108移动。响应于检测到向触摸表面108的这种移动，系统可以确定，在检测到向触摸表面108移动的点处，用户手指被定位在与字母H相对应的悬停触摸点PH处。基于此，系统可以确定用户的意图是选择字母H，即使由于用户手指从悬停触摸点PH到触摸表面108上的实际触摸点PA的有点弓形的路径，实际触摸点PA与目标触摸点PS偏移，如图4和6C所示。响应于这种确定，系统可以在目标接触点PS(在该示例中的字母H)处登记或者执行用户输入或选择，如图6D所示，而不是在实际接触点PA处，如图6C所示。
在登记或执行了用户输入之后，如图6C至6D所示，用户可以移动手指来选择后续物体。例如，如图6E至6F所示，用户可以移动手指以在意图进行选择的用户界面400/450上的下一物体(在该示例中，用户界面400/450上的字母E)之上悬停。可以将在用户界面400的字母E之上检测到的手指的悬停触摸点PH映射到虚拟用户界面450并且通过视觉指示器460将其标记在虚拟用户界面450上。在检测到手指从字母E之上的悬停触摸点PH向手持式电子设备102的触摸表面108移动时，系统可以确定字母E是目标触摸点PS，即使实际触摸点PA可能多少与目标触摸点PS偏移，并且可以将字母E登记或执行为目标用户输入。在用户完成特定输入和/或一系列输入之前，该过程可以继续。
在一些实施方式中，用户可以在使用或者不使用其它外部电子设备(诸如，例如，手持式电子设备102和/或戴在手部或者手臂上的系统可以检测并跟踪到的其它传感器)的情况下通过使用身体姿势来与在由HMD 100生成的虚拟环境中显示给用户的虚拟用户界面、对象、物体、元素等交互。图7A是戴着HMD 100的用户的第三人称视角，并且图示了在由用户查看时由HMD 100生成的虚拟用户界面500。
如图7A所示，在一些实施方式中，虚拟用户界面500可以包括，例如，在可能被认为是用户的典型手臂范围内显示给用户的多个虚拟特征A、B、C、D、E和F。这可以使用户能够通过，例如，伸手和/或抓取和/或触摸动作来与设置在虚拟用户界面500中的虚拟特征A至F交互。在该示例实施方式中，系统可以检测并跟踪用户手部的位置以检测对虚拟特征A至F中的其中一个虚拟特征的选择，和/或系统可以在用户与虚拟用户界面500的虚拟特征A至F交互时检测并跟踪拿在用户手中的手持式电子设备102的位置，和/或系统可以在用户与虚拟用户界面500的虚拟特征A至F交互时检测并跟踪装在用户手上的一个或多个传感器等。在图7A至7C所示的示例中，用户通过使用手部/手臂姿势来与显示在虚拟环境中的虚拟特征交互，仅为了便于讨论和说明。然而，要描述的原理可以适用于通过使用系统可以检测并跟踪到其位置和/或定向的各种不同的指定选择设备而进行的与虚拟环境中的虚拟对象、特征等的用户交互。
用户手部/手臂(或者其它指定选择设备)与虚拟用户界面500的虚拟特征A至F的交互可能类似于上文针对图4至5所描述的用户手指与手持式电子设备102的触摸表面108上的用户界面400的交互。即，用户手部可以悬停在与虚拟用户界面500的虚拟特征A至F中的一个特定虚拟特征(诸如，例如，虚拟特征B)相对应的位置处，如图7B所示。当手部从悬停位置相对于虚拟用户界面500(具体地，相对于虚拟特征B)向虚拟用户界面500移动以与虚拟特征B进行虚拟接触时，在用户手臂的末端处的用户手部的移动可能会遵循有点弓形的或者迂回的路径，导致了目标触摸点PS(在该示例中，虚拟特征B)与实际触摸点PA之间的偏移，如图7C所示。(这可能类似于上文相对于图4至6详细描述的用户手指相对于手持式电子设备102的触摸表面108上的用户界面400移动，在其中，从悬停触摸点PH到实际触摸点的移动遵循有点弓形的或者迂回的路径，导致了目标触摸点PS与实际触摸点PA之间的偏移)。
系统可以检测并跟踪用户手部相对于虚拟用户界面500的位置，并且可以检测用户手部开始从悬停触摸点PH向虚拟用户界面500移动，将检测到的手部的悬停触摸点PH映射到虚拟用户界面500的相应部分(例如，将检测到的悬停触摸点PH映射到图7B中的虚拟特征B)。系统可以基于检测到开始向虚拟用户界面500移动的点处的悬停触摸点PH来确定目标用户输入/选择，并且可以登记目标触摸点PS处的用户选择，而不是登记实际触摸点PA处的用户选择。
在根据本文描述的实施方式的悬停触摸补偿系统中，系统可以通过基本上连续地跟踪指示/选择输入设备(诸如，相对于用户界面悬停的用户手指或手部)的位置，并且在检测到指示/选择实施开始从悬停点向用户界面移动的点处识别用户界面上的目标接触点，来确定设置在，例如，手持式电子设备的触摸表面上的用户界面和/或虚拟用户界面的虚拟显示器上的目标接触点。这可以促进在虚拟环境中的与手持式电子设备和/或控制器的用户交互以及在虚拟环境中的与虚拟用户界面的直接用户交互，并且可以提高用户输入准确度。
在图8中示出了根据本文描述的实施方式的检测并跟踪用户的手部和/或手指相对于增强和/或虚拟现实系统中的用户界面的悬停位置的方法800。如上文所提到的，所描述的原理可以适用于，例如，在手持式电子设备的用户界面处接收的并映射到显示在虚拟环境中的虚拟用户界面的触摸输入，如上文针对图6A至6F所描述的，并且还适用于，例如，通过与虚拟环境中的虚拟用户界面的直接用户交互接收到的输入，如上文针对图7A至7C所描述的。
例如，可以生成沉浸式增强和/或虚拟现实体验在由用户戴着的HMD的显示器上将其显示给用户(框810)。然后系统可以检测并跟踪指示/选择设备相对于用户界面的悬停位置(框820)，并且将检测到的悬停位置映射到用户界面的相应部分(框830)。例如，这可以包括：相对于手持式电子设备102上的物理用户界面400检测并跟踪手指悬停触摸点PH，并且将检测到的手指悬停触摸点PH映射到手持式电子设备102的用户界面上的相应元素，并且还映射到显示在虚拟环境中的虚拟用户界面450，如上文针对图4至6F所描述的。这种映射的结果可能是用户界面上的映射点。这还可以包括：相对于在虚拟环境中显示给用户的虚拟用户界面500检测并跟踪手部悬停位置，并且将检测到的手部悬停位置映射到虚拟用户界面500的相应虚拟元素，如上文针对图7A至7C所描述的。
在检测到指示/选择实施从悬停位置向用户界面移动(框840)时，系统可以基于在检测到开始移动的点处的映射到用户界面的悬停位置来设置目标触摸点(框850)。例如，这可以包括：在点TN处检测用户手指开始从悬停触摸点PH向用户界面400移动，并且将目标触摸点设置在与点TN处的悬停触摸位置PH相对应的用户界面400/450上的点PS处，如上文针对图4至6F所描述的。这还可以包括：在点TN处检测用户手部开始从悬停触摸位置向虚拟用户界面500移动，并且将目标触摸点设置在与点TN处的悬停触摸位置PH相对应的虚拟用户界面500上的点PS处，如上文针对图7A至7C所描述的。
然后系统可以在检测到与用户界面的用户接触时，登记或执行目标触摸点处的用户输入(框860、870)。例如，这可以包括：在用户界面400上的实际触摸点PA处检测触摸，登记目标触摸点PS处的输入，并且将目标触摸点PS处的输入映射到虚拟用户界面450，如上文针对图4至6F所描述的。这还可以包括：在实际触摸点PA处检测用户手部与虚拟用户界面500之间的虚拟接触，并且在虚拟用户界面500处登记目标触摸点PS处的输入，如上文针对图7A至7C所描述的。
在终止增强/虚拟现实体验(框880)之前，该过程可以继续。
图9示出了计算机设备900和移动计算机设备950的示例，该示例可以与本文所描述的技术一起使用。计算设备900包括：处理器902、存储器904、存储设备906、连接至存储器904和高速扩展端口910的高速接口908，和连接至低速总线914和存储设备906的低速接口912。每个部件902、904、906、908、910和912都利用不同的总线互相连接，并且都可以安装在公共主板上或者根据需要以其它的方式安装。处理器902可以对在计算设备900内执行的指令进行处理，包括存储在存储器904中或者存储设备906上以在外部输入/输出设备(诸如，耦合至高速接口908的显示器916)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多种存储器一起使用。同样，可以连接多个计算设备900，每个设备都提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。
存储器904存储在计算设备900内的信息。在一种实施方式中，存储器904是一个或多个易失性存储器单元。在另一种实施方式中，存储器904是一个或多个非易失性存储器单元。存储器904还可以是另一种形式的计算机可读介质，诸如，磁盘或者光盘。
存储设备906能够为计算设备900提供海量存储设备。在一种实施方式中，存储设备906可以是或者可以包括计算机可读介质，诸如，软盘设备、硬盘设备、光盘设备、或者磁带设备、闪速存储器或者其它类似的固态存储器设备，或者设备的阵列(包括存储区域网络或者其它配置的设备)。计算机程序产品可以有形地体现为信息载体。计算机程序产品还可以包含指令，该指令在被执行时执行一种或多种方法，诸如，上文描述的那些方法。信息载体是计算机可读介质或者机器可读介质，诸如，存储器904、存储设备906、或者在处理器902上的存储器。
高速控制器908管理计算设备900的带宽密集型操作，而低速控制器912管理较低的带宽密集型操作。这种功能分配仅仅是示例性的。在一种实施方式中，高速控制器908耦合至存储器904、显示器916(例如，通过图形处理器或者加速器)、和高速扩展端口910，该高速扩展端口910可以接受各种扩展卡(未示出)。在实施方式中，低速控制器912耦合至存储设备906和低速扩展端口914。低速扩展端口914可以包括各种通信端口(例如，USB、蓝牙、以太网、和无线以太网)，可以通过网络适配器耦合至一个或者多个输入/输出设备，诸如，键盘、定向设备、扫描器、或者组网设备(诸如，交换机或者路由器)。
如图所示，可以利用多种不同形式来实施计算设备900。例如，可以将计算设备900实施为标准服务器920，或者多次实施在一组这样的服务器中。还可以将计算设备900实施为机架式服务器系统924的一部分。另外，计算设备900可以实施在个人计算机(诸如，膝上型计算机922)中。可替代地，来自计算设备900的部件可以与移动设备(未示出)(诸如，设备950)中的其它部件组合。每个这种设备都可以包含一个或多个计算设备900、950，并且整个系统可以由彼此通信的多个计算设备900、950组成。
除了其它部件之外，计算设备950还包括处理器952、存储器964、输入/输出设备(诸如，显示器954)、通信接口966、和收发机968。设备950还可以设置有提供额外的存储的存储设备，诸如，微型硬盘或者其它设备。每个部件950、952、964、954、966、和968都通过使用各种总线互相连接，并且一些部件可以安装在公共主板上或者根据需要以其它方式安装。
处理器952可以执行在计算设备950内的指令，包括存储在存储器964中的指令。可以将处理器实施为包括单独的和多个模拟和数字处理器的芯片的芯片集。处理器可以提供，例如，对设备950的其它部件的协调，诸如，用户界面的控制、由设备950运行的应用、和通过设备950进行的无线通信。
处理器952可以通过耦合至显示器954的控制接口958和显示器接口956来与用户通信。例如，显示器954可以是TFT LCD(薄膜晶体管液晶显示屏)或者OLED(有机发光二极管)显示器、或者其它合适的显示技术。显示接口956可以包括用于驱动显示器954向用户呈现图形和其它信息的合适的电路系统。控制接口958可以接收来自用户的命令并且对命令进行转换以提交至处理器952。另外，外部接口962可以提供与处理器952的通信，以便使设备950能够与其它设备进行邻近区域通信。在一些实施方式中，外部接口962可以提供，例如，有线通信，或者在一些实施方式中可以提供无线通信，并且还可以使用多个接口。
存储器964存储在计算设备950内的信息。可以将存储器964实施为一个或多个计算机可读介质、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元。还可以提供扩展存储器974并且通过扩展接口972将扩展存储器974连接至设备950，该扩展接口972可以包括，例如，SIMM(单线存储器模块)卡接口。这种扩展存储器974可以为设备950提供附加存储空间，或者还可以存储设备950的应用或者其它信息。具体地，扩展存储器974可以包括用于执行或者补充上文描述的过程的指令，并且还可以包括安全信息。因此，例如，可以将扩展存储器974提供为设备950的安全模块，并且可以用允许安全使用设备950的指令来对其进行编程。另外，可以经由SIMM卡与附加信息(诸如，将识别信息通过不可侵入的方式放在SIMM卡上)一起来提供安全应用。
存储器可以包括，例如，闪速存储器和/或NVRAM存储器，如下文所描述的。在一种实施方式中，计算机程序产品有形地体现为信息载体。计算机程序产品包含指令，该指令在被执行时执行一种或多种方法，诸如，上文描述的那些方法。信息载体是计算机可读介质或者机器可读介质，诸如，存储器964、拓展存储器974或者在处理器952上的存储器，例如，可以在收发机968或者外部接口962上方接收在处理器952上的存储器。
设备950可以通过通信接口966无线地通信，若需要，该通信接口966可以包括数字信号处理电路系统。通信接口966可以提供在各种模式或者协议下的通信，诸如，GSM语音通话、SMS、EMS、或者MMS短信发送、CDMA、TDMA、PDC、WCDMA、CDMA2000、或者GPRS等。这种通信可以，例如，通过无线电频率收发机968发生。另外，短程通信可以通过使用，诸如，蓝牙、Wi-Fi、或者其它这种收发机(未示出)而发生。另外，GPS(全球定位系统)接收器模块970可以将附加的与导航或者位置有关的无线数据提供给设备950，若合适，该无线数据可以供在设备950上运行的应用使用。
设备950还可以使用音频编解码器960进行可听地通信，该音频编解码器960可以接收来自用户的口头信息并且将口头信息转换为可用的数字信息。音频编解码器960还可以为用户生成可听见的声音，诸如，通过扬声器，例如，在设备950的听筒中的扬声器。这种声音可以包括来自语音电话的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括通过在设备950上操作的应用生成的声音。
如图所示，可以利用多种不同形式来实施计算设备950。例如，可以将计算设备950实施为蜂窝电话980。还可以将计算设备950实施为智能手机982、个人数字助理、或者其它类似的移动设备的一部分。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序、存储系统、至少一个输入设备、和至少一个输出设备中的实施方式，该可编程系统包括可以是专用或者通用的至少一个可编程处理器，耦合从该可编程处理器接收数据和指令并且将数据以及指令传输到可编程处理器。
这些计算机程序(也称作程序、软件、软件应用或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和定向设备(例如，鼠标或者轨迹球)，用户可以通过该键盘和该定向设备来将输入提供给计算机。其它种类的设备还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后端部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的客户端计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者这种后端部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件互相连接。通信网络的示例包括：局域网(“LAN”)、广域网(“WAN”)、和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在一些实施方式中，图9所描绘的计算设备可以包括与虚拟现实(VR耳麦/HMD设备990)交互的传感器。例如，包括在计算设备950或者图9所描绘的其它计算设备上的一个或多个传感器可以将输入提供给VR耳麦990，或者通常将输入提供给VR空间。这些传感器可以包括但不限于，触摸屏、加速度计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器、和环境光传感器。计算设备950可以使用这些传感器来确定计算设备在VR空间中的绝对位置和/或检测到的旋转，然后可以将其作为VR空间的输入。例如，可以将计算设备950作为虚拟对象(诸如，控制器、激光指示器、键盘、武器等)包含在VR空间中。在将计算设备包含在VR空间中时，用户对计算设备/虚拟对象的定位可以使用户能够定位计算设备以在VR空间中按照某些方式来查看虚拟对象。例如，如果虚拟对象代表激光指示器，则用户可以操纵计算设备，就像它是实际的激光指示器一样。用户可以将计算设备左右移动、上下移动、呈圆形移动等，并且按照类似于使用激光指示器的方式来使用该设备。
在一些实施方式中，包括在计算设备950上或者连接至计算设备950的一个或多个输入设备可以作为VR空间的输入。这些输入设备可以包括但不限于，触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指针设备、鼠标、轨迹球、操纵杆、摄像头、麦克风、具有输入功能的耳机或蓝牙耳机、游戏控制器、或者其它可连接的输入设备。当将计算设备包含在VR空间中时，与包括在计算设备950上的输入设备的用户交互可以使特定动作能够发生在VR空间中。
在一些实施方式中，计算设备950的触摸屏可以在VR空间中呈现为触摸板。用户可以与计算设备950的触摸屏交互。例如，可以在VR耳麦990中将这些交互呈现为在所呈现的VR空间中的触摸板上的移动。所呈现的移动可以控制VR空间中的虚拟对象。在一些实施方式中，包括在计算设备950上的一个或多个输出设备可以在VR空间中将输出和/或反馈提供给VR耳机990的用户。这些输出和反馈可以是视觉的、战术的、或者音频的。这些输出和/或反馈可以包括但不限于，振动、打开和关闭一个或多个灯或闪光灯或者使一个或多个灯或闪光灯闪光和/或闪烁、发出警报、播放钟声、播放歌曲、和播放音频文件。输出设备可以包括但不限于振动电机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯、和扬声器。
在一些实施方式中，计算设备950可以作为另一个对象出现在计算机生成的3D环境中。用户与计算设备950的交互(例如，旋转、摇动、触摸触摸屏、手指滑过触摸屏)可以理解为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备950作为虚拟激光指示器出现在计算机生成的3D环境中。当用户操纵计算设备950时，用户看见激光指示器在VR空间中移动。用户在计算设备950上或者VR耳机990上接收来自与计算设备950在VR环境中的交互的反馈。
在一些实施方式中，计算设备950可以包括触摸屏。例如，用户可以按照特定方式与触摸屏交互，该特定方式可以利用在VR空间中发生的事情来模仿在触摸屏上发生的事情。例如，用户可以使用收聚类型的动作来缩放显示在触摸屏上的内容。触摸屏上的这种收聚类型的动作可以缩放设置在VR空间中的信息。在另一个示例中，可以在计算机生成的3D环境中将计算设备呈现为虚拟书。在VR空间中，可以在VR空间中显示书的书页，并且用户手指滑过触摸屏可以被理解为翻转/翻动虚拟书的书页。当翻转/翻动每一页时，除了看见书页内容变化之外，还可以向用户提供音频反馈，诸如，翻转书中的书页的声音。
在一些实施方式中，可以将除了计算设备(例如，鼠标、键盘)之外的一个或多个输入设备呈现在计算机生成的3D环境中。所呈现的输入设备(例如，所呈现的鼠标、所呈现的键盘)可以用来呈现在VR空间中以控制VR空间中的对象。
计算设备900旨在表示各种形式的数字计算机和设备，包括但不限于，膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算设备950旨在表示各种形式的移动设备，诸如，个人数字助理、蜂窝电话、智能手机、和其它类似的计算设备。此处所示的部件、它们的连接和关系、以及它们的功能仅仅旨在作为示例，并且不旨在限制本文中描述的和/或要求的本发明的实施方式。
已经描述了若干实施例。然而，要理解，可以在不脱离本说明书的精神和范围的情况下做出各种修改。
另外，在附图中描绘的逻辑流程不需要所示的特定顺序或者相继顺序，以实现期望的结果。另外，可以提供其它步骤或者可以从描述的流程删除步骤，并且可以将其它部件添加至描述的系统或者从描述的系统移除其它部件。因此，其它实施例在以下权利要求书的范围内。
在以下示例中对进一步的实施方式进行了总结：
示例1：一种计算机实施的方法，包括：跟踪指示设备在用户界面的检测区域内的悬停位置；将指示设备的悬停位置映射到用户界面上的相应点；检测指示设备开始向用户界面移动；确定在检测到指示设备开始向用户界面移动时指示设备的悬停位置以及用户界面上的相应映射点；将检测到开始移动时用户界面上的映射点设置为用户界面上的选择点；以及响应于检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入。
示例2：示例1的方法，跟踪指示设备在用户界面的检测区域内的悬停位置包括：检测并跟踪手指在提供在手持式电子设备上的用户界面的检测区域内的悬停位置，该手持式电子设备可操作地耦合至显示虚拟环境的头戴式显示设备。
示例3：示例2的方法，将指示设备的悬停位置映射到用户界面上的相应点包括：在手持式电子设备上与用户界面相对应的虚拟环境中生成并显示虚拟用户界面；将检测到的手指的悬停位置映射到手持式电子设备的用户界面上的相应点；以及将检测到的手指的悬停位置和手持式电子设备的用户界面上的相应点映射到虚拟用户界面上的相应虚拟点。
示例4：示例3的方法，该方法进一步包括：生成虚拟视觉指示器，该虚拟视觉指示器将映射的虚拟点可视化地标记在虚拟用户界面上。
示例5：示例3的方法，将检测到开始移动时用户界面上的映射点设置为手持式电子设备的用户界面上的选择点包括：检测手指从悬停位置向手持式电子设备上的用户界面的移动；将检测到开始移动时手持式电子设备的用户界面上的映射点设置为手持式电子设备的用户界面上的选择点；以及将手持式电子设备的用户界面上的选择点映射到虚拟用户界面上的相应的虚拟选择点。
示例6：示例5的方法，响应于检测到的指示设备与用户界面的接触而登记与目标选择点相对应的用户输入包括：在手持式电子设备的用户界面上的实际接触点处检测手指与手持式电子设备的用户界面之间的接触，该实际接触点与手持式电子设备的用户界面上的选择点不同；以及响应于在实际接触点处检测到接触，登记与选择点相对应的用户输入。
示例7：示例1至5中的任一示例的方法，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：检测指示设备在用户界面上的实际接触点处的接触，该实际接触点与用户界面上的选择点不同；以及响应于在实际接触点处检测到接触，登记与用户界面上的选择点相对应的用户输入。
示例8：示例1至5中的任一示例的方法，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：存储跟踪到的指示设备的悬停位置；基于存储的跟踪到的指示设备的悬停位置，在检测到指示设备与用户界面的接触之前按照设定时间间隔来确定指示设备的悬停位置，并且将确定的悬停位置以及用户界面上的相应映射点指定为用户界面上的选择点；以及响应于在实际接触点处检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入，该实际接触点与用户界面上的选择点不同。
示例9：示例1的方法，跟踪指示设备在用户界面的检测区域内的悬停位置包括：检测并跟踪手部在由头戴式显示设备显示的虚拟用户界面的检测区域内的悬停位置，该头戴式显示设备还显示虚拟环境。
示例10：示例9的方法，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：检测手部与虚拟用户界面上的虚拟接触点之间的虚拟接触，该虚拟接触点与虚拟用户界面上的虚拟选择点不同；以及响应于在虚拟接触点处检测到的虚拟接触，登记与用户界面上的虚拟选择点相对应的用户输入。
示例11：一种计算机程序产品，该计算机程序产品实现在非暂时性计算机可读介质上，该计算机可读介质上存储有指令序列，该指令在由处理器执行时使处理器执行一种方法，该方法包括：跟踪指示设备在用户界面的检测区域内的悬停位置；将指示设备的悬停位置映射到用户界面上的相应点；检测指示设备开始向用户界面移动；确定在检测到指示设备开始向用户界面移动时指示设备的悬停位置以及用户界面上的相应映射点；将检测到开始移动时用户界面上的映射点设置为用户界面上的选择点；以及响应于检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入。
示例12：示例11的计算机程序产品，跟踪指示设备在用户界面的检测区域内的悬停位置包括：检测并跟踪手指在提供在手持式电子设备上的用户界面的检测区域内的悬停位置，该手持式电子设备可操作地耦合至显示虚拟环境的头戴式显示设备。
示例13：示例12的计算机程序产品，将指示设备的悬停位置映射到用户界面上的相应点包括：在手持式电子设备上与用户界面相对应的虚拟环境中生成并显示虚拟用户界面；将检测到的手指的悬停位置映射到手持式电子设备的用户界面上的相应点；以及将检测到的手指的悬停位置和手持式电子设备的用户界面上的相应点映射到虚拟用户界面上的相应虚拟点。
示例14：示例13的计算机程序产品，该方法进一步包括：生成虚拟视觉指示器，该虚拟视觉指示器将映射的虚拟点可视化地标记在虚拟用户界面上。
示例15：示例13或14的计算机程序产品，将检测到开始移动时用户界面上的映射点设置为手持式电子设备的用户界面上的选择点包括：检测手指从悬停位置向手持式电子设备上的用户界面移动；将检测到开始移动时手持式电子设备的用户界面上的映射点设置为手持式电子设备的用户界面上的选择点；以及将手持式电子设备的用户界面上的选择点映射到虚拟用户界面上的相应的虚拟选择点。
示例16：示例15的计算机程序产品，响应于检测到的指示设备与用户界面的接触而登记与目标选择点相对应的用户输入包括：在手持式电子设备的用户界面上的实际接触点处检测手指与手持式电子设备的用户界面之间的接触，该实际接触点与手持式电子设备的用户界面上的选择点不同；以及响应于在实际接触点处检测到的接触，登记与选择点相对应的用户输入。
示例17：示例11至15中的任一示例的计算机程序产品，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：检测指示设备在用户界面上的实际接触点处的接触，该实际接触点与用户界面上的选择点不同；以及响应于在实际接触点处检测到接触，登记与用户界面上的选择点相对应的用户输入。
示例18：示例11至15中的任一示例的计算机程序产品，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：存储跟踪到的指示设备的悬停位置；基于存储的跟踪到的指示设备的悬停位置，在检测到指示设备与用户界面的接触之前按照设定时间间隔来确定指示设备的悬停位置，并且将确定的悬停位置以及用户界面上的相应映射点指定为用户界面上的选择点；以及响应于在实际接触点处检测到的指示设备与用户界面的接触，登记与选择点相对应的用户输入，该实际接触点与用户界面上的选择点不同。
示例19：示例11的计算机程序产品，跟踪指示设备在用户界面的检测区域内的悬停位置包括：检测并跟踪手部在由头戴式显示设备显示的虚拟用户界面的检测区域内的悬停位置，该头戴式显示设备还显示虚拟环境。
示例20：示例19的计算机程序产品，响应于检测到的指示设备与用户界面的接触而登记与选择点相对应的用户输入包括：检测手部与虚拟用户界面上的虚拟接触点之间的虚拟接触，该虚拟接触点与虚拟用户界面上的虚拟选择点不同；以及响应于在虚拟接触点处检测到虚拟接触，登记与用户界面上的虚拟选择点相对应的用户输入。
在进一步的示例中，一种悬停触摸补偿系统和方法，其可以检测并跟踪指示/选择设备(诸如，用户手指)相对于用户界面的输入表面的悬停位置，并且可以检测指示/选择设备开始向用户界面的输入表面移动的点。该系统可以基于检测到向用户界面移动的点处的指示/选择设备相对于用户界面的输入表面的悬停位置来识别用户界面上的目标接触点。
虽然已经如本文描述的那样图示了所描述的实施方式的某些特征，但是对于本领域的技术人员来说，会发生许多修改、取代、改变和等同物。因此，要理解，随附权利要求书旨在涵盖所有的这种修改和变更，这所有的这种修改和变更落入实施方式的范围内。应该理解的是，它们仅作为示例呈现，而非限制，并且可以进行形式和细节上的各种改变。除了互相排斥的组合以外，本文描述的设备和/或方法的任何部分都可以按照任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种计算机实施的方法，包括：
跟踪指示器相对于用户界面在检测区域内的悬停位置；
将所述指示器的所述悬停位置映射到所述用户界面上的相应点；
确定所述指示器开始向所述用户界面移动；
确定在检测到所述指示器开始向所述用户界面移动时所述指示器的所述悬停位置以及所述用户界面上的相应映射点；
将所确定的所述指示器开始移动的点处的所述用户界面上的映射点设置为所述用户界面上的选择点；以及
响应于检测到的所述指示器与所述用户界面的接触，登记与所述选择点相对应的用户输入。
2.根据权利要求1所述的方法，跟踪指示器相对于用户界面在检测区域内的悬停位置包括：检测并跟踪手指相对于提供在手持式电子设备上的用户界面在检测区域内的悬停位置，所述手持式电子设备可操作地耦合至显示虚拟环境的头戴式显示设备。
3.根据权利要求2所述的方法，将所述指示器的所述悬停位置映射到所述用户界面上的相应点包括：
在所述手持式电子设备上与所述用户界面相对应的所述虚拟环境中生成并显示虚拟用户界面；
将检测到的所述手指的悬停位置映射到所述手持式电子设备的所述用户界面上的相应点；以及
将检测到的所述手指的悬停位置和所述手持式电子设备的所述用户界面上的相应点映射到所述虚拟用户界面上的相应虚拟点。
4.根据权利要求3所述的方法，进一步包括：显示虚拟视觉指示器，所述虚拟视觉指示器将映射的虚拟点可视化地标记在所述虚拟用户界面上。
5.根据权利要求3所述的方法，将检测到开始移动时所述用户界面上的映射点设置为所述手持式电子设备的所述用户界面上的选择点包括：
检测所述手指从所述悬停位置向所述手持式电子设备上的所述用户界面的移动；
将确定的开始向所述用户界面移动的点处的所述手持式电子设备的所述用户界面上的映射点设置为所述手持式电子设备的所述用户界面上的所述选择点；以及
将所述手持式电子设备的所述用户界面上的所述选择点映射到所述虚拟用户界面上的相应的虚拟选择点。
6.根据权利要求5所述的方法，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
在所述手持式电子设备的所述用户界面上的实际接触点处检测所述手指与所述手持式电子设备的所述用户界面之间的接触，所述实际接触点与所述手持式电子设备的所述用户界面上的所述选择点不同；以及
响应于在所述实际接触点处检测到的接触，登记与所述选择点相对应的所述用户输入。
7.根据权利要求1所述的方法，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
检测在所述用户界面上的实际接触点处所述指示器的所述接触，所述实际接触点与所述用户界面上的所述选择点不同；以及
响应于在所述实际接触点处检测到的接触，登记与所述用户界面上的所述选择点相对应的所述用户输入。
8.根据权利要求1所述的方法，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
存储跟踪到的所述指示器的悬停位置；
基于存储的跟踪到的所述指示器的悬停位置，在检测到所述指示器与所述用户界面的所述接触之前按照设定时间间隔来确定所述指示器的所述悬停位置，并且将所确定的悬停位置以及所述用户界面上的相应映射点指定为所述用户界面上的所述选择点；以及
响应于在实际接触点处检测到的所述指示器与所述用户界面的接触，登记与所述选择点相对应的所述用户输入，所述实际接触点与所述用户界面上的所述选择点不同。
9.根据权利要求1所述的方法，跟踪指示器相对于用户界面在检测区域内的悬停位置包括：检测并跟踪手部相对于由头戴式显示设备显示的虚拟用户界面在检测区域内的悬停位置，所述头戴式显示设备还显示虚拟环境。
10.根据权利要求9所述的方法，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
检测所述手部与所述虚拟用户界面上的虚拟接触点之间的虚拟接触，所述虚拟接触点与所述虚拟用户界面上的虚拟选择点不同；以及
响应于在所述虚拟接触点处检测到的虚拟接触，登记与所述用户界面上的所述虚拟选择点相对应的所述用户输入，所述虚拟选择点与所述手部相对于所述虚拟用户界面的悬停位置相对应，在所述悬停位置处检测到所述手部向所述虚拟用户界面的移动。
11.一种计算机程序产品，所述计算机程序产品实现在非暂时性计算机可读介质上，所述计算机可读介质上存储有指令序列，所述指令在由处理器执行时使所述处理器执行一种方法，所述方法包括：
跟踪指示器相对于用户界面在检测区域内的悬停位置；
将所述指示器的所述悬停位置映射到所述用户界面上的相应点；
确定所述指示设备开始向所述用户界面移动；
确定在检测到所述指示器开始向所述用户界面移动时所述指示器的所述悬停位置以及所述用户界面上的相应映射点；
将确定开始移动时所述用户界面上的映射点设置为所述用户界面上的选择点；以及
响应于检测到的所述指示器与所述用户界面的接触，登记与所述选择点相对应的用户输入。
12.根据权利要求11所述的计算机程序产品，跟踪指示器相对于用户界面在检测区域内的悬停位置包括：检测并跟踪手指相对于提供在手持式电子设备上的用户界面在检测区域内的悬停位置，所述手持式电子设备可操作地耦合至显示虚拟环境的头戴式显示设备。
13.根据权利要求12所述的计算机程序产品，将所述指示器的所述悬停位置映射到所述用户界面上的相应点包括：
在所述手持式电子设备上与所述用户界面相对应的虚拟环境中显示虚拟用户界面；
将检测到的所述手指的悬停位置映射到所述手持式电子设备的所述用户界面上的相应点；以及
将检测到的所述手指的悬停位置和所述手持式电子设备的所述用户界面上的相应点映射到所述虚拟用户界面上的相应虚拟点。
14.根据权利要求13所述的计算机程序产品，所述方法进一步包括：显示虚拟视觉指示器，所述虚拟视觉指示器将映射的虚拟点可视化地标记在所述虚拟用户界面上。
15.根据权利要求13所述的计算机程序产品，将确定开始移动时所述用户界面上的映射点设置为所述手持式电子设备的所述用户界面上的选择点包括：
检测所述手指从所述悬停位置向所述手持式电子设备上的所述用户界面的移动；
将检测到开始移动时所述手持式电子设备的所述用户界面上的映射点设置为所述手持式电子设备的所述用户界面上的所述选择点；以及
将所述手持式电子设备的所述用户界面上的所述选择点映射到所述虚拟用户界面上的相应的虚拟选择点。
16.根据权利要求15所述的计算机程序产品，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
在所述手持式电子设备的所述用户界面上的实际接触点处检测所述手指与所述手持式电子设备的所述用户界面之间的接触，所述实际接触点与所述手持式电子设备的所述用户界面上的所述选择点不同；以及
响应于在所述实际接触点处检测到的接触，登记与所述选择点相对应的所述用户输入。
17.根据权利要求11所述的计算机程序产品，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
检测所述指示器在所述用户界面上的实际接触点处的接触，所述实际接触点与所述用户界面上的所述选择点不同；以及
响应于在所述实际接触点处检测到的接触，登记与所述用户界面上的所述选择点相对应的所述用户输入。
18.根据权利要求11所述的计算机程序产品，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
存储跟踪到的所述指示器的悬停位置；
基于存储的跟踪到的所述指示器的悬停位置，在检测到所述指示器与所述用户界面的所述接触之前按照设定时间间隔来确定所述指示器的所述悬停位置，并且将所确定的悬停位置以及所述用户界面上的相应映射点指定为所述用户界面上的所述选择点；以及
响应于在实际接触点处检测到的所述指示器与所述用户界面的接触，登记与所述选择点相对应的所述用户输入，所述实际接触点与所述用户界面上的所述选择点不同。
19.根据权利要求11所述的计算机程序产品，跟踪指示器相对于用户界面在检测区域内的悬停位置包括：检测并跟踪手部在由头戴式显示设备显示的虚拟用户界面的检测区域内的悬停位置，所述头戴式显示设备还显示虚拟环境。
20.根据权利要求19所述的计算机程序产品，响应于检测到的所述指示器与所述用户界面的接触而登记与所述选择点相对应的用户输入包括：
检测所述手部与所述虚拟用户界面上的虚拟接触点之间的虚拟接触，所述虚拟接触点与所述虚拟用户界面上的虚拟选择点不同；以及
响应于在所述虚拟接触点处检测到的虚拟接触，登记与所述用户界面上的所述虚拟选择点相对应的所述用户输入，所述虚拟选择点与所述手部相对于所述虚拟用户界面的悬停位置相对应，在所述悬停位置处检测到所述手部向所述虚拟用户界面的移动。
CN201780017159.6A 2016-06-29 2017-03-07 增强和/或虚拟现实中的悬停触摸输入补偿 Active CN109074154B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662356193P 2016-06-29 2016-06-29
US62/356,193 2016-06-29
US15/450,927 US10353478B2 (en) 2016-06-29 2017-03-06 Hover touch input compensation in augmented and/or virtual reality
US15/450,927 2017-03-06
PCT/US2017/021152 WO2018004757A1 (en) 2016-06-29 2017-03-07 Hover touch input compensation in augmented and/or virtual reality

Publications (2)

Publication Number Publication Date
CN109074154A true CN109074154A (zh) 2018-12-21
CN109074154B CN109074154B (zh) 2021-08-31

Family

ID=58361147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017159.6A Active CN109074154B (zh) 2016-06-29 2017-03-07 增强和/或虚拟现实中的悬停触摸输入补偿

Country Status (4)

Country Link
US (1) US10353478B2 (zh)
EP (1) EP3479198B1 (zh)
CN (1) CN109074154B (zh)
WO (1) WO2018004757A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068757A (zh) * 2020-08-03 2020-12-11 北京理工大学 一种用于虚拟现实的目标选择方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD771646S1 (en) * 2014-09-30 2016-11-15 Apple Inc. Display screen or portion thereof with graphical user interface
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3316080B1 (en) 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
USD829223S1 (en) * 2017-06-04 2018-09-25 Apple Inc. Display screen or portion thereof with graphical user interface
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2019143189A1 (en) * 2018-01-18 2019-07-25 Samsung Electronics Co., Ltd. Electronic device and method of operating electronic device in virtual reality
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
WO2020068876A1 (en) * 2018-09-24 2020-04-02 Interlink Electronics, Inc. Multi-modal touchpad
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
JP2020119391A (ja) * 2019-01-25 2020-08-06 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
US11209937B2 (en) * 2019-07-08 2021-12-28 Samsung Electronics Co., Ltd. Error correction for seamless transition between hover and touch sensing
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20130222329A1 (en) * 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
CN105026982A (zh) * 2012-11-20 2015-11-04 微软技术许可有限责任公司 头戴式显示器及其控制方法
CN105612486A (zh) * 2013-09-16 2016-05-25 微软技术许可有限责任公司 同时的悬停和触摸接口

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
WO2012111010A1 (en) * 2011-02-15 2012-08-23 N-Trig Ltd. Tracking input to a multi-touch digitizer system
US9081450B1 (en) * 2011-06-09 2015-07-14 Maxim Integrated Products, Inc. Identifying hover and/or palm input and rejecting spurious input for a touch panel
US9977503B2 (en) * 2012-12-03 2018-05-22 Qualcomm Incorporated Apparatus and method for an infrared contactless gesture system
US20140267094A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
US20140272863A1 (en) * 2013-03-15 2014-09-18 Peter Kim User Interface For Virtual Reality Surgical Training Simulator
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20150177866A1 (en) * 2013-12-23 2015-06-25 Microsoft Corporation Multiple Hover Point Gestures
US9501218B2 (en) 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
KR20150104302A (ko) 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
WO2015189710A2 (en) * 2014-05-30 2015-12-17 Infinite Potential Technologies, Lp Apparatus and method for disambiguating information input to a portable electronic device
JP6658518B2 (ja) * 2014-06-26 2020-03-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2016044807A1 (en) 2014-09-18 2016-03-24 Tactual Labs Co. Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US10359883B2 (en) * 2014-12-26 2019-07-23 Nikon Corporation Detection device, electronic apparatus, detection method and program
JP6497941B2 (ja) * 2015-01-09 2019-04-10 キヤノン株式会社 電子機器、その制御方法及びプログラム並びに記録媒体
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US9961239B2 (en) * 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20130222329A1 (en) * 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
CN105026982A (zh) * 2012-11-20 2015-11-04 微软技术许可有限责任公司 头戴式显示器及其控制方法
CN105612486A (zh) * 2013-09-16 2016-05-25 微软技术许可有限责任公司 同时的悬停和触摸接口

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068757A (zh) * 2020-08-03 2020-12-11 北京理工大学 一种用于虚拟现实的目标选择方法及系统

Also Published As

Publication number Publication date
US10353478B2 (en) 2019-07-16
WO2018004757A1 (en) 2018-01-04
EP3479198A1 (en) 2019-05-08
CN109074154B (zh) 2021-08-31
US20180004297A1 (en) 2018-01-04
EP3479198B1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
CN109074154A (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
US10083544B2 (en) System for tracking a handheld device in virtual reality
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
CN107667328A (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
CN104364753B (zh) 用于突出显示活动界面元素的方法
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
TWI544447B (zh) 擴增實境的方法及系統
CN109643159A (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
US20160306433A1 (en) Touch fee interface for augmented reality systems
CN108604121A (zh) 虚拟现实中的双手对象操纵
US10685485B2 (en) Navigation in augmented reality environment
CN109891368A (zh) 活动对象在增强和/或虚拟现实环境中的切换
CN105824431A (zh) 信息输入装置与方法
CN108604119A (zh) 在增强和/或虚拟现实环境中的虚拟项的共享
CN108073276A (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
CN107250891A (zh) 头戴式显示器与真实世界对象之间的相互通信
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN107533374A (zh) 虚拟现实中的头部、手势和触摸输入的动态切换和合并
CN109074149A (zh) 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪
CN103729054A (zh) 多显示设备及其控制方法
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
CN103718082A (zh) 具有集成的手指跟踪输入传感器的可穿戴式平视显示器
CN107003735A (zh) 用于接收字符输入的设备及其方法
CN109844600A (zh) 信息处理设备、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant