CN107771309A - 三维用户输入 - Google Patents

三维用户输入 Download PDF

Info

Publication number
CN107771309A
CN107771309A CN201680035967.0A CN201680035967A CN107771309A CN 107771309 A CN107771309 A CN 107771309A CN 201680035967 A CN201680035967 A CN 201680035967A CN 107771309 A CN107771309 A CN 107771309A
Authority
CN
China
Prior art keywords
user
origin
dimensional
input
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680035967.0A
Other languages
English (en)
Other versions
CN107771309B (zh
Inventor
M·D·麦格拉斯
J·R·霍夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202011228383.XA priority Critical patent/CN112328078A/zh
Publication of CN107771309A publication Critical patent/CN107771309A/zh
Application granted granted Critical
Publication of CN107771309B publication Critical patent/CN107771309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

本文公开了涉及处理三维用户输入的示例。一个示例提供了一种在三维坐标系中处理用户输入的方法，包括：接收针对三维坐标系的原点重置的用户输入，响应于接收到原点重置的用户输入来重置三维坐标系的原点，接收三维坐标系中的三维用户输入，在原点保持被设定的同时，相对于原点测量三维用户输入的至少一个三维位移，以及引起被显示在用户界面中的用户界面元素的移动，该移动基于至少一个被测得的三维位移。

Description

三维用户输入
背景
存在用于接收三维用户输入的各种办法。在一个示例中，用户界面中的光标的位置基于用户的手的位置来被控制。例如，用户的手的位置可相对于固定的坐标系原点被测量。
概述
本文公开了涉及处理三维用户输入的示例。一个示例提供了一种在三维坐标系中处理用户输入的方法，包括：接收针对三维坐标系的原点重置的用户输入，响应于接收到原点重置的用户输入来重置三维坐标系的原点，接收三维坐标系中的三维用户输入，在原点保持被设定的同时，测量三维用户输入相对于原点的至少一个三维位移，以及引起被显示在用户界面中的用户界面元素的移动，该移动基于至少一个被测得的三维位移。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了用于与计算设备交互的示例环境。
图2示出了用于与可穿戴计算设备交互的环境。
图3示出了例示在三维坐标系中处理用户输入的方法的流程图。
图4示出了示例头戴式显示器(HMD)设备。
图5示出了示例计算系统。
详细描述
存在用于接收三维用户输入的各种办法。在一个示例中，用户界面中的光标的位置根据用户的手的三维位置来被控制。光标位置可在用户的手的移动发生时镜面反射该移动。然而，在该办法中，由于原点与用户的手的持续移动，因此可能难以接收作为输入的位移(例如，位置之间的差异或距离)而不单单是位置。用来接收三维用户输入的其他办法采用固定原点，采用该固定原点可测量三维位置。然而，固定原点可能会创建次优的用户体验，因为它们可能会强制用户返回到固定的世界空间位置以返回原点。因此，本文公开了涉及在具有可基于用户输入被重置的原点的三维坐标系中处理三维输入的示例。
图1示出了用于与计算设备102交互的示例环境100。虽然环境100被描绘成家庭环境，但是应当领会到的是，本文中所描述的办法可被用于任何合适的环境中，包括但不限于职业、商业、教育和室外环境。
虽然计算设备102被描绘成多媒体计算设备或游戏控制台，但是可以采取任何合适的形式，包括但不限于通用计算设备、膝上型计算设备、平板/电话/其他移动设备等。计算设备102被可操作地耦合到传感器系统104并且被配置成从传感器系统104接收输入。传感器系统104可操作用于接收来自用户106的输入，并且可接收各种形式的用户输入；例如，传感器系统可包括用于接收来自用户的姿势输入的面向外的图像传感器108(例如，彩色相机、红外相机、深度相机)。传感器系统104可替代地或附加地包括用于接收来自用户106的语音输入的麦克风110。用于接收用户输入的图1中未示出的其他硬件可被包括在传感器系统104中或者被可操作地耦合到传感器系统104，包括但不限于惯性测量单元(例如，包括加速度计和/或陀螺仪)。下面参考图5来描述可被包括在传感器系统104中的示例硬件。
计算设备102还可被可操作地耦合到显示设备112。显示设备112可显示从计算设备102接收到的输出，其中该输出的至少一部分可由计算设备基于经由传感器系统104接收到的用户输入来呈现。显示设备112可包含任何合适的显示技术，包括但不限于液晶显示器(LCD)、发光二极管(LED)和等离子显示技术。如下所述，还设想了其他显示设备类型，包括但不限于可穿戴显示设备。
传感器系统104可操作以接收来自用户106的三维用户输入。图1描绘了其中用户106经由传感器系统104(例如，经由面向外的图像传感器108)所检测到的手部运动来提供三维用户输入的示例性场景。响应于接收到三维用户输入，计算设备102为显示设备112呈现反映由用户106执行的手部运动的图形输出，具体而言，被呈现在显示设备上的用户界面116中的文件图标114形式的用户界面元素可基于由用户所执行的手部动作的轨迹描绘出的物理路径120而在虚拟空间中移动。
三维用户输入的一个或多个属性可在引起用户界面元素的移动时相对于坐标系被测量。图1示出了由用户106的三维手部运动(例如，食指运动)的轨迹描绘出的物理路径120的放大示图，其中物理路径的属性可相对于三维坐标系122，具体而言相对于该坐标系的原点124被测量。尽管被示出为笛卡尔坐标系(例如，x/y/z)，但是应当领会的是，坐标系122可采取任何合适的形式(例如，圆柱形、球形)。
原点124可响应于用户输入重置原点来被动态地重置。在图1所示的示例中，用户106通过执行手势，具体而言执行“隔空轻击”手势来提供原点重置的用户输入，其中原点重置可响应于用户的食指的深度下降到阈值深度以下(例如，通过将手指沿z轴推“入”)来被发起。本文中所使用的“深度”是指由传感器系统成像的表面与传感器系统的光学元件之间的距离，例如从用户的食指到面向外的图像传感器108的物理空间z坐标距离。
应当领会，任何合适的手势可被用作原点重置的用户输入，包括但不限于捏拧、拳头握紧、手或手指张开、手旋转，等等。经由其他身体部位(诸如头部)执行的姿势也可被使用。例如，可以基于一贯可标识的姿势以及通常不会在不旨在促使原点重置的人类移动的过程中发生的姿势来选择用于原点重置的姿势。以上所描述的且在图1中所描绘的“隔空轻击”手势可以是这类姿势的一个示例，并且可被认为是原点重置的明确的用户输入，因为它不会在典型的人类移动的过程中发生。在一些实现中，明确的用户输入而不是隐式的用户输入(例如，在典型的人类移动的过程中的确发生的或者不是一贯可标识的输入)可被用于原点重置。然而，任何其他合适的输入可被用于原点重置，诸如语音输入。通过允许三维坐标系的原点响应于用户输入来被重置，包括位移的三维用户输入可在用户期望的位置处被接收，而用户无需被约束在物理空间中的固定位置。
在接收到原点重置的用户输入之后，物理路径120的一个或多个属性可相对于原点124被测量。如图1的放大示图所示，物理路径120的三维位移126可以是一个这样的相对于原点124测量的属性。在一些示例中，三维位移126可通过对在物理路径120的轨迹被描绘出时测得的多个位移进行组合(例如，进行平均)被测量。在其他示例中，位移126可基于在物理路径终止之后的物理路径120的端点被测量，其中物理路径的终止可按如下所述的各种方式来被执行。例如，给定的位移可被计算为三维坐标系122中的两个三维点之间的笛卡尔距离，尽管任何合适的计算位移的方法可被采用。
作为位移126的替换或补充，物理路径120的方向128可相对于原点124被测量。方向128可采取任何合适的形式，诸如一个或多个角度(例如，theta角、phi角)。类似于位移126，方向128可通过对物理路径120的端点进行比较或者通过对在物理路径的轨迹被描绘出时测得的多个方向进行组合被测量。在其他示例中，作为位移126和方向128的测量的替换或补充，向量(例如，包括大小和方向)可基于物理路径120被测量。例如，位移126和方向128可以分别是向量的大小和方向。
在一些实现中，原点124可响应于三维用户输入的位移超过阈值位移(例如，响应于位移126超过阈值位移)来被重置。这样的办法可对原点124和输入机构(例如，用户106的手指)之间的物理空间距离施加限制，这可允许用户避免在物理空间中执行过大的移动。
用户界面元素在用户界面中的移动可基于三维用户输入的一个或多个测得的属性而被引起。图1例示了可如何基于物理路径120的一个或多个测量来引起文件图标114的移动。在一些实现中，引起文件图标114的移动可包括(例如，在其中用户界面116被呈现的虚拟空间中)对文件图标平移一通过缩放所测得的三维位移的大小(例如，通过缩放物理路径120的位移126)而被确定的距离。图1示出了文件图标114可通过其在虚拟空间中被平移的距离130，其中在该示例中的距离是通过放大位移126的大小被导出的。替代地或附加地，引起文件图标114的移动可包括沿着所测得的三维位移的方向(例如，沿着物理路径120的方向128)平移文件图标。
应当领会，文件图标114在用户界面116中的移动可包括或者可不包括对引起文件图标的移动的三维用户输入中的深度进行表示。例如，用户界面116被呈现在其中的虚拟空间可以是三维的，在这种情况下，可以通过对被显示在其中的用户界面元素的大小进行调整(例如，缩小、放大)或以任何其他合适的方式来表示对深度的改变。在其他实现中，深度可以不被表示，例如，用户界面116被呈现在其中的虚拟空间可改为是二维的，在这种情况下，对三个坐标中的两个(例如，x/y)的改变可被表示。
在一些实现中，文件图标114的移动可包括在停止提供三维用户输入之际更新文件图标的位置而不显示各中间位置。在该示例中，用户106可在三维用户输入的停止之际感知文件图标114从其初始位置瞬间“跳”到最终位置。在其他示例中，由文件图标114采取的新位置可在三维用户输入的停止之后被摄制成动画，使得文件图标从初始位置到新位置的平移以适当的方式被递送。在这些示例中，平移的动画可包括以与物理路径120的轨迹被描绘出的速度成比例的速度对文件图标114进行平移，例如，通过缩放物理输入的物理速度以导出将在虚拟空间中平移文件图标的虚拟速度。
在一些实现中，可在三维用户输入的提供被停止之前(例如，在物理路径120的轨迹被完全描绘出之前)引起文件图标114的移动。例如，文件图标114的位置可在物理路径120的轨迹被描绘出时以可调整的速率来被更新，这可按相对连续的方式向用户106提供视觉反馈。在一些示例中，文件图标114可在物理路径120的轨迹被描绘出时沿着从该物理路径导出的虚拟路径132来被平移。虚拟路径132可呈现与物理路径120的变化的对应关系；在一个示例中，虚拟路径可呈现与物理路径的形状相同的形状，但具有通过缩放物理路径的大小而导出的大小。
文件图标114所驻留的最终位置可响应于三维用户输入的停止来被确定。诸如终止物理路径120之类的三维用户输入的停止可以以各种合适的方式来实现，例如，三维输入可响应于用户106的食指超过阈值深度(例如，通过将手指拉“出”)来被停止。这样的办法在与上述的用于发起原点重置的隔空轻击姿势相结合时可以提供直观的机制，该机制用于提供至少有点类似于按下物理按钮的三维输入。在该示例中，各种深度范围可被用来实现用户输入处理的各种模式，例如，具有在第一深度范围内的深度的三维用户输入可实现对用户输入的一个或多个属性的测量并且潜在地引起一个或多个用户界面元素的移动，而具有超过第一深度范围的深度的三维用户输入可被解释成原点重置，并且具有落到第一深度范围以下的深度的三维用户输入可被解释成停止提供三维用户输入。在三维用户输入的提供被停止的情况下，被用来提供这样的输入的表面(例如，用户106的食指的表面)可由传感器系统104跟踪。然而，在该模式中，可能不响应于这些表面的运动来作出对用户界面116的改变(例如，直到接收到原点重置的用户输入)。
用户界面116可呈现表示三维用户输入的接收和/或其中的用户界面元素的移动的图形内容。例如，用户界面116可呈现指示符134(其可采取任何合适的形式)，该指示符表示原点124的位置(例如，原点的物理位置被映射到的虚拟空间位置)，因为它是根据最近的原点重置来被设定的。替代地或附加地，用户界面116可呈现表示虚拟路径132的图形内容，例如，以从物理路径120导出的适当速率来被连续地更新的虚拟路径本身、距离130的表示、方向128的表示和/或表示瞬时净位移及方向的向量。
如上所述，本文中所描述的办法不限于图1所描绘的提供输入的方式。例如，在其他实现中，用户106可通过操纵用户在物理空间中握持或穿戴的物理输入设备来提供三维用户输入。这样的输入设备的一个示例可以是可佩戴在用户106的手上并且可操作以向计算设备102提供三维输入的手套。图1示出了三维鼠标136形式的另一示例性输入设备，该三维鼠标可操作以向计算设备102提供三维输入。三维鼠标136可包括一个或多个按钮，这些按钮在被致动时可实现进入/退出三维输入的提供，例如，可按下按钮来重置原点124并且再次按下以停止提供三维用户输入。例如，可穿戴手套、三维鼠标136以及可操作以生成三维用户输入的其他潜在的物理输入设备可包括用于收集三维数据的适合的硬件，诸如加速计和/或陀螺仪。
本文中所描述的用于处理三维用户输入的办法可使得用户106能够以不用手的方式(例如，无需握持或以其他方式操纵物理输入设备)来提供可能以其他方式使用物理输入设备来被递送的输入。例如，操纵杆可以是用于提供位移及方向的合适的机构，因为操纵杆自然居中所处的位置充当可据此测量位移及方向的固定的原点。相比而言，本文中所描述的办法便于接收相同类型的输入，同时允许用户确定从其提供输入的物理空间中最便捷的位置。
在一些实现中，处理用户输入可包括除接收注视方向的用户输入以外的经由面向外的图像传感器来接收三维用户输入。如下面进一步详细描述的，注视方向可被用来选择或以其他方式标识用户界面中的用户界面元素。三维用户输入的各属性可被用来实现用户界面元素的移动。
图2示出了用于与用户106所穿戴的头戴式显示器(HMD)设备202的形式示出的可穿戴计算设备交互的环境200。HMD设备202包括透视显示器，该透视显示器实现查看真实影像及向用户106呈现的虚拟影像两者，由此提供所谓的“混合现实”或“增强现实”(AR)体验。透视显示器可因此通过修改环境的外观来增强或以其他方式改变用户对环境200的感知。其他显示设备类型也可被使用，包括可操作用于提供混合现实或AR体验而不需要透视显示器的显示器。例如，具有相机的显示设备可通过将现实世界背景显示为相机取景器图像并将虚拟影像与背景取景器图像混合来显示混合现实模式。虚拟现实(VR)HMD设备被进一步设想，其可被配置成经由不透明显示器用虚拟影像来实质上替换用户的视野(FOV)。应当领会，本文中所公开的示例可以与任何其他合适类型的显示设备一起使用。
虽然未在图2中示出，但是HMD设备202可包括或以其他方式被可操作地耦合到计算设备，该计算设备被配置成实现本文中所描述的办法。计算设备可例如驱动HMD设备202的透视显示器、呈现虚拟影像、从一个或多个传感器接收用户输入，和/或向通信子系统提供输出。计算设备、一个或多个传感器和/或通信子系统以及其他潜在硬件可整体地被封装在HMD设备202中或者被远程封装且被耦合到HMD设备。以下参考图4和图5来描述关于示例性HMD设备和计算设备配置的进一步细节。
图2示意性地描绘了HMD设备202的FOV 204。FOV 204表示用户106所感知的空间区域，其中HMD设备202可显示虚拟影像。FOV 204的角度范围可以等于、大于或小于能够通过HMD设备202的透视显示器查看的环境200的部分。在所描绘的示例中，诸如家具206之类的物理对象和诸如积木208之类的虚拟影像可由正穿戴HMD设备202的用户106感知。例如，可以由HMD设备202在用户界面210中显示积木208作为游戏应用的一部分，其中用户输入可操作以在个体或组的基础上改变积木的位置(例如，笛卡尔x/y/z)和/或旋转积木的取向(例如，theta角、phi角)。
虽然未在图2中示出，但是HMD设备202可包括注视传感器，该注视传感器可操作用于测量用户的一只或两只眼睛的注视方向。例如，注视方向212可针对用户106经由注视传感器来被确定，并且还可通过延伸该注视方向直到同至少一个用户界面元素的交点被标识来被映射到点214。在该示例中，点214重叠用户界面210的用户界面元素，具体而言重叠积木208A，其中点214被示为在如下所述的其响应于三维用户输入的移动之前的初始状态中与积木重叠。积木208A可因此被选择或以其他方式由注视方向212的用户输入来标识。图2示出了可被显示以指示阴影形式的对积木208A的选择的视觉反馈的一个非限制性示例，尽管任何合适的视觉反馈可被采用。在积木208A被选择的情况下，FOV 204中的积木的位置可响应于三维用户输入来被改变。
积木208A可基于由用户106所执行的手部移动的轨迹描绘出的物理路径216而在用户界面210中移动。尽管未在图2中示出，但是HMD设备202可包括被配置成检测手部运动的面向外的图像传感器。如根据图1中所描绘的办法，物理路径216的一个或多个属性(积木208A的移动可基于该一个或多个属性)可被测量，包括但不限于物理路径的位移及方向。该一个或多个属性可相对于坐标系原点被测量，该坐标系原点可按任何合适的方式被重置。在一个示例中，坐标系原点在经由注视方向(例如，注视方向212)的用户输入来选择用户界面元素(例如，积木208A)之际被重置，例如，被重置到注视方向被映射到的该点(例如，点214)。替代地，原点可响应于经由注视方向来选择积木而被重置到该积木上的预先确定的位置上。例如，预先确定的位置可由游戏应用来规定。在任一情况下，在选择积木之后所提供的三维用户输入可被处理，以便引起开始于注视方向被映射到的点(例如，点214)的积木的移动。
如图2所示，积木208A可沿着(例如，在其中图形内容可由HMD设备202呈现的虚拟空间中的)虚拟路径218被平移，该虚拟路径可从物理路径216导出，例如通过缩放物理路径而被导出。因此，积木208A的移动可基于至少一个测得的三维位移(例如，物理路径216的位移)并且可在注视方向212被映射到的点处开始。例如，图2示出了在接收到停止对基于三维用户输入的积木的位置控制的合适的用户输入(例如，超过阈值深度)之后积木208A所到达的最终位置。应当领会，可以自动地对积木208A的位置作出一个或多个调整，例如以获得期望的几何布置。
在一些实现中，可以基于三维位移来确定包括头部和尾部的向量，其中向量的尾部位于注视方向被映射到的点处。图2示出了基于物理路径216的三维位移来被确定的向量220，其中尾部222位于注视方向212被映射到的点214处。向量220可被报告给用户界面210，使得积木208A或其他用户界面元素的任何合适的移动可基于该向量来被实现(例如，沿该向量的方向，与该向量的大小成比例)。
用户106可选择物理路径216的待报告给用户界面210的一个或多个属性。例如，用户106可选择报告向量220、物理路径216的方向(例如，用于其中游戏应用规定固定位移的上下文)和物理路径的位移(例如，用于其中游戏应用规定固定方向的上下文)中的一者或多者。
使用注视方向来处理三维用户输入的办法不限于图2中所描绘的游戏应用场景，并且可在任何合适的场景中被采用。例如，注视方向可被用来在操作系统中选择两个或更多个窗口中的一个，使得随后接收到的三维用户输入可被应用于所选择的窗口。在其他示例中，注视方向可被用来在3D建模应用中的多个虚拟光源之间进行选择，并且随后接收到的三维用户输入被用来将所选择的光源定位在3D空间中。在又一示例中，注视方向可被用来在雕刻应用中标识3D模型上的位置，并且随后接收到的三维用户输入被用来修改(例如，突出、压缩)所标识出的位置处的模型的表面。在又一示例中，注视方向可被用来在策略游戏中的大量单元之间进行选择，并且随后接收到的三维用户输入被用来向所选择的单元发送指令。这些示例一般地解说了将注视方向与三维用户输入结合使用的潜在优点，例如，避免了物理输入设备操纵以及减轻了在大量用户界面元素之间进行选择中要花费的努力。
应当领会，用户输入可实现对用户界面元素的各种类型的调整，包括在图1和2中未描绘的调整。例如，用户界面调整可包括平移和/或旋转，并且可以在一维、二维或三维中执行。例如，用户界面元素的一维(例如，垂直)或二维(例如，垂直、水平)滚动可响应于用户输入而被执行。
图3示出了例示处理三维坐标系中的用户输入的方法300的流程图。方法300可以通过与传感器系统104结合的计算设备102(图1)，通过被可操作地耦合到使用注视传感器和面向外的图像传感器的HMD设备202(图2)的计算设备，和/或通过例如下面参考图5描述的计算设备500来执行。
在方法300的302处，注视方向的用户输入被任选地接收。例如，注视方向可由注视传感器来确定。
在方法300的304处，注视方向任选地被映射到用户界面中的点。该点可以通过延伸注视方向直到检测到注视方向同用户界面元素的交点来确定。
在方法300的306处，针对三维坐标系的原点重置的用户输入被接收。例如，原点重置可包括手势或语音输入。
在方法300的308处，响应于接收到原点重置的用户输入，三维坐标系的原点被重置。经重置的原点所对应的位置可以是用户界面元素上的预先确定的位置、注视方向的交叉点、被用来递送原点重置的身体部位(例如，手、食指)的位置等。
在方法300的310处，在三维坐标系中接收三维用户输入。三维用户输入可经由面向外的图像传感器(例如，深度相机)或经由诸如三维鼠标之类的物理输入设备来被接收。
在312处，在原点保持被设定(例如，直到接收到原点重置的后续用户输入)的同时，三维用户输入的至少一个三维位移相对于原点被测量。在一些示例中，单个三维位移可以在停止提供三维用户输入之后被测量(例如，基于输入的初始点和终点)被测量。在其他示例中，两个或更多个三维位移可在三维用户输入的接收期间以合适的速率被测量。
在方法300的314处，引起用户界面元素在用户界面中的移动。该移动基于至少一个被测得的三维位移。例如，如果在302处接收到注视方向，则在304处，移动可开始于注视方向在用户界面中被映射到的点处。该点可重叠用户界面元素。引起用户界面元素的移动可包括沿着三维位移的方向平移用户界面元素、将用户界面元素平移一通过缩放三维位移的大小确定的距离，和/或以与提供三维位移的速度成比例的速度平移用户界面元素。例如，如果在302接收到注视方向的用户输入，则可通过该注视方向的用户输入来选择用户界面元素。
在方法300的316处，三维坐标系的原点任选地响应于所测得的三维位移超过阈值位移来被重置。
图4示出了采取具有透明显示器402的一副可穿戴眼镜的形式的HMD设备400的非限制性示例。应当领会，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。
HMD设备400包括被配置成控制透视显示器404的操作的控制器402。透视显示器402可以使得图像(诸如全息对象)被递送到HMD设备400穿戴者的眼睛。透视显示器402可被配置成向透过该透明显示器观察物理环境的穿戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可通过经由透明显示器402呈现的图形内容来增强以创建混合现实环境。在一个示例中，显示器可被配置成显示一个或多个可视数字内容项目。在一些情况下，数字内容项目可以是覆盖在真实世界环境前面的虚拟对象。同样地，在一些情况下，数字内容项目可合并通过透明显示器402看到的现实世界的现实世界对象的元素。
任何合适的机制可被用于经由透明显示器402来显示图像。例如，透明显示器402可包括位于镜片406内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器402可包括位于HMD设备400的框架内的光调制器。在该示例中，透镜406可用作用于将光从光调制器递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像，同时还允许穿戴者查看物理环境中的物理对象，因此创建了混合现实环境。
HMD设备400还可包括用于向控制器404提供信息的各种传感器和相关系统。这些传感器可包括但不限于：一个或多个麦克风407(或麦克风阵列)、一个或多个面向外的图像传感器408以及惯性测量单元(IMU)410。
一个或多个面向外的图像传感器408可被配置成捕捉来自HMD设备400所处的物理环境的虚拟数据。例如，面向外的传感器408可被配置成检测显示器402视野内的移动，诸如视野内的穿戴者或人或物理对象所执行的移动。在一个示例中，面向外的传感器408可检测正对HMD设备的穿戴者说话的用户。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。如上面所讨论的，由面向外的传感器408收集的数据可被用来识别联系人的虚拟和/或物理代理视图，和/或识别由穿戴者提供的姿势输入(例如，手势)以为联系人评估选择条件满意度。
IMU 410可被配置成将HMD设备400的位置和/或取向数据提供给控制器404。在一些实现中，IMU 410可被配置作为三轴或三自由度位置传感器系统，而在其他实现中，IMU可被配置作为六轴或六自由度位置传感器系统。
HMD设备400还可包括扬声器424和426，扬声器424和426被配置成向HMD设备的穿戴者输出声音。扬声器424和426可被定位在HMD设备的贴近穿戴者耳朵的每个侧框架部分上。
控制器404可包括可以与HMD设备400的各种传感器和显示器通信的逻辑设备和存储设备。在一个示例中，存储设备可包括能够由逻辑设备执行以进行以下操作的指令：在显示器上显示用户界面，经由注视传感器接收注视方向的用户输入，将注视方向映射到用户界面中的点，经由面向外的图像传感器接收针对三维坐标系的原点重置的姿势输入，响应于接收到原点重置的姿势输入来重置三维坐标系的原点，经由面向外的图像传感器接收三维坐标系中的三维用户输入，在原点保持被设定的同时，经由面向外的图像传感器相对于原点测量三维用户输入的至少一个三维位移，以及沿着开始于注视方向被映射到的点的至少一个被测得的三维位移的方向来调整被显示在用户界面中的用户界面元素的位置。
如上所述，HMD系统400还包括注视检测子系统409，该注视检测子系统被配置成检测用户每只眼睛的注视方向。注视检测子系统409可被配置成以任何合适的方式来确定用户眼睛中的每一只的注视方向。例如，在所描绘的实施例中，注视检测子系统409包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源412(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器414。如根据经由(诸)图像传感器414收集到的图像数据确定的来自用户眼球的闪烁中的改变可被用来确定注视的方向。此外，从用户眼睛投射的注视线与显示器交叉的位置可被用来确定用户正在注视的对象(例如，被显示在显示器上的虚拟对象)。注视检测子系统409可具有任何合适数量及布置的光源和图像传感器。在一个非限制性示例实施例中，针对每只眼睛使用四个闪光源和一个图像传感器。
HMD设备400是本文中所公开的示例可被实现在其上的计算系统的一个示例。更一般的，图5示意性地示出了简化形式的示例计算系统500的框图。除本文中所描述的HMD设备以外，计算系统500可采取以下形式：一个或多个个人计算设备、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算系统500包括逻辑设备502和存储设备504。计算系统500可任选地包括显示子系统505、输入子系统508、通信子系统510和/或在图5中未示出的其他组件。
逻辑设备502包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑设备可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑设备可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑设备的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑设备的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储设备504包括被配置成保持可由逻辑设备执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储设备504的状态可以被转换—例如以保存不同的数据。
存储设备504可包括可移动和/或内置设备。存储设备504可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储设备504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储设备504包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑设备502和存储设备504的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其他服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在包括显示子系统505时，显示子系统506可用于呈现由存储设备504所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储设备保存的数据，并由此转换存储设备的状态，因此同样可以转换显示子系统505的状态以可视地表示底层数据的改变。显示子系统505可包括使用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可与逻辑设备502和/或存储设备504一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统508时，输入子系统1708包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统510时，通信子系统500可被配置成将计算系统1700与一个或多个其他计算设备通信地耦合。通信子系统510可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如互联网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
另一示例提供了一种在三维坐标系中处理用户输入的方法，包括：接收针对三维坐标系的原点重置的用户输入，响应于接收到原点重置的用户输入来重置三维坐标系的原点，接收三维坐标系中的三维用户输入，在原点保持被设定的同时，测量三维用户输入相对于原点的至少一个三维位移，以及引起被显示在用户界面中的用户界面元素的移动，该移动基于至少一个被测得的三维位移。在这样的示例中，引起移动可替代地或附加地包括沿着至少一个三维位移的方向来平移用户界面元素。在这样的示例中，引起移动可替代地或附加地包括将用户界面元素平移一距离，该距离通过缩放三维位移的大小来确定。在这样的示例中，该方法可替代地或附加地包括：响应于三维位移超过阈值位移来重置三维坐标系的原点。在这样的示例中，引起移动可替代地或附加地包括以与提供三维位移的速度成比例的速度来平移用户界面元素。在这样的示例中，原点重置的用户输入可替代地或附加地包括手势。在这样的示例中，原点重置的用户输入可替代地或附加地包括语音输入。在这样的示例中，用户界面元素可替代地或附加地由注视方向的用户输入来选择。在这样的示例中，三维用户输入可替代地或附加地经由深度相机来接收。在这样的示例中，该方法可替代地或附加地包括在原点保持被设定的同时在用户界面中显示原点。在这样的示例中，引起移动可替代地或附加地包括滚动用户界面元素。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种在三维坐标系中处理用户输入的方法，包括：接收注视方向的用户输入，将注视方向映射到用户界面中的点，接收针对三维坐标系的原点重置的用户输入，响应于接收到原点重置的用户输入来重置三维坐标系的原点，接收三维坐标系中的三维用户输入，在原点保持被设定的同时，测量三维用户输入相对于原点的至少一个三维位移，以及引起被显示在用户界面中的用户界面元素的移动，该移动基于至少一个被测得的三维位移且开始于注视方向被映射到的点。在这样的示例中，注视方向被映射到的点可替代地或附加地与用户界面元素重叠。在这样的示例中，引起用户界面元素的移动可替代地或附加地包括沿着三维位移的方向来平移用户界面元素。在这样的示例中，该方法可替代地或附加地包括基于三维位移来确定向量，该向量的尾部位于注视方向被映射到的点处。在这样的示例中，该方法可替代地或附加地包括：响应于三维位移超过阈值位移来重置三维坐标系的原点。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种头戴式显示设备，包括：显示器、面向外的图像传感器以及计算设备，该计算设备包括处理器和存储设备，该存储设备保持能够由处理器执行以进行以下操作的指令：在显示器上显示用户界面，经由面向外的图像传感器接收针对三维坐标系的原点重置的用户输入，响应于接收到原点重置的用户输入来重置三维坐标系的原点，接收三维坐标系中的三维用户输入，在原点保持被设定的同时，经由面向外的图像传感器测量三维用户输入相对于原点的至少一个三维位移，以及引起被显示在用户界面中的用户界面元素的移动，该移动基于至少一个被测得的三维位移。在这样的示例中，三维用户输入可替代地或附加地经由用户所握持或穿戴的三维输入设备来接收。在这样的示例中，三维用户输入可替代地或附加地经由面向外的图像传感器来接收。在这样的示例中，指令可替代地或附加地进一步可执行以经由注视传感器接收注视方向的用户输入，以及将注视方向映射到用户界面中的点，其中用户界面元素的移动开始于注视方向被映射到的点。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (15)

1.一种在三维坐标系中处理用户输入的方法，包括：
接收针对所述三维坐标系的原点重置的用户输入；
响应于接收到所述原点重置的用户输入来重置所述三维坐标系的原点；
接收所述三维坐标系中的三维用户输入；
在所述原点保持被设定的同时，测量所述三维用户输入相对于所述原点的至少一个三维位移；以及
引起被显示在用户界面中的用户界面元素的移动，所述移动基于所述至少一个被测得的三维位移。
2.根据权利要求1所述的方法，其特征在于，引起所述移动包括沿着所述至少一个三维位移的方向来平移所述用户界面元素。
3.根据权利要求1所述的方法，其特征在于，引起所述移动包括将所述用户界面元素平移一距离，所述距离通过缩放所述三维位移的大小来确定。
4.根据权利要求1所述的方法，其特征在于，还包括响应于所述三维位移超过阈值位移来重置所述三维坐标系的原点。
5.根据权利要求1所述的方法，其特征在于，引起所述移动包括以与提供所述三维位移的速度成比例的速度来平移所述用户界面元素。
6.根据权利要求1所述的方法，其特征在于，所述原点重置的用户输入包括手势。
7.根据权利要求1所述的方法，其特征在于，所述原点重置的用户输入包括语音输入。
8.根据权利要求1所述的方法，其特征在于，所述用户界面元素由注视方向的用户输入来选择。
9.根据权利要求1所述的方法，其特征在于，还包括：
接收注视方向的用户输入；以及
将所述注视方向映射到所述用户界面中的点，
其中所述用户界面元素的移动开始于所述注视方向被映射到的点。
10.根据权利要求9所述的方法，其特征在于，所述注视方向被映射到的点与所述用户界面元素重叠。
11.根据权利要求9所述的方法，其特征在于，还包括基于所述三维位移来确定向量，所述向量的尾部位于所述注视方向被映射到的点处。
12.一种头戴式显示设备，包括：
显示器；
面向外的图像传感器；以及
计算设备，所述计算设备包括处理器和存储设备，所述存储设备保持能够由所述处理器执行以进行以下操作的指令：
在所述显示器上显示用户界面；
经由所述面向外的图像传感器接收针对三维坐标系的原点重置的用户输入；
响应于接收到所述原点重置的用户输入来重置所述三维坐标系的原点；
接收所述三维坐标系中的三维用户输入；
在所述原点保持被设定的同时，经由所述面向外的图像传感器测量所述三维用户输入相对于所述原点的至少一个三维位移；以及
引起被显示在所述用户界面中的用户界面元素的移动，所述移动基于所述至少一个被测得的三维位移。
13.根据权利要求12所述的头戴式显示器，其特征在于，所述三维用户输入经由用户所握持或穿戴的三维输入设备来接收。
14.根据权利要求12所述的头戴式显示器，其特征在于，所述三维用户输入经由所述面向外的图像传感器来接收。
15.根据权利要求12所述的头戴式显示设备，其特征在于，所述指令能够进一步操作以：
经由注视传感器接收注视方向的用户输入；以及
将所述注视方向映射到所述用户界面中的点，
其中所述用户界面元素的移动开始于所述注视方向被映射到的点。
CN201680035967.0A 2015-06-19 2016-06-09 处理三维用户输入的方法 Active CN107771309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011228383.XA CN112328078A (zh) 2015-06-19 2016-06-09 处理三维用户输入的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/745,197 2015-06-19
US14/745,197 US9529454B1 (en) 2015-06-19 2015-06-19 Three-dimensional user input
PCT/US2016/036542 WO2016205046A1 (en) 2015-06-19 2016-06-09 Three-dimensional user input

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011228383.XA Division CN112328078A (zh) 2015-06-19 2016-06-09 处理三维用户输入的方法

Publications (2)

Publication Number Publication Date
CN107771309A true CN107771309A (zh) 2018-03-06
CN107771309B CN107771309B (zh) 2020-11-24

Family

ID=56203979

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680035967.0A Active CN107771309B (zh) 2015-06-19 2016-06-09 处理三维用户输入的方法
CN202011228383.XA Pending CN112328078A (zh) 2015-06-19 2016-06-09 处理三维用户输入的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011228383.XA Pending CN112328078A (zh) 2015-06-19 2016-06-09 处理三维用户输入的方法

Country Status (4)

Country Link
US (2) US9529454B1 (zh)
EP (2) EP3564788B1 (zh)
CN (2) CN107771309B (zh)
WO (1) WO2016205046A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407945A (zh) * 2018-11-08 2019-03-01 山东数字人科技股份有限公司 一种基于vr的三维拼图实现方法和三维拼图系统
CN112055842A (zh) * 2018-05-08 2020-12-08 谷歌有限责任公司 拖动手势动画
CN112313605A (zh) * 2018-10-03 2021-02-02 谷歌有限责任公司 增强现实环境中对象的放置和操纵

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529454B1 (en) * 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input
US10607413B1 (en) 2015-09-08 2020-03-31 Ultrahaptics IP Two Limited Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
CN114564143A (zh) * 2015-10-14 2022-05-31 麦克赛尔株式会社 终端装置
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
US11103772B2 (en) 2018-01-12 2021-08-31 Bunch Live, Inc. Mediating multiplayer electronic game sessions
US11465056B2 (en) 2018-01-12 2022-10-11 Bunch Live, Inc. Game mediation component for enriching multiplayer gaming sessions
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
CN109767499A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 基于mr设备的多用户沉浸式交互方法、系统及存储介质
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
CA3031479A1 (en) * 2019-01-25 2020-07-25 Jonathan Gagne Computer animation methods and systems
US11642596B2 (en) 2019-04-29 2023-05-09 Bunch Live, Inc. Game mediation infrastructure for establishment of multiplayer gaming sessions
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
MX2022003336A (es) 2019-09-20 2022-05-06 Interdigital Ce Patent Holdings Sas Dispositivo y metodo para la interaccion manual de usuario en entornos de realidad virtual (vr) y realidad aumentada (ar).
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US11789584B1 (en) * 2020-03-30 2023-10-17 Apple Inc. User interface for interacting with an affordance in an environment
CN112346560A (zh) * 2020-09-29 2021-02-09 广东乐芯智能科技有限公司 一种手环控制应用界面的方法
US20230377223A1 (en) * 2022-05-18 2023-11-23 Snap Inc. Hand-tracked text selection and modification

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
CN103425271A (zh) * 2012-01-10 2013-12-04 英属维京群岛速位互动股份有限公司 指向装置、操作方法及相关多媒体互动系统
CN103440037A (zh) * 2013-08-21 2013-12-11 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN104331158A (zh) * 2014-10-29 2015-02-04 山东大学 一种手势控制的人机交互方法及装置
KR20150059402A (ko) * 2013-11-22 2015-06-01 엘지전자 주식회사 멀티미디어 장치 및 그의 포인터 표시 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184867B1 (en) 1997-11-30 2001-02-06 International Business Machines Corporation Input for three dimensional navigation using two joysticks
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
CN101331381B (zh) * 2005-12-16 2011-08-24 株式会社Ihi 三维形状数据的位置对准方法和装置
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8384665B1 (en) 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8836646B1 (en) * 2008-04-24 2014-09-16 Pixar Methods and apparatus for simultaneous user inputs for three-dimensional animation
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9766698B2 (en) * 2011-05-05 2017-09-19 Nokia Technologies Oy Methods and apparatuses for defining the active channel in a stereoscopic view by using eye tracking
KR101890622B1 (ko) * 2011-11-22 2018-08-22 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 칼리브레이션 방법
WO2013112749A1 (en) 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
KR20130136174A (ko) * 2012-06-04 2013-12-12 삼성전자주식회사 그래픽 사용자 인터페이스 제공 방법 및 장치
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US9529454B1 (en) * 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
CN103425271A (zh) * 2012-01-10 2013-12-04 英属维京群岛速位互动股份有限公司 指向装置、操作方法及相关多媒体互动系统
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN103440037A (zh) * 2013-08-21 2013-12-11 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
KR20150059402A (ko) * 2013-11-22 2015-06-01 엘지전자 주식회사 멀티미디어 장치 및 그의 포인터 표시 방법
CN104331158A (zh) * 2014-10-29 2015-02-04 山东大学 一种手势控制的人机交互方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055842A (zh) * 2018-05-08 2020-12-08 谷歌有限责任公司 拖动手势动画
CN112313605A (zh) * 2018-10-03 2021-02-02 谷歌有限责任公司 增强现实环境中对象的放置和操纵
CN109407945A (zh) * 2018-11-08 2019-03-01 山东数字人科技股份有限公司 一种基于vr的三维拼图实现方法和三维拼图系统
CN109407945B (zh) * 2018-11-08 2021-08-27 山东数字人科技股份有限公司 一种基于vr的三维拼图实现方法和三维拼图系统

Also Published As

Publication number Publication date
US20170102778A1 (en) 2017-04-13
WO2016205046A1 (en) 2016-12-22
CN107771309B (zh) 2020-11-24
EP3311249B1 (en) 2019-09-04
EP3564788A1 (en) 2019-11-06
US9829989B2 (en) 2017-11-28
CN112328078A (zh) 2021-02-05
EP3564788B1 (en) 2020-11-18
US9529454B1 (en) 2016-12-27
EP3311249A1 (en) 2018-04-25
US20160370882A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN107771309A (zh) 三维用户输入
US11043031B2 (en) Content display property management
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
CN105900041B (zh) 利用视线跟踪进行的目标定位
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN107810465B (zh) 用于产生绘制表面的系统和方法
EP2946264B1 (en) Virtual interaction with image projection
CN105359082B (zh) 用于用户接口导航的系统和方法
CN105518574B (zh) 用于混合现实分级信息递送的方法和系统
CN110476142A (zh) 虚拟对象用户界面显示
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
CN106537261A (zh) 全息键盘显示
CN107787472A (zh) 用于虚拟现实中的凝视交互的悬停行为
CN106471442A (zh) 可穿戴装置的用户界面控制
US11320903B1 (en) Methods and systems of extended reality environment interaction based on eye motions
US20170293412A1 (en) Apparatus and method for controlling the apparatus
CN108700944A (zh) 与在虚拟现实环境中的运动有关的系统和方法
Flotyński et al. Extended Reality Environments
Chapoulie et al. Evaluation of direct manipulation using finger tracking for complex tasks in an immersive cube
US20240070299A1 (en) Revealing collaborative object using countdown timer
CA3199085A1 (en) Methods and systems of extended reality environment interaction based on eye motions
Keijser Alternate three-dimensional control-display mappings.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant