CN110603509A - 计算机介导的现实环境中直接和间接交互的联合 - Google Patents

计算机介导的现实环境中直接和间接交互的联合 Download PDF

Info

Publication number
CN110603509A
CN110603509A CN201880029194.4A CN201880029194A CN110603509A CN 110603509 A CN110603509 A CN 110603509A CN 201880029194 A CN201880029194 A CN 201880029194A CN 110603509 A CN110603509 A CN 110603509A
Authority
CN
China
Prior art keywords
interaction
direct
indirect
component
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880029194.4A
Other languages
English (en)
Other versions
CN110603509B (zh
Inventor
M·帕胡德
N·里什
E·奥菲克
C·赫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110603509A publication Critical patent/CN110603509A/zh
Application granted granted Critical
Publication of CN110603509B publication Critical patent/CN110603509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在各种实施例中，提供了用于联合在计算机介导的环境中与对象的直接和间接交互以促进与在计算机介导的环境中与对象的精确交互的计算机化方法和系统。该系统检测与计算机介导的现实环境中的对象的直接交互。直接交互可以是自然交互或超自然交互。随后，系统可以确定与和直接交互有关的对象的间接交互的各种选项。间接交互可以由控制器生成。在接收到间接交互时，系统可以基于直接交互和间接交互的联合来修改对象。

Description

计算机介导的现实环境中直接和间接交互的联合
背景技术
计算机介导的现实(CMR)指的是通过例如可穿戴计算机或手持设备的计算设备的使用来介导对现实的感知。通常，计算设备会介导用户对环境的视觉感知。诸如虚拟现实(VR)、增强现实(AR)和混合现实(MR)的各种CMR技术使用户能够查看和感知计算机生成的二维(2D)对象和三维(3D)对象，就像对象实际存在于用户感知的环境中一样。计算的进步推动了将这些技术应用于娱乐和企业市场的巨大发展努力。
在CMR环境中与对象的交互通常很麻烦并且容易出错。用手进入CMR环境可能会非常消耗的，尤其是如果必须将双手放在空中时。此外，用户难以通过与计算机生成的对象的交互来准确表达其意图。此外，用户可能没有收到用于交互的有效触觉反馈，从而使得准确的交互更加困难，并且有可能是错误的。为此，用户可能不知道需要调整交互方式。在某些情况下，计算设备可能会误解用户的意图，并对用户的交互做出错误的反应，例如以不同于用户的偏好的方式来介导CMR环境。
发明内容
本文描述的实施例提供了用于在CMR环境中联合直接和间接交互的方法和系统。更具体地，利用与CMR环境中的对象有关的直接和间接交互的联合来进一步介导CMR环境。
在各种实施例中，被配置为介导CMR环境的计算设备接收与CMR环境中的对象的直接交互(例如自然或超自然的交互)。计算设备可以至少部分地基于直接交互的特性来确定还用于与对象间接交互的一个或多个选项，例如对象的属性、交互的方式或相关的上下文信息。基于直接交互的特性，计算设备可以确定用于与对象间接交互的一个或多个选项。可选地，计算设备可以利用用于间接交互的这些选项的表示来增强CMR环境，例如以指导用户与对象进行间接交互。在接收到指示间接交互的至少一个选项的信号时，计算设备可以根据直接交互和间接交互的联合来修改CMR环境。
为此，公开的用于联合直接和间接交互的方法和系统不仅能够实现与CMR环境中的对象的直观的直接交互，而且能够实现联合的间接交互，以使计算设备能够更好地理解用户的意图，并因此快速精确地修改CMR环境中的一个或多个对象。
提供本发明内容以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在单独用于辅助确定所要求保护的主题的范围。
附图说明
下面参考附图详细描述本发明，在附图中：
图1是示出了根据本公开的一些实施例的用于在CMR环境中联合直接和间接交互的示意性系统的示意图；
图2是根据本公开的一些实施例的用于联合直接和间接交互的示意性计算系统的框图；
图3是示出了根据本公开的一些实施例的直接和间接交互的联合的示意性实现的示意图；
图4是示出了根据本公开的一些实施例的直接和间接交互的另一联合的示意性实现的示意图；
图5是示出了根据本公开的一些实施例的用于联合直接和间接交互的处理的流程图；
图6是示出了根据本公开的一些实施例的用于基于直接和间接的交互来变换对象的处理的流程图；
图7是示出了根据本公开的一些实施例的头戴式显示单元的示意性增强现实图像的示意图；
图8是根据本公开的一些实施例的示意性头戴式显示单元的框图；以及
图9是适合用于实现本公开的实施例的示意性计算环境的框图。
具体实施方式
根据本文描述的实施例，CMR环境可以包括虚拟现实(VR)环境、增强现实(AR)环境和混合现实(MR)环境中的任意一种，它们中的每一个至少部分地由一个或多个计算设备绘制并提供给用户的沉浸式显示。术语“环境”可以指代可用于向用户感知显示的绘制对象的一部分或全部。例如在完全虚拟的环境(例如VR)中，环境可以引用绘制对象、绘制背景或粒子系统、或其任意部分和/或组合的一个或多个集合。在部分虚拟的环境(例如AR或MR)中，环境可以引用绘制对象、粒子系统、真实空间或背景或它们的任意部分和/或组合的一个或多个集合。
CMR技术可以能够实现对计算机生成的3D对象的现实感知，并且在某些配置中，可以能够实现与这些对象的感知交互。3D交互研究中存在三种主要的设计方案：自然主义(即“自然”)、魔术和超自然现象。“自然主义试图设计交互技术，使其完全按照现实世界的方式工作，或者至少尽可能接近实际情况。魔术技术试图通过赋予用户用于执行任务的新的能力和非自然的方法来增强可用性和性能。超自然技术是使用自然运动的魔术技术，但是通过为用户提供新的能力或智能指导使其变得更强大。提高的交互逼真度是超自然技术与标准魔术技术的区别。”R.P.McMahan,Kopper,R.,and Bowman,D.A.,“Principles forDesigning Effective 3D Interaction Techniques,”in Handbook of VirtualEnvironments:Design,Implementation,and Applications,2nd ed.,K.Hale andStanney,K.Boca Raton,FL:CRC Press,2015,pp.285-311。
在动态且不断变化的CRM环境中，重要的是为用户提供具有精确可控性的直观交互模式。每种不同的交互技术都有其优点和缺点。与3D对象进行自然交互的好处是使用户熟悉，因为它与我们与现实世界中的对象如何交互相对应。然而，对于自然交互技术而言，与伸手不及的3D对象进行交互可能会很困难。此外，用户正在操纵的虚拟对象没有被动或主动的触觉反馈。在一定距离上，超自然或魔术交互方法通常比自然交互方法更好。例如射线投射通过各种超自然交互方法采用的用于与远处物体交互的特性。利用射线投射，例如从用户的手或头投射的各种虚拟光线可以使用户能够与远处或手臂无法触及的物体进行交互。
为了本公开的目的，超自然和魔术交互方法将被分组在一起并且被称为超自然交互技术。然而，可以预期，在一些实施例中，魔术和超自然的交互技术可以被区分并且被认为是不同的交互技术，并且对超自然的交互技术的任意引用可以是引用魔术和超自然的交互方法中的任意一个或两者。
如本公开中所讨论的，直接交互是指操作者(例如手指)或其延伸部(例如手指的虚拟光线)将在CM环境中与目标对象(例如3D虚拟对象)直接地交互。直接交互可以包括自然交互或超自然交互技术。
然而，单独的直接交互通常是不明确的并且也缺乏精确度。作为示例，抓住虚拟对象的直接交互可以被解释为对虚拟对象的选择或挤压。如果用户的意图是挤压虚拟对象，则计算设备将很难确定与挤压有关的预期作用力。作为另一示例，触摸虚拟对象的直接交互可以被解释为对虚拟对象的选择或推动。如果用户的意图是推动虚拟对象，则计算设备可能无法确定推动虚拟对象的作用力，从而无法确定推动对象的最终距离。在这两个示例中，由于虚拟对象与物理对象不同，不能基于直接交互来形成动作-反作用力对，因此用户也无法从直接交互中接收触觉反馈。
相反，如本公开中所讨论的，间接交互是指操作员(例如控制器设备)将仅经由例如电信号、光信号或无线电信号的信号，与CMR环境中的目标对象(例如3D虚拟对象)进行间接交互。在各种实施例中，作为示例，间接交互基于控制器设备，诸如遥控器或操纵杆。即，诸如鼠标、键盘、操纵杆、虚拟现实控制器、触摸板等的输入设备(或“控制器”)被用来生成控制信号以与CMR环境中的预期目标间接交互。尽管控制器通常用于游戏应用，但它们可以用于任意类型的应用中，以用于与绘制对象进行基本到高级的交互。有利地，控制器可以用于例如经由从众多选项中进行选择来消除用户意图的歧义。此外，控制器可以提供对控制信号的大小的精确控制，例如电压电平或电信号的时间。
本公开的实施例提供了用于联合与CMR环境中的对象的直接和间接交互的系统和方法。换句话说，用户可以使用直接交互技术与CMR环境中的目标对象自然交互。同时，用户还可以使用间接交互技术来更精确地控制与直接交互相关联的、与用户意图有关的目标对象的反应。在各种实施例中，直接和间接交互的联合通常用于修改目标对象或CMR环境。
举例来说，通过被配置为介导CMR环境的计算设备可以接收与CMR环境中的对象的直接交互。然后，计算设备可以至少部分地基于直接交互的特征来确定与对象的间接交互的一个或多个选项，诸如交互点，例如拐角、边缘、表面或对象的内部。基于直接交互的特征，计算设备可以确定用于与对象间接交互的一个或多个可用选项。例如直接交互可以选择特定对象，而间接动作则修改其位置(例如促进线性运动)或修改其方向(例如促进旋转运动)。
可选地，计算设备可以利用间接交的这些选项的表示来增强CMR环境，例如以指导用户进行与对象的可用间接交互。这些选项可以基于与头戴式显示器(HMD)设备、上下文、选择的VR对象等连接或与头戴式显示器(HMD)设备、上下文、选择的VR对象等通信的可用设备。在接收到指示间接交互的至少一个选项的信号后(例如线性移动)，计算设备可以根据直接交互和间接交互的联合来修改CMR环境。在这种情况下，联合可以是将CMR环境的对象沿某个方向以及在某些实施例中以特定距离移动的复合命令。
现在参考图1，根据本公开的一些实施例，提供了用于在CMR环境中联合直接和间接交互的示意性系统。在该CMR环境中，头戴式显示器(HMD)设备120使用户110能够看到虚拟对象140。用户110可以直接与虚拟对象140交互。举例来说，左手112可以到达虚拟对象140的特征142的位置，或者在特定方向上绕特征142移动。在HMD设备120和/或与HMD设备120连接或通信的计算设备(例如房间中的固定传感器、手戴式设备等)检测到此直接交互之后，HMD设备120可使菜单150呈现给用户110。菜单150可以呈现通常与特征142或虚拟对象140间接交互的几个选项。例如与特征142的间接交互的选项可以包括改变颜色、改变方向、改变大小(例如放大或缩小)、改变形状、移动、旋转、扭曲、弯曲等。与虚拟对象140的间接交互的相似或不同的选项也可以被呈现在菜单150中。
在一些实施例中，菜单150是可选的。在HMD设备120检测到直接交互之后，HMD设备120使与所检测的直接交互相关联的默认行为被激活。与所检测的直接交互关联的默认行为可能取决于上下文和直接交互的特性。
用户110可以使用另一只手114来操作控制器130，例如以从菜单150中选择菜单项，并向HMD设备120提供间接交互的信号。尽管在图1中控制器130被示为转盘，控制器130可以具有各种形式，例如板岩、操纵杆、触摸板、显示器、鼠标、键盘、VR控制器等。用户110可以将具有触摸屏的显示器用作控制器。用户110可以使用手势来与控制器130交互，诸如以手/手指手势悬停在平板或智能手机上。
在一些实施例中，多个控制器被单独或同时用于间接交互。举例来说，每个控制器用于操纵所选虚拟对象的特定属性，诸如用于使虚拟对象旋转的表盘、用于将虚拟对象替换为连续的下一个虚拟对象的滑块、用于调整虚拟对象的大小的平板、以及用于调整虚拟对象的大小的触控笔。
在一些实施例中，控制器130是可穿戴设备，例如智能手表。可穿戴设备可以连接到HMD设备120以提供间接交互。在一个实施例中，控制器130可以是智能电话，其可以被绑在用户的手臂上作为特殊的可穿戴设备以与对象间接交互。可穿戴设备可以被配置为检测其自身或其主体(例如腕部或手臂)的位置或定向。例如可穿戴设备可以采用内置传感器(例如加速度计、陀螺仪、磁力计或GPS传感器)。在另一实例中，可穿戴设备可以发射可由HMD设备120检测的信号(例如光或IR)，以确定可穿戴设备相对于HMD设备120的位置和/或取向。
当控制器130是可穿戴设备时，用户可以使用身体运动(例如手臂运动)来使可穿戴设备以某种模式运动，使可穿戴设备改变位置(例如朝上或朝下)，或使可穿戴设备更改其在CMR环境中的位置(例如3D坐标)。随后，可穿戴设备可以向HMD设备120发送信号以指示可穿戴设备的运动、定位或位置。这样的信号可以用于间接地与对象(例如虚拟对象)交互。
在一些实施例中，可以采用控制器130例如通过按下控制器130上的按钮(未示出)来激活目标菜单项。随后，用户110可以使用控制器130来控制操作的变化和幅度，作为促进间接交互的方式。作为示例，如果激活了“改变颜色”的间接交互，则用户110可以使用控制器130来浏览一系列颜色选项。特征142可以根据例如控制器130的当前位置来动态地改变颜色。在另一个示例中，当“滑动”的间接交互被激活并且经由手112的直接交互已经指示了方向性运动(例如向右运动)时，控制器130的操作可以生成要移动的距离的信号。可选地，这样的距离信息可以与CMR环境中的特征142一起呈现，诸如将距离信息覆盖到菜单150。这样，在正确方向上移动特征142的直接交互与要移动的距离的间接交互的联合，可使HMD设备120能够绘制不同的视图，其中特征142以指定的距离向右方向移动。
在一些实施例中，间接交互被可视化为与用户110的虚拟直接交互。例如当使用转盘围绕垂直轴旋转对象时，可以绘制旋转对象的虚拟手，对应于旋转转盘的实际手。当用户的手触摸转盘时，用户110看到虚拟手朝所选对象移动，并且然后与控制器的运动相对应地旋转对象。结果是可视为直接操纵的间接交互。
在各个实施例中，控制器130可以使用有线技术(例如同轴电缆、双绞线、光纤等)或无线技术(包括短程无线电信连接，例如连接、蓝牙连接等)被连接到HMD设备120。
在一些实施例中，用户110的注视和基于控制器130的间接交互的联合被用于修改CMR环境。换句话说，在本公开中，用户110的注视也被称为直接交互的形式。举例来说，用户110的注视可用于选择要与之交互的对象，而用户110则采用控制器130间接与该对象交互。在该示例中，控制器130可用于旋转用户注视的对象。在另一示例中，眼睛注视的轨迹可以被解释为用于移动对象的方向，而基于由控制器130接收的输入的间接交互可以用于确定对象的精确移动，例如距离。
在一些实施例中，控制器130可向用户110提供触觉反馈。在一个示例中，控制器130可响应于手112触摸特征142而提供振动动作。此外，控制器130可根据直接交互的交互点来提供不同类型的振动。例如如果交互点是特征142的拐角，则控制器130将仅振动一次。然而，如果交互点是特征142的表面，则控制器130将振动多次。在另一示例中，假设用户110使用控制器130来控制特征142的旋转，则可以提供触觉反馈来引导用户110，而无需用户110注视控制器130。例如控制器130可以针对每个预定的旋转角度(例如，每30度)滴答。
在各个实施例中，控制器110可以由用户110的惯用手或非惯用手使用。以这种方式，用户110可以选择使用惯用手直接与CMR环境中的对象进行交互，同时使用非惯用手以例如经由控制器130提供与那些对象的间接交互。类似地，用户110可以切换惯用手和非惯用手以促进直接和间接交互。
参考图2，根据本公开的一些实施例，提供了用于联合直接和间接交互的交互联合系统200。交互联合系统200包括计算设备210和控制器230。在各种实施例中，计算设备210可以包括头戴式显示器(HMD)设备，如图1所示的HMD设备120。控制器230可以各种形式配置，例如图1所示的控制器130。
在一些实施例中，计算设备210可以包括任意类型的计算设备，诸如下面参考图9描述的计算设备900。如将在下面更详细地描述的，在各个实施例中，计算设备210可以尤其包括：直接交互组件212、间接交互组件214、交互联合组件216、感测组件222和绘制组件224。在进一步的实施例中，控制器230可以包括控制组件232和反馈组件234。根据本文描述的实施例，预期可以在计算设备210的任何一个或多个组件或子组件中实现前述组件。例如，直接交互组件212、间接交互组件214和交互联合组件216中的任何一个可以至少部分地在处理器、图形处理单元(GPU)、应用代码、固件等中实现。
此外，本文所用的“组件”是指任意设备、过程、服务或其任意组合。可以使用硬件、软件、固件、专用设备或其任意组合来实现组件。组件可以集成到单个设备中，也可以分布在多个设备上。组件的各个方面可以并置或分布。该组件可以由其他组件及其方面形成。
除了所示出的那些布置或元素之外或取代所示出的那些布置或元素，可以使用其他布置和元素(例如机器、界面、功能、命令和功能的分组等)，并且可以完全省略一些元素。此外，本文描述的许多元素是功能实体，其可以被实现为离散或分布式组件或与其他组件结合并且以任意合适的组合和位置来实现。本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如可以通过处理器执行存储在存储器中的指令来执行各种功能。
计算设备210可以包括以下参考图7和图8描述的任意类型的HMD或增强现实设备。增强现实设备是示意性HMD设备，并且根据本公开的实施例可以预期其他类型的增强现实设备(例如投影仪)。计算设备210可以是场景感知设备，其理解围绕现实世界环境的元素并且生成虚拟对象作为增强现实图像。计算设备210的一个非限制性示例是由华盛顿州雷德蒙德的微软公司开发的
计算设备210可以被配置为基于例如感测组件222的计算设备210的组件捕获现实世界的环境。感测组件222可以包括深度相机和/或传感器，其支持理解场景或环境的元素，例如，生成周围真实世界环境的3-D网格表示。此外，感测组件222可以使用深度相机和/或传感器来检测例如在CMR环境中的物理手和虚拟对象之间的直接交互。绘制组件224可以至少部分地基于3-D网格表示来绘制虚拟对象或图像。就这一点而言，计算设备210可以具体包括基于直接和间接交互的联合来修改CMR环境(例如以创建或修改虚拟对象)的功能(例如通过绘制组件224实现的增强现实或混合现实体验)。
直接交互组件212处理和分析所检测的与CMR环境中的对象的直接交互的信息。举例来说，感测组件222可以检测与虚拟对象的直接交互。随后，感测组件222可以将与直接交互有关的各种信号发送到直接交互组件212。因此，直接交互组件212可以接收基于在CMR环境中定向到计算机生成的对象的所检测的直接交互(例如，自然或超自然)而生成的输入信号。此外，直接交互组件212可以例如基于接收到的信号来确定所检测的直接交互的特性。
根据本文所述的实施例，感测组件222可以包括各种传感器组件，例如陀螺仪、加速度计和磁力计、红外灯、红外摄像机、运动传感器、光传感器、3-D扫描仪、CMOS传感器、GPS无线电台等。在各种实施例中，感测组件222尤其可采用前述传感器来从CMR环境中标识预期目标(例如虚拟对象)，并且在某些情况下，跟踪例如穿戴或以其他方式链接到计算设备210的用户的物理位置和运动(例如，眼睛跟踪、身体运动、手指位置等)。
因此，根据所接收的信号，直接交互组件212可以确定与所检测的直接交互相关联的各种特性，诸如用户的注视位置；在所检测的直接交互之前、之中和之后，各个身体部位(例如手或手指)的位置；身体运动的特性(例如身体运动的速度、加速度、方向、频率)；与所检测的直接交互有关的虚拟对象的交互点；或与所检测的直接交互相关的任意其他特性。
在一些实施例中，直接交互组件212可以至少部分基于CMR环境中的运动对象(例如手、手指)和虚拟对象之间的相对接近度来确定直接交互的特性。在一些实施例中，感测组件222可基于所检测的用户的注视来检测CMR环境中的目标对象。在其他实施例中，感测组件222可以检测CMR环境中的手或手指的位置。在另外的实施例中，感测组件222可以检测手或手指与目标对象之间的距离。作为示例，如果手指与目标对象之间的距离变得小于预定阈值，则直接交互组件212可以将交互标识为手指与目标对象之间的直接交互。
在一些实施例中，直接交互组件212可以识别由用户执行的手势。例如用户可以使用其四肢(例如手臂、手指、腿、头等)执行手势，这些手势可以例如经由诸如相机、运动传感器、红外线传感器等的光学输入组件进行检测。在这方面，可以分析与用户的手相关的更复杂的细节，以促进直接交互的标识。具体地，基于对接收到的输入数据的分析可检测的手的方向、手指的定位和关节角度、手势(例如指向)或其他手的特性可以使直接交互组件212能够表征直接交互。因此，直接交互组件212可以将这样的手势解释为与CMR环境的直接交互，例如与用户当前注视的虚拟对象。在各种实施例中，可以例如基于预定义配置、用户设置的配置或默认配置，将这样的手势映射到预定义类型的直接交互。
控制器230可以包括控制组件232和反馈组件234，以及在图2中未直接示出的其他组件。类似于图1中的控制器130，控制器230可以体现为各种形式，诸如转盘、平板、操纵杆、触摸板、鼠标、键盘、VR控制器、类似笔的控制器等。在各种实施例中，控制器230可以基于由此接收的用户输入来生成用于间接交互的信号。在各种实施例中，可以经由至少一个按钮、触摸屏表面、运动传感器(例如加速度计、陀螺仪)、控制界面或其任意组合来接收用户输入。即，控制器230可用于生成控制信号以与CMR环境中的预期目标间接地交互。
控制组件232可以例如经由与控制组件232相关联的传感器或控制接口来接收各种形式的用户输入。根据控制器230的形式，所接收的用户输入可以被编码为各种模拟或数字信号以代表一个或多个可标识用户输入的各种特性(例如持续时间和幅度)。换句话说，这些信号包括用户输入的测量信息。
一旦从控制器230接收到这样的信号，间接交互组件214就可以处理和分析这样的信号。举例来说，间接交互组件214可以例如通过在预定的持续时间或时间窗口内查找所检测的直接交互的任意事件来确定这种信号是否与所检测的直接交互有关。在一些实施例中，直接交互组件212可以确定与所检测的直接交互有关的虚拟对象的交互点，并且间接交互组件214可以进一步确定修改设置，诸如与交互点有关的放大设置或与交互点相关联和/或相对于交互点的虚拟对象的旋转设置。
在各个实施例中，间接交互组件214可以基于直接交互的特性来解释信号。例如如果直接交互是线性运动动作，则间接交互的信号可以包括这种线性运动的距离。如果直接交互是旋转动作，则间接交互的信号可以包括这种旋转的程度。如果直接交互是放大动作，则间接交互的信号可以包括这种放大的缩放因子。
结合图1，控制器230还可以用于例如基于图1中的菜单150来选择特定形式的间接交互。有利地，当存在与所检测的直接交互有关的间接交互的许多选项时，控制器230可以用于例如通过从菜单中选择用户想要的东西来消除用户意图的歧义。
交互联合组件216可以处理来自直接交互组件212和间接交互组件214的信息，并且可以进一步确定应如何修改CMR环境。交互联合组件216可以基于直接交互来确定修改的形式，并且基于间接交互来确定用于控制修改的控制参数。还可以说，交互联合组件216可以鉴于与虚拟对象有关的直接和间接交互来确定虚拟对象的反应。
继续先前结合间接交互组件214讨论的示例，如果直接交互是线性运动动作(即，修改的形式)，并且间接交互进一步控制这种线性运动的距离(即，形式的控制参数)，那么这些直接和间接交互的联合会导致虚拟对象线性移动对应于间接交互的距离。同样，如果直接交互是旋转动作(即修改的形式)，并且间接交互进一步控制这种旋转的程度(即形式的控制参数)，则这些直接和间接交互的联合会导致虚拟对象旋转对应于间接交互的多个角度。如果直接交互是一个缩放动作(例如缩小或放大)，并且间接交互进一步控制了这种放大的缩放因子，那么这些直接和间接交互的联合会导致虚拟对象基于与间接交互相对应的缩放因子(即形式的控制参数)来缩放(即，修改的形式)。
在各种实施例中，绘制组件224可以使直接或间接交互的选项被呈现在CMR环境中，使得可以向用户呈现列出与目标对象相关联的可用交互选项的指南。此外，绘制组件224可以例如至少部分地基于这些直接和间接交互的联合来修改虚拟对象如何被绘制以及最终被用户感知。换句话说，绘制组件224可以例如通过根据这些直接和间接交互的联合、修改虚拟对象的配置(例如定位、大小、形状、角度)、变换(例如缩放、旋转、倾斜、拉伸、扭曲)虚拟对象、或删除虚拟对象、或甚至创建新对象来修改虚拟对象。
在各个实施例中，由绘制组件224绘制的每个虚拟对象被定位在相对于HMD并且因此还相对于穿戴HMD的用户的相应位置处。此外，可以例如根据这些直接和间接交互的联合，通过绘制组件224实时连续地修改绘制的虚拟对象，来维持绘制的虚拟对象的恰当透视图和配置。
在各种实施例中，直接交互组件212、间接交互组件214和交互联合组件216中的每一个可以至少部分地基于所检测的直接交互、间接交互或直接和间接交互的联合的所确定的特性来产生反馈的指示。反馈的指示可以被发送到控制器230。在一些实施例中，反馈组件234可以向用户提供反馈。反馈可以以特定形式或形式的组合来提供，诸如触觉反馈、热反馈或听觉反馈。可以经由计算设备210，控制器230或连接到它们的另一设备来提供反馈。以这种方式，用户可以接收对所检测的直接交互、间接交互或直接和间接交互的联合的确认，并在必要时修改那些交互，所有这些都不会中断(例如向下看控制器230)以继续与CMR环境的交互。
可以基于所检测的交互特性和反馈组件234的实现来确定特定形式的反馈。在一个示例中，如果在反馈组件234中安装了振动组件(例如，触觉电动机)，则控制器230可以响应于所检测的直接交互来提供振动的动作。在另一个示例中，控制器230可以为所检测的间接交互提供可听的声音，例如扬声器在控制器230所检测的每10度旋转中发出蜂鸣声。
在一些实施例中，反馈组件234可以提供交互的限制的反馈。例如对于虚拟对象的缩放操作，如果缩放操作不能被进一步绘制，诸如由于场景中有限的自由空间，则反馈组件234可以例如以播放可听信号的形式、以控制器230中的触觉反馈(例如，点击)的形式、以停止控制组件232的操作的形式、等等，提供这样的限制的反馈，。
参考图3和图4，可以使用示意性实现来更详细地解释直接和间接交互的联合的实施例。为了图示本公开的特定特征，在图3中图示了与虚拟对象330的直接和间接交互的联合。
在各种实现中，虚拟对象330可以包括一个或多个控制点，该控制点促进与其自然或超自然的交互。这样，用户可以直接与虚拟对象控制点交互以与虚拟对象交互。在一些进一步的实现中，可以基于选定控制点，与预期目标的选定控制点直接交互，以促进定向交互或对预期目标的修改。
在该示例中，左手310直接接触虚拟对象330。在这种情况下，虚拟对象330的表面积是可标识的虚拟对象控制点。可选地，可以向用户呈现间接交互的菜单(未示出)。例如菜单选项可以包括拉动或推动。用户可以经由控制器340选择期望的菜单项，例如推动。控制器340可以具有菜单选择按钮(未示出)，以供用户激活菜单项。可替代地，可以基于用户的眼睛注视来选择菜单项，例如可以在CMR环境中呈现注视位置指示符(例如十字准线)以指导用户进行选择。在一些实施例中，存在用于间接交互的默认动作。在没有任意选择的情况下，用户可以操作控制器340以与虚拟对象330间接交互。
在本实现中，用户使用右手320操作控制器340。该操作可以包括推动、拉动或旋转控制器340。当用户推动控制器340时，控制器340可以采用传感器来指示控制器340已被推动了多远和多长时间。就这一点而言，控制器340可以生成包括感测到的距离的信号。然后可以利用这种信号来定义这种间接交互的特性。举例来说，虚拟对象330在直接交互期间位于D1位置。当用户推动控制器340时，由控制器340产生的信号可用于定义虚拟物体330将被推动的距离。在一实施例中，取决于信号所代表的幅度，这些直接和间接交互的联合可以使虚拟对象330被推到D2或D3位置，该幅度可以对应于感测到的推动持续时间或感测到的施加在控制器340上的物理力、和/或控制器340的位移。在另一个实施例中，当控制器340被推动时，可以在CMR环境中模拟虚拟对象330的运动。例如该视图可以被修改以示出在控制器340的用户操作期间虚拟对象330的实时运动。
在一个实施例中，控制器340可以具有触觉绘制能力，例如旋转盘，其在手指和虚拟对象330的点处显示表面法线。它还可以绘制表面的局部形状，并且通过这样做，引导手320来操作控制器340，而无需用户注视控制器340。
在各个实施例中，响应于直接交互、间接交互或直接和间接交互的联合，反馈组件342可以向用户提供各种反馈。作为示例，当检测到直接交互时，反馈组件342可以提供一种触觉反馈(例如短暂持续时间的振动模式)。作为另一个示例，反馈组件342可以在间接交互期间提供另一种触觉反馈(例如延长的持续时间的振动模式)。作为又一个示例，当直接和间接交互的联合被应用于虚拟对象330时(例如当虚拟对象330最终被移动到期望位置时)，反馈组件342可以提供另一种触觉反馈(例如具有高频率或幅度的振动模式)。
现在参考图4，该图形图示描绘了另一虚拟对象430内左手410和虚拟对象450之间的直接交互。同时，右手420可以操作控制器440(例如触摸板接收器)认与虚拟对象450进行间接交互。因此，在该示例中，基于这些直接和间接交互的联合，虚拟对象450被放大，以变为虚拟对象460。
为了发起与虚拟对象450的直接交互，左手410可以使用手指刺穿虚拟对象430并且虚拟地“触摸”虚拟对象450。在一个实施例中，可以修改CMR环境，例如虚拟对象450的颜色可以被改变，以指示所检测的直接交互。在另一个实施例中，控制器440可以提供诸如可听蜂鸣声的可听反馈和/或触觉反馈等，以指示所检测的直接交互。
右手420可以使用例如反向捏的手势以与虚拟对象450间接交互。反向捏可以被测量并被转换为缩放因子。因此，可以基于与虚拟对象450的直接交互和指示缩放因子的间接交互的联合来将虚拟对象450变换为虚拟对象460。
在一些实施例中，经由右手420与控制器440的间接交互被可视化为虚拟直接交互。例如假设操作是在粘土中雕刻。左手410可以将交互引导到特定位置，然后右手420的手指可以在控制器440的触摸表面上移动或做手势以进行雕刻。控制器440的触摸表面是2D，而对象450是3D。在这种情况下，右手420可以例如使用右手420的手掌作为参考平面来定义对象450上的表面的对应平面，以定义对象450上的表面的对应平面。此外，可以绘制虚拟工具(例如，雕刻机)以与虚拟对象450交互，使得用户可以与和控制器440的间接交互相关地获得雕刻操作的视觉反馈。
现在参照图1-4，参考图5，图5是示出用于联合直接和间接交互的方法500的流程图。方法500的每个框以及本文描述的其他方法包括可以使用硬件、固件和/或软件的任意组合来执行的计算过程。例如可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由仅举几例的独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件来提供。
在框510处，例如可以通过图2的直接交互组件212来检测与CMR环境中的对象的直接交互。CMR环境可以包括在计算机生成的世界中绘制的虚拟对象(例如VR)，或可以包括为增强现实世界或与现实世界融合而绘制的虚拟对象(例如AR/MR)。在各种实施例中，可以例如通过图2的感测组件222来测量演员(例如手指或手持式仪器)与虚拟物体之间的相对接近度(即，距离)。如果该距离低于预定距离阈值持续时间大于预定时间阈值，则直接交互组件212可以识别所检测的身体部分与虚拟对象之间的直接交互。
如本文所述，可以基于与虚拟对象相关联的绘制信息和与演员相关联的感测信息(例如经由相机或其他光学传感器)来确定相对接近度。可以尤其从与虚拟对象相关联的变换矩阵或投影矩阵中提取绘制信息。在某些情况下，相对接近度还可以基于用户的延伸部分(例如用户的手、脚或手持对象)与虚拟对象之间的近似或计算距离。在各种实施例中，在将虚拟对象的位置和演员的位置放入相同的3-D坐标系之后获得相对接近度，使得可以计算两个位置之间的欧几里得距离。
在一些实施例中，相对接近度的信息，诸如从手到虚拟对象的距离，被用于控制操作的规模。例如假设控制布娃娃(“ragdoll puppet”)，当手远离玩偶时，旋转操作可以应用于整个玩偶。然而，仅当手越来越靠近玩偶时，旋转操作才可以应用于玩偶头部。类似地，当手非常靠近眼睛时，可以将旋转操作应用于玩偶的眼睛，例如以旋转玩偶的注视。
在框520处，可以至少部分基于直接交互的特性来确定与对象的间接交互的一个或多个选项，例如通过图2的间接交互组件214。直接交互的特性可以包括虚拟对象的属性、控制器的属性、交互的方式、与直接交互有关的上下文信息等。虚拟对象的属性可以包括对象的性质(例如，虚拟动物、虚拟玩具或虚拟家具)、大小、重量、方向以及虚拟对象的许多其他属性。交互的方式可以包括交互的点(例如，点或表面)、与交互相关联的动作(例如，抓住、推动、拉动、旋转、拼接)、交互的方向(例如，与力有关的方向)、用于交互的手指数等。与直接交互有关的上下文信息可以包括视图、透视图、用户的先前动作、用户的注视、目标对象周围或附近的对象等。
基于直接交互的特性，可以确定与目标对象有关的间接交互的一个或多个选项。例如如果手指在直接交互中触摸虚拟Earth 3D对象上的特定点，则间接交互的选项可能包括线性移动虚拟对象、沿与交互点交叉的纬度旋转虚拟对象、沿与交互点相交的经线旋转虚拟对象、放大交互点并显示更多细节等。
在框530处，可以例如通过图2的间接交互组件214来接收与间接交互的一个或多个选项之一相关联的信号。这种信号可以从控制器生成，例如鼠标、操纵杆、转盘或VR控制器，仅举几例。在一些实施例中，信号包括用于间接交互的特定选项的选择的信息。此外，信号还可以包括间接交互的各种性质或测量的信息，例如间接交互的持续时间或强度。
在一些实施例中，本文公开的间接交互技术可以使现实世界的对象能够被用作通用控制器。例如用户要在动画中操作多个虚拟足球运动员角色，并且每个虚拟足球运动员都与桌子上可区分的物理对象相关联。此外，旋转物理对象可以改变与每个玩家相关联的动画。在这种情况下，物理对象可以被用作通用控制器。举例来说，用户可以像旋钮一样旋转每个物理对象，以改变对应虚拟足球运动员的动画。
在框540处，可以至少部分基于信号来修改与对象有关的CMR环境。在各种实施例中，考虑到直接交互来解释与间接交互有关的信号。直接和间接交互的联合用于修改CMR环境。在一些实施例中，目标对象是虚拟对象，其可以基于直接和间接交互的联合来被重新绘制或变换，如图3或图4所示。
在一些实施例中，目标对象是物理对象，例如桌子。直接交互可以是预先配置的手势，例如敲击桌子两次。在这种情况下，间接交互可以使用操纵杆从礼物列表中选择礼物。在这种情况下，这些直接和间接交互的联合可能会导致所选礼物作为CMR环境中的新虚拟对象被呈现在桌子上。换句话说，桌子用虚拟礼物被增强了。
在一些实施例中，与控制器的间接交互影响多个选择的对象。在持久选择的实现中，用户可以通过直接交互来依次点击多个对象以选择它们。对象可以保持被选中，也可以保持被选中特定时间段。与控制器的间接交互将影响所选的多个对象。该实施例允许单手交互，其中同一只手可以选择对象，并且然后伸出手来使控制器控制它们。
现在参照图1-5，参考图6，图6是示出用于基于直接和间接交互来变换对象的方法600的流程图。方法600以及本文描述的其他方法的每个框包括可以使用硬件、固件和/或软件的任意组合来执行的计算处理。例如可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供，仅举几例。在各种实施例中，可以关于图5的框540执行方法600。
在框610处，可以至少部分基于直接交互来确定对象的变换的形式。变换的形式是指要应用于对象的操作，例如选择、线性运动、角运动、缩放操作、变形操作或与对象相关的其他类型的操作。可以从与直接交互关联的特性中识别大量相关操作。可以基于例如上下文、所选对象等为直接交互配置默认操作。
在框620处，可以至少部分地基于间接交互来确定变换的程度。变换的程度是指操作的一个或多个控制参数。例如如果变换的形式是线性运动，则变换的程度可以是线性运动的距离。如果变换的形式是旋转操作，则变换的程度可以是旋转角度。如果变换的形式是放大操作，则变换的程度可以是放大率。如果变换的形式是变形，则变换的程度可以是变形的程度。如果变换的形式是随着时间对对象进行动画处理，则变换的程度可以是动画的持续时间或速度。
在框630处，可以基于变换的形式和程度来变换对象。在各种实施例中，修改CMR环境包括至少部分地基于操作的形式和程度来变换对象。举例来说，操作是在条形图上生长条形。在这种情况下，直接交互指示将增长哪个条，而间接交互指示条将增长多少。因此，基于该变换的标识形式和程度，目标条可以被变换为不同的条(例如具有不同的高度)。
参考图7，描绘了头戴式显示器(HMD)设备710的示意性图像。由HMD设备提供的绘制虚拟对象通常以虚拟现实配置出现在绘制空间中。然而，在增强现实配置中，虚拟对象(例如730和740)可能显现为叠加在现实世界的背景上，并且可能看起来与背景交互或与背景集成在一起。在增强现实配置中，背景包括现实世界场景，例如在没有由HMD设备发出的增强现实图像的情况下用户可以感知的场景。例如立方体730可以出现在架子的顶部，而立方体740可以出现在工作台的顶部。在各种实施例中，左手750可以直接与立方体740交互，例如以接触立方体740的边缘以使其旋转，而右手760可以提供与立方体740的间接交互，例如以提供旋转的方向和角度。
转向图8，根据本文所述的实施例，描述了用于增强现实应用的混合现实HMD设备802，其尤其具有虚拟对象绘制组件804和交互联合组件806。HMD设备802包括透明透镜810，该透明透镜810被放置在用户的眼睛812的前面，类似于眼镜透镜。可以想到的是，可以提供一对透视透镜810，每个眼睛812一个透镜。透镜810包括光学显示组件814，诸如分束器(例如半镀银镜)。HMD设备802包括增强现实发射器820，其促进改变增强现实图像的亮度。在未示出的其他组件中，HMD设备还包括处理器822、存储器824、接口826、总线828和附加的HMD组件830。增强现实发射器820发射代表由光线842例示的增强现实图像840的光。诸如光线852的来自现实世界场景850的光线到达透镜810。可以使用附加光学元件对增强现实图像840进行重新聚焦，以使它看起来像是距眼睛812几英尺远而不是1英寸远，显示组件814实际上是1英寸远。存储器824可以包含由处理器822执行的指令，以使增强现实发射器820能够执行所描述的功能。一个或多个处理器可以被认为是控制电路。增强现实发射器820使用总线828和其他合适的通信路径与附加的HMD组件830通信。如光线816所例示，增强现实图像840由显示组件814朝向用户的眼睛反射，从而用户看到图像818。在图像818中，诸如工作台面的现实世界场景850的一部分与诸如立方体的整个增强现实图像840一起可见。因此，在该示例中，用户可以看到混合现实图像818，在混合现实图像818，立方体看起来在工作台面的顶部。
在各个实施例中，类似于图2中的交互联合组件216的交互联合组件806可以联合与例如图像840的虚拟对象的直接和间接交互，并使虚拟对象绘制组件804基于所检测到的与虚拟对象的直接和间接交互的联合来绘制对虚拟对象或虚拟对象的不同视图的修改。
已经描述了本发明的实施例，下面描述可以在其中实现本发明的实施例的示意性操作环境，以便为本发明的各个方面提供一般背景。首先特别参考图9，用于实现本发明的实施例的示意性操作环境被示出，并且总体上被指定为计算设备900。
计算设备900只是合适的计算环境的一个示例，并且不旨在建议对本文所述技术的使用范围的任意限制。计算设备900也不应被解释为具有与所示出的任意一个组件或组件的组合有关的任意依赖性或要求。
本文描述的技术可以在由计算机或其他机器执行的计算机代码或机器可用指令的一般上下文中描述，包括诸如程序组件的计算机可执行指令。通常，程序组件，包括例程、程序、对象、组件、数据结构等，是指执行特定任务或实现特定抽象数据类型的代码。可以在包括手持设备、消费电子产品、通用计算机、专用计算设备等的各种系统配置中实践本文描述的技术。本文描述的技术的各方面也可以在分布式计算环境中实践，在分布式计算环境中，任务由通过通信网络连接的远程处理设备执行。
继续参考图9，计算设备900包括直接或间接耦合以下设备的总线910：存储器920、一个或多个处理器930、一个或多个呈现组件940、输入/输出(I/O)端口950、I/O组件960和示意性电源970。总线910表示可能是一个或多个总线(诸如地址总线、数据总线或其组合)。尽管为了清楚起见用线示出了图9的各个框，但是实际上，对各个组件的描绘不是很清楚，并且隐喻地，这些线将更准确地是灰色和模糊的。例如可以将诸如显示设备的呈现组件视为I/O组件。另外，处理器具有存储器。发明人文本认识到这是本领域的本质，并重申图9的图仅是可与本文所述技术的一个或多个方面结合使用的示意性计算设备的说明。在诸如“工作站”、“服务器”、“笔记本电脑”、“手持式设备”等类别之间未进行区分，因为所有这些均被想到在图9的范围内，并且均指“计算机”或“计算设备”。
计算设备900通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备900访问的任意可用介质，并且包括易失性和非易失性、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任意用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的方法或技术实现的易失性和非易失性、可移除和不可移除介质。
计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光盘存储装置、磁带、磁带、磁盘存储装置或其他磁性存储设备。计算机存储介质不包含传播的数据信号。
通信介质通常在诸如载波或其他传输机制的已调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任意信息传递介质。术语“调制数据信号”是指具有以将信息编码为信号的方式来设置或改变其特征的一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质、以及诸如声学、RF、红外和其他无线介质的无线介质。以上任意一个的组合也应包括在计算机可读介质的范围内。
存储器920包括易失性和/或非易失性存储器形式的计算机存储介质。存储器920可以是可移除的、不可移除的或其组合。示意性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备900包括一个或多个处理器930，其从诸如总线910、存储器920或I/O组件960的各种实体读取数据。呈现组件940向用户或其他设备呈现数据指示。示意性呈现组件940包括显示设备、扬声器、打印组件、振动组件等。I/O端口950允许计算设备900逻辑耦合到其他设备，包括I/O组件960，其中一些可以被内置。
在各个实施例中，存储器920具体包括交互联合逻辑922的时间和持久性副本。交互联合逻辑922包括在由一个或多个处理器930执行时导致计算设备900执行各种功能的指令，诸如但不限于方法500或600。在各种实施例中，交互联合逻辑922包括指令，这些指令当由处理器930执行时，导致计算设备900执行与以下各项相关联但不限于以下各项的各种功能：结合图2的直接交互组件212、间接交互组件214、感测组件222、交互联合组件216、绘制组件224、控制组件232和反馈组件234。
在一些实施例中，一个或多个处理器930可以与交互联合逻辑922封装在一起。在一些实施例中，一个或多个处理器930可以与交互联合逻辑922封装在一起以形成系统级封装(SiP)。在一些实施例中，一个或多个处理器930可以与交互联合逻辑922集成在同一裸芯片上。在一些实施例中，处理器930可以与交互联合逻辑922集成在同一裸芯片上以形成片上系统(SoC)。
示意性的I/O组件包括麦克风、操纵杆、游戏垫、卫星天线、扫描仪、打印机、显示设备、无线设备、控制器(例如触控笔、键盘和鼠标)、自然用户界面(NUI)等。在各方面中，提供了笔数字化器(未示出)和伴随的输入工具(也未示出但是可以示意性地仅包括笔或触控笔)，以便数字地捕获徒手的用户输入。笔数字化器和一个或多个处理器930之间的连接可以是直接的或经由利用串行端口、并行端口、通用串行总线(USB)端口和/或本领域已知的其他接口和/或系统总线的耦合。此外，数字化仪输入组件可以是与诸如显示设备的输出组件分离的组件，或者在某些方面，数字化器的可用输入区域可以与显示设备的显示区域共存，并与显示设备集成在一起，也可以作为分离的设备覆盖或附加到显示设备而存在。任意和所有这样的变体及其任意组合都被认为在本文描述的技术的方面的范围内。
计算设备900可以包括联网接口980。联网接口980包括发送和接收数据的网络接口控制器(NIC)。联网接口980可以使用有线技术(例如同轴电缆、双绞线、光纤等)或无线技术(例如地面微波、通信卫星、蜂窝、无线电和扩频技术等)。特别地，联网接口980可以包括适于在各种无线网络上接收通信和媒体的无线终端。计算设备900可以经由无线协议进行通信，诸如码分多址(CDMA)、全球移动系统(GSM)或时分多址(TDMA)以及其他协议，以经由网络接口980与其他设备进行通信。无线电通信可以是短距离连接、长距离连接、也可以是短距离和长距离无线电信连接的组合。短距离连接可以包括与设备(例如移动热点)的连接，该设备提供对无线通信网络的访问，诸如使用802.11协议的无线局域网(WLAN)连接。与另一个计算设备的蓝牙连接是短程连接的第二个示例。远程连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一种或多种的连接。
文本具体描述本发明的实施例的主题，以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，发明人已经预料到，所要求保护的主题还可以结合其他当前或未来技术以其他方式体现，以包括与本文档中所描述的步骤不同的步骤或步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，除非并且除了明确地描述了各个步骤的顺序，否则这些术语不应解释为暗示本文公开的各个步骤之中或之间的任何特定顺序。
为了本公开的目的，词语“包含”具有与词语“包括”相同的广义含义，并且词语“访问”包括“接收”、“引用”或“检索”。除非另外相反指出，否则诸如“一”和“一个”的词语包括复数形式和单数形式。因此，例如在存在一个或多个特征的情况下，满足“特征”的约束。同样，术语“或”包括连接词、反义连接词和两者(因此a或b包括a或b以及a和b)。
为了上面的详细讨论的目的，参考头戴式显示单元描述了本发明的实施例；然而，本文所示的头戴式显示单元仅是示意性的。组件可以被配置用于执行实施例的新颖方面，其中“被配置用于”包括被编程为执行特定任务或使用代码来实现特定抽象数据类型。此外，尽管本发明的实施例通常可以参考本文中描述的头戴式显示单元和示意图，但是应当理解，所描述的技术可以扩展到其他实现上下文。
已经关于特定实施例描述了本发明的实施例，这些特定实施例在所有方面都旨在是示意性的而不是限制性的。在不脱离本发明范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得显而易见。
从前述内容可以看出，可以看出本发明非常适合于实现上述所有目的和对象，该所有目的和对象与其他显而易见和结构固有的优点一起被阐述。
将理解，某些特征和子组合是有用的，并且可以在不参考其他特征或子组合的情况下被采用。这是权利要求所预期的并且在权利要求的范围之内。

Claims (15)

1.一种计算系统，包括：
直接交互组件，用于接收基于检测的直接交互而被生成的第一输入信号，所述第一输入信号对应于在计算机介导的现实环境中呈现的计算机生成的对象，其中所述直接交互是自然交互或超自然交互中的一种；
间接交互组件，可操作地被耦合到所述直接交互组件，以接收基于检测的间接交互而生成的第二输入信号，所述第二输入信号也对应于所呈现的所述计算机生成的对象，其中所述间接交互是基于控制器的交互；以及
交互联合组件，可操作地被耦合到所述直接交互组件和所述间接交互组件，以至少部分地基于所述第一输入信号和所述第二输入信号的组合来确定对所呈现的所述计算机生成的对象的修改。
2.根据权利要求1所述的计算系统，还包括：
感测组件，可操作地被耦合到所述直接交互组件，以至少部分地基于以下项中的一项来生成所述第一输入信号：在所述计算机介导的现实环境中所检测的手或手指位置、或指向所呈现的计算机生成的对象的所检测的注视。
3.根据权利要求1所述的计算系统，还包括：
输入设备，被耦合到所述间接交互组件，以至少部分地基于所述检测的间接交互来生成所述第二输入信号。
4.根据权利要求3所述的计算系统，其中所述输入设备包括控制组件，所述控制组件用于生成将成为所述第二输入信号的一部分的测量信号，所述测量信号指示所述检测的间接交互的幅度。
5.根据权利要求1所述的计算系统，其中所述直接交互组件还用于确定所述检测的直接交互的特性。
6.根据权利要求5所述的计算系统，其中所述直接交互组件还用于至少部分地基于所述检测的直接交互的所确定的所述特性来生成用于触觉反馈的指示。
7.根据权利要求5所述的计算系统，其中所述间接交互组件还至少部分地基于所述检测的直接交互的所确定的所述特性来确定用于间接交互的多个选项。
8.根据权利要求7所述的计算系统，还包括：
头戴式显示设备，可操作地被耦合到所述间接交互组件，以使所述多个选项中的至少一个选项被被呈现在所述计算机介导的现实环境中。
9.根据权利要求1所述的计算系统，其中所述交互联合组件还用于基于所述第一输入信号来确定所述修改的形式，以及基于所述第二输入信号来确定所述修改的所述形式的控制参数。
10.根据权利要求1所述的计算系统，其中所述直接交互组件还用于确定与所述检测的直接交互有关的所述对象的交互点，并且所述间接交互组件还用于确定与所述交互点有关的放大设置或与所述交互点相关联的所述对象的旋转设置。
11.一种计算机实现的方法，包括：
检测与在计算机介导的现实环境中可见的对象的直接交互；
至少部分地基于所述直接交互的特性来确定与所述对象的间接交互的一个或多个选项；
接收与间接交互的所述一个或多个选项中的一个选项相对应的信号；以及
至少部分地基于所述信号来修改与所述对象有关的所述计算机介导的现实环境。
12.根据权利要求11所述的方法，其中检测所述直接交互包括：确定用户的身体部分与所述对象之间的距离在第一预定阈值距离内，并且所述直接交互在超过第二预定阈值持续时间的持续时间内被检测。
13.根据权利要求11所述的方法，其中所述对象是物理对象，并且其中修改所述计算机介导的现实环境包括：至少部分地基于所述信号，利用虚拟对象来增强所述物理对象。
14.根据权利要求11所述的方法，其中所述对象是虚拟对象，并且其中修改所述计算机介导的现实环境包括：至少部分基于所述信号来变换所述虚拟对象。
15.根据权利要求11所述的方法，其中修改所述计算机介导的现实环境包括：至少部分地基于由所述直接交互的所述特性所指示的变换的形式以及由所述信号所指示的所述变换的程度，变换所述对象。
CN201880029194.4A 2017-05-04 2018-04-19 计算机介导的现实环境中直接和间接交互的联合 Active CN110603509B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/586,570 US10417827B2 (en) 2017-05-04 2017-05-04 Syndication of direct and indirect interactions in a computer-mediated reality environment
US15/586,570 2017-05-04
PCT/US2018/028221 WO2018204072A1 (en) 2017-05-04 2018-04-19 Syndication of direct and indirect interactions in a computer-mediated reality environment

Publications (2)

Publication Number Publication Date
CN110603509A true CN110603509A (zh) 2019-12-20
CN110603509B CN110603509B (zh) 2021-12-03

Family

ID=62186526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880029194.4A Active CN110603509B (zh) 2017-05-04 2018-04-19 计算机介导的现实环境中直接和间接交互的联合

Country Status (4)

Country Link
US (1) US10417827B2 (zh)
EP (1) EP3619595A1 (zh)
CN (1) CN110603509B (zh)
WO (1) WO2018204072A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
JP6810093B2 (ja) * 2018-04-25 2021-01-06 ファナック株式会社 ロボットのシミュレーション装置
WO2020030156A1 (zh) * 2018-08-10 2020-02-13 广东虚拟现实科技有限公司 图像处理方法、终端设备及计算机可读介质
US11054896B1 (en) * 2019-02-07 2021-07-06 Facebook, Inc. Displaying virtual interaction objects to a user on a reference plane
US10698562B1 (en) * 2019-04-30 2020-06-30 Daqri, Llc Systems and methods for providing a user interface for an environment that includes virtual objects
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11030459B2 (en) 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US10852814B1 (en) * 2019-08-13 2020-12-01 Microsoft Technology Licensing, Llc Bounding virtual object
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
CN112558759B (zh) * 2020-11-30 2024-08-23 苏州端云创新科技有限公司 基于教育的vr交互方法、交互开发平台和存储介质
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US20240281070A1 (en) * 2023-02-16 2024-08-22 Meta Platforms Technologies, Llc Simultaneous Controller and Touch Interactions
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058850A1 (en) * 2007-09-04 2009-03-05 Wey Fun System and method for intuitive interactive navigational control in virtual environments
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
US20130296057A1 (en) * 2012-05-03 2013-11-07 Wms Gaming Inc. Gesture fusion
CN104024983A (zh) * 2011-11-08 2014-09-03 微软公司 用于间接交互设备的交互模型
WO2016028450A1 (en) * 2014-08-19 2016-02-25 Sony Computer Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
US20160180595A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment
US20160187974A1 (en) * 2014-12-31 2016-06-30 Sony Computer Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN106095107A (zh) * 2016-06-21 2016-11-09 南京邮电大学 一种应用于智能移动轮椅的手势交互控制方法
TW201642943A (zh) * 2015-03-20 2016-12-16 新力電腦娛樂股份有限公司 用以傳遞ｈｍｄ所渲染環境中之虛擬物件的觸摸感及移動感之動態手套
US20170024935A1 (en) * 2015-03-17 2017-01-26 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
CN106527702A (zh) * 2016-11-03 2017-03-22 网易（杭州）网络有限公司 虚拟现实的交互方法及装置
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
EP3163426A1 (en) * 2015-10-26 2017-05-03 LG Electronics Inc. System and method of controlling the same
CN206147523U (zh) * 2016-08-22 2017-05-03 狒特科技（北京）有限公司 一种用于人机交互的手持控制器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20140253486A1 (en) * 2010-04-23 2014-09-11 Handscape Inc. Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
US11068149B2 (en) 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9594504B2 (en) * 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
US9292184B2 (en) 2011-11-18 2016-03-22 Zspace, Inc. Indirect 3D scene positioning control
EP2613223A1 (en) 2012-01-09 2013-07-10 Softkinetic Software System and method for enhanced gesture-based interaction
US20130207962A1 (en) * 2012-02-10 2013-08-15 Float Hybrid Entertainment Inc. User interactive kiosk with three-dimensional display
KR20140010616A (ko) 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
JP2014106809A (ja) * 2012-11-28 2014-06-09 Konica Minolta Inc データ処理装置、コンテンツ表示方法およびブラウジングプログラム
US20140267599A1 (en) 2013-03-14 2014-09-18 360Brandvision, Inc. User interaction with a holographic poster via a secondary mobile device
KR102086510B1 (ko) 2013-09-26 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
KR101583286B1 (ko) 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US20160299565A1 (en) 2015-04-07 2016-10-13 Siemens Aktiengesellschaft Eye tracking for registration of a haptic device with a holograph
WO2017038241A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US20170270362A1 (en) * 2016-03-18 2017-09-21 Daqri, Llc Responsive Augmented Content

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058850A1 (en) * 2007-09-04 2009-03-05 Wey Fun System and method for intuitive interactive navigational control in virtual environments
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN104024983A (zh) * 2011-11-08 2014-09-03 微软公司 用于间接交互设备的交互模型
US20130296057A1 (en) * 2012-05-03 2013-11-07 Wms Gaming Inc. Gesture fusion
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
WO2016028450A1 (en) * 2014-08-19 2016-02-25 Sony Computer Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US20160180595A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment
US20160187974A1 (en) * 2014-12-31 2016-06-30 Sony Computer Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20170024935A1 (en) * 2015-03-17 2017-01-26 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
TW201642943A (zh) * 2015-03-20 2016-12-16 新力電腦娛樂股份有限公司 用以傳遞ｈｍｄ所渲染環境中之虛擬物件的觸摸感及移動感之動態手套
EP3163426A1 (en) * 2015-10-26 2017-05-03 LG Electronics Inc. System and method of controlling the same
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统
CN106095107A (zh) * 2016-06-21 2016-11-09 南京邮电大学 一种应用于智能移动轮椅的手势交互控制方法
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN206147523U (zh) * 2016-08-22 2017-05-03 狒特科技（北京）有限公司 一种用于人机交互的手持控制器
CN106527702A (zh) * 2016-11-03 2017-03-22 网易（杭州）网络有限公司 虚拟现实的交互方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
STEFANO 等: ""Depth Perception and Action in Wearable Augmented Reality: A Pilot Study"", 《2015 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY WORKSHOPS》 *
帅立国: ""虚拟现实及触觉交互技术：趋势与瓶颈"", 《人民论坛 学术前沿》 *
杨明浩 等: ""面向自然交互的多通道人机对话系统"", 《计算机科学》 *
赵天驰 等: ""一种联合语音与手势识别的增强现实人机交互系统"", 《河北工程技术高等专科学校学报》 *

Also Published As

Publication number Publication date
CN110603509B (zh) 2021-12-03
US10417827B2 (en) 2019-09-17
EP3619595A1 (en) 2020-03-11
WO2018204072A1 (en) 2018-11-08
US20180322701A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US11221730B2 (en) Input device for VR/AR applications
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US10928975B2 (en) On-the-fly adjustment of orientation of virtual objects
KR102390425B1 (ko) 증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법
US11119581B2 (en) Displacement oriented interaction in computer-mediated reality
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US20180101986A1 (en) Drawing in a 3d virtual reality environment
CN110476142A (zh) 虚拟对象用户界面显示
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
WO2016109409A1 (en) Virtual lasers for interacting with augmented reality environments
US10203781B2 (en) Integrated free space and surface input device
JP2013037675A5 (zh)
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
JP2003085590A (ja) ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
CN112068757B (zh) 一种用于虚拟现实的目标选择方法及系统
CN118466741A (zh) 一种虚拟场景的交互方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant