CN107924234B - 透视眼镜的辅助物品选择 - Google Patents

透视眼镜的辅助物品选择 Download PDF

Info

Publication number
CN107924234B
CN107924234B CN201680049319.0A CN201680049319A CN107924234B CN 107924234 B CN107924234 B CN 107924234B CN 201680049319 A CN201680049319 A CN 201680049319A CN 107924234 B CN107924234 B CN 107924234B
Authority
CN
China
Prior art keywords
user
view
given
field
mounted device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680049319.0A
Other languages
English (en)
Other versions
CN107924234A (zh
Inventor
樊尚·阿洛姆
皮埃雷克·茹埃
菲利普·罗贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN107924234A publication Critical patent/CN107924234A/zh
Application granted granted Critical
Publication of CN107924234B publication Critical patent/CN107924234B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种增强现实(AR)交互系统和方法。在一个实施例中，该系统包括被配置为接收用户输入的头戴式用户界面、被配置为基于用户输入来管理数据的处理器、相机和显示器。相机和显示器经由处理器彼此之间进行处理通信并与头戴式用户界面进行处理通信。处理器被配置为基于传感器的输出来确定用户视场和用户视场的中心，并呈现图像以向显示器输出。每张图像包括一个或多个对象和多个标志，每个标志对应于用户视场中的可选对象。图像的呈现包括基于确定用户视场以多个所显示标志中的给定标志为中心来改变所述给定标志的第一显示属性。处理器还被配置为：基于确定用户视场保持以所述给定标志为中心的时间量超过阈值，选择所述给定标志。

Description

透视眼镜的辅助物品选择
技术领域
本公开总体上涉及一种增强现实交互系统，并且更具体地涉及一种使用透视眼镜的增强现实交互系统。
背景技术
本部分旨在向读者介绍可能与以下描述和/或要求保护的本发明的各个方面有关的技术的各个方面。本讨论有助于向读者提供背景信息，以便于更好地进行理解。因而应理解的是，这些陈述应当从此角度进行理解，而不是作为对现有技术的承认。
增强现实(AR)系统创建了沉浸式环境，该沉浸式环境提供物理场景的集成式实时显示，其中一个或多个增强元素是由计算机生成的。AR系统包含声音、视频、图形、气味、触觉反馈或其他类似数据的感官输入。这样，可以通过数字操纵和处理进一步增强用户可获得的真实世界信息，用户的环境及其周围对象(obiect)可以叠加经过数字增强的组件。近年来，用户佩戴的增强现实系统由于其便携性和易用性而得到了普及。透视眼镜或智能眼镜是这类系统最受欢迎的形式之一。令人遗憾的是，能让用户使用这些眼镜的技术自身存在有缺点，使得用户遇到了许多问题。例如，许多眼镜只有在用户以特定角度透过它们进行观看时才能很好地发挥作用。另外，提供用户输入也是有难度的，尤其是在对象彼此之间完全或部分地遮挡的情况下。当智能眼镜提供的功能有限时，也会存在其他严重的问题。
因此，重要的是以最佳方式提供精确的数据和对用户输入加以处理，而这样做也可为用户提供非凡的沉浸式体验。
发明内容
提供了一种增强现实(AR)交互系统和方法。在一个实施例中，该系统包括被配置为接收用户输入的头戴式用户界面、被配置为基于用户输入来管理数据的处理器、相机和显示器。相机和显示器经由处理器彼此之间进行通信并与头戴式用户界面进行通信。处理器被配置为基于传感器的输出来确定用户视场和用户视场的中心以及呈现图像以向显示器输出。每张图像包括一个或多个对象和多个标志，每个标志对应于用户视场中的可选对象。图像的呈现包括基于确定用户视场以多个所显示标志中的给定标志为中心来改变所述给定标志的第一显示属性。处理器还操作用于基于确定用户视场保持以所述给定标志为中心的时间量超过阈值来选择给定标志。
在另一个实施例中，提供了一种使用增强现实头戴式用户界面进行物品选择的方法，该头戴式用户界面具有被配置为接收用户输入的用户界面，该方法包括：经由处理器确定用户视场和用户视场的中心以及呈现图像以向显示器输出，每张所述图像包括一个或多个对象和多个标志，每个标志对应于用户视场中的可选对象，图像的呈现包括基于确定用户视场以多个所显示标志中的给定标志为中心来改变所述给定标志的第一显示属性。该方法还包括基于确定用户视场保持以所述给定标志为中心的时间量超过阈值来选择所述给定标志。
在又一个实施例中，提供了一种增强现实(AR)交互系统，包括：用于以语音、移动或触摸的形式接收用户输入的用户界面装置，以及用于在与所述用户界面装置和处理器的处理通信中显示图像的装置。处理器操作用于执行：基于传感器的输出来确定用户视场和用户视场的中心，以及呈现图像以向显示器输出，每张图像包括一个或多个对象和多个标志，每个标志对应于用户视场中的可选对象，图像的呈现包括：基于确定用户视场以多个所显示标志中的给定标志为中心来改变所述给定标志的第一显示属性。该处理器还操作用于基于确定用户视场保持以给定标志为中心的时间量超过阈值，选择所述给定标志。
通过本发明的技术来实现其他特征和优点。本发明的其他实施例和方面在此进行了详细描述，并且被认为是所要求保护的本发明的一部分。对说明书和附图进行参考，以便更好地理解具有优点和特征的本发明。
附图说明
参照附图，通过下面的决不具有限制性的实施例和执行示例更好地理解和说明本发明，在附图中：
图1描绘了根据说明性实施例的增强现实(AR)交互系统；
图2A描绘了使用诸如图1的实施例中所示的增强现实交互系统的用户视图的图示；
图2B描绘了根据说明性实施例的具有表示真实/虚拟对象系统的自动布置且中心汇聚标志的用户视图的图示；
图3A是示出刚好在物品选择触发之前的用户的一个实施例的图示，而图3B提供了对图3A的同一实施例的描绘，但却是在物品选择被触发之后。
在图1至图3中，所示附图提供了作为纯功能性实体的示例，并且不一定对应于物理上分离的实体。也就是说，它们可以以软件、硬件的形式开发，或者可以在一个或几个包括一个或多个处理器的集成电路中实现。
在任何可能的情况下，在所有附图中将使用相同的附图标记来表示相同或相似的部分。
具体实施方式
应理解，本发明的附图和描述已经进行了简化，以示出与清楚理解本发明有关的元素，同时出于清楚性的目的，还去掉了在典型的数字多媒体内容传送方法和系统中存在的许多其他元素。然而，因为这些元素在本领域中是众所周知的，所以在此没有提供这些元素的详细讨论。本文的公开内容针对所有这些变化和修改。
图1是根据一个实施例的增强现实(AR)交互系统100的图示。增强现实交互系统100包括结合用户界面和显示器的处理器140。图1中的用户界面包括不同的组件，这些组件可以接收不同形式的用户输入，例如触摸、语音和身体移动。在备选实施例中，可以添加其他用户输入，或者备选地，可以接受它们中的一个或其子集。
图1的实施例中的用户界面包括经由处理器140与触摸交互区域160、传感器170、相机150和麦克风180进行通信的头戴式用户界面(也称为头戴式设备)110。在一个实施例中，传感器可以是运动传感器，但是在其他实施例中，传感器可以是对光、热、湿气产生反应的各种传感器中的一种、和/或还包括陀螺仪和指南针组件。
在图1所示的示例中，提供了多个处理器140，这些处理器彼此之间也进行通信。作为示例，处理器嵌入在不同的区域中，一个嵌入在触摸交互区域160中，而另一个嵌入在头戴式组件110中。然而，这仅仅是一个实施例。在备选实施例中，仅可使用一个处理器。并且处理器可以是独立式的。另外，处理器可以与其他计算机或计算环境和网络进行处理通信。在图1中，相机150(如摄像机)和麦克风180也可以用于向用户提供增强现实图像和声音。在一个实施例中，麦克风可以向处理器或处理系统提供输入。还可以使用一个或多个扬声器(即扩音器)来向用户提供经过增强的声音，从而提高沉浸式增强现实的体验。在一个实施例中，扬声器可以包括在头戴式用户界面中，或者，它们可以作为单独实体提供或者甚至附接至其他组件。
在图1的实施例中，头戴式用户界面110包括一副透视眼镜，该透视眼镜包括被称为呈现屏幕130的屏幕。在一个实施例中，眼镜可以是由用户佩戴的普通眼镜，并且呈现屏幕可以永久地和/或暂时地添加到眼镜上，以与AR系统100一起使用。
头戴式用户界面(具体是透视眼镜)提供了如下优点：如果被正确地启用，不但可以为用户提供充分的隐私性，而且还带来了便携性。不幸的是，在现有技术中，仍然要求这些眼镜使用传统的用户界面设备，因为它们需要小面积的触摸区域或者语音控制模式。任何手势识别特征(如果存在的话)都是非常基础性的，但是却存在有相当大的缺点，即设置繁琐，用户友好性差。
尽管在图1的实施例中提供了触摸交互区域，但是这仅仅是举例，而且该组件并不是必需的。实际上，在一个实施例中，无需任何触摸交互区域。用户界面可以通过语音、相机或一个或多个传感器(如运动传感器)来提供，它们能够被启用来对手势进行记录，无需任何繁琐的附加设置。例如，可以以虚拟的方式向用户提供用户输入并且用户正指向该用户输入，这样看上去就像用户正进行输入或正指向空气中不存在的物理对象以及没有共享同一虚拟现实环境的那些对象。在另一个实施例中，用户手上可以出现键盘，并且用户可以通过如下方式提供输入：用他/她的其他手指按压他/她自己的手以作出这样的选择。
传统上来说，许多用户与诸如计算机之类的多媒体设备、诸如平板电脑和智能手机之类的移动设备以及其他设备的交互是通过键盘、鼠标、触摸屏等用户界面来执行的。随着技术的不断发展，这些交互模式中的一些模式可能变得不再具有吸引力，或者说变得麻烦。例如，当用户在旅行时，行动自由是比较重要的，但传统的用户界面和用户连接可能并不是随时都可以使用。尽管从移动性角度来看，语音命令是一种能吸引人使用的用户输入提供手段，但是在隐私是首先需要担心的情况下，语音命令存在有某些缺陷。在其他情况下，当使用语音命令时，在对各种不同但看似相似的对象进行区分这一方面也可能会存在问题。
选择专门的触摸区域自身也存在有难度。为了实现最大程度的移动性，触摸区域的尺寸不得不保持在最低水平。例如，触摸区域可以设计成置于眼镜的镜框(handles)上。将这样的区域保持得相对较小的挑战会导致要么可能无法方便地定位出触摸区域的放置位置，要么就是触摸区域的尺寸可能会限制对在许多应用中所需的指向器(pointer)移动进行控制的能力。这又将会影响用户的视场并将其保持得非常窄(即，在现有技术中小于或等于30°)。这是因为增强现实环境的视场被定义为通过透视眼镜看到的剩余(真实)场景。最终结果不允许用户指向该小型区域之外，并限制了用户看到的大部分内容(不能在没有最终移动头部的情况下被指向)。
在一个实施例中，可以将头戴式用户界面110制造为容纳或物理地连接所讨论的组件，诸如麦克风、摄像机、触摸交互区域、呈现屏幕、扬声器等。这些组件中的一些组件可以单独地提供，但是在一些实施例中，它们方便地设置在一个壳体单元中。例如，触摸交互区域160可以用附件165附接至头戴式用户界面110。在一些实施例中，附件可以是可收起的，并且交互区域自身可以在头戴式用户界面110中的互补隔间(complementarycompartment)中提供。这样做使得触摸区域在需要使用时具有足够的占据面积。在一个实施例中，例如当不需要时，触摸区域可以折起并置于头戴式用户界面中。
备选地，如本领域技术人员可以理解的，在其他实施例中，一些组件可以连接或并置或封装。如本领域技术人员可以理解的，其他实施例可以使用附加组件和多个处理器、计算机、显示器、传感器、光学设备、投影系统和输入设备，它们彼此之间都进行处理通信。也可以使用诸如智能手机和平板电脑之类的移动设备，所述移动设备可以包括一个或多个相机、微机械器件(MEMS)和GPS或固态罗盘。如所述的那样，图1是作为示例提供的，但是在备选实施例中，为了满足特定的选择偏好和/或需求，可以对组件进行替代和添加或删除。另外，假设一个组件提供了相似的功能，那么便可以将其替代掉。例如，触摸交互区域160可以由移动设备(诸如手机或平板电脑)替代，以提供一个或多个处理器。同样如关于眼镜所述的那样，这种互换性使得用户能将用于其他普通用途的日常对象和设备结合到系统100中，以充分利用可用性和便携性。此外，头戴式用户界面160可以是嵌入或者允许用户通过专用镜头看到私人屏幕的许多替代物之一，并且可以是头戴式显示器(HMD)、头戴式耳机、系带(harness)、头盔或其他可穿戴和不可穿戴装置的一部分，如本领域技术人员可以理解的。在备选方案中，如本领域技术人员可以理解的，没有一个组件可以物理连接，或者它们的子集可以选择性地物理连接。
返回参考图1的实施例，如图1中所使用的传感器170、呈现屏幕或显示器130、麦克风和相机150经过排列以按照物质世界性能向用户提供虚拟信息，并且将根据用户的头部或身体动作而相应地进行调整，从而带来沉浸式的移动体验。另外，在图1的实施例中，眼镜120及其显示器130(呈现屏幕)可以包括相机150(在一个实施例中为摄像机)并与其进行通信，从而截取真实世界的视图并通过镜片重新显示其增强视图。如可以理解的那样，真实的或虚拟的图像随后可以被投射穿过眼镜镜片的表面或者从眼镜镜片的表面反射。
透视眼镜特别适合与增强现实技术相结合，这是因为透视眼镜可以将场景的真实元素与其他虚拟元素融合在一起。但问题在于，(增强现实)视场通常极其有限，最多不超过水平30度。在图1的示例中，出于此目的，在120处提供透视眼镜，但是在其他实施例中，如本领域技术人员可以理解的，使用其他相似的组件。在图1的示例中，透视眼镜包括显示器和通过如图所示的摄像机150的视频捕捉组件。在一个实施例中，摄像机150可以非常小，但是仍然能够从靠近用户眼睛(但不是完全相同)的视角(viewpoint)获取一部分真实场景。在一个实施例中，眼镜可以由几层组成，例如蓝色、绿色和红色，并且可以在眼镜旁边提供一个或多个光源来将光投射到头戴式用户界面或眼镜中。在一个实施例中，还可以在眼镜的每一层中设置小型波纹槽来对光粒子进行衍射，从而迷惑用户而使其无法感受出真实的深度和距离，创造出看上去真实的虚拟对象。
出现的问题与可视化组件以较小的占用面积(footprint)呈现的复杂情况有关。当用户输入需要的是某种高水平交互时，对这些相互竞争的对象进行选择就变得困难。在这种情况下，因为遮挡或指向器尺寸太小或所论述的其他类似情况而导致的对象选择不当会进一步引起数据管理不善。在精确地选择出这些因有限占用面积而相互竞争的若干对象中的其中一个的情况下，用户界面的选择将会受到限制。如果只允许用户仅根据相机角度和所描绘的图像处理来指向真实/虚拟对象，则情况的复杂程度甚至会进一步加剧。这种视角与用户自己眼睛的视角并不是完全相同的，因此，在缺乏复杂景物的情况下，任务容易出错，特别是当存在非常接近的或自我遮挡的对象时。
另一个问题在于创建精确的眼睛跟踪系统及其提供可靠的轨迹注视分析的能力。现有技术的设备的视场非常有限并且需要更多的硬件和专用处理。这意味的是：例如如果用户正在观看虚拟桌子并将他/她的头部倾斜到一侧，那么用户将切断桌子上所发生的内容的一半视图。事实上，在这种情形下，用户必须确保他们的注视始终集中在中心处，否则，用户将无法看到桌子上发生的一切。
与所有电子设备一样，在为用户提供行动自由度与可提供功能的可用性之间，需要取得平衡。换句话说，如果没有提供在头戴式单元(如眼镜)与远程且通常距离较远的处理单元之间连接的任何线缆的话，用于传输数据的带宽则可能与可用电力一样受到影响。因此，从用户的角度看，即使行动自由度得到了保留，最终的增强现实体验仍可能会因带宽和功率的限制而受到影响。另外，因其他原因而可能具有挑战性的是：允许用户在佩戴透视眼镜或其他头戴式用户界面的同时在增强现实环境中触发某种用例交互。例如，使用嵌入式传感器(尤其是包含罗盘、陀螺仪和其他类似设备的传感器)来测量眼镜或头戴式单元的姿态和朝向可能无法提供所需的准确度。这是因为当用户没有正视前方时，现有技术没有提供足以精确地推断出用户观看方向的方式。为了使其进一步复杂化，使用所附相机的视频可能有时是复杂的，并且并不总是能产生准确的结果，而造成这种情况的原因在于：用户通过眼镜或其他类似装置观看外界可以造成用户视图的失真。这甚至会影响向用户显示虚拟对象，因为这些对象将根据从佩戴这种眼镜或其他物品的用户视角计算出的之前估计的受影响位置来呈现给用户。
在将要结合图2和图3讨论的一个实施例中，通过允许进行辅助物品触发，在竞争的占用面积下进行对象选择的相关问题得到了解决。在将要时论的图2和图3的实施例中，呈现出了表示真实或虚拟对象的标志和缩略图的优化布局，这种布局将对这些对象的任何遮挡(尤其是从用户视角来看)进行管理，从而促进与这种处于竞争中的对象有关的交互。为了更好地理解，在图2A的描绘中给出了一个示例。
图2A提供了一个图示，其中用户250正在佩戴头戴式用户界面110，在这种情况下，该头戴式用户界面可以包括一副透视眼镜120。在本示例中，用户的眼镜或头戴式用户界面可以是独立的单一设备，或者是与一个或多个本地或远程计算网络进行通信的更大且更复杂的系统的一部分。图2A中描绘的景物应是反映出了用户的视图(view)。如图2A所示，所描绘的用户视图示出了可能是来自房子内部的生活空间，并且包括桌子/书桌和配套椅子的部分遮挡视图。该视图还包括放置在桌子/书桌上的瓶子以及该瓶子看上去是位于沙发前面的图像。某个(些)对象可以是在相关用例之后可以添加到这样的场景中的虚拟对象。用户的直观视图由虚线和箭头290标识出，并且用户的周边限制视场以及范围和界限分别由线280和285提供。
特定的中立中心区域或对象被标识为200。在一个实施例中，如将要讨论的，此中立中心区域或对象的分配允许通过消除非常接近真实或虚拟对象(从视图的视角来看)之间的不利交互来容易地选择出竞争对象或被遮挡对象。这也减少或消除了将手势和用户移动用作用户选择界面的头部移动。如将要讨论的，对象可以是通过图像处理识别出的同样真实的对象，或者它们可以是插入到场景中的虚拟对象。
在一个实施例中，中心区域或对象200需要至少部分地可见，并且经由位于中心的用户界面激活指示器可达。在此示例中，示出了用户正在朝着房间内沙发所在的部分的方向看，而正是由用户的注视和眼睛移动来通过移动提供用户界面激活指示器。
在一个实施例中，如图2A所示，在屏幕上动态地显示了一系列标志和/或缩略图，并且由附图标记201至204示出。这些标志和/或缩略图各自与不同的显示出或识别出的物品相关联，例如如图所示的沙发和桌子。需要注意的是，如本领域技术人员可以理解的，在本实施例中标志和/或缩略图仅用于帮助理解。因此，在其他实施例中，可以使用类似的其他组件来代替标志和/或缩略图，例如但不限于对象名称、对象图像、图标、理想化的对象图像等。在一个实施例中，标志和/或缩略图可以最初以松散或稀疏的布局来显示，这样一来，尽管它们全部都显示在了用户的屏幕或显示器上，但是它们彼此之间不会发生重叠。即使在从用户视角看标志和/或缩略图的关联对象可能几乎完全或部分地被遮挡住时，这仍将使得每个标志和/或缩略图能清晰地出现。
在一个实施例中，缩略图和/或标志是自行布置的，并且至少在最初，可以在用户视场中的中心指示器或中心区域或对象200周围均匀地分布。(在一个实施例中，中心指示器和中心区域或对象200是不同的，而在另一个实施例中，它们可以由相同的实体表示)。当用户移动和改变身体或头部位置时，指示器叠加在(眼镜)显示器上并相对于用户界面和场景固定。当存在单独的中心指示器时，指示器和/或中心区域也可以分别由特定符号表示，例如空标志或专用缩略图。中心区域200用作中立区域的符号表示，这样便没有对象可以与其交互。中心区域200的目的是在周围的其他物品移动并被触发时保持其位置的中立性。在一个实施例中，移动可以类似于缓慢的聚集。换句话说，中心区域被视为不可动作的对象。在其他实施例中，出于其他原因，可能存在有也被指定为不可动作物品的其他缩略图和/或标志。在一个实施例中，如果用户将目光完全从一个区域移开，则属于聚集物品的标志或缩略图将缓慢地与其他标志或缩略图分开，并最终消失掉，这样便让其他标志和缩略图具有更多的区域来进行重新布置。
将要讨论的图2B提供了图2A的实施例的下一阶段处理描绘。一起参考图2A和图2B，用户将看到存在于他视角附近的可动作对象，使用它们的缩略图或标志缓慢地朝向用户的视角中心汇聚，同时仍不重叠。还应该注意的是，中心区域200也保持不同，并且不被另一个所选缩略图或标志占用。返回参考图2A，在被指定为不可动作且非交互物品的中心区域(和在此的指示器)200周围对可动作物品进行显示。物品从图2A到图2B的移动由箭头和虚曲线(在图2A中)相应地示出。
在图2B中，缩略图和标志全都在中立对象或区域200周围汇聚，如图2B所示。用户的视角从290略微移到292。在图2B中可以呈现出各种情况。在一个示例中，用户有意改变视角，并且在另一示例中，用户的头部因各种不同的原因而移动，这些原因诸如在椅子上重新调整，或者将身体从第一位置移到第二位置。不管是什么原因，一旦所示出的新用户位置表明该新位置已经稳定下来，则图2B中的示例的布局就可以在该位置停留一段时间后再继续。可以看出，与靠近用户视角的对象相关联的缩略图或标志已经逐渐移向用户视角的中心，但是仍然在中立区域200周围，不过仍然不重叠。
在一个实施例中，由于用户的视角和方向可以移动，因此对其进行连续分析。这可以通过本领域技术人员可以理解的各种机制来完成。例如，可以在具有运动检测器(传感器)或其他这种装置的头戴式用户界面或眼镜中设置传感器。在不同的示例中，可以采用相机图像本身。在一个实施例中，透视眼镜可以用于跟踪用户正指向的位置，即特定的虚拟或真实对象。后一个实施例将减少提供任何所需头部移动的需求，或者至少缩小移动范围。在该实施例中，仅仅是用户的瞥视(即通过指向该选项并借助于类似装置对其进行选择)就会触发选择动作。但应注意的是，用户可以改变其视角，不过，即使用户继续朝这个方向看，除非用户主动地选择了该对象，否则也不会作出选择。在一个实施例中，如将要讨论的，这可以通过如下方式来完成：使用延迟标志的布局对象来提供对象选择。这个概念可以结合到图2B的实施例中，以帮助进一步的理解。
在图2B中，如所示，用户已经改变其位置并移动了他/她的头部。新的视场和角度由附图标记292表示，并与图中所示的旧位置290进行比较。标志和/或缩略图201至204已经相应地在静止的中心区域200周围移动。在一个实施例中，中心区域200(他的视角)和缩略图或标志201至204将相应地移动(到视角的改变)，但却存在由一个较小且有意的延迟。在该实施例中，这种延迟将允许用户最终将他/她的注视集中在可能还没有完全稳定并且仍然可能略微地汇聚到先前的相对指示器位置的靠近的缩略图或标志上。中心区域200和/或中心指示器以及操作标志和/或缩略图201至204将相应地切换(switch)它们各自的位置。标志和/或缩略图以及中心区域和指示器最终会在一段时间后稳定下来。在一个实施例中，延迟时间可以由用户调节和预先选择，以减慢或加快增强现实系统100的反应时间。一旦这个适当的时段过去，用户就可以进行用户选择，如在图3A的下一阶段处理步骤中所示。在图3A中，可以看出，在位置方面仍然有变动。
在类似的另一个示例中，用户想要与标记的或缩略的对象201至204中的一个对象进行交互。在该实施例中，用户无需通过大范围的头部移动来将其视角集中于该(可能被遮挡的)对象，相反，用户仅需稍微移动他/她的头部来将指示器纠正为朝向与该对象相关的输入或稳定下来的所选缩略图或标志。之后，在一段时间内保持他的视角以该标志为中心，如前面讨论的那样，该标志的尺寸将会增大。
在所示的每种情况下，表示椅子的缩略图或标志201的尺寸已经增大，同时它也变得更加明显，这样便可以选择该对象。通过比较图2和图3中椅子201的缩略图的尺寸，可以看出，该缩略图的尺寸增大了。虽然在此示例中是挑选出增大的尺寸来代表可能的选择，但是也可以使用其他类似的区分属性，例如颜色、亮度、闪光或闪烁或其他这种视觉上可以区分的特征。另外，椅子201的可能的选择也使得其他标志和布局发生了移动和交换，如在一个实施例中所示。
图3B示出了在选择动作被触发后的下一阶段处理步骤。一起考虑图3A和图3B的实施例，用户决定选择椅子，并且缩略图201的尺寸将增大，直到它被触发为所选对象。在图3B的实施例中，选择触发是伴随着椅子201的缩略图或标志的颜色和暗度的变化。然而，在其他实施例中，可以理解的是，选择和触发可以以各种不同的方式进行标识。一些示例可以包括颜色变化(绿色到红色、蓝色到黄色等)或本领域技术人员可以理解的其他类似情景。例如，标志或缩略图可以在选择之前开始闪烁，并且一旦作出了选择，便在其周围形成光环。在其他实施例中，可以发生几种变化。例如，所有缩略图最初都可以以一种颜色出现(例如绿色)，然后它们从绿色慢慢变为黄色(图2B到图3A)，以表明作出了可能的选择。缩略图的尺寸也会增大或者开始闪烁，或者以其他方式进行标识。一旦触发了最终选择动作，缩略图就会变成不同的颜色(红色)，甚至可能会改变形状(椭圆形变为方形等)。正如所讨论的，颜色只是一个这样的指示物。在另一个实施例中，标志可以是先前居中的标志(通常是中立标志)与新选择的标志之间的交换位置。如本领域技术人员可以理解的，其他指示物可以包括但不限于闪烁、增大、发光、指示物(例如具有星形外观的指示物)或者闪烁的指示物(其相对于其他指示物而改变)。
返回参考图3A和图3B，在图3B与图3A之间对象的标志正在增大(即，201)的同时，图3A和图3B的布局中的其他标志202至204相应地进行更新，以避免出现所示标志和对象的任何重叠或遮挡。如果用户将所选标志切换到另一标志(未示出)，则先前增大的标志(201)将被设置回其原始的默认尺寸，而另一个标志或缩略图将展示出正在增大的过程。在一个实施例中，一旦做出了选择，用户还可以选择或预先选择要移除的其他标志或缩略图。如果用户想要作出其他选择，这些标志或缩略图可以重新出现。以这种方式，标志和缩略图将不会总是可见的，由此提高可用性和娱乐性。在另一个实施例中，在动作被触发并做出选择的时刻，与所选对象无关的其他标志和/或缩略图将立即被移除。中心区域200也可以从显示器上移除(并且稍后可能会根据刚被触发的用例而进行显示)。这样，如所讨论的那样，至少在一个实施例中，用户对具备所需移动幅度(例如通过用户的头部、移动、手势或身体)的需求将被最小化。触发交互和基于与真实/虚拟对象的交互性的选择之间的关系将实现更自然且更具用户友好性的系统。此外，借助于用户可选择性以及在场景中从用户视角选择的物品的触发，可以轻易地选出物品，即使是在物品看起来完全或部分地被遮挡时(特别是当物品被另一个物品遮挡时)。这样，根据一个实施例，一旦识别并选择了感兴趣的对象，缩略图和标志将随后被移除。在一个实施例中，场景中的任何对象也可以被选择为由用户以相同的方式进行控制，无论它实际上是是真实的还是虚拟的。一旦完成了选择过程并且用户不再需要将所选物品用于任何动作，那么在一个实施例中，用户将仅仅是回到图2A和图2B的多标志显示布置。在其他实施例中，如本领域技术人员可以理解的，可以以其他方式来处理用户到菜单的返回。例如，用户可以以作出其他选择返回到这个状态的方式来触发它们。

Claims (18)

1.一种包括显示器的头戴式设备，其中所述设备包括或被配置为连接到处理器，所述处理器操作用于执行：
-基于传感器的输出来确定用户视场和所述用户视场的中心；
-呈现图像以向所述显示器输出，每张所述图像包括至少一个对象、可选的多个标志以及不可选对象，所述标志中的每一个对应于所述用户视场中的对象，所述呈现图像包括：切换所述不可选对象和给定标志的位置，并且基于确定所述用户视场以多个所显示标志中的所述给定标志为中心来改变所述给定标志的第一显示属性；以及
-基于确定所述用户视场保持以所述给定标志为中心的时间量超过阈值来选择所述给定标志。
2.根据权利要求1所述的头戴式设备，其中所述标志无重叠地汇聚在中心对象周围。
3.根据权利要求1或2所述的头戴式设备，其中所述改变所述给定标志的所述第一显示属性包括：相对于所述多个所显示标志中的其他标志的显示尺寸，扩大所述给定标志的显示尺寸。
4.根据权利要求1或2所述的头戴式设备，其中所述呈现图像还包括：基于选择所述给定标志来改变所述给定标志的第二显示属性，而不是所述第一显示属性。
5.根据权利要求1或2所述的头戴式设备，其中所述处理器还被配置为执行：
-在选择所述给定标志之后，基于确定所述用户视场的中心已从所选给定标志移开，取消选择所述给定标志。
6.根据权利要求1或2所述的头戴式设备，其中所述设备包括被配置为通过以下项中至少一种来记录用户选择的麦克风和运动传感器：移动、语音、或移动和语音。
7.根据权利要求1或2所述的头戴式设备，其中所述设备包括被配置为通过触摸来记录所述用户选择的交互区域。
8.根据权利要求4所述的头戴式设备，其中所述设备还包括被配置为通过触摸来记录所述用户选择的触摸交互区域。
9.根据权利要求1或2所述的头戴式设备，其中所述显示器被配置为在靠近所述用户的眼睛的至少一个呈现屏幕上显示图形图像，所述呈现屏幕与所述用户可佩戴的眼镜框机械连接。
10.根据权利要求1或2所述的头戴式设备，其中所述设备具有被配置为分别通过移动、语音或触摸来捕获用户输入的运动传感器、麦克风和触摸交互区域。
11.根据权利要求1或2所述的头戴式设备，其中所述不可选对象具有所述用户视场中的中心位置，并且在所述用户视场移动时有延迟地跟随所述用户视场的中心。
12.根据权利要求1或2所述的头戴式设备，其中所述不可选对象为空区域或指向器。
13.根据权利要求1所述的头戴式设备，其中在呈现的图像中，所述标志和所述不可选对象不重叠。
14.一种头戴式设备，包括：
-用户界面装置，用于以语音、移动或触摸的形式接收用户输入；以及
-用于在与所述用户界面装置的处理通信中显示图像的装置，其中所述设备包括或被配置为连接到处理器，所述处理器操作用于执行：
-基于传感器的输出来确定用户视场和所述用户视场的中心；
-呈现图像以向用于显示的所述装置输出，每张所述图像包括至少一个对象、可选的多个标志以及不可选对象，所述标志中的每一个对应于所述用户视场中的对象，所述呈现图像包括：切换所述不可选对象和给定标志的位置，并且基于确定所述用户视场以多个所显示标志中的给定标志为中心来改变所述给定标志的第一显示属性；以及
-基于确定所述用户视场保持以所述给定标志为中心的时间量超过阈值来选择所述给定标志。
15.根据权利要求14所述的头戴式设备，其中用于显示的所述装置被配置为：在靠近所述用户的眼睛的至少一个呈现屏幕上显示图形图像，所述呈现屏幕与眼镜框机械连接。
16.根据权利要求14所述的头戴式设备，其中在呈现的图像中，所述标志和所述不可选对象不重叠。
17.一种使用头戴式设备进行物品选择的方法，包括：
-确定用户视场和所述用户视场的中心；
-呈现图像以进行显示，每张所述图像包括一个或多个对象、多个标志以及不可选对象，所述标志中的每一个对应于所述用户视场中的可选对象，所述呈现图像包括：切换所述不可选对象和给定标志的位置，并且基于确定所述用户视场以多个所显示标志中的所述给定标志为中心来改变所述给定标志的第一显示属性；以及
-基于确定所述用户视场保持以所述给定标志为中心的时间量超过阈值来选择所述给定标志。
18.根据权利要求17所述的方法，其中在呈现的图像中，所述标志和所述不可选对象不重叠。
CN201680049319.0A 2015-08-28 2016-07-22 透视眼镜的辅助物品选择 Expired - Fee Related CN107924234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306326 2015-08-28
EP15306326.8 2015-08-28
PCT/EP2016/067503 WO2017036667A1 (en) 2015-08-28 2016-07-22 Assisted item selection for see through glasses

Publications (2)

Publication Number Publication Date
CN107924234A CN107924234A (zh) 2018-04-17
CN107924234B true CN107924234B (zh) 2021-03-19

Family

ID=54238369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049319.0A Expired - Fee Related CN107924234B (zh) 2015-08-28 2016-07-22 透视眼镜的辅助物品选择

Country Status (6)

Country Link
US (1) US10656705B2 (zh)
EP (1) EP3341816A1 (zh)
JP (1) JP6757404B2 (zh)
KR (1) KR20180044292A (zh)
CN (1) CN107924234B (zh)
WO (1) WO2017036667A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558284B (en) 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
CN111198608B (zh) * 2018-11-16 2021-06-22 广东虚拟现实科技有限公司 信息提示方法、装置、终端设备及计算机可读取存储介质
EP4078341A1 (en) * 2019-12-18 2022-10-26 Nextmind Sas Brain-computer interface
CN114397996A (zh) * 2021-12-29 2022-04-26 杭州灵伴科技有限公司 交互提示方法、头戴式显示设备和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
CN101098491A (zh) * 2006-06-27 2008-01-02 松下电器产业株式会社 显示装置及其控制方法
EP2418621A1 (en) * 2010-08-13 2012-02-15 Pantech Co., Ltd. Apparatus and method for providing augmented reality information
CN104784931A (zh) * 2015-04-21 2015-07-22 广州多益网络科技有限公司 一种游戏对象的标识、选定方法及装置
WO2015116475A1 (en) * 2014-01-28 2015-08-06 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN105677134A (zh) * 2014-11-19 2016-06-15 珠海金山办公软件有限公司 一种对象选择方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095865A1 (en) * 2004-11-04 2006-05-04 Rostom Mohamed A Dynamic graphical user interface for a desktop environment
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
US9405456B2 (en) * 2009-06-08 2016-08-02 Xerox Corporation Manipulation of displayed objects by virtual magnetism
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
JP5573808B2 (ja) * 2011-09-30 2014-08-20 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20130328925A1 (en) 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
US10558325B2 (en) 2013-12-01 2020-02-11 Upskill, Inc. Systems and methods for controlling operation of an on-board component

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
CN101098491A (zh) * 2006-06-27 2008-01-02 松下电器产业株式会社 显示装置及其控制方法
EP2418621A1 (en) * 2010-08-13 2012-02-15 Pantech Co., Ltd. Apparatus and method for providing augmented reality information
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
WO2015116475A1 (en) * 2014-01-28 2015-08-06 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
CN105677134A (zh) * 2014-11-19 2016-06-15 珠海金山办公软件有限公司 一种对象选择方法及系统
CN104784931A (zh) * 2015-04-21 2015-07-22 广州多益网络科技有限公司 一种游戏对象的标识、选定方法及装置

Also Published As

Publication number Publication date
WO2017036667A1 (en) 2017-03-09
KR20180044292A (ko) 2018-05-02
JP2018525750A (ja) 2018-09-06
EP3341816A1 (en) 2018-07-04
US10656705B2 (en) 2020-05-19
JP6757404B2 (ja) 2020-09-16
CN107924234A (zh) 2018-04-17
US20180253144A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
US11995285B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
CN114721470A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN107924234B (zh) 透视眼镜的辅助物品选择
US11720171B2 (en) Methods for navigating user interfaces
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240087256A1 (en) Methods for depth conflict mitigation in a three-dimensional environment
KR20230158505A (ko) 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20240103701A1 (en) Methods for interacting with user interfaces based on attention
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240104849A1 (en) User interfaces that include representations of the environment
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces
US20240257486A1 (en) Techniques for interacting with virtual avatars and/or user representations
US20240256049A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
WO2024064278A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
WO2024064180A1 (en) User interfaces that include representations of the environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210319

Termination date: 20210722

CF01 Termination of patent right due to non-payment of annual fee