CN110362192A - 基于肢体位置的消息位置 - Google Patents

基于肢体位置的消息位置 Download PDF

Info

Publication number
CN110362192A
CN110362192A CN201811453690.0A CN201811453690A CN110362192A CN 110362192 A CN110362192 A CN 110362192A CN 201811453690 A CN201811453690 A CN 201811453690A CN 110362192 A CN110362192 A CN 110362192A
Authority
CN
China
Prior art keywords
visual field
message
user
limbs
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811453690.0A
Other languages
English (en)
Other versions
CN110362192B (zh
Inventor
拉塞尔·斯佩格特·范布恩
约翰·卡尔·梅谢
纳林·J·彼得森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN110362192A publication Critical patent/CN110362192A/zh
Application granted granted Critical
Publication of CN110362192B publication Critical patent/CN110362192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

为了在显示器的基于用户肢体的位置的位置呈现消息，公开了方法、装置和系统。一种装置包括：呈现第一视野的显示器；处理器；以及存储由处理器可执行的代码的存储器。在此，处理器接收要在第一视野内呈现给用户的第一消息。处理器确定用户的肢体相对于第一视野的位置。此外，处理器在第一视野的基于肢体位置的位置呈现第一消息。

Description

基于肢体位置的消息位置
技术领域
本文公开的主题涉及在显示器上呈现消息，并且更具体地涉及在显示器的基于用户肢体的位置的位置呈现消息。
背景技术
当在增强现实显示器中显示消息时，提示可能看起来要求用户抬手以响应该消息。用户的明显运动将使得在社交场合中用户正在使用数字设备是明显的。此外，需要显著的运动来响应的消息削弱了用户体验。虽然可以使用头部姿势、眨眼等来响应一些消息，但是难以使用头部/眼睛运动来处理超过一对的响应选项。
发明内容
公开了一种用于在视野的基于用户的肢体相对于视野的位置的位置呈现消息的装置。方法和计算机程序产品还执行装置的功能。
一种用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的装置包括：呈现第一视野的显示器；处理器；以及存储由处理器可执行的代码的存储器。在此，处理器接收要在第一视野内呈现给用户的第一消息并且确定用户的肢体相对于第一视野的位置。另外，处理器在第一视野的基于肢体位置的位置中经由显示器呈现第一消息。
在某些实施方式中，响应于用户的肢体在第一视野内，处理器在第一位置呈现第一消息。在此，第一位置可以在肢体的预定距离。在其他实施方式中，响应于用户的肢体不在第一视野内，处理器在第二位置呈现第一消息。在此，第二位置可以基于最新知道的肢体位置和预期的肢体位置之一。
在一些实施方式中，第一视野是增强现实视野。在一个实施方式中，肢体是用户的偏好手。在各种实施方式中，该装置还包括捕获对应于第一视野的图像数据的相机。在这样的实施方式中，处理器利用捕获的图像数据来确定用户的偏好手是否在第一视野内。在另外的实施方式中，第二位置在用户的非偏好手附近。
在某些实施方式中，处理器在显示器上呈现对应于第一视野的图像数据。在这样的实施方式中，处理器响应于用户的肢体不在第一视野内而沿着第一视野的周边呈现第一消息。在各种实施方式中，第一消息包括一个或更多个选择元件。在此，选择元件可以是以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
在一些实施方式中，处理器确定该装置是否在隐形模式下操作。在这样的实施方式中，响应于确定装置在隐形模式下操作而确定用户的肢体相对于第一视野的位置。此外，处理器可以响应于确定装置不在隐形模式下操作而在第一视野的中央区域呈现第一消息。在某些实施方式中，处理器识别肢体位置附近的表面。在此，呈现第一消息包括在识别的表面上叠加第一消息。
一种用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的方法包括通过使用处理器来接收要经由显示器呈现给用户的第一消息，该显示器示出第一视野。该方法包括确定用户的肢体相对于第一视野的位置，第一视野是虚拟现实视野和增强现实视野之一。该方法包括在第一视野的基于肢体位置的位置显示第一消息。
在一些实施方式中，该方法包括确定用户的肢体是否在第一视野内。在一个实施方式中，该方法包括响应于用户的肢体在第一视野内而在第一位置中显示第一消息。在另一实施方式中，该方法包括响应于用户的肢体不在第一视野内而在第二位置中显示第一消息。在各种实施方式中，第一位置在肢体的预定距离内，并且第二位置基于最新知道的肢体位置和/或预期的肢体位置。
在某些实施方式中，第一视野是增强现实视野。在某些实施方式中，肢体是用户的优势手。在一些实施方式中，该方法可以包括捕获对应于第一视野的图像数据。在这样的实施方式中，确定用户的肢体是否在第一视野内可以包括确定优势手是否在捕获的图像数据内。此外，第二位置可以是用户的非优势手附近的位置。
在一些实施方式中，该方法包括在显示器上显示对应于第一视野的图像数据。在这样的实施方式中，在第一视野的基于肢体位置的位置显示第一消息可以包括响应于用户的肢体不在第一视野内而沿着显示器的周边显示第一消息。在各种实施方式中，第一消息包括一个或更多个选择元件，所述选择元件包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
在一些实施方式中，该方法包括确定显示器是否在隐形模式下操作。在这样的实施方式中，响应于确定显示器在隐形模式下操作而确定用户的肢体相对于第一视野的位置。此外，该方法可以包括响应于确定显示器不在隐形模式下操作而在显示器的中央区域显示第一消息。在一些实施方式中，该方法包括识别肢体位置附近的表面，其中，呈现第一消息包括在识别的表面上叠加第一消息。
一种用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的计算机程序产品包括存储由处理器可执行的代码的计算机可读存储介质。在此，可执行的代码包括进行如下操作的代码：接收要经由增强现实显示器呈现给用户的第一消息，增强现实显示器示出第一视野；确定用户的肢体是否在第一视野内；响应于用户的肢体在第一视野内而在增强现实显示器的第一位置显示第一消息，第一位置基于肢体位置；以及响应于用户的肢体不在第一视野内而在增强现实显示器的第二位置显示消息指示。
在一些实施方式中，代码还响应于用户的肢体在第一视野内而识别肢体位置。在这样的实施方式中，在增强现实显示器的基于肢体位置的第一位置显示第一消息包括识别肢体位置附近的表面并且在识别的表面上显示第一消息。在一些实施方式中，第二位置沿着增强现实显示器的周边。在一些实施方式中，第一消息包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
在某些实施方式中，第二位置基于最新知道的肢体位置。在某些实施方式中，代码还在显示消息指示之后确定肢体在第一视野内，响应于用户的肢体在第一视野内而识别当前肢体位置，并且在增强现实显示器的基于当前肢体位置的位置显示第一消息。
一种用于在视野的基于用户的肢体相对于视野的位置的位置呈现消息的程序产品包括存储由处理器可执行的代码的计算机可读存储介质。在一个实施方式中，计算机可读存储介质不包括暂时信号。此外，可执行的代码可以包括进行如下操作的代码：接收要经由增强现实显示器呈现给用户的第一消息；确定用户的肢体是否在增强现实显示器的视野内；响应于用户的肢体在第一视野内而在显示器的第一位置显示第一消息，第一位置基于肢体位置；以及响应于用户的肢体不在增强现实显示器的视野内而在增强现实显示器的第二位置显示消息指示。
在一些实施方式中，程序产品包括响应于用户的肢体在增强现实显示器的视野内而识别肢体位置的代码。在这样的实施方式中，在增强现实显示器的基于肢体位置的第一位置显示第一消息可以包括识别肢体位置附近的表面并且在识别的表面上显示第一消息。在某些实施方式中，第二位置沿着增强现实显示器的周边，其中，第一消息包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
在某些实施方式中，第二位置基于最新知道的肢体位置。在一些实施方式中，程序产品包括代码，代码在显示消息指示之后确定肢体在第一视野内，响应于用户的肢体在第一视野内而识别当前肢体位置，并且在显示器的基于当前肢体位置的位置显示第一消息。
附图说明
将通过参考在附图中示出的特定实施方式来呈现对以上简要描述的实施方式的更具体的描述。应理解，这些附图描绘了仅一些实施方式，并且因此不应被认为是对范围的限制，将通过使用附图以附加的特征和细节来描述和解释实施方式，其中：
图1是示出用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的系统的一个实施方式的示意性框图；
图2是示出用于在视野的基于用户的肢体相对于视野的位置而选择的的位置呈现消息的装置的一个实施方式的示意性框图；
图3A是示出用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的显示器控制器的一个实施方式的示意性框图；
图3B是示出用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的数据结构的一个实施方式的框图；
图4A是示出在第一位置处显示消息的一个实施方式的图；
图4B是示出在默认位置处显示消息的一个实施方式的图；
图5A是示出在第二位置处显示消息的一个实施方式的图；
图5B是示出在第二位置处显示消息的另一实施方式的图；
图5C是示出在第二位置处显示消息指示符的一个实施方式的图；
图6是示出用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的方法600的一个实施方式的流程图；
图7是示出用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的方法700的另一实施方式的流程图。
具体实施方式
如本领域技术人员将理解的，实施方式的方面可以实施为系统、方法或程序产品。因此，实施方式可以采用完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者组合可以在本文中通常称为“电路”、“模块”或“系统”的软件和硬件方面的实施方式的形式。此外，实施方式可以采用在存储下文中称为代码的机器可读代码、计算机可读代码和/或程序代码的一个或更多个计算机可读存储设备中实现的程序产品的形式。存储设备是有形的、非暂时的和/或非传输的。存储设备不包含信号。在某一实施方式中，存储设备可以使用用于访问代码的信号。
本说明书中描述的许多功能单元已经被标记为模块，以便更具体地强调它们的实现独立性。例如，模块可以实现为包括定制VLSI电路或门阵列、诸如逻辑芯片、晶体管或其他分立部件的现成半导体的硬件电路。模块也可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等的可编程硬件器件中实现。
模块也可以在用于由各种类型的处理器执行的代码和/或软件中实现。代码的识别模块可以例如包括可执行代码的一个或更多个物理或逻辑块，其可以例如被组织为对象、过程或功能。然而，可执行的识别模块不需要物理地位于一起，而是可以包括存储在不同位置的不同的指令，这些指令在逻辑地连接在一起时包括模块并且实现针对模块的所述目的。
实际上，代码模块可以是单个指令或许多指令，并且甚至可以分布在若干不同的代码段上、分布在不同的程序中以及跨若干存储器设备分布。类似地，在本文中，操作数据可以在模块内被标识和示出，并且可以以任何合适的形式实施并且被组织在任何合适类型的数据结构内。操作数据可以被收集作为单个数据集，或者可以分布在包括遍及不同的计算机可读存储设备的不同的位置上。当模块或部分模块在软件中实现时，软件部分存储在一个或更多个计算机可读存储设备上。
可以使用一个或更多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是存储代码的存储设备。存储设备可以是例如但不限于电子的、磁的、光学的、电磁的、红外线的、全息的、微机械的或半导体系统、装置或设备、或前述的任何合适的组合。
存储设备的更具体的示例(非详尽列表)将包括以下内容：具有一个或更多个电线的电连接；便携式计算机磁盘；硬盘；随机存取存储器(RAM)；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备或前述的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是任何有形的介质，其可以包含或存储用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
用于执行实施方式的操作的代码可以用一种或更多种编程语言的任何组合来编写，编程语言包括诸如Python、Ruby、Java、Smalltalk、C++等的面向对象的编程语言、以及诸如“C”编程语言等的常规过程化的编程语言和/或诸如汇编语言的机器语言。代码可以完全地在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上并且部分地在远程计算机上或完全地在远程计算机或服务器上执行。在后者的情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以对于外部计算机(例如，利用互联网服务提供商通过互联网)进行连接。
遍及本说明书对“一个实施方式”、“实施方式”或类似语言的引用意味着：结合实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此，遍及本说明书出现的短语“在一个实施方式中”、“在实施方式中”和类似的语言可以不一定都指代同一实施方式，而意味着“一个或更多个但不是所有实施方式”，除非另外明确说明。术语“包括”、“包含”、“具有”及其变体意味着“包括但不限于”，除非另外明确说明。列举的项的列表并非暗示任何或所有的项是互相排斥的，除非另外明确说明。术语“a”、“an”和“the”也指代“一个或更多个”，除非另外明确说明。
此外，本实施方式的描述的特征、结构或特性可以以任何合适的方式进行组合。在以下描述中，提供了诸如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的示例的许多具体细节，以提供对实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下或者利用其他方法、部件、材料等来实践实施方式。在其他情况下，未详细地示出或描述公知的结构、材料或操作以避免混淆实施方式的方面。
下面参考根据实施方式的方法、装置、系统和程序产品的示意性流程图和/或示意性框图来描述实施方式的方面。将理解，示意性流程图和/或示意性框图的每个方框以及示意性流程图和/或示意性框图中的方框的组合可以通过代码来实现。该代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在示意性流程图和/或示意性框图方框或方框中指定的功能/动作的工具。
代码也可以存储在存储设备中，该存储设备可以指示计算机、其他可编程数据处理装置或其他设备以特定的方式运行，使得存储在存储设备中的指令产生包括指令的制造物品，这些指令实现在示意性流程图和/或示意性框图方框或方框中指定的功能/动作。
代码也可以加载至计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的代码提供用于实现在流程图和/或框图方框或方框中指定的功能/动作的过程。
附图中的示意性流程图和/或示意性框图示出了根据各种实施方式的装置、系统、方法和程序产品的可能实现的架构、功能和操作。在这方面，示意性流程图和/或示意性框图中的每个方框可以表示代码的模块、段或部分，其包括用于实现指定的逻辑功能的代码的一个或更多个可执行的指令。
还应注意，在一些替选实施方式中，方框中标注的功能可以不按照附图中标注的顺序发生。例如，连续示出的两个方框实际上可以基本上同时地执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。可以设想其他步骤和方法，其在功能、逻辑或效果上等同于所示附图的一个或更多个方框或其部分。
尽管在流程图和/或框图中可以采用各种箭头类型和线类型，但是应理解不限制相应实施方式的范围。实际上，一些箭头或其他连接器可以用于仅指示描绘的实施方式的逻辑流程。例如，箭头可以指示描绘的实施方式的列举的步骤之间的未指定的持续时间的等待或监视时段。还将注意，框图和/或流程图的每个方框以及框图和/或流程图中的方框的组合可以由执行特定功能或动作的基于专用硬件的系统来实现，或专用硬件和代码的组合来实现。
每个附图中的元件的描述可以参考前述附图的元件。在包括相同元件的替选实施方式的所有附图中，相同的附图标记指代相同的元件。
为了在视野的基于用户的肢体相对于视野的位置的位置呈现消息，本文公开了方法、系统和装置。在增强现实(“AR”)消息的世界中，可能出现需要用户抬手来响应消息的提示(例如，将手势做成3D空间)。用户可能不想要需要大量的运动来响应的消息。例如，在使用数字设备的用户的社交场合中，许多运动可能使其变得明显。虽然一些消息可以经由头部姿势、眼睛眨眼等响应，但这对于远超过一对响应选项变得困难。在各种实施方式中，消息可以包括诸如用于是/否、发送/回复的按钮或甚至用于输入文本的完整的标准键盘的多个选择元件。
本公开内容通过在最容易被用户响应的位置处在诸如AR显示器或虚拟现实(“VR”)显示器的视点(“POV”)显示器中呈现消息来解决以上问题。在一个实施方式中，这包括识别用户的肢体(例如手)的位置并且将消息放置在他们的手附近。这要求用户尽可能少地移动他们的手以便响应消息。一个示例是在用户的手附近放置带有“是/否”对话框的通知。
在另一实施方式中，这包括识别在用户的手附近的表面。表面可以是用户的裤子、腿、附近的桌子、一只手的背部、腹部等。如果显示器设备硬件/软件支持“表面检测”，则然后可以将消息放置至表面上用于消费和/或快速响应。
在各种实施方式中，用户可以指定消息是应该转到他们的左手还是右手。如果用户期望的肢体在视野之外，则POV显示器可以指示消息在屏幕外。替选地，POV显示器可以在角落中示出消息，并且在他们平移其头部、移动其眼睛等时将消息移动到用户的肢体。
有利地，公开的解决方案使得用户不必“到达”很远来响应消息，从而使得响应消息/通知变得容易。另外，公开的解决方案使得附近的人不太可能注意到用户正在响应消息(例如，采用AR隐身模式)。
图1描绘了根据本公开内容的实施方式的用于基于用户的肢体相对于视野的位置而选择的视野位置呈现消息的系统100。系统100包括用于向用户110呈现视点显示器的电子设备105。在一个实施方式中，视点显示器是增强现实显示器。在另一实施方式中，视点显示器是虚拟现实显示器。视点显示器呈现对应于用户的视场120的图像。使用肢体115(在此，描绘了手)，用户110能够与包括位于用户的视场120中的对象的对象(真实的或虚拟的)交互。
在接收到警报、通知或其他消息时，电子设备105可以将消息呈现为用户的视场内的虚拟对象125。在视点(“POV”)显示器示出虚拟现实的情况下，虚拟对象125可以是虚拟世界内的对象。在POV示出虚拟现实的情况下，虚拟对象125可以是叠加在用户的现实世界视野上的计算机生成的图像。此外，用户110使用肢体115来与虚拟对象125交互，例如确认/解除消息、响应提示、作出响应等。
POV消息控制器(未示出)控制与本文中统称为“第一消息”的接收的通知、警报、提示、消息等相对应的虚拟对象125的呈现。POV消息控制器是电子设备105的一部分。在各种实施方式中，POV消息控制器包括计算机硬件、计算机软件及其组合。POV消息控制器与电子设备105的一个或更多个POV显示器元件交互，以在用户的视场内呈现虚拟对象125。在一个实施方式中，呈现的虚拟对象125包括接收的消息/通知。在另一实施方式中，呈现的虚拟对象125是通知用户110所接收到的消息/通知的消息指示符。在各种实施方式中，虚拟对象125包括一个或更多个可选择的(例如，交互式的)元件诸如“是/否”按钮，以回复文本消息，发送响应，解除通知等。
根据本文描述的原理，电子设备105的POV消息控制器选择地在显示器的某位置呈现第一消息。在一些实施方式中，POV消息控制器例如从在电子设备105上运行的应用程序、在电子设备105上运行的操作系统、在电子设备105上运行的消息客户端等接收要呈现给用户的第一消息。POV消息控制器还确定呈现对应于所接收到的消息的虚拟对象125。
在接收到第一消息(并且确定呈现对应于所接收到的消息的虚拟对象125)时，电子设备105确定肢体115相对于视场120的位置。在一个实施方式中，电子设备105确定肢体115存在于视场120内。此外，电子设备105可以识别视场120内的对应于肢体115的特定位置。在另一实施方式中，电子设备105确定肢体115在视场120外。
在某些实施方式中，电子设备105(或POV消息控制器)通过捕获对应于用户的视场120的图像数据(例如，使用与电子设备105集成并指向视场120的相机)并且分析用于肢体位置的所述图像数据来确定肢体115相对于视场120的位置。在其他实施方式中，用户110可以在肢体115上佩戴跟踪设备或定位设备，并且电子设备105(或POV消息控制器)利用来自跟踪设备或定位设备的数据来确定肢体115相对于视场120的位置。例如，用户可以佩戴具有惯性测量单元(“IMU”)的腕带，该惯性测量单元包括用于确定肢体115的位置的传感器的组合。
此外，电子设备105(或POV消息控制器)在基于所确定的肢体115的位置的位置呈现对应于第一消息的虚拟对象125。在一些实施方式中，当肢体115在视场120内时，电子设备105(或POV消息控制器)在第一位置显示虚拟对象125，并且当肢体115在视场120之外时，电子设备105(或POV消息控制器)在第二位置显示虚拟对象125。在一个示例中，第一位置与肢体115的位置相距预定距离。在另一示例中，第二位置沿着视场120的周边。第二位置可以基于肢体115的最新已知位置和/或肢体115的预期位置。
在各种实施方式中，肢体115是用户110的偏好肢体。电子设备105可以存储用户110的偏好信息，所述偏好信息指示作为偏好肢体(例如，手)的特定肢体115(例如，手)。因此，电子设备105可以确定偏好肢体相对于用户的视场120的位置，并且在基于偏好肢体的位置的位置处显示虚拟对象125。在某些实施方式中，如果偏好肢体不存在于用户的视场120内，则电子设备105在非偏好肢体附近显示虚拟对象125。
电子设备105包括诸如增强现实显示器或虚拟现实显示器的POV显示器。虽然电子设备105被描绘为可穿戴设备(具体地头戴式显示器)，但在其他实施方式中，电子设备105是手持设备。此外，电子设备105可以是POV显示器与电子设备105的其余部分分离的分布式设备。例如，POV显示器可以是可穿戴显示器设备，而电子设备105的其余部分可以是与可穿戴显示器通信的计算机设备。计算机设备的示例包括但不限于膝上型计算机、台式计算机、平板计算机、智能电话、游戏机等。
在某些实施方式中，电子设备105具有包括正常模式和隐身模式(本文中也称为“隐形”模式)的多种操作模式。在各种实施方式中，电子设备105在处于隐身模式时将虚拟对象125放置在肢体115附近，以使肢体115在响应虚拟对象125时的运动最小化。有利地，将虚拟对象125放置在肢体115附近降低了用户110在响应第一消息时引起附近个体的注意的可能性。在某些实施方式中，电子设备105在处于正常模式时将虚拟对象125放置在视场120内的中央区域处。在其他实施方式中，电子设备105在处于正常模式时仍然将虚拟对象125放置在基于肢体115的位置的位置处。
图2描绘了根据本公开内容的实施方式的用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的装置。在描绘的示例中，该装置实施为POV显示器设备200。POV显示器设备200可以是以上讨论的电子设备105的一个实施方式。POV显示器设备200可以包括处理器205、存储器210和POV显示器220。
在各种实施方式中，POV显示器设备200可以可选地包括输入设备215、相机230和/或通信硬件235。POV显示器设备200可以包括主体或壳体，其中POV显示器设备200的部件位于壳体内。此外，POV显示器设备200的部件例如经由计算机总线彼此通信地耦合。
在一个实施方式中，处理器205可以包括能够执行计算机可读指令和/或能够执行逻辑操作的任何已知的控制器。例如，处理器205可以是微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、辅助处理单元、FPGA或类似的可编程控制器。在一些实施方式中，处理器205执行存储在存储器210中的指令以执行本文描述的方法和例程。处理器205通信地耦合至存储器210、输入设备215、POV显示器220、消息控制器225、相机230和通信硬件235。在某些实施方式中，处理器205可以执行本文描述的方法。
在一个实施方式中，存储器210是计算机可读存储介质。在一些实施方式中，存储器210包括易失性计算机存储介质。例如，存储器210可以包括随机存取存储器(RAM)，该RAM包括动态RAM(DRAM)、同步动态RAM(SDRAM)和/或静态RAM(SRAM)。在一些实施方式中，存储器210包括非易失性计算机存储介质。例如，存储器210可以包括硬盘驱动器、闪存或任何其他合适的非易失性计算机存储设备。在一些实施方式中，存储器210包括易失性计算机存储介质和非易失性计算机存储介质两者。
在一些实施方式中，存储器210存储与在视野中的基于用户的肢体相对于视野的位置而选择的位置呈现消息有关的数据。例如，存储器210可以存储肢体位置、手偏好、消息位置、消息上下文、操作模式等。在一个实施方式中，存储器210包括存储下面参照图3B讨论的数据的一组寄存器。在一些实施方式中，存储器210还存储程序代码和相关数据，诸如在POV显示器设备200上操作的操作系统。在一个实施方式中，可以在存储在存储器210中并在POV显示器设备200上操作的软件应用程序(或软件应用程序集)中实施消息控制器225。
在一个实施方式中，输入设备215可以包括包括触摸面板、按钮、键盘、麦克风、相机等的任何已知的计算机输入设备。例如，输入设备215可以包括麦克风或类似的音频输入设备，用户(例如，用户110)利用麦克风或类似的音频输入设备来输入声音或语音数据(例如，语音命令)。在一些实施方式中，输入设备215(或其一部分)可以与POV显示器220集成例如作为触摸屏或类似的触摸敏感显示器。在一些实施方式中，输入设备215包括诸如麦克风和触摸面板的两个或更多个不同的设备。
在一个实施方式中，POV显示器220被配置成输出对应于用户视场的图像数据。在一个实施方式中，POV显示器220是增强现实显示器，其将诸如第一消息的消息或通知叠加在对应于现实世界的图像上。在另一实施方式中，POV显示器220是虚拟现实显示器，其呈现虚拟世界并且还在虚拟世界内呈现诸如第一消息的消息或通知。
在一个实施方式中，POV显示器220将一个或更多个图像投射在透明表面(例如，玻璃)上以创建增强现实显示。示例性AR投影仪包括抬头显示器、智能眼镜等。在另一实施方式中，POV显示器220将一个或更多个图像直接投射至用户110的视网膜上以创建增强现实显示。在某些实施方式中，POV显示器220是可穿戴(或手持)电子显示器，其呈现(例如，直播)与用户的视场相对应的相机数据并且将图像叠加在相机数据上以创建增强现实显示器。在其他实施方式中，POV显示器220是诸如VR头盔、VR护目镜、VR眼镜等的虚拟现实(“VR”)显示器。
在一些实施方式中，POV显示器220的全部或部分可以与输入设备215集成。例如，输入设备215和POV显示器220可以形成触摸屏或类似的触摸敏感显示器。在其他实施方式中，POV显示器220可以位于输入设备215附近。POV显示器220可以接收从处理器205和/或消息控制器225输出的指令和/或数据。此外，POV显示器220可以与相机230集成。
在一些实施方式中，POV显示器设备200包括例如输出音频和/或触觉信号的附加的输出设备。在某些实施方式中，这些附加的输出设备与POV显示器220集成或者位于与POV显示器220相邻。在一些实施方式中，POV显示器设备200包括用于产生诸如可听到的警报或通知的声音的一个或更多个扬声器。在一些实施方式中，POV显示器设备200包括用于产生振动、运动或其他触觉输出的一个或更多个触觉设备。在某些实施方式中，POV显示器设备200可以包括附加的电子显示器，诸如LCD显示器、LED显示器、OLED显示器、投影仪或能够向用户输出图像、文本等的类似显示器设备。
在一个实施方式中，消息控制器225被配置成接收要在第一视野(例如，经由虚拟对象125呈现的)内呈现给用户(例如，用户110)的第一消息，确定用户的肢体(例如，肢体115)相对于第一视野的位置，并且在显示器的基于肢体位置的位置呈现第一消息。在此，POV显示器220向用户呈现第一视野。在各种实施方式中，第一视野对应于用户110的视场120。
在一些实施方式中，消息控制器225响应于用户的肢体在第一视野内而在第一位置呈现第一消息，以及响应于用户的肢体不在第一视野内而在第二位置呈现第一消息。在某些实施方式中，第一位置在肢体的预定距离内。在某些实施方式中，第二位置基于最新知道的肢体位置和预期的肢体位置之一。
在某些实施方式中，第一视野是增强现实视野并且肢体是用户的偏好手。在一些实施方式中，消息控制器225利用由相机230捕获的图像数据来确定用户的偏好手是否在增强现实视野内，该图像数据对应于第一视野。在一个实施方式中，第二位置在用户的非偏好手附近。
在某些实施方式中，消息控制器225在显示器上呈现对应于第一视野的图像数据，并且还响应于用户的肢体不在第一视野内而沿着显示器的周边呈现第一消息。在此，显示器的周边与第一视野的周边一致。在各种实施方式中，第一消息包括一个或更多个选择元件，诸如确认元件、回复按钮、发送按钮、虚拟键盘等。
在一些实施方式中，消息控制器225确定POV显示器设备200是否在隐形模式下操作。在此，消息控制器225然后可以响应于确定POV显示器设备200在隐形模式下操作而确定用户的用户肢体相对于第一视野的位置。否则，消息控制器225可以响应于确定POV显示器设备200不在隐形模式下操作而在POV显示器220的中央区域呈现第一消息。在各种实施方式中，消息控制器225识别肢体位置附近的表面。在这样的实施方式中，呈现第一消息包括消息控制器225将第一消息叠加在识别的表面上。
在一个实施方式中，相机230被配置成捕获与用户的视场(例如，第一视野)相对应的图像数据。在此，相机230与用户的眼睛面向同一方向。由相机230捕获的图像数据可以用于确定用户肢体相对于视场的位置。
在各种实施方式中，相机230可以包括多个相机设备。例如，可以使用一对相机设备来捕获与用户的视场相对应的立体图像数据。作为另一示例，相机设备可以面向用户以跟踪眼睛运动，以跟踪用户的视场之外的肢体位置等。
通信硬件235可以支持POV显示器设备200与另一设备或网络之间的有线或无线通信。无线连接可以包括移动电话网络。无线连接还可以采用基于电气和电子工程师协会(IEEE)802.11标准中的任何一个的Wi-Fi网络。替选地，无线连接可以是连接。另外，无线连接可以采用射频识别(RFID)通信，射频识别(RFID)通信包括由国际标准化组织(ISO)、国际电工委员会(IEC)、美国材料与DASH7TM联盟和EPCGlobalTM建立的RFID标准。
替选地，无线连接可以采用基于IEEE 802标准的连接。在一个实施方式中，无线连接采用如由Sigma设计的连接。替选地，无线连接可以采用由加拿大科克伦的创新公司限定的和/或连接。
无线连接可以是包括至少符合如由限定的红外物理层规范(IrPHY)的连接的红外连接。替选地，无线连接可以是蜂窝电话网络通信。所有标准和/或连接类型包括截至本申请的申请日的标准和/或连接类型的最新版本和修订版。
图3A描绘了根据本公开内容的实施方式的显示器控制器300。在此，显示器控制器300可以是用于在视野的基于用户肢体相对于视野的位置而选择的位置呈现消息的POV消息控制器，。此外，显示器控制器300可以是上述的消息控制器225的一个实施方式。在描绘的实施方式中，显示器控制器300包括多个模块，上述多个模块包括消息模块305、肢体模块310、肢体定位模块315、显示器模块320、消息位置模块325、表面模块330、相机模块335以及操作模式模块340。如上所述，模块305至340可以实现为硬件电路、可编程硬件器件或用于由各种类型的处理器执行的软件。
在一个实施方式中，消息模块305被配置成接收要(例如，在增强现实视野内)呈现给用户的第一消息。第一消息可以从外部通信者(例如，来自朋友的文本消息)接收并且/或者可以是系统通知。在某些实施方式中，第一消息包括一个或更多个选择元件。选择元件的示例包括但不限于确认元件、回复按钮、发送按钮、虚拟键盘等。
在一个实施方式中，肢体模块310被配置成确定用户110的肢体115是否在增强现实视野内。在其他实施方式中，肢体是用户的手。在另一实施方式中，肢体是优势手或偏好手。在此，用户控制的设置可以指定哪只手是优势手或偏好手。替选地，肢体模块310可以基于观察用户在响应POV显示器220上的消息或通知时通常使用哪只手来预测哪只手是优势手/偏好手。因此，历史数据可以用于经验上确定用户的偏好手以响应诸如第一消息的消息/通知。在已知偏好肢体/手的情况下，肢体模块310然后可以确定偏好肢体/手是否在用户的视野(例如，第一视野)内。
如本文中使用的，“用户视野”指代用户在观看POV显示器220时感知的视野。如上所述，用户视野可以对应于视场，使得呈现在POV显示器220上的内容随着用户运动(例如，响应于头部运动、眼睛运动、身体运动等)而改变。在一个实施方式中，POV显示器220包括叠加在透明表面上的增强现实图像，通过该透明表面看到“现实”，诸如抬头显示。在另一实施方式中，POV显示器220是非透明电子显示器，其中通过将一个或更多个叠加图像叠加在图像数据上(例如，叠加到“现实”的顶部)来显示“现实”(例如，如经由相机捕获的)或虚拟现实的图像数据。
在一个实施方式中，肢体定位模块315被配置成识别肢体相对于用户视野的位置。在一个实施方式中，肢体位置是用户视野内的一组空间坐标。在另一实施方式中，肢体位置可以被确定为“在视野外”。在又一实施方式中，不在用户视野内的肢体可以与最新知道的肢体位置相关联。在某些实施方式中，将标记与肢体位置相关联，使得当设置标记时，标记指示肢体在用户视野内并且肢体位置是肢体的当前位置。此外，当没有设置标记时，其指示肢体不在用户视野内并且肢体位置是肢体的最新已知位置。虽然肢体定位模块315被描绘为肢体模块310的部件，但在其他实施方式中，肢体定位模块315可以是显示器控制器300的单独且独立的模块。
在一个实施方式中，显示器模块320被配置成在POV显示器220的基于肢体位置的位置处呈现第一消息。在一些实施方式中，显示器模块320在POV显示器220内呈现消息指示符，例如每当用户肢体不在用户视野内时。在此，第一消息和消息指示符可以是上述虚拟对象125的实施方式。在一个实施方式中，显示器模块320向POV显示器220发送图像数据以用于第一消息的呈现。在另一实施方式中，显示器模块320自身生产帧数据并且控制POV显示器220的显示器元件以呈现第一消息。
在某些实施方式中，第一消息包括要经由用户的肢体(例如，手)选择的一个或更多个选择元件。在此，用户可以使用肢体在空间中做出姿势以便与选择元件交互。选择元件可以包括但不限于确认元件、回复按钮、发送按钮、“是”按钮、“否”按钮、解除按钮、虚拟键盘等。在此注意，呈现的选择元件取决于第一消息的性质。简单的修改可以仅需要确认元件或“是/否”按钮，而电子邮件或文本消息可能需要附加的元件，诸如发送/回复按钮或甚至用于输入文本的完整的QWERTY键盘。
在各种实施方式中，用户的肢体(例如，偏好肢体/手)存在于用户的视野内。在此，显示器模块320在POV显示器220内的第一位置处呈现第一消息。通常，第一位置基于用户的肢体的位置。下面进一步详细讨论第一位置的确定。
在其他实施方式中，用户的(例如，偏好)肢体不存在用户视野内。在此，显示器模块320在用户视野的第二位置处在POV显示器220内呈现第一消息(或者替选地消息指示符)。在各种实施方式中，第二位置可以基于最新知道的肢体位置、以及预期的其位置、非偏好手的位置并且/或者沿着POV显示器220的周边。在某些实施方式中，POV显示器220的周边与用户的视野的周边一致。
在此，消息指示符是通知用户所接收到的消息的通知。然而，注意，消息指示符不是第一消息。例如，消息指示符可以是指示未决消息的图标、点或其他图像。相比之下，第一消息可以包括文本、图表等并且可以包括一个或更多个选择元件(例如，用于确认消息的选择元件)。在某些实施方式中，消息指示符显示在POV显示器220的周边例如在预期的肢体位置或最后知道的肢体位置附近。在此，当用户转向消息指示符时，(偏好)肢体可能出现在用户的视野内。替选地，用户可以响应于注意到消息指示符而将(偏好)肢体移动到用户的视野中。响应于出现在用户的视野内的肢体，显示器模块320然后可以移除消息指示符并且在基于肢体位置的第一位置处呈现第一消息。
在一个实施方式中，消息位置模块325被配置成计算第一位置和第二位置。如上所述，第一位置可以基于肢体位置，诸如用户的偏好手的位置或用户的偏好手的食指的位置。在一些实施方式中，第一位置距离用户的偏好手不超过预定距离。该预定距离可以是显示器上距手部位置的设定数量的像素、真实/虚拟世界中的固定距离(例如，距用户的偏好手的食指3cm)、角距离(例如，考虑到用户的视角)等。在一个实施方式中，第一位置是用户的偏好手上方的固定距离。在另一实施方式中，第一位置是到用户的偏好手的一侧的固定距离。例如，在用户的偏好手是左手的情况下，第一位置可以是到用户的左手的左侧的固定距离。在各种实施方式中，第二位置可以基于最新知道的肢体位置、以及预期的其位置、非偏好手的位置并且/或者沿着POV显示器220的周边。虽然消息位置模块325被描绘为显示器模块320的部件，但在其他实施方式中，消息位置模块325可以是显示器控制器300的单独且独立的模块。
在一个实施方式中，表面模块330被配置成识别肢体位置附近的表面。表面模块330另外向显示器模块320指示表面的的参数，诸如位置、表面尺寸、平面取向等。在此，显示器模块320然后可以在识别的表面上呈现第一消息。用户的肢体附近的可识别的表面的示例包括但不限于台子、仪表板、桌子、椅臂、裤腿、袖子、手臂、她的手背等。
表面模块330可以采用各种已知的算法用于根据与用户的视点相对应的图像数据(例如，相机数据)来识别表面。在某些实施方式中，表面模块330可以估计第一消息的大小并且验证识别的表面足够大以显示第一消息。如果表面足够大以显示第一消息，则然后表面模块330可以向显示器模块320指示与识别的表面相对应的表面参数。否则，如果表面不足够大，则表面模块330可以寻找另一合适的表面。如果找不到合适的表面，则表面模块330可以向显示器模块320指示在用户的视点内没有表面可用。虽然表面模块330被描绘为显示器模块320的部件，但在其他实施方式中，表面模块330可以是显示器控制器300的单独且独立的模块。
在一个实施方式中，相机模块335被配置成捕获与用户的视野相对应的图像数据。在POV显示器220是增强现实视野的情况下，相机模块335可以捕获与用户前面的现实世界对象、人和/或风景相对应的图像数据。在POV显示器220是虚拟现实视野的情况下，图像数据可以对应于用户前面的虚拟世界。此外，相机模块335可以与肢体模块310协调以确定用户的肢体是否在用户的视野(例如，增强现实视野或虚拟现实视野)内。例如，相机模块335可以使用各种图像识别技术来确定用户的肢体中的一个或更多个是否在对应于增强现实视野的捕获的数据内。在另一示例中，相机模块335可以跟踪虚拟世界中与用户的肢体/手相对应的对象。在某些实施方式中，相机模块335识别存在于用户的视野内的肢体，诸如左手、右手、偏好手等。
在一个实施方式中，操作模式模块340被配置成确定显示器控制器300是否在隐形模式下操作。如本文中使用的，隐形模式指代用户对增强现实设备的使用对于观察者是最低限度地可觉察的模式。当处于隐形模式也称为AR“隐身”模式时，消息、提示和其他通知将被放置在用户的手附近，使得需要最小的运动来响应消息/通知。在某些实施方式中，当显示器控制器300在隐形模式下操作时，显示器模块320在第一位置(例如，在用户的视野内的肢体附近的位置)处呈现第一消息，以及否则在POV显示器220的中央区域呈现第一消息(响应于确定显示器控制器300不在隐形模式下操作)。
图3B描绘了存储用于在视野的基于用户肢体相对于视野的位置而选择的位置呈现消息的参数的示例性数据结构350。如描绘的，数据结构350包含多个字段。在一个实施方式中，每个字段存储在消息控制器225或显示器控制器300的例如寄存器中。在另一实施方式中，数据结构350存储在存储器210中。数据结构350存储用于在视野的基于用户肢体相对于视野的位置而选择的位置呈现消息的数据。
数据结构350可以包括以下中的一个或更多个：存储用于放置消息和通知的偏好手的指示符的字段355(“preferred_hand”)；存储用于偏好手的肢体位置的字段360(“pref_hand_location”)；存储用于非偏好手的肢体位置字段365(“other_hand_location”)；指示偏好手是否在增强现实视野内的字段370(“pref_hand_visible”)；诸如当在增强现实视野内看不到偏好手时存储用于偏好手的第二位置肢体位置的字段375(“second_location”)；以及指示AR显示器是否在“隐形”或“隐身”模式下操作的字段380(“current_mode”)。在另外的实施方式中，附加的数据可以存储在数据结构350中，包括消息/通知是否要显示在表面上(例如，而不是在浮动窗口中)、手到达距离内等。
图4A描绘了根据本公开内容的实施方式的在第一位置处显示消息的一个场景400。图4A描绘了用户的视野405，其可以是用户的视场120的一个实施方式。在此，用户的视野405来自车辆的驾驶员的座位。此外，用户的视野405包括诸如车辆内部410的一个或更多个对象和/或场景。在一个实施方式中，对象/场景是现实世界的一部分，例如如通过增强现实显示器观察的。在另一实施方式中，对象/场景是虚拟的，例如增强现实显示器中的计算机生成的图像或通过虚拟现实显示器观察的虚拟世界的对象。POV消息控制器(例如，在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的)接收通知、文本消息等并且确定在用户的视野405内呈现第一消息430。
响应于确定呈现第一消息430，POV消息控制器通过确定用户肢体相对于用户视野405的位置来确定用于放置第一消息430的消息位置。此外，POV消息控制器识别用户的偏好手420并且确定偏好手的手位置415。在描绘的示例中，偏好手420位于用户视野405内。在一些实施方式中，手位置415对应于一组空间坐标。利用该组空间坐标，POV消息控制器确定用于第一消息430的放置位置。在此，第一消息430定位在手位置415附近，有利地在偏好手420的易于到达的范围内。在各种实施方式中，放置位置可以与手位置415相距预定距离。
虽然被描绘为浮动消息，但是在其他实施方式中，POV消息控制器可以将第一消息放置在手位置415附近的表面上。在此，可以选择用户的视野405中的平坦对象或表面(诸如车辆内部410的平坦表面)作为消息位置，其中，POV消息控制器可以将第一消息430投射至平坦对象或其他表面上。例如，车辆的仪表板表面可以通过POV消息控制器将第一消息430放置至仪表板表面上而成为虚拟显示器。
注意，非偏好手425(左手)也在用户的视野405内。在此，非偏好手425被描绘为触摸方向盘(或放置在方向盘附近)。在某些实施方式中，由于POV消息控制器确定左手被占用(例如，被方向盘占用)，因此右手被设置为场景400中的偏好手420。在其他实施方式中，根据用户偏好或者由于用户历史上使用右手来响应消息，右手被设置为偏好手420。
图4B描绘了根据本公开内容的实施方式的在默认位置处显示消息的场景440。图4B描绘了用户视野445，其可以是用户视场120的一个实施方式。在此，用户视野445来自车辆的乘客座位。此外，用户视野445包括诸如车辆内部410的一个或更多个对象和/或场景。在一个实施方式中，对象/场景是现实世界的一部分，例如如通过增强现实显示器观察的。在另一实施方式中，对象/场景是虚拟的，例如增强现实显示器中的计算机生成的图像或通过虚拟现实显示器观察的虚拟世界的对象。POV消息控制器(例如，在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的)再次接收通知、文本消息等并且确定在用户视野445内呈现第一消息430。
在场景440中，例如，POV消息控制器基于用户视野445中的环境确定不需要将第一消息430放置在紧邻用户的偏好手。虽然在一些实施方式中POV消息控制器仍然选择手位置450附近的消息放置位置，但是在描绘的实施方式中，POV消息控制器将第一消息430放置在用户视野445的中央区域(VR显示器或AR显示器的中央区域)。
图5A描绘了根据本公开内容的实施方式的在第二位置处显示消息的第一场景500。图5A描绘了用户视野505，其可以是用户视场120的一个实施方式。在此，用户视野505是例如会议室中的桌子处的座位。此外，用户视野505包括诸如桌子510的一个或更多个对象和/或场景。在一个实施方式中，对象/场景是现实世界的一部分，例如如通过增强现实显示器观察的。在另一实施方式中，对象/场景是虚拟的，例如增强现实显示器中的计算机生成的图像或通过虚拟现实显示器观察的虚拟世界的对象。POV消息控制器(例如，在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的)接收通知、文本消息等并且确定在用户的视野505内呈现第一消息530。
响应于确定呈现第一消息530，POV消息控制器通过确定用户肢体相对于用户视野505的位置来确定用于放置第一消息530的消息位置。此外，POV消息控制器识别用户的偏好手520。
因为偏好手520位于用户视野505外，所以POV消息控制器确定将消息530放置在第二位置处。在描绘的示例中，非偏好手525位于用户视野505内。因此，POV消息控制器识别非偏好手525的手位置515。在一些实施方式中，手位置515对应于一组空间坐标。利用该组空间坐标，POV消息控制器确定第一消息530的放置位置。
在描绘的实施方式中，第一消息530定位在手位置515附近，有利地在非偏好手525的易于到达范围内。在各种实施方式中，放置位置可以与手位置515相距预定距离。在某些实施方式中，通过用户输入/偏好，用户的右手被设置为场景500中的偏好手520。在其他实施方式中，或者由于用户历史上使用右手来响应消息，因此右手被设置为偏好手520。
在场景500中，例如，POV消息控制器可以基于用户视野505中的环境确定应该将第一消息530放置在紧邻用户的手(在此，非偏好手525)。例如，由于在用户视野505中存在个体535，因此POV消息控制器可以确定应该在隐形模式下操作以使用户使用POV显示器设备被个体535注意到的可能性最小化。
图5B描绘了根据本公开内容的实施方式的在第二位置处显示消息的第二场景540。在此，POV消息控制器(例如，在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的)接收通知、文本消息等并且确定在用户视野505内呈现第一消息530。响应于确定呈现第一消息530，POV消息控制器通过确定用户肢体相对于用户视野505的位置来确定用于放置第一消息530的消息位置。
在某些实施方式中，POV消息控制器识别用户的偏好手520。然而，在描绘的示例中，偏好手520位于用户的视野505外。因此，POV消息控制器确定偏好手520的最新已知位置545。在此，最新已知位置545是沿着用户的视野505的周边的一组空间坐标。利用该组空间坐标，POV消息控制器确定第一消息530的放置位置。在此，第一消息530沿着显示器的周边在最新已知位置545附近定位。
注意，非偏好手525(左手)也在用户的视野505内。然而，例如由于存储的用户偏好，POV消息控制器忽略非偏好手525，而将第一消息放置在偏好手(右手)的最新已知位置附近。
图5C描绘了根据本公开内容的实施方式的在第二位置处显示消息指示符555的一个场景550。在此，POV消息控制器(例如，在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的)接收通知、文本消息等以在用户视野505内呈现。响应于接收消息/通知，POV消息控制器通过确定用户肢体相对于用户视野505的位置来确定消息放置位置。
在某些实施方式中，POV消息控制器识别用户的偏好手520。然而，在描绘的示例中，偏好手520位于用户的视野505外。因此，POV消息控制器确定偏好手520的最新已知位置545。在此，最新已知位置545是沿着用户视野505的周边的一组空间坐标。利用该组空间坐标，POV消息控制器确定消息放置位置。然而，因为偏好手520不在用户视野505内，所以POV消息控制器在显示器的最新已知位置545附近的位置处显示消息指示符555。
此外，POV消息控制器可以监视偏好手520。响应于用户将偏好手520移动到用户的视野505中并且/或者将用户的视野505移动到偏好手的位置(例如，向下看偏好手520)，POV消息控制器可以用包含接收到的消息/通知的消息窗口来替换消息指示符555，例如显示第一消息530。
图6描绘了根据本公开内容的实施方式的用于在视野的基于用户肢体相对于视野的位置而选择的位置呈现消息的方法600。在一些实施方式中，使用例如在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的POV消息控制器来执行方法600。在一些实施方式中，通过诸如微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、辅助处理单元、FPGA等的处理器来执行方法600。
方法600开始于接收605要经由显示器(例如，经由POV显示器)呈现给用户的第一消息。在此，显示器示出第一视野。第一视野可以是增强现实视野和虚拟现实视野之一。此外，在显示器上呈现对应于第一视野的图像数据。在各种实施方式中，第一消息是以下中的一个或更多个：文本消息、系统通知、提示、弹出式、警报等。
在各种实施方式中，可以从POV显示器的操作系统、与POV显示器通信的应用程序、用户的通信者等接收第一消息。此外，第一消息可以包括一个或更多个可选择的元件。可选择的元件的示例包括但不限于确认元件、回复按钮、发送按钮、虚拟键盘、文件链接、超链接等。
方法600包括确定610用户的肢体相对于第一视野的位置。在一些实施方式中，610确定用户的肢体相对于第一视野的位置包括从相机接收图像数据，图像数据对应于第一视野，并且确定肢体是否包括在捕获的图像数据中。如果肢体存在于捕获的图像数据中，则然后可以识别肢体的空间坐标。在某些实施方式中，如果肢体不存在于捕获的图像数据中，则然后可以识别肢体的最新已知位置或预期的位置。在其他实施方式中，可以例如使用一个或更多个附加的相机、惯性测量数据等来跟踪不在第一视野内的肢体的位置。在某些实施方式中，确定610用户的肢体是否在第一视野内包括识别用户的偏好手并且确定偏好手是否在第一视野内。
方法600包括在显示器的基于肢体位置的位置显示615第一消息。例如，如果肢体在第一视野内，则然后显示615第一消息包括在第一位置处显示第一消息。在此，第一位置可以是例如用户的偏好手附近的位置。在一些实施方式中，第一位置距离用户的偏好手不超过预定距离。作为另一示例，如果肢体不在第一视野内，则然后显示615第一消息包括在第二位置处显示第一消息。在此，第二位置可以沿着显示器的周边，例如在基于预期的或最新知道的肢体位置的位置处。替选地，第二位置可以是用户的非偏好的肢体附近的位置。方法600结束。
图7描绘了根据本公开内容的实施方式的用于在视野的基于用户的肢体相对于视野的位置而选择的位置呈现消息的方法700。在一些实施方式中，使用例如在上述的电子设备105、POV显示器设备200、消息控制器225和/或显示器控制器300中实施的POV消息控制器来执行方法700。在一些实施方式中，通过诸如微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、辅助处理单元、FPGA等的处理器来执行方法700。
方法700开始于接收705要经由显示器(例如，经由POV显示器)呈现给用户的第一消息。在各种实施方式中，第一消息是以下中的一个或更多个：文本消息、系统通知、提示、弹出式、警报等。在此，可以从POV显示器的操作系统、与POV显示器通信的应用程序、用户的通信者等接收第一消息。此外，第一消息可以包括一个或更多个可选择的元件。可选择的元件的示例包括但不限于确认元件、回复按钮、发送按钮、虚拟键盘、文件链接、超链接等。
方法700包括确定710用户的肢体是否在第一视野内。在此，第一视野是增强现实视野和虚拟现实视野之一。此外，在显示器上呈现对应于第一视野的图像数据。
在一些实施方式中，确定710用户的肢体是否在第一视野内包括从相机接收图像数据，图像数据对应于第一视野，并且确定用户的肢体是否包括在捕获的图像数据中。在某些实施方式中，确定710用户的肢体是否在第一视野内包括识别用户的偏好手并且确定偏好手是否在第一视野内。
方法700包括响应于用户的肢体在第一视野内而在显示器的第一位置显示715第一消息。在此，第一位置基于肢体位置例如用户的偏好手的位置。在一些实施方式中，第一位置距离用户的偏好手不超过预定距离。
方法700包括响应于用户的肢体不在第一视野内而在显示器的第二位置显示720消息指示。在各种实施方式中，第二位置可以基于最新知道的肢体位置、以及预期的其位置、非偏好手的位置并且/或者沿着POV显示器的周边。方法700结束。
可以以其他特定的形式来实践实施方式。描述的实施方式在所有方面都将被认为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是由前面的描述来指示。落入权利要求书的等同物的含义和范围内的所有变化都将包含在其范围内。
此外，本发明实施例还包括：
(1).一种装置，包括：
呈现第一视野的显示器；
处理器；以及
存储代码的存储器，所述代码能够由所述处理器执行以进行如下操作：
接收要在所述第一视野内呈现给用户的第一消息；
确定所述用户的肢体相对于所述第一视野的位置；并且
在所述第一视野的基于所述肢体位置的位置呈现所述第一消息。
(2).根据权利要求(1)所述的装置，其中，所述处理器响应于所述用户的所述肢体在所述第一视野内而在第一位置呈现所述第一消息并且响应于所述用户的所述肢体不在所述第一视野内而在第二位置呈现所述第一消息，其中，所述第一位置在所述肢体的预定距离内，并且其中，所述第二位置基于最新知道的肢体位置和预期的肢体位置之一。
(3).根据权利要求(2)所述的装置，其中，所述第一视野是增强现实视野并且所述肢体是所述用户的偏好手，所述装置还包括捕获对应于所述第一视野的图像数据的相机，其中，所述处理器利用捕获的图像数据来确定所述用户的所述偏好手是否在所述第一视野内。
(4).根据权利要求(3)所述的装置，其中，所述第二位置在所述用户的非偏好手附近。
(5).根据权利要求(1)所述的装置，其中，所述处理器在所述显示器上呈现对应于所述第一视野的图像数据，其中，所述处理器响应于所述用户的所述肢体不在所述第一视野内而沿着所述第一视野的周边呈现所述第一消息。
(6).根据权利要求(1)所述的装置，其中，所述第一消息包括一个或更多个选择元件，所述选择元件包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
(7).根据权利要求(1)所述的装置，其中，所述处理器确定所述装置是否在隐形模式下操作，其中，响应于确定所述装置在隐形模式下操作而确定所述用户的肢体相对于所述第一视野的位置，其中，所述处理器还响应于确定所述装置不在隐形模式下操作而在所述第一视野的中央区域呈现所述第一消息。
(8).根据权利要求(1)所述的装置，其中，所述处理器识别所述肢体位置附近的表面，其中，呈现所述第一消息包括在识别的表面上叠加所述第一消息。
(9).一种方法，包括：
通过使用处理器来接收要经由显示器呈现给用户的第一消息，所述显示器示出第一视野；
确定所述用户的肢体相对于所述第一视野的位置，所述第一视野是虚拟现实视野和增强现实视野之一；以及
在所述第一视野的基于所述肢体位置的位置显示所述第一消息。
(10).根据权利要求(9)所述的方法，还包括：
确定所述用户的肢体是否在所述第一视野内；
响应于所述用户的所述肢体在所述第一视野内而在第一位置显示所述第一消息；以及
响应于所述用户的所述肢体不在所述第一视野内而在第二位置显示所述第一消息，
其中，所述第一位置在所述肢体的预定距离内，并且其中，所述第二位置基于最新知道的肢体位置和预期的肢体位置之一。
(11).根据权利要求(10)所述的方法，其中，所述第一视野是增强现实视野，其中，所述肢体是所述用户的优势手，所述方法还包括：
捕获对应于所述第一视野的图像数据，其中，确定所述用户的肢体是否在所述第一视野内包括确定所述优势手是否在捕获的图像数据内。
(12).根据权利要求(11)所述的方法，其中，所述第二位置在所述用户的非优势手附近。
(13).根据权利要求(9)所述的方法，还包括在所述显示器上显示对应于所述第一视野的图像数据，其中，在所述第一视野的基于所述肢体位置的位置显示所述第一消息包括响应于所述用户的所述肢体不在所述第一视野内而沿着所述显示器的周边显示所述第一消息。
(14).根据权利要求(9)所述的方法，其中，所述第一消息包括一个或更多个选择元件，所述选择元件包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
(15).根据权利要求(9)所述的方法，还包括：
确定所述显示器是否在隐形模式下操作，其中，响应于确定所述显示器在隐形模式下操作而确定所述用户的肢体相对于所述第一视野的位置；以及
响应于确定所述显示器不在隐形模式下操作而在所述显示器的中央区域显示所述第一消息。
(16).根据权利要求(9)所述的方法，还包括：识别所述肢体位置附近的表面，其中，呈现所述第一消息包括在识别的表面上叠加所述第一消息。
(17).一种程序产品，包括存储由处理器能够执行的代码的计算机可读存储介质，所述能够执行的代码包括进行如下操作的代码：
接收要经由增强现实显示器呈现给用户的第一消息，所述增强现实显示器示出第一视野；
确定所述用户的肢体是否在所述第一视野内；
响应于所述用户的所述肢体在所述第一视野内而在所述增强现实显示器的第一位置显示所述第一消息，所述第一位置基于肢体位置；以及
响应于所述用户的所述肢体不在所述第一视野内而在所述增强现实显示器的第二位置显示消息指示。
(18).根据权利要求(17)所述的程序产品，还包括进行如下操作的代码：
响应于所述用户的所述肢体在所述第一视野内而识别肢体位置，
其中，在所述增强现实显示器的基于所述肢体位置的第一位置显示所述第一消息包括识别所述肢体位置附近的表面并且在识别的表面上显示所述第一消息。
(19).根据权利要求(17)所述的程序产品，其中，所述第二位置沿着所述增强现实显示器的周边，其中，所述第一消息包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
(20).根据权利要求17所述的程序产品，其中，所述第二位置基于最新知道的肢体位置，所述程序产品还包括进行如下操作的代码：
在显示所述消息指示之后确定所述肢体在所述第一视野内；
响应于所述用户的所述肢体在所述第一视野内而识别当前肢体位置；并且
在所述增强现实显示器的基于所述当前肢体位置的位置显示所述第一消息。

Claims (10)

1.一种装置，包括：
呈现第一视野的显示器；
处理器；以及
存储代码的存储器，所述代码能够由所述处理器执行以进行如下操作：
接收要在所述第一视野内呈现给用户的第一消息；
确定所述用户的肢体相对于所述第一视野的位置；并且
在所述第一视野的基于所述肢体位置的位置呈现所述第一消息。
2.一种方法，包括：
通过使用处理器来接收要经由显示器呈现给用户的第一消息，所述显示器示出第一视野；
确定所述用户的肢体相对于所述第一视野的位置，所述第一视野是虚拟现实视野和增强现实视野之一；以及
在所述第一视野的基于所述肢体位置的位置显示所述第一消息。
3.根据权利要求2所述的方法，还包括：
确定所述用户的肢体是否在所述第一视野内；
响应于所述用户的所述肢体在所述第一视野内而在第一位置显示所述第一消息；以及
响应于所述用户的所述肢体不在所述第一视野内而在第二位置显示所述第一消息，
其中，所述第一位置在所述肢体的预定距离内，并且其中，所述第二位置基于最新知道的肢体位置和预期的肢体位置之一。
4.根据权利要求3所述的方法，其中，所述第一视野是增强现实视野，其中，所述肢体是所述用户的优势手，所述方法还包括：
捕获对应于所述第一视野的图像数据，其中，确定所述用户的肢体是否在所述第一视野内包括确定所述优势手是否在捕获的图像数据内。
5.根据权利要求4所述的方法，其中，所述第二位置在所述用户的非优势手附近。
6.根据权利要求2所述的方法，还包括在所述显示器上显示对应于所述第一视野的图像数据，其中，在所述第一视野的基于所述肢体位置的位置显示所述第一消息包括响应于所述用户的所述肢体不在所述第一视野内而沿着所述显示器的周边显示所述第一消息。
7.根据权利要求2所述的方法，其中，所述第一消息包括一个或更多个选择元件，所述选择元件包括以下中的一个或更多个：确认元件、回复按钮、发送按钮和虚拟键盘。
8.根据权利要求2所述的方法，还包括：
确定所述显示器是否在隐形模式下操作，其中，响应于确定所述显示器在隐形模式下操作而确定所述用户的肢体相对于所述第一视野的位置；以及
响应于确定所述显示器不在隐形模式下操作而在所述显示器的中央区域显示所述第一消息。
9.根据权利要求2所述的方法，还包括：识别所述肢体位置附近的表面，其中，呈现所述第一消息包括在识别的表面上叠加所述第一消息。
10.一种程序产品，包括存储由处理器能够执行的代码的计算机可读存储介质，所述能够执行的代码包括进行如下操作的代码：
接收要经由增强现实显示器呈现给用户的第一消息，所述增强现实显示器示出第一视野；
确定所述用户的肢体是否在所述第一视野内；
响应于所述用户的所述肢体在所述第一视野内而在所述增强现实显示器的第一位置显示所述第一消息，所述第一位置基于肢体位置；以及
响应于所述用户的所述肢体不在所述第一视野内而在所述增强现实显示器的第二位置显示消息指示。
CN201811453690.0A 2018-03-26 2018-11-30 基于肢体位置的消息位置 Active CN110362192B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/935,546 US10643362B2 (en) 2018-03-26 2018-03-26 Message location based on limb location
US15/935,546 2018-03-26

Publications (2)

Publication Number Publication Date
CN110362192A true CN110362192A (zh) 2019-10-22
CN110362192B CN110362192B (zh) 2023-07-07

Family

ID=65955100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453690.0A Active CN110362192B (zh) 2018-03-26 2018-11-30 基于肢体位置的消息位置

Country Status (5)

Country Link
US (1) US10643362B2 (zh)
EP (1) EP3547082A1 (zh)
CN (1) CN110362192B (zh)
DE (1) DE102019107549A1 (zh)
GB (1) GB2573639B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US11393170B2 (en) * 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11240631B2 (en) 2019-12-17 2022-02-01 Rhizomenet Pty. Ltd. Message distribution service
US20230012929A1 (en) * 2019-12-17 2023-01-19 Rhizomenet Pty. Ltd. Message distribution service
CA3161771A1 (en) * 2019-12-17 2021-06-24 Rhizomenet Pty. Ltd. Message distribution service

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110319130A1 (en) * 2010-06-28 2011-12-29 Lg Electronics Inc. Mobile terminal and method of operation
US20130241957A1 (en) * 2011-08-31 2013-09-19 Rakuten, Inc. Information processing device, control method for information processing device, program, and information storage medium
CN104335143A (zh) * 2012-06-13 2015-02-04 索尼公司 图像处理装置、图像处理方法和程序
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
CN104641318A (zh) * 2012-09-14 2015-05-20 Lg电子株式会社 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器
US20150253862A1 (en) * 2014-03-06 2015-09-10 Lg Electronics Inc. Glass type mobile terminal
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105830439A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 微调用于投影到目标上的内容
CN106445152A (zh) * 2016-09-29 2017-02-22 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备
CN206639170U (zh) * 2017-04-21 2017-11-14 潍坊歌尔电子有限公司 用于虚拟现实产品的操作手柄及虚拟现实产品

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP5898378B2 (ja) * 2013-05-09 2016-04-06 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
US20150205358A1 (en) * 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US10444930B2 (en) 2014-08-05 2019-10-15 Lg Electronics Inc. Head-mounted display device and control method therefor
GB2533789A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy User interface for augmented reality
US10627895B2 (en) * 2017-03-21 2020-04-21 Lenovo (Singapore) Pte Ltd Providing a virtual control
CN117891335A (zh) * 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
US20190213792A1 (en) * 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
CN108549487A (zh) * 2018-04-23 2018-09-18 网易（杭州）网络有限公司 虚拟现实交互方法与装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110319130A1 (en) * 2010-06-28 2011-12-29 Lg Electronics Inc. Mobile terminal and method of operation
US20130241957A1 (en) * 2011-08-31 2013-09-19 Rakuten, Inc. Information processing device, control method for information processing device, program, and information storage medium
CN104335143A (zh) * 2012-06-13 2015-02-04 索尼公司 图像处理装置、图像处理方法和程序
CN104641318A (zh) * 2012-09-14 2015-05-20 Lg电子株式会社 在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
CN105830439A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 微调用于投影到目标上的内容
US20150253862A1 (en) * 2014-03-06 2015-09-10 Lg Electronics Inc. Glass type mobile terminal
CN106445152A (zh) * 2016-09-29 2017-02-22 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备
CN206639170U (zh) * 2017-04-21 2017-11-14 潍坊歌尔电子有限公司 用于虚拟现实产品的操作手柄及虚拟现实产品

Also Published As

Publication number Publication date
GB2573639A (en) 2019-11-13
DE102019107549A1 (de) 2019-09-26
US10643362B2 (en) 2020-05-05
GB2573639B (en) 2021-05-26
CN110362192B (zh) 2023-07-07
EP3547082A1 (en) 2019-10-02
US20190295298A1 (en) 2019-09-26
GB201904058D0 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN110362192A (zh) 基于肢体位置的消息位置
US10769857B2 (en) Contextual applications in a mixed reality environment
US10495878B2 (en) Mobile terminal and controlling method thereof
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
KR102616225B1 (ko) 알림 정보를 제공하는 전자 장치 및 이의 알림 정보 제공 방법
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
JP4679661B1 (ja) 情報提示装置、情報提示方法及びプログラム
DK201970127A9 (en) Implementation of biometric authentication
CN107801413A (zh) 对电子设备进行控制的终端及其处理方法
US9933853B2 (en) Display control device, display control program, and display control method
US9979946B2 (en) I/O device, I/O program, and I/O method
CN106471442A (zh) 可穿戴装置的用户界面控制
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
EP3111272B1 (en) Head mounted display and method for controlling the same
US9906778B2 (en) Calibration device, calibration program, and calibration method
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US10163198B2 (en) Portable image device for simulating interaction with electronic device
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
US20140240226A1 (en) User Interface Apparatus
EP3591514A1 (en) Electronic device and screen image display method for electronic device
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
CN113961069A (zh) 适用于实物的增强现实交互方法、装置及存储介质
CN104049751B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant