CN109844820A - 基于上下文信息来修改全息图的手部遮挡 - Google Patents

基于上下文信息来修改全息图的手部遮挡 Download PDF

Info

Publication number
CN109844820A
CN109844820A CN201780062511.8A CN201780062511A CN109844820A CN 109844820 A CN109844820 A CN 109844820A CN 201780062511 A CN201780062511 A CN 201780062511A CN 109844820 A CN109844820 A CN 109844820A
Authority
CN
China
Prior art keywords
blocked
modification
transparency
mixed reality
mobile attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780062511.8A
Other languages
English (en)
Other versions
CN109844820B (zh
Inventor
J·施瓦茨
R·C·J·彭格里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109844820A publication Critical patent/CN109844820A/zh
Application granted granted Critical
Publication of CN109844820B publication Critical patent/CN109844820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

诸如头戴式显示器的计算系统被配置用于动态地修改在混合现实环境内被呈现和移动的遮挡，诸如手部遮挡。遮挡与诸如速度或加速度的移动属性相关联，移动属性与混合现实环境内的遮挡的移动对应。响应于检测到遮挡的移动，确定移动属性是否满足或超过预定阈值。当至少满足阈值时，遮挡的视觉外观通过以下中的至少一项而被修改：修改遮挡的透明度属性以引起遮挡的增加的透明度，或者通过修改遮挡的边缘显示属性以引起一个或多个遮挡边缘的羽化。

Description

基于上下文信息来修改全息图的手部遮挡
背景技术
“混合现实”通常是指增强现实，在增强现实中虚拟对象在视觉上被放置在真实世界中。相比之下，“虚拟现实”通常是指沉浸式虚拟体验，其中用户对真实世界的视图被完全遮蔽并且仅虚拟对象被感知。然而，为了清楚和简单起见，术语混合现实、虚拟现实和增强现实在本文中被可互换地使用。
混合现实系统通常被配置为生成和/或绘出混合现实内容的头戴式显示器。硬件能力和绘出技术的不断进步极大地增加了在混合现实环境内向用户显示的虚拟对象和场景的真实性。例如，可以按照给出虚拟对象是真实世界的一部分的这一印象来将虚拟对象放置在混合现实环境内。
一些混合现实系统已经被配置为在混合现实内复制用户的身体部位，从而使得用户能够在混合现实环境内查看和控制虚拟化身体部位。例如，用户的手部可以被呈现为在混合现实环境内直接响应于他们自己的真实世界手部的移动而移动的全息图遮挡(occlusion)。当用户移动他们的真实世界手部时，手部遮挡也被移动，从而使得其能够与混合现实环境内的其他虚拟对象交互。
当用户移动他们的头戴式显示器，由此改变他们的视角时，混合现实环境自动更新所显示的内容，从而使得向用户提供混合现实环境内的虚拟对象的适当视角和视图，包括他们的手部遮挡。
调节用户对虚拟对象或场景的视角可能在计算上是昂贵的并且与很多困难相关联，这些困难不仅仅是简单地更新用户对虚拟对象的视角。例如，取决于真实世界的照明，虚拟对象可以与来自不同视角的不同阴影和镜面反射效果相关联。类似地，取决于用户与虚拟对象的距离，用户的焦点和焦深也可能改变。由于处理相机和映射操作的要求增加，其他困难还与绘出真实世界对象的映射虚拟化(诸如手部遮挡)相关联。
当虚拟对象在混合现实环境内移动时，并且甚至更特别地当它们非常快速地移动时，前述问题可能特别明显。例如，由于与在如此短的时间段内在很多不同位置处绘出虚拟对象相关联的计算负担，当虚拟对象在混合现实环境内移动时，虚拟对象的绘出有时会经历滞后。当虚拟对象是被映射到用户自己的手部的手部遮挡并且虚拟手部移动滞后于用户的实际手部移动时，这可能特别麻烦。在这些情况中，用户可能会变得有些迷失方向。
因此，在混合现实领域中一直需要提供改进的绘出技术，特别是在制作手部遮挡动画时。
本文中要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境内操作的实施例。而是，提供该背景仅用于说明可以在其中实践本文中描述的一些实施例的一个示例性技术领域。
发明内容
所公开的实施例包括用于在混合现实环境内修改虚拟对象、尤其是映射的可视化(诸如手部遮挡)的系统和方法。一些修改动态地响应于与手部遮挡相关联的检测到的移动。
在一些情况中，一种计算系统被配置用于绘出具有一个或多个遮挡的混合现实环境。当系统在混合现实环境内被移动时，系统动态地修改遮挡的视觉特征。遮挡与诸如速度、加速度或滞后度量的移动属性相关联。在检测到遮挡的移动时，确定移动属性是否满足或超过预定阈值。当至少满足阈值时，通过以下中的至少一项来动态地修改遮挡的视觉外观：修改遮挡的透明度属性以引起遮挡的增加的透明度和/或修改遮挡的边缘显示属性以在移动期间引起一个或多个遮挡边缘的羽化或模糊或者以其他方式修改遮挡的显示。当检测到的移动结束时，遮挡的视觉外观变回混合现实环境内的先前状态。
提供本“发明内容”是为了以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附加的特征和优点将在下面的描述中阐述，并且部分地将从描述中很清楚，或者可以通过本文中的教导的实践来学习。本发明的特征和优点可以借助于所附权利要求中特别指出的仪器和组合来实现和获取。本发明的特征将根据以下描述和所附权利要求而变得更加明显，或者可以通过如下所述的本发明的实践来获知。
附图说明
为了描述可以获取上述和其他优点和特征的方式，将通过参考附图中示出的特定实施例来呈现上面简要描述的主题的更具体的描述。应当理解，这些附图仅描绘了典型的实施例，并且因此不应当被认为是对其范围的限制，将通过使用附图通过附加特征和细节来描述和解释实施例，在附图中：
图1示出了佩戴有头戴式显示器并且观看混合现实环境中的虚拟对象的用户的透视图。
图2示出了被配置用于绘出混合现实环境的计算系统的实施例的示意图。
图3示出了与用于修改混合现实环境内的遮挡的所公开的方法相关联的流程图。
图4示出了用于绘出混合现实环境内的遮挡的具有与不同透明度程度相关联的不同阴影的不同圆形对象。
图5示出了用于在混合现实环境内绘出遮挡的具有不同厚度程度的不同边缘，不同厚度程度表示边缘清晰度(诸如羽化或模糊)的程度。
图6示出了用于在混合现实环境内绘出遮挡的分别具有与不同透明度程度和羽化程度相关联的不同阴影和不同边缘厚度的不同框。
图7示出了佩戴有头戴式显示器并且观看混合现实环境中的虚拟对象的用户的透视图，包括在用于手部遮挡的具有不同透明度的不同位置之间移动的手部遮挡。
图8示出了佩戴有头戴式显示器并且观看混合现实环境中的虚拟对象的用户的透视图，包括在用于手部遮挡的具有不同边缘清晰度(模糊/羽化)的不同位置之间移动的手部遮挡。
图9示出了佩戴有头戴式显示器并且观看混合现实环境内的虚拟对象的用户的透视图，包括在用于手部遮挡的具有不同透明度和边缘清晰度的不同位置之间移动的手部遮挡。
具体实施方式
所公开的实施例包括用于在混合现实环境内修改虚拟对象、尤其是映射的可视化(诸如手部遮挡)的系统和方法。一些修改动态地响应于与手部遮挡相关联的检测到的移动。
在一些情况中，一种头戴式显示系统被配置用于绘出具有映射到用户手部的一个或多个遮挡的混合现实环境。当系统在混合现实环境内移动时，系统动态地修改遮挡的视觉特征。遮挡与诸如速度或加速度度量等移动属性相关联。在检测到遮挡的移动时，确定移动属性是否满足或超过预定阈值。当至少满足阈值时，通过以下中的至少一项来动态地修改遮挡的视觉外观：修改遮挡的透明度属性以引起遮挡的增加的透明度和/或修改遮挡的边缘显示属性以在移动期间引起一个或多个遮挡边缘的羽化或模糊。当检测到的移动结束时，遮挡的视觉外观变回混合现实环境内的先前状态。
所公开的一些其他实施例包括与关联于遮挡的(多个)移动属性的检测到的不同变化对应地逐渐地修改遮挡的外观。在这些实施例中，很多不同的连续缩放或粒度水平的透明度和/或边缘羽化与很多不同的相应的速度、加速度和/或与遮挡相关联的其他移动属性的大小相关联。
所公开的一些实施例通过改善用户体验为混合现实计算机显示系统领域提供了重要的技术改进。例如，所公开的实施例可以通过模糊遮挡的边缘和/或通过增加遮挡的透明度来减轻与手部遮挡的绘出中的滞后相关联的有害影响，从而使得滞后对于用户来说不太明显。在某些情况中，还可以通过降低绘出要求来减少滞后。
现在转向附图，图1示出了佩戴有可操作以向用户100绘出混合现实环境的头戴式显示系统110的用户100的透视图。用户100能够感知绘图工具120、他们的手部130和正在用绘图工具120创建或修改的虚拟框140。绘图工具120和手部130可以是映射到用户的真实世界手部的真实世界对象或虚拟对象。也可以包括虚拟对象或真实世界对象的另一对象150也可以通过显示系统110被用户察觉。由于由手部130和绘图工具120引起的实际或虚拟障碍物，用户将对象150感知为被定位在背景中，被定位在手部130和绘图工具120后面。例如，当手部130是虚拟的时，它以零透明度进行呈现，从而使得它在视觉上遮挡相对于用户的视角被定位在手部130后面的其他对象(即，对象150)。然而，当手部130是实际的手时，被定位在其后面的其他对象的显示在手部周围并且以深度像素化进行绘出，这使得对象150看起来好像被定位在手部后面。
应当理解，虽然手部遮挡是在混合现实环境内使用的典型遮挡，但是本申请的范围不限于任何特定类型或形状的遮挡。例如，被修改的遮挡可以包括任何虚拟对象，包括映射到真实世界对象的虚拟对象，其具有映射到真实世界对象的相应移动和/或姿势的移动(例如，映射到真实世界手部的虚拟手部或映射到真实世界手写笔的虚拟笔)。被修改的遮挡还可以包括纯粹的虚拟对象，这些对象不跟踪它们到相应的真实世界对象的移动。例如，在键盘、鼠标、操纵杆、控制器、触摸屏、手势设备和/或其他输入设备处接收的输入还可以触发混合现实环境内的相关但不同的虚拟对象/遮挡的移动。
因此，应当理解，附图中引用的各种对象仅用于说明目的，以指示用户如何通过混合现实显示系统查看多个不同对象以及那些对象可以包括可以帮助用户知道混合现实环境内不同对象的相对定位的真实世界对象和/或具有各种透明度或其他显示属性的虚拟对象。
头戴式显示系统110能够利用固定到头戴式显示系统110的一个或多个相机或一个或多个远程相机来检测用户的手部或其他适当对象(例如，绘图设备)的移动。其他传感器也可以用于检测用户的手部和/或绘图设备的移动。例如，可以将一个或多个磁力计、陀螺仪、加速度计、声学传感器等安装到虚拟手部130被映射到的用户的手部。这些传感器也可以被并入绘图工具120或其他外围设备的(多个)部分中。
用于检测用户的手部130和绘图对象120的位置和/或移动的(多个)相机/(多个)传感器此时未示出，因为这些类型的仪器对于本领域技术人员是公知的，用于检测用相机/传感器观察的一个或多个对象的相对位置和/或移动的技术对于本领域技术人员也是公知的。
在图1的特定实施例中，用户100能够移动绘图工具120以通过移动他们的真实世界的手部或通过提供其他适当的输入来操纵虚拟框140。绘图工具120和手部130在混合现实环境(当虚拟化时)内的移动有时可能看起来落后于由用户提供的实际输入/移动(例如，用户的相应的真实手部/触笔的移动)。这部分地归因于与绘出混合现实环境相关联的计算费用以及用于在环境内制作手部130和绘图工具120(当虚拟化时)的动画的计算费用。传感器处理和传输延迟也会增加滞后。当以显著的加速度或速度移动(多个)对象时和/或当绘出具有显著的不透明性和/或明确限定的边缘的(多个)对象时，滞后尤其明显。
本公开提供了有助于减少用户对滞后的感知的实施例，即使总滞后可能保持不变。在一些情况中，所公开的实施例还可以通过减少在(多个)对象的动画移动期间绘出(多个)对象所需要的处理来帮助减少滞后。
图2示出了被配置为实现所公开的实施例的各方面的诸如混合现实显示器或耳机等计算系统200的实施例的示意图。如图所示，系统200包括各种不同的组件，包括存储装置210、(多个)处理器220、(多个)I/O接口230、(多个)图形绘出引擎240和一个或多个传感器250。计算系统200也可以通过一个或多个有线或无线网络连接到被配置为执行关于计算机显示系统200描述的任何处理的远程系统260(例如，一个或多个远程相机、加速度计、陀螺仪、声学传感器、磁力计等)和(多个)远程系统270。
在一些情况中，存储装置210存储用于处理器220和其他所示组件的用于实现所公开的方法的计算机可执行指令。存储装置210还存储图形绘出数据(诸如标识混合现实环境内的绘出对象和遮挡的显示属性的对象文件和数据结构)以及足以触发所使用的显示属性的改变以绘出遮挡的各种移动阈值。
(多个)处理器220包括一个或多个通用和专用处理器的任何组合，包括SoC图形处理单元(例如，GPU)和能够为混合现实环境绘出图形并且用于处理传感器数据的其他处理器。
在使用期间，用户能够通过包括在(多个)I/O接口230内的显示屏来感知混合现实环境。(多个)I/O接口230和传感器250/260还包括手势检测设备、眼睛跟踪器和/或能够在用户在混合现实环境内交互时检测一个或多个真实世界对象(诸如用户的手部、手写笔和/或(多个)其他对象)的定位和移动的其他移动检测组件(例如，相机、陀螺仪、加速度计、磁力计、声学传感器等)。
在一些情况中，连续监测用户和对象的定位和移动以检测对象的位置和移动的任何变化，诸如检测到的位置、速度或加速度的变化。这些移动可以是绝对移动和/或相对移动，诸如与头戴式显示器的相对定位相比，并且使得头戴式显示器的移动/定位将被计算为在混合现实环境中看到的对象的相对移动/定位。
图形绘出引擎240被配置为与(多个)处理器220一起在混合现实环境内绘出一个或多个虚拟对象，包括映射到真实世界对象的相对位置的手部遮挡或其他遮挡，从而使得它们响应于真实世界对象的移动而移动。当用户在混合现实环境内交互时，图形绘出引擎240还被配置为绘出纯粹虚拟的但是仍然响应于用户输入而被定位和移动的一个或多个遮挡(而没有被映射到真实世界对象)。
可以包括一个或多个GPU的(多个)图形绘出引擎240被配置为绘出具有某些显示属性的遮挡，诸如着色、透明度或不透明度、纹理、边缘清晰度(例如，厚度和/或锐度与模糊和/或羽化)、大小等。当针对遮挡检测到某些移动阈值时，将修改遮挡的显示属性的一个或多个组合(至少在检测到的移动满足或超过移动阈值时)。
移动阈值可以包括与遮挡相关联的真实世界对象的检测到的实际移动、虚拟化遮挡的检测到的动画移动和/或真实世界移动与动画移动之间的检测到的方差或滞后的任何组合。检测到的移动与速度和/或加速度属性相关联，包括由计算系统200的传感器和/或处理器检测、测量和/或计算的值。
在一些实施例中，相同的绝对移动阈值与所有类型的移动相关联。例如，与遮挡相关联的特定速度或加速度或滞后将足以触发遮挡的显示特性的改变，而不管检测到的移动的特定类型如何。在其他实施例中，不同类型的移动(即，六个自由度内的不同移动，包括喘振、起伏、摇摆、俯仰、滚转和偏航)与不同的移动阈值相关联。例如，特定的旋转加速度将触发不同于横向加速度的第一阈值。
在一些情况中，对于一种或多种不同的移动类型存在至少两个或更多个单独的阈值限制。例如，在第一加速度量度下，满足第一阈值。在大于或小于第一加速度量度的第二加速度量度下，满足第二阈值。在一些情况中，为一种或多种类型的移动中的每种设置一个或多个单独的速度阈值。遮挡的外观将响应于满足每个不同阈值而动态地改变，诸如通过改变遮挡的显示属性。
所公开的一些实施例包括与关联于遮挡的(多个)移动属性的检测到的不同变化对应地逐渐地修改遮挡的外观。在这样的实施例中，根据连续变化的移动属性(从而使得不存在离散水平)连续地改变/缩放显示属性/性质。例如，遮挡的透明度和/或边缘羽化的水平可以与关联于遮挡的很多不同的相应的速度和/或加速度大小相关联(即使在包括真实世界对象的移动时)和/或与关联于绘出遮挡的动画的滞后相关联。
可以理解，本文中公开的实施例还可以根据包括用于实现特定结果的一个或多个动作的流程图来描述。例如，图3示出了与用于响应于检测到的遮挡移动而修改在混合现实环境内绘出的遮挡的方法相关联的各种动作的流程图300。
第一示出的动作(动作310)包括在混合现实环境内呈现遮挡的计算系统。在某些情况中，这包括在混合现实环境内生成和/或绘出全息图。如果遮挡具有足够的不透明性以遮蔽混合现实环境内的至少一个其他对象，则全息图的任何组合可以包括遮挡。在一些情况中，动作310包括绘出与真实世界手部对应的并且(在相对位置和移动方面)映射到真实世界手部的手部遮挡。
动作310还包括响应于一个或多个用户输入而移动遮挡。在某些情况中，这是通过检测真实世界手部(或在适当时的另一对象)的移动并且然后相应地移动遮挡来实现的。当遮挡是纯虚拟遮挡而没有映射到真实世界对象时，动作310包括检测其他用户输入(例如，在输入设备处)并且响应地移动遮挡。
接下来，系统检测基于一个或多个用户输入的移动属性(动作320)。在某些情况中，这包括测量用户的真实世界手部(或其他适当映射的对象)的实际移动。它还可以包括跟踪混合现实环境内的遮挡的动画移动和/或两者之间检测到的差异(例如，标识滞后)。移动属性可以对应于任何类型的移动(在六个自由度内)并且将包括与实际移动和动画移动之间的速度、加速度或滞后相关联的至少一个值。
接下来，确定移动属性是否至少满足或超过预定阈值(动作330)。在一些情况中，这通过参考存储在存储装置210或远程系统270内的可用的一个或多个阈值来实现。这些存储的移动阈值可以特定于特定类型的移动和/或遮挡类型/或混合现实环境和/或用户类型。在某些情况中，系统将以预定的时间间隔，每当系统启动时，响应于用户请求，或在其他适当的时间检查所存储的阈值的更新。或者，可以从远程系统向系统向下推送阈值更新。
如果确定移动属性满足或超过预定阈值，则系统将通过以下中的至少一项来修改遮挡的绘出方式：(1)修改遮挡的透明度属性以引起增加的透明度，或者(2)修改遮挡的边缘显示属性以引起一个或多个边缘的羽化或模糊。附加地或备选地，系统可以响应于检测到移动属性达到特定阈值而修改遮挡的颜色、纹理和/或大小。
不同的阈值还可以触发不同类型的修改。例如，第一阈值可以触发透明度的变化，并且第二阈值可以触发边缘清晰度的变化(羽化/模糊)，并且第三阈值可以触发颜色的变化，并且第四阈值可以触发尺寸的变化。
在一些情况中，系统将仅在移动属性满足或超过移动阈值时修改遮挡的显示。然后，如果确定移动属性未满足或未超过阈值，则系统将避免执行修改(通过将绘出状态改变回先前状态)而不应用增加的透明度、羽化和/或(多个)其他修改(动作350)。所有不同的阈值都会发生这种情况。
在一些情况中，如上所述，存在与不同阈值限制/值相关联的各种不同水平或尺度，从而使得系统将迭代地实现一个或多个前述动作以用于移动遮挡(动作310)，检测与遮挡相关联的移动属性(320)，确定是否满足阈值(动作330)，修改遮挡的显示(动作340)和/或抑制修改显示(动作350)。
因此，如上所述，所公开的实施例包括用于在混合现实环境内绘出和修改遮挡的各种方法、系统和装置。通过响应于遮挡的某些检测到的移动来修改遮挡，可以减轻与滞后相关联的效果以用于绘出遮挡。
现在将参考图4-9提供修改遮挡的显示的一些示例。
如图4所示，包括圆的对象呈现有四种不同的阴影程度，其对应于当圆在混合现实环境中被绘出为遮挡时可能与圆相关联的不同程度或水平的透明度/不透明度。当遮挡是静止的时，它可以具有与元素410的阴影相关联的第一透明度水平。当在混合现实中检测到遮挡的移动时，诸如当遮挡的移动属性满足与特定速度、加速度或滞后相关联的第一阈值时，它可能具有增加的透明度，如元素420的阴影所反映的。同样，当遮挡的移动属性满足与不同速度、加速度或滞后相关联的第二阈值时，它可能具有增加的透明度，如元素430的阴影所反映的，并且当遮挡的移动属性满足与不同速度、加速度或滞后相关联的第三阈值时，它可能具有增加的透明度，如元素430的阴影所反映的。
应当理解，虽然仅反映了四个水平的透明度，但是如上所述，系统可以基于遮挡的检测到的速度、加速度或滞后移动来实现用于修改透明度的任何数目的水平或连续比例。
如图5所示，包括线的对象以四种方式呈现，对应于用于在混合现实环境内绘出遮挡的不同程度的边缘清晰度(例如，模糊或羽化)。在图5中，与其他线520相比，较粗的线510与更多的边缘清晰度相关联并且具有更少的模糊或羽化。虚线530和540被示出以反映具有更大模糊或羽化的边缘。然而，在实际绘出过程中，边缘的羽化和模糊将不会呈现为虚线(其在图5中仅出于比较而呈现)。相反，图形绘出引擎会通过模糊混合现实环境内的遮挡边缘与背景元素之间的过渡来柔化边缘，从而使得它们不那么锐利。该模糊/羽化可以包括沿着遮挡的边缘来修改像素的着色。
基于它们的检测到的移动属性，对于不同的遮挡将发生不同程度或水平的模糊或羽化。例如，当遮挡是静止的时，它可能具有第一边缘清晰度，具有很少的模糊/羽化，如由元件510的边缘所反映的。当检测到遮挡的移动时，诸如当遮挡的移动属性满足与特定速度、加速度或滞后相关联的第一阈值时，它可能具有减小的边缘清晰度或者增加的边缘模糊/羽化，如由元素520相对地反映的。同样，当遮挡的移动属性满足与不同的速度、加速度或滞后相关联的第二阈值时，它可能具有进一步减小的边缘清晰度或者增加的边缘模糊/羽化，如元件530相对地反映的。当遮挡的移动属性满足与不同的速度、加速度或滞后相关联的第三阈值时，它可能具有甚至进一步降低的边缘清晰度或者增加的边缘模糊/羽化，如元素540相对地反映的。
应当理解，虽然仅比较地示出了四个水平的边缘清晰度，但是如上所述，系统可以基于遮挡的检测到的速度、加速度或滞后移动来实现用于修改边缘清晰度的任何数目的水平或连续比例。
图6示出了与混合现实环境内的遮挡的不同边缘清晰度和透明度水平对应的四个框610、620、630和640，其具有不同的线类型和阴影。提供该图示是为了概念性地表示透明度和边缘清晰度如何响应于满足的检测到的不同移动阈值而改变。例如，与框620相比，框610与遮挡的相对没有移动或较慢的移动相关联。同样，与框630相比，框620与遮挡的相对较慢的移动相关联，并且与框640相比，框630与遮挡的相对较慢的移动相关联。
图7、图8和图9示出了在混合现实环境内绘出给用户的手部遮挡，其中移动手部遮挡并且直接响应于手部遮挡的移动属性满足预定阈值来动态地修改手部遮挡的显示特性。
例如，在图7中，手部遮挡从位置710通过位置720移动到位置730。对象750被呈现为在手部遮挡后面，以帮助反映在手部遮挡通过位置720时手部遮挡的绘出的相对变化。在位置720，确定手部遮挡的移动属性满足或超过修改手部遮挡的显示属性所需要的预定阈值。因此，在位置720，当手部遮挡没有移动或移动得那么快时，通过相对于位置710和730处的透明度增加手部遮挡的相对透明度来修改手部遮挡的显示。720处的透明度程度可以基于检测到的与遮挡相关联的速度、加速度和/或滞后。手部遮挡的透明度可以突然地在不同的透明度水平之间跳跃，或者备选地，在所示的透明度水平之间逐渐增加和减少，从而使得在不同的阈值水平之间可以存在与检测到的不同移动值对应的很多不同的透明度绘出设置。
当检测到的触发修改的移动结束或者减小到较低阈值度量时，诸如在位置730，遮挡的视觉外观被改变回混合现实环境内的先前状态。同样地，如果在任何点处移动属性增加以触发比与位置720相关联的阈值更高的阈值，则透明度将进一步增加到超过在位置720处反映的阈值。
图8示出了相关实施例，其中手部遮挡从位置810通过位置820到达在对象850前面的位置830。这里，响应于在位置820处检测到移动属性满足与增加的羽化/模糊相关联的阈值，手部遮挡在位置820处以增加的羽化/模糊(或减少的边缘清晰度)进行绘出。
当检测到的触发修改的移动结束或者减小到较低阈值度量时，诸如在位置830，遮挡的视觉外观被改变回混合现实环境内的先前状态。同样地，如果在任何点处移动属性增加以触发比与位置820相关联的阈值更高的阈值，则羽化/模糊将进一步增加到超过在位置820处反映的阈值。
820处的边缘清晰度程度可以基于检测到的与遮挡相关联的速度、加速度和/或滞后。此外，遮挡的边缘清晰度可以以突然跳跃直接在不同水平之间跳跃，或者备选地，在水平之间逐渐增加和减少，从而使得在不同的阈值水平之间可以存在与检测到的不同移动值对应的很多不同的绘出设置。
最后，图9示出了相关实施例，其中手部遮挡从位置910通过位置920到达在对象950前面的位置930。这里，响应于在位置920处检测到移动属性满足与增加的羽化/模糊和透明度相关联的阈值，手部遮挡在位置920处以增加的羽化/模糊(或减少的边缘清晰度)以及增加的透明度进行绘出。
用于位置920处的遮挡的透明度和边缘清晰度可以基于检测到的与遮挡相关联的速度、加速度和/或滞后。此外，遮挡的透明度和边缘清晰度可以以突然跳跃直接在不同水平之间跳跃，或者备选地，在水平之间逐渐增加和减少，从而使得在不同的阈值水平之间可以存在与检测到的不同移动值对应的很多不同的绘出设置。
当检测到的触发修改的移动结束或者减小到较低阈值度量时，诸如在位置930，遮挡的视觉外观被改变回混合现实环境内的先前状态。同样地，如果在任何点处移动属性增加以触发比与位置920相关联的阈值更高的阈值，则透明度和模糊/羽化将进一步增加到超过在位置920处反映的阈值。
虽然前述实施例具体涉及基于检测到的与遮挡相关联的移动来改变遮挡的透明度和边缘清晰度，但是应当理解，除了上述那些之外或作为其替代，其他改变(例如，改变颜色、尺寸、纹理等)可以用于基于检测到满足预定阈值的遮挡的移动属性来修改遮挡的显示。
还应当理解，被修改的遮挡可以包括任何遮挡，无论它们是否被映射以跟踪它们对真实世界物品的移动，或者它们是否是没有被跟踪它们对真实世界物品的移动的纯虚拟化全息图。遮挡还可以包括与身体部位(例如，手部遮挡)类似的元素或由用户持有的对象(例如，图1所示的外围/绘图仪器120)或其他对象/全息图(例如，图1的虚拟框140)。
通过修改混合现实环境内的遮挡的显示属性，可以改善用户体验。例如，所公开的实施例可以通过模糊遮挡的边缘和/或通过增加遮挡的透明度来减轻与手部遮挡的绘出的滞后相关联的有害影响，从而使得滞后对于用户来说不太明显。在一些情况中，还可以通过降低绘出要求来减少滞后，诸如通过减少遮挡边缘附近的绘出要求，或者在一些情况中，通过减少遮挡的纹理要求。
所公开的方法可以由包括一个或多个处理器和诸如计算机存储器等计算机可读介质的诸如图2中描述的计算机系统来实践。特别地，计算机存储器可以存储在由一个或多个处理器执行时引起诸如实施例中记载的动作等各种功能被执行的计算机可执行指令。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细地讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器(诸如CD、DVD等)、磁盘存储器或其他磁存储设备、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算机访问的任何其他介质。
“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)向计算机传输或提供信息时，计算机将连接正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式执行期望的程序代码并且可以由通用或专用计算机访问的网络和/或数据链路。上述的组合也被包括在计算机可读介质的范围内。
此外，在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以自动地从传输计算机可读介质传输到物理计算机可读存储介质(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口模块(例如，“NIC”)内的RAM中，并且然后最终传送到计算机系统RAM和/或计算机系统中的更少易失性计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在也(或甚至主要)利用传输介质的计算机系统组件中。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言等中间格式指令、或甚至是源代码。尽管用结构特征和/或方法动作专用的语言描述了本主题，但是应当理解，所附权利要求书中定义的主题不必限于上述的所描述的特征或动作。而是，所描述的特征和动作被公开作为实现权利要求的示例形式。
本领域技术人员应当理解，本发明可以在具有很多类型的计算机系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。本发明还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以被定位在本地和远程存储器存储设备两者中。
备选地或另外地，本文中描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序特定的集成电路(ASIC)、程序特定的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在不脱离本发明的精神或特征的情况中，本发明可以以其他特定形式实施。所描述的实施例在所有方面都应当被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的等同物的含义和范围内的所有变化都应当被包含在其范围内。

Claims (15)

1.一种用于动态地修改混合现实环境内的遮挡的计算系统，所述计算系统包括：
一个或多个处理器；以及
一个或多个存储设备，所述一个或多个存储设备存储有计算机可执行指令，所述计算机可执行指令由所述一个或多个处理器可执行以用于实现方法，所述方法包括：
在混合现实环境内呈现遮挡，其中所述遮挡的所述呈现包括移动与一个或多个用户输入对应的遮挡；
检测基于所述一个或多个用户输入的、与所述遮挡相关联的移动属性，所述移动属性包括速度或加速度中的至少一种；
确定所述移动属性是否满足或超过预定阈值；
响应于确定所述移动属性满足或超过第一预定阈值，进行以下中的至少一项：修改所述遮挡的透明度属性以引起所述遮挡的增加的透明度，修改所述遮挡的边缘显示属性以引起一个或多个遮挡边缘的羽化，或者修改所述遮挡的着色；以及
响应于确定所述移动属性未满足或未超过所述第一预定阈值，避免执行所述修改以用于引起所述增加透明度或所述羽化。
2.根据权利要求1所述的计算系统，其中所述方法还包括：
在所述修改之后，并且响应于检测到包括所述移动属性的减小的移动速度的变化，响应地将所述透明度属性、所述边缘显示属性或所述着色返回到在所述修改之前存在的先前状态。
3.根据权利要求1所述的计算系统，其中所述方法还包括：
在所述修改之后，并且响应于检测到包括所述移动属性的增加的移动速度的变化，进一步进行以下中的至少一项：修改所述透明度属性以增加所述遮挡的透明度，或者修改所述边缘显示属性以增加所述一个或多个遮挡边缘的羽化，其中移动速度的所述变化引起所述移动属性满足或超过第二预定阈值。
4.根据权利要求1所述的计算系统，其中所述计算系统被配置为头戴式设备。
5.一种用于动态地修改混合现实环境内的遮挡的方法，所述方法包括：
在混合现实环境内呈现遮挡，其中所述遮挡的所述呈现包括移动与一个或多个用户输入对应的遮挡；
检测基于所述一个或多个用户输入的、与所述遮挡相关联的移动属性，所述移动属性包括速度或加速度中的至少一种；
确定所述移动属性是否满足预定阈值；
响应于确定所述移动属性满足第一预定阈值，进行以下中的至少一项：修改所述遮挡的透明度属性以引起所述遮挡的增加的透明度，或者修改所述遮挡的边缘显示属性以引起一个或多个遮挡边缘的羽化；以及
响应于确定所述移动属性未满足所述第一预定阈值，避免执行所述修改以用于引起所述增加的透明度或所述羽化。
6.根据权利要求5所述的方法，其中所述方法还包括绘出所述混合现实环境。
7.根据权利要求5所述的方法，其中所述方法还包括：
在所述修改之后，检测包括所述移动属性的减小的移动速度的变化；以及
响应地将所述透明度属性或所述边缘显示属性返回到在所述修改之前存在的先前状态。
8.根据权利要求5所述的方法，其中所述方法还包括：
在所述修改之后，检测移动速度的变化，速度的所述变化包括所述移动属性的增加以使得所述移动属性满足第二预定阈值，以及
响应于速度的检测到的所述变化，进一步进行以下中的至少一项：修改所述透明度属性以增加所述遮挡的透明度，或者修改所述边缘显示属性以增加所述一个或多个遮挡边缘的羽化。
9.根据权利要求5所述的方法，其中所述移动属性包括加速度。
10.根据权利要求5所述的方法，其中所述移动属性包括平均速度。
11.根据权利要求5所述的方法，其中所述一个或多个用户输入包括用户身体部位的移动，并且其中所述遮挡包括与所述用户身体部位对应的图形绘出。
12.根据权利要求5所述的方法，其中所述遮挡被定位在观看者的视点与被显示在所述混合现实环境内的目标对象之间，并且其中所述修改包括修改所述遮挡的所述透明度属性以便引起所述遮挡以足以使所述观看者能够在所述混合现实环境内通过所述遮挡来查看所述目标对象的透明度水平被绘出。
13.一种头戴式设备，所述头戴式设备被配置用于向佩戴所述头戴式设备的用户绘出混合现实环境并且用于动态地修改混合现实环境内的手部遮挡，所述头戴式设备包括：
一个或多个处理器，所述一个或多个处理器被配置用于执行存储的计算机可执行指令，所述一个或多个处理器包括用于绘出所述混合现实环境和所述混合现实环境内的一个或多个遮挡的图形绘出引擎；以及
一个或多个存储介质，所述一个或多个存储介质存储有计算机可执行指令，所述计算机可执行指令由所述一个或多个处理器可执行以用于实现方法，所述方法包括：
绘出所述混合现实环境；
在所述混合现实环境内呈现手部遮挡，其中所述手部遮挡的所述呈现包括移动与一个或多个用户输入对应的手部遮挡；
检测与所述手部遮挡的移动相关联的移动属性，所述移动属性包括速度或加速度中的至少一种；
确定所述移动属性是否满足或超过预定阈值；
响应于确定所述移动属性满足或超过预定阈值，进行以下中的至少一项：修改所述手部遮挡的透明度属性以引起所述手部遮挡的增加的透明度，或者修改所述手部遮挡的边缘显示属性以引起一个或多个手部遮挡边缘的羽化；以及
响应于确定所述移动属性未满足或未超过预定阈值，避免执行所述修改以用于引起所述增加的透明度或所述羽化。
14.根据权利要求13所述的头戴式设备，其中所述方法还包括：
在所述修改之后，检测包括所述移动属性的减小的移动速度的变化；以及
响应地将所述透明度属性或所述边缘显示属性返回到在所述修改之前存在的先前状态。
15.根据权利要求13所述的头戴式设备，其中所述方法还包括：
在所述修改之后，检测移动速度的变化，速度的所述变化包括所述移动属性的增加，以及
响应于速度的检测到的所述变化，进一步进行以下中的至少一项：修改所述透明度属性以增加所述手部遮挡的透明度，或者修改所述边缘显示属性以增加所述一个或多个遮挡边缘的羽化。
CN201780062511.8A 2016-10-14 2017-10-03 基于上下文信息来修改全息图的手部遮挡 Active CN109844820B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/293,590 US10127886B2 (en) 2016-10-14 2016-10-14 Modifying hand occlusion of holograms based on contextual information
US15/293,590 2016-10-14
PCT/US2017/054824 WO2018071225A1 (en) 2016-10-14 2017-10-03 Modifying hand occlusion of holograms based on contextual information

Publications (2)

Publication Number Publication Date
CN109844820A true CN109844820A (zh) 2019-06-04
CN109844820B CN109844820B (zh) 2023-04-28

Family

ID=60138936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062511.8A Active CN109844820B (zh) 2016-10-14 2017-10-03 基于上下文信息来修改全息图的手部遮挡

Country Status (4)

Country Link
US (1) US10127886B2 (zh)
EP (1) EP3526774B1 (zh)
CN (1) CN109844820B (zh)
WO (1) WO2018071225A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
WO2019208851A1 (ko) * 2018-04-27 2019-10-31 주식회사 딥픽셀 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
FR3086423B1 (fr) 2018-09-21 2021-09-10 Diotasoft Procede et systeme de visualisation en realite augmentee
CN109242807B (zh) * 2018-11-07 2020-07-28 厦门欢乐逛科技股份有限公司 渲染参数自适应的边缘软化方法、介质及计算机设备
US11019011B1 (en) * 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11003308B1 (en) * 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
WO2023069363A1 (en) * 2021-10-19 2023-04-27 Within Unlimited, Inc. Virtual and augmented reality fitness training activity or games, systems, methods, and devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
CN103514841A (zh) * 2012-06-15 2014-01-15 宏碁股份有限公司 透明显示装置及其透明度调整方法
CN105637564A (zh) * 2013-10-04 2016-06-01 高通股份有限公司 产生未知对象的扩增现实内容
US20160266386A1 (en) * 2015-03-09 2016-09-15 Jason Scott User-based context sensitive hologram reaction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211848B1 (en) 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
EP2613223A1 (en) * 2012-01-09 2013-07-10 Softkinetic Software System and method for enhanced gesture-based interaction
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
KR20130093994A (ko) 2012-02-15 2013-08-23 한국전자통신연구원 볼륨데이터 형태의 오브젝트 파동을 이용한 사용자와 홀로그램 간의 상호작용 처리 방법
CN103472909B (zh) * 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
CN103514841A (zh) * 2012-06-15 2014-01-15 宏碁股份有限公司 透明显示装置及其透明度调整方法
CN105637564A (zh) * 2013-10-04 2016-06-01 高通股份有限公司 产生未知对象的扩增现实内容
US20160266386A1 (en) * 2015-03-09 2016-09-15 Jason Scott User-based context sensitive hologram reaction

Also Published As

Publication number Publication date
WO2018071225A1 (en) 2018-04-19
US20180108325A1 (en) 2018-04-19
CN109844820B (zh) 2023-04-28
EP3526774B1 (en) 2022-04-27
EP3526774A1 (en) 2019-08-21
US10127886B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
CN109844820A (zh) 基于上下文信息来修改全息图的手部遮挡
CN108780357B (zh) 用于将物理环境的视觉图像集成到虚拟实境的空间关系
US9778815B2 (en) Three dimensional user interface effects on a display
US9417763B2 (en) Three dimensional user interface effects on a display by using properties of motion
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
JP7008733B2 (ja) 挿入される画像コンテンツについての影生成
US20120005624A1 (en) User Interface Elements for Use within a Three Dimensional Scene
CN112154405B (zh) 三维推送通知
US11195323B2 (en) Managing multi-modal rendering of application content
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
CN106683152B (zh) 三维视觉效果模拟方法及装置
EP3594906B1 (en) Method and device for providing augmented reality, and computer program
Sullivan Graph-based data visualization in virtual reality: a comparison of user experiences
US11948237B2 (en) System and method for mimicking user handwriting or other user input using an avatar
US20230350539A1 (en) Representations of messages in a three-dimensional environment
Bertomeu Castells Towards embodied perspective: exploring first-person, stereoscopic, 4K, wall-sized rendering of embodied sculpting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant