CN105452935B - 用于头戴式显示器的基于预测跟踪的感知 - Google Patents

用于头戴式显示器的基于预测跟踪的感知 Download PDF

Info

Publication number
CN105452935B
CN105452935B CN201480031265.6A CN201480031265A CN105452935B CN 105452935 B CN105452935 B CN 105452935B CN 201480031265 A CN201480031265 A CN 201480031265A CN 105452935 B CN105452935 B CN 105452935B
Authority
CN
China
Prior art keywords
head mounted
mounted display
angular velocity
interval
forecast interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480031265.6A
Other languages
English (en)
Other versions
CN105452935A (zh
Inventor
史蒂文·拉瓦列
彼得·乔卡里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Priority to CN201710912046.4A priority Critical patent/CN107577045B/zh
Publication of CN105452935A publication Critical patent/CN105452935A/zh
Application granted granted Critical
Publication of CN105452935B publication Critical patent/CN105452935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)

Abstract

公开了一种用于头戴式显示器的预测跟踪的方法和装置。该方法包括：从监测头戴式显示器的传感器获得一个或多个三维角速度测量值；以及基于一个或多个三维角速度测量值设置预测区间，使得在头戴式显示器基本静止时，预测区间基本为零，并且当头戴式显示器以预定阈值的角速度或大于预定阈值的角速度运动时，预测区间增加至预定延迟区间。该方法进一步包括：预测用于头戴式显示器的三维方位以创建对应于预测区间的时间的预测的方位；以及生成用于在头戴式显示器上呈现的对应于预测的方位的渲染图像。

Description

用于头戴式显示器的基于预测跟踪的感知
版权和商业外观的通知
本专利文献的公开内容的一部分包含受到版权保护的物质(material)。本专利文献可示出和/或描述成为或者可能成为所有者的商业外观的问题(matter)。由于专利公开出现在专利与商标局的专利文件或记录中，版权所有人和商业外观所有人不反对任何人对本专利公开进行传真复制，但除此之外保留所有版权和商业外观权。
技术领域
本公开涉及用于头戴式显示器的预测运动跟踪。
背景技术
头戴式显示器已被长期用在虚拟现实和增强现实系统中。通常，虚拟现实系统完全包裹佩戴者的眼睛，并且用“虚拟”现实替代现实。这些虚拟现实环境可能是刻意原始的，或由于缺乏虚拟现实系统的能力而变得原始的。然而，虚拟现实环境也可以是详细的、交互式的、并且十分复杂的，涉及虚拟的人、对话、以及体验。虚拟环境的最明显范例可能是涉及与游戏世界交互的玩家角色的视频游戏。然而，虚拟环境不必是游戏，并且可能反而是教育体验、小组活动(诸如历史遗迹之旅)、或仅仅以朋友的化身代表坐在虚拟空间中并进行谈话。
相反地，增强现实系统通常提供覆盖半透明或透明的屏幕或佩戴者眼睛前方的屏幕，以便使用其他的信息、图示、或补充数据“增强”现实。例如，增强现实可向观看者重叠关于现实的“虚拟”人、商品、汽车、房间、空间、标志、以及其他数据。简单的增强现实系统可仅仅提供与观看的场景或区域有关的信息(例如，温度、佩戴者即将到来的约会、运动速度、GPS位置等)。更复杂的增强现实系统可在场景上重叠“虚拟”有形对象(诸如墙壁、工艺品、个体、以及相似元件)。这些可实时更新，使得呈现在增强现实显示器中的图像对于佩戴者看起来是存在于地点内的。
在任一个系统中，为了对用户运动作出反应并且更新存在的图像，可跟踪这种耳机的佩戴者的运动。这种跟踪利用生成关于耳机的位置、运动、以及方位的数据的传感器(诸如陀螺仪、加速计、磁力仪、以及，在某些情况下，照相机、或颜色传感器)。该跟踪数据可用于生成诸如角速度、线加速度、以及重力数据的信息，该信息可响应于佩戴者运动反过来用于调整耳机的显示器。
在过去，预测运动已被结合到虚拟现实和增强现实的耳机中。然而，用于以上识别到的传感器的采样率通常相对于人类视觉的灵敏度来说是十分长的(大约数十毫秒)。因为样本之间的时间长，所以这些预测通常导致所谓的“过冲(overshoot)”，其中，预测过冲实际的头部位置和方位，或必须严重地进行平滑以避免由于仅仅没有预测运动传递(movement delivers)更好的结果而导致预测不够精确的其他问题。
附图说明
图1是虚拟现实系统的概览图。
图2是计算设备的框图。
图3是虚拟现实耳机的框图。
图4是虚拟现实系统的功能图。
图5是佩戴虚拟现实耳机的用户。
图6由图6A和图6B组成，是由预测运动跟踪产生的抖动的示例图。
图7由图7A、图7B、和图7C组成，是与实际运动相比的预测运动跟踪的示例图。
图8是示出了应用于预测运动跟踪过程的感知调谐滤波的流程图。
贯穿本说明书，出现在图中的元件被指定为三个数字参考标号，其中，最重要的数字是图号，并且两个最次要的数字具体到元件。未结合图描述的元件被推定为具有与先前描述的元件相同的特征和功能，先前描述的元件具有同样最次要的数字参考标号。
具体实施方式
运动预测的动态应用能够显著降低与预测运动跟踪相关联的问题，该运动预测的动态应用是为了考虑包括虚拟现实系统的抖动、延迟、以及总体响应的各种因素的。例如，相比仅启动用于所有运动的预测跟踪并且将预测跟踪启动至相同的程度，仅将预测运动应用至正在运动的耳机并且仅应用至适于该运动的尺寸的程度提供了更好的总体预测精确度(在整个相同的预测区间)。
同样地，例如，当运动数据表示耳机基本上不运动时，可更积极地应用最近检测到的运动的基于回归取平均值(regression-based averaging)的平滑；但是当运动数据表示耳机在以相对高的角速度运动或角加速度在增加时，可更不积极地应用平滑。这是因为相比人类转头时，当头部基本上不运动时，人眼对所谓的“抖动”是非常敏感的。当传感器测量的一系列微小变化导致得到的渲染视频“弹跳”时，出现抖动。当头部不运动时，该抖动是高度可见的。当头部运动时，该抖动几乎完全被人类感知忽视。
平滑和运动预测的这类动态缩放可被称为感知调谐滤波，因为它们结合对可用在虚拟现实系统中的硬件的技术缺陷的理解，依赖与人类感知相关的发现。
装置的描述
现在参考图1，示出了虚拟现实系统100的概览图。该系统包括通过网络150连接的用户系统110和环境服务器120，以及VR耳机130。尽管用户135被考虑为与系统100分离，但是也示出了用户135。
用户系统110是为了生成用于VR耳机上的显示器的虚拟现实环境而连接至VR耳机130并且与VR耳机130交互的计算设备。例如，用户系统110可以是典型的台式计算机和视频游戏控制台(诸如 和以及控制台)。在一些情况下，用户系统110可以是诸如运动电话、平板电脑、或其他手提或更小的计算设备的运动设备。用户系统110可包括特定任务硬件，诸如通常由计算设备使用的用于渲染三维环境的视频处理器。视频处理器可被容纳在独立显卡内或可被集成到更大的处理器或片上系统。
通常，用户系统110将运行包括操作系统软件和潜在虚拟环境软件的生成用于VR耳机130上的显示器的虚拟环境的图像的软件。虚拟环境软件可以是，例如，生成三维世界的图像的视频游戏软件，以便VR耳机130的佩戴者看上去是在游戏世界的虚拟环境“中”。
环境服务器120是计算设备。取决于虚拟现实系统100的执行过程，环境服务器120可以是可选的。在虚拟环境100是多用户或多方的情况下，环境服务器120可提供由用户系统110使用的一些数据以便渲染虚拟环境。
例如，环境服务器120可经由网络150维持和通信关于同时连接至由用户系统110渲染的虚拟环境的其他用户的数据。以此方式，用于一系列VR耳机(如同VR耳机130)的用户的用户化身可一起出现在虚拟环境内。当一个用户在该环境内“运动”时，环境服务器120可接收该数据并且将该数据传递至与其他用户相关联的用户系统(如同用户系统110)。因此，环境服务器120可使一组用户能够一起实时体验虚拟环境。
在一些实施方式中，尤其是那些不包括任意多用户或多方体验的实施方式中，环境服务器120可能是不必要的。在这种情况下，用户系统110可承担对渲染虚拟环境的全部责任。
VR耳机130是如同用户系统110的计算设备，但是具有少许特殊特征。VR耳机130包括至少一个集成显示器，并且包括可用于生成VR耳机130的运动、位置、和/或方位数据的一个或多个传感器。当VR耳机130的佩戴者运动时，传感器生成运动、位置、和/或方位数据，并且向用户系统110传输那些数据。用户系统110返回在集成到VR耳机130的显示器上显示的一个或多个图像。
通过诸如HDMI、DVI、VGA、光纤、连接器、以太网的标准计算机输入和输出接口，或者通过特定设计的用于将VR耳机130连接至用户系统110的自定义接口，VR耳机130可连接至用户系统110。通常，这些连接的至少一部分将是相对高通量的以确保尽可能小的延迟那些渲染的视频数据图像地在集成显示器上的显示。在一些情况下，使用802.11协议、蓝牙、或者射频的无线连接可用于在用户系统110与VR耳机130之间传输一部分数据。
VR耳机130可集成用户系统110的功能的一些或所有。然而，使用当前技术，这些系统保持彼此根本上不同，因为渲染令人信服的虚拟环境并且执行本文中描述的运动推断所需要的处理能力和储存最好是比目前仅在更大的或更贵的计算设备中(如同用户系统110)可获得的更有力并且更大的处理器。
在一些情况下，诸如当用户系统110是诸如平板或运动电话的运动设备时，运动设备的传感器和运动设备的显示器可代替VR耳机130功能的所有或一部分。例如，运动设备的显示器可变成VR耳机130的显示器。
用户135是VR耳机130的佩戴者。用户135以他或她能够看见集成到VR耳机130的显示器的方法佩戴耳机。当用户系统110渲染用于VR耳机130上的显示器的虚拟环境时，用户135可与诸如鼠标、键盘、耳机、扬声器、麦克风、手持控制器、或者其他相似的交互式组件(未示出)的其他外围设备交互以进一步指导用户系统110。
网络150是将用户系统110连接至环境服务器120的有线或无线网络。该网络150可以是因特网或局域网(LAN)或广域网(WAN)，或包括因特网或局域网(LAN)或广域网(WAN)。为了促进用户系统110或120之间的通信，网络150可利用诸如TCP/IP、以太网、或其他大规模网络协议的典型协议。可使用自定义协议。从环境服务器120到用户系统110(以及其他用户系统)的通信可使用广播协议，而不是确保传送的协议。这可以使环境服务器能够在不等待多个用户系统确认最后数据的接收的情况下，不断更新用户系统110上的数据。
现在转向图2，示出了计算设备200的框图，该计算设备200是本文中讨论的服务器计算机、客户端设备、运动设备、以及其他计算设备的代表。用户系统110和环境服务器120是计算设备的示例。
计算设备200可包括用于提供本文中所描述的功能和特征的软件和/或硬件。因此，计算设备200可包括存储器、模拟电路、数字电路、软件、固件、以及处理器中的一个或多个。计算设备200的硬件和固件组件可包括用于提供本文中所描述的功能和特征的各种专门的单元、电路、软件、以及接口。
计算设备200具有耦接至存储器212、储存器214、网络接口216、以及I/O接口218的处理器210。处理器可以是一个或多个微处理器、集成特定功能处理器(诸如视频处理器)、专用集成电路(ASIC)、或片上系统(SOAC)，或可包括一个或多个微处理器、集成特定功能处理器(诸如视频处理器)、专用集成电路(ASIC)、或片上系统(SOAC)。
存储器212可以是RAM、ROM、DRAM、SRAM、以及MRAM，或可包括RAM、ROM、DRAM、SRAM、以及MRAM，并且可包括在计算设备200和处理器210操作的过程中使用的诸如静态数据或固定指令、BIOS、系统功能、配置数据、以及其他例程的固件。存储器212还提供用于与应用相关联的数据和指令，以及由处理器210处理的数据的存储区域。
储存器214提供计算设备200中的数据或指令的非易失性、大容量、或长期储存。储存器214可采取磁盘、磁带、CD、DVD、SSD(固态驱动)、或其他合理高容量可寻址或串行存储介质的形式。可提供多个存储设备，或多个存储设备可用于计算设备200。这些存储设备中的一些可在诸如网络储存器或基于云的储存器的计算设备200的外部。
网络接口216包括到诸如网络150(图1)的网络的接口。
I/O接口218将处理器210接合到诸如VR耳机130、显示器、键盘、鼠标、控制器、USB设备的外围设备(未示出)以及其他外围设备。
图3示出了具有与以上关于图2讨论的计算设备基本相同的虚拟现实耳机300的框图。以上关于图2讨论过的元件在这里将不再重复。虚拟现实耳机300的计算设备可全部或部分地实现为片上系统。
相比用于全尺寸计算设备的处理器，处理器312可能是低电力的。存储器314、网络接口316、储存器318、以及输入/输出接口320可集成为单个包装，并且可被设计为小指令集以提供快速响应时间。
传感器322是用于生成运动、位置、以及方位数据的传感器。这些传感器可以是陀螺仪、加速计、磁力仪、摄影机、颜色传感器、或其他动作、位置、以及方位传感器，或可包括陀螺仪、加速计、磁力仪、摄影机、颜色传感器、或其他动作、位置、以及方位传感器。为了生成运动、位置、以及方位数据，传感器322也可包括可通过照相机或颜色传感器的外部看到的传感器的子部分(诸如一系列主动或被动标志物)。例如，虚拟现实耳机在其外部可包括诸如反射器或者光(例如，红外或可见光)的一系列标志物，以便于当通过外部照相机看到或者通过光(例如，红外或可见光)照亮标志物时，可提供用于由软件解译的一个或多个参考点以生成运动、位置、以及方位数据。从这个意义上说，这些标志物不是“传感器”，但是它们构成用于生成运动、位置、以及方位数据的传感器系统的子部分。
为了以高速率提供传感器数据，传感器322可以相对高的频率操作。例如，可以1000Hz(或每1毫秒1个传感器读数)的速率生成传感器数据。以此方式，每秒得到一千个读数。当传感器以这个速率(或以更大速率)生成许多数据时，即使在相对短的时间段内也大约有几十毫秒，因此用于预测运动的数据集是相当大的。
虚拟现实耳机包括显示缓冲器324，其中，用于显示器的图像数据在其呈现在显示器上之前被直接存储，并且可以是用于处理器312的存储器314，或可包括用于处理器312的存储器314。以此方式，显示器可响应于来自处理器312的输入迅速运行。
虚拟现实耳机300的显示器(未示出)可以是一个或多个显示器。例如，显示器可以直接位于VR耳机130的佩戴者的眼睛前方。然后，显示器可以是相对低的分辨率，同时仍然向佩戴者填充大的视觉区域。当虚拟环境由用户系统110渲染时，显示器向佩戴者显示虚拟环境。
转向图4，示出了虚拟现实系统400的功能图。虚拟现实系统400包括用户系统410、环境服务器420、以及VR耳机430。这些可对应于图1的用户系统110、环境服务器120、以及VR耳机130。也示出了不是系统的一部分的用户435。
用户系统410包括操作系统411、网络输入/输出接口412、环境软件413、虚拟现实驱动器414、以及运动预测器和平滑器415。
操作系统411是用户系统410的操作系统。例如，如果用户系统410是个体计算机或相似的设备，该操作系统411可以是Linux、或其他操作系统。操作系统411可以是专有系统，诸如在典型的视频游戏控制台中采用的操作系统。更进一步地，如果用户系统410是运动设备，则操作系统411可以是或相似的运动设备操作系统。操作系统411提供用于其他软件、驱动器、以及外围设备的运行环境。
网络输入/输出接口412使用户系统410能够与环境服务器420(存在时)通信。网络输入/输出接口412可包括典型的网络驱动器以及特定于能够进行网络通信的环境软件413的软件。
环境软件413是结合其他组件操作以创建呈现为虚拟现实的环境的软件。例如，环境软件可以是生成三维世界的视频游戏软件，该三维世界用于在VR耳机430的显示器上呈现。环境软件413可包括专用软件以使其能够同时从不同角度呈现多个显示器——正如在VR耳机中典型的是：提供有两个显示器或在单个显示器上提供有两个不同的图像，每一个用于一只眼睛。环境软件413可与特定设计的软件集成以使其能够输出合适于VR耳机430的内容。
环境软件413不必是视频游戏软件，但是它可以是任何类型的虚拟现实或增强现实环境软件。该软件可生成包括虚构地点、历史地点、教育地点的虚拟现实地点，或几乎任何模拟现实的沉浸式环境。
虚拟显示驱动器414可以是操作系统411、环境软件413、以及VR耳机430之间的软件覆盖。特别地，虚拟现实驱动器414特别从环境软件413接受输入，并且以合适于VR耳机430的显示器的形式将数据输出至VR耳机430。为了加速传输和环境数据的使用以使VR耳机430能够快速响应，虚拟显示驱动器414可在软件层以下的一个或多个抽象层上与VR耳机430交互。当用户系统410是比VR耳机430更强大的系统(例如，包括更强大的处理器)时，这可能是尤为正确的。以此方式，VR耳机430可接受更多原始数据，该原始数据可在没有VR耳机430要求的任何实质附加处理的情况下，直接显示在VR耳机430上。
运动预测器和平滑器415是负责预测VR耳机430的运动、方位、以及位置的软件。运动预测器可以是虚拟显示驱动器414的一部分。
为了操作数据并且生成VR耳机430运动、方位、以及位置的预测，运动预测器和平滑器415可从VR耳机430的传感器接受数据。例如，运动预测器和平滑器415可以在短时间帧内(例如，在最后十毫秒中的十个测量值)算出角速度测量值的平均数以得出关于未来运动、方位、以及位置的预测。可选地，运动预测器和平滑器415可区分一系列的角速度测量值以得出角加速度并且推断到未来的预定时间以预测未来的运动、方位、以及位置。以下将参考图8更全面地描述预测过程。
此外，运动预测器和平滑器415可在传感器数据上执行“平滑”操作。以最原始的形式，从一系列VR耳机430的传感器接收到的运动、方位、以及位置数据可能会稍微不准确。例如，由于在每毫秒一个的范围内的采样率，VR耳机430的方位、运动或位置的偶然、微小变化可能导致增加的传感器读数，该增加的传感器读数不能表示运动、方位、或位置的实际改变。
例如，即使佩戴VR耳机430的用户基本上静止，传感器仍然会报告微小变化。使用该数据，生成的用于VR耳机上的显示器的图像可包括微小变化，该微小变化不代表VR耳机430中的真实改变。因此，可引入VR耳机430的显示器中的所谓的“抖动”。这似乎对VR耳机430的用户来说是微小增量周围的图像“弹跳”，该微小增量是响应于从VR耳机430传感器接收到的数据的微小变化的。
响应于这个抖动和其他相似的误差，运动预测器和平滑器415也可以将平滑应用至接收到的数据。例如，这个平滑可采取来自传感器的一系列最近读数，并且算出它们的平均值以得出用于实际生成用于创建VR耳机430的显示器的下一个图像的运动、方位、以及位置数据的数据。同样可以使用诸如线性或非线性滤波器的其他平滑方法，从而在时间段内传感器数据被推断，同时去除可能的异常数据。
环境服务器420包括操作系统421、网络输入/输出接口422、环境软件423、以及环境数据库424。操作系统421和网络输入/输出接口422与上面描述的用户系统410除了代表环境服务器420之外，基本上具有相同的功能。操作系统421更可能是支持多个用户连接的操作系统(例如，经由网络)。同样地，网络输入/输出接口422同样可以更好地支持多个连接或者设置有向网络的快速连接。
环境软件423用作与用户系统410上的环境软件413不同的目的。环境软件实际上不负责渲染用于向用户呈现的任何三维世界。相反，它可维持用于使多个用户连接至环境服务器420的状态。例如，如果成百上千的用户同时连接至环境服务器420，则环境软件423可维持用于那些用户中的每一个的表示地点、行动、运动、以及其他数据的环境数据库424。为了将那些数据传输给用户系统(如同用户系统410)以便用户系统410、环境软件413能够更新它的视觉显示器以合并该数据，环境数据库424可动态地更新并且存储那些地点。例如，该地点可以是通过另一用户的化身代表的环境软件渲染的三维环境内的地点。
VR耳机430可基本上与图1中的VR耳机130相同，并且包括图3中的计算设备300。为了体验虚拟现实或增强现实虚拟环境，VR耳机430可由用户435佩戴。
现在转向图5，示出了用户535佩戴虚拟现实耳机530。VR耳机530佩戴在用户535的眼睛上。用户535的头部可被认为是在具有倾斜540、转动550、以及偏转560轴线的三维轴线的中心。在三维笛卡儿坐标系中，倾斜540是x轴，转动550是z轴，并且偏转560是Y轴。
VR耳机530的运动(用户运动)可以由倾斜540、转动550、以及偏转560体现。用于表示三维方位的一个方法是使用四元数。这是因为任何三维方位都能够通过q(v,θ)＝(cos(θ/2)，vxsin(θ/2)，vysin(θ/2)，vzsin(θ/2))的形式表达的四元数来表示，其中，q(v,θ)表示相同旋转。四元数具有在保持根据代数运算的几何结构(例如，哈尔测度)的同时，使旋转操纵能够以相对少的参数进行的好处，其对于执行三维空间中的预测是非常有用的。
哈尔测度有助于确保在三维空间中保持彼此相关的对象的多个旋转。例如，将第三旋转应用至两个先前旋转将优选地导致那两个先前旋转仍然被相同距离分开。维持关于哈尔测度的一致性有助于确保这一点，并且更好地结合四元数起作用。
图6由图6A和图6B组成，示出了通过预测运动跟踪产生的抖动的示例。图6A示出了在VR耳机上呈现的两个图像620和622的场景。为了创建场景中的深度感知，示出了每一个图像用于每只眼睛并且来自稍微不同视角的两个图像620和622。例如，在每个图像620、622中，可从稍微不同的视角看到场景中的个体630。因此，感知个体630的意识具有视野深度。这增加了沉浸感(immersion)。
图6B示出了包括图像640和642的稍微不同的场景。本文中，在场景中，个体650已向上“运动”。这类运动可出现在应用有预测跟踪的情形中，并且在传感器检测中有较小的传感器误差以及漂移。例如，传感器的较小波动暗示佩戴者的头部在“向上看”，这可能导致预测运动跟踪系统将这个运动数据过度推断(over-extrapolate)至产生不存在的激烈运动。
在图6B中，较小波动已被推断以创建不存在的运动的运动数据。佩戴者的头部基本静止。如果在几秒钟的过程中，这发生了若干次，则效果是激烈的。尽管在图6B中图像被放大以便它更容易被识别，但是静止的VR耳机的佩戴者将十分小的抖动体验为极其非沉浸式的，因为佩戴者的大脑相信VR耳机是静止的。不对应于实际头部运动(或非运动)的视觉感知到的运动数据(即使是小的抖动)，不与佩带者的剩余感知相匹配。
图7由图7A、图7B、和图7C组成，示出了与实际运动相比的预测运动跟踪的示例。图7A示出了与具有图像720、722、以及个体730的图6A相同的场景。
图7B是使用预测动作跟踪渲染的场景以在时间帧内将佩戴者的运动推断到未来。图像740、742被更新以便个体750看起来已向左运动。在视觉感知中，这是可能的，因为佩戴者开始了将他或她的头部转向右侧的过程，引起了个体750开始向视场外运动。
预测运动跟踪已基于从传感器数据(由用于相关联的VR耳机的传感器生成的)推断到的运动、方位、以及位置数据来预测个体750的地点(以及整个场景的方位)。例如，运动、方位、以及位置数据可表示VR耳机正沿着特定路径并且以特定角速度(或者潜在线速度、或角加速度、或线加速度)运动。可在指定的时间帧内推断(或预测)图7B中的场景。
图7C示出了包括对应于VR耳机的实际运动、方位、以及位置的包括个体770的两个图像760和762的场景。图7B和图7C的仔细检查表示预测到的运动稍微不正确。具体地，相比图像760和762示出的实际运动、方位、以及位置，个体750没有在视场中向左边运动足够远。因此，个体770在场景中处于稍微更偏左。通过比较预测距离744和746与实际距离764和766，示出了这些误差。
测试表明，当使用本文中描述的过程时，这些较小的误差是虚拟不存在的。然而，预测运动跟踪本身包括一些误差幅度——该误差是在它们出现之前对佩戴者运动的预测。然而，尤其在虚拟现实系统中，当误差小时，并且因为时间帧，这些可见误差是非常快的，所以佩戴者的意识一般都没有仔细感知到差异。
过程描述
现在参考图8，图8是示出了应用于预测运动跟踪过程的感知调谐滤波的流程图。虽然流程图有开始805和结束895，但是该过程本质上是循环的。实际上，由于佩戴者头部的VR耳机是活动的，因此该过程几乎是不断重复的。对于渲染视频的每个帧，该过程可重复至少一次，并且可能地，重复若干次。
首先，在810中，从传感器(包括可在VR耳机中的传感器)获得传感器测量值。如上所述，这些传感器可包括加速计、陀螺仪、磁力仪、主动或被动标志物和照相机。照相机可安装在耳机上(该耳机具有安装在周围环境中的标志物)，或者标志物可安装在耳机上，并且一个或多个外部照相机可跟踪标志物。这些传感器的功能是提供可从运动、方位、以及位置的预测得出的精确数据。不管传感器在哪里，也不管传感器是什么传感器，传感器都向，例如，用户系统提供数据以开始基于预测的感知过程。
随后，在820中，执行传感器融合。这个过程可是复杂的或可是简单的。在简单系统中，原始数据测量值(例如，来自加速计的加速度和速度)仅仅可合并为并且标准化为合适于由渲染三维环境的环境软件使用的形式。在更复杂的系统中，如上所述，数据可被“平滑”，并且在传感器融合阶段，可生成用于耳机运动的推断潜在预测的数据，并且该数据可传递至后续阶段。
在825中，例如，使用虚拟现实驱动器414做出耳机是否转向的决定。这个决定是相对简单的。可在短时间段(例如，10毫秒)内通过传感器生成一系列角速度测量值。可计算那些测量值的平均值以确定角速度是否超过了预定阈值(例如每秒1-5度)。以此方式，相对小的运动(或少量传感器误差)将不会被感知为耳机的“运动”。
在825中，佩戴VR耳机的人类头部不能保持完全静止，但是运动阈值可以以能够做出耳机是否转向的决定的方式来设置。未转向的头部基本上静止。如本文中使用的短语“基本上静止”意味着耳机不是处在头部转到足够程度以便于虚拟现实系统应该重新渲染相关联的场景以反映该运动的过程。具体地，“基本上静止”不意味着VR耳机的绝对零运动，但是也不意味着“静止(stationary)”到人类在不试图运动时能够保持他或她的头部“寂静(still)”的程度。
在830中，如果耳机转向了，则停用平滑。如上所述，平滑主要是针对抵消传感器人为的，较小的运动、以及传感器漂移(传感器精确的线性或指数漂移)以便通过产生渲染场景的抖动或随意运动，这些运动以及漂移不会损害佩戴者的体验。在人类感知的一些研究之后，已发现当感知虚拟现实环境的个体的头部转向时，他们完全体验不到抖动。具体地，当头部转向时，意识忽略抖动或被用于体验视觉场景中的一些无规律性，并且自动补偿。
因此，如果耳机转向了，则平滑会被停用(至少临时地)。这释放了一些处理器循环以使其操作于其他问题上，但是更重要的是，它确保了任何预测运动跟踪都不会被数据的任何预计算平滑或后计算平滑所阻碍。重度平滑会使得渲染的帧看起来滞后于实际运动，例如，通过之前超重(over-weight)的数据表示更小(或没有)的运动或能够导致过冲。因此，当头部转向时，通过停用平滑没有识别到用于佩戴者的不利效果，并且当耳机转向时，好处是更有反应的场景渲染。
接下来(或基本上同时)，在840中，确定耳机的角速度。该决定可以是通过820中的传感器融合生成的单个测量值或单个数据集。优选地，使用从角速度测量值的预定先前集(例如，最新的10个测量值)的平均值到角速度测量值的相似集的加权平均值中的大量选择中的一个来确定角速度，使用应用至最新的测量值集(例如，最新的1-3个测量值)的额外加权来通过在区间内的加速度(或作为实例，可能是减速度)的差异和推断来确定线性加速度。
下一个步骤是，在850中，在将要发生的运动预测内设置预测区间。如本文中使用的，“预测区间”是做出运动预测的时间。例如，如果预测区间是40毫秒，则预测运动跟踪从现在到预测区间(40毫秒)的最后预测耳机的运动、方位、以及位置。如果预测区间是零，则预测运动跟踪在当前时间(未有效地提供预测运动跟踪)预测耳机的运动、方位、以及位置。包括有预测区间使预测运动跟踪系统能够动态地响应于耳机运动的尺寸和范围。
这个预测区间可能是十分小的，并且用于微小运动。例如，大约10度/秒的运动可能具有设置得非常小的预测区间，例如5毫秒。在这种情况下，不论通过什么方法确定到的角速度测量值都被应用至用户系统的该时间段，并且都被设置为代替用于该时间段的实际数据，用于渲染相关联的视频帧。基于得到的预测来递送渲染视频的下一帧。
在角速度测量值相对来说十分大(例如，大约500度/秒)的情况下，使系统预测运动的预测区间更大。例如，快速运动使得系统将预测区间设置为30到60毫秒之间。在这些情况下，传递至视频渲染器的运动预测数据在预测区间的最后预测佩戴者的运动、方位、以及位置，并且基于该预测将数据传送到渲染视频的下一帧。
在充分研究的系统中，延迟区间可能是已知的。短语“延迟区间”是从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间。在本系统中，延迟区间大约是30到60毫秒，并且看起来一般约40毫秒。
该延迟区间可用作预测区间的上限。所以，预测区间可能不会超过延迟区间。这是因为当用户在佩戴耳机时运动他或她的头部时，合并数据的视频的下一渲染帧将出现在下一延迟区间中。
因此，预测得超过该时间帧是不必要的，并且更可能导致过冲(运动才刚刚开始时，渲染过大的运动或停止)，并且断开与实际佩戴者运动的连接。相似地，其他数据将是可用的，在描述的系统中，有可用于渲染视频的下一个帧的数十个其他的运动、方位、以及位置数据点。预测达到延迟区间的运动具有试图预测用户下一时刻的实际运动的好处，在下一时刻，用户将看到渲染视频的帧。
例如，该过程可操作以便做出关于指定的佩戴者运动的角速度的决定。当角速度超过阈值速率(例如，每秒0.3弧度)时，随后预测时间线性增加到延迟区间。该预测区间的增加可以是，例如，每秒每弧度+2毫秒。以此方式，以每秒1弧度转向的耳机未来将利用2毫秒的预测区间。以每秒10弧度转向的耳机未来将利用20毫秒的预测区间。可使用最大达到预测区间等于延迟区间(例如，未来达到40毫秒)的其他线性增加坡度。
因此，如果角速度基本为零(例如，每秒0到0.03弧度)，则使用平滑并且依赖于当前位置和方位(未预测)得出三维中的方位。如果角速度远大于基本上为零，则随后使用预测算法，并且停用平滑。最终，无论如何，使用最后的测量位置加上在选择的可能预测区间中的线速度来得出位置(三维空间中的地方)。
总结来说，测量耳机的运动以确定耳机的运动(角速度)是否基本上为零(每秒0到0.3弧度)。如果这样，停用数据平滑，并且将预测区间设设置为基本上为零(或零)。如果耳机以大于基本上为零(大于每秒0.3弧度)的速率运动(角速度)，随后停用平滑并且设置预测区间。如果运动以角速度增加，则随后预测区间通过预测区间的每个读数最大达到延迟区间(例如，40毫秒)的改变(例如，每秒每弧度2毫秒)上升。
预测区间的增加(最大达到延迟区间)可以是线性的(对应于耳机的线性运动)。因此，快速运动通过如上所述的预测区间的线性增加来补偿。可选地，可使用所谓的smoothstep算法。Smoothstep算法采取广义的形式：smoothstep(t)＝3t2–2t3，其中，t是要被平滑的变量，并且一般形式的结果落在0到1之间。Smoothstep具有在高端和低端都向零倾斜的好处。以此方式，通过在两端“四舍五入”，该预测不同于线性插值。对于佩戴者，看起来这种耳机依赖于预测区间，因为预测更缓慢地接近最大或最小值，而不直接或突然在任一端停止或开始。因此，预测区间可“平滑地”接近于零或接近最大延迟区间。
如果在825中耳机没有转向，则表示用户的头部基本上静止，随后在860中，可启动平滑。如上所述，当耳机未运动或者做出非常小的运动时，平滑是最有帮助的。具体地，当耳机基本上静止时，它有助于避免不必要的或者过大的场景的运动，诸如抖动。同样地，当耳机基本上静止时，启动平滑将有助于减少这些问题。
相似地，在870中，将预测区间设置为基本上为零。当头部几乎未运动时，在任何区间的积极预测都是不必要的。可应用一些预测运动跟踪，但是其应用的区间被设置到非常短的时间帧(诸如5毫秒或以下)的程度。在一些情况下，预测区间可被设置为零。这进一步有助于避免可能夸大小运动的预测运动跟踪，尤其是如果预测区间被设置为延迟区间或接近于延迟区间。
接下来，无论在825中耳机是否转向，并且在850和870中设置预测区间之后，在880中，做出三维方位和角速度的预测。实际上，这在预测区间的最后预测了耳机的运动、方位、以及位置。如上所述，这可以被表示为四元数，但是可以以任意方法表示。
最后，在890中，基于预测和预测区间在下一渲染视频帧中更新显示器以与预测的运动、方位、以及位置相对应。因此，如果预测区间是40毫秒，则递送至VR耳机的下一渲染视频帧将被渲染得好像佩戴者的头部在距离现在的预测位置40毫秒处。如果预测区间是零毫秒，则随后递送至VR耳机的视频的下一渲染帧将被渲染得好像佩戴者的头部在本时间的预测位置处(预测是不必要的，实际数据是可用的)。所以，提供了未预测或非常有限的预测。
这些选择和极端反映了在825中头部转向或不转向的事实。一旦更新了显示器，则过程就结束了。然而，如上所述，该过程重复每个传感器更新或传感器更新的每个区间(例如，每10个或20个传感器更新)。以此方式，在有或没有平滑的情况下，以及在有或没有在延迟区间处的预测区间或延迟区间附近的预测区间的情况下，可提供渲染视频的下一帧。
结语(closing comments)
贯穿本说明书，示出的实施方式和实施例应被视为示例，而不是限制公开的或要求的装置和程序。尽管本文中呈现的许多实施例涉及方法行为或系统元件的具体组合，但是应理解，那些行为和那些元件可合并为其他方式以实现相同目标。关于流程图，可采取其他的和更少的步骤，并且示出的步骤可合并或进一步精简以实现本文中描述的方法。仅结合一个实施方式讨论的行为、元件、以及特征并非旨在排除其他实施例中相似的角色。
如本文中使用的，“多个”意味着两个或多个。如本文中使用的，项目的“集”可包括这种项的一个或多个。如本文中使用的，无论是在书面说明书中，还是在权利要求书中，术语“包括(comprising)”、“包括(including)”、“进行(carrying)”、“具有(having)”、“包含(containing)”、“涉及(involving)”等应被理解为开放式的，即，意味着包括但不限于此。只有过渡性短语“由...组成(consisting of)”和“基本上由...组成(consistingessentially of)”分别是相对于权利要求书的关闭或半关闭的过渡短语。在权利要求中使用“第一”、“第二”、“第三”等序数词来修饰权利要求元件本身不暗示一个权利要求元件超过另一权利要求元件的任何优先权、优先级或顺序或执行方法的行为的时间顺序，但是仅作为标签使用以区别具有某些名字的一个权利要求元件与具有相同名字(但是，用于序数词)的另一元件以区别权利要求的元件。如本文中使用的，“和/或”意味着列出的项目是可选的，但是可选的也包括列出的项目的任意组合。

Claims (18)

1.一种用于头戴式显示器的预测跟踪的方法，包括：
从监测头戴式显示器的传感器获得一个或多个三维角速度测量值；
基于所述一个或多个三维角速度测量值设置预测区间，使得在所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，所述预测区间基本为零，并且当所述一个或多个角速度测量值表示所述头戴式显示器以预定阈值的角速度或大于所述预定阈值的角速度运动时，所述预测区间增加至预定延迟区间，所述预测区间等于或小于所述预定延迟区间，其中，所述预定延迟区间是预定的从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间；
使用在整个所述预测区间推断的所述一个或多个三维角速度测量值预测用于所述头戴式显示器的三维方位以创建对应于所述预测区间的时间处的预测的方位；以及
生成用于在所述头戴式显示器上呈现的对应于所述预测的方位的渲染图像。
2.根据权利要求1所述的方法，其中，设置预测区间包括：随着所述一个或多个角速度测量值表示所述头戴式显示器以角速度增加，全动态调整以使所述预测区间在以所述角速度增加的整个过程中从基本为零到所述预定延迟区间线性增加。
3.根据权利要求1所述的方法，进一步包括：通过在整个采样周期对所述角速度测量值执行回归并且应用回归的结果代替所述一个或多个角速度测量值，当所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，平滑所述一个或多个角速度测量值。
4.根据权利要求3所述的方法，进一步包括：当所述一个或多个角速度测量值表示所述头戴式显示器以大于基本为零的角速度运动时，停用所述一个或多个角速度测量值的平滑。
5.根据权利要求1所述的方法，其中，所述预定延迟区间在15毫秒到60毫秒之间。
6.根据权利要求1所述的方法，其中，所述预定阈值为每秒0.3弧度。
7.根据权利要求1所述的方法，其中，以大于或等于1000Hz的采样率获得所述一个或多个角速度测量值。
8.一种用于头戴式显示器的预测跟踪的装置，包括：
存储具有指令的程序的存储介质；
第一模块，用于从监测头戴式显示器的传感器获得一个或多个三维角速度测量值；
第二模块，用于基于所述一个或多个三维角速度测量值设置预测区间，使得在所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，所述预测区间基本为零，并且当所述一个或多个角速度测量值表示所述头戴式显示器以预定阈值的角速度或大于所述预定阈值的角速度运动时，所述预测区间增加至预定延迟区间，所述预测区间等于或小于所述预定延迟区间，其中，所述预定延迟区间是预定的从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间；
第三模块，用于使用在整个所述预测区间推断所述一个或多个三维角速度测量值预测用于所述头戴式显示器的三维方位以创建对应于所述预测区间的时间处的预测的方位；以及
第四模块，用于生成用于在所述头戴式显示器上呈现的对应于所述预测的方位的渲染图像。
9.根据权利要求8所述的装置，其中，设置预测区间包括：随着当所述一个或多个角速度测量值表示所述头戴式显示器以角速度增加，全动态调整以使所述预测区间在以所述角速度增加的整个过程中从基本为零到所述预定延迟区间线性增加。
10.根据权利要求8所述的装置，其中，所述指令在由处理器执行时进一步使所述处理器：通过在整个采样周期对所述角速度测量值执行回归并且应用回归的结果代替所述一个或多个角速度测量值，当所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，平滑所述一个或多个角速度测量值。
11.根据权利要求10所述的装置，其中，所述指令在由处理器执行时进一步使所述处理器：当所述一个或多个角速度测量值表示所述头戴式显示器以大于基本为零的角速度运动时，停用所述一个或多个角速度测量值的平滑。
12.根据权利要求8所述的装置，其中，所述预定延迟区间在15毫秒到60毫秒之间。
13.根据权利要求8所述的装置，其中，所述预定阈值为每秒0.3弧度。
14.根据权利要求8所述的装置，其中，以大于或等于1000Hz的采样率获得所述一个或多个角速度测量值。
15.根据权利要求8所述的装置，进一步包括：
所述传感器，用于提供所述一个或多个角速度测量值；
所述头戴式显示器，用于显示所预测的图像；
处理器；以及
存储器；
其中，所述处理器和所述存储器包括用于执行所述存储介质上的所述指令的电路和软件。
16.一种头部运动的预测跟踪的方法，包括：
从监测头戴式显示器的传感器获得一个或多个三维角速度测量值；
基于所述一个或多个三维角速度测量值设置预测区间，使得在所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，所述预测区间基本为零，并且当所述一个或多个角速度测量值表示所述头戴式显示器以预定阈值的角速度或大于所述预定阈值的角速度运动时，所述预测区间增加至预定延迟区间，所述预测区间等于或小于所述预定延迟区间，其中，所述预定延迟区间是预定的从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间；
使用在整个所述预测区间推断的所述一个或多个三维角速度测量值预测用于所述头戴式显示器的三维方位以创建对应于所述预测区间的时间处的预测的方位；以及
在用于所述头戴式显示器的更新的下一可用帧处生成对应于用于在所述头戴式显示器呈现的所述预测的方位的渲染图像。
17.一种头部运动的预测跟踪的方法，包括：
从监测头戴式显示器的传感器获得一个或多个角速度测量值；
基于所述一个或多个角速度测量值确定预测区间，使得在所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，所述预测区间基本为零，并且当所述一个或多个角速度测量值表示所述头戴式显示器以预定阈值的角速度或大于所述预定阈值的角速度运动时，所述预测区间增加至预定延迟区间，其中，所述预测区间等于或小于所述预定延迟区间，其中，所述预定延迟区间是预定的从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间；
使用在整个所述预测区间推断的所述角速度测量值，预测所述头戴式显示器的三维方位，以创建在经过等于所述预测区间的时间后所述头戴式显示器的预测的方位；以及
生成用于在所述头戴式显示器上呈现的对应于所述头戴式显示器的所述预测的方位的渲染图像。
18.一种头部运动的预测跟踪的装置，包括：
存储介质，存储具备指令的程序；
处理器，被配置为执行所述程序，所述处理器包括：
第一模块，用于从监测头戴式显示器的传感器获得一个或多个角速度测量值；
第二模块，用于基于所述一个或多个角速度测量值确定预测区间，使得在所述一个或多个角速度测量值表示所述头戴式显示器基本上静止时，所述预测区间基本为零，并且当所述一个或多个角速度测量值表示所述头戴式显示器以预定阈值的角速度或大于所述预定阈值的角速度运动时，所述预测区间增加至预定延迟区间，其中，所述预测区间等于或小于所述预定延迟区间，其中，所述预定延迟区间是预定的从传感器生成运动数据到合并该运动数据的视频的渲染帧的传送的时间；
第三模块，用于使用在整个所述预测区间推断的所述角速度测量值，预测所述头戴式显示器的三维方位，以创建在经过等于所述预测区间的时间后所述头戴式显示器的预测的方位；以及
第四模块，用于生成用于在所述头戴式显示器上呈现的对应于所述头戴式显示器的所述预测的方位的渲染图像。
CN201480031265.6A 2013-05-30 2014-05-29 用于头戴式显示器的基于预测跟踪的感知 Active CN105452935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710912046.4A CN107577045B (zh) 2013-05-30 2014-05-29 用于头戴式显示器的预测跟踪的方法、装置及存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361829008P 2013-05-30 2013-05-30
US61/829,008 2013-05-30
US14/285,470 US9063330B2 (en) 2013-05-30 2014-05-22 Perception based predictive tracking for head mounted displays
US14/285,470 2014-05-22
PCT/US2014/040086 WO2014194135A1 (en) 2013-05-30 2014-05-29 Perception based predictive tracking for head mounted displays

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710912046.4A Division CN107577045B (zh) 2013-05-30 2014-05-29 用于头戴式显示器的预测跟踪的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN105452935A CN105452935A (zh) 2016-03-30
CN105452935B true CN105452935B (zh) 2017-10-31

Family

ID=51984504

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480031265.6A Active CN105452935B (zh) 2013-05-30 2014-05-29 用于头戴式显示器的基于预测跟踪的感知
CN201710912046.4A Active CN107577045B (zh) 2013-05-30 2014-05-29 用于头戴式显示器的预测跟踪的方法、装置及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710912046.4A Active CN107577045B (zh) 2013-05-30 2014-05-29 用于头戴式显示器的预测跟踪的方法、装置及存储介质

Country Status (11)

Country Link
US (6) US9063330B2 (zh)
EP (2) EP3004966B1 (zh)
JP (3) JP6038401B2 (zh)
KR (3) KR102209873B1 (zh)
CN (2) CN105452935B (zh)
AU (2) AU2014274101B2 (zh)
BR (1) BR112015030037A2 (zh)
CA (2) CA2912109C (zh)
IL (1) IL242810A (zh)
MX (1) MX350942B (zh)
WO (1) WO2014194135A1 (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US10293205B2 (en) * 2014-01-27 2019-05-21 The Regents Of The University Of Michigan IMU system for assessing head and torso orientation during physical motion
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
JP6604715B2 (ja) * 2014-09-12 2019-11-13 株式会社ディスコ レーザー加工装置
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
US10733565B1 (en) 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
US10055892B2 (en) * 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
TWI678554B (zh) * 2014-12-30 2019-12-01 新加坡商雷蛇（亞太）私人有限公司 光學系統及頭戴式顯示器
US9756375B2 (en) * 2015-01-22 2017-09-05 Microsoft Technology Licensing, Llc Predictive server-side rendering of scenes
US9826013B2 (en) 2015-03-19 2017-11-21 Action Streamer, LLC Method and apparatus for an interchangeable wireless media streaming device
JP6250592B2 (ja) * 2015-06-02 2017-12-20 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
US10102666B2 (en) * 2015-06-12 2018-10-16 Google Llc Electronic display stabilization for head mounted display
US10554713B2 (en) 2015-06-19 2020-02-04 Microsoft Technology Licensing, Llc Low latency application streaming using temporal frame transformation
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US9588598B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
US10089790B2 (en) 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
GB201516121D0 (en) 2015-09-11 2015-10-28 Bae Systems Plc Helmet tracker buffering compensation
KR102501752B1 (ko) * 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
FI3374737T3 (fi) * 2015-11-10 2023-01-13 Robusti visuaalis-inertiaalinen jalankulkijoiden seuranta automaattisella kulkusuunnan kohdistamisella
US10976808B2 (en) * 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
JP2017102298A (ja) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017130190A (ja) 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
CN108139801B (zh) 2015-12-22 2021-03-16 谷歌有限责任公司 用于经由保留光场渲染来执行电子显示稳定的系统和方法
WO2017112593A1 (en) 2015-12-23 2017-06-29 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
WO2017120767A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
JP2017130201A (ja) 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
KR102657318B1 (ko) * 2016-01-25 2024-04-15 한국전자통신연구원 개인형 가상현실 체험장치 및 그 방법
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10422976B2 (en) 2016-02-26 2019-09-24 Samsung Electronics Co., Ltd. Aberration corrected optical system for near-eye displays
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10304278B2 (en) 2016-04-27 2019-05-28 Bally Gaming, Inc. System, method and apparatus for virtual reality gaming with selectable viewpoints and context-sensitive wager interfaces
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
US10705338B2 (en) 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
US10365712B2 (en) * 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
CN105913497B (zh) * 2016-05-27 2018-09-07 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
WO2017205841A1 (en) * 2016-05-27 2017-11-30 Craig Peterson Combining vr or ar with autostereoscopic usage in the same display device
US10365481B2 (en) 2016-07-27 2019-07-30 Brillio LLC Method and system for automatically calibrating HMD device
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
CN108322763A (zh) * 2016-08-23 2018-07-24 深圳市掌网科技股份有限公司 一种编解码全景视频的方法和系统
CN106354256B (zh) * 2016-08-28 2019-05-17 杭州勺子网络科技有限公司 一种虚拟现实的移动控制方法
US10726735B1 (en) * 2016-08-31 2020-07-28 Rockwell Collins, Inc. Simulation and training with virtual participants in a real-world environment
US10743003B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743004B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
KR102499139B1 (ko) 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
KR102277438B1 (ko) 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US10238968B2 (en) 2016-12-06 2019-03-26 Colopl, Inc. Information processing method, apparatus, and system for executing the information processing method
US10453261B2 (en) 2016-12-13 2019-10-22 Brillio LLC Method and electronic device for managing mood signature of a user
DE102016225266B4 (de) * 2016-12-16 2024-06-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer Datenbrille, Datenbrille und zugehöriges Anzeigesystem
US10691201B2 (en) 2016-12-19 2020-06-23 Intel Corporation Image stream switcher
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10984595B2 (en) 2017-01-13 2021-04-20 Samsung Electronics Co. Ltd Method and apparatus for providing guidance in a virtual environment
US10602471B2 (en) * 2017-02-08 2020-03-24 Htc Corporation Communication system and synchronization method
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
CA3055219A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Technique for recording augmented reality data
US10482566B2 (en) * 2017-03-31 2019-11-19 Intel Corporation Personalized virtual reality content branch prediction
CN107168521B (zh) * 2017-04-10 2020-06-23 北京小鸟看看科技有限公司 观影指引方法、装置及头戴式显示设备
WO2018191755A1 (en) 2017-04-14 2018-10-18 REHABILITATION INSTITUTE OF CHICAGO d/b/a Shirley Ryan AbilityLab Prosthetic virtual reality training interface and related methods
US10939038B2 (en) * 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
GB201709752D0 (en) * 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
WO2018237256A1 (en) 2017-06-22 2018-12-27 Centurion VR, LLC SIMULATION OF VIRTUAL REALITY
WO2019014853A1 (zh) * 2017-07-18 2019-01-24 深圳市柔宇科技有限公司 检测头戴式显示器数据传输延迟的方法及头戴式显示器
US10395418B2 (en) 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
US11002958B2 (en) * 2017-08-24 2021-05-11 International Business Machines Corporation Dynamic control of parallax barrier configuration
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
US11245887B2 (en) 2017-09-14 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
GB2566478B (en) * 2017-09-14 2019-10-30 Samsung Electronics Co Ltd Probability based 360 degree video stabilisation
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
RU2758036C1 (ru) 2017-12-18 2021-10-25 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта
KR102604738B1 (ko) 2017-12-22 2023-11-22 삼성전자주식회사 와핑 처리를 수행하는 그래픽 프로세서, 이를 포함하는 렌더링 시스템 및 그래픽 프로세서 동작방법
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US20190038964A1 (en) * 2018-01-12 2019-02-07 Karthik Veeramani Personalized calibration and adaption of vr experience
KR102535918B1 (ko) * 2018-02-07 2023-05-25 삼성전자 주식회사 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
US11537264B2 (en) * 2018-02-09 2022-12-27 Sony Interactive Entertainment LLC Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
CN116700489A (zh) * 2018-03-13 2023-09-05 罗纳德·温斯顿 虚拟现实系统和方法
EP3782125B1 (en) 2018-04-19 2024-08-28 InterDigital VC Holdings, Inc. Systems and methods employing predictive overfilling for virtual reality
US11454783B2 (en) 2018-04-25 2022-09-27 Samsung Electronics Co., Ltd. Tiled triplet lenses providing a wide field of view
US11002960B2 (en) * 2019-02-21 2021-05-11 Red Six Aerospace Inc. Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience
US11436932B2 (en) 2018-04-27 2022-09-06 Red Six Aerospace Inc. Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace
US11887495B2 (en) 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11508255B2 (en) 2018-04-27 2022-11-22 Red Six Aerospace Inc. Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience
US11869388B2 (en) * 2018-04-27 2024-01-09 Red Six Aerospace Inc. Augmented reality for vehicle operations
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
KR102117007B1 (ko) * 2018-06-29 2020-06-09 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US10924525B2 (en) 2018-10-01 2021-02-16 Microsoft Technology Licensing, Llc Inducing higher input latency in multiplayer programs
CN111064981B (zh) * 2018-10-16 2021-07-16 北京凌宇智控科技有限公司 一种视频串流的系统及方法
CN111065053B (zh) * 2018-10-16 2021-08-17 北京凌宇智控科技有限公司 一种视频串流的系统及方法
US11500455B2 (en) 2018-10-16 2022-11-15 Nolo Co., Ltd. Video streaming system, video streaming method and apparatus
US11454779B1 (en) 2018-12-12 2022-09-27 Meta Platforms Technologies, Llc Head-mounted display device with stepper motors for moving displays
US11042187B1 (en) * 2018-12-12 2021-06-22 Facebook Technologies, Llc Head-mounted display device with voice coil motors for moving displays
US10871627B1 (en) 2018-12-12 2020-12-22 Facebook Technologies, Llc Head-mounted display device with direct-current (DC) motors for moving displays
KR102661955B1 (ko) 2018-12-12 2024-04-29 삼성전자주식회사 영상 처리 방법 및 장치
CN109819232B (zh) * 2019-02-19 2021-03-26 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
US11452014B2 (en) * 2019-03-08 2022-09-20 Meta Platforms Technologies, Llc Secondary link for AR/VR applications
US11221487B2 (en) 2019-03-26 2022-01-11 Kevin Chew Figueroa Method and device of field sequential imaging for large field of view augmented/virtual reality
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US11948242B2 (en) 2019-08-02 2024-04-02 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
US11138804B2 (en) 2019-08-02 2021-10-05 Fmr Llc Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
CN112346243B (zh) * 2019-08-08 2022-11-29 Oppo广东移动通信有限公司 一种眼镜
US11481026B2 (en) 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US12026301B2 (en) 2020-09-10 2024-07-02 Bae Systems Plc Method for tracking orientation of an object, tracker system and head or helmet-mounted display
US11353700B2 (en) 2020-10-07 2022-06-07 Industrial Technology Research Institute Orientation predicting method, virtual reality headset and non-transitory computer-readable medium
US11436882B1 (en) 2020-10-14 2022-09-06 1Ahead Technologies Security surveillance and entry management system
US11468723B1 (en) 2020-10-14 2022-10-11 1Ahead Technologies Access management system
US11854328B2 (en) 2020-10-14 2023-12-26 1Ahead Technologies Access management system
US11625966B2 (en) 2020-10-14 2023-04-11 1Ahead Technologies Access management system
US11756357B2 (en) 2020-10-14 2023-09-12 1Ahead Technologies Access management system
US11398120B2 (en) 2020-10-14 2022-07-26 1Ahead Technologies Security surveillance and entry management system
US11393269B2 (en) 2020-10-14 2022-07-19 1Ahead Technologies Security surveillance and entry management system
EP4238081A4 (en) * 2020-10-30 2024-10-16 Red Six Aerospace Inc AUGMENTED REALITY FOR VEHICLE OPERATIONS
KR20220107471A (ko) 2021-01-25 2022-08-02 삼성전자주식회사 포즈 예측 방법, 포즈 예측 장치 및 포즈 예측에 기반한 증강 현실 안경
KR102480451B1 (ko) * 2021-03-03 2022-12-23 (주)이머시브캐스트 Mtp 지연 감소를 위한 클라우드 vr 장치
SE544895C2 (en) * 2021-05-10 2022-12-20 Gazelock AB Data and command transmission system, computer-implemented method of transmitting data and commands, computer program and non-volatile data carrier
FR3123132A1 (fr) * 2021-05-19 2022-11-25 Lexip Procédé d'émission d'un signal numérique par un moyen de contrôle
US20230070895A1 (en) 2021-09-03 2023-03-09 Jacques Seguin Systems and methods for automated medical monitoring and/or diagnosis
US11762456B2 (en) 2021-09-27 2023-09-19 International Business Machines Corporation Head-movement-based user interface and control
KR102489652B1 (ko) * 2021-10-12 2023-01-18 서울과학기술대학교 산학협력단 가상 현실을 위한 동적 오버필링 방식의 결정 방법
KR102489632B1 (ko) * 2021-10-12 2023-01-17 서울과학기술대학교 산학협력단 가상 현실을 위한 동적 오버필링 방법 및 이를 수행하는 시스템
KR102448833B1 (ko) * 2021-10-13 2022-09-29 서울과학기술대학교 산학협력단 클라우드 vr을 위한 렌더링 방법
US20230237692A1 (en) * 2022-01-26 2023-07-27 Meta Platforms Technologies, Llc Methods and systems to facilitate passive relocalization using three-dimensional maps
US11659043B1 (en) 2022-01-27 2023-05-23 Meta Platforms Technologies, Llc Systems and methods for predictively downloading volumetric data
WO2022266556A1 (en) * 2022-08-09 2022-12-22 Innopeak Technology, Inc. Methods and systems for motion prediction
US11880503B1 (en) * 2022-12-19 2024-01-23 Rockwell Collins, Inc. System and method for pose prediction in head worn display (HWD) headtrackers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2238693C (en) * 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
JP4566786B2 (ja) * 2004-05-14 2010-10-20 キヤノン株式会社 位置姿勢計測方法および情報処理装置
US8206720B2 (en) * 2004-06-08 2012-06-26 Novartis Vaccines & Diagnostics, Inc Fusion proteins comprising CD4 minimal modules and invasin polypeptides that are capable of binding to the HIV envelope and exposing cryptic neutraliziation epitopes
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
JP5268271B2 (ja) * 2007-03-23 2013-08-21 株式会社東芝 画像表示装置および画像表示方法
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
IT1393919B1 (it) 2009-04-16 2012-05-17 Marinelli Metodo per la produzione di elementi ottici fotocromatici ed elementi ottici fotocromatici
JP2010256554A (ja) 2009-04-23 2010-11-11 Pioneer Electronic Corp 情報処理装置及び画像表示制御方法
US8441486B2 (en) * 2009-04-27 2013-05-14 Jagex Ltd. Position tracking in a virtual world
JP5510736B2 (ja) * 2010-08-31 2014-06-04 株式会社デンソー 挙動異常判定器および情報記録分析装置
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5834439B2 (ja) * 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8610884B2 (en) * 2011-12-23 2013-12-17 Korea Advanced Institute Of Science And Technology Method for optical visualization of graphene domains
JP5365684B2 (ja) * 2011-12-27 2013-12-11 株式会社ニコン 制御装置、及びヘッドマウントディスプレイ装置
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置

Also Published As

Publication number Publication date
EP3004966A1 (en) 2016-04-13
CA2912109C (en) 2017-01-24
CN107577045B (zh) 2019-06-04
AU2017200163B2 (en) 2018-01-25
KR101877411B1 (ko) 2018-08-07
CA2951417C (en) 2018-12-18
EP3486707B1 (en) 2022-12-14
WO2014194135A1 (en) 2014-12-04
JP6038401B2 (ja) 2016-12-07
US20200310535A1 (en) 2020-10-01
US9063330B2 (en) 2015-06-23
US20180129047A1 (en) 2018-05-10
EP3004966B1 (en) 2019-01-16
CN105452935A (zh) 2016-03-30
IL242810A (en) 2016-10-31
EP3486707A1 (en) 2019-05-22
JP2016531333A (ja) 2016-10-06
MX2015016340A (es) 2016-10-14
CN107577045A (zh) 2018-01-12
AU2014274101B2 (en) 2016-11-03
KR20180081162A (ko) 2018-07-13
US10281978B2 (en) 2019-05-07
EP3004966A4 (en) 2017-01-04
US9348410B2 (en) 2016-05-24
BR112015030037A2 (pt) 2017-07-25
US9897807B2 (en) 2018-02-20
JP2017120441A (ja) 2017-07-06
US20160238841A1 (en) 2016-08-18
KR101777820B1 (ko) 2017-09-12
AU2017200163A1 (en) 2017-02-02
MX350942B (es) 2017-09-26
KR20160013906A (ko) 2016-02-05
AU2014274101A1 (en) 2015-12-24
CA2951417A1 (en) 2014-12-04
JP6110007B2 (ja) 2017-04-05
US20190235620A1 (en) 2019-08-01
US11181976B2 (en) 2021-11-23
US20150234455A1 (en) 2015-08-20
KR20170102585A (ko) 2017-09-11
JP6422137B2 (ja) 2018-11-14
CA2912109A1 (en) 2014-12-04
US10732707B2 (en) 2020-08-04
US20140354515A1 (en) 2014-12-04
KR102209873B1 (ko) 2021-02-01
JP2017033022A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
CN105452935B (zh) 用于头戴式显示器的基于预测跟踪的感知
CN112400150B (zh) 基于预测扫视着陆点的动态图形渲染
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
EP3396511A1 (en) Information processing device and operation reception method
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Facebook Technologies, LLC

Address before: California, USA

Patentee before: OCULUS VR, LLC

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder