CN112655202A - 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 - Google Patents

用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 Download PDF

Info

Publication number
CN112655202A
CN112655202A CN201980057497.1A CN201980057497A CN112655202A CN 112655202 A CN112655202 A CN 112655202A CN 201980057497 A CN201980057497 A CN 201980057497A CN 112655202 A CN112655202 A CN 112655202A
Authority
CN
China
Prior art keywords
camera
center
sensor array
mounted display
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980057497.1A
Other languages
English (en)
Other versions
CN112655202B (zh
Inventor
约书亚·马克·胡德曼
卡梅伦·韦德·罗施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN112655202A publication Critical patent/CN112655202A/zh
Application granted granted Critical
Publication of CN112655202B publication Critical patent/CN112655202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

为需要较少存储器和/或处理能力的头戴式显示系统提供立体深度摄像机的系统和方法。立体深度摄像机可包括彼此间隔一定距离的左摄像机和右摄像机。左摄像机和右摄像机中的每个均可从头戴式显示系统的向前方向向外倾斜非零角度，从而为立体深度摄像机提供相对宽的视场。左摄像机和右摄像机中的每个均可包括摄像机传感器阵列和位于摄像机传感器阵列前面的摄像机镜头。摄像机镜头中的每个均可包括从相关摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以使左摄像机镜头基本上定心在场景中心或主点上。

Description

用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
技术领域
本发明大体上涉及用于头戴式显示系统的深度摄像机。
背景技术
头戴式显示器(“HMD”)用于生成当前一代虚拟现实(“VR”)体验，头戴式显示器可束缚至固定计算机(诸如个人计算机(“PC”)、膝上型计算机或游戏控制台)，与智能电话和/或其相关联的显示器组合和/或集成，或独立。通常，HMD是佩戴在使用者头部上的显示设备，其在一只眼睛(单目HMD)或每只眼睛(双目HMD)的前面具有小显示设备。显示单元通常是小型化的，例如可包括CRT、LCD、硅基液晶(LCos)或OLED技术。双目HMD具有向每只眼睛显示不同图像的潜力。这种能力被用于显示立体图像。
随着智能电话、高清晰度电视以及其它电子设备的发展，对具有增强性能的显示器的需求逐渐增大。虚拟现实和增强现实系统，特别是使用HMD的那些系统的日益普及，已进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“”虚拟”现实代替佩戴者前方的实际或物理视图(或实际现实)，而增强现实系统通常提供佩戴者眼睛前方的一个或多个场景的半透明或透明覆盖，使得用附加信息增强实际视图，并且介导的现实系统可类似地将信息呈现给将现实世界元素与虚拟元素相结合的观看者。在许多虚拟现实和增强现实系统中，可以以各种方式跟踪这种头戴式显示器的佩戴者的运动，诸如通过头戴式显示器中和/或其外部的传感器，以便使所显示的图像能够反映使用者的运动。
位置跟踪允许HMD使用硬件和软件的组合来估计其相对于其周围环境的位置，以检测绝对位置。位置跟踪是虚拟现实中的重要特征，使得能够以六个自由度(6DOF)来跟踪运动。位置跟踪有助于虚拟现实体验的各种益处。例如，位置跟踪可改变使用者的视点以反映不同的动作，诸如闪避、向前倾斜、或跳跃，并且可允许表示使用者的手或虚拟环境中的其他对象。因为视差(即，更靠近眼睛的对象比更远离的对象移动得更快),位置跟踪还改善了虚拟环境的3D感知。
目前存在不同的位置跟踪方法，包括声跟踪、惯性跟踪、磁跟踪、光学跟踪等和/或其组合。内-外跟踪是可用于跟踪HMD和/或相关对象(例如，控制器)的位置的类型位置跟踪。内-外跟踪与外-内跟踪的不同之处在于用于确定HMD的位置的摄像机或其它传感器的位置。对于内-外跟踪，摄像机或传感器位于HMD上、或被跟踪的对象上，而在外-外跟踪中，摄像机或传感器放置在环境中的固定位置。
采用内-外跟踪的HMD利用一个或多个摄像机来“注意”，以确定其位置相对于环境如何改变。当HMD移动时，传感器重新调整它们在房间中的位置，以及拟环境相应地实时响应。这种类型的位置跟踪可用或不用放置在环境中的标记来实现。
放置在HMD上的摄像机观察周围环境的特征。当使用标记时，标记设计成易于由跟踪系统检测，并且放置在特定区域中。利用“无标记”的内-外跟踪，HMD系统使用初始存在于环境中的独特特征(例如，自然特征)来确定位置和方向。MD系统的算法识别特定的图像或形状，并使用特定的图像或形状来计算设备在空间中的位置。来自加速度计和陀螺仪的数据也可用于提高位置跟踪的精度。
发明内容
头戴式显示系统可概括为包括：支承结构；以及由所述支承结构承载的立体深度摄像机，立体深度摄像机可操作为捕获立体图像，立体深度摄像机包括：左摄像机，从头戴式显示系统的向前方向向外倾斜非零角度，左摄像机包括左摄像机传感器阵列和位于左摄像机传感器阵列前面的左摄像机镜头，左摄像机镜头包括从左摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将左摄像机镜头基本上定心在主点上；以及右摄像机，与左摄像机水平地间隔开，并且从头戴式显示系统的向前方向向外倾斜非零角度，右摄像机包括右摄像机传感器阵列和位于右摄像机传感器阵列前面的右摄像机镜头，右摄像机镜头包括从右摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将右摄像机镜头基本上定心在主点上。
左摄像机镜头和右摄像机镜头中的每个均可包括鱼眼镜头。左摄像机镜头的光轴可从左摄像机传感器阵列的中心横向偏移左偏移距离，以及右摄像机镜头的光轴可从右摄像机传感器阵列的中心横向偏移右偏移距离，其中左偏移距离可等于右偏移距离。左摄像机和右摄像机可各自向外从向前方向倾斜在5度和10度之间的非零角度。左摄像机镜头和右摄像机镜头的相应横向偏移可提供由左摄像机和右摄像机捕获的图像的相应点之间的小于5个像素的水平视差。左摄像机镜头和右摄像机镜头可横向偏移，使得摄像机镜头的失真以在头戴式显示系统的向前方向上的场景中心为中心。
可操作用于捕获立体图像的立体深度摄像机可概括为包括：左摄像机，从头戴式显示系统的向前方向向外倾斜非零角度，左摄像机包括左摄像机传感器阵列和位于左摄像机传感器阵列前面的左摄像机镜头，左摄像机镜头包括从左摄像机传感器阵列的中心朝向头戴式显示系统的中心横向偏移的光轴，以将左摄像机镜头基本上定心在主点上；以及右摄像机，与左摄像机水平地间隔开，并且从头戴式显示系统的向前方向向外倾斜非零角度，右摄像机包括右摄像机传感器阵列和位于右摄像机传感器阵列前面的右摄像机镜头，右摄像机镜头包括从右摄像机传感器阵列的中心朝向头戴式显示系统的中心横向偏移的光轴，以将右摄像机镜头基本上定心在主点上。
左摄像机镜头和右摄像机镜头中的每个均可包括鱼眼镜头。左摄像机镜头的光轴可从左摄像机传感器阵列的中心横向偏移左偏移距离，以及右摄像机镜头的光轴可从右摄像机传感器阵列的中心横向偏移右偏移距离，其中左偏移距离可等于右偏移距离。左摄像机和右摄像机可各自向外从向前方向倾斜在5度和10度之间的非零角度。左摄像机镜头和右摄像机镜头的相应横向偏移可提供由左摄像机和右摄像机捕获的图像的相应点之间的小于5个像素的水平视差。左摄像机镜头和右摄像机镜头可横向偏移，使得摄像机镜头的失真以在头戴式显示系统的向前方向上的场景中心为中心。
一种提供用于捕获立体图像的立体深度摄像机的方法可概括为包括：将左摄像机联接至头戴式显示系统的支承结构，左摄像机从头戴式显示系统的向前方向向外倾斜非零角度，其中左摄像机包括左摄像机传感器阵列和位于左摄像机传感器阵列前面的左摄像机镜头，左摄像机镜头包括从左摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将左摄像机镜头基本上定心在主点上；以及将右摄像机联接至头戴式显示系统的支承结构，右摄像机从头戴式显示系统的向前方向向外倾斜非零角度，右摄像机包括右摄像机传感器阵列和位于右摄像机传感器阵列前面的右摄像机镜头，右摄像机镜头包括从右摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将右摄像机镜头基本上定心在主点上。
将左摄像机和右摄像机联接至头戴式显示系统的支承结构可包括：将左摄像机和右摄像机联接至头戴式显示系统的支承结构，以及左摄像机镜头和右摄像机镜头中的每一个均可包括鱼眼镜头。将左摄像机和右摄像机联接至头戴式显示系统的支承结构可包括：将左摄像机和右摄像机联接至头戴式显示系统的支承结构，以及左摄像机镜头的光轴可从左摄像机传感器阵列的中心横向偏移左偏移距离，以及右摄像机镜头的光轴从右摄像机传感器阵列的中心横向偏移右偏移距离，其中，左偏移距离可等于右偏移距离。将左摄像机和右摄像机联接至头戴式显示系统的支承结构可包括：将左摄像机和右摄像机联接至头戴式显示系统的支承结构，以及左摄像机和右摄像机可各自从向前方向向外倾斜在5度与10度之间的非零角度。
附图说明
在附图中，相同的附图标记表示类似的元件或动作。附图中的元件的尺寸和相对位置不必按比例绘制。例如，各种元件和角度的形状不必按比例绘制，并且这些元件中的一些可任意地放大和定位，以提高附图的可读性。另外，如图所示的元件的特定形状不一定旨在传达关于特定元件的实际形状的任何信息，并且可仅选择为易于在附图中识别。
图1以特定方式示出了根据本公开的所述技术的特定实施方式中的头戴式显示系统的俯视平面图，头戴式显示系统包括双目显示器。
图2以特定方式示出了根据本公开的所述技术的特定实施方式中的头戴式显示系统的前视图，头戴式显示系统包括双目显示子系统和前摄像机，前摄像机是立体深度摄像机的组件。
图3以特定方式示出了根据本公开的所述技术的特定实施方式中图2中所示的头戴式显示系统的俯视平面图，示出了立体深度摄像机的摄像机的特定特征。
图4A以特定方式示出了根据本公开的所述技术的特定实施方式中的用于常规右侧摄像机的传感器和镜头的俯视平面图，其中镜头定心在传感器上方。
图4B以特定方式示出了根据本公开的所述技术的特定实施方式中的用于常规左侧摄像机的传感器和镜头的俯视图，其中镜头定心在传感器上方。
图5A以特定方式示出了根据本公开的所述技术的特定实施方式中的用于右侧摄像机的传感器和镜头的俯视平面图，其中镜头相对于传感器的中心向内横向偏移。
图5B以特定方式示出了根据本公开的所述技术的特定实施方式中的用于左侧摄像机的传感器和镜头的俯视平面图，其中镜头相对于传感器的中心向内横向偏移。
图6以特定方式示出了根据本公开的所述技术的特定实施方式中的图5A和图5B中所示的两个摄像机的相应传感器和镜头组件的俯视图。
图7以特定方式示出了根据本公开的所述技术的特定实施方式中的包括作为图4A和图4B中所示的常规摄像机的镜头组件和传感器的视场的函数的百分比失真的曲线图的图表。
图8以特定方式示出了根据本公开的所述技术的特定实施方式中的包括作为图5A和图5B中所示的摄像机的镜头组件和传感器的视场的函数的百分比失真的曲线图的图表。
图9以特定方式示出了根据本公开的所述技术的特定实施方式中的示例性头戴式显示系统的示意性框图。
具体实施方式
在以下描述中，阐述了某些具体细节，以提供对各种公开的实施例的透彻理解。然而，相关领域的技术人员将认识到，可在没有这些具体细节中的一个或多个的情况下，或者利用其它方法、部件、材料等来实施实施例。在其它实例中，未示出或详细描述与计算机系统、服务器计算机和/或通信网络相关联的众所周知的结构，以避免不必要地使实施例的描述不清楚。
除非上下文另有要求，否则在整个说明书和随后的权利要求中，词语“包括(comprising)”与“包括(including)”同义，并且是包含性的或开放式的(即，不排除附加的、未列举的元件或方法动作)。在整个说明书中，对“一个实施方式”或“实施方式”的引用意指结合实施例描述的特定特征、结构或特性包括在至少一个实施例中。因而，出现在说明书全文各处的词句“在一个实施方式中”或“在实施方式中”不一定都涉及相同的实施方式。另外，特定特征、结构或特性可以以任何适当的方式结合在一个或多个实施方式中。
如在本说明书和所附权利要求中所使用的，除非上下文另有明确指示，否则单数形式“一(a)”、“一(an)”和“所述”包括复数指代物。还应注意，除非上下文另有明确指示，否则术语“或”通常以其包括“和/或”的含义使用。
本文中提供的公开内容的标题和摘要仅为方便起见，并不解释实施例的范围或意义。
本公开的系统和方法涉及提供立体深度摄像机，以实现对需要减少的存储器和/或处理要求的头戴式显示系统的内-外跟踪。在至少一些实施方式中，立体深度摄像机由头戴式显示系统的支承结构承载。立体深度摄像机可包括左侧摄像机和右侧摄像机，左侧摄像机和右侧摄像机在本文中也称为左摄像机和右摄像机或第一摄像机和第二摄像机。左摄像机和右摄像机彼此间隔开一段距离(例如，60mm-65mm)。在至少一些实施方式中，左摄像机和右摄像机中的每一个均可从头戴式显示系统的向前方向水平向外倾斜非零角度(例如，5度-10度)，从而为立体深度摄像机提供相对宽的总视场(FOV)。如下面进一步讨论的是，左摄像机可包括左摄像机传感器阵列和位于左摄像机传感器阵列前面的左摄像机镜头(或镜头组件)，诸如鱼眼镜头。左摄像机镜头可包括从左摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将左摄像机镜头基本上定心在场景中心或主点上。类似地，右摄像机可包括右摄像机传感器阵列和位于右摄像机传感器阵列前面的右摄像机镜头，诸如鱼眼镜头。右摄像机镜头可包括从右摄像机传感器阵列的中心朝向支承结构的中心横向偏移的光轴，以将右摄像机镜头基本上上定心在场景中心或主点上。如下面进一步讨论的是，这些特征对准由左传感器阵列和右传感器阵列捕获的图像的像素，这减少或消除了在存储器中执行像素移位的需要，以及允许减少存储器需求和/或允许可将存储器用于其它目的(例如，失真校正)。
通常，深度感测立体摄像机或“立体深度摄像机”包括两个传感器或摄像机，所述传感器或摄像机定位成彼此间隔基线距离(例如，大约眼睛距离)，所述传感器或摄像机能够感测视场中的对象深度。这可通过立体三角测量或重建来实现，其中像素的深度数据根据使用立体或多摄像机设置系统获得的数据来确定。通过这种方式，例如可从场景中点的焦点之间的线的中心点来确定场景中点的深度。为了使用立体摄像机系统解决深度测量问题，首先必须在不同的图像中找到相应的点。解决对应问题是使用这种技术时的主要问题之一。例如，各种类型的噪声，诸如来自镜头失真的几何噪声或兴趣点检测误差，导致测量图像坐标不精确。
作为示例，当在右图像中观看时，两个立体图像之间的特征的差异可计算为左图像中的图像特征的左移。例如，出现在由左摄像机获得的左图像中的x坐标t(以像素测量)处的单个点(或其它特征)可出现在由右摄像机获得的右图像中的x坐标t-30处。在这种情况下，在右侧图像中的该位置处的水平视差将为30个像素。来自多个摄像机的图像的对准可能不期望地需要大量存储器或其它资源(例如，处理、数据传输)，这可能在各种应用中受到限制，诸如实时应用和/或期望最小重量、尺寸或成本的应用。
另外，对于在大视场具有相对高失真的镜头，诸如鱼眼镜头，两个立体图像之间的特征的大差异可能抑制相应特征的识别。例如，由于所使用的镜头在大视场时可能具有大量失真，因而，处理器(例如，图像信号处理器)可能具有在左图像和右图像之间寻找相关的困难时间，因为该失真改变了系统作为视场的函数所寻找的一个或多个特征的形状。因而，如果使用者正在观看在一个摄像机(例如，左摄像机)的FOV的中心的区域，其中存在低失真，则在中心的特征几乎没有或没有失真。如果相同的特征位于另一个摄像机(例如，右摄像机)的FOV的边缘或周边，则相同的特征具有显著失真。在这种情况下，由于两个图像中特征的变化的失真，系统可能不确定点是匹配的。
因而，在立体深度摄像机的两个摄像机中存在可允许多少失真的限制。该限制可由可用存储器驱动。例如，如果图像信号处理器有特定量的可用存储器，则图像的一小部分可不失真或不校正。例如，图像信号处理器可仅允许大约10％的失真，但是摄像机可在外围具有33％-34％的失真。结果，在不利用本文讨论的实施方式的情况下，可仅在图像的中心部分(例如，在该示例中小于10％失真的部分)上计算深度。
在本公开的至少一些实施方式中，不是移动存储器中的像素以对准两个摄像机的图像，而是对于每个摄像机，镜头从传感器的中心偏移，使得镜头的光轴或对准轴不对准传感器的中心，而是对准某一偏移值，该偏移值对应于由于摄像机的向外倾斜而使镜头偏移的量。因此，左摄像机和右摄像机的图像中的像素至少基本上彼此对准，而不必在存储器中进行移位。通过偏移要以场景中心为中心而不是传感器中心为中心的镜头，系统不需要在存储器中将图像偏移多个像素(例如，30个像素)来对准场景上的两个摄像机。下面参考附图进一步讨论本公开的各种特征。
图1是包括一对近眼显示系统102和104的HMD系统100的简化俯视图。近眼显示系统102和104分别包括显示器106和108(例如，OLED微显示器)以及各自具有一个或多个光学镜头的相应光学镜头系统110和112。显示系统102和104可安装到支承结构或框架114或包括前部116、左太阳穴部118和右太阳穴部120的其它安装结构。两个显示系统102和104可通过眼镜装置固定至框架114上，该眼镜装置可佩戴在使用者124的头部122上。左太阳穴部118和右太阳穴部120可分别搁在使用者的耳朵126和128上，而鼻子组件(未示出)可搁在使用者的鼻子130上。框架114的形状和尺寸可设计成将两个光学系统110和112中的每一个分别定位在使用者眼睛132和134中的一个的前面。尽管为了说明的目的，以类似于眼镜的简化方式示出了框架114，但是应当理解的是，实际上可使用更复杂的结构(例如，护目镜、集成头带、头盔、带子等)来将显示系统102和104支承和定位在使用者124的头部122上。
图1的HMD系统100能够向使用者124呈现虚拟现实显示，诸如通过以诸如每秒30帧(或图像)或每秒90帧的显示速率呈现的相应视频，而类似系统的其它实施方式可向使用者124呈现增强现实显示。显示器106和108中的每一个均可产生光，该光分别通过相应的光学系统110和112透射并聚焦到使用者124的眼睛132和134上。虽然在这里未示出，但是眼睛中的每个均包括光穿过其进入眼睛的瞳孔，典型的瞳孔尺寸范围从在非常明亮的条件下的直径2mm(毫米)至在黑暗条件下的多达8mm，而包含瞳孔的较大虹膜可具有大约12mm的尺寸-瞳孔(和封闭的虹膜)通常可在水平方向或垂直方向上在开放的眼睑下在眼睛的可见部分内移动几毫米，虹膜还将在眼球绕其中心旋转时将瞳孔从显示器的光学镜头或其它物理元件移动到不同的深度，以用于不同的水平和垂直位置(导致瞳孔可在其中移动的三维体积)。进入使用者瞳孔的光由使用者124看成图像和/或视频。在一些实施方式中，光学系统110和112中的每一个与使用者的眼睛132和134之间的距离可相对较短(例如，小于30mm、小于20mm)，因为光学系统和显示系统的重量相对接近使用者的面部，这有利地使得HMD系统100对使用者显得更亮，并且还可向使用者提供更大的视场。
HMD系统100还可包括前摄像机136a和136b，前摄像机136a和136b可为立体深度摄像机136的摄像机。立体深度摄像机136可操作为捕获可选择性地呈现给使用者124的图像数据，例如，在增强现实应用中或与虚拟现实应用相结合。附加地或替代地，立体深度摄像机136可由HMD系统100的位置跟踪系统使用，以在使用期间跟踪HMD系统100的位置，如本文别处所讨论。作为示例，摄像机136a和136b中的每一个均可包括视频摄像机和相关联的镜头系统，该镜头系统在具有相对宽的角度(例如，60°、90°、120°、150°)的前摄像机视场中以帧速率(例如，30Hz、60Hz、90Hz)捕获图像。
虽然在图1中未示出，但是这种HMD系统的一些实施方式可包括：各种附加的内部传感器和/或外部传感器，诸如用于为每个眼睛132和134分别执行瞳孔跟踪、跟踪头部位置和方向(例如，作为头部跟踪的部分)、跟踪使用者身体的各种其他类型的运动和位置；其他摄像机，用于记录外部图像(例如，环境的图像)等。
另外，虽然所描述的技术可在一些实施方式中与类似于图1所示的显示系统一起使用，但是在其它实施方式中，可使用其它类型的显示系统，包括与单个光学镜头和显示设备一起使用，或与多个这样的光学镜头和显示设备一起使用。其它这样的装置的非排他性实例包括摄像机、望远镜、显微镜、双目镜、点样镜、测量镜等。另外，所描述的技术可与发射光以形成图像的各种显示面板或其它显示设备一起使用，一个或多个使用者通过一个或多个光学镜头观看所述图像。在其它实施方式中，使用者可通过一个或多个光学镜头观看一个或多个图像，该一个或多个光学镜头以不同于通过显示面板的方式产生，诸如在部分或全部反射来自另一光源的光的表面上。
图2示出了当佩戴在使用者202的头部上时的示例性HMD系统200的前视图。图3示出了HMD系统200的俯视平面图，分别示出了HMD系统200的前摄像机206a和206b的示例性视场208a和208b。HMD系统200包括支承结构204，支承结构204支承正面或前面的立体深度摄像机206a和206b。摄像机206a在这里可称为左摄像机206a，以及摄像机206b在这里可称为右摄像机206b。立体深度摄像机206a和206b可与上面参考图1讨论的摄像机136a和136b类似或相同。
如图3所示，将摄像机206a和206b引导向前朝向场景或环境214，使用者202在场景或环境214中操作HMD系统200。环境214可在其中包括一个或多个对象213(示出一个)，对象213可包括墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记、或任何其它类型的对象。
摄像机206a和206b可具有相应的视场208a和208b。作为非限制性实例，视场208a和208b可为相对大的角度(例如，60°、90°、120°、150°)。如箭头210a所示，左摄像机206a可从头戴式显示系统200的向前方向(如箭头216a所示)水平向外倾斜或偏斜非零角度212a。类似地，如箭头210b所示，右摄像机206b可从头戴式显示系统200的向前方向(如箭头216b所示)水平向外倾斜或偏斜非零角度212b。例如，非零角度212a和212b可在5度和10度之间(例如，5度、7度、10度)。与其中摄像机直接向前或向内指向(“内八字(toed-in)”)的实现方式相比，两个摄像机206a和206b各自具有不同的指向角(“外八字(toed-out)”)，以在相对较大的视场(例如，150°到180°)上捕获图像。
图4A和图4B示出了用于左摄像机300a的传感器阵列302a和镜头204a(图4B)以及用于右摄像机300b的传感器阵列302b和镜头304b(图4A)的前视图。传感器阵列302a和302b的水平中心分别由虚线306a和306b表示，以及传感器阵列的竖直中心分别由虚线308a和308b表示。在示出常规配置的该示例中，镜头304a直接位于传感器阵列302a的中心上方，以及镜头304b直接位于传感器阵列302b的中心上方。由于两个摄像机300a和300b向外偏斜，因而，如上面所讨论和如图3所示，摄像机300a和300b两者的场景中心或主点310彼此向内偏移一定量，如图4A和图4B所示。特别地，对于左摄像机300a，中心310位于传感器阵列302a的水平中心306a的内部(如图所示向左)。类似地，对于右摄像机300b，中心310位于感觉阵列302b的水平中心306b的内部(如图所示向右)。在常规系统中，为了使摄像机300a和300b对中，头戴式显示系统的软件找到中心点310，并利用大量存储器来移动图像，以校正FOV上的失真。这种对中不合需要地消耗存储器，否则这种存储器可能被用于使图像不变形。也就是说，软件移动(或平移)像素以确定新的中心，以用于失真校正。
作为示例，头戴式显示系统的图像信号处理器可能够存储60或70个像素(像素列)，因而图像可偏移该数量的像素。由于摄像机向外倾斜，因而在实际数据被用于相关之前，在读出期间可存储大约30个像素，因为在读取30个像素之后，图像开始相关，因为这是两个摄像机之间的中心。
图5A、图5B和图6示出了左摄像机300a(图5B和图6)和右摄像机300b(图5A和图6)的示例性实施方式。在该实施方式中，如图5B和图6所示，左摄像机镜头304a和其相应的光轴312a从左摄像机传感器阵列302a的水平中心306a朝向头戴式显示系统的中心横向偏移距离“h”，以将左摄像机镜头基本上定心在场景中心或主点310上。类似地，如图5A和图6所示，右摄像机镜头304b和其相应的光轴312b从左摄像机传感器阵列302b的水平中心306b朝向头戴式显示系统的中心横向偏移距离“h”，以将右摄像机镜头基本上定心在场景中心或主点310上。在至少一些实施方式中，对于左摄像机镜头304a和右摄像机镜头304b，横向偏移距离“h”可相同。
因而，与图4A和图4B中所示的、使用用于像素偏移的存储器的摄像机配置不同，通过分别相对于传感阵列302a和302b向内偏移镜头304a和304b，失真现在以场景中心310为中心。因此，由摄像机300a和300b产生的图像的相关窗口良好匹配，因为两个图像均以场景中心310为中心。
图7是曲线图320，其包括作为图4A和图4B所示的常规镜头组件和传感器的视场的函数的百分比失真的曲线322。如图所示，由于摄像机300a和300b向外倾斜，失真相对于视场偏移。
图8是曲线图330，其包括作为图5A、图5B和图6中所示的镜头组件和传感器的视场的函数的百分比失真的曲线332。如图所示，如上所述，由于镜头304a和304b分别相对于传感器阵列302a和302b的中心横向向内偏移，因而失真以场景中心为中心(即，FOV中心处的最小失真)。
图9示出了根据本公开的一个或多个实施方式的HMD系统400的示意性框图。HMD系统400可与上述HMD系统100和200类似或相同。因而，上面关于HMD系统100和200的讨论也可适用于于HMD系统400。
HMD系统400包括处理器402、第一摄像机404(例如，左摄像机)和第二摄像机406(例如，右摄像机)，所述摄像机是立体深度摄像机的组件。第一摄像机404可包括传感器阵列404b和从传感器阵列的中心横向偏移的镜头404a，如上面参考图5A至图5B和图6所讨论。如上所述，第二摄像机406可包括传感器阵列406b和从传感器阵列的中心横向偏移的镜头406a。
HMD系统400可包括显示子系统408(例如，两个显示器和相应的光学系统)。HMD系统400还可包括非暂时性数据存储器410，其可存储用于失真校正的指令或数据412、位置跟踪、用于显示功能(例如，游戏)的指令或数据414、和/或其他程序416。
HMD系统400还可包括各种I/O组件418，I/O组件418可包括一个或多个使用者接口(例如，按钮、触摸板、扬声器)、一个或多个有线通信接口或无线通信接口等。作为示例，I/O组件418可包括允许HMD系统400通过有线通信链路或无线通信链路422与外部设备420通信的通信接口。作为非限制性示例，外部设备420可包括主计算机、服务器、移动设备(例如，智能电话、可佩戴计算机)等。HMD系统400的各种部件可容纳在单个外壳(例如，图2和图3的支承结构204)中，可容纳在单独的外壳(例如，主计算机)中，或其任意组合中。
应当理解是，所示的计算系统和设备仅仅是说明性的，而不是旨在限制本公开的范围。例如，HMD 400和/或外部设备420可连接至未示出的其它设备，包括通过一个或多个网络，例如因特网或通过Web。更一般地，这样的计算系统或设备可包括能够交互和执行所述类型的功能的硬件的任何组合，诸如当用适当的软件编程或以其它方式配置时，包括但不限于台式计算机、膝上型计算机、平板电脑、平板计算机或其它计算机、智能电话计算设备和其它蜂窝电话、因特网设备、PDA和其它电子组织器、数据库服务器、网络存储设备和其它网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机和/或游戏控制台和/或媒体服务器)、以及包括适当的互通能力的各种其它消费者产品。例如，在至少一些实施方式中，所示系统400和420可包括可执行软件指令和/或数据结构，该可执行软件指令和/或数据结构在加载到特定计算系统或设备上和/或由特定计算系统或设备执行时，可用于编程或以其他方式配置那些系统或设备，诸如配置那些系统或设备的处理器。可替代地，在其它实施方式中，软件系统中的一些或全部可在另一装置上的存储器中执行且经由计算机间通信与所示出的计算系统/装置通信。另外，虽然各种项目被示为在各种时间(例如，在使用的同时)存储在存储器中或保存器上，但是出于存储器管理和/或数据完整性的目的，这些项目或它们的部分可在存储器和保存器之间和/或存储设备之间(例如，在不同的位置)进行传送。
因而，在至少一些实施方式中，所示出的系统是基于软件的系统，其包括软件指令，所述软件指令在由一个或多个处理器和/或其它处理器装置执行时，对所述一个或多个处理器进行编程，以自动执行所述系统的所述操作。另外，在一些实施方式中，系统中的一些或全部可以以其它方式来实现或设置，诸如至少部分地以固件和/或硬件装置来实现或设置，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等。系统或数据结构中的一些或全部也可存储(例如，作为软件指令内容或结构化数据内容)在诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，RAM)、网络存储设备或便携式媒体物品(例如，DVD盘、CD盘、光盘、闪存设备等)之类的非暂时性计算机可读存储介质上，以便由适当的驱动器或经由适当的连接来读取。在一些实施方式中，系统、模块和数据结构还可作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的部分)在各种计算机可读传输介质上进行传输，其中所述计算机可读传输介质包括基于无线和基于有线/电缆的介质，并且所述数据信号可采取各种形式(例如，作为单个或多路复用模拟信号的部分，或作为多个离散数字分组或帧)。在其它实施方式中，这种计算机程序产品也可采用其它形式。因此，本公开可用其它计算机系统配置来实践。
所属领域的技术人员将认识到的是，本文陈述的许多方法或算法可采用额外的动作，可省略一些动作，和/或可按不同于指定的次序来执行动作。
上述各种实施方式可进行组合以提供其他实施方式。根据以上详细描述，可对实施方式进行这些改变和其它改变。通常，在随后的权利要求中，不应将所使用的术语解释为将权利要求限制为在说明书和权利要求中所公开的特定实施方式，而应将其解释为包括所有可能的实施方式以及这些权利要求所授权的等同物的全部范围。因此，权利要求不受本公开的限制。

Claims (16)

1.一种头戴式显示系统，包括：
支承结构；以及
立体深度摄像机，由所述支承结构承载，所述立体深度摄像机能够操作成捕获立体图像，所述立体深度摄像机包括：
左摄像机，从所述头戴式显示系统的向前方向向外倾斜非零角度，所述左摄像机包括左摄像机传感器阵列和位于所述左摄像机传感器阵列前面的左摄像机镜头，所述左摄像机镜头包括从所述左摄像机传感器阵列的中心朝向所述支承结构的中心横向偏移的光轴，以使所述左摄像机镜头基本上定心在主点上；以及
右摄像机，与所述左摄像机水平地间隔开，并从所述头戴式显示系统的向前方向向外倾斜非零角度，所述右摄像机包括右摄像机传感器阵列和位于所述右摄像机传感器阵列前面的右摄像机镜头，所述右摄像机镜头包括从所述右摄像机传感器阵列的中心朝向所述支承结构的中心横向偏移的光轴，以使所述右摄像机镜头基本上定心在所述主点上。
2.根据权利要求1所述的头戴式显示系统，其中，所述左摄像机镜头和所述右摄像机镜头中的每个均包括鱼眼镜头。
3.根据权利要求1所述的头戴式显示系统，其中，所述左摄像机镜头的光轴从所述左摄像机传感器阵列的中心横向偏移左偏移距离，以及所述右摄像机镜头的光轴从所述右摄像机传感器阵列的中心横向偏移右偏移距离，其中，所述左偏移距离等于所述右偏移距离。
4.根据权利要求1所述的头戴式显示系统，其中，所述左摄像机和所述右摄像机各自以非零角度从所述向前方向向外倾斜，所述非零角度在5度与10度之间。
5.根据权利要求1所述的头戴式显示系统，其中，所述左摄像机镜头和所述右摄像机镜头的相应横向偏移提供由所述左摄像机和所述右摄像机捕获的图像的相应点之间的小于5个像素的水平视差。
6.根据权利要求1所述的头戴式显示系统，其中，所述左摄像机镜头和所述右摄像机镜头横向偏移，使得所述左摄像机镜头和所述右摄像机镜头的失真以在所述头戴式显示系统的向前方向上的场景中心为中心。
7.一种立体深度摄像机，能够操作为捕获立体图像，所述立体深度摄像机包括：
左摄像机，从头戴式显示系统的向前方向向外倾斜非零角度，所述左摄像机包括左摄像机传感器阵列和位于所述左摄像机传感器阵列前面的左摄像机镜头，所述左摄像机镜头包括从所述左摄像机传感器阵列的中心朝向所述头戴式显示系统的中心横向偏移的光轴，以使所述左摄像机镜头基本上定心在主点上；以及
右摄像机，与所述左摄像机水平地间隔开，并从所述头戴式显示系统的向前方向向外倾斜非零角度，所述右摄像机包括右摄像机传感器阵列和位于所述右摄像机传感器阵列前面的右摄像机镜头，所述右摄像机镜头包括从所述右摄像机传感器阵列的中心朝向所述头戴式显示系统的中心横向偏移的光轴，以使所述右摄像机镜头基本上定心在所述主点上。
8.根据权利要求7所述的立体深度摄像机，其中，所述左摄像机镜头和所述右摄像机镜头中的每个均包括鱼眼镜头。
9.根据权利要求7所述的立体深度摄像机，其中，所述左摄像机镜头的光轴从所述左摄像机传感器阵列的中心横向偏移左偏移距离，以及所述右摄像机镜头的光轴从所述右摄像机传感器阵列的中心横向偏移右偏移距离，其中，所述左偏移距离等于所述右偏移距离。
10.根据权利要求7所述的立体深度摄像机，其中，所述左摄像机和所述右摄像机各自以非零角度从所述向前方向向外倾斜，所述非零角度在5度与10度之间。
11.根据权利要求7所述的立体深度摄像机，其中，所述左摄像机镜头和所述右摄像机镜头的相应横向偏移提供由所述左摄像机和所述右摄像机捕获的图像的相应点之间的小于5个像素的水平视差。
12.根据权利要求7所述的立体深度摄像机，其中，所述左摄像机镜头和所述右摄像机镜头横向偏移，使得所述左摄像机镜头和所述右摄像机镜头的失真以在所述头戴式显示系统的向前方向上的场景中心为中心。
13.一种设置立体深度摄像机的方法，所述立体深度摄像机能够操作为捕获立体图像，所述方法包括：
将左摄像机联接至头戴式显示系统的支承结构，所述左摄像机从所述头戴式显示系统的向前方向向外倾斜非零角度，其中，所述左摄像机包括左摄像机传感器阵列和位于所述左摄像机传感器阵列前面的左摄像机镜头，所述左摄像机镜头包括从所述左摄像机传感器阵列的中心朝向所述支承结构的中心横向偏移的光轴，以使所述左摄像机镜头基本上定心在主点上；以及
将右摄像机联接至所述头戴式显示系统的支承结构，所述右摄像机从所述头戴式显示系统的向前方向向外倾斜非零角度，所述右摄像机包括右摄像机传感器阵列和位于所述右摄像机传感器阵列前面的右摄像机镜头，所述右摄像机镜头包括从所述右摄像机传感器阵列的中心朝向所述支承结构的中心横向偏移的光轴，以使所述右摄像机镜头基本上定心在所述主点上。
14.根据权利要求13所述的方法，其中，将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构包括：将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构，以及所述左摄像机镜头和所述右摄像机镜头中的每个均包括鱼眼镜头。
15.根据权利要求13所述的方法，其中，将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构包括：将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构，以及所述左摄像机镜头的光轴从所述左摄像机传感器阵列的中心横向偏移左偏移距离，以及所述右摄像机镜头的光轴从所述右摄像机传感器阵列的中心横向偏移右偏移距离，其中，所述左偏移距离等于所述右偏移距离。
16.根据权利要求13所述的方法，其中，将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构包括：将所述左摄像机和所述右摄像机联接至所述头戴式显示系统的支承结构，以及所述左摄像机和所述右摄像机各自以非零角度从所述向前方向向外倾斜，所述非零角度在5度与10度之间。
CN201980057497.1A 2018-09-27 2019-09-26 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 Active CN112655202B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/144,805 2018-09-27
US16/144,805 US10764558B2 (en) 2018-09-27 2018-09-27 Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays
PCT/US2019/053273 WO2020069201A1 (en) 2018-09-27 2019-09-26 Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays

Publications (2)

Publication Number Publication Date
CN112655202A true CN112655202A (zh) 2021-04-13
CN112655202B CN112655202B (zh) 2023-05-23

Family

ID=69946811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057497.1A Active CN112655202B (zh) 2018-09-27 2019-09-26 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正

Country Status (6)

Country Link
US (1) US10764558B2 (zh)
EP (1) EP3857873A4 (zh)
JP (1) JP7435596B2 (zh)
KR (1) KR20210065167A (zh)
CN (1) CN112655202B (zh)
WO (1) WO2020069201A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103541A (ko) 2018-12-20 2021-08-23 스냅 인코포레이티드 입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CN115131224A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像校正方法及装置、电子设备及存储介质
US11900845B2 (en) * 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
US20240275940A1 (en) * 2023-02-10 2024-08-15 Microsoft Technology Licensing, Llc Head-mounted displays comprising a cyclopean-eye sensor system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204794A1 (en) * 2013-06-21 2014-12-24 Magna Electronics Inc. Vehicle vision system
US20180160097A1 (en) * 2016-12-04 2018-06-07 Genisama, Llc Instantaneous 180-degree 3D Recording and Playback Systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
WO2015195879A1 (en) * 2014-06-19 2015-12-23 Olloclip, Llc Auxiliary optical components for mobile devices
JP6582419B2 (ja) 2015-01-27 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
AU2017291131B2 (en) * 2016-06-30 2022-03-31 Magic Leap, Inc. Estimating pose in 3D space
US10670826B2 (en) * 2016-08-12 2020-06-02 Portero Holdings, Llc Auxiliary optical systems for mobile devices
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
US10488678B1 (en) * 2018-06-06 2019-11-26 Tectus Corporation Folded optical design for eye-mounted cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204794A1 (en) * 2013-06-21 2014-12-24 Magna Electronics Inc. Vehicle vision system
US20180160097A1 (en) * 2016-12-04 2018-06-07 Genisama, Llc Instantaneous 180-degree 3D Recording and Playback Systems

Also Published As

Publication number Publication date
WO2020069201A1 (en) 2020-04-02
JP2022501876A (ja) 2022-01-06
KR20210065167A (ko) 2021-06-03
US20200107013A1 (en) 2020-04-02
EP3857873A1 (en) 2021-08-04
JP7435596B2 (ja) 2024-02-21
EP3857873A4 (en) 2021-11-10
CN112655202B (zh) 2023-05-23
US10764558B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
US9904056B2 (en) Display
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
JP6860488B2 (ja) 複合現実システム
US10187633B2 (en) Head-mountable display system
US10659771B2 (en) Non-planar computational displays
US20130293447A1 (en) Head-mountable display system
US11720996B2 (en) Camera-based transparent display
WO2020090316A1 (ja) 情報処理装置、情報処理方法、及びプログラム
GB2523554A (en) Head-mountable apparatus and systems
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US20230215023A1 (en) Apparatus and Method for Virtual Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant