CN113777783B - 具有对准校正的双目增强现实系统及对准校正方法 - Google Patents

具有对准校正的双目增强现实系统及对准校正方法 Download PDF

Info

Publication number
CN113777783B
CN113777783B CN202110937851.9A CN202110937851A CN113777783B CN 113777783 B CN113777783 B CN 113777783B CN 202110937851 A CN202110937851 A CN 202110937851A CN 113777783 B CN113777783 B CN 113777783B
Authority
CN
China
Prior art keywords
camera
alignment
augmented reality
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110937851.9A
Other languages
English (en)
Other versions
CN113777783A (zh
Inventor
耶谢·丹齐格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumus Ltd
Original Assignee
Lumus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumus Ltd filed Critical Lumus Ltd
Priority to CN202110937851.9A priority Critical patent/CN113777783B/zh
Publication of CN113777783A publication Critical patent/CN113777783A/zh
Application granted granted Critical
Publication of CN113777783B publication Critical patent/CN113777783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本公开涉及具有对准校正的双目增强现实系统以及对准校正方法。一种具有对准校正的双目增强现实系统，包括：(a)右眼显示单元，其包括在空间上与第一摄像机相关联的第一增强现实显示器；(b)左眼显示单元，其包括在空间上与第二摄像机相关联的第二增强现实显示器；(c)可调整支撑结构，其在右眼显示单元和左侧显示单元之间提供可调整瞳孔间距离；以及(d)处理系统，其包括至少一个处理器，处理系统与第一和第二摄像机及第一和第二增强现实显示器数据通信，处理系统配置成确定第一和第二增强现实显示器之间的对准校正以用于图像的双目显示。

Description

具有对准校正的双目增强现实系统及对准校正方法
本申请是申请日为2019年1月2日、申请号为“201980003472.3”、发明名称为“具有主动对准的增强现实显示器及相应方法”的发明专利申请的分案申请。
技术领域
本发明涉及增强现实显示器，并且特别地涉及具有用于调整双目增强现实显示器的左眼显示器和右眼显示器的对准的布置的双目增强现实显示器，以及相应的对准方法。
背景技术
增强现实眼镜必须被精确地对准以提供增强图像的有效双目观看体验，并且即使相对小的未对准也会冒导致眼睛疲劳或头痛的风险。传统方法通常涉及图1A中所示的将左眼显示器和右眼显示器安装在机械刚性的公共支承结构上，以实现初步对准和显示器的固定相对位置。最终的精细对准通过如图1B示意性示出的图像的电子移位来实现，以实现显示器之间的校正对准，其中图1B示出了图像生成矩阵30(即显示器视场的物理末端)和根据通常被编程到与每个显示器相关联的固件中的校准矩阵的经变换的投射图像32。系统中设计了30与32之间的边距以适应对在预定义限制内的未对准进行校正所需的任何变换。
参照图1至图2，本文示出了根据该方法的示例性对准过程。通过将眼镜放置在两个共同对准的摄像机的前面并且将由两个投射仪生成的增强图像的取向进行比较来生成电子对准参数。得到的校准数据被引入到图像投射仪的变换固件。替选地，光学系统的机械对准可以精确到在所需的光学精确度内。上述对准过程需要专用的光学对准工作台，并且仅适合于生产设施中的实现方式。
需要以轻质化且紧凑的形状因子来实现增强现实眼镜，以使该技术更适合于消费者市场。然而轻质化实现方式通常缺乏足够的机械刚度以确保随时间推移两个显示器的对准不变，相反对准会由于热变化和其他机械或环境影响而发生变化。
此外，对不同的人来说，瞳孔间距(IPD，眼睛之间的距离)可以变化最高达15毫米。因此，如果两个投射仪刚性连接，则眼箱(eye-box)(即，预期眼睛瞳孔所处于的每个投射仪的照射区域，示为图1A中的区域10)的每一个必须对于每只眼睛能够加宽15/2＝7.5mm，以适应具有在限定的边距内的任何IPD的每个可能的用户。大的眼箱决定了更庞大并且更昂贵的光学元件。如果提供用于IPD调整的机构，这通常会将额外的不确定性引入到两个显示器之间的对准中，使得任何预校准的对准校正不可靠。
发明内容
本发明是具有用于调整双目增强现实显示器的左眼显示器和右眼显示器的对准的布置的双目增强现实显示器以及相应的对准方法。
根据本发明的实施方式的教导，提供了一种用于得到双目增强现实显示设备的右眼显示器与左眼显示器之间的对准校正的方法，该方法包括以下步骤：(a)定位具有视场的摄像机，使得摄像机视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分；(b)经由右眼显示器和左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；(c)采用摄像机来采样图像；(d)在图像内识别右场对准特征和左场对准特征，以及(e)根据右场对准特征和左场对准特征在图像内的位置得到增强现实显示设备的右眼显示器与左眼显示器之间的对准校正。
根据本发明的实施方式的另一特征，摄像机位于增强现实显示设备的观看侧，使得图像包括经由右眼显示器观看的右场对准特征和经由左眼显示器观看的左场对准特征。
根据本发明的实施方式的另一特征，利用视焦距来显示所投射的校准图像，并且其中，摄像机聚焦在视焦距处。
根据本发明的实施方式的另一特征，摄像机位于增强现实显示设备的观看侧的相反侧，使得摄像机从右眼显示器和左眼显示器中的每一个捕获图像照射的向外反射部分，并且使得图像包括经由右眼显示器观看的左场对准特征和经由左眼显示器观看的右场对准特征。
根据本发明的实施方式的另一特征，摄像机是手持摄像机，该方法还包括：经由右眼显示器和/或左眼显示器向用户显示至少一个指示以帮助正确定位摄像机。
根据本发明的实施方式的另一特征：(a)在图像内识别与双目增强现实显示设备相关联的足以限定至少三个基准点的特征；以及(b)确定摄像机相对于所述至少三个基准点的位置。
根据本发明的实施方式的另一特征，所述定位包括：将摄像机指向镜子，使得反射视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分。
根据本发明的实施方式的另一特征，摄像机是与屏幕集成的移动设备的摄像机，该方法还包括：经由屏幕向用户显示至少一个指示以帮助正确定位摄像机。
根据本发明的实施方式的另一特征，基于所得到的对准校正来实现对增强现实显示设备的对准校正。
根据本发明的实施方式的教导，还提供了一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，该方法包括以下步骤：(a)提供增强现实设备，该增强现实设备包括：(i)右眼显示单元，其包括与前视第一摄像机刚性集成的第一增强现实显示器，(ii)左眼显示单元，其包括与前视第二摄像机刚性集成的第二增强现实显示器，以及(iii)支承结构，其在右眼显示单元与左侧显示单元之间互连；(b)提供第一摄像机与第一增强现实显示器之间的第一对准映射以及第二摄像机与第二增强现实显示器之间的第二对准映射；(c)从第一摄像机采样至少一个图像；(d)从第二摄像机采样至少一个图像；(e)协同处理来自第一摄像机和第二摄像机的图像以得到指示第一摄像机与第二摄像机之间的相对取向的摄像机间映射；(f)将摄像机间映射与第一对准映射和第二对准映射进行组合以得到指示第一增强现实显示器和第二增强现实显示器的相对取向的显示器间对准映射；以及(g)基于显示器间对准映射来实现对增强现实显示设备的对准校正。
根据本发明的实施方式的另一特征，针对远处场景来采样来自第一摄像机和第二摄像机的所述至少一个图像。
根据本发明的实施方式的另一特征，来自第一摄像机和第二摄像机的所述至少一个图像是多个图像，并且其中，所述协同处理包括：得到所述多个图像中包括的场景的至少一部分的三维模型。
根据本发明的实施方式的教导，还提供了一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，该方法包括以下步骤：(a)提供增强现实设备，该增强现实设备包括右眼增强现实显示器、左眼增强现实显示器、与右眼增强现实显示器在空间上相关联的右摄像机、以及与左眼增强现实显示器在空间上相关联的左摄像机；(b)执行第一交叉配准过程，该第一交叉配准过程包括：(i)获得由右摄像机采样的场景的至少一个图像，(ii)经由左眼增强现实显示器来显示根据由右摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)接收来自用户的指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移的输入，以及(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与场景的相应直接观看特征对准；(c)执行第二交叉配准过程，该第二交叉配准过程包括：(i)获得由左摄像机采样的场景的至少一个图像，(ii)经由右眼增强现实显示器来显示根据由左摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)接收来自用户的指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移的输入，以及(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与场景的相应直接观看特征对准；以及(d)基于用户输入来实现对增强现实显示设备的对准校正。
根据本发明的实施方式的另一特征，用于每个交叉配准过程的所述至少一个对准特征是采样图像的至少一部分。
根据本发明的实施方式的另一特征，用于每个交叉配准过程的所述至少一个对准特征是与采样图像中检测到的特征相对应的位置标记。
根据本发明的实施方式的另一特征，获得到采样图像中的对象的估计距离，该估计距离被用于实现对准校正。
根据本发明的实施方式的另一特征，相对于右眼增强现实显示器刚性安装右摄像机，并且其中，相对于左眼显示器刚性安装左摄像机，使用右摄像机相对于右眼增强现实显示器的相对对准数据和左摄像机相对于左眼增强现实显示器的相对对准数据来实现对准校正。
根据本发明的实施方式的另一特征，执行至少一个附加配准过程以接收用于校正右眼增强现实显示器和左眼增强现实显示器中的至少一个相对于右摄像机和左摄像机中的相应的一个的对准的用户输入。
附图说明
本文中参照附图仅通过示例来描述本发明，在附图中：
如上所述，图1A是根据现有技术的双目增强现实显示器的俯视图；
图1B是说明用于增强现实显示器的电子对准校正的原理的示意性表示；
图2是示出根据现有技术的用于校准增强现实显示器的工厂调整过程的流程图；
图3是根据本发明的实施方式的被构造和操作的具有用于调整IPD的布置的双目增强现实显示器的示意性前视图；
图4是使用中的图3的显示器的示意性侧视图；
图5是根据第一实现方式选项的在工厂部分校准过程期间的图4的设备的示意性侧视图；
图6是根据第二实现方式选项的在工厂部分校准过程期间的图4的设备的示意性侧视图；
图7是包括从不同方向采样对象或场景的多个图像的校准过程的示意性表示；
图8是示出根据本发明的方面的用于图3和图4的增强现实显示器的对准校准的方法的流程图；
图9A和图9B分别是采用对准校准的替选技术的增强现实显示设备的侧视示意图和前视示意图；
图9C是根据本发明该方面的由用户执行的对准调整的示意性表示；
图10A是根据本发明的另一方面的在对准校准的实现期间的增强现实显示设备的示意性侧视图；
图10B是示出用于将增强现实图像传递给用户的眼睛的两种可能的几何形状的光导光学元件的放大示意性侧视图；
图11A是图10A的布置的示意性俯视图；
图11B是图10A的布置的变型实现方式的示意性俯视图；
图11C是被采用作为用于图10A的对准校准的摄像机的移动通信设备的示意性表示；
图11D是根据本发明该方面的在对准校准的执行期间经由增强现实显示器显示的校准图像的示意性表示；
图11E是根据本发明该方面的在对准校准的执行期间由摄像机进行采样的图像的示意性表示；
图11F是图10A的布置的另一变型实现方式的示意性俯视图；以及
图12是示出根据图10A、图11A、图11B和图11F的布置的对准校准的方法的流程图。
具体实施方式
本发明是具有用于调整双目增强现实显示器的左眼显示器和右眼显示器的对准的布置的双目增强现实显示器以及相应的对准方法。
参照附图和所附描述可以更好地理解根据本发明的设备和方法的原理和操作。
通过介绍，本发明解决了其中不存在双目增强现实显示器的右眼显示器与左眼显示器之间的预校准对准或者该预校准对准不被认为是可靠的一系列情况。这可能是由于使用了不能确保在持续的时间段内和/或变化的环境条件下部件的不变刚性对准的轻质化结构部件，或者可能是由于存在可能导致显示器的最终校准不精确的调整机构特别是IPD调整机构。IPD调整机构的存在是特别优选的，从而允许增强现实显示设备适应具有不同瞳孔间距的用户，并且同时降低对投射仪眼箱大小和因之的投射仪体积、复杂性和成本的要求。然而，IPD调整机构通常将可变性引入到两个显示器投射仪的对准中。
为了解决这些问题，本发明提供了三组解决方案，该三组解决方案允许在最终用户的正常工作环境中校准或重新校准双目增强现实显示设备的右眼显示器和左眼显示器的对准，而不需要任何专业设备。具体地，对准校正技术的第一子集被实现为基于由与相应的左眼显示器和右眼显示器相关联的双边摄像机采样的图像的相关性的自动或半自动对准过程。也利用安装在设备上的摄像机的对准校正技术的第二子集需要用户输入以将显示的特征与相应的真实世界特征对准。最后，对准校正技术的第三子集可在不依赖于安装在设备上的摄像机而是依赖于外部摄像机的情况下应用。这些技术子集中的每一个还优选地对应于具有被配置成实现对应技术的控制部件的双目增强现实设备的不同实现方式。现在将详细描述每种方法。
现在参照附图，图3至图8示出了双目增强现实显示设备、初始部分对准过程、以及用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的相应方法等各个方面，以上所有全部根据本发明的方面的第一方法。根据该方法，两个显示器(“投射仪”)的每一个刚性地附接至前视摄像机。在眼睛投射仪之间桥接的支承结构相对较不刚性和/或可以由用户根据他或她的个人IPD进行修改和锁定。比较由摄像机接收的场景的图像，并且为投射仪得到变换矩阵。
因此，概括地说，提供了一种增强现实设备，该增强现实设备包括右眼显示单元和左眼显示单元，右眼显示单元具有与前视第一摄像机刚性集成的第一增强现实显示器，并且左眼显示单元具有与前视第二摄像机刚性集成的第二增强现实显示器。增强现实设备还包括在右眼显示单元与左侧显示单元之间互连的支承结构。根据该方法的优选方面，每个显示单元是刚性的，使得每个摄像机与相应的增强现实显示器固定对准，并且系统被提供有或者得到每个摄像机与相应的增强现实显示器之间的对准映射，该对准映射通常呈变换矩阵的形式，该变换矩阵将摄像机对准映射到显示器(即允许显示与通过增强现实显示器观看到的远处场景的真实世界正确地对准的摄像机图像)。另一方面，支承结构不必被认为足够刚性以在一段时间内在左眼显示单元与右眼显示单元之间提供不变的对准，并且在某些特别优选的实现方式中，支撑结构包括允许为不同用户调整IPD的调整机构，该调整通常会导致在调整期间的角度对准的一些变化。
然后，优选地由与增强现实显示设备相关联的处理系统来执行对准校正，该处理系统可以是机载处理系统或者可以是经由短程或远程通信连接与设备相关联的处理系统。在本申请的此处和其他地方，所描述的处理可以由如本领域普通技术人员根据其最适合于本文所描述的功能容易地选择的标准处理部件来执行，标准处理部件可以是由合适的软件配置的通用硬件或者ASIC或者其他专用或半专用硬件。此外，可以在任何位置处或位置的组合处执行处理，所述位置包括但不限于形成增强现实显示设备的一部分的一个或更多个机载处理器、与AR显示设备有线连接或无线连接的移动通信设备、位于远程位置处并且经由WAN连接至AR显示设备的服务器、以及由动态分配的计算资源组成的云计算虚拟机。处理系统实现方式的细节对于本发明的实现方式不是必需的，并且因此本文将不再进一步详细描述。
根据本发明的方面的对准校正过程优选地包括：
i.从第一摄像机采样至少一个图像；
ii.从第二摄像机采样至少一个图像；
iii.协同处理来自第一摄像机和第二摄像机的图像以得到指示第一摄像机与第二摄像机之间的相对取向的摄像机间映射；
iv.将摄像机间映射与第一对准映射和第二对准映射进行组合以得到指示第一增强现实显示器和第二增强现实显示器的相对取向的显示器间对准映射；以及
v.基于显示器间对准映射来实现对增强现实显示设备的对准校正。
该过程将在下面更详细地讨论。
图3示意性地描绘了根据本发明的系统的前视图。光学组件40R和40L将图像投射到相应的透视光学元件42R和42L中，所述透视光学元件42R和42L优选地被实现为具有用于将虚拟图像分别耦出到观察者的右眼和左眼上的部分反射器或衍射光学元件的透光光导光学元件。前向摄像机44R和44L刚性地附接至它们的相邻投射仪，而优选地被实现为可调整的机械布置的支承结构46连接两个投射仪。优选地，可以解锁该机械布置以改变投射仪之间的距离，然后在使用之前再次锁定。这样可以进行IPD调整，减小投射仪的大小并且降低复杂性。应当理解，在解锁和锁定布置46之后通常不能维持精确的平行度和取向。
图4示出了左投射仪和摄像机的示意性侧视图表示。来自光学元件40L的光穿过波导42L并且朝向眼睛偏转(未示出偏转方法，但该偏转方法通常基于如从鲁姆斯有限公司(Lumus Ltd.)市售的具有内部倾斜部分反射小平面(facet)的基板或基于衍射光学元件的布置)。由摄像机44L对对象50或景物成像。由右摄像机44R对同一对象成像。
根据本发明该方面的对准校正过程需要针对右眼显示单元和左眼显示单元中的每一个确定每个摄像机与相应增强现实显示器之间的对准映射。优选地，在优选地作为制造过程的一部分的摄像机投射仪集成之后测量摄像机轴与投射仪轴之间的变换参数。可以使用各种技术来确定对准映射。现在将参照图5和图6来描述两个选项。
在图5中，外部夹具52牢固地保持共同对准的投射仪54和摄像机56。投射仪和摄像机优选地被对准成它们的光轴彼此平行，并且最优选地以足够的精确度对准，使得在两者之间不需要变换参数。投射仪54投射由摄像机44L接收的“参考图像”。处理系统将类似的居中图像注入投射仪40L，该投射仪40L生成由摄像机56经由光学元件42L接收的投射图像。处理系统比较来自44L和56的图像以定义40L与44L之间的变换参数。如果需要，还优选地记录44L与42L(具体地，该波导的眼箱中心)之间的距离以用于视差计算。
在图6中，两个投射仪54U和54D刚性地附接(或者替选地，可以被实现为具有足够大的孔径的单个投射仪)并且投射通常瞄准在无限远处的校准图像。来自54U的图像由摄像机44L接收并且被“注入”到投射仪40L中。在这种情况下，摄像机56通过光学元件42L同时接收由54D投射的直接观看图像与由投射仪40L投射的图像的叠加。两个图像之间的差异对应于投射仪40L与摄像机44L之间的变换数据。最优选地，自动对准过程可以调整对由投射仪40L生成的图像的对准直到摄像机56接收到清晰(精确叠加的)的图像，但是使用合适的图形用户界面(未示出)的手动控制调整过程也是可以的。在这个阶段，这种调整实际上不需要在设备固件中实现，因为最终的对准还将依赖于双目对准。为了有助于手动或自动对准，对准图像可以是X十字准线等，并且为了对准过程期间的清楚的区分，可以改变来自40L的图像的颜色，或者可以使图像闪烁。然后，需要使两个视觉上区分开的X十字准线对准。
如果投射仪42L上的光学元件生成处于有限距离处的虚拟图像，则优选的是将校准图像和54U与54D的转换也设置为该距离，并且由于距离参数是已知的，从投射仪40L投射的图像在注入到42L时根据摄像机44L与投射仪42L之间的视差被移位。
对于右眼显示单元，清楚地重复(或同时执行)针对左眼显示单元示出的上述对准过程。结果是明确定义的变换矩阵，该变换矩阵将摄像机对准映射到显示单元的每一个的显示器。
在使用上述对准技术之一之后，在制造期间或之后，为了得到每个投射仪与其对应摄像机之间的对准变换，然后可以在由最终用户执行的校准过程中使用摄像机在需要时测量和校正两个投射仪之间的未对准，例如，在IPD的调整之后或者作为间歇性地(或者在某些优选的应用中每当设备通电时)执行的自动化自校准过程来测量和校正两个投射仪之间的未对准。
当摄像机采样远处场景的图像时，解决摄像机44L和44R的相对取向(在IPD调整之后，如图3所述)是特别简单的，这是因为两个采样图像之间的视差可以忽略不计。在这种情况下，“远处”理想地是超过约100米的任何距离，这确保了由于眼睛/摄像机之间的会聚(convergence)引起的角度变化小于人类视觉感知的角度分辨率。然而，实际上，这里的“远处”可以包括超过30米的任何距离，并且在一些情况下，10米或20米的距离也可以允许使用这种具有可接受的结果的简化的校准过程。因此，在用户致动校准的情况下，可以指示用户在开始校准过程之前将设备指向远处的场景。类似地，在设备用于室外环境的情况下，设备可以被配置成经由测距传感器或者通过图像处理来检测摄像机何时观看远处的场景。然后，可以通过从每个摄像机44L和44R采样来自远处场景的图像，并且在两个图像之间执行图像比较/配准以确定摄像机之间的变换来形成校准。
即使在场景处于短距离的情况下，有时也可以使用简单的图像配准进行对准校正，只要场景几乎没有“深度”并且两个摄像机基本上采样相同的图像即可。一个这样的示例是通过对诸如墙壁上的海报或其他图片或纹理的平坦表面进行成像来进行校准。在这种情况下，需要关于从摄像机到表面的距离的信息以校正会聚角。
为了允许在可能无法获得“远处的景物”的一系列情况下进行校准，或者为了适合于在没有用户协作的情况下自动执行的更稳健的校准过程，也可以使用附近的对象来执行校准，对于这些对象摄像机之间的视差是明显的。在这种情况下，需要3D重建以“解决”相对摄像机位置。可能需要移动摄像机来生成多个图像以得到精确的解决方案，如图7中示意性所示。例如，用于该计算的算法在与SLAM(同步定位与建图)处理有关的文献和开源代码库中是周知的。通过采用这些算法，针对每个摄像机生成至少部分场景的3D重建(或“模型”)。使用摄像机之间的重建偏移来确定投射仪之间的偏移(空间和取向)。
在使用SLAM处理来得到模型的情况下，需要缩放因子来完全解析该模型。该缩放因子可以从许多源中的任何源得到，所述源包括但不限于：在没有IPD调整的设备的情况下两个摄像机之间的已知距离；两个摄像机之间的测量距离，其中编码器包括在IPD调整机构上；从与设备集成的惯性运动传感器布置得到的摄像机运动；如例如通过与设备集成的测距仪得到的到一个图像内的像素位置的距离；图像的视场内包括的已知尺寸的对象的识别；以及诸如已知具有直边等的对象的附加参数约束的引入。
图8中示出了在IPD调整和随后的重新调整的情况下的总体整个过程的示例性概述。首先，假设此处的过程在例如通过IPD调整对投射仪之间的距离的调整(步骤110)之后启动，并且可以是用户启动的或者自动触发的。该过程也可以被实现为在设备启动时执行的或者手动触发或者通过软件触发信号触发的自动或半自动过程，可选地生成提示用户相对于所观看的场景进行移动的提示。
一旦被触发，则设备就针对左摄像机(步骤112)和右摄像机(步骤114)获取场景的图像，并且处理系统(在设备上，在本地或在远程)比较图像以得到两个摄像机的相对取向(步骤116)。在由于图像之间的视差变化而导致简单配准过程失败的情况下，系统优选地采样附加图像并且如果需要(步骤118)则等待运动以得到部分视场的至少部分3D模型，从而允许得到相对摄像机取向。在步骤120处，该相对摄像机取向数据被与先前得到的左摄像机到左投射仪变换数据(122)和右摄像机到右投射仪变换数据(124)一起使用以确定用于每个投射仪的被引入到相应固件中的整体对准校正(步骤126和步骤128)，从而允许将左虚拟图像转换为左变换虚拟图像以从投射仪40L进行投射并且将右虚拟图像转换为右变换虚拟图像以从投射仪40R进行投射，以便生成正确对准的观看图像。
现在转向双目增强现实显示设备的右眼显示器和左眼显示器的对准校正方法的第二子集，图9A和图9B示意性地示出了用户提供输入以限定对准校正的至少一部分的布置。因此，在图9A中示出了与图3和图4的光学设备类似但是添加了用户输入设备130的光学设备，该用户输入设备可以是操纵杆、触摸屏或任何其他合适的用户输入设备，可选地被实现为在移动电子设备上运行的APP。如前所述，该方法假设存在与左眼增强现实显示器(投射仪40L和耦出光学元件42L)在空间上相关联的左摄像机44L，以及用于设备的右眼侧(未示出)的相应元件(与右眼增强现实显示器在空间上相关联的右摄像机)。
根据本发明的该方面的某些特别优选的实现方式的特定特征是对准校正方法包括第一交叉配准过程，该第一交叉配准过程包括：
i.获得由右摄像机采样的场景的至少一个图像，
ii.经由左眼增强现实显示器显示根据由右摄像机采样的至少一个图像得到的至少一个对准特征，
iii.接收来自用户的指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移的输入，以及
iv.根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与场景的相应直接观看特征对准为止。这限定了由图9B中的箭头78示意性表示的变换。
更优选地，该对准过程还包括反转的交叉配准过程，即：
i.获得由左摄像机采样的场景的至少一个图像，
ii.经由右眼增强现实显示器来显示根据由左摄像机采样的所述至少一个图像得到的至少一个对准特征，
iii.接收来自用户的输入，该输入指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移，以及
iv.根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与场景的相应直接观看特征对准。这限定了由图9B中箭头76示意性表示的变换。
然后，使用用户输入以实现对增强现实显示设备的对准校正。在相对于相应的增强现实显示器刚性安装每个摄像机的情况下，如在上述示例中那样，使用相对于右眼增强现实显示器的用于右摄像机的相对对准数据(箭头74)和相对于左眼增强现实显示器的用于左摄像机的相对对准数据(箭头72)来实现对准校正。这样的数据可以通过工厂对准过程来获得，例如上面参照图5和图6所描述的。
在更一般的情况下，在变换72和变换74未知或者可能由于左/右显示器相对于摄像机的非刚性(例如，可调整的)安装而变化的情况下，可以通过至少一个附加配准过程来获得变换72和变换74，所述至少一个附加配准过程接收用于校正右眼增强现实显示器和左眼增强现实显示器中的至少一个相对于右摄像机和左摄像机中的相应一个的对准的用户输入。这些配准过程可以以与本文所描述的交叉配准过程基本相同的方式来执行。
如果确定了所有四个变换72、74、76和78，则存在一些信息冗余，因为原则上这些变换中的任何三个足以确定两个显示器之间的整体校准矩阵。实际上，使用这样的冗余有利于提高对准校正的精确度。
在对准过程期间，每个投射仪分别被激活。根据该方法的通常操作序列将如下来进行：
1)指示用户看位于与虚拟图像相同的标称距离(视距离)处的景物对象。该过程最简单地使用“远处”对象来实现，以避免视差补偿问题，但是也可以如下所讨论地来校正视差问题。
2)处理系统将来自一个眼睛的摄像机的图像注入到相邻的投射仪上，使得观察者看到相同的增强的和“真实世界”叠加。如果场景不是“远处”场景，则根据估计的到场景的距离将视差补偿引入到投射图像。如果摄像机轴和投射仪轴(在视差补偿之后)不精确，则存在移位失配(偏移)57(图9C)。
3)观察者手动控制虚拟图像的位置和旋转，并且移动增强现实图像以与“真实世界”图像57重叠(映射72)。
4)对第二个眼睛重复该过程以生成映射74。到目前为止，实现的校准是在每个摄像机与其相邻的投射仪之间。
5)处理系统将来自一个眼睛的摄像机(44L)的图像注入到相对的投射仪(40R)上并且让用户对准图像，以确定映射76。
对相对的摄像机和投射仪重复相同过程以生成映射78。
现在校准两个投射仪和两个摄像机取向。
针对该对准过程投射的图像(对准特征)可以是采样图像的至少一部分。在这种情况下，用户获得不完全配合的叠加图像的“双视觉”效果，并且调整对准直到它们完全叠加。
替选地，投射的对准特征图像可以包括通过图像处理从采样图像得到的并且与采样图像中检测到的特征对应的一个或更多个位置标记。这可以是对象的轮廓，或者是标示图像中的“角”特征的多个标记。在这种情况下，用户将这些位置标记与真实世界视图中的相应特征对准。
在使用不是远处场景的场景来执行上述过程的情况下，需要估计到场景的距离以基于每个摄像机与相应EMB中心之间的已知距离来执行视差校正。该距离可以由用户输入或者可以由系统根据如本领域中已知的可用传感器和/或图像处理的任何组合来得到——取决于应用的细节。如何得到距离的非限制性示例包括：采用测距传感器、对图像执行SLAM处理以得到3D模型(如上面进一步详述的)、以及采样包含具有已知尺寸的对象的图像。
许多投射仪包括将虚拟图像投射到有限距离的光学元件。在这种情况下，优选地在观看与虚拟图像的视距离相匹配的距离处的场景的同时执行校准。例如，如果虚拟图像被聚焦到2米，则校准也应该优选地针对位于约两米的距离处的场景或对象来执行。根据在指定距离和场中心处的摄像机与投射仪之间的视差(相对距离已知)来偏移从摄像机到投射仪的注入图像。
重要的是要注意，如果在生产过程期间刚性地组合两个投射仪/摄像机对，即没有针对IPD的可调整间距，则此处描述的对准过程也是适用的。在这种情况下，如上所述，变换72和变换74通常是预先校准的，并且仅通过用户输入来实现变换76和变换78。
在本文中提到“立体对准校正”的所有情况下，立体对准校正通常通过生成将每个眼睛与真实世界联系起来的或者定义眼睛之间的关系的校准矩阵来实现。
执行对双目增强现实的投射仪的交叉对准的替选方法可以在不依赖于向外看的摄像机(该向外看的摄像机可以存在或者可以不存在于产品中)的情况下来实现。相反，对准校正技术的该第三子集采用与增强现实显示设备分离的同时从右眼显示器和左眼显示器采样图像的摄像机，并且然后根据图像得到对准校正。以下呈现该替选方法的示例性实现方式。
一般而言，根据本发明的该方面，用于得到双目增强现实显示设备的右眼显示器与左眼显示器之间的对准校正的方法包括以下步骤：
a)定位具有视场的摄像机，使得摄像机视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分；
b)经由右眼显示器和左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；
c)采用摄像机来采样图像；
d)在图像内识别右场对准特征和左场对准特征；以及
e)根据右场对准特征和左场对准特征在图像内的位置得到增强现实显示设备的右眼显示器与左眼显示器之间的对准校正。
图10A中示意性地在此处示出了该方法的一种实现方式。应当注意，由波导42向观察者眼睛投射的一些光例如被波导的最靠近眼睛的外表面向前(即，从用户向外)反射。在此处示出的实现方式中，正是这种向外反射的光被位于与增强现实显示设备40L、42L的观看侧相反的侧的摄像机80检测到，使得摄像机捕获来自右眼显示器和左眼显示器中的每一个的图像照射的向外反射的部分。
系统控制器将图像注入到投射仪40，投射仪40通过波导42照射眼睛，如实线箭头所示。一些光沿如点划线箭头所示的相反方向被反射。
便携式设备80上的摄像机接收向前反射的图像的至少一部分，并且将图像发送至系统控制器以进行处理。(此处仅是示意性地示出了摄像机，并且明显地会将摄像机定向成面向投射仪并且定位成捕获向前反射的图像照射的一部分。)可选地，可以在便携式设备本身中执行该处理。
尽管仅由摄像机80接收到场的一部分，但是将图像设计成使得可以得知接收到图像的哪个部分，如下面参照图11D进一步讨论的。根据该部分，处理器得到摄像机相对于向前投射图像的取向。
图10B示意性地示出了两个投射仪99L和99R，每个投射仪指示相应设备的针对两个眼睛的投射仪取向。在99L中，垂直于波导99L的面朝向观察者投射光线100，并且因此反射102沿着光轴在相反方向上被反射。相比之下，在波导99R中，示出了替选的几何形状，其中由输出光线104指示的投射图像光轴不垂直于波导99R的表面，因此反射光线106不与104相反。因此，应该针对相对于104的偏移106得到校准矩阵。该校准矩阵应该通过在投射仪生产期间将向前图像(100和104)与反射图像(102和106)进行比较或如下所述来得到。
同时对两个投射仪执行根据该方法的图像获取，如在图11A中的平面图中示意性地示出的。点划线箭头表示向前反射图像。摄像机80接收来自两个投射仪的反射图像的不同部分并且得到两个场的取向。如上所述，通过比较这些取向，可以得到投射仪之间的相对取向并且以电子方式校正对准。
如果将摄像机80放置得更加远离投射仪42，则可以提高校准的精确度。在不能被方便地保持远离设备的手持式摄像机的情况下，可以通过镜子57观察投射仪来实现从更大有效距离的成像，如图11B所示。这种基于镜子的几何结构还允许使用增强现实显示设备本身的内置前视摄像机来实现该校准技术，特别是实现在设置有单个中央前视摄像机的设备中。
可以通过在校准期间向用户提供用于正确定位摄像机的视觉引导提示来优化摄像机80的取向。例如，如果摄像机80是与屏幕集成的移动设备例如移动电话的摄像机，则可以经由屏幕来显示对用户的至少一个指示以帮助正确定位摄像机，如图11C所示。另外地或替选地，对于任何手持式摄像机，可以经由增强现实显示器中的一个或两个向用户显示至少一个指示以帮助正确定位摄像机。
图11D示出了可以由两个显示器投射以用于校准过程的图像的示例。可以使用其他任意图像，并且该图像在此处作为非限制性示例呈现。该图像具有清楚的标记90a和90b，这两个标记分别用作左场对准特征和右场对准特征。右场对准特征和左场对准特征可以是连续几何图案的一部分，或者可以是分离的特征，并且优选地彼此可区分。它们优选地包括以下特征：所述特征通过图像处理技术容易识别和处理，以得到位置和取向。在对由投射仪本身引入的任何几何失真进行补偿之后，投射图像。应当注意，通过摄像机80仅从每个分开的投射仪捕获图像的一部分。将摄像机定位成使得在投射仪“外部”处的摄像机的情况下，采样图像包括经由右眼显示器观看的左场对准特征和经由左眼显示器观看的右场对准特征。
图11E示意性地示出了由摄像机80接收的图像100。从摄像机80到眼镜的距离可以根据图像中的关于眼镜的参数例如眼镜大小82来得到。在波导42R和波导42L中，投射图像的反射明显为84R和84L。两个反射中的图像包括标记90a和标记90b。通过测量标记86之间的图像中的角距离，并且考虑由到眼镜的已知距离引起的视差，可以知道投射仪42R与投射仪42L之间的实际未对准。还可以如指定为88的倾斜角所示得到角度未对准。该架构还使得能够检测眼睛位置60R和眼睛位置60L。通过考虑投射仪眼箱中眼睛位置引起的失真，这进一步改进了投射对准。
在替选的一组实现方式中，摄像机80位于增强现实显示设备的观看侧，即，用户通过显示器观看的一侧。在这种情况下，采样图像包括经由右眼显示器观看的右场对准特征和经由左眼显示器观看的左场对准特征。该实现方式的示例在图11F中示出。
重要的是将摄像机80聚焦到投射图像上。如果将透镜放置在投射仪42的前面，则将在有限视距离(视焦距(apparent focal distance))处生成虚拟图像51。在得到被引入84R和84L的视差时应该考虑这一点。
在图11F的示例中，投射仪包括透镜，使得图像51被投射为视焦距61处的虚拟图像62L(来自42L)和62R(来自42R)。应该使这两个图像达到精确重叠关系以实现最佳对准。由摄像机80获取的图像将等同于84L和84R(图11E中描述的)，并且对62L与62R之间的偏移的得出将考虑至虚拟图像61(由透镜预设)和至摄像机63的距离(例如，再次通过识别图像中的设备82的尺寸来得到)。
如上所述，摄像机80距显示设备的距离可以通过识别图像内的与显示设备相关联的特征例如宽度尺寸82来确定。理想地，为了确定摄像机相对于显示设备的距离和取向，处理系统优选地在图像内识别与双目增强现实显示设备相关联的足以限定至少三个(最优选地，四个)非共线(以及，四个非共面的)基准点的特征。特征可以是与设备的形状或在设备的表面上形成的任何参考图案有关的任何特征。在投射的校准图像呈现在特定焦点深度的情况下，投射的虚拟图像的特征在某些情况下也可以用作基准点。然后，处理基准点以确定摄像机相对于基准点并且因此相对于投射仪的位置。
图12中描述了该过程的示例性非限制性实现方式。如上面的图8中，校准可能因由IPD调整(步骤140)引入的未对准而成为必要的，但是不限于这种情况。在步骤142处，“注入”校准图像或“场图像”以经由右眼投射仪和左眼投射仪两者来显示，以及使用摄像机80来采样包含与来自投射仪中的每一个的校准图像相对应的照射的一部分并且优选地还对投射仪或显示设备本身的其他特征成像的图像(步骤144)。
在步骤146处，处理显示设备的特征以确定相对于每个投射仪的摄像机取向。然后，这提供了足够的信息以允许根据经由每个显示器获取的校准图像的部分得到投射仪的相对对准(步骤148)。在具有向外反射的照射情况下在显示器外部使用摄像机80，并且图像投射轴不垂直于波导表面的情况下，还在对准计算中采用预先测量的反射偏移参数(150)。然后，使用对准计算来生成用于更新每个投射仪的固件的校准矩阵(步骤152)。
也可以在机械IPD调整本身期间(在执行所描述的校准之前)使用便携式设备80上的摄像机来帮助用户。根据该选择，用户在摄像机连续地将小平面图像发送至处理器时，改变投射仪之间的距离。处理器将眼睛位置与光学投射仪位置(其可选地在其上具有标记以利于检测投射仪位置)进行比较，并且向用户生成输出(通常是音频信号和/或视觉显示)以指示应如何进一步调整相对位置，或者在对于用户已经达到最佳位置时通知用户。然后，如本文所述，优选地执行校准过程。
本发明还包括以下技术方案。
方案1.一种用于得到双目增强现实显示设备的左眼显示器与右眼显示器之间的对准校正的方法，所述方法包括以下步骤：
(a)定位具有视场的摄像机，使得摄像机视场同时包括来自所述左眼显示器的投射图像的一部分和来自所述右眼显示器的投射图像的一部分；
(b)经由所述右眼显示器和所述左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；
(c)采用所述摄像机来采样图像；
(d)在所述图像内识别所述右场对准特征和所述左场对准特征；以及
(e)根据所述右场对准特征和所述左场对准特征在所述图像内的位置得到所述增强现实显示设备的所述右眼显示器与所述左眼显示器之间的对准校正。
方案2.根据方案1所述的方法，其中，所述摄像机位于所述增强现实显示设备的观看侧，使得所述图像包括经由所述右眼显示器观看的所述右场对准特征和经由所述左眼显示器观看的所述左场对准特征。
方案3.根据方案2所述的方法，其中，利用视焦距来显示所投射的校准图像，并且其中，所述摄像机聚焦在所述视焦距处。
方案4.根据方案1所述的方法，其中，所述摄像机位于所述增强现实显示设备的观看侧的相反侧，使得所述摄像机从所述右眼显示器和所述左眼显示器中的每一个捕获图像照射的向外反射部分，并且使得所述图像包括经由所述右眼显示器观看的所述左场对准特征和经由所述左眼显示器观看的所述右场对准特征。
方案5.根据方案4所述的方法，其中，所述摄像机是手持摄像机，所述方法还包括：经由所述右眼显示器和/或所述左眼显示器向用户显示至少一个指示以帮助正确定位所述摄像机。
方案6.根据方案1所述的方法，还包括以下步骤：
(a)在所述图像内识别与所述双目增强现实显示设备相关联的足以限定至少三个基准点的特征；以及
(b)确定所述摄像机相对于所述至少三个基准点的位置。
方案7.根据方案1所述的方法，其中，所述定位包括：将所述摄像机指向镜子，使得反射视场同时包括来自所述左眼显示器的投射图像的一部分和来自所述右眼显示器的投射图像的一部分。
方案8.根据方案1所述的方法，其中，所述摄像机是与屏幕集成的移动设备的摄像机，所述方法还包括：经由所述屏幕向用户显示至少一个指示以帮助正确定位所述摄像机。
方案9.根据方案1所述的方法，还包括：基于得到的对准校正来实现对所述增强现实显示设备的对准校正。
方案10.一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：
(a)提供增强现实设备，所述增强现实设备包括：
(i)右眼显示单元，其包括与前视第一摄像机刚性集成的第一增强现实显示器，
(ii)左眼显示单元，其包括与前视第二摄像机刚性集成的第二增强现实显示器，以及
(iii)支承结构，其在所述右眼显示单元与所述左眼显示单元之间互连；
(b)提供所述第一摄像机与所述第一增强现实显示器之间的第一对准映射以及所述第二摄像机与所述第二增强现实显示器之间的第二对准映射；
(c)从所述第一摄像机采样至少一个图像；
(d)从所述第二摄像机采样至少一个图像；
(e)协同处理来自所述第一摄像机和所述第二摄像机的图像，以得到指示所述第一摄像机与所述第二摄像机之间的相对取向的摄像机间映射；
(f)将所述摄像机间映射与所述第一对准映射和所述第二对准映射进行组合，以得到指示所述第一增强现实显示器和所述第二增强现实显示器的相对取向的显示器间对准映射；以及
(g)基于所述显示器间对准映射来实现对所述增强现实显示设备的对准校正。
方案11.根据方案10所述的方法，其中，针对远处场景来采样来自所述第一摄像机和所述第二摄像机的至少一个图像。
方案12.根据方案10所述的方法，其中，来自所述第一摄像机和所述第二摄像机的至少一个图像是多个图像，并且其中，所述协同处理包括：得到所述多个图像中包括的场景的至少一部分的三维模型。
方案13.一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：
(a)提供增强现实设备，所述增强现实设备包括右眼增强现实显示器、左眼增强现实显示器、与所述右眼增强现实显示器在空间上相关联的右摄像机以及与所述左眼增强现实显示器在空间上相关联的左摄像机；
(b)执行第一交叉配准过程，所述第一交叉配准过程包括：
(i)获得由所述右摄像机采样的场景的至少一个图像，
(ii)经由所述左眼增强现实显示器显示根据由所述右摄像机采样的所述至少一个图像得到的至少一个对准特征，
(iii)接收来自用户的指示所述至少一个对准特征与所述场景的相应直接观看特征之间的对准偏移的输入，以及
(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述相应直接观看特征对准；
(c)执行第二交叉配准过程，所述第二交叉配准过程包括：
(i)获得由所述左摄像机采样的场景的至少一个图像，
(ii)经由所述右眼增强现实显示器显示根据由所述左摄像机采样的所述至少一个图像得到的至少一个对准特征，
(iii)接收来自所述用户的指示所述至少一个对准特征与所述场景的相应直接观看特征之间的对准偏移的输入，以及
(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述相应直接观看特征对准；以及
(d)基于所述用户输入来实现对所述增强现实显示设备的对准校正。
方案14.根据方案13所述的方法，其中，用于每个所述交叉配准过程的所述至少一个对准特征是采样图像的至少一部分。
方案15.根据方案13所述的方法，其中，用于每个所述交叉配准过程的所述至少一个对准特征是与采样图像中检测到的特征相对应的位置标记。
方案16.根据方案13所述的方法，其中，还包括获得到采样图像中的对象的估计距离，所述估计距离被用于实现所述对准校正。
方案17.根据方案13所述的方法，其中，相对于所述右眼增强现实显示器刚性安装所述右摄像机，并且其中，相对于所述左眼显示器刚性安装所述左摄像机，使用所述右摄像机相对于所述右眼增强现实显示器的相对对准数据和所述左摄像机相对于所述左眼增强现实显示器的相对对准数据来实现所述对准校正。
方案18.根据方案13所述的方法，还包括：执行至少一个附加配准过程以接收用于校正所述右眼增强现实显示器和所述左眼增强现实显示器中的至少一个相对于所述右摄像机和所述左摄像机中的相应一个的对准的用户输入。
应当理解，以上描述仅旨在用作示例，并且在所附权利要求中限定的本发明的范围内可以存在许多其他实施方式。

Claims (23)

1.一种具有对准校正的双目增强现实系统，其包括：
(a)右眼显示单元，其包括在空间上与第一摄像机相关联的第一增强现实显示器，所述第一摄像机是与所述第一增强现实显示器刚性地相关联的前视摄像机；
(b)左眼显示单元，其包括在空间上与第二摄像机相关联的第二增强现实显示器，所述第二摄像机是与所述第二增强现实显示器刚性地相关联的前视摄像机；
(c)可调整支撑结构，其在所述右眼显示单元和所述左眼显示单元之间提供可调整瞳孔间距离(IPD)；以及
(d)处理系统，其包括至少一个处理器，所述处理系统与所述第一和第二摄像机及所述第一和第二增强现实显示器数据通信，所述处理系统配置成确定所述第一和第二增强现实显示器之间的对准校正以用于图像的双目显示，所述对准校正包括：
(a)执行第一交叉配准过程，所述第一交叉配准过程包括：
(i)获得由所述第一摄像机采样的场景的至少一个图像，
(ii)经由所述第二增强现实显示器显示根据由所述第一摄像机采样的所述至少一个图像得到的至少一个对准特征，
(iii)从用户接收输入，所述输入指示所述至少一个对准特征和所述场景的对应直观特征之间的对准偏移，及
(iv)根据所述用户输入校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述对应直观特征对准为止；
(b)执行第二交叉配准过程，所述第二交叉配准过程包括：
(i)获得由所述第二摄像机采样的场景的至少一个图像，
(ii)经由所述第一增强现实显示器显示根据由所述第二摄像机采样的所述至少一个图像得到的至少一个对准特征，
(iii)从所述用户接收输入，所述输入指示所述至少一个对准特征和所述场景的对应直观特征之间的对准偏移，及
(iv)根据所述用户输入校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述对应直观特征对准为止；以及
(c)基于所述用户输入得到所述对准校正。
2.根据权利要求1所述的系统，其中所述处理系统响应于用户输入以确定所述对准校正。
3.根据权利要求1所述的系统，其中所述处理系统配置成间歇性地确定所述对准校正。
4.根据权利要求1所述的系统，其中所述处理系统配置成在用户查看所述第一和第二增强现实显示器时确定所述对准校正。
5.根据权利要求1所述的系统，其中所述右眼显示单元、所述左眼显示单元和所述可调整支撑结构是增强现实装置的部分，并且其中所述处理系统的至少一部分是与所述装置集成的机载处理系统。
6.根据权利要求1所述的系统，其中所述右眼显示单元、所述左眼显示单元和所述可调整支撑结构是增强现实装置的部分，并且其中所述处理系统的至少一部分是经由短程或远程通信连接与所述装置相关联的远程处理系统。
7.根据权利要求1所述的系统，其中所述处理系统配置成作为确定所述对准校正的部分来确定来自所述第一摄像机和所述第二摄像机的图像之间的相关性。
8.根据权利要求1所述的系统，其中所述处理系统配置成通过以下操作来确定所述对准校正：
(i)从所述第一摄像机采样至少一个图像；
(ii)从所述第二摄像机采样至少一个图像；
(iii)协同处理来自所述第一和第二摄像机的所述图像以得到指示所述第一摄像机和所述第二摄像机之间的相对取向的摄像机间映射；以及
(iv)组合所述摄像机间映射与所述第一摄像机和所述第一增强现实显示器之间的第一对准映射及所述第二摄像机和所述第二增强现实显示器之间的第二对准映射，以得到所述对准校正。
9.根据权利要求8所述的系统，其中从所述第一摄像机和所述第二摄像机采样的所述至少一个图像是多个图像，并且其中所述协同处理包含得到所述多个图像中所包含的场景的至少一部分的三维模型。
10.根据权利要求1所述的系统，其中所述处理系统配置成接收用户输入，所述用户输入指示经由所述第一增强现实显示器显示的对准特征和用户观察到的对应现实世界特征之间的对准调整，所述对准特征根据从所述第二摄像机采样的图像得到。
11.根据权利要求10所述的系统，其中所述处理系统进一步配置成接收用户输入，所述用户输入指示经由所述第二增强现实显示器显示的对准特征和用户观察到的对应现实世界特征之间的对准调整，所述对准特征根据从所述第一摄像机采样的图像得到。
12.根据权利要求1所述的系统，其中用于每个所述交叉配准过程的所述至少一个对准特征是采样图像的至少一部分。
13.根据权利要求1所述的系统，其中用于每个所述交叉配准过程的所述至少一个对准特征是对应于在采样图像中检测到的特征的位置标记。
14.根据权利要求1所述的系统，其进一步包括获得到采样图像中的对象的估计距离，所述估计距离用于实施所述对准校正。
15.一种用于双目增强现实显示装置的右眼显示器和左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：(a)提供增强现实装置，其包括：(i)右眼显示单元，其包括与前视第一摄像机刚性地集成的第一增强现实显示器，(ii)左眼显示单元，其包括与前视第二摄像机刚性地集成的第二增强现实显示器，以及(iii)支撑结构，其在所述右眼显示单元和所述左眼显示单元之间互连；(b)提供所述第一摄像机和所述第一增强现实显示器之间的第一对准映射及所述第二摄像机和所述第二增强现实显示器之间的第二对准映射；(c)从所述第一摄像机采样至少一个图像；(d)从所述第二摄像机采样至少一个图像；(e)协同处理来自所述第一和第二摄像机的所述图像以得到指示所述第一摄像机和所述第二摄像机之间的相对取向的摄像机间映射；(f)组合所述摄像机间映射与所述第一对准映射及所述第二对准映射，以得到指示所述第一增强现实显示器和所述第二增强现实显示器的相对取向的显示器间对准映射；以及(g)基于所述显示器间对准映射，对所述增强现实显示装置实施对准校正，其中来自所述第一摄像机和所述第二摄像机的所述至少一个图像是多个图像，并且其中所述协同处理包含得到所述多个图像中所包含的场景的至少一部分的三维模型。
16.一种用于双目增强现实显示装置的右眼显示器和左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：(a)提供增强现实装置，其包括：(i)右眼显示单元，其包括与前视第一摄像机刚性地集成的第一增强现实显示器，(ii)左眼显示单元，其包括与前视第二摄像机刚性地集成的第二增强现实显示器，以及(iii)支撑结构，其在所述右眼显示单元和所述左眼显示单元之间互连；(b)提供所述第一摄像机和所述第一增强现实显示器之间的第一对准映射及所述第二摄像机和所述第二增强现实显示器之间的第二对准映射；(c)从所述第一摄像机采样至少一个图像；(d)从所述第二摄像机采样至少一个图像；(e)协同处理来自所述第一和第二摄像机的所述图像，以得到指示所述第一摄像机和所述第二摄像机之间的相对取向的摄像机间映射；(f)组合所述摄像机间映射与所述第一对准映射及所述第二对准映射，以得到指示所述第一增强现实显示器和所述第二增强现实显示器的相对取向的显示器间对准映射；以及(g)基于所述显示器间对准映射，对所述增强现实显示装置实施对准校正，其中提供第一对准映射的所述步骤包括：(i)使用所述第一摄像机采样至少一个校准图像；(ii)经由所述第一增强现实显示器显示由所述第一摄像机采样的所述校准图像；以及(iii)根据所述显示的校准图像的对准确定所述第一对准映射。
17.根据权利要求16所述的方法，其中所述校准图像由投影仪投影，并且其中根据由校准摄像机采样的图像确定所述显示的校准图像的对准，所述投影仪和所述校准摄像机刚性地安装在校准夹具上。
18.一种用于双目增强现实显示装置的右眼显示器和左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：(a)提供增强现实装置，其包括右眼增强现实显示器、左眼增强现实显示器、在空间上与所述右眼增强现实显示器相关联的右摄像机及在空间上与所述左眼增强现实显示器相关联的左摄像机；(b)执行第一交叉配准过程，所述第一交叉配准过程包括：(i)获得由所述右摄像机采样的场景的至少一个图像，(ii)经由所述左眼增强现实显示器显示根据由所述右摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)从用户接收输入，所述输入指示所述至少一个对准特征和所述场景的对应直观特征之间的对准偏移，以及(iv)根据所述用户输入校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述对应直观特征对准为止；(c)执行第二交叉配准过程，所述第二交叉配准过程包括：(i)获得由所述左摄像机采样的场景的至少一个图像，(ii)经由所述右眼增强现实显示器显示根据由所述左摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)从所述用户接收输入，所述输入指示所述至少一个对准特征和所述场景的对应直观特征之间的对准偏移，以及(iv)根据所述用户输入校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与所述场景的所述对应直观特征对准为止；以及(d)基于所述用户输入，对所述增强现实显示装置实施对准校正。
19.根据权利要求18所述的方法，其中用于每个所述交叉配准过程的所述至少一个对准特征是采样图像的至少一部分。
20.根据权利要求18所述的方法，其中用于每个所述交叉配准过程的所述至少一个对准特征是对应于在采样图像中检测到的特征的位置标记。
21.根据权利要求18所述的方法，其进一步包括获得到采样图像中的对象的估计距离，所述估计距离用于实施所述对准校正。
22.根据权利要求18所述的方法，其中所述右摄像机相对于所述右眼增强现实显示器刚性地安装，并且其中所述左摄像机相对于所述左眼显示器刚性地安装，所述对准校正使用所述右摄像机相对于所述右眼增强现实显示器的相对对准数据和所述左摄像机相对于所述左眼增强现实显示器的相对对准数据来实施。
23.根据权利要求18所述的方法，其进一步包括执行至少一个额外配准过程以接收用户输入，从而校正所述右眼增强现实显示器和所述左眼增强现实显示器中的至少一个相对于所述右摄像机和所述左摄像机中的对应一个的对准。
CN202110937851.9A 2018-01-02 2019-01-02 具有对准校正的双目增强现实系统及对准校正方法 Active CN113777783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110937851.9A CN113777783B (zh) 2018-01-02 2019-01-02 具有对准校正的双目增强现实系统及对准校正方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862612740P 2018-01-02 2018-01-02
US62/612,740 2018-01-02
CN202110937851.9A CN113777783B (zh) 2018-01-02 2019-01-02 具有对准校正的双目增强现实系统及对准校正方法
PCT/IB2019/050014 WO2019135169A1 (en) 2018-01-02 2019-01-02 Augmented reality displays with active alignment and corresponding methods
CN201980003472.3A CN110915210B (zh) 2018-01-02 2019-01-02 具有主动对准的增强现实显示器及相应方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980003472.3A Division CN110915210B (zh) 2018-01-02 2019-01-02 具有主动对准的增强现实显示器及相应方法

Publications (2)

Publication Number Publication Date
CN113777783A CN113777783A (zh) 2021-12-10
CN113777783B true CN113777783B (zh) 2024-04-12

Family

ID=67143650

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110937851.9A Active CN113777783B (zh) 2018-01-02 2019-01-02 具有对准校正的双目增强现实系统及对准校正方法
CN201980003472.3A Active CN110915210B (zh) 2018-01-02 2019-01-02 具有主动对准的增强现实显示器及相应方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980003472.3A Active CN110915210B (zh) 2018-01-02 2019-01-02 具有主动对准的增强现实显示器及相应方法

Country Status (13)

Country Link
US (1) US11223820B2 (zh)
EP (1) EP3735775A4 (zh)
JP (2) JP2021509482A (zh)
KR (1) KR20200102408A (zh)
CN (2) CN113777783B (zh)
AU (1) AU2019205611A1 (zh)
BR (1) BR112020001912A2 (zh)
CA (1) CA3068659A1 (zh)
IL (1) IL275615B (zh)
MX (1) MX2020002402A (zh)
RU (1) RU2020100251A (zh)
TW (1) TWI791728B (zh)
WO (1) WO2019135169A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
WO2019064301A1 (en) 2017-09-29 2019-04-04 Lumus Ltd. DISPLAY WITH INCREASED REALITY
CN111133362B (zh) 2017-10-22 2021-12-28 鲁姆斯有限公司 采用光具座的头戴式增强现实设备
IL274894B2 (en) 2017-12-03 2024-04-01 Lumus Ltd Optical instrument alignment methods
WO2019135169A1 (en) 2018-01-02 2019-07-11 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
JP7389491B2 (ja) 2018-04-08 2023-11-30 ルムス エルティーディー． 光学サンプルの特性評価
US10830938B2 (en) 2018-05-14 2020-11-10 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
US11442273B2 (en) 2018-05-17 2022-09-13 Lumus Ltd. Near-eye display having overlapping projector assemblies
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
KR20210013173A (ko) 2018-05-23 2021-02-03 루머스 리미티드 부분 반사 내부면이 있는 도광 광학 요소를 포함한 광학 시스템
CN112313499A (zh) 2018-06-21 2021-02-02 鲁姆斯有限公司 光导光学元件（loe）的板之间折射率不均匀性的测量技术
JP7411255B2 (ja) 2018-07-16 2024-01-11 ルムス エルティーディー． 偏光された内部反射体を採用する導光光学素子
BR112021004307A2 (pt) 2018-09-09 2021-05-25 Lumus Ltd. sistema óptico
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
KR20210090622A (ko) 2018-11-08 2021-07-20 루머스 리미티드 이색성 빔스플리터 색상 조합기를 갖는 광학 디바이스 및 시스템
TWM598414U (zh) 2018-11-11 2020-07-11 以色列商魯姆斯有限公司 具有中間視窗的近眼顯示器
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
JP7424635B2 (ja) 2019-01-24 2024-01-30 ルムス エルティーディー． 二次元の拡大を伴う導光光学素子を含む光学システム
KR102651647B1 (ko) 2019-03-12 2024-03-26 루머스 리미티드 이미지 프로젝터
DE112020002727T5 (de) * 2019-06-07 2022-03-10 Sony Group Corporation Videoverteilsystem, videoverteilverfahren und display-terminal
WO2020261279A1 (en) 2019-06-27 2020-12-30 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
US11667004B2 (en) 2019-11-25 2023-06-06 Lumus Ltd. Method of polishing a surface of a waveguide
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
BR112022009872A2 (pt) 2019-12-05 2022-08-09 Lumus Ltd Dispositivo óptico e método para fabricar um dispositivo óptico
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
WO2021117033A1 (en) 2019-12-08 2021-06-17 Lumus Ltd. Optical systems with compact image projector
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
EP4237903A4 (en) 2021-03-01 2024-04-24 Lumus Ltd COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
US11789264B2 (en) 2021-07-04 2023-10-17 Lumus Ltd. Display with stacked light-guide elements providing different parts of field of view
US11863730B2 (en) * 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
US20230209032A1 (en) * 2021-12-23 2023-06-29 Meta Platforms Technologies, Llc Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
CN114441142A (zh) * 2021-12-30 2022-05-06 歌尔光学科技有限公司 Ar成像系统的校正参数获取方法及装置
US11961258B2 (en) 2022-01-26 2024-04-16 Industrial Technology Research Institute Calibration method for optical see-through display and calibration system
CN114465910B (zh) * 2022-02-10 2022-09-13 北京为准智能科技有限公司 一种基于增强现实技术的机械加工设备校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
FR2647556B1 (fr) 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH08313843A (ja) 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US6404550B1 (en) 1996-07-25 2002-06-11 Seiko Epson Corporation Optical element suitable for projection display apparatus
US6154321A (en) 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
CA2386856A1 (en) 1999-10-14 2001-04-19 Stratos Product Development Llc Virtual imaging system
US6264328B1 (en) 1999-10-21 2001-07-24 University Of Rochester Wavefront sensor with off-axis illumination
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6542307B2 (en) 2000-10-20 2003-04-01 Three-Five Systems, Inc. Compact near-eye illumination system
US20030107643A1 (en) * 2001-08-17 2003-06-12 Byoungyi Yoon Method and system for controlling the motion of stereoscopic cameras based on a viewer's eye motion
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
US7640306B2 (en) 2002-11-18 2009-12-29 Aol Llc Reconfiguring an electronic message to effect an enhanced notification
US6879443B2 (en) 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
IL157838A (en) 2003-09-10 2013-05-30 Yaakov Amitai High-brightness optical device
IL162573A (en) 2004-06-17 2013-05-30 Lumus Ltd Optical component in a large key conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
WO2006085309A1 (en) 2005-02-10 2006-08-17 Lumus Ltd. Substrate-guided optical device utilizing thin transparent layer
US7751122B2 (en) 2005-02-10 2010-07-06 Lumus Ltd. Substrate-guided optical device particularly for vision enhanced optical systems
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
IL173715A0 (en) 2006-02-14 2007-03-08 Lumus Ltd Substrate-guided imaging lens
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
IL177618A (en) 2006-08-22 2015-02-26 Lumus Ltd Optical component in conductive substrate
US8643948B2 (en) 2007-04-22 2014-02-04 Lumus Ltd. Collimating optical device and system
IL183637A (en) 2007-06-04 2013-06-27 Zvi Lapidot Head display system
US8493662B2 (en) 2008-09-16 2013-07-23 Bae Systems Plc Waveguides
US8717392B2 (en) * 2009-06-02 2014-05-06 Nokia Corporation Apparatus for enabling users to view images, methods and computer readable storage mediums
US20110010988A1 (en) 2009-07-16 2011-01-20 Michael Lanoha Universal Underground Receptacle for a Cemetery Flower Vase Cylinder
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
KR101232036B1 (ko) 2010-10-13 2013-02-12 한국과학기술원 비접촉 전력전달 장치 및 자기유도 방식의 급전장치
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
CN103562530A (zh) 2011-03-31 2014-02-05 丰田自动车株式会社 内燃机的控制装置以及搭载该控制装置的车辆
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
GB201117029D0 (en) 2011-10-04 2011-11-16 Bae Systems Plc Optical waveguide and display device
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US20150028976A1 (en) 2012-03-26 2015-01-29 Hitachi, Ltd. Rare-Earth Magnet
JP5960799B2 (ja) * 2012-03-28 2016-08-02 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8909985B2 (en) 2012-07-12 2014-12-09 International Business Machines Corporation Multiple hyperswap replication sessions
CN202864800U (zh) 2012-07-26 2013-04-10 诠钧实业有限公司 绞车的刹车机构
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US9638920B2 (en) 2013-04-15 2017-05-02 Microsoft Technology Licensing, Llc Torsional support for binocular display
WO2015020648A1 (en) 2013-08-07 2015-02-12 Hitachi, Ltd. Method and apparatus for dynamic monitoring condition control
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
JP6451222B2 (ja) * 2014-11-04 2019-01-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US10764563B2 (en) * 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
IL236491B (en) 2014-12-25 2020-11-30 Lumus Ltd A method for manufacturing an optical component in a conductive substrate
IL236490B (en) 2014-12-25 2021-10-31 Lumus Ltd Optical component on a conductive substrate
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
CA3109670A1 (en) 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
JP2017108370A (ja) * 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
KR102574490B1 (ko) * 2015-10-12 2023-09-04 삼성전자주식회사 머리 장착형 전자 장치
WO2017079333A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
US9759923B2 (en) 2015-11-19 2017-09-12 Microsoft Technology Licensing, Llc Low-stress waveguide mounting for head-mounted display device
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
AU2017257549B2 (en) * 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10739598B2 (en) 2016-05-18 2020-08-11 Lumus Ltd. Head-mounted imaging device
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
CN106019602B (zh) 2016-08-03 2018-03-30 深圳酷酷科技有限公司 头戴式显示设备
EP3540484B1 (en) 2016-10-09 2020-11-04 Lumus Ltd. Aperture multiplier using a rectangular waveguide
KR20230084335A (ko) 2016-11-08 2023-06-12 루머스 리미티드 광학 컷오프 에지를 구비한 도광 장치 및 그 제조 방법
EP3371642A4 (en) 2016-12-02 2018-11-07 Lumus Ltd. Optical system with compact collimating image projector
WO2018122859A1 (en) 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
WO2018127913A1 (en) 2017-01-04 2018-07-12 Lumus Ltd. Optical system for near-eye displays
IL292456B (en) 2017-02-22 2022-08-01 Lumus Ltd Optical assembly of a light guide
WO2018175343A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
WO2018173035A1 (en) 2017-03-22 2018-09-27 Lumus Ltd. Overlapping facets
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
WO2019016813A1 (en) 2017-07-19 2019-01-24 Lumus Ltd. LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT
WO2019064301A1 (en) 2017-09-29 2019-04-04 Lumus Ltd. DISPLAY WITH INCREASED REALITY
CN111133362B (zh) 2017-10-22 2021-12-28 鲁姆斯有限公司 采用光具座的头戴式增强现实设备
BR112020010057A2 (pt) 2017-11-21 2020-11-03 Lumus Ltd. dispositivo óptico
US20190170327A1 (en) 2017-12-03 2019-06-06 Lumus Ltd. Optical illuminator device
IL274894B2 (en) 2017-12-03 2024-04-01 Lumus Ltd Optical instrument alignment methods
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
US11561406B2 (en) 2017-12-10 2023-01-24 Lumus Ltd. Image projector
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
WO2019135169A1 (en) 2018-01-02 2019-07-11 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
JP7389491B2 (ja) 2018-04-08 2023-11-30 ルムス エルティーディー． 光学サンプルの特性評価
US10830938B2 (en) 2018-05-14 2020-11-10 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
US11442273B2 (en) 2018-05-17 2022-09-13 Lumus Ltd. Near-eye display having overlapping projector assemblies
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
KR20210013173A (ko) 2018-05-23 2021-02-03 루머스 리미티드 부분 반사 내부면이 있는 도광 광학 요소를 포함한 광학 시스템
CN210323582U (zh) 2018-05-27 2020-04-14 鲁姆斯有限公司 具有场曲率影响减轻的基于基板引导的光学系统
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
JP7411255B2 (ja) 2018-07-16 2024-01-11 ルムス エルティーディー． 偏光された内部反射体を採用する導光光学素子
BR112021004307A2 (pt) 2018-09-09 2021-05-25 Lumus Ltd. sistema óptico
TWM598414U (zh) 2018-11-11 2020-07-11 以色列商魯姆斯有限公司 具有中間視窗的近眼顯示器
JP7424635B2 (ja) 2019-01-24 2024-01-30 ルムス エルティーディー． 二次元の拡大を伴う導光光学素子を含む光学システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准

Also Published As

Publication number Publication date
KR20200102408A (ko) 2020-08-31
TW201932914A (zh) 2019-08-16
MX2020002402A (es) 2020-07-22
IL275615B (en) 2022-08-01
TWI791728B (zh) 2023-02-11
AU2019205611A1 (en) 2020-01-30
EP3735775A4 (en) 2022-01-19
RU2020100251A (ru) 2022-02-03
EP3735775A1 (en) 2020-11-11
US11223820B2 (en) 2022-01-11
CA3068659A1 (en) 2019-07-11
IL275615A (en) 2020-08-31
US20210099691A1 (en) 2021-04-01
BR112020001912A2 (pt) 2020-07-28
CN110915210B (zh) 2021-10-15
JP2023081930A (ja) 2023-06-13
JP2021509482A (ja) 2021-03-25
CN110915210A (zh) 2020-03-24
WO2019135169A1 (en) 2019-07-11
CN113777783A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113777783B (zh) 具有对准校正的双目增强现实系统及对准校正方法
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
JP3929384B2 (ja) ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
US7110103B2 (en) Apparatus for and method of aligning a structure
CN109668509A (zh) 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
JP2001211403A (ja) 頭部装着型表示装置及び頭部装着型表示システム
CN101281023A (zh) 一种获取三维目标外形的方法及系统
KR20070021694A (ko) 평행축 입체 카메라 및 입체영상 생성방법
US20240073392A1 (en) Optical waveguide combiner systems and methods
WO2004088245A1 (en) Method of solving the correspondence problem in convergent stereophotogrammetry
KR101456650B1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
CN114926548A (zh) 一种基于光学模组的双目相机校准系统及方法
EP0084964B1 (en) Binocular presentation of visual information
WO2021093804A1 (zh) 全向立体视觉的摄像机配置系统及摄像机配置方法
CN102073209A (zh) 一种单摄像机立体图像拍摄装置
CN109644259A (zh) 三维影像预处理方法、装置及头戴显示设备
KR101630916B1 (ko) 스테레오 모바일 3d 카메라
CN201917757U (zh) 一种单摄像机立体图像拍摄装置
CN115509007A (zh) 增强现实显示设备与方法
JPH04274694A (ja) 両眼立体視におけるカメラ制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant