CN110709898A - 视频透视式显示系统 - Google Patents

视频透视式显示系统 Download PDF

Info

Publication number
CN110709898A
CN110709898A CN201880014802.4A CN201880014802A CN110709898A CN 110709898 A CN110709898 A CN 110709898A CN 201880014802 A CN201880014802 A CN 201880014802A CN 110709898 A CN110709898 A CN 110709898A
Authority
CN
China
Prior art keywords
user
eye
optical
camera unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880014802.4A
Other languages
English (en)
Inventor
B·格林伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic Vision Co Ltd
Eyeway Vision Ltd
Original Assignee
Avic Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic Vision Co Ltd filed Critical Avic Vision Co Ltd
Publication of CN110709898A publication Critical patent/CN110709898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0145Head-up displays characterised by optical features creating an intermediate image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

公开了具有视频透视式眼睛显示单元的显示系统。该眼睛显示单元包括:至少一个相机单元;至少一个图像形成模块;和包括至少一个双面光反射光学元件的光学偏转模块,至少一个双面光反射光学元件至少部分地反射来自其两侧的光。相机单元配置用于收集从场景的感兴趣区域沿与光学偏转模块交叉的第一光学路径到达的光并产生指示感兴趣区域的图像数据。图像形成模块配置用于接收指示待投射到用户眼睛的图像的图像数据且生成和投射所接收的图像以沿与光学偏转模块交叉的第二光学路径传播。光学偏转模块的双面光反射光学元件布置在显示系统中以位于眼睛的前方且第一光学路径和第二光学路径交叉的位置处,且定向为(在相机单元和场景之间)限定第一光学路径且(在图像形成单元和眼睛之间)限定第二光学路径,使得相机单元的视点基本上相似于眼睛的视线。

Description

视频透视式显示系统
技术领域
本发明涉及头戴式显示系统的配置且尤其涉及具有透视和视频透视配置的头戴式显示系统。
背景技术
视频透视式增强现实系统,与虚拟现实系统不同,基于用户前方的实际场景的外观显示数据。通常,捕获场景的输入图像流,并且在捕获的图像数据上添加增强数据层并将该增强数据层显示给用户。这允许将信息层提供到真实世界图像上,将游戏和其他体验集成到周围环境以及其他基于真实世界的可视化中。
这种增强现实系统通常基于两种主要集成方案中的一者,用户可以能够通过部分透明的显示器/窗口观察实际场景,并且在其上显示增强数据。在替选方案中,利用视频捕获设备(相机)获取实际场景,并将该实际场景与增强数据一起在显示设备上显示给用户。通常,后一类型的增强现实系统被配置为手持式系统,例如平板电脑或类似智能手机的设备,使用相机单元提供关于实际场景的数据并由用户移动以改变其视点。一些增强现实系统被配置为可穿戴式并且包括安装的一个或两个相机。通常,在常规可穿戴系统中,一个或两个相机通常安装有与用户眼睛不同的视线并且利用水平、横向和/或纵向(沿着在用户和场景之间拉伸的Z轴)移位。其他配置利用用于视频采集的单个相机,提供“独视”眼睛解决方案,其一方面减少了要处理的像素量,另一方面为用户提供有限的或非立体的排列。
配置成提供增强现实的常规头戴式系统通常提供相对简单的增强数据并利用至少部分透明的元件进行显示,同时允许用户观察实际场景。例如,美国专利No.US 9195067描述了一种电子设备,其包括显示器和配置成佩戴在用户头部上的带。该带限定了固定显示器的显示端并从显示端延伸到自由端。该带是可调节的,使得它可以由用户配置成在靠近太阳穴的第一位置、沿着邻近太阳穴的用户耳朵的一部分的第二位置、以及沿着用户头部的后部的第三位置接触用户的头部。显示端可定位成远离头部,使得显示元件邻近太阳穴悬挂在眼睛上。该带还被配置为维持配置。该设备还包括带内的图像生成装置,用于在显示器上生成可呈现给用户的图像。
发明内容
本领域需要一种新型的系统配置,其能够向用户提供视觉增强数据与实际场景的视图相结合的显示。本发明的技术提供了一种显示系统,通常被配置为头戴式,具有一个或两个眼睛显示单元用于向用户提供显示数据。该系统通常被配置为通过以相对大的视野显示图像数据来向用户提供虚拟或增强现实体验,并且被配置为将用户前方的区域中的实际视觉数据(实际场景)以基本实时的方式合并到显示数据中。
每个眼睛显示单元与至少一个相机单元相关联,并且包括至少一个图像形成模块(例如显示和/或投射单元)和光学偏转模块。光学偏转模块通常位于用户的相应眼睛的前方(例如,在系统的预定义的眼睛框位置的前方)并且被配置为将来自位于用户前方的场景的光引导为由至少一个相关联的相机单元收集并且将来自至少一个图像形成模块的光引导到用户的眼睛。该配置允许相机单元被定位成使得相机的视野基本上相似于用户眼睛的视野,从而防止与相机的视点相对于用户眼睛的变化相关联的各种定向障碍问题。
更具体地,根据本发明的技术,在不使用系统的情况下,从与用户眼睛的视点基本上相似的视点收集由相机单元收集的输入图像数据。通常,收集的图像数据被发送到控制单元,用于处理和生成显示数据,该显示数据通过图像形成模块提供给用户。因此,控制单元利用与用户期望的视线对应的输入图像数据。根据输入图像数据,对象的位置和用户关于所显示数据的视点通常相似于用户在现实世界中所预期的位置和视点。这为用户提供了更好地在空间中自我定向的能力,因为头部移动导致所收集的(并因此显示的)图像以与用户期望的方式类似的方式变化。
除了改善用户在空间中的定向之外,系统配置还可以增强用户与增强现实中的真实对象交互的能力。更具体地,控制单元可以可操作位根据位于实际场景中的某些对象添加图像数据层,因为输入图像数据中的对象基本上相似于用户期望的以及用户如何看到对象,附加数据层可以以更加物理上真实的方式运行。这对于视频透视式系统特别有用,在视频透视式系统中,在使用头戴式显示系统时,用户仍然可以在其实际位置观察真实物体并与它们交互。这与常规系统相反,在常规系统中,收集用于增强的图像数据的相机的视点与用户眼睛的位置(对应于用户的期望视点)之间存在差异。
应当注意,在真实和增强环境中提供增强的用户定向的本发明的系统配置和技术对于需要用户与真实对象交互同时经历实际场景的增强的应用是特别重要的。在这样的应用中,用户与紧靠用户的空间定向的用户水平(例如,在几厘米和1或2米之间)定位的对象的交互确定了手移动的准确性。
为此,本发明的技术利用光学偏转模块,当使用该系统时,该光学偏转模块位于用户眼睛的前方。光学偏转模块定位成使得来自到达用户眼睛的路径中的场景(如果使用者不使用该系统)的光沿着相机轴偏转并指向至少一个相关联的相机单元。另外,光学偏转模块指向用户的眼睛,光来自相应位置的至少一个图像形成单元位置。
因此,根据一个广泛的方面,本发明提供了一种包括眼睛显示单元的系统,所述眼睛显示单元包括:
至少一个相机单元,其被配置用于收集从场景的感兴趣区域沿第一光学路径到达的光并产生指示该光的图像数据;
至少一个图像形成模块,其被配置用于接收图像数据并沿第二光学路径朝向用户眼睛投射所述图像数据的图像;以及
光学偏转模块,其包括至少一个双面光反射光学元件,所述至少一个双面光反射光学元件被配置成至少部分地反射从其两侧到达的光,并且位于所述眼睛的前方所述第一光学路径和所述第二光学路径交叉的位置处,且被定向为在图像形成单元和用户眼睛之间限定所述第二光学路径,并在所述至少一个相机单元和场景之间限定所述第一光学路径;从而使所述至少一个相机单元的视点基本上类似于用户眼睛的视线。
根据一些实施方式,所述至少一个相机单元可以沿着所述第一光学路径定位在与在没有所述光学偏转模块的情况下所述用户眼睛相对于所述场景的光学平面对应的光学平面处。另外地或替选地,所述至少一个相机可以沿所述第一光学路径定位并配置成提供与相应的用户眼睛的视线基本相似的视线。
根据一些实施方式,所述至少一个图像形成单元可以包括眼睛投射单元,所述眼睛投射单元被配置用于将指示一个或多个图像的结构光投射到用户的相应眼睛上。
所述至少一个图像形成单元可以包括图像显示单元,所述图像显示单元被配置用于提供显示图像数据。
根据一些实施方式,所述光学偏转模块的所述至少一个双面光反射光学元件可以被配置为双面镜。
根据一些实施方式,所述系统可以包括与用户的右眼和左眼相对应的第一眼睛显示单元和第二眼睛显示单元。
通常,所述眼睛显示单元还可以包括控制单元,所述控制单元被配置并可操作用于接收由所述至少一个相机单元收集的图像数据并产生相应的显示图像数据并将所述显示图像数据发送到所述至少一个图像形成单元以向用户提供相应的图像。
根据一些实施方式,所述光学偏转模块可以被配置成引导输入光,使得所述至少一个相机单元的光学位置和视线对应于用户的相应眼睛的光学位置和视线。
所述光学偏转单元可以被配置成使所述至少一个相机单元位于眼睛等效位置处。
根据一些实施方式,所述至少一个显示单元可以被配置成提供无缝图像显示。
根据一些实施方式,所述光学偏转模块可以包括至少一个反射表面,所述至少一个反射表面被配置成对从其反射的光提供选定的光学操纵。
根据一些实施方式,所述至少一个反射表面可以配置有下列中的至少一者:选定的表面曲率、衍射光栅和全息元件。
根据一些实施方式,所述光学偏转模块配置和布置在系统中,使得第一光学路径的来自场景的光朝向相机单元偏转所沿着的一部分与第二光学路径的由图像形成单元投射的光被所述光学偏转模块偏转所沿着的一部分共同对准,以传播到眼睛;从而使得由相机单元捕获并由图像形成单元投射到眼睛的场景的图像部分相对于外部场景以空间配准进行投射。
附图说明
为了更好地理解本文公开的主题并且例示其如何在实践中实施,现在将参考附图仅通过非限制性示例描述实施方式,其中:
图1示意性地示出了本发明的显示系统配置和操作原理;
图2A和图2B示出了在增强现实中用户与虚拟对象的交互,其中系统利用具有移位视线(图2A)和根据本发明的公共视线(图2B)的相机单元;
图3示出了根据本发明的一些实施方式的用户与物理对象的交互,组合有由增强现实系统提供的指示可能使用视频透视系统的辅助数据层;
图4示出了根据本发明一些实施方式的眼睛显示单元;
图5例示了根据本发明的一些实施方式的利用眼睛投射单元的眼睛显示单元;以及
图6例示了根据本发明的一些实施方式的眼睛显示单元的另一种配置。
具体实施方式
如上所述,头戴式虚拟和/或增强现实系统为用户提供主动体验并使他们能够在虚拟或增强世界中扮演角色。尽管在完全的虚拟体验中,与现实世界对象的交互是有限的并且可能经常用作虚拟世界中别的东西的隐喻,但增强现实体验依赖于与真实场景和与用户的位置和周围环境相关的对象的交互。
为了允许用户主动地与实际对象交互,在使用头戴式增强现实系统的同时,需要将用户的空间定位调整为系统显示的数据。然而,由于系统通常利用由一个或多个相机单元收集的周围环境的输入图像数据,并且有时向用户提供通过一个或多个相机单元获得的显示数据,因此相机单元的位置和视点可能会极大地影响用户在空间中的定位。最值得注意的是,对象的位置和距离可能看起来与实际位置和距离不同。
为此,本发明提供了一种显示系统,其通常被配置为头戴式显示系统,被配置为以与不使用系统时用户眼睛的视点基本相似的视点收集场景的输入图像数据。参考图1,图1示意性地示出了显示系统1000,其通常包括两个眼睛显示单元100a和100b,并且被配置为提供与用户所期望的视线和视点相对应的显示图像数据。眼睛显示单元100a和100b中的每一个包括图像形成模块130,该图像形成模块130被配置用于形成可以以图像流的形式由用户的眼睛10a和10b收集的图像数据,并且与被配置用于收集输入图像数据的至少一个相机单元120相关联。另外,根据本发明,每个眼睛显示单元100a或100b包括光学偏转模块140,其被配置为将来自用户前面的场景的光的至少一部分朝向对应的相机单元120引导,并被配置为用于从图像形成单元130向用户的对应眼睛10a或10b引导光。光学偏转模块140通常可包括平板,该平板被配置成在其两侧至少部分地反射。此外或可替选地,光学偏转模块140的一个或多个表面可以具有一个或多个弯曲表面和/或利用衍射和/或全息表面区域。因此,光学偏转模块140可以被配置为提供光学操控以改善图像形成单元130进行的成像或者由相机单元120进行的图像获取。如图所例示,光学偏转模块140被配置为朝向与用户眼睛10a和10b的主光路OA1s和OA2s对准的第一光路偏转相应的相机单元120的光轴(OA1c和OA2c)。通常,光学偏转模块140可各自包括至少一个双面光反射光学元件。另外,光学偏转模块被配置为使由图像形成模块130产生的光(OA1d和OA2d)沿着与用户眼睛的光轴(OA1v和OA2v)对准的第二光路偏转。光学偏转模块的操作提供了图像形成模块130直接连接到相应的相机单元120的情况,显示给用户的图像基本上是无缝的,好像系统未使用一样,从而提供场景的无缝显示。
更具体地,光学偏转模块140的角度定向和相机单元120(包括位于由相机单元120收集的光的光路中的任何光学元件)的位置,提供了使相机单元位于眼睛等效光学平面上。因此,相机单元具有的视线基本上类似于如果其位于眼睛的位置并被向前引导本应具有的视线。
通常,系统1000还包括或可连接到控制单元500,该控制单元500被配置用于从相机单元120接收输入图像数据、处理输入数据并生成输出数据以供图像形成模块130显示。控制单元500还可以被配置用于生成要通过相应的头戴式受话器或扬声器提供给用户的可听数据(例如,声音效果),并且可以根据具体情况连接到通信网络或各种其他设备。通常,控制单元500可以利用输入图像数据来确定周围环境的三维模型,并根据所确定的三维模型定位虚拟对象。应当注意,当从与用户的视点基本相似的视点收集输入图像数据时,在增强现实中注册虚拟对象通常可以提供可靠的体验,其中对象位于正确且可信的位置和距离并解决了似乎漂浮或位于其他真实对象内的虚拟对象的各种故障。
应当注意,根据一些实施方式,每个眼睛显示单元100可以包括相应的相机单元。或者,两个眼睛显示单元可以与公共相机单元相关联,该公共相机单元使用其视野的一部分用于捕获与右眼相对应的图像数据并使用其视野的另一部分用于捕获与用户的左眼相对应的图像数据。为简单起见,本文中将本发明的技术描述为使用用于眼睛显示单元的相机单元。此外,由于右眼和左眼之间的对称性,在本文中关于一只眼睛描述了本发明。通常在一些配置中,系统可以仅包括单个眼睛显示单元,而用户的另一只眼睛可以自由地观看周围环境而没有任何干扰。
参考图2A和图2B,图2A和图2B例示了在增强现实环境中用户与虚拟对象的交互,其中周围环境(实际场景/现实)的输入图像数据由相对于用户视线移位(图2A)的相机单元并且由与用户具有共同视线(图2B)的相机单元提供。图2A示出了佩戴以具有显示器900的眼镜形式的增强现实单元的用户。增强现实单元900还包括被配置用于收集周围环境的图像数据的相机单元120,其用于确定所显示的虚拟对象(例如,对象OBJ)相对于用户周围环境的实际场景的位置。通常,系统900的处理/控制实用程序(这里未具体示出)利用输入图像数据来确定所显示对象的位置。当相机单元120的视线相对于用户眼睛10的视线移位时,对象的显示位置可以相对于实际场景移位。当尝试与物理对象和虚拟对象形成交互时以及当虚拟对象被呈现在与所选物理对象相似的位置时,这种移位可能导致用户定向障碍。
图2B的图示例示了根据本发明的技术配置的增强现实系统1000。更具体地,该系统包括相机单元120,其被配置为具有与用户眼睛10的视线基本上类似的视线。该配置提供具有如从用户的视点看到的输入图像数据的处理/控制实用程序(未具体示出)。因此,控制实用程序可以以简化空间中的用户定向和与这些对象的交互的方式确定所显示的虚拟对象(例如,对象OBJ)相对于物理场景的位置。
通常,对于距离用户相对较远的物体,视线的微小变化可以忽略不计。然而,由于可以使用许多增强现实应用来促进用户与所显示的对象的交互,因此可以将对象显示为出现在离用户几厘米到约1.5米的距离处,即在手的可到达范围内。对于这样的相对短的距离,甚至几厘米的视线变化可能导致有意义的移位并且当试图产生与所显示的虚拟对象的交互时导致用户定向障碍。
在图3中示出了视频透视配置的示例性使用。如图3所示,根据本发明的一些实施例,用户可以在利用增强现实系统1000操作和执行实际物理任务的同时接收视觉指导和/或手动指令。在该示例中,用户试图组装两个对象OBJ1和OBJ2,同时系统1000提供在对象周围可见的附加指令数据层VS并提供如何执行任务的指令。应该注意的是,显示给用户的实际对象OBJ1和OBJ2的位置应该符合对象在空间中的实际位置(也与用户的手相关联),指令(增强)数据VS应该在相应的位置可见,以便对用户有意义。更具体地说,如果该示例中的增强数据VS出现在OBJ1旁边,则可以理解任务从OBJ2拧下OBJ1,而如果增强数据VS出现在OBJ2旁边,则生成的任务可以被理解为相反(将OBJ1和OBJ2拧在一起)。
参考图4,其示意性地示出了根据本发明一些实施例的眼睛显示单元100。眼睛显示单元100包括图像形成单元130、相机单元120和光学偏转模块140。光学偏转模块140可以是双侧至少部分地反射的板(例如,双侧镜),其被配置为使来自用户前方的场景的光偏转为由相机单元120所捕获并使来自图像形成单元130的光朝向用户眼睛10偏转。光学偏转模块140通常具有两个至少部分地反射的表面,即位于周围和相机单元120侧的表面141以及位于眼睛和图像形成单元130侧的表面142,并且光学偏转模块140定位在成角度的方向上以将来自周围的光朝向照相机120反射并将来自图像形成单元130的光向用户眼睛10反射。
更具体地,光学偏转模块140以及相机单元120定位和定向为使得在直接向前凝视时,表面141使相机单元的光轴OAc沿着与用户的预期视线对准的第一轴OAs偏转。为了提供所需的视场,在由相机单元120采集的光的光路中提供一个或多个光学元件,在图中示例了两个这样的光学元件122和124。这些光学元件可包括被配置为改善图像采集的一个或多个透镜、孔或任何其他元件,并提供所需的视场。光学元件可以沿着相机单元120和光学偏转模块140之间的光学路径OAc定位,并且沿着光学偏转模块140和用户前方的场景之间的光学路径OAs定位。在一些配置中,如下面将进一步描述的,眼睛显示单元100可以利用仅位于相机单元120和光学偏转模块140之间的光学元件。光学元件122和/或124可以单独配置或一起配置为对采集的输入光提供所需的光学操纵。例如,光学元件可以被配置为变焦镜头、远摄镜头系统、目镜单元等。另外,如上所述,光学偏转模块140的表面141还可以被配置为利用适当的曲率、衍射或全息元件等来应用所需的光学操纵,作为光学元件122和124的补充或替代。
光学偏转模块140的表面142通常使来自图像形成单元130的光朝向用户眼睛10偏转。如图所示,图像形成单元130被定位成使得其光轴OAd沿着第二光路偏转以沿着用户眼睛的光轴OAv对准。图像形成单元130可以是能够生成可由用户感知的输出光形成图像的任何类型的图像形成单元。例如,图像形成单元130可以包括:具有显示面板的显示单元,该显示面板被配置为通过选择性地打开和关闭多个像素来形成图像数据;或者包括眼睛投射单元,该眼睛投射单元被配置为将所选择的图像数据直接投射到用户眼睛上或到中间图像平面上。
此外,第二光学路径还可以包括一个或多个光学元件,其被配置用于将显示的数据成像到用户。两个这样的光学元件被例示为分别位于图像形成单元130和光学偏转模块140之间以及光学偏转模块140和用户眼睛10之间的132和134。光学元件可用于影响从图像形成单元130朝向用户眼睛10的光传播,以提供所需的聚焦距离。此外,如上所述,光学偏转模块140的表面142还可以被配置为利用适当的曲率、衍射或全息元件等来施加期望的光学操纵,作为光学元件132和134的补充或替代。
因此,根据本发明的各种实施例,光学偏转模块140(及其偏转表面141和142)被配置和布置在系统100中,使得标称光学路径OAs(其是第一光学路径的一部分)与标称光学路径OAv(其是第二光学路径的一部分)共同对齐(同轴),光学偏转模块140(例如,通过表面141)使来自场景的光从/沿着标称光学路径OAs偏转以被相机单元120捕获,并且光学偏转模块140(例如通过相对表面142)使由图像形成单元130投射的光沿着标称光学路径OAv偏转以传播到眼睛10。因此,由相机单元120捕获并由图像形成单元130投射到眼睛的场景或其部分的图像通过相对于外部场景的空间配准来感知。
还应注意,光学偏转模块140可以被配置为部分地反射并且允许来自场景的光沿着光路OAs和OAv朝向用户的眼睛10传播。在这样的配置中,光学元件124和134可以被配置为目镜的使得用户能够看到周围的两个部分,或者可以不被使用。在这样的配置中,场景可以直接对用户可见,而不由控制单元处理,而附加图像层可以由图像形成单元130提供在实际可见场景的顶部上。
参考图5,其示出了根据本发明一些实施例的眼睛显示单元100。在该示例中,光学偏转模块140被配置为双侧镜,其实际上从任一侧反射撞击在其上的100%(例如,几乎100%,通常约95%-99%)的光。图像形成单元130被配置为包括第一中继模块136的眼睛投射单元,并且光学元件134被配置为第二中继模块。眼睛投射单元可以包括眼睛跟踪器,并且能够根据用户眼睛的运动来改变图像投射的角度定向。
此外,在图5中例示的配置中,相机单元可以包括光学元件122和124,用于提供期望的视野。通常,相机单元可以利用任何选定的光学元件配置,从而在提供对应于用户眼睛10的视线的同时实现期望的和可能可变的视野。应当注意,如果使用的话,相机单元120可以根据由投射单元的眼睛跟踪器提供的关于眼睛定向的数据,利用偏转光学元件来改变其视线。
图6例示了根据本发明的一些实施例的眼睛显示单元100的附加配置。在该配置中,相机单元120设置有光学元件122,光学元件122位于在光学偏转模块140和相机单元120之间采集的光的光路中。可以使用位于光学元件122和相机单元之间的附加光学元件126。省略图像形成单元130的图示细节,因为图像形成模块可以根据上述配置来配置。
通常,根据如上所述的本发明的各种实施例,由每个眼睛显示单元100的至少一个相机单元120提供的输入图像数据提供立体输入图像数据。作为显示系统的可连接到其的一部分的控制单元(通常为图1中500)可以利用输入数据来确定如上所述的周围环境的三维映射。这使得该系统能够基于场景的输入图像数据提供可靠的增强数据,并改善增强现实环境中的用户定向。此外,除了给用户眼睛的每个提供的图像的视点的变化之外,还可以使用场景的这种三维地图来提供具有与物体的实际距离对应的焦距的图像显示,从而给用户提供完整的三维体验。
因此,本发明提供了一种显示系统,其通常被配置为头戴式显示系统,该系统利用光学偏转模块,该光学偏转模块被用于引导输入光以供一个或多个相机单元采集,以提供具有与用户眼睛的视点基本上类似的视点的图像采集。该配置提供可靠的增强现实体验并增加由系统提供的虚拟或增强现实中的用户定向。

Claims (13)

1.一种包括眼睛显示单元的系统,所述眼睛显示单元包括:
至少一个相机单元,其被配置用于收集从场景的感兴趣区域沿第一光学路径到达的光并产生指示所述光的图像数据;
至少一个图像形成模块,其被配置用于接收图像数据并沿第二光学路径朝向用户眼睛投射所述图像数据的图像;以及
光学偏转模块,其包括至少一个双面光反射光学元件,所述至少一个双面光反射光学元件被配置成至少部分地反射来自其两侧的光,并且位于所述眼睛的前方所述第一光学路径和所述第二光学路径交叉的位置处,且被定向为在所述图像形成模块和所述用户眼睛之间限定所述第二光学路径并在所述至少一个相机单元和所述场景之间限定所述第一光学路径;从而使所述至少一个相机单元的视点基本上类似于所述用户眼睛的视线。
2.如权利要求1所述的系统,其中,所述至少一个相机单元沿着所述第一光学路径定位在与在没有所述光学偏转模块的情况下所述用户眼睛相对于所述场景的光学平面对应的光学平面处。
3.如权利要求1或2所述的系统,其中,所述至少一个相机沿所述第一光学路径定位成提供与相应的用户眼睛的视线基本相似的视线。
4.如权利要求1至3中任一项所述的系统,其中,所述至少一个图像形成模块包括眼睛投射单元,所述眼睛投射单元被配置用于将指示一个或多个图像的结构光投射到用户的相应眼睛上。
5.如权利要求1至4中任一项所述的系统,其中,所述至少一个图像形成模块包括图像显示单元,所述图像显示单元被配置用于提供显示图像数据。
6.如权利要求1至5中任一项所述的系统,其中,所述光学偏转模块的所述至少一个双面光反射光学元件被配置为双面镜。
7.如权利要求1至6中任一项所述的系统,其中,包括与用户的右眼和左眼相对应的第一眼睛显示单元和第二眼睛显示单元。
8.如权利要求1至7中任一项所述的系统,其中,所述眼睛显示单元还包括控制单元,所述控制单元被配置并能够操作用于接收由所述至少一个相机单元收集的图像数据并产生相应的显示图像数据并将所述显示图像数据发送到所述至少一个图像形成模块以向所述用户提供相应的图像。
9.如权利要求1至8中任一项所述的系统,其中,所述光学偏转模块被配置成引导输入光,使得所述至少一个相机单元的光学位置和视线对应于所述用户的相应眼睛的光学位置和视线。
10.如权利要求1至9中任一项所述的系统,其中,所述光学偏转单元使所述至少一个相机单元位于眼睛等效位置处。
11.如权利要求1至10中任一项所述的系统,其中,所述至少一个显示单元被配置成提供无缝图像显示。
12.如权利要求1至11中任一项所述的系统,其中,所述光学偏转模块包括至少一个反射表面,所述至少一个反射表面被配置成对从其反射的光提供选定的光学操纵。
13.如权利要求12所述的系统,其中,所述至少一个反射表面配置有下列中的至少一者:选定的表面曲率、衍射光栅和全息元件。
CN201880014802.4A 2017-03-01 2018-02-28 视频透视式显示系统 Pending CN110709898A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL250869A IL250869B (en) 2017-03-01 2017-03-01 Display system with video through the display
IL250869 2017-03-01
PCT/IL2018/050222 WO2018158765A1 (en) 2017-03-01 2018-02-28 Display system with video see-through

Publications (1)

Publication Number Publication Date
CN110709898A true CN110709898A (zh) 2020-01-17

Family

ID=58669502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014802.4A Pending CN110709898A (zh) 2017-03-01 2018-02-28 视频透视式显示系统

Country Status (12)

Country Link
US (1) US10890771B2 (zh)
EP (1) EP3590098A4 (zh)
JP (1) JP2020511687A (zh)
KR (1) KR20190141656A (zh)
CN (1) CN110709898A (zh)
AU (1) AU2018226651A1 (zh)
CA (1) CA3055143A1 (zh)
IL (1) IL250869B (zh)
RU (1) RU2019129442A (zh)
SG (1) SG11201907794YA (zh)
TW (1) TW201843494A (zh)
WO (1) WO2018158765A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818265A (zh) * 2020-07-16 2020-10-23 北京字节跳动网络技术有限公司 基于增强现实模型的交互方法、装置、电子设备及介质
CN112731645A (zh) * 2021-01-12 2021-04-30 塔普翊海(上海)智能科技有限公司 一种增强现实望远系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
US11029805B2 (en) * 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
TWI749894B (zh) * 2020-01-14 2021-12-11 宏達國際電子股份有限公司 頭戴式顯示器
CN114637118A (zh) * 2022-04-01 2022-06-17 业成科技(成都)有限公司 抬头显示器及其操作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300632A1 (en) * 2013-04-07 2014-10-09 Laor Consulting Llc Augmented reality apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
WO1999049656A1 (en) * 1998-03-25 1999-09-30 Mann W Stephen G Wearable camera system with viewfinder means
US20020030637A1 (en) * 1998-10-29 2002-03-14 Mann W. Stephen G. Aremac-based means and apparatus for interaction with computer, or one or more other people, through a camera
JP3604990B2 (ja) * 2000-03-03 2004-12-22 キヤノン株式会社 画像観察システム
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP2007058194A (ja) * 2005-07-26 2007-03-08 Tohoku Univ 高反射率可視光反射部材及びそれを用いた液晶ディスプレイバックライトユニット並びに高反射率可視光反射部材の製造方法
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
JP2012155122A (ja) * 2011-01-26 2012-08-16 Kyocera Optec Co Ltd 光学ユニットおよび赤外線撮像センサ
US9195067B1 (en) 2012-09-28 2015-11-24 Google Inc. Wearable device with input and output structures
US9857586B2 (en) * 2014-04-30 2018-01-02 Sharp Kabushiki Kaisha Reflective projection display device
US20170010467A1 (en) * 2015-07-08 2017-01-12 Castar, Inc. Hmpd with near eye projection
DE102015118520A1 (de) * 2015-10-29 2017-05-04 Krauss-Maffei Wegmann Gmbh & Co. Kg Kopfbefestigbare Anzeigevorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300632A1 (en) * 2013-04-07 2014-10-09 Laor Consulting Llc Augmented reality apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818265A (zh) * 2020-07-16 2020-10-23 北京字节跳动网络技术有限公司 基于增强现实模型的交互方法、装置、电子设备及介质
CN111818265B (zh) * 2020-07-16 2022-03-04 北京字节跳动网络技术有限公司 基于增强现实模型的交互方法、装置、电子设备及介质
CN112731645A (zh) * 2021-01-12 2021-04-30 塔普翊海(上海)智能科技有限公司 一种增强现实望远系统

Also Published As

Publication number Publication date
RU2019129442A (ru) 2021-04-01
KR20190141656A (ko) 2019-12-24
US10890771B2 (en) 2021-01-12
EP3590098A4 (en) 2021-01-20
US20200012107A1 (en) 2020-01-09
AU2018226651A1 (en) 2019-10-17
IL250869B (en) 2021-06-30
SG11201907794YA (en) 2019-09-27
JP2020511687A (ja) 2020-04-16
EP3590098A1 (en) 2020-01-08
CA3055143A1 (en) 2018-09-07
TW201843494A (zh) 2018-12-16
WO2018158765A1 (en) 2018-09-07
IL250869A0 (en) 2017-04-30

Similar Documents

Publication Publication Date Title
US10890771B2 (en) Display system with video see-through
JP6433914B2 (ja) 裸眼立体拡張現実ディスプレイ
US6078427A (en) Smooth transition device for area of interest head-mounted display
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
CN103917913B (zh) 头戴式显示器、控制光学系统的方法及计算机可读介质
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
KR20180062946A (ko) 디스플레이 장치 및 초점 디스플레이와 컨텍스트 디스플레이를 이용하여 디스플레이하는 방법
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US11178380B2 (en) Converting a monocular camera into a binocular stereo camera
EP1276333A2 (en) Adaptive autostereoscopic display system
CN106707508A (zh) 帽子型虚拟现实图像显示系统
CN107076984A (zh) 虚像生成器
US11036050B2 (en) Wearable apparatus and unmanned aerial vehicle system
JP2016536635A (ja) 再構成可能な投影拡張現実/仮想現実アプライアンスのためのシステム及び方法
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
JP7493494B2 (ja) スマートフォン支援型携帯拡張現実感(ar)デバイスおよびユーザの眼鏡に調整可能に取り付けるためのクリップオンユニット
JP2022552586A (ja) ニアアイディスプレイ用マルチパススキャナ
JP4270347B2 (ja) 距離演算装置
KR101941880B1 (ko) 자유 초점 디스플레이 장치
US20220350149A1 (en) Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov)
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件
WO2020137088A1 (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
WO2022064564A1 (ja) ヘッドマウントディスプレイ
JP2949116B1 (ja) 反射光学系を用いたディスプレイ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021806

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200117

WD01 Invention patent application deemed withdrawn after publication