CN107438788A - 校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装 - Google Patents

校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装 Download PDF

Info

Publication number
CN107438788A
CN107438788A CN201680017294.6A CN201680017294A CN107438788A CN 107438788 A CN107438788 A CN 107438788A CN 201680017294 A CN201680017294 A CN 201680017294A CN 107438788 A CN107438788 A CN 107438788A
Authority
CN
China
Prior art keywords
lens
user
virtual
camera
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680017294.6A
Other languages
English (en)
Inventor
塞缪尔·马克·马特森
多米尼克·菲利蒙·克泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107438788A publication Critical patent/CN107438788A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种虚拟眼镜套装可以包括框架、第一虚拟透镜和第二虚拟透镜、和处理器。框架可以安装到用户的头部并且在用户的左眼前面保持第一虚拟透镜和在用户的右眼前面保持第二虚拟透镜。每一个透镜的第一侧可以面对用户并且每一个透镜的第二侧可以背离用户。第一虚拟透镜和第二虚拟透镜每一个可以包括在第一侧上的光场显示器和在第二侧上的光场相机。为了基于经由每一个光场相机接收的图像数据在每一个光场显示器上显示,处理器可以从用户的相应眼睛的视角构造图像。

Description

校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装
对相关申请的交叉引用
该申请要求题目为“Virtual Eyeglass Set for Viewing Actual Scene thatCorrects for Different Location of Contacts Than Eyes(校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装)”、在2015年4月30日提交的美国临时申请No.62/155,424的优先权,其公开通过引用并入于此。
技术领域
该说明书涉及光学系统。
发明内容
根据示例实施例,一种虚拟眼镜套装可以包括框架、第一虚拟透镜和第二虚拟透镜、和处理器。框架可以被配置成安装到用户的头部并且在用户的左眼前面保持第一虚拟透镜和在用户的右眼前面保持第二虚拟透镜。第一虚拟透镜可以由框架支撑并且第二虚拟透镜可以由框架支撑。第一虚拟透镜和第二虚拟透镜中的每一个可以由框架支撑,从而当虚拟眼镜套装被安装到用户的头部时,透镜的第一侧将面对用户并且透镜的第二侧将背离用户。第一虚拟透镜和第二虚拟透镜中的每一个可以包括在第一侧上的光场显示器和在第二侧上的光场相机。处理器可以由框架支撑。为了基于经由每一个光场相机接收的图像数据在每一个光场显示器上显示,处理器可以被配置成从用户的相应眼睛的视角构造图像。
根据另一个示例实施例,一种虚拟眼镜套装可以包括框架、第一虚拟透镜、第二虚拟透镜、和处理器。框架可以被配置成安装到用户的头部并且在用户的左眼前面保持第一虚拟透镜和在用户的右眼前面保持第二虚拟透镜。第一虚拟透镜可以由框架支撑并且第二虚拟透镜可以由框架支撑。第一虚拟透镜和第二虚拟透镜中的每一个可以由框架支撑,从而当虚拟眼镜套装被安装到用户的头部时,透镜的第一侧将面对用户并且透镜的第二侧将背离用户。第一虚拟透镜和第二虚拟透镜中的每一个可以包括在第一侧上的显示器和在第二侧上的广角相机。处理器可以由框架支撑。处理器可以被配置成构造用于在每一个显示器上通过裁剪由每一个广角相机接收的图像进行显示从而在相应透镜的每一侧上的显示器以比相应广角相机更窄的角度显示图像从而该图像呈现从用户的相应眼睛开始的锥体。
根据另一个示例实施例,一种虚拟眼镜套装被配置成基于经由在透镜的相对侧上的光场相机接收的数据在右透镜和左透镜中的每一个处显示光场图像,该光场图像从佩戴该虚拟眼镜套装的用户的眼睛的视角超过该虚拟眼镜套装地呈现物体的图像。
在以下附图和说明中阐述了一个或者多个实施方式的细节。根据该说明和绘图并且根据权利要求,其它特征将是清楚的。
附图简要说明
图1A是佩戴根据示例实施例的虚拟眼镜套装的用户的图表。
图1B是根据示例实施例的虚拟眼镜套装和用户的眼睛的分解视图。
图1C是示出根据示例实施例的虚拟眼镜套装的透镜的顶视图。
图1D是示出根据示例实施例的虚拟眼镜套装的每一个透镜的第一侧的后视图。
图1E是示出根据示例实施例的虚拟眼镜套装的每一个透镜的第二侧的前视图。
图2示出根据示例实施例的用户的眼睛和透镜的视场。
图3A示出在其中物体处于该两个透镜中的第二个的视场中的示例中用户的眼睛和透镜。
图3B示出在其中物体处于每一个透镜的某些视点的视场中的示例中用户的眼睛和透镜。
图3C示出在其中物体处于每一个透镜的所有的视点的视场中的示例中用户的眼睛和透镜。
图4示出在其中每一个透镜的视点中的一个与从用户的眼睛中的一只到物体的射线交叉的示例中用户的眼睛和透镜。
图5示出在其中每一个透镜包括广角相机的示例中用户的眼睛和透镜。
图6示出在根据示例实施例的虚拟眼镜套装中包括的处理器。
具体实施方式
一种虚拟眼镜套装可以包括在面对佩戴显示在用户前面的实际场景的虚拟眼镜套装的用户的每一个透镜的第一侧上的显示器,和捕获在用户前面的实际场景的、在背离用户的每一个透镜的第二侧上的相机。为了校正为用户的眼睛而非透镜上的相机形成不同的原点的、用户的眼睛处于透镜后面的距离,相机可以包括带有多个视点的光场相机,并且该虚拟眼镜套装可以包括从眼睛的优势点构造图像以向用户显示从而由此消除视差效应的处理器。还可以被视为全光相机的光场相机可以使用多个相机或者附属相机和/或多个透镜从多个位置和/或视点捕获图像。从多个位置和/或视点捕获图像可以允许从实际上未从其捕获图像的优势点和/或位置构造三维场景的图像。为了形成三维场景的图像而非平面画面,显示器可以包括带有多个显示器的光场显示器。光场显示器可以向用户的每一只眼睛呈现带有深度暗示的三维图像,从而观看光场显示器使得用户感到正如他或者她正在观看实际场景那样。
图1A是佩戴根据示例实施例的虚拟眼镜套装102的用户100的图。虚拟眼镜套装102可以被安置和/或安装在用户的鼻108和耳110A、110B上。虚拟眼镜套装102可以包括安置和/或被安装在用户的头部、包括用户的鼻108和耳110A、110B上的框架104。
虚拟眼镜套装102可以包括两个透镜106A、106B。透镜106A、106B可以被视为虚拟透镜,因为它们看起来在用户100前面示出实际场景的图像,正如用户100正在通过透明的和/或不存在的透镜观看那样。透镜106A、106B可以由框架104支撑,从而当虚拟眼镜套装被安装到用户的100头部时,透镜106A、106B中的每个均直接地处于用户的一只眼睛(未在图1A中示出)前面。
图1B是根据示例实施例的虚拟眼镜套装102和用户的眼睛112A、112B的分解视图。如在图1B中所示,虚拟眼镜套装102可以包括框架104、透镜106A、106B、和处理器113。处理器113可以从透镜106A、106B的每一个接收来自背离用户的相机(未在图2B中示出)的输入并且可以为了在面对用户的透镜106A、106B的第一侧上的显示器(未在图2B中示出)上呈现和/或显示,构造具有与用户的眼睛112A、112B相同的优势点和/或视角的图像。第一透镜106A和/或左透镜的第一侧上的第一光场显示器可以显示具有与用户的第一眼睛112A和/或左眼相同的优势点和/或视角的第一图像,并且第二透镜106B和/或右透镜的第一侧上的第二光场显示器可以显示具有与用户的第二眼睛112B和/或右眼相同的优势点和/或视角的图像,从而为用户产生三维场景的效果。
图1C是示出根据示例实施例的虚拟眼镜套装102的透镜106A、106B的顶视图。如在图1C中所示,透镜106A、106B中的每个可以包括面对用户的眼睛112A、112B(未在图1C中示出)的第一侧118A和背离用户100的第二侧120A、120B。
每一个透镜106A、106B的第一侧118A、118B可以包括光场显示器114A、114B。光场显示器114A、114B可以包括多个像素以向用户100的相应眼睛112A、112B呈现光场图像。光场图像可以是在用户100前面的从用户100的相应眼睛112A、112B的视角和/或优势点的实况场景的重构图像。该两个透镜106A、106B的光场显示器114A、114B可以一起地在用户100前面生成实况场景的三维图像,从而该图像看起来正如用户100正在通过在框架104中的透明的和/或不存在的透镜106A、106B观看那样。
在示例实施例中,透镜106A、106B中的每一个还可以在透镜106A、106B的第一侧118A、118B上包括方向相机122A、122B。方向相机122A、122B可以捕获用户的视网膜和/或眼睛112A、112B的图像,并且与处理器113(未在图1C中示出)相组合地,确定用户100的眼睛112A、112B和/或视网膜指向的方向和/或用户100观看的方向。处理器113可以基于由方向相机122A、122B捕获的图像确定的方向、基于从光场相机116A、116B接收的图像数据和捕获的方向生成和/或构造用于由光场显示器114A、114B中的每一个从用户100的眼睛112A、112B的视角和方向显示的图像,由此生成与用户100正在观看的方向一致的图像。
在示例实施例中,替代方向相机122A、122B地或者除此之外地,透镜106A、106B中的每个的第一侧118A、118B可以包括敏度相机。第一侧118A、118B上的敏度相机可以是除了方向相机122A、122B的第二相机,或者方向相机122A、122B还可以执行敏度相机的功能。敏度相机可以捕获在用户100的相应眼睛112A、112B中的、用户100的视网膜的图像。基于由敏度相机捕获的、用户100的视网膜的图像,处理器113(未在图1C中示出)可以确定用户100的视敏度。处理器113可以确定用户的100视敏度,包括例如用户100在眼睛112A、112B中的任一只或者两只中是否近视、远视或者存在散光。基于用户100的视敏度的确定,处理器113可以修改和/或构造用于由相应光场显示器114A显示的图像以使得对特定用户图像的可见性最大化。处理器113还可以基于关于用户100的视敏度的、从用户100接收的输入修改和/或构造图像。
每一个透镜106A、106B的第二侧120A、120B可以包括光场相机116A、116B。如在图1E中所示,每一个透镜106A、106B的光场相机116A、116B可以包括和/或由多个视点构成,从而使得光场相机116A、116B能够从多个位置、优势点和/或视角渲染和/或捕获图像。该多个视点可以对应于每一个具有它自身的透镜的处于不同位置的多个相机、共享单个透镜的多个相机、或者使用多个透镜的单个相机的视点。一个或者多个相机的任何或者所有的透镜可以包括菲涅耳透镜。菲涅耳透镜可以增加一个或者多个相机的每一个相机的视场。处理器113可以从每一个光场相机116A、116B的多个视点接收输入,并且可以基于从该多个视点接收的输入,从不被任何视点占据的位置和/或优势点构造图像。
图1D是示出根据示例实施例面对用户100的虚拟眼镜套装102(它的其它组件未在图1D中示出)的每一个透镜106A、106B的第一侧118A、118B的后视图。如在图1D中所示,在透镜106A、106B中的每个的第一侧118A、118B上的光场显示器114A、114B(未在图1D中标记)可以由多个附属显示器124A、124B构成,和/或可以包括多个附属显示器124A、124B构成。多个附属显示器124A、124B中的每个可以是带有多个像素能够生成独立的图像的独立的显示器,或者该多个附属显示器124A、124B中的每个可以包括单个像素;附属显示器124A、124B可以一起地构成光场显示器114A、114B。在透镜106A、106B中的每个上的附属显示器124A、124B可以一起地显示由处理器113(未在图1D中示出)构造的图像。附属显示器124A、124B可以一起地在透镜106A、106B的第一侧118A、118B上形成栅格或者阵列,针对在这个示例中为总共一百(100)个附属显示器124A、124B,诸如十乘十(10x10)栅格或者阵列,和/或可以覆盖透镜106A、106B的第一侧118A、118B的至少百分之九十(90%)。
图1E是示出根据示例实施例背离用户100的虚拟眼镜套装102(其其它组件未在图1E中示出)的透镜106A、106B中的每个的第二侧120A、120B的前视图。如在图1E中所示,在透镜106A、106B中的每个的第二侧120A、120B上的光场相机116A、116B(未在图1E中标记)可以限定、呈现和/或捕获多个视点126A、126B。多个视点126A、126B中的每个可以处于不同的位置中。多个视点126A、126B中的每个的不同的位置可以使得光场相机116A、116B能够从多个视角和/或优势点捕获在用户100前面的场景。
该多个视点126A、126B中的每个可以包括带有单个透镜和单个检测器的单个相机,或者视点126A、126B中的每个可以包括将光折射到经由所有的该多个透镜接收光的单个和/或共享检测器上的独立透镜。与视点126A、126B中的每个相关联的透镜可以包括菲涅耳透镜。视点126A、126B可以一起地在透镜106A、106B的第二侧120A、120B上形成栅格或者阵列,诸如十乘十(10x10)栅格或者阵列,和/或可以覆盖透镜106A、106B的第二侧120A、120B的至少百分之九十(90%)。
图2示出根据示例实施例的用户的眼睛112A、112B和透镜106A、106B的视场。在图2所示示例中,透镜106A、106B的视场可以从相机原平面204具有与用户的眼睛112A、112B从眼睛原平面202具有的相同的角度和/或范围,相机原平面204在眼睛原平面202前面。在这个示例中,用户的左眼112A可以具有在线206A、208A之间的视场,并且用户的右眼112B可以具有在线206B、208B之间的视场。还在这个示例中,位于透镜106A、106B中心的相机可以具有在线210A、212A和210B、212B之间的视场。虽然由于二维表示(以及图3A、3B、3C和4)图2示出三角形视场,但是在三维空间中视场可以是锥形的。
在这个示例中,区域214中的物体可以对用户的眼睛112A、112B和相机均是不可见的。在线208A和212A之间和在线208B和212B之间的物体可以对用户的眼睛112A、112B中的一只或两只是可见的,但是对位于透镜106A、106B中心的相机是不可见的。区域216中的物体可以对用户的两只眼睛112A、112B都是可见的,但是对处于透镜106A、106B的中心的相机中的任一个都是不可见的。可以要求处于透镜106A、106B上的另外的点处的相机和/或带有更宽角度的相机以捕获区域216中的物体的图像。
区域218中的物体可以对用户的眼睛112A、112B两者和对处于透镜106A、106B的中心的相机是可见的。然而,在不进行调节时,由于物体来自于物体从用户的眼睛112A、112B的角度不同的相机的角度而引起的视差效应,仅仅基于由处于透镜106A、106B的中心的相机接收的图像数据显示的图像可能看起来比它们实际上距用户的眼睛112A、112B更加靠近。可以要求多个视点126A、126B(未在图2中示出),诸如在图1E中所示在透镜106A、106B的第二侧120A、120B上的多个视点126A、126B,以从用户的眼睛112A、112B的视角和/或优势点构造图像。
图3A、3B和3B从透镜106A、106B的第二侧120A、120B上的多个视点126A、126B示出在透镜106A、106B前面的物体300A、300B、300C上的视角。虽然图3A、3B和3C在二维、三角形区域中示出透镜106A、106B和示意视场的线,但是在三维空间中透镜和视场可以实际上是锥形的。
图3A示出在其中物体300A处于第二透镜106B但不在第一透镜106A的视场中的示例中用户的眼睛112A、112B和透镜106A、106B。如在图3A中所示,物体300A在线304A外侧和/或超过线304A,线304A形成第一透镜106A的多个视点126A(未在图3A中示出)的视场的外部边界,从而使得第一透镜106A的光场相机116A(未在图3A中示出)不能从任何视角捕获物体300A的任何图像。
如在图3A中所示,物体300A对透镜106B的第二侧120B上的某些、多个或者所有的视点126B是可见的。线306B、308B、310B、312B、314B示出从第二侧120B上的视点126B到物体300A的方向。基于由视点126B捕获的物体300A的图像数据,处理器113(未在图3A中示出)可以从用户100的右眼和/或第二眼睛112B的优势点生成图像以由第二光场显示器114B显示。
图3B示出在其中物体300B处于透镜106A、106B中的每个的视点126A、126B(未在图3A中示出)中的某些视点的视场中的示例中用户的眼睛112A、112B和透镜106A、106B。如在图3B中所示,物体300B处于形成由线324A代表的一条或者多条线的原点和/或始点的在第一透镜106A上的一个或者多个视点126A的视场中,但是物体300B不处于形成由线322A代表的一条或者多条线的原点和/或始点的在第一透镜106A上的一个或者多个视点126A的视场中。类似地,物体300B处于形成由线326B、328B代表的一条或者多条线的原点的在第二透镜106B上的一个或者多个视点126B的视场中,但是物体300B不处于形成由线330B代表的一条或者多条线的原点的在第二透镜106B上的一个或者多个视点126B的视场中。处理器113(未在图3B中示出)可以从用户的两只眼睛112A、112B的优势点生成图像以由光场显示器114A、114B(未在图3B中标出)显示。可以仅仅基于从与所生成的图像将在其上显示的相同的透镜106A、106B上的视点126A、126B接收的图像数据,由处理器113生成用于由光场显示器114A、114B中的每个显示的图像,或者可以基于来自将在其上显示图像的透镜106A、106B和相反的透镜这两者的图像数据生成这些图像。
图3C示出在其中物体300C处于透镜106A、106B中的每个的视点126A、126B的所有(未在图3A中示出)的视场中的示例中用户的眼睛112A、112B和透镜106A、106B。在这个示例中,处理器113(未在图3C中示出)能够基于从将在此处显示图像的透镜106A、106B中的视点126A、126B的某些或者所有接收的图像数据或者基于从透镜106A、106B两者中的视点126A、126B的某些或者所有接收的图像数据,构造用于在光场显示器114A、114B中的每一个处显示的、物体300C的图像。
图4示出在其中透镜106A、106B中的每个的视点404A、404B中的一个与从用户的眼睛112A、112B中的一只到物体400的射线402A、402B交叉的示例中用户的眼睛112A、112B和透镜106A、106B。透镜106A、106B中的每个可以如上所述包括多个视点126A、126B(未在图4中示出)。在一种示例实施方式中,处理器113(未在图4中示出)和/或方向相机122A、122B(未在图4中示出)可以确定用户100观看和/或用户100的眼睛112A、112B的视网膜指向的方向。基于所确定的方向,处理器113可以从每一个透镜106A、106B中的该多个视点126A、126B确定单个视点404A、404B,其沿着和/或最靠近从用户的眼睛112A、112B延伸到物体400的射线402A,402B。当用户100观看物体400时,所确定的单个视点404A、404B可以沿着射线402A、402B并且处于眼睛112A、112B和物体400之间。处理器113可以仅仅基于从沿着和/或最靠近射线402A、402B的视点404A、404B捕获的图像数据在透镜106A、106B上生成用于向用户100显示的图像。仅仅基于从沿着射线402A、402B的视点404A、404B捕获的图像数据的图像可以看起来具有与眼睛112A、112B相同的优势点和/或视角,从而使得用户100能够在透镜106A、106B的光场显示器114A、114B中观看物体400,正如透镜106A、106B是透明的和/或不存在那样。
图5示出在其中透镜506A、506B中的每个包括广角相机510A、510B的示例中用户的眼睛112A、112B和透镜506A、506B。透镜506A、506B可以如在上面关于透镜106A、106B描述地被安装在框架上、可以如上所述地包括光场显示器和/或方向相机,和/或可以如上所述被耦合到处理器。在这个示例中,线512A、513A示出和/或界定左眼和/或第一眼睛112A的视场,并且线522A、524A示出和/或界定左相机和/或第一广角相机510A的视场。线512B、513B示出和/或界定右眼和/或第二眼睛112B的视场,并且线522B、524B示出和/或界定右相机和/或第二广角相机510B的视场。如在图5中所示,超过广角相机原平面526地,广角相机510A、510B的视场延伸超过眼睛112A、112B的视场。为了模拟眼睛112A、112B的视场和/或视角,处理器113(未在图5中示出)可以裁去从广角相机510A、510B接收的图像数据的延伸超过眼睛112A、112B的视场,诸如在522A和512A之间、在524A和513A之间、在512B和524B之间和在522B和513B之间的区域或者空间的部分。处理器113可以为了在显示器514A、514B中的每个上显示通过裁剪由广角相机510A、510B中的每个接收的图像,构造带有比广角相机510A、510B更窄的角度的图像,从而所构造的图像代表从用户100的相应眼睛112A、112B开始的锥体。处理器113可以由此生成与将由眼睛112A、112B直接观看的图像类似的图像。
图6示出在根据示例实施例的虚拟眼镜套装102(未在图6中示出)中包括的处理器113。处理器113可以包括从光场相机116A、116B、方向相机122A、122B、视点126A、126B、视点404A、404B、和/或广角相机510A、510B接收输入数据的一个或者多个输入节点606。处理器113还可以包括向光场显示器114A、114B和/或附属显示器124A、124B输出显示数据的一个或者多个输出节点608。处理器113可以包括控制器602和存储器604。存储器604可以包括存储用于由控制器602执行的指令、和诸如所接收的图像数据和所生成的显示数据的数据的非暂时性计算机可读存储介质。如在上面关于处理器113描述地,通过执行由存储器604存储的指令,控制器602可以生成用于由光场显示器114A、114B和/或附属显示器124A、124B呈现的显示数据。
在这里描述的各种技术的实施方式可以在数字电子电路中或者在计算机硬件、固件、软件或者在它们的组合中实现。这些实施方式可以被实现为计算机程序产品,即,在信息载体中有形体现的计算机程序,例如在机器可读存储设备中或者在传播信号中,以用于由例如可编程处理器、计算机或者多个计算机的数据处理装置执行或者控制数据处理装置的操作。诸如上述计算机程序的计算机程序能够以包括编译或者解释语言的任何形式的编程语言书写,并且能够被以任何形式部署,包括作为独立的程序或者作为模块、组件、子例程或者适合于在计算环境中使用的其它单元。计算机程序能够被部署为在一个计算机上、或者在在一个场所处或者分布在多个场所并且被通信网络相互连接的多个计算机上执行。
方法步骤可以由一个或者多个可编程处理器执行,可编程处理器执行计算机程序以通过在输入数据上进行操作并且生成输出而执行功能。方法步骤还可以由例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)的专用逻辑电路执行,并且装置可以实现为专用逻辑电路。
适合于执行计算机程序的处理器包括例如通用和专用微处理器和任何种类的数字计算机的任何的一个或者多个处理器。通常,处理器将从只读存储器或者随机存取存储器或者两者接收指令和数据。计算机的元件可以包括用于执行指令的至少一个处理器和用于存储指令和数据的一个或者多个存储器设备。通常,计算机还可以包括或者被可操作地耦合以从例如磁盘、磁光盘或者光盘的用于存储数据的一个或者多个大容量存储设备接收数据或者向其转移数据或者从其接收和向其转移数据。适合于体现计算机程序指令和数据的信息载体包括所有形式的非易失存储器,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或者可移除硬盘;磁光盘;和CD-ROM和DVD-ROM盘。处理器和存储器可以被专用逻辑电路补充或者结合在其中。
为了提供与用户的交互,实施方式可以在具有例如阴极射线管(CRT)或者液晶显示器(LCD)监视器的用于向用户显示信息的显示器设备、和例如鼠标或者轨迹球的用户通过其能够向计算机提供输入的键盘和定点设备的计算机上实现。同样能够使用其它种类的设备提供与用户的交互;例如向用户提供的反馈能够是任何形式的感觉反馈,例如视觉反馈、听觉反馈或者触觉反馈;并且能够以任何形式接收来自用户的输入,包括声学、语言或者触觉输入。
这些实施方式可以在计算系统中实现,计算系统包括后端组件例如作为数据服务器,或者包括中间件组件例如应用服务器,或者包括前端组件例如具有图形用户接口的客户计算机或者用户能够通过其与一种实施方式交互的Web浏览器,或者这种后端、中间件或者前端组件的任何组合。这些组件可以通过任何形式或者介质的数字数据通信例如通信网络相互连接。通信网络的示例包括局域网(LAN)和广域网(WAN),例如互联网。
虽然如在这里描述地已经示意了所描述的实施方式的某些特征,但是本领域技术人员现在将会想到很多修改、替代、改变和等价形式。因此,应该理解所附权利要求旨在涵盖落入本发明的实施例的真正精神内的所有的这种修改和改变。

Claims (17)

1.一种虚拟眼镜套装,包括:
框架,所述框架被配置成安装到用户的头部上并且保持所述用户的左眼前面的第一虚拟透镜和所述用户的右眼前面的第二虚拟透镜;
由所述框架支撑的所述第一虚拟透镜和由所述框架支撑的所述第二虚拟透镜,所述第一虚拟透镜和所述第二虚拟透镜中的每一个由所述框架支撑,从而当所述虚拟眼镜套装被安装到所述用户的头部上时,所述透镜的第一侧将面对所述用户并且所述透镜的第二侧将背离所述用户,所述第一虚拟透镜和所述第二虚拟透镜中的每一个包括:
在所述第一侧上的光场显示器;和
在所述第二侧上的光场相机;和
处理器,所述处理器由所述框架支撑,所述处理器被配置成根据所述用户的相应眼睛的视角来构造图像,以用于基于经由所述光场相机中的每一个接收的图像数据而在所述光场显示器中的每一个上显示。
2.根据权利要求1所述的虚拟眼镜套装,其中,所述光场相机中的每一个被配置成捕获所述图像数据。
3.根据权利要求1或者权利要求2所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括菲涅耳透镜。
4.根据权利要求1-3中任何一项所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括多个检测器和多个透镜。
5.根据权利要求1-3中任何一项所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括单个检测器和多个透镜。
6.根据权利要求1-3中任何一项所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括多个相机。
7.根据权利要求1-6中任何一项所述的虚拟眼镜套装,其中:
所述第一虚拟透镜和所述第二虚拟透镜中的每一个进一步包括在所述第一侧上的方向相机,所述方向相机被配置成捕获所述用户的眼睛所面对的方向;以及
所述处理器被配置成:基于所述图像数据和所捕获的方向,根据所述用户的眼睛的视角和方向来构造所述图像。
8.根据权利要求1-6中任何一项所述的虚拟眼镜套装,其中:
所述第一虚拟透镜和所述第二虚拟透镜中的每一个进一步包括在所述第一侧上的方向相机,所述方向相机被配置成捕获所述用户的眼睛所面对的方向;
所述光场相机中的每一个包括多个相机;以及
所述处理器被配置成:基于所述多个相机中的下述一个相机来构造所述图像:该相机最靠近从所述用户的眼睛沿着所述用户的眼睛所面对的方向延伸的射线。
9.根据权利要求1-8中任何一项所述的虚拟眼镜套装,其中,所述光场显示器中的每一个被配置成显示所构造的图像。
10.根据权利要求1-9中任何一项所述的虚拟眼镜套装,其中,所述光场显示器中的每一个包括多个像素,所述多个像素覆盖所述虚拟透镜的所述第一侧的至少百分之九十(90%)。
11.根据权利要求1-10中任何一项所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括多个相机,所述多个相机覆盖所述虚拟透镜的所述第二侧的至少百分之九十(90%)。
12.根据权利要求1-11中任何一项所述的虚拟眼镜套装,其中,所述光场相机中的每一个包括所述虚拟透镜的所述第二侧上的相机的十乘十(10x10)栅格。
13.根据权利要求1-12中任何一项所述的虚拟眼镜套装,其中,所述处理器被配置成:
基于经由所述第一虚拟透镜上的所述光场相机接收的图像数据,根据所述用户的左眼的视角来构造第一图像,以用于在所述第一虚拟透镜上的所述光场显示器上显示;以及
基于经由所述第二虚拟透镜上的所述光场相机接收的图像数据,根据所述用户的右眼的视角来构造第二图像,以用于在所述第二虚拟透镜上的所述光场显示器上显示。
14.根据权利要求1-13中任何一项所述的虚拟眼镜套装,其中,所述处理器被配置成:基于经由所述光场相机中的每一个接收的所述图像数据和所述用户的视敏度,构造所述图像。
15.根据权利要求14所述的虚拟眼镜套装,其中:
所述第一虚拟透镜和所述第二虚拟透镜中的每一个进一步包括在所述第一侧上的敏度相机,所述敏度相机被配置成捕获所述用户的视网膜的图像;以及
所述处理器被配置成:基于所述用户的视网膜的所述图像来确定所述用户的视敏度。
16.一种虚拟眼镜套装,包括:
框架,所述框架被配置成安装到用户的头部上并且保持所述用户的左眼前面的第一虚拟透镜和所述用户的右眼前面的第二虚拟透镜;
由所述框架支撑的所述第一虚拟透镜和由所述框架支撑的所述第二虚拟透镜,所述第一虚拟透镜和所述第二虚拟透镜中的每一个由所述框架支撑,从而当所述虚拟眼镜套装被安装到所述用户的头部上时,所述透镜的第一侧将面对所述用户并且所述透镜的第二侧将背离所述用户,所述第一虚拟透镜和所述第二虚拟透镜中的每一个包括:
在所述第一侧上的显示器;和
在所述第二侧上的广角相机;和
由所述框架支撑的处理器,所述处理器被配置成通过裁剪由所述广角相机中的每一个接收的图像来进行构造,以用于在所述显示器中的每一个上显示,从而在相应透镜的每一侧上的所述显示器上显示具有以比相应广角相机更窄的角度的图像,使得所述图像代表从所述用户的相应眼睛开始的锥体。
17.一种虚拟眼镜套装,所述虚拟眼镜套装被配置成在右透镜和左透镜中的每一个处,基于经由在所述透镜的相反侧上的光场相机接收的数据,来显示光场图像,所述光场图像从佩戴所述虚拟眼镜套装的用户的眼睛的视角呈现超过所述虚拟眼镜套装的物体的图像。
CN201680017294.6A 2015-04-30 2016-04-27 校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装 Pending CN107438788A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562155424P 2015-04-30 2015-04-30
US62/155,424 2015-04-30
PCT/US2016/029531 WO2016176309A1 (en) 2015-04-30 2016-04-27 Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes

Publications (1)

Publication Number Publication Date
CN107438788A true CN107438788A (zh) 2017-12-05

Family

ID=55911122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017294.6A Pending CN107438788A (zh) 2015-04-30 2016-04-27 校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装

Country Status (6)

Country Link
US (1) US10715791B2 (zh)
EP (2) EP3289401B1 (zh)
JP (2) JP6837003B2 (zh)
KR (1) KR102028088B1 (zh)
CN (1) CN107438788A (zh)
WO (1) WO2016176309A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752992A (zh) * 2018-09-28 2021-05-04 苹果公司 混合现实或虚拟现实相机系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
CN107302694B (zh) * 2017-05-22 2019-01-18 歌尔科技有限公司 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
CN108986225B (zh) * 2018-05-29 2022-10-18 歌尔光学科技有限公司 虚拟现实设备显示场景时的处理方法及装置、设备
EP3955045A4 (en) * 2019-09-30 2022-06-01 Lg Chem, Ltd. VISUAL HEADSET
US11554440B2 (en) 2020-04-14 2023-01-17 Selene Photonics, Inc. Digital display welding mask with HDR imaging
US11856175B2 (en) * 2020-04-14 2023-12-26 Selene Photonics, Inc. Welding mask with light field image capture and display
US11398120B2 (en) 2020-10-14 2022-07-26 1Ahead Technologies Security surveillance and entry management system
US11468723B1 (en) 2020-10-14 2022-10-11 1Ahead Technologies Access management system
US11393269B2 (en) 2020-10-14 2022-07-19 1Ahead Technologies Security surveillance and entry management system
US11756357B2 (en) 2020-10-14 2023-09-12 1Ahead Technologies Access management system
US11625966B2 (en) 2020-10-14 2023-04-11 1Ahead Technologies Access management system
US11854328B2 (en) 2020-10-14 2023-12-26 1Ahead Technologies Access management system
US11436882B1 (en) 2020-10-14 2022-09-06 1Ahead Technologies Security surveillance and entry management system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635848A (zh) * 2001-10-25 2005-07-06 庄臣及庄臣视力保护公司 波前测量的主观改进
CN101872579A (zh) * 2009-04-22 2010-10-27 季中 显示面板及其显示方法、显示装置及其色彩还原方法
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN203206287U (zh) * 2013-01-31 2013-09-18 成都精彩宏途科技信息有限公司 基于移动互联网三维地理信息系统
US20140340390A1 (en) * 2013-05-17 2014-11-20 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay
CN104469183A (zh) * 2014-12-02 2015-03-25 东南大学 一种x射线闪烁体成像系统的光场捕捉和后处理方法
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621424A (en) 1992-08-24 1997-04-15 Olympus Optical Co., Ltd. Head mount display apparatus allowing easy switching operation from electronic image to external field image
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US6353422B1 (en) 2000-03-31 2002-03-05 Stephen G. Perlman Virtual display system and method
JP2003287708A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp 視覚拡張装置および表示システム
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2006208451A (ja) * 2005-01-25 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4825244B2 (ja) * 2008-06-26 2011-11-30 オリンパス株式会社 立体視画像表示装置、立体視画像表示方法
US9350978B2 (en) * 2009-05-29 2016-05-24 Two Pic Mc Llc Method of defining stereoscopic depth
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
DE102012215041A1 (de) * 2012-08-23 2014-02-27 Siemens Aktiengesellschaft Verfahren zur Herstellung eines Halbleiterelementes eines direktkonvertierenden Röntgendetektors
US8891954B1 (en) * 2013-06-19 2014-11-18 ExpoImaging, Inc. Light focusing device
JP6026836B2 (ja) * 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体
EP2720464B1 (en) * 2012-10-11 2018-01-10 Sony Mobile Communications Inc. Generating image information
US9851803B2 (en) 2013-03-15 2017-12-26 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP5967597B2 (ja) * 2013-06-19 2016-08-10 パナソニックIpマネジメント株式会社 画像表示装置および画像表示方法
US9736461B2 (en) * 2013-06-19 2017-08-15 TrackThings LLC Method and apparatus for an attachable unit for a portable wireless system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635848A (zh) * 2001-10-25 2005-07-06 庄臣及庄臣视力保护公司 波前测量的主观改进
CN101872579A (zh) * 2009-04-22 2010-10-27 季中 显示面板及其显示方法、显示装置及其色彩还原方法
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN203206287U (zh) * 2013-01-31 2013-09-18 成都精彩宏途科技信息有限公司 基于移动互联网三维地理信息系统
US20140340390A1 (en) * 2013-05-17 2014-11-20 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统
CN104469183A (zh) * 2014-12-02 2015-03-25 东南大学 一种x射线闪烁体成像系统的光场捕捉和后处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752992A (zh) * 2018-09-28 2021-05-04 苹果公司 混合现实或虚拟现实相机系统
CN112752992B (zh) * 2018-09-28 2023-10-31 苹果公司 混合现实或虚拟现实相机系统
US11860368B2 (en) 2018-09-28 2024-01-02 Apple Inc. Camera system

Also Published As

Publication number Publication date
EP4236310A3 (en) 2023-09-20
EP4236310A2 (en) 2023-08-30
JP6837003B2 (ja) 2021-03-03
US10715791B2 (en) 2020-07-14
EP3289401A1 (en) 2018-03-07
EP3289401B1 (en) 2023-07-26
US20160323567A1 (en) 2016-11-03
JP2020202569A (ja) 2020-12-17
JP7109509B2 (ja) 2022-07-29
JP2018523321A (ja) 2018-08-16
KR20170105617A (ko) 2017-09-19
WO2016176309A1 (en) 2016-11-03
KR102028088B1 (ko) 2019-10-02

Similar Documents

Publication Publication Date Title
CN107438788A (zh) 校正不同于眼睛的透镜位置的观看实际场景的虚拟眼镜套装
US9241155B2 (en) 3-D rendering for a rotated viewer
EP2854402B1 (en) Multi-view image display apparatus and control method thereof
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
JP2019532535A (ja) 単一深度追跡型の遠近調節−両眼転導ソリューション
US11435576B2 (en) Near-eye display with extended accommodation range adjustment
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR20200106547A (ko) 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
US11533443B2 (en) Display eyewear with adjustable camera direction
US20210019898A1 (en) Scene camera retargeting
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
WO2021242365A1 (en) Reprojection and wobulation at head-mounted display device
US9918066B2 (en) Methods and systems for producing a magnified 3D image
CN114787690A (zh) 用于混合现实显示的增加的景深
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
US20240134191A1 (en) Monovision display for wearable device
US10445888B2 (en) Method of providing position-corrected image to head-mounted display and method of displaying position-corrected image to head-mounted display, and head-mounted display for displaying the position-corrected image
WO2012021129A1 (en) 3d rendering for a rotated viewer
US20080316299A1 (en) Virtual stereoscopic camera
KR20150077167A (ko) 3차원영상 표시장치 및 그 구동방법
EP3566093A1 (en) Near-eye display with extended accommodation range adjustment
NL2032281B1 (en) Autostereoscopic display system comprising a plurality of autostereoscopic display devices
Gurrieri Improvements in the visualization of stereoscopic 3D imagery
US20200036962A1 (en) Mixed reality glasses which display virtual objects that move naturally throughout a complete field of view of a user
Kiyokawa 35‐4: Invited Paper: A Wide Field of View Head Mounted Display and Its Effects on Search Performance in Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication