CN114460742A - 具有焦点可调透镜的眼镜设备 - Google Patents

具有焦点可调透镜的眼镜设备 Download PDF

Info

Publication number
CN114460742A
CN114460742A CN202210139546.XA CN202210139546A CN114460742A CN 114460742 A CN114460742 A CN 114460742A CN 202210139546 A CN202210139546 A CN 202210139546A CN 114460742 A CN114460742 A CN 114460742A
Authority
CN
China
Prior art keywords
image
viewer
focus
lens
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210139546.XA
Other languages
English (en)
Inventor
A·尼南
C·阿特卢鲁
J·特里普利特
C·C·万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN114460742A publication Critical patent/CN114460742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Abstract

提供了一种具有焦点可调透镜的眼镜设备。一种眼镜设备，包括左透镜组件和右透镜组件。左透镜组件包括左焦点可调透镜和左焦点固定透镜。右透镜组件包括右焦点可调透镜和右焦点固定透镜。该眼镜设备可以用在3D显示应用、虚拟现实应用、增强现实应用、远程呈现应用等中。该眼镜设备还可以用作视觉校正眼镜。

Description

具有焦点可调透镜的眼镜设备
本申请是申请号为201711043522.X、申请日为2017年10月31 日、发明名称为“具有焦点可调透镜的眼镜设备”的发明专利申请的 分案申请
技术领域
本发明一般而言涉及眼镜(eyewear)设备，尤其涉及调焦-转向 (accommodation-vergence)解决方案中具有焦点可调(tunable) 透镜的眼睛设备。
背景技术
视网膜是指(例如，人的、观看者的，等等)眼睛的内表面的、 与眼睛瞳孔相对的、具有视觉传感器的大部分(substantial part)。 中央凹(fovea)是指视网膜的相对小的中间部分，该部分集结 (host)眼睛中能够获得最敏锐视觉和最灵敏颜色接收的众多视觉传感器。
人类大脑使用转向过程来控制眼外肌，以同时朝着情景中的任何 可见物体会聚(converge)或发散(diverge)(人类)观看者的两只 眼睛，以便支持将物体感知为3D物体。同时，人类大脑使用调焦过 程来控制睫状肌，来使位于两只眼睛中瞳孔后面的每个眼睛透镜适应 于某些焦距(或焦度(power))，以便支持物体的清晰视觉或中央 凹视觉。
当在现实世界环境(或情景)中观看现实世界物体时，人类大脑 使用自然的相互依赖的调焦和转向过程来同时控制睫状肌和眼外肌， 以适应观看者的单独眼睛透镜的两个焦距，以便支持位于某个空间位 置的现实世界物体的清晰视觉(或中央凹视觉)，同时朝着某个空间 位置处的现实世界物体会聚和发散两只眼睛，以便支持对包括该现实 世界物体的现实世界环境的感知。
相比之下，当用近眼显示器(near-eye display)观看3D图像时， 人类大脑必须经过重新学习过程，以使用冲突的调焦和转向过程来控 制睫状肌和眼外肌。在观看3D图像时这些冲突的调焦和转向过程与 在观看现实世界环境中的现实世界物体时调焦和转向过程如何控制睫 状肌和眼外肌截然不同地控制睫状肌和眼外肌。
更具体而言，人类大脑需要控制睫状肌，以将观看者的眼睛的眼 睛透镜设置为恒定的焦距，以便支持在位于离眼睛固定距离处的近眼 显示器上渲染的图像的清晰视觉(或中央凹视觉)，而不管正在被观 看者观看的图像中的物体应该位于哪里。同时，当睫状肌固定眼睛透 镜的焦距以便在近眼显示器处清晰地观看时，人类大脑仍然需要控制 眼外肌，以使眼睛朝着远离近眼显示器一定距离处的、图像中描绘的 物体同时会聚或发散，以便支持物体被感知为3D物体。
这被称为调焦-转向冲突。即，在观看3D图像时大脑必须与在观 看现实世界物体时非常不同地控制睫状肌和眼外肌。不幸的是，在 3D图像观看中的调焦-转向冲突会在观看3D图像期间和之后造成频 繁和严重的生理不适/疾病(诸如恶心、头痛、定向障碍等)。
本节中描述的方法是可以追求的方法，但不一定是先前已经设想 或追求的方法。因此，除非另有指示，否则不应当假定本节中描述的 任何方法仅仅因为它们包含在本节中而有资格作为现有技术。类似地， 除非另有指示，否则关于一种或多种方法识别出的问题不应当基于这 一节就假定已经在任何现有技术中被认识到。
附图说明
在附图的图中以示例的方式而非限制的方式示出了本发明，并且 附图中相同的附图标记是指相似的元件，其中：
图1A示出了示例人类眼睛的横截面图；图1B示出了由左眼和 右眼对位于物体平面中的现实世界物体的示例观看；
图2A、图2B和图2D示出了包括左图像和右图像的立体图像中 所描绘的(一个或多个)虚拟物体的示例观看；图2C示出了在观看 立体图像的时间序列时对观看者的转向角度的示例跟踪；图2E示出 了示例模糊滤波器；
图3A直至图3C示出了示例视频流传输服务器和客户端；
图4A和图4B示出了示例处理流程；
图5示出了可以在其上实现如本文所述的计算机或计算设备的示 例硬件平台；
图6A直至图6E示出了眼睛的示例视野；
图7A和图7B示出了示例焦点可调透镜；以及
图8A直至图8F示出了示例眼镜设备。
具体实施方式
本文描述涉及在调焦-转向解决方案中具有焦点可调透镜的眼镜 设备的示例实施例。在以下描述中，为了解释的目的，阐述了众多具 体细节以便提供对本发明的透彻理解。但是，将清楚的是，本发明可 以在没有这些具体细节的情况下进行实践。在其它情况下，众所周知 的结构和设备未详尽描述，以避免使本发明不必要地封闭、晦涩或模 糊。
本文根据以下大纲描述示例实施例：
1.一般概述
2.调焦和转向
3.调焦和转向之间的冲突
4.解决调焦和转向之间的冲突
5.跟踪转向角度
6.视野
7.示例焦点可调透镜
8.示例眼镜设备
9.示例视频流传输服务器和客户端
10.示例处理流程
11.实现机制-硬件概述
12.等同、扩展、替代方案和其他
1.一般概述
本概述给出了本发明的示例实施例的一些方面的基本描述。应当 注意的是，本概述不是示例实施例的各方面的广泛或详尽的总结。而 且，应当注意的是，本概述不意图被理解为识别示例实施例的任何特 别显著的方面或元素，也不划定特定示例实施例的任何范围，也不划 定一般而言本发明的范围。本概述仅仅以浓缩和简化的格式给出了与 示例实施例相关的一些概念，并且应当被理解为仅仅是下面对示例实 施例的更详细描述的概念性前言。要注意的是，虽然在本文中讨论了 单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合 可以被组合，以形成其它实施例。
本文描述的示例性实施例涉及眼镜设备。眼镜设备包括左透镜组 件和右透镜组件。左透镜组件包括左焦点可调透镜和左焦点固定透镜。 右透镜组件包括右焦点可调透镜和右焦点固定透镜。眼镜设备可以用 在3D显示应用、虚拟现实应用、增强现实应用、远程呈现应用等中。 眼镜设备也可以被用作视觉校正眼镜。
在一些实施例中，视觉设备包括显示立体图像的左图像和右图像 的一个或多个图像显示器；如本文所述的眼镜设备；眼镜设备将左图 像和右图像投射(project)到依赖于观看者的转向角度的虚拟物体 深度。在一些实施例中，视觉设备还包括一个或多个注视跟踪(gaze tracking)设备，该注视跟踪设备在运行时跟踪并确定观看者的转向 角度。
本文描述的示例实施例涉及解决在通过自动可调透镜渲染和观看 3D图像(或多视图图像)时的调焦-转向冲突。一个或多个注视跟踪 设备被用来跟踪观看者的左眼和观看者的右眼所指向(directed)的 虚拟物体深度。在一个或多个图像显示器上渲染包括左图像和右图像 的立体图像。利用眼镜设备的左透镜组件，将左图像投射到虚拟物体 深度处的虚拟物体平面。利用眼镜设备的右透镜组件，将右图像投射 到虚拟物体深度处的虚拟物体平面。左透镜组件包括左焦点可调透镜 和左焦点固定透镜，而右透镜组件包括右焦点可调透镜和右焦点固定 透镜。
在一些示例实施例中，如本文所述的机制形成媒体处理系统的一 部分，包括但不限于以下任何一个：近眼显示器、基于云的服务器、 移动设备、虚拟现实系统、增强现实系统、远程呈现系统、平视 (head up)显示设备、头盔式显示设备、zSpace显示器、CAVE型 系统或壁挂式显示器、视频游戏设备、显示设备、媒体播放器、媒体 服务器、媒体制作系统、相机系统、基于家庭的系统、通信设备、视 频处理系统、视频编解码系统、工作室(studio)系统、流传输服务 器、基于云的内容服务系统、手持设备、游戏机、电视机、影院显示 器、膝上型计算机、上网本计算机、平板计算机、蜂窝无线电话机、 电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服 务器、计算机亭，或各种其它种类的终端和媒体处理单元。
本文所描述的优选实施例以及通用原理和特征的各种修改对于本 领域技术人员将是清楚的。因此，本公开不意在限于所示的实施例， 而是要被赋予与本文所描述的原理和特征一致的最广泛范围。
2.调焦和转向
图1A示出了从观看者头部的正上方观看的、观看者的示例人眼 睛100的横截面图。如图所示，眼睛(100)具有穿过位于眼睛(100) 的前部的瞳孔104的中心点和位于眼睛(100)的后部的视网膜110 中的中央凹106的中心点的光轴102(垂直于横线112)。通过位于瞳孔(104)后面的眼睛透镜108收集的光可以由眼睛透镜(108)投 射到中央凹(106)上。仅为了说明的目的，眼睛透镜(108)可以用 眼睛焦距而光学地表征。由于眼睛透镜可以表示或可以不表示单个焦 距的光学透镜，因此本文所描述的眼睛焦距可以是指以下中的一个：用于靠近(near)光轴(102)的光的焦距、眼睛透镜的中心部分的 平均焦距、用于靠近光轴(102)的光的有效焦距、关于投射到中央 凹上的光的焦距、相对于中央凹视觉的局部接近完美透镜的焦距等等。 应当注意的是，在各种实施例中，眼睛透镜可以被建模为单个透镜或 多个透镜，该单个透镜或多个透镜中的一个、一些或全部可以具有例 如通过在眼睛(100)中或与眼睛(100)相关联的睫状肌可控制的可 变焦点透镜。
图1B示出了由观看者的左眼100-1和右眼100-2对位于物体平面 116中的现实世界物体114的示例观看。如图所示，现实世界物体 (114)所位于的物体平面(116)垂直于观看者的正面观看方向118， 并且平行于观看者的瞳孔间线120。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的 右中央凹(106-2)两者实现现实世界物体(114)的清晰视觉，观看 者的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制 双眼中的眼外肌以朝着现实世界物体(114)定向左眼(100-1)和右眼(100-2)。如果观看者的光轴(102-1和102-2，分别垂直于横线 112-1和112-2)先前指向(directed at)比现实世界物体(114)更近 的空间点，那么观看者的大脑使用发散过程来控制双眼中的眼外肌以 朝着现实世界物体(114)同时发散左眼(100-1)和右眼(100-2)。否则，如果观看者的光轴(102-1和102-2)先前指向比现实世界物体 (114)更远的空间点，那么观看者的大脑使用会聚过程来控制双眼 中的眼外肌以朝着现实世界物体(114)同时会聚左眼(100-1)和右 眼(100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光 轴(102-2)(例如，具有正常视觉)在现实世界物体(114)处重合， 以使来自现实世界物体(114)的光被投射到左眼(100-1)的左中央 凹(106-1)和右眼(100-2)的右中央凹(106-2)上。
在观看现实世界环境/情景中的现实世界物体时，调焦和转向过 程/功能在观看者的大脑中不是独立的而是相互依赖的，以控制肌肉 朝着物体转向(会聚/发散)并且并发地(例如，适应于)聚焦在同 一个物体上。例如，在使用转向过程同时控制双眼中的眼外肌以朝着 现实世界物体(114)定向左眼(100-1)和右眼(100-2)的同时， 观看者的大脑使用调焦过程来同时控制双眼中的睫状肌以将左眼 (100-1)和右眼(100-2)聚焦到现实世界物体(114)上。可以通 过调焦过程来调节左眼(100-1)和右眼(100-2)的焦距，使得来自 现实世界物体(114)的光(例如，发射的、反射的，等等)被聚焦 于与左中央凹(106-1)和右中央凹(106-2)重合的图像平面(或视 网膜)处。更具体而言，左眼(100-1)的焦距可以至少部分地基于 现实世界物体(114)和左眼透镜(108-1)之间的(左)距离122-1 而通过调焦过程来设置，以使来自现实世界物体(114)的光聚焦在 与左中央凹(106-1)重合的左图像平面(或左视网膜)处，而右眼 (100-2)的焦距可以至少部分地基于现实世界物体(114)和右眼透镜(108-2)之间的(右)距离122-2而通过调焦过程来设置，以使来 自现实世界物体(114)的光聚焦在与右中央凹(106-2)重合的右图 像平面(或右视网膜)处。在现实世界物体(114)位于离观看者的 眼睛某一距离处、该距离远远(例如，十倍等)大于沿着瞳孔间线 (120)的观看者的瞳孔间距离(观看者的两只眼睛之间的距离)的 场景中，左眼(100-1)和右眼(100-2)的焦距可以由调焦过程调节 到相同的焦距或近似相同的焦距。
3.调焦与转向之间的冲突
在一些实施例中，如本文所描述的立体图像或多视图图像可以利 用部署在一个或多个空间环境中的一个或多个相机系统来捕获。示例 空间环境可以包括但不仅限于仅以下中的任何一个：物理空间环境、 模拟空间环境、电影工作室、室外情景、室内情景、隧道、街道、车 辆、船舶、飞行器、外部空间等。示例相机系统可以包括但不仅限于 以下中的任何一个：3D相机、多视图相机、光场相机、具有重叠和/ 或非重叠视野的多个相机、数字相机，模拟相机、网络摄像机等。
如本文所描述的立体图像或多视图图像的左图像、右图像、多个 不同视图中的特定视图的图像等可以被记录或组装为用于图像帧的分 布的像素的像素值。
图2A示出了对包括左图像202-1和右图像202-2的立体图像中 描绘的虚拟物体214的示例观看。虚拟物体(214)可以在立体图像 中表示为由观看者的左眼(100-1)和右眼(100-2)定位于虚拟物体 平面216中。仅为了说明的目的，虚拟物体(214)(虚拟地)位于 其中的虚拟物体平面(216)垂直于观看者的正面观看方向(118)， 并且平行于观看者的瞳孔间线(120)。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的 右中央凹(106-2)两者来实现虚拟物体(214)的清晰视觉，观看者 的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制双 眼中的眼外肌以朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)。如果观看者的光轴(102-1和102-2)先前指向比虚拟物 体(214)更近的虚拟空间点(在立体图像中绘出)，那么观看者的 大脑使用发散过程来控制双眼中的眼外肌以朝着虚拟物体(214)同 时发散左眼(100-1)和右眼(100-2)。否则，如果观看者的光轴 (102-1和102-2)先前被指向比虚拟物体(214)更远的虚拟空间点 (在立体图像中绘出)，那么观看者的大脑使用会聚过程来控制双眼 中的眼外肌以朝着虚拟物体(214)同时会聚左眼(100-1)和右眼 (100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光 轴(102-2)在虚拟物体(214)处重合，以使来自描绘虚拟物体 (214)的(左图像(202-1)中的)左像素224-1和(右图像(202- 2)中的)右像素224-2的光分别被投射到左眼(100-1)的左中央凹 (106-1)和右眼(100-2)的右中央凹(106-2)上。
在转向过程被用来同时控制双眼中的眼外肌以朝着虚拟物体 (214)定向左眼(100-1)和右眼(100-2)的同时，观看者的大脑 使用调焦过程来同时控制双眼中的睫状肌，以分别将左眼(100-1) 和右眼(100-2)聚焦到描绘虚拟物体(214)的左像素(224-1)和 右像素(224-2)上。可以通过调焦过程来调节左眼(100-1)和右眼 (100-2)的焦距，使得来自描绘虚拟物体(214)的左像素(224-1) 和右像素(224-2)的光被聚焦在与左中央凹(106-1)和右中央凹 (106-2)重合的相应图像平面(或视网膜)处。更具体而言，左眼 (100-1)的焦距可以至少部分地基于左像素(224-1)和左眼透镜 (108-1)之间的(左)距离222-1而由调焦过程来设置，使得来自左 像素(224-1)的光被聚焦在与左中央凹(106-1)重合的左图像平面 (或左视网膜)处，而右眼(100-2)的焦距可以至少部分地基于右 像素(224-2)和右眼透镜(108-2)之间的(右)距离222-2而由调 焦过程来设置，以使来自右像素(224-2)的光被聚焦在与右中央凹 (106-2)重合的右图像平面(或右视网膜)处。在左图像和右图像 (202-1和202-2)位于离观看者的眼睛某一距离处、该距离与沿着瞳 孔间线(120)的观看者的瞳孔间距离(观看者的两只眼睛之间的距 离)可比较(comparable)的场景中，左眼(100-1)和右眼(100-2) 的焦距可以由调焦过程分别调节到不同的焦距。
图2A中由观看者的大脑使用的调焦和转向过程/功能与图1B中 由观看者的大脑使用的调焦和转向过程/功能非常不同地操作。
例如，如先前所指出的，在观看如图1B中所示的现实世界物体 时，观看者的大脑使用自然的调焦和转向过程来控制肌肉朝着物体转 向(会聚/发散)并且并发地(例如，适应于)聚焦在相同的物体上。 更具体而言，图1B中的调焦过程基于现实世界物体(114)和左右眼 透镜(108-1和108-2)之间的距离来调节左眼透镜(108-1)和右眼 透镜(108-2)的焦距。这些距离自洽地(self-consistently)重合或 终止/结束于左眼(100-1)和右眼(100-2)的光轴(102-1和102-2) 的交点。此外，在大多数情况下，由于这些距离是瞳孔间距离的许多 倍，因此如由图1B中的调焦过程设置的左眼透镜(108-1)和右眼透 镜(108-2)的焦距基本相同。
另一方面，在观看诸如图2A中所示的虚拟物体时，观看者的大 脑必须使用新的且不自然的调焦和转向过程来控制肌肉朝着虚拟物体 转向(会聚/发散)，并且并发地并冲突地聚焦在描绘虚拟物体的像 素(在(一个或多个)显示器上)上，而不是虚拟空间位置的虚拟物 体上。更具体而言，图2A中的调焦过程基于左像素(224-1)和左眼 透镜(108-1)之间的距离以及右像素(224-2)和右眼透镜(108-2) 之间的距离来调节左眼透镜(108-1)和右眼透镜(108-2)的焦距， 以将最敏锐的视觉固定在左右像素(224-1和224-2)在其上被渲染的 (一个或多个)显示器处。这些距离不重合并且不以左眼(100-1) 和右眼(100-2)的光轴(102-1和102-2)的交点终止/结束。左眼透 镜(108-1)和右眼透镜(108-2)以及左中央凹(106-1)和右中央凹 (106)实质上被迫被指向分别位于两个不同的显示器(或位于同一 显示器的不同空间定位)的两个不同的像素组。
此外，在将左图像和右图像(202-1和202-2)渲染成接近观看者 的眼睛(100-1和100-2)的情况下，由于左像素(224-1)和左眼透 镜(108-1)之间的距离以及右像素(224-2)和右眼透镜(108-2)之 间的距离与瞳孔间距离可比较，因此如由图2A中的调焦过程设置的左眼透镜(108-1)和右眼透镜(108-2)的焦距可以充分地不同，以 迫使观看者的大脑重新学习眼睛的附加新控制，以使用眼睛透镜的不 同焦点透镜(focal lens)作为克服调焦-转向冲突的一部分。
4.解决调焦与转向之间的冲突
图2B示出了通过一个或多个自动可调透镜228-1、228-2等对包 括左图像(252-1)和右图像(252-2)的立体图像中描绘的虚拟物体 (214)的示例观看，其中该一个或多个自动可调透镜部署在(a)左 图像(252-1)和右图像(252-2)在其上被渲染的一个或多个图像显 示器和(b)观看者的眼睛(100-1和100-2)之间。在一些实施例中， 图像显示器中的一些或全部相对于观看者静止(例如，在到观看者的 固定距离处等)并且与瞳孔间线(120)平行(或基本上平行)。仅 为了说明的目的，自动可调透镜包括部署在左图像(252-1)和左眼(100-1)之间的左自动可调透镜228-1以及部署在右图像(252-2) 和右眼(100-2)之间的右自动可调透镜228-2。如本文所描述的示例 自动可调透镜可以包括但不一定仅限于以下中的任何一个：机械可控 的自动可调透镜、电子可控的自动可调透镜、基于液体的自动可调透 镜(或流体填充的透镜)、可变形的透镜、Alvares透镜等。
如本文所描述的图像处理系统可以用在多种显示应用中的任何一 种当中，包括但不限于：3D显示应用、多视图显示应用、球形图像 显示应用、虚拟现实(VR)应用、增强现实(AR)应用、远程呈现 应用等。图像处理系统可以被配置为实时地执行注视跟踪操作(和/或眼睛跟踪操作)，以便确定在渲染3D或多视图图像以供观看者观 看的显示应用中，在任何给定时间，哪个特定的虚拟空间定位正在被 观看者的眼睛看。为了说明的目的，基于注视/眼睛跟踪操作的结果， 图像处理系统确定/推断虚拟物体(214)所位于的特定虚拟空间定位。 注视/眼睛跟踪操作可以基于一种或多种(例如，实时)注视/眼睛跟 踪方法的任何组合。例如，这些注视/眼睛跟踪方法可以通过以下中 的一个或多个来操作：眼睛附件(eyeattachment)、光学传感器、 眼睛图像获取和分析、电场测量、红外光等。
在各种实施例中，特定的虚拟空间定位可以在观看者所位于的图 像渲染环境中表示的任何空间坐标系(例如，笛卡尔坐标系、极坐标 系、世界坐标系、相对坐标系等)中表示。
基于在给定时间的特定虚拟空间定位，图像处理系统识别/确定 特定虚拟空间定位(或虚拟物体(214))在给定时间所位于的虚拟 物体平面216。例如，基于在给定时间的特定虚拟空间定位，图像处 理系统可以计算在给定时间的虚拟物体平面(216)的单个深度236 (或虚拟物体深度)。单个深度(236)可以但不一定限于由虚拟物 体平面(216)与自动可调透镜(228-1和228-2)之间的距离表示。 在图像渲染平面处渲染的左图像(252-1)和右图像(252-2)两者可 以由左自动可调透镜(228-1)和右自动可调透镜(228-2)分别投射 到虚拟物体平面(216)。
在一些实施例中，图像处理系统使用(一个或多个)透镜等式来 确定左和右自动可调透镜(228-1和228-2)的(一个或多个)焦距。
在非限制性实现示例中，可以使用透镜等式来计算单个焦距；左 和右自动可调透镜(228-1和228-2)两者可以被自动调整(tune)到 相同的计算出的单个焦距。在计算这单个焦距时透镜等式的输入可以 包括(a)由虚拟物体平面(216)和自动可调透镜(228-1和228-2) 之间的距离表示的单个深度(236)和(b)由自动可调透镜(228-1 和228-2)和左图像(252-1)和右图像(252-2)在其上被渲染的图 像显示器之间的距离表示的图像显示深度(242)。单个深度(236) 可以被用作透镜等式中的像距(image distance)(d2)，而图像显示深度(242)可以被用作透镜等式中的物距(object distance) (d1)。如本文所描述的计算自动可调透镜的焦距的透镜等式的示例 如下提供：
Figure BDA0003506135400000121
自动可调透镜(228-1和228-2)的存在有效地将来自左图像 (252-1)和右图像(252-2)在其处实际被渲染的图像显示器的图像 移动到左图像(252-1)和右图像(252-2)被自动可调透镜(228-1 和228-2)投射到其上的虚拟图像显示器(由虚拟物体平面(216)表示)。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的 右中央凹(106-2)两者来实现虚拟物体(214)的清晰视觉，观看者 的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制双 眼中的眼外肌以朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光 轴(102-2)在虚拟物体(214)处重合，以使来自虚拟物体(214) 的光被投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的 右中央凹(106-2)上。更具体而言，来自虚拟物体(214)的光包括 (a)来自(左图像(252-1)中的)左像素234-1的、由左自动可调 透镜(228-1)投射的左光部分和(b)来自(右图像(252-2)中的) 右像素234-2的、由右自动可调透镜(228-2)投射的右光部分，其中 左像素(234-1)和右像素(234-2)描绘虚拟物体(214)。与左像 素(234-1)的虚拟图像部分对应的左光部分由左眼(100-1)的左中 央凹(106-1)接收，而与右像素(234-2)的虚拟图像部分对应的右 光部分由右眼(100-2)的右中央凹(106-2)接收。
在转向过程被用来同时控制双眼中的眼外肌朝着虚拟物体(214) 定向左眼(100-1)和右眼(100-2)的同时，观看者的大脑使用调焦 过程来同时控制双眼中的睫状肌，以将左眼(100-1)和右眼(100-2) 分别聚焦到虚拟物体平面(216)处的虚拟物体(214)上。左眼(100-1)和右眼(100-2)的焦距可以通过调焦过程进行调节，使得 来自虚拟物体(214)的光被聚焦在与左中央凹(106-1)和右中央凹 (106-2)重合的相应图像平面处。更具体而言，左眼(100-1)的焦 距可以至少部分地基于虚拟物体(214)所位于的虚拟空间定位与左 眼透镜(108-1)之间的(左)距离而由调焦过程来设置，以使来自 虚拟物体(214)的光的左光部分被聚焦在与左中央凹(106-1)重合 的左图像平面处，而右眼(100-2)的焦距可以至少部分地基于虚拟 物体(214)所位于的虚拟空间定位与右眼透镜(108-2)之间的(右) 距离而由调焦过程来设置，以使来自虚拟物体(214)的光的右光部 分被聚焦在与右中央凹(106-2)重合的右图像平面处。在虚拟物体 (214)所位于的虚拟空间定位处于离观看者的眼睛某一距离处、该 距离远远大于沿着瞳孔间线(120)的观看者的瞳孔间距离(观看者 的两只眼睛之间的距离)的场景中，左眼(100-1)和右眼(100-2) 的焦距可以相同或近似相同。
图2B中由观看者的大脑使用的调焦过程与图1B中由观看者的大 脑使用的调焦过程相同或基本相同。例如，如图1B中那样，图2B中 的调焦过程基于在观看者的中央凹视觉中的虚拟物体(214)与左右 眼透镜(108-1和108-2)之间的距离来调节左眼透镜(108-1)和右 眼透镜(108-2)的焦距。如图1B中那样，图2B中的这些距离自洽 地重合或以左眼(100-1)和右眼(100-2)的光轴(102-1和102-2) 的交点终止/结束。此外，如图1B中那样，在大多数情况下，由于这 些距离是瞳孔间距离的许多倍，因此如由图1B中的调焦过程设置的 左眼透镜(108-1)和右眼透镜(108-2)的焦距基本相同。
在一些方法下，对于单个立体图像，可以在多个深度处生成和显 示多个经渲染的图像(例如，在六个不同深度处的6个经渲染的图像、 在12个不同深度处的12个经渲染的图像、在连续可变深度处的经渲 染的图像，等等)。立体图像中所描绘的物体可以基于所描绘的物体 的深度相对于多个经渲染的图像的深度而在多个经渲染的图像之一中 被显示。这导致一种显示系统，其中生成并显示众多经渲染的图像， 并且其中在多个深度之间的所描绘的物体中的一些被不准确地表示和 /或需要密集的计算来对具有与多个经渲染的图像的多个深度失配的 深度的所描绘的物体进行插值。对于显示系统的给定帧刷新速率(例如，60帧/秒、120帧/秒等)，对于单个立体图像显示多个不同深度 处的多个经渲染的图像容易生成可感知的图像抖动(judder)。
相比之下，如本文所描述的技术可以被用来基于观看者当前正在 看哪里来确定单个立体图像或多视图图像应当被显示的单个深度。这 允许实现如本文所描述的技术的显示系统例如通过使用一个或多个自 动可调透镜而将左图像和右图像呈现/投射到单个深度或到非常低数 量的深度。这些技术有效地解决了调焦-转向冲突，因为调焦和转向 过程可以使观看者的眼睛适应于朝着相同空间定位，在该空间定位处 例如描绘物体/人的立体图像的图像细节。此外，如本文所描述的技 术可以部署在各种各样的显示系统中，包括但不一定仅限于以下中的 任何一个：近眼显示器、头戴式显示器、zSpace显示器、影院显示器、大型显示系统、医疗显示系统、高帧速率显示系统、相对低帧速 率显示系统、3D眼镜、电视机等。
在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括 单个透镜元件；可以基于图像(例如，252-1,252-2)要由自动可调透 镜投射到哪里来调节单个透镜元件的焦距。
在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括 多个透镜元件；可以基于图像(例如，252-1,252-2)要由自动可调透 镜投射到哪里而调节多个透镜元件的焦距中的一些或全部。例如，自 动可调透镜的一个或多个透镜元件可以由如本文所描述的图像处理系 统来确定/选择，以将图像的一部分投射到虚拟物体平面(216)，其 中图像的该部分包括处于观看者的中央凹视觉(例如，106-1、106-2 等)内的特定虚拟空间定位(在虚拟物体平面(216)上)。可以基 于虚拟物体平面(216)和自动可调透镜所位于的平面(例如，透镜 元件的定位、自动可调透镜的定位等)之间的几何关系(例如，单个 深度(236)等)来确定特定虚拟空间定位和透镜元件之间的距离 (例如，232-1、232-2等)。至少部分地基于特定虚拟空间定位和透 镜元件之间的距离，可以在一个或多个透镜等式中确定透镜元件的焦 距。
在一些实施例中，单个自动可调透镜被用来在任何给定的时间点 将一个或多个图像显示器上的左图像和右图像投射到单个深度处的虚 拟物体平面。
不同的观看者可以具有不同的视觉特点，包括近视、远视、正常 立体视觉、异常立体视觉、佩戴眼镜、不佩戴眼镜、佩戴隐形眼镜等。 附加地、可选地或可替代地，不同的观看者可以具有不同的头部几何 特点，包括瞳孔间距离、眼睛到自动可调透镜的距离等。在一些实施 例中，图像处理系统可以能够特别地针对具有特定视觉特点和/或特 定头部几何特点的特定观看者进行校准。例如，在图像处理系统被用 于观看显示应用的3D或多视图图像之前，在校准会话中，测试立体 图像可以由图像处理系统以不同深度向观看者呈现，这些不同深度分 布在与具有完美/参考视觉的参考观看者对应的单个深度周围。可以 在有或没有用户输入的情况下自动确定特定于观看者的经校正的深度。 可以在与具有完美/参考视觉的参考观看者对应的多个深度中的每个 深度上对观看者重复这个过程。可以在校准会话中确定曲线、查找表 (LUT)等。可以通过为具有完美/参考视觉的参考观看者调节运行 时计算的深度来计算观看者的特定深度。附加地、可选地或可替代地， 为了执行在不同时间点的图像要被图像处理系统的一个或多个自动可 调透镜投射到其上的虚拟物体平面的准确放置以及准确的注视/眼睛 跟踪的目的，观看者的特定头部几何特点可以被测量或输入到图像处 理系统中。
应当注意的是，包括在左图像(252-1)和右图像(252-2)中描 绘的虚拟物体(214)的物体/人可以被自动可调透镜(228-1和228- 2)放大(magnify)。在一些实施例中，至少部分地基于单个深度 (236)，图像处理系统确定放大因子。例如，可以将放大因子确定 为单个深度(236)与图像显示深度(242)的比。图像处理系统可以 基于结合虚拟物体平面(216)的单个深度(236)而确定的放大因子 来执行纵横比(aspect ratio)调节操作。例如，图像处理系统可以从 输入视频信号接收或解码用来导出左图像(252-1)和右图像(252-2) 的输入左图像和输入右图像。图像处理系统可以对输入左图像和输入 右图像应用放大因子的倒数(inverse)，以生成左图像(252-1)和 右图像(252-2)，使得如存在自动可调透镜(228-1和228-2)的情 况下被感知的、在左图像(252-1)和右图像(252-2)中描绘的、可 以或可以不位于虚拟物体平面(216)处的物体/人在纵横比、尺寸等 方面与在不存在自动可调透镜(228-1和228-2)的情况下被感知的、 在输入左图像和输入右图像中描绘的相同物体/人匹配。
在不存在自动可调透镜(228-1和228-2)的情况下在图像显示器 处被感知的左图像(252-1)和右图像(252-2)中的深度信息可以被 更改成在存在自动可调透镜(228-1和228-2)的情况下在虚拟物体平 面(216)处被感知的投射图像中新的深度信息。
在一些实施例中，深度信息可以从与输入左图像和输入右图像相 关的(一个或多个)视差(disparity)图像、获取/生成/产生输入左 图像和输入右图像的(虚拟或真实)相机系统的相机几何信息等的组 合中导出。在一些实施例中，深度信息可以从与输入左图像和输入右 图像一起接收的(一个或多个)深度图直接读取。(一个或多个)视 差图像、(一个或多个)深度图、相机几何信息等中的一些或全部可 以与输入视频信号中的左图像和右图像一起被接收。
附加地，可选地或可替代地，在一些实施例中，图像处理系统在 生成左图像(252-1)和右图像(252-2)时对输入左图像和输入右图 像应用深度校正操作，使得在存在自动可调透镜(228-1和228-2)的 情况下被感知的在左图像(252-1)和右图像(252-2)中描绘的、可 以或可以不位于虚拟物体平面(216)处的物体/人的新深度信息与在 不存在自动可调透镜(228-1和228-2)的情况下被感知的在输入左图 像和输入右图像中描绘的相同物体/人的输入深度信息匹配。
附加地，可选地或可替代地，在一些实施例中，可以将具有可变 空间分辨率的(例如，低强度等)模糊过滤器(filter)应用于生成 左图像(252-1)和右图像(252-2)的图像处理操作以便以不同的程 度从位于观看者的中央凹视觉外部的左图像(252-1)和右图像(252-2)抽取(decimate)高空间频率内容。模过滤器可以被用来 模拟由观看者的视网膜执行的模糊功能。模糊过滤的强度可以随着在 虚拟物体平面(例如，216-1等)处表示的图像细节相对于观看者的 中央凹视觉的距离增加而增加。
在一些实施例中，模糊过滤器在涵盖观看者的中央凹视觉(例如， 106-1、106-2等)的图像细节中不执行模糊或执行很少的模糊，并且 在越来越远离观看者的中央凹视觉的图像细节中(例如，在观看者的 中央凹视觉(例如，106-1、106-2等)外部的视网膜的区域(例如， 110-1、110-2等)中)执行越来越强的模糊。
例如，如图2E中所示，可以使用第一模糊过滤器在被投射到虚 拟物体平面(例如，216-1等)的左中央凹视觉部分256上的、左图 像(252-1)中的图像细节中不执行模糊或执行很少的模糊。虚拟物 体平面的左中央凹视觉部分(256)涵盖观看者的左中央凹视觉(106-1)。可以使用第一模糊过滤器在被投射到虚拟物体平面(例 如，216-1等)的一个或多个左非中央凹视觉部分258上的、左图像 (252-1)中的图像细节中执行较强的模糊。虚拟物体平面的左非中 央凹视觉部分(258)不在观看者的左中央凹视觉(106-1)中。
同样，第二模糊过滤器可以被用来在被投射到虚拟物体平面(例 如，216-1等)的右中央凹视觉部分(未示出)上的、右图像(252-2) 中的图像细节中不执行模糊或执行很少的模糊。虚拟物体平面的右中 央凹视觉部分涵盖观看者的右中央凹视觉(106-2)。第二模糊过滤 器可以被用来在被投射到虚拟物体平面(例如，216-1等)的一个或 多个右非中央凹视觉部分(未示出)上的、右图像(252-2)中的图 像细节中执行较强的模糊。虚拟物体平面的右非中央凹视觉部分不在 观看者的右中央凹视觉(106-2)中。
5.跟踪转向角度
图2C示出了在观看立体图像的时间序列时观看者的转向角度的 示例跟踪。立体图像的时间序列可以描绘一个或多个情景、情景的子 划分、一组图片(GOP)等。立体图像中的每个可以由两个3D图像 的组合或者两个或更多个多视图图像的组合表示。如本文中所使用的， 转向角度是指观看者的单只眼睛(例如，左眼、右眼等)的视角。由 本文描述的技术跟踪的示例转向角度可以包括但不一定仅限于以下中 的任何一个：左转向角度(或左眼的转向角度)、右转向角度(或右 眼的转向角度)、相对于参考方向(诸如观看者的瞳孔间线(120)、 观看者的正面观看方向(118)等中的一个)的转向角度；相对于观 看者的水平(level)观看平面或观看者的(垂直)面部中线的仰角； 等等。
仅为了说明的目的，在第一时间点，如本文所描述的图像处理系 统确定或测出观看者的眼睛正在看第一立体图像处的、位于虚拟物体 平面(216)的虚拟物体(214)，该第一立体图像包括由图像处理系 统的一个或多个自动可调透镜从图像显示器投射到虚拟物体平面 (216)的第一左图像和第一右图像的组合，表示立体图像的时间序 列的图像在该图像显示器处被渲染。
从第一时间点到第二时间点，观看者的眼睛会聚或发散到在立体 图像的时间序列中描绘的、位于第二虚拟物体平面216-1的第二虚拟 物体214-1。
第二时间点可以是作为以下中的一个的时间点：紧跟在第一时间 点之后、跟在第一时间点之后一个或多个帧时间间隔(每个帧时间间 隔与显示一个图像帧对应)、跟在第一时间点之后一部分(a fraction of)帧时间间隔等等。
如图2C中所示，在第二时间点，观看者的左眼会聚(向内移动) 到第二虚拟物体(214-1)，而观看者的右眼则发散(向外移动)到 第二虚拟物体(214-1)。应当注意的是，在各种场景中，观看者的 眼睛也可以都会聚或都发散。
在一些实施例中，图像处理系统可以测量/跟踪在第二时间点观 看者的转向角度。基于在第二时间点观看者的转向角度，图像处理系 统可以确定观看者正在看位于第二虚拟物体平面(216-1)处的第二 虚拟物体(214-1)。
响应于确定观看者正在看位于第二虚拟物体平面(216-1)处的 第二虚拟物体(214-1)，图像处理系统可以将由第二左图像和第二 右图像的组合表示的第二立体图像投射到第二虚拟物体平面(216- 1)。第二立体图像可以是作为以下中的一个的立体图像(立体图像 的时间序列)：紧跟在第一立体图像之后、跟在第一立体图像之后一 个或多个帧时间间隔(每个帧时间间隔与显示一个图像帧对应)、跟 在第一立体图像之后(例如，严格地)固定的持续时间内，等等。
图2D示出通过一个或多个自动可调透镜228-1、228-2等对包括 左图像(252-1)和右图像(252-2)的立体图像的示例观看，其中该 一个或多个自动可调透镜部署在(a)在其上渲染左图像(252-1)和 右图像(252-2)的一个或多个图像显示器和(b)观看者的眼睛(100-1和100-2)之间。如图所示，可以由单个显示屏幕254提供左 图像(252-1)和右图像(252-2)在其上的图像显示器。在示例中， 单个显示屏幕(254)可以是移动电话、个人数字助理(PDA)、电 子书阅读器、电视机等的显示屏幕。
在一些实施例中，如本文所描述的立体图像(例如，输入立体图 像、从输入立体图像导出的经修改的立体图像，等等)的左图像(例 如，252-1)和右图像(例如，252-2)可以在一个或多个图像显示器 中并发地或按帧顺序地被渲染，该一个或多个图像显示器可以或可以 不彼此重叠。附加地，可选地或可替代地，如本文所描述的用来渲染 立体图像的多个图像显示器可以由单个显示屏幕或由多个显示屏幕提 供。
在一些实施例中，两个图像显示器被用来渲染立体图像的左图像 和右图像，并且分别由两个独特(distinct)的显示屏幕(例如，近 眼显示设备中的两个显示屏幕等)提供。在这些实施例中，左图像和 右图像可以并发地显示给观看者。附加地，可选地或可替代地，左图 像和右图像可以按帧顺序地显示给观看者，其中左图像和右图像中的 一个被首先显示，然后左图像和右图像中的另一个被显示。
在一些实施例中，两个图像显示器被用来渲染立体图像的左图像 和右图像，并且分别由单个显示屏幕上的两个空间部分(例如， iPhone屏幕上的两个空间部分等)提供。在一些实施例中，这两个 空间部分可以不重叠。在一些实施例中，这两个空间部分可以至少部 分重叠。在所有这些实施例中，左图像和右图像可以并发地显示给观 看者。附加地，可选地或可替代地，左图像和右图像可以按帧顺序地 显示给观看者，其中左图像和右图像中的一个首先被显示，然后左图 像和右图像中的另一个被显示。
在一些实施例中，一个图像显示器被用来渲染立体图像的左图像 和右图像，并且由单个显示屏幕(例如，TV等)提供。左图像和右 图像可以并发地显示给观看者。并发显示的图像可以通过使用不同的 光波长、不同的透镜(lenticular)视图、不同的光偏振等来区分。 附加地，可选地或可替代地，左图像和右图像可以按帧顺序地显示给 观看者，其中左图像和右图像中的一个首先被显示，然后左图像和右 图像中的另一个被显示。
在各种实施例中，如本文所描述的立体图像(或多视图图像)的 不同视图(例如，左图像和右图像等)可以在图像处理系统中通过以 下中的一个或多个来彼此区分：不同的显示屏幕、单个显示屏幕的不 同空间部分、在不同时间点的不同帧、分配给不同视图的不同(例如， 非重叠)光波长、分配给不同视图的不同透镜视图、到不同视图的不 同光偏振，等等。
6.视野
如本文所描述的技术可以被用来设计嵌有焦点可调透镜的眼镜设 备(例如，用于3D显示应用、用于虚拟现实应用、用于增强现实应 用，用于远程呈现应用等)的光学和/或物理架构。具有焦点可调透 镜的眼镜设备可以与注视跟踪器一起操作，并提供了一种对在观看在 各种各样的图像显示器(诸如近眼显示器、头戴式显示器、zSpace 显示器、影院显示器、大型显示系统、医疗显示系统、高帧速率显示 系统、相对低帧速率显示系统、3D眼镜、电视机等)上渲染的物体 时的调焦-转向冲突问题的解决方案。
如图2C中所示，本文所描述的注视跟踪器可以跟踪观看者的眼 睛的转向方向。注视跟踪器可以被配置为使用采用眼睛附件、光学传 感器、眼睛图像获取和分析、电场测量，红外光等的一种或多种注视 跟踪方法。基于观看者的眼睛的转向角度和/或位于观看者眼睛的左 右注视的交点处的物体的深度信息，可以确定该物体的虚拟物体深度。
眼镜设备中的焦点可调透镜可以被设置到可调焦距范围内的特定 焦距(或屈光度(diopter power))，以将描绘物体的3D或多视图 图像的左图像和右图像(例如，图2B的252-1和252-2等)投射到与 观看者眼睛的左和右注视的交点对应的虚拟物体深度，由此将图像显 示器处不自然的眼睛调焦反转回到3D或多视图图像中物体应当被表 示的虚拟物体深度处的自然调焦。
在一些情况下，构建覆盖眼睛的完整视野的焦点可调透镜可能是 困难和毫无意义的。在本文所描述的技术下，观看者的左眼或右眼的 视野并非全都需要可调焦点。在这些情况下，可以仅在眼睛的视野的 特定区域中提供可调焦点(或可调焦距)。与视野的其它区域相比， 眼睛的视野的该特定区域对于观看者的3D观看体验可能是重要的。 在一些实施例中，在这些特定区域外部，仅提供不可调整的焦距。
在一些实施例中，在诸如以下中的一些或全部的(在眼睛的视野 中的)特定区域中提供可调节的焦点：中心区域(例如，中央凹、中 央凹加上安全余量(margin)等)、旁中心(paracentral)区域 (例如，不含(exclude)中心区域并从中心区域延伸等)、近周边(near-peripheral)区域(例如，不含旁中心区域并从旁中心区域延 伸等)、中部周边(mid-peripheral)区域(例如，不含近周边区域 并从近周边区域延伸等)，等等。在非限制性实现中，在中心区域、 旁中心区域和近周边区域中的全部中提供可调节的焦点。附加地，可 选地或可替代地，可调节的焦点可以至少部分地(例如，30％、50％、 80％等)在中部周边区域中提供。
图6A示出了眼睛的示例视野。同心圆中的每个(例如，标记为 30°、60°、90°等)表示相对于观看者的左眼或右眼的光轴(例如，图 2B的102-1或102-2等)具有相等(或相同)角度度数(angular degree)的方向。光轴(例如，图2B的102-1或102-2等)表示中心 区域(602)中横向(tranverse)方向(612)和垂直方向(614)的 交点处从图6A的平面垂直指(pointed)出来的注视方向(图6A中 未示出)。在这里，横向方向(612)和垂直方向(614)形成垂直于 光轴(例如，图2B的102-1或102-2等)的平面。
如图6A中所示，眼睛的视野可以(例如，逻辑上等)被分区成 由旁中心区域604直接围绕的中心区域602(最暗的填充图案)。在 一些实施例中，中心区域(602)可以与观看者的中央凹视觉对应， 并且相对于光轴从零(0)角度度数延伸到第一角度(例如，3-7角度 度数、5-9角度度数等)。光轴(例如，图2B的102-1或102-2等) 是在中心区域(602)的中心处从图6A的平面指出来并且垂直于该平 面的方向(图6A中未示出)。在一些实施例中，旁中心区域(604) 可以相对于光轴(例如，图2B的102-1或102-2等)从第一角度延伸 到第二角度(例如，6-12角度度数等)。
旁中心区域(604)被近周边区域606直接围绕。近周边区域 (606)紧邻中部周边区域(608)，中部周边区域(608)又紧邻视 野的其余部分(远周边区域310)。在一些实施例中，近周边区域 (606)可以相对于光轴(例如，图2B的102-1或102-2等)从第二 角度延伸到第三角度(例如，25-35角度度数等)。在一些实施例中， 中部周边区域(608)可以相对于光轴(例如，图2B的102-1或102- 2等)从第三角度延伸到第四角度(例如，50-65角度度数等)。远周边区域610可以从第四角度延伸到视野的边缘。
在视野的这个示例逻辑分区中使用的第一、第二、第三和第四角 度可以沿着横向方向(612)来限定或指定。当图6A的视野与正面水 平观看方向处的视野对应时，横向方向(612)可以与观看者的瞳孔 间线120相同或平行。
应当注意的是，除了基于图6A中所示的角度将观看者的视野在 逻辑上分区成中心、旁中心、近周边、中部周边、远周边等区域的方 案之外或代替该方案，还可以使用在逻辑上分区观看者的视野的不同 方案。
例如，在一些实施例中，观看者的视野可以被分区成较多或较少 的区域，诸如中心区域、近周边区域和远周边区域的组合等，而没有 旁中心区域和/或中部周边区域。在观看者视野的这种逻辑分区中， 焦点可调透镜可以被用来覆盖从中心区域直到一些或全部的近周边区 域。
在一些实施例中，观看者的视野可以基于除如前所示的角度之外 的其它量来分区。例如，在非限制性实现中，中心区域可以被限定为 与观看者的中央凹视觉对应的视野部分。旁中心区域可以被限定为与 观看者的以下视网膜部分对应的视野部分：在该视网膜部分中锥/杆 密度超过相对高的锥/杆密度阈值。近周边区域可以被限定为与观看 者的以下视网膜部分对应的视野部分：在该视网膜部分中锥/杆密度 分别不超过相对高的锥/杆密度阈值，但是超过中等(intermediate) 锥/杆密度阈值。中部周边区域可以被限定为与观看者的以下视网膜 部分对应的视野部分：在该视网膜部分中锥/杆密度分别不超过中等锥/杆密度阈值，但是超过相对低的锥/杆密度阈值。焦点可调透镜可 以被用来覆盖从观看者的中央凹视觉直到基于(一个或多个)阈值 (例如，(一个或多个)锥/杆密度阈值等)的区域中的一些或全部， 该(一个或多个)阈值不一定基于角度。
附加地，可选地或可替代地，可以使用在逻辑上分区观看者的视 野和/或其它人类视觉因素的两种或更多种不同方案的组合来确定观 看者的视野应当如何被焦点可调透镜覆盖。例如，不是使用焦点可调 透镜在不同的角度方向上覆盖相同的角度值范围，而是焦点可调透镜 可以沿着横向方向(612)覆盖比由相同的焦点可调透镜沿着垂直方 向(614)覆盖的角度值范围大的角度值范围，因为人类视觉系统可 能对于沿着横向方向(612)的图像细节比沿着垂直方向(614)的图 像细节更灵敏。
图6B和图6C示出了示例(俯视图)角度范围618-1和618-2， 在其中的一些或全部当中，可以由实现如本文所描述的技术的眼镜设 备提供可调节的焦点。观看者的注视方向(或角度)以及观看者的中 央凹视觉616可以不时地转动(swivel)或旋转，不一定仅水平(horizontally)或仅垂直地转动或旋转，例如在观看者的正面观看 方向(118)左侧在左和右45角度度数之间的角度值范围内转动或旋 转。
在一些实施例中，对于它们可以在其中转动或旋转的整个角度值 范围，提供了可调节的焦点以覆盖以下中的一些或全部：中心区域 (例如，中央凹、中央凹加上安全余量等)、旁中心区域(例如，不 含中心区域并从中心区域延伸等)、近周边区域(例如，不含旁中心 区域并从旁中心区域延伸等)、中部周边区域(例如，不含近周边区 域并从近周边区域延伸等)，等等。
在一些实施例中，仅对于整个角度值范围中观看者的注视可以转 动或旋转的一部分提供了可调节的焦点以覆盖以下中的一些或全部： 中心区域(例如，中央凹、中央凹加上安全余量等)、旁中心区域 (例如，不含中心区域并从中心区域延伸等)、近周边区域(例如， 不含旁中心区域并从旁中心区域延伸等)、中部周边区域(例如，不 含近周边区域并从近周边区域延伸等)，等等。
在如图6B中所示的一些实施例中，提供了可调节的焦点以覆盖 表示宽角度范围的对称(关于正面观看方向(118)对称)部分的对 称角度范围618-1。对称角度范围(618-1)的示例可以包括但不一定 限于以下中的一个：相对于观看者的正面观看方向(118)的+/-15角 度度数、+/-20角度度数、+/-25角度度数等。
在如图6C和图6D中所示的一些实施例中，提供了可调节的焦 点以覆盖表示宽角度范围的不对称(关于正面观看方向(118)不对 称)部分的不对称角度范围(例如，618-2、618-3等)。可以将一只 眼睛的视野中的不对称角度范围限定或指定为覆盖从内部角度(朝着 另一只/共轭眼睛而看)到外部角度(远离另一只/共轭眼睛而看)。
在图6C中所示的实施例中，不对称角度范围(618-2)优先朝着 在观看者左眼和右眼的两个视野中重叠的内部方向偏置。朝着内部角 度偏置的不对称角度范围(618-2)的内部角度的示例可以包括但不 一定限于以下中的一个：相对于观看者的正面观看方向(118)的15 角度度数、30角度度数、45角度度数等。朝着内部角度偏置的不对 称角度范围(618-2)的外部角度的示例可以包括但不一定限于以下 中的一个：相对于观看者的正面观看方向(118)的10角度度数、15 角度度数、20角度度数等。
在图6D中所示的实施例中，不对称角度范围(618-3)优先朝着 在观看者左眼和右眼的两个视野中可以或可以不重叠的外部方向偏置。 朝着外部方向偏置的不对称角度范围(618-3)的外部角度的示例可 以包括但不一定限于以下中的一个：相对于观看者的正面观看方向 (118)的15角度度数、30角度度数、45角度度数等。朝着外部方 向偏置的不对称角度范围(618-3)的内部角度的示例可以包括但不 一定限于以下中的一个：相对于观看者的正面观看方向(118)的10 角度度数、15角度度数、20角度度数等。
图6E示出了眼睛的另一示例性视野620。与图6A的示例视野相 比，图6E的视野(620)考虑了视觉相关因素(诸如眼睛转动，来自 鼻子、角膜、眼睑等的观看约束)。图6E中的同心圆中的每个(例 如标记为15°、60°、90°等)表示相对于观看者的左眼或右眼的光轴(例如，图2B的102-1或102-2等)具有相等(或相同)角度度数的 方向。光轴(例如，图2B的102-1或102-2等)表示在横向方向622 和垂直方向624的交点处从图6E的平面垂直指出来的观看者的正面 观看方向(例如，图2B的118)。在这里，横向方向(622)和垂直 方向(624)形成垂直于正面观看方向(例如，图2B的118)的平面。
在一些实施例中，提供了可调节的焦点，以覆盖整个视野 (620)。在一些实施例中，提供了可调节的焦点，以覆盖视野(620) 中的特定区域626而不是整个视野(620)。特定区域(626)可以是 规则形状或者不规则形状。特定区域(626)的示例可以包括但不一 定限于以下当中一个或多个的任何组合：圆形(例如，如图8A至图 8E中所示，等等)、椭圆形(oblong shape)、卵形(oval shape)、 心形、星形、环形(round shape)、方形等。
7.示例焦点可调透镜
图7A示出了可以结合到如本文所描述的眼镜设备中的示例(横 截面视图)基于液体的焦点可调透镜700-1。以示例而非限制的方式， 基于液体的焦点可调透镜(700-1)可以包括一个或多个弯曲的膜 702-1、702-2、702-3等。液体可以由致动器等填充到一个或多个体 积(volume)704-1、704-2、704-3等中或从该一个或多个体积中排 空，以维持或重塑弯曲的膜(702)中的每个的曲率。如本文所描述 的示例膜可以包括但不限于透明膜、弹性可膨胀膜(elastically expandable membrane)等。如本文所描述的示例液体可以包括但不限于透明流体、光学上均匀的流体、具有相对高折射率和/或具有相 对低粘度的高光学透明度流体、具有低光学变形或杂质的流体等。
在操作中任何给定的时间，结合基于液体的焦点可调透镜(700- 1)的、本文所描述的眼镜设备可以确定基于液体的焦点可调透镜 (700-1)要被调整到的(一个或多个)特定焦距(例如，为了将立 体图像投射到通过注视跟踪确定的虚拟物体深度，等等)。基于(一个或多个)特定焦距，眼镜设备(通过机械设备、机电设备、压电设 备、电-射流(electro-fluidic)设备、数字控制设备等中的一个或多 个)控制填充到体积中或从体积中排空的液体的(一个或多个)量， 以重塑弯曲膜(702)的曲率中的一个、一些或全部，以产生基于液体的焦点可调透镜(700-1)的特定区域中的(一个或多个)特定焦 距(用于聚焦基本上从与观看方向708相对的方向传入的光)。例如， 膜(702-1)的曲率可以通过在体积(704-1至704-3)内填充液体或 从该体积中排空液体来控制；膜(702-2)的曲率可以通过在体积(704-2和704-3)中填充液体或从该体积中排空液体来控制；膜 (702-3)的曲率可以通过在体积(704-3)中填充液体或从该体积中 排空液体来控制。结果，基于液体的焦点可调透镜(700-1)中的第 一空间区域706-1被设置为(一个或多个)特定焦距中的第一焦距； 基于液体的焦点可调透镜(700-1)中的第二空间区域706-2被设置为 (一个或多个)特定焦距中的第二焦距；基于液体的焦点可调透镜 (700-1)中的第三空间区域706-3被设置为(一个或多个)特定焦距 中的第三焦距。在一些实施例中，(一个或多个)特定焦距中的一个 或多个(例如，第一空间区域(706-1)中的第一焦距)可以被用来 将描绘物体的3D或多视图图像的图像投射到该物体在3D或多视图 图像中要定位到的虚拟物体深度。
图7B示出了可以结合到如本文所描述的眼镜设备中的示例(前 视图)基于液晶的焦点可调透镜700-2。基于液晶的焦点可调透镜 (700-2)可以包括一个或多个液晶层、开关元件、电极、基板、偏 振器、矩阵等。基于液晶的焦点可调透镜(700-2)或其中的液晶层 可以被分区成多个单独可控的空间部分，诸如在弯曲或平面表面上分 布(例如，二维阵列等)的列、行、单元格(cell)、像素化 (pixelation)单元、条等，该弯曲或平面表面是诸如以下一种或多 种的组合：圆形、椭圆形、卵形、心形、星形、环形、方形等。在如 本文所描述的液晶层中使用的示例液晶材料可以包括但不限于双折射 液晶材料、非双折射液晶材料等。
在一些实施例中，眼镜设备或者其中的焦点可调透镜和/或开关 元件可以可操作地和/或通信地耦合到其它设备，诸如以下中的一个 或多个：图像显示器、眼睛注视跟踪设备、视频流传输客户端、视频 流传输服务器、自动可调透镜控制器等，以用于在运行时调节/调整 眼镜设备的焦距的目的。
以示例而非限制的方式，基于液晶的焦点可调透镜(700-2)包 括由分布在矩形表面上的多个液晶单元格表示的像素化单元。多个液 晶单元格中的每个液晶单元格的折射率可以单独地(例如，逐渐地、 协作地等)可控制，例如由通过利用电极和开关元件设置特定电压信 号(电压电平和/或相位)而生成的电场。如本文所描述的用来生成 电场的示例电极可以包括但不限于透明导电薄膜、导电条等。用于控 制如本文所述的电极的驱动电压的示例开关元件可以包括但不限于晶 体管等。
在操作中任何给定的时间，结合基于液晶的焦点可调透镜(700- 2)的如本文所描述的眼镜设备可以确定基于液晶的焦点可调透镜 (700-2)要被调整到的(一个或多个)特定焦距。基于(一个或多 个)特定焦距，眼镜设备(通过电子设备、电-光设备、数字控制设备等)控制液晶单元格中的一些或全部的折射率，以产生与基于液晶 的焦点可调透镜(700-2)的特定区域中的(一个或多个)特定焦距 对应的聚焦效果(用于聚焦从与图7B的平面基本上垂直的观看方向 相对的方向传入的光)。在示例中，基于液晶的焦点可调透镜(700-2)中的所有液晶单元格的(一个或多个)折射率可以(例如， 单独地、可变地、共同地、协作地等)被控制，以产生与(一个或多 个)特定焦距对应的光弯曲(light bending)或光聚焦效果。在另一 示例中，基于液晶的焦点可调透镜(700-2)中的液晶单元格的子集 (例如，特定空间区域710等)中的液晶单元格的折射率可以(例如， 单独地、可变地、共同地、协作地等)被控制，以产生与(一个或多 个)特定焦距对应的光弯曲或光聚焦效果。在一些实施例中，可以使 用(一个或多个)特定焦距中的一个或多个来将描绘物体的3D或多 视图图像的图像投射到物体要在3D或多视图图像中被定位到的虚拟 物体深度。
应当注意的是，除了基于液体的可调透镜和基于液晶的可调透镜 之外，如本文所描述的焦点可调透镜还可以用其它技术实现。例如， 焦点可调透镜可以在Alvarez原理下用两个或更多个可移动的自调节 透镜机械地实现。依赖于这些彼此重叠的可移动透镜，可以在可移动 透镜的不同区域中生成不同的焦距。基于眼睛注视跟踪，这些透镜可 以相对于彼此被移动，以将可移动透镜的一个或多个特定区域调整/ 调节为特定焦距。此外，具有特定焦距的一个或多个特定区域可以被 放置成覆盖观看者的(一个或多个)视野的中心区域(例如，中央凹 视觉加上安全余量等)。
8.示例眼镜设备
图8A示出了在如本文所描述的技术下实现光学和/或物理架构的 眼镜设备(例如，图8B、图8C或图8E的800等)的示例左透镜组 件802-1。图8B至图8F示出了眼镜设备(800)的示例透视图、前视 图和俯视图。
眼镜设备(800)包括要放置在观看者(图8D或图8F的808) 的左眼前面的左透镜组件(802-1)和观看者(808)的右眼前面的右 透镜组件(例如，图8B、图8C或图8E的802-2等)。在一些实施 例中，左透镜组件(802-1)具有左焦点可调透镜804和左焦点固定 透镜806。类似地，右透镜组件(802-2)具有右焦点可调透镜和右焦 点固定透镜。
在一些实施例中，如本文所描述的焦点可调透镜覆盖观看者 (808)的左眼或右眼的视野中的所有近周边区域(例如，图6A的 606等)。例如，左焦点可调透镜(804)可以完全覆盖观看者(808) 的左眼的左视野中的左近周边区域。类似地，右焦点可调透镜可以完 全覆盖观看者(808)的右眼的右视野中的右近周边区域。可以参考 观看者(808)的特定正面观看方向(这可以是左眼或右眼的特定眼 睛注视方向、左眼或右眼的特定转向角度等)来指定或限定如本文所 描述的视野(例如，图6A、图6B、图6C等)。附加地，可选地或 可替代地，可以参考特定正面观看方向范围(例如，眼睛转动的角度 范围、眼睛转动的角度范围的中心部分等)来指定或限定视野。
在一些实施例中，左或右近周边区域(例如，图6A的606等) 表示相对于以下中的一个的、沿着水平方向(例如，图6A的横向方 向(612)等)的角度范围：观看者(808)的左眼或右眼的光轴、特 定正面观看方向、特定正面观看方向范围中的中心方向等。近周边区 域(606)的示例角度范围可以包括但不限于以下中的一个：至多15 度、大于15度但不大于30度、大于30度但不大于60度、大于60 度等。
在一些实施例中，左焦点可调透镜(804)至少部分地覆盖观看 者(808)的左眼的左中部周边区域(例如，图6A的608等)。类似 地，右焦点可调透镜至少部分地覆盖观看者(808)的右眼的右中部 周边区域(例如，图6A的608等)。
在一些实施例中，左或右中部周边区域(例如，图6A的608等) 表示相对于以下中的一个的、沿着水平方向(例如，图6A的横向方 向(612)等)的角度范围：观看者(808)的左眼或右眼的光轴、特 定正面观看方向、特定正面观看方向范围中的中心方向等。左或右中部周边区域(例如，图6A的608等)的角度范围可以大于并邻近左 或右近周边区域(例如，图6A的606等)的角度范围。
在一些实施例中，眼镜设备(800)或与眼镜设备(800)一起操 作的自动可调透镜控制器(例如，图3B的318等)控制左透镜组件 (802-1)中的左焦点可调透镜(804)的一个或多个焦距，以将立体 图像的左图像投射到虚拟物体深度处的虚拟物体平面。至少部分地基于虚拟物体深度来确定左焦点可调透镜(804)的一个或多个焦距 (虚拟物体深度又可以通过眼睛注视跟踪由观看者(808)的左眼和 右眼的转向角度来确定)。
类似地，眼镜设备(800)或自动可调透镜控制器(318)控制右 透镜组件(802-2)中的右焦点可调透镜的一个或多个焦距，以将立 体图像的右图像投射到虚拟物体深度处的虚拟物体平面。至少部分地 基于虚拟物体深度来确定右焦点可调透镜的一个或多个焦距。
在一些实施例中，如本文所描述的焦点可调透镜可以支持单个可 调焦距，例如在整个基于液体的焦点可调透镜中、在图7A的基于液 体的焦点可调透镜(700-1)中的第一空间区域(706-1)中、在整个 基于液晶的焦点可调透镜(例如，图7B的700-2)中、在基于液晶的 焦点可调透镜(例如，图7B的700-2)的空间区域(710)中，等等。 在一些其它实施例中，如本文所描述的焦点可调透镜可以支持多个可 调焦距，例如在图7A的基于液体的焦点可调透镜(700-1)的不同空 间区域(例如，706-1、706-2、706-3等)中、在基于液晶的焦点可调透镜(例如，图7B的700-2)的不同空间区域(例如，710、710 外部等)中，等等。
以示例而非限制的方式，在一些实施例中，左焦点可调透镜 (804)或右焦点可调透镜的一个或多个焦距可以包括以下中的一个 或多个：(a)与左或右近周边区域(例如，图6A的606等)的中心 区域(例如，图6A的602等)对应的第一焦距；(b)与左或右近周 边区域的不含中心区域(例如，图6A的602等)的旁中心区域(例 如，图6A的604等)对应的第二焦距；(c)与不含中心区域(例 如，图6A的602等)和旁中心区域(例如，图6A的604等)的左 或右近周边区域(例如，图6A的606等)对应的第三焦距；(d)与 不含中心区域(例如，图6A的602等)、旁中心区域(例如，图6A 的604等)和近周边区域(例如，图6A的606等)的中部周边区域 (例如，图6A的608等)对应的第四焦距；等等。这多个焦距可以 单独或共同控制。在一些实施例中，中心区域(例如，图6A的602 等)与观看者的中央凹视觉对应。在一些实施例中，中心区域(例如， 图6A的602等)覆盖观看者(808)的左眼或右眼的视野的至少非中 央凹部分。
在一些实施例中，在投射立体图像的左图像或右图像时，多个可 调焦距中的全部被设置为相同的焦距。
在一些实施例中，在投射立体图像的左图像或右图像时，多个可 调焦距中的一些或全部被设置为至少两个不同的焦距。在一些实施例 中，在观看者视野的中心区域中(例如，在运行时可调整或可调节， 等等)的焦距(第一焦距)在比其它(一个或多个)焦距在其中被调 节的焦距范围大的焦距范围内可调节。在前面的示例中，中心区域的 第一焦距可以在比不含中心区域(例如，图6A的602等)、旁中心 区域(例如，图6A的604等)和近周边区域(例如，图6A的606 等)的中部周边区域(例如，图6A的608等)中的第四焦距在其中 可调节的焦距范围大的焦距范围(例如，两倍、多20％、多30％， 等等)内可调节。在一些实施例中，视野的区域越接旁中心区域，用 于调整/调节该区域中的焦距的焦距范围就越大。
在一些实施例中，焦点可调透镜(诸如左焦点可调透镜(804)、 右焦点可调透镜等)包括在焦点可调透镜(例如，804等)的多个空 间区域中的一个或多个可调节的焦距。附加地，可选地或可替代地， 焦点可调透镜(例如，804等)的多个空间区域中的一个或多个可调 节的焦距形成焦距从多个空间区域中的中心空间区域到多个空间区域 中的边界空间区域的相对平滑的、相对逐渐的、单调下降/上升等过 渡。在一些实施例中，中心空间区域与观看者(808)的左眼或右眼 的视野的近周边区域的中心区域对应，而边界空间区域在空间上紧邻 焦点固定透镜(诸如左焦点固定透镜(806)、右焦点固定透镜等)
在一些实施例中，眼睛透镜组件(例如，802-1等)或者其中的 焦点可调透镜(例如，804等)和焦点固定透镜(例如，806等)形 成基本上围绕观看者(808)的左眼或右眼的弯曲结构。例如，由眼 睛透镜组件(例如，802-1等)中的焦点可调透镜(例如，804等) 和焦点固定透镜(例如，806等)形成的弯曲结构可以基本上(例如， 80％、90％以上等)覆盖整个视野、完全覆盖整个视野、完全覆盖整 个视野加上安全余量(例如，5％的安全余量，10％的安全余量等)。 眼睛透镜组件中的透镜可以遵循(follow)观看者头部轮廓的一部分 而共同地呈曲线(curvilinear)。观看者头部轮廓的该部分可以包括 观看者的眼睛区域、观看者的眼睛区域周围的边缘面部区域、观看者 的太阳穴区域(temple area)的部分等中的一些或全部。
为了说明的目的，已经描述了如本文所描述的眼镜设备(800) 可以被用来与显示立体图像或多视图图像的图像显示器一起操作，使 得观看者(例如，图8D或图8F的808)可以以真实的3D体验观看 这些图像，而不会经历如在不实现如本文所描述的技术的其它方法下 普遍或频繁发生的调焦-转向冲突。因此，眼镜设备(800)可以在动 态操作模式下操作，诸如基于在3D显示应用、VR应用、AR应用等 中在任何给定的时间立体图像或多视图图像中的哪些物体正在被观看 者(808)看而将眼镜设备(800)中的焦点可调透镜动态地调整到不 同的焦距。
应当注意的是，在各种实施例中，如本文所描述的眼镜设备 (800)也可以用在非动态操作模式下，其中眼镜设备中的焦点可调 透镜可以被设置为固定或相对缓慢改变的特定焦距。例如，眼镜设备 (800)可以被用作验光眼镜(prescription glass)，其被设置为补偿 观看者的特定近视、远视、渐进(progressive)(例如，对于远物体 的近视和对于近物体的远视的组合)等等，例如，如由配镜师测量的、 如由观看者(808)调节的，等等。因此，观看者(808)可以佩戴眼 镜设备(800)，以在现实生活环境中而不是在立体图像或/多视图图像中描绘/渲染的人工环境中观看现实生活物体(例如，阅读书籍等) 或现实生活情景。
附加地，可选地或可替代地，即使当如本文所描述的眼镜设备用 于观看在立体图像或多视图图像中描绘的物体时，眼镜设备(800) 或与眼镜设备(800)一起操作的自动可调透镜控制器(例如，图3B 的318等)也可以考虑观看者(例如，图8D或图8F的808等)的个体视觉特点(例如，特定的近视、远视、渐进等)，并且以补偿观看 者的个体视觉特点的方式将物体投射到它们相应的虚拟物体深度。例 如，如本文所描述的焦点可调透镜的经调节/调整的焦距可以包括补 偿观看者(808)的近视或远视的第一部分以及将物体投射到其相应 虚拟物体深度的第二部分。
在一些实施例中，如果观看者(808)被确定为与标准视觉观看 者相比具有较大或较小的清晰视野部分，那么，如本文所描述的焦点 可调透镜(例如，图8A的804等)可以被配置为与这种标准视觉观 看者相比覆盖较大或较小(例如，在+/-5角度度数内、+/-10角度度数内等)的视野部分。
观看者的视觉感知特点在观看者视野的不同部分中是不同的。例 如，与观看者的中心视觉相比，观看者的周边视觉可能对颜色差异和 图像分辨率不灵敏。在一些实施例中，覆盖由焦点可调透镜(例如， 图8A的804等)覆盖的视野部分之外的观看者周边视觉的焦点固定 透镜(例如，图8A的806等)可以被配置为提供对观看者的周边视 觉灵敏的周边图像信息，诸如周边物体结构、周边物体移动、周边物 体视觉特点改变(例如，闪烁、尺寸改变等)。在一些实施例中，焦 点固定透镜(例如，图8A的806等)的不同部分可以被固定到单个 固定焦距。在一些实施例中，焦点固定透镜(例如，图8A的806等) 的不同部分可以被固定到多个固定焦距。在运行时(例如，在3D显 示应用中、在VR应用中、在AR应用中等)，焦点固定透镜(例如， 图8A的806等)的(一个或多个)固定焦距是固定的，独立于观看 者(808)将眼睛注视指向的任何物体。在一些实施例中，通过不同 的固定焦距，焦点固定透镜(例如，图8A的806等)可以被配置为 在观看者的周边视觉中提供没有空间变形或有很少空间变形的直线 (rectilinear)空间的感知。
在一些实施例中，焦点可调透镜(例如，图8A的804等)沿着 不同的空间方向可以具有或可以不具有相同的空间维度/尺寸。在一 些实施例中，如图8A中所示，焦点可调透镜(804)可以沿着垂直方 向具有第一空间维度/尺寸(表示为“y”)，并且沿着水平方向具有第二空间维度/尺寸(表示为“x”)。在一些实施例中，第一和第二 空间维度/尺寸可以相同或相似。在一些实施例中，第一和第二空间 维度/尺寸可以是不同的。例如，根据实现细节，在到眼睛3-20毫米 的距离处，第一空间维度/尺寸(“y”)可以具有30至45毫米的范 围，而第二空间维度/尺寸(“x”)可以具有45至60毫米的范围。 在到观看者的头部轮廓3-20毫米的距离处，焦点固定透镜(806)的 水平空间维度/尺寸(表示为“c”)可以在10毫米和60毫米之间的 范围内。
如本文所描述的眼镜设备中的焦点固定透镜(例如，图8A的 806等)和焦点可调透镜(例如，图8A的804等)可以或可以不由 相同的透镜技术实现。在一些实施例中，焦点可调透镜(例如，图 8A的804等)和在焦点可调透镜(例如，图8A的804等)外部的焦 点固定透镜(例如，图8A的806等)可以使用相同的透镜技术来实 现。在一些实施例中，焦点可调透镜(例如，图8A的804等)可以 使用第一透镜技术来实现，而在焦点可调透镜(例如，图8A的804等)外部的焦点固定透镜(例如，图8A的806等)可以使用不同的 第二透镜技术来实现。
附加地，可选地或可替代地，焦点可调透镜(例如，图8A的 804等)和在焦点可调透镜(例如，图8A的804等)外部的焦点固 定透镜(例如，图8A的806等)可以实现焦距的平滑过渡，以避免 焦距的急剧下降或突然改变。
焦点可调透镜(804)的示例形状可以包括但不一定限于以下中 的一种或多种的任何组合：圆形、椭圆形、卵形、心形、星形、环形、 方形等。
如本文所描述的焦点可调透镜(例如，图8A的804等)的空间 配置(诸如空间定位、空间形状、空间维度等中的一个或多个)可以 或可以不相对于眼镜设备(例如，800等)的其它部分(例如，焦点 固定透镜等)变化。
在一些实施例中，焦点可调透镜(例如，图8A的804等)的空 间配置相对于眼镜设备(例如，800等)的其它部分是固定的。焦点 可调透镜(例如，图8A的804等)可以位于眼睛透镜组件(例如， 802-1等)的固定部分中，相对于焦点可调透镜(例如，图8A的804) 外部的焦点固定透镜(例如，图8A的806等)具有固定的空间形状， 即使焦点可调透镜(例如，图8A的804等)的(一个或多个)焦距 是(例如，自动等)可调节/可调整的。
在一些其它实施例中，焦点可调透镜(例如，图8A的804等) 的空间配置相对于眼镜设备(例如，800等)的其它部分不是固定的。 焦点可调透镜(例如，图8A的804等)在第一时间点可以位于眼睛 透镜组件(例如，802-1等)的第一空间定位处。焦点可调透镜(例 如，图8A的804等)在不同的第二时间点可以位于眼睛透镜组件 (例如，802-1等)的不同的第二空间定位处。例如，基于注视跟踪， 在第一时间，观看者(808)的左眼或右眼的中心区域可以处于或靠 近第一空间定位；在第二时间，观看者(808)的左眼或右眼的中心 区域可以处于或靠近第二空间定位。因此，在第一时间，可以通过可 移动的流体填充透镜形成的、通过激活/控制基于液晶的焦点可调透 镜的像素化单元的折射率形成的等等焦点可调透镜(例如，图8A的 804等)可以被设置为覆盖第一空间定位。类似地，在第二时间，焦 点可调透镜(例如，图8A的804等)可以被设置为覆盖第二空间定 位。
9.示例视频流传输服务器和客户端
图3A示出了包括图像处理器302、基于深度的图像生成器312等 的示例视频流传输服务器300。在一些实施例中，图像处理器(302) 包括图像接收器306、数据仓库(repository)310等。视频流传输服 务器(300)的部件中的一些或全部可以在软件、硬件、软件和硬件 的组合等中由一个或多个设备、模块、单元等实现。
在一些实施例中，图像接收器(306)包括软件、硬件、软件和 硬件的组合等，其被配置为从图像源(诸如与VR应用、AR应用、 远程呈现应用、3D显示应用、多视图显示应用等相关联的(in connection with)相机系统，基于云的图像源)接收输入图像流304； 将输入图像流(304)解码为一个或多个输入立体图像(例如，输入 立体图像的序列、输入多视图图像的序列等)；等等。在一些实施例 中，输入图像流(304)可以携带可由图像接收器(306)从输入图像 流(304)解码的图像元数据(例如，相机几何信息等)。
在一些实施例中，数据仓库(310)表示一个或多个数据库、一 个或多个数据存储单元/模块/设备等，其被配置为关于输入立体图像、 图像元数据等中的一些或全部支持诸如存储、更新、检索 (retrieve)、删除等之类的操作。在一些实施例中，通过基于深度 的图像生成器(308)而不是输入图像流(304)，从数据仓库(310) 检索输入立体图像。
在一些实施例中，基于深度的图像生成器(308)包括软件、硬 件、软件和硬件的组合等，其被配置为经由双向数据流314接收用户 (或观看者)随时间的转向角度等；生成包括基于深度的立体图像 和深度控制元数据的输出视频流；经由双向数据流314直接地或间接 地(通过中间设备等)将输出视频流提供/发送到立体视频流传输客 户端、显示设备、存储设备等。在各种实施例中，基于深度的立体图 像可以指输入立体图像(例如，由视频流传输服务器(300)接收的 等)或从输入立体图像导出的经修改的立体图像。
深度控制元数据可以表示单个深度随时间的函数。可以至少部分 地基于用户的转向角度和与图像显示器相关的其它几何信息(例如， 图像显示器与用户的眼睛之间的距离、图像显示器与自动可调透镜之 间的距离等)等来确定/计算如在深度控制元数据中指示的任何给定 时间点的单个深度，并且该单个深度可以被用来控制用户正在用来观 看立体图像的图像渲染设备中的一个或多个自动可调透镜的一个或多 个焦距以便投射对应的立体图像，其中该单个深度是针对该立体图像 确定/计算的。
附加地，可选地或可替代地，图像处理操作(诸如纵横比调节操 作、深度校正操作、模糊过滤、情景切割检测、坐标系之间的变换、 时间阻尼(temperal dampening)、显示管理、内容映射、颜色映射、 视野管理等)中的一些或全部可以由立体视频流传输服务器(300) 执行，以用于生成被编码到输出视频流中的深度控制元数据和基于深 度的立体图像的目的。
视频流传输服务器(300)可以被用来支持实时视觉应用、近实 时视觉应用，非实时视觉应用、虚拟现实、增强现实、远程呈现、头 盔安装式显示应用、平视显示应用、游戏、2D显示应用、3D显示应 用、多视图显示应用等。
图3B示出了包括基于深度的图像接收器316、转向角度跟踪器 326、自动可调透镜控制器318、一个或多个图像显示器320等的示例 图像渲染系统324-1。图像渲染系统(324-1)的部件中的一些或全部 可以在软件、硬件、软件和硬件的组合等中由一个或多个设备、模块、 单元等实现。
用户(或观看者)可以在运行时的不同时间点将用户的转向角度 分别移动到不同深度的图像细节(或立体图像中描绘的视觉物体/ 人)。在一些实施例中，转向角度跟踪器(326)包括软件、硬件、 软件和硬件的组合等，其被配置为跟踪用户随时间的转向角度等。用 户随时间的转向角度可以以相对精细的时间尺度(例如，每毫秒、每 五毫秒，等等)被采样或测量。
在一些实施例中，基于深度的图像接收器(316)包括软件、硬 件、软件和硬件的组合等，其被配置为经由双向数据流314发送用户 的转向角度、其它几何信息(例如，图像显示器与用户眼睛之间的距 离、图像显示器与自动可调透镜之间的距离等)等；接收包括基于深 度的立体图像和与基于深度的立体图像对应的深度控制元数据的视频 流(例如，由上游设备输出的等)；等等。
图像渲染系统(324-1)被配置为将接收到的视频流解码为基于 深度的立体图像和深度控制元数据；在图像显示器(320)上渲染从 接收到的视频流解码的基于深度的立体图像(例如，该立体图像中的 每一个包括左图像和右图像)。
在一些实施例中，自动可调透镜控制器(318)包括软件、硬件、 软件和硬件的组合等，其被配置为使用深度控制元数据来控制一个或 多个自动可调透镜，以便将如在图像显示器(320)上渲染的立体图 像投射成在不同时间点分别处于不同深度的虚拟图像(例如，经受一 毫秒、10毫秒、帧时间的一部分等等的实时处理延迟)。
附加地，可选地或可替代地，图像渲染操作(诸如注视/眼睛跟 踪、纵横比调节操作、深度校正操作、模糊过滤、情景切割检测、时 变图像参数的时间阻尼、图像参数的任何其它时间操纵、显示管理、 内容映射、色调(tone)映射、颜色映射、视野管理、预测、通过鼠标、轨迹球、键盘、脚踏跟踪器(foot tracker)、实体运动等)中的 一些或全部可以由图像渲染系统(324-1)执行。
图像渲染系统(324-1)可以被用来支持实时、近实时或非实时 的视觉应用、近实时视觉应用、非实时视觉应用、虚拟现实、增强现 实、远程呈现、头盔安装式显示应用、平视显示应用、游戏、2D显 示应用、3D显示应用、多视图显示应用等。
本文所描述的技术可以在各种系统架构中实现。如本文所描述的 一些或全部图像处理操作可以通过以下中的一个或多个的任何组合来 实现：基于云的视频流传输服务器、与视频流传输客户端并置或结合 到其中的视频流传输服务器、图像渲染系统、图像渲染系统、显示设 备，等等。基于一个或多个因素(诸如视觉应用的类型、带宽/位速 率预算(budget)、接收方设备的计算能力、资源负载等、视频流传 输服务器和/或计算机网络的计算能力、资源、负载等，等等)，一 些图像处理操作可以由视频流传输服务器执行，而一些其它图像处理 操作可以由视频流传输客户端、图像渲染系统、显示设备等执行。
图3C示出了将基于深度的图像生成器(例如，312等)结合到 边缘视频流传输服务器324-2中的示例配置。在一些实施例中，图3C 的图像处理器302可以是基于云的。在一些实施例中，图像处理器 (302)可以位于与边缘设备(诸如边缘视频流传输服务器(324-2))分离的核心网络中。如图3A中那样，图像处理器(302)可以包括图 像接收器306、数据仓库310等。图像处理器(302)可以表示经相对 高的位速率与边缘视频流传输服务器(324-2)进行通信的上游视频 流传输服务器。图像处理器(302)和/或边缘视频流传输服务器(324-2)的部件中的一些或全部可以在软件、硬件、软件和硬件的 组合等中由一个或多个设备、模块、单元等实现。
在一些实施例中，图像处理器(302)被配置为将数据流322中 的输入立体图像发送到下游设备，该下游设备中的一个可以是边缘视 频流传输服务器(324-2)。
在一些实施例中，边缘视频流传输服务器(324-2)或者其中的 基于深度的图像生成器(312)包括软件、硬件、软件和硬件的组合 等，其被配置为确定用户随时间的转向角度、其它几何信息等；生成 包括基于深度的立体图像和深度控制元数据的输出视频流；经由双向 数据流314直接或间接地(通过中间设备等)将输出视频流提供/发 送到视频流传输客户端、显示设备、存储设备等。
10.示例处理流程
图4A示出了根据本发明的示例实施例的示例处理流程。在一些 示例实施例中，一个或多个计算设备或部件可以执行这个处理流程。 在方框402中，当观看者正在观看包括第一左图像和第一右图像的第 一立体图像时，图像处理系统(例如，图3A至图3C的视频流传输 服务器或视频流传输客户端的任何组合等)确定观看者的左眼的左转 向角度和观看者的右眼的右转向角度。
在方框404中，图像处理系统至少部分地基于(i)观看者的左 眼的左转向角度和(ii)观看者的右眼的右转向角度来确定虚拟物体 深度。
在方框406中，图像处理系统在一个或多个图像显示器上为观看 者渲染包括第二左图像和第二右图像的第二立体图像。第二立体图像 在第一立体图像之后。
在方框408中，图像处理系统将第二立体图像从一个或多个图像 显示器投射到虚拟物体深度处的虚拟物体平面。
图4B示出了根据本发明的示例实施例的另一示例处理流程。在 一些示例实施例中，一个或多个计算设备或部件可以执行这个处理流 程。在方框422中，图像处理系统(例如，图3A至图3C的眼镜设 备、视频流传输服务器或视频流传输客户端的任何组合等)使用一个 或多个注视跟踪设备来跟踪观看者的左眼和观看者的右眼所指向的虚 拟物体深度。
在方框424中，图像处理系统在一个或多个图像显示器上渲染包 括左图像和右图像的立体图像。
在方框426中，图像处理系统利用眼镜设备的左透镜组件将左图 像投射到虚拟物体深度处的虚拟物体平面。
在方框428中，图像处理系统利用眼镜设备的右透镜组件将右图 像投射到处于虚拟物体深度的虚拟物体平面。
在实施例中，左透镜组件包括左焦点可调透镜和左焦点固定透镜， 而右透镜组件包括右焦点可调透镜和右焦点固定透镜。
在实施例中，第二左图像和第二右图像是通过应用一个或多个纵 横比调节操作而从输入左图像和输入右图像生成的，其中纵横比调节 操作将在输入左图像和输入右图像中描绘的视觉物体的纵横比调节成 在被投射到虚拟物体深度处的虚拟物体平面的第二左图像和第二右图 像中描绘的视觉物体的经修改的纵横比。
在实施例中，第二左图像和第二右图像是通过应用一个或多个深 度校正操作而从输入左图像和输入右图像生成的，其中深度校正操作 将在输入左图像和输入右图像中描绘的视觉物体的深度转换成在被投 射到虚拟物体深度处的虚拟物体平面的第二左图像和第二右图像中描 绘的视觉物体的经修改的深度。
在实施例中，第二左图像和第二右图像是通过应用一个或多个模 糊过滤操作而从输入左图像和输入右图像生成的，其中模糊过滤操作 相对于输入左图像和输入右图像模糊第二左图像和第二右图像的一个 或多个空间区域；第二左图像和第二右图像的这一个或多个空间区域 远离观看者的中央凹视觉。
在实施例中，第二立体图像的第二左图像和第二右图像被并发地 渲染，以被观看者观看。
在实施例中，第二立体图像的第二左图像和第二右图像被按帧顺 序地渲染，以被观看者观看。
在实施例中，第二立体图像在被渲染以被观看者观看的立体图像 的序列中在时间上紧接在第一立体图像之后。
在实施例中，使用一个或多个自动可调透镜被用来将第二立体图 像投射到虚拟物体深度处的虚拟物体平面；至少部分地基于虚拟物体 深度来确定一个或多个自动可调透镜的一个或多个焦距。
在实施例中，从输入立体图像序列中的第二输入立体图像生成第 二立体图像；从第二输入立体图像不生成除第二立体图像之外的其它 立体图像；第二立体图像不被投射到除所述虚拟物体深度以外的其它 虚拟物体深度。
在实施例中，第二立体图像的第二左图像和第二右图像分别在第 一图像显示器和第二图像显示器上被渲染。
在实施例中，第二立体图像的第二左图像和第二右图像在单个图 像显示器上被渲染。
在实施例中，基于包括单个透镜元件的自动可调透镜，将第二立 体图像的第二左图像和第二右图像中的至少一个投射到虚拟物体平面。
在实施例中，基于包括多个透镜元件的自动可调透镜，将第二立 体图像的第二左图像和第二右图像中的至少一个投射到虚拟物体平面。
在实施例中，第二立体图像的第二左图像仅观看者的左眼可观看， 而第二立体图像的第二右图像仅观看者的右眼可观看。
在实施例中，图像处理系统还被配置为执行：当观看者正在观看 包括第二左图像和第二右图像的第二立体图像时，确定观看者的左眼 的第二左转向角度和观看者的右眼的第二右转向角度；至少部分地基 于(i)观看者的左眼的第二左转向角度和(ii)观看者的右眼的第二 右转向角度来确定第二虚拟物体深度；在一个或多个图像显示器上为 观看者渲染包括第三左图像和第三右图像的第三立体图像，第三立体 图像在第二立体图像之后；将第三立体图像从一个或多个图像显示器 上投射到第二虚拟物体深度处的第二虚拟物体平面；等等。
在实施例中，至少部分地基于观看者的特定视觉特点来调节虚拟 物体深度。
在各种示例实施例中，装置、系统、装置或一个或多个其它计算 设备执行如所描述的前述方法的任何一个或一部分。在实施例中，非 暂态计算机可读存储介质存储软件指令，当软件指令由一个或多个处 理器执行时，使得如本文所描述的方法被执行。
要注意的是，虽然在本文中讨论了分开的实施例，但是本文讨论 的实施例和/或部分实施例的任何组合可以被组合，以形成进一步的 实施例。
11.实现机制–硬件概述
根据一个实施例，本文所描述的技术由一个或多个专用计算设备 实现。专用计算设备可以是硬连线的以执行该技术，或者可以包括诸 如被永久性地编程以执行该技术的一个或多个专用集成电路(ASIC) 或现场可编程门阵列(FPGA)之类的数字电子设备，或者可以包括 被编程为按照固件、存储器、其它储存器或其组合中的程序指令执行 该技术的一个或多个通用硬件处理器。这种专用计算设备还可以将定 制的硬连线逻辑、ASIC或FPGA与定制的编程组合来实现该技术。 专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设 备、联网设备或者结合硬连线和/或程序逻辑来实现该技术的任何其 它设备。
例如，图5是示出本发明的示例实施例可以在其上实现的计算机 系统500的框图。计算机系统500包括总线502或者用于传送信息的 其它通信机制，以及与总线502耦合以用于处理信息的硬件处理器 504。硬件处理器504可以是例如通用微处理器。
计算机系统500还包括耦合到总线502以用于存储信息和要由处 理器504执行的指令的主存储器506，诸如随机存取存储器(RAM) 或其它动态存储设备。主存储器506还可以用于存储在执行要由处理 器504执行的指令期间的临时变量或其它中间信息。当存储在处理器 504可访问的非暂态存储介质中时，这种指令使计算机系统500变成 为执行指令中所指定的操作而定制的专用机器。
计算机系统500还包括只读存储器(ROM)508或者耦合到总线 502的其它静态存储设备，用于为处理器504存储静态信息和指令。
存储设备510(诸如磁盘、光盘或固态RAM)被提供，并且耦 合到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦合到显示器512(诸如液晶 显示器)，以用于向计算机用户显示信息。输入设备514(包括字母 数字和其它键)耦合到总线502，用于向处理器504传送信息和命令 选择。另一种类型的用户输入设备是光标(cursor)控件516(诸如鼠标、轨迹球或者光标方向键)，用于向处理器504传送方向信息和 命令选择并且用于控制显示器512上的光标移动。这种输入设备通常 具有在两个轴(第一轴(例如，x)和第二轴(例如，y))中的两个 自由度，这两个自由度允许设备指定平面中的位置。
计算机系统500可以使用定制的硬连线逻辑、一个或多个ASIC 或FPGA、固件和/或程序逻辑来实现本文所述的技术，这些与计算 机系统相组合，使计算机系统500成为或把计算机系统500编程为专 用机器。根据一种实施例，本文的技术由计算机系统500响应于处理 器504执行被包含在主存储器506中的一条或多条指令的一个或多个 序列而被执行。这种指令可以从另一存储介质(诸如存储设备510) 读取到主存储器506中。被包含在主存储器506中的指令序列的执行 使处理器504执行本文所述的处理步骤。在替代实施例中，硬连线的 电路系统可以代替软件指令使用或者与软件指令组合使用。
如本文所使用的术语“存储介质”是指存储使机器以特定方式操 作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易 失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸 如存储设备510。易失性介质包括动态存储器，诸如主存储器506。 存储介质的普遍形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁 带，或者任何其它磁性数据存储介质、CD-ROM、任何其它光学数 据存储介质、任何具有孔模式的物理介质、RAM、PROM和 EPROM、FLASH-EPROM、NVRAM，任何其它存储器芯片或盒式 磁带。
存储介质与传输介质截然不同但是可以与其结合使用。传输介质 参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜线 和光纤，包括包含总线502的线。传输介质还可以采取声或光波的形 式，诸如在无线电波和红外线数据通信中生成的那些声或光波。
各种形式的介质可以参与把一条或多条指令的一个或多个序列携 带到处理器504以用于执行。例如，指令初始地可以在远程计算机的 磁盘或固态驱动器上承载。远程计算机可以把指令加载到其动态存储 器中并且使用调制解调器经电话线发送指令。位于计算机系统500本 地的调制解调器可以接收电话线上的数据并且使用红外线发射器将数 据变换成红外线信号。红外线检测器可以接收在红外线信号中承载的 数据并且适当的电路系统可以把数据放到总线502上。总线502把数 据携载到主存储器506，处理器504从该主存储器506检索并执行指 令。由主存储器506接收到的指令可以可选地在被处理器504执行之前或之后存储在存储设备510上。
计算机系统500还包括耦合到总线502的通信接口518。通信接 口518提供耦合到网络链路520的双向数据通信，其中网络链路520 连接到本地网络522。例如，通信接口518可以是综合服务数字网络 (ISDN)卡、电缆调制解调器、卫星调制解调器，或者提供到对应类型的电话线的数据通信连接的调制解调器。作为另一个示例，通信 接口518可以是提供到兼容的局域网(LAN)的数据通信连接的LAN 卡。无线链路也可以被实现。在任何这种实现中，通信接口518发送 和接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光 信号。
网络链路520通常通过一个或多个网络向其它数据设备提供数据 通信。例如，网络链路520可以通过本地网络522提供到主机计算机 524或者到由互联网服务提供商(ISP)526运营的数据装备的连接。 ISP 526又通过现在通常称为“互联网”528的全球分组数据通信网 络来提供数据通信服务。本地网络522和互联网528两者使用承载数 字数据流的电信号、电磁信号或光学信号。通过各种网络的信号以及 在网络链路520上并通过通信接口518的信号是传输介质的示例形式， 这些信号把数字数据携载到计算机系统500或者携载来自计算机系统 500的数字数据。
计算机系统500可以通过(一个或多个)网络、网络链路520和 通信接口518发送消息和接收数据(包括程序代码)。在互联网示例 中，服务器530可以通过互联网528、ISP526、本地网络522和通信 接口518来传输对应用程序的请求代码。
接收到的代码可以在其被接收时由处理器504执行，和/或存储 在存储设备510或其它非易失性储存器中，用于以后执行。
12.等同、扩展、替代方案和其他
在前述说明书中，已经参考许多具体细节描述了本发明的示例实 施例，这些具体细节可以从实现到实现有所不同。因此，本发明的唯 一且排他指示，以及申请人所期望作为本发明的是由本申请产生的一 组权利要求，以这种权利要求产生的具体形式，包括任何后续校正。 本文对这些权利要求中包含的术语的任何明确阐述的限定应该支配 (govern)在权利要求中使用的这些术语的含义。因此，权利要求中 没有明确记载的限制、元素、特性、特征、优点或属性都不应当以任 何方式限制这些权利要求的范围。因而，说明书和附图被认为是说明 性的而不是限制性的。

Claims (26)

1.一种眼镜设备，包括：
透镜组件，包括：
焦点可调透镜，其覆盖所述眼镜设备的观看者的视野的中心部分；
焦点固定透镜，其覆盖所述眼镜设备的观看者的视野的边界部分，其中，所述边界部分未被所述焦点可调透镜覆盖并且位于所述中心部分之外。
2.如权利要求1所述的眼镜设备，其中所述视野是所述观看者的左视野和右视野之一。
3.如权利要求1所述的眼镜设备，其中所述焦点可调透镜关于观看者的正面观看方向完全覆盖观看者眼睛的近周边视觉。
4.如权利要求3所述的眼镜设备，其中所述焦点可调透镜关于观看者的正面观看方向部分地覆盖观看者眼睛的中部周边视觉；并且其中所述中部周边视觉涵盖所述近周边视觉。
5.如权利要求1所述的眼镜设备，其中所述透镜组件被配置为将立体图像的图像投射到在虚拟物体深度处的虚拟物体平面；并且其中所述焦点可调透镜的一个或多个焦距至少部分地基于所述虚拟物体深度来确定。
6.如权利要求5所述的眼镜设备，其中所述焦点可调透镜的所述一个或多个焦距包括以下中的一个或多个：(a)与近周边视觉的中心区域对应的第一焦距，(b)与近周边视觉的不含所述中心区域的旁中心区域对应的第二焦距，(c)与近周边视觉的不含所述中心区域和旁中心区域的近周边部分对应的第三焦距，或者(d)与近周边视觉的不含所述中心区域、旁中心区域和近周边区域的中部周边区域对应的第四焦距。
7.如权利要求6所述的眼镜设备，其中所述中心区域与观看者的中央凹视觉对应。
8.如权利要求6所述的眼镜设备，其中所述中部周边区域与观看者的非中央凹视觉的一部分对应。
9.如权利要求6所述的眼镜设备，其中第一焦距可调节的焦距范围比第四焦距可调节的焦距范围大。
10.如权利要求1所述的眼镜设备，其中所述焦点可调透镜包括在所述焦点可调透镜的多个空间区域中的一个或多个可调节的焦距；并且其中所述焦点可调透镜的所述多个空间区域中的所述一个或多个可调节的焦距形成焦距从所述多个空间区域中的中心空间区域到所述多个空间区域中的边界空间区域的平滑过渡；其中所述中心空间区域与所述近周边视觉的中心部分对应；并且其中边界空间区域在空间上紧邻所述焦点固定透镜。
11.如权利要求1所述的眼镜设备，其中所述眼镜设备是视觉设备的一部分，所述视觉设备包括显示图像的图像显示器；其中所述眼镜设备将图像投射到依赖于观看者的转向角度的虚拟物体深度。
12.如权利要求11所述的眼镜设备，其中所述视觉设备还包括一个或多个注视跟踪设备，所述一个或多个注视跟踪设备在运行时跟踪并确定观看者的转向角度。
13.一种视觉设备，包括：
一个或多个图像显示器，显示立体图像的左图像和右图像；
如权利要求1-12中任一项所述的眼镜设备，其中眼镜设备将左图像和右图像投射到依赖于观看者的转向角度的虚拟物体深度。
14.如权利要求13所述的视觉设备，还包括一个或多个注视跟踪设备，所述一个或多个注视跟踪设备在运行时跟踪并确定观看者的转向角度。
15.一种方法，包括：
使用一个或多个注视跟踪设备来跟踪观看者的左眼和观看者的右眼所指向的虚拟物体深度；
在一个或多个图像显示器上渲染包括左图像和右图像的立体图像；
利用眼镜设备的左透镜组件将左图像投射到虚拟物体深度处的虚拟物体平面；
利用眼镜设备的右透镜组件将右图像投射到虚拟物体深度处的虚拟物体平面；
其中左透镜组件包括左焦点可调透镜和左焦点固定透镜，所述左焦点可调透镜覆盖所述眼镜设备的观看者的左视野的中心区域、旁中心区域、近周边区域、中部周边区域中的一些或全部，所述左焦点固定透镜覆盖所述眼镜设备的观看者的左视野的在所述左焦点可调透镜覆盖的区域之外的区域；
其中右透镜组件包括右焦点可调透镜和右焦点固定透镜，所述右焦点可调透镜覆盖所述眼镜设备的观看者的右视野的中心区域、旁中心区域、近周边区域、中部周边区域中的一些或全部，所述右焦点固定透镜覆盖所述眼镜设备的观看者的右视野的在所述右焦点可调透镜覆盖的区域之外的区域。
16.如权利要求15所述的方法，其中左图像和右图像被并发地渲染，以被观看者观看。
17.如权利要求15所述的方法，其中左图像和右图像被按帧顺序地渲染，以被观看者观看。
18.如权利要求15所述的方法，其中左图像和右图像分别在图像显示器中的第一图像显示器和图像显示器中的不同的第二图像显示器上被渲染。
19.如权利要求15所述的方法，其中左图像和右图像在单个图像显示器上被渲染。
20.一种方法，包括：
使用一个或多个注视跟踪设备来跟踪观看者的眼镜所指向的虚拟物体深度；
在一个或多个图像显示器上渲染图像；
利用眼镜设备的透镜组件将图像投射到虚拟物体深度处的虚拟物体平面；
其中透镜组件包括焦点可调透镜和焦点固定透镜，其中焦点可调透镜覆盖所述观看者的视野的中心部分；其中焦点固定透镜覆盖所述眼镜设备的观看者的视野的边界部分，其中，所述边界部分未被所述焦点可调透镜覆盖并且位于所述中心部分之外。
21.如权利要求20所述的方法，其中所述焦点可调透镜包括用于近周边视觉的中心区域的单个透镜元件。
22.如权利要求20所述的方法，其中至少部分地基于观看者的特定视觉特点来调节虚拟物体深度。
23.一种执行如权利要求15-22中任一项所述的方法的装置。
24.一种执行如权利要求15-22中任一项所述的方法的系统。
25.一种存储软件指令的非暂态计算机可读存储介质，当软件指令由一个或多个处理器执行时，使得如权利要求15-22中任一项所述的方法被执行。
26.一种计算设备，包括一个或多个处理器和存储指令集的一个或多个存储介质，当指令集由一个或多个处理器执行时，使得如权利要求15-22中任一项所述的方法被执行。
CN202210139546.XA 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备 Pending CN114460742A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662414901P 2016-10-31 2016-10-31
US62/414,901 2016-10-31
CN201711043522.XA CN108051925B (zh) 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711043522.XA Division CN108051925B (zh) 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备

Publications (1)

Publication Number Publication Date
CN114460742A true CN114460742A (zh) 2022-05-10

Family

ID=62022288

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210139546.XA Pending CN114460742A (zh) 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备
CN201711043522.XA Active CN108051925B (zh) 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711043522.XA Active CN108051925B (zh) 2016-10-31 2017-10-31 具有焦点可调透镜的眼镜设备

Country Status (2)

Country Link
US (2) US10928638B2 (zh)
CN (2) CN114460742A (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US11363250B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Augmented 3D entertainment systems
KR102161734B1 (ko) 2017-04-11 2020-10-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 계층화된 증강 엔터테인먼트 경험
US10241329B2 (en) * 2017-07-13 2019-03-26 Google Llc Varifocal aberration compensation for near-eye displays
CN109491087B (zh) 2017-09-11 2022-09-20 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
US10917633B2 (en) * 2017-09-15 2021-02-09 Intel Corporation Generating stereoscopic light field panoramas using concentric viewing circles
CN111630852A (zh) * 2018-01-30 2020-09-04 索尼公司 信息处理设备、信息处理方法和程序
US10359845B1 (en) * 2018-05-01 2019-07-23 Facebook Technologies, Llc Display assembly using dynamic liquid crystal array
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11812009B2 (en) 2018-06-22 2023-11-07 Intel Corporation Generating virtual reality content via light fields
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11022835B2 (en) 2018-12-15 2021-06-01 Facebook Technologies, Llc Optical system using segmented phase profile liquid crystal lenses
US10871660B2 (en) * 2018-12-20 2020-12-22 Tectus Corporation Dynamic presbyopia correction in electronic contact lenses
US10802281B2 (en) * 2018-12-20 2020-10-13 General Electric Company Periodic lenses systems for augmented reality
JP6978083B2 (ja) * 2019-01-15 2021-12-08 ブルーオプテック株式会社 ウエアラブル画像表示装置
US20200234401A1 (en) * 2019-01-22 2020-07-23 Varjo Technologies Oy Display apparatus and method of producing images using rotatable optical element
CN109979016B (zh) * 2019-03-26 2023-03-21 徐治国 一种ar设备显示光场影像的方法、ar设备和存储介质
EP3973510A4 (en) * 2019-05-23 2022-07-13 Magic Leap, Inc. MIXED MODE THREE-DIMENSIONAL DISPLAY SYSTEMS AND METHODS
CN110196496A (zh) * 2019-07-02 2019-09-03 深圳珑璟光电技术有限公司 一种可调节焦距的近眼显示设备
CN117853642A (zh) 2019-12-06 2024-04-09 奇跃公司 虚拟、增强和混合现实系统和方法
CN114830011A (zh) * 2019-12-06 2022-07-29 奇跃公司 虚拟、增强和混合现实系统和方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
EP4073572A1 (en) * 2020-09-03 2022-10-19 HES IP Holdings, LLC Systems and methods for improving binocular vision
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
TWI788072B (zh) * 2021-09-03 2022-12-21 廣達電腦股份有限公司 擴增實境眼鏡裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118834A1 (en) * 2004-03-31 2011-05-19 Yuhwa Lo Fluidic intraocular lens systems and methods
CN102445756A (zh) * 2010-11-18 2012-05-09 微软公司 用于扩展现实显示的自动焦点改善
US20120162764A1 (en) * 2010-12-24 2012-06-28 Sony Corporation Head-mounted display
CN202815348U (zh) * 2012-09-25 2013-03-20 广州新力量生物科技有限公司 一种智能老花镜
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
CN104977728A (zh) * 2013-12-31 2015-10-14 阿尔法·普瑞米塔斯公司 眼镜装置、处方镜片及优化处方镜片佩戴者视敏度的方法
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4261655A (en) 1978-01-09 1981-04-14 Honigsbaum Richard F Biomechanically focused eyeglasses
US6222621B1 (en) * 1998-10-12 2001-04-24 Hoyo Corporation Spectacle lens evaluation method and evaluation device
US6768585B2 (en) * 2002-05-02 2004-07-27 Eastman Kodak Company Monocentric autostereoscopic optical apparatus using a scanned linear electromechanical modulator
US7486341B2 (en) 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
JP5143772B2 (ja) * 2008-03-28 2013-02-13 パナソニック株式会社 画像表示装置および画像表示方法
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
GB201110661D0 (en) 2011-06-23 2011-08-10 Univ Durham Apparatus and method for displaying images
US20130300635A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US9535264B2 (en) 2012-07-13 2017-01-03 Adlens Beacon, Inc. Fluid lenses, lens blanks, and methods of manufacturing the same
CN103926711B (zh) * 2013-01-14 2016-10-05 九扬贸易有限公司 控制眼轴增长的光学镜片
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
CN103605209A (zh) * 2013-11-05 2014-02-26 中国科学技术大学 一种透射式立体显示眼镜装置
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display
RU2603238C2 (ru) * 2014-07-15 2016-11-27 Самсунг Электроникс Ко., Лтд. Световодная структура, голографическое оптическое устройство и система формирования изображений
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US9681804B2 (en) 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
WO2016130941A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US10417832B2 (en) 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
CN105072436A (zh) * 2015-08-28 2015-11-18 胡东海 虚拟现实及增强现实成像景深自动调节方法以及调节装置
WO2017079342A1 (en) * 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear
CN205139469U (zh) * 2015-12-02 2016-04-06 李光辉 一种可调焦距的智能眼镜
US9927614B2 (en) * 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
CN106019587A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动调焦的近眼显示装置及方法
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118834A1 (en) * 2004-03-31 2011-05-19 Yuhwa Lo Fluidic intraocular lens systems and methods
CN102445756A (zh) * 2010-11-18 2012-05-09 微软公司 用于扩展现实显示的自动焦点改善
US20120162764A1 (en) * 2010-12-24 2012-06-28 Sony Corporation Head-mounted display
CN202815348U (zh) * 2012-09-25 2013-03-20 广州新力量生物科技有限公司 一种智能老花镜
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
CN104977728A (zh) * 2013-12-31 2015-10-14 阿尔法·普瑞米塔斯公司 眼镜装置、处方镜片及优化处方镜片佩戴者视敏度的方法
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法

Also Published As

Publication number Publication date
US20210325684A1 (en) 2021-10-21
CN108051925B (zh) 2022-03-01
US10928638B2 (en) 2021-02-23
US20180120573A1 (en) 2018-05-03
CN108051925A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN108051925B (zh) 具有焦点可调透镜的眼镜设备
CN109644261B (zh) 单一深度追踪调节-聚散解决方案
US11132056B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US10319154B1 (en) Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects
KR101844883B1 (ko) 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US10397539B2 (en) Compensating 3D stereoscopic imagery
US20170365189A1 (en) Replicating effects of optical lenses
JP2020202569A (ja) 眼と異なるレンズの位置を補正する、実際のシーンを見るための仮想眼鏡セット
CN106773064B (zh) 影像画面的显示控制方法、装置及头戴式显示设备
JP2013106355A (ja) コリメートされたステレオディスプレイシステム
WO2019109323A1 (zh) 图像显示方法、穿戴式智能设备及存储介质
US20150356714A1 (en) System and method for using digital displays without optical correction devices
WO2018027015A1 (en) Single depth tracked accommodation-vergence solutions
Wetzstein Computational Near-Eye Displays: Engineering the Interface to the Digital World
KR102358240B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
KR102355017B1 (ko) 렌즈
Gurrieri Improvements in the visualization of stereoscopic 3D imagery
Jin et al. Comparison of Differences between Human Eye Imaging and HMD Imaging
CN112416493A (zh) 三维显示方法及眼部放松系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination