CN107076989B - 根据眼睛追踪的实时透镜像差校正 - Google Patents

根据眼睛追踪的实时透镜像差校正 Download PDF

Info

Publication number
CN107076989B
CN107076989B CN201580050268.9A CN201580050268A CN107076989B CN 107076989 B CN107076989 B CN 107076989B CN 201580050268 A CN201580050268 A CN 201580050268A CN 107076989 B CN107076989 B CN 107076989B
Authority
CN
China
Prior art keywords
eye
image
mounted display
head mounted
optics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580050268.9A
Other languages
English (en)
Other versions
CN107076989A (zh
Inventor
J.R.斯塔福德
E.拉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to CN202011474093.3A priority Critical patent/CN112578565B/zh
Publication of CN107076989A publication Critical patent/CN107076989A/zh
Application granted granted Critical
Publication of CN107076989B publication Critical patent/CN107076989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

系统和方法包括接收用于在头戴式显示器(HMD)的显示屏上呈现的图像。所述图像由应用程序提供。对所接收的图像进行预失真以使在HMD中提供的光学器件能够渲染所述图像。通过确定眼睛相对于所述HMD的所述光学器件中的至少一个透镜的光学轴线的位置来识别佩戴所述HMD的用户的所述眼睛的对准偏置。调整由所述应用程序提供的预失真图像以限定解决所述对准偏置的已校正的预失真图像。将所述已校正的预失真图像转发至所述HMD的所述显示屏以便进行渲染，使得通过所述HMD的所述光学器件呈现的所述图像移除由所述对准偏置引起的像差。

Description

根据眼睛追踪的实时透镜像差校正
优先权要求
本申请根据美国法典第35篇第119条款要求2014年9月30日提交的、题为“REALTIME LENS ABERRATION CORRECTION FROM EYE TRACKING”的美国临时专利申请号62/058,057的优先权，其公开内容以引用的方式并入本文。
相关申请的交叉引用
本申请涉及2014年2月21日提交并且题为“DIGITAL INTER-PUPILLARY DISTANCEADJUSTMENT”的美国申请号14/187,127，2014年3月25日提交的并且题为“SYSTEMS ANDMETHODS FOR CUSTOMIZING OPTICAL REPRESENTATION OF VIEWS PROVIDED BY A HEADMOUNTED DISPLAY BASED ON OPTICAL PRESCRIPTION OF A USER”的美国申请号14/225,408，以及2014年6月11日提交的英国专利申请号1410397.2，所述申请的内容以引用的方式整体并入本文。
技术领域
本发明涉及用于基于眼睛追踪来调整提供至头戴式显示器的图像的方法和系统。
背景技术
总的来说，视频游戏和计算机行业这些年已经发生了许多变化。随着计算能力的扩展，视频游戏/应用程序的开发者同样已经创建了利用这些增加的计算能力的游戏和其他软件。为此目的，视频游戏和应用程序开发者一直在编码并入有复杂操作和数学运算的游戏和应用程序，以产生非常逼真的游戏/应用程序体验。
计算机游戏行业的发展趋势在于开发增加用户与计算系统之间的交互的游戏、游戏控制器和头戴式或头耦合式显示器(HMD)。游戏控制器例如包括实现更丰富的交互体验的特征，所述特征通过允许游戏系统追踪玩家的变化的移动且使用这些移动作为在所述游戏系统上执行的游戏的输入。所述头戴式显示器包括处于用户的一只或两只眼睛前面的光学器件和显示屏，以便提供应用程序(诸如游戏应用程序)的清晰的三维图像。
为了节约成本，低成本透镜光学器件被用于HMD。然而，这些光学器件产生像差(几何的和/或色彩的)，所述像差导致使用户观看到的图像质量退化。
正是在这种情况下，本发明的实施方案应运而生。
发明内容
本发明的实施方案提供用于如本文所述提供实时透镜像差校正的系统和方法。
广义上说，本发明的各种实施方案公开了用于调整由应用程序(诸如游戏应用程序)提供给头戴式显示器(HMD)的图像以便提高在HMD的显示屏上渲染并且由佩戴HMD的用户观看的图像的质量的系统和方法。HMD包括使呈现在HMD的屏幕上以用于近眼观看的图像不失真的透镜/光学器件。然而，用户通过光学器件观看到的图像可能由于由用户眼睛与在HMD中提供的光学器件透镜的光学轴线的错误对准引起的像差(诸如色彩像差和/或几何像差)而具有较低质量。为了提供高质量图像，由应用程序提供的图像需要进一步被调整以便最小化或消除由用户眼睛的错误对准引起的任何失真。
为此目的，公开一种方法。所述方法包括接收用于在头戴式显示器(HMD)的显示屏上呈现的图像。所述图像由应用程序提供。对所接收的图像进行预失真以使在HMD中提供的光学器件能够渲染所述图像。通过确定眼睛相对于HMD的光学器件中的至少一个透镜的光学轴线的位置来识别佩戴HMD的用户眼睛的对准偏置。调整由应用程序提供的预失真图像以限定解决对准偏置的已校正的预失真图像。将所述已校正的预失真图像转发至HMD的显示屏以便进行渲染，使得通过HMD的光学器件呈现的图像移除由对准偏置引起的像差。
在一个实施方案中，识别用户两只眼睛的对准偏置。
在一个实施方案中，HMD的光学器件被配置来提供近眼聚焦。
在一个实施方案中，所述识别对准偏置还包括识别沿x方向的偏移、沿y方向的偏移、沿z方向的偏移、沿x和y方向的偏移、沿x和z方向的偏移、沿y和z方向的偏移或沿x-y-z方向的偏移中的一个。
在一个实施方案中，使用设置在HMD上的一个或多个内部传感器来捕获眼睛的位置。
在一个实施方案中，光学器件的透镜是球面透镜、非球面透镜、全息波导透镜或其任意组合中的一种。
在一个实施方案中，识别对准偏置和调整预失真图像由设置在HMD内的处理器执行，所述对准偏置通过当图像呈现在HMD的显示屏上时，基本实时追踪眼睛的位置来识别。
在一个实施方案中，识别对准偏置由设置在HMD内的处理器通过当图像呈现在HMD的显示屏上时，基本实时追踪眼睛的位置来执行并且调整预失真图像由通信地连接到HMD的计算装置的处理器执行。
在一个实施方案中，对准偏置通过首先确定在HMD中使用的光学器件透镜的形状和类型来识别。确定眼睛相对于在HMD中提供的光学器件透镜的光学轴线的位置。在确定之后，基于眼睛位置来选择一个或多个预限定失真映射图。所述失真映射图提供在显示屏的可见视野内的不同位置到对应的位移偏置的映射。所述选择通过三角剖分来确定。根据所选择的一个或多个预限定映射图使用位移偏置的线性插值来计算对准偏置。
在一个实施方案中，预限定失真映射图是针对在HMD中使用的光学器件的每种类型的透镜和针对用于呈现图像的每种主要色谱限定的二维映射图。基于在HMD中使用的光学器件透镜的类型和基于需要被调整的每种色彩的主要色谱来选择所述预限定失真映射图。
在一个实施方案中，预限定失真映射图中的每一个与可见视野的特定象限或覆盖可见视野的中心的区域相关联。
在一个实施方案中，公开一种方法。所述方法包括识别佩戴头戴式显示器的用户眼睛的对准偏置。通过确定眼睛相对于在HMD中提供的光学器件中的至少一个透镜的光学轴线的位置来识别对准偏置。调整由应用程序提供以便在HMD的显示屏上进行渲染的媒体内容的预失真图像。所述调整导致生成解决对准偏置的已校正的预失真图像。发送所述已校正的预失真图像以便在HMD的显示屏上进行渲染，使得通过光学器件呈现的图像移除由对准偏置引起的像差。
在一个实施方案中，识别对准偏置、调整预失真图像以及发送已校正的预失真图像的操作在帧速率下操作，在所述帧速率下来自图像的媒体内容在HMD处被渲染。
结合附图来阅读以下详细描述，本发明的其他方面将变得显而易见，以下详细描述通过实例方式来说明本发明的原理。
附图说明
本发明的各种实施方案可通过参考以下结合附图进行的描述来最好地理解，附图中：
图1示出根据本发明的一些实施方案的佩戴HMD的用户和确定佩戴HMD的用户眼睛的不同对准偏置的示例性顶视图。
图2示出根据本发明的一些实施方案的基于由设置在HMD中的摄像机捕获的图像信息来识别参考用户的一只或两只眼睛的对准偏置的示例性视图。
图3A-3B示出根据本发明的一些实施方案的基于如使用设置在HMD中的摄像机确定的佩戴HMD的用户眼睛的方向和视线来识别对准偏置的示例性侧视图。
图4A-4C示出根据本发明的一些实施方案的当佩戴HMD的用户将其眼睛向右和向左(如使用设置在HMD中的摄像机确定的)移动时识别对准偏置的示例性顶视图。
图5A-5I示出根据本发明的不同实施方案的用于确定佩戴HMD的用户眼睛的对准偏置的示例性摄像机和/或传感器位置。
图6A-6B示出根据本发明的一个实施方案的用于确定佩戴HMD的用户眼睛的对准偏置的示例性系统架构。
图7示出根据本发明的实施方案的用于确定用户眼睛的对准偏置和调整从应用程序接收的预失真图像的图像失真处理模块的框图。
图8示出根据本发明的实施方案的用于向预失真图像提供校正的方法的示例性流程操作。
图9示出根据本发明的替代性实施方案的用于向预失真图像提供校正的方法的示例性流程操作。
图10示出在本发明的一个实施方案中的游戏模块的整体系统架构。
图11示出根据本发明的实施方案的游戏系统的框图。
具体实施方式
描述用于确定对准偏置并且使用对准偏置来调整从应用程序接收的图像的系统和方法。在计算装置/控制台或游戏云上执行的应用程序(诸如游戏应用程序)致使游戏交互场景的图像传输至头戴式显示器(HMD)以便在HMD的显示屏上进行渲染。对所传输的图像进行预失真。所述预失真图像由HMD的光学器件处理以供近眼观看，使得当通过光学器件的透镜观看图像时，所述图像焦点对准。应用于图像的预失真的量取决于眼睛距在HMD中提供的光学器件的透镜的距离。另外，为了提供清晰的图像，用户眼睛的对准必须与在HMD中提供的光学器件的至少一个透镜的光学轴线匹配。佩戴HMD的用户的眼睛可能不能完全与在HMD中提供的光学轴线对准。因此，呈现给显示屏并且通过光学器件观看的图像可包括像差(几何的和/或色彩的)，所述像差可降低在HMD的显示屏上渲染的图像的质量。为了提供更高质量的图像，从应用程序接收的预失真图像需要进一步被调整以解决用户眼睛相对于光学轴线(即，光学轴线)中检测到的任何错误对准。当经调整的预失真图像由HMD的光学器件处理时，通过光学器件观看到的图像是清晰的并且基本没有由用户眼睛的错误对准引起的任何像差。
可使用简单形式的眼睛追踪来确定对准偏置。在一个实施方案中，可使用HMD中的硬件(诸如图像感测装置和/或深度感测装置)和HMD内或通信地连接到HMD的计算装置中的软件的组合执行眼睛追踪。对于关于眼睛追踪的更多信息，可以参考2013年6月11日提交的英国申请号1310368.4和2013年8月21日提交的英国申请号1314975.2，所述申请的内容以引用的方式整体并入本文。眼睛追踪追踪佩戴HMD的用户的眼睛相对于设置在眼睛前面的透镜的光学轴线的位置。使用眼睛距光学轴线的相对位置，可基本实时计算更多准确的像差校正以便为佩戴HMD的用户传递最好的图像质量。在一个实施方案中，HMD可用于呈现虚拟现实(VR)图像或增强现实(AR)图像。因此，可将本文描述的各种实施方案应用到通过HMD的光学器件观看的VR图像和AR图像两者。对预失真图像提供另外的调整的方法可用于在HMD中提供的不同类型和形状的光学器件，包括球面透镜、非球面透镜或全息波导透镜，在这些透镜中由于透镜的衍射本质，色彩像差是共有的。
在一个实施方案中，眼睛追踪和像差校正的过程可使用本文提供的处理器或客户电子装置在HMD本身上执行。在替代性实施方案中，所述过程可由通信地连接到HMD的计算装置执行，其中所述计算装置可以是游戏控制台、设置在局域网、广域网、个人区域网、其他网络内或云上的服务器装置。在对本发明作出简要概括的情况下，现将参考各个附图描述不同实施方案。
图1示出在一个实施方案中佩戴HMD的用户和基于用户眼睛相对于在HMD中提供的光学器件的透镜的光学轴线的位置识别的不同对准偏移的示例性顶视图。头戴式显示器(HMD)100包括限定在其上渲染图像数据内容105的可见视野的显示面板或显示屏104。图像数据内容105可由在HMD的处理器或通信地连接到HMD的计算装置上执行的应用程序提供。在一个实施方案中，计算装置可以是独立式计算机或控制台(诸如游戏控制台)，或可以是网络(诸如广域网、局域网、个人区域网、局部内联网、城域网、虚拟专用网)或通过互联网访问的服务器、云上的虚拟服务器等的一部分。网络列表是示例性的并且不应视为限制性的或穷举的。
光学器件102设置在显示屏104与用户的每只眼睛之间(如在一个实施方案中所示)，并且用来处理图像以供“近眼”聚焦。所述近眼聚焦例如是当光学器件靠近眼睛设置时，被配置来将媒体内容的图像聚焦到显示屏上，使得当所述图像由人眼睛观看时，似乎看起来是处于远的焦距处(例如，至少3m+距离或在一些情况下在无限远处)。在替代性实施方案中，光学器件可仅设置在一只眼睛(右眼或左眼)的前面。光学器件使用透镜限定并且可包括球面透镜、非球面透镜、全息波导透镜等。上述类型的光学器件是示例性的并且也可使用其他类型的光学器件，只要它们能够处理媒体内容以用于近眼聚焦或以用于渲染媒体内容以便由人眼睛清晰地观看。
一个或多个摄像机或传感器106设置在HMD内并且用来确定用户眼睛相对于光学轴线102a的对准偏置。传感器可以是深度感测装置或图像感测装置中的一个。深度感测装置可包括深度传感器摄像机、立体三维摄像机、深度传感器、视频摄像机或其任意组合。图像感测装置包括红外线摄像机、数字摄像机、紫外线摄像机、雷达装置、激光装置、单一透镜摄像机或其组合。传感器106可用来捕获/获得与眼睛的位置有关的三维信息并且用于确定设置在HMD中的光学器件102的中心102a。在一个实施方案中，传感器106可用来确定用户眼睛的瞳间距离(IPD)，并且将其与光学器件的IPD进行比较来确定对准是否存在偏移并且如果存在，那么在哪个方向偏移并且偏移多少。在替代性实施方案中，通过使用虚拟线并且确定是否存在偏移并且如果存在，那么在哪个方向偏移并且偏移多少来将佩戴HMD的用户眼睛的位置与设置在眼睛前面的光学中心进行比较。例如由传感器106捕获的图像可用来确定仅沿x方向的偏移(即，x偏置)、仅y方向的偏移(在图1中未示出)、仅沿z方向的偏移(即，z偏置)等。在图1中示出的实施方案中，当用户的眼睛(由虚线所示)相对于光学轴线(由实线所示)向左偏移时，沿x方向的偏移被示出为负值。如果用户的眼睛与光学轴线正确地对准，那么沿x方向的偏移将为零并且如果用户的眼睛相对于光学轴线向右偏移，那么沿x方向的偏移将为正值。
图2示出在一个实施方案中参考用户的眼睛相对于光学轴线的位置检测的对准偏置的示例性视图。设置在HMD中的摄像机/传感器能够捕获与用户的眼睛相对于设置在HMD中的光学器件的透镜的光学轴线的位置相关联的三维信息。所述三维信息用来确定用户的眼睛相对于光学轴线的对准偏置。在一个实施方案中，基于由摄像机/传感器106提供的信息，将所述对准偏置作为一组笛卡尔坐标进行计算。在图2中示出的实施方案中，针对右眼的对准偏置在根据HMD的光学器件透镜的光学轴线进行计算时等于(+x1，-y1，+z2)并且针对左眼的对准偏置是(+x1，-y1，+z1)。在这个实施方案中，当x坐标和y坐标匹配但z坐标不同时，与右眼相关联的偏置同与左眼相关联的偏置不同。在一个实施方案中，x坐标和y坐标被认为限定眼睛偏移并且z坐标被认为限定眼睛间隙(eye-relief)。通过确定眼睛偏移和眼睛间隙，可确定针对光学器件的最佳失真调整并且将其应用到图像使得当所述图像通过HMD的光学器件被观看时是清晰的。两只眼睛的对准偏置的差异可归因于HMD在用户的头上如何保持平衡或定位。例如，可基于用户头的形状或舒适程度等来定位HMD。例如，如果用户佩戴处方眼镜，那么HMD可必须定位在眼镜上方，从而引起沿z方向的偏移(眼睛间隙)的变化。在另一个实施方案中，右眼和左眼相对于光学轴线的对准偏置可以相同。在图2中示出的实施方案中，可监测沿x方向的偏移、沿y方向的偏移和沿z方向的偏移。
图3A和图3B示出在另一个实施方案中佩戴HMD的用户的示例性侧视图，其中摄像机/传感器106用来检测对准偏置。在图3A中示出的实施方案中，用户向正前方看但用户的眼睛不与光学轴线对准。摄像机/传感器106捕获沿y方向的偏移(-y1)，如由沿y轴线的偏移所示。负号指示用户的眼睛在光学轴线下方对准。在一个实施方案中，透镜的光学轴线被认为是透镜的中心点，其中(x、y、z)坐标全部集中于一点。因此，光学轴线的(x、y、z)坐标可具有值(0、0、0)。当从眼睛绘制的虚拟线到达通过光学器件的中心绘制的虚拟线的左边时，x坐标被认为具有沿负x方向的偏移，并且当其在右边时，x坐标被认为具有沿正x方向的偏移。类似地，当从眼睛的中心绘制的线在通过光学器件中心的线的上方时，y坐标被认为具有沿正y方向的偏移，并且当其在下方时，y坐标被认为具有沿负y方向的偏移，如由图3A中(-y1)所示出。基于眼球距光学器件中心的接近程度来计算沿z方向的偏移。例如，如果HMD不同地定位在用户的每只眼睛上方，那么可能存在相对于左眼和右眼不同的沿z方向的偏移。在图3A中示出的实施方案中，对于两只眼睛，z坐标被计算成等于z1。
图3B示出其中用户的眼睛位置已经改变并且用户向下看的实施方案。在这个实施方案中，摄像机/传感器106在y坐标中在与图3A中识别的沿y方向的偏移相同的方向上(即，向下)捕获另外的偏移(δy)。在这个实施方案中，基于沿y方向的偏移的y偏置被计算成(-y1+-δy)。另一方面，如果沿y方向的偏移在与在图3A中识别的沿y方向的偏移相反的方向上，那么y偏置将被计算成(-y1+δy)。在这个实施方案中，如在图3A中示出的实施方案中，z在图3A和图3B中示出的实施方案中，仅监测沿y方向的偏移和沿z方向的偏移。坐标(z1)继续保持相同。
图4A-4C示出在另一个实施方案中对佩戴HMD的用户的对准偏置的计算。图4A示出基于用户的眼睛相对于光学轴线的位置计算的对准偏置。对准偏置可取决于用户的眼睛如何与光学轴线对齐在任何方向上被检测。在图4A中示出的实施方案中，由于x轴线上的正偏移，将对准偏置辨识成沿x轴线的偏置。图4B示出其中基于用户的眼睛沿x轴线向左移动约45°来计算对准偏置的实施方案。在这个实施方案中，当眼睛沿x轴线的偏移(δx)在与图4A中示出的初始眼睛位置相反方向上时，将对准偏置计算为(+x+-δx)。沿类似的线，图4C示出其中基于用户的眼睛沿x轴线向右移动约45°来计算对准偏置的实施方案。在这个实施方案中，当眼睛沿x轴线的偏移+δx在与参考图4A限定的初始眼睛位置相同的方向上时，将对准偏置计算为(+x+δx)。在图4A-4C中示出的各种实施方案中，基于由摄像机/传感器106捕获的信息来计算偏置。
图5A-5I示出识别HMD显示屏的可见视野周围的位置的不同实施方案，其中可将一个或多个摄像机/传感器设置成捕获用户眼睛相对于光学轴线的偏移。当然，摄像机/传感器是当用户佩戴HMD时朝向用户眼睛的面向内的摄像机/传感器，并且以如下方式设置：以便在对在HMD的显示屏上渲染的图像提供无阻碍观看的同时，捕获眼睛位置和注视方向相对于设置在HMD中的光学轴线的相对偏移。如前所提及，与如由所述一个或多个摄像机/传感器捕获的眼睛偏移相关联的信息用来计算用户眼睛关于光学器件中心的对准偏置。当使用多于一个摄像机/传感器时，将来自多个摄像机/传感器的信息混合/合并/平均以确定眼睛相对于光学器件的位置。在一些实施方案中，来自多个摄像机/传感器的信息使用线性插值进行组合以确定对准偏置。
在图5A示出的实施方案中，摄像机或传感器设置在矩形可见视野的每一侧上以确定相对于光学轴线的用户注视方向和眼睛位置。在本文中应注意，限定图5A-5I中示出的可见视野的形状(即，矩形形状)是示例性的并且不应被认为是限制性的。其他几何形状可被认为用于表示可见视野并且这类几何形状可取决于设置在HMD中的显示屏的形状/大小。另外，传感器被认为定位在每个区段的中心。可将传感器定位在沿每一侧的任意位置处，包括每一侧的特定端部等。
图5B示出其中一对摄像机/传感器用于确定相对于光学轴线的用户眼睛位置和注视方向的实施方案。在这个实施方案中，摄像机/传感器设置在可见视野的顶侧和底侧的中间。图5C示出另一个实施方案，其中摄像机/传感器仅设置在一侧上-可见视野底侧的中心。图5D示出图5B中示出的实施方案的替代性实施方案。在这个实施方案中，替代摄像机/传感器设置在可见视野底侧/顶侧的中心，摄像机/传感器设置在可见视野左侧和右侧的中心。在图5E中示出的替代性实施方案中，摄像机/传感器仅可设置在可见视野的右/左外侧，或如图5F的实施方案中所示可见视野的右/左内侧。在图5G的另一个替代性实施方案中，摄像机/传感器可设置在呈现在每只眼睛前面的可见视野的仅右侧的中间。在图5H中示出的示例性实施方案中，一个摄像机/传感器可设置在限定在一只眼睛前面的可见视野的一侧(例如，顶侧)上，并且另一个摄像机可设置在限定在另一只眼睛前面的可见视野的相反侧上。
在图5I中示出的替代性实施方案中，摄像机/传感器可设置在限定在一只眼睛前面的可见视野的周围，并且所述信息可用来将任何调整应用到为两只眼睛呈现的预失真图像。在这个实施方案中，追踪与仅一只眼睛有关的移动并且所述信息用于在将预失真图像发送至HMD以用于在两只眼睛前面进行渲染之前对所述图像执行另外的调整。在替代性实施方案中，在每只眼睛前面的摄像机/传感器可用来确定每只眼睛的相对移动，确定用户在一侧上是否表现出懒惰眼或左眼的移动是否反映右眼的移动。基于所述确定，可仅追踪一只眼睛(例如，正在移动的眼睛，具有懒惰眼的用户)来确定是否需要对预失真图像作出另外的调整并且将所述另外的调整应用到在两只眼睛前面呈现的图像。如可见，摄像机/传感器可以任何配置设置在可见视野的任一侧，并且由摄像机捕获的信息用来确定对准偏置并且基于所计算的对准偏置对在设置在一只或两只眼睛前面的显示屏中渲染的图像执行任何调整。
图6A示出用于在图像被处理并且由HMD的光学器件渲染之前调整预失真图像的示例性系统。所述调整是为了解决可归因于用户的眼睛与光学轴线的错误对准而呈现的任何像差。所述系统识别被接合以对内容的预失真图像提供调整的多个模块。在图6A中示出的一个实施方案中，所述系统包括HMD 100和通信地连接到HMD的计算装置200。如前所提及，所述计算装置可以是网络或独立式计算机或控制台的一部分。计算装置200与HMD 100之间的连接可以是通过有线或无线的连接。
HMD 100可被配置来接收和渲染由应用程序提供的内容以供用户消耗。为此目的，HMD 100包括显示屏104，所述显示屏104用来渲染由应用程序提供的图像内容；以及光学器件102，所述光学器件102用于处理在显示屏上提供的图像内容以用于近眼聚焦，以便允许佩戴HMD的用户清晰地观看所述图像内容。光学器件102设置在显示屏104与用户的眼睛之间。在一个实施方案中，对转发至HMD的显示屏的图像进行预失真，使得当通过光学器件102呈现并观看所述图像时，所述图像显现得清楚和清晰的。
HMD 100也被配置来捕获信息(诸如用户的眼睛对准信息等)并且将所述信息提供给计算装置200以允许所述计算装置使用所述信息并且计算用户的眼睛相对于光学轴线的对准偏置(如果有的话)。为此目的，HMD包括一个或多个摄像机/传感器以捕获关于用户的眼睛相对于在HMD中提供的光学轴线102的对准的信息。所捕获的信息(在图6A中由气泡1和2表示)由摄像机/传感器传输至计算装置200以供处理。
计算装置200包括用于处理由HMD提供的信息并且用于提供预失真图像内容以便在HMD的显示屏上进行渲染的多个模块。示例性模块中的一些包括内容执行模块202、图像渲染逻辑204、图像内容数据模块206、眼睛位置传感器208和光学器件失真处理模块210。内容执行模块202响应于用户输入300而被启用。用户输入300可以是对用于执行的应用程序的选择，并且内容执行模块202检测应用程序的用户选择并且执行所选择的应用程序。将来自执行的应用程序的内容(包括图像内容)提供给图像渲染逻辑204。图像渲染逻辑模块204确定在HMD中使用的光学器件的类型和需要被应用到图像的失真的量，使得当所述图像在HMD处呈现时，光学器件将对用于近眼聚焦的图像提供必要的校正。针对特定光学器件的失真数据信息用来将失真应用到图像内容数据，并且将预失真的图像内容数据传输至图像内容数据模块206，在所述图像内容数据模块206中存储所述预失真的图像内容数据并且从所述图像内容数据模块206检索所述预失真的图像内容数据以供进一步处理。光学器件失真处理模块210从图像内容数据模块206检索所述预失真的图像内容数据，从眼睛位置传感器模块208接收眼睛位置数据，确定与用户的眼睛位置相关联的对准偏置，基于在HMD中使用的光学器件来确定需要被应用到所述预失真的图像内容数据的另外的失真，并且应用所述另外的失真以生成已校正的、预失真的图像数据110，所述已校正的、预失真的图像数据110被呈现给HMD以便在HMD的显示屏104上进行渲染。确定眼睛位置、计算眼睛位置相对于光学轴线的对准偏置以及向预失真图像提供调整的过程可使用与连接到HMD、控制台(例如，游戏控制台)、移动电话/装置等的计算机相关联的电路、DSP(数字信号处理)、软件或其组合执行。
在一个实施方案中，可连续执行确定相对于HMD的光学轴线的眼睛位置以及基于所述眼睛位置调整预失真图像数据的过程，只要用户佩戴着HMD和只要应用程序正在执行。在这个实施方案中，连续地追踪眼睛的位置以确定新的眼睛位置或以验证先前限定的眼睛位置，对预失真图像作出调整，并且将已校正的预失真图像以帧速率发送至显示屏，在所述帧速率下媒体内容在HMD的显示屏上进行渲染。在另一个实施方案中，眼睛追踪和失真应用程序过程可作为应用程序的初始化步骤或作为HMD的校准步骤，在图像内容数据在HMD上进行渲染之前被执行一次，并且无论何时在HMD处检测到眼睛位置的变化都重复进行。
在一个实施方案中，对准偏置通过追踪眼睛位置仅沿x轴线的偏移来计算。在另一个实施方案中，对准偏置通过追踪眼睛位置仅沿y轴线的偏移来计算。在又一个实施方案中，追踪仅沿z轴线的眼睛位置偏移。在另一个实施方案中，追踪仅沿x轴线和y轴线的眼睛位置偏移。在另一个实施方案中，追踪仅沿x轴线和z轴线的眼睛位置偏移。在另一个实施方案中，追踪仅沿y轴线和z轴线的眼睛位置偏移。在一个实施方案中，追踪沿x轴线、y轴线和z轴线的眼睛位置偏移。如从各种实施方案可见，可追踪不同轴线偏移并且调整图像以在HMD处提供清晰的图像视图。需要作出调整的量取决于在光学器件中使用的透镜的类型。如何将另外的失真应用到图像的另外的信息将参考图7进一步进行解释。
在图6A中示出的实施方案中，将另外的失真应用到预失真图像的过程在其中设置不同模块的计算装置200上执行。使用计算装置来处理眼睛位置数据和应用另外的失真可致使在HMD处渲染图像产生等待时间并且可取决于所使用的通信链路。
图6B示出图像处理的一部分在HMD处执行的实施方案。在HMD处处理可被进行来解决等待时间并且以快速且有效的方式在HMD处提供高质量图像。在这个实施方案中，替代计算装置200，在HMD 100中提供眼睛位置传感器模块208’和光学器件失真处理模块210’。眼睛位置传感器模块208’和光学器件失真处理模块210’的功能类似于在图6A中论述的计算装置中提供的那些。当对准偏置在眼睛位置传感器模块208’内进行本地地计算和预失真图像内容数据在其呈现在HMD的显示屏上并且通过光学器件观看之前由光学器件失真处理模块210’本地地调整时，通过替代计算装置，在HMD内提供眼睛位置传感器模块208’和光学器件失真处理模块210’，对另外的失真的应用和对图像内容数据的渲染更快。
图7示出由光学器件失真处理模块210生成调整的、失真的图像数据110的过程。所述过程以使用一个或多个摄像机或传感器106检测用户眼睛的位置开始。用户的眼睛位置可响应于用户佩戴和/或激活HMD、响应于作为HMD或应用程序的初始化步骤的一部分而激活所述应用程序等而被检测。眼睛位置可基于眼睛相对于光学轴线的相对位置进行确定。为了简单和更快确定眼睛相对于光学轴线的相对位置，将显示屏的可见视野划分成限定数量的区并且确定眼睛相对于所述限定区的相对位置。在图7中示出的一个实施方案中，将视野划分成由气泡1-4表示的四个象限和由气泡5表示的中心区域。象限中的每一个覆盖在可见视野内的眼睛位置可在特定方向上偏移的最远点。区和覆盖所述区的区域的数量是示例性的并且更少或更多的区可被限定以便更精确地识别眼睛位置。眼睛位置传感器(例如，深度传感器、图像传感器、摄像机等)捕获相对于设置在HMD内的光学轴线的眼睛位置数据并且将这一类信息提供给处于光学器件失真处理模块210内的位置识别模块210a。
在一个实施方案中，位置识别模块210a使用由眼睛位置传感器106提供的信息并且使用来自所述一个或多个区的数据确定眼睛相对于光学轴线的位置。将来自位置识别模块210a的信息提供给失真映射图生成器模块210b。失真映射图生成器模块210b使用来自位置传感器模块210a的位置数据信息，获得与在HMD中使用的光学器件的类型和形状有关的信息，并且识别一个或多个预限定/预计算的二维(2D)失真映射图以精确地映射眼睛位置的位移并且确定失真校正。2D失真映射图已经基于对在HMD中使用的每种类型和形状的光学器件和对HMD视野中的每个位置进行光学模拟来进行预限定。在图7中示出的实施方案中，眼睛位置可通过使用来自象限3、4和中心区5的数据进行确定。在另一个实施方案中，眼睛位置可通过使用来自所有区(例如，象限1-4和中心区5)的数据进行确定。在又一个实施方案中，眼睛位置可使用来自象限2-4和中心区5的数据进行确定。在一些其他实施方案中，眼睛位置可使用仅来自一个区(象限3、4或中心区5)的数据进行确定。不考虑用来确定眼睛位置的区的数量，失真映射图生成器模块210b识别预计算/预限定的二维(2D)映射图中的一个或多个，并且使用所识别的映射图来精确地确定需要被应用到图像内容数据206的失真校正。
为了识别适当的映射图，失真映射图生成器模块210b首先确定在HMD的光学器件中使用的透镜的形状和类型。由于光学器件中透镜的类型和形状以及用户眼睛位置的对准偏置，存在可包括在渲染图像中的不同形式的像差。例如，当使用球面透镜时，像差实质上可以是径向的。当使用非球面透镜时，像差可以是几何的、直线的、色彩的或其任意组合。当使用全息波导透镜时，像差实质上可以是色彩的。当与图像相关联的红色光谱、绿色光谱、蓝色光谱中的一个或多个发生偏移并且不聚焦在同一点时，可引起色彩像差。基于在HMD中使用的光学器件，这类像差需要通过应用另外的调整进行校正以向用户提供高质量图像。因此，被识别的2D映射图基于选择用于HMD的光学器件的类型和形状。
对于每种形状和类型的光学器件，针对在渲染图像中使用的主要光谱色中的每一种限定不同的2D映射图模型。这些模型限定需要被应用用于图像中的每种主要光谱色的失真的量。例如，如果光学器件使用非球面透镜，那么识别针对与所述非球面透镜相关联的每种色彩的2D映射图。类似地，如果光学器件使用球面透镜或全息波导透镜，那么识别针对每种色彩的球面透镜或全息波导透镜的适当的2D映射图。可针对不同大小和形状的每种类型的光学器件限定另外的2D映射图。因此，可基于光学器件的大小和形状来识别针对在HMD中使用的特定类型的光学器件的2D映射图中的特定的一些。
将与光学器件的类型相关联的多个2D映射图进一步筛选成包括与由位置识别模块210a识别的特定区有关的2D映射图。一旦适当的2D映射图被识别，失真映射图生成器模块就对来自多个识别的2D映射图的数据执行线性插值以在进行中生成针对相对于眼睛位置限定的对准偏置的2D有效失真调整映射图。将来自新生成的有效失真调整映射图的数据提供给调整的失真处理模块210c(简单地被称为“调整器模块”)。调整器模块210c从应用程序接收图像内容数据作为输入。对在调整器模块210c处接收的这一类图像内容数据进行预失真，使得当图像呈现在HMD处时，光学器件将校正所述失真以便在近眼聚焦时向用户呈现更清晰的图像。所述调整器模块对预失真图像执行另外的调整以基于在新生成的有效失真调整映射图中提供的数据生成已校正的预失真图像110。将所述已校正的预失真图像数据110转发至HMD的显示屏104以供渲染。当将已校正的预失真图像数据110提供给HMD时，HMD上的光学器件处理用于近眼聚焦的图像以允许用户观看所述图像。所呈现的图像移除由对准偏置引起的像差并且具有更高质量。
本发明的实施方案可用来预测用户眼睛的移动并且基于所述预测调整图像数据内容。例如，可能存在活动(诸如地雷爆炸、闪电袭击、火山喷发、接收到的新电子邮件、接收到的社交馈给更新等)作为执行应用程序的一部分并且在可见视野的一端处呈现的图像可捕获所述活动。通常，这类活动将用户的注意力和用户的眼睛偏移吸引至这一类位置以观看所述活动。基于这种预测，可在进行中生成新映射图并且可基本实时执行对预失真图像的调整。在一个实施方案中，仅确定眼睛位置的沿x方向的偏移，针对沿x方向的偏移生成新映射图并且根据沿x方向的偏移作出调整。在其他实施方案中，确定仅沿y方向的偏移、仅沿z方向的偏移、仅沿x和y方向的偏移、仅沿x和z方向的偏移、仅沿y和z方向的偏移或沿x、y和z方向的偏移并且根据所检测的偏移生成新映射图并且根据所检测的轴线偏移作出调整。通过预测用户的眼睛移动，可将等待时间最小化。在一些实施方案中，对用户眼睛移动的预测取决于被渲染的内容。
图8示出用来调整在头戴式显示器处接收的图像的方法的各种方法操作。所述方法在操作810处开始，其中接收用于在头戴式显示器的显示屏上呈现的图像。在一个实施方案中，所述图像由在通信地连接到HMD的计算装置上执行的应用程序提供，其中所述计算装置可以是独立式计算机或联网式计算装置。在由应用程序提供的图像呈现在HMD的显示屏上之前对所述图像进行预失真，使得所述图像在通过HMD中提供的光学器件观看时被呈现用于近眼聚焦。如操作820中所示，识别佩戴HMD的用户眼睛的对准偏置。所述对准偏置通过确定眼睛相对于在HMD中提供的光学器件中的至少一个透镜的光学轴线的位置来识别。对由应用程序提供的预失真图像进行调整以解决对准偏置，如在操作830中所示。所述调整致使生成已校正的预失真图像。将所述已校正的预失真图像转发至HMD以用于在显示屏上进行渲染，如在操作840中所示。所述已校正的预失真图像在通过光学器件观看时是清晰的并且不具有由对准偏置引起的像差。
图9示出在替代性实施方案中方法的流程图。所述方法在操作910处开始，其中识别佩戴HMD的用户眼睛的对准偏置。所述对准偏置通过确定眼睛相对于在HMD中提供的光学器件中的至少一个透镜的光学轴线的位置来识别。调整由应用程序提供以便在HMD的显示屏上进行渲染的媒体内容的预失真图像，如在操作920中所示。所述调整导致生成考虑对准偏置的已校正的预失真图像。将所述已校正的预失真图像发送至HMD以用于在显示屏上进行渲染，如在操作930中所示。通过HMD的光学器件呈现的图像不具有由对准偏置引起的任何像差。
应注意，需要设定或限定用户的相对于光学器件的眼睛位置以使用户能够更好地观看在HMD的显示屏上渲染的内容。例如，这可包括当用户追随显示屏上的对象时追踪用户眼睛移动。因此，使用线性插值和失真调整检测眼睛位置的频率取决于在用户的眼睛位置中检测到的变化的量并且在一些实施方案中基于帧速率执行，在所述帧速率下图像在显示屏上被刷新(即，屏幕刷新速率)。在其他实施方案中，所述调整可在屏幕刷新速率的一半或一小部分处进行。
图10示出可用来实现本发明的实施方案的硬件和用户接口。图10示意性地示出
Figure BDA0001248194860000191
Playstation
Figure BDA0001248194860000192
娱乐装置的整体系统架构。PlayStation的其他版本可包括更多或更少的特征。提供系统单元1300，其中各种外围装置可连接到系统单元1300。系统单元1300包括：Cell处理器1302；
Figure BDA0001248194860000193
动态随机存取存储器(XDRAM)单元1304；具有专用视频随机存取存储器(VRAM)单元1308的现实合成器图形单元1306；以及I/O桥1310。系统单元1300还包括用于从磁盘1312a读取的Blu
Figure BDA0001248194860000194
盘BD-
Figure BDA0001248194860000195
光盘读取器1312和可移除插槽式硬盘驱动器(HDD)1314，所述Blu
Figure BDA0001248194860000196
盘BD-
Figure BDA0001248194860000197
光盘读取器和可移除插槽式硬盘驱动器可通过I/O桥1310存取。任选地，系统单元1300还包括用于读取压缩闪存卡、Memory
Figure BDA0001248194860000198
存储卡等的存储卡读卡器1301，所述存储卡读卡器类似地可以通过I/O桥1310存取。
I/O桥1310还连接到六个通用串行总线(USB)2.0端口1316；千兆以太网端口1318；IEEE 802.11b/g无线网络(Wi-Fi)端口1320以及能够支持达七个蓝牙连接的
Figure BDA0001248194860000199
无线链接端口1322。
在操作中，I/O桥1310处置所有无线、USB和以太网数据，包括来自一个或多个游戏控制器110和1324的数据。例如，当用户正在玩游戏时，I/O桥1310经由蓝牙链接接收来自游戏控制器110和1324的数据并将其引导到Cell处理器1302，所述Cell处理器相应地更新游戏的当前状态。
无线、USB和以太网端口还提供用于除游戏控制器110和1324之外的其他外围装置的连接性，诸如：遥控器1326；键盘1328；鼠标1330；诸如Sony
Figure BDA0001248194860000201
娱乐装置的便携式娱乐装置1332；诸如
Figure BDA0001248194860000202
Eye Camera的视频摄像机1334；形状对象1336；以及麦克风1338。因此，此类外围装置原则上可无线连接到系统单元1300；例如，便携式娱乐装置1332可通过Wi-Fi对等式连接通信，而形状对象1336可经由蓝牙链接通信。
提供这些接口意味着PlayStation 3装置潜在地也与其他外围装置兼容，所述其他外围装置如数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、互联网协议(IP)语音电话、移动电话、打印机以及扫描仪。另外，传统存储卡读卡器1340可通过USB端口1316连接到系统单元，从而使得能够读取由
Figure BDA0001248194860000203
或PlayStation
Figure BDA0001248194860000204
装置使用的类型的存储卡。
游戏控制器110和1324可操作来通过蓝牙链接与系统单元1300进行无线通信，或连接至USB端口，从而还提供了藉以为游戏控制器110和1324的蓄电池充电的电力。游戏控制器110和1324也可包括存储器、处理器、存储器读卡机、永久性存储器(诸如闪存存储器)、光发射器(诸如照明的球形截面、发光二极管(LED)或红外光)、用于超声通信的麦克风和扬声器、声腔室、数字摄像机、内部时钟、面向游戏控制台的可辨识的形状和使用协议(诸如
Figure BDA0001248194860000205
WiFiTM等)的无线通信。所述可辨识的形状可以基本是如下各种形状：球体、立方体、平行四边形、矩形的平行六面体、锥体、棱锥体、英式足球、足球或橄榄球、不完全球体、球体截面、截头棱锥、截头椎体、棒球球棒、截头立方体、多面体、星形等或这些形状中的两种或更多种的组合。
游戏控制器1324被设计来供两只手使用，并且游戏控制器110是具有球形附件的单手控制器。除一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器对三维位置确定敏感。因此，除常规的按钮或操纵杆命令之外或取而代之，游戏控制器的用户的示意动作和移动可转换为游戏的输入。任选地，诸如Sony
Figure BDA0001248194860000211
便携式装置的其他支持无线的外围装置可用作控制器。在Sony
Figure BDA0001248194860000212
便携式装置的情况下，可在装置的屏幕上提供额外的游戏或控制信息(例如，控制指令或生命数目)。还可使用其他替代性或补充性控制装置，诸如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制的控制器，诸如用于快速反应问答游戏的单个或若干大按钮(也未示出)。
遥控器1326也可操作来通过蓝牙链接与系统单元1300无线通信。遥控器1326包括适于Blu RayTM盘BD-ROM读取器1312的操作并且适于导览光盘内容的控制件。
除了常规预刻录CD和可刻录CD以及所谓的超级音频CD之外，Blu RayTM盘BD-ROM阅读器1312可操作来读取与PlayStation和PlayStation 2装置兼容的CD-ROM。除了常规预刻录DVD和可刻录DVD之外，阅读器1312也可操作来读取与PlayStation 2和PlayStation 3装置兼容的DVD-ROM。阅读器1312进一步可操作来读取与PlayStation 3装置兼容的BD-ROM，以及常规的预刻录蓝光光盘和可刻录蓝光光盘。
系统单元1300可操作来通过音频和视频连接器将由PlayStation3装置通过现实合成器图形单元(RSX)1306产生或解码的音频和视频提供到显示器和声音输出装置1342，诸如具有显示器1346和一个或多个扬声器1348或独立扬声器1350的监视器或电视机。在一个实施方案中，利用语音和注视输入来根据用户的POG来朝向特定音频扬声器播放声音。音频连接器1358可包括常规的模拟和数字输出，而视频连接器1360可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可呈如PAL或NTSC的格式，或呈720p、1080i或1080p的高清晰度。
音频处理(产生、解码等)由Cell处理器1302执行。PlayStation 3装置的操作系统支持
Figure BDA0001248194860000221
5.1环绕声、
Figure BDA0001248194860000222
剧场环绕(DTS)和来自Blu-
Figure BDA0001248194860000223
光盘的7.1环绕声的解码。
在本实施方案中，视频摄像机1334包括单个电荷耦合装置(CCD)、LED指示器以及基于硬件的实时数据压缩和编码设备，以使得可以诸如基于帧内图像的MPEG(运动图片专家组)标准的适当格式来传输压缩后的视频数据，以用于由系统单元1300解码。摄像机LED指示器被布置来响应于来自系统单元1300的适当控制数据而照射，例如以便表明不利的照明条件。视频摄像机1334的实施方案可通过USB、蓝牙或者Wi-Fi通信端口以不同的方式连接到系统单元1300。视频摄像机的实施方案可包括一个或多个关联麦克风，并且也能够传输音频数据。在视频摄像机的实施方案中，CCD可具有适于高清晰度视频捕捉的分辨率。在使用中，视频摄像机所捕获的图像可例如并入游戏内或解释为游戏控制输入。在另一实施方案中，摄像机为适于检测红外光的红外摄像机。
一般来说，为了经由系统单元1300的通信端口中的一个与诸如视频摄像机或遥控器的外围装置进行成功的数据通信，应提供诸如装置驱动程序的适当软件片段。装置驱动程序技术是众所周知的并且在此将不详细描述，只是说本领域技术人员应意识到，在所描述的本发明的实施方案中可能需要装置驱动程序或类似的软件接口。
图11为根据本发明的各种实施方案的游戏系统1100的框图。游戏系统1100被配置来通过网络1115将视频流提供到一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和任选的游戏服务器1125。视频服务器系统1120被配置来以最低的服务质量向一个或多个客户端1110提供视频流。例如，视频服务器系统1120可接收改变视频游戏的状态或所述视频游戏内的视角的游戏命令，并且以最小的滞后时间给客户端1110提供反映这种状态变化的更新后的视频流。视频服务器系统1120可被配置来以多种替代视频格式(包括还未定义的格式)提供视频流。此外，视频流可包括配置用于以多种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。但是本发明的替代实施方案中包括更高或更低的帧速率。
在本文中被单独称为1110A、1110B等的客户端1110可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线装置、数字垫、独立装置、手持式玩游戏装置和/或类似装置。通常，客户端1110被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频展示给用户，例如游戏玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1110成一体的显示器上或在诸如监视器或电视机等单独装置上将视频流展示给用户。客户端1110任选地被配置来支持一个以上的游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频流，或单个视频流可包括特别针对每个玩家而产生(例如，基于每个玩家的视角而产生)的帧的区。客户端1110任选地在地理上分散。游戏系统1100中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的设备。在一些实施方案中，玩游戏设备可以指多个计算装置，其协作来向用户传达游戏体验。例如，游戏控制台或HMD可与视频服务器系统1120合作来传达通过HMD观察的游戏。在一个实施方案中，游戏控制台从视频服务器系统1120接收视频流，并且游戏控制台将视频流或对视频流的更新转发给HMD以便进行渲染。
客户端1110被配置来通过网络1115接收视频流。网络1115可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在典型的实施方案中，通过诸如TCP/IP或UDP/IP的标准协议来通信视频流。或者，通过专有标准来通信视频流。
客户端1110的典型实例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及输入设备。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的，并且根据所使用的具体编码方案而变化。
客户端1110可(但不需要)还包括被配置来用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步渲染，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。例如，客户端1110可被配置来接收各种类型的视频帧，诸如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110的构件被配置来对视频流执行进一步渲染、阴影处理、转换成3-D或类似操作。客户端1110的构件任选地被配置来接收一个以上的音频或视频流。客户端1110的输入装置可包括：例如，单手游戏控制器、双手游戏控制器、示意动作辨别系统、注视辨别系统、语音辨别系统、键盘、操纵杆、定点装置、力反馈设备、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入装置，和/或类似装置。
客户端1110所接收的视频流(以及任选的音频流)是由视频服务器系统1120生成并提供的。如在本文其他地方进一步描述的，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如，在适当数据结构中它们包括像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用，术语“视频帧”用于指主要包括被配置来构成(例如实现)展示给用户的图像的信息的帧。本文中关于“视频帧”的大部分教义也可以适用于“音频帧”。
客户端1110通常被配置来从用户接收输入。这些输入可包括游戏命令，所述游戏命令被配置来改变视频游戏的状态或以其他方式影响游戏玩法。可以使用输入设备接收游戏命令，且/或可由在客户端1110上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络1115从客户端1110传达到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，将游戏命令通过视频服务器系统1120传达到游戏服务器1125。在一些实施方案中，将游戏命令的单独拷贝从客户端1110传达到游戏服务器1125和视频服务器系统1120。游戏命令的通信任选地取决于命令的身份。通过用来向客户端1110A提供音频或视频流的不同路线或通信信道，从客户端1110A任选地传达游戏命令。
游戏服务器1125任选地由不同于视频服务器系统1120的实体来操作。例如，游戏服务器1125可由多玩家游戏发行商来操作。在这个实例中，视频服务器系统1120任选地被游戏服务器1125视为客户端，并且任选地被配置来(从游戏服务器1125的角度看)表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信任选地通过网络1115发生。因此，游戏服务器1125可以是向多个客户端发送游戏状态信息的现有技术多玩家游戏服务器，所述客户端中的一个是视频服务器系统1120。视频服务器系统1120可被配置来同时与游戏服务器1125的多个实例通信。例如，视频服务器系统1120可被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1125支持且/或由不同实体发行。在一些实施方案中，视频服务器系统1120的一些地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1120的这些实例中的每一个可与游戏服务器1125的相同实例通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信任选地通过专用通信信道发生。例如，视频服务器系统1120可通过高带宽信道连接到游戏服务器1125，所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统1120至少包括：视频源1130、I/O装置1145、处理器1150，以及非暂时性存储器1155。视频服务器系统1120可包括一个计算装置或分布在多个计算设备当中。这些计算装置任选地通过诸如局域网的通信系统连接。
视频源1130被配置来提供视频流，例如，流式视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来：从玩家接收游戏命令，并且基于接收到的命令维持视频游戏的状态的拷贝。这个游戏状态包括游戏环境中的对象的定位，以及典型地视角。游戏状态还可以包括对象的性质、图像、色彩和/或结构。通常基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1125内。游戏服务器1125可基于使用地理上分散的客户端从多个玩家接收到的游戏命令来维持游戏状态的拷贝。在这些情况下，游戏服务器1125将游戏状态提供给视频源1130，其中存储游戏状态的拷贝并且执行渲染。游戏服务器1125可通过网络1115直接从客户端1110接收游戏命令，且/或可通过视频服务器系统1120接收游戏命令。
视频源1130通常包括渲染逻辑，例如被存储在计算机可读介质如存储器1155上的硬件、固件和/或软件。这个渲染逻辑被配置来基于游戏状态创建视频流的视频帧。所述渲染逻辑的全部或部分任选地安置在图形处理单元(GPU)内。渲染逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的结构等的处理级。渲染逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端1110。例如，可根据Adobe
Figure BDA0001248194860000261
标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便传达到远程设备上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x 768，但是可使用任何其他帧大小。帧速率是每秒的视频帧数目。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。
在替代实施方案中，视频源1130包括诸如摄像机的视频录制装置。这个摄像机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所渲染的图像与使用静态摄像机或视频摄像机录制的图像。视频源1130还可以包括被配置来存储将要包括在视频流中的先前录制视频的存储设备。视频源1130还可以包括：被配置来检测对象(例如，人)的运动或定位的运动或定位传感设备；以及被配置来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。
视频源1130任选地被配置来提供配置来放置在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络摄像机视频)。在客户端1110A包括触摸屏界面或注视检测界面的实施方案中，所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实例中，将玩家的语音叠加在音频流上。视频源1130任选地还包括一个或多个音频源。
在视频服务器系统1120被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可以有不同视角，视角包括观察的位置和方向。视频源1130任选地被配置来基于玩家的视角给每个玩家提供单独的视频流。此外，视频源1130可被配置来向客户端1110中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1130任选地被配置来提供3-D视频。
I/O装置1145被配置用于视频服务器系统1120，用来发送和/或接收信息，所述信息诸如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O装置1145通常包括诸如网卡或调制解调器的通信硬件。I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端1110通信。
处理器1150被配置来执行本文中论述的视频服务器系统1120的各种部件内所包括的逻辑，例如软件。例如，处理器1150可编程有软件指令，以便执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120任选地包括处理器1150的一个以上的实例。处理器1150还可以编程有软件指令，以便执行视频服务器系统1120所接收的命令或协调本文中讨论的游戏系统1100的各种元件的操作。处理器1150可包括一个或多个硬件装置。处理器1150是电子处理器。
存储器1155包括非暂时性模拟和/或数字存储设备。例如，存储器1155可包括被配置来存储视频帧的模拟存储装置。存储器1155可包括计算机可读数字存储器，例如，硬盘驱动器、光盘驱动器或固态存储器。存储器1115(例如由适当的数据结构或文件系统)被配置来存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储器1155任选地分布在多个装置当中。在一些实施方案中，存储器1155被配置来存储本文中其他地方所讨论的视频源1130的软件部件。这些部件可在需要时随时可以供应的格式来存储。
视频服务器系统1120任选地还包括客户端限定器1160。客户端限定器1160被配置用于远程确定如客户端1110A或1110B的客户端的能力。这些能力可包括客户端1110A本身的能力与介于客户端1110A与视频服务器系统1120之间的一个或多个通信信道的能力。例如，客户端限定器1160可被配置来测试通过网络1115的通信信道。
客户端限定器1160可手动或自动地确定(例如，发现)客户端1110A的能力。手动确定包括：与客户端1110A的用户通信，以及要求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器上显示图像、文字和/或类似物。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一个实施方案中，客户端1110A是具有浏览器的游戏控制台，所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1110A的信息，诸如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1160传达回用户所输入的信息。
自动确定可例如通过在客户端1110A上执行代理程序和/或通过向客户端1110A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，诸如java脚本。代理程序任选地由客户端限定器1160提供。在各种实施方案中，代理程序可发现：客户端1110A的处理能力、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信信道的滞后时间可靠性和带宽、客户端1110A的显示器类型、客户端1110A上存在的防火墙、客户端1110A的硬件、在客户端1110A上执行的软件、客户端1110A内的注册表项和/或类似物。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160任选地放置在与视频服务器系统1120的一个或多个其他元件分开的计算设备上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可以用来确定视频服务器系统1120的哪个实例最适合于向客户端1110中的一个传达流式视频。
本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明的若干实施方案还可以在分布式计算环境中实践，其中由通过有线或无线网络加以链接的远程处理装置执行任务。
考虑到以上实施方案，应理解的是，本发明的许多实施方案可采用各种计算机实施的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的装置或装置。所述设备可出于所要求的目的而专门构造而成，或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可以与根据本文的教示所编写的计算机程序一起使用，或者可以更方便地构造更专门的装置来执行所要求的操作。
本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储设备(NAS)、只读存储器(ROM)、随机存取存储器、紧密光盘ROM(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可以在操作之间执行，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清晰性目的而略微详细地描述了前述发明，但很显然，可以在所附权利要求的范围内实践某些变化和修改。因此，本发明的实施方案应被认为是说明性而非限制性的，并且本发明的各种实施方案不限于本文所给出的细节，而是可在所附权利要求书的范围和等效物内进行修改。

Claims (21)

1.一种用于在头戴式显示器上渲染图像的方法，其包括：
接收用于呈现在所述头戴式显示器的显示屏上的所述图像，所述图像由应用程序提供，其中对所述图像进行预失真以使在所述头戴式显示器中提供的光学器件能够渲染所述图像；
通过确定眼睛相对于所述头戴式显示器的所述光学器件中的至少一个透镜的光学轴线的位置来识别佩戴所述头戴式显示器的用户的所述眼睛的对准偏置；
通过选择针对光学器件的透镜的形状和类型识别的一个或多个预限定失真映射图确定用于所述对准偏置的特定失真校正，其中所述失真映射图提供所述显示屏可见视野内的不同位置到对应的对准偏置的映射；
通过应用所述特定失真校正调整由所述应用程序提供的预失真图像以限定解决所述对准偏置的已校正的预失真图像；以及
发送所述已校正的预失真图像以便在所述头戴式显示器的所述显示屏上进行渲染，使得通过所述光学器件呈现的所述图像移除由所述对准偏置引起的像差，
其中所述方法操作由处理器执行。
2.如权利要求1所述的方法，其中识别用户两只眼睛的所述对准偏置。
3.如权利要求1所述的方法，其中所述头戴式显示器的所述光学器件被配置来提供近眼聚焦。
4.如权利要求1所述的方法，其中识别对准偏置包括识别沿x方向的偏移、沿y方向的偏移、沿z方向的偏移、沿x和y方向的偏移、沿x和z方向的偏移、沿y和z方向的偏移或沿x-y-z方向的偏移中的一个。
5.如权利要求1所述的方法，其中使用设置在所述头戴式显示器上的一个或多个内部传感器来捕获所述眼睛的所述位置。
6.如权利要求1所述的方法，其中所述光学器件的所述透镜是球面透镜、非球面透镜、全息波导透镜或其任意组合中的一种。
7.如权利要求1所述的方法，其中识别所述对准偏置和调整所述预失真图像由设置在所述头戴式显示器内的处理器执行，所述对准偏置通过当所述图像呈现在所述头戴式显示器的所述显示屏上时，基本实时追踪所述眼睛的所述位置来识别。
8.如权利要求1所述的方法，其中识别所述对准偏置由所述头戴式显示器的处理器通过当所述图像呈现在所述头戴式显示器的所述显示屏上时，基本实时追踪所述眼睛的所述位置来执行并且调整所述预失真图像由通信地连接到所述头戴式显示器的计算装置的处理器执行。
9.如权利要求1所述的方法，其中识别所述对准偏置还包括，
确定在所述头戴式显示器中使用的所述光学器件的透镜的形状和类型；
确定所述眼睛相对于所述光学轴线的位置；
基于所述眼睛位置来选择所述一个或多个预限定失真映射图，所述选择通过三角剖分确定；以及
使用来自所选择的一个或多个预限定映射图的数据的线性插值来计算所述对准偏置。
10.如权利要求9所述的方法，其中所述预限定失真映射图是针对在所述头戴式显示器中使用的所述光学器件的每种类型的透镜和针对用于呈现所述图像的每种主要色谱限定的二维映射图，并且所述预限定失真映射图的所述选择包括用于所述光学器件和用于需要被调整的每种色彩的所述主要色谱的预限定失真映射图。
11.如权利要求9所述的方法，其中所述预限定失真映射图中的每一个与所述可见视野的特定象限或覆盖所述可见视野的中心的区域相关联。
12.一种用于在头戴式显示器上渲染媒体内容的方法，其包括：
a)通过确定眼睛相对于在所述头戴式显示器中提供的光学器件中的至少一个透镜的光学轴线的位置来识别佩戴所述头戴式显示器的用户的所述眼睛的对准偏置；
b)调整由应用程序提供以便在所述头戴式显示器的显示屏上进行渲染的所述媒体内容的预失真图像，所述调整导致生成解决所述对准偏置的已校正的预失真图像；以及
c)发送所述已校正的预失真图像以便在所述头戴式显示器的所述显示屏上进行渲染，使得通过所述光学器件呈现的所述图像移除由所述对准偏置引起的像差，
其中所述方法操作由处理器执行，并且在渲染所述图像中包含的媒体内容的帧期间执行操作a)-c)。
13.如权利要求12所述的方法，其还包括在帧速率下执行操作a)-c)，在所述帧速率下来自所述图像的所述媒体内容在所述头戴式显示器处被渲染。
14.如权利要求12所述的方法，其中将所述已校正的预失真图像呈现给所述头戴式显示器的所述显示屏以用于由用户的两只眼睛观看。
15.如权利要求12所述的方法，其中所述头戴式显示器的所述光学器件被配置来提供将所述已校正的预失真图像近眼聚焦在所述用户的两只眼睛前面。
16.如权利要求12所述的方法，其中识别所述对准偏置包括，
使用设置在所述头戴式显示器上的一个或多个内部传感器来基本实时追踪所述眼睛的所述位置；
确定在所述头戴式显示器的所述光学器件中使用的透镜的形状和类型；
确定所述眼睛相对于所述头戴式显示器的所述光学器件的所述透镜的所述光学轴线的所述位置的偏移；
基于所述眼睛位置来选择一个或多个预限定失真映射图，其中所述失真映射图提供所述显示屏可见视野内的不同位置到对应的位移偏置的映射，所述选择通过使用三角剖分技术确定；以及
根据所述选择的一个或多个预限定映射图使用所述位移偏置的线性插值来计算所述对准偏置。
17.如权利要求12所述的方法，其中识别所述对准偏置和调整所述预失真图像由设置在所述头戴式显示器内的处理器执行。
18.如权利要求12所述的方法，其中识别所述对准偏置和调整所述预失真图像由通信地连接到所述头戴式显示器的计算装置的处理器执行。
19.一种头戴式显示装置，其包括：
光学器件的透镜，所述透镜用于观看在所述头戴式显示器的显示屏上渲染的多媒体内容的预失真图像；
眼睛位置传感器，所述眼睛位置传感器被配置来，
(a)确定佩戴所述头戴式显示器的用户眼睛相对于在所述头戴式显示器中提供的光学器件中的至少一个透镜的光学轴线的位置；
(b)确定所述用户的所述眼睛的对准偏置；以及
光学器件失真处理器，所述光学器件失真处理器被配置来，
调整由应用程序提供以便在所述头戴式显示器的所述显示屏上进行渲染的媒体内容的所述预失真图像，所述调整导致生成解决所述对准偏置的已校正的预失真图像，其中将所述媒体内容的所述已校正的预失真图像传输至所述头戴式显示器的所述显示屏以便进行渲染，其中所述光学器件失真处理器被配置为在渲染所述媒体内容的帧期间执行对媒体内容的预失真图像的调制。
20.如权利要求19所述的装置，其中所述眼睛位置传感器还包括位置追踪器以当所述图像呈现在所述头戴式显示器的所述显示屏上时，追踪所述用户的所述眼睛的所述位置，以便基于由所述位置追踪器提供的信息基本实时对所述预失真图像执行调整。
21.如权利要求19所述的装置，其中所述预失真图像由执行所述应用程序的计算装置提供，其中所述计算装置通信地连接到所述头戴式显示器。
CN201580050268.9A 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正 Active CN107076989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474093.3A CN112578565B (zh) 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462058057P 2014-09-30 2014-09-30
US62/058,057 2014-09-30
US14/835,558 2015-08-25
US14/835,558 US10228562B2 (en) 2014-02-21 2015-08-25 Realtime lens aberration correction from eye tracking
PCT/US2015/051867 WO2016053735A1 (en) 2014-09-30 2015-09-24 Realtime lens aberration correction from eye tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011474093.3A Division CN112578565B (zh) 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正

Publications (2)

Publication Number Publication Date
CN107076989A CN107076989A (zh) 2017-08-18
CN107076989B true CN107076989B (zh) 2021-01-01

Family

ID=55584201

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580050268.9A Active CN107076989B (zh) 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正
CN202011474093.3A Active CN112578565B (zh) 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011474093.3A Active CN112578565B (zh) 2014-09-30 2015-09-24 根据眼睛追踪的实时透镜像差校正

Country Status (5)

Country Link
US (2) US10228562B2 (zh)
EP (1) EP3201679B1 (zh)
JP (2) JP6526184B2 (zh)
CN (2) CN107076989B (zh)
WO (1) WO2016053735A1 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898078B2 (en) * 2015-01-12 2018-02-20 Dell Products, L.P. Immersive environment correction display and method
US9541998B2 (en) * 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CA3109499A1 (en) * 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
CN104902139B (zh) * 2015-04-30 2018-10-26 北京小鸟看看科技有限公司 一种头戴显示器和头戴显示器的视频数据处理方法
US9995940B2 (en) * 2015-05-18 2018-06-12 Oculus Vr, Llc Laminated alignment structure for eyecup assemblies in a virtual reality headset
US9746675B2 (en) * 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
US9652897B2 (en) * 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
DE102015116405A1 (de) 2015-09-28 2017-03-30 Carl Zeiss Ag Anzeigevorrichtung mit Vorverzeichnung
US9857596B2 (en) * 2015-11-10 2018-01-02 Oculus Vr, Llc Strap assembly with flex circuit for a head mounted display
JP6512080B2 (ja) * 2015-11-27 2019-05-15 株式会社デンソー 表示補正装置
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US10176567B2 (en) * 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US9905168B1 (en) * 2015-12-28 2018-02-27 Oculus Vr, Llc Luminance-based non-uniformity correction for display panels in head-mounted displays
US9910282B2 (en) * 2015-12-28 2018-03-06 Oculus Vr, Llc Increasing field of view of head-mounted display using a mirror
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10395349B1 (en) * 2016-09-07 2019-08-27 Apple Inc. Display system with tunable lens distortion compensation
GB2557569B (en) * 2016-09-09 2022-07-06 Displaylink Uk Ltd Adjusting display data
EP3296791A1 (en) * 2016-09-16 2018-03-21 Nokia Technologies Oy Method, apparatus and computer program for near eye display
US10512585B2 (en) * 2016-09-30 2019-12-24 Sung-Yong Park Device for exercising muscles in eyes
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
JP2018074420A (ja) * 2016-10-31 2018-05-10 オリンパス株式会社 表示装置、表示システム及び表示装置の制御方法
CN107478412A (zh) * 2016-11-30 2017-12-15 深圳市虚拟现实技术有限公司 虚拟现实头盔畸变验证和调整的方法及装置
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
US10310598B2 (en) * 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10546518B2 (en) 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US10629105B2 (en) * 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
GB201713052D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Single pass rendering for head mounted displays
WO2019041345A1 (zh) * 2017-09-04 2019-03-07 深圳市柔宇科技有限公司 头戴显示设备的目镜调节方法、头戴显示设备及计算机可读存储介质
US10890767B1 (en) 2017-09-27 2021-01-12 United Services Automobile Association (Usaa) System and method for automatic vision correction in near-to-eye displays
US10820795B1 (en) * 2017-09-28 2020-11-03 Apple Inc. Method and device for improved interpupillary distance measurement
US11256667B2 (en) 2017-10-26 2022-02-22 Druva Inc. Deduplicated merged indexed object storage file system
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
JP6693656B2 (ja) * 2017-11-14 2020-05-13 株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
CN111712751B (zh) 2017-12-20 2022-11-01 奇跃公司 用于增强现实观看设备的插入件
TWI646355B (zh) * 2017-12-26 2019-01-01 宏碁股份有限公司 頭戴式顯示器與調整方法
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
US11094075B1 (en) * 2018-01-23 2021-08-17 Facebook Technologies, Llc Systems and methods utilizing a machine learning model for generating defocus blur effects
US10459237B2 (en) * 2018-02-01 2019-10-29 Dell Products L.P. System, head mounted device (HMD) and method for adjusting a position of an HMD worn by a user
US20190253700A1 (en) 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
EP3766039A4 (en) 2018-03-15 2021-04-07 Magic Leap, Inc. IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE
WO2019207350A1 (ru) * 2018-04-28 2019-10-31 Алмаленс Инк. Оптическая система гибридной реальности с цифровой коррекцией аберраций
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10848753B1 (en) * 2018-05-31 2020-11-24 Facebook Technologies, Llc Eye-tracking system using a scanning laser assembly
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US20200033560A1 (en) * 2018-07-30 2020-01-30 Apple Inc. Electronic Device System With Supplemental Lenses
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ， インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
US11301969B1 (en) * 2018-09-28 2022-04-12 Apple Inc. Context aware dynamic distortion correction
US11099639B1 (en) * 2018-11-05 2021-08-24 Facebook Technologies, Llc Systems and methods for eye tracking in head-mounted display devices
EP3881279A4 (en) 2018-11-16 2022-08-17 Magic Leap, Inc. IMAGE SIZE-TRIGGERED CLARIFICATION TO MAINTAIN IMAGE SHARPNESS
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
CN109725730B (zh) * 2019-01-02 2023-05-26 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示系统及其驱动方法
JP7390793B2 (ja) * 2019-02-07 2023-12-04 株式会社トプコン 眼科装置
WO2020170454A1 (ja) 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
EP3930318A4 (en) * 2019-02-22 2022-10-12 Sony Interactive Entertainment Inc. DISPLAY DEVICE AND IMAGE DISPLAY METHOD
CN113544766A (zh) 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
US11126001B2 (en) * 2019-03-29 2021-09-21 Sony Interactive Entertainment Inc. Image generating apparatus, head-mounted display, content processing system and image displaying method
US11153512B1 (en) * 2019-05-29 2021-10-19 Facebook Technologies, Llc Imaging and display with ellipsoidal lensing structure
US11353698B1 (en) 2019-05-29 2022-06-07 Facebook Technologies, Llc Dual Purkinje imaging with ellipsoidal lensing structure
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US11113880B1 (en) * 2019-07-22 2021-09-07 Facebook Technologies, Llc System and method for optimizing the rendering of dynamically generated geometry
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US11064188B2 (en) * 2019-07-29 2021-07-13 Htc Corporation Driving method for calculating interpupillary distance and related head-mounted device
WO2021021155A1 (en) * 2019-07-31 2021-02-04 Hewlett-Packard Development Company, L.P. Head-mounted displays
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
GB2587245B (en) 2019-12-18 2022-03-16 Envisics Ltd Holographic image alignment
CN111142827B (zh) * 2019-12-31 2021-04-13 镁佳(北京)科技有限公司 应用显示方法及装置，存储介质及电子设备
US11917119B2 (en) * 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11145031B2 (en) * 2020-01-31 2021-10-12 Varjo Technologies Oy Display apparatus and method of compensating for visual artifacts
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
US11410272B2 (en) * 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction
US11410580B2 (en) 2020-08-20 2022-08-09 Facebook Technologies, Llc. Display non-uniformity correction
CN114125424B (zh) * 2020-08-26 2022-10-04 华为技术有限公司 一种图像处理的方法及其相关设备
JP2023551677A (ja) * 2020-12-06 2023-12-12 ルーマス リミテッド 選択的照明を含む光学システム
CN115176275A (zh) * 2020-12-24 2022-10-11 京东方科技集团股份有限公司 图像畸变处理方法和装置
US11733773B1 (en) * 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
US11681363B2 (en) 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US20240069630A1 (en) * 2022-08-24 2024-02-29 Meta Platform Technologies, LLC Headset Adjustment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889625A (en) * 1997-05-21 1999-03-30 Raytheon Company Chromatic aberration correction for display systems
CN103080812A (zh) * 2010-09-14 2013-05-01 罗伯特·博世有限公司 平视显示器
WO2013082387A1 (en) * 2011-12-02 2013-06-06 Aguren Jerry G Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
CN103649816A (zh) * 2011-07-12 2014-03-19 谷歌公司 全图像扫描镜显示系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756517A (ja) * 1993-08-20 1995-03-03 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
KR100406945B1 (ko) * 2001-02-19 2003-11-28 삼성전자주식회사 착용형 디스플레이 장치
JP2004233867A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US20150077312A1 (en) * 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
EP2688060A4 (en) * 2012-03-22 2015-08-05 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROCESS AND COMPUTER PROGRAM THEREFOR
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889625A (en) * 1997-05-21 1999-03-30 Raytheon Company Chromatic aberration correction for display systems
CN103080812A (zh) * 2010-09-14 2013-05-01 罗伯特·博世有限公司 平视显示器
CN103649816A (zh) * 2011-07-12 2014-03-19 谷歌公司 全图像扫描镜显示系统
WO2013082387A1 (en) * 2011-12-02 2013-06-06 Aguren Jerry G Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation

Also Published As

Publication number Publication date
JP2018501498A (ja) 2018-01-18
JP2019191588A (ja) 2019-10-31
WO2016053735A1 (en) 2016-04-07
US20160091720A1 (en) 2016-03-31
US10502959B2 (en) 2019-12-10
EP3201679A1 (en) 2017-08-09
JP6847148B2 (ja) 2021-03-24
JP6526184B2 (ja) 2019-06-05
US10228562B2 (en) 2019-03-12
CN107076989A (zh) 2017-08-18
EP3201679B1 (en) 2024-03-06
US20190250409A1 (en) 2019-08-15
CN112578565B (zh) 2023-02-28
CN112578565A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN107076989B (zh) 根据眼睛追踪的实时透镜像差校正
JP7419460B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
EP3003122B1 (en) Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
JP6484340B2 (ja) ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム
CN109999491B (zh) 在头戴式显示器上渲染图像的方法和计算机可读存储介质
TWI454129B (zh) 顯示觀看系統及基於主動追蹤用於最佳化顯示觀看之方法
US10739850B2 (en) Prescription glasses with eye gaze tracking and electro optical signaling to a HMD
KR102195450B1 (ko) 줌 장치 및 관련된 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant