CN107005653B - 进行虚拟聚焦反馈的装置、方法以及头戴式显示器 - Google Patents

进行虚拟聚焦反馈的装置、方法以及头戴式显示器 Download PDF

Info

Publication number
CN107005653B
CN107005653B CN201580066112.XA CN201580066112A CN107005653B CN 107005653 B CN107005653 B CN 107005653B CN 201580066112 A CN201580066112 A CN 201580066112A CN 107005653 B CN107005653 B CN 107005653B
Authority
CN
China
Prior art keywords
camera
image
focus
degree
proxy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580066112.XA
Other languages
English (en)
Other versions
CN107005653A (zh
Inventor
B·科利特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107005653A publication Critical patent/CN107005653A/zh
Application granted granted Critical
Publication of CN107005653B publication Critical patent/CN107005653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Viewfinders (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于对相机进行聚焦的系统和方法。系统可生成代理图像，该代理图像被一定程度的模糊以与相机失焦的程度相关。用户可被要求调整聚焦机构以尝试将代理图像变得焦点对准。这使得相机能够在无需用户看到来自相机的图像的情况下被聚焦。这可被例如用于对红外相机进行聚焦。红外相机可以是设备(诸如头戴式显示设备)中的追踪相机。

Description

进行虚拟聚焦反馈的装置、方法以及头戴式显示器
背景技术
在需要聚焦的光学系统中，聚焦机构的定位直接导致传输的图像的聚焦变化。在手动聚焦的系统中，用户调整聚焦元件，直到图像的聚焦达到想要的状态。自动聚焦系统通过使用测距仪或者通过测量图像的聚焦程度来达成类似的目标。
在聚焦光学系统中仍然存在问题。
概述
本技术的各实施例涉及用于对相机进行聚焦的系统和方法。在一个实施例中，相机是包括显示单元和眼睛位置和追踪组件的头戴式显示设备。显示单元将图像显示到左眼和右眼上的光学元件。眼睛位置和追踪组件可包括一个或多个光源和一个或多个相机。公开了用于对HMD中的一个或多个相机进行聚焦的技术。本技术不限于对HMD中的相机进行聚焦。
在一个实施例中，与显示器和相机进行通信的处理逻辑接收与相机相关联的数据并基于该数据确定相机焦点对准的程度。处理逻辑生成具有一定程度的模糊的代理图像(proxy image)，并且将代理图像显示在显示器上，模糊的程度与相机焦点对准的程度负相关。用户被指示调整相机聚焦机构以对代理图像更好地聚焦。
替代实施例包括以下内容。接收与相机相关联的数据。相机焦点对准的程度基于所接收的数据来确定。生成具有一定程度的模糊的代理图像，模糊的程度与相机焦点对准的程度负相关。代理图像被显示在显示屏上。重复以上步骤，包括接收与相机相关联的更新的数据，确定相机焦点对准的新的程度，以及修改代理图像的模糊程度以与相机的新的聚焦程度负相关。
另一示例包括头戴式显示器(HMD)，包括近眼透视显示器、红外(IR) 相机、以及与红外相机和近眼透视显示器通信的处理器。处理器接收来自IR 相机的红外图像，并且确定红外图像失焦的程度。处理器对基准图像进行模糊以创建代理图像，代理图像具有一定程度的模糊，该模糊程度与红外图像失焦的程度相关。所述处理器在所述近眼、透视显示器上显示代理图像。在显示代理图像之后，处理器接收来自IR相机的新的红外图像，并且确定红外图像失焦的程度。处理器修改代理图像的模糊程度以与红外图像失焦的新程度相关。处理器基于经修改的模糊程度显示经更新的代理图像。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组件的图示。
图2是头戴式显示单元的一个实施例的立体图。
图3A是头戴式显示单元的一个实施例的一部分的侧视图。
图3B、3C和3D示出在配备在一副眼镜上的HMD中的、相应注视检测元件的集合的位置的示例性安排。
图4是头戴式显示单元的组件的一个实施例的框图。
图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图6是用于对相机进行聚焦的系统的一个实施例的示图。
图7涉及对相机进行聚焦的过程的一个实施例。
图8是用于生成代理图像的过程的一个实施例的流程图。
图9A示出可被用于图8的过程中的示例基准图像。
图9B示出可在图8的过程中被生成的示例代理图像。
图9C描绘了表示代理图像的模糊程度与相机的聚焦程度负相关的图。
图10A是用于对相机聚焦的系统的一个实施例的示图。
图10B是用于对相机聚焦的系统的另一实施例的示图。
图11是可用于实现本文描述的计算系统的计算系统的一个实施例的框图。
详细描述
现在将描述本技术的各实施例，这些实施例总的涉及用于对相机进行聚焦的系统和方法。在一个实施例中，系统生成代理图像，该代理图像被一定程度的模糊，该一定程度与相机失焦的程度相关。用户可被要求调整聚焦机构以尝试将代理图像变得焦点对准。这使得相机能够在无需用户需要看到来自相机的图像的情况下被聚焦。这可被例如用于对红外相机进行聚焦。红外相机可以是设备(诸如头戴式显示设备)中的追踪相机。
头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界物体。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统自动地追踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。
头戴式显示设备可被用于实现包括现实和虚拟物体的混合现实环境。混合现实是一种允许将全息或虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图像。为了便于形成三维深度的幻象，虚拟物体的图像由头戴式显示设备独立地显示给左眼和右眼，其中在图像之间存在微小的双眼差异。这一双眼差异被大脑理解为指示虚拟物体在混合现实环境中的深度。
图1示出用于通过将虚拟物体21与用户FOV内的现实内容融合来提供混合现实体验的系统10。图1示出多个用户18a、18b、18c，每个用户佩戴头戴式显示设备2，用于从自身视角观看虚拟物体，诸如虚拟物体21。在又一些示例中，可以存在比三个更多或更少的用户。如在图2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行观看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图像表示。例如，透过房间的玻璃看允许用户得到该房间的实际直接视图，而观看电视机上的房间的视频并不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实施例中，处理单元4与一个或多个中枢计算系统12无线地(例如， WiFi、蓝牙、红外、或其他无线通信手段)通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供，使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实施例中，中枢计算系统12 可被省略以使用头戴式显示设备2和处理单元4来提供移动混合现实体验。
头戴式显示设备2(既可以自身也可以与中枢计算系统12一起)可提供混合现实环境，其中一个或多个虚拟图像(诸如图1中的虚拟物体21)可与场景中的现实世界物体混合在一起。图1示出植物23或者用户的手23的示例，作为出现在用户的FOV内的现实世界物体。
图2和3A示出了头戴式显示设备2的立体图和侧视图。图3A示出了头戴式显示设备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110用于记录声音以及将音频数据传送给处理单元4，如下所述。在头戴式显示设备2的前方是朝向房间的视频相机112，该视频相机112可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。
头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明度滤光器114之后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准镜片，并且可根据任何验光单(包括无验光单)来制作。光导光学元件115将人造光引导到眼睛。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿 102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU 132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132 感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU 132还可包括其他惯性传感器。
微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120 的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常使用具有强大背光和高光能量密度的LCD型显示器来实现。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自高通公司的
Figure BDA0001312895640000051
显示技术都是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120 可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision 有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。
光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2 的用户的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2的前方通过光导光学元件115传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120 的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。
根据本技术的各方面，头戴式显示设备2还可包括用于定位并追踪用户眼睛的位置的系统。该系统包括眼睛位置和追踪组件134(图3A)，其具有眼睛追踪照明设备134A和眼睛追踪传感器134B(图4)。在一个实施例中，眼睛追踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。在一个实施例中，眼睛追踪传感器134B包括一个或多个感测反射的IR光的相机。替代地，眼睛追踪传感器134B可以是RGB或深度传感器。在各实施例中，可以存在多个传感器134B。
通过检测角膜的反射的已知成像技术，可以标识出用户眼睛的位置、以及眼睛内的瞳孔。此类技术可以定位眼睛的中心相对于追踪传感器134B的位置。在各实施例中，针对左眼和右眼中的每一个，可存在一个单独的眼睛位置和追踪组件134，使得可确定用户的IPD。在进一步实施例中，可以存在标识左眼或右眼中的每一个的中心的单个眼睛位置和追踪组件134。
在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。在4个IR光电检测器的每一个处检测到的红外光的量确定了眼睛相对于传感器134B的位置以及瞳孔方向。具体而言，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。
另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的一侧上使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD 将感测图像并且使用计算机视觉来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使用多于或少于4个的IR 发射器和/或多于或少于4个的IR传感器。
用于追踪眼睛的方向的另一实施例基于电荷追踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁 (靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。这既提供了用户的眼睛相对于头戴式显示设备的位置，也提供了用户的瞳孔的位置。也可使用用于确定用户的眼睛相对于头戴式显示设备的位置的其他实施例。
使用以上描述的实施例中的任意一个，眼睛位置和追踪组件134能够确定左眼和右眼相对于眼睛位置和追踪组件134的位置的位置。使用系统134相对于光学元件115的已知的位置和几何结构，也知晓了光学元件115相对于左眼和右眼的位置。这一位置包括眼睛和光学元件沿x轴的相对位置(例如，水平定位)。这一位置包括眼睛和光学元件沿y轴的相对位置(例如，竖直定位)。并且，这一位置包括眼睛和光学元件沿z轴的相对位置(例如，眼睛和光学元件之间的距离)。
除了位置，确定光学元件115相对于左眼和右眼的角度朝向(倾斜、偏转和翻滚)也是有利的。为此目的，眼睛位置和追踪组件134还确定每一只眼睛的中心、以及从眼睛的中心笔直射出的眼睛矢量。
可用多种方式来确定眼睛中心。在传感器134B捕捉到眼睛的图像(或者作为颜色图像和/或作为深度图像)的情况下，图像可被分析以确定眼睛中心。例如，图像传感器可检查角膜表面，并以此确定主轴和角膜中心。在进一步实施例中，图像传感器可检查眼睛的其他特征，包括瞳孔、巩膜(眼白部分)和 /或眼睫毛。脸部的其他特征(诸如眉毛、鼻子和鼻梁)可进一步被成像和用于确定左眼和右眼的中心。
包括IR发射机/接收机的示例还可确定眼睛的中心以及从该中心笔直射出的眼睛矢量。例如，在存在多个(诸如4个)IR发射机/接收机的情况下，这些组件中的每一个可测量它们检测到的眼睛中巩膜的量。这四个独立的值可被确定和比较。当每一个组件测量出眼睛中巩膜的相同的量时，眼睛位于中心(笔直向前看)，并且眼睛矢量可被取为从瞳孔垂直地笔直向外。这一位置既可在每一个IR发射机/接收机测得眼睛中巩膜的相同的量时找出，也可从其中四个发射机/接收机配对测得眼睛中巩膜的不同的值的测量中推测出。
如上文提到的，每一只眼睛可具有其自身的位置和追踪组件134，并且可为每一只眼睛确定独立的眼睛矢量。替代地，可以假设眼睛是对称的并且一起移动，因而可为两只眼睛确定和使用单个眼睛矢量。
图3A示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机112、眼睛位置和追踪组件134、微显示器、耳机、和温度传感器。
在一个实施例中，显示器和不透明度滤光器被同时渲染，并且被校准到用户在空间中的精确位置以补偿角度偏移问题。眼睛追踪(例如，使用眼睛追踪相机134)可用于计算视野的末端处的正确的图像偏移。眼睛追踪还可用于提供用于使面向前方的相机113或另一相机聚焦的数据。在一个实施例中，眼睛追踪相机134以及用于计算眼睛向量的其它逻辑被认为是眼睛追踪系统。
图3B示出在配备在一副眼镜上的HMD 2中的、相应注视检测元件的集合的位置的示例性安排。表现为每个眼睛的镜片的是每个眼睛的显示光学系统 14，例如14r和14l。显示光学系统包括透视透镜，如普通眼镜一样，但还包含用于将虚拟内容与透过透镜6看到的实际且直接的现实世界视图无缝地融合的光学元件(例如，反射镜、滤光器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于用户的脸部时，目标是该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。
在图3B的示例中，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每一检测区域139与用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件传送到相机的实际图像传感器134，在该示例中传感器134由处于镜架 115内部的虚线示出。
在一个示例中，通常也被称为RGB相机的可见光相机可以是所述传感器，并且光学元件或光引导元件的示例是部分透射且部分反射的可见光反射镜。可见光相机提供用户的眼睛的瞳孔的图像数据，而IR光电探测器162捕捉闪光，闪光是频谱的IR部分中的反射。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。
在一个实施例中，所述至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。例如，热反射表面可传递可见光，但反射IR辐射。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光学引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米(mm)乘2mm。这样的相机传感器的示例是Omnivision OV7727。在其他示例中，相机可以足够小(例如Omnivision OV7727)，例如使得图像传感器或相机134能以显示光学系统14的光轴或其他位置为中心。例如，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。
在图3B的示例中，有四组照明器163，照明器162与光电检测器163配对并由屏障164分开以避免照明器162所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外 (IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD) 的实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134 的可见光相机来提供闪光数据。
如上所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光(并且因此两个照明器)将是足够的。然而，其他实施例可在确定瞳孔位置并进而确定注视向量中使用附加的闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。
图3C示出一副眼镜中相应注视检测元件的集合的位置的另一示例性安排。在该实施例中，两组照明器163和光电检测器162对位于显示光学系统14 周围的每一镜架部分115的顶部附近，并且另两组照明器和光电检测器对位于每一镜架部分115的底部附近，以示出照明器之间的几何关系并因此示出它们生成的闪光之间的几何关系的另一示例。闪光的这一安排可以提供与垂直方向上的瞳孔位置有关的更多信息。
图3D示出相应注视检测元件的集合的位置的又一示例性安排。在该示例中，传感器134r、134l与其相应显示光学系统14r、14l的光轴成一直线或与其对准，但在镜架115上位于系统14下方。另外，在一些实施例中，相机134 可以是深度相机或包括深度传感器。深度相机可被用于在3D中追踪眼睛。在该示例中，存在照明器153和光检测器152的两个集合。
图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元 4的各种组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括追踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中描绘)将接收来自头戴式显示设备2的传感器信息。
使用该信息和可能的来自中枢计算系统12的信息，处理单元4可确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4的头戴式显示设备。如以下阐述的，使用来自眼睛位置和追踪组件134的信息，处理单元4 可额外地确定眼睛位置和追踪组件134中相机被聚焦的程度。这一信息可被用于生成被呈现在微显示器120上(并因此在显示光学系统14或各种元件124、 115、126等上)的代理图像。用户可被指示通过调整相机聚焦机构来聚焦该代理图像。以此方式，相机可被聚焦。
图4的组件中的一些(例如朝向房间的相机112、眼睛追踪传感器134B、微显示器120、不透明滤光器114、眼睛追踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。
在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210 通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤光器114的不透明度控制电路 224提供关于微显示器120上所正显示的虚拟图像的信息。定时生成器226被用来为该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。
电源管理电路202包括电压调节器234、眼睛追踪照明驱动器236、音频 DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电力，并将该电力提供给头戴式显示设备2的其他组件。每个眼睛追踪照明驱动器236 都如上面所述的那样为眼睛追踪照明134A提供IR光源。音频DAC和放大器 238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒 110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306 通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如D-RAM) 进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2 进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器 342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346 可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12，以便将数据或软件装载到处理单元4以及对处理单元4充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力量。以下提供更多的细节。
电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电力的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电力时(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。
图6是用于对相机604聚焦的系统600的一个实施例的示图。系统600包括处理逻辑602、相机604、以及显示器606。在一个实施例中，系统600是 HMD 2的一部分。相机604可以是本文描述的相机中的任意一个。在一个实施例中，相机604是IR相机。相机604可以是眼睛位置和追踪组件134的一部分。例如，相机604可以是眼睛追踪相机134B。相机604还可以是朝向房间的相机112。待聚焦的相机不限于这些示例。
在一个实施例中，显示器606包括本文描述的HMD 2的一个或多个元件。例如，显示器606可包括微显示器120。另外，诸如反射表面124、光导光学元件115、选择性反射表面126之类的元件的组合可被视为显示器606。参考图3B－3D，显示器606可包括显示光学系统14。需要注意，显示器606可包括用于右眼的显示器和用于左眼的显示器。然而，存在用于每一个眼睛的单独的显示器并不是必需的。
处理逻辑602具有用于检测相机604被聚焦的程度的聚焦检测612。聚焦检测612输入与相机604相关联并且可被用于确定相机604被聚焦的程度的数据。这一数据可以是来自相机604的图像数据。这可以是除了图像数据以外的数据，诸如指示相机604距离相机604正聚焦于其上的物体有多远的数据。聚焦检测612输出指示相机604被聚焦的程度(或者相机被“清晰对焦”的程度) 的信号。
渲染614输入来自聚焦检测612的信号并生成具有与相机604清晰对焦的程度负相关的模糊程度的图像(例如，“代理图像”)。需要注意，这可以是一种负相关，即当相机被越焦点对准时，代理图像中可能越少模糊。换言之，当相机被越模糊聚焦时，代理图像中可能越多模糊。该“模糊的”图像被呈现在显示器606上。在一个实施例中，渲染是在图形处理单元(GPU)上实现。
相机聚焦机构605允许相机604被聚焦。例如，用户能够手动调整相机聚焦机构605。作为一个示例，相机604可具有聚焦透镜(除了相机的物镜之外)，该聚焦透镜被移动已对相机604进行聚焦。然而，可使用许多其他类型的相机聚焦机构605。对于HMD 2，用户可调整他们眼睛和相机604之间的距离以对相机604聚焦。在这一示例中，相机聚焦机构605可以是HMD上的一种结构，该结构允许在用户佩戴HMD 2时将相机的位置相对于用户的眼睛进行移动。
图像处理610输入来自相机604的图像数据并且执行某种类型的对图像数据的处理。眼睛追踪是一个示例，但处理可以是任何处理。处理逻辑602、聚焦检测612、渲染614、以及图像处理610可各自以软件、硬件、或软件和硬件的某种组合来实现。图4和5中的各元件可被使用。例如，渲染614可由GPU (图5，322)执行，而图像处理610和聚焦检测612可由CPU(图5，320) 执行。处理器(图4，210)还可被用于图像处理610、渲染614和/或聚焦检测 612。用于在各个处理器210、320、322上执行的指令可被存储在存储器(例如，存储器244、330、334，高速缓存324、RAM 326)中。这些仅仅是示例，但并不旨在是限制性的。另外，并不要求处理逻辑602、渲染614和/或聚焦检测612由处理器上执行的指令来实现。例如，可使用专用集成电路(ASIC)。
图7涉及对相机进行聚焦的过程的一个实施例。这一过程可被用于图6的系统600中。将参考图6中的各元件，但是该过程不限于该系统600。该过程可被用于HMD 2，但不是必需的。在一个实施例中，该过程被用于对红外相机进行聚焦。该过程可以许多方式来启动。一个可能性是用于系统(例如，HMD) 来确定相机需要被聚焦，并响应于此来启动该过程。
这一过程包含呈现代理图像给用户。在步骤702，系统600指示用户他们将在该过程期间尝试对代理图像进行聚焦。需要注意，当这一指示被提供时，系统600可以或可以不呈现代理图像。系统600还可提供用于对代理图像进行聚焦的的指示。这一指示可以供用户来调整相机聚焦机构以尝试将代理图像变得更聚焦。
在步骤704，系统600接收与相机604相关联的数据。在一个实施例中，该数据是来自相机604的图像数据。例如，该数据可以是IR图像。这一数据是来自相机的图像数据并不是必需的。在一个实施例中，这一数据指示相机604 和相机604待聚焦于其上的物体之间的距离。
在步骤706，系统600确定相机604被聚焦的程度。在一个实施例中，系统600确定来自相机604的图像被聚焦的程度。然而，系统600可将这一判断基于除了图像之外的信息。例如，这一判断可基于指示相机604和相机604待聚焦于其上的物体之间的距离的数据。
在步骤708，系统600生成具有一定程度的模糊的代理图像，模糊的程度与相机604被聚焦的程度负相关。如上文提到的，这可以使是相关。换言之，代理图像中模糊的程度与相机604失焦的程度相关。下文描述了进一步细节。
在步骤710，系统600将代理图像显示在显示器606上。在一个实施例中，代理图像被显示在HMD上。如上文提到的，显示器606可包括显示光学系统 14、微显示器120、反射表面124、光导光学元件115、选择性反射表面126。
在步骤712，用户调整相机聚焦机构。用户尝试将代理图像变得焦点对准。下文描述了进一步细节。
在步骤714，系统600确定相机604是否被令人满意地聚焦。如果是，过程完成。否则，过程返回步骤704以接收与相机604相关联的更多数据。假设用户已对相机聚焦机构进行了调整，系统600将确定相机聚焦的程度已改变(在步骤706中)。因此，步骤708中生成的代理图像将具有其更新的模糊程度，使得该模糊程度与新的相机聚焦程度负相关。
图8是用于生成代理图像的过程的一个实施例的流程图。该过程是图7的步骤708的一个实施例。再次，将参考图6中的各元件，但是可以理解该过程不限于该系统600。在步骤802，系统600访问来自处理器可读存储的基准图像。该基准图像通常是位于可见光谱中的图像。该基准图像的内容是无关紧要的。由于该基准图像将要被显示给用户，因此这一图像可基于具有良好属性来被选择以使得用户能够对它进行聚焦。需要注意，可直接从IR相机图像中生成的图像可能不适合用户来进行聚焦。例如，如果IR图像将在波长上偏移使其可见，则其可能对用户而言不易对该图像进行聚焦。出于讨论的目的，图9A 示出具有花盆中的植物的示例基准图像910。需要注意，这一基准图像910不是来自相机604的图像。
在步骤804，系统600对基准图像910进行模糊以形成代理图像。出于讨论的目的，图9B示出作为基准图像910的经模糊的版本的示例代理图像920。在一个实施例中，这一模糊通过使用数学函数来执行。例如，可使用点分布函数(PSF)。PSF可被应用于基准图像910中的每一个像素，其可用于将每一个相应像素的光强度分布到相邻像素。随后，结果被累加以产生代理图像920。 PSF的宽度可被设置以得到需要的模糊程度。在一个实施例中，步骤804在GPU 上执行。
如之前所讨论的，代理图像920的模糊程度与相机的聚焦程度负相关。例如，相机604越焦点对准，代理图像920就越不模糊。因此，这可被称为负相关。替代地，可以称为相机604越失焦，代理图像920就越模糊。
图9C描绘了具有曲线950的图，曲线950表示代理图像920的模糊程度与相机604的聚焦程度负相关。系统600可确定表示相机聚焦程度的值，其可通过x轴来表示。系统600可确定代理图像的合适的模糊程度，使得产生想要的负相关。
图10A是用于对相机聚焦的系统的一个实施例的示图。这是图6的系统 600的变形，其中聚焦检测612a输入图像数据以确定相机604焦点对准的程度。在一个实施例中，图像数据是IR图像数据。例如，相机604捕捉红外波长中的图像。图10A的系统可以是HMD 2。不是所有的元件都被描绘，以避免使示图模糊。
在一个实施例中，聚焦检测612a使用图像处理技术来确定相机图像焦点对准的程度。存在本领域普通技术人员已知的用于确定来自相机604的图像焦点对准的程度的技术。任何方便的技术可被使用。例如，可使用对比度检测。对比度检测测量相机图像内的对比度。相邻像素之间的强度差应当随正确的图像聚焦而增加。光学系统可由此被调整，直到检测到最大对比度。可使用分析相机图像的其他技术来确定相机图像焦点对准的程度。
基准图像910被示出作为对渲染614的输入，渲染614输出代理图像920。代理图像920被呈现在显示器606上。用户(用眼睛140表示)能够手动调整相机聚焦机构605。例如，用户可通过沿相机聚焦机构605移动相机604(如双箭头所指示的)来调整他们的眼睛和相机604之间的距离。作为一个示例，相机聚焦机构605可以是允许调整相机604到眼睛140的距离被调整的任何结构。相机聚焦机构605可以是在HMD 2的机架上的结构，其允许相对于眼睛移动相机位置。可使用其他技术来调整相机604的聚焦。
在图10A的示例中，处理逻辑602具有眼睛追踪1010，其输入相机图像数据。这是来自图6的图像处理610的一个示例。
聚焦检测612使用图像分析并不是必需的。图10B是其中聚焦检测612b 距离数据以确定相机604焦点对准的程度的一个实施例的示图。在一个实施例中，该距离数据指示相机604距离正被聚焦的物体有多远。在一个实施例中，该距离数据指示相机604距离用户的眼睛140有多远。图10A的系统可以是 HMD 2。不是所有的元件都被描绘，以避免使示图模糊。
聚焦检测612a可具有相机604应处于的目标距离。作为一个示例，聚焦检测612a可访问具有将聚焦程度与每一个距离相关联的各个值的表。作为另一示例，聚焦检测612b可采用算术方程来基于输入距离和相机604的已知属性 (诸如焦距等)来确定聚焦程度。
距离数据可由相机604自己来提供。例如，相机604可具有能够确定其自身与要聚焦于其上的物体之间的距离的测距仪。距离数据可由除了正被进行聚焦的相机604以外的元件来提供。例如，在HMD上可以存在可被用于确定距离的另一相机。替代地，(HMD上的相机的)距离数据可由不在HMD上的设备(诸如附近的另一相机)来确定。
图11示出可被用于实现中枢计算系统12或本文公开的其他处理器的计算系统的示例实施例。如图11中所示，计算系统500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506 可存储在计算设备500通电时在引导过程的初始化阶段加载的可执行代码。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器) 514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V (音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。
计算设备500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二 USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器543被提供来存储在引导过程期间被加载的应用数据。提供媒体驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器544可位于计算设备500的内部或外部。应用数据可经由媒体驱动器544来访问，以供计算设备500执行、回放等。媒体驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)之类的总线被连接到I/O控制器520。
系统管理控制器522提供与确保计算设备500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。
前面板I/O子部件530支持暴露在计算设备500的外表面上的电源按钮550 和弹出按钮552以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向计算设备500的组件供电。风扇538冷却计算设备500内的电路。
CPU 501、GPU 508、存储器控制器510、和计算设备500内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这样的架构可包括外围部件互连(PCI)总线、PCI-Express总线等。
当计算设备500通电时，应用数据可从系统存储器543被加载到存储器512 和/或高速缓存502、504中并在CPU 501上执行。应用可在导航到计算设备500 上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，媒体驱动器544中所包含的应用和/或其他媒体可从媒体驱动器544启动或播放，以将附加功能提供给计算设备500。
技术设备500可通过将系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，计算设备500允许一个或多个用户与该系统交互、看电影，或听音乐。然而，在集成了可通过网络接口524或无线适配器548 而变得可用的宽带连接的情况下，计算设备500还可作为较大网络社区中的参与者来操作。另外，计算设备500可以通过无线适配器548与处理单元4通信。
可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维护有关焦点切换的状态信息。捕捉设备20 可经由USB控制器526或其他接口来定义设备500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一个硬件架构是必需的。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (19)

1.一种计算装置，包括：
显示器；
相机，其中所述相机为红外IR相机；以及
与所述显示器和所述相机通信的处理逻辑，所述处理逻辑接收与所述相机相关联的数据，基于所述数据确定所述相机焦点对准的程度，访问存储的基准图像，所述基准图像是位于可见光谱中的图像并且与来自所述相机的图像内容上无关，对所述基准图像进行模糊以生成具有一定程度的模糊的代理图像，模糊程度与所述相机焦点对准的程度负相关，将所述代理图像显示在所述显示器上，以及指示用户调整相机聚焦机构以更好地对所述代理图像进行聚焦，使得所述相机能够在无需用户需要看到来自所述相机的图像的情况下被聚焦。
2.如权利要求1所述的计算装置，其特征在于，所述处理逻辑在显示所述代理图像之后接收与所述相机相关联的经更新的数据，确定所述相机焦点对准的新的程度，修改所述代理图像的模糊程度以与所述相机焦点对准的新的程度负相关，以及基于经修改的模糊程度显示经更新的代理图像。
3.如权利要求1所述的计算装置，其特征在于，所述处理逻辑接收的与所述相机相关联的数据是来自所述相机的图像，所述处理逻辑基于所述图像焦点对准的程度来确定所述相机焦点对准的程度。
4.如权利要求3所述的计算装置，其特征在于，来自所述相机的图像是红外IR图像。
5.如权利要求1所述的计算装置，其特征在于，所述处理逻辑接收的与所述相机相关联的数据包括所述相机距离物体的距离；所述处理逻辑基于所述距离来确定所述相机焦点对准的程度。
6.如权利要求1所述的计算装置，其特征在于，所述显示器是近眼、透视显示器，所述装置是头戴式显示器HMD，所述相机被聚焦在佩戴所述HMD的用户上。
7.如权利要求1所述的计算装置，其特征在于，还包括图形处理单元GPU，所述处理逻辑在所述GPU上对所述基准图像进行模糊以创建所述代理图像。
8.一种对相机进行聚焦的方法，包括：
a)接收与所述相机相关联的数据，其中所述相机为红外IR相机；
b)基于所接收的数据来确定所述相机焦点对准的程度；
c)访问存储的基准图像，所述基准图像是位于可见光谱中的图像并且与来自所述相机的图像内容上无关；
d)对所述基准图像进行模糊以生成具有一定程度的模糊的代理图像，模糊的程度与相机焦点对准的程度负相关；
e)在显示器上显示所述代理图像；
f)重复所述a)－所述e)，包括接收与相机相关联的经更新的数据，确定相机焦点对准的新的程度，修改所述代理图像的模糊程度以与所述相机焦点对准的新的程度负相关，以及将经修改的代理图像显示在所述显示器上，使得所述相机能够在无需用户需要看到来自所述相机的图像的情况下被聚焦。
9.如权利要求8所述的方法，其特征在于，进一步包括：
指示用户调整与所述相机相关联的聚焦机构以尝试将所述代理图像变得更聚焦。
10.如权利要求8所述的方法，其特征在于，接收与相机相关联的数据包括接收来自所述相机的图像；
基于所述数据来确定所述相机焦点对准的程度包括确定所接收的图像焦点对准的程度。
11.如权利要求10所述的方法，其特征在于，来自所述相机的图像是红外IR图像。
12.如权利要求8所述的方法，其特征在于，接收与相机相关联的数据包括接收指示所述相机距离物体的距离的数据；
确定所述相机焦点对准的程度包括基于所述距离来确定所述相机焦点对准的程度。
13.如权利要求8所述的方法，其特征在于，生成具有一定程度的模糊的代理图像，模糊的程度与所述相机焦点对准的程度负相关包括：
算术地对所述基准图像进行模糊以创建所述代理图像。
14.如权利要求13所述的方法，其特征在于，算术地对所述基准图像进行模糊以创建所述代理图像包括在图形处理单元GPU上使用图形图像处理。
15.如权利要求8所述的方法，其特征在于，在显示器上显示所述代理图像包括：
在头戴式显示器HMD的显示器上显示所述代理图像。
16.一种头戴式显示器HMD，包括：
近眼、透视显示器；
红外IR相机；以及
与所述红外相机和所述近眼、透视显示器通信的处理器，所述处理器接收来自所述IR相机的红外图像，确定所述红外图像失焦的程度，访问存储的基准图像，所述基准图像是位于可见光谱中的图像并且与来自所述IR相机的图像内容上无关，对所述基准图像进行模糊以创建具有一定程度的模糊的代理图像，模糊程度与所述红外图像失焦的程度相关，在所述近眼、透视显示器上显示所述代理图像，在显示所述代理图像之后接收来自IR相机的新的红外图像，确定所述红外图像的新的失焦程度，修改所述代理图像的模糊程度以与所述红外图像的新的失焦程度相关，以及基于经修改的模糊程度显示经更新的代理图像，使得所述IR相机能够在无需用户需要看到来自所述IR相机的图像的情况下被聚焦。
17.如权利要求16所述的头戴式显示器，其特征在于，还包括与所述IR相机相关联的相机聚焦机构，其中所述处理器指示用户手动调整所述相机聚焦机构以更好地对所述代理图像聚焦。
18.如权利要求17所述的头戴式显示器，其特征在于，所述IR相机是所述HMD上的眼睛追踪相机。
19.如权利要求16所述的头戴式显示器，其特征在于，还包括图形处理单元GPU，所述处理器使用所述GPU来算术地对算术基准图像进行模糊以创建所述代理图像。
CN201580066112.XA 2014-12-05 2015-11-28 进行虚拟聚焦反馈的装置、方法以及头戴式显示器 Active CN107005653B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/562,292 US10498976B2 (en) 2014-12-05 2014-12-05 Virtual focus feedback
US14/562,292 2014-12-05
PCT/US2015/062849 WO2016089712A1 (en) 2014-12-05 2015-11-28 Virtual focus feedback

Publications (2)

Publication Number Publication Date
CN107005653A CN107005653A (zh) 2017-08-01
CN107005653B true CN107005653B (zh) 2021-04-27

Family

ID=55022682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066112.XA Active CN107005653B (zh) 2014-12-05 2015-11-28 进行虚拟聚焦反馈的装置、方法以及头戴式显示器

Country Status (6)

Country Link
US (1) US10498976B2 (zh)
EP (1) EP3228072B1 (zh)
JP (1) JP6718873B2 (zh)
KR (1) KR102599889B1 (zh)
CN (1) CN107005653B (zh)
WO (1) WO2016089712A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US9544054B1 (en) * 2015-08-10 2017-01-10 Facebook, Inc. Multidirectional communication system
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US10964190B2 (en) * 2016-05-31 2021-03-30 Ellcie-Healthy Personal system for the detection of a risky situation and alert
US12008879B2 (en) * 2016-05-31 2024-06-11 Euro Protection Surveillance Personal system for the detection of a fall or a fall prone situation
US11222519B2 (en) * 2016-05-31 2022-01-11 Ellcie-Healthy Personal system for the detection of a risky situation, more particularly of a fall prone situation
MX2022004787A (es) * 2016-10-12 2022-12-01 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
KR102173778B1 (ko) 2017-07-25 2020-11-03 주식회사 엘지화학 배터리 관리 유닛 및 이를 포함하는 배터리팩
KR102086779B1 (ko) * 2018-05-14 2020-03-09 단국대학교 산학협력단 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템
CN112261300B (zh) * 2020-10-22 2021-12-24 维沃移动通信（深圳）有限公司 对焦方法、装置及电子设备
US20230283896A1 (en) * 2022-03-03 2023-09-07 Jsc Yukon Advanced Optics Worldwide Focus indication for manual focus adjustments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753919B1 (en) * 1998-11-25 2004-06-22 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
AU1745000A (en) 1998-11-25 2000-06-19 Iriscan, Inc. Fast focus assessment system and method for imaging
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
EP1831657B1 (en) 2004-12-03 2018-12-05 Fluke Corporation Method for a visible light and ir combined image camera
EP1811771B1 (en) 2006-01-20 2009-04-29 Fluke Corporation Camera with visible light and infrared image blending
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8194995B2 (en) 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
JP2010213105A (ja) * 2009-03-11 2010-09-24 Olympus Corp 撮像装置
JP5346266B2 (ja) * 2009-09-30 2013-11-20 富士フイルム株式会社 画像処理装置、カメラ及び画像処理方法
US8599264B2 (en) 2009-11-20 2013-12-03 Fluke Corporation Comparison of infrared images
DE102010019399B4 (de) 2010-05-04 2019-02-28 Testo Ag Bildaufnahmeverfahren für IR-Bilder und Wärmebildkamera
US8654239B2 (en) 2010-05-17 2014-02-18 Flir Systems Ab Focus ring-controlled focusing servo
JP2012023468A (ja) * 2010-07-12 2012-02-02 Ricoh Co Ltd 撮像装置
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
JP5779910B2 (ja) 2011-03-01 2015-09-16 日本電気株式会社 赤外線カメラ及び焦点位置補正方法
JP2013114123A (ja) 2011-11-30 2013-06-10 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム
US8736747B2 (en) 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
JP2013165413A (ja) * 2012-02-13 2013-08-22 Nikon Corp 画像表示装置
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
US10629003B2 (en) * 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置

Also Published As

Publication number Publication date
EP3228072B1 (en) 2021-03-10
KR102599889B1 (ko) 2023-11-07
KR20170094255A (ko) 2017-08-17
US20160165151A1 (en) 2016-06-09
CN107005653A (zh) 2017-08-01
JP2018507570A (ja) 2018-03-15
US10498976B2 (en) 2019-12-03
EP3228072A1 (en) 2017-10-11
JP6718873B2 (ja) 2020-07-08
WO2016089712A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN107005653B (zh) 进行虚拟聚焦反馈的装置、方法以及头戴式显示器
US20140375540A1 (en) System for optimal eye fit of headset display device
KR102208376B1 (ko) Hmd 상의 하이브리드 월드/바디 락 hud
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US9588341B2 (en) Automatic variable virtual focus for augmented reality displays
KR101960980B1 (ko) 증강 현실 디스플레이용 최적화 초점 영역
US9288468B2 (en) Viewing windows for video streams
US20150003819A1 (en) Camera auto-focus based on eye gaze
CA2750287C (en) Gaze detection in a see-through, near-eye, mixed reality display
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
EP3011419A1 (en) Multi-step virtual object selection
WO2013067230A1 (en) See-through display brightness control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant