CN111971610A - 具有主动光学视觉聚焦的头戴式设备 - Google Patents

具有主动光学视觉聚焦的头戴式设备 Download PDF

Info

Publication number
CN111971610A
CN111971610A CN201880092325.3A CN201880092325A CN111971610A CN 111971610 A CN111971610 A CN 111971610A CN 201880092325 A CN201880092325 A CN 201880092325A CN 111971610 A CN111971610 A CN 111971610A
Authority
CN
China
Prior art keywords
image sensor
pixel density
head
lens
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880092325.3A
Other languages
English (en)
Other versions
CN111971610B (zh
Inventor
E·S·霍
D·A·舒克
J·C·索尔斯
K·A·格罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111971610A publication Critical patent/CN111971610A/zh
Application granted granted Critical
Publication of CN111971610B publication Critical patent/CN111971610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0825—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a flexible sheet or membrane, e.g. for varying the focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种头戴式设备中的透视相机，该透视相机可捕获用于在头戴式设备中的显示器上显示的图像数据。然而，在显示器上的用户视野周边中显示低分辨率图像，可能仅需要低分辨率图像数据。因此，透视相机可仅捕获对应于正被直接查看的用户视野部分的高分辨率图像，并且可捕获对应于用户周边视觉中的真实世界物体的较低分辨率图像数据。为了使相机模块能够选择性地捕获高分辨率图像，透视相机可包括具有两个或更多个像素密度的图像传感器、畸变镜头、和\或一个或多个平面或曲面反射镜。可调节相机模块中部件的任一个，以改变场景的哪个部分以高分辨率图像数据被捕获。

Description

具有主动光学视觉聚焦的头戴式设备
本申请要求于2018年9月13日提交的美国专利申请16/130,775以及于2018年4月25日提交的临时专利申请62/662,410的优先权，这些专利申请据此全文以引用方式并入本文。
背景技术
这整体涉及头戴式设备，并且更具体地讲，涉及具有显示器和图像传感器的头戴式设备。
电子设备通常包括显示器和图像传感器。具体地讲，当为查看者显示高分辨率图像时，在整个显示器上以完全分辨率显示图像可能成为负担。视觉聚焦技术涉及仅以完全分辨率显示图像的关键部分，并且可有助于减少显示系统上的负担。在一些情况下，可在显示器上显示用户环境的图像。然而，可能难以使用图像传感器获得用户整个环境的高分辨率图像。
发明内容
电子设备诸如头戴式设备可具有显示器。在一些情况下，显示器可以是透明显示器，使得用户可以通过显示器观察真实世界物体，同时通过在显示器上呈现电脑生成的图像，将电脑生成的内容覆盖在真实世界物体的顶部上。显示器还可以是不透明显示器，该不透明显示器在用户操作头戴式设备时阻挡来自真实世界物体的光。在这种类型的布置方式中，可使用透视相机来将真实世界物体显示给用户。
透视相机可捕获真实世界的图像，并且真实世界图像可被显示在显示器上以供用户查看。另外的电脑生成的内容(例如文本、游戏内容、其它视觉内容等)可任选地覆盖在真实世界图像上，从而为用户提供增强现实环境。
显示器可以是视觉聚焦显示器。使用头戴式设备中的注视追踪系统，设备可确定显示器的哪个部分被用户直接查看。和直接查看的显示器部分相比，用户对位于用户周边视觉内的显示器部分中的伪影和低分辨率将较不敏感。因此，设备可以不同分辨率显示图像的不同部分。
透视相机可捕获用于在显示器上显示的一些高分辨率图像数据。然而，在显示器上的用户视野周边中显示低分辨率图像，可能仅需要低分辨率图像数据。因此，透视相机可仅捕获对应于正被直接查看的用户视野部分的高分辨率图像，并且可捕获对应于用户周边视觉中的真实世界物体的较低分辨率图像数据。调节透视相机以仅捕获用户视野的选定部分中的高分辨率图像数据，可减少头戴式设备内的处理负担和功率消耗。
透视相机存在多种可能的布置方式，这些布置方式允许相机模块选择性地捕获高分辨率图像。例如，前向相机可包括具有两个或更多个像素密度的图像传感器、畸变镜头和/或一个或多个平面或曲面反射镜。可调节相机模块中部件的任一个，以改变场景的哪个部分以高分辨率图像数据被捕获。
附图说明
图1是根据一个实施方案的例示性头戴式设备的示意图。
图2为根据一个实施方案的例示性头戴式设备的顶视图。
图3为示出了可如何在用户的视野的第一部分中显示高分辨率图像，而低分辨率图像可根据实施方案显示在用户视野的第二部分中的图。
图4是根据实施方案的包括具有变化的像素密度的图像传感器的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图5为根据实施方案的图4中包括的类型的例示性图像传感器的顶视图。
图6是根据实施方案的包括畸变镜头的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图7是根据实施方案的包括曲面反射镜的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图8是根据实施方案的包括具有变化的像素密度的图像传感器和可变形反射镜的例示性相机模块的横截面侧视图。
图9是根据实施方案的包括具有固定的像素密度的图像传感器和可变形反射镜的例示性相机模块的横截面侧视图。
图10是根据实施方案的包括具有变化的像素密度的图像传感器和平面反射镜的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图11是根据实施方案的包括具有固定的像素密度的图像传感器和平面反射镜的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图12是根据实施方案的包括镜头的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图13是根据实施方案的包括具有变化的像素密度的图像传感器和镜头的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图14是根据实施方案的包括曲面反射镜和具有变化的像素密度的图像传感器的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图15是根据实施方案的在外壳中包括图像传感器和镜头的例示性相机模块的横截面侧视图，该相机模块通过定位设备定位。
图16为根据实施方案的例示性相机模块的横截面侧视图，该例示性相机模块包括用于捕获高分辨率图像的第一图像传感器，用于捕获低分辨率图像的第二图像传感器和分束器。
图17是根据实施方案的例示性相机模块的横截面侧视图，该例示性相机模块包括图像传感器和可改变形状以控制如何将光导向到图像传感器的镜头。
图18是根据实施方案涉及操作头戴式设备的例示性操作的流程图，该头戴式设备具有注视追踪系统和前向相机。
具体实施方式
头戴式设备和其他设备可用于虚拟现实和增强现实系统。这些设备可包括便携式消费电子器件(例如，便携式电子设备，诸如移动电话、平板电脑、眼镜、其它可穿戴设备)、在驾驶舱和车辆内的头顶显示器、基于显示器的设备(例如投影仪、电视机)等。诸如这些设备的设备可包括透明显示器和其他光学部件。将其中虚拟现实和/或增强现实内容提供给具有头戴式显示器的用户的设备配置在本文中作为示例描述。然而，这仅为例示性的。任何合适的装置都可用于向用户提供虚拟现实和/或增强现实内容。
佩戴在用户头部上的头戴式设备可用于向用户提供覆盖在真实世界内容顶部上的电脑生成的内容。利用一些头戴式设备，真实世界内容可由用户直接查看(例如，通过透明显示面板观察真实世界物体，或通过透明显示系统中的光学耦合器来观察，该光学耦合器将来自真实世界物体的光与来自显示面板的光合并)。其它头戴式设备可使用其中真实世界物体的图像由前向相机捕获并且在显示器上显示给用户的构型。捕获真实世界的图像并在显示器上显示该图像的前向相机可被称为透视相机。
透视相机能够捕获高分辨率图像以显示给用户。然而，和直接查看的显示器部分相比，用户对位于用户周边视觉内的显示器部分中的伪影和低分辨率较不敏感。因此，为了降低操作透视相机所涉及的处理负担和功率消耗，透视相机可只捕获对应于用户直接查看的位置的高分辨率图像。捕获的图像的其它部分(对应于用户的周边视觉)可具有较低分辨率。
在图1中示出了例示性头戴式设备的示意图。如图1所示，头戴式设备10(有时称为头戴式显示器10)可具有控制电路50。控制电路50可包括用于控制头戴式设备10的操作的存储和处理电路。电路50可以包括存储装置，诸如硬盘驱动器存储装置、非易失性存储器(例如，被配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如，静态或动态随机存取存储器)等。控制电路50中的处理电路可以基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器、电源管理单元、音频芯片、图形处理单元、专用集成电路以及其他集成电路。软件代码可存储在电路50中的存储器上，并且在电路50中的处理电路上运行，以实现用于头戴式设备10的控制操作(例如，数据采集操作、涉及使用控制信号调节部件的操作等)。
头戴式设备10可以包括输入-输出电路52。输入输出电路52可用于允许由头戴式设备10从外部设备(例如，拴系电脑、便携式设备(诸如手持设备或膝上型计算机)，或其他电气设备)接收数据，并且允许用户向头戴式设备10提供用户输入。输入-输出电路52还可以用于采集有关在其中操作头戴式设备10的环境的信息。电路52中的输出部件可以允许头戴式设备10向用户提供输出，并且可以用于与外部电气装置通信。
如图1所示，输入-输出电路52可包括显示器诸如显示器26。显示器26可用于为头戴式设备10的用户显示图像。显示器26可以是透明显示器，使得用户可以通过显示器观察真实世界物体，同时通过在显示器上呈现计算机生成的图像，将计算机生成的内容覆盖在真实世界物体的顶部。透明显示器可由透明像素阵列(例如，透明有机发光二极管显示面板)形成，或者可由显示设备形成，该显示设备通过分束器、全息耦合器或其他光学耦合器(例如，显示设备诸如硅显示器上的液晶)向用户提供图像。另选地，显示器26可以是不透明显示器，该不透明显示器在用户操作头戴式设备10时阻挡来自真实世界物体的光。在这种类型的布置方式中，可使用透视相机来将真实世界物体显示给用户。透视相机可捕获真实世界的图像，并且真实世界图像可被显示在显示器上以供用户查看。另外的电脑生成的内容(例如文本、游戏内容、其它视觉内容等)可任选地覆盖在真实世界图像上，从而为用户提供增强现实环境。当显示器26不透明时，显示器还可任选地显示完全由电脑生成的内容(例如，不显示真实世界图像)，从而为用户提供虚拟现实环境。
头戴式设备可任选地包括与显示器26串联堆叠的可调节部件。例如，头戴式设备可包括可调节的偏振器(例如，带有开关的偏振器，该偏振器允许可调节偏振器的选定区域被配置为充当垂直通过线性偏振器、水平通过线性偏振器、或非偏振区域)、可调谐镜头(例如，液晶可调谐镜头、基于电光材料的可调谐镜头、可调谐液体镜头、微机电系统可调谐镜头、或其它可调谐镜头)、可调节的滤色镜(例如，可调节的偏色滤光器，该偏色滤光器可被调节以表现出不同的偏色；和/或具有单偏色的单色强度可调滤光器)、和/或可调节的不透明度系统(例如，具有可调节的不透明度的层，用于在显示器是透明的时，提供黑暗背景)。显示器26中可以有任何合适数量的显示器像素(例如，0-1000、10-10,000、1000-1,000,000、1,000,000至10,000,000、多于1,000,000、少于1,000,000、少于10,000、少于100等)。
输入-输出电路52可包括部件，诸如用于采集数据和用户输入以及用于向用户提供输出的输入-输出设备60。设备60可包括注视追踪器诸如注视追踪器62(有时被称为注视追踪系统或注视追踪相机)和相机诸如相机64。
注视追踪器62可包括相机和/或其他注视追踪系统部件(例如，发射光束的光源，使得可检测来自用户眼睛的光束的反射)以监测用户的眼睛。一个或多个注视追踪器62可面向用户的眼睛并且可追踪用户的注视。注视追踪系统中的相机可确定用户眼睛的位置(例如，用户的瞳孔的中心)，可确定其中用户的眼睛的取向方向(用户的注视方向)，可确定用户的瞳孔尺寸(例如，使得光调制和/或其他光学参数、和/或用来在空间上调节这些参数中的一个或多个的循序量、和/或在其中调节这些光学参数中的一个或多个的区域，这些区域基于瞳孔尺寸来调节)，可用于监测镜头在用户眼睛中的当前焦距(例如，用户是聚焦于近场还是远场，这可用于评估用户是在做白日梦还是在战略性或策略性地思考)、和/或其他注视信息。注视追踪系统中的相机有时可被称为内向相机、注视检测相机、眼睛追踪相机、注视追踪相机或眼睛监测相机。如果需要，还可使用其他类型的图像传感器(例如，红外和/或可见光发光二极管和光检测器等)来监测用户的注视。注视追踪器62中的注视检测相机的使用仅仅是例示性的。
相机诸如一个或多个前向相机64(有时称为前向相机模块64或相机模块64)可用于捕获用户周围的真实世界环境的图像。例如，一个或多个前向相机64可用于捕获用户前面和用户视野的左侧和右侧上的真实世界物体的图像。以这种方式收集的真实世界物体的图像可在显示器26上呈现给用户，以及/或者可由控制电路50处理以确定电子设备(例如，显示器等)、人、建筑物和其他真实世界物体相对于用户的位置。还可使用图像处理算法分析真实世界环境。来自相机64的信息可用于控制显示器26。
前向相机64可用作获取用户真实世界环境的图像的透视相机。然后在显示器26上显示对应于用户视野的真实世界图像(由注视追踪器和头戴式设备的位置确定)。由此，用户感知到他们正在查看真实世界(使用透视相机和显示器查看，由此来复制真实世界)。
除了基于来自注视追踪器62和/或前向相机64的信息来调节诸如显示器26的部件之外，控制电路50可收集来自其它输入输出电路52的传感器数据和用户输入，以用于控制头戴式设备10。如图1所示，输入输出设备60可包括位置和运动传感器66(例如，罗盘，陀螺仪，加速度计，和/或用于监测头戴式设备10的位置、取向和移动的其他设备，卫星导航系统电路诸如用于监测用户位置的全球定位系统电路等)。例如，控制电路50可使用传感器66监测用户头部相对于周围环境取向的当前方向。也可使用传感器66监测用户头部的移动(例如，向左和/或向右移动，以追踪屏幕上的对象和/或查看另外的真实世界对象)。
输入输出设备60还可包括其它传感器和输入输出部件70(例如，环境光传感器、力传感器、温度传感器、触摸传感器、按钮、电容式接近传感器、基于光的接近传感器、其它接近传感器、应变仪、气体传感器、压力传感器、湿度传感器、磁传感器、麦克风、扬声器、音频部件、触觉输出设备、发光二极管、其它光源等)。电路52可包括有线和无线通信电路74，该有线和无线通信电路允许头戴式设备10(例如，控制电路50)与外部设备(例如，遥控器、操纵杆和其他输入控制器、便携式电子设备、计算机、显示器等)通信，并且允许在头戴式设备10的不同位置处的部件(电路)之间传送信号。头戴式设备10可包括任何其它所需的部件。例如，头戴式设备可包括电池。
头戴式设备10的部件可由头戴式支撑结构诸如图2的例示性支撑结构16支撑。支撑结构16可具有一对眼镜的框架的形状(例如，左和右镜腿和其它框架构件)，可具有头盔形状，或可具有另一头部可安装的构型。当佩戴在用户的头部上时，用户可在显示器26为透明显示器的构型中透过显示器26查看真实世界物体诸如物体30。在其中显示器26不透明的构型中，用户的眼睛12可被阻挡而无法查看物体30。显示器26由支撑结构16支撑，并且当佩戴在用户的头部上时，被放置在用户眼睛12的前面。
支撑结构16可在另外的位置诸如位置38、40和42处支撑另外的部件。例如，部件可安装在位置38中的支撑结构16的前面。在输入输出电路52中的前向相机64和/或传感器和其它部件可安装在位置38中。位置38中的部件可用于检测真实世界物体(例如，物体30)的位置和/或用于捕获真实世界的图像。物体30可包括天然和人造物体、人、建筑物、眩光源诸如反射物体、太阳、灯等。
输入输出设备60诸如位置和运动传感器66、光检测器或其它所需的输入输出设备可安装在位置40中。位置40中的部件可面向用户的环境(例如，远离用户的面向外部的部件)。相比之下，位置42中的部件可面向用户(例如，面向用户的面向内部的部件)。输入输出设备60诸如注视追踪器62(图像传感器)、扬声器(例如听筒)、或播放音频的其他音频部件(例如，与计算机生成的图像和/或其他内容相关联的音频、和/或使用显示器26显示的其他内容等)、或其他所需的输入输出设备，可安装在位置42中。
显示器26可为视觉聚焦显示器。使用注视追踪(例如，使用注视追踪器62捕获关于用户在显示器26上的注视的位置的信息)，设备10可确定显示器26的哪个部分仅由用户的周边视觉查看，以及显示器26的哪个部分直接(非周边地)由用户查看(例如，在和其中评估视敏度的用户眼睛小凹对应的用户视野最中间的5°内)。和直接查看的显示器26的部分相比，用户对位于用户周边视觉内的显示器26的部分中的伪影和低分辨率较不敏感。因此，设备10可以不同分辨率显示图像的不同部分。
图3示出了在佩戴头戴式设备10时对应于用户的视野的视野90。用户可在显示器26的区域94处查看。因此，区域94中显示器上的图像可以相对高分辨率呈现。如果需要，图像可以高分辨率跨用户的整个视野呈现在显示器上。然而，为了节省处理负担和功率消耗，用户未直接查看(例如，用户的周边视觉)的显示器区域诸如区域92，可呈现低分辨率图像(例如，以比区域94的分辨率更低的分辨率)。
在一些情况下(例如，当设备处于透视模式时)，显示器26显示与用户在不存在头戴式设备时所看到的相对应的真实世界图像。当设备处于透视模式时，整个显示器可显示由设备中的相机(例如，图1中的前向相机64)捕获的真实世界图像。在该模式下，显示器可在区域94中呈现与真实世界对应的高分辨率图像。因此，前向相机64必须能够捕获高分辨率图像。然而，仅需要低分辨率图像数据以在区域92中显示低分辨率图像。
如果需要，前向相机64可仅捕获高分辨率图像。控制电路50然后可处理图像数据以在区域94中呈现高分辨率图像，同时在区域92中呈现较低分辨率图像。换句话讲，被捕获的高分辨率图像数据中的一些被废弃以在区域92中呈现较低分辨率图像。但是，捕获多余的图像数据(最终将被废弃)可能占用宝贵的处理和电力资源。因此，前向相机64不捕获多余的高分辨率图像数据，而是可仅捕获对应于正在被直接查看的用户视野的部分的高分辨率图像。前向相机64捕获对应于用户的周边视觉中的真实世界物体的较低分辨率图像数据。调节前向相机64以仅捕获用户视野的选定部分中的高分辨率图像数据，可减少头戴式设备10内的处理负担和功率消耗。
相机模块64(有时称为面向外部相机或成像系统)存在多个可能的布置，这些布置允许相机模块选择性地捕获高分辨率图像。例如，前向相机可包括具有两个或更多个像素密度的图像传感器、畸变镜头和/或一个或多个平面或曲面反射镜。可调节相机模块中部件的任一个，以改变场景的哪个部分以高分辨率图像数据被捕获。
图4为具有图像传感器的例示性相机模块64的横截面侧视图，所述图像传感器跨传感器具有非恒定的像素密度。如图4所示，相机模块64包括具有第一像素密度部分103A和第二像素密度部分103B的图像传感器102。第一像素密度部分103A和第二像素密度部分103B具有不同的相应像素密度。具体地讲，图像传感器102的第二像素密度部分103B可具有比第一像素密度部分103A更大的像素密度。因此，第二像素密度部分103B可被称为高像素密度部分103B，并且第一像素密度部分103A可被称为低像素密度部分103A。高像素密度部分103B可具有比低像素密度部分103A更多的每英寸像素数(PPI)。高像素密度部分103B将捕获分辨率比低像素密度部分103A更高的图像数据。
相机模块64可包括一个或多个镜头，诸如镜头104，用于将对应于所捕获的真实世界场景(例如，光80)的入射光聚焦到图像传感器102上。一些入射光(例如，所捕获场景的第一部分)将被图像传感器的高像素密度部分103B接收，而一些入射光(例如，所捕获场景的第二部分)将被图像传感器的低像素密度部分103A接收。因此，得到的所捕获场景的第一部分将为高分辨率图像数据，而得到的所捕获场景的第二部分为低分辨率图像数据。
相机模块64还可包括用于调节图像传感器102的位置的定位设备106。具体地讲，定位设备106可调节图像传感器102的位置以调节入射光的哪个部分(例如，所捕获场景的哪个部分)由图像传感器的高像素密度部分成像。箭头108示出了图像传感器可如何通过定位设备106横向偏移(例如，在XY平面内)。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)将图像传感器102定位在镜头104下方。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。然后定位设备106可移动图像传感器102，使得图像传感器的高像素密度部分103B接收对应于用户注视点的光(例如，用户正在查看的场景的部分)。
定位设备106可包括任何所需的部件。例如，定位设备可包括马达(例如伺服马达、齿轮马达、无刷马达等)、线性电磁致动器(例如螺线管)、压电设备、电活性聚合物、气动致动器和任何其它合适类型的致动器中的一者或多者。定位设备106可被配置为在XY平面内移动图像传感器102，沿Z轴垂直移动图像传感器102，以及/或者倾斜图像传感器102(使得图像传感器相对于XY平面成角度)。
如果需要，相机模块64的部件可形成在外壳100中(有时称为相机模块外壳100)。外壳100可支撑图像传感器102、镜头104和/或定位设备106。
图像传感器102可具有增大的像素区域以考虑图像传感器在镜头104下方的移动。具体地讲，期望图像传感器102捕获对应于所捕获场景的所有入射光，而不考虑高像素密度部分103B的位置。当高像素密度像素部分103B在镜头104下方居中时(如图4所示)，图像传感器(102P)的周边可能不接收入射光。然而，考虑图4中的示例，其中图像传感器沿X轴横向位移(例如，以对齐镜头104的最右边缘下方的高像素密度部分103B)。图像传感器的周边部分可位移以在当前接收入射光(例如，来自镜头104的最左侧边缘)。因此，确保图像传感器102具有比捕获所有入射光所需的面积更大的面积(同时传感器居中)，以确保即使传感器被位移以将传感器的高像素密度部分移动到所捕获场景的边缘，仍将捕获所有入射光。
图5是显示图像传感器102的顶视图，该图像传感器可具有高像素密度区域103B和低像素密度区域103A。如图5所示，低像素密度区域103A可横向围绕高像素密度区域103B。该示例仅仅是例示性的。如果需要，图像传感器102可包括任何期望数量的不同像素密度区域，其中每个像素密度区域具有任何期望的形状和任何期望的像素密度。如果需要，可在相邻像素密度区域的像素密度之间存在逐渐过渡。
图4和图5中具有不同像素密度区域的图像传感器102的示例仅仅是例示性的。如果需要，相机模块可相反使用畸变镜头来放大所捕获场景的一部分，从而获得所捕获场景的部分的高分辨率图像数据。在图6中示出了该种类型的布置。
如图6所示，相机模块64包括图像传感器102，该图像传感器跨自身具有固定像素密度。类似于图4，图像传感器102可接收来自镜头的入射光80。然而，在图4中，将光提供至具有均匀角分辨率的图像传感器102。相比之下，在图6中，将光提供至具有变化的角分辨率的图像传感器102。具体地讲，和镜头周边的光相比，镜头中心内的光(例如)可跨图像传感器102的更大对应区域传播。如图6所示，对应于镜头的第一区域110的光可传播到图像传感器的更大区域112上。换句话讲，在镜头104D的区域110处接收的所捕获场景的部分被镜头104D放大。如果镜头不扭曲光，在区域110处接收的光以更多的像素传播。以更多像素捕获入射光的相同区域的图像数据，意味着图像数据将比图像传感器的其它部分的图像数据具有更高分辨率。
概括地说，镜头104D可扭曲入射光以在比不扭曲光时更大的像素区域上光学拉伸(例如，放大)所捕获场景的选定部分(例如，镜头104D选择性地增大所捕获场景的选定部分的角分辨率)。因此，图像传感器获得所捕获场景的选定部分的高分辨率图像数据。所捕获场景的其余部分未被光学拉伸(并且可以是光学压缩的)。因此，图像传感器获得所捕获场景的剩余部分的低分辨率图像数据(具有至少比高分辨率图像数据更低的分辨率)。
相机模块64还可包括用于调节镜头104D的位置的定位设备106。具体地讲，定位设备106可调节镜头104D的位置以调节入射光的哪个部分(例如，所捕获场景的哪个部分)被镜头光学拉伸以获得高分辨率图像数据。箭头108示出了镜头可如何通过定位设备106横向位移(例如，在XY平面内)。定位设备106可被配置为在XY平面内移动畸变镜头104D，沿Z轴垂直移动畸变镜头104D和/或倾斜畸变镜头104D(使得畸变镜头相对于XY平面成角度)。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位畸变镜头104D。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动畸变镜头104D，使得所捕获图像的光学拉伸部分(例如，区域110)对应于用户的注视点(例如，用户正在查看的场景的部分)。
在另一个实施方案中，附加光学部件可包括在相机模块64中，以使图像传感器102能够生成高分辨率图像数据。如图7所示，反射镜诸如反射镜114可插置在镜头104与图像传感器102之间的光学路径中。反射镜114可具有任何期望的形状(例如，弯曲的或平面的)。另外，如果需要，可将多于一个的反射镜(例如，反射镜阵列)包括在镜头104与图像传感器102之间的光学路径中。
在图7中，图像传感器102可以是具有固定像素密度的图像传感器(类似于图6中所示)，并且镜头104可不是畸变镜头(例如，类似于图4中的镜头104)。然而，反射镜114可扭曲入射图像光(类似于图6的畸变镜头104D)。换句话讲，反射镜114可扭曲来自镜头104的入射光以在比光未扭曲时更大的像素区域上光学拉伸(例如，放大)所捕获场景的选定部分。因此，图像传感器获得所捕获场景的选定部分的高分辨率图像数据。所捕获场景的其余部分未被光学拉伸(并且可以是光学压缩的)。因此，图像传感器获得所捕获场景的剩余部分的低分辨率图像数据(具有至少比高分辨率图像数据更低的分辨率)。
相机模块64还可包括用于调节反射镜114的位置的定位设备106。具体地讲，定位设备106可调节反射镜114的位置以调节入射光的哪个部分(例如，所捕获场景的哪个部分)被反射镜光学拉伸以获得高分辨率图像数据。箭头116示出了反射镜可如何通过定位设备106旋转(例如，围绕中心轴线118旋转)。定位设备106还可被配置为在XY平面内移动反射镜114，沿Z轴垂直移动反射镜114以及/或者倾斜反射镜114。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位反射镜114。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动反射镜114，使得所捕获图像的光学拉伸部分对应于用户的注视点(例如，用户正在查看的场景的部分)。
在另一个实施方案中，如图8中所示，可变形反射镜诸如可变形反射镜120可插置在镜头104与图像传感器102之间的光学路径中。在图8中，图像传感器102具有两个或更多个像素密度区域，诸如高像素密度区域103B和低像素密度区域103A。可变形反射镜120可确定所捕获场景的哪个部分被导向至高像素密度区域103B。具体地讲，可变形反射镜120可具有两个或更多个状态，其中来自镜头104的入射光80被导向至图像传感器102上的不同位置。如图8所示，可变形反射镜120具有第一状态和第二状态，在该第一状态中反射镜具有第一形状120A，在该第二状态中反射镜具有第二形状120B。定位设备106可在不同形状(诸如120A和120B)之间调节可变形反射镜120，以控制所捕获场景的哪个部分被导向到图像传感器的高像素密度区域103B。
定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)控制可变形反射镜120的形状。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可控制可变形反射镜120的形状，使得对应于用户的注视点(例如，用户正在查看的场景的部分)的所捕获图像部分被导向至图像传感器的高像素密度区域。
图7和图8中的单个反射镜的使用仅是例示性的。在图7和图8中，可使用反射镜阵列以在镜头102和图像传感器104之间重新导向光。通过定位设备106，可独立地控制反射镜阵列中的每个反射镜(例如，如图7中所示旋转，或如图8中所示变形)。
前述示例仅为例示性的，并且可对相机模块进行各种修改。具体地讲，在相机模块中可使用高畸变镜头、不具有高畸变的镜头(有时称为低畸变镜头)、可变形反射镜、可旋转反射镜、具有恒定像素密度的图像传感器以及具有可变像素密度的图像传感器的任何期望组合。另外，定位设备可以任何期望的方式移动相机模块中部件的任一个。
图9示出了具有镜头104以及由定位设备106控制的可变形反射镜120的相机模块(类似于图8中的相机模块)。然而，在图8中，图像传感器102具有变化的像素密度，而在图9中，图像传感器102具有固定像素密度。在图9中，镜头104或反射镜120可光学拉伸入射光以产生高分辨率图像数据。例如，镜头104可为放大所捕获场景的一部分的高畸变镜头(如图6中所示)。另选地，反射镜120可扭曲所捕获场景的选定部分(与结合图7所述类似)。定位设备106可控制可变形反射镜120的形状和/或可控制镜头104的位置。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)控制相机模块64中的部件。
在另一个实施方案中，平面反射镜诸如平面反射镜114可插置在镜头104与图像传感器102之间的光学路径中，如图10中所示。在该实施方案中，镜头104可以是低畸变镜头，并且平面反射镜114可能不扭曲入射光。因此，图像传感器102可为具有高像素密度部分103B和低像素密度部分103A的可变像素密度图像传感器，以能够捕获高分辨率图像数据。平面反射镜114被定位成将所捕获场景的所需部分导向至高像素密度部分103B。所捕获场景的其余部分被导向至低像素密度部分103A。因此，图像传感器获得所捕获场景的所需部分的高分辨率图像数据以及所捕获场景的剩余部分的低分辨率图像数据(具有至少比高分辨率图像数据更低的分辨率)。
相机模块64还可包括用于调节平面反射镜114的位置的定位设备106。具体地讲，定位设备106可调节平面反射镜114的位置以调节入射光的哪个部分(例如，所捕获场景的哪个部分)由高像素密度区域103B接收。箭头116示出了反射镜可如何通过定位设备106旋转(例如，围绕中心轴线118旋转)。定位设备106还可被配置为在XY平面内移动反射镜114，沿Z轴垂直移动反射镜114以及/或者倾斜反射镜114。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位反射镜114。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动反射镜114，使得被导向至高像素密度区域103B的捕获图像的部分对应于用户的注视点(例如，用户正在查看的场景的部分)。
图11示出了类似于图10实施方案的实施方案，其中两个实施方案均具有可旋转平面反射镜114。然而，在图10中，镜头104为低畸变镜头，而在图11中，畸变镜头104D放大图像的选定部分。如图11所示，畸变镜头104D光学拉伸所捕获场景的一部分(与结合图6所述类似)。定位设备可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)来控制平面反射镜114的位置和/或畸变镜头104D的位置。图11示出了具有固定像素密度的图像传感器，但如果需要，图像传感器可具有变化的像素密度。
图12示出类似于图7的实施方案的实施方案，其具有镜头104、放大入射光的一部分的反射镜114、以及固定像素密度图像传感器102。镜头104可向曲面反射镜114提供具有均匀角分辨率的光。然后，反射镜114将光的一部分放大，并朝向图像传感器102重新导向光。然而，在图7中定位设备控制反射镜114的位置以控制场景的哪个部分被放大以用于高分辨率图像数据。相比之下，在图12中，定位设备106控制镜头104的位置以控制场景的哪个部分被导向至反射镜114的放大部分。
箭头108示出了镜头可如何通过定位设备106横向位移(例如，在XY平面内)。定位设备106可被配置为在XY平面内移动镜头104，沿Z轴垂直移动镜头104和/或倾斜镜头104(使得镜头相对于XY平面成角度)。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位镜头104。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动镜头104，使得被导向到反射镜114的放大部分的所捕获图像的部分对应于用户的注视点(例如，用户正在查看的场景的部分)。
图13示出了类似于图4的实施方案的实施方案，其具有镜头104和可变像素密度图像传感器102，该可变像素密度图像传感器具有高像素密度区域103B和低像素密度区域103A。镜头104可向可变像素密度图像传感器102提供具有均匀角分辨率的光。然而，在图4中，定位设备控制图像传感器102的位置以控制场景的哪个部分被高像素密度区域103B接收。相比之下，在图13中，定位设备106控制镜头104的位置以控制场景的哪个部分被导向至图像传感器的高像素密度区域103B。
箭头108示出了镜头可如何通过定位设备106横向位移(例如，在XY平面内)。定位设备106可被配置为在XY平面内移动镜头104，沿Z轴垂直移动镜头104和/或倾斜镜头104(使得镜头相对于XY平面成角度)。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位镜头104。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动镜头104，使得对应于用户的注视点(例如，用户正在查看的场景的部分)的所捕获图像部分被导向至图像传感器的高像素密度区域103B。
在图14中所示的另一个实施方案中，相机模块64可包括类似于图10的实施方案的镜头104、反射镜114和可变像素密度图像传感器102。在图10中，反射镜114为平面的，而在图14中，反射镜114是曲面的。图14中的镜头104可为低畸变镜头。图像传感器102可为具有高像素密度部分103B和低像素密度部分103A的可变像素密度图像传感器，以能够捕获高分辨率图像数据。反射镜114被定位成将所捕获场景导向至图像传感器。所捕获场景的第一部分被高像素密度部分103B接收和成像，并且所捕获场景的剩余部分被低像素密度部分103A接收和成像。因此，图像传感器获得所捕获场景的一部分的高分辨率图像数据以及所捕获场景的剩余部分的低分辨率图像数据(具有至少比高分辨率图像数据更低的分辨率)。曲面反射镜114可任选地放大图像的一部分，以另外增大图像数据的分辨率。
相机模块64还可包括用于调节图像传感器102的位置的定位设备106。具体地讲，定位设备106可调节图像传感器102的位置以调节入射光的哪个部分(例如，所捕获场景的哪个部分)由图像传感器的高像素密度部分成像。箭头108示出了图像传感器可如何通过定位设备106横向位移(例如，在YZ平面内)。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位图像传感器102。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。然后定位设备106可移动图像传感器102，使得图像传感器的高像素密度部分103B接收对应于用户注视点的光(例如，用户正在查看的场景的部分)。
图15示出了相机模块64的另一个实施方案。在图15中，相机模块64包括将光聚焦在图像传感器102上的高畸变镜头104D。外壳100支撑图像传感器102和镜头104D。图像传感器是固定像素密度图像传感器。畸变镜头104D放大所捕获场景的一部分，使得为所捕获场景的部分获得高分辨率图像数据。在图6中，定位设备106移动镜头104D以控制所捕获场景的哪个部分被放大。相比之下，图15中的定位设备106改变外壳100的位置(如例如箭头124所示)以控制所捕获场景的哪个部分被放大。定位设备106可旋转或位移外壳100的位置以改变镜头104D和图像传感器102所指向的方向。定位设备106可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)定位外壳100。该传感器信息可用于确定用户的注视点(例如，用户正在查看的点)。定位设备106然后可移动外壳100，使得镜头104D放大对应于用户注视点的入射光(例如，用户正在查看的场景的部分)。
图15中与静止的高畸变镜头和静止的固定像素密度图像传感器一起使用的可移动外壳的示例仅为例示性的。一般来讲，前述实施方案中的任一个可包括可旋转或位移外壳100的位置的定位设备。例如，如图15所示的可移动外壳可包括可变像素密度图像传感器、平面反射镜、曲面反射镜、可变形反射镜和/或低畸变镜头，并且这些部件中的任一个的位置可通过定位设备来调节。
在图16中所示的另一个实施方案中，相机模块64包括分束器，诸如分束器126。分束器126(例如，棱镜)将入射光80分离到两个图像传感器上：图像传感器102H和图像传感器102L。图像传感器102H可具有比图像传感器102L更高的分辨率(例如，每英寸更多的像素数)。因此，图像传感器102H有时可被称为高分辨率图像传感器，并且图像传感器102L有时可被称为低分辨率图像传感器。头戴式设备中的控制电路(例如，图1中的控制电路50)可动态地选择将高分辨率图像传感器102H和/或低分辨率图像传感器102L中的哪些部分读出。然后可将图像数据组合以形成在所需位置具有高分辨率图像数据并且在剩余部分中具有低分辨率图像数据的单个图像。控制电路50可基于传感器信息(例如，来自注视追踪器62和/或位置和运动传感器66的信息)诸如注视点的信息来选择将每个传感器的哪些部分读出。
图17示出了相机模块64的另一个实施方案。在图17中，相机模块包括可变形镜头。如图17中所示，图像传感器102和镜头128形成于相机模块64的外壳100中。镜头128为可变形镜头(有时称为形状变化镜头或适应性强的镜头)。可控制镜头128(例如，通过设备106)以具有期望的形状。例如，镜头128可在第一形状129A和第二形状129B之间变化。镜头128的不同形状可各自具有不同的角分辨率特征，同时保持相同的焦点。由此，所捕获场景可聚焦到图像传感器102上(无论镜头的形状如何)。然而，可变形的镜头的不同形状可允许所捕获场景的不同部分被放大(针对高分辨率图像数据)。例如，当镜头具有形状129A时，镜头的部分130A可放大入射光的第一部分(例如，增大相对于周围镜头部分的光的角分辨率)。当镜头具有形状129B时，镜头的部分130B(与部分130A不同)可放大入射光的第二不同部分。由此，可控制镜头的形状以选择入射光的一部分进行光学拉伸。因此，可控制镜头的形状以获得所捕获场景的选定部分的高分辨率图像数据。镜头可在任何所需数量的形状(例如，两个、三个、四个、多于四个、多于十个、小于二十个等)之间变化，其中每个形状具有由图像传感器102获得的图像数据的相关联分辨率。
镜头128可以任何所需的方式形成，该方式允许镜头改变形状。例如，镜头可为基于液体体积改变形状的液体镜头。镜头可为基于电压改变形状的液晶镜头。如果需要，镜头可包括微机电系统(MEMS)。
图18为可在头戴式设备诸如图1中的头戴式设备10的操作期间执行的例示性方法步骤的流程图。如图18中所示，在步骤202处，控制电路(例如，图1中的控制电路50)可从头戴式设备中的输入设备收集信息。控制电路50可收集来自任何期望的输入设备的信息。例如，控制电路50可收集来自注视追踪相机62、位置和运动传感器66或任何其它期望的输入设备的信息。在步骤202收集的信息可包括注视点信息(例如，指示用户在查看何处的信息)。
接下来，在步骤204处，控制电路50可基于步骤202期间获得的信息(例如，注视点信息)来调节前向相机64。控制电路可以任何期望的方式来调节前向相机(例如，通过调节镜头的位置、镜头的形状、反射镜的位置、反射镜的形状、图像传感器的位置、或相机模块外壳的位置)。控制电路可调节前向相机，使得前向相机获得对应于用户注视点的场景的一部分的高分辨率图像数据，以及对应于用户视野的周边的场景部分的低分辨率图像数据。在调节了前向相机之后，前向相机可捕获随后显示在头戴式设备的显示器26上的图像数据。
根据一个实施方案，提供了一种头戴式设备，该头戴式设备包括：头戴式支撑结构；显示器，所述显示器由所述头戴式支撑结构支撑并且被配置为显示图像；相机模块，所述相机模块包括图像传感器，所述图像传感器被配置为基于来自真实世界物体的入射光和插置在所述入射光的光学路径中的光学部件来捕获所述图像；注视追踪系统，所述注视追踪系统被配置为获得注视点信息；以及控制电路，所述控制电路被配置为基于所述注视点信息来定位所述光学部件。
根据另一实施方案，所述相机模块包括镜头，所述光学部件为将光从所述镜头重新导向到所述图像传感器的反射镜，所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，并且所述控制电路被配置为将所述反射镜放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的一部分被导向至所述图像传感器的所述第二部分。
根据另一实施方案，所述光学部件为平面反射镜，并且所述控制电路被配置为基于所述注视点信息来旋转所述平面反射镜。
根据另一实施方案，所述光学部件为可变形反射镜，并且所述控制电路被配置为基于所述注视点信息来控制所述可变形反射镜的形状。
根据另一实施方案，该光学部件为镜头。
根据另一实施方案，镜头增加了入射光的一部分的角分辨率。
根据另一实施方案，所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度。
根据另一实施方案，定位所述光学部件控制所述入射光的哪个部分被导向至所述图像传感器的所述第二部分。
根据另一实施方案，所述控制电路被配置为将所述光学部件放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的所述部分被导向至所述图像传感器的所述第二部分。
根据另一实施方案，所述控制电路被配置为将所述光学部件放置在某一位置，在所述位置，所述图像传感器获得对应于用户的注视点的所述入射光的一部分的高分辨率图像数据。
根据另一实施方案，所述头戴式设备包括定位设备，所述定位设备被配置为调节所述光学部件的位置，所述控制电路被配置为使用所述定位设备来定位所述光学部件。
根据一个实施方案，提供了一种头戴式设备，该头戴式设备包括：头戴式支撑结构；相机模块，所述相机模块包括图像传感器，所述图像传感器被配置为基于来自真实世界物体的入射光来生成具有第一分辨率的第一图像数据和具有第二分辨率的第二图像数据，所述第二分辨率高于所述第一分辨率；注视追踪系统，所述注视追踪系统被配置为获得注视点信息；以及定位设备，所述定位设备被配置为基于所述注视点信息来调节所述图像传感器的所述位置。
根据另一实施方案，所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，所述图像传感器的所述第一部分生成所述第一图像数据，并且所述图像传感器的所述第二部分生成所述第二图像数据，并且所述定位设备被配置为将所述图像传感器放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的一部分被导向至所述图像传感器的所述第二部分。
根据另一实施方案，相机模块包括插置在入射光的光学路径上的镜头。
根据另一实施方案，所述相机模块包括反射镜，所述反射镜插置在所述镜头和所述图像传感器之间的所述入射光的所述光学路径上。
根据另一实施方案，所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度。
根据一个实施方案，提供了一种头戴式设备，该头戴式设备包括：头戴式支撑结构；相机模块，所述相机模块被配置为捕获真实世界场景的图像，所述真实世界场景的所述图像具有第一分辨率部分和第二分辨率部分，所述第二分辨率部分的分辨率比所述第一分辨率部分高；显示器，所述显示器由所述头戴式支撑结构支撑，所述显示器被配置为显示所述真实世界场景的所述图像；注视追踪系统，所述注视追踪系统由所述头戴式支撑结构支撑并且获得注视点信息；以及定位设备，所述定位设备被配置为基于所述注视点信息来调节所述相机模块中的部件，调节所述部件调节所述真实世界场景的哪个部分对应于所述真实世界场景的所述图像的所述第二分辨率部分。
根据另一实施方案，所述部件为所述相机模块的图像传感器，所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，并且调节所述部件包括移动所述图像传感器。
根据另一实施方案，该部件是相机模块的反射镜。
根据另一实施方案，所述部件为所述相机模块的镜头，并且调节所述部件包括调节所述镜头的形状。
前述内容仅为例示性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种头戴式设备，包括：
头戴式支撑结构；
显示器，所述显示器由所述头戴式支撑结构支撑并且被配置为显示图像；
相机模块，所述相机模块包括图像传感器，所述图像传感器被配置为基于来自真实世界物体的入射光和插置在所述入射光的光学路径中的光学部件来捕获所述图像；
注视追踪系统，所述注视追踪系统被配置为获得注视点信息；以及
控制电路，所述控制电路被配置为基于所述注视点信息来定位所述光学部件。
2.根据权利要求1所述的头戴式设备，其中所述相机模块还包括镜头，其中所述光学部件为将光从所述镜头重新导向到所述图像传感器的反射镜，其中所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，并且其中所述控制电路被配置为将所述反射镜放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的一部分被导向至所述图像传感器的所述第二部分。
3.根据权利要求1所述的头戴式设备，其中所述光学部件为平面反射镜，并且其中所述控制电路被配置为基于所述注视点信息来旋转所述平面反射镜。
4.根据权利要求1所述的头戴式设备，其中所述光学部件为可变形反射镜，并且其中所述控制电路被配置为基于所述注视点信息来控制所述可变形反射镜的形状。
5.根据权利要求1所述的头戴式设备，其中所述光学部件为镜头。
6.根据权利要求5所述的头戴式设备，其中所述镜头增大所述入射光的一部分的角分辨率。
7.根据权利要求1所述的头戴式设备，其中所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度。
8.根据权利要求7所述的头戴式设备，其中定位所述光学部件控制所述入射光的哪个部分被导向至所述图像传感器的所述第二部分。
9.根据权利要求8所述的头戴式设备，其中所述控制电路被配置为将所述光学部件放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的所述部分被导向至所述图像传感器的所述第二部分。
10.根据权利要求1所述的头戴式设备，其中所述控制电路被配置为将所述光学部件放置在某一位置，在所述位置，所述图像传感器获得对应于用户的注视点的所述入射光的一部分的高分辨率图像数据。
11.根据权利要求1所述的头戴式设备，还包括：
定位设备，所述定位设备被配置为调节所述光学部件的位置，其中所述控制电路被配置为使用所述定位设备来定位所述光学部件。
12.一种头戴式设备，包括：
头戴式支撑结构；
相机模块，所述相机模块包括图像传感器，其中所述图像传感器被配置为基于来自真实世界物体的入射光来生成具有第一分辨率的第一图像数据和具有第二分辨率的第二图像数据，所述第二分辨率高于所述第一分辨率；
注视追踪系统，所述注视追踪系统被配置为获得注视点信息；以及
定位设备，所述定位设备被配置为基于所述注视点信息来调节所述图像传感器的所述位置。
13.根据权利要求12所述的头戴式设备，其中所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，其中所述图像传感器的所述第一部分生成所述第一图像数据，并且所述图像传感器的所述第二部分生成所述第二图像数据，并且其中所述定位设备被配置为将所述图像传感器放置在某一位置，在所述位置，对应于用户的注视点的所述入射光的一部分被导向至所述图像传感器的所述第二部分。
14.根据权利要求12所述的头戴式设备，其中所述相机模块还包括插置在所述入射光的光学路径上的镜头。
15.根据权利要求14所述的头戴式设备，其中所述相机模块还包括反射镜，所述反射镜插置在所述镜头和所述图像传感器之间的所述入射光的所述光学路径上。
16.根据权利要求12所述的头戴式设备，其中所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度。
17.一种头戴式设备，包括：
头戴式支撑结构；
相机模块，所述相机模块被配置为捕获真实世界场景的图像，其中所述真实世界场景的所述图像具有第一分辨率部分和第二分辨率部分，所述第二分辨率部分的分辨率比所述第一分辨率部分高；
显示器，所述显示器由所述头戴式支撑结构支撑，其中所述显示器被配置为显示所述真实世界场景的所述图像；
注视追踪系统，所述注视追踪系统由所述头戴式支撑结构支撑并且获得注视点信息；以及
定位设备，所述定位设备被配置为基于所述注视点信息来调节所述相机模块中的部件，其中调节所述部件调节所述真实世界场景的哪个部分对应于所述真实世界场景的所述图像的所述第二分辨率部分。
18.根据权利要求17所述的头戴式设备，其中所述部件为所述相机模块的图像传感器，其中所述图像传感器具有带第一像素密度的第一部分和带第二像素密度的第二部分，所述第二像素密度高于所述第一像素密度，并且其中调节所述部件包括移动所述图像传感器。
19.根据权利要求17所述的头戴式设备，其中所述部件为所述相机模块的反射镜。
20.根据权利要求17所述的头戴式设备，其中所述部件为所述相机模块的镜头，并且其中调节所述部件包括调节所述镜头的形状。
CN201880092325.3A 2018-04-25 2018-09-18 具有主动光学视觉聚焦的头戴式设备 Active CN111971610B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862662410P 2018-04-25 2018-04-25
US62/662,410 2018-04-25
US16/130,775 2018-09-13
US16/130,775 US10642049B2 (en) 2018-04-25 2018-09-13 Head-mounted device with active optical foveation
PCT/US2018/051581 WO2019209364A1 (en) 2018-04-25 2018-09-18 Head-mounted device with active optical foveation

Publications (2)

Publication Number Publication Date
CN111971610A true CN111971610A (zh) 2020-11-20
CN111971610B CN111971610B (zh) 2022-08-30

Family

ID=68291101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092325.3A Active CN111971610B (zh) 2018-04-25 2018-09-18 具有主动光学视觉聚焦的头戴式设备

Country Status (4)

Country Link
US (2) US10642049B2 (zh)
EP (1) EP3785065B1 (zh)
CN (1) CN111971610B (zh)
WO (1) WO2019209364A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
US11619814B1 (en) * 2018-06-04 2023-04-04 Meta Platforms Technologies, Llc Apparatus, system, and method for improving digital head-mounted displays
US11030719B2 (en) * 2019-01-22 2021-06-08 Varjo Technologies Oy Imaging unit, display apparatus and method of displaying
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
WO2021055256A1 (en) 2019-09-17 2021-03-25 Akalana Management Llc Optical systems with lens-based static foveation
US11431955B1 (en) * 2019-12-03 2022-08-30 Facebook Technologies, Llc Systems and methods for temporal anti-aliasing
US12067161B1 (en) * 2020-04-23 2024-08-20 Apple Inc. Ultrasonic transducers for position tracking
CN111724754B (zh) * 2020-06-30 2021-04-09 上海松鼠课堂人工智能科技有限公司 针对在线学习系统的护眼方法及系统
CN115032788B (zh) 2021-03-05 2023-11-24 大立光电股份有限公司 头戴装置
US11935324B2 (en) * 2021-06-29 2024-03-19 Lenovo (United States) Inc. Camera privacy switch and filter to inhibit biometric data collection
CN113438466B (zh) * 2021-06-30 2022-10-14 东风汽车集团股份有限公司 车外视野拓宽方法、系统、设备及计算机可读存储介质
TWM621801U (zh) 2021-08-16 2022-01-01 大立光電股份有限公司 頭戴裝置
US11871133B2 (en) * 2021-09-30 2024-01-09 Varjo Technologies Oy Gaze-based non-regular subsampling of sensor pixels
WO2023163799A1 (en) * 2022-02-23 2023-08-31 Qualcomm Incorporated Foveated sensing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008634A1 (en) * 2005-06-13 2007-01-11 Chen-Wei Chiu Image system and miniature deformable mirror thereof
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20130070109A1 (en) * 2011-09-21 2013-03-21 Robert Gove Imaging system with foveated imaging capabilites
CN105408801A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
CN105408802A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
US20180081178A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Predictive, foveated virtual reality system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6110360A (ja) 1984-06-26 1986-01-17 Canon Inc 画像処理装置
US6005682A (en) * 1995-06-07 1999-12-21 Xerox Corporation Resolution enhancement by multiple scanning with a low-resolution, two-dimensional sensor array
JP3832902B2 (ja) 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
JP2004163551A (ja) 2002-11-12 2004-06-10 Olympus Corp 撮像装置及びその制御方法
US20070109667A1 (en) * 2005-08-25 2007-05-17 Chen-Wei Chiu Optical focus system and zoom system including at least one deformable mirror therein
JP2007304123A (ja) * 2006-05-08 2007-11-22 Sony Corp 変形可能ミラー装置
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US20080165257A1 (en) * 2007-01-05 2008-07-10 Micron Technology, Inc. Configurable pixel array system and method
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
TW201126249A (en) * 2010-01-18 2011-08-01 Ability Entpr Co Ltd Photographic and projection device
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
CN104055478B (zh) 2014-07-08 2016-02-03 金纯� 基于视线追踪控制的医用内窥镜操控系统
US20160225191A1 (en) * 2015-02-02 2016-08-04 Daqri, Llc Head mounted display calibration
TWI569040B (zh) 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
WO2018005985A1 (en) * 2016-06-30 2018-01-04 Thalmic Labs Inc. Image capture systems, devices, and methods that autofocus based on eye-tracking
CA3057109A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008634A1 (en) * 2005-06-13 2007-01-11 Chen-Wei Chiu Image system and miniature deformable mirror thereof
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20130070109A1 (en) * 2011-09-21 2013-03-21 Robert Gove Imaging system with foveated imaging capabilites
CN105408801A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
CN105408802A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 用于头戴式显示器的眼睛跟踪系统
US20180081178A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Predictive, foveated virtual reality system

Also Published As

Publication number Publication date
CN111971610B (zh) 2022-08-30
US20190331919A1 (en) 2019-10-31
EP3785065B1 (en) 2023-10-11
US10642049B2 (en) 2020-05-05
WO2019209364A1 (en) 2019-10-31
US20200225489A1 (en) 2020-07-16
EP3785065A1 (en) 2021-03-03
US10962788B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
CN111971610B (zh) 具有主动光学视觉聚焦的头戴式设备
US11029521B2 (en) Head-mounted device with an adjustable opacity system
US10495885B2 (en) Apparatus and method for a bioptic real time video system
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US20130021374A1 (en) Manipulating And Displaying An Image On A Wearable Computing System
CA2875261C (en) Apparatus and method for a bioptic real time video system
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
JP2021535588A (ja) ウエハーツーウエハーボンディングのためのメサ形成
US10764567B2 (en) Display apparatus and method of displaying
WO2020021160A1 (en) Display apparatus and method of displaying using curved optical combiner
CN209311783U (zh) 头戴式设备
US11768376B1 (en) Head-mounted display system with display and adjustable optical components
US20240056563A1 (en) Transparent Display with Blur Effect for Physical Objects
WO2024036006A1 (en) Transparent display with blur effect for physical objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant