CN117222932A - 眼部佩戴设备投影仪亮度控制 - Google Patents
眼部佩戴设备投影仪亮度控制 Download PDFInfo
- Publication number
- CN117222932A CN117222932A CN202280026210.0A CN202280026210A CN117222932A CN 117222932 A CN117222932 A CN 117222932A CN 202280026210 A CN202280026210 A CN 202280026210A CN 117222932 A CN117222932 A CN 117222932A
- Authority
- CN
- China
- Prior art keywords
- image
- feedback loop
- brightness
- eyewear device
- resistor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 25
- 238000004378 air conditioning Methods 0.000 claims description 5
- 230000005669 field effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 28
- 230000000712 assembly Effects 0.000 description 23
- 238000000429 assembly Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 230000004886 head movement Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000004424 eye movement Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- XBBRGUHRZBZMPP-UHFFFAOYSA-N 1,2,3-trichloro-4-(2,4,6-trichlorophenyl)benzene Chemical compound ClC1=CC(Cl)=CC(Cl)=C1C1=CC=C(Cl)C(Cl)=C1Cl XBBRGUHRZBZMPP-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004266 retinal recognition Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0606—Manual adjustment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
Abstract
眼部佩戴设备包括投影仪,该投影仪具有可变反馈回路,其控制输送到有色光源的正向电流。有色光源被配置为产生有色光束,以生成显示图像。在一示例中,可变反馈回路具有可变电阻,以当该眼部佩戴设备在室外或在高环境光下操作时,选择性地生成高亮度图像;以及,当该眼部佩戴设备在室内操作时,选择性地生成标称亮度图像。控制器选择性地控制输送到有色光源的驱动电流,以控制图像的亮度模式。
Description
相关申请的交叉引用
本申请要求2021年3月31日提交的美国临时申请第63/168,377号的优先权,通过引用将其全部内容并入本文中。
技术领域
本发明主题涉及眼部佩戴设备(eyewear)领域。
背景技术
增强现实(AR)和虚拟现实(VR)眼镜具有生成用户可观看的图像的投影仪。
附图简要说明
附图仅以示例而非限制性的方式示出了一个或多个实施方案。在这些图中,类似的附图标记指代相同或类似的元件。
图1A是眼部佩戴设备的硬件配置示例的侧视图,其中示出了具有图像显示器的右光学组件,并且,视场调整被应用到基于检测到的用户头部和眼部运动而呈现在图像显示器上的用户界面;
图1B是图1A所示眼部佩戴设备的太阳穴部的俯视剖视图,其中示出了可见光相机、用于跟踪眼部佩戴设备用户的头部运动的头动跟踪器、及电路板;
图2A是眼部佩戴设备硬件配置示例的后视图,其中包括位于镜架上的眼部扫描仪(eye scanner),用于用于识别眼部佩戴设备用户的系统中;
图2B是另一种眼部佩戴设备的硬件配置示例的后视图,其中包括位于太阳穴部上的眼部扫描仪,用于用于识别眼部佩戴设备用户的系统中;
图2C和图2D是眼部佩戴设备硬件配置示例的后视图,其中包括两种不同类型的图像显示器:
图3是图2A所示眼部佩戴设备的后视立体图,示出了红外发射器、红外相机、镜架前部、镜架后部和电路板;
图4是通过图3所示眼部佩戴设备的红外发射器和镜架的剖视图;
图5是检测眼睛注视方向的示意图;
图6是检测眼睛位置的示意图;
图7示出了左可见光相机捕获的可见光作为左原始图像和右可见光相机捕获的可见光作为右原始图像的示例;
图8A是被配置用于生成可视化图像的投影仪的侧视图;
图8B是一外壳的侧剖视图,该外壳包含参照图8A所述系统的各部件;
图8C示出了系统中作为投影仪照明部分的部分及作为投影镜头的部分;
图8D示出了系统尺寸与场镜曲率的函数关系图;
图8E示出了一种产生穿过场镜的偏心光束并使显示器位移从而生成具有角度视轴偏移(angular boresight offset)的显示图像的方法;
图9示出了包括投影仪的眼部佩戴设备的各电子元件的框图;
图10是控制器的一部分的示意图,其在很大的亮度范围内选择性地控制多个LED的强度;
图11是一表格,示出了提供给所选光源的正向电流与所选反馈电阻值的函数关系;及
图12示出了图像亮度控制的操作方法。
具体实施方式
本发明涉及眼部佩戴设备,其包括投影仪,该投影仪具有可变反馈回路,控制输送到有色光源的正向电流。有色光源被配置为产生有色光束,以生成显示图像。在一示例中,可变反馈回路具有可变电阻,以当眼部佩戴设备在室外操作时(例如,在高环境光下)选择性地生成高亮度图像;以及,当眼部佩戴设备在室内操作时选择性地生成标称亮度图像。控制器选择性地控制输送到有色光源的驱动电流,以控制图像的亮度模式。
本文示例的其他目的、优点和新颖特征将在下文的描述中作部分阐述,并且,本领域技术人员在阅读下文和附图后将部分了解这些目的、优点和新颖特征,或者,可通过这些示例的生产或操作了解到这些目的、优点和新颖特征。本发明主题的目的和优点可通过所附权利要求中特别指出的方法、工具和组合来实现和达到。
在下面的详细描述中,通过举例说明了许多具体细节,以提供对相关教导的透彻理解。然而,对于本领域技术人员来说,很明显,本教导可在没有这些细节的情况下实施。在其他情况下,众所周知的方法、程序、部件和电路已在相对较高的层面上进行了描述,而没有详细说明,以避免不必要地掩盖本教导的各个方面。
本文使用的术语“耦合(coupled)”是指任何逻辑、光学、物理或电气连接、链接或类似方式,通过这种方式,一个系统元件产生或提供的信号或光被传递到另一个耦合元件(coupled element)。除非另有说明,否则耦合元件或装置不一定直接相互连接,而是可被可修改、操纵或传输光或信号的中间部件、元件或通信介质(communication media)分隔开。
如任意附图中所示的眼部佩戴设备、相关联部件及任意包含眼部扫描仪(eyescanner)和相机(camera)的完整装置的方向仅供举例说明和讨论之用。在特定可变光学处理应用的操作中,该眼部佩戴设备可以适合该眼部佩戴设备特定应用的任何其他方向定向,例如,向上、向下、侧向或任何其他方向。此外,在本文使用的范围内,任何方向性术语,如前、后、向内、向外、朝向(朝着,或向着等类似词语)、左、右、横向、纵向、向上、向下、上、下、顶、底和侧,仅作为示例使用,并不限制本文所描述的任何光学器件或任何光学器件部件的方向或取向。
现在详细参照附图中示出并在下文中讨论的示例。
图1A是眼部佩戴设备(eyewear device)100的硬件配置示例的侧视图,该眼部佩戴设备100包括具有图像显示器(image display)180D的右光学组件(right opticalassembly)180B(图2A)。眼部佩戴设备100包括多个可见光相机(visible light cameras)114A-B(图7),它们构成一立体相机(stereo camera),其中,右可见光相机114B位于右太阳穴部(right temple)110B上。
左和右可见光相机114A-B具有对可见光范围波长敏感的图像传感器。每个可见光相机114A-B都具有不同的朝向前方的覆盖角(angle of coverage),例如,可见光相机114B具有图示的覆盖角111B。该覆盖角是可见光相机114A-B的图像传感器接收电磁辐射并生成图像的角度范围。这种可见光相机114A-B的例子包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)相机,如640p(如640x480像素,总像素为30万)、720p或1080p。可见光相机114A-B的图像传感器数据与地理位置数据一起采集,由图像处理器进行数字化处理,并存储在存储器中。
为了提供立体视觉,可见光相机114A-B可耦合至图像处理器(图9中的元件912),用于与捕获场景图像的时间戳(timestamp)一起进行数字处理。图像处理器912包括接收来自可见光相机114A-B的信号并将这些来自可见光相机114A-B的信号处理成适合存储在存储器(图9的元件934)中的格式的电路系统(circuitry)。该时间戳可由图像处理器912或其他处理器(其控制可见光相机114A-B的操作)添加。可见光相机114A-B允许立体相机模拟人类的双眼视觉(human binocular vision)。立体相机提供根据可见光相机114A-B分别捕捉到的具有相同时间戳的两幅具有重叠视场713(图7)的图像(图7中的元件758A-B)再现三维图像(图7中的元件715)的能力。这样的三维图像715可以实现身临其境的逼真体验,例如,用于虚拟现实或视频游戏。对于立体视觉来说,该对图像758A-B是在给定的时刻生成的——左和右可见光相机114A-B各一个图像。当来自左和右可见光相机114A-B的前向视场(FOV)111A-B的该对生成图像758A-B拼接在一起时(例如,通过图像处理器912),光学组件180A-B将提供深度感知(depth perception)。
在一示例中,用户界面视场调整系统(user interface field of viewadjustment system)包括眼部佩戴设备100。眼部佩戴设备100包括镜架(或称为框架)105、自镜架105的右侧(right lateral side)170B延伸出的右太阳穴部110B、及包括光学组件180B用于向用户呈现图形用户界面的透视图像显示器(see-through image display)180D(图2A-图2B)。眼部佩戴设备100包括与镜架105或左太阳穴部110A连接的左可见光相机114A,用于捕捉场景的第一图像。眼部佩戴设备100还包括与镜架105或右太阳穴部110B连接的右可见光相机114B,用于捕捉(例如,与左可见光相机114A同时捕捉)与第一图像部分重叠的场景的第二图像。虽然图1A-图1B中未示出,但用户界面视场调整系统进一步包括耦合至眼部佩戴设备100并与可见光相机114A-B连接的处理器932、处理器932可访问的存储器934、及存储器934中的编程,例如,在眼部佩戴设备100本身或用户界面视场调整系统的另一部件中。
虽然图1A中未示出,但眼部佩戴设备100还包括头动跟踪器(head movementtracker)(图1B中的元件109)或眼动跟踪器(eye movement tracker)(图2B中的元件213)。眼部佩戴设备100还包括用于呈现一系列显示图像的光学组件180A-B的透视图像显示器180C-D、及耦合至光学组件180A-B的透视图像显示器180C-D用于控制光学组件180A-B的图像显示器180C-D以呈现这一系列显示图像715的图像显示驱动器(图9中的元件942)(下文将进一步详细描述)。眼部佩戴设备100还包括存储器934及可访问图像显示驱动器942和存储器934的处理器932。眼部佩戴设备100还包括存储器中的编程(图9中的元件934)。处理器932执行编程配置眼部佩戴设备100以执行功能,包括通过透视图像显示器180C-D呈现上述一系列显示图像的初始显示图像的功能,该初始显示图像具有对应于初始头部方向或初始眼睛注视方向的初始视场(图5的元件230)。
处理器932执行编程进一步配置眼部佩戴设备100以通过以下方式检测眼部佩戴设备用户的运动:(i)通过头动跟踪器(图1B中的元件109)跟踪用户头部的头部运动,或(ii)通过眼动跟踪器(图2A-B、图5中的元件113、213)跟踪眼部佩戴设备100的用户的眼部的眼部运动。处理器932执行编程进一步配置眼部佩戴设备100以根据检测到的用户运动确定对初始显示图像的初始视场的视场调整。视场调整包括与连续头部方向(successivehead direction)或连续眼睛方向(successive eye direction)相对应的连续视场(successive field of view)。处理器932执行编程进一步配置眼部佩戴设备100以根据视场调整生成上述一系列显示图像的连续显示图像。处理器932执行编程进一步配置眼部佩戴设备100以通过光学组件180A-B的透视图像显示器180C-D呈现连续显示图像(successive displayed images)。
图1B是图1A所示眼部佩戴设备100的太阳穴部的俯视剖视图,示出了右可见光相机114B、头动跟踪器109和电路板。左可见光相机114A的结构和位置与右可见光相机114B基本相似,只是连接和耦合在左侧170A。如图所示,眼部佩戴设备100包括右可见光相机114B和电路板,该电路板可以是柔性印刷电路板(PCB)140。右铰链(hinge)126B将右太阳穴部110B连接至眼部佩戴设备100的右镜腿(temple)125B。在一些示例中,右可见光相机114B、柔性印刷电路板140或其他电连接器或触点的部件可位于右镜腿125B或右铰链126B上。
如图所示,眼部佩戴设备100具有头动跟踪器109,其包括例如惯性测量单元(inertial measurement unit,IMU)。惯性测量单元是一种电子设备,它使用加速度计和陀螺仪(有时也使用磁力计)的组合来测量和报告物体的比力(specific force)、角速度,有时还测量和报告物体周围的磁场。惯性测量单元通过使用一个或多个加速度计检测线性加速度及使用一个或多个陀螺仪检测转速进行工作。惯性测量单元的典型配置包含一个加速度计、陀螺仪和磁力计,用于以下三个轴中的每一个:用于左右运动的水平轴(X)、用于上下运动(top-bottom movement)的垂直轴(Y)、及用于前后运动(up-down movement)的深度或距离轴(Z)。加速度计检测重力矢量。磁力计定义磁场中的旋转(如朝南、朝北等),就像产生航向基准(heading reference)的指南针一样。三个加速度计用于检测沿上述水平轴、垂直轴和深度轴(其可相对于地面、眼部佩戴设备100或佩戴眼部佩戴设备100的用户来限定)的加速度。
眼部佩戴设备100通过借由头动跟踪器109跟踪眼部佩戴设备100的用户的头部运动来检测用户的运动。头部运动包括在图像显示器上呈现初始显示图像期间头部方向在水平轴、垂直轴或其组合上自初始头部方向的变化。在一个示例中,通过头动跟踪器109跟踪用户头部的头部运动包括通过惯性测量单元109测量水平轴(如X轴)、垂直轴(如Y轴)或其组合(如横向或对角运动)上的初始头部方向。通过头动跟踪器109跟踪用户头部的头部运动进一步包括通过惯性测量单元109测量在呈现初始显示图像期间在水平轴、垂直轴或其组合上的连续头部方向。
通过头动跟踪器109跟踪用户头部的头部运动进一步包括根据初始头部方向和连续头部方向确定头部方向的变化。检测眼部佩戴设备100的用户的运动进一步包括响应于通过头动跟踪器109跟踪用户头部的头部运动,确定头部方向的变化超过水平轴、垂直轴或其组合上的偏差角阈值(deviation angle threshold)。该偏差角阈值在约3°至10°之间。在本文中,提到角度时所用的“约”指的是与所述数量相差±10%。
沿水平轴的变化通过例如隐藏、取消隐藏或以其他方式调整三维对象(如字符、Bitmojis、应用程序图标等)的可见性,将三维对象滑入和滑出视场。沿垂直轴的变化,例如,在一个例子中,当用户向上看时,显示天气信息、一天中的时间、日期、日历预约等。在另一个例子中,当用户在垂直轴上向下看时,眼部佩戴设备100可关闭电源。
右太阳穴部110B包括太阳穴部本体211和太阳穴部罩(temple cap),图1B所示剖视图省略了该太阳穴部罩。右太阳穴部110B内部布置有各种相互连接的电路板,例如,PCB或柔性PCB,其中包括用于右可见光相机114B、麦克风(一个或多个)130、扬声器(一个或多个)132、低功率无线电路系统(例如,用于通过BluetoothTM进行无线短程网络通信)、高速无线电路系统(例如,用于通过WiFi进行无线局域网通信)的控制器电路(controllercircuits)。
右可见光相机114B与柔性PCB 340(图3)耦合或设置在柔性PCB 240上,并由可见光相机盖透镜(visible light camera cover lens)覆盖,该可见光相机盖透镜通过形成在右太阳穴部110B上的开口(一个或多个)对准。在一些示例中,与右太阳穴部110B连接的镜架105包括用于可见光相机盖透镜的开口(一个或多个)。镜架105包括朝前的一侧,其被配置为朝外,远离用户的眼睛。用于可见光相机盖透镜的开口形成在该朝前的一侧上并穿过该朝前的一侧。在该示例中,右可见光相机114B与眼部佩戴设备100的用户的右眼的视线或视角有一朝外的覆盖角(angle of coverage)111B。可见光相机盖透镜也可以粘附在右太阳穴部110B的朝外的表面上,在该表面上形成有一开口,其覆盖角朝外,但沿不同的向外方向。耦合也可以通过中间部件(intervening components)间接实现。
左(第一)可见光相机114A连接至左光学组件180A的左透视图像显示器180C,以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114B连接至右光学组件180B的右透视图像显示器180D,以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠,以呈现连续显示图像的三维可观测区域。
柔性PCB 140设置在右太阳穴部110B内,并与容置在右太阳穴部110B中的一个或多个其他部件耦合。虽然如图中所示形成在右太阳穴部110B的电路板上,但右可见光相机114B也可形成在左太阳穴部110A、镜腿125A-B或镜架105的电路板上。
图2A是眼部佩戴设备100的硬件配置示例的后视图,该眼部佩戴设备100包括位于镜架105上的眼睛扫描仪(eye scanner)113,用于用于确定眼部佩戴设备100的佩戴者/用户的眼睛位置和注视方向(gaze direction)的系统中。如图2A所示,眼部佩戴设备100是为用户佩戴而配置的形式,在图2A的示例中是眼镜。眼部佩戴设备100可采用其他形式,也可结合其他类型的框架,例如,头戴具(headgear)、头戴式耳机(headset)或头盔(helmet)。
在该眼镜示例中,眼部佩戴设备100包括镜架105,镜架105包括左镜框(rim)107A,其通过适于用户鼻子的鼻梁(bridge)106连接至右镜框107B。左镜框107A和右镜框107B包括各自的孔175A-B,其用于保持各自的光学元件180A-B,例如,镜片(lens)和透视显示器180C-D。此处使用的“镜片”一词涵盖具有可使光线汇聚/发散或几乎不会或不会导致汇聚/发散的弯曲和平坦表面的透明或半透明玻璃或塑料片。
虽然如图所示眼部佩戴设备100具有两个光学元件180A-B,但根据眼部佩戴设备100的应用或预期用户,眼部佩戴设备100还可包括其他布置方式,例如,单个光学元件。如图进一步所示,眼部佩戴设备100包括与镜架105左侧170A相邻的左太阳穴部110A、及与镜架105右侧170B相邻的右太阳穴部110B。太阳穴部110A-B可集成到镜架105的相应侧面170A-B(如图所示),也可以作为单独的部件附接至镜架105的相应侧面170A-B。另外,太阳穴部110A-B也可集成到附接至镜架105的镜腿(图中未示出)中。
在图2A的示例中,眼睛扫描仪113包括红外发射器(infrared emitter)115和红外相机(infrared camera)120。可见光相机通常包括蓝光过滤器(blue light filter)以阻挡红外光检测,在一示例中,红外相机120是去掉蓝光过滤器的可见光相机,例如,低分辨率视频图形阵列(VGA)相机(例如,640x480像素,共30万像素)。红外发射器115和红外相机120共同位于镜架105上,例如,如图所示两者都连接至左镜框107A的上部。镜架105或左和右太阳穴部110A-B中的一个或多个包括电路板(图中未示出),该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可例如通过焊接连接到电路板上。
红外发射器115和红外相机120也可实施其他布置方式,包括红外发射器115和红外相机120都位于右镜框107B上,或者位于镜架105上的不同位置,例如,红外发射器115位于左镜框107A上,而红外相机120位于右镜框107B上。在另一个例子中,红外发射器115位于镜架105上,而红外相机120位于其中一个太阳穴部110A-B上,反之亦然。红外发射器115基本上可连接到镜架105、左太阳穴部110A或右太阳穴部110B上的任何位置,以发射红外光图案。同样,红外相机120基本上可连接到镜架105、左太阳穴部110A或右太阳穴部110B上的任何位置,以捕捉所发射的红外光图案中的至少一个反射变化(reflection variation)。
红外发射器115和红外相机120被布置成向内朝向用户的眼睛,具有眼睛的部分或全部视场,以便识别各自的眼睛位置和注视方向。例如,红外发射器115和红外相机120设置在眼睛正前方、镜架105的上部或镜架105两端的太阳穴部110A-B中。
图2B是另一种眼部佩戴设备200的硬件配置示例的后视图。在此示例配置中,眼部佩戴设备200被绘示为包括位于右太阳穴部210B上的眼睛扫描仪213。如图所示,红外发射器215和红外相机220共同位于右太阳穴部210B上。应该理解的是,眼睛扫描仪213或眼睛扫描仪213的一个或多个部件可位于左太阳穴部210A和眼部佩戴设备200的其他位置上,例如,镜架105上。红外发射器215和红外相机220与图2A的类似,但眼睛扫描仪213有所变化,其对与如图2A所述的不同的光波长敏感。
与图2A类似,眼部佩戴设备200包括镜架105,镜架105包括左镜框107A,左镜框107A通过鼻梁106连接至右镜框107B;并且,左镜框107A和右镜框107B包括各自的孔,这些孔保持各自的光学元件180A-B,这些光学元件包括透视显示器180C-D。
图2C-图2D是眼部佩戴设备100的硬件配置示例的后视图,包括两种不同类型的透视图像显示器180C-D。在一个示例中,光学组件180A-B的这些透视图像显示器180C-D包括集成图像显示器(integrated image display)。如图2C所示,光学组件180A-B包括任何合适类型的合适的显示矩阵(display matrix)180C-D,例如,液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器(waveguide display)或任何其他此类显示器。
光学组件180A-B还包括一个或多个光层(optical layer)176,其可包括镜片(lenses)、光学涂层(optical coatings)、棱镜(prisms)、反射镜(mirrors)、波导(waveguides)、光带(optical strips)和其他任意组合的光学部件。光层176A-N可包括具有合适尺寸和配置的棱镜,该棱镜包括用于接收来自显示矩阵的光的第一表面和用于向用户眼睛发射光的第二表面。光层176A-N的该棱镜延伸至形成在左镜框107A和右镜框107B中的各自的孔175A-B的全部或至少一部分,以便在用户的眼睛透过相应的左镜框107A和右镜框107B观看时,可使用户看到棱镜的第二表面。光层176A-N的棱镜的第一表面自镜架105朝上,并且,显示矩阵覆盖在棱镜之上,因此,显示矩阵发出的光子和光线会撞击该第一表面。该棱镜的尺寸和形状被设计成使光线在该棱镜内折射,并被光层176A-N的棱镜的第二表面导向用户的眼睛。在这方面,光层176A-N的棱镜的第二表面可以是凸面的,以将光线导向眼睛中心。该棱镜的尺寸和形状可以可选地被设计成放大透视图像显示器180C-D投射的图像,光线穿过棱镜,使得从第二表面观看到的图像在一个或多个维度上大于透视图像显示器180C-D发射出的图像。
在另一个示例中,光学组件180A-B的透视图像显示器180C-D包括投影图像显示器(projection image display),如图2D所示。光学组件180A-B包括投影仪(projector)150,其可以是使用扫描镜的三色投影仪(three-color projector)、振镜(galvanometer)、激光投影仪(laser projector)或其他类型的投影仪。在操作过程中,光源(optical source,如投影仪150)被设置在眼部佩戴设备100的镜腿125A-B中的其中一个镜腿中或上。光学组件180A-B包括一个或多个光带(optical strips)155A-N,这些光带在光学组件180A-B的镜片宽度上或镜片前表面和后表面之间的镜片深度上间隔开。投影仪的详细示例如图8A-图8E所示。
当投影仪150投射的光子穿过光学组件180A-B的镜片时,这些光子会遇到光带155A-N。当特定光子遇到特定光带时,该光子要么被重定向到用户的眼睛,要么进入下一个光带。投影仪150的调制和光带的调制相结合,可控制特定的光子或光束。在一示例中,处理器通过启动机械信号、声信号或电磁信号来控制光带155A-N。虽然如图所示具有两个光学组件180A-B,但眼部佩戴设备100还可包括其他布置方式,例如,单个或三个光学组件,或者,光学组件180A-B可根据眼部佩戴设备100的应用或预期用户而有不同的布置方式。
如图2C-图2D进一步所示,眼部佩戴设备100包括邻近镜架105的左侧170A的左太阳穴部110A和邻近镜架105的右侧170B的右太阳穴部110B。太阳穴部110A-B可在各自的侧面170A-B上集成到镜架105中(如图所示),也可以作为单独的部件在各自的侧面170A-B上附接到镜架105上。或者,太阳穴部110A-B可集成到附接到镜架105上的镜腿125A-B中。
在一个示例中,透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180D。眼部佩戴设备100包括保持各自的第一和第二光学组件180A-B的第一和第二孔175A-B。第一光学组件180A包括第一透视图像显示器180C(例如,图2C的显示矩阵或光带155A-N'和投影仪150A)。第二光学组件180B包括第二透视图像显示器180D(例如,图2C的显示矩阵或光带155A-N”和投影仪150B)。连续显示图像的连续视场包括约15°至30°之间的视角,更具体地例如24°,其是沿水平、垂直或对角线测得的。具有连续视场的连续显示图像表示通过将第一和第二图像显示器上显示的两个显示图像拼接在一起而可见的组合三维可观察区域(combined three-dimensional observable area)。
如本文所用,“视角”描述的是与光学组件180A-B的左和右图像显示器180C-D中的每一个上显示的显示图像相关联的视场的角度范围。“覆盖角度”描述的是可见光相机114A-B或红外相机220的透镜可以成像的角度范围。通常情况下,镜头产生的成像圈(imagecircle)足够大,足以完全覆盖胶片或传感器,可能包括一些晕影(vignetting,即与图像中心相比,图像的亮度或饱和度向外围降低)。如果镜头的覆盖角度未填满该传感器,则成像圈将是可见的,通常边缘会有较强的晕影,并且,有效视角也会受限于覆盖角度。“视场”意在描述眼部佩戴设备100的用户可通过眼睛经由光学组件180A-B的左和右图像显示器180C-D上显示的显示图像看到的可观测区域的范围。光学组件180A-B的图像显示器180C可以具有覆盖角度在15°至30°之间(例如,24°)的视场,并且可以具有480x480像素的分辨率。
图3示出了图2A所示眼部佩戴设备的后视立体图。眼部佩戴设备100包括红外发射器215、红外相机220、镜架前部(frame front)330、镜架后部(frame back)335和电路板340。从图3中可以看出,眼部佩戴设备100的镜架左镜框的上部包括镜架前部330和镜架后部335。在镜架后部335上形成有用于红外发射器215的开口。
如镜架左镜框上中部中被圈出的横剖面4中所示,在镜架前部330和镜架后部335之间夹有电路板,即柔性PCB 340。此外,进一步详细示出了左太阳穴部110A通过左铰链126A附接至左镜腿325A。在一些示例中,眼动跟踪器213的部件,包括红外发射器215,柔性PCB 340或其他电连接器或电触头,可位于左镜腿325A或左铰链126A上。
图4是与图3所示眼部佩戴设备中被圈出的截面4相对应的红外发射器215和镜架的横截面图。图4的横截面示出了眼部佩戴设备100的多层结构,如图所示,镜架包括镜架前部330和镜架背部335。柔性PCB 340设置在镜架前部330上,并与镜架背部335连接。红外发射器215设置在柔性PCB 340上,并被红外发射器盖透镜(infrared emitter cover lens)445所覆盖。例如,红外发射器215回流焊至柔性PCB 340的背面。回流焊(reflowing)将红外发射器215附接到形成在柔性PCB 340背面上的接触垫(contactpad,一个或多个)上,方法是将柔性PCB 340置于受控热量下使焊膏熔化来连接这两个部件。在一个示例中,回流焊用于将红外发射器215表面贴装在柔性PCB 340上,并将这两个部件电连接。不过,应该理解的是,可以使用通孔将红外发射器215的引线通过互连件(interconnects)等连接到柔性PCB340上。
镜架后部335包括用于红外发射器盖透镜445的红外发射器开口450。红外发射器开口450形成在镜架后部335的朝后一侧上,该侧被配置为向内面向用户的眼睛。在本示例中,柔性PCB 340可通过柔性PCB粘合剂460与镜架前部330连接。红外发射器盖透镜445可通过红外发射器盖透镜粘合剂455与镜架背部335连接。也可以通过中间部件间接耦合。
在一示例中,处理器932利用眼动跟踪器213确定佩戴者眼睛234的眼睛注视方向230(如图5所示)和佩戴者眼睛234在眼动范围(eyebox)内的眼睛位置236(如图6所示)。眼动跟踪器213是一种扫描仪,它使用红外光照明(例如,近红外(near-infrared)、短波红外(short-wavelength infrared)、中红外(mid-wavelength infrared)、长波红外(long-wavelength infrared)或远红外(far infrared))来捕获来自眼睛234的红外光反射变化的图像,以确定眼睛234的瞳孔232的注视方向230以及相对于透视显示器180D的眼睛位置236。
图7示出了使用相机114A-B捕捉可见光的示例。左可见光相机114A以圆形视场(FOV)111A捕捉可见光。选定的矩形左侧原始图像758A被图像处理器912(图9)用于图像处理。右可见光相机114B以圆形FOV 111B捕捉可见光。图像处理器912选择的矩形右侧原始图像758B用于由处理器912进行图像处理。基于对左原始图像758A和右原始图像758B的处理,由处理器912生成三维场景的三维图像715(在下文中被称为“沉浸式图像”),并由显示器180C和180D显示,并且,用户可观看该图像。
图8A是被配置为生成图像的投影仪150的侧视图,如图2D中所示和描述的投影仪150。投影仪150包括显示器812,其被配置为调制从一个或多个有色光源(colored lightsource)照射到其上的光束以生成图像,图中示出的是红/蓝发光二极管(LED)灯814和绿色LED灯816。红/蓝LED灯814选择性地发出红、蓝光束832,其穿过各自的聚光透镜(condenserlenses)818,从二向色透镜(dichroic lens)820反射,穿过蝇眼(fly’s eye)822,穿过具有光焦度的棱镜(powered prism)824和反向全内反射(reverse total internalreflection,RTIR)光棱镜826(其由平面隔件(plano spacer)828将彼此分隔开),并在RTIR光棱镜826的底部输出端830输出到显示器812,如图所示。绿灯816通过各自的聚光透镜818选择性地发出绿光束832,并通过二向色透镜820、蝇眼822、动力棱镜824、平面隔件(planospacer)828和RTIR光棱镜826,并从RTIR光棱镜826的底部输出端830输出到显示器812。有色灯814和816由灯控制器(light controller)829进行时间排序,使得一次只亮一盏灯,显示器812一次只调制一种有色光束832。来自显示器812的调制光形成图像,该图像通过底部输出端830导回RTIR光棱镜826,从平面隔件828反射,并通过垂直RTIR光棱镜输出端834输出到投影透镜元件836,以在图像平面(image plane)上显示。人眼将显示在图像平面上的调制有色光束进行整合,以感知彩色图像。显示器812可以是得克萨斯州达拉斯市德州仪器公司(Texas Instruments)生产的数字微镜器件显示器,当然也可以是其他显示器。到目前为止,本文所描述的投影仪810中只有这一部分是已知的数字光投影(digitallight projection,DLP)/>系统结构,如得克萨斯州达拉斯的德州仪器公司所生产的。
要将所述投影仪的视场(FOV)从对角25度FOV增加到对角46度FOV,并保持分辨率和显示器像素间距,这将导致显示图像对角线扩大到1.9倍。通过保持投影镜头光圈值(f-stop number,f/#)和保持投影镜头的远心(telecentricity),显示对角线(displaydiagonal)的这种增加通常会直接转化为投影镜头中最大元件的直径放大到1.9倍。此外,由于需要使有色光束穿过RTIR棱镜26,因此,投影镜头的后焦距(back focal length)也会增加,从而导致总长度增加。
根据本发明,如参照图8A-图8E所示和所述,通过结合具有正光焦度的场镜(positive power field lens),投影镜头远心得以保持,但最后一个元件处的射线束显著减少,同时也减小了投影镜头后焦距和总长度所需的尺寸。场镜是位于物镜之后、靠近图像平面的具有正光焦度的透镜(positive-powered lens)。在投影仪的照明侧还能看到额外的益处,因为具有光焦度的棱镜(powered prism)824表面的尺寸由于场镜的光焦度而减小了。在本发明中,所选场镜的光焦度将每个维度(x、y、z)上的最大长度减少17%。
然而,场镜对显示投影仪提出了特别的挑战。/>显示投影仪需要显示器812在34°的大输入角度下的照明,而位于/>显示器812中央的场镜会造成/>显示器812一侧照明不均匀的问题。根据本发明,为了克服这一限制,投影镜头被设计成支持更大的成像圈直径,而且显示器812在图像平面上朝着更均匀的位置横向位移/移位。显示器812的位移导致视轴移位(boresight shift,即投影仪的FOV从平行于旋转对称光轴(optical axis of rotational symmetry)移位)。这在增强现实(AR)系统中是有利的,因为这可以使投影仪能够与波导(如眼镜光学器件中使用的波导)成非法向角度(non-normal angle),从而更好地适应支持更大前倾角(pantoscopic tilt)的工业设计。
根据本发明,曲面场镜(curved field lens)840与形成RTIR光棱镜826的底部输出端830的底部棱镜面831邻近耦合。曲面场镜840与具有光焦度的棱镜824一起配置,以使有色光束832如图所示偏离底部棱镜面831角度A,并均匀地照射在图像平面上向右移位的显示器812。具有光焦度的棱镜824和场镜840使光束832相对于底部棱镜面831的法线成角度A,使得光束832不垂直于棱镜面831的法线输出。
显示器812的中心846从第一位置844向投影镜头836光轴右侧偏移了一段距离D。由场镜840和具有光焦度的棱镜824产生的有色光束832的偏心、以及显示器812的移位/定位,导致显示器812产生的如838所示从投影镜头元件836流出的有利的偏移视轴图像(favorable shifted boresight image)。曲面场镜840使得能够使用较小的系统部件,其中,曲面场镜840的曲率越大,投影仪150就越小,下文中将参照图8D进行讨论。
参照图8B,图中示出了外壳860的侧剖视图,该外壳包含参照图8A描述的投影仪150的各部件。外壳860可由能够承受高温(例如,由光束832产生)的材料(例如,金属或合成材料)组成。
参照图8C,图中示出了投影仪150的照明部分870和投影仪150的投影镜头部分872。照明部分870被认为是从灯源816延伸到由RTIR光棱镜826靠近投影镜头元件836的垂直棱镜面形成的垂直输出端834。投影镜头872被认为是从投影镜头840的左侧延伸至投影镜头元件836的右端,并且包括诸如光学元件850等各种光学元件。
参照图8D,图中示出了系统尺寸与场镜840的曲率的函数关系图。
图表A示出了RTIR光棱镜826在输出端830的棱镜面831的宽度尺寸与场镜840的曲率的函数关系。可以看出,场镜840的曲率越大,RTIR棱镜826的棱镜面831就越窄/越小,并且,系统150的尺寸就越小。
图表B示出了各投影镜头元件836中最大的元件的直径与场镜曲率的函数关系。可以看出,场镜840的曲率越大,投影镜头元件836的直径越小。
图表C示出了投影镜头836的长度与场镜840的曲率的函数关系。可以看出,场镜840的曲率越大,投影镜头836的长度越短。
请参照图8E,图中示出了使用场镜生成偏心光束(decentered light beam)、及生成显示图像的方法880。
在框882,灯控制器829控制有色光源814和816选择性地生成红、绿、蓝(RGB)有色光束。对光源进行选择性控制,使得一次只产生一种有色光束832。
在框884,具有光焦度的棱镜824和RTIR棱镜826使光束832从其穿过。光束832被折射并被提供给形成输出端830的棱镜面831。
在框886,具有光焦度的棱镜824和曲面场镜840一起将光束832从棱镜面831偏心。场镜840的曲率使光束832相对于棱镜面831成角度A,使得角度A不与棱镜面831垂直。
在框888,光束832由场镜840引导至显示器812,显示器812对光束832进行调制以形成视觉图像(visual image)。显示器812的中心相对于棱镜面831的中心偏移,经调制的光束832均匀地照射显示器。光图像具有向下的视轴(boresight),如838所示。
照明部分870的尺寸是曲面场镜840的曲率的函数,而投影镜头872的尺寸是曲面场镜840的曲率的函数。场镜840的曲率越大,构成投影仪150的各部件的尺寸就越小,因此,照明部分870和投影镜头872的尺寸就越小。
图9示出了一高级功能框图,包括设置在眼镜100和200中的示例性电子元件。图中示出的电子元件包括处理器932、存储器934及透视图像显示器180C和180D。
存储器934包括供处理器932执行以实现眼镜100/200功能的指令,这些指令包括供处理器932在图像715中进行控制的指令。处理器932从电池950接收电能,并执行存储在存储器934中的或与处理器932集成在芯片上的指令,以执行眼镜100/200的功能,并通过无线连接与外部设备通信。
用户界面调整系统900包括可穿戴设备,其是具有眼动跟踪器213(例如,图2B中示出为红外发射器215和红外相机220)的眼部佩戴设备100。用户界面调整系统900还包括通过各种网络连接的移动设备990和服务器系统998。移动设备990可以是智能手机、平板电脑、笔记本电脑、接入点(access point)或任何其他能够使用低功率无线连接925和高速无线连接937与眼部佩戴设备100连接的设备。移动设备990与服务器系统998和网络995相连。网络995可包括有线和无线连接的任意组合。
眼部佩戴设备100包括至少两个可见光相机114A-B(一个与左侧170A相关联,另一个与右侧170B相关联)。眼部佩戴设备100还包括光学组件180A-B的两个透视图像显示器180C-D(一个与左侧170A相关联,另一个与右侧170B相关联)。眼部佩戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路系统(low-power circuitry)920和高速电路系统(high-speed circuitry)930。图9中所示的眼部佩戴设备100和200的各部件位于太阳穴部中的一个或多个电路板上,例如,PCB或柔性PCB上。替代地,或额外地,所示出的各部件也可位于眼部佩戴设备100和200的镜腿、镜架、铰链或鼻梁中。左和右可见光相机114A-B可包括数字相机元件,例如,互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(charge coupled device)、镜片或任何其他可用于捕获数据(包括具有未知对象的场景的图像)的可见光或光捕获元件。
眼动跟踪编程执行用户界面视场调整指令,包括使眼部佩戴设备100通过眼动跟踪器213跟踪眼部佩戴设备100的用户的眼睛的眼部运动。其他执行指令(功能)使眼部佩戴设备100和200根据检测到的与连续眼球方向相对应的用户的眼部运动确定对初始FOV111A-B的FOV调整。进一步执行的指令根据视场调整生成显示图像序列的连续显示图像。连续显示图像作为可见输出通过用户界面提供给用户。该可见输出显示在光学组件180A-B的透视图像显示器180C-D上,该光学组件由图像显示驱动器942驱动,以呈现显示图像序列,其包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。
如图9所示,高速电路系统930包括高速处理器932、存储器934和高速无线电路系统936。在本示例中,图像显示驱动器942与高速电路系统930耦合,并由高速处理器932操作,以驱动光学组件180A-B的左和右图像显示器180C-D。高速处理器932可以是任何能够管理高速通信和眼部佩戴设备100所需的任何通用计算系统操作的处理器。高速处理器932包括管理使用高速无线电路系统936在高速无线连接937上向无线局域网(WLAN)进行高速数据传输所需的处理资源。在一些示例中,高速处理器932执行眼部佩戴设备100的操作系统,如LINUX操作系统或其他此类操作系统,该操作系统存储在存储器934中供执行。除其他职责外,执行眼部佩戴设备100的软件架构的高速处理器932还用于管理与高速无线电路系统936的数据传输。在一些示例中,高速无线电路系统936被配置为执行电气与电子工程师协会(Institute of Electrical and Electronic Engineers,IEEE)802.11通信标准,在本文中也被称为Wi-Fi。在其他示例中,高速无线电路系统936也可执行其他高速通信标准。
眼部佩戴设备100和200的低功率无线电路系统924和高速无线电路系统936可包括短距离收发机(蓝牙TM)和无线广域、局域或广域网收发机(例如,蜂窝或WiFi)。移动设备990(包括通过低功率无线连接925和高速无线连接937通信的收发机)可使用眼部佩戴设备100架构的细节来实现,网络995的其他元件也是如此。
存储器934包括能够存储各种数据和应用程序的任何存储设备,这些数据和应用程序包括颜色映射(color map)、由左和右可见光相机114A-B和图像处理器912生成的相机数据、及所生成的由图像显示驱动器942在光学组件180A-B的透视图像显示器180C-D上显示的图像。虽然图中显示存储器934与高速电路系统930集成在一起,但在其他示例中,存储器934可以是眼部佩戴设备100的独立元件。在一些这样的示例中,电气布线线路可提供通过包括高速处理器932的芯片从图像处理器912或低功耗处理器922到存储器934的连接。在其他示例中,高速处理器932可管理存储器934的寻址,使得在需要涉及存储器934的读取或写入操作的任何时候,低功耗处理器922将启动高速处理器932。
服务器系统998可以是作为服务或网络计算系统的一部分的一个或多个计算设备,例如,包括处理器、存储器和网络通信接口,以通过网络995与移动设备990和眼部佩戴设备100/200通信。眼部佩戴设备100和200与主机相连。例如,眼部佩戴设备100通过高速无线连接937与移动设备990配对,或通过网络995与服务器系统998连接。
眼部佩戴设备100的输出部件包括可视化部件,如图2C-图2D所述光学组件180A-B的左和右图像显示器180C-D(例如,液晶显示器(LCD)、等离子显示板(PDP)、发光二极管(LED)显示器、投影仪或波导)。光学组件180A-B的图像显示器180C-D由图像显示驱动器942驱动。眼部佩戴设备100的输出部件还包括声学部件(如扬声器)、触觉部件(如振动式电机)、其他信号发生器等。眼部佩戴设备100和200、移动设备990以及服务器系统998的输入部件可包括字母数字输入部件(例如,键盘、被配置为接收字母数字输入的触摸屏、光电键盘(photo-optical keyboard)或其他字母数字输入部件)、基于点的输入部件(point-based input components,例如、鼠标、触摸板、轨迹球(trackball)、操纵杆(joystick)、运动传感器或其他指向仪(pointing instruments))、触觉输入部件(例如,物理按钮、提供触摸位置和力度或触摸手势的触摸屏、或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
眼部佩戴设备100可以可选地包括额外的外围设备元件。此类外围设备元件可包括与眼部佩戴设备100集成的热传感器940、环境光和光谱传感器(ambient light andspectral sensors)、生物识别传感器(biometric sensors)、附加传感器或显示元件(display elements)。例如,外围设备元件可包括任何I/O部件(包括输出部件)、运动部件、位置部件或本文所述的任何其他此类元件。眼部佩戴设备100可采用其他形式,也可结合其他类型的镜架,例如,头戴具(headgear)、头戴式耳机(headset)或头盔(helmet)。
例如,用户界面视场调整系统900的生物识别部件包括用于检测表达(例如,手势、面部表情、声音表达、身体姿势或眼动跟踪)、测量生物信号(例如,血压、心率、体温、汗液或脑电波)、识别人员(例如,声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件包括加速度传感器部件(例如,加速度计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)等。位置部件包括用于生成位置坐标的位置传感器部件(例如,全球定位系统(GPS)接收机部件)、用于生成定位系统坐标的WiFi或BluetoothTM收发机、高度传感器部件(例如,高度计(altimeters)或气压计(barometers),用于检测气压,从而得出高度)、方向传感器部件(例如,磁力计)等。此类定位系统坐标还可以通过无线连接925和937,经由低功率无线电路系统924或高速无线电路系统936从移动设备990接收。
根据一些示例,“应用程序”是执行程序中定义的功能的程序。可使用各种编程语言来创建一个或多个应用程序,其结构形式多种多样,例如,面向对象编程语言(如Objective-C、Java或C++)或过程式编程语言(如C或汇编语言)。在一具体示例中,第三方应用程序(例如,由特定平台供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用程序)可以是在移动操作系统(如IOSTM、ANDROIDTM、Phone或其它移动操作系统)上运行的移动软件(mobile software)。在本示例中,第三方应用程序可以调用操作系统提供的API调用(API calls),以实现本文所述的功能。
当在室内或在低环境光下使用眼镜100时,显示图像715的亮度(光通量,luminousflux)足以让用户观看显示图像715。然而,当在室外或在高环境光下使用眼镜100时,用户很难看到显示的图像715,因为虽然所产生的图像亮度足以在室内使用,但图像亮度并不足以在室外使用。眼镜投影仪150在电气和光学方面都非常小巧和复杂,本发明提供了一种高效的LED亮度控制器,用于选择性地建立图像715的亮度。该控制器在较大的电流范围内产生正向电流(forward current),从而产生较大范围的图像亮度。用户可以通过提供输入(如触摸开关)来选择显示图像715的亮度。环境光探测器(ambient light detector)也可以控制显示器715的亮度。
如图10所示,图中示出了构成灯控制器1000的处理器932的一部分,该控制器被配置为控制红色/蓝色LED 814和绿色LED 816的亮度。控制器1000选择性地产生和控制输送到每个LED 814和816的正向电流,其中,每个LED产生的光束的亮度是各自正向电流的直接函数。正向电流也被称为驱动电流(drive current)。
控制器1000包括多个电子开关SW4、SW5和SW6,这些电子开关被配置成选择性地控制各自LED的驱动电流。当SW4被处理器932产生的相应控制信号关闭时,驱动电流从VLED正轨(positive rail)输送到红色LED 814。当SW5被处理器932产生的相应控制信号关闭时,驱动电流被输送到绿色LED 816。当SW6被处理器932产生的相应控制信号关闭时,驱动电流被输送到蓝色LED 814。这些开关可以是晶体管,也可以是其他类型的电子开关,不对电子开关的类型进行限制。
输送到每个LED 814和816的驱动电流受一闭合控制反馈回路(closed controlfeedback loop)的控制,该闭合控制反馈回路包括多个电阻器(如图所示的第一电阻器R1和第二电阻器R2)及驱动电流控制装置1002。控制装置1002是一开关,在本示例中示出为功率场效应晶体管(FET),通过提供给FET 1002输入端1004的控制信号选择性地控制该FET接通或断开。在一个示例中,用户可以控制该控制信号来控制FET 1002,例如,通过使用一控制开关。在另一示例中,环境光探测器1006控制FET 1002。当通过在控制输入端1004上提供相应的控制信号(例如,由用户或环境光探测器1006提供)而使FET 1002开启时,电阻器R1和R2并联。当FET 1002关断时,电阻器R2不是反馈回路的一部分,因此,反馈回路中只有电阻器R1。
在如图10所示的示例中,电阻器R1和R2具有相同的电阻,例如,400mOhms,使得当电阻R1和R2由FET 1002控制为并联时,总反馈回路电阻为200mOhms。当FET 1002关断时,反馈回路中只有电阻R2,反馈回路电阻为400mOhms。
如图11所示,当FET 1002开启时,相应LED的驱动电流最大,本例中为500mA。当FET1002关断时,相应LED的驱动电流最小,本例中为247mA。因此,电流范围为247mA~500mA,最亮模式下每个LED的亮度大约是正常模式下每个LED亮度的两倍。在此示例中,控制器1000向FET 1002的栅极(gate)提供高信号(high signal)以打开FET,向FET 1002提供低信号(low signal)以关闭FET。在另一示例中,控制器1000向FET 1002的栅极提供低信号以将其关闭,向FET 1002的栅极提供高信号以将其开启,不对控制逻辑的布置方式进行限制。
图12示出了控制投影仪150的图像715的亮度的方法1200。
在框1202,选择图像715的所需亮度。这可以通过用户触摸一开关(例如,位于眼镜的太阳穴部上)来完成,或者通过耦合到太阳穴部上的环境光探测器1006来完成。在一示例中,如果在室内或在相对正常的环境光下操作眼镜100,则图像715的亮度被设置为标称亮度模式(nominal brightness mode)。如果在室外或在高环境光下操作眼镜100,则图像715的亮度被设置为高亮度模式。
在框1204,处理器932的控制器1000为选定的显示亮度模式建立控制器1000的反馈回路。如果图像715的亮度被设置为标称亮度,则FET 1002由控制器1000控制为关闭状态,使得反馈回路中只有电阻器R1,如图11所示。如果图像715的亮度被设置为高亮度模式,则FET 1002由控制器1000控制使得电阻器R1和R2在反馈回路中并联。
在框1206,如果控制器1000的反馈回路中仅电配置了电阻器R1,则输送到LED 814和816的驱动电流为247mA,如图11所示。如果电阻器R1和R2在反馈回路中并联配置,则输送到LED 814和816的驱动电流为500mA,如图11所示。
应当理解的是,本文中使用的术语和表述具有与其相应的探究和研究领域相关的普通含义,本文中另有规定的特定含义除外。关系术语(relational terms),如第一和第二等,仅用于区分一个实体或动作与另一个实体或动作,而不一定要求或暗示这些实体或动作之间的任何实际的这样的关系或顺序。术语“包括”、“包含”或其任何其它变体旨在涵盖非排他性的包含,使得包含或包括一系列要素或步骤的工艺、方法、物品或设备并不只包括这些要素或步骤,还可包括未明确列出的或该工艺、方法、物品或设备所固有的其它要素或步骤。以“一”开头的要素,在没有进一步限制的情况下,并不排除在包括该要素的工艺、方法、物品或设备中其他相同要素的存在。
除非另有说明,否则在本说明书(包括权利要求书)中给出的任何和所有测量值、数值、量级、位置、幅度、大小和其他规格都是近似值,而非精确值。此类数量意在具有与其涉及的功能和所属领域中的惯例相符的合理范围。例如,除非另有明确说明,否则参数值等可与所述量相差±10%。
此外,在上述具体实施方式部分中,可以看出,为了简化公开内容,各种特征在不同的示例中被组合在一起。这种公开方法不应被解释为反映了这样一种意图,即要求保护的示例要求的特征要多于每个权利要求中明确叙述的特征。确切地说,如权利要求所反映的那样,要保护的主题在于少于任何一个公开示例的所有特征。因此,特此将权利要求并入具体实施方式中,每项权利要求作为单独的权利要求主题独立存在。
虽然上述内容描述了被认为的最佳实施方式和其他示例,但应当理解,其中可做出各种修改,并且,本文所公开的主题可以以各种形式和示例实现,而且可以应用于众多应用中,本文仅描述了其中的一些应用。权利要求旨在对落入本发明构思真正范围内的任何及所有修改和变化提出权利要求。
Claims (20)
1.眼部佩戴设备,其包括:
框架;
由所述框架支撑的光学部件;及
投影仪,其包括:
光源,其被配置成产生光束;
显示器,其被配置成调制所述光束以生成图像;及
控制器,其被配置成控制所述光源的亮度,其中,所述控制器具有可选择性地配置的反馈回路。
2.根据权利要求1所述的眼部佩戴设备,其中,所述反馈回路可配置为第一模式,以生成具有第一亮度的图像;并且,所述反馈回路可配置为第二模式,以生成具有大于所述第一亮度的第二亮度的图像。
3.根据权利要求2所述的眼部佩戴设备,其中,所述反馈回路具有可变电阻。
4.根据权利要求3所述的眼镜,其中,反馈回路选择性地控制输送到所述光源的驱动电流。
5.根据权利要求4所述的眼部佩戴设备,其中,所述反馈回路包括第一电阻器、第二电阻器和开关,所述开关被配置为在所述反馈回路中选择性地建立所述第一电阻器和所述第二电阻器。
6.根据权利要求5所述的眼部佩戴设备,其中,所述开关在所述第一模式下选择性地在所述反馈回路中仅建立所述第一电阻器,而在所述第二模式下选择性地并联建立所述第一电阻器和所述第二电阻器。
7.根据权利要求5所述的眼部佩戴设备,其中,所述开关是功率场效应晶体管(FET)。
8.根据权利要求5所述的眼部佩戴设备,其中,所述开关与所述第一电阻器串联。
9.根据权利要求1所述的眼部佩戴设备,其中,所述控制器被配置为由用户控制以选择性地控制所述显示器的亮度。
10.根据权利要求1所述的眼部佩戴设备,其中,所述控制器被配置为由环境光探测器控制以选择性地控制所述显示器的亮度。
11.一种使用眼部佩戴设备的方法,所述眼部佩戴设备包括:
框架;
由所述框架支撑的光学部件;及
投影仪,其包括:
光源,其被配置成产生光束;
显示器,其被配置成调制所述光束以生成图像;及
控制器,其具有反馈回路;所述方法包括:
所述控制器控制所述光源的亮度,其中,所述控制器选择性地配置所述反馈回路以控制所述光源的亮度。
12.根据权利要求11所述的方法,其中,所述反馈回路被配置为第一模式,以生成具有第一亮度的图像;以及,所述反馈回路被配置为第二模式,以生成具有大于所述第一亮度的第二亮度的图像。
13.根据权利要求12所述的方法,其中,所述反馈回路具有可变电阻。
14.根据权利要求13所述的方法,其中,反馈回路选择性地控制输送到所述光源的驱动电流。
15.根据权利要求14所述的方法,其中,所述反馈回路包括第一电阻器、第二电阻器和开关,所述开关在所述反馈回路中选择性地建立所述第一电阻器和所述第二电阻器。
16.根据权利要求15所述的方法,其中,所述开关在所述第一模式下选择性地在所述反馈回路中仅建立所述第一电阻器,而在所述第二模式下选择性地并联建立所述第一电阻器和所述第二电阻器。
17.根据权利要求15所述的方法,其中,所述开关是功率场效应晶体管(FET)。
18.根据权利要求15所述的方法,其中,所述开关与所述第一电阻器串联。
19.根据权利要求11所述的方法,其中,所述控制器被配置为由用户控制以选择性地控制所述显示器的亮度。
20.根据权利要求11所述的方法,其中,所述控制器由环境光探测器控制以选择性地控制所述显示器的亮度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163168377P | 2021-03-31 | 2021-03-31 | |
US63/168,377 | 2021-03-31 | ||
PCT/US2022/020686 WO2022212072A1 (en) | 2021-03-31 | 2022-03-17 | Eyewear projector brightness control |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117222932A true CN117222932A (zh) | 2023-12-12 |
Family
ID=81327341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280026210.0A Pending CN117222932A (zh) | 2021-03-31 | 2022-03-17 | 眼部佩戴设备投影仪亮度控制 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11663941B2 (zh) |
EP (1) | EP4314934A1 (zh) |
KR (1) | KR20230162090A (zh) |
CN (1) | CN117222932A (zh) |
WO (1) | WO2022212072A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230162090A (ko) * | 2021-03-31 | 2023-11-28 | 스냅 인코포레이티드 | 아이웨어 프로젝터 밝기 조절 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW530522B (en) * | 2001-08-17 | 2003-05-01 | Benq Corp | Power factor correction device having an electronic ballast function |
TWI308468B (en) * | 2006-05-05 | 2009-04-01 | Ind Tech Res Inst | Backlight system and method for controlling brightness thereof |
TWI383346B (zh) * | 2007-09-28 | 2013-01-21 | Chunghwa Picture Tubes Ltd | 光源驅動電路及其控制方法 |
US20090160833A1 (en) * | 2007-12-21 | 2009-06-25 | Microvision, Inc. | Laser Projection White Balance Tracking |
EP2761362A4 (en) | 2011-09-26 | 2014-08-06 | Microsoft Corp | VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY |
US8970571B1 (en) * | 2012-03-13 | 2015-03-03 | Google Inc. | Apparatus and method for display lighting adjustment |
CN106896524B (zh) * | 2012-12-06 | 2021-01-01 | E-视觉有限公司 | 提供影像的系统、装置、和/或方法 |
EP3044647A1 (en) * | 2013-09-11 | 2016-07-20 | Google Technology Holdings LLC | Electronic device and method for detecting presence and motion |
US9766459B2 (en) * | 2014-04-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Display devices with dimming panels |
US9813657B2 (en) * | 2014-05-16 | 2017-11-07 | Smart Tlcd Limited | Method and system for controlling a display system |
IL299497B2 (en) * | 2016-04-08 | 2024-02-01 | Magic Leap Inc | Augmented reality systems and methods with variable focus lens elements |
CN106710531B (zh) * | 2017-01-19 | 2019-11-05 | 深圳市华星光电技术有限公司 | 背光控制电路及电子装置 |
CN107145176A (zh) | 2017-05-26 | 2017-09-08 | 北京小米移动软件有限公司 | 调节光照强度的方法、装置及系统 |
CN114879840A (zh) | 2018-11-23 | 2022-08-09 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
US11196970B2 (en) | 2018-12-21 | 2021-12-07 | Snap Inc. | Adaptive illuminator sequencing |
WO2021051067A1 (en) * | 2019-09-15 | 2021-03-18 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Digital illumination assisted gaze tracking for augmented reality near to eye displays |
US11500204B2 (en) * | 2020-06-09 | 2022-11-15 | Arm Limited | Head-mounted display |
KR20230162090A (ko) * | 2021-03-31 | 2023-11-28 | 스냅 인코포레이티드 | 아이웨어 프로젝터 밝기 조절 |
-
2022
- 2022-03-17 KR KR1020237037209A patent/KR20230162090A/ko unknown
- 2022-03-17 WO PCT/US2022/020686 patent/WO2022212072A1/en active Application Filing
- 2022-03-17 EP EP22714722.0A patent/EP4314934A1/en active Pending
- 2022-03-17 CN CN202280026210.0A patent/CN117222932A/zh active Pending
- 2022-03-17 US US17/697,005 patent/US11663941B2/en active Active
-
2023
- 2023-04-20 US US18/137,324 patent/US20230252918A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230162090A (ko) | 2023-11-28 |
EP4314934A1 (en) | 2024-02-07 |
US20220319364A1 (en) | 2022-10-06 |
US20230252918A1 (en) | 2023-08-10 |
US11663941B2 (en) | 2023-05-30 |
WO2022212072A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114730100A (zh) | 眼戴设备的nfc通信和qi无线充电 | |
US11899283B2 (en) | Antenna implementation embedded in optical waveguide module | |
US11506902B2 (en) | Digital glasses having display vision enhancement | |
CN116249873A (zh) | 具有异步滚动快门相机的护目镜 | |
US20230252918A1 (en) | Eyewear projector brightness control | |
US11933977B2 (en) | Eyewear eye-tracking using optical waveguide | |
US11880039B2 (en) | Polarized reflective pinhole mirror display | |
US20220365354A1 (en) | Segmented illumination display | |
US11792371B2 (en) | Projector with field lens | |
US20220342222A1 (en) | Eyewear having a projector with heat sink shields | |
US11852500B1 (en) | Navigation assistance for the visually impaired | |
US20220365370A1 (en) | Eyewear electrochromic lens with multiple tint regions | |
US20230204958A1 (en) | Eyewear electronic tinting lens with integrated waveguide | |
US11860371B1 (en) | Eyewear with eye-tracking reflective element | |
WO2023129289A1 (en) | Eyewear electronic tinting lens with integrated waveguide | |
CN117120910A (zh) | 具有集成天线的投影仪 | |
CN117940820A (zh) | 紧凑型折反射投影仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |