CN114080800A - 利用双摄像头进行连续摄像头捕捉 - Google Patents

Abstract

一种眼戴设备，调节一对摄像头的开启时间和关闭时间，以控制摄像头和眼戴设备的热量。所述一对摄像头中的每一个具有确定所述相应摄像头何时开启和关闭的占空比。摄像头控制示意图包含所述占空比。所述眼戴设备可以具有温度传感器，使得所述摄像头的所述开启和关闭时间是所述温度传感器的函数。

Description

利用双摄像头进行连续摄像头捕捉

相关申请的交叉参考

本申请要求2019年6月25日提交的名称为“利用双摄像头进行连续摄像头捕捉”的美国临时申请62/866,090的优先权，其内容通过引用全文纳入本申请中。

技术领域

本申请涉及眼戴设备，例如智能眼镜，包括透视式显示器和摄像头。

背景

便携式眼戴设备，例如现在可用的智能眼镜、头饰和头戴设备，集成了摄像头和透视式显示器。摄像头可以产生立体图像并且可以纳入增强现实(AR)眼戴设备中。

附图简述

附图以例举的方式而非限定的方式示出了一个或多个实施例，在附图中相同的附图标记表示相同或类似的元件。

图1A是眼戴设备的示例硬件配置的侧视图，示出了具有图像显示器的右侧光学元件，并且基于检测到的用户的头部或眼睛移动，将视场调节应用于呈现在图像显示器上的用户界面；

图1B是图1A的眼戴设备的外壳的顶视截面图，描述了可见光摄像头、用于跟踪眼戴设备用户的头部移动的头部移动跟踪器以及电路板；

图2A是眼戴设备的示例硬件配置的后视图，包括框架上的眼睛扫描仪，用于识别眼戴设备用户的系统；

图2B是另一眼戴设备的示例硬件配置的后视图，包括外壳上的眼睛扫描仪，用于识别眼戴设备用户的系统；

图2C和2D是眼戴设备的示例硬件配置的后视图，包括两种不同类型的图像显示器。

图3示出了图2A的眼戴设备的后透视图，示出了红外发射器、红外摄像头、框架前部、框架后部和电路板；

图4是通过图3眼戴设备的红外发射器和框架截取的截面图；

图5说明了检测眼睛注视方向；

图6说明了检测眼睛位置；

图7描述了由左侧可见光摄像头捕捉的可见光作为左侧原始图像和由右侧可见光摄像头捕捉的可见光作为右侧原始图像的示例；

图8说明了摄像头控制示意图的第一示例；

图9说明了摄像头控制示意图的另一示例；

图10说明了温度根据摄像头开启和关闭变化的曲线图；

图11示出了眼戴设备的电子组件的框图；以及

图12是眼戴设备的操作流程图。

详细说明

眼戴设备中连续捕捉视频设备的缺点是它们容易过热。利用轮流拍摄视频的交替摄像头有助于确保两个摄像头都不会过热。由处理器执行的算法(例如存储在摄像头控制图中)控制每个摄像头(例如一对摄像头)的开关时间，以控制每个摄像头产生的热量并且还控制眼戴设备产生的热量。可以使用各种算法，例如以50％的占空比均匀地交替开启哪个摄像头，以及使用非均匀占空比非均匀地交替开启哪个摄像头，例如以考虑到一个摄像头更接近已经在眼戴设备中产生热量的眼戴设备电子器件。例如，更靠近眼戴设备电子器件的摄像头可以开启少于50％的时间。至少一个摄像头至少基本上总是开着，并且有时两个摄像头都可以开着。眼戴设备包括温度传感器，由此每个摄像头开启时间和关闭时间是温度传感器的函数。

示例的其它目的、优点和新特点将部分地在下面的说明中阐述，并且对于本领域技术人员来说，在查看下面说明和附图后将部分地变得显而易见，或者可以通过示例的生产或操作而获知。本发明主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。

在以下详细说明中，为了对相关教导能够有透彻的理解，通过示例的方式阐述了许多具体细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实施本教示。在其它实例中，为了避免不必要地使本教示的各个方面难以理解，本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路，而不阐述细节。

本文使用的术语“耦合”是指任何逻辑、光学、物理或电连接等，通过这些连接，由一个系统元件产生或提供的信号或光被传递给另一个耦合元件。除非另有说明，否则耦合的元件或设备不一定彼此直接连接，可由可修改、操纵或携载光或信号的中间组件、元件或传播介质分离。

出于说明和讨论的目的，仅以示例的方式给出了如任何附图所示的眼戴设备、相关组件以及结合有眼睛扫描仪和摄像头的任何完整设备的方向。在用于特定可变光学处理应用的操作中，眼戴设备可以在适合于眼戴设备特定应用的任何其它方向上定向，例如向上、向下、向侧面或任何其它方向。此外，在本文所使用的范围内，前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部和侧面等任何方向术语仅以示例的方式使用，并且不限于如本文另外描述所构造的任何光学器件或光学器件组件的方向或定向。

现在详细说明在附图中示出并在下面讨论的示例。

图1A是眼戴设备100的示例硬件配置的侧视图，包括右侧光学组件180B。眼戴设备100包括形成立体摄像头的多个可见光摄像头114A-B，其中右侧可见光摄像头114B位于右侧外壳110B中。

左侧和右侧可见光摄像头114A-B对可见光范围波长敏感。可见光摄像头114A-B中的每一个具有不同的面向前的视场角，例如，可见光摄像头114B具有所描述的视场角111B。视场角是可见光摄像头114A-B的图像传感器接收电磁辐射并生成图像的角度范围。这样的可见光摄像头114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)摄像头，例如640p(例如640x480像素，总共30万像素)、720p或1080p。来自可见光摄像头114A-B的图像传感器数据与地理定位数据一起被捕捉，由图像处理器数字化，并存储在存储器中。

为了提供立体视觉，可见光摄像头114A-B可耦合到图像处理器(图11中的元件912)，用于数字处理以及捕捉场景图像的时间戳。图像处理器912包括用于从可见光摄像头114A-B接收信号并将来自可见光摄像头114的那些信号处理成适于存储在存储器中的格式的电路。时间戳可由控制可见光摄像头114A-B操作的图像处理器或其它处理器添加。可见光摄像头114A-B允许立体摄像头模拟人的双眼视觉。立体摄像头提供基于来自具有相同时间戳的可见光摄像头114A-B两个捕捉图像来再现三维图像的能力。这种三维图像允许具有身临其境的逼真体验，例如，用于虚拟现实或视频游戏。对于立体视觉，在给定时刻生成一对图像(左侧和右侧可见光摄像头114A-B各有一个图像)。当从左侧和右侧可见光摄像头114A-B的面向前的视场角111A-B生成的一对图像被拼接在一起(例如通过图像处理器)时，提供深度感知。

在示例中，用户界面视场调节系统包括眼戴设备100。眼戴设备100包括框架105、从框架105的右侧面170B延伸的右侧眼戴设备腿110B和向用户呈现图形用户界面的透视式图像显示器180D(图2A-B)，透视式图像显示器180D包括光学元件180B。作为非限制性示例，光学元件180B可以包括镜片(弯曲和非弯曲)、光学显示器和透视式显示器。眼戴设备100包括左侧可见光摄像头114A，连接到框架105或左侧眼戴设备腿110A以捕捉场景的第一图像。眼戴设备100还包括右侧可见光摄像头114B，连接到框架105或右侧眼戴设备腿110B，以捕捉(例如与左侧可见光摄像头114A同时)与第一图像部分重叠的场景的第二图像。尽管图1A-B中未示出，用户界面视场调节系统还包括耦合到眼戴设备100并连接到可见光摄像头114A-B的处理器(图11中的元件932)、处理器932可访问的存储器(图11中的元件934)以及存储器中的编程(图11的元件934)，例如在眼戴设备100本身或用户界面视场调节系统的另一部分中。

尽管图1A中未示出，但眼戴设备100还包括头部移动跟踪器(图1B中的元件109)或眼睛移动跟踪器(图2A-B中的元件213)。眼戴设备100还包括用于呈现一系列显示图像的光学元件180A-B的透视式图像显示器180C-D和耦合到光学元件180A-B的透视式图像显示器180C-D的图像显示驱动器(图11中的元件942)，以控制光学元件180A-B的图像显示器180C-D呈现一系列显示的图像，这将在下面进一步详细说明。眼戴设备100还包括存储器(图11中的元件934)和处理器(图11中的元件932)，处理器能够访问图像显示驱动器(图11中的元件942)和存储器(图11中的元件934)。眼戴设备100还包括存储器中的编程(图11中的元件934)。由处理器(图11中的元件932)执行编程将眼戴设备100配置为执行功能，包括经由透视式图像显示器180C-D呈现一系列显示图像的初始显示图像的功能，初始显示图像具有与初始头部方向或初始眼睛注视方向相对应的初始视场(图5)。

由处理器(图11中的元件932)执行编程进一步将眼戴设备100配置为通过以下方式检测眼戴设备的用户的移动：(i)经由头部移动跟踪器(图1B中的元件109)跟踪用户头部的头部移动，或(ii)经由眼睛移动跟踪器(图2A-B、图5中的元件213)跟踪眼戴设备100的用户的眼睛的眼睛移动。由处理器(图11中的元件932)执行编程进一步将眼戴设备100配置为基于检测出的用户的移动，决定初始显示图像的初始视场的视场调节。视场调节包括对应于连续头部方向或连续眼睛方向的连续视场。由处理器(图11中的元件932)执行编程进一步将眼戴设备100配置为基于视场调节生成一系列显示图像的连续显示图像。由处理器(图11中的元件932)执行编程进一步将眼戴设备100配置为经由光学元件180A-B的透视式图像显示器180C-D呈现连续显示的图像。

图1B是图1A的眼戴设备100的外壳的顶视截面图，描述了右侧可见光摄像头114B、头部移动跟踪器109和电路板。左侧可见光摄像头114A的结构和位置基本上类似于右侧可见光摄像头114B，不同之处在于连接和耦合在左侧面170A上。如图所示，眼戴设备100包括右侧可见光摄像头114B和电路板，电路板可以是柔性印刷电路板(PCB)140。右铰链126B将右侧外壳110B连接到眼戴设备100的右侧眼戴设备腿125B。在一些示例中，右侧可见光摄像头114B、柔性PCB 140或其它电连接器或触点的组件可位于右侧眼戴设备腿125B或右铰链126B上。

如图所示，眼戴设备100具有头部移动跟踪器109，包括例如惯性测量单元(IMU)。惯性测量单元是一种电子设备，使用加速度计和陀螺仪的组合，有时也使用磁力计，测量和报告身体的比力、角速度，有时还测量和报告身体周围的磁场。惯性测量单元通过使用一个或多个加速度计检测线性加速度并使用一个或多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置为三个轴中的每个轴包含一个加速度计、陀螺仪和磁力计：水平轴(X)针对左右移动、垂直轴(Y)针对顶底移动，深度或距离轴(Z)针对上下移动。加速度计检测重力矢量。磁力计确定磁场中的旋转(例如，面向南、面向北等)，如同产生首向基准的罗盘。三个加速度计检测沿以上定义的水平轴、垂直轴和深度轴的加速度，这些轴可以相对于地面、眼戴设备100或佩戴眼戴设备100的用户来定义。

眼戴设备100通过经由头部移动跟踪器109跟踪用户头部的头部移动来检测眼戴设备100的用户的移动。头部移动包括在图像显示器上呈现初始显示图像期间头部方向相对于初始头部方向在水平轴、垂直轴或其组合上的变化。在一个示例中，经由头部移动跟踪器109跟踪用户头部的头部移动包括经由惯性测量单元109测量水平轴(例如X轴)、垂直轴(例如Y轴)或其组合(例如横向或对角移动)上的初始头部方向。经由头部移动跟踪器109跟踪用户头部的头部移动还包括在呈现初始显示图像期间经由惯性测量单元109测量水平轴、垂直轴或其组合上的连续头部方向。

经由头部移动跟踪器109跟踪用户头部的头部移动还包括基于初始头部方向和连续头部方向两者来确定头部方向的变化。检测眼戴设备100的用户的移动还包括响应于经由头部移动跟踪器109跟踪用户头部的头部移动，确定头部方向的变化超过水平轴、垂直轴或其组合上的偏离角阈值。偏差角阈值在大约3°到10°之间。如本文中所使用的，术语“大约”在指角度时表示所述量的±10％。

沿着水平轴的变化例如通过隐藏、解除隐藏或以其他方式调节三维对象的可见性，将例如字符、小表情(bitmojis)、应用图标等的三维对象滑入和滑出视场。沿着垂直轴的变化，例如，当用户向上看时，在一个示例中，显示天气信息、一天中的时间、日期、日历约会等。在另一个示例中，当用户在垂直轴上向下看时，眼戴设备100可以断电。

右侧外壳110B包括外壳主体211和外壳盖，在图1B的横截面中省略了外壳盖。布置在右侧外壳110B内的是各种互连电路板，例如PCB或柔性PCB，包括用于右侧可见光摄像头114B、麦克风的控制器电路、低功率无线电路(例如用于经由蓝牙(Bluetooth)^TM的无线短距离网络通信)、高速无线电路(例如用于经由WiFi的无线局域网通信)。

右侧可见光摄像头114B耦合到柔性PCB 240或设置在柔性PCB 240上，并且由可见光摄像头盖板覆盖，通过形成在右侧外壳110B中的开口瞄准。在一些示例中，连接到右侧外壳110B的框架105包括用于可见光摄像头盖板的开口。框架105包括配置为面向外远离用户眼睛的面向前的侧面。可见光摄像头盖板的开口形成在面向前的侧面上并穿过面向前的侧面。在示例中，右侧可见光摄像头114B具有面向外的视场角111B，具有眼戴设备100的用户的右眼的视线或视角。可见光摄像头盖板还可以粘附到右侧外壳110B的面向外的表面，其中开口形成为具有面向外的视场角，但是在不同的向外方向上。耦合也可以是经由中间组件的间接耦合。

左侧(第一)可见光摄像头114A连接到左侧光学元件180A的左侧透视式图像显示器180C，以生成第一连续显示图像的第一背景场景。右侧(第二)可见光摄像头114B连接到右侧光学元件180B的右侧透视式图像显示器180D，以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠以呈现连续显示图像的三维可观察区域。

柔性PCB 140设置在右侧外壳110B内，并且耦合到放在右侧外壳110B中的一个或多个其它组件。虽然示出为形成在右侧外壳110B的电路板上，但是右侧可见光摄像头114B可以形成在左侧外壳110A、眼戴设备腿125A-B或框架105的电路板上。

图2A是眼戴设备100的示例硬件配置的后视图，包括框架105上的眼睛扫描仪113，用于确定眼戴设备100的佩戴者/用户的眼睛位置和注视方向的系统中。如图2A所示，眼戴设备100配置为由用户佩戴的形式，在图2A的示例中为眼镜。眼戴设备100可以采取其他形式，并且可以结合其他类型的框架，例如，头戴设备、头戴式耳机或头盔。

在眼镜的示例中，眼戴设备100包括框架105，包括左边缘107A，经由适于用户鼻子的鼻梁架106连接到右边缘107B。左和右边缘107A-B包括各自的孔175A-B，保持各自的光学元件180A-B，例如镜片和透视式显示器180C-D。如本文所使用的，术语镜片是指具有导致光会聚/发散或导致很少或不导致会聚/发散的曲面和平面的透明或半透明的玻璃或塑料片。

尽管示出为具有两个光学元件180A-B，但是眼戴设备100可包括其它布置，例如单个光学元件，这取决于眼戴设备100的应用或预期用户。如进一步所示，眼戴设备100包括邻近框架105的左侧面170A的左侧外壳110A和邻近框架105的右侧面170B的右侧外壳110B。外壳110A-B可在相应侧面170A-B上集成到框架105中(如图所示)，或实现为在相应侧面170A-B上附接到框架105的单独组件。或者，外壳110A-B可以集成到附接到框架105的眼戴设备腿(未示出)中。

在图2A的示例中，眼睛扫描仪113包括红外发射器115和红外摄像头120。可见光摄像头通常包括蓝光滤光器以阻挡红外光检测，在示例中，红外摄像头120是可见光摄像头，例如低分辨率视频图形阵列(VGA)摄像头(例如，640×480像素，总共30万像素)，其中去除蓝色滤光器。红外发射器115和红外摄像头120共同位于框架105上，例如，两者被示为连接到左边缘107A的上部。框架105或左侧和右侧外壳110A-B中的一个或多个包括电路板(未示出)，包括红外发射器115和红外摄像头120。红外发射器115和红外摄像头120可以通过例如钎焊连接到电路板。

红外发射器115和红外摄像头120的其它布置也可以实现，包括其中红外发射器115和红外摄像头120都位于右边缘107B上，或者位于框架105上的不同位置，例如，红外发射器115位于左边缘107A上，红外摄像头120位于右边缘107B上。在另一示例中，红外发射器115在框架105上，红外摄像头120在外壳110A-B之一上，或者反之亦然。红外发射器115可以基本上连接在框架105、左侧外壳110A或右侧外壳110B上的任何地方，以发射红外光的图案。类似地，红外摄像头120可以基本上连接在框架105、左侧外壳110A或右侧外壳110B上的任何地方，以捕捉红外光的发射图案中的至少一个反射变化。

红外发射器115和红外摄像头120被布置为以眼睛的部分或全部视场面向内朝向用户的眼睛，以便识别相应的眼睛位置和注视方向。例如，红外发射器115和红外摄像头120直接定位在眼睛前面、框架105的上部或框架105两端的外壳110A-B中。

图2B是另一眼戴设备200的示例硬件配置的后视图。在该示例配置中，眼戴设备200被描述为包括右侧外壳210B上的眼睛扫描仪213。如图所示，红外发射器215和红外摄像头220共同位于右侧外壳210B上。应当理解，眼睛扫描仪213或眼睛扫描仪213的一个或多个组件可以位于左侧外壳210A和眼戴设备200的框架205等其他位置上。红外发射器215和红外摄像头220类似于图2A的红外发射器和红外摄像头，但是眼睛扫描仪213可以改变为对不同的光波长敏感，如先前在图2A中描述的。

与图2A类似，眼戴设备200包括框架105，包括经由鼻梁架106连接到右边缘107B的左边缘107A，并且左和右边缘107A-B包括保持包括透视式显示器180C-D的相应光学元件180A-B的相应孔。

图2C-D是眼戴设备100的示例硬件配置的后视图，包括两种不同类型的透视式图像显示器180C-D。在一个示例中，光学元件180A-B的这些透视式图像显示器180C-D包括集成的图像显示器。如图2C所示，光学元件180A-B包括任何适当类型的适当显示矩阵180C-D，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器或任何其它此类显示器。光学元件180A-B还包括一个或多个光学层176，可以包括任何组合的透镜、光学涂层、棱镜、反射镜、波导、光条和其它光学组件。光学层176A-N可以包括棱镜，具有合适的尺寸和配置，并且包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成于左边缘和右边缘107A-B中的相应孔175A-B的全部或至少一部分上延伸，以允许用户在通过相应的左边缘和右边缘107A-B观看时看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵覆盖棱镜，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定为使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面投向用户的眼睛。在这点上，光学层176A-N的棱镜的第二表面可以是凸的，以将光投向眼睛的中心。可选地，棱镜的尺寸和形状可以被确定为放大由透视式图像显示器180C-D投影的图像，并且光穿过棱镜，使得从第二表面观看的图像在一个或多个维度上大于从透视式图像显示器180C-D发射的图像。

在另一示例中，光学元件180A-B的透视式图像显示器180C-D包括如图2D所示的投影图像显示器。光学元件180A-B包括激光投影仪150，是使用扫描镜或检流计的三色激光投影仪。在操作期间，激光投影仪150等光源设置在眼戴设备100的眼戴设备腿125A-B之一内或眼戴设备腿125A-B之一上。光学元件180-B包括在光学元件180A-B的镜片的宽度上或在镜片的前表面和后表面之间的镜片的深度上间隔开的一个或多个光条155A-N。

当由激光投影仪150投射的光子穿过光学元件180A-B的镜片行进时，光子遇到光条155A-N。当特定的光子遇到特定的光条时，光子要么被重新投向用户的眼睛，要么传递到下一个光条。激光投影仪150调制和光条调制的组合可以控制特定的光子或光束。在示例中，处理器通过启动机械、声学或电磁信号来控制光条155A-N。虽然示出为具有两个光学元件180A-B，但是眼戴设备100可以包括其他布置，例如单个或三个光学组件，或者光学元件180A-B可以根据眼戴设备100的应用或预期用户而布置不同的布置。

如图2C-D进一步所示，眼戴设备100包括邻近框架105的左侧面170A的左侧外壳110A和邻近框架105的右侧面170B的右侧外壳110B。外壳110A-B可以在相应的侧面170A-B(如图所示)上集成到框架105中，或者实现为在相应的侧面170A-B上附接到框架105的单独组件。或者，外壳110A-B可以集成到附接到框架105的眼戴设备腿125A-B中。

在一个示例中，透视式图像显示器包括第一透视式图像显示器180C和第二透视式图像显示器180D。眼戴设备100包括保持第一光学元件和第二光学元件180A-B相应的第一孔和第二孔175A-B。第一光学元件180A包括第一透视式图像显示器180C(例如图2C的显示矩阵或光条155A-N’和投影仪150A)。第二光学元件180B包括第二透视式图像显示器180D(例如图2C的显示矩阵或光条155A-N"和投影仪150B)。连续显示图像的连续视场包括水平、垂直或对角测量的大约15°至30°之间(更具体地为24°)的视角。具有连续视场的连续显示图像表示通过将呈现在第一和第二图像显示器上的两个显示图像拼接在一起而可见的组合三维可观察区域。

如本文所使用的，“视角”描述了与呈现在光学元件180A-B的左侧图像显示器180C和右侧图像显示器180D中的每一个上的所显示图像相关联的视场的角度范围。“视场角”描述了可见光摄像头114A-B或红外摄像头220的透镜可以成像的角度范围。由透镜产生的图像圆通常足够大以完全覆盖胶片或传感器，可能包括一些渐晕(即，与图像中心相比，朝向外围的图像的亮度或饱和度降低)。如果透镜的视场角没有填充传感器，则图像圆将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于视场角。“视场”旨在描述可观察区域的视场，眼戴设备100的用户可以经由呈现在光学元件180A-B的左侧图像显示器和右侧图像显示器180C-D上的显示图像通过他或她的眼睛看到可观察区域的视场。光学元件180A-B的图像显示器180C可以具有视场角在15°到110°(例如24°)之间的视场，并且具有480x480像素或更大的分辨率。

图3示出了图2A的眼戴设备的后透视图。眼戴设备100包括红外发射器215、红外摄像头220、框架前部330、框架后部335和电路板340。可以在图3中看到，眼戴设备100的框架的左边缘的上部包括框架前部330和框架后部335。红外发射器215的开口形成在框架背部335上。

如在框架的左边缘的中上部中的环绕横截面4-4所示，电路板(柔性PCB340)夹在框架前部330和框架后部335之间。还更详细示出了左侧外壳110A经由左铰链126A附接到左侧眼戴设备腿325A。在一些示例中，眼睛移动跟踪器213的组件(包括红外发射器215、柔性PCB 340或其它电连接器或触点)可位于左侧眼戴设备腿325A或左铰链126A上。

图4是通过红外发射器215和框架的横截面图，对应于图3中的眼戴设备的环绕横截面4-4。在图4的横截面图中说明了眼戴设备100的多个层，如图所示，框架包括框架前部330和框架后部335。柔性PCB 340设置在框架前部330上并连接到框架后部335。红外发射器215设置在柔性PCB 340上并由红外发射器盖板445覆盖。例如，红外发射器215回流焊到柔性PCB 340的背面。回流焊通过使柔性PCB 340经受将焊膏熔化以连接两个组件的受控热量而将红外发射器215附接到形成在柔性PCB 340背面上的电接触垫。在一个示例中，回流焊用于将红外发射器215表面安装在柔性PCB 340上并且电连接这两个组件。然而，应当理解，例如，可以使用通孔将来自红外发射器215的引线经由连接线连接到柔性PCB 340。

框架后部335包括用于红外发射器盖板445的红外发射器开口450。红外发射器开口450形成在框架后部335的面向后的侧面上，面向后的侧面配置为面向内朝向用户的眼睛。在该示例中，柔性PCB 340可以经由柔性PCB粘合剂460连接到框架前部330。红外发射器盖板445可以经由红外发射器盖板粘合剂455连接到框架后部335。耦合也可以是经由中间组件的间接耦合。

在示例中，处理器(图11中的元件932)利用眼睛跟踪器213来确定佩戴者的眼睛注视方向230，如图5所示，以及佩戴者在眼动范围内的眼睛位置236，如图6所示。眼睛跟踪器213是使用红外光照明(例如近红外、短波长红外、中波长红外、长波长红外或远红外)来捕捉来自眼睛的红外光的反射变化的图像以确定眼睛234的瞳孔232的注视方向230以及眼睛相对于透视式显示器180D的位置236的扫描仪。

图7描述了用摄像头捕捉可见光的示例。可见光由左侧可见光摄像头114A捕捉，其中左侧可见光摄像头视场111A作为左侧原始图像758A。可见光由右侧可见光摄像头114B捕捉，其中右侧可见光摄像头视场111B作为右侧原始图像758B。基于左侧原始图像758A和右侧原始图像758B的处理，由处理器932生成三维场景的三维深度图715(图11)。

参见图8，示出了存储在存储器(图11中的元件934)中的摄像头控制示意图945的第一示例，由处理器(图11中的元件932)使用以控制摄像头114A和114B的开启和关闭时间。在该示例中，左侧可见光摄像头114A(标记为摄像头1)开启n秒，例如10秒，而右侧可见光摄像头114B关闭。然后，右侧可见光摄像头114B(标记为摄像头2)开启n秒，而左侧可见光摄像头114B关闭。重复这种模式。在一个示例中，如图8所示，左侧可见光摄像头和右侧可见光摄像头114A-B打开和关闭相等时间，使得对于每个摄像头存在50％的占空比。

在一个示例中，可见光摄像头114A-B各被设置为以每秒36帧(即感知流体运动的最小阈值的两倍)或更大的速度捕捉视频。每个可见光摄像头114A-B被开启以捕捉一个或多个帧，然后在另一个摄像头捕捉一个或多个帧时关闭。例如，由一个或两个摄像头114A-B创建的图像由发射器(图937中的元件937)发射，通过流式传输到用户设备的显示器(图11中的元件990)，供其他用户查看。当两个摄像头114A-B都开启时，呈现的图像为单维图像或立体图像，当只有一个摄像头开启时，呈现的图像为单维图像。可以由处理器(图11中的元件932)对图像进行滤波。图像处理可以允许视频从左侧摄像头平滑过渡到右侧摄像头，反之亦然。

在另一示例中，一个摄像头比另一摄像头开启时间更长，使得对于一个摄像头存在大于50％的占空比，而对于另一摄像头(例如更靠近眼戴设备100的处理器(图11中的元件932)放置的摄像头)，存在小于50％的占空比。该示例有助于防止每个摄像头变得太热，并且还有助于减少在靠近处理器的眼戴设备100中产生的热量。

在一个示例中，一个摄像头始终开启而另一个摄像头始终关闭。在另一示例中，在一个摄像头关闭时和另一摄像头关闭时之间存在时间间隙(例如视觉上不可察觉的间隙)。在另一示例中，存在一些重叠，其中开启一个摄像头是在另一摄像头关闭之前。

参见图9，示出了摄像头控制示意图945的另一示例，配置为使得处理器有时开启两个摄像头，在其他时间仅开启一个摄像头而另一个摄像头关闭。该示例确保在最后n秒中，仅一个摄像头开启n秒，而另一个摄像头关闭n秒。例如，对于最初的m秒，只有摄像头1开启而摄像头2关闭。在接下来的n秒内，两个摄像头都开启。在接下来的m秒中，只有摄像头2开启而摄像头1关闭。在接下来的n秒内，两个摄像头都再次开启。重复这种模式，使得每n秒只有一个摄像头开启，并且两个摄像头也每n秒开启。在一个示例中，n可以是10秒，尽管n的值可以小于或大于10秒。时间m可以大于、等于或小于时间n。

在另一示例中，一个摄像头开启的时间可以大于或小于两个摄像头开启的时间。在另一示例中，一个摄像头的关闭时间可以比另一个摄像头的关闭时间长，以控制每个摄像头产生的热量并控制整个眼戴设备100的总热量。

图10说明了如图1A中所示的靠近处理器932的外壳110B的温度曲线图。外壳110B的温度由耦合到接近处理器932的外壳110B的温度传感器(图11中的元件940)测定。在另一示例中，温度传感器940可以形成芯片上处理器932的一部分并提供处理器932的温度。图10中所示的曲线图对应于图8所示的摄像头控制示意图945，其中摄像头1和摄像头2中的每一个具有50％的占空比。如图所示，外壳110B或处理器932的温度在温度A和温度B之间随着摄像头中的一个开启和关闭而变化，至少部分地通过将摄像头的开启时间改变为低于高温极限L来控制温度，以避免摄像头114A-B变得太热，并减少外壳110B中的热量。

图11描述了包括布置在眼戴设备100和200中的示例电子组件的高级功能框图。所示的电子组件包括处理器932、温度传感器940、存储器934(包括静态或动态存储器或其组合，并且包括图8和图9所示的摄像头控制示意图945，以控制摄像头114A-B的开启时间和关闭时间，例如控制眼戴设备100中的热量)。

处理器932包括用于由处理器932执行以实现眼戴设备100/200的功能的指令，包括用于处理器932控制摄像头114A-B的开启时间和关闭时间的指令。处理器932从电池(未示出)接收电力并且执行存储在存储器934中的指令，或者与处理器932在芯片上集成的指令，以执行眼戴设备100/200的功能，例如透视式显示器180D的图像处理、控制眼戴设备100/200的操作以及经由无线连接与外部设备通信。

用户界面调节系统900包括可穿戴设备，可穿戴设备是具有眼睛移动跟踪器213(例如在图2B中示为红外发射器215和红外摄像头220)的眼戴设备100。用户界面调节系统900还包括经由各种网络连接的移动设备990和服务器系统998。移动设备990可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接925和高速无线连接937与眼戴设备100连接的任何其他此类设备。移动设备990连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。

眼戴设备100包括至少两个可见光摄像头114A-B(一个与左侧面170A相关联，一个与右侧面170B相关联)。眼戴设备100还包括光学元件180A-B的两个透视式图像显示器180C-D(一个与左侧面170A相关联，一个与右侧面170B相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。图11中所示的眼戴设备100的组件位于眼戴设备腿中的一个或多个电路板上，例如PCB或柔性PCB。替代地或附加地，所描述的组件可位于眼戴设备100的外壳、框架、铰链或鼻梁架中。左侧可见光摄像头和右可见光摄像头114A-B可包括数码摄像头元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合元件、透镜或可用于捕捉数据(包括具有未知对象的场景的图像)的任何其它相应可见或光捕捉元件。

存储器934还包括摄像头控制示意图945，以执行本文所述的功能，包括用户界面视场调节与呈现在光学元件180A-B的左侧和右侧透视图像显示器180C-D上的显示内容的交互。

眼睛移动跟踪编程实现用户界面视场调节指令，包括使眼戴设备100经由眼睛移动跟踪器213跟踪眼戴设备100的用户眼睛的眼睛移动。其它实现的指令(功能)使得眼戴设备100基于检测到的与连续眼睛方向对应的用户的眼睛移动来确定对初始显示图像的初始视场的视场调节。进一步实现的指令基于视场调节生成一系列显示图像的连续显示图像。产生连续显示的图像成为经由用户界面对用户的可视输出。该可视输出出现在光学元件180A-B的透视式图像显示器180C-D上，由图像显示驱动器934驱动以呈现一系列显示图像，包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。

如图11所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942耦合到高速电路930并由高速处理器932操作，以便驱动光学元件180A-B的左侧图像显示器和右侧图像显示器180C-D。高速处理器932可以是能够管理眼戴设备100所需任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括管理在高速无线连接937上将高速数据传输到使用高速无线电路936的无线局域网(WLAN)所需的处理资源。在某些实施例中，高速处理器932执行LINUX操作系统或眼戴设备100的其它此类操作系统，并且该操作系统存储在存储器934中以供执行。除了任何其它责任之外，执行眼戴设备100的软件架构的高速处理器932用于管理与高速无线电路936的数据传输。在某些实施例中，高速无线电路936配置为实现电气和电子工程师协会(IEEE)802.11通信标准，在本文中也被称为Wi-Fi。在其它实施例中，其它高速通信标准可由高速无线电路936实现。

眼戴设备100的低功率无线电路924和高速无线电路936可以包括短程收发器(蓝牙(Bluetooth)^TM)和无线广域网、局域网或广域网收发器(例如蜂窝或WiFi)。包括经由低功率无线连接925和高速无线连接937通信的收发器的移动设备990可以使用眼戴设备100的架构细节来实现，网络995的其他元件也可以。

存储器934包括能够存储各种数据和应用的任何存储设备，其中包括色彩图、由左侧可见光摄像头和右可见光摄像头114A-B以及图像处理器912生成的摄像头数据，以及由图像显示驱动器942生成以在光学组件180A-B的透视式图像显示器180C-D上显示的图像。虽然存储器934被示为与高速电路930集成，但在其它实施例中，存储器934可以是眼戴设备100的独立元件。在某些此类实施例中，电的路由线可提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其它实施例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读或写操作的任何时候引导高速处理器932。

服务器系统998可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如，包括处理器、存储器和网络通信接口以通过网络995与移动设备990和眼戴设备100通信。眼戴设备100与主计算机连接。例如，眼戴设备100经由高速无线连接937与移动设备990配对，或者经由网络995连接到服务器系统998。

眼戴设备100的输出组件包括视觉组件，例如如图2C-D所述的光学元件180A-B的左侧图像显示器180C和右侧图像显示器180D(例如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管等显示器)。光学元件180A-B的图像显示器180C-D由图像显示驱动器942驱动。眼戴设备100的输出组件还包括声学组件(例如扬声器)、触觉组件(例如振动马达)、其它信号发生器等。眼戴设备100、移动设备990和服务器系统998的输入组件可以包括字母数字输入组件(例如键盘、配置为接收字母数字输入的触摸屏、光键盘或其他字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入组件(例如物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其它触觉输入组件)、音频输入组件(例如麦克风)等。

眼戴设备100可选择地包括其它外围设备元件919。此类外围设备元件可包括生物识别传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件919可包括任何I/O组件，包括输出组件、运动组件、位置组件或本文中所描述的任何其它此类元件。

例如，用户界面视场调节900的生物识别组件包括检测表情(例如手表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、出汗或脑电波)、识别人(例如声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。位置组件包括生成位置坐标的位置传感器组件(例如全球定位系统(GPS)接收器组件)、用于生成定位系统坐标的WiFi或蓝牙(Bluetooth)^TM收发器、高度传感器组件(例如高度计或气压计，气压计用于检测可从其导出海拔高度的气压)、方向传感器组件(例如磁力计)等。此类定位系统坐标也可经由低功率无线电路924或高速无线电路936通过无线连接925及937从移动设备990接收。

根据一些实施例，“应用程序”是执行程序中所确定功能的程序。可以采用各种编程语言来创建以面向对象的编程语言(例如Objective-C、Java或C++)或程序编程语言(例如C语言或汇编语言)等各种方式构造的一个或多个应用程序。在具体示例中，第三方应用程序(例如，由特定平台供应商以外的实体使用ANDROID^TM或IOS^TM软件开发工具包(SDK)开发的应用程序)可以是在移动操作系统(如IOS^TM、ANDROID^TM、

Phone或其他移动操作系统)上运行的移动软件。在该示例中，第三方应用可以调用由操作系统提供的API调用以帮助本文所述的功能。

图12是通过高速处理器932执行存储在存储器934中的指令而创建的眼戴设备100/200及其其他组件的操作的流程图1200。尽管示出为连续发生，图12中的块可以根据实施方式重新排序或平行放置。

在块1202，处理器932确定摄像头114A和114B中的每一个的开启时间和关闭时间。这是由处理器932选择存储在存储器934中的若干摄像头控制示意图945之一来确定的。图8和图9.中示出了可用的摄像头控制示意图的示例。每个摄像头的占空比可以相同或不同。

在块1204，处理器932基于所选择的摄像头控制示意图945控制摄像头114A和114B中的每一个的开启时间和关闭时间。两个摄像头中的至少一个至少基本上始终开启，使得至少一个摄像头捕捉图像，并且使得关闭的摄像头在关闭期间冷却。这也有助于控制眼戴设备中的热量，例如框架105、外壳、眼戴设备腿或其任意组合中的热量。在图8的示例中，其中一个摄像头开启，而另一个摄像头关闭。在图9的示例中，有时两个摄像头都开启，并且至少每n秒(例如10秒)关闭一个摄像头。

在块1206，处理器932测定温度传感器940的温度以测定接近一个或两个摄像头的温度，或接近也产生热量的处理器932的温度。温度传感器是可选的，可以使用或不使用该温度传感器。处理器932可以根据由温度传感器940测定的温度来改变摄像头的开关时间。在一个示例中，如果处理器932测得的温度传感器940的温度读数过高，则处理器932将自动选择不同摄像头控制示意图，以降低温度传感器940附近(例如处理器932附近)的温度。

在块1208，摄像头114A-B每个都设置为以每秒36帧(即流体运动感知的最小阈值的两倍)或更大的速度捕捉视频。每个可见光摄像头114A-B开启以捕捉一个或多个帧，然后在另一个摄像头捕捉一个或多个帧时关闭。处理器932可对所捕捉的视频过滤以改善视频、消除伪像或其组合。

在块1210处，例如通过流式传输到用户设备的显示器，传输由一个或两个摄像头114A-B创建的图像，以供一个或多个用户观看。当两个摄像头114A-B都开启时，呈现的图像为立体图像，当只有一个摄像头开启时，呈现的图像为单维图像。可以将图像流式传输到本地和远程设备以供观看。

应当理解，除了在本文中另外阐述的特定含义之外，本文使用的术语和表达具有与这些术语和表达相对于其相应的各自研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其它变型旨在涵盖非排他性包含，使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤，而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面带有“一”或“一个”的元件，在没有进一步限制的情况下，不排除在包含该元件的过程、方法、物品或设备中存在附加的相同元件。

除非另有说明，本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如，除非另有明确说明，否则参数值等可能与规定的数量相差±10％。

另外，在前面的详细说明中，可以看出，为了简化本公开，在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求在此结合到详细说明中，其中每个权利要求独立地作为单独要求保护的主题。

虽然上文已经描述了被认为是最佳方式和其它示例的内容，但是应当理解，可以在其中进行各种修改，可以以各种形式和示例来实现本文公开的主题，并且它们可以应用于许多应用中，本文仅描述了其中的一些应用。以下权利要求旨在要求保护落入本概念真实范围内的任何和所有修改和变化。

Claims (20)

1.眼戴设备，包括：

具有第一侧面和第二侧面的框架；

由所述框架支撑的光学元件；

耦合到所述框架的第一摄像头和第二摄像头，每个所述摄像头具有捕捉图像的开启时间和关闭时间；以及

电子组件，配置为控制所述第一摄像头和所述第二摄像头的所述开启时间和所述关闭时间，其中所述第一摄像头配置为在所述第二摄像头关闭时开启，其中所述第二摄像头配置为在所述第一摄像头关闭时开启。

2.如权利要求1的所述眼戴设备，其中所述第一摄像头和所述第二摄像头都配置为开启部分时间。

3.如权利要求2的所述眼戴设备，其中所述第一摄像头配置为在所述第二摄像头关闭的时间开启。

4.如权利要求1的所述眼戴设备，其中所述电子组件配置为根据指示所述第一摄像头何时开启和关闭的第一占空比和指示所述第二摄像头何时开启和关闭的第二占空比来控制所述第一摄像头和所述第二摄像头。

5.如权利要求4的所述眼戴设备，其中所述第一占空比和所述第二占空比相同。

6.如权利要求4的所述眼戴设备，其中所述第一占空比和所述第二占空比不相同。

7.如权利要求1的所述眼戴设备，还包括存储器，存储配置为控制所述第一摄像头和所述第二摄像头中的每一个何时开启和关闭的摄像头控制示意图。

8.如权利要求1的所述眼戴设备，其中所述眼戴设备还包括温度传感器，耦合到所述框架或从所述框架延伸的眼戴设备腿，其中所述电子组件配置为根据所述温度传感器控制所述第一摄像头和所述第二摄像头的所述开启时间和所述关闭时间。

9.一种配置眼戴设备的方法，所述眼戴设备具有框架、由所述框架支撑的光学元件、第一摄像头和第二摄像头以及处理器，所述方法包括：

由所述处理器确定所述第一摄像头和所述第二摄像头的开启时间和关闭时间；以及

由所述处理器根据所述确定来控制所述第一摄像头和所述第二摄像头中的每一个开启和关闭的时间。

10.如权利要求9的所述方法，还包括通过所述处理器在部分所述时间开启所述第一摄像头和所述第二摄像头。

11.如权利要求10的所述方法，还包括通过所述处理器在部分所述时间开启所述第一摄像头，而关闭所述第二摄像头。

12.如权利要求9的所述方法，还包括所述处理器根据指示所述第一摄像头何时开启和关闭的第一占空比和指示所述第二摄像头何时开启和关闭的第二占空比来控制所述第一摄像头和所述第二摄像头。

13.如权利要求12的所述方法，其中所述第一占空比和所述第二占空比相同。

14.如权利要求12的所述方法，其中所述第一占空比和所述第二占空比不相同。

15.如权利要求9的所述方法，还包括：

通过存储器存储用于控制所述第一摄像头和所述第二摄像头中的每一个何时开启和关闭摄像头控制示意图；以及

由所述处理器根据所述摄像头控制示意图来控制所述第一摄像头和所述第二摄像头中的每一个。

16.如权利要求9的所述方法，其中所述眼戴设备还包括温度传感器，耦合到所述框架或从所述框架延伸的眼戴设备腿，还包括根据所述温度传感器控制所述第一摄像头和所述第二摄像头的所述开启时间和所述关闭时间。

17.存储程序代码的非瞬态计算机可读介质，在执行程序代码时，程序代码可操作以使计算设备执行以下步骤：

由具有第一摄像头和第二摄像头以及由所述框架支撑的光学元件的眼戴设备的处理器确定所述第一摄像头和所述第二摄像头的开启时间和关闭时间；以及

由所述处理器根据所述确定来控制所述第一摄像头和所述第二摄像头中的每一个开启和关闭的时间。

18.如权利要求17的所述非瞬态计算机可读介质，其中在执行所述程序代码时，所述程序代码可操作以使得所述处理器在所述部分时间开启所述第一摄像头和所述第二摄像头。

19.如权利要求17的所述非瞬态计算机可读介质，其中在执行所述程序代码时，所述程序代码可操作以使得所述处理器在所述部分时间开启所述第一摄像头，而所述第二摄像头关闭。

20.如权利要求17的所述非瞬态计算机可读介质，其中在执行所述程序代码时，所述程序代码可操作以使所述处理器根据温度传感器来控制所述第一摄像头和所述第二摄像头的所述开启时间和所述关闭时间。

Images