CN117859120A

CN117859120A - 具有同时usb通信的片上系统

Info

Publication number: CN117859120A
Application number: CN202280057921.4A
Authority: CN
Inventors: 普拉文·巴布·瓦迪韦卢; 杰森·赫格尔; 杰拉尔德·尼勒斯; 亚历克斯·费恩曼; 胡敦勖
Original assignee: Snap Inc
Current assignee: Snap Inc
Priority date: 2021-08-24
Filing date: 2022-07-29
Publication date: 2024-04-09
Also published as: US20230063078A1; WO2023027862A1; KR20240047454A

Abstract

一种眼镜包括具有第一侧和第二侧的框架、从所述框架的所述第一侧延伸的第一镜腿、从所述框架的所述第二侧延伸的第二镜腿、电子部件、邻近所述框架的所述第一侧的耦合到所述电子部件的第一组(114A、608A、608B、114B)的第一片上系统SoC(602A)、以及邻近所述第二侧的第二片上系统(602B)，所述第二SoC(602B)耦合到所述第一SoC(602A)和所述多个电子部件的第二组(422、424、436)。通过利用所述第一SoC执行第一组操作并利用所述第二SoC执行第二组操作，在所述第一SoC与所述第二SoC之间平衡了处理工作负荷。

Description

具有同时USB通信的片上系统

相关申请的交叉引用

本申请要求于2021年8月24日提交的美国申请序列号17/409,895的优先权，其内容通过引用全部并入本文。

技术领域

本公开中阐述的示例涉及电子装置领域，并且更具体地涉及片上系统(SoC)与多个装置的同时通用串行总线(USB)通信(例如用于眼镜装置中)。

背景技术

当今可得的诸如移动装置(例如智能手机、平板电脑和膝上型计算机)、手持装置和可穿戴装置(例如智能眼镜、数字眼镜、头戴式装置、头戴式眼镜和头戴式显示器)的许多类型的计算机和电子装置，包括各种相机、传感器、无线收发器、输入系统(例如触敏表面、指针)、外围设备、显示器和图形用户界面(GUI)，用户可以通过图形用户界面与所显示的内容进行交互。这些装置中的处理以及与其他装置的通信通常由SoC执行。

增强现实(AR)将物理环境中的真实对象与虚拟对象组合，并将该组合显示给用户。组合显示给予虚拟对象确实存在于环境中的印象，特别是当虚拟对象像真实对象一样出现和表现时。

附图说明

从下面参考附图作出的详细描述将容易地理解所描述的各种示例的特征。在说明书中以及在附图的若干视图中，每个元件均使用附图标记。当存在多个类似元件时，可以将单个附图标记分配给类似元件，其中添加的字母指代特定元件。当提及多于一个的元件或元件中的非特定元件时，可以去掉字母。

除非另有说明，否则图中所示的各种元件没有按比例绘制。为了清楚起见，各种元件的尺寸可以被放大或减小。若干附图描绘了一个或多个实施方式，并且仅通过示例方式呈现，并且不应被解释为限制。附图中包括以下图：

图1A是适于在眼镜系统中使用的眼镜装置的示例硬件配置的侧视图(右)；

图1B是图1A的眼镜装置的右镜腿部分的局部截面透视图，描绘了右可见光相机和电路板；

图1C是图1A的眼镜装置的示例硬件配置的侧视图(左)，其示出了左可见光相机；

图1D是图1C的眼镜装置的左镜腿部分的局部截面透视图，描绘了左可见光相机和电路板；

图2A和图2B是眼镜系统中利用的眼镜装置的示例硬件配置的后视图；

图2C示出检测眼睛注视方向；

图2D示出检测眼睛位置；

图3是三维场景、由左可见光相机捕获的左原始图像、和由右可见光相机捕获的右原始图像的图解示图；

图4是包括眼镜装置的示例眼镜系统的功能框图，该眼镜装置经由各种网络连接到移动装置和服务器系统；

图5是图4的眼镜系统的移动装置的示例硬件配置的图解表示；

图6是具有邻近一个镜腿的第一片上系统和邻近另一个镜腿的第二片上系统的眼镜装置的局部框图；

图7是示出SoC与调制解调器之间以及SoC与另一装置之间的同时USB连接的框图；

图8是示出用于SoC与调制解调器之间以及SoC与个人计算机(PC)之间的同时USB连接的引脚连接的框图；

图9是用于与多个装置的同时通用串行总线(USB)通信的示例步骤的流程图；以及

图10描绘了用于在第一片上系统和第二片上系统之间划分处理工作负荷的一种策略。

具体实施方式

描述了包括具有USB接口的至少一个SoC的装置。USB接口被布置成具有第一子连接接口和第二子连接接口。第一子连接接口被配置用于与第一部件(例如，个人计算机或另一SoC)通信，并且第二子连接接口被配置用于与第二部件(例如，调制解调器或另一SoC)通信。这使得能够通过单个USB接口在SoC与第一和第二装置之间同时通信。

在一个示例中，眼镜装置利用USB接口来与第一部件和第二部件同时通信。该眼镜包括具有第一侧和第二侧的框架、多个电子部件以及邻近第一侧的SoC。SoC具有USB部件，该USB部件包括具有第一子连接接口和第二USB子连接接口的USB连接接口。第一USB子连接接口被配置用于与诸如调制解调器的第一部件通信。第二USB子连接接口被配置用于与诸如外部PC或在眼镜装置的第二侧上的另一SoC的第二部件通信。在第二部件是另一SoC的情况下，另一SoC也可以包括具有第一子连接接口和第二子连接接口的USB部件。这使得多个SoC能够连接成链。

以下详细描述包括说明在本公开中阐述的示例的系统、方法、技术、指令序列和计算机程序产品。为了提供对所公开的主题及其相关教导的透彻理解，包括了许多细节和示例。然而，相关领域的技术人员可以理解如何在没有这些细节的情况下应用相关教导。所公开的主题的各方面不限于所描述的特定装置、系统和方法，因为可以以各种方式应用或实践相关教导。本文使用的术语和命名法仅用于描述特定方面的目的，而不是旨在限制。通常，公知的指令实例、协议、结构和技术不必详细示出。

术语“片上系统”或“SoC”在本文中用于指将电子系统的部件集成在单个衬底或微芯片上的集成电路(也称为“芯片”)。这些部件包括中央处理单元(CPU)、图形处理单元(GPU)、图像信号处理器(ISP)、存储器控制器、视频解码器和用于连接到另一SoC的系统总线接口。作为非限制性示例，SoC的部件另外可以包括用于惯性测量单元(IMU；例如I2C、SPI、I3C等)的接口、视频编码器、收发器(TX/RX；例如Wi-Fi、或其组合)、以及数字、模拟、混合信号和射频信号处理功能中的一个或多个。

本文使用的术语“耦合”或“连接”是指由一个系统元件产生或提供的电或磁信号被传递给另一耦合或连接的系统元件所通过的任何逻辑、光学、物理或电连接，包括链路等。除非另有描述，否则耦合的或连接的元件或装置不一定彼此直接连接，而是可以通过中间部件、元件或通信介质分开，其中的一个或多个可以修改、操纵或携带电信号。术语“在……上”是指直接由元件支撑、或者通过集成到该元件中的或通过由该元件支撑的另一元件间接由该元件支撑。

术语“近侧”用于描述位于对象或人附近、邻近或紧邻的物品或物品的一部分；或相对于物品的其他部分(其可以被描述为“远侧”)更靠近的物品或物品的一部分。例如，物品的最接近对象的端部可以被称为近端，而通常相对的端部可以被称为远端。

眼镜装置、其它移动装置、相关部件、以及并入了相机、惯性测量单元或这两者的任何其它装置(诸如任何附图中所示)的取向仅作为示例给出，以用于说明和讨论的目的。在操作中，眼镜装置可以在适合于眼镜装置的特定应用的任何其它方向上取向；例如，上、下、侧向或任何其它取向。而且，在本文所使用的范围内，任何方向术语，诸如前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部、侧部、水平、垂直和对角线仅作为示例使用，并且不限制如本文所构建或以其他方式描述的任何相机或惯性测量单元的方向或取向。

示例的其他目的、优点和新颖特征将部分地在下面的描述中阐述，并且部分地对于本领域的技术人员将通过阅读下文和附图而变得显而易见，或者可以通过示例的生产或操作而获知。本主题的目的和优点可以借助所附权利要求中特别指出的方法、手段和组合来实现和获得。

现在详细参考附图中所示并在下文讨论的示例。

图1A是包括触敏输入装置或触摸板181的眼镜装置100的示例硬件配置的侧视图(右)。如图所示，触摸板181可以具有细微的并且不容易看到的边界；替代地，该边界可以是明显可见的或者包括向用户提供关于触摸板181的地点和边界的反馈的凸起的或者其他方式的触觉边缘。在其他实施方式中，眼镜装置100可以包括位于左侧的触摸板。

触摸板181的表面被配置成对与由眼镜装置在图像显示器上显示的GUI一起使用的手指触摸、轻击和手势(例如移动触摸)进行检测，以允许用户以直观的方式浏览和选择菜单选项，这增强和简化了用户体验。

对触摸板181上的手指输入的检测可以实现若干功能。例如，触摸触摸板181上的任何地方可以使得GUI在图像显示器上显示或高亮显示项目，该GUI可以被投影到光学组件180A、180B中的至少一个上。在触摸板181上双击可以选择项目或图标。在特定方向上滑动或划动手指(例如从前到后、从后到前、从上到下、或从下到上)可以使项目或图标在特定方向上滑动或滚动；例如，移动到下一个项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，移动到上一个项目、图标、视频、图像、页面或幻灯片。触摸板181几乎可以位于眼镜装置100上的任何地方。

在一个示例中，所识别的在触摸板181上单击的手指手势启动了对呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对光学组件180A、180B的图像显示器上呈现的图像的调整可以是对光学组件180A、180B的图像显示器上的图形用户界面元素进行选择或提交以供进一步显示或执行的基本动作。

如图1A所示，眼镜装置100包括右可见光相机114B。如本文进一步描述的，两个相机114A、114B从两个单独的视点捕获场景的图像信息。这两个捕获的图像可以用于将三维显示投影到图像显示器上以用于在3D眼镜上或使用3D眼镜观看。

眼镜装置100包括右光学组件180B，其具有图像显示器以呈现诸如深度图像的图像。如图1A和图1B所示，眼镜装置100包括右可见光相机114B。眼镜装置100可以包括多个可见光相机114A、114B，其形成诸如立体相机的被动型三维相机，其中的右可见光相机114B位于右镜腿部分110B上。如图1C-图1D所示，眼镜装置100还包括位于左镜腿部分110A上的左可见光相机114A。

左可见光相机114A和右可见光相机114B对可见光范围波长敏感。可见光相机114A、114B中的每一个具有不同的面向前方的视场，它们重叠以使得能够生成三维深度图像。右可见光相机114B捕获右视场111B，并且左可见光相机114A捕获左视场111A。通常，“视场”是在空间中的特定位置和取向处通过相机可见的场景部分。视场111A和111B具有重叠的视场304(图3)。在可见光相机捕获图像时视场111A、111B之外的对象或对象特征不被记录在原始图像(例如照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在给定场景的捕获图像中拾取给定场景的电磁辐射的角度范围或限度。视场可以表达为视锥的角度尺寸；即，视角。可以水平、垂直或对角地测量视角。

在一个示例中，可见光相机114A、114B具有视角在15°到30°之间(例如24°)的视场，并且具有480x480像素或更大的分辨率。在另一示例中，视场可以宽得多，诸如100°或更大。“覆盖角”描述了可见光相机114A、114B或红外相机410(见图2A)的镜片可以有效地成像的角度范围。通常，相机镜片产生的像圈足够大以完全覆盖相机的胶片或传感器，可能包括一些暗角(例如，与中心相比时图像朝向边缘变暗)。如果相机镜片的覆盖角未充满传感器，则像圈将是可见的，典型地朝向边缘具有强的暗角，并且有效视角将被限制为覆盖角。

这种可见光相机114A、114B的示例包括能够具有640p(例如，640x480像素，总共30万像素)、720p或1080p分辨率的高分辨率互补金属氧化物半导体(CMOS)图像传感器和数字VGA(video graphics array，视频图形阵列)相机。可见光相机114A、114B的其他示例可以以1642×1642像素(或更大)的分辨率捕获高清(HD)静止图像并存储它们；或者以高帧速率(例如每秒30至60帧或更多)记录高清视频并以1216×1216像素(或更大)的分辨率来存储该记录。

眼镜装置100可以捕获来自可见光相机114A、114B的图像传感器数据以及地理位置数据，由图像处理器进行数字化以用于存储在存储器中。可见光相机114A、114B在二维空间域中捕获包括二维坐标系上的像素矩阵的相应左原始图像和右原始图像，二维坐标系包括用于水平位置的X轴和用于垂直位置的Y轴。每个像素包括颜色属性值(例如红色像素光值、绿色像素光值或蓝色像素光值)；以及位置属性(例如X轴坐标和Y轴坐标)。

为了捕获立体图像以供稍后显示为三维投影，图像处理器412(图4中所示)可以耦合到可见光相机114A、114B以接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作以充当模拟人类双目视觉的立体相机，并且可以向每个图像添加时间戳。每对图像上的时间戳允许将图像一起显示为三维投影的一部分。三维投影产生沉浸式的逼真体验，这在包括虚拟现实(VR)和视频游戏在内的各种背景中都是期望的。

图1B是图1A的眼镜装置100的右镜腿部分110B的横截面透视图，描绘了相机系统的右可见光相机114B和电路板。图1C是图1A的眼镜装置100的示例硬件配置的侧视图(左)，其示出相机系统的左可见光相机114A。图1D是图1C的眼镜装置的左镜腿部分110A的横截面透视图，描绘了三维相机的左可见光相机114A和电路板。左可见光相机114A的构造和布置除了连接和耦合在左侧边170A上以外基本上都类似于右可见光相机114B。

如图1B的示例所示，眼镜装置100包括右可见光相机114B和电路板140B，电路板140B可以是柔性印刷电路板(PCB)。右铰链126B将右镜腿部分110B连接到眼镜装置100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB 140B或其它电连接器或触点的部件可以位于右镜腿125B、右铰链126B、右镜腿部分110B、框架105或其组合上。这些部件(或其子集)可以并入SoC中。

如图1D的示例所示，眼镜装置100包括左可见光相机114A和电路板140A，电路板140A可以是柔性印刷电路板(PCB)。左铰链126A将眼镜装置100的左镜腿部分110A连接到左镜腿125A。在一些示例中，左可见光相机114A、柔性PCB 140A或其它电连接器或触点的部件可以位于左镜腿125A、左铰链126A、左镜腿部分110A、框架105或其组合上。这些部件(或其子集)可以并入SoC中。

左镜腿部分110A和右镜腿部分110B包括镜腿部分主体190和镜腿部分盖，镜腿部分盖在图1B和图1D的截面中省略。布置在左镜腿部分110A和右镜腿部分110B内部的是各种互连的电路板，诸如PCB或柔性PCB，其包括用于相应的左可见光相机114A和右可见光相机114B的控制器电路、(多个)麦克风130、扬声器132、低功率无线电路系统(例如用于经由蓝牙^TM的无线短距离网络通信)、高速无线电路系统(例如用于经由Wi-Fi的无线局域网通信)。每个镜腿部分110中的部件和电路系统(或其子集)可以并入SoC中。

右可见光相机114B耦合到或布置在柔性PCB 140B上，并且被可见光相机盖板镜片覆盖，该可见光相机盖板镜片通过形成在框架105中的(多个)开口瞄准。例如，如图2A所示，框架105的右镜缘107B连接到右镜腿部分110B，并且包括用于可见光相机盖板镜片的(多个)开口。框架105包括被配置成面向外并远离用户眼睛的前侧。用于可见光相机盖板镜片的开口形成在框架105的前侧或朝外侧上并穿过该前侧或朝外侧。在该示例中，右可见光相机114B具有面向外的视场111B(图3中所示)，其具有与眼镜装置100的用户的右眼相关的视线或视角。可见光相机盖板镜片还可以粘附到右镜腿部分110B的前侧或面向外的表面，其中开口形成为具有面向外的覆盖角，但是在不同的向外方向上。该耦合也可以经由中间部件间接进行。虽然示出为形成在右镜腿部分110B的电路板上，但右可见光相机114B可以形成在左镜腿125B的电路板或框架105上。

左可见光相机114A耦合到或布置在柔性PCB 140A上，并且由可见光相机盖板镜片覆盖，该可见光相机盖板镜片通过形成在框架105中的(多个)开口瞄准。例如，如图2A所示，框架105的左镜缘107A连接到左镜腿部分110A，并且包括用于可见光相机盖板镜片的(多个)开口。框架105包括被配置成面向外并远离用户眼睛的前侧。用于可见光相机盖板镜片的开口形成在框架105的前侧或朝外侧上并穿过该前侧或朝外侧。在该示例中，左可见光相机114A具有面向外的视场111A(图3中所示)，其具有与眼镜装置100的用户的左眼相关的视线或视角。可见光相机盖板镜片还可以粘附到左镜腿部分110A的前侧或面向外的表面，其中开口形成为具有面向外的覆盖角，但是在不同的向外方向上。该耦合也可以经由中间部件间接进行。虽然示出为形成在左镜腿部分110A的电路板上，但左可见光相机114A可以形成在左镜腿125A的电路板或框架105上。

图2A和图2B是包括两种不同类型的图像显示器的眼镜装置100的示例硬件配置的后视透视图。眼镜装置100的尺寸和形状被形成为配置成供用户佩戴的形式，在该示例中示出了眼镜的形式。眼镜装置100可以采取其它形式，并且可以合并其它类型的构架；例如，头戴式眼镜、头戴式耳机或头盔。

在眼镜示例中，眼镜装置100包括框架105，该框架105包括经由适于被用户鼻子支撑的桥106而连接到右镜缘107B的左镜缘107A。左镜缘107A和右镜缘107B包括支持相应光学元件180A、180B(诸如镜片和显示装置)的相应孔径175A、175B。如本文所使用的，术语“镜片”意在包括透明或半透明的玻璃或塑料片，这些玻璃或塑料片具有导致光会聚/发散、或者很少或没有导致会聚/发散的弯曲和平坦表面。

尽管示出为具有两个光学元件180A、180B，但根据眼镜装置100的应用或预期用户，眼镜装置100可以包括其它布置，诸如单个光学元件(或者它可以不包括任何光学元件180A、180B)。如进一步所示，眼镜装置100包括邻近框架105的左侧边170A的左镜腿部分110A和邻近框架105的右侧边170B的右镜腿部分110B。镜腿部分110A、110B可以在相应的侧边170A、170B(如图所示)上集成到框架105中，或者实现为在相应的侧边170A、170B上附接到框架105的单独部件。替代地，镜腿部分110A、110B可以集成到被附接到框架105的镜腿(未示出)中。

在一个示例中，光学组件180A、180B的图像显示器包括集成图像显示器177。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其它这种显示器。每个光学组件180A、180B还包括一个或多个光学层176，其可以包括镜片、光学涂层、棱镜、反射镜、波导、光学条和任何组合的其他光学部件。光学层176A、176B、……176N(在图2A和本文中示为176A-N)可以包括具有合适尺寸和配置的棱镜，并且包括用于从显示矩阵接收光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成在左镜缘107A和右镜缘107B中的相应孔径175A、175B的全部或至少一部分上延伸，以在用户的眼睛通过对应的左镜缘107A和右镜缘107B观看时允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵177叠加在棱镜上，使得由显示矩阵177发射的光子和光撞击第一表面。棱镜的尺寸和形状可以形成为使得光在棱镜内折射并且通过光学层176A-N的棱镜的第二表面导向用户的眼睛。在这点上，光学层176A-N的棱镜的第二表面可以是凸的，以将光导向眼睛的中心。可选地，棱镜的尺寸和形状可以被形成为放大由显示矩阵177投影的图像，并且光穿过棱镜行进，使得从第二表面观看的图像在一个或多个维度上大于从显示矩阵177发射的图像。

在一个示例中，光学层176A-N可以包括透明(保持镜片打开)的LCD层，除非和直到施加使该层不透明(关闭或阻挡镜片)的电压。眼镜装置100上的图像处理器412可以执行编程以将电压施加到LCD层，以便产生主动快门系统，使得眼镜装置100适于观看被显示为三维投影时的视觉内容。可以使用除了LCD之外的技术用于主动快门模式，包括响应于电压或另一类型输入的其他类型的反应层。

在另一示例中，光学组件180A、180B的图像显示装置包括如图2B所示的投影图像显示器。每个光学组件180A、180B包括激光投影仪150，激光投影仪150是使用扫描镜或电流计的三色激光投影仪。在操作期间，诸如激光投影仪150的光源布置在眼镜装置100的镜腿125A、125B中的一个中或其上。在该示例中，光学组件180B包括一个或多个光学条155A、155B、……155N(在图2B中示出为155A-N)，这些光学条被间隔开并且跨越每个光学组件180A、180B的镜片的宽度或者跨越镜片的前表面与后表面之间的镜片的深度。

当由激光投影仪150投影的光子穿过每个光学组件180A、180B的镜片行进时，光子遇到光学条155A-N。当特定光子遇到特定光学条时，光子要么被重新导向到用户的眼睛，要么被传递到下一光学条。激光投影仪150的调制和光学条的调制的组合可以控制特定的光子或光束。在一个示例中，处理器通过启动机械、声学或电磁信号来控制光学条155A-N。尽管示出为具有两个光学组件180A、180B，但电子眼镜装置100可以包括其它布置，诸如单个或三个光学组件，或者每个光学组件180A、180B可以根据眼镜装置100的应用或预期用户而布置有不同的布置。

在另一示例中，图2B中所示的眼镜装置100可以包括两个投影仪，左投影仪(未示出)和右投影仪(示出为投影仪150)。左光学组件180A可以包括左显示矩阵(未示出)或被配置成与来自左投影仪的光相互作用的左光学条组(未示出)。在该示例中，眼镜装置100包括左显示器和右显示器。

如图2A和2B进一步所示，眼镜装置100包括邻近框架105的左侧边170A的左镜腿部分110A和邻近框架105的右侧边170B的右镜腿部分110B。镜腿部分110A、110B可以在相应的侧边170A、170B上集成到框架105中(如图所示)，或者实现为在相应的侧边170A、170B上附接到框架105的单独部件。替代地，镜腿部分110A、110B可以集成到被附接到框架105的镜腿125A、125B中。

参照图2A，框架105或左镜腿110A和右镜腿110B中的一个或多个包括红外发射器215和红外相机220。红外发射器215和红外相机220可以例如通过焊接连接到柔性PCB140B。可以实现红外发射器215和红外相机220的其它布置，包括其中红外发射器215和红外相机220两者都在右镜缘107B上或者在框架105上的不同地点处的布置，例如，红外发射器215在左镜缘107A上，并且红外相机220在右镜缘107B上。在另一示例中，红外发射器215在框架105上并且红外相机220在镜腿110A、110B中的一个上，或者反之亦然。红外发射器215本质上可以连接在框架105、左镜腿110A或右镜腿110B上的任何地方，以发射红外光图案。类似地，红外相机220本质上可以连接在框架105、左镜腿110A或右镜腿110B上的任何地方，以捕获红外光的发射图案中的至少一个反射变化。

红外发射器215和红外相机220被布置成以眼睛的部分或全视场向内面向用户眼睛，以便识别相应的眼睛位置和注视方向。例如，红外发射器115和红外相机120直接位于眼睛前方，在框架105的上部或者在框架105的任一端处的镜腿110A、110B中。

在一个示例中，处理器432利用眼睛跟踪器213来确定佩戴者眼睛234的眼睛注视方向230(如图2C所示)以及佩戴者眼睛234在眼动范围(eyebox)内的眼睛位置236(如图2D所示)。在一个示例中，眼睛跟踪器213是这样一种扫描仪，其使用红外光照射(例如，近红外、短波长红外、中波长红外、长波长红外或远红外)来捕获来自眼睛234的红外光的反射变化的图像以确定眼睛234的瞳孔232的注视方向230，以及相对于显示器180D的眼睛位置236。

图3是三维场景306、由左可见光相机114A捕获的左原始图像302A、以及由右可见光相机114B捕获的右原始图像302B的图解示图。如图所示，左视场111A可以与右视场111B重叠。重叠的视场304表示由两个相机114A、114B捕获的那部分图像。术语“重叠”在指视场时是指在生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本上重叠”是指在生成的原始图像中(或场景红外图像中)的像素矩阵重叠百分之五十(50％)或以上。如本文所述，可以将这两个原始图像302A、302B处理为包括时间戳，这允许图像被一起显示为三维投影的一部分。

对于立体图像的捕获，如图3所示，在给定的时刻捕获真实场景306的一对原始红、绿和蓝(RGB)图像——由左相机114A捕获的左原始图像302A和由右相机114B捕获的右原始图像302B。当(例如通过图像处理器412)处理该对原始图像302A、302B时，生成深度图像。可以在眼镜装置的光学组件180A、180B上、在另一显示器(例如移动装置401上的图像显示器580)、或在屏幕上观看所生成的深度图像。

所生成的深度图像在三维空间域中，并且可以包括三维地点坐标系上的顶点矩阵，该三维地点坐标系包括用于水平位置(例如长度)的X轴、用于垂直位置(例如高度)的Y轴、以及用于深度的(例如距离)Z轴。每个顶点可以包括：颜色属性(例如红色像素值、绿色像素值或蓝色像素值)；位置属性(例如X地点坐标、Y地点坐标和Z地点坐标)；纹理属性；反射属性；或其组合。纹理属性量化了深度图像的所感知的纹理，诸如深度图像的顶点的区域中的颜色或强度的空间排列。

在一个示例中，眼镜系统400(图4)包括眼镜装置100，眼镜装置100包括框架105、从框架105的左侧边170A延伸的左镜腿110A和从框架105的右侧边170B延伸的右镜腿125B。眼镜装置100还可以包括具有重叠视场的至少两个可见光相机114A、114B。在一个示例中，眼镜装置100包括具有左视场111A的左可见光相机114A，如图3所示。左相机114A连接到框架105、左镜腿125A或左镜腿部分110A，以从场景306的左侧捕获左原始图像302A。眼镜装置100还包括具有右视场111B的右可见光相机114B。右相机114B连接到框架105、右镜腿125B或右镜腿部分110B，以从场景306的右侧捕获右原始图像302B。

图4是示例眼睛系统400的功能框图，该眼睛系统400包括可佩戴装置(例如眼镜装置100)、移动装置401、以及经由诸如因特网的各种网络495连接的服务器系统498。眼镜系统400包括在眼镜装置100与移动装置401之间的低功率无线连接425和高速无线连接437。

如图4所示，眼镜装置100包括一个或多个可见光相机114A、114B，其如本文所述捕获静止图像、视频图像或静止图像和视频图像两者。相机114A、114B可以具有对高速电路系统430的直接存储器访问(DMA)并且用作立体相机。相机114A、114B可以用于捕获初始深度图像，初始深度图像可以被渲染为三维(3D)模型(其为红色、绿色和蓝色(RGB)成像场景的纹理映射图像)。

眼镜装置100还包括两个光学组件180A、180B(一个与左侧边170A相关联，一个与右侧边170B相关联)。眼镜装置100还包括图像显示驱动器442、图像处理器412、低功率电路系统420、和高速电路系统430(所有这些可以被复制并并入一对SoC中)。每个光学组件180A、180B的图像显示器177用于呈现图像，包括静止图像、视频图像、或静止和视频图像。图像显示驱动器442耦合到每个光学组件180A、180B的图像显示器，以便控制图像的显示。

眼镜装置100另外还包括一个或多个麦克风130和扬声器132(例如，麦克风和扬声器各自中的一个与眼镜装置的左侧相关联，而另一个与眼镜装置的右侧相关联)。麦克风130和扬声器132可以并入眼镜装置100的框架105、镜腿125或镜腿部分110中。在低功率电路系统420、高速电路系统430、或这两者的控制下，该一个或多个扬声器132由音频处理器443(其可以被复制并且并入一对SoC中)驱动。扬声器132用于呈现包括例如节拍音轨的音频信号。音频处理器443耦合到扬声器132以便控制声音的呈现。

图4中所示的用于眼镜装置100的部件位于一个或多个电路板上，例如在位于镜缘或镜腿中的印刷电路板(PCB)或柔性印刷电路(FPC)上。替代地或附加地，所描绘的部件可以位于眼镜装置100的镜腿部分、框架、铰链或桥中。左可见光相机114A和右可见光相机114B可以包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜片、或者可以用于捕获数据(包括具有未知对象的场景的静止图像或视频)的任何其他相应的可见光或光捕获元件。

如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路系统436。在该示例中，图像显示驱动器442耦合到高速电路系统430并且由高速处理器432操作，以便驱动每个光学组件180A、180B的左图像显示器和右图像显示器。高速处理器432可以是能够管理眼镜装置100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路系统436对到无线局域网(WLAN)的高速无线连接437上的高速数据传输进行管理所需的处理资源。

在一些示例中，高速处理器432执行诸如LINUX操作系统的操作系统或眼镜装置100的其他这种操作系统，并且该操作系统被存储在存储器434中以供执行。除了任何其它职责之外，高速处理器432执行用于电子眼镜装置100的软件架构，该软件架构用于管理与高速无线电路系统436的数据传输。在一些示例中，高速无线电路系统436被配置成实现电气和电子工程师协会(IEEE)802.11通信标准，在本文中也被称为Wi-Fi。在其他示例中，可以通过高速无线电路系统436来实现其他高速通信标准。

低功率电路系统420包括低功率处理器422和低功率无线电路系统424。眼镜装置100的低功率无线电路系统424和高速无线电路系统436可以包括短距离收发器(蓝牙^TM或蓝牙低能量(Bluetooth Low-Energy，BLE))和无线广域、局域或广域网收发器(例如蜂窝或Wi-Fi)。移动装置401(包括经由低功率无线连接425和高速无线连接437通信的收发器)可以使用眼镜装置100的架构的细节来实现，网络495的其他元件也可以如此实现。

存储器434包括能够存储各种数据和应用的任何存储装置，各种数据和应用尤其包括由左可见光相机114A和右可见光相机114B、(多个)红外相机220、图像处理器412生成的相机图像、以及由图像显示驱动器442生成的用于在每个光学组件180A、180B的图像显示器177上显示的图像。尽管存储器434被示出为与高速电路系统430集成，但在其他示例中，存储器434可以是眼镜装置100的单独的独立元件。在某些这样的示例中，电路由线路可以提供从图像处理器412或低功率处理器422通过包括高速处理器432的芯片到存储器434的连接。在其它实例中，高速处理器432可以管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读取或写入操作的任何时间启动高速处理器432。

如图4所示，眼镜装置100的高速处理器432可以耦合到相机系统(可见光相机114A、114B)、图像显示驱动器442、用户输入装置491和存储器434。如图5所示，移动装置401的CPU 530可以耦合到相机系统570、移动显示驱动器582、用户输入层591和存储器540A。

服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算装置，例如，其包括处理器、存储器和网络通信接口，以通过网络495与一个或多个眼镜装置100和移动装置401通信。

眼镜装置100的输出部件包括视觉元件，诸如与如图2A和图2B中所描述的每个镜片或光学组件180A、180B相关联的左图像显示器和右图像显示器(例如，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导的显示器)。眼镜装置100可以包括面向用户的指示器(例如，LED、扩音器或振动致动器)或面向外的信号(例如，LED、扩音器)。每个光学组件180A、180B的图像显示器由图像显示驱动器442驱动。在一些示例配置中，眼镜装置100的输出部件还包括附加指示器，诸如可听元件(例如扩音器)、触觉部件(例如，诸如生成触觉反馈的振动电动机之类的致动器)、和其它信号发生器。例如，装置100可以包括面向用户的指示器组和面向外的信号组。面向用户的指示器组被配置成由装置100的用户看到或以其他方式感觉到。例如，装置100可以包括定位成使得用户可以看到其的LED显示器、定位成生成用户可以听到的声音的一个或多个扬声器、或者提供用户可以感觉到的触觉反馈的致动器。面向外的信号组被配置成由装置100附近的观察者看到或以其他方式感觉到。类似地，装置100可以包括被配置和定位成由观察者感觉到的LED、扩音器或致动器。

眼镜装置100的输入部件可以包括输入部件(例如，被配置成接收字母数字输入的触摸屏或触摸板181、光电键盘或其他字母数字配置的元件)、基于指针的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器、或其他指针仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的地点、力、或地点和力的触摸屏或触摸板、或者其他触觉配置的元件)、以及音频输入部件(例如麦克风)等。移动装置401和服务器系统498可以包括字母数字的、基于指针的、触觉的、音频的和其他输入部件。

在一些示例中，眼镜装置100包括被称为惯性测量单元472(其可以被复制并且并入一对SoC中)的运动感测部件的集合。运动感测部件可以是具有微观运动部件的微机电系统(MEMS)，通常小到足以成为微芯片的一部分。在一些示例配置中，惯性测量单元(IMU)472包括加速度计、陀螺仪和磁力计。加速度计感测装置100相对于三个正交轴(x、y、z)的线性加速度(包括由于重力引起的加速度)。陀螺仪感测装置100围绕三个旋转轴(俯仰、滚动、偏转)的角速度。加速度计和陀螺仪一起可以提供关于装置相对于六个轴(x、y、z、俯仰、滚动、偏转)的位置、取向和运动数据。磁力计(如果存在)感测装置100相对于磁北的航向。装置100的位置可以由诸如GPS单元473的地点传感器、用于生成相对位置坐标的一个或多个收发器、海拔高度传感器或气压计、以及其他取向传感器(其可以被复制并且并入一对SoC中)来确定。还可以经由低功率无线电路系统424或高速无线电路系统436通过无线连接425、437从移动装置401接收这种定位系统坐标。

IMU 472可以包括数字运动处理器或编程或者与数字运动处理器或编程协作，所述数字运动处理器或编程从部件收集原始数据并计算关于装置100的位置、取向和运动的多个有用值。例如，从加速计收集的加速度数据可以被积分以获得相对于每个轴(x、y、z)的速度；并且再次积分以获得装置100的位置(在线性坐标x、y和z中)。来自陀螺仪的角速度数据可以被积分以获得装置100的位置(在球坐标中)。用于计算这些有用值的编程可以存储在存储器434中，并且由眼镜装置100的高速处理器432执行。

眼镜装置100可以可选地包括附加的外围传感器，诸如生物识别传感器、专用传感器或与眼镜装置100集成的显示元件。例如，外围设备元件可以包括任何I/O部件，包括输出部件、运动部件、位置部件或本文所述的任何其它这样的元件。例如，生物识别传感器可以包括用于检测表情(例如，手势、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗或脑电波)、识别人(例如，基于语音、视网膜、面部特征、指纹、或诸如脑电图数据之类的生物电信号的识别)等的部件。

移动装置401可以是智能手机、平板电脑、膝上型计算机、接入点、或能够使用低功率无线连接425和高速无线连接437两者与眼镜装置100连接的任何其它这种装置。移动装置401连接到服务器系统498和网络495。网络495可以包括有线和无线连接的任何组合。

如图4所示，眼镜系统400包括通过网络495耦合到眼镜装置100的计算装置，诸如移动装置401。眼镜系统400包括用于存储指令的存储器和用于执行指令的处理器。通过处理器432执行眼镜系统400的指令，将眼镜装置100配置成与移动装置401协作，并且还通过网络495与另一眼镜装置100协作。眼镜系统400可以利用眼镜装置100的存储器434或移动装置401的存储器元件540A、540B、540C(图5)。

如本文所述，本文所述的用于眼镜装置100、移动装置401和服务器系统498的任何功能性可以在一个或多个计算机软件应用或编程指令集中实施。根据一些示例，“功能”、“多个功能”、“应用”、“多个应用”、“指令”、“多个指令”或“编程”是执行在程序中定义的功能的(多个)程序。可以采用各种编程语言来开发以各种方式结构化的一个或多个应用，诸如面向对象编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在特定示例中，第三方应用(例如，由不同于特定平台的供应商的实体使用ANDROID^TM或IOS^TM软件开发套件(SDK)开发的应用)可以包括在诸如IOS^TM、ANDROID^TM、Phone的移动操作系统或其他移动操作系统上运行的移动软件。在该示例中，第三方应用可以激活由操作系统提供的API调用以促进本文描述的功能性。

因此，机器可读介质可以采取许多形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机装置等中的任何存储装置，诸如可以用于实现在附图中示出的客户端装置、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括：同轴电缆；铜线和光纤，包括包含了在计算机系统内的总线的导线。载波传输介质可以采取电信号或电磁信号、或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其它磁性介质、CD-ROM、DVD或DVD-ROM、任何其它光学介质、穿孔卡片纸带、具有孔图案的任何其它物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带、传送数据或指令的载波、传送这种载波的电缆或链路、或计算机可以从中读取编程代码或数据的任何其它介质。这些形式的计算机可读介质中的许多可以涉及将一个或多个指令中的一个或多个序列携带到处理器以供执行。

图5是示例移动装置401的高级功能框图。移动装置401包括闪存540A，其存储了要由CPU 530执行以执行本文所述功能的全部或子集的编程。

移动装置401可以包括相机570，相机570包括至少两个可见光相机(具有重叠视场的第一和第二可见光相机)或者具有基本上重叠的视场的至少一个可见光相机和深度传感器。闪存540A还可以包括经由相机570生成的多个图像或视频。

如图所示，移动装置401包括图像显示器580、用于驱动图像显示器580的移动显示驱动器582、以及用于控制图像显示器580的显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如触摸屏)，其被层叠在由图像显示器580所使用的屏幕的顶部上或以其他方式集成到图像显示器580所使用的屏幕中。

可以使用的触摸屏类型移动装置的示例包括(但不限于)智能手机、个人数字助理(PDA)、平板电脑、膝上型计算机或其他便携式装置。然而，触摸屏类型装置的结构和操作是通过示例方式提供的；本文描述的主题技术不旨在限于此。出于该讨论的目的，图5因此提供了具有用户接口的示例移动装置401的框图图示，该用户接口包括用于(通过手、触笔或其他工具通过触摸、多点触摸或手势等)接收输入的触摸屏输入层591以及用于显示内容的图像显示器580

如图5所示，移动装置401包括至少一个数字收发器(XCVR)510，其被示出为WWANXCVR，用于经由广域无线移动通信网络进行数字无线通信。移动装置401还包括附加的数字或模拟收发器，诸如用于诸如经由NFC、VLC、DECT、ZigBee、蓝牙^TM或Wi-Fi的短距离网络通信的短距离收发器(XCVR)520。例如，短距离XCVR 520可以采取与在无线局域网中实现的一个或多个标准通信协议(诸如IEEE 802.11下的Wi-Fi标准之一)相兼容的类型的任何可得的双向无线局域网(WLAN)收发器的形式。

为了生成用于定位移动装置401的地点坐标，移动装置401可以包括全球定位系统(GPS)接收器。替代地或附加地，移动装置401可以利用短距离XCVR 520和WWAN XCVR510中的一个或两者来生成用于定位的地点坐标。例如，蜂窝网络、Wi-Fi或基于蓝牙^TM的定位系统可以生成非常精确的地点坐标，特别是当组合使用时。这样的地点坐标可以经由XCVR 510、520通过一个或多个网络连接传输到眼镜装置。

收发器510、520(即网络通信接口)遵从现代移动网络所使用的各种数字无线通信标准中的一个或多个。WWAN收发器510的示例包括(但不限于)被配置成根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术操作的收发器，所述网络技术包括例如但不限于3GPP类型2(或3GPP2)和LTE，有时称为“4G”。例如，收发器510、520提供信息的双向无线通信，信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及网络相关输入、以及去往/来自移动装置401的各种类型的移动消息通信。

移动装置401还包括用作中央处理单元(CPU)530的微处理器。处理器是具有被构造和布置成执行一个或多个处理功能(通常是各种数据处理功能)的元件的电路。尽管可以使用分立逻辑部件，但是这些示例利用了形成可编程CPU的部件。微处理器例如包括合并了用以执行CPU的功能的电子元件的一个或多个集成电路(IC)芯片。例如，CPU 530可以基于任何已知或可得的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，如现今在移动装置和其他便携式电子装置中普遍使用的。当然，处理器电路系统的其它布置可以用于形成智能手机、膝上型计算机和平板电脑中的CPU 530或处理器硬件。

CPU 530通过将移动装置401配置成例如根据可由CPU 530执行的指令或编程来执行各种操作，从而用作移动装置401的可编程主机控制器。例如，这样的操作可以包括移动装置的各种通用操作，以及与用于移动装置上的应用的编程相关的操作。尽管可以通过使用硬连线逻辑来配置处理器，但移动装置中的典型处理器是通过执行编程来配置的通用处理电路。

移动装置401包括用于存储编程和数据的存储器或存储系统。在该示例中，存储器系统可以根据需要包括闪存540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM540B用作由CPU 530处理的指令和数据的短期存储，例如作为工作数据处理存储器。闪存540A通常提供较长期的存储。

因此，在移动装置401的示例中，闪存540A用于存储由CPU 530执行的编程或指令。根据装置的类型，移动装置401存储并运行通过其执行特定应用的移动操作系统。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad装置)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。

眼镜装置100内的处理器432可以构建眼镜装置100周围的环境的地图，确定眼镜装置在所映射的环境内的地点，以及确定眼镜装置关于所映射的环境中的一个或多个对象的相对位置。处理器432可以构建地图，并且使用应用于从一个或多个传感器接收的数据的同时定位和映射(SLAM)算法来确定地点和位置信息。在增强现实的背景中，SLAM算法用于构建和更新环境的地图，同时跟踪和更新所映射的环境内的装置(或用户)的地点。可以使用诸如粒子滤波器、卡尔曼滤波器、扩展卡尔曼滤波器和协方差交集等各种统计方法来近似得到数学解。

传感器数据包括从相机114A、114B中的一个或两个接收的图像、从激光测距仪接收的(多个)距离、从GPS单元473接收的位置信息、或两个或更多个这种传感器数据或者从提供对确定位置信息有用的数据的其它传感器接收的位置信息的组合。

图6是根据一个示例的合并有第一SoC 602A和第二SoC 602B的眼镜装置100的部分框图。第一SoC 602A与存储器604A(例如闪存)、电池606A、IMU 472A、相机114A和显示部件608A一起位于与框架105的第一侧相邻的左镜腿部分110A内。第二SoC 602B与存储器604B(例如闪存)、电池606B、IMU 472B、相机114B和显示部件608B一起位于与框架的第二侧相邻的右镜腿部分110B内。第一SoC 602A耦合到第二SoC以用于其间的通信。

尽管被示出在左镜腿部分110A中，但第一SoC 602A、存储器604A、电池606A和显示部件608A中的一个或多个可以位于框架105中与框架105的左侧/左镜腿部分110A相邻(即在左侧边170A上)或在镜腿125A中。另外，尽管被示出在右镜腿部分110B中，但第二SoC602B、存储器604B、电池606B和显示部件608B中的一个或多个可以位于框架105中与框架105的右侧/右镜腿部分110B相邻(即在右侧边170B上)或在镜腿125B中。此外，尽管示出了两个存储器604A、604B、电池606A、606B、以及显示部件608A、608B，但是可以并入更少或更多的存储器、电池和显示部件。例如，单个电池606可以为SoC 602A、602B两者供电，并且SoC602A、602B可以访问三个或更多个存储器604以执行各种操作。

在一个示例中，两个SoC 602合并了相同或基本上相似的部件和部件布局。因此，它们的总处理资源是等同的。根据该示例，第一SoC 602A至少基本上与第二SoC相同(即，它们是相同的或者具有95％或更大的部件或处理资源重叠)。通过使用双SoC 602(一个位于眼镜装置100的一侧，另一个位于眼镜装置的另一侧)，冷却被有效地分布在整个眼镜装置100中，其中眼镜装置的一侧为一个SoC 602提供被动冷却，而眼镜装置的另一侧为另一SoC602提供被动冷却。在其他示例中，SoC可以是不同的。

在一个示例中，眼镜装置100具有大约每镜腿3瓦特的热被动冷却能力。每一侧上的显示器608(例如投影LED显示器)利用大约1-2瓦特。每个SoC 602被设计成以小于大约1.5瓦特(例如，800-1000mW；不像移动电话中的SoC通常使用的大约5瓦特)操作，这使得能够通过框架105、镜腿部分110A、镜腿125A或其组合利用被动冷却来适当地冷却眼镜装置105的每一侧上的电子器件。通过并入两个SoC 602(定位在眼镜装置100的相对侧上以利用眼镜装置100所呈现的独特被动冷却能力)，可实现满足或超过在常规移动装置(其利用以5瓦特耗散功率操作的SoC)中可得的计算功率。

在每个SoC中并入相同或相似的部件和部件布局使得能够灵活地在两个SoC 602之间分配处理工作负荷。在一个示例中，基于相邻部件来分布处理工作负荷。根据该示例，每个SoC可以驱动各自的相机和显示器，从电气的角度来看这可能是期望的。在另一示例中，处理工作负荷基于功能性而分布。根据该示例，一个SoC 602可以充当传感器集线器(例如，执行所有计算机视觉、CV和机器学习、ML、处理加视频编码)，而另一个SoC 602可以运行应用逻辑、音频和视频渲染功能以及通信(例如，Wi-Fi、4G/5G等)。从隐私的角度来看，基于功能性来分布处理工作负荷可能是期望的。例如，利用一个SoC来处理传感器信息并且利用另一个来处理Wi-Fi使得能够实现这样的实施方式：其中通过不允许这种传感器信息从进行传感器处理的SoC发送到管理通信的SoC来防止诸如相机图像的私人数据在不经意间离开该眼镜装置。在另一示例中，如在下面进一步详细形容中，可以基于处理工作负荷(例如由SoC温度或每秒指令来确定)来转移处理工作负荷。

图7是示出SoC(例如SoC 602A的第一USB子连接接口)与(多个)第一部件(例如其它USB外围设备)之间以及SoC(例如SoC 602A的第二子连接接口)与(多个)第二部件(例如PC)之间的同时USB连接的框图。SoC可以直接或经由USB集线器702与外围设备通信。

在所示示例中，第一USB子连接接口使用USB接口的D加(D+；DP)和D减(D-；DM)线路(例如，具有D+/D-连接的USB接口，诸如根据USB 3.0标准的USB接口)用于与(多个)第一部件进行HS通信。第二USB子连接接口使用USB接口的TX/RX连接线路(例如，具有TX+、TX-、RX+和RX-连接的USB接口，诸如根据USB 3.0标准的USB接口)用于与第二部件的USB接口706进行SS通信。根据该示例，SoC不向第二部件的USB接口706的DP/DM连接提供信号。

图8是示出SoC与调制解调器之间以及SoC与个人计算机(PC)之间用于同时USB连接的引脚连接的框图。SoC包括具有TX/RX通信线路(例如用于超高速(SS)通信)和D+/D-通信线路(例如用于高速(HS)通信)的USB接口806。USB接口802可以是根据USB 3.0或更高标准的USB接口。USB连接接口802包括第一子连接接口806和第二子连接接口804。

第一子连接接口806的连接线路/引脚(例如D+/D-连接线路/引脚)耦合到装置的连接线路/引脚808(例如，诸如调制解调器704的USB外围设备的D+/D-连接线路/引脚)。在所示示例中，USB外围设备的电压和地线/引脚连接到单独的电压和公共地。

第二子连接接口804的连接线路/引脚(例如TX+/TX-/RX+/RX-连接线路/引脚)耦合到另一装置的USB接口810的连接线路/引脚(例如PC的TX+/TX-/RX+/RX-连接线路/引脚)。USB装置的电压和地线/引脚连接到所示示例中的子连接接口804的电压和地线/引脚(例如VBUS和GND)。另外，在所示示例中，第二子连接接口804的USB 3.0连接线路/引脚CC和SBU连接到其他装置的对应引脚/线路。

图9是用于通过单个USB接口与两个部件通信的示例步骤的流程图900。尽管参照眼镜装置100描述了这些步骤，但是本领域技术人员将从本文的描述理解其中可以实践流程图900的一个或多个步骤的其它合适的眼镜装置。另外，可以设想到的是，图9中所示并且在本文中描述的一个或多个步骤可以被省略、同时执行或者依次执行、以不同于图示和描述的顺序执行、或者结合附加的步骤执行。

在框902，配置第一子连接接口用于与第一部件通信。在一个示例中，第一子连接接口是USB连接接口的一部分，并且被配置用于HS USB通信。SoC(例如SoC 602A)可以配置第一子连接接口用于与第一部件(例如，内部调制解调器或其他外围设备、另一SoC或外部PC)通信。SoC可以配置第一子连接接口用于在主机状态或装置状态下通信。

在框904，配置第二子连接接口用于与第二部件通信。在一个示例中，第二子连接接口是USB连接接口的另一部分，并且被配置用于SS USB通信。SoC(例如SoC 602A)可以配置第二子连接接口用于与第二部件(例如，外部PC、内部调制解调器或其他外围设备、或另一SoC)通信。SoC可以配置第二子连接接口用于在装置状态或主机状态下通信。

在框906，通过第一USB子连接接口建立与第一部件的通信。在一个示例中，SoC(例如SoC 602A)建立与第一部件(例如调制解调器)的通信。SoC可以在用于同步的初始化过程期间与第一部件交换数据，并且将第二部件设置为在主机状态下与SoC通信，并在装置状态下与第一部件通信。

在框908，通过第二USB子连接接口建立与第二部件的通信。在一个示例中，SoC(例如SoC 602A)建立与第二部件(例如外部PC)的通信。SoC可以在用于同步的初始化过程期间与第二部件交换数据，并且将第二部件设置为在装置状态下与SoC通信，并在主机状态下与第一部件通信。

在框910，SoC(例如SoC 602A)使用相应的子连接接口经由USB接口与第一和第二部件通信。通过使用相应的子连接接口，SoC 602A可以通过相同的USB接口同时与第一和第二部件通信。

图10描绘了用于在眼镜装置100的第一SoC 602A与第二SoC 602B之间划分处理工作负荷的客户端-服务器策略。该策略可以用于平衡从眼镜装置100的第一侧(例如左边)到眼镜装置100的第二侧(例如右边)的功率，降低了互连复杂性(例如，利用由第二SoC 602B管理的无线子系统)，并且可以基于热负荷、处理要求或其组合在左边与右边之间动态地分配。本领域技术人员将从本文的描述中理解用于划分处理工作负荷的其它策略。

在一个示例中，第一SoC 602A例如通过诸如PCI Express、SDIO、USB等的处理器间通信总线连接到第二SoC 602B。在一个示例中，在处理器间通信总线是USB总线的情况下，第一SoC 602A经由用于SS数据传输的USB引脚输出连接配置(例如，GND、TX+、TX-、RX+、RX-、VBUS、CC和SBU)而连接到第二SoC 602B。在另一示例中，在处理器间通信总线是USB总线的情况下，第一SoC 602A经由用于HS数据传输的USB引脚输出连接配置(例如，GND、D+和D-；其中VBUS由SoC中的一个SoC提供到另一个SoC或由另一个源提供)而连接到第二SoC 602B。附加SoC可以在用于SS数据传输的USB引脚输出连接配置与用于HS数据传输的USB引脚输出连接配置之间交替串联连接

第一存储器604A被并入第一SoC 602A中，并且第二存储器604B并入第二SoC 602B中。在所示示例中，眼镜装置的第一相机114A、第二相机114B、第一显示器608A和第二显示器608B直接耦合到第一SoC 602A。第二SoC 602B耦合到低功率微处理器422和无线电路系统424/436。

每个SoC以大约1.5瓦特或更低(例如800-850mW)来操作。在一个示例中，对于分配给眼镜装置的第一侧的总共850mW功率，第一SoC 602A负责在CPU上运行操作系统(100mW)，利用ISP/DSP捕获图像(200mW)，在GPU上渲染静止图像和视频图像(200mW)，以及在CPU、专用硬件加速逻辑块(例如视差映射器)、和DSP上运行各种算法(350mW)。对于分配给眼镜装置的第二侧的总共800mW功率，第二SoC 602B负责在CPU上运行操作系统(100mW)，使用CPU的无线连接性(100mW)，在CPU和DSP上运行各种算法(300mW)，以及在CPU、GPU和DSP上运行各种算法(300mW)。

除以上所述以外，已经陈述或示出的任何内容不管其是否在权利要求书中记载，均不旨在或不应当被解释为使任何部件、步骤、特征、对象、优点、优点或等价物向公众奉献。

应当理解，本文中使用的术语和表达具有与这些术语和表达关于其对应的相应调查研究领域相一致的普通含义，除非在本文中另外阐述了特定含义。诸如第一和第二等关系术语可以仅用于将一个实体或动作与另一实体或动作区分开来，而不一定要求或暗示这种实体或动作之间的任何这种实际关系或顺序。术语“包括”、“包括……的”、“包含”、“包含……的”或其任何其它变化旨在涵盖非排他性的包含，使得包括或包含一系列元件或步骤的过程、方法、物品或设备不仅包括那些元件或步骤，还可以包括未明确列出的或这种过程、方法、物品或设备固有的其它元件或步骤。在没有进一步限制的情况下，前面带有“一个”或“一”的元件不排除在包括该元件的过程、方法、物品或设备中存在另外的相同元件。

除非另有说明，否则在本说明书中、包括在所附权利要求中所述的任何和所有测量结果、值、额定值、位置、数量、尺寸和其它规格都是近似的，而不是精确的。这些量旨在具有与它们所涉及的功能以及在它们所属领域中的惯例相一致的合理范围。例如，除非另有明确说明，否则参数值等可以从所述量或范围变化多达±10％。

另外，在前述具体实施方式中，为了精简本公开，在各种示例中将各种特征分组在一起。本公开方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的更多特征的意图。相反，如所附权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，所附权利要求书在此被并入到具体实施方式中，其中每个权利要求本身独立地作为单独要求保护的主题。

虽然上文已经描述了被认为是最佳模式和其他示例的内容，但应当理解的是，可以在其中进行各种修改，并且可以以各种形式和示例来实现本文公开的主题，并且它们可以应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求旨在要求保护落入本构思的真实范围内的任何和所有修改和变化。

Claims

1.一种眼镜，包括：

具有第一侧和第二侧的框架；

多个电子部件；以及

片上系统(SoC)，其邻近所述框架的所述第一侧，所述SoC具有通用串行总线(USB)部件，所述通用串行总线部件包括具有第一USB子连接接口和第二USB子连接接口的USB连接接口，所述第一USB子连接接口耦合到所述多个电子部件中的一个，并且所述第二USB子连接接口耦合到所述多个电子部件中的另一个电子部件或外部装置中的一个。

2.根据权利要求1所述的眼镜，还包括耦合到所述第一USB子连接接口的至少一个外围部件和耦合到所述第二USB子连接接口的至少一个外部可访问连接器。

3.根据权利要求2所述的眼镜，其中所述USB部件的所述第一USB子连接接口被配置用于高速(HS)USB通信，并且所述USB部件的所述第二USB子连接接口被配置用于超高速(SS)USB通信。

4.根据权利要求3所述的眼镜，其中所述SoC的所述USB部件被配置用于通信，以在主机状态下经由所述第一子连接接口进行HS USB通信以及在装置状态下经由所述第二USB子连接接口进行SS USB通信。

5.根据权利要求4所述的眼镜，其中所述USB连接接口具有USB 3.0连接接口引脚输出，所述第一USB子连接接口具有支持USB 2.0通信但不支持USB 3.0通信的所述USB 3.0连接接口引脚输出的第一子集，并且所述第二USB子连接接口具有支持USB 3.0通信的所述USB3.0连接接口引脚输出的第二子集。

6.根据权利要求2所述的眼镜，其中所述至少一个外围部件包括USB集线器或调制解调器中的至少一个，并且所述外部装置是个人计算机。

7.根据权利要求1所述的眼镜，其中所述多个电子部件中的所述一个电子部件是另一SoC，并且所述另一SoC邻近所述框架的第二侧。

8.根据权利要求7所述的眼镜，其中所述多个电子部件中的所述另一个电子部件包括USB集线器或调制解调器，并且所述外部装置是个人计算机。

9.根据权利要求7所述的眼镜，其中，所述多个电子部件包括附加SoC，所述另一SoC具有另一USB连接接口，所述另一USB连接接口具有耦合到所述第一USB连接接口的第三USB子连接接口、以及第四USB子连接接口，并且所述第四USB子连接接口耦合到所述附加SoC。

10.一种用于眼镜的方法，所述眼镜包括具有通用串行总线(USB)部件的片上系统(SoC)，所述通用串行总线部件包括具有第一USB子连接接口和第二USB子连接接口的USB连接接口，所述方法包括：

通过所述第一USB子连接接口建立与第一部件的通信；

通过所述第二USB子连接接口建立与第二部件的通信；以及

通过所述第一子连接接口与所述第一部件通信，并且通过所述第二子连接接口与所述第二部件通信。

11.根据权利要求10所述的方法，还包括：

配置所述USB部件的所述第一USB子连接接口用于高速(HS)USB通信；以及

配置所述USB部件的所述第二USB子连接接口用于超高速(SS)USB通信。

12.根据权利要求11所述的方法，其中，所述配置所述USB部件的所述第一USB子连接接口用于高速(HS)USB通信包括：配置所述SoC的所述USB部件在主机状态下经由所述第一子连接接口进行HS USB通信；以及

其中所述配置所述USB部件的所述第二USB子连接接口用于超高速(SS)USB通信包括配置所述SoC的所述USB部件在装置状态下经由所述第二子连接接口进行SS USB通信。

13.根据权利要求12所述的方法，其中所述USB连接接口具有USB 3.0连接接口引脚输出，所述第一USB子连接接口具有支持USB 2.0通信但不支持USB 3.0通信的所述USB 3.0连接接口引脚输出的第一子集，并且第二USB子连接接口具有支持USB 3.0通信的所述USB3.0连接接口引脚输出的第二子集。

14.根据权利要求10所述的方法，其中所述眼镜包括耦合到所述第一USB子连接接口的至少一个外围部件和耦合到所述第二USB子连接接口的外部装置的至少一个外围部件。

15.根据权利要求10所述的方法，其中所述SoC邻近用于眼镜的框架的第一侧，并且另一SoC邻近所述眼镜框架的第二侧。

16.根据权利要求15所述的方法，其中所述眼镜包括多个电子部件。

17.根据权利要求16所述的方法，其中所述多个电子部件包括附加SoC。

18.一种具有用于眼镜的指令的非暂时性计算机可读介质，所述眼镜包括具有通用串行总线(USB)部件的片上系统(SoC)，所述通用串行总线部件包括具有第一USB子连接接口和第二USB子连接接口的USB连接接口，所述指令在由处理器执行时将所述眼镜配置成：

通过所述第一USB子连接接口建立与第一部件的通信；

通过所述第二USB子连接接口建立与第二部件的通信；以及

19.根据权利要求18所述的介质，其中所述指令在由所述处理器执行时还将所述眼镜配置成：

20.根据权利要求19所述的介质，其中，为了配置所述USB部件的所述第一USB子连接接口用于高速(HS)USB通信，所述SoC的所述USB部件被配置成在主机状态下经由所述第一子连接接口进行HS USB通信；以及

其中，为了配置所述USB部件的所述第二USB子连接接口用于超高速(SS)USB通信，所述SoC的所述USB部件被配置成在装置状态下经由所述第二子连接接口进行SS USB通信。