CN118119911A - 双片上系统眼镜 - Google Patents

双片上系统眼镜 Download PDF

Info

Publication number
CN118119911A
CN118119911A CN202280069479.7A CN202280069479A CN118119911A CN 118119911 A CN118119911 A CN 118119911A CN 202280069479 A CN202280069479 A CN 202280069479A CN 118119911 A CN118119911 A CN 118119911A
Authority
CN
China
Prior art keywords
chip
electronic components
camera
eyewear
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280069479.7A
Other languages
English (en)
Inventor
杰森·海格
杰拉尔德·奈尔斯
帕特里克·蒂莫西·麦克斯威尼·西蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN118119911A publication Critical patent/CN118119911A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/203—Cooling means for portable computers, e.g. for laptops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明眼镜设备包括两个共享处理工作负载的片上系统(SoC)。两个SoC按分配的相似职责来操作同类型的外围设备并执行相似的流程来平衡工作负载。第一SoC操作第一彩色相机、第一计算机视觉(CV)相机和第一显示器，并执行三维图形和合成。第二SoC操作第二彩色相机、第二CV相机和第二显示器。每个SoC各有操作系统(OS)、CV算法和视觉测程(VIO)，例如用于跟踪用户手势，并根据彩色相机来提供立体图像深度。这种配置提供了简化的组织逻辑来高效运行各种功能并平衡功耗。

Description

双片上系统眼镜
优先权文件
本申请主张申请日2021年10月14日、申请序列号US17/501,596的美国申请的优先权，其全部内容通过引用归并本文。
技术领域
本公开阐述的示例涉及电子设备领域，更具体地涉及眼镜设备。
背景技术
当今存在许多类型的计算机和电子设备，如移动设备(例如智能手机、平板型计算机和膝上型计算机)、手持设备和穿戴式设备(例如智能眼镜、数字眼镜、头戴式设备、头盔和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如触敏表面、指针)、外围设备、显示器和图形用户界面(GUI)，由此用户可以与显示的内容交互。
增强现实(AR)将物理环境中的真实对象与虚拟对象相组合，并将这种组合显示给用户。组合显示给人的印象是虚拟对象真实存在于环境下，尤其是虚拟对象的外观和行为貌似真实对象的情况下。
附图说明
下面结合附图参阅具体实施方式，容易理解本文所述各例的特征。说明书及各附图的几幅视图中，每个元素均标有附图标记。存在多个相似元素时，相似元素配有单个附图标记并添加指示特定元素的字母。提及多个元素或非特定元素时，可以删除该字母。
图中所示的各种元素未按比例绘制，除非另作说明。为了清楚起见，可以放大或缩小各种元素的尺寸。几幅图描绘了一种或多种实施方式，仅作例示儿不应解释为限制性含义。图中：
图1A为适合用于眼镜系统的眼镜设备的示例硬件配置的(右)侧视图；
图1B为图1A所示眼镜设备的右镜腿部的局部剖面透视图，示出了右可见光相机和电路板；
图1C为图1A所示眼镜设备的示例硬件配置的(左)侧视图，示出了左可见光相机；
图1D为图1C所示眼镜设备的左镜腿部的局部剖面透视图，示出了左可见光相机和电路板；
图2A和图2B为眼镜系统中使用的眼镜设备的示例硬件配置的后视图；
图2C示出了检测眼睛注视方向；
图2D示出了检测眼睛位置；
图3为三维场景、左可见光相机所捕获的左原始图像和右可见光相机所捕获的右原始图像的示意图；
图4为示例眼镜系统的功能框图，该眼镜系统包括经由各种网络连接到移动设备和服务器系统的眼镜设备；
图5为图4所示眼镜系统的移动设备的示例硬件配置的示意图；
图6为眼镜设备的局部框图，该眼镜设备具有一个镜腿相邻的第一片上系统和另一个镜腿相邻的第二片上系统；
图7为使用第一片上系统和第二片上系统对眼镜执行操作的示例步骤流程图；
图8示出了在第一片上系统与第二片上系统之间划分处理工作负载。
具体实施方式
本发明眼镜设备包括两个共享处理工作负载的片上系统(System on Chip，SoC)。代替使用位于眼镜设备左右两侧的单SoC，而是两个SoC按分配的相似职责来操作同类型的外围设备并执行相似的流程来平衡工作负载。某一示例中，眼镜设备利用第一SoC来操作第一彩色相机、第一计算机视觉(Computer Vision，CV)相机和第一显示器，并且执行三维图形和合成。第二SoC操作第二彩色相机、第二CV相机和第二显示器。这两个SoC操作外围设备，因此SoC同步。每个SoC均有操作系统(Operating System，OS)、CV算法和视觉测程(Visual Odometry，VIO)，例如用于跟踪用户手势，并根据彩色相机来提供立体图像深度。这种配置提供了简化的组织逻辑来高效运行各种功能并平衡功耗。
下面详细描述涵盖本公开阐述示例的系统、方法、技术、指令序列和计算机程序产品。本文中包含大量细节和示例，目的是让读者全面了解本公开主题及其相关教导。然而，相关领域技术人员应可理解如何在缺乏这些细节的情况下应用相关教导。本公开主题的各方面不限于本文所述的具体设备、系统和方法，原因是相关教导可以采取多种方式应用或实践。本文术语及命名仅为描述具体方面，而非旨在限制性含义。一般而言，不必详细表明众所周知的指令实例、协议、结构和技术。
本文术语“片上系统”或“SoC”指代将电子系统部件集成于单片基板或微芯片上的集成电路(又称“芯片”)。这些部件包括中央处理单元(CPU)、图形处理单元(GPU)、图像信号处理器(ISP)、内存控制器、视频解码器以及用于连接到另一个SoC的系统总线接口。举非限制性示例，SoC的部件还可以包括惯性测量单元(IMU，例如I2C、SPI、I3C等)接口、视频编码器、收发器(TX/RX，例如Wi-Fi、或其组合)以及数字、模拟、混合信号和射频信号处理功能。
本文术语“耦合”或“连接”是指任何逻辑、光学、物理或电气连接，包括链路等，由此一个系统元件产生或提供的电信号或磁信号传递到耦合或连接的另一个系统元件。耦合或连接的元件或设备不必彼此直接连接，可以通过中间部件、元件或通信介质分立，其中一个或多个中间部件、元件或通信介质可以修改、操纵或承载电信号，除非另作说明。术语“在……上”是指直接受元件支撑或者通过该元件中集成或支撑的另一个元件间接受该元件支撑。
术语“近端”用于描述位于物或人附近、邻近或近旁的物品或物品部分；或者相对于物品其他部分更近，该物品其他部分可以描述为“远端”。例如，最接近物体的物品末端可称为近端，而大体相对的末端可称为远端。
任何图中所示的眼镜设备、其他移动设备、关联部件以及包含相机、惯性测量单元或这两者的任何其他设备的定向仅为说明论述目的而例举。在操作中，眼镜设备可以定向于适合眼镜设备具体应用的任何其他方向，例如向上、向下、侧向或任何其他方向。此外，在本文使用范围内，诸如前、后、内、外、朝、左、右、横、纵、上、下、高、低、顶、底、侧、水平、垂直和对角线等任何方向术语仅为举例而言，而不限制如本文构造或以其他方式描述的任何相机或惯性测量单元的方向或方位。
本公开示例的其他目的、优势和新颖特征可部分参阅下述内容，部分会在本领域技术人员研究下述内容和附图后变得清楚明了或者可通过这些示例的生产或操作而悉知。本公开主题的技术目的及优势可通过所附权利要求具体指出的要素和组合来实现和获得。
下面详细参照附图示出的下述示例。
图1A为眼镜设备100的示例硬件配置的(右)侧视图，该眼镜设备100包括触敏输入设备或触摸板181。如图所示，触摸板181可以具有不易看见的隐蔽边界；替代地，边界可以清晰可见或包括凸起或以其他方式可触的边缘，其向用户提供关于触摸板181的位置和边界的反馈。其他实施方案中，眼镜设备100可以包括左侧的触摸板。
触摸板181的表面配置为检测手指触摸、轻敲和手势(例如移动触摸)，以与眼镜设备在图像显示器上显示的GUI一同使用，从而允许用户以直观方式浏览并选择菜单选项，增强并简化了用户体验。
检测触摸板181上的手指输入可以实现多种功能。例如，触摸到触摸板181上的任何位置可以使得GUI在图像显示器上显示或突出显示项目，该项目可以投影到至少一个光学组件180A、180B上。双击触摸板181可以选择项目或图标。在特定方向上(例如从前到后、从后到前、从上到下或从下到)滑动或扫动手指可以使得项目或图标在特定方向上滑动或滚动，例如移至下一项目、图标、视频、图像、页面或幻灯片。在另一个方向上滑动手指可能会反向滑动或滚动，例如移至上一项目、图标、视频、图像、页面或幻灯片。触摸板181几乎可以位于眼镜设备100上的任何位置。
某一示例中，所识别的单击触摸板181的手指手势发起选择或按压光学组件180A、180B的图像显示器上呈现图像中的图形用户界面元素。基于所识别的手指手势来调整光学组件180A、180B的图像显示器上呈现的图像可以是主动作，其选择或提交光学组件180A、180B的图像显示器上的图形用户界面元素以供进一步显示或执行。
如图1A所示，眼镜设备100包括右可见光相机114B。另如本文所述，两个相机114A、114B从两个单独的视点捕捉场景图像信息。两个捕获的图像可用于将三维显示投影到图像显示器上，以供3D眼镜上或用3D眼镜观看。
眼镜设备100包括右光学组件180B，其图像显示器用于呈现图像，如深度图像。如图1A和图1B所示，眼镜设备100包括右可见光相机114B。眼镜设备100可以包括多个可见光相机114A、114B形成被动型三维相机(如立体相机)，其中右可见光相机114B位于右镜腿部110B上。如图1C至图1D所示，眼镜设备100还包括位于左镜腿部110A上的左可见光相机114A。
左可见光相机114A和右可见光相机114B对可见光波长范围敏感。每个可见光相机114A、114B均有不同的朝前视场，这些视场重叠以便能够生成三维深度图像。右可见光相机114B捕捉右视场111B，左可见光相机114A捕捉左视场111A。一般而言，“视场(FieldofView)”是通过相机在空间中特定位置和方向可见的场景部分。视场111A和111B具有重叠的视场304(图3)。可见光相机捕获图像时处于视场111A、111B之外的对象或对象特征不被记录在原始图像(例如照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在捕获的既定场景图像中拾取既定场景电磁辐射的角度区间或范围。视场可以表示为视锥角大小，即视角。视角可以沿水平线、垂直线或对角线测量。
某一示例中，可见光相机114A、114B的视场视角为15°至30°(例如24°)，分辨率为480×480像素以上。另一示例中，视场可以更广，例如100°以上。“覆盖角度”描述了可见光相机114A、114B或红外相机410(参见图2A)的镜头角度范围可以有效成像。通常，相机镜头产生的像圈大小足以完全覆盖相机的胶片或传感器，可能包括一定渐晕(例如，图像边缘与中心相比变暗)。如果相机镜头的覆盖角度未充满传感器，则像圈将会可见，通常会在边缘出现强烈渐晕，有效视角将仅限于覆盖角度。
这种可见光相机114A、114B的示例包括高分辨率互补式金属氧化物半导体(CMOS)图像传感器和数字VGA相机(视频图形阵列)，分辨率可达640p(例如640×480像素，总计30万像素)、720p或1080p。可见光相机114A、114B的其他示例可以捕捉高清(HD)静态图像并以1642×1642像素(或更高)分辨率存储；或者以高帧率(例如每秒30帧至60帧或更高)记录高清视频并以1216×1216像素(或更高)分辨率存储记录。
眼镜设备100可以从可见光相机114A、114B捕获图像传感器数据以及图像处理器数字化的地理定位数据，以便存储于存储器中。可见光相机114A、114B捕捉二维空间域中的相应左右原始图像，包括二维坐标系上的像素矩阵，该二维坐标系包括水平位置的X轴和垂直位置的Y轴。每个像素包括颜色属性值(例如红色像素光值、绿色像素光值或蓝色像素光值)以及位置属性(例如X轴坐标和Y轴坐标)。
为了捕获立体图像以供稍后显示为三维投影，图像处理器412(如图4所示)可耦合到可见光相机114A、114B来接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作来充当模拟人类双目视觉的立体相机，并可向每个图像添加时间戳。每对图像上的时间戳允许将图像一并显示为三维投影的一部分。三维投影可产生身临其境的逼真体验，这在虚拟现实(VR)和视频游戏等各种环境中都是理想的体验。
图1B为图1A所示眼镜设备100的右镜腿部110B的横截面透视图，示出了相机系统的右可见光相机114B和电路板。图1C为图1A所示眼镜设备100的示例硬件配置的(左)侧视图，示出了相机系统的左可见光相机114A。图1D为图1C所示眼镜设备的左镜腿部110A的横截面透视图，示出了三维相机的左可见光相机114A和电路板。左可见光相机114A的构造和放置基本上类似于右可见光相机114B，只是连接和耦合位于左横侧170A上。
如图1B的示例所示，眼镜设备100包括右可见光相机114B和电路板140B，电路板140B可以是柔性印刷电路板(PCB)。右铰链126B将右镜腿部110B连接到眼镜设备100的右镜腿125B。一些示例中，右可见光相机114B、柔性PCB 140B或其他电接头或触点部件可以位于右镜腿125B、右铰链126B、右镜腿部110B、镜框105或上述组合上。这些部件(或其支组)可以整合到SoC中。
如图1D的示例所示，眼镜设备100包括左可见光相机114A和电路板140A，电路板140A可以是柔性印刷电路板(PCB)。左铰链126A将左镜腿部110A连接到眼镜设备100的左镜腿125A。一些示例中，左可见光相机114A、柔性PCB 140A或其他电接头或触点部件可以位于左镜腿125A、左铰链126A、左镜腿部110A、镜框105或上述组合上。这些部件(或其支组)可以并入SoC。
左镜腿部110A和右镜腿部110B包括镜腿部本体190和镜腿部扣帽，图1B和图1D的剖视图中省略了镜腿部扣帽。左镜腿部110A和右镜腿部110B内部布置有各种互连的电路板，如PCB或柔性PCB，包括相应左可见光相机114A和右可见光相机114B的控制器电路、麦克风130、扬声器132、低功率无线电路(例如用于通过BluetoothTM进行无线近程网络通信)、高速无线电路(例如，用于通过Wi-Fi进行无线局域网通信)。每个镜腿部110中的部件和电路(或其支组)可以整合到SoC中。
右可见光相机114B耦合或部署于柔性PCB 140B上并被可见光相机盖板透镜覆盖，该盖板透镜通过镜框105中形成的开口瞄准。例如，如图2A所示，镜框105的右框缘107B连接到右镜腿部110B并包括用于可见光相机盖板透镜的开口。镜框105包括前侧，其配置为面朝外且背离用户眼睛。用于可见光相机盖板透镜的开口形成于镜框105的前侧或朝外侧上并贯穿其中。本示例中，右可见光相机114B具有面向外界的视场111B(如图3所示)，其视线或视角与眼镜设备100的用户右眼相关。可见光相机盖板透镜还可粘附到右镜腿部110B的前侧或朝外表面上，其中形成覆盖角度面朝外的开口，但朝外方向不同。也可以通过中间部件间接进行耦合。图中虽示出右可见光相机114B形成于右镜腿部110B的电路板上，但也可以形成于左镜腿125B的电路板或镜框105上。
左可见光相机114A耦合或部署于柔性PCB 140A上并被可见光相机盖板透镜覆盖，该盖板透镜通过形成于镜框105中的开口进行瞄准。例如，如图2A所示，镜框105的左框缘107A连接到左镜腿部110A并包括用于可见光相机盖板透镜的开口。镜框105包括前侧，其配置为面朝外且背离用户眼睛。用于可见光相机盖板透镜的开口形成于镜框105的前侧或朝外侧上并贯穿其中。本示例中，左可见光相机114A具有面向外界的视场111A(如图3所示)，其视线或视角与眼镜设备100的用户左眼相关。可见光相机盖板透镜还可粘附到左镜腿部110A的前侧或朝外表面上，其中形成覆盖角度面朝外的开口，但朝外方向不同。也可以通过中间部件间接进行耦合。图中虽示出左可见光相机114A形成于右镜腿部110A的电路板上，但也可以形成于左镜腿125A的电路板或镜框105上。
图2A和图2B为眼镜设备100的示例硬件配置的后视透视图，包括两种不同类型的图像显示器。眼镜设备100的尺寸和形状设定为供用户佩戴的形式；眼镜形状如本例所示。眼镜设备100可以采用其他形式并可以结合其他类型的构架，例如头戴式设备、耳机或头盔。
在眼镜示例中，眼镜设备100包括镜框105，镜框105的左框缘107A经由鼻桥106连接到右框缘107B，鼻桥106适于用户鼻部支撑。左框缘107A和右框缘107B包括相应的孔径175A、175B来保持相应的光学元件180A、180B，例如透镜和显示设备。如本文所用，术语“透镜(Lens)”意指包括具有弯曲或平坦表面的透明或半透明玻璃片或塑料片，导致聚光/散光或者几乎不聚光或散光。
图中虽示出眼镜设备100具有两个光学元件180A、180B，但眼镜设备100可以包括其他布置，如单个光学元件(也可以不包括任何光学元件180A、180B)，这取决于眼镜设备100的应用或预期用户。另如图所示，眼镜设备100包括镜框105的左横侧170A相邻的左镜腿部110A以及镜框105的右横侧170B相邻的右镜腿部110B。镜腿部110A、110B可以在相应的横侧170A、170B上集成到镜框105中(如图所示)或者实施为在相应的横侧170A、170B上附接到镜框105的单独部件。替代地，镜腿部110A、110B可以集成到镜腿(未示出)中，镜腿附接到镜框105。
某一示例中，光学组件180A、180B的图像显示器包括集成图像显示177。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，其可以包括任意组合的透镜、光学涂层、棱镜、反射镜、波导、光条和其他光学部件。光学层176A、176B…176N(图2A中示为176A-N)可以包括具有合适尺寸和配置的棱镜，并包括用于从显示矩阵受光的第一表面和用于向用户眼睛发光的第二表面。光学层176A-N的棱镜延伸到左框缘107A和右框缘107B中形成的全部或至少一部分相应孔径175A、175B上，以当用户眼睛通过相应的左框缘107A和右框缘107B观察时，允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从镜框105朝上，并且显示矩阵177覆盖棱镜以使显示矩阵177发射的光子和光线撞击第一表面。棱镜的尺寸和形状设定为使得光在棱镜内折射并通过光学层176A-N的棱镜的第二表面导向用户眼睛。就此而言，光学层176A-N的棱镜的第二表面可以呈凸曲面以将光导向眼睛中央。任选地棱镜的尺寸和形状设定为放大显示矩阵177投射的图像，并且光传播穿过棱镜以使从第二表面看到的图像在一维或多维上大于从显示矩阵177发射的图像。
某一示例中，光学层176A-N可以包括透明的LCD层(保持透镜打开)，除非直到施加电压使该层不透明(关闭或阻挡透镜)。眼镜设备100上的图像处理器412可以执行编程对LCD层施加电压以便产生主动快门系统，使得眼镜设备100适合观看显示为三维投影的视觉内容。LCD以外的其他技术也可用于主动快门模式，包括响应电压或其他类型输入的其他类型反应层。
另一示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。每个光学组件180A、180B包括激光投影仪150，该激光投影仪150是使用扫描镜或检流计的三色激光投影仪。在操作期间，诸如激光投影仪150等光源部署于眼镜设备100的一个镜腿125A、125B之中或之上。本示例中的光学组件180B包括一个或多个光条155A、155B…155N(在图2B中示出为155A-N)，这些光条间隔开并且横跨每个光学组件180A、180B的透镜的宽度或横跨深度透镜的前表面和后表面之间的透镜。
当激光投影仪150投射的光子穿过每个光学组件180A、180B的透镜时，光子遇到光条155A-N。当特定光子遇到特定光条时，光子重定向到用户眼睛，或者传递到下一个光条。激光投影仪150调制与光条调制相组合可以控制特定的光子或光束。某一示例中，处理器通过启动机械信号、声学信号或电磁信号来控制光条155A-N。图中虽示出眼镜设备100具有两个光学组件180A、180B，但眼镜设备100可以包括其他布置，如单个或三个光学组件，或者每个光学组件180A、180B可以根据眼镜设备100的应用或预期用户而安排不同的布置。
另一示例中，图2B所示的眼镜设备100可以包括两个投影仪，即左投影仪(未示出)和右投影仪(示为投影仪150)。左光学组件180A可以包括左显示矩阵(未示出)或左组光条(未示出)，其配置为与来自左投影仪的光相互作用。本示例中，眼镜设备100包括左显示器和右显示器。
另如图2A和图2B所示，眼镜设备100包括镜框105的左横侧170A相邻的左镜腿部110A以及镜框105的右横侧170B相邻的右镜腿部110B。镜腿部110A、110B可以在相应的横侧170A、170B上集成到镜框105中(如图所示)或者实施为在相应的横侧170A、170B上附接到镜框105的单独部件。替代地，镜腿部110A、110B可以集成到附接至镜框105的镜腿125A、125B中。
参照图2A，镜框105或左镜腿110A和右镜腿110B中一者或多者包括红外发射器215和红外相机220。例如，红外发射器215和红外相机220可以通过焊接连接到柔性PCB 140B。可以实现红外发射器215和红外相机220的其他布置，包括红外发射器215和红外相机220都位于右框缘107B上或者位于镜框105上不同位置的布置，例如，红外发射器215位于左框缘107A上，红外相机220位于右框缘107B上。另一示例中，红外发射器215位于镜框105上并且红外相机220位于一个镜腿110A、110B上，反之亦然。红外发射器215基本上可以连接到镜框105、左镜腿110A或右镜腿110B上的任何位置来发射红外光图案。类似地，红外相机220基本上可以连接至镜框105、左镜腿110A或右镜腿110B上的任何位置来捕捉发射的红外光图案中的至少一种反射变化。
红外发射器215和红外相机220布置为朝内面向用户眼睛，可看到眼睛的部分或全部视野以便识别相应的眼睛位置和注视方向。例如，红外发射器215和红外相机220位于眼睛正前方、镜框105上部或镜框105两端的镜腿110A-110B中。
某一示例中，处理器432利用眼球跟踪器213来确定如图2C所示佩戴者眼睛234的眼睛注视方向230以及如图2D所示佩戴者眼睛234在视窗内的眼睛位置236。某一示例中，眼球跟踪器213是使用红外光照明(例如近红外、短波红外、中波红外、长波红外或远红外)来捕捉眼睛对红外光的反射变化图像234，以确定眼睛234的瞳孔232的注视方向230，并捕捉眼睛相对于显示器180D的位置236。
图3为三维场景306、左可见光相机114A所捕获的左原始图像302A和右可见光相机114B所捕获的右原始图像302B的示意图。如图所示，左视场111A可以与右视场111B重叠。重叠视场304表示两个相机114A、114B捕获的图像部分。提及视场时，术语“重叠”是指生成原始图像中的像素矩阵重叠百分之三十(30％)以上。“基本上重叠”是指生成原始图像(或场景红外图像)中的像素矩阵重叠百分之五十(50％)以上。如本文所述，两个原始图像302A、302B可处理为包括时间戳，这允许图像一并显示为三维投影的一部分。
为了捕获立体图像，如图3所示，在既定时刻捕获真实场景306的一对原始红绿蓝(RGB)图像—左相机114A捕获左原始图像302A，右相机114B捕获右原始图像302B。当(例如由图像处理器412)处理一对原始图像302A、302B时，生成深度图像。所生成的深度图像可以在眼镜设备的光学组件180A、180B上、另一显示器上(例如移动设备401上的图像显示器580上)或屏幕上观看。
所生成的深度图像处于三维空间域中并可包括三维位置坐标系的顶点矩阵，该三维位置坐标系包括水平位置(例如长度)的X轴、垂直位置(例如高度)以及深度(例如距离)的Z轴。每个顶点可以包括颜色属性(例如红色像素光值、绿色像素光值或蓝色像素光值)、位置属性(例如X位置坐标、Y位置坐标、Z位置坐标)、纹理属性、反光属性或上述组合。纹理属性量化深度图像的感知纹理，如深度图像顶点区域中颜色或强度的空间排列。
某一示例中，眼镜系统400(图4)包括眼镜设备100，眼镜设备100包括镜框105、从镜框105的左横侧170A延伸出的左镜腿110A以及从镜框105的右横侧170B延伸出的右镜腿125B。眼镜设备100还可以包括具有重叠视场的至少两个可见光相机114A、114B。某一示例中，如图3所示，眼镜设备100包括具有左视场111A的左可见光相机114A。左相机114A连接到镜框105、左镜腿125A或左镜腿部110A以从场景306的左侧捕获左原始图像302A。眼镜设备100还包括具有右视场111B的右可见光相机114B。右相机114B连接到镜框105、右镜腿125B或右镜腿部110B以从场景306的右侧捕获右原始图像302B。
图4为包括经由因特网等各种网络495连接的可佩戴设备(例如眼镜设备100)、移动设备401和服务器系统498的示例眼镜系统的功能框图。眼镜系统400包括眼镜设备100与移动设备401之间的低功率无线连接425和高速无线连接437。
如图4所示，眼镜设备100包括如本文所述的一个或多个可见光相机114A、114B来捕捉静止图像、视频图像或静止图像和视频图像两者。相机114A、114B可以具有对高速电路430的直接内存访问(DMA)并可用作立体相机。相机114A、114B可用于捕捉可渲染成三维(3D)模型的初始深度图像，该三维模型是红绿蓝(RGB)成像场景的纹理映射图像。
眼镜设备100还包括两个光学组件180A、180B(一个与左横侧170A相关联，一个与右横侧170B相关联)。眼镜设备100还包括图像显示驱动器442、图像处理器412、低功率电路420和高速电路430(所有这些皆可复制且整合到一对SoC)。每个光学组件180A、180B的图像显示177用于呈现图像，包括静止图像、视频图像或者静止图像和视频图像二者。图像显示驱动器442耦合到每个光学组件180A、180B的图像显示器，以便控制图像显示。
眼镜设备100还包括一个或多个麦克风130和扬声器132(例如，各有一个与眼镜设备左侧相关联，另一个与眼镜设备右侧相关联)。麦克风130和扬声器132可整合到眼镜设备100的镜框105、镜腿125或镜腿部110中。在低功率电路420、高速电路430或这两者的控制下，由音频处理器443(其可复制且整合到一对SoC中)驱动一个或多个扬声器132。扬声器132用于呈现音频信号，例如包括节拍轨道。音频处理器443耦合到扬声器132以便控制声音呈现。
图4所示眼镜设备100的部件位于框缘或镜腿中的一个或多个电路板上，例如印刷电路板(PCB)或柔性印刷电路(FPC)。替代地或附加地，所绘部件可位于眼镜设备100的镜腿部、镜框、铰链或鼻桥中。左可见光相机114A和右可见光相机114B可以包括数字相机元件，如互补型金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、透镜或者可用于捕获数据，包括具有未知物体的场景的静态图像或视频。
如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。本示例中，图像显示驱动器442耦合到高速电路430并由高速处理器432操作，以便驱动每个光学组件180A、180B的左图像显示器和右图像显示器。高速处理器432可以是能够管理眼镜设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括管理使用高速无线电路436在高速无线连接437上向无线局域网(WLAN)高速传输数据所需的处理资源。
一些示例中，高速处理器432执行操作系统，诸如LINUX操作系统或眼镜设备100的其他此类操作系统，并且操作系统存储于存储器434中以供执行。除了任何其他职责，高速处理器432还执行眼镜设备100的软件架构，用于管理与高速无线电路436的数据传输。一些示例中，高速无线电路436配置为实施电气和电子工程师协会(IEEE)802.11通信标准，在此又称Wi-Fi。其他示例中，可以由高速无线电路436来实施其他高速通信标准。
低功率电路420包括低功率处理器422和低功率无线电路424。眼镜设备100的低功率无线电路424和高速无线电路436可以包括近程收发器(BluetoothTM或蓝牙低功耗(BLE))和无线广域网、本地网或广域网收发器(例如蜂窝或Wi-Fi)。移动设备401包括经由低功率无线连接425和高速无线连接437通信的收发器，并可使用眼镜设备100的架构细节来实施，网络495的其他元件也可如此。
存储器434包括能够存储各种数据和应用的任何存储设备，尤其包括由左可见光相机114A和右可见光相机114B、红外相机220、图像处理器412生成的相机数据以及由图像显示驱动器442在每个光学组件180A、180B的图像显示器上生成用于显示177的图像。图中虽示出存储器434与高速电路430集成，但其他示例中存储器434可以是眼镜设备100独立的单独元件。某些此类示例中，电气路由线可以通过包括高速处理器432的芯片提供从图像处理器412或低功率处理器422到存储器434的连接。其他示例中，高速处理器432可以管理存储器434的寻址，使得低功率处理器422在需要涉及存储器434读写操作的任何时候启动高速处理器432。
如图4所示，眼镜设备100的高速处理器432可以耦合到相机系统(可见光相机114A、114B)、图像显示驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的CPU 530可以耦合到相机系统570、移动显示驱动器582、用户输入层591和存储器540A。
服务器系统498可以是一个或多个计算设备作为服务或网络计算系统的一部分，例如包括处理器、存储器和网络通信接口以通过网络495与一个或多个眼镜设备100和移动设备401进行通信。
眼镜设备100的输出部件包括视觉元件，如图2A和图2B所绘的每个透镜或光学组件180A、180B相关联的左图像显示器和右图像显示器(例如显示器，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导)。眼镜设备100可以包括面向用户的指示器(例如LED、扬声器或振动致动器)或面向外界的信号(例如LED、扬声器)。每个光学组件180A、180B的图像显示器由图像显示器驱动器442来驱动。一些示例配置中，眼镜设备100的输出部件还包括附加指示器，如听觉元件(例如扬声器)、触觉部件(例如致动器，诸如用于生成触觉反馈的振动电机)以及其他信号发生器。例如，设备100可以包括一组面向用户的指示器和一组面向外界的信号。一组面向用户的指示器配置为被设备100的用户看到或以其他方式感知。例如，设备100可以包括定位成可让用户看到的LED显示器、定位成生成用户可听声音的一个或多个扬声器或者提供用户可感到触觉反馈的致动器。一组面向外界的信号配置为被设备100附近的观察者看到或以其他方式感知。类似地，设备100可以包括配置定位成供观察者感知的LED、扬声器或致动器。
眼镜设备100的输入部件可以包括输入部件(例如配置为接收字母数字输入的触摸屏或触摸板181、光电键盘或其他字母数字配置的元件)、基于指针的输入部件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指示仪器)、触觉输入部件(例如按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板或者其他触觉配置元件)以及音频输入部件(例如麦克风)等。移动设备401和服务器系统498可以包括字母数字、基于指针、触觉、音频和其他输入部件。
一些示例中，眼镜设备100包括称为惯性测量单元472的运动传感部件的集合(可复制且整合到一对SoC中)。运动传感部件可以是具有微型运动零件(通常小到足以成为微芯片的一部分)的微机电系统(MEMS)。一些示例配置中，惯性测量单元(IMU)472包括加速计、陀螺仪和磁力计。加速计感测设备100相对于三个正交轴(x、y、z)的线性加速度(包括重力加速度)。陀螺仪感测设备100围绕三个旋转轴(俯仰、翻滚、偏摆)的角速度。加速计和陀螺仪可以共同提供设备相对于六个轴(x、y、z、俯仰、翻滚、偏摆)的位置、方向和运动数据。磁力计(若存在)感测设备100相对于磁北的方向。设备100的位置可以由位置传感器确定，如GPS单元473、一个或多个用于生成相对位置坐标的收发器、高度传感器或气压计以及其他方向传感器(可复制且整合到一对SoC中)。这样的定位系统坐标也可以经由低功率无线电路424或高速无线电路436通过无线连接425、437从移动设备401接收。
IMU 472可以包括数字运动处理器或程序或者与之协作，该数字运动处理器或程序从这些部件收集原始数据并计算多个关于设备100的位置、方向和运动的有用值。例如，可以对从加速计收集的加速度数据进行积分来获得相对于每个轴(x、y、z)的速度；并再次积分来获得设备100的位置(直线坐标x、y和z)。可以对来自陀螺仪的角速度数据进行积分来获得设备100的位置(球面坐标)。用于计算这些有用值的程序可以存储于存储器434中并由眼镜设备100的高速处理器432执行。
任选地，眼镜设备100可以包括额外的外围传感器，如生物识别传感器、专用传感器或与眼镜设备100集成的显示元件。例如，外围设备元件可以包括任何I/O部件，包括输出部件、运动部件、位置部件或本文所述的任何其他此类元件。例如，生物识别传感器的部件可以用于检测表情(例如手部表示、面部表情、声音表达、身体姿势或眼球跟踪)、测量生物信号(例如血压、心率、体温、汗液或脑电波)或者识别人物(例如基于语音、视网膜、面部特征、指纹或脑电图数据等生物电信号的识别)等。
移动设备401可以是智能手机、平板型计算机、膝上型计算机、接入点或既能用低功率无线连接425又能用高速无线连接437与眼镜设备100连接的任何其他此类设备。移动设备401连接到服务器系统498和网络495。网络495可以包括有线连接和无线连接的任意组合。
如图4所示，眼镜系统400包括通过网络495耦合到眼镜设备100的计算设备，如移动设备401。眼镜系统400包括用于存储指令的存储器以及用于执行指令的处理器。处理器432执行眼镜系统400的指令使眼镜设备100配置为与移动设备401协作并且还通过网络495与另一个眼镜设备100协作。眼镜系统400可以利用眼镜设备100的存储器434或移动设备401的存储器元件540A、540B、540C(图5)。
本文所述眼镜设备100、移动设备401和服务器系统498的任何功能可以体现于如本文所述的一个或多个计算机软件应用或编程指令集。根据一些示例，“功能”、“应用”、“指令”或“编程”是执行程序中定义功能的程序。可以采用各种编程语言来开发多种方式构建的一个或多个应用，如面向对象的编程语言(例如Objective-C、Java或C++)或过程编程语言(例如C语言或汇编语言)。某一具体示例中，第三方应用(例如，特定平台供应商以外的实体使用ANDROIDTM或IOSTM软件开发套件(SDK)开发的应用)可以包括移动操作系统上运行的移动软件，如IOSTM、ANDROIDTM、Phone或其他移动操作系统。本示例中，第三方应用可以调用操作系统提供的API调用来促进本文所述的功能。
因此，机器可读介质可以采取多种形式的有形存储介质。非易失性存储介质例如包括光盘或磁盘，如任何计算机设备等中的任何存储设备，诸如可用于实施如图所示的客户端设备、媒体网关、转码器等。易失性存储介质包括动态存储器，如这种计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统总线的导线。载波传输介质可以采取电信号或电磁信号或者声波或光波形式，如射频(RF)和红外(IR)数据通信期间生成的那些波。因而，计算机可读介质的常见形式包括：软盘、软性磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带孔图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或存储匣、传输数据或指令的载波、传输此类载波的电缆或链路或者计算机可从中读取程序代码或数据的任何其他介质。许多此类形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列载送到处理器以供执行。
图5为示例移动设备401的高级功能框图。移动设备401包括闪存540A，其存储的程序将由CPU 530执行来实行本文所述的全部或部分功能。
移动设备401可以包括相机570，相机570包括至少两个可见光相机(视场重叠的第一可见光相机和第二可见光相机)或者视场基本上重叠的至少一个可见光相机和深度传感器。闪存540A还可以包括经由相机570生成的多个图像或视频。
如图所示，移动设备401包括图像显示器580、用于驱动图像显示器580的移动显示驱动器582以及用于控制图像显示器580的显示控制器584。图5的示例中，图像显示器580包括用户输入层591(例如触摸屏)，其分层于图像显示器580所用屏幕的顶部或以其他方式集成到图像显示器580所用屏幕中。
可用的触摸屏型移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板型计算机、膝上型计算机或其他便携式设备。然而，触摸屏型设备的结构和操作仅作例示，故本发明不限于此。本文所述的主题技术并不旨在局限于此。出于论述目的，图5便提供了示例移动设备401的框图，其用户界面包括用于接收输入(通过用手、触笔或其他工具进行触摸、多点触摸或手势等)的触摸屏输入层591以及用于显示内容的图像显示器580。
如图5所示，移动设备401包括至少一个数字收发器(XCVR)510，示为WWAN XCVR，用于经由广域无线移动通信网络进行数字无线通信。移动设备401还包括附加的数字或模拟收发器，如用于经由NFC、VLC、DECT、ZigBee、BluetoothTM或Wi-Fi等近程网络通信的近程收发器(XCVR)520。例如，近程XCVR 520可以采取任何可用的双向无线局域网(WLAN)收发器形式，其类型与在无线局域网中实施的一个或多个标准通信协议兼容，如符合IEEE 802.11的Wi-Fi标准。
为了生成定位移动设备401的位置坐标，移动设备401可以包括全球定位系统(GPS)接收器。替代地或附加地，移动设备401可以利用近程XCVR 520和WWAN XCVR 510中任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、Wi-Fi或BluetoothTM的定位系统可以生成非常准确的位置坐标，特别是在组合使用的情况下。这样的位置坐标可以经由XCVR 510、520通过一个或多个网络连接传输到眼镜设备。
收发器510、520(即网络通信接口)符合现代移动网络所用各种数字无线通信标准中的一种或多种标准。WWAN收发器510的示例包括(但不限于)配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术(包括例如但不限于3GPP类型2(或3GPP2)和LTE，有时称为“4G”)操作的收发器。例如，收发器510、520提供双向无线信息通信，包括数字化音频信号、静态图像和视频信号、用于显示的web页面信息和web相关输入以及往来于移动设备401的各类移动消息通信。
移动设备401还包括微处理器用作中央处理单元(CPU)530。处理器是其元件构造布置为执行一个或多个处理功能(通常是各种数据处理功能)的电路。虽可使用分立逻辑部件，但上述示例利用了可编程CPU形成部件。微处理器例如包括一个或多个集成电子元件来执行CPU功能的集成电路(IC)芯片。例如，CPU 530可以是基于任何公知或可用的微处理器架构，诸如当今移动设备和其他便携式电子设备中普遍使用的ARM架构的精简指令集计算(Reduced Instruction Set Computing，RISC)。当然，处理器电路的其他布置可用于形成智能手机、膝上型计算机和平板型计算机中的CPU 530或处理器硬件。
CPU 530充当移动设备401的可编程主机控制器，其中通过将移动设备401配置为例如根据CPU 530可执行的指令或程序来实行各种操作。例如，此类操作可以包括移动设备的各种一般操作以及移动设备上应用编程的相关操作。处理器虽可通过使用硬连线逻辑来配置，但移动设备中的典型处理器是通过执行编程来配置的通用处理电路。
移动设备401包括存储器或存储系统，用于存储程序和数据。本示例中，必要时，存储器系统可以包括闪存540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM 540B用作由CPU 530处理的指令和数据的短期存储，例如用作工作数据处理存储器。闪存540A通常提供长期存储。
因此，移动设备401的示例中，闪存540A用于存储供CPU 530执行的程序或指令。根据设备类型，移动设备401存储并运行移动操作系统，通过该移动操作系统执行特定应用。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、WindowsMobile、Amazon Fire OS、RIM Black Berry OS等。
眼镜设备100内的处理器432可构建眼镜设备100周围环境的地图、确定眼镜设备在映射环境内的位置以及确定眼镜设备与映射环境中一个或多个对象的相对位置。处理器432可使用即时定位与地图构建(SLAM)算法应用于从一个或多个传感器接收的数据来构建地图并确定地点和位置信息。在增强现实背景下，SLAM算法用于构建并更新环境地图，同时跟踪并更新映射环境中设备(或用户)的位置。可以使用各种统计方法来近似数学解，如粒子滤波、卡尔曼滤波、扩展卡尔曼滤波和协方差交集。
传感器数据包括从相机114A、114B之一者或两者接收的图像、从激光测距仪接收的距离、从GPS单元473接收的位置信息或两种以上此类传感器数据的组合或者来自其他传感器可用于确定位置信息的数据。
图6为根据某一示例整合第一SoC 602A和第二SoC 602B的眼镜设备100的局部框图。第一SoC 602A连同存储器604A(例如闪存)、电池606A、IMU 472A、相机114A和显示部件608A定位于左镜腿部110A内。第二SoC 602B连同存储器604B(例如闪存)、电池606B、IMU472B、相机114B和显示部件608B定位于右镜腿部110B内。第一SoC 602A耦合到第二SoC602B以便二者之间的通信。
图中虽示出第一SoC 602A、存储器604A、电池606A和显示部件608A中一者或多者定位于左镜腿部110A中，但也可定位于左镜腿部110A相邻的镜框105中(即左横侧170A上)或镜腿125A中。另外，图中虽示出第二SoC 602B、存储器604B、电池606B和显示部件608B中一者或多者定位于右镜腿部110B中，但也可定位于右镜腿部110B相邻的镜框105中(即右横侧170B上)或镜腿125B中。此外，图中虽示出两个存储器604A和604B、电池606A和606B以及显示部件608A和608B，但可整合更少或更多的存储器、电池和显示部件。例如，单个电池606可以为SoC 602A、602B两者供电，并且SoC 602A、602B可以访问三个以上存储器604以便执行各种操作。
某一示例中，两个SoC 602包含相同或基本相似的部件和部件布局，因此它们的总处理资源相等。根据本示例，第一SoC 602A与第二SoC 602B至少基本相同(即，它们等同或具有95％以上的部件或处理资源重合)。通过使用双SoC602(一个位于眼镜设备100的一侧，另一个位于眼镜设备的另一侧)，冷却有效分布到整个眼镜设备100中，其中眼镜设备的一侧为一个SoC 602提供非能动冷却，眼镜设备的另一侧为另一个SoC 602提供非能动冷却。
某一示例中，眼镜设备100的非能动降温能力为每镜腿约3瓦。每侧显示器608(例如LED投影显示器)使用约1～2瓦。每个SoC 602设计为运行功率低于约1.5瓦(例如800～1000mW，不似移动电话中SoC通常使用约5瓦)，这样利用镜框105、镜腿部110A、镜腿125A或上述组合的非能动冷却而使眼镜设备100两侧的电子器件得到适当冷却。通过整合两个SoC602(定位于眼镜设备100的相对两侧，利用眼镜设备100独特的非能动冷却能力)，计算力达到或超过传统移动设备(其利用耗散功率为5瓦的SoC)。
每个SoC中整合相同或相似的部件和部件布局就能灵活地在两个SoC 602之间分配处理工作负载。某一示例中，处理工作负载是基于相邻的部件来分配。根据本示例，每个SoC可以驱动相应的相机和显示器，这一点从电气角度来看十分可取。
另一示例中，处理工作负载是基于功能性来分配。根据本示例，一个SoC 602可以充当传感器集线器(例如完成所有计算机视觉(CV)和机器学习、ML、处理以及视频编码)，另一个SoC 602可以运行应用逻辑、音频和视频呈现功能以及通信(例如Wi-Fi、4G/5G等)。从隐私角度来看，基于功能分配处理工作负载可能十分理想。例如，通过一个SoC处理传感器信息而另一个SoC处理Wi-Fi可以实现如下技术方案：不允许将此类传感器信息从进行传感器处理的SoC发送到管理通信的SoC，从而能够防止相机图像等私人数据无意中从眼镜设备泄露出去。另一示例中，如下详述，可以基于处理工作负载(例如由SoC温度或每秒指令数确定)来转移处理工作负载。
图7为用于眼镜设备中实施双SoC的流程图700。图中虽参考眼镜设备100描述了流程步骤，但本领域技术人员参阅本文内容应会理解可实践流程图700中一个或多个步骤的其他适用眼镜设备。还可预期，图7示出及本文描述的一个或多个步骤可以省略、同时或顺序执行、按图示及描述的不同顺序执行或者结合附加步骤执行。
图7为使用第一片上系统和第二片上系统对眼镜设备100执行操作的示例步骤流程图700。
框702，第一SoC 602A执行第一组操作。这包括第一SoC 602A操作第一组外围设备，图中示为第一彩色相机114A、第一CV相机610A和第一显示器608A。这还包括第一SoC602A运行CV算法和视觉测程(VIO)、跟踪用户手势以及提供立体深度。
框704，第二SoC 602B执行第二组操作。这包括第二SoC 602B操作第二组外围设备，图中示为第二彩色相机114B、第二CV相机610B和第二显示器608B。这还包括第二SoC602B运行CV算法和视觉测程(VIO)、跟踪用户手势以及提供立体图像深度和视频记录。
框706，眼镜设备100监测第一SoC和第二SoC的温度。某一示例中，每个SoC均包括用于测量温度的集成热敏电阻。每个SoC可以经由各自的集成热敏电阻来监测其自身的温度，并可以通过周期性请求来自另一个SoC的温度读数来监测另一个SoC的温度。
框708，眼镜设备100在相应SoC上执行的第一组操作和第二组操作之间转移处理工作负载来平衡温度(这会高效分配处理工作负载)。在包括主SoC和副本SoC的示例中，主SoC管理对其自身和副本SoC的工作负载分配，以维持SoC之间相对均匀的分配。某一示例中，当一个SoC的温度高于另一个SoC温度的10％时，主SoC将处理工作负载从温度较高的SoC重新分配到温度较低的SoC，直到温度差达到低于5％。每个SoC执行的处理指令可以配有从1到10的可分配值，其中1为永不可分配，10为始终可分配。当转移处理工作负载时，主SoC首先转移可分配值为10的指令，然后转移可分配值为9、8……的指令。框706和框708的步骤连续重复来维持均匀的热分布。
图8描绘了在眼镜设备100的第一SoC 602A与第二SoC 602B之间划分处理工作负载的客户端服务器策略。该策略会平衡从眼镜设备100第一侧(例如左侧)到眼镜设备100第二侧(例如右侧)的功率，降低互连复杂性(例如，通过第二SoC 602B管理的无线子系统)，并可基于热负载、处理要求或其组合左右两侧之间进行动态分配)。
第一SoC 602A例如通过诸如外围设备互联(Peripheral ComponentInterconnect，PCI)Express、安全数字输入输出(Secure Digital Input Output，SDIO)、通用串行总线(Universal Serial Bus，USB)等处理器间通信总线连接到第二SoC 602B。第一存储器604A整合到第一SoC 602A中，第二存储器604B整合到第二SoC 602B中。
所示的示例中，第一SoC 602A耦合到第一组外围设备，包括第一彩色相机114A、第一计算机视觉(CV)相机610A和第一显示器608A。第二SoC 602B耦合到第二组外围设备，包括第二彩色相机114B、第二CV相机610B和第二显示器608B，该第二组外围设备的布置与第一组外围设备的布置互成镜像。第一SoC和第二SoC均支持三维(3D)图形、将其叠加到视频上并进行合成。第一组外设和第二组外设由各自的SoC操作，两者之间存在明确分工，简化了电气设计，大幅降低了桥接柔性的复杂性。相机与显示器的通信仅限于眼镜设备100的一侧，因此只需利用处理器间通信总线来连接眼镜设备100的左右两侧。第一SoC 602A与第二SoC 602B同步的重要性在于，这两个SoC都支持各组外围设备。
第一SoC 602A和第二SoC 602B均运行应用，均有操作系统(OS)，例如和CV算法。CV算法可以直接访问彩色相机114A、114B生成的彩色图像。第一SoC 602A和第二SoC 602B均负责运行基于颜色的CV算法、视觉测程(VIO)、跟踪用户手势、用彩色相机获取立体图像深度信息和视频录制。通过调整CV算法，可以吸收来自相机的输入偏差。两个SoC都需要运行才能访问各个外围设备。这种配置能良好地平衡各个SoC的功耗，尤其是在每个SoC上以更高分辨率或帧率运行3D图形的情况下。所示的示例中，显示器与相应SoC之间的通信是通过使用移动工业处理器接口(Mobile Industry Processor Interface，MIPI)、a相机串行接口(Camera Serial Interface，CSI)、显示器串行接口(aDisplay SerialInterface，DSI)和内部集成电路(Inter-Integrated Circuit，I2C)，但可使用任何显示器接口。
每个SoC的运行功率通常大致相同，约为1.5瓦以下(例如800～850mW)。每个SoC操作各自的一组外围设备以及3D图形和上述其他功能，因此每个SoC的功率水平可能各有不同。这种技术方案远低于眼镜设备100每侧约2～3W的非能动热分布目标。
除上述内容外，已陈述或说明的任何内容均无意或不应解释为向公众贡献任何部件、步骤、特征、目的、利益、优势或等同物，无论权利要求中提及与否。
应当理解，本文所用术语和表达具有这些术语和表达就其各自相应探究和研究领域一致的广义，除非本文另外阐明具体含义。诸如第一和第二等关系术语可以仅用来区分一个实体或动作与另一实体或动作，而不必要求或暗示这样的实体或动作之间的任何实际这样的关系或次序。术语“包括”、“包含”或任何其他其变化形式，都旨在涵盖非排他的包含，因此，包括一个要素或步骤列表的过程、方法、物品或装置不仅仅包括或包含这些要素或步骤，而且还可以包括未明确列出的或这样的过程、方法、物品或装置所固有的其他要素或步骤。不定冠词后跟的要素在不含更多限制的情况下不排除包括该要素的过程、方法、物品或装置中存在额外的相同要素。
本说明书(包括所附权利要求书)提出的任何及所有测量值、数值、额定值、位置、幅度、尺寸和其他规格均为近似值，而非精确值，除非另作声明。这些量值旨在具有与其相关功能及其所属技术领域中的惯例相符的合理范围。例如，参数值等可能与规定的量值或范围存在正负百分之十的差异，除非另作明确声明。
另外，从上述具体实施方式可以看出，为了简化公开内容，各种特征在各实例中互组。本公开方法不应解释为反映权利要求实例要求的特征应超过每项权利要求中明确记载的特征。相反，正如所附权利要求所反映的那样，要求保护的主题不在于任何一个公开实例的所有特征。所附权利要求特此归并本说明书中，每项权利要求作为单独的权利要求主题独立存在。
虽然上文已经描述了视为最佳模式和其他实例的内容，但应理解，其中可以进行各种修改，本公开主题可以采取各种形式和实例来实施，可应用于众多应用，本文仅描述了其中某些应用。所附权利要求旨在要求保护落入本公开构思实际范围内的任何及所有修改和更改。

Claims (20)

1.一种眼镜，包括：
镜框，具有第一侧和第二侧；
多个电子部件；
所述镜框的第一侧相邻的第一片上系统，所述第一片上系统耦合到第一组多个电子部件；以及
所述第二侧相邻的第二片上系统，所述第二片上系统耦合到所述第一片上系统和第二组多个电子部件，其中，所述第一组多个电子部件和所述第二组多个电子部件包括相同类型的电子部件。
2.根据权利要求1所述的眼镜，其中，所述第一组多个电子部件与所述第二组多个电子部件互成镜像。
3.根据权利要求1所述的眼镜，还包括：用于所述第一片上系统和所述第二片上系统上执行的负载平衡指令，所述负载平衡指令被所述第一片上系统和所述第二片上系统执行时在所述第一片上系统与所述第二片上系统之间转移处理工作负载。
4.根据权利要求3所述的眼镜，还包括：
所述第一片上系统相邻的第一温度传感器，所述第一温度传感器生成第一温度值；
所述第二片上系统相邻的第二温度传感器，所述第二温度传感器生成第二温度值；
其中，所述负载平衡指令使所述第一片上系统和所述第二片上系统配置为响应所述第一温度值和所述第二温度值来转移处理工作负载。
5.根据权利要求1所述的眼镜，其中，
所述第一组多个电子部件包括第一彩色相机、第一计算机视觉相机和第一显示器；以及
所述第二组多个电子部件包括第二彩色相机、第二计算机视觉相机和第二显示器。
6.根据权利要求5所述的眼镜，其中，所述第一片上系统和所述第二片上系统均配置为渲染三维图形并执行渲染功能。
7.根据权利要求5所述的眼镜，其中，所述第一片上系统和所述第二片上系统均包括操作系统。
8.根据权利要求1所述的眼镜，其中，所述第一片上系统和所述第二片上系统均配置为执行计算机视觉和视觉测程。
9.根据权利要求1所述的眼镜，其中，所述第一片上系统和所述第二片上系统均配置为执行机器学习和视频编码、运行应用逻辑以及管理通信。
10.根据权利要求1所述的眼镜，其中，所述眼镜还包括所述第一侧相邻的第一显示部件、所述第二侧相邻的第二显示部件、所述第一侧和所述第二侧中各侧相邻的大约2瓦至3瓦的非能动降温能力，其中，所述第一二片上系统和所述第二片上系统均以大约1.5瓦以下的功率运行，并且所述第一显示部件和所述第二显示部件均以大约1瓦至2瓦的功率运行。
11.一种使用眼镜的方法，所述眼镜包括具有第一侧和第二侧的镜框以及多个电子部件，所述方法包括：
使用所述镜框的第一侧相邻定位的第一片上系统执行第一组操作，所述第一片上系统耦合并操作第一组多个电子部件；以及
使用所述镜框的第二侧相邻定位的第二片上系统执行第二组操作，所述第二片上系统耦合并操作第二组多个电子部件，其中，所述第一组多个电子部件和所述第二组多个电子部件包括相同类型的电子部件。
12.根据权利要求11所述的方法，其中，所述第一组多个电子部件与所述第二组多个电子部件互成镜像。
13.如权利要求11所述的方法，其中，
所述第一组多个电子部件包括第一彩色相机、第一计算机视觉相机和第一显示器；以及
所述第二组多个电子部件包括第二彩色相机、第二计算机视觉相机和第二显示器。
14.如权利要求13所述的方法，其中，所述第一片上系统和所述第二片上系统均配置为渲染三维图形并执行渲染功能。
15.根据权利要求13所述的方法，其中，所述第一片上系统和所述第二片上系统均包括操作系统。
16.根据权利要求13所述的方法，其中，所述第一片上系统和所述第二片上系统均执行计算机视觉和视觉测程。
17.根据权利要求11所述的方法，其中，所述第一片上系统和所述第二片上系统均执行机器学习和视频编码、运行应用逻辑以及管理通信。
18.一种非瞬态计算机可读介质，包括用于操作眼镜设备的指令，所述眼镜设备包括具有第一侧和第二侧的镜框以及多个电子部件，所述指令在由眼镜设备执行时将眼镜设备配置为：
使用所述镜框的第一侧相邻定位的第一片上系统执行第一组操作，所述第一片上系统耦合并操作第一组多个电子部件；以及
使用所述镜框的第二侧相邻定位的第二片上系统执行第二组操作，所述第二片上系统耦合并操作第二组多个电子部件，其中，所述第一组多个电子部件和所述第二组多个电子部件包括相同类型的电子部件。
19.根据权利要求18所述的非瞬态计算机可读存储介质，其中，所述指令被所述眼镜设备执行时进一步使眼镜设备配置为：
操作所述第一组多个电子部件，包括第一彩色相机、第一计算机视觉相机和第一显示器；以及
操作所述第二组多个电子部件，包括第二彩色相机、第二计算机视觉相机和第二显示器。
20.根据权利要求19所述的非瞬态计算机可读存储介质，其中，所述指令被所述眼镜设备执行时进一步使眼镜设备配置为：
操作所述第一片上系统和所述第二片上系统来各自渲染三维图形并执行渲染功能，操作所述第一片上系统和所述第二片上系统来各自运行操作系统，以及操作所述第一片上系统和所述第二片上系统来各自执行CV和视觉测程。
CN202280069479.7A 2021-10-14 2022-09-30 双片上系统眼镜 Pending CN118119911A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/501,596 US20230124748A1 (en) 2021-10-14 2021-10-14 Dual system on a chip eyewear
US17/501,596 2021-10-14
PCT/US2022/045386 WO2023064124A1 (en) 2021-10-14 2022-09-30 Dual system on a chip eyewear

Publications (1)

Publication Number Publication Date
CN118119911A true CN118119911A (zh) 2024-05-31

Family

ID=84043974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280069479.7A Pending CN118119911A (zh) 2021-10-14 2022-09-30 双片上系统眼镜

Country Status (3)

Country Link
US (1) US20230124748A1 (zh)
CN (1) CN118119911A (zh)
WO (1) WO2023064124A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
CN104106053B (zh) * 2012-02-08 2018-12-11 英特尔公司 使用功率的动态cpu gpu负载平衡
US10452437B2 (en) * 2016-06-24 2019-10-22 Advanced Micro Devices, Inc. Temperature-aware task scheduling and proactive power management
EP3264268A1 (en) * 2016-06-29 2018-01-03 Intel Corporation Distributed processing qos algorithm for system performance optimization under thermal constraints
US10216236B1 (en) * 2017-08-31 2019-02-26 Snap Inc. Systems and methods for temperature management in wearable devices
JP7272040B2 (ja) * 2019-03-25 2023-05-12 セイコーエプソン株式会社 装着型表示装置
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors

Also Published As

Publication number Publication date
US20230124748A1 (en) 2023-04-20
WO2023064124A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
CN116324581A (zh) 包括具有3d帧的虚拟场景的护目镜
CN118056167A (zh) 使用硬件时间戳协调多节点系统中的事件
CN117321537A (zh) 眼睛佩戴设备动态功率配置
KR20230027299A (ko) 공유 시선 반응형 보기 기능을 가진 아이웨어
KR20240047454A (ko) 동시 usb 통신 기능이 있는 시스템 온 칩
CN116324679A (zh) 上下文相关的眼戴器遥控器
US11997249B2 (en) Dual system on a chip eyewear
CN118119911A (zh) 双片上系统眼镜
US11994751B1 (en) Dual system on a chip eyewear
CN118103795A (zh) 双片上系统眼镜
CN118103794A (zh) 双片上系统眼镜
US11829312B2 (en) Debug access of eyewear having multiple socs
CN118202314A (zh) 双片上系统眼镜
US20230262207A1 (en) Dual system on a chip eyewear having a mipi bridge
KR20240089576A (ko) 칩 아이웨어 상의 듀얼 시스템
KR20240090408A (ko) 칩 아이웨어 상의 듀얼 시스템
KR20240090409A (ko) 칩 아이웨어 상의 듀얼 시스템
KR20240090407A (ko) 칩 아이웨어 상의 듀얼 시스템
US20230034649A1 (en) Electronic device virtual machine operating system
KR20240090281A (ko) 칩 안경류 상의 이중 시스템
KR20240070680A (ko) 공유 클럭을 사용한 칩 상 시스템들의 동기화
KR20240090279A (ko) GPIO 타임스탬프들을 사용한 SoC(system-on-chip)들의 동기화
CN118056168A (zh) 使用gpio时间戳同步片上系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination