CN116635769A - 包括微型相机的可穿戴的电子装置 - Google Patents

包括微型相机的可穿戴的电子装置 Download PDF

Info

Publication number
CN116635769A
CN116635769A CN202180085294.0A CN202180085294A CN116635769A CN 116635769 A CN116635769 A CN 116635769A CN 202180085294 A CN202180085294 A CN 202180085294A CN 116635769 A CN116635769 A CN 116635769A
Authority
CN
China
Prior art keywords
camera
electronic device
image sensor
lens
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085294.0A
Other languages
English (en)
Inventor
宋悳永
郭浩根
朴宰兴
宋亨镒
全真阿
朴勇炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210007054A external-priority patent/KR20220104576A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116635769A publication Critical patent/CN116635769A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本文中的根据各种实施例的电子装置可以包括：框架，其包括第一区域和第二区域；窗口构件，其由所述框架支撑；支撑构件，其可旋转地连接到所述框架；显示模块，其用于在所述窗口构件上投射图像；以及相机，其布置在所述框架的第二区域中以捕捉用户的眼部，其中，所述相机包括基板和布置在所述基板上的图像传感器，并且所述基板的面积能够被形成为小于或等于所述图像传感器的面积。其他实施例是可能的。

Description

包括微型相机的可穿戴的电子装置
技术领域
本文公开的各种实施例涉及一种可穿戴的电子装置，该可穿戴的电子装置包括被配置为捕捉用户眼睛的图像的小型相机。
背景技术
增强现实(AR)可以指用于表示如下要素的技术，所述要素通过计算机图形处理而生成且添加到由用户识别的实际现实。例如，AR技术可以用于将存在于现实中的对象与包括与该对象有关的信息的额外虚拟对象一起显示。
AR可以通过各种装置来实现。AR通常可以通过诸如眼镜式电子装置和头戴式显示器(HMD)这样的可穿戴的电子装置来实现。
为了通过其中的眼镜式电子装置实现AR，可以将图像显示在眼镜镜片上。可以将光投射到眼镜镜片上以在镜片上显示图像。例如，可以使用具有非常小的尺寸的投影仪(例如，微型投影仪或微投影仪(pico projector))。这种投影仪的示例可以包括激光扫描显示器(LSD)、数字微镜显示器(DMD)、以及硅基液晶(LCoS)。另外，透明显示器可以用于在镜片上显示图像。
将上述信息仅仅作为背景信息来呈现，以有助于对本公开的理解。关于以上中的任何一项是否可以适用为针对本公开的现有技术，没有作出判定，且没有作出断言。
发明内容
技术问题
为了实现AR，电子装置可以包括多个相机。例如，用于捕捉双眼图像的相机可以设置为分别跟踪用户的瞳孔的移动。
电子装置的体积和重量会与包括在电子装置中的相机的尺寸成比例地增大，由此会使穿戴该电子装置变得不舒服。也可能存在以下问题：如果用于捕捉用户眼睛的图像的相机尺寸大，则相机可能出现在用户的视场中。
本文公开的各种实施例可以提供一种可穿戴的电子装置，该电子装置包括小型相机，该小型相机能够在不出现在用户的视场中的情况下捕捉用户眼睛的图像。
解决问题的方案
根据本文公开的各种实施例的电子装置可以包括：框架，所述框架包括第一区域和第二区域；窗口构件，所述窗口构件由所述框架支撑；支撑构件，所述支撑构件可旋转地连接到所述框架；显示模块，所述显示模块被配置为在所述窗口构件上投射图像；以及相机，所述相机设置在所述框架的所述第二区域中以捕捉用户的眼部，其中，所述相机包括基板和设置在所述基板上的图像传感器，并且其中，所述基板的面积等于或小于所述图像传感器的面积。
根据在本文公开的各种实施例的包括在头戴式电子装置中的相机可以包括：基板；图像传感器，所述图像传感器设置在所述基板上并且电连接到所述基板；保护镜片，所述保护镜片设置在所述图像传感器上；镜筒，所述镜筒设置在所述保护镜片上，并且所述镜筒具有内嵌在所述镜筒中的多个透镜；以及盖体镜片，所述盖体镜片联接到所述镜筒，以保护内嵌在所述镜筒中的所述多个透镜，其中，所述基板的面积小于或等于所述图像传感器的面积。
发明的有益效果
根据本文公开的各种实施例，可以使相机小型化，使得电子装置可以变得轻便，并且可以抑制相机包括在用户的视场中，由此提高电子装置的可用性。
根据结合附图公开了本公开的各种实施例的以下详细描述，本公开的其他方面、优点和显著的特征将对于本领域技术人员变得清楚。
附图说明
关于附图的描述，可以对于相同的或类似的部件使用相同的或类似的附图标记。
图1是根据各种实施例的网络环境中的电子装置的框图；
图2是根据各种实施例的包括多个相机的电子装置的总体配置图；
图3a示出根据本文公开的各种实施例的电子装置；
图3b是根据本文公开的各种实施例的电子装置和相机的分解立体图；
图4a示出根据本文公开的各种实施例的相机的捕捉区域；
图4b示出根据本文公开的各种实施例的捕捉空间；
图5是根据本文公开的各种实施例的由相机捕捉的图像；
图6a是根据本文公开的各种实施例的相机的立体图；
图6b是图6a所示的相机的分解立体图；以及
图6c是图6a所示的相机的沿A-A线截取的截面图。
具体实施方式
应当理解的是，本公开的各种实施例以及其中使用的术语并不意图将本文阐述的技术特征限制于特定实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。
对于附图的描述，相似的附图标记可用来指代相似或相关的元件。可以理解的是，与术语相对应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。
如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，11连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。非易失性存储器134可包括内部存储器136并且外部存储器138。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是根据本公开的各种实施例的包括多个相机的电子装置(例如，图1中的电子装置101)的总体配置图。
在各种实施例中，电子装置200可以是被制造为穿戴在用户的头部上的电子装置200。例如，电子装置200可以以眼镜、护目镜、头盔或帽子中的至少一者的形式来配置，但是不限于此。根据一个实施例，电子装置200可以包括分别与用户的两只眼睛(例如，左眼和/或右眼)相对应的多个镜片(例如，第一镜片220和/或第二镜片230)。
电子装置200可以向用户提供与增强现实(AR)服务有关的图像。根据一个实施例，电子装置200可以在第一镜片220和/或第二镜片230上投射或显示虚拟对象，使得用户能够看到在通过电子装置的第一镜片220和/或第二镜片230感知的现实上所叠加的至少一个虚拟对象。
参照图2，根据一个实施例的电子装置200可以包括主体部223、支撑部(例如，第一支撑部221或第二支撑部222)和铰链部(例如，第一铰链部240-1或第二铰链部240-2)。
根据各种实施例，主体部223和支撑部221或222可以通过铰链部240-1或240-2可操作地连接。主体部223可以包括被形成为至少部分地安装在用户鼻子上的一部分。
根据各种实施例，支撑部221或222可以包括支撑构件，该支撑构件具有能够被安装在用户耳朵上的形状。支撑部221或222可以包括安装在左耳上的第一支撑部221和/或安装在右耳上的第二支撑部222。
根据各种实施例，第一铰链部240-1可以将主体部223连接到第一支撑部221，使得第一支撑部221相对于主体部223可旋转。第二铰链部240-2可以将主体部223连接到第二支撑部222，使得第二支撑部222相对于主体部223可旋转。根据另一个实施例，可以省略电子装置200的铰链部240-1和240-2。例如，支撑部221和222可以直接连接到主体部223。
根据各种实施例，主体部223可以包括至少一个镜片(例如，第一镜片220或第二镜片230)、至少一个显示模块(例如，第一显示模块214-1或第二显示模块214-2)、至少一个相机模块(例如，正面捕捉相机模块213)、眼睛跟踪相机模块(例如，第一眼睛跟踪相机模块212-1或第二眼睛跟踪相机模块212-2)、姿势相机模块(例如，第一姿势相机模块211-1或第二姿势相机模块211-2)以及至少一个麦克风(例如，第一麦克风241-1或第二麦克风241-2)。
在图2所示的电子装置200的情况下，由显示模块214-1或214-2产生的光可以投射到镜片220或230上以在其上显示信息。例如，由第一显示模块214-1产生的光可以被投射到第一镜片220上，由第二显示模块214-2产生的光可以被投射到第二镜片230上。能够显示虚拟对象的光可以被投射到至少部分地由透明材料形成的镜片220和230上，因此用户能够识别出叠加有虚拟对象的现实。在这种情况下，可以理解为图1所示的显示模块160可以包括图2所示的电子装置200的显示模块214-1或214-2以及镜片220或230中的至少一者。然而，在本公开中描述的电子装置不限于通过上述方法来显示信息。可将可以包括在电子装置中的显示模块改变为包括各种类型的信息显示方法的显示模块。例如，当包括透明材料所制成的发光元件的显示面板内嵌在镜片220或230中时，能够在没有分开的显示模块(例如，第一显示模块214-1或第二显示模块214-2)的情况下显示信息。在这种情况下，图1所示的显示模块160可以指镜片220或230以及包括在镜片中的显示面板。
根据各种实施例，通过显示模块214-1或214-2输出的虚拟对象可以包括与在电子装置200中执行的应用程序有关的信息和/或与用户通过镜片220或230所识别的真实空间中存在的外部对象有关的信息。外部对象可以包括存在于在真实空间中的对象。在下文，由用户通过镜片220或230识别的真实空间将被称为用户的视场(FoV)的区域。例如，电子装置200可以在与通过电子装置200的相机模块(例如，捕捉相机模块213)获得的真实空间有关的图像信息中识别出被确定为用户的视场(FoV)的区域的至少一部分中所包括的外部对象。电子装置200可以通过显示模块214-1和214-2输出与所识别的外部对象有关的虚拟对象。
根据各种实施例，电子装置200可以基于与通过电子装置200的捕捉相机模块213获取的真实空间有关的图像信息，一起显示与增强现实服务有关的虚拟对象。根据实施例，电子装置200可以基于对应于用户的双眼而设置的显示模块(例如，与左眼相对应的第一显示模块214-1和/或与右眼相对应的第二显示模块214-2)来显示虚拟对象。根据一个实施例，电子装置200可以基于预先配置的设置信息(例如，分辨率、帧速率、亮度、和/或显示区域)来显示虚拟对象。
根据各种实施例，镜片220或230可以包括集光透镜(未示出)和/或波导(例如，第一波导220-1和/或第二波导230-1)。例如，第一波导220-1可以部分地位于第一镜片220上，而第二波导230-1可以部分地位于第二镜片230上。从显示模块214-1或214-2发射的光可以入射到镜片220或230的一个表面上。入射到镜片220或230的一个表面上的光可以通过位于镜片220或230中的波导220-1或230-1而传输至用户。波导220-1或230-1可以由玻璃、塑料或聚合物制成，并且可以包括形成在其一个内表面或外表面上的纳米图案。例如，纳米图案可以包括多边形的或弯曲的光栅结构。根据一个实施例，入射到镜片220或230的一个表面上的光可以通过纳米图案在波导220-1或230-1内部传播或反射以传输至用户。根据一个实施例，波导220-1或230-1可以包括至少一个衍射元件(例如，衍射光学元件(DOE)、全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一者。根据一个实施例，波导220或230可以通过使用至少一个衍射元件或反射元件将从显示模块214-1或214-2发射的光引导到用户的眼睛。
根据各种实施例，电子装置200可以包括：捕捉相机模块213(例如，RGB相机模块)，用于捕捉与用户的视场(FoV)相对应的图像和/或用于测量与对象的距离；眼睛跟踪相机模块212-1或212-2，用于识别用户的注视方向；和/或姿势相机模块211-1或211-2，用于识别特定空间。例如，捕捉相机模块213可以捕捉电子装置200的正面方向上的图像，眼睛跟踪相机模块212-1或212-2可以捕捉在与捕捉相机模块213的捕捉方向相反的方向上的图像。例如，第一眼睛跟踪相机模块212-1可以部分地捕捉用户的左眼，第二眼睛跟踪相机模块212-2可以部分地捕捉用户的右眼。根据一个实施例，捕捉相机模块213可以包括诸如高分辨率(HR)相机模块和/或照片视频(PV)相机模块这样的高分辨率相机模块。根据一个实施例，眼睛跟踪相机模块212-1或212-2可以检测用户的瞳孔并跟踪注视方向。所跟踪的注视方向可以用于响应于注视方向来移动包括虚拟对象的虚拟图像的中心。根据一个实施例，姿势相机模块211-1或211-2可以检测预定距离(例如，预定空间)内的用户姿势和/或预定空间。姿势相机模块211-1或211-2可以包括有全局快门(GS)的相机模块。例如，姿势相机模块211-1或211-2可以是包括GS的相机模块，用于减少卷帘式快门(RS)现象，以便检测和跟踪快速手部移动和/或手指的瞬间移动等。
根据各种实施例，电子装置200可以通过使用至少一个相机模块211-1、211-2、212-1、212-2、213来从左眼和/或右眼当中感测出与注视眼和/或辅视眼相对应的眼睛。例如，电子装置200可以基于用户对于外部对象或虚拟对象的注视方向来感测与注视眼和/或辅视眼相对应的眼睛。
图2所示的电子装置200中所包括的至少一个相机模块(例如，捕捉相机模块213、眼睛跟踪相机模块212-1或212-2以及/或者姿势相机模块211-1或211-2)的数量和位置可以不受限。例如，基于电子装置200的形状(例如，形状或尺寸)，至少一个相机模块(例如，捕捉相机模块213、眼睛跟踪相机模块212-1或212-2以及/或者姿势相机模块211-1或211-2)的数量和位置可以是不同的。
根据各种实施例，电子装置200包括至少一个照明LED(例如，第一照明LED 242-1和第二照明LED 242-2)来提高至少一个相机模块(例如，捕捉相机模块213、眼睛跟踪相机模块212-1或212-2以及/或者姿势相机模块211-1或211-2)的精度。例如，第一照明LED242-1可以设置在与用户的左眼相对应的部分上，而第二照明LED 242-2可以设置在与用户的右眼相对应的部分上。在一个实施例中，照明LED 242-1或242-2可以用作辅助装置，用于在使用眼睛跟踪相机模块212-1或212-2捕捉用户的瞳孔时提高精度，并且照明LED 242-1或242-2可以包括用于生成具有红外波长的光的IR LED。此外，在使用姿势相机模块211-1或211-2来捕捉用户的姿势的情况下，照明LED242-1或242-2可以在待捕捉的被摄体由于黑暗环境或来自各种光源的光的混合和反射而不容易被检测到时用作辅助装置。
根据各种实施例，电子装置101可以包括用于接收用户的语音和环境声的麦克风(例如，第一麦克风241-1或第二麦克风241-2)。例如，麦克风241-1或241-2可以是图1中的音频模块170中包括的部件。
根据各种实施例，第一支撑部221和/或第二支撑部222可以包括印刷电路板(PCB)(例如，第一印刷电路板231-1或第二印刷电路板231-2)、扬声器(例如，第一扬声器232-1或第二扬声器232-2)和/或电池(例如，第一电池233-1或第二电池233-2)。
根据各种实施例，扬声器232-1或232-2可以包括用于向用户的左耳发送音频信号的第一扬声器232-1和用于向用户的右耳发送音频信号的第二扬声器232-2。扬声器232-1或232-2可以是图1中的音频模块170中包括的部件。
根据各种实施例，电子装置200可以设有多个电池233-1和233-2，并且可以通过电力管理模块(例如，图1中的电力管理模块188)向印刷电路板231-1和231-2供应电力。例如，多个电池233-1和233-2可以电连接到电力管理模块(例如，图1中的电力管理模块188)。
尽管以上已经描述了电子装置200是显示增强现实的装置，但电子装置200可以是显示虚拟现实(VR)的装置。在该情况下，镜片220或230可以由不透明材料形成，使得用户不能通过镜片220或230识别真实空间。此外，镜片230可以用作显示模块160。例如，镜片220或230可以包括用于显示信息的显示面板。
图3a示出根据本文公开的各种实施例的电子装置。图3b是根据本文公开的各种实施例的电子装置和相机的分解立体图。
根据各种实施例，电子装置300可以包括框架310(例如，图2中的主体部223)、窗口构件330(例如，图2中的第一镜片220或第二镜片230)、支撑构件320(例如，第一支撑部221或图2的第二支撑部222)、显示模块(未示出)(例如，图1中的显示模块160)、相机340(例如，图2中的眼睛跟踪相机212)、照明部(未示出)(例如，图2中的照明LED 242)以及处理器(未示出)(例如，图1中的处理器120)。在一个实施例中，可以以与用户的左眼和右眼相对应的方式分别成对地设置窗口构件330、支撑构件320、显示模块、相机340和照明部。例如，窗口构件330可以包括第一窗口构件330-1和第二窗口构件330-2，支撑构件320可以包括第一支撑构件320-1和第二支撑构件320-2，并且相机340可以包括第一相机340-1和第二相机340-2。在一些情况下，上述部件当中的特定部件可以不同于与左眼相对应的部件和与右眼相对应的部件。
在以下附图中，为了方便解释起见，将电子装置300示出为眼镜形式的电子装置，但是本文公开的技术构思可以应用于以下电子装置：其包括可以被安装在用户的头部上的包括显示器的头戴式显示器(HMD)，并具有各种类型。
根据各种实施例，框架310可以支撑窗口构件330。框架310可以由合成树脂材料形成。窗口构件330被装配到穿过框架310所形成的开口中，使得框架310能够支撑窗口构件330。
根据各种实施例，支撑构件320可以可旋转地连接到框架310。支撑构件320可以包括第一支撑构件320-1和第二支撑构件320-2。第一支撑构件320-1可以在相对于框架310的左侧(例如，图3a中的-X方向上)连接到框架310，而第二支撑构件320-2可以在相对于框架310的右侧(例如，图3a中的+X方向上)连接到框架310。在一个实施例中，支撑构件320可以固定地安装在框架上。例如，连接到框架310的左侧的第一支撑构件320-1与连接到框架310的右侧的第二支撑构件320-2可以连接到彼此。连接到框架310的相反侧的支撑构件可以形成环形，并且可以通过围绕用户的头部装配而穿戴。此外，支撑构件320可以变形为使电子装置300能够被穿戴在用户的面部上的各种形状。
根据各种实施例，如图3a中所示，支撑构件320可以形成为悬挂在用户的耳朵上。通过使连接到框架310的支撑构件320悬挂在用户的耳朵上，电子装置300可以穿戴在用户的面部上。支撑构件320可以相对于框架310旋转。支撑构件320可以在其接近框架310的方向上旋转，以减小电子装置300的体积。
根据各种实施例，窗口构件330可以包括与用户的左眼相对应的第一窗口构件330-1以及与用户的右眼相对应的第二窗口构件330-2。窗口构件330可以由框架310来支撑。例如，窗口构件330可以装配到穿过框架310所形成的开口中。从显示模块发射的AR图像可以投射到窗口构件330上。波导(例如，图2中的第一波导220-1和/或第二波导230-1)可以形成在窗口构件330的至少部分区域中。波导可以将从显示模块发射的AR图像引导到用户的眼睛。对于波导的详细描述，对与图2中的第一镜片220和第二镜片230有关的描述加以参考。
根据各种实施例，显示模块可以输出由处理器生成的AR图像。当显示模块生成AR图像并将该AP图像投射到窗口构件330上时，可以通过将穿过窗口构件330的从正面(例如，在图3b中的-Y方向上)入射的可见光(L)与包括在AR图像中的对象组合来实现AR。显示模块可以是尺寸非常小型的投影仪(例如，微型投影仪、微投影仪(Pico projector))。例如，显示模块可以是激光扫描显示器(LSD)、数字微镜显示器(DMD)和硅基液晶(LCoS)。另外，显示模块可以是透明显示器。在该情况下，包括在显示模块中的发光元件可以直接地设置在窗口构件330中。另外，显示模块可以是用于实现AR的各种显示装置。
根据各种实施例，相机340可以包括与用户的左眼相对应的第一相机340-1以及与用户的右眼相对应的第二相机340-2。相机340可以是用于捕捉用户眼睛的相机340。相机340例如可以是图2中的眼睛跟踪相机212-1或212-2。相机340可以实时地捕捉用户的眼睛，因此用于识别用户眼睛的移动。
如图3a所示，当框架310被划分为第一区域310A和第二区域310B时，相机340可以设置在框架310的第二区域310B中。框架310的第二区域310B可以是在电子装置300由用户穿戴时与用户的鼻子相邻的区域。例如，如图3a所示，基于与框架310交叉的假想线(L)在第一方向(例如，在图3a中的-Z方向)上延伸的区域可以被理解为第二区域310B。或者，第二区域310B可以被理解为位于用户直视前方时用户注视的下方的位置处的区域。设置在框架310的第二区域310B中的相机340可以从用户的眼睛的下侧捕捉用户的眼睛。框架310的第一区域310A可以指框架310的除了第二区域310B以外的其余区域。例如，如图3a中所示，基于与框架310交叉的假想线(L)在第二方向(例如，在图3a中的+Z方向)上延伸的区域可以被理解为第一区域310A。
根据各种实施例，相机340可以插入到穿过支撑件350所形成的相机孔351中，该支撑件350设置在框架310的第二区域310B中。一对支撑件350可以形成为在电子装置300由用户穿戴时接触用户的鼻子。支撑件350可以包括相对于框架310的中心位于左侧(例如，图3a中的-X方向上)的第一支撑件350-1以及相对于框架310的中心位于右侧(例如，图3a中的+X方向上)的第二支撑件350-2。支撑件350可以使得框架310能够被用户的鼻子支撑。在一个实施例中，如图3a中所示，支撑件350可以与框架310一体地形成。在另一个实施例中，支撑件350可以与框架310分开地形成并且联接到框架310。相机孔351可以是穿过支撑件350中的每一者所形成的孔。相机孔351可以包括穿过第一支撑件350-1所形成的第一相机孔351-1以及穿过第二支撑件350-2所形成的第二相机孔351-2。相机孔351可以形成为相对于框架310以预定角度倾斜，使得设置在框架310的第二区域310B中的相机340可以面向用户的眼睛。当相机340插入到相对于框架310倾斜地形成的相机孔351中时，相机340可以面向用户的眼睛。
根据各种实施例，相机340可以从电子装置的正面(例如，在图3b中的-Y方向上)插入到穿过支撑件350所形成的相机孔351中。第一相机340-1可以插入到第一相机孔351-1中，第二相机340-2可以插入到第二相机孔351-2中。在一个实施例中，第一相机孔351-1可以穿过第一支撑件350-1或框架310的与第一支撑件350-1相邻的部分而形成。第二相机孔351-2可以穿过第二支撑件350-2或与框架310的第二支撑件350-2相邻的部分而形成。
根据各种实施例，电子装置300可以包括用于固定相机340的部件，从而防止相机340在相机孔351中移动。在一个实施例中，如图3b中所示，相机盖352和缓冲构件353可以与相机340一起插入到相机孔351中。相机盖352可以包括插入到第一相机孔351-1中的第一相机盖352-1以及插入到第二相机孔351-2中的第二相机盖352-2。缓冲构件353可以包括插入到第一相机孔351-1中的第一缓冲构件353-1以及插入到第二相机孔351-2中的第二缓冲构件353-3。
如图3b中所示，相机盖352、相机340和缓冲构件353可以以此顺序插入到相机孔351中。在另一个实施例中，相机盖352、缓冲构件353和相机340可以以此顺序插入到相机孔351中，并且可以使用多个缓冲构件353，使得相机盖352、缓冲构件353、相机340和缓冲构件以此顺序插入到相机孔351中。
根据各种实施例，相机盖352可以具有在插入到相机孔351中时自然地连接到支撑件350的外部形状或框架310的外部形状这样的形状。相机盖352的至少一部分(具体地，在相机盖352插入到相机孔351中时从外部看到的部分)可以由与支撑件350和/或框架310相同的材料形成。因此，当相机盖352插入到相机孔351中时，不会感受到在相机孔351穿过而形成的部分与剩余部分之间的差异。
根据各种实施例，缓冲构件353可以由能够弹性变形的材料形成。当在相机盖352插入到相机孔351中的同时压力被施加到相机盖352和相机340时，缓冲构件353可以部分地变形并支撑设置在相机孔351中的相机340。
在如下所述的相机340的情况下，可以不设置用于对相机340的主要部件(例如，图像传感器(例如，图6a中的图像传感器342)和基板(例如，图6a中的基板341))进行保护的单独的壳体，以便实现小型相机340。当相机340插入到相机孔351中时，相机孔351可以用作用于保护相机340的主要部件的壳体。例如，相机340定位于其中的相机孔351对应于相机340的形状，并且相机孔351可以在从电子装置的前方(例如，在图3b中的-Y方向上)观看时变得更窄。
图4a示出了根据在本文公开的各种实施例的相机的捕捉区域。图4b示出了根据在本文公开的各种实施例的捕捉空间。图5是根据在本文公开的各种实施例的由相机捕捉的图像。
根据各种实施例，相机340可以捕捉用户的眼睛。如图4a中所示，用户的眼睛可以被包括在相机340的捕捉区域401中。相机340的捕捉区域401可以由诸如相机340的焦距、视角和/或眼睛与相机340之间的距离这样的因素确定。在根据在本文公开的实施例的相机340中，可以调整焦距、视角和与眼睛的距离，使得形成包括用户眼睛的捕捉区域401。
根据各种实施例，相机340可以设置在框架310的第二区域(例如，图3a中的第二区域310B)中。框架310的第二区域可以是与用户的鼻子相邻的部分。设置在第二区域中的相机340可以从眼睛的下侧捕捉用户的眼睛。当相机340设置在框架310的第二区域310B中时，在相机340的捕捉空间402(捕捉区域401与相机340之间的区域)中不存在可能引起干扰的对象(例如，用户的眉毛或睫毛)，因此能够有效地捕捉用户的眼睛。另外，当相机340设置在框架310的第二区域中时，可以减少相机340被包括在用户的视场中的现象。
根据各种实施例，通过相机340获得的图像信息可以用于跟踪用户的瞳孔501的移动。例如，如图5所示，可以使用投射到用户的眼睛上的照明点502。根据一个实施例，投射到用户的眼睛上的照明点502可以是由照明部(例如，图2中的照明LED 242-1或242-2)朝向用户的眼睛发射的红外波长IR LED。可以通过瞳孔501与从照明部投射到用户的眼睛上的照明点502之间的相对距离来跟踪用户的瞳孔501的移动。照明点502可以指照明部中的最强光强点被投射到用户的眼睛上的点。可以使用瞳孔501与多个照明点502之间的相对距离的变化来跟踪瞳孔501的移动。
根据各种实施例，多个照明部(例如，图2中的照明LED 242-1或242-2)可以沿着框架310的内周边以预定间隔布置。照明部的数量和排布可以根据相机340与用户的眼睛之间的距离以及照明部与相机340之间的位置关系而不同地变化。例如，可以考虑从照明部发射的光从用户的眼睛反射以及反射光入射到相机340的入射位置和角度，来排布多个照明部(例如，图2中的照明LED 242-1或242-2)。在一个实施例中，可以根据周围情形(例如，环境光或电子装置的穿戴状态)仅启用多个照明部中的特定照明部。跟踪瞳孔所需的照明点502的数量可以根据周围情形而不同。例如，与强引入环境光的情形相比较，在弱引入环境光的情形中，照明点502的所需数量可以减少。在这种情况下，由于驱动照明部产生的功耗能够因仅启用了特定照明部而减少。根据一个实施例，处理器可以执行控制，使得多个照明部基于特定模式或指定顺序而启用。
根据各种实施例，处理器(例如，图1中的处理器120)可以通过跟踪用户的瞳孔501的移动而获取用户的注视方向。处理器可以通过使用注视方向来控制显示模块(例如，图1中的显示模块160)。
例如，处理器可以控制显示模块，使得用户的注视方向与投射到窗口构件(例如，图3a中的窗口构件330)上的图像的中心匹配。在一个实施例中，处理器可以控制显示模块，使得与用户的注视方向周围的预定区域相对应的AR图像的分辨率被调整为高于其余区域的分辨率。在一个实施例中，处理器可以基于用户的注视方向将预定区域设置为感兴趣区域，并且可以生成AR对象位于该区域中的AR图像。此外，处理器可以使用通过相机获取的图像信息来不同地控制显示模块或生成AR图像。
根据各种实施例，处理器(例如，图1中的处理器120)可以通过跟踪用户的瞳孔501的移动基于用户的注视来识别输入。例如，当通过显示模块(例如，图1中的显示模块160)显示虚拟对象并且用户的注视在指定的时间或更长时间指向虚拟对象时，处理器可以确定用户对虚拟对象感兴趣并且可以提供关于虚拟对象的额外信息。
图6a是根据在本文公开的各种实施例的相机的立体图。图6b是图6a所示的相机的分解立体图。图6c是图6a所示的相机的沿A-A线截取的截面图。
根据各种实施例，如图6a和图6b中所示，相机340可以包括基板341、图像传感器342、第一粘合层343、保护镜片344、第二粘合层345、包括多个透镜346-1的镜筒346以及盖体镜片347。以上提及的相机340的部件仅仅是示例，并且本文公开的包括在相机340中的部件不限于上述部件。
根据各种实施例，基板341例如可以是印刷电路板(PCB)。基板341可以电连接到设置有处理器的基板，以便向电子装置(例如，图1中的电子装置101)的处理器(例如，图1中的处理器120)发送由相机340的图像传感器342产生的图像信息。例如，相机340的基板341可以通过柔性印刷电路板(FPCB)电连接到设置有处理器的基板。在一个实施例中，处理器可以设置在内嵌于支撑构件(例如，图2中的第一支撑部221和第二支撑部222)中的印刷电路板(例如，图2中的第一印刷电路板231-1和第二印刷电路板232-2)上。设置在框架310内部并且延伸直至插入有相机340的相机孔351处的第一连接构件(例如，柔性印刷电路板)(未示出)可以连接到第二连接构件(例如，柔性印刷电路板)(未示出)，该第二连接构件与内嵌在支撑构件320中的印刷电路板连接。插入到相机孔351中的相机351可以电连接到第一连接构件，并且第一连接构件可以连接到第二连接构件，由此相机340可以电连接到其上设置有处理器的印刷电路板。在一个实施例中，焊球可以设置在相机340的基板341的后表面上，并且焊球可以接触第一连接构件，由此基板341和第一连接构件可以电连接到彼此。根据一个实施例，其上设置有处理器的印刷电路板和相机340可以通过位于镜片(例如，图2中的第一镜片220或第二镜片230)上的透明电极而电连接到彼此。
根据各种实施例，图像传感器342可以包括被配置为将光转换为电信号的光电元件。例如，包括在图像传感器342中的光电元件可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。图像传感器342可以以电连接到基板341的方式设置在基板341上。参照图6c，焊球342-1可以形成在图像传感器342的面向基板341的表面上。图像传感器342和基板341可以通过经由图像传感器342上所形成的焊球342-1的焊料键合而联接到彼此，由此图像传感器342和基板341可以电连接到彼此。如上所述，与通过引线键合将图像传感器342和基板341联接相比较，通过利用焊球342-1的焊料键合将图像传感器342和基板341联接到彼此，可以减小相机340的体积。在引线键合的情况下，在图像传感器342的外周边上需要用于引线键合的空间。因此，相机340的总体体积可能由于基板341的面积需要大于图像传感器342的面积而增大。关于在本文公开的相机340，基板341和图像传感器342可以具有基本上相同的面积，这是因为图像传感器342和基板341经由焊球342-1而联接。在一个实施例中，基板341的面积可以等于或小于图像传感器342的面积。因为基板341的面积与现有技术的基板的面积相比较能够减小，所以相机340的总体积也能够减小。因为在本文公开的相机340可以插入到相机孔351中并且可以受电子装置300的框架310或支撑件350保护，所以可以不需要用于保护相机340的单独的壳体。因此，也可以不需要用于布置围绕基板341的壳体的额外空间。
根据各种实施例，保护镜片344可以设置在图像传感器342上。保护镜片344可以设置在图像传感器342上用以保护图像传感器342。图像传感器342和保护镜片344可以通过沿着图像传感器342的边缘设置的第一粘合层343而联接到彼此。在图像传感器342采用引线键合的情况下，图像传感器342的边缘部分用作引线所联接到的部分。因为在本文公开的图像传感器342经由焊球342-1联接到基板341，所以第一粘合层343可以围绕图像传感器342的边缘而设置。如上所述，图像传感器342和保护镜片344经由围绕图像传感器342设置的第一粘合层343而联接，由此减小相机340的总体积。
根据各种实施例，包括多个透镜346-1的镜筒346可以设置在保护镜片344上。保护镜片344和镜筒346可以通过沿着保护镜片344的边缘设置的第二粘合层345而联接到彼此。在该情况下，保护镜片344和镜筒346可以彼此间隔开预定间隔。在组装相机340时，可以利用该间隔来补偿在相机340的制造工艺中相机340之间的差异，使得相机340能够生成具有规定质量的图像信息。这种差异可能由多种因素(例如，组装余量、图像传感器342的规格误差等)引起。例如，该差异可能由于诸如设置在镜筒346中的透镜346-1的厚度、间隔和偏心度这样的光学设计因素的微小改变而出现。需要补偿该差异以使得设置在电子装置中的本文公开的相机340以规定质量捕捉用户的眼睛。在组装相机340时，通过在保护镜片344与镜筒346之间形成间隔并对于每个相机340应用不同的间隔，可以在组装相机340的工艺期间补偿相机340之间的差异。在一个实施例中，设置在保护镜片344与镜筒346之间的第二粘合层345可以由光学材料或热固性材料形成。第二粘合层345可以在固化之前具有一定程度的流动性。可以调整(例如，通过图6b中的X轴、Y轴或Z轴旋转来调整)镜筒346相对于保护镜片344的位置以补偿相机340的误差。当镜筒346相对于保护镜片344的位置对齐时，可以使用光或热将第二粘合层345固化。而且，保护镜片344与镜筒346之间的间隔可以用于光轴对齐。为了使图像传感器342的光轴与包括在镜筒346中的多个透镜346-1匹配，可以以相对于保护镜片344的预定角度设置镜筒346。
根据各种实施例，可以调整镜筒346与图像传感器342之间的距离，使得光学镜头总长(OTTL)/后焦距(BFL)是大约0.3至大约0.5。OTTL可以指从焦点到透镜346-1A的距离D2，该透镜346-1A是镜筒346中所包括的透镜346-1当中离图像传感器342最远的。BFL可以指从焦点到透镜346-1B的距离D1，该透镜346-1B是镜筒346中所包括的透镜346-1当中离焦点最近的。通过调整如上所述的OTTL/BFL，相机340的最小焦距可以等于或小于用户的眼睛与设置在电子装置中的相机340之间的距离。可以调整镜筒346与保护镜片344之间的距离，使得组装好的相机340的OTTL/BFL为大约0.3至大约0.5。
根据各种实施例，如图6a中所示，可以以镜筒346的直径随着镜筒346更加远离图像传感器342而减小的形状来形成镜筒346。在一个实施例中，可以将内嵌在镜筒346中的多个透镜构造为使得镜筒346的远离图像传感器342的透镜(例如，透镜346-1A)的直径小于镜筒346的靠近图像传感器342的透镜(例如，透镜346-1B)的直径。在一个实施例中，插入有相机340的相机孔(例如，图3b中的相机孔351-1或351-2)的内部可以形成为与镜筒346相对应的形状，使得相机340能够被稳定地安置在相机孔中。例如，当如图6a所示镜筒346形成为具有减小的直径时，相机孔的面向镜筒346的内径也可以形成为在相机进入的方向上减小。
根据各种实施例，盖体镜片347可以联接到镜筒346。盖体镜片347可以通过粘合方法附接到镜筒346的外表面。例如，盖体镜片347可以通过第三粘合层348附接到镜筒346。在一个实施例中，盖体镜片347能够插入穿过的孔(未示出)可以形成在镜筒346中。盖体镜片347可以保护包括在镜筒346中的多个透镜346-1。如上所述，可以通过将盖体镜片347直接地联接到镜筒346而不用单独的壳体来减小相机340的总体积。此外，因为盖体镜片347保护相机340，所以在插入有相机340的相机孔351中可以不需要用于保护相机340的单独的部件。
根据一个实施例，可以省略图像传感器342与保护镜片344之间的第一粘合层343和/或保护镜片344与镜筒346之间的第二粘合层345。例如，当相机340中的误差小时，可以省略第一粘合层343和/或第二粘合层345，并且可以通过粘合来实现联接。
与现有技术的相机相比较，包括在本文公开的电子装置中的相机340的总体积可以减小。因此，可以减小电子装置的重量，并且能够减少相机340被包括在用户的视场中的现象，由此提高电子装置的可用性。
根据在本文公开的各种实施例的电子装置(例如，图1中的电子装置101和图2中的电子装置200)可以包括：框架(例如，图3a中的框架310)，其包括第一区域(例如，图3a中的第一区域310A)和第二区域(例如，图3a中的第二区域310B)；窗口构件(例如，图3a中的窗口构件330)，该窗口构件由所述框架支撑；支撑构件(例如，图3a中的支撑构件320)，该支撑构件可旋转地连接到所述框架；显示模块(例如，图1中的显示模块160和图2中的显示模块214-1或214-2)，其被配置为在所述窗口构件上投射图像；以及相机(例如，图3a中的相机340)，其被设置在所述框架的所述第二区域中以捕捉用户的眼部。所述相机可以包括基板(例如，图6b中的基板341)以及设置在所述基板上的图像传感器(例如，图6b中的图像传感器342)，并且所述基板的面积可以等于或小于所述图像传感器的面积。
当框架被划分为两个区域时，框架的第二区域可以是在电子装置由用户穿戴时与用户的鼻子相邻的区域。
相机可以设置在形成于框架的第二区域中的支撑件(例如，图3a中的支撑件350)上，使得在电子装置由用户穿戴时相机与用户的鼻子接触并且框架由用户的鼻子支撑。
相机可以插入到穿过支撑件而形成的相机孔(例如，图3b中的相机孔351)中。
相机孔可以被形成为相对于框架以预定角度倾斜，使得插入到相机孔中的相机能够面向用户的眼部。
电子装置还可以包括以预定间隔彼此间隔开地排布在框架上的多个照明部(例如，图2中的照明LED 242-1或242-2)，使得用户的眼睛被辐射有红外光。
相机还可以包括：保护镜片(例如，图6b中的保护镜片344)，其设置在图像传感器上；镜筒(例如，图6b中的镜筒346)，其设置在保护镜片上并且镜筒中内嵌有多个透镜(例如，多个图6b中的透镜346-1)；以及盖体镜片(例如，图6b中的盖体镜片347)，其联接到镜筒以保护内嵌在镜筒中的多个透镜。
相机的图像传感器和保护镜片可以通过沿着图像传感器的边缘设置的第一粘合层(例如，图6b中的第一粘合层343)而联接到彼此。
相机的图像传感器可以通过焊球电连接到所述基板，其中，所述焊球形成在所述图像传感器的面向所述基板的表面上。
相机的镜筒的直径可以被形成为与到图像传感器的距离成反比例。
相机可以被插入到形成在框架的第二区域中的相机孔中，并且相机孔的内径可以被形成为在相机进入的方向上减小，以对应于相机的透镜筒。
相机的保护镜片和镜筒可以通过沿着保护镜片的边缘设置的第二粘合层(例如，图6b中的第二粘合层345)以预定间隔彼此间隔开地相互联接。
相机可被配置为使得从图像传感器到镜筒中所内嵌的多个透镜346-1当中的离图像传感器最近的透镜的后焦距(BFL)与从图像传感器到镜筒中所内嵌的多个透镜当中的离图像传感器最远的透镜的光学镜头总长(OTTL)的比为0.3至0.5。
根据本文公开的各种实施例的包括在头戴式电子装置中的相机(例如，图3a中的相机340)可以包括：基板(例如，图6b中的基板341)；图像传感器(例如，图6b中的图像传感器342)，其设置在基板上并且电连接到基板；保护镜片(例如，图6b中的保护镜片344)，其设置在图像传感器上；镜筒(例如，图6b中的镜筒346)，所述镜筒设置在保护镜片上并且所述镜筒中内嵌有多个透镜(例如，图6b中的多个透镜346-1)；以及盖体镜片(例如，图6b中的盖体镜片347)，其联接到镜筒用以保护内嵌在镜筒中的多个透镜。基板的面积可以小于或等于图像传感器的面积。
图像传感器和保护镜片可以通过沿着图像传感器的边缘设置的第一粘合层(例如，图6b中的第一粘合层343)而联接到彼此。
图像传感器可以通过焊球电连接到所述基板，其中，所述焊球形成在所述图像传感器的面向所述基板的表面上。
镜筒的直径可以被形成为与到图像传感器的距离成反比例。
内嵌在镜筒中的多个透镜可以被构造为使得透镜的直径随着透镜更加远离图像传感器342而减小。
相机的保护镜片和镜筒可以通过沿着保护镜片的边缘设置的第二粘合层(例如，图6b中的第二粘合层345)以预定间隔彼此间隔开地相互联接。
从图像传感器到内嵌在镜筒中的多个透镜当中的离图像传感器最近的透镜的后焦距(BFL)与从图像传感器到内嵌在镜筒中的多个透镜当中的离图像传感器最远的透镜的光学镜头总长(OTTL)的比可以为0.3至0.5。
在说明书和附图中公开的实施例仅对于特定示例被提供以容易地说明根据本公开的实施例的技术内容并帮助对本公开的实施例的理解，并且并不旨在限制本公开的实施例的范围。因此，本公开的各种实施例的范围应当被解释为除在本文公开的实施例之外的基于本公开的各种实施例的技术构思推导的全部变化或修改形式也被包括在本公开的各种实施例的范围中。

Claims (15)

1.一种电子装置，所述电子装置包括：
框架，所述框架包括第一区域和第二区域；
窗口构件，所述窗口构件由所述框架支撑；
支撑构件，所述支撑构件连接到所述框架；
显示模块，所述显示模块被配置为在所述窗口构件上投射图像；以及
相机，所述相机设置在所述框架的所述第二区域中，以捕捉用户的眼部，
其中，所述相机包括基板和设置在所述基板上的图像传感器，并且
其中，所述基板的面积等于或小于所述图像传感器的面积。
2.根据权利要求1所述的电子装置，其中，当所述框架被划分为两个区域时，所述框架的所述第二区域是在所述电子装置由所述用户穿戴时与所述用户的鼻子相邻的区域。
3.根据权利要求2所述的电子装置，其中，所述相机被插入到相机孔中，使得在所述电子装置由所述用户穿戴时所述相机与所述用户的鼻子接触并且所述框架由所述用户的鼻子支撑，其中，所述相机孔是穿过在所述框架的所述第二区域中形成的支撑件而形成的。
4.根据权利要求3所述的电子装置，其中，所述相机孔被形成为相对于所述框架以预定角度倾斜，使得插入到所述相机孔中的所述相机能够面向用户的眼部。
5.根据权利要求1所述的电子装置，所述电子装置还包括：多个照明部，所述多个照明部以预定间隔彼此间隔开地排布在所述框架上，使得所述用户的眼睛被辐射有红外光。
6.根据权利要求1所述的电子装置，其中，所述相机还包括：
保护镜片，所述保护镜片设置在所述图像传感器上；
镜筒，所述镜筒设置在所述保护镜片上，并且所述镜筒中内嵌有多个透镜；以及
盖体镜片，所述盖体镜片联接到所述镜筒，以保护内嵌在所述镜筒中的所述多个透镜。
7.根据权利要求6所述的电子装置，其中，所述相机的所述图像传感器和所述保护镜片通过沿着所述图像传感器的边缘设置的第一粘合层联接到彼此。
8.根据权利要求6所述的电子装置，其中，所述相机的所述图像传感器通过焊球电连接到所述基板，其中，所述焊球形成在所述图像传感器的面向所述基板的表面上。
9.根据权利要求6所述的电子装置，其中，所述相机的所述镜筒的直径被形成为与到所述图像传感器的距离成反比例。
10.根据权利要求9所述的电子装置，其中，所述相机被插入到在所述框架的所述第二区域中形成的所述相机孔内，并且
其中，所述相机孔的内径被形成为在所述相机进入的方向上减小，从而对应于所述相机的镜筒。
11.根据权利要求6所述的电子装置，其中，所述相机的所述保护镜片和所述镜筒通过沿着所述保护镜片的边缘设置的第二粘合层而以预定间隔彼此间隔开地相互联接。
12.一种包括在头戴式电子装置中的相机，所述相机包括：
基板；
图像传感器，所述图像传感器设置在所述基板上并且电连接到所述基板；
保护镜片，所述保护镜片设置在所述图像传感器上；
镜筒，所述镜筒设置在所述保护镜片上，并且所述镜筒中内嵌有多个透镜；以及
盖体镜片，所述盖体镜片联接到所述镜筒，以保护内嵌在所述镜筒中的所述多个透镜，
其中，所述基板的面积小于或等于所述图像传感器的面积。
13.根据权利要求12所述的相机，其中，所述图像传感器和所述保护镜片通过沿着所述图像传感器的边缘设置的第一粘合层联接到彼此，并且
其中，所述相机的所述保护镜片和所述镜筒通过沿着所述保护镜片的边缘设置的第二粘合层而以预定间隔彼此间隔开地相互联接。
14.根据权利要求12所述的相机，其中，所述图像传感器通过焊球电连接到所述基板，其中，所述焊球形成在所述图像传感器的面向所述基板的表面上。
15.根据权利要求12所述的相机，其中，所述镜筒的直径被形成为与到所述图像传感器的距离成反比例，并且
其中，内嵌在所述镜筒中的所述多个透镜的直径被构造为与到所述图像传感器的距离成反比例。
CN202180085294.0A 2021-01-18 2021-12-31 包括微型相机的可穿戴的电子装置 Pending CN116635769A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0007054 2021-01-18
KR1020210007054A KR20220104576A (ko) 2021-01-18 2021-01-18 소형 카메라를 포함하는 웨어러블 전자 장치
PCT/KR2021/020343 WO2022154338A1 (ko) 2021-01-18 2021-12-31 소형 카메라를 포함하는 웨어러블 전자 장치

Publications (1)

Publication Number Publication Date
CN116635769A true CN116635769A (zh) 2023-08-22

Family

ID=82406196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085294.0A Pending CN116635769A (zh) 2021-01-18 2021-12-31 包括微型相机的可穿戴的电子装置

Country Status (3)

Country Link
US (1) US20220229298A1 (zh)
EP (1) EP4215976A4 (zh)
CN (1) CN116635769A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487080B2 (en) * 2019-10-18 2022-11-01 Htc Corporation Head-mounted display device and adjustment method
TWI811825B (zh) * 2021-03-26 2023-08-11 宏達國際電子股份有限公司 頭戴式顯示裝置
EP4323820A1 (en) * 2021-04-16 2024-02-21 Magic Leap, Inc. Nanopattern encapsulation function, method and process in combined optical components
USD982655S1 (en) * 2022-05-19 2023-04-04 Hongyi Xu Illuminated eyewear
WO2024043438A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447474B (zh) * 2007-11-27 2011-03-30 鸿富锦精密工业（深圳）有限公司 影像感测晶片封装结构及其应用的成像模组
TWM387263U (en) * 2010-02-11 2010-08-21 E Pin Optical Industry Co Ltd Optical imaging lens and the array thereof
JP5721981B2 (ja) * 2010-09-10 2015-05-20 オリンパス株式会社 撮像ユニットおよび撮像ユニットを具備する内視鏡
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US20150009309A1 (en) * 2011-07-08 2015-01-08 Google Inc. Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
EP2774353A4 (en) * 2011-11-03 2015-11-18 Intel Corp PICTURES BASED ON EYE PERSONALIZATION
JP5757852B2 (ja) * 2011-12-05 2015-08-05 オリンパス株式会社 撮像モジュールおよび撮像ユニット
US20140211320A1 (en) * 2013-01-31 2014-07-31 Kabushiki Kaisha Toshiba Visual line detection device
KR102064596B1 (ko) * 2013-03-11 2020-02-11 삼성전자 주식회사 카메라 모듈을 포함하는 전자장치
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
TWI564590B (zh) * 2015-04-02 2017-01-01 tai-guo Chen Image can strengthen the structure of the glasses
TWI647504B (zh) * 2017-03-15 2019-01-11 大立光電股份有限公司 光學影像擷取透鏡組、取像裝置及電子裝置
CN109688308B (zh) * 2018-11-29 2021-03-09 Oppo广东移动通信有限公司 显示屏组件及电子设备
CN110083251A (zh) * 2019-06-03 2019-08-02 北京七鑫易维科技有限公司 眼球追踪装置及眼球追踪设备
US11676422B2 (en) * 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US20230005759A1 (en) * 2019-12-09 2023-01-05 Sony Semiconductor Solutions Corporation Semiconductor device and manufacturing method of the same
KR20210101629A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 카메라 조립체 및 이를 포함하는 전자 장치
CN111405093B (zh) * 2020-03-19 2022-09-09 维沃移动通信有限公司 电子设备
US20210314468A1 (en) * 2020-04-03 2021-10-07 Facebook Technologies, Llc Small Camera with Molding Compound
US12007810B2 (en) * 2020-04-23 2024-06-11 Apple Inc. Electronic devices with antennas and optical components
CN113625420B (zh) * 2020-05-06 2022-10-04 华为技术有限公司 光学镜头、镜头模组和终端
WO2021228399A1 (en) * 2020-05-14 2021-11-18 Viewpoint Sicherheitsforschung-Blickforschung Gmbh Spectacles and method for determining the pupil center
WO2021260863A1 (ja) * 2020-06-24 2021-12-30 オリンパス株式会社 電子モジュール、電子モジュールの製造方法および内視鏡
KR20220104507A (ko) * 2021-01-18 2022-07-26 삼성전자주식회사 메타렌즈를 구비하는 카메라 및 그를 포함하는 전자 장치
KR20220118170A (ko) * 2021-02-18 2022-08-25 삼성전자주식회사 웨어러블 전자 장치
CN115150526A (zh) * 2021-03-31 2022-10-04 北京小米移动软件有限公司 镜头及移动终端

Also Published As

Publication number Publication date
EP4215976A1 (en) 2023-07-26
EP4215976A4 (en) 2024-05-01
US20220229298A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
EP4215976A1 (en) Wearable electronic device including miniature camera
US20220232148A1 (en) Camera with meta-lens and electronic device including same
US11994677B2 (en) Wearable electronic device
KR20220078093A (ko) 발광부를 포함하는 웨어러블 전자 장치
EP4280599A1 (en) Wearable electronic device comprising plurality of cameras
CN116830065A (zh) 用于跟踪用户注视并提供增强现实服务的电子装置及其方法
CN117917192A (zh) 包括柔性电路板的眼镜型电子装置
KR20220068431A (ko) 증강 현실 웨어러블 전자 장치
US11867910B2 (en) Wearable electronic device including sensor module
EP4202531A1 (en) Augmented reality wearable electronic device comprising camera
US20230204985A1 (en) Wearable electronic device
EP4294035A1 (en) Speaker module mounting structure and electronic device including same
US20220179215A1 (en) Wearable electronic device including light emitting unit
KR20220104576A (ko) 소형 카메라를 포함하는 웨어러블 전자 장치
US20230076226A1 (en) Electronic device including antenna structure
US11953695B2 (en) Wearable electronic device with display
US11832048B2 (en) Electronic device including speaker module
US20230213984A1 (en) Electronic device including connection member
US20220155598A1 (en) Augmented reality wearable electronic device preventing luminance interference with a user
US20240160024A1 (en) Wearable device for adjusting light transmittance according to illuminance of external light source, and method for controlling same
EP4390511A1 (en) Wearable electronic device comprising camera module
US20240096254A1 (en) Wearable device for adjusting size of effective display area according to external illuminance and control method thereof
KR20240069549A (ko) 카메라 모듈을 포함하는 웨어러블 전자 장치
KR20230115856A (ko) 웨어러블 전자 장치 및 이를 수용하는 외부 전자 장치
KR20230111293A (ko) 거리 정보를 획득하는 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination