CN116830065A - 用于跟踪用户注视并提供增强现实服务的电子装置及其方法 - Google Patents

用于跟踪用户注视并提供增强现实服务的电子装置及其方法 Download PDF

Info

Publication number
CN116830065A
CN116830065A CN202280013124.6A CN202280013124A CN116830065A CN 116830065 A CN116830065 A CN 116830065A CN 202280013124 A CN202280013124 A CN 202280013124A CN 116830065 A CN116830065 A CN 116830065A
Authority
CN
China
Prior art keywords
light
image
electronic device
processor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280013124.6A
Other languages
English (en)
Inventor
宋亨镒
朴勇炫
宋德永
全真阿
崔东玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116830065A publication Critical patent/CN116830065A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0066—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form characterised by the light source being coupled to the light guide
    • G02B6/0073—Light emitting diode [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features

Abstract

根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；可旋转地连接到主体的支撑件；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；基于第一坐标值检测用户的注视方向。

Description

用于跟踪用户注视并提供增强现实服务的电子装置及其方法
技术领域
本文件的各种实施例涉及一种电子装置，并且涉及一种包括用于实现增强现实(AR)的相机的可穿戴电子装置。
背景技术
电子装置可以提供虚拟现实(VR)，其允许用户在由计算机创建的虚拟世界中体验与现实世界相同的内容。另外，电子装置可以提供其中虚拟信息(或对象)被添加到现实世界的增强现实(AR)和其中虚拟现实和增强现实混合的混合现实(MR)。电子装置可以包括用于提供这种虚拟现实和增强现实的平视显示器。
增强现实(AR)可以意指通过将由计算机图形处理创建的元素添加到由用户识别的现实世界来表达的技术。例如，借助增强现实技术，包含与现实中存在的对象相关的信息的虚拟对象可以被添加到现实中存在的对象并且与现实中存在的对象一起显示。
增强现实可以通过各种装置来实现。代表性地，增强现实可以通过诸如眼镜型可穿戴电子装置或头戴式显示器(HMD)的可穿戴电子装置来实现。
在上述装置中，可以在眼镜的透镜上显示图像，以便在眼镜型可穿戴电子装置中实现增强现实。可以通过将光投射到眼镜的透镜上来在透镜上显示图像。例如，可以使用具有非常小尺寸的投影仪(例如，微型投影仪或微微型投影仪)。投影仪的例子包括激光扫描显示器(LSD)、数字微镜显示器(DMD)或硅基液晶(LCoS)。此外，可以通过透明显示器在透镜上显示图像。
发明内容
"技术问题"
电子装置可能需要跟踪用户的注视以实现增强现实。电子装置可以向用户的眼睛或瞳孔照射光以便跟踪用户的注视，并且可以包括用于照射光的光源。为了准确的注视轨迹，光源的数量可以增加，并且随着光源的数量增加，需要将大量光源放置在有限的电子装置安装空间内，因此电子装置的尺寸会增加，其重量和/或功耗也会增加。如上，当光源的数量增加时，电子装置的体积和重量增加，导致佩戴舒适性降低和单价增加。另外，由于驱动多个光源所需的功率，可以减少运行时间。布置多个光源可能消耗空间。
“问题的解决方案”
根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；支撑件，可旋转地连接到主体；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；计算第一坐标值，第一坐标值是基于第三图像的用户瞳孔的坐标值；基于第一坐标值检测用户的注视方向。
根据本文件中公开的各种实施例的跟踪用户对电子装置的注视并输出增强现实(AR)图像的方法可以包括：在第一时间点朝向用户的眼睛输出作为结构光的第一光；在第二时间点朝向用户的眼睛输出第二光；响应于在第一时间点第一光的输出而获取第一图像；响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；以及基于第一坐标值检测注视方向。
“发明的有利效果”
根据本文件中公开的各种实施例，可以通过移除多个光源并且仅借助于一个或两个光源来简化电子装置的电路配置，并且可以通过改进设计来最小化电流消耗并期待美学效果。另外，可以仅使用一个或两个光源来实现三个或更多个光源的效果，并且可以最小化由于电子装置的佩戴位置的改变引起的注视轨迹的误差。
附图说明
结合附图的描述，相同或相似的附图标记可以用于相同或相似的部件。
图1是根据各种实施例的网络环境中的电子装置的框图。
图2是根据各种实施例的包括多个相机的电子装置的配置视图。
图3是根据各种实施例的电子装置的框图。
图4是示出根据各种实施例的电子装置检测注视方向的操作的流程图。
图5是根据各种实施例的注视跟踪模块的示例性视图。
图6A和图6B是根据各种实施例的由注视跟踪模块创建第一图像、第二图像和第三图像的示例性视图。
图7是根据各种实施例的图案化镜片的示例性视图。
图8是佩戴根据各种实施例的电子装置的示例性视图。
图9是示出根据各种实施例的电子装置跟踪注视并输出增强现实(AR)图像的操作的流程图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据实施例，电子装置101可以是AR装置(例如，AR眼镜、头戴式显示器(HMD)装置)，其佩戴在用户的头上并且能够向用户提供与增强现实服务相关的图像。
图2是根据本发明的各种实施例的包括多个相机的电子装置(例如，图1的电子装置101)的整体配置视图。
在各种实施例中，电子装置101可以佩戴在用户的头上，并向用户提供与增强现实服务相关的图像。根据实施例，电子装置101可以提供增强现实服务，其中至少一个虚拟对象被输出以便与被确定为用户的视场(FoV)的区域重叠。例如，被确定为用户的视场的区域是被确定为由佩戴电子装置101的用户通过电子装置101可感知的区域，并且可以是包括电子装置101的显示模块(例如，图1的显示模块160)的全部或至少一部分的区域。根据实施例，电子装置101可以包括与用户的双眼(例如，左眼和/或右眼)相对应的多个镜片(例如，第一镜片220和/或第二镜片230)。多个镜片可以包括显示模块(例如，图1的显示模块160)的至少一部分。例如，电子装置101可以被配置为眼镜、护目镜、头盔或帽子中的至少一个的形式，但不限于此。
参考图2，根据实施例的电子装置101可以包括显示模块214(例如，图1的显示模块160)、相机模块(例如，图1的相机模块180)、音频模块(例如，图1的音频模块170)、第一支撑件221和/或第二支撑件222。根据实施例，显示模块160可以包括第一显示器(例如，第一镜片220)和/或第二显示器(例如，第二镜片230)。根据实施例，至少一个相机可以包括：前置相机213，被配置为拍摄响应于用户的视场(FoV)和/或测量到对象的距离的图像；眼睛跟踪相机212，被配置为识别用户的注视方向；和/或手势相机(211-1、211-2)，被配置为识别预定空间。例如，前置相机213可以拍摄电子装置101的前方方向，并且眼睛跟踪相机212可以拍摄与前置相机213的拍摄方向相反的方向。例如，眼睛跟踪相机212可以至少部分地拍摄用户的双眼。根据实施例，第一支撑件221和/或第二支撑件222可以包括印刷电路板(PCB)231-1和231-2、扬声器232-1和232-2和/或电池233-1和233-2。
根据实施例，显示模块160(例如，图2的显示模块214)可以设置在电子装置101的主体223上，并且可以包括镜片(例如，第一镜片220和第二镜片230)中的聚光透镜(未示出)和/或透明波导(未示出)。例如，透明波导可以至少部分地位于镜片的一部分中。根据实施例，由显示模块160发射的光可以通过第一镜片220和第二镜片230入射在镜片的一端上，并且入射光可以通过形成在镜片中的波导透射到用户。波导可以由玻璃、塑料或聚合物制成，并且可以包括在波导内部或外部的一个表面上形成的纳米图案，例如多边形或弯曲光栅结构。根据实施例，入射光可以通过纳米图案在波导内传播或反射并提供给用户。根据实施例，波导可以包括至少一个衍射元件(例如，衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一个。根据实施例，波导可以借助于至少一个衍射元件或反射元件将从光源发射的显示光引导到用户的眼睛。
参考图2，第一支撑件221和/或第二支撑件222可以包括被配置为向电子装置101的各个部件发送电信号的印刷电路板231-1和231-2、被配置为输出音频信号的扬声器232-1和232-2、电池233-1和233-2、和/或被配置为至少部分地耦合到电子装置101的主体223的铰链单元240-1和240-2。根据实施例，扬声器232-1和232-2可以包括被配置为向用户的左耳发送音频信号的第一扬声器232-1和被配置为向用户的右耳发送音频信号的第二扬声器232-2。扬声器232-1和232-2可以被包括在图1的音频模块170中。根据实施例，电子装置101可以具有多个电池233-1和233-2，并且可以通过电力管理模块(例如，图1的电力管理模块188)向印刷电路板231-1和231-2提供电力。
参考图2，电子装置101可以包括被配置为接收用户的语音和环境声音的麦克风241。例如，麦克风241可以包括在图1的音频模块170中。电子装置101可以包括至少一个照明LED242，被配置为提高至少一个相机(例如，前置相机213、眼睛跟踪相机212和/或用于识别的相机211-1和211-2)的精度。例如，当利用眼睛跟踪相机212拍摄用户瞳孔时，照明LED242可以用作提高精度的辅助，并且照明LED 242可以使用具有红外波长而不是可见波长的IR LED。又例如，在利用相机211-1和211-2拍摄用户的手势以进行识别的情况下，当由于黑暗环境或由于来自多个光源的混合和反射光而难以检测要拍摄的主体时，照明LED 242可以用作辅助。
参考图2，根据实施例的电子装置101可以配置有主体223和支撑件(例如，第一支撑件221和/或第二支撑件222)，并且主体223和支撑件221和222可以可操作地连接。例如，主体223和支撑件221和222可以通过铰链单元240-1和240-2可操作地连接。主体223可以至少部分地安装在用户的鼻子上，并且可以包括显示模块160和相机模块(例如，图1的相机模块180)。支撑件221和222可以包括安装在用户耳朵上的支撑构件，并且可以包括安装在左耳上的第一支撑件221和/或安装在右耳上的第二支撑件222。根据实施例，第一支撑件221或第二支撑件222可以至少部分地包括印刷电路板231-1和231-2、扬声器232-1和232-2和/或电池233-1和233-2(例如，图1的电池189)。电池可以电连接到功率管理模块(例如，图1的功率管理模块188)。
根据实施例，显示模块160可以包括第一镜片220和/或第二镜片230，并且可以通过第一镜片220和第二镜片230向用户提供视觉信息。电子装置101可以包括响应于左眼的第一镜片220和/或响应于右眼的第二镜片230。根据实施例，显示模块160可以包括显示面板和/或透镜(例如，镜片)。例如，显示面板可以包括透明材料，诸如玻璃或塑料。
根据实施例，显示模块160可以被配置有透明元件，并且用户可以透过显示模块160观看并感知显示模块160后方的现实空间。显示模块160可以在透明元件的区域的至少一部分中显示虚拟对象，使得虚拟对象对于用户而言看起来要被添加到现实空间的至少一部分。包括在显示模块160中的第一镜片220和/或第二镜片230可以包括分别响应于用户的双眼(例如，左眼和/或右眼)的多个显示面板。
根据实施例，电子装置101可以包括虚拟现实(VR)装置(例如，虚拟现实装置)。在电子装置101是VR装置的情况下，第一镜片220可以是第一显示模块(例如，图1的显示模块160)，并且第二镜片230可以是第二显示模块(例如，图1的显示模块160)。
根据实施例，通过显示模块160输出的虚拟对象可以包括与在电子装置101上运行的应用程序相关的信息和/或与位于响应于被确定为在用户的视场(FoV)中的区域的现实空间中的外部对象相关的信息。例如，电子装置101可以在与通过电子装置101的相机(例如，前置相机213)获取的现实空间相关的图像信息中识别出包括在响应于被确定为用户的视场(FoV)的区域的至少一部分中的外部对象。电子装置101可以通过被确定为用户的视场的区域输出(或显示)与在电子装置101的显示区域的至少一部分中被识别的外部对象相关的虚拟对象。外部对象可以包括存在于现实空间中的事物。根据各种实施例，电子装置101在其上显示虚拟对象的显示区域可以包括显示模块(图1中的显示模块160)的一部分(例如，显示面板的至少一部分)。根据实施例，显示区域可以是响应于第一镜片220和/或第二镜片230的至少一部分的区域。
根据实施例，电子装置101可以包括被配置为拍摄响应于用户的视场(FoV)和/或测量到对象的距离的图像的前置相机213(例如，RGB相机)、被配置为识别用户的注视方向的眼睛跟踪相机212、和/或被配置为识别预定空间的相机211-1和211-2(例如，手势相机)。根据实施例，电子装置101可以使用前置相机213来测量到位于电子装置101的前方方向上的对象的距离。根据实施例，电子装置101可以具有响应于用户的双眼而设置的多个眼睛跟踪相机212。例如，眼睛跟踪相机212可以拍摄与前置相机213的拍摄方向相反的方向。眼睛跟踪相机212可以检测用户的注视方向(例如，瞳孔的运动)。例如，眼睛跟踪相机212可以包括被配置为跟踪用户左眼的注视方向的第一眼睛跟踪相机212-1，以及被配置为跟踪用户右眼的注视方向的第二眼睛跟踪相机212-2。根据实施例，电子装置101可以使用用于识别的相机211-1和211-2来检测预定距离(例如，预定空间)内的用户手势。例如，用于识别的相机211-1和211-2可以被配置为多个，并且可以被设置在电子装置101的任一侧。电子装置101可以使用至少一个相机来从左眼和/或右眼中检测与主眼和/或辅眼相对应的眼睛。例如，电子装置101可以基于用户对外部对象或虚拟对象的注视方向来检测与主眼和/或辅眼相对应的眼睛。
根据实施例，前置相机213可以包括高分辨率相机，诸如高分辨率(HR)相机和/或照片视频(PV)相机。根据实施例，眼睛跟踪相机212可检测用户瞳孔以跟踪注视方向，并且可以被用于移动虚拟图像的中心以响应于注视方向。例如，眼睛跟踪相机212可以被划分为响应于左眼的第一眼睛跟踪相机212-1和响应于右眼的第二眼睛跟踪相机212-2，并且相机可以具有基本上相同的性能和/或规模。根据实施例，用于识别的相机211-1和211-2可以用于检测用户的手(手势)和/或识别空间，并且可以包括全局快门(GS)摄像头。例如，用于识别的相机211-1和211-2可以包括具有低屏幕拖动的GS摄像头，诸如卷帘快门(RS)摄像头，以检测和跟踪快速手势和/或精细运动，诸如手指。
根据实施例，电子装置101可以基于通过电子装置101的相机(例如，图1的相机模块180)获取的与现实空间相关的图像信息来一起显示与增强现实服务相关的虚拟对象。根据实施例，电子装置101可以基于响应于用户的双眼而设置的显示模块(诸如，响应于左眼的第一显示模块(例如，第一镜片220)和/或响应于右眼的第二显示模块(例如，第二镜片230))来显示虚拟对象。根据实施例，电子装置101可以基于预定设置信息(例如，分辨率、帧速率、亮度和/或显示区域)来显示虚拟对象。
根据实施例，电子装置101可以操作包括在第一镜片220中的第一显示面板和包括在第二镜片230中的第二显示面板作为独立部件。例如，电子装置101可以基于第一设置信息确定第一显示面板的显示性能，并且可以基于第二设置信息确定第二显示面板的显示性能。
包括在图2所示的电子装置101中的至少一个相机(例如，前置相机213、眼睛跟踪相机212和/或用于识别的相机211-1和211-2)的数量和位置可以不受限制。例如，至少一个相机(例如，前置相机213、眼睛跟踪相机212和/或用于识别的相机211-1和211-2)的数量和位置可以基于电子装置101的形式(例如，形状或尺寸)而变化。
图3是根据各种实施例的电子装置的框图。
参考图3，电子装置300(例如，图1的电子装置101或图2的电子装置101)可以包括通信模块310、注视跟踪模块320和处理器350。
根据各种实施例，通信模块310可以包括用于与网络(例如，图1的第一网络198或第二网络199)或外部电子装置(例如，图1的电子装置102、电子装置104或服务器108)无线通信的软件和/或硬件模块(例如，通信处理器(CP))，并且可以包括图1的通信模块190的配置和/或功能中的至少一些。通信模块310可以通过无线通信网络(例如，图1的第一网络198或第二网络199)与外部电子装置通信。根据各种实施例，通信模块310可以将由电子装置300的其他部件(例如，处理器360)提供的数据发送到外部电子装置，或者从外部电子装置接收数据并将数据提供给电子装置300的其他部件。
根据各种实施例，注视跟踪模块320可以包括第一光光学输出模块330、第二光光学输出模块340和眼睛跟踪相机350(例如，图2的眼睛跟踪相机212)。
根据各种实施例，第一光光学输出模块330可以输出第一光。第一光光学输出模块330可以包括图2的照明LED 242的配置和/或功能中的至少一些。第一光可以是例如具有预定图案的结构光。根据各种实施例，第一光光学输出模块330可以输出其中形成各种图案的结构光，诸如其中多个光点形成特定形状的图案、网格图案或同心图案。根据各种实施例，第一光光学输出模块330可以将第一光输出到用户的眼睛。根据各种实施例，第一光光学输出模块330可以输出可见光和/或红外光。
根据各种实施例，第二光光学输出模块340可以输出第二光。第二光光学输出模块340可以包括图2的照明LED 242的配置和/或功能中的至少一些。第二光可以是例如可见光和/或红外光。根据各种实施例，与从第一光光学输出模块330输出的第一光相比，从第二光光学输出模块340输出的第二光可以具有更大量的光。根据各种实施例，第二光光学输出模块340可以将第二光输出到用户的眼睛。
根据各种实施例，眼睛跟踪相机350可以拍摄用户眼睛的至少一部分。眼睛跟踪相机350可以包括图2的眼睛跟踪相机212的配置和/或功能中的至少一些。根据实施例，眼睛跟踪相机350可以通过接收由用户眼睛从自然光或外部光源反射的光来拍摄用户眼睛的至少一部分。根据各种实施例，眼睛跟踪相机350可以通过接收由用户的眼睛从自第一光光学输出模块330输出的第一光反射的光来创建第一图像。根据各种实施例，眼睛跟踪相机350可以通过接收由用户眼睛从自第二光光学输出模块340输出的第二光反射的光来创建第二图像。
根据各种实施例，处理器360可以处理电子装置300中的数据，可以控制与电子装置300的功能相关的至少一个其他部件，并且可以执行为了执行功能所必需的数据处理和计算。处理器360可以包括图1的处理器120的配置和/或功能中的至少一些。处理器360可以电连接和/或功能连接到电子装置300的部件，诸如通信模块310和注视跟踪模块320。根据各种实施例，处理器360不限于可以在电子装置300中实现的数据处理功能，而是将根据跟踪用户的注视并输出AR图像以提供AR服务来描述本发明。
根据各种实施例，处理器360可以控制第一光光学输出模块330和第二光光学输出模块340交替地输出第一光和第二光。处理器360可以在特定时段交替地输出例如第一光和第二光。根据各种实施例，处理器360可以在第一时间点输出第一光并且在第二时间点输出第二光。根据实施例，处理器360可以基于特定频率使第一光闪烁，并且基于相同频率以与第一光的闪烁相反的相位使第二光闪烁。例如，处理器360可以控制第一光光学输出模块330和第二光光学输出模块340交替地输出第一光和第二光，或者以指定的模式(或次数)或以指定的速率输出第一光和第二光。
根据各种实施例，处理器360可以通过接收第一光来创建第一图像。根据各种实施例，第一图像可以是其中用户眼睛的一部分(例如，用户瞳孔)被作为结构光的第一光照射的图像。根据实施例，第一光是结构光，并且相对于第二光可以具有不足以完全识别眼睛的光量。因此，通过接收第一光而创建的第一图像可以仅包括由结构光反射的形状。根据各种实施例，处理器360可以控制眼睛跟踪相机350累积接收在特定时段闪烁的第一光的图像数据以创建第一图像。根据一个实施例，处理器360可以将第一光光学输出模块330和第二光光学输出模块340的闪烁时段与眼睛跟踪相机350的光接收时段同步，以便累积在特定时段闪烁的光(例如，第一光)的图像数据。
根据各种实施例，处理器360可以通过接收第二光来创建第二图像。根据各种实施例，第二图像可以是其中利用第二光照射用户眼睛的一部分(例如，用户瞳孔)的图像。根据实施例，第二光可以不是结构化和/或图案化的光，并且可以相对于第一光具有足够量的光以完全识别眼睛。因此，通过接收第二光而创建的第二图像可以包括眼睛的至少一部分的形状、或者眼睛及其周围环境的形状。根据各种实施例，处理器360可以控制眼睛跟踪相机350通过接收在特定时段闪烁的第二光来累积图像数据，以创建第二图像。根据实施例，处理器360可以将第一光光学输出模块330和第二光光学输出模块340的闪烁时段与眼睛跟踪相机350的光接收时段同步，以便累积在特定时段闪烁的光(例如，第二光)的图像数据。根据各种实施例，处理器360可以控制第一光光学输出模块330和/或第二光光学输出模块340仅在注视跟踪被执行时操作第一光光学输出模块330和第二光光学输出模块340。例如，处理器350的注视跟踪操作可以连续地执行或者可以以预定时间间隔执行。在这种情况下，第一光光学输出模块330和/或第二光光学输出模块340可以仅在眼睛跟踪相机350的光接收操作被执行的时间期间操作。
根据各种实施例，处理器360可以合成第一图像和第二图像以创建第三图像。根据各种实施例，第一图像和第二图像可以是由单个眼睛跟踪相机212拍摄的图像，或者可以是相对于相同位置(或相同FOV)拍摄的两个图像。另外，第一图像可以是仅包括结构光的形状的图像，并且第二图像可以是仅包括眼睛或其包括眼睛的周围环境的形状的图像。处理器360可以合成第一图像和第二图像以创建第三图像，第三图像是眼睛形状的结构光的合成图像。
根据各种实施例，处理器360可以基于第三图像检测注视方向。根据实施例，处理器360可以分析第三图像并借助于存储在存储器(例如，图1的存储器130)中的注视跟踪算法来检测注视方向。根据实施例，处理器360可以基于第三图像检测眼睛的位置、结构光(例如，第一光)的位置和瞳孔的位置。例如，处理器360可以基于眼睛、结构光(例如，第一光)和瞳孔的相对位置来计算用户瞳孔位置的坐标(例如，第一坐标)。根据各种实施例，处理器360可以基于第一坐标和/或第一坐标的变化来检测用户的注视方向。
根据各种实施例，处理器360可以基于第二图像的变化来校正检测到的注视方向。根据各种实施例，处理器360可以基于第二图像计算眼睛位置的坐标值(例如，第二坐标值)。根据各种实施例，处理器360可以基于第二坐标值检测眼睛的位置。根据各种实施例，处理器360可以基于第二坐标值来计算电子装置300的佩戴位置。例如，在电子装置300被用户佩戴的情况下，借助于第二图像计算的第二坐标值可以取决于佩戴位置而不同。存储器(例如，图1的存储器130)可以预设某些值作为用于电子装置300的佩戴位置的第二坐标值的默认值，并且处理器360可以借助于从预设默认值变化的第二坐标值或第二坐标值随时间的变化来计算佩戴位置的变化。根据各种实施例，处理器360可以处于连续检测注视方向的过程中，并且可以使用第二坐标值的变化来校正与瞳孔的位置相关的第一坐标值。根据各种实施例，处理器360可以基于第二坐标值或第二坐标值的变化来校正检测到的注视方向。
根据实施例，处理器360可以控制在第二光输出之后执行第一光输出。例如，可以分析通过接收第二光而创建的第二图像以检测用户是否正在佩戴电子装置300。根据一个实施例，处理器360可以借助于第二图像来计算电子装置300的佩戴位置，并且可以在电子装置300的位置被确定为由用户佩戴的情况下操作第一光光学输出模块330。
根据各种实施例，处理器360可以执行借助于第二图像来识别瞳孔。根据一个实施例，处理器360可以使用存储在存储器(例如，图1的存储器130)中的算法来检测和/或分析包括在第二图像中的瞳孔的区域，并且可以识别瞳孔的特定图案。
根据各种实施例，处理器360可以将创建的第一图像、第二图像和/或第三图像发送到外部电子装置(例如，图1的电子装置102)，并且外部电子装置可以接收通过使用第一图像、第二图像和/或第三图像进行分析产生的数据。例如，处理器360可以从外部电子装置接收关于注视方向的数据或者与是否识别出瞳孔相关的数据。
尽管图3中未示出，但是根据各种实施例，电子装置300可以包括能够获取前方图像的前置相机(例如，图2的前置相机213或用于识别预定空间的手势相机211-1和211-2)。
图4是示出根据各种实施例的电子装置检测注视方向的操作的流程图。
参考图4，检测注视方向的电子装置(例如，图3的电子装置300)的每个操作可以由包括在电子装置300中的处理器(例如，图3的处理器360)的操作中的每一个来描述。根据各种实施例，处理器360可以执行操作415以在执行识别瞳孔的操作时控制第二光光学输出模块(例如，图3的第二光光学输出模块340)仅照射第二光，并且可以执行操作410以在执行检测用户的注视方向的操作时控制第一光光学输出模块(例如，图3的第一光光学输出模块330)和第二光光学输出模块(例如，图3的第二光光学输出模块340)。根据实施例，在同时执行识别瞳孔和检测注视方向的情况下，处理器360可以执行操作410以控制第一光光学输出模块330和第二光光学输出模块340交替地输出第一光和第二光。
参考操作410，根据实施例的处理器360可以控制第一光光学输出模块(例如，图3的第一光光学输出模块330)和第二光光学输出模块(例如，图3的第二光光学输出模块340)交替地输出第一光和第二光。处理器360可以在特定时段交替地输出例如第一光和第二光。根据各种实施例，处理器360可以在第一时间点输出第一光并且在第二时间点输出第二光。根据实施例，处理器360可以基于特定频率使第一光闪烁，并且基于相同频率以与第一光的闪烁相反的相位使第二光闪烁。例如，处理器360可以交替地输出第一光和第二光，或者以指定的图案输出第一光和第二光。
参考操作415，根据实施例的处理器360可以控制第二光光学输出模块(例如，图3的第二光光学输出模块340)输出第二光。在这种情况下，可以控制第一光光学输出模块(例如，图3中的第一光光学输出模块330)不输出第一光，从而仅输出第二光。根据各种实施例，处理器360可以确定注视轨迹是否被需要，并且在不需要注视轨迹的情况下，即，不需要检测注视方向，可以只有第二光被照射。根据实施例，在处理器360仅执行瞳孔的识别功能的情况下，处理器360可以控制第二光光学输出模块340仅照射第二光。在这种情况下，处理器360可以闪烁或连续地输出第二光。
参考操作420，根据实施例的处理器360可以通过接收第一光来创建第一图像。根据各种实施例，第一图像可以是其中用户眼睛的一部分(例如，用户瞳孔)利用作为结构光的第一光来照射的图像。根据实施例，第一光是结构光，并且相对于第二光可以具有不足以完全识别眼睛的光量。因此，通过接收第一光而创建的第一图像可以仅包括由结构光反射的形状。根据各种实施例，处理器360可以控制眼睛跟踪相机(例如，图3的眼睛跟踪相机350)以累积来自在特定时段闪烁的第一光的图像数据以创建第一图像。根据实施例，处理器360可以将第一光光学输出模块330和第二光光学输出模块340的闪烁时段与眼睛跟踪相机350的光接收时段同步，以便累积在特定时段闪烁的光(例如，第一光)的图像数据。
参考操作430，根据实施例的处理器360可以通过接收第二光来创建第二图像。根据各种实施例，第二图像可以是其中用户眼睛的一部分(例如，用户瞳孔)利用第二光来照射的图像。根据实施例，第二光可以不是结构化和/或图案化的光，并且相对于第一光可以具有足够量的光以完全识别眼睛。因此，通过接收第二光而创建的第二图像可以包括眼睛的至少一部分的形状、或者眼睛及其周围环境的形状。根据各种实施例，处理器360可以控制眼睛跟踪相机350通过接收在特定时段闪烁的第二光来累积图像数据，以创建第二图像。根据实施例，处理器360可以同步第一光光学输出模块330和第二光光学输出模块340的闪烁时段与眼睛跟踪相机350的光接收时段，以便累积在特定时段闪烁的光(例如，第二光)的图像数据。根据各种实施例，处理器360可以控制第一光光学输出模块330和/或第二光光学输出模块340仅在执行注视跟踪时操作第一光光学输出模块330和第二光光学输出模块340。例如，处理器350的注视跟踪操作可以连续地执行，或者可以以预定时间间隔执行。在这种情况下，第一光光学输出模块330和/或第二光光学输出模块340可以仅在眼睛跟踪相机350的光接收操作被执行的时间期间操作。
参考操作440，根据实施例的处理器360可以合成第一图像和第二图像以创建第三图像。根据各种实施例，第一图像和第二图像可以是由单个眼睛跟踪相机212拍摄的图像，或者可以是相对于相同位置(或相同FOV)拍摄的两个图像。另外，第一图像可以是仅包括结构光的形状的图像，并且第二图像可以是仅包括眼睛或其包括眼睛的周围环境的形状的图像。处理器360可以合成第一图像和第二图像以创建第三图像，第三图像是眼睛形状的结构光的合成图像。
参考操作450，根据实施例的处理器360可以基于第三图像检测注视方向。根据实施例，处理器360可以分析第三图像并借助于存储在存储器(例如，图1的存储器130)中的注视跟踪算法来检测注视方向。根据实施例，处理器360可以基于第三图像检测眼睛的位置、结构光(例如，第一光)的位置和瞳孔的位置。例如，处理器360可以基于眼睛、结构光(例如，第一光)和瞳孔的相对位置来计算用户瞳孔位置的坐标(例如，第一坐标)。根据各种实施例，处理器360可以基于第一坐标和/或第一坐标的变化来检测用户的注视方向。
参考操作460，根据实施例的处理器360可以基于第二图像的变化来校正检测到的注视方向。根据各种实施例，处理器360可以基于第二图像计算眼睛位置的坐标值(例如，第二坐标值)。根据各种实施例，处理器360可以基于第二坐标值检测眼睛的位置。根据各种实施例，处理器360可以基于第二坐标值来计算电子装置300的佩戴位置。例如，在电子装置300被用户佩戴的情况下，借助于第二图像计算的第二坐标值可以取决于佩戴位置(或佩戴条件)而不同。存储器(例如，图1的存储器130)可以预设某些值作为用于电子装置300的佩戴位置的第二坐标值的默认值，并且处理器360可以借助于从预设默认值变化的第二坐标值或第二坐标值随时间的变化来计算佩戴位置的变化。根据各种实施例，处理器360可以处于连续检测注视方向的过程中，并且可以使用第二坐标值的变化来校正与瞳孔的位置相关的第一坐标值。根据各种实施例，处理器360可以基于第二坐标值或第二坐标值的变化来校正检测到的注视方向。
根据实施例，处理器360可以控制在第二光输出之后执行第一光输出。例如，可以分析通过接收第二光而创建的第二图像以检测用户是否正在佩戴电子装置300。根据一个实施例，处理器360可以借助于第二图像来计算电子装置300的佩戴位置，并且可以在电子装置300的位置被确定为由用户佩戴的情况下操作第一光光学输出模块330。
根据实施例，处理器360可以基于通过电子装置300中包括的至少一个传感器(例如，图1中的传感器模块176)检测到的关于电子装置300的运动信息来校正第一坐标值。例如，在处理器360检测到佩戴电子装置300的用户的运动的情况下，处理器360可以基于电子装置300的运动信息来校正第一坐标值，或者可以在电子装置300正在移动的同时不跟踪用户的注视方向。根据实施例，处理器360可以通过传感器模块(例如，图1中的传感器模块176)中包括的至少一个传感器(例如，压力传感器、接近传感器、生物传感器或加速度传感器)来检测用户是否正在佩戴电子装置300和/或佩戴电子装置300的状态。例如，处理器360可以利用加速度传感器(未示出)检测电子装置300的运动以及用户是否正在佩戴电子装置300。佩戴状态可以意指例如用户正在佩戴电子装置300并且然后将装置取下或改变佩戴位置的状态。根据实施例，处理器360可以在电子装置300的用户佩戴状态的改变被检测到的情况下获取第二图像。另外，处理器360可以基于使用获取的第二图像计算的第二坐标值和第二坐标值的变化来校正第一坐标值。
参考操作470，根据实施例的处理器360可以借助于第二图像来执行识别瞳孔。根据一个实施例，处理器360可以使用存储在存储器(例如，图1的存储器130)中的算法来检测和/或分析包括在第二图像中的瞳孔的区域，并且可以识别瞳孔的特定图案。
根据各种实施例，处理器360可以将创建的第一图像、第二图像和/或第三图像发送到外部电子装置(例如，图1的电子装置102)，并且外部电子装置可以接收通过使用第一图像、第二图像和/或第三图像进行分析产生的数据。例如，处理器360可以从外部电子装置接收关于注视方向的数据或者与是否识别出瞳孔有关的数据。
图5是根据各种实施例的注视跟踪模块的示例性视图。
参考图5，眼睛跟踪模块320可以包括第一光输出模块330、第二光输出模块330、眼睛跟踪相机350和印刷电路板(PCB)321。根据各种实施例，印刷电路板(PCB)321可以连接到处理器(例如，图3的处理器360)或者可以是处理器360的一部分，并且可以电连接和/或可操作地连接到注视跟踪模块320的每个部件(例如，第一光光学输出模块330、第二光光学输出模块340和眼睛跟踪相机350)。
根据各种实施例，第一光光学输出模块330可以包括第一透镜组件331、图案化镜片332和第一发光单元333。
根据各种实施例，第一透镜组件331可以包括一个或多个透镜。第一透镜组件331可以被配置为向从第一光光学输出模块330输出的光提供透镜的光学属性。光学属性可以包括例如视场(FOV)和/或折射属性和/或失真属性。根据实施例，第一透镜组件331的光学属性可以是顺序堆叠并包括在第一透镜组件331中的一个或多个透镜中的每一个中包括的光学属性的组合。
根据各种实施例，图案化镜片332可以通过转换入射光来创建结构光。根据实施例，从第一发光单元333输出的光可以在通过图案化镜片332的同时被转换为结构光(例如，第一光)。根据实施例，图案化镜片332可以是涂层的形式，该施加到光通过的镜片的一部分的涂层仅吸收特定波长的光。例如，在涂层被施加到留下与结构光的图案相对应的区域的镜片的其余部分的情况下，通过图案化镜片332的光可以被转换为包括对应图案的形状的结构光。根据实施例，图案化镜片332可以是针对每个区域具有不同折射率的镜片。由于每个区域中的不同折射率，通过图案化镜片332的光的一部分可以被叠加或熄灭，从而转换为具有预定图案的结构光。
根据各种实施例，第一发光单元333可以是第一光的光源。例如，第一发光单元333可以输出要转换为第一光的光。第一发光单元333可以包括图2的照明LED 242的配置和/或功能中的至少一些。根据实施例，第一发光单元333可以输出可见光或红外光。
根据各种实施例，第一光光学输出模块330可以输出结构光(例如，第一光)。根据各种实施例，从第一发光单元333发射的光可以通过顺序地通过图案化镜片332和第一透镜组件331来输出。根据实施例，从第一发光单元333发射的光可以在通过图案化镜片332的同时被转换为结构光。根据一个实施例，通过图案化镜片332的结构光可以通过第一透镜组件331以形成包括第一透镜组件331的光学属性的第一光。
根据各种实施例，位于印刷电路板321上或电连接和/或可操作地连接到印刷电路板321的处理器(例如，图3的处理器360)可以控制第一光光学输出模块330输出第一光，并且可以控制第一发光单元333在特定时段闪烁并发射第一光。
根据各种实施例，第二光光学输出模块340可以包括第二发光单元341。
根据各种实施例，第二发光单元341可以是第二光的光源。例如，第二发光单元341可以输出第二光。第二发光单元341可以包括图2的照明LED 242的配置和/或功能中的至少一些。根据实施例，第二发光单元341可以输出可见光或红外光。
根据各种实施例，位于印刷电路板321上或电连接和/或可操作地连接到印刷电路板321的处理器(例如，图3的处理器360)可以控制第二光光学输出模块340输出第二光，并且可以控制第二发光单元341在特定时段闪烁并发射第二光。
根据各种实施例，眼睛跟踪相机350可以包括第二透镜组件351、滤光器352和图像传感器353。
根据各种实施例，第二透镜组件351可以包括一个或多个透镜。第二透镜组件351可以被配置为向外部入射光(例如，第一光和/或第二光)提供透镜的光学属性。光学属性可以包括例如视场(FOV)、折射属性和/或失真属性。根据实施例，第二透镜组件351的光学属性可以是顺序堆叠并包括在第二透镜组件351中的一个或多个透镜中的每一个中包括的光学属性的组合。根据实施例，第二透镜组件351的光学属性可以与第一透镜组件331的光学属性相同。
根据各种实施例，只有特定波长的入射光可以通过滤光器352。从外部通过第二透镜组件351并入射在滤光器352上的光可以包括各种波长的光。例如，自然光或外部光可以与由第一光或第二光反射到用户眼睛上的光一起同时入射在滤光器352上。根据各种实施例，第一光和/或第二光可以仅包括红外光，并且仅具有红外或近红外光的波长的光可以通过滤光器352。
根据各种实施例，图像传感器353可以将通过第二透镜组件351入射的光转换为电信号。图像传感器353可以包括多个像素，像素中的每一个可以包括将入射光转换为电信号的光接收元件。图像传感器可以配置有半导体器件，例如诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。根据各种实施例，图像传感器353可以将入射光转换为电信号以创建图像信息。根据各种实施例，双目图像信息可以是通过接收从包括用户的双眼和/或其周围环境的区域反射的可见光或红外光(例如，第一光和/或第二光)而创建的图像信息(例如，第一图像和/或第二图像)。
根据实施例，第一光光学输出模块330、第二光光学输出模块340或眼睛跟踪相机350中的一些可以位于与PCB 321不同的PCB(未示出)上。例如，第一光光学输出模块330和第二光光学输出模块340可以位于PCB 321上，并且眼睛跟踪相机350可以位于不同的PCB(未示出)上。
根据各种实施例，眼睛跟踪相机350的位置可以是不受限制的，只要从第一光光学输出模块330输出的第一光处于接收从用户反射的光的位置并且从第二光光学输出模块340输出的第二光处于接收从用户反射的光的位置。
图6A和图6B是根据各种实施例的由注视跟踪模块创建第一图像、第二图像和第三图像的示例性视图。
参考图6A，第一光光学输出模块330可以输出第一光660。根据各种实施例，从第一发光单元333输出的光可以经由通过图案化镜片332而被转换为结构光。另外，通过图案化镜片332的结构光可以通过第一透镜组件331并作为第一光660输出。第一光660可以在通过第一透镜组件331的同时形成预定视场θ1。例如，视场θ1可以具有约60°至90°的值。虽然不限于视场θ1可以具有的值，但是可以期望以一定角度形成视场，该角度允许在与第一透镜组件331和用户眼睛之间的距离处的用户瞳孔的尺寸相对应的区域范围上照射第一光660。仅结构光(例如，多个光点611)可以形成在第一光区域610中，第一光区域610是典型的人瞳孔或眼球的尺寸并且通过输出第一光660而形成，并且在第一光区域610的未形成结构光的其他部分中可以不形成光。例如，第一光区域610可以是包括未被光照射的区域和被光照射的区域两者的示例，并且实际被光照射的区域可以仅是光点611到达的区域。
参考图6A，第二光光学输出模块340可以输出第二光670。根据各种实施例，第二发光单元341可以输出第二光670以将第二光670照射到用户的眼睛中。根据各种实施例，与第一光相比，第二光670可以具有相对大量的光，并且通过输出第二光670而形成的第二光区域630可以包括响应于用户眼睛620的位置。
参考图6A，眼睛跟踪相机350可以通过接收在第一光660被用户的眼睛或用户瞳孔反射之后到达眼睛跟踪相机350的光来创建第一图像640。另外，眼睛跟踪相机350可以通过接收在第二光被用户的眼睛反射之后到达眼睛跟踪相机350的光来创建第二图像650。根据各种实施例，第一光660和第二光670中的每一个可以变成入射光680并且入射在第二透镜组件351上。然后，第一光660和第二光670可以通过滤光器352，使得仅特定波段中的光通过，并且图像传感器353可以接收已经通过滤光器352的光。根据各种实施例，处理器(例如，图3的处理器360)可以控制第一光光学输出模块330和第二光光学输出模块340以预定时段交替地照射第一光660和第二光670中的每一个。例如，处理器360可以控制第一光660使用特定频率闪烁，并且控制第二光670使用相同的频率但以相反的相位闪烁。根据各种实施例，处理器360可以控制眼睛跟踪相机350来控制图像传感器353的光接收时段，该光接收时段可以是响应于第一光光学输出模块330和第二光光学输出模块340的闪烁频率的时段。例如，图像传感器353的光接收时段可以响应于第一光光学输出模块330的闪烁频率和第二光光学输出模块340的闪烁频率之和。图像传感器353可以周期性地选择接收的第一光660和第二光670以创建相应的图像，并且可以仅使用第一光660创建第一图像640并且仅使用第二光670创建第二图像650。根据实施例，第二透镜组件351可以形成预定视场θ2。例如，视场θ2可以具有约60°至90°的值。根据实施例，第二透镜组件351可以被设计为具有与第一透镜组件331相同的光学属性。例如，视场θ1和θ2可以具有相同的值。虽然不限于视场θ2可以具有的值，但是可以以一定角度形成视场，在该角度下，第一光660和第二光670能够在与第二透镜组件351和用户眼睛之间的距离处的用户眼睛的尺寸相对应的区域范围上被接收。
参考图6B，处理器(例如，图3的处理器360)可以合成从眼睛跟踪相机接收的第一图像640和第二图像650以创建第三图像690。第一图像640可以仅包括结构光，例如，其中多个光点641形成预定图案。虽然多个光点641不限于图案的类型，但是为了方便起见，本文件描述了圆形图案。在第一图像640的区域中，除了作为结构光的多个光点641之外的剩余区域可以不形成光。根据各种实施例，第二图像650可以包括眼睛图像651。第二光670可以照射在包括眼睛及其周围环境的区域上，并且可以具有足够量的光以识别眼睛图像651。根据各种实施例，可以合成第一图像640和第二图像650以创建第三图像690。例如，处理器360可以合成第一图像640和第二图像650以创建第三图像690。例如，第三图像690可以包括眼睛图像691和结构光692的形状。处理器360可以借助于第三图像690检测注视方向并执行注视跟踪。根据一个实施例，处理器360可以借助于第三图像690来分析图像，并且基于瞳孔621和结构光692的位置来检测注视方向。在实施例中，当瞳孔621运动时，第三图像690可以基于瞳孔621的运动而改变，并且处理器360可以通过借助于改变的第三图像695将改变的瞳孔621的位置与结构光692的位置进行比较来检测改变的注视方向。
图7是根据各种实施例的图案化镜片的示例性视图。
参考图7A，图案化镜片700可以包括平板或透镜结构。图案化镜片700可以由能够使光通过的材料(例如，塑料、玻璃)制成。图案化镜片700可以将图案化镜片700通过的光转换为结构光(例如，第一光)。根据实施例，图案化镜片700的前部和/或后部可以包括透射部分710和阻挡部分720，结构光通过透射部分710，阻挡部分720是除了透射部分710之外的剩余区域。例如，阻挡部分720可以通过将吸收特定波长的光的材料施加到与形成在图案化镜片700的前部或后部上的阻挡部分720相对应的区域来形成。根据实施例，第一光(例如，图6A中的第一光660)可以是红外光，并且形成阻挡部分720或施加到阻挡部分720的材料可以由吸收红外光的材料制成。根据实施例，透射部分710和阻挡部分720可以配置有不同的材料。例如，透射部分710可以配置有第一光通过的材料(例如，塑料或玻璃)，并且阻挡部分720可以配置有第一光不通过的材料(例如，不透明塑料、聚合物、硅树脂等)。参考图7B，透射部分710和阻挡部分720可以以各种形式形成。例如，图案化镜片700的图案可以形成为以圆形方式730设置的多个光点的形状，并且图案化镜片700的图案可以形成在图像731中，其中包括以圆形方式设置的多个光点的结构化光照射在用户瞳孔上。根据实施例，图案化镜片700的图案可以形成为包括晶格图案的透射部分的形状740，以允许晶格图案的结构光通过，并且图案化镜片700的图案可以形成在图像732中，其中晶格图案的结构光照射在用户瞳孔上。根据实施例，图案化镜片700的图案可以形成为包括同心图案的透射部分的形状750，并且图案化镜片700的图案可以形成为图像733，其中同心图案的光照射到用户瞳孔上。此外，图案化镜片700的图案可以具有各种形状(例如，对角线、蜂窝状)。
图8是佩戴根据各种实施例的电子装置的示例性视图。
参考图8，电子装置101可以佩戴在用户800的面部上。根据各种实施例，注视跟踪模块320可以包括与用户的两只眼睛中的每一只相对应的第一注视跟踪模块320-1和第二注视跟踪模块320-2。根据实施例，第一注视跟踪模块320-1和第二注视跟踪模块320-2可以分别设置在镜框(例如，图2中的主体223)的距用户的双眼(左眼和右眼)预定距离处的某个区域中。参考第一注视跟踪模块320-1，第一光光学输出模块330、第二光光学输出模块340和眼睛跟踪相机350可以被设置为一个模块，并且注视跟踪模块320的安装区域可以被最小化。根据各种实施例，注视跟踪模块320的安装位置可以是各种各样的。例如，在注视跟踪模块320处于面向用户的双眼的位置的情况下，注视跟踪模块320可以不受限制。在另一示例中，注视跟踪模块320可以位于当从电子装置101的外部观看佩戴电子装置101的用户800时不可见的区域中。根据实施例，第一光光学输出模块330可以将第一光输出到用户瞳孔610，并且第二光光学输出模块340可以将第二光输出到用户眼睛620。眼睛跟踪相机350可以通过接收从用户瞳孔610反射的第一光和从用户眼睛620反射的第二光来创建第一图像和第二图像。
图9是示出根据各种实施例的电子装置跟踪注视并输出增强现实(AR)图像的操作的流程图。
图9中的每个操作可以表示包括在电子装置(例如，图3中的电子装置300)中的用于跟踪用户的注视并输出AR图像的处理器(例如，图3中的处理器360)的每个操作。
参考操作910，处理器360可以从前置相机(例如，图2的前置相机213)接收前方图像信息。前置相机213可以拍摄存在于电子装置300的前方(诸如镜框(例如，图2中的主体223)的前方)的对象，并且可以创建拍摄的图像的前方图像信息。处理器360可以使用前方图像信息来识别存在于镜框前方的对象，并且可以跟踪用户的手或存在于镜框前方的对象。
参考操作920，处理器360可以基于前方图像信息创建增强现实(AR)图像。处理器360可以分析前方图像信息以识别存在于前方的对象，并且可以响应于存在于前方的对象而创建虚拟对象。处理器360可以创建包括虚拟对象的AR图像。根据另一实施例，可以在外部电子装置(例如，图1的电子装置102)上执行操作920。例如，电子装置300可以通过通信模块310将从前置相机获取的前方图像发送到外部电子装置，并且基于来自外部电子装置的前方图像接收AR图像。
参考操作930，处理器360可以从注视跟踪模块(例如，图3的注视跟踪模块320)获取第一图像和第二图像。注视跟踪模块320可以拍摄电子装置300的后方，例如，镜框(例如，图2的主体223)的后方，并且可以拍摄佩戴电子装置的用户的双眼。处理器360可以指示注视跟踪模块320利用作为结构光的第一光和第二光交替地照射用户的双眼，包括佩戴电子装置300的用户的左眼和右眼，并且获取通过部分拍摄用户的双眼而创建的第一图像和第二图像。根据各种实施例，处理器360可以接收第二光以创建第二图像。根据各种实施例，第二图像可以是利用第二光照射用户眼睛的一部分(例如，用户瞳孔)的图像。根据实施例，第二光可以不是结构化和/或图案化的光，并且相对于第一光可以具有足够量的光以完全识别眼睛。因此，通过接收第二光而创建的第二图像可以包括眼睛的至少一部分的形状、或者眼睛及其周围环境的形状。根据各种实施例，处理器360可以控制眼睛跟踪相机(例如，图3的眼睛跟踪相机350)通过接收在特定时段闪烁的第二光来累积图像数据，以创建第二图像。根据实施例，处理器360可以将第一光光学输出模块330和第二光光学输出模块340的闪烁时段与眼睛跟踪相机350的光接收时段同步，以便累积在特定时段闪烁的光(例如，第二光)的图像数据。根据各种实施例，处理器360可以控制第一光光学输出模块(例如，图3的第一光光学输出模块330)和/或第二光光学输出模块(例如，图3的第二光光学输出模块340)仅在注视跟踪被执行时操作第一光光学输出模块330和第二光光学输出模块340。例如，处理器360的注视跟踪操作可以连续地执行，或者注视跟踪操作可以以预定时间间隔执行。在这种情况下，第一光光学输出模块330和/或第二光光学输出模块340可以仅在执行眼睛跟踪相机350的接收操作的时间期间操作。
参考操作940，处理器360可以基于第一图像和第二图像来检测注视方向。根据各种实施例，处理器360可以使用双目图像信息来跟踪用户瞳孔的运动。根据各种实施例，处理器360可以通过利用双目图像信息跟踪用户瞳孔的运动来获取用户的注视方向。根据各种实施例，处理器360可以合成第一图像和第二图像以创建第三图像。根据各种实施例，第一图像和第二图像可以是由单个眼睛跟踪相机350拍摄的图像，或者可以是相对于基本相同的位置拍摄的两个图像。另外，第一图像可以是仅包括结构光的形状的图像，并且第二图像可以是仅包括眼睛或其周围环境(包括眼睛)的形状的图像。处理器360可以合成第一图像和第二图像以创建第三图像，其中，在第三图像中结构光以眼睛的形状合成。根据各种实施例，处理器360可以基于第三图像检测注视方向。根据实施例，处理器360可以分析第三图像并借助于存储在存储器(例如，图1的存储器130)中的注视跟踪算法来检测注视方向。根据实施例，处理器360可以基于第三图像检测眼睛的位置、结构光(例如，第一光)的位置和瞳孔的位置。例如，处理器360可以基于眼睛、结构光(例如，第一光)和瞳孔的相对位置来计算用户瞳孔位置的坐标(例如，第一坐标)。根据各种实施例，处理器360可以基于第一坐标和/或第一坐标的变化来检测用户的注视方向。根据各种实施例，处理器360可以基于第二图像的变化来校正检测到的注视方向。根据各种实施例，处理器360可以基于第二图像计算眼睛位置的坐标值(例如，第二坐标值)。根据各种实施例，处理器360可以基于第二坐标值检测眼睛的位置。根据各种实施例，处理器360可以基于第二坐标值来计算电子装置300的佩戴位置。例如，在用户佩戴电子装置300的情况下，借助于第二图像计算的第二坐标值可以取决于佩戴位置而不同。存储器(例如，图1的存储器130)可以预设某些值作为用于电子装置300的佩戴位置的第二坐标值的默认值，并且处理器360可以借助于从预设默认值变化的第二坐标值或第二坐标值随时间的变化来计算佩戴位置的变化。根据各种实施例，处理器360可以处于连续检测注视方向的过程中，并且可以使用第二坐标值的变化来校正与瞳孔的位置相关的第一坐标值。根据各种实施例，处理器360可以基于第二坐标值或第二坐标值的变化来校正检测到的注视方向。根据实施例，处理器360可以基于通过电子装置300中包括的至少一个传感器(例如，图1中的传感器模块176)检测到的关于电子装置300的运动信息来校正第一坐标值。例如，在处理器360检测到佩戴电子装置300的用户的运动的情况下，处理器360可以基于电子装置300的运动信息来校正第一坐标值，或者可以在电子装置300正在移动的同时不跟踪用户的注视方向。根据实施例，处理器360可以通过传感器模块(例如，图1中的传感器模块176)中包括的至少一个传感器(例如，压力传感器、接近传感器、生物传感器或加速度传感器)来检测用户是否正在佩戴电子装置300和/或佩戴电子装置300的状态。例如，处理器360可以利用加速度传感器(未示出)检测电子装置300的运动以及用户是否正在佩戴电子装置300。佩戴状态可以意指例如用户正在佩戴电子装置300并且然后将装置取下或改变佩戴位置的状态。根据实施例，处理器360可以在电子装置300的用户佩戴状态的改变被检测到的情况下获取第二图像。另外，处理器360可以基于使用获取的第二图像计算的第二坐标值和第二坐标值的变化来校正第一坐标值。
参考操作950，处理器360可以基于注视方向确定AR图像的位置并输出AR图像。根据各种实施例，处理器360可以控制显示模块(例如，图2的显示模块214)将光投射到镜片模块(例如，图2的第一镜片220和/或第二镜片230)上以输出AR图像。根据各种实施例，处理器360可以控制显示模块214输出创建的AR图像。当AR图像从显示模块214输出并投射到镜片模块上时，可以通过将通过镜片模块入射的前方可见光与AR图像中包括的虚拟对象组合来实现AR。
根据各种实施例，处理器360可以基于注视方向来确定AR图像的位置。例如，处理器360可以控制显示模块214，使得用户的注视方向和投射在镜片模块(例如，图2的第一镜片220和/或第二镜片230)上的图像的中心对准。在实施例中，处理器360可以控制显示模块214将与以用户的注视方向为中心的预定区域相对应的AR图像的分辨率调整为高于该区域的其余部分。在实施例中，处理器360可以输出AR图像，使得AR对象位于以用户的注视方向为中心的预定区域中。在实施例中，处理器360可以基于注视方向改变并输出所输出的AR图像的位置。在实施例中，处理器360可以基于相对于输出的AR图像的位置的注视方向来配置用户的感兴趣区域，或者可以从用户接收关于注视方向的输入。例如，在注视位于指定对象上超过预定时间量的情况下，可以识别出已经针对对应对象接收到来自用户的输入。另外，处理器可以以各种方式控制显示模块，或者借助于通过双目图像信息获取的注视方向来创建AR图像。
根据实施例，处理器360可以基本上同时执行通过执行操作910和操作920来创建AR图像的操作中的一些操作，以及通过执行操作930和操作940来检测用户的注视方向的操作中的一些操作。例如，处理器360可以通过注视跟踪模块320检测用户的注视方向，同时基于通过前置相机获取的前方图像创建AR图像。
根据各种实施例，电子装置300可以是虚拟现实(VR)装置。在这种情况下，电子装置300可以基于存储在存储器(例如，图1中的存储器130)中的数据或通过通信模块310从外部电子装置(例如，图1中的电子装置102)接收的数据来显示图像数据的至少一部分，而无需基于通过执行操作930和940检测到的注视方向来执行操作910和920。
根据本文件中公开的各种实施例的电子装置(例如，电子装置300)可以包括：主体(例如，主体223)；由主体支撑的镜片(例如，第一镜片220和/或第二镜片230)；可旋转地连接到主体的支撑件(例如，第一支撑件221和/或第二支撑件222)；第一光光学输出模块(例如，第一光光学输出模块330)，被配置为朝向设置在主体的后方处的用户(例如，用户800)的眼睛(例如，用户眼睛620)照射作为结构光(例如，结构光692)的第一光(例如，第一光660)；第二光光学输出模块(例如，第二光光学输出模块340)，被配置为朝向用户的眼睛照射第二光(例如，第二光670)；相机(例如，相机350)，被配置为拍摄用户的眼睛；以及处理器(例如，处理器360)，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像(例如，第一图像640)；借助于相机响应于在第二时间点第二光的输出而获取第二图像(例如，第二图像650)；合成第一图像和第二图像以创建第三图像(例如，第三图像690)；基于第三图像计算作为用户瞳孔(例如，瞳孔621)的坐标值的第一坐标值；基于第一坐标值检测用户的注视方向。
根据实施例，处理器可以被配置为基于第二图像计算第二坐标值，第二坐标值是眼睛的坐标值。
根据实施例，处理器可以被配置为基于第二坐标值计算电子装置的佩戴位置。
根据实施例，处理器可以被配置为借助于第二坐标值的变化来校正第一坐标值。
根据实施例，处理器可以被配置为在计算电子装置的佩戴位置时输出第一光。
根据实施例，处理器可以被配置为借助于第二图像来识别用户瞳孔。
根据实施例，第一光光学输出模块可以包括被配置为发射光的第一发光单元(例如，第一发光单元333)、图案化镜片(例如，图案化镜片332)和包括至少一个透镜的第一透镜组件(例如，第一透镜组件331)，其中，从第一发光单元发射的光入射在图案化镜片中并且作为结构光的第一光通过图案化镜片。
根据实施例，相机包括包括至少一个透镜的第二透镜组件(例如，第二透镜组件351)、仅预定波长的光通过的滤光器(例如，滤光器352)以及图像传感器(例如，图像传感器353)，其中，第二透镜组件可以包括与第一透镜组件相同的光学系统。
根据实施例，结构光可以包括以等间隔的圆形方式设置的多个光点(例如，多个光点611)。
根据实施例，第一光和第二光可以具有IR区域中的波长和/或可见光区域中的波长。
根据实施例，电子装置还包括：显示模块(例如，显示模块214)，被配置为将图像投射到镜片上；以及前置相机(例如，前置相机213)，设置在主体和支撑件中的至少一个上以拍摄主体的前方，其中处理器可以被配置为：可操作地连接到显示模块和前置相机；通过由前置相机接收从主体的前方入射的光来创建前方图像信息；基于前方图像信息创建增强现实(AR)图像；基于检测到的注视方向来确定AR图像的位置；以及在确定的位置处输出AR图像。
根据实施例，处理器可以被配置为根据注视方向部分地调整AR图像的分辨率。
根据实施例，处理器可以被配置为根据注视方向调整AR图像中包括的对象的位置。
根据本文件中公开的各种实施例的跟踪用户对电子装置(例如，电子装置300)的注视并输出增强现实(AR)图像的方法可以包括：在第一时间点朝向用户的眼睛输出作为结构光的第一光；在第二时间点朝向用户的眼睛输出第二光；响应于在第一时间点第一光的输出而获取第一图像；响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户眼睛的瞳孔的坐标值的第一坐标值；以及基于第一坐标值检测注视方向。
根据实施例，所述方法可以包括：基于第二图像计算作为眼睛的坐标值的第二坐标值。
根据实施例，所述方法可以包括：基于第二坐标值计算电子装置的佩戴位置。
根据实施例，所述方法可以包括借助于第二坐标值的变化来校正第一坐标值。
根据实施例，所述方法可以包括借助于第二图像识别用户瞳孔。
根据实施例，所述方法可以包括：接收来自前方的光以创建前方图像信息；基于前方图像信息创建增强现实(AR)图像；基于检测到的注视方向确定AR图像的位置；将AR图像输出到确定的位置。
根据一个实施例，该方法可以包括根据注视方向部分地调整AR图像的分辨率。
根据本文件中公开的各种实施例的电子装置可以是各种形式的装置。电子装置可以包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本文件的实施例的电子装置不限于上述装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，包括：
主体；
由主体支撑的镜片；
可旋转地连接到主体的支撑件；
第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；
第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；
相机，被配置为拍摄用户的眼睛；以及
处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，
其中，处理器被配置为：
控制第一光光学输出模块在第一时间点输出第一光；
控制第二光光学输出模块在第二时间点输出第二光；
借助于相机响应于在第一时间点第一光的输出而获取第一图像；
借助于相机响应于在第二时间点第二光的输出而获取第二图像；
合成第一图像和第二图像以创建第三图像；
基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；以及
基于第一坐标值检测用户的注视方向。
2.根据权利要求1所述的电子装置，其中，处理器被配置为基于第二图像计算作为眼睛的坐标值的第二坐标值。
3.根据权利要求2所述的电子装置，其中，处理器被配置为基于第二坐标值计算电子装置的佩戴位置。
4.根据权利要求2所述的电子装置，其中，处理器被配置为借助于第二坐标值的变化来校正第一坐标值。
5.根据权利要求3所述的电子装置，其中，处理器被配置为在计算电子装置的佩戴位置时输出第一光。
6.根据权利要求1所述的电子装置，其中，处理器被配置为借助于第二图像来识别用户瞳孔。
7.根据权利要求1所述的电子装置，其中，第一光光学输出模块包括：
第一发光单元，被配置为发射光；
图案化镜片，从第一发光单元发射的光入射在图案化镜片中，并且作为结构光的第一光通过图案化镜片；以及
第一透镜组件，包括至少一个透镜。
8.根据权利要求7所述的电子装置，其中，相机包括：
第二透镜组件，包括至少一个透镜；
滤光器，仅预定波长的光通过所述滤光器；以及
图像传感器，以及
其中，第二透镜组件包括与第一透镜组件相同的光学系统。
9.根据权利要求1所述的电子装置，其中结构光包括以等间隔的圆形方式设置的多个光点。
10.根据权利要求1所述的电子装置，其中，第一光和第二光具有IR区域中的波长和/或可见光区域中的波长。
11.根据权利要求1所述的电子装置，还包括：
显示模块，被配置为将图像投射到镜片上；以及
前置相机，设置在主体和支撑件中的至少一个上以拍摄主体的前方，
其中，处理器被配置为：
可操作地连接到显示模块和前置相机；
通过由前置相机接收从主体的前方入射的光来创建前方图像信息；
基于前方图像信息创建增强现实(AR)图像；
基于检测到的注视方向来确定AR图像的位置；以及
在确定的位置处输出AR图像。
12.根据权利要求11所述的电子装置，其中，所述处理器被配置为根据注视方向部分地调整AR图像的分辨率。
13.根据权利要求11所述的电子装置，其中，所述处理器被配置为根据注视方向调整AR图像中包括的对象的位置。
14.一种跟踪电子装置的用户的注视并输出增强现实(AR)图像的方法，包括：
在第一时间点朝向用户的眼睛输出作为结构光的第一光；
在第二时间点朝向用户的眼睛输出第二光；
响应于在第一时间点第一光的输出而获取第一图像；
响应于在第二时间点第二光的输出而获取第二图像；
合成第一图像和第二图像以创建第三图像；
基于第三图像计算作为用户眼睛的瞳孔的坐标值的第一坐标值；以及
基于第一坐标值检测注视方向。
15.根据权利要求14所述的方法，还包括：
基于第二图像计算作为眼睛的坐标值的第二坐标值。
CN202280013124.6A 2021-02-02 2022-01-28 用于跟踪用户注视并提供增强现实服务的电子装置及其方法 Pending CN116830065A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0014989 2021-02-02
KR1020210014989A KR20220111575A (ko) 2021-02-02 2021-02-02 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
PCT/KR2022/001668 WO2022169255A1 (ko) 2021-02-02 2022-01-28 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법

Publications (1)

Publication Number Publication Date
CN116830065A true CN116830065A (zh) 2023-09-29

Family

ID=82742381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280013124.6A Pending CN116830065A (zh) 2021-02-02 2022-01-28 用于跟踪用户注视并提供增强现实服务的电子装置及其方法

Country Status (5)

Country Link
US (1) US20230259205A1 (zh)
EP (1) EP4231120A4 (zh)
KR (1) KR20220111575A (zh)
CN (1) CN116830065A (zh)
WO (1) WO2022169255A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517244B1 (ko) * 2023-01-25 2023-04-03 호남대학교 산학협력단 전면과 후면 촬영이 가능한 웨어러블 넥밴드형 카메라 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
EP3380883B1 (en) * 2015-11-25 2020-10-28 Google LLC Prism-based eye tracking
KR101862499B1 (ko) * 2015-11-27 2018-05-29 포브, 아이엔씨. 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
EP3318914A1 (en) * 2016-11-04 2018-05-09 Nokia Technologies OY Gaze tracking
JP7116978B2 (ja) * 2017-07-12 2022-08-12 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
CN111868737A (zh) * 2018-01-24 2020-10-30 苹果公司 使用神经网络的基于事件相机的注视跟踪
KR20210004776A (ko) * 2019-07-04 2021-01-13 삼성전자주식회사 증강 현실을 디스플레이하는 장치 및 방법

Also Published As

Publication number Publication date
WO2022169255A1 (ko) 2022-08-11
EP4231120A1 (en) 2023-08-23
KR20220111575A (ko) 2022-08-09
EP4231120A4 (en) 2024-04-03
US20230259205A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
EP4215976A1 (en) Wearable electronic device including miniature camera
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
US11852820B2 (en) Method and electronic device for changing setting of display
US11733952B2 (en) Wearable electronic device including display, method for controlling display, and system including wearable electronic device and case
US20230259205A1 (en) Electronic device and method thereof for tracking user gaze and providing augmented reality service
US20230199328A1 (en) Method of removing interference and electronic device performing the method
US20230244301A1 (en) Augmented reality device for changing input mode and method thereof
US20230196689A1 (en) Electronic device for using virtual input device and operation method in the electronic device
EP4357838A1 (en) Electronic device and method for displaying content
EP4280599A1 (en) Wearable electronic device comprising plurality of cameras
US11893698B2 (en) Electronic device, AR device and method for controlling data transfer interval thereof
US20220261076A1 (en) Method and electronic device for tracking eye
US11741862B2 (en) Augmented reality wearable electronic device including camera
US20230251362A1 (en) Method of removing interference and electronic device performing the method
US11762486B2 (en) Electronic device for performing plurality of functions using stylus pen and method for operating same
US20240046578A1 (en) Wearable electronic device displaying virtual object and method for controlling the same
US20240054694A1 (en) Electronic device for placing object according to space in augmented reality and operation method of electronic device
US20230122744A1 (en) Wearable electronic device adjusting transmittance of visor and brightness of display
US20230169723A1 (en) Electronic device for providing contents in connection with external electronic device and method of the same
US20230163449A1 (en) Wearable electronic device including variable ground
EP4350420A1 (en) Lens assembly including light-emitting element disposed on first lens, and wearable electronic device including same
US20240119683A1 (en) Electronic device and method for providing ar information using watch face image
US20240046530A1 (en) Method of controlling display module, and electronic device performing the method
US20230124592A1 (en) Wearable electronic device including sensor module
KR20220060103A (ko) 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination